📃Welcome to the Era of Experience

TODO

• 논문 링크

1. 🤖 이 논문은 인공지능이 인간 데이터에 의존하는 단계를 넘어 경험을 통해 스스로 학습하는 ’경험의 시대’로 진입하고 있다고 주장합니다.
2. 🌍 경험의 시대에는 에이전트가 환경과의 상호작용을 통해 얻는 데이터가 인간이 제공하는 데이터보다 훨씬 중요해지며, 이는 장기적인 목표 달성, 현실 세계와의 연결, 환경 기반 보상, 인간을 초월하는 추론 능력으로 이어질 것입니다.
3. 🚀 경험 기반 학습은 과학적 발견을 가속화하고 개인 맞춤형 서비스를 제공하는 등 긍정적인 결과를 가져올 수 있지만, 일자리 감소와 잠재적인 오용 등 새로운 도전 과제와 위험을 야기하므로 안전하고 책임감 있는 AI 개발을 위한 신중한 접근이 필요합니다.

이 논문은 인공지능(AI)의 새로운 시대, 즉 경험의 시대가 도래하고 있음을 주장합니다. 현재 AI는 인간이 생성한 대량의 데이터로 학습하고, 전문가의 예시와 선호도를 통해 미세 조정하는 방식을 따르고 있습니다. 이는 대규모 언어 모델(LLM)에서 잘 드러나며, LLM은 시, 물리학 문제 해결, 의료 진단, 법률 문서 요약 등 다양한 작업을 수행할 수 있습니다. 하지만 이러한 인간 모방 방식은 특정 수준의 능력을 재현하는 데는 충분하지만, 수학, 코딩, 과학과 같은 분야에서는 초인적인 지능을 달성하기 어렵습니다. 고품질 데이터는 이미 소비되었거나 곧 소비될 것이며, 인간 데이터에 의존한 지도 학습의 발전 속도는 둔화되고 있습니다.

따라서 새로운 데이터 소스가 필요하며, 이는 에이전트가 환경과 상호작용하며 생성하는 경험 데이터가 되어야 합니다. 경험의 시대에는 에이전트와 환경이 다음과 같은 특징을 가질 것입니다.

• 스트림(Streams): 에이전트는 짧은 상호작용이 아닌, 지속적인 경험의 흐름 속에서 살아갑니다. 이는 RL의 에피소드 개념과는 대조적입니다.

• 행동 및 관찰(Actions and Observations): 에이전트의 행동과 관찰은 인간과의 대화가 아닌, 환경에 기반합니다. 인간이 사용하는 인터페이스뿐만 아니라 기계 친화적인 코드 실행 및 API 호출을 통해 더욱 자율적인 상호작용이 가능합니다.

• 보상(Rewards): 보상은 인간의 선입견이 아닌, 환경 자체에서 비롯됩니다. 예를 들어, 건강 관리 에이전트는 휴식 심박수, 수면 시간, 활동량 등의 신호를 기반으로 보상을 얻을 수 있습니다. 사용자의 피드백은 reward function을 개선하는 데 사용될 수 있습니다.

• 계획 및 추론(Planning and Reasoning): 에이전트는 인간의 사고방식이 아닌, 경험에 기반하여 계획하고 추론합니다. 세계 모델(World Model)을 구축하여 에이전트의 행동이 세상에 미치는 영향, 특히 보상에 대한 예측을 가능하게 합니다. 이를 통해 에이전트는 행동을 계획하고 실행하며, 경험을 통해 모델을 지속적으로 업데이트합니다.

이러한 특징들은 기존의 인간 중심 AI 시스템의 한계를 극복하는 데 도움을 줄 것입니다. LLM은 인간의 사고방식을 모방하도록 설계되었지만, 인간의 언어가 최적의 사고방식이라고 단정할 수 없습니다. 에이전트는 경험을 통해 생각하는 방법을 배우고, 세계 모델을 구축하여 자신의 행동이 세상에 미치는 영향을 예측할 수 있습니다.

이 논문에서는 강화 학습(RL) 방법이 이러한 경험 기반 학습에 중요한 역할을 할 것이라고 주장합니다. 강화 학습은 에이전트가 환경과의 상호작용을 통해 스스로 학습하는 자율 학습에 뿌리를 두고 있습니다. RLHF와 같은 인간 중심 RL 기술은 인간의 지식을 활용하는 데 효과적이었지만, 에이전트가 기존 인간 지식을 뛰어넘을 수 없다는 한계를 가지고 있습니다. 경험의 시대에는 관찰 데이터에 기반한 유연한 reward function, 불완전한 시퀀스를 가진 긴 스트림에서 가치 함수를 추정하는 방법, 인간의 사전 지식과 다른 새로운 행동을 발견하는 탐색 방법, 복잡한 상호작용을 포착하는 세계 모델, 더 긴 시간 범위에 걸쳐 추론할 수 있는 시간 추상화 방법 등이 중요해질 것입니다.

경험의 시대는 긍정적인 측면과 부정적인 측면 모두를 가지고 있습니다. 긍정적으로는 개인 맞춤형 지원, 과학적 발견 가속화 등 전례 없는 능력을 발휘할 수 있습니다. 부정적으로는 일자리 대체, AI 오용 등 위험이 발생할 수 있습니다. 따라서 경험 기반 학습으로 안전하게 전환하기 위해서는 신중한 고려와 연구가 필요합니다.

결론적으로, 경험의 시대는 AI가 인간 데이터를 넘어 스스로 학습하는 시대를 의미합니다. 강화 학습의 알고리즘 발전과 함께 이러한 패러다임 전환은 많은 영역에서 인간의 능력을 뛰어넘는 새로운 능력을 가능하게 할 것입니다.

1 Review