📃NewtWM 리뷰

world-model

multi-task

Learning Massively Multitask World Models for Continuous Control

Published

November 26, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🌐 본 연구는 온라인 RL이 확장되지 않는다는 통념에 도전하며, 언어 지시와 데모를 포함한 200가지 다양한 작업으로 구성된 대규모 멀티태스크 RL 벤치마크인 MMBench를 제시합니다.
🤖 제안된 Newt는 시연 데이터로 사전 학습하여 작업 인식 표현과 액션 사전 지식을 얻은 후, 모든 태스크에 걸쳐 온라인 상호작용으로 공동 최적화되는 언어 조건부 멀티태스크 월드 모델입니다.
🚀 Newt는 강력한 기준 모델들을 능가하는 멀티태스크 성능과 데이터 효율성을 보이며, 효과적인 개방 루프 제어 및 새로운 태스크에 대한 빠른 적응 능력을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 일반적인 제어를 위해 다양한 태스크와 Embodiment에 걸쳐 작동하는 에이전트의 필요성을 제기하며, 기존 Continuous Control 분야의 강화 학습(RL) 연구가 단일 태스크 또는 오프라인 환경에 치우쳐 온라인 RL의 확장성에 대한 인식을 강화했다고 지적합니다. 저자들은 Foundation Model의 성공적인 방법론(대규모 Pretraining 후 가벼운 RL)에서 영감을 받아, 단일 에이전트가 온라인 인터랙션을 통해 수백 가지 태스크에서 학습될 수 있는지에 대한 질문을 던집니다.

이러한 연구 방향을 가속화하기 위해, 본 논문은 10개 Task Domain에 걸쳐 200개의 다양한 태스크로 구성된 새로운 벤치마크인 MMBench를 소개합니다. 각 태스크는 Language Instruction, Demonstration, 그리고 선택적으로 Image Observation을 포함합니다. 이 벤치마크는 Multitask Pretraining, Offline-to-Online RL, 그리고 From-Scratch RL 연구를 가능하게 합니다.

이어서 저자들은 Language-conditioned Multitask World Model인 Newt를 제안합니다. Newt는 TD-MPC2 (Hansen et al., 2024)를 기반으로 하며, Task-aware Representation과 Action Prior를 습득하기 위해 Demonstration으로 먼저 Pretrain된 후, 모든 태스크에 걸쳐 온라인 인터랙션과 함께 Jointly 최적화됩니다. TD-MPC2를 Massively Multitask 온라인 설정으로 확장하기 위해, Newt는 다음과 같은 일련의 알고리즘 개선을 포함합니다: 개선된 아키텍처, 사용 가능한 Demonstration을 활용한 Model-based Pretraining, RL Policy Update 시 추가적인 Action Supervision, 그리고 극적으로 가속화된 트레이닝 파이프라인.

핵심 방법론 (Newt):

Newt는 모델 기반 RL 알고리즘인 TD-MPC2를 확장하여 Language Instruction 및 RGB Observation을 지원하는 Massively Multitask Online RL Agent입니다. TD-MPC2는 학습된 Self-predictive (Decoder-free) World Model의 Latent Space에서 Trajectory Optimization (Planning)을 수행합니다.

Newt의 World Model은 다음 구성 요소로 이루어져 있습니다:

Language Encoder: g = \text{CLIPtext}(s_{\text{lang}}) (자연어 Instruction을 인코딩).
Image Encoder: x = \text{DINOv2}(s_{\text{img}}) (RGB 이미지 Observation을 인코딩, 선택 사항).
State Encoder: z = h(s_{\text{state}}, x, g) (Latent State Representation 계산).
Latent Dynamics: z' = d(z, a, g) (Latent Forward Dynamics 예측).
Reward: \hat{r} = R(z, a, g) (Transition의 Reward r 예측).
Terminal Value: \hat{q} = Q(z, a, g) (할인된 Reward의 합(Return) 예측).
Policy Prior: \hat{a} = p(z, g) (최적 Action a^* 예측). 여기서 s = \{s_{\text{lang}}, s_{\text{img}}, s_{\text{state}}\}는 각각 Language, Image, State Observation이며, a는 Action입니다. 실제 구현에서는 Language와 Image 입력에 대해 Frozen Pretrained Backbone을 사용하고, 나머지 구성 요소는 MLP로 구현합니다. 여러 인수를 입력으로 받는 구성 요소는 Concatenation을 통해 입력을 융합한 후 첫 번째 Dense Layer에 입력합니다 (예: h(s_{\text{state}}, x, g) := h([s_{\text{state}}, x, g])).

World Model의 구성 요소 h, d, R, Q는 다음 Objective를 통해 Gradient Descent로 Jointly 최적화됩니다: L (\theta) = E_{\tau \sim B}\left[\sum_{t=0}^H \lambda^t \left( \|z'_t - \text{sg}(h(s'_{\text{state}t} , x'_t, g))\|_2^2 + \ell_{\text{CE}}(\hat{r}_t, r_t) + \ell_{\text{CE}}(\hat{q}_t, q_t) \right)\right] 여기서 \tau = (s, a, r, s')는 Replay Buffer B에서 샘플링된 Subsequence이고, \lambda \in (0, 1]은 시간에 따라 멀리 떨어진 샘플의 가중치를 기하급수적으로 줄이는 상수 계수입니다. \text{sg}는 Representation Collapse를 완화하는 \text{stop-grad} 연산자이며, \ell_{\text{CE}}는 Cross-Entropy Loss입니다. Multitask 설정에서 Reward 분포가 크게 다를 수 있으므로, MSE Loss 대신 Discrete Regression Objective (Cross-Entropy Loss)를 사용하여 Reward와 Value를 모델링합니다. Value는 Log-transformed Space에서 모델링하여 단일 예측 헤드로 넓은 범위의 Value를 처리할 수 있게 합니다. One-step TD-target은 q_t = r_t + \gamma Q_{\text{tgt}}(z'_t, p(z'_t), g)로 정의되며, Q_{\text{tgt}}는 Online Q Network의 EMA(Exponential Moving Average)입니다. 태스크별 Episode 길이가 크게 다르므로, 태스크별 Discount Factor (\gamma)를 사용합니다.

Policy Prior p는 위에서 정의된 Q-Network에 의해 추정된 Q-Value를 최대화하도록 학습되는 Stochastic Maximum Entropy Policy로 공식화됩니다. 그러나 Q-Value 추정이 어려운 태스크에서는 이 Policy Objective의 단순 적용이 성능 저하로 이어질 수 있습니다. 이를 해결하기 위해 소량의 Demonstration을 활용하여 TD-MPC2의 Policy Prior에 추가적인 Behavior Cloning Loss를 추가합니다. 이는 (i) Expert Demonstration을 Action Supervision으로 직접 활용하고, (ii) Planning을 통해 선택된 Action을 덜 표현적인 Policy Prior로 명시적으로 Distill하는 두 가지 목적을 가집니다. Policy Objective는 다음과 같이 정의됩니다: L_p(\theta) = E_{\tau \sim B}\left[\sum_{t=0}^H \lambda^t \left( \|p(z_t, g) - a_t\|_2^2 - Q(z_t, p(z_t, g), g) - H(p(\cdot|z_t, g)) \right)\right] 여기서 z_{t+1} = d(z_t, a_t, g)는 Latent Rollout입니다. 환경 상호작용 시, TD-MPC2는 학습된 World Model로 Planning하여 Action을 선택하며, Planning 절차는 Policy Prior p에 의해 Warm-start됩니다.

Demonstration 활용:

Massively Multitask Online RL에서의 탐색(Exploration) 어려움을 극복하기 위해, Newt는 각 태스크에 대해 소량의 Demonstration을 네 가지 방식으로 활용합니다:

Model-based Pretraining: 온라인 상호작용 전에, 제공된 Demonstration으로 Equation 1의 모든 학습 가능한 구성 요소를 Pretrain합니다. 이때 Equation 3의 Q-Value 항은 일시적으로 비활성화하여 Demonstration의 강력한 Action Supervision을 최대한 활용합니다.
Constrained Planning: Pretraining에서 Online RL로 전환할 때, 초기에 Planner를 BC Policy 쪽으로 Bias하고, 학습 초반 12% 동안 이 Bias를 선형적으로 0으로 Anneal합니다. 이는 초기에 부정확한 Value Function으로 인한 성능 저하를 완화합니다.
Oversampling of Demonstrations: Demonstration과 온라인 상호작용을 위한 별도의 Replay Buffer를 유지하고, 에이전트 업데이트 시 각각 50%씩 동일한 비율로 Subsequence를 샘플링합니다. 이를 통해 Demonstration 데이터가 학습 내내 에이전트에게 지속적으로 제공되도록 합니다.
Action Supervision in RL Policy Updates: Section 3.1에서 논의된 바와 같이, Policy Objective에 Model-based BC Loss 항을 추가하여 직접적인 Action Supervision을 제공하고 Q-Value 추정이 부정확할 때 RL 기반 Policy Objective를 Regularize하는 데 도움을 줍니다.

실험 결과, Newt는 MMBench 벤치마크에서 강력한 Baseline들보다 더 나은 Multitask 성능과 데이터 효율성을 보여주며, 강력한 Open-loop Control 능력을 발휘하고, 보지 못했던 태스크에 대한 빠른 적응을 가능하게 합니다. 또한, 고해상도 이미지 Observation의 접근이 성능 향상에 도움이 됨을 입증했습니다. 저자들은 환경, Demonstration, 학습 및 평가 코드, 그리고 200개 이상의 체크포인트를 공개하여 Reproducibility와 향후 연구를 지원합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

📋 TL;DR (핵심 요약) 이 논문은 연속 제어(Continuous Control) 분야에서 대규모 멀티태스크 월드 모델(Massively Multitask World Model)의 가능성을 탐구합니다. 저자들은 MMBench라는 200개 다양한 태스크를 포함하는 새로운 벤치마크를 소개하고, Newt라는 언어 조건화 멀티태스크 월드 모델을 제안합니다. Newt는 데모 데이터로 사전훈련한 후 모든 태스크에서 온라인 상호작용을 통해 공동 최적화되며, 기존 강력한 베이스라인(PPO, FastTD3, Behavior Cloning)보다 우수한 성능과 데이터 효율성을 보여줍니다.

1. 서론: 왜 이 연구가 중요한가?

1.1 연구 배경과 동기

현대 로봇공학에서 범용 제어(General-Purpose Control)는 핵심적인 연구 목표입니다. 우리가 원하는 것은 다양한 태스크와 신체 구조(embodiment)에서 작동할 수 있는 에이전트입니다. 그러나 현재 연속 제어를 위한 강화학습(RL) 연구는 여전히 단일 태스크(single-task) 또는 오프라인(offline) 학습 방식에 집중되어 있습니다.

이러한 현상은 “온라인 RL은 확장되지 않는다(Online RL does not scale)”는 인식을 강화시켜 왔습니다. 하지만 과연 그럴까요?

1.2 Foundation Model에서 영감을 받다

최근 자연어 처리와 컴퓨터 비전 분야에서 Foundation Model 레시피가 놀라운 성공을 거두고 있습니다:

Foundation Model Recipe = 대규모 사전훈련 + 경량 RL/미세조정

GPT, BERT, ViT 등의 성공은 대규모 데이터셋에서의 사전훈련과 신중하게 설계된 아키텍처가 모델 및 데이터 크기에 따라 안정적으로 확장될 수 있음을 보여주었습니다. 이 논문의 저자들은 이 패러다임을 로봇 제어에 적용하여 다음과 같은 핵심 질문을 던집니다:

“단일 에이전트가 온라인 상호작용을 통해 수백 개의 태스크에서 훈련될 수 있는가?”

2. 핵심 기여: MMBench와 Newt

2.1 MMBench: 대규모 멀티태스크 벤치마크

이 연구의 첫 번째 핵심 기여는 MMBench(Massively Multitask Benchmark)입니다. 이 벤치마크는 다음과 같은 특징을 가집니다:

특성	상세 내용
태스크 수	200개의 다양한 태스크
도메인 수	10개 태스크 도메인
새로운 태스크	41개의 완전히 새로운 태스크 포함
언어 지시문	모든 태스크에 자연어 지시문 제공
데모 데이터	각 태스크에 대한 시연 데이터
이미지 관측	선택적 RGB 관측 지원

2.1.1 MiniArcade: 새로운 환경 스위트

MMBench의 일부로, 저자들은 MiniArcade라는 완전히 새로운 환경 스위트를 공개합니다. 이 환경들은:

잘 정의된 관측(observation), 행동(action), 보상(reward) 구조
모든 태스크에 대한 데모 데이터와 언어 지시문 제공
다양한 도메인과 신체 구조를 포괄

2.1.2 기존 벤치마크와의 비교

기존의 멀티태스크 RL 벤치마크들과 비교하면:

벤치마크	태스크 수	도메인 다양성	언어 지시문	데모 데이터
Meta-World	50개	로봇 조작 중심	❌	제한적
DMControl	30+개	연속 제어	❌	❌
TD-MPC2 (80-task)	80개	Meta-World + DMControl	❌	제한적
MMBench (Newt)	200개	10개 도메인	✅	✅

MMBench는 기존 벤치마크의 약 2-4배에 달하는 태스크를 포함하며, 언어 지시문과 데모 데이터를 체계적으로 제공합니다.

2.2 Newt: 언어 조건화 멀티태스크 월드 모델

두 번째 핵심 기여는 Newt라는 새로운 에이전트입니다. Newt의 핵심 설계 원칙은 다음과 같습니다:

2.2.1 2단계 학습 파이프라인

flowchart TB
    subgraph phase1["1단계: 사전훈련 (Pretraining)"]
        A[데모 데이터] --> B[Task-Aware Representations]
        A --> C[Action Priors 학습]
    end
    
    subgraph phase2["2단계: 온라인 RL (Joint Optimization)"]
        D[200개 태스크 × 온라인 상호작용] --> E[월드 모델 공동 최적화]
    end
    
    phase1 --> phase2

1단계: 데모 기반 사전훈련 - 수집된 데모 데이터를 활용하여 태스크 인식 표현(task-aware representations)을 학습 - 각 태스크에 적합한 행동 사전 분포(action priors) 획득 - 이 단계에서 월드 모델의 기본적인 동역학 이해와 태스크 구조 파악

2단계: 온라인 상호작용을 통한 공동 최적화 - 사전훈련된 모델을 기반으로 모든 200개 태스크에서 동시에 온라인 학습 - 환경과의 실제 상호작용을 통해 월드 모델을 정교화 - 태스크 간 지식 전이(knowledge transfer) 활용

2.2.2 언어 조건화 (Language Conditioning)

Newt의 중요한 특징 중 하나는 언어 조건화입니다:

입력: [상태 벡터, 언어 지시문, (선택적) RGB 관측]
     ↓
Newt 월드 모델
     ↓
출력: 계획(Planning)을 통한 행동

언어 지시문은 태스크의 목표와 맥락을 명시적으로 전달하여: - 태스크 간 구분을 명확히 함 - 새로운 태스크로의 일반화를 촉진 - 해석 가능성(interpretability) 향상

2.2.3 아키텍처 개요

Newt의 아키텍처는 다음 요소들로 구성됩니다:

상태 인코더: 상태 벡터를 잠재 공간으로 매핑
언어 인코더: 자연어 지시문을 임베딩으로 변환
월드 모델 코어: 잠재 공간에서의 동역학 예측
플래너: 계획을 통한 행동 출력

3. 기술적 심층 분석

3.1 월드 모델 기반 RL의 배경

Newt를 이해하기 위해 먼저 월드 모델 기반 RL의 핵심 개념을 살펴보겠습니다.

3.1.1 월드 모델이란?

월드 모델(World Model)은 환경의 동역학을 학습하는 신경망입니다:

\hat{s}_{t+1} = f_\theta(s_t, a_t)

여기서: - s_t: 현재 상태 - a_t: 선택된 행동 - \hat{s}_{t+1}: 예측된 다음 상태 - f_\theta: 학습된 동역학 모델

3.1.2 잠재 공간 계획 (Latent Space Planning)

현대 월드 모델 기반 RL(예: TD-MPC, DreamerV3)은 잠재 공간에서 계획을 수행합니다:

Raw Observation → Encoder → Latent State → World Model → Planning
                    ↓
              Compact, Learnable Representation

이 접근법의 장점: - 차원 축소: 고차원 관측(예: 이미지)을 저차원 잠재 벡터로 압축 - 학습 가능한 표현: 태스크에 관련된 정보만 유지 - 효율적인 계획: 잠재 공간에서의 롤아웃이 원시 관측보다 효율적

3.2 TD-MPC2와의 관계

Newt는 TD-MPC2의 연구 흐름을 이어받으면서 발전시킨 것으로 보입니다. TD-MPC2는 ICLR 2024에서 발표된 중요한 연구로, 다음과 같은 특징을 가집니다:

특성	TD-MPC2	Newt
태스크 수	80개 (최대)	200개
하이퍼파라미터 튜닝	단일 설정	단일 설정 (추정)
언어 조건화	학습 가능한 임베딩	자연어 지시문
사전훈련	제한적	데모 기반 체계적 사전훈련
모델 크기	최대 317M	(논문 상세 필요)

TD-MPC2의 핵심 혁신들: - SimNorm: 잠재 상태를 그룹별로 분할하고 softmax를 통해 고정 차원 simplex로 투영 - LayerNorm + Mish 활성화: 깊은 잠재 월드 모델의 안정성 확보 - 이산 회귀 손실: 보상과 가치 타겟에 대한 교차 엔트로피 목표

3.3 사전훈련의 중요성

Newt의 핵심 혁신 중 하나는 체계적인 데모 기반 사전훈련입니다.

3.3.1 왜 사전훈련이 중요한가?

기존 온라인 RL의 문제점: - 탐색의 어려움: 무작위 초기 정책으로는 의미 있는 경험 수집이 어려움 - 샘플 비효율성: 처음부터 학습하면 수많은 환경 상호작용 필요 - 불안정한 학습: 특히 대규모 모델에서 초기 학습이 불안정할 수 있음

사전훈련의 해결책: - 합리적인 행동 사전 분포: 탐색 시작점을 개선 - 태스크 구조 이해: 월드 모델이 환경 동역학의 기본 구조를 파악 - 빠른 수렴: 온라인 학습 단계에서 더 빠르게 성능 향상

3.3.2 행동 사전 분포 (Action Priors)

사전훈련을 통해 학습된 행동 사전 분포는:

\pi_{prior}(a|s, \ell) \approx \pi_{expert}(a|s, \ell)

여기서 \ell은 언어 지시문입니다. 이 사전 분포는: - 온라인 RL 시 탐색의 출발점 제공 - 관련 없는 행동 공간 탐색 감소 - 태스크별 적절한 행동 범위 제시

3.4 오픈 루프 제어 (Open-Loop Control)

논문에서 강조하는 Newt의 특별한 능력 중 하나는 강력한 오픈 루프 제어입니다.

3.4.1 오픈 루프 vs 클로즈드 루프

클로즈드 루프 제어:
  매 timestep → 관측 → 행동 결정 → 실행 → 관측 → ...

오픈 루프 제어:
  초기 관측 → 여러 timestep 계획 → 연속 실행 (피드백 없이)

3.4.2 Newt의 오픈 루프 능력

Newt는 최대 48 연속 timestep의 계획을 수행할 수 있습니다:

초기 상태 s_0 → Newt 플래너 → [a_0, a_1, ..., a_47]
                            ↓
              환경 피드백 없이 48 스텝 실행

이것이 로봇공학에서 중요한 이유: - 통신 지연 대응: 원격 조작 시 지연에 강건 - 센서 실패 대비: 일시적 센서 장애 시에도 작동 가능 - 월드 모델 품질 지표: 정확한 오픈 루프 제어는 월드 모델이 환경 동역학을 잘 포착했음을 의미

4. 실험 결과 분석

4.1 주요 베이스라인

저자들은 다음과 같은 강력한 베이스라인들과 비교합니다:

Behavior Cloning (BC): 데모 데이터에서 직접 정책 학습
PPO (Proximal Policy Optimization): 가장 널리 사용되는 정책 경사 알고리즘
FastTD3: TD3의 최적화된 변형으로, 휴머노이드 제어에서 강력한 성능

4.1.1 FastTD3에 대하여

FastTD3는 최근 주목받는 알고리즘으로: - TD3 기반 off-policy 학습 - 병렬 시뮬레이션 활용 - 대규모 배치 업데이트 - 분포적 크리틱(distributional critic) 사용 - HumanoidBench 태스크를 단일 GPU에서 3시간 내 해결

4.2 멀티태스크 성능

논문의 주요 결과에 따르면, 200개 태스크 전체에서 단일 상태 기반 에이전트를 온라인으로 학습시킬 때:

핵심 발견: - Newt가 모든 베이스라인(BC, PPO, FastTD3)보다 우수한 평균 점수 달성 - 점수는 각 태스크별로 [0, 1] 범위로 정규화됨 - Newt가 더 높은 데이터 효율성 시현

4.3 도메인별 성능 분석

흥미로운 점은 도메인별 성능 차이입니다:

도메인 A: Newt >> PPO > FastTD3
도메인 B: Newt ≈ PPO > FastTD3  
도메인 C: Newt > FastTD3 > PPO
...

주요 관찰: - Newt는 전반적으로 PPO와 FastTD3보다 높은 성능과 데이터 효율성 - 그러나 RL을 통한 개선 속도는 도메인에 따라 다름 - 일부 도메인에서는 사전훈련만으로도 상당한 성능 달성 - 다른 도메인에서는 온라인 RL이 큰 폭의 개선을 가져옴

4.4 새로운 태스크로의 적응

Newt의 또 다른 강점은 미지의 태스크에 대한 빠른 적응입니다:

훈련 태스크 (200개) → Newt 학습 → 새로운 태스크 (N개)
                                    ↓
                              빠른 적응 (Few-shot)

이는 로봇공학에서 매우 중요한 특성입니다: - 실제 배치 환경에서 모든 가능한 태스크를 사전에 정의하기 어려움 - 새로운 태스크에 빠르게 적응할 수 있는 능력이 필수적 - Foundation Model 패러다임의 핵심 가치 실현

5. 관련 연구와의 비교

5.1 TD-MPC 계열

알고리즘	발표 연도	특징	태스크 규모
TD-MPC	2022	잠재 공간 MPC	단일 태스크
TD-MPC2	2024	확장성, 강건성	80개
Newt	2025	언어 조건화, 사전훈련	200개

5.2 DreamerV3와의 비교

DreamerV3(Nature, 2025)는 월드 모델 기반 RL의 또 다른 주요 연구입니다:

특성	DreamerV3	Newt
접근 방식	재구성 기반 월드 모델	암시적(implicit) 월드 모델
강점	이미지 관측, Minecraft	연속 제어, 멀티태스크
하이퍼파라미터	단일 설정	단일 설정
언어 조건화	제한적	네이티브 지원

5.3 PWM (Policy Learning with Multi-Task World Models)

PWM은 사전훈련된 월드 모델을 활용한 정책 학습을 제안합니다:

월드 모델을 미분 가능한 물리 시뮬레이터로 활용
1차 최적화(first-order optimization)를 통한 효율적인 정책 학습
Newt와 보완적인 접근법

6. 한계점, 향후 연구 방향 및 재현성

6.1 현재 연구의 한계

6.1.1 시뮬레이션 환경 한정

현재 Newt는 시뮬레이션 환경에서만 검증되었습니다: - 실제 로봇에서의 성능은 미검증 - Sim-to-Real 간극 존재 가능성 - 센서 노이즈, 지연 등 실세계 요인 미반영

6.1.2 도메인별 성능 편차

실험 결과에서 관찰된 도메인별 성능 차이: - 일부 도메인에서는 RL 개선이 미미 - 모든 태스크에서 일관된 개선을 위한 방법론 필요 - 태스크 난이도와 학습 난이도의 관계 분석 필요

6.1.3 계산 비용

200개 태스크 동시 학습에 필요한 자원: - 대규모 GPU 클러스터 필요 가능성 - 실제 배포 환경에서의 추론 비용 - 소규모 연구실에서의 재현성 문제

6.2 향후 연구 방향

저자들이 제시하는 차세대 대규모 RL 방법론을 위한 과제:

“모든 태스크에서 더 일관된 개선을 달성하는 방법을 개발하는 것이 차세대 대규모 RL 방법론에 중요할 것이다.”

구체적인 연구 방향:

태스크 커리큘럼: 쉬운 태스크에서 어려운 태스크로 점진적 학습
메타 학습 통합: 태스크 간 지식 전이 메커니즘 개선
비전 언어 모델 연결: 더 풍부한 언어 이해와 시각적 추론
계층적 제어: 고수준 계획과 저수준 제어의 분리
안전성 고려: 대규모 정책의 안전한 배포 방법

6.3 공개 자원

저자들은 다음을 공개합니다:

환경: MMBench의 200개 환경
데모 데이터: 각 태스크별 시연 데이터
코드: 훈련 및 평가 코드
체크포인트: 200개 이상의 모델 체크포인트
웹사이트: https://newt-world-models.github.io

7. 결론

7.1 핵심 메시지

이 논문은 다음과 같은 중요한 메시지를 전달합니다:

온라인 RL은 확장 가능하다: 적절한 사전훈련과 아키텍처로 200개 태스크 동시 학습 가능
Foundation Model 레시피의 유효성: 대규모 사전훈련 + 온라인 RL 조합이 연속 제어에서도 효과적
언어 조건화의 가치: 자연어 지시문이 멀티태스크 학습과 일반화에 기여
월드 모델의 잠재력: 잠재 공간 기반 월드 모델이 대규모 멀티태스크 설정에서 강력한 성능

7.2 로봇공학 커뮤니티에 대한 함의

이 연구는 로봇공학의 오랜 목표인 범용 로봇 에이전트를 향한 중요한 진전입니다:

연구 방향: 단일 태스크 최적화에서 멀티태스크 일반화로 전환
벤치마킹: 표준화된 대규모 벤치마크로 공정한 비교 가능
실용성: 실제 로봇 배포를 향한 확장 가능한 접근법

7.3 마무리 생각

Newt와 MMBench는 연속 제어를 위한 강화학습 연구에 새로운 이정표를 세웁니다. 200개 태스크라는 규모, 언어 조건화라는 인터페이스, 그리고 Foundation Model에서 영감받은 학습 파이프라인은 모두 미래 로봇 시스템 개발에 중요한 지침을 제공합니다.

물론 아직 갈 길이 멉니다. 실제 로봇으로의 전이, 더 다양한 신체 구조 지원, 그리고 안전한 배포 방법론 등 해결해야 할 과제가 남아 있습니다. 하지만 이 연구가 보여주는 가능성은 분명합니다: 단일 에이전트가 수백 개의 다양한 태스크를 수행하는 것은 더 이상 먼 미래의 이야기가 아닙니다.

📚 참고 문헌

Hansen, N., Su, H., & Wang, X. (2024). TD-MPC2: Scalable, Robust World Models for Continuous Control. ICLR 2024.
Hafner, D., et al. (2025). Mastering diverse control tasks through world models. Nature.
Yu, T., et al. (2020). Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning. CoRL 2019.
Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
Fujimoto, S., et al. (2025). FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control.
Georgiev, I., et al. (2024). PWM: Policy Learning with Multi-Task World Models.
Ha, D., & Schmidhuber, J. (2018). World Models. arXiv:1803.10122.

요약 카드

항목	내용
논문 제목	Learning Massively Multitask World Models for Continuous Control
학회	ICLR 2026 (제출)
핵심 기여	MMBench (200 태스크), Newt (언어 조건화 월드 모델)
방법론	데모 사전훈련 + 온라인 RL 공동 최적화
성능	BC, PPO, FastTD3 대비 우수한 멀티태스크 성능
공개 자원	환경, 데모, 코드, 체크포인트
웹사이트	https://newt-world-models.github.io

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 일반 목적 강화학습과 멀티태스크의 도전과제

로봇이나 에이전트가 수백 가지에 이르는 다양한 작업과 다양한 로봇 형태(embodiments)를 모두 잘 수행하는 범용 제어 정책을 학습하는 것은 현대 강화학습 연구의 궁극적인 목표 중 하나입니다. 그러나 현재까지 연속 제어 분야의 강화학습 연구는 대부분 단일 작업 또는 오프라인 데이터에 한정되어 진행되었습니다. 이는 온라인 상호작용을 통한 RL(강화학습)은 확장성이 떨어진다는 인식을 강화시켜 왔습니다. 한편, 최근 거대 모델(foundation model)의 성공에 힘입어, 거대한 데이터셋으로 모델을 사전 학습(pretraining)한 후 비교적 적은 추가 학습(fine-tuning)으로 새로운 과제에 적용하는 접근이 각광받고 있습니다. 예컨대 거대 비전-언어 모델이나 게임 에이전트들은 대용량의 시연(demonstrations) 데이터를 모아 지도학습으로 학습된 후, 필요하면 약간의 RL로 성능을 다듬는 방식이 사용됩니다. 하지만 이러한 시연 기반 학습만으로는 몇 가지 한계가 있습니다: (i) 사용 가능한 데이터량에 제한이 있고, (ii) 최종 정책 성능이 시연 데이터의 품질에 의해 제한되는 문제가 있습니다. 다시 말해, 사람이 제공한 시연에 의존하기 때문에 더 이상 시연 이상의 성능을 내기 어렵다는 것입니다.

이러한 한계를 극복하고 정책의 지속적 향상을 이루기 위해, 점차 강화학습을 접목하려는 시도가 늘고 있습니다. 실제로 거대한 언어 모델이나 게임 AI에서는 거대 모델을 학습시킨 후 추가 RL로 성능을 향상시키는 사례가 나타나고 있습니다. 그러나 연속 제어 분야에서는 여전히 좁은 범위의 과제들(Tassa et al., 2018; Hafner et al., 2023 등)이나 오프라인 데이터 학습(Lee et al., 2022; Hansen et al., 2024 등)에 머무르는 경향이 강했습니다. 연속 제어 환경에서 온라인 RL을 통해 범용 정책을 학습시키는 것이 과연 가능하고 실용적인지 명확하지 않았던 것입니다.

“Learning Massively Multitask World Models for Continuous Control” 논문은 바로 이 질문에서 출발합니다. 저자들은 온라인 상호작용만으로 수백 개에 달하는 연속 제어 작업을 한꺼번에 학습할 수 있는지 탐구합니다. 이를 위해 이 논문은 두 가지 주요 공헌을 합니다:

MMBench 벤치마크: 200개의 다양한 연속 제어 작업으로 이루어진 새로운 대규모 멀티태스크 환경을 구축했습니다. 각 작업은 고유한 로봇/에이전트 형태와 물리 동역학, 목표를 가지며, 자연어로 된 작업 지시문, 전문가 시연 데이터, 그리고 저차원 상태/state 관측이나 RGB 영상 관측을 포함하고 있습니다. 이 벤치마크는 향후 대규모 멀티태스크 RL 연구를 가속화하기 위한 공용 테스트베드 역할을 하게 됩니다.
Newt: 멀티태스크 월드 모델 에이전트: Newt라 명명된 언어 조건부 멀티태스크 월드 모델 에이전트를 제안하였습니다. 이 에이전트는 시연 데이터로 선행 학습(pretraining)하여 작업에 대한 표현과 행동 priors를 먼저 습득한 뒤, 온라인 RL을 통해 모든 작업을 동시에 학습하도록 설계되었습니다. 모델 기반(MBRL) 접근법을 활용한 Newt는 하나의 세계 모델로 여러 작업의 동역학을 학습하며, 모든 작업에 걸친 공통된 물리를 공유하면서도 자연어 지시로 각 작업을 구분하는 전략을 취합니다.

실험 결과, Newt 에이전트는 다양한 강력한 기존 기법들(예: PPO, TD3 등의 멀티태스크 버전 및 행동 모방 모델 등)을 능가하는 데이터 효율성과 평균 성능을 보였습니다. 또한 학습된 월드 모델을 활용하여 환경 피드백 없이(open-loop)도 꽤 오랜 시간 합리적인 행동 시퀀스를 계획할 수 있음을 보여 주었고, 보지 못한 새로운 작업에 대한 빠른 적응도 가능함을 확인했습니다. 이러한 결과는 온라인 강화학습을 통해서도 다량의 연속 제어 작업을 동시에 학습시킬 수 있음을 증명하며, 향후 모델 기반 RL과 로보틱스 연구에 중요한 시사점을 줍니다.

이제 본 포스트에서는 해당 논문의 핵심 내용을 구조적으로 정리하고, 기술적인 기여 및 실험 결과를 자세히 살펴보겠습니다. 멀티태스크 월드 모델의 동기와 과제, Newt 모델의 구조와 학습 방법, 공유되는 동역학의 이점, MMBench의 세부 구성 및 대표 벤치마크 (DMControl-MT, MetaWorld-MT 등), 기존 단일/다중 정책과의 비교 실험, 구성 요소별 Ablation(소거 실험), 그리고 향후 연구에 대한 시사점 순으로 정리합니다.

MMBench: 200가지 연속 제어 작업으로 구성된 멀티태스크 벤치마크

Newt 에이전트의 성능을 검증하고 멀티태스크 학습의 가능성을 연구하기 위해, 저자들은 MMBench라는 대규모 멀티태스크 RL 벤치마크를 새롭게 구축했습니다. MMBench는 총 200개의 유니크한 연속 제어 작업으로 이루어져 있으며, 10가지 서로 다른 작업 도메인을 포괄합니다. 각 작업은 무한-수명 MDP 형식(episode 종료 조건 없음)으로 정의되고, 일정 길이 동안 에이전트의 행동 시퀀스를 통해 누적 보상(return)을 획득하는 과제입니다. 모든 작업에는 해당 목표를 설명하는 자연어 지시문이 제공되며, 작업당 몇 개씩의 전문가 시연 데이터가 주어져 초기 학습에 활용될 수 있습니다. 관측 형태는 세 가지 모드를 모두 지원하는데, (1) 환경 상태를 수치로 표현한 저차원 상태 벡터, (2) 224×224 RGB 카메라 영상, (3) 상태+영상 두 가지 결합 관측 형태를 사용할 수 있습니다. 이러한 통일된 인터페이스를 통해 연구자는 상태기반/시각기반 모든 시나리오를 실험할 수 있게끔 설계되었습니다.

MMBench에 포함된 10개 작업군(domain)과 각 구성 작업의 예시는 다음과 같습니다:

DeepMind Control Suite (DMControl): 표준 연속 제어 벤치마크로 널리 쓰이는 DMControl 환경들입니다 (예: Finger, Fish, Quadruped 등). 주로 관절 이동이나 물체 조작 등의 단순한 로봇 과제가 21개 포함되었습니다. 각 에피소드는 고정된 길이(프레임 반복 고려 시 약 500스텝)이며 보상은 작업마다 상이한 dense 또는 sparse 형태지만 0~1000 범위로 정규화되어 있습니다. 논문에서는 이 점수를 0~1로 다시 정규화하여 성능 지표로 삼았습니다. (예시 작업: Finger Turn Hard, Fish Swim, Quadruped Run)
DMControl Extended: 저자들이 기존 DMControl을 확장해 추가한 사용자 정의 작업들입니다. Hansen et al. (2024)에서 제안된 11개 커스텀 과제와, 새로운 로봇 형태(Jumper, Spinner, Giraffe)에 대한 5개의 과제를 더해 총 16개의 추가 작업을 만들었습니다. 이들도 500스텝 에피소드에 0~1000 리턴으로 설계되었고 동일하게 0~1 정규화됩니다. (예시: Walker Run Backward, Cheetah Jump, Spinner Spin)
Meta-World (멀티태스크 로봇 조작): Sawyer 로봇팔을 사용한 50가지 테이블 위 물체 조작 작업으로 구성된 유명 벤치마크입니다 (ML1/ML45 등으로 알려짐). 공통된 관측·액션 공간을 공유하여 멀티태스크 학습에 용이하게 설계되어 있습니다. 각 에피소드는 100 스텝으로 한정되고, Dense 보상과 함께 성공 판정 기준이 있어 에피소드 종료 시 성공 여부를 측정할 수 있습니다. 논문에서는 성공률을 0~1 사이의 Normalized score로 사용했습니다. 50개 중 시뮬레이터 오류가 있는 1개를 제외한 49개 작업을 사용했습니다. (예시: Assembly, Bin Picking, Lever Pull)
ManiSkill3: 다양한 로봇 구체들을 포함한 종합 로보틱스 시뮬레이터입니다. 테이블 위 소형 로봇팔 조작, 사족보행, 휴머노이드 전신 제어, 이동 로봇, 그리고 DMControl/Gym 유사 과제들까지 폭넓게 아우르는 오픈소스 환경입니다. 작업마다 관측/액션 공간 차원이 달라 멀티태스크 학습이 쉽지 않지만, 유사한 그룹 내에서는 형태가 비슷합니다. 논문에서는 총 36개 작업을 선정했으며, 이 중 5개는 논문에서 새로 추가한 과제입니다. 에피소드 길이는 작업별 기본값을 따르되 action repeat=2를 적용했고, 성공 기준이 있는 경우 성공률을 점수로, 없는 경우 0~1 정규화된 리턴을 성능 지표로 삼았습니다. (예시: Stack Cube, Pick Screwdriver, Anymal Reach)
MuJoCo Gym: 고전적인 OpenAI Gym 연속 제어 과제들로, MuJoCo 물리엔진을 사용하는 표준 RL 환경입니다. 관측과 액션 공간이 작업마다 다르고 종종 상호 호환되지 않지만, 대표적인 과제를 선정했습니다. 모든 종료 조건을 제거하여 일정 길이로 맞추고, Sparse 보상의 경우 성공시만 점수가 주어지므로 0~1 구간으로 리턴을 정규화하여 사용했습니다. 총 6개 작업(Ant, HalfCheetah, Reacher 등)을 포함합니다.
MiniArcade (미니 아케이드 게임): 논문에서 새롭게 구현한 2D 게임 작업군입니다. 파이게임(PyGame)으로 만든 간단한 아케이드 스타일 게임들로, 14종의 게임에 난이도 변형 등을 포함해 총 19개 작업을 학습에 사용했습니다. 각 게임은 관측/액션 공간, 목표, 보상 체계 등이 제각기 다르며, 에피소드 길이도 다양하지만, 성공 기준이 명확한 경우 이를 0~1 기준으로 정규화하고 그렇지 않은 경우 리턴을 정규화하여 점수를 책정했습니다. 상태 기반 및 픽셀 기반 플레이 모두 가능하도록 설계되었으며, 시각적 다양성을 위해 도메인 랜덤화도 적용했습니다. (예시: Spaceship, Coconut Dodge, Chase-Evade)
Box2D (2D 물리 시뮬레이션): 클래식한 2D 물리 엔진(Box2D)을 활용한 환경으로, OpenAI Gym 초기 버전에 포함되었던 과제들입니다. 대표적으로 BipedalWalker와 LunarLander가 있으며, 논문에서는 변형 과제를 포함해 8개 작업을 선정했습니다. 원래 각 작업마다 종료 조건이 있었지만 이를 모두 비활성화하여 일정 길이로 통일했고, Dense 보상을 그대로 사용하며 리턴을 0~1로 정규화했습니다. (예시: Bipedal Walker (Obstacles), LunarLander Land, LunarLander Takeoff)
RoboDesk: 로봇 데스크 작업으로, 단일 책상 환경 안에서 9가지의 물체 조작 과제를 수행하는 멀티태스크 환경입니다. 관측과 액션 공간을 모든 작업이 공유하여 멀티태스크 학습에 적합하며, 조작 대상 물체와 목표만 다르게 구성됩니다. 시각 관측과 상태 관측 모두를 지원하고 Dense 보상과 성공 기준을 제공하는데, 논문에서는 성공률을 성능 점수로 사용했습니다. 총 6개 작업을 사용했습니다. (예시: Push Green (녹색 물체 밀기), Open Drawer, Place Flat Block in Bin)
OGBench (Offline Goal-conditioned Bench): Park et al., 2025에서 제안된 오프라인 목표지향 RL 벤치마크를 온라인 설정으로 전환하여 사용했습니다. 여러 종류의 환경과 로봇 형태가 섞여 있으며, 원래는 멀티-목표 학습용으로 고안되었으나 다중 embodiment 학습도 가능하도록 구성되어 있습니다. 액션 공간 차원은 과제별로 다르고 에피소드 길이도 상이하지만, 논문에서는 각 작업에 대해 일정 길이로 맞추고 종료 조건을 없앴습니다. 보상은 dense 형태로 주어지며, 리턴을 0~1로 정규화하여 점수로 삼았습니다. 총 12개 작업을 선별했습니다 (예: 이중에는 2D 포인트머스 미로 탐색, Ant 로봇 목표 이동 등의 과제가 포함됨).
Atari (Arcade Learning Environment): 고전 Atari 게임 27개를 연속 행동 공간으로 변환한 환경도 포함되었습니다. (Farama 등에서 ALE를 연속 제어로 확장한 버전을 사용.) Atari 게임들은 서로 게임 룰이 완전히 달라 공통점이 적지만, 여기서는 멀티태스크 학습의 범위를 넓히기 위해 Space Invaders, Ms. Pacman, Bowling 등 다양한 장르의 게임들을 한데 모았습니다. 프레임 관측(또는 RAM 상태)을 사용할 수 있고, 에피소드마다 일정 길이로 플레이하며 최종 점수를 0~1로 정규화했습니다. 다만 시뮬레이터 특성상 stochastic(확률적) 요소가 있고, RL 알고리즘들이 다른 도메인에 비해 Atari에서는 어려움을 겪는 결과가 나타났습니다.

이처럼 MMBench는 159개의 기존 작업과 41개의 신규 작업/변형으로 이루어진 광범위한 과제 모음이며, 작업마다 관측/행동 공간, 보상 구조, 에피소드 길이, 목표 지시문이 제각기 다릅니다. 저자들은 MMBench를 구축하면서, 이처럼 이질적인 환경들을 단일한 프레임워크로 통합하기 위해 많은 노력을 기울였습니다. 예를 들어, 각 환경을 공통 인터페이스로 래핑하고, 병렬 시뮬레이션을 쉽게 할 수 있도록 Docker 이미지와 비동기 환경 wrapper 등을 제공했습니다. 또한 모든 작업에 대해 자연어 지시문을 작성하여, 모델이 작업 ID 대신 언어로 과제를 인지하도록 설계했습니다 (Appendix B에 작업별 지시문 예시 제공). 이로써 작업 식별 정보를 범용적인 형태(언어)로 제시하여 새로운 작업으로의 일반화 가능성도 열어 두었습니다.

MMBench 벤치마크와 관련 리소스(환경 코드, 시연 데이터, 등)는 논문 공개와 함께 오픈소스로 공개되었으며, 연구 커뮤니티 누구나 활용할 수 있도록 준비되어 있습니다.

Newt: 대규모 멀티태스크 월드 모델 아키텍처

MMBench의 수많은 과제를 효율적으로 학습하기 위해, 저자들은 Newt라고 이름 붙인 모델 기반 멀티태스크 RL 에이전트를 설계했습니다. Newt는 TD-MPC2 (Hansen et al., 2024)라는 기존 모델 기반 강화학습 알고리즘을 기반으로 하고 있는데, 이 알고리즘은 학습된 세계 모델의 잠재 공간(latent space)에서 트레젝터리 최적화(계획)를 수행하는 기법입니다. TD-MPC2는 이미 단일 작업 온라인 RL과 소규모 멀티태스크 오프라인 RL에서 강인한 학습 성능을 보인 바 있으며, Newt는 이를 대규모 온라인 멀티태스크 설정으로 확장한 것입니다.

Newt의 전체 구조(architecture)는 크게 다음과 같은 세계 모델(World Model) 구성 요소들로 이루어져 있습니다:

언어 인코더: 작업에 대한 자연어 지시문 g를 임베딩 벡터로 변환합니다. 사전 학습된 거대 언어 모델의 텍스트 인코더를 활용하며, 논문 구현에서는 CLIP 등 사전에 학습된 백본을 고정(frozen)하여 사용했습니다. 이를 통해 각 작업의 목표나 맥락을 표현하는 task condition 벡터 g를 얻습니다.
이미지 인코더 (선택 사항): 일부 작업에서는 고해상도 RGB 이미지 관측 s_{\text{img}}이 주어집니다. 저자들은 DINOv2 등 강력한 사전학습 비전 모델을 활용하여 이미지 관측을 임베딩하는 시각 백본 x를 얻었습니다. 이 또한 학습 동안 가중치를 동결하여 사용하였고, 고수준 시각 피처를 제공합니다. (환경에 따라 상태 벡터만 있는 작업의 경우 이미지를 사용하지 않을 수도 있습니다.)
상태 인코더 (인피드 신경망): 저차원 환경 상태 벡터 s_{\text{state}} (예: 관절 각도, 속도 등)와 위의 언어 임베딩 g, 그리고 (있는 경우) 이미지 피처 x를 함께 받아들여, 공통 잠재 상태 표현 z를 출력하는 신경망 h입니다. 즉, 현재 관측 정보를 하나의 잠재 공간 벡터로 인코딩하며, 이 z는 작업 조건까지 반영된 상태 요약이라 볼 수 있습니다. (Newt 구현에서는 h를 비교적 단순한 MLP로 사용했다고 합니다.)
잠재 동역학 모델: d라는 신경망으로 표현되며, 현재 잠재 상태 z와 행동 a (그리고 작업 임베딩 g)를 입력받아 다음 시점의 잠재 상태 z'를 예측합니다. 이는 일종의 일단계 forward 모델로, 환경의 동역학을 잠재 공간에서 모사하는 역할을 합니다. 이 때 d는 확률적이지 않은 deterministic MLP로 구현되어 있습니다 (단, 학습 안정화를 위해 작은 랜덤 값 추가 등은 있을 수 있습니다). Newt의 세계 모델은 이 잠재 동역학을 통해 환경 변화(관측 변화)를 직접 예측하지 않고 잠재 상태의 변화만 예측합니다. 이러한 자기예측(self-predictive) 접근 덕분에, 복잡한 픽셀 출력을 디코딩하지 않아도 되어 학습 비용을 크게 절감할 수 있습니다. 또한 모델이 예측해야 하는 대상이 미래 관측이 아닌 보상과 반환(return)이므로, 제어에 유용한 정보에 집중할 수 있다는 장점이 있습니다. 다시 말해, Newt의 세계 모델은 픽셀단 정확한 예측보다는 “특정 행동 시퀀스가 누적 보상을 얼마나 얻을지”를 잘 예측하도록 훈련됩니다.
보상 예측 모델: R로 표시되는 작은 신경망 헤드(head)로, 현재 잠재 상태 z와 행동 a (및 g)를 입력으로 직접적으로 즉시 보상 r'을 예측합니다. (이 예측값은 훈련 시 실제 환경 보상과의 차이를 통해 손실로 사용됩니다.) 이를 통해 세계 모델은 주어진 행동이 단기적으로 환경에 주는 영향(보상)도 예측하게 됩니다.
값(value) 예측 모델: Q라는 신경망 헤드로, z와 a (및 g)를 받아 그 상태-행동의 장기적 누적 보상(예상 리턴) q'을 예측합니다. 이는 일종의 가치함수 추정으로, TD 학습(Temporal Difference)을 통해 업데이트됩니다. Newt에서는 Q 모듈을 통해 모델이 미래의 성과까지 예측하게 함으로써, 계획 및 정책 학습에 필요한 시그널을 제공합니다.
정책 파라미터화 (Policy Prior): \pi로 표시되는 행동 정책 신경망으로, 현재 잠재 상태 z (및 g)를 입력받아 다음 행동에 대한 확률 분포 (가우시안 정책)를 출력합니다. 이 정책은 모델 예측과 별도로 배우(Actor) 역할을 하며, 주로 계획 알고리즘의 초기 후보 시퀀스 제시 또는 긴급 시 행동 산출 등에 활용됩니다. 정책 \pi는 BC(Behavior Cloning) 손실 등으로 시연을 모방하도록 학습되며, 초기에는 시연 기반 행동 우선도(prior)로서 기능합니다.

Newt의 플래닝(계획) 알고리즘은 위 세계 모델을 활용하여 작동합니다. 구체적으로, 모델 예측치(동역학 d, 보상 R, 가치 Q)를 사용해 현재 잠재 상태에서 미래 수 step 동안의 행동 시퀀스를 탐색함으로써 최적 행동을 선택합니다. 이는 일종의 모델 예측 제어(MPC) 방식으로, \pi 네트워크가 제시하는 행동들을 시드로 여러 행동 시퀀스를 잠재 공간에서 롤아웃(시뮬레이션)해 보고, 그 중 예측된 누적 보상이 높은 시퀀스의 첫 번째 행동을 실행하는 식입니다. 이렇게 planning과 policy prior를 조합하면, 학습 초기에는 정책이 제시하는 행동(시연 기반)이 큰 역할을 하고, 점차 모델이 정확해지면 모델 예측에 의존해 새로운 행동 조합도 시도할 수 있게 됩니다.

Newt의 학습 목표는 이 전체 세계 모델(h, d, R, Q, \pi)을 일관되게 학습시키는 것입니다. 학습은 크게 두 단계로 이루어집니다: (1) 시연 데이터에 대한 선행학습과 (2) 온라인 RL을 통한 공동 최적화. 아래에서는 이러한 학습 전략을 자세히 설명합니다.

시연 데이터 활용 및 학습 전략

수백 개에 이르는 작업들을 온라인 RL로 직접 학습시키려 할 때 가장 큰 난관 중 하나는 탐색 문제입니다. 작업 수가 방대할수록 무작위 탐색으로 의미있는 보상을 찾기가 매우 어렵기 때문입니다. 이를 해결하기 위해 Newt는 각 작업당 몇 개의 시연 데이터(전문가 또는 사전 학습된 단일 태스크 에이전트가 수행한 성공 에피소드)를 적극 활용하는 전략을 취했습니다. 저자들은 “시연을 최대한 활용하여 탐색을 보조하고 학습 효율을 높이는” 네 가지 기법을 Newt에 도입했습니다:

(1) 세계 모델 선행학습 (model-based pretraining): 본격적인 온라인 학습에 들어가기 전에, 모든 가중치(h, d, R, Q, \pi 포함)를 시연 데이터에 대해 사전 학습시킵니다. 시연 데이터는 상태-행동-보상 (s, a, r)의 sequence 형태로 제공되는데, 이를 이용해 세계 모델의 예측 손실 L(\theta) (동역학 예측 오차 + 보상 예측 오차 + 가치 예측 TD오차 등)과 정책 모방 손실 L_p(\theta)를 동시에 최소화하도록 학습합니다. 이때 가치 Q 예측에 대한 TD 오차 항목은 일시적으로 제외하여, 우선은 강한 행동 지도(supervision)에 집중하도록 합니다. (가치 추정은 시연이 충분하지 않을 수 있어 초기에는 방해가 될 수 있으므로 제외한 것으로 보입니다.) 이러한 접근은 이전 연구들이 인코더나 정책만 부분적으로 사전학습한 것과 대비되며, Newt에서는 세계 모델 전체를 시연으로 초기화함으로써 훨씬 풍부한 사전 지식을 얻습니다. 선행학습을 통해 Newt는 각 작업의 기본 동작 시퀀스와 보상 구조를 빠르게 익힐 수 있습니다.
(2) 제한적 플래닝: 정책으로 초기 편향 부여: 시연으로 선행학습 후 곧바로 모델 기반 플래닝으로 전환하면, 초반에는 가치함수 Q의 추정이 부정확하여 오히려 사전학습된 정책보다 못한 행동을 계획하는 현상을 관찰했습니다. 이를 완화하기 위해 훈련 초기 단계에는 플래너(MPC)가 행동 시퀀스를 탐색할 때 정책 \pi가 제안하는 행동을 따라가도록 강하게 편향(bias)을 주었습니다. 구체적으로, 학습 초반 12% 구간 동안은 플래너의 목적 함수에 “정책으로부터 벗어나지 않는 정도”에 대한 패널티를 추가하여, 정책이 제안한 행동 분포에서 크게 벗어나지 않는 계획을 우선하게 했습니다. 그리고 이 제약 강도를 점진적으로 줄여나가, 학습 중후반에는 완전히 모델 예측에만 의존한 자유로운 계획이 이루어지도록 선형 비율로 감소(anneal)시켰습니다. 이러한 constrained planning 기법 덕분에, 학습 시작 시 시연 기반 정책의 성능을 유지하면서도 서서히 모델 기반 탐색으로 이행할 수 있었습니다.
(3) 시연 데이터 과표집(oversampling): 온라인 상호작용으로부터 쌓이는 경험 데이터가 많아질수록,초기 시연 데이터가 메모리에서 희석되는 문제가 있습니다. 이를 막기 위해 시연용 별도 리플레이 버퍼를 유지하고, 학습 시 미니배치의 절반은 시연 데이터, 절반은 실제 상호작용 데이터에서 뽑도록 샘플링 비율을 고정했습니다. 즉, 시간 경과에 따라 수집 데이터 양이 훨씬 많아지더라도 여전히 50% 확률로 시연 사례를 학습하게 하여, 시연이 제공하는 유용한 정보가 끝까지 보존되도록 했습니다. 이는 Feng et al., 2023; Ball et al., 2023 등의 선행 연구 아이디어를 적용한 것으로, 효과적으로 시연을 인위적으로 증폭시켜 탐색 신호**를 지속적으로 주입하는 역할을 합니다.
(4) RL 중 행동 감독 추가 (BC loss regularization): 온라인 RL 단계에서도 정책 업데이트 시 시연 행동을 모방하도록 유도하여 학습 안정성을 높였습니다. 구체적으로, 정책 \pi의 손실 함수에 Behavior Cloning 항(모델 기반 BC 손실)을 추가하여, 현재 상태에서의 정책 출력이 시연 데이터의 행동과 가까워지도록 정기적 행동 지도를 했습니다. 이는 특히 가치함수 Q 추정이 불안정할 때 정책이 엉뚱한 방향으로 가지 않도록 규제(regularization) 역할을 합니다. Lin et al., 2025 등의 연구에서 제안된 이 기법은, 정책을 전적으로 RL 신호에만 의존해 업데이트하지 않고 일부는 시연 행동을 따라가게 함으로써 안정적이고 효율적인 정책 학습에 기여합니다.

네 가지 기법을 모두 적용한 결과, Newt 에이전트는 시연 데이터와 온라인 상호작용 데이터를 최대한 효율적으로 결합하여 학습할 수 있었습니다. 논문 저자들은 이를 두고 “데이터 효율적이면서도 계산 자원 면에서 저렴한 방법”이라고 설명합니다. 실제로 시연을 통한 초기 성능 부스팅과 지속적 탐색 보조 덕분에, 동등한 환경 상호작용 예산 내에서 시연이 없는 경우보다 훨씬 빠르게 학습이 진행되었습니다.

또한 Newt 구현에서는 학습 인프라를 최적화하여, 방대한 작업들을 빠르게 병렬 학습할 수 있도록 했습니다. 예를 들어, 다중 프로세스와 GPU에 모델 학습, 환경 시뮬레이션, 리플레이 버퍼 관리를 분산시키고, PyTorch의 torch.compile 기능을 활용해 코드 실행을 컴파일 최적화했습니다. 그 결과 200개의 작업에 대해 1억 스텝을 학습시키는 데 단일 3090 GPU 11일 정도, 2장 사용 시 약 7일, 최신 GPU 활용 시 5일 미만까지도 단축할 수 있었습니다. 이는 대규모 멀티태스크 RL이 현실적인 시간 내에 수행 가능함을 보여주는 지표입니다.

요약하면, Newt는 모델 기반 강화학습의 구조 위에 시연 데이터의 활용 극대화 전략을 접목하여, 탐색 문제를 완화하고 학습 효율을 높인 멀티태스크 에이전트라고 할 수 있습니다. 다음으로, 실험 결과를 통해 이러한 설계가 실제로 어떤 성과를 보였는지 살펴보겠습니다.

실험 결과 및 성능 분석

논문에서는 Newt의 성능을 MMBench의 200개 전체 작업을 대상으로 종합 평가하는 한편, 여러 기준선(baselines)과 변형 기법들과 비교하여 상세 분석하였습니다. 특히 (i) 멀티태스크 학습의 전체적인 성능과 데이터 효율, (ii) 시연 데이터 사용의 효과, (iii) 언어 조건 입력의 효과, (iv) 새로운 작업으로의 전이 학습 능력, (v) 오픈-루프 플래닝 능력 등을 중점적으로 평가했습니다. 그 주요 결과를 항목별로 요약하면 다음과 같습니다.

1. 멀티태스크 학습 성능: Newt vs. 기존 기법들

Newt 에이전트의 전체 성능은 동등 조건에서 비교한 기존 기법들보다 우수했습니다. 저자들은 PPO (정책 경사 기반 on-policy RL), Fast TD3 (병렬 샘플링에 최적화된 off-policy RL), Behavior Cloning (시연을 모두 모아 학습한 정책) 등을 멀티태스크 버전으로 학습하여 Newt와 비교했습니다. 모든 방법은 총 환경 상호작용 1억 스텝(200개 작업 합산) 동안 학습되었고, 우선 공정 비교를 위해 상태 관측만 사용한 조건에서 실험되었습니다. 그 결과, Figure 1 (논문)에서 볼 수 있듯 Newt는 가장 높은 평균 점수를 달성했습니다. 특히 데이터 효율성 면에서 초기부터 빠르게 학습곡선이 상승하여, 동일 스텝 수 대비 PPO나 TD3보다 월등한 성능을 보여주었습니다.

도메인별 성능을 살펴보면, Newt의 이점은 일부 도메인에서 두드러지게 나타났습니다】. 예를 들어 DMControl, DMControl-Extended, ManiSkill3, MiniArcade 등에서는 Newt가 PPO나 FastTD3를 크게 상회하는 높은 수렴 성능을 보였습니다. 이러한 도메인들은 비교적 다양한 작업이라도 공통된 물리 특성(예: 유사한 로봇 역학이나 게임 메커닉)을 공유하는 경우가 많아, Newt의 월드 모델이 여러 작업 간의 공통 동역학을 효과적으로 학습하여 지식 전이가 일어난 것으로 해석됩니다. 반면, MuJoCo, Box2D, Atari 도메인에서는 Newt를 비롯한 모든 RL 방법의 성능이 상대적으로 낮았고, 심지어 단순 BC 모델과 비슷한 수준에 머무르기도 했습니다. 논문은 그 원인을 해당 도메인들의 작업들 간 공통점 부족에서 찾았습니다. 예를 들어, Atari 게임들의 경우 액션 공간 형식 외에는 게임 규칙이나 목표가 서로 크게 달라서, 멀티태스크 학습으로 공유할 만한 동역학이나 전략이 거의 없었다고 분석합니다. 따라서 이 영역에서는 시연 기반의 초반 성능 이상으로 향상되기 어려웠고, 결국 추가적인 RL이 큰 이득을 못 본 것으로 나타났습니다. 저자들은 이처럼 특정 도메인에 따라 멀티태스크 학습의 효과가 들쑥날쑥한 현상을 인정하면서, “어떻게 하면 작업 전반에 걸쳐 일관된 향상을 얻을 수 있을지”가 향후 과제라고 언급합니다.
전반적인 성능 지표로서, Newt (시연 사전학습 포함)는 0.44 점 (정규화 평균) 정도의 성능을 1억 스텝 학습 후 달성한 반면, 차선인 FastTD3나 PPO는 그보다 상당히 낮은 점수에 머물렀습니다 (구체 수치는 논문 도표 참조). 또한 데이터 효율 면에서도 Newt는 초기 수백만 스텝부터 유의미한 보상을 얻기 시작해 학습曲선 기울기가 가파른 반면, PPO 등은 훨씬 늦게 성능이 오르기 시작했습니다. 이러한 결과는 세계 모델+플래닝의 이점과 시연 활용 전략이 결합되어 얻은 성과로 볼 수 있습니다. 요약하자면, “단일 에이전트가 수백 작업을 동시에 학습하는 것이 가능할 뿐 아니라, 기존 방식보다 효율적일 수 있다”는 것이 입증된 것입니다.

한편, “Single-task 전용 전문가와의 비교”도 참고할 만합니다. 저자들은 각 작업마다 TD-MPC2 알고리즘으로 개별 전문가(5백만 스텝씩 학습)를 훈련시키고, 이를 통해 시연도 수집했습니다. 이 개별 정책들의 성능은 해당 작업에 국한해서는 Newt보다 높을 수 있지만, Newt는 200개 작업을 하나로 해결하면서도 개별 전문가에 필적하는 수준까지 도달한 경우가 많았습니다. 비록 학습 시간이나 데이터 면에서 개별 전문가의 총합(200개* 5M = 10억 스텝)보다 Newt가 훨씬 적은 양으로 학습되었다는 점을 감안하면, 이는 상당히 고무적인 결과입니다. 즉, 지식의 공유를 통해 데이터 사용량을 획기적으로 줄이고도 여러 작업을 잘 수행할 수 있음을 보여준 셈입니다. (다만 몇몇 어려운 작업에서는 아직 단일 전문가 성능을 못 미치는 경우도 있어, 향후 모델 용량을 키우거나 방법 개선이 필요합니다.)

2. 시연 데이터의 효과: 탐색 향상 및 성능 상한선 제고

Newt의 중요한 구성요소인 시연 데이터 활용이 성능에 미치는 영향도 면밀히 분석되었습니다. 시연을 사용하지 않은 버전의 Newt (즉, 위 4가지 전략을 제거하고 처음부터 온라인 RL로 학습)와 시연을 모두 활용한 기본 Newt를 비교한 결과, 시연이 있을 때 학습 초기 성능이 훨씬 높고 최종 성능도 향상되는 경향이 뚜렷했습니다. 특히 탐색이 어려운 환경(예: sparse 보상이나 복잡한 목표)에서 시연이 있느냐 없느냐는 성공 여부를 가를 정도로 큰 영향을 주었습니다. 논문에서는 “많은 경우 시연 추가가 학습의 난이도를 낮춰 최종 성능 자체도 향상시켰다”라고 보고하고 있습니다. 예를 들어, 시연이 없을 때는 전혀 성공 경험을 못 쌓던 과제에서 시연을 주자 빠르게 보상을 얻고 최종적으로 더 높은 점수에 도달한 사례들이 있습니다.

다만, 흥미롭게도 모든 작업에서 시연이 절대적으로 필요한 것은 아니었다고 합니다. 일부 비교적 쉬운 탐색 환경에서는 시연 유무에 따른 차이가 크지 않았고, Dense 보상이 충분히 주어지는 경우 RL 자체로도 학습이 가능했습니다. 그러나 전체적인 경향은 시연이 있을 때 수렴 성능의 일관성이 높아지고, 특히 초반 학습이 안정적이었다는 점입니다. 저자들은 시연 전략을 모두 적용한 것이 가장 좋은 결과를 낳았다고 강조합니다. Ablation 연구에서 시연 활용 기법 하나씩 제거 실험을 해본 결과, “시연 선행학습”, “시연 과표집”, “BC 정규화” 각각 단독으로도 어느 정도 이득을 주었으나, 세 가지를 모두 병행했을 때 성능이 가장 높았다고 합니다.

요컨대, 시연 데이터는 멀티태스크 RL에서 탐색의 난이도를 완화하고 학습 속도와 성능 상한을 끌어올리는 열쇠로 작용했습니다. 이는 향후 다른 멀티태스크 설정에서도 오프라인 데이터와 온라인 RL을 결합하는 방향이 유망함을 시사합니다. (다만 너무 시연에 의존하면 정책이 시연에 과적합해 새로운 방식의 탐색을 못할 위험도 있으므로, Newt처럼 적절히 RL과 병행하는 것이 중요합니다.)

3. 언어 조건의 효과: 작업 구분과 일반화

Newt의 또 다른 특징은 모든 작업을 자연어로 식별한다는 점입니다. 그렇다면 언어 입력이 실제 성능 향상에 기여하는지 궁금해집니다. 이에 대해 저자들은 언어 지시문을 뺀 모델(대신 Task ID 같은 것으로 작업 구분)과 언어를 넣은 기본 모델을 비교했습니다. 그 결과 언어를 활용했을 때 평균 성능이 0.371 → 0.438로 뚜렷하게 향상되었음을 보고했습니다. 약 18%가량의 성능 향상이므로 매우 의미있습니다. 특히 그 향상 폭이 큰 곳은 관측만으로는 어떤 작업인지 알기 어려운 경우였습니다. 예를 들어 RoboDesk의 여러 과제들은 초기 상태 관측이 거의 동일하게 생겼고 목표 물체만 다르기 때문에, 언어 지시(“파란 공 밀기”, “초록 공 집기” 등)가 없다면 하나의 정책이 어떤 작업을 해야 하는지 구분하기 어렵습니다. 실제로 RoboDesk 도메인에서 언어 조건을 넣자 성능이 크게 상승했다고 합니다. 반대로 DMControl 등 작업 이름만 다르고 관측 자체가 달라 구별이 쉬운 경우에는 언어 유무의 차이가 작았지만 성능 저하 없이 비슷한 수준을 유지했습니다.

더 흥미로운 점은, 언어 지시를 사용하는 방식이 새로운 작업으로의 일반화에 도움을 준다는 것입니다. 만약 단순히 작업 ID(one-hot)로 구분하도록 모델을 만들었다면, 훈련 시 보지 못한 새로운 작업에는 ID를 지정할 수 없어 대처가 불가능합니다. 반면 언어는 어휘를 확장하거나 설명을 바꾸는 방식으로 신규 작업을 기술할 수 있는 여지가 있습니다. 논문에서는 “언어 조건을 사용한 에이전트는 훈련 작업에서는 Task ID 사용 성능에 필적하면서도, 미지의 작업에는 언어로 generalize할 수 있는 메커니즘을 제공한다”고 평가했습니다. 즉, 언어 자체가 작업 표현의 공통 '벡터 공간'을 형성하기 때문에, 잠재적으로 훈련에 없던 목표도 유사한 언어적 개념으로 연결되어 있다면 정책이 대응할 수 있다는 것입니다.

하지만 언어 일반화에는 아직 어려움도 발견되었습니다. 부록의 추가 실험을 보면, 훈련 때 본 적 없는 완전히 새로운 단어로 지시문이 주어지면 성능이 떨어지는 경향이 있었습니다. 예를 들어 “Push the cube” (cube라는 단어는 봤음)이라는 지시와 “Push the <모르는 단어>”라는 지시를 비교해 새로운 조작 작업을 시키면 성공률에 큰 차이가 났습니다. 어떤 경우에는 잘 모르는 대상을 언어로 지시하면 전혀 수행을 못하지만, 그 대상이 훈련 중에 흔히 언급된 “cube”라고 (설령 실제론 큐브가 아닌데) 거짓말하면 성공률이 높아지는 사례도 있었습니다. 이는 현재 Newt의 언어 이해/일반화 능력이 완벽하지는 않다는 것을 보여줍니다. 저자들은 공정한 평가를 위해 전이 실험에서는 일부러 새로운 작업에 낯선(unseen) 지시문을 사용했다고 밝히고 있습니다. 그리고 이러한 현상은 향후 언어 모델과의 결합이나 언어 데이터 추가 학습 등을 통해 개선될 수 있는 여지로 보입니다.

정리하면, 언어 조건 입력은 멀티태스크 정책 학습에 있어 분명한 이점을 주었습니다. 작업들을 자연어로 구분 지음으로써 정확한 식별과 맥락 정보를 제공하여 성능을 높였고, “보지 못한 작업도 언어로 설명해 주면 해낼 가능성”을 열어준 것입니다. 이는 로봇에게 언어로 명령을 내리는 상용 시나리오를 생각하면 매우 중요한 특성이라 할 수 있습니다.

4. 새로운 작업으로의 전이 학습: 파인튜닝을 통한 적응

Newt 에이전트가 보여준 인상적인 능력 중 하나는 훈련에 포함되지 않았던 새로운 작업에도 신속하게 적응할 수 있었다는 점입니다. 저자들은 MMBench 200개 중 20개의 과제를 별도로 테스트셋으로 유지해 모델 훈련에는 포함하지 않고, 학습 완료된 Newt를 이 새로운 20개 작업에 파인튜닝해 보았습니다. 이때 시연 데이터는 추가로 제공하지 않고, 순전히 온라인 RL로만 적응시켰습니다.

그 결과, 사전학습된 Newt는 처음부터 꽤 높은 성능으로 시작하여 빠르게 향상되었습니다. 예를 들어, 전혀 학습하지 않은 새로운 작업들에 대해 제로샷(파인튜닝 전)으로도 평균 0.192의 점수를 달성했는데, 이는 무작위 정책 수준(약 0.01)보다 훨씬 높은 것입니다. 즉, 완전히 새로운 과제도 약간은 수행할 줄 아는 일반능력을 갖추고 있었다는 의미입니다. 파인튜닝을 진행하자, 불과 10만 스텝(각 작업당 5천 스텝 수준)만에 평균 0.868의 높은 성과를 거두었습니다. 이는 같은 budget으로 처음부터 학습한 경우(0.480)보다 훨씬 뛰어난 결과입니다. 요컨대, 사전 멀티태스크 학습 경험이 전혀 새로운 작업으로의 빠른 적응에 큰 도움이 되었음을 알 수 있습니다.

이러한 전이 학습 실험은 Newt의 세계 모델이 다양한 작업들의 공통 구조를 어느 정도 파악하고 있어, 새로운 작업에서도 시작점을 끌어올려 준다는 사실을 보여줍니다. 예컨대 새로운 작업이 기존 작업과 동역학이 비슷하지만 목표만 살짝 다른 경우, Newt는 이미 유사한 물리 법칙을 모델로 가지고 있기 때문에 금방 최적 정책을 찾아낼 수 있는 것입니다. 완전히 별개의 분야 작업일지라도, 적어도 탐색 초기 무작위보다는 나은 동작을 시도함으로써 학습이 가속화될 수 있습니다.

이러한 결과는 미래의 거대 멀티태스크 정책이 수십, 수백만 가지 다양한 사전 경험을 통해, 새로운 로봇 과제에도 몇 번 시도만에 적응하는 비전을 그려볼 수 있게 합니다. Newt 자체는 아직 0.19 → 0.86로 올라가는데 10만 스텝이 필요했지만, 저자들은 “훈련 데이터가 더 많아지면 전이 성능은 더욱 향상될 것”이라고 전망하고 있습니다. 이는 모델 기반 RL을 통한 지속적 학습이 few-shot 학습이나 meta-RL과 맥락을 같이 함을 시사하며, 한 번 학습한 월드 모델을 재사*하는 전략의 가능성을 보여줍니다.

5. 오픈-루프 (Open-Loop) 제어 능력: 세계 모델의 이해력 평가

모델 기반 강화학습의 흥미로운 용도 중 하나는 환경의 피드백 없이도 계획된 행동을 실행해 볼 수 있다는 점입니다. Newt의 세계 모델이 다양한 작업의 동역학을 잘 학습했다면, 시뮬레이터 없이 내부 모델로만 여러 스텝을 상상하며 행동을 결정할 수 있을 것입니다. 이를 시험하기 위해 저자들은 여러 작업에서 오픈-루프 실행 실험을 수행했습니다. 구체적으로, 8개의 서로 다른 대표 작업을 선정하고, Newt의 플래닝 모듈로 48 스텝에 이르는 행동 시퀀스를 한 번에 계산한 후, 그 행동들을 실제 환경에 한꺼번에 실행해 보았습니다. 이 동안 중간에 재계획이나 관측 피드백 반영은 일절 하지 않으며, 순전히 초기 상태와 목표에 기반한 48연타 행동 계획만으로 과제를 수행한 것입니다. (참고로 Newt의 평소 학습 시 플래닝 홀라이즌은 3 스텝이었는데, 그 16배에 해당하는 길이까지 한꺼번에 계획해 본 것입니다.)

결과는 상당히 고무적이었습니다. 대부분의 작업에서 오픈-루프로 실행한 경우에도, 환경의 피드백을 매 스텝 받으며 매번 계획한 경우(클로즈드-루프)와 거의 유사한 성능을 보였습니다. 즉, Newt의 세계 모델이 10~50 스텝 후의 상태 변화까지도 비교적 정확히 예측할 수 있었고, 그 기반 위에서 세운 계획이 실제 환경에서도 성공적으로 동작한 것입니다. 이는 Newt의 세계 모델이 환경의 동역학을 잘 내재화하고 있음을 시사합니다. 예컨대 Walker Walk (보행) 작업에서 48 스텝 동안 계속 앞으로 걸어가야 하는데, 오픈-루프로도 큰 문제 없이 진행되었고, LunarLander 이륙 작업에서도 발사부터 상승까지 비교적 안정적으로 수행되었습니다. 논문 도표 Figure 10에는 각 작업에서 t=0,16,32,48 스텝째 장면을 보여주며, 오픈-루프 계획의 행동들이 꽤 의미있게 이행되고 있음을 확인할 수 있습니다.

물론 실패하는 경우도 관찰되었습니다. 대표적으로 Walker Walk 작업에서 시간이 지날수록 로봇이 조금씩 한쪽으로 기울어 주행 방향이 빗나가는 드리프트 현상이 누적되었고, LunarLander Takeoff 작업에서는 목표 고도에 도달한 후에도 감속 제어를 못해 목표점을 넘어쳐 올라가버리는 일이 생겼습니다. 또한 Assault (Atari 슈팅 게임) 작업의 경우 게임 속 등장하는 적들의 확률적 출현 등을 세계 모델이 미리 알 수 없어, 총알이 빗나가는 등 한계가 드러났습니다. 이런 실패 모드들은 대부분 예측 누적 오차나 세계 모델이 모사하지 못한 비결정적 요소 때문으로 분석되었습니다. 그럼에도 불구하고, 한 번도 오픈-루프 연습을 해본 적 없는 Newt가 이 정도 장기간 계획을 성공적으로 실행해낸 것은 꽤 놀라운 결과입니다. 이는 세계 모델이 단순한 패턴 암기가 아니라 동역학의 구조를 학습했음을 뒷받침하며, 향후 계획 홀라이즌을 늘려 더 복잡한 작업도 한 번에 해내는 등의 연구 방향에 영감을 줍니다.

종합하면, Newt의 실험 결과는 다음과 같이 요약할 수 있습니다:

멀티태스크 정책 학습 가능성 입증: 단일 에이전트가 200개 연속 제어 과제를 동시에 학습하여 강력한 종합 성능을 발휘함.
데이터 효율성과 지식 공유: 세계 모델 및 시연 활용 덕분에 동일 데이터로 더 나은 성능을 내고, 특히 유사 과제 간 지식을 공유하여 일부 영역에서 탁월한 효과를 발휘함.
시연의 중요성: 시연 데이터는 탐색을 도와 학습 안정화 및 최종 성능 향상에 크게 기여하며, 여러 방법을 병행할 때 최대 효과를 냄.
언어의 역할: 자연어 조건은 작업 구분과 맥락 이해를 도와 성능을 높였고, 미학습 작업에 대한 일반화 가능성을 제공함.
전이 학습 능력: 사전 학습된 멀티태스크 모델은 few-shot 온라인 학습만으로 새로운 작업에 빠르게 적응, 처음부터 배우는 것보다 훨씬 유리함.
세계 모델의 정확성: 학습된 세계 모델은 여러 스텝을 내다볼 수 있을 만큼 정확하여, 오픈-루프 계획 실행시에도 거의 정상적으로 과제를 수행할 수 있었음.

이러한 관찰을 통해 저자들은 현재 Newt의 한계와 개선점도 논의합니다. 예를 들어, 일부 도메인에서 시연 및 멀티태스크의 이득이 미미했던 점(Atari 등)을 들며, “어떻게 하면 모든 작업에 일관되게 혜택을 줄 방법을 찾을지”가 과제로 남아있다고 언급했습니다. 또한 Newt의 아키텍처가 비교적 단순한 MLP 기반이므로, 앞으로 Transformer와 같은 강력한 구조를 도입하면 더 향상될 여지가 있다고 제안합니다. 다음 절에서는 이러한 미래 방향을 포함해, 본 연구가 갖는 의의와 향후 로보틱스/모델기반 RL 분야에 주는 시사점을 정리합니다.

결론 및 향후 연구 방향

“Learning Massively Multitask World Models for Continuous Control” 논문은 온라인 강화학습의 스케일을 전례 없이 확장하여, 하나의 에이전트가 대규모 다중 과제를 동시에 학습할 수 있음을 증명한 의미있는 연구입니다. 저자들은 이를 위해 방대한 벤치마크(MMBench)와 효율적인 모델 기반 에이전트(Newt)를 제시하고, 체계적인 실험을 통해 그 가능성과 한계를 탐색했습니다. 그 결과, 온라인 RL은 충분한 구조와 데이터로 뒷받침될 경우 수백 가지 연속 제어 작업도 감당 가능하며, 세계 모델의 활용이 특히 강력한 힘을 발휘한다는 것을 보여주었습니다.

이 연구는 모델 기반 RL과 로보틱스 학습 커뮤니티에 여러 가지 시사점을 제공합니다:

“Foundation Model” 패러다임의 RL 도입: 언어/비전 분야에서 검증된 대규모 사전학습 + 경량 미세조정 전략이 로봇 제어에도 통할 수 있음을 시사합니다. Newt는 거대한 시연 데이터로 월드 모델을 사전학습한 후 온라인 상호작용으로 개선하는 방식을 취했고, 이는 로봇 제어에서도 데이터 효율과 성능을 양립시키는 효과적인 방법임을 보였습니다. 앞으로 실제 로봇 제어에서도 시뮬레이션/과거 데이터로 거대 모델을 길러낸 후, 소량의 실제 환경 상호작용으로 적응시키는 연구가 활성화될 것으로 기대됩니다.
멀티태스크 학습의 확장성: 저자들은 실험을 통해 모델/배치 크기를 키우면 작업 수 증가에 맞춰 성능이 향상됨을 보였습니다. 이는 멀티태스크 학습에서 모델 용량과 데이터 스케일링 법칙이 존재할 가능성을 시사하며, 더 많은 작업을 학습하려면 보다 큰 모델과 더 많은 병렬 환경, 데이터가 필요하다는 지침을 줍니다. 궁극적으로 “주어진 작업 수에 대해 학습이 안정적으로 이뤄지기 위한 적절한 모델 크기와 데이터 양의 조합”이 있을 것이며, 이를 찾는 것이 중요하다고 언급하고 있습니다. 이러한 통찰은 향후 연구자들이 10개, 200개, 나아가 1000개 작업에 도전할 때 시스템 설계 기준을 제시해줍니다.
구조적 개선 여지: Newt는 상대적으로 간단한 MLP 기반 세계 모델인데, 논문에서는 “Transformer 등 최신 구조를 도입하면 더 나은 표현 학습이 가능할 것”이라고 제안합니다. 거대 언어 모델이나 시계열 예측에서 Transformer가 뛰어난 성과를 내듯, 시공간적으로 긴 의존성을 처리하는 데 Transformer가 유리할 수 있습니다. 향후 시계열 모델링 능력이 강화된 세계 모델이나 교차모달(attention) 구조를 적용해 Newt를 발전시킬 수 있을 것입니다. 또한, 메모리나 계층 구조를 도입해 작업 간 지식을 더 잘 조직화하는 방향도考해볼 수 있습니다.
지속적 학습과 적응: Newt의 전이 학습 결과는, 한 에이전트를 훈련해두면 나중에 새 과제에 빠르게 적응시킬 수 있음을 보여줍니다. 이는 모듈식 학습이나 life-long learning의 관점에서 고무적입니다. 향후에는 Newt 같은 멀티태스크 모델을 기초 정책으로 활용하여, 새로운 로봇에게 몇 번의 상호작용만으로 기술을 전수하는 연구가 전개될 수 있습니다. 실제 로봇 공학에서도 하나의 사전학습된 거대 모델을 각 로봇/업무에 맞게 파인튜닝하는 형태로 기술 전이가 일어날 가능성이 있습니다.
대규모 데이터 및 자동환경 생성: 논문에서는 MMBench를 구축했지만, 더 나아가 절차적 환경 생성이나 생성 모델을 통한 시뮬레이션 다양화도 흥미로운 방향이라고 언급합니다. 다양한 환경에서 훈련된 모델일수록 범용성이 높아질 것이므로, 알고리즘이 자기 자신에게 새로운 과제를 만들어내며 학습하거나, 현실 세계를 반영한 방대한 시뮬레이션 데이터로 사전학습하는 시도가 가치 있어 보입니다.
일관된 멀티태스크 개선 방법: 앞서 언급했듯, Newt에서도 일부 작업은 혜택을 덜 받는 문제가 있었습니다. 이는 catastrophic forgetting이나 부적응적 상호 간섭 문제와도 관련될 수 있습니다. 향후 연구에서는 멀티태스크 학습 시 모든 작업에서 고르게 이득을 볼 수 있는 기법 (예: 작업별 가중치 조정, 동적 아키텍처, 분산적 멀티 헤드 등) 개발이 필요합니다. 저자들도 “어떤 작업은 멀티태스크의 이점이 덜하다. 모든 작업에서 개선을 이루는 방법을 찾는 것이 중요하다”고 지적하였습니다.

마지막으로, 이 논문은 “모델 기반 강화학습”의 힘을 다시 한 번 부각시켰습니다. 월드 모델을 통해 공통된 환경 동역학을 학습하고 활용함으로써, 시연 데이터 통합이나 오픈-루프 제어 등 모델 프리 방법으로는 어려운 기능을 구현했습니다. 이는 실제 로봇에게도 세계에 대한 모델을 가르쳐서 유연한 사고를 가능하게 하는 방향으로 나아갈 수 있음을 보여줍니다.

요약하면, Newt와 MMBench는 연속 제어 분야 범용 인공지능 로봇의 가능성에 한 걸음 다가간 연구입니다. “온라인 RL로도 이렇게 할 수 있다”는 것을 증명함으로써, 그동안 데이터나 효율 문제로 회피되던 접근에 새로운 활력을 불어넣었습니다. MMBench는 앞으로 다양한 사전학습된 거대 모델 (예: 비디오 이해 모델)을 이 벤치마크에 파인튜닝해보는 연구나, 멀티모달 정책 학습 연구 등에도 활용될 수 있을 것입니다. 실제로 저자들은 “MMBench는 미리 학습된 거대 정책을 미세조정하는 연구에 특히 적합할 것”이라 언급하며, 자신의 Newt 모델 역시 커뮤니티의 strong baseline으로 제공하니 이를 바탕으로 더 발전된 방법들이 나오기를 기대하고 있습니다.

연구자들은 끝으로 이렇게 강조합니다: “온라인 RL을 수백 개 작업에 동시 적용하는 것이 충분히 가능하며, 그 결과 학습된 월드 모델은 놀라울 만큼 강한 일반화와 오픈-루프 제어 능력을 보여준다”. 이는 곧 우리에게 “대규모 멀티태스크 강화학습”이라는 새로운 장을 열어주었습니다. 향후 몇 년간 이 방향의 연구가 활발히 전개되어, 결국 실세계 로봇들이 수많은 작업을 한꺼번에 배우고 수행하는 모습을 기대해 봅니다.