📃ThinkWorld 리뷰

vla

world-model

human-video

cross-embodiment

ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning

Published

November 3, 2026

Paper Link (arXiv:2610.37666)
Project
Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang, Seungryong Kim, Fu-En Yang
NVIDIA · KAIST / arXiv preprint (cs.RO), 2026 (v1)

💡 사람 영상은 로봇 데이터보다 훨씬 다양하지만 실행 가능한 action이 없다. ThinkWorld는 VLA의 중간 “생각”을 사람 손목과 로봇 end-effector가 공유하는 discrete motion token 열(Chain-of-Dynamics, CoD)로 두고, 그 CoD가 만들 1초 뒤 장면을 DINOv3 feature로 상상하게 한 다음, 상상이 실제 미래와 맞는 CoD에 RL 보상을 준다.
⚙️ Qwen3-VL-2B가 CoD를 생성하고 64개 future query로 미래 DINOv3 patch feature를 예측하도록 SFT한 뒤, CoD 4개를 샘플링해 “상상한 미래 vs 관측한 미래”의 motion-weighted cosine을 보상으로 GRPO를 돌린다. 연속 action은 MolmoAct2에서 가져온 action expert가 VLM의 입력 토큰 KV만 보고 만든다. 그래서 배포 때는 CoD도 상상도 생성하지 않는다.
🎯 bimanual YAM 실기 3과제에서 in-domain 60/60, OOD 52/60(가장 강한 베이스라인 MolmoAct2는 47/60, 25/60), LIBERO 평균 97.3%, LIBERO-PRO 평균 55.6%를 보고한다. 다만 학습 시드는 1개이고, 구성요소 절제에서 RL의 몫은 LIBERO-PRO +1.2%p다. “라벨 없는 영상으로 배운다”는 기능은 RL 단계에서 실제로 라벨 없는 데이터를 쓴 실험이 없다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

사람 영상을 로봇 학습에 쓰는 방법은 크게 두 갈래다. latent action 모델은 프레임 쌍에서 action 같은 변수를 뽑아 라벨 없는 영상 전체로 확장되지만, 그 변수가 카메라 움직임이나 외형 변화를 담을 위험이 있다. 반대편은 손 자세를 추정하고 리타게팅해 명시적 motion을 감독 신호로 쓰는데, 물리적으로 단단한 대신 자세 추정과 사람-로봇 대응에 기대야 한다. ThinkWorld는 이 사이에서 “모든 영상은 행동의 결과(미래 장면)를 기록한다”는 점을 감독 신호로 쓰자고 제안한다.

방법은 세 조각이다. (1) 로봇 action과 사람 손목 궤적을 같은 delta end-effector 표현으로 바꾸고 FAST식 tokenizer로 2,048개 어휘의 discrete token 열로 만든다. 이것이 CoD다. (2) VLM이 CoD를 생성하도록 SFT하면서, CoD 뒤에 붙인 future query로 1초 뒤 main camera 장면의 DINOv3 feature를 예측하게 한다. (3) 같은 장면에서 CoD를 여러 개 샘플링하고, 각 CoD로 상상한 미래가 실제 미래와 얼마나 닮았는지를 보상으로 VLM을 GRPO로 강화한다. 실제 미래 프레임만 있으면 보상을 계산할 수 있으므로 저자들은 이 단계가 action 라벨 없는 영상으로 확장된다고 주장한다.

프로젝트 페이지 teaser 영상(약 2분, 무음). skill composition 데모, world-imagination RL 개요, CoD attention, 실기 OOD 비교, LIBERO-PRO rollout이 이어진다. 영상 앞부분의 "오븐에서 왕관을 꺼내 곰 인형 머리에 씌우기" 조합 과제는 논문에 나오지 않는 시연으로, 정량 평가가 없다.

Fig. 1. 왼쪽: 학습에 쓴 사람 egocentric 영상(EgoDex, EgoVerse)과 로봇 데모(DROID, RoboCOIN, RT-1, Bimanual YAM 등). 가운데: 사람과 로봇의 motion을 하나의 motion 공간에 두고(CoD), 그 CoD가 만들 미래를 상상하며, 상상과 실제 미래를 비교한 보상으로 RL을 돌린다. 오른쪽: 실기 ID/OOD 평균 성공률과 사람 영상을 통한 skill composition.

핵심 방법론:

VLM에 지시문 l, history 프레임 \mathbf{h}_t, 현재 관측 o_t, 그리고 정답 CoD \mathbf{c}_t^\star를 teacher forcing으로 넣고, 뒤에 붙인 future query \mathbf{q}_{t+\Delta}의 출력을 decoder로 미래 feature로 바꾼다(\Delta=1 s).

\tilde{\mathbf{q}}_{t+\Delta}=\mathrm{VLM}(l,\mathbf{h}_t,o_t,\mathbf{c}_t^\star,\mathbf{q}_{t+\Delta}),\qquad \mathbf{z}_{t+\Delta}=\mathcal{D}_{\mathrm{future}}(\tilde{\mathbf{q}}_{t+\Delta})

SFT 손실은 CoD의 cross-entropy와, 미래 프레임 o_{t+\Delta}를 frozen DINOv3로 인코딩한 목표 \mathbf{z}^\star_{t+\Delta}와의 거리다(부록 표 5 기준 \lambda_{\mathrm{future}}=3).

\mathcal{L}_{\mathrm{SFT}}=\mathrm{CE}\big(p_\theta(\mathbf{c}_t\mid l,\mathbf{h}_t,o_t),\mathbf{c}_t^\star\big)+\lambda_{\mathrm{future}}\,\mathrm{dist}(\mathbf{z}_{t+\Delta},\mathbf{z}^\star_{t+\Delta})

RL에서는 CoD K=4개를 샘플링하고, frozen future projector로 각 CoD의 미래를 예측해 patch별 cosine s_p를 전역 평균과 motion 가중 평균의 반반으로 섞은 값을 보상으로 쓴다. 가중치 w_p는 현재 프레임과 실제 미래 프레임 사이 DINO feature 변화가 큰 patch일수록 크다.

r_{\mathrm{world}}=\frac12\left[\frac{1}{|\mathcal V|}\sum_{p\in\mathcal V}s_p+\frac{\sum_p w_p s_p}{\sum_p w_p}\right],\qquad \mathcal{L}_{\mathrm{RL}}=0.999\,\mathcal{L}_{\mathrm{GRPO}}(r_{\mathrm{world}})+0.001\,\mathcal{L}_{\mathrm{replay}}

연속 action은 별도의 action expert(flow matching)가 VLM의 입력 토큰 KV만 받아 만든다. 생성된 CoD 토큰과 future query는 expert의 context에 들어가지 않는다. 그래서 CoD와 상상은 학습 중 VLM 표현을 빚는 데만 쓰이고, 배포 때는 생성하지 않는다.

주요 결과:

실기 bimanual YAM 3과제(표 6): in-domain 60/60, OOD 52/60, macro 94.4%·micro 93.3%. 가장 강한 베이스라인 MolmoAct2는 47/60·25/60(macro 62.2%·micro 60.0%), LaWAM 29/60·24/60, Diffusion Policy 31/60·13/60이다. 칸당 15회 또는 30회, 학습 시드 1개.
LIBERO(표 1): 평균 97.3%. 표 안의 차순위는 VLA-JEPA 97.2%, π0.5 96.9%다. 다만 이 표에는 같은 action expert를 제공한 MolmoAct2(원 논문 97.2%)와 MolmoAct2-Think(98.1%)가 없다.
LIBERO-PRO(표 1): LIBERO로만 학습하고 zero-shot 평가, 평균 55.6%(π0.5 53.2%, OpenVLA 51.7%). 우위는 Task 축(31.9% vs 표 안 최고 20.8%)에서 대부분 나오고, Object 축은 표의 여섯 모델 중 가장 낮다(73.3%).
구성요소 절제(표 3, LIBERO-PRO 평균): Qwen 베이스라인 40.1 → history 40.7 → future prediction 50.4 → CoD 54.4 → RL 55.6. 가장 큰 증가는 CoD나 RL이 아니라 future prediction 손실(+9.7%p)이다.
사람 데이터 비율(Fig. 6): 로봇 데이터 고정, 사람 비율 0→50%에서 LIBERO-PRO 45.4% → 47.8%, 같은 학습 규모의 로봇 전용 대조군보다 약 1.2%p 높다.
추론 지연(표 9): H100 batch-1 eager 기준 p50 324.84 ms, MolmoAct2 335.07 ms, MolmoAct2-Think 879.37 ms.

결론:

ThinkWorld의 새로움은 “중간 추론 토큰”을 사람과 로봇이 공유하는 motion token으로 정하고, 그 추론이 맞았는지를 실제 미래 장면과 대조해 점수를 매긴다는 발상이다. 실기 OOD 결과는 같은 플랫폼의 MolmoAct2보다 뚜렷이 높다. 그러나 이 “생각”은 배포 때 실행되지 않으므로 사실상 학습 시의 보조 목적함수이고, 절제에서 성능의 대부분은 future prediction 손실에서 나온다. 제목이 내세우는 RL의 몫은 1.2%p(시드 1개)이며, 라벨 없는 영상으로 RL을 확장한다는 핵심 주장은 실험으로 확인되지 않았다. 코드와 모델은 공개되지 않았다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

ThinkWorld는 VLA에게 “다음 1초 동안 손목이 어떻게 움직일지”를 discrete token으로 먼저 말하게 하고, 그 말대로 움직였을 때 장면이 어떻게 바뀔지를 DINOv3 feature로 그려 보게 한 뒤, 그림이 실제 1초 뒤 장면과 맞으면 그 말을 칭찬하는 방식으로 학습한다. 손목 궤적이라는 공통 언어 덕분에 사람 egocentric 영상과 로봇 데모가 같은 토큰 공간을 다듬는다. 핵심 질문은 두 가지다. 이 “말하고 그려 보기”가 배포 때는 전혀 실행되지 않는데도 제어를 좋아지게 하는가, 그리고 보상이 정말로 라벨 없는 영상을 감독 신호로 바꾸는가. 논문은 첫 질문에 실기·시뮬레이션 수치로 답하지만, 두 번째 질문은 기능으로 설계만 해 두고 실험으로는 보여 주지 않는다.

배경: 사람 영상의 trade-off (§1·§2)

VLA는 사전학습된 vision-language 지식과 이질적인 로봇 데모를 묶어 크게 발전했지만, 행동의 범위는 결국 action 라벨이 붙은 로봇 궤적에 묶여 있다. 사람 영상은 장면·물체·기술이 훨씬 다양하지만 로봇이 실행할 action을 주지 않는다. 저자들은 기존 접근을 두 축으로 나눈다.

접근	감독 신호	장점	한계(저자 정리)
latent action 모델(LAPA 등)	프레임 전이에서 추론한 변수	라벨 없는 영상 전체로 확장	변수가 under-constrained, 외형·카메라 움직임을 담을 수 있음
명시적 motion 감독(EgoMimic, EgoScale, EgoEngine 등)	손 자세·리타게팅 궤적	물리적 grounding이 직접적	정확한 자세 추정과 사람-로봇 대응에 의존
미래 예측 world model / foresight VLA	미래 픽셀·feature·궤적	“무엇이 바뀌는가”를 직접 다룸	그 변화를 만든 중간 동역학을 추론하기 어려움
추론 강화 VLA(ThinkAct, MolmoAct, ACoT-VLA 등)	텍스트 계획·시각 궤적·coarse action	action 생성을 구조화	추론이 그것이 일으킨 세계 변화에 grounding되지 않음

ThinkWorld의 자리는 마지막 두 줄을 합친 곳이다. 추론 토큰을 텍스트가 아니라 motion으로 만들고, 그 motion이 낳을 미래를 예측해 실제 미래와 맞춰 보는 것으로 추론을 세계 변화에 묶는다. 관련 연구 절은 차별점을 이렇게 적는다. ThinkWorld는 미래 예측을 제어 출력이나 상상 rollout으로 쓰지 않고, 예측과 관측의 일치를 학습 신호로만 쓰며 배포 때는 버린다.

방법 상세 1: Chain-of-Dynamics (§3.1·§3.2, 부록 A.1·A.2)

Fig. 2. 위(a): SFT 단계. motion tokenizer가 로봇 action과 주석된 사람 손 motion을 하나의 discrete 공간으로 바꾸고(CoD), VLM 뒤의 future query가 decoder를 거쳐 미래 DINO feature를 예측한다. action decoder는 VLM의 KV를 받는다. 아래(b): RL 단계. 사람·로봇 영상에서 CoD를 여러 개 rollout하고 상상한 미래와 실제 미래의 유사도로 GRPO 업데이트를 한다. action decoder는 frozen이고, CoD와 query는 “Training-Only”로 표시돼 있다.

문제 정식화. 입력은 지시문 l, 현재 관측 o_t, history 프레임 \mathbf{h}_t, 로봇이면 고유감각 상태 s_t이고, 출력은 연속 action 열 \mathbf{a}_t다. CoD \mathbf{c}_t는 이 둘 사이에 끼는 추론 인터페이스다.

motion tokenizer. 로봇 궤적과 주석된 사람 손 궤적의 motion 구간 \mathbf{m}_t를 정규화된 delta end-effector로 바꾸고 FAST 구조의 tokenizer \mathcal T로 \mathbf{c}_t^\star=\mathcal T(\mathbf{m}_t)를 만든다. 부록의 구체 설정은 다음과 같다.

항목	값
윈도	연속 손목 motion delta 1초
시점당 벡터	한 손 6D, 두 손 12D(translation [m] + rotation vector [rad]), gripper 상태 제외
정규화 스케일	translation 0.3448 m, rotation 0.9119 rad
어휘 크기	2,048 토큰
좌표계	로봇: robot base frame / 사람: actor 중심 frame(+z 중력 정렬, +x는 actor의 현재 yaw)

저자들은 이 토큰이 “의도된 손목 motion의 공유 토큰 공간”이며 로봇 action으로 실행되지 않는다고 분명히 적는다. 실행은 별도의 연속 action expert가 한다. 또 kinematic equivalence를 가정하지 않는다고 하는데, 실제로 공유되는 것은 손목(end-effector) 6D 변위뿐이고 손가락과 gripper는 빠진다. 사람의 다섯 손가락 파지와 로봇 gripper 개폐가 어떻게 대응되는지는 이 표현이 다루지 않는다.

좌표계에 대해 한 가지. 로봇은 고정된 base frame, 사람은 머리 yaw를 따라 도는 actor 중심 frame이다. 같은 “오른쪽으로 10 cm”라도 두 좌표계의 기준이 다르므로, 토큰이 같다는 것이 곧 같은 물리적 이동이라는 뜻은 아니다. 논문은 이 차이가 토큰 공유에 미치는 영향을 따로 분석하지 않는다(t-SNE는 뒤의 분석 절 참조).

VLM 입출력. 입력 순서는 main view history(최대 16프레임, 2 Hz) → 현재 main view → 현재 wrist view이고, 텍스트에 과제·embodiment·제어 방식·상태가 들어간다. 상태는 MolmoAct2를 따라 차원별로 256 bin discrete 토큰으로 넣는다. 프롬프트는 “미래 motion 계획을 만들고 1초 뒤 상태를 예측하라”로 끝나고, 모델은 <think> 안에 CoD를 쓴 뒤 future query를 처리한다.

방법 상세 2: CoD-conditioned future imagination (§3.2, 부록 A.1·A.5)

CoD만으로는 그 motion이 세계를 어떻게 바꾸는지 모른다. 그래서 CoD 뒤에 learnable future query 64개를 붙이고, VLM이 이를 맥락화한 출력을 decoder(2층 MLP + 6층 cross-attention)로 196개 DINO patch feature로 바꾼다. 목표는 main camera에서 현재로부터 정확히 1초 뒤에 가장 가까운 프레임이고, 요청 시각에서 50 ms 넘게 떨어진 샘플은 future 손실에서 뺀다.

항목	값
target encoder	frozen DINOv3 ViT-H/16+, 입력 224×224 → 14×14 patch × 1,280차원
future query	64개, VLM hidden 2,048차원
decoder	2층 MLP + 6층 cross-attention → 196 patch
미래 시점	\Delta=1 s (±50 ms 밖은 마스킹)
거리	patch별 1-\cos+\lambda_{\mathrm{SL1}}\mathrm{SmoothL1}_\beta, \ell_2 정규화 후, \beta=0.01, \lambda_{\mathrm{SL1}}=0.25\times21.792413
가중치	\lambda_{\mathrm{future}}=3

픽셀이 아니라 DINO feature를 예측하는 이유는 공간·물체 구조를 유지하면서 외형 세부를 추상화해, 사실적인 영상 생성 없이 “구조적 변화”로 비교할 수 있기 때문이라고 한다. 목표 프레임은 손실 계산에만 쓰고 VLM 입력에는 절대 넣지 않는다. \lambda_{\mathrm{SL1}}의 21.792413이라는 상수는 출처 설명이 없다.

SFT에서 CoD 토큰은 언어 cross-entropy를 받고, future query는 cross-entropy에서 빠져 future projector만 감독한다. 이 단계의 key 문장은 “action expert는 이 목적함수들이 빚은 VLM 표현을 쓰고, CoD 토큰을 직접 디코딩하거나 소비하지 않는다”이다. future 목표는 시간 순서가 있는 어떤 영상에서든 얻을 수 있으므로, 이것이 다음 단계에서 라벨 없는 전이로 학습을 넓히는 근거가 된다.

방법 상세 3: world-imagination RL (§3.3, 부록 A.6)

teacher forcing으로 학습한 future 예측만으로는 VLM이 “원하는 미래에 도달하는 중간 동역학을 계획”하도록 훈련되지 않는다는 것이 저자들의 문제의식이다. 그래서 같은 시각 맥락에서 CoD를 여러 개 샘플링하고, 각 CoD로 예측한 미래가 관측된 미래와 잘 맞는 것에 보상을 준다.

보상. Ping의 식대로 전역 평균 cosine과 motion 가중 평균 cosine의 평균이다. w_p는 현재와 실제 미래 프레임 사이 DINO feature 변화량으로 정한다. 중앙값 이하 patch는 0.2, 90번째 백분위에서 1이 되도록 선형 증가하고 그 밖은 clip한다. 거의 정적인 목표에서는 두 항 모두 전역 평균을 쓴다. 가중치가 관측 프레임만으로 정해지므로 보상 계산에 action 라벨이 필요 없다.

최적화 세부.

항목	값
그룹 크기	맥락당 CoD K=4
형식 오류 CoD	그룹 최저 유사도보다 0.05 낮은 보상
정규화	4개 그룹 안에서 표준화한 뒤 rollout 배치 전체에서 다시 표준화(GDPO 인용), advantage는 그 CoD의 모든 토큰이 공유
clip	토큰 단위 importance ratio [0.8, 1.28]
KL 계수	0.04
손실 가중	\lambda_{\mathrm{GRPO}}=0.999, \lambda_{\mathrm{replay}}=0.001 (replay는 canonical CoD의 teacher-forced CE)
학습 대상	VLM만. action expert와 future projector는 frozen
반복·학습률	2k iteration, 10^{-6}, 50 step warmup 후 고정, batch 128
데이터	“Robot + human motion”(표 5, SFT와 같은 표기)
이미지 증강	RL에서는 끔(그룹 4개가 같은 입력을 받도록)

GDPO는 원래 다중 보상을 분리 정규화하는 방법인데, ThinkWorld의 보상은 r_{\mathrm{world}} 하나다. 여기서는 사실상 그룹 표준화 뒤 배치 표준화를 한 번 더 하는 용도로 쓰인다.

구현: 모델·데이터·학습 순서 (§4.1, 부록 A.1·A.3·A.4)

모델. VLM은 Qwen3-VL-2B-Instruct, action expert는 MolmoAct2에서 초기화한 36블록 non-causal Transformer(폭 768, FP32)다. expert는 최대 30×32 action 텐서를 내고, 2차원 validity mask로 데이터셋 고유의 horizon과 채널만 학습한다. VLM에서 층별 key/value를 받는 방식은 MolmoAct2의 per-layer KV conditioning과 같다. flow matching은 t=0.001+0.999z, z\sim\mathrm{Beta}(1,1.5), 예제당 노이즈 샘플 8개, 추론 시 Euler 10 step이다. 전체 파라미터는 2.9B(표 1).

데이터(표 4). 8개 출처, 총 4,276.1시간이다.

출처	에피소드	프레임	시간	Hz	카메라	action 표현
YAM	32.2K	76.0M	704.1	30	top + wrist 2	30×14D absolute joint
DROID	74.6K	17.8M	328.9	15	exterior + wrist	15×8D absolute joint
RoboCOIN	112.0K	82.3M	755.2	30/50	1 또는 3 view	30/50×(12/14)D absolute EEF
Bridge	53.2K	1.9M	105.2	5	main	5×7D delta EEF
RT-1	87.2K	3.8M	350.6	3	main	3×7D delta EEF
BC-Z	39.4K	5.5M	152.0	10	main	10×7D delta EEF
EgoVerse	55.6K	124.8M	1,155.4	30	egocentric	1초 6D/12D motion token
EgoDex	314.8K	78.3M	724.8	30	egocentric	1초 6D/12D motion token
합계	769.1K	390.3M	4,276.1

사람 데이터는 시간 기준 1,880.2시간으로 44.0%다(필자 계산, 프레임 기준 52.0%, 에피소드 기준 48.2%). 여기서 짚어 둘 점이 있다. 표 4의 마지막 열이 보여 주듯 두 사람 데이터셋은 손목 motion token이라는 action 표현을 갖는다. Fig. 2 캡션도 “annotated human hand motions”를 tokenize한다고 쓰고, 블로그의 EgoVerse 리뷰가 정리했듯 EgoVerse는 3D 손 keypoint 주석을 포함한다. 즉 사전학습의 사람 데이터는 로봇 action은 없지만 손 motion 라벨은 있다. 프로젝트 페이지의 “44 % egocentric human video, no action labels”라는 문구는 이 점에서 논문 본문과 어긋난다. 이 밖에 SFT에는 Pixmo-Cap, Molmo2-ER, RoboPoint, RoboVQA 등 보조 VQA 데이터가 섞인다.

학습 순서(표 5). 세 단계가 순서대로 이어진다.

설정	VLM SFT	Action SFT	RL
초기화	Qwen3-VL-2B	VLM SFT	Action SFT
학습 모듈	언어모델 + future projector	action expert	언어모델
목적함수	CoD/VQA CE + 3 \mathcal L_{\mathrm{future}}	masked flow matching	GRPO/GDPO + 약한 SFT replay
데이터	로봇 + 사람 motion, 보조 VQA	로봇 궤적	로봇 + 사람 motion
iteration	150k	50k (현재 view 5k + history 45k)	2k
학습률	VLM 10^{-5}, projector 10^{-4}	10^{-4}\to5\times10^{-5}	10^{-6}
batch	128	128	128
seed	42	43 / 44	45
자원	16×8 GPU	8×8 후 16×8 GPU	8×8 GPU

Action SFT에서 VLM은 frozen이고 <think>...</think>는 비워 둔다(knowledge insulation 인용). 그 뒤 embodiment별 사후학습이 있다. ThinkWorld-LIBERO는 LIBERO 4개 suite 데모로 전체 모델을 50k iteration full fine-tuning(H100 32장)하고, ThinkWorld-YAM은 MolmoAct2-BimanualYAM으로 적응(H100 64장)한 뒤 실기 과제별 fine-tuning의 초기값이 된다.

순서가 만드는 미묘한 점. Action SFT가 RL보다 먼저다. RL은 VLM 가중치를 바꾸는데 action expert는 그 사이 frozen이다. 따라서 RL 직후의 expert는 자기가 학습한 것과 조금 다른 VLM KV를 받는다. 학습률 10^{-6}, KL 0.04, 2k iteration이 이 drift를 작게 묶고, 이후 사후학습(LIBERO는 전체 fine-tuning, YAM은 VLM LoRA + expert 전체 업데이트)이 다시 맞춘다. 결국 RL이 제어에 미치는 효과는 “VLM 표현이 조금 바뀐 채 사후학습을 거친 결과”로만 측정된다.

직관: 실행되지 않는 생각이 무엇을 바꾸는가

ThinkWorld를 가장 짧게 요약하면 inverse model과 forward model의 짝이다. VLM이 CoD를 샘플링하는 것은 “이 장면에서 다음 1초에 손목이 어떻게 움직일까”라는 inverse 추측이고, frozen future projector는 “그렇게 움직이면 장면이 이렇게 된다”는 forward model이다. 보상은 추측이 관측된 미래를 설명하는지로 매긴다. analysis-by-synthesis와 같은 구조라서, 미래 프레임만 있으면 추측을 채점할 수 있다는 점이 매력이다.

그런데 이 구조에는 두 가지 숨은 조건이 있다.

첫째, forward model의 판별력이 보상의 해상도를 정한다. future projector는 SFT에서 정답 CoD를 teacher forcing으로 받아 학습됐다. 표 2를 보면 같은 장면에서 정답 CoD와 섞은 CoD의 예측 차이는 전체 patch cosine으로 0.74 대 0.71, 움직임 상위 25% patch로 0.62 대 0.55다. 보상은 이 두 종류의 평균에 가까운 양이므로(가중치 정의가 상위 25% 마스크와 같지는 않다), 그룹 안 CoD 4개의 보상 차이는 대략 수 백분의 일 단위일 것이다(필자 추론). GRPO는 그룹 안에서 표준화하므로 작은 차이도 큰 advantage로 증폭된다. 장점은 장면별 예측 난이도라는 공통 성분이 지워진다는 것이고, 단점은 forward model의 잡음도 같이 증폭된다는 것이다. 논문은 RL 중 보상 분포나 그룹 내 분산을 보고하지 않는다.

둘째, CoD는 배포 때 실행되지 않는다. action expert는 입력 토큰의 KV만 받고, 생성된 CoD 토큰은 그 context에 없다. 즉 CoD가 action을 “조건화”하는 경로가 없고, 모든 효과는 가중치를 통해서만 전달된다. 이 점에서 ThinkWorld의 “think”는 chain-of-thought라기보다 auxiliary objective에 가깝다. 블로그의 Fast-WAM 리뷰가 다룬 질문, 곧 world action model의 이득이 학습 때의 미래 예측 목적함수에서 오는지 추론 때의 상상에서 오는지와 정확히 같은 지점이다. Fast-WAM은 전자가 중요하다고 주장했고, ThinkWorld는 설계부터 전자만 쓴다. 표 3에서 future prediction 손실 하나가 +9.7%p를 만든다는 결과도 이 관점과 맞는다. Cosmos Policy 리뷰에서 미래 상태 예측을 빼자 성능이 크게 떨어졌던 절제와도 같은 방향이다.

이렇게 보면 저자들의 주장은 “추론하면 잘한다”가 아니라 “추론하도록 학습시키면 표현이 좋아진다”로 읽어야 정확하다. 논문 결론의 문구(“training-time reasoning can support strong task performance while preserving low inference latency”)도 그렇게 쓰여 있다.

실험 1: 실기 일반화 (§4.2, Fig. 3, 표 6, 부록 B.2·B.3·C.1)

셋업. bimanual YAM(팔 2개), RealSense D405 3대(top 1, 손목 2), RGB만 사용. 정책 추론은 RTX 3090 한 장에서 돌고, 모든 정책을 같은 15 Hz로 질의·실행하며 action chunk의 앞 절반을 실행한 뒤 다시 계획한다. 과제별 데모는 color matching 60개, cup hanging 45개, object sorting 100개이고, 각 과제에서 이 데모로 과제 전용 정책 하나를 fine-tuning한다. ThinkWorld는 ThinkWorld-YAM에서 시작해 50,000 step, VLM은 LoRA, action DiT는 전체 업데이트한다. 베이스라인(Diffusion Policy, MolmoAct2, LaWAM)은 LeRobot 공식 레포의 모델별 레시피로 50,000 step 학습했다.

Fig. 9. 실기 셋업. YAM 팔 2개와 RealSense D405 카메라 3대(top view 1, 손목 2).

Fig. 3. 과제별 ID/OOD 성공률과 OOD 조건 예시. color matching은 새 색·새 물체, cup hanging은 새 물체·새 환경(다른 거치대), sorting은 새 물체·학습에 없던 궤적을 요구한다. 오차 막대의 정의는 캡션에 없다.

표 6. 실기 성공 횟수/시행(성공률 %).

모델	Color ID	Color OOD	Cup ID	Cup OOD	Sort ID	Sort OOD	Macro	Micro
Diffusion Policy	18/30 (60.0)	11/30 (36.7)	9/15 (60.0)	1/15 (6.7)	4/15 (26.7)	1/15 (6.7)	32.8	36.7
MolmoAct2	24/30 (80.0)	8/30 (26.7)	11/15 (73.3)	14/15 (93.3)	12/15 (80.0)	3/15 (20.0)	62.2	60.0
LaWAM	16/30 (53.3)	8/30 (26.7)	9/15 (60.0)	12/15 (80.0)	4/15 (26.7)	4/15 (26.7)	45.6	44.2
ThinkWorld	30/30 (100)	24/30 (80.0)	15/15 (100)	15/15 (100)	15/15 (100)	13/15 (86.7)	94.4	93.3

color matching은 ID·OOD 각 6개 조건, 나머지 두 과제는 각 3개 조건이고 조건당 5회다. macro는 여섯 칸 성공률의 단순 평균, micro는 120회 전체를 합친 값이다. 네 행 모두 macro·micro를 칸 값에서 다시 계산하면 표와 맞는다(필자 검산). Fig. 1의 ID/OOD 막대(ThinkWorld 100/88.9, MolmoAct2 77.8/46.7 등)는 과제 세 개의 성공률을 단순 평균한 값이다.

통계(필자 계산, Fisher 정확 검정). OOD 합계 52/60 대 MolmoAct2 25/60은 p\approx4\times10^{-7}, 95% Wilson 구간은 75.8~93.1% 대 30.1~54.3%로 겹치지 않는다. 칸별로 보면 color OOD(24/30 vs 8/30, p\approx7\times10^{-5})와 sorting OOD(13/15 vs LaWAM 4/15, p\approx0.003)는 뚜렷하고, cup OOD(15/15 vs MolmoAct2 14/15)는 p=1.0으로 차이가 없다.

본문 서술과 표의 어긋남 두 가지.

본문은 “in-domain에서는 방법들이 비슷하고 OOD에서 차이가 커진다”고 쓴다. 그런데 ID 합계도 60/60 대 MolmoAct2 47/60으로 p\approx1.2\times10^{-4}(필자 계산)다. Diffusion Policy(31/60)와 LaWAM(29/60)은 ID에서 이미 절반 수준이다. OOD 격차의 일부는 일반화 능력이 아니라 전반적인 수준 차이로 봐야 한다. 낙폭으로 다시 보면 ThinkWorld는 100 → 86.7(−13.3%p), MolmoAct2는 78.3 → 41.7(−36.7%p)이라 “덜 무너진다”는 주장 자체는 성립한다.
Fig. 3 캡션은 OOD에서 “베이스라인들이 크게 떨어진다”고 하지만, cup hanging에서는 MolmoAct2(73.3 → 93.3)와 LaWAM(60.0 → 80.0) 모두 OOD가 ID보다 높다. 이 과제의 OOD 조건(새 컵, 다른 거치대)이 실제로 더 어려운 조건인지 의문이 든다. 논문은 이 역전을 설명하지 않는다.

공정성 점검. ThinkWorld는 704시간의 YAM 데이터를 포함한 사전학습과 ThinkWorld-YAM 적응을 거친 체크포인트에서 출발한다. MolmoAct2 베이스라인이 어떤 체크포인트(예: MolmoAct2의 BimanualYAM 사후학습본)에서 시작했는지, LaWAM이 무엇으로 초기화됐는지는 논문에 없다. “LeRobot 공식 레시피”라고만 적혀 있다. Diffusion Policy는 대규모 사전학습이 없는 모델이라 같은 표에서 비교 대상이 되기 어렵다. 또 “OOD”는 과제별 fine-tuning 데이터 기준의 분포 밖이다. 새 물체·색이 4,276시간 사전학습 코퍼스(YAM 704시간 포함)에 있었는지는 확인할 수 없다. 평가자, 시행 순서, 조건의 무작위화는 논문에 적혀 있지 않다. 학습 시드는 1개다(부록 D).

MolmoAct2, sorting OOD(실패 에피소드)

ThinkWorld, sorting OOD(성공 에피소드)

프로젝트 페이지의 side-by-side 영상 중 sorting OOD 조건. 각 정책의 대표 에피소드 한 개씩이며, 페이지는 실시간 녹화라고 밝힌다.

Fig. 10(첫 페이지). color matching의 (a) 학습 원격조작 데모, (b) ID rollout, (c) OOD rollout을 네 방법 모두 프레임으로 보여 준다. 부록의 나머지 두 페이지는 cup hanging과 sorting이다.

실험 2: 사람 영상에서 skill composition (§4.3, Fig. 4, 부록 B.3·C.1, Fig. 11)

오븐 과제를 atomic skill 4개(열기, 왼쪽 물체 넣기, 오른쪽 물체 넣기, 닫기)로 쪼개 로봇 데모는 각 skill만 준다. 전체 순서(열기 → 왼쪽 넣기 → 닫기 등)는 사람 영상에서만 보여 준다. 부록에 따르면 로봇 atomic 궤적 100 에피소드와 전체 순서를 담은 사람 영상 90 에피소드로 모델 하나를 co-training한다. 사람 영상 샘플에는 VLM future prediction 손실만 적용하고 action DiT 손실은 뺀다.

Fig. 4. 위: 로봇 atomic skill. 가운데: 전체 순서를 보여 주는 사람 데모. 아래: ThinkWorld가 open → put-left → close를 한 rollout에서 이어 실행한 장면.

사람 데모: open → put-L → close

ThinkWorld rollout: "open the oven, put the left object in the oven, then close the oven"

프로젝트 페이지의 오븐 skill composition 영상. 로봇 학습 데이터는 atomic skill뿐이다.

Fig. 11(오븐). (a) 로봇 atomic 궤적, (b) 사람 데모 두 종류(open → close, open → put-L → close), (c) 성공 rollout과 그때 준 자연어 지시문. 지시문 자체가 skill 순서를 문장으로 나열한다.

Fig. 11(서랍, 이어지는 페이지). 위·아래 서랍의 열기·넣기·닫기 조합 세 가지를 같은 방식으로 보여 준다.

이 실험은 제목의 기여 중 “human-to-robot skill transfer”를 직접 겨냥하지만, 근거의 형태는 정성 예시뿐이다. 성공률, 시행 수, 베이스라인 수치가 없다. 본문은 “기존 end-to-end VLA는 이런 조합이 어렵다”고 쓰지만 MolmoAct2 등을 이 과제에서 돌린 결과는 없다. 더 중요한 빈칸은 대조군이다. Fig. 11(c)의 지시문은 “open the oven, put the left object in the oven, then close the oven”처럼 순서를 문장으로 다 적는다. 로봇 atomic 데이터만으로 학습한 모델에 같은 지시문을 줬을 때 어떻게 되는지가 있어야 “사람 영상이 조합을 가르쳤다”와 “언어가 순서를 알려 줬고 정책은 atomic skill을 이어 붙였을 뿐이다”를 가를 수 있다. 또 이 실험에서 사람 영상이 받는 신호는 future prediction 손실이고, CoD 감독이나 world-imagination RL은 쓰이지 않는다. 즉 ThinkWorld의 RL 구성요소는 이 결과에 관여하지 않는다.

실험 3: LIBERO와 LIBERO-PRO (§4.4, 표 1, 부록 B.1)

ThinkWorld-LIBERO는 표준 LIBERO 학습 데이터로만 사후학습하고, LIBERO-PRO는 그 정책을 추가 적응 없이 평가한다. LIBERO-PRO는 물체 속성, 물체 위치, 지시문 의미, 과제 목표, 환경을 통제해 바꾼다. 베이스라인의 LIBERO-PRO 수치는 LIBERO-PRO 공식 레포에서 가져왔고, VLA-JEPA만 저자들이 재현했다(†).

표 1. LIBERO와 LIBERO-PRO 성공률(%).

모델	파라미터(B)	Spatial	Object	Goal	Long	LIBERO 평균	Obj.	Pos.	Sem.	Task	Env.	PRO 평균
OpenVLA	7.5	84.7	88.4	79.2	53.7	76.5	93.0	0.0	97.3	0.0	68.0	51.7
π0	3.2	96.8	98.8	95.8	85.2	94.2	90.5	0.0	90.5	0.0	38.8	44.0
π0.5	3.4	98.8	98.2	98.0	92.4	96.9	96.0	20.8	95.8	0.8	52.8	53.2
MolmoAct	8.1	87.0	95.4	87.6	77.2	86.6	76.0	1.5	85.8	1.5	–	41.2
VLA-JEPA	2.8	96.2	99.6	97.2	95.8	97.2	80.4	3.5	97.2	20.8	41.0	48.5†
ThinkWorld	2.9	98.2	98.8	97.8	94.2	97.3	73.3	18.2	93.9	31.9	60.9	55.6

LIBERO-PRO 각 축은 Goal, Spatial, LIBERO-10, Object 네 suite의 산술 평균이다. OpenVLA·π0·π0.5·MolmoAct의 축별 값은 LIBERO-PRO 레포 표의 suite별 값을 평균하면 그대로 나온다(필자 대조). MolmoAct는 Environment 값이 없어 평균이 네 축 기준이다.

검산과 분해(필자 계산).

LIBERO 평균의 차이. ThinkWorld의 suite 평균은 97.25, VLA-JEPA는 97.20이다. 반올림 표기로는 97.3 대 97.2지만 실제 차이는 0.05%p다. suite별 값이 모두 0.2의 배수라 suite당 500회(과제 10개 × 50회) 평가와 맞는데, 그렇다면 0.05%p는 2,000회 중 1회다. “LIBERO 최고”는 사실상 동률이다.
LIBERO-PRO 우위의 출처. ThinkWorld − π0.5를 축별로 빼면 Object −22.7, Position −2.6, Semantic −1.9, Task +31.1, Environment +8.1이다. 평균 차 +2.4%p는 Task 축 하나(기여 +6.2%p)에서 나온다. Task 축을 빼고 네 축 평균을 내면 π0.5 66.4%, ThinkWorld 61.6%로 순서가 뒤집힌다. 반대로 Object 축은 표의 여섯 모델 중 가장 낮다.
본문이 고른 비교 대상. 본문은 Task·Environment에서 VLA-JEPA보다 11.1%p·19.9%p 높다고 강조한다. 산술은 맞다. 그러나 Environment 축에서는 같은 표의 OpenVLA(68.0)가 ThinkWorld(60.9)보다 높다. VLA-JEPA는 표에서 유일하게 저자들이 직접 재현한 베이스라인이기도 하다.

표에 없는 모델. 표 1에는 이 논문의 action expert 출처이자 실기 베이스라인인 MolmoAct2가 없다. 블로그의 MolmoAct2 리뷰가 기록했고 원 논문(arXiv:2605.02881) Table 8에서 다시 확인한 값은 다음과 같다.

모델(MolmoAct2 논문 Table 8)	Spatial	Object	Goal	Long	LIBERO 평균
GR00T N1.7	97.7	97.5	98.5	94.4	97.0
MolmoAct2	97.8	100.0	97.8	93.2	97.2
MolmoAct2-Think	98.8	99.8	98.5	95.4	98.1

MolmoAct2-Think(98.1)는 ThinkWorld(97.3)보다 높고, MolmoAct2(97.2)는 사실상 동률이다. 블로그의 다른 리뷰들이 기록한 LIBERO 값도 Cosmos Policy 98.5%, Fast-WAM 97.6%로 ThinkWorld보다 높다. 따라서 “LIBERO best overall”은 표 1에 올린 다섯 베이스라인 안에서만 성립한다. 참고로 arXiv e-print 소스에는 표 1에 MolmoAct2 행이 주석 처리돼 남아 있다. 공개된 논문의 일부가 아니므로 그 값은 옮기지 않는다. 빠진 이유는 논문에 없다.

LIBERO-PRO에서 MolmoAct2 수치는 공식 레포에도 없어 비교할 수 없다. ThinkWorld와 가장 가까운 아키텍처(같은 action expert, 같은 YAM 데이터)가 정작 시뮬레이션 비교에서 빠진 것은, ThinkWorld의 기여(CoD, future prediction, RL)를 그 출발점과 분리해 볼 기회를 놓친 것이다. 표 3의 “Qwen baseline”이 그 역할을 하지만, 그 베이스라인은 LIBERO-PRO 평균 40.1%로 π0.5(53.2)나 OpenVLA(51.7)보다 낮다.

실험 4: 분석 (§4.5, Fig. 5~8, 표 2·3)

CoD의 cross-embodiment 구조 (Fig. 5)

Fig. 5. </think> 토큰 hidden state의 t-SNE. 색은 2D end-effector 이동 방향 4개, 모양은 데이터셋(EgoDex, YAM, RoboCOIN).

Fig. 6. 사람 영상 비율별 LIBERO-PRO 성공률. 선은 전체 평균(왼쪽 축), 막대는 축별 성공률(오른쪽 축). 맨 오른쪽은 50% 변형과 학습 규모·iteration을 맞춘 로봇 전용 대조군.

저자들은 CoD를 요약하는 마지막 </think> 토큰의 hidden state를 t-SNE로 그려, 같은 이동 방향의 샘플이 데이터셋을 가리지 않고 모인다고 해석한다. 두 가지를 유의해야 한다. 그림의 점은 28개 정도다(필자가 셈). 그리고 CoD는 애초에 손목 이동을 tokenize한 정답으로 cross-entropy 학습된다. 이동 방향으로 군집이 생기는 것은 학습 목표상 기대되는 결과이고, 의미 있는 관찰은 “데이터셋이 섞인다”는 쪽이다. 그림을 보면 오른쪽(파랑) 군집은 대부분 RoboCOIN이고 아래(보라) 군집은 EgoDex와 YAM뿐이라, 섞임의 정도도 군집마다 다르다. 부록 C.2는 “PCA와 attention은 서술적 분석이며 인과적 증거로 쓰지 않는다”고 스스로 한정한다.

사람 데이터의 효과 (Fig. 6)

로봇 데이터 양을 고정하고 사람 영상 비율을 전체의 10%, 25%, 50%로 늘린다. 이 변형들은 최종 모델 구성과 다르다고 명시돼 있고, SFT 후 LIBERO 사후학습을 거쳐 LIBERO-PRO로 평가한다.

변형	LIBERO-PRO 전체 평균(%)
로봇 전용	45.4
사람 10%	약 46.1 (그림에서 읽음)
사람 25%	약 47.6 (그림에서 읽음)
사람 50%	47.8
같은 규모 로봇 전용 대조군	약 46.6 (본문 “약 1.2%p 낮음”에서 역산)

전체 평균은 단조 증가하고, 학습 규모를 맞춘 대조군을 둔 설계는 좋다. 다만 효과 크기는 +2.4%p(대조군 대비 +1.2%p)이고 학습 시드가 1개다. 막대를 보면 축별로는 단조가 아니다. Environment는 25%에서 가장 높고(약 51%) 50%에서 다시 내려가며(약 46%), Task는 50% 변형(약 29.5%)보다 대조군(약 31%)이 높다(모두 그림에서 읽은 근사치). 그리고 이 실험의 “사람 영상”은 손목 motion 라벨이 있는 EgoDex·EgoVerse다. 라벨 없는 영상의 효과를 잰 것이 아니다.

CoD가 미래 예측에 하는 일 (Fig. 7, 표 2, 부록 Fig. 12)

Fig. 7. 현재·미래 관측과 그 DINO PCA, 그리고 CoD 조건별 미래 예측. 생성한 CoD로 예측한 미래(초록 배경)는 미래 GT 쪽 구조를 담고, 섞은·빈·CoD 없는 조건은 현재 상태와 비슷하게 남는다.

표 2. 1초 뒤 DINOv3 feature와의 cosine 유사도.

조건	전체 patch	Δ	움직임 상위 25% patch	Δ
Shuffle	0.71	−0.024	0.55	−0.071
Empty	0.72	−0.020	0.54	−0.079
CoD off	0.72	−0.018	0.55	−0.071
CoD on	0.74	–	0.62	–

CoD를 넣으면 움직이는 영역의 예측이 확실히 좋아진다(0.55 → 0.62). 다만 해석에 필요한 정보가 빠져 있다.

자명한 기준선이 없다. “현재 프레임의 DINO feature를 그대로 미래 예측으로 내기”의 점수가 없다. Fig. 7이 보여 주듯 CoD 없는 조건들은 현재 상태를 거의 복사한다. 그렇다면 CoD off의 0.72는 사실상 복사 기준선에 가깝고, CoD가 복사보다 낫다는 폭은 전체 patch 0.02 수준이다.
“CoD off”는 반사실 모델이 아니라 개입이다. CoD가 항상 있는 상태로 학습한 projector에서 CoD를 빼는 것은 그 projector에게 분포 밖 입력이다. CoD 없이 future prediction만 학습한 모델(표 3의 “+Future prediction” 행)의 cosine은 보고되지 않는다.
평가 데이터가 무엇인지(어느 데이터셋, 몇 샘플, 정답 CoD인지 생성 CoD인지)가 표 캡션과 본문에 없다. Fig. 7 캡션은 “generated CoD”라고 한다.

Fig. 12(첫 페이지). 에피소드별로 현재·미래 RGB, 현재·미래 DINO PCA, 그리고 CoD 조건 다섯 가지(원래 CoD, shuffle, empty, 다른 에피소드의 donor CoD, CoD 없음)의 예측. 예측은 GT보다 눈에 띄게 매끈하다.

attention (Fig. 8)

Fig. 8. CoD 토큰에서 현재 관측으로의 attention. 사람·로봇 예시에서 손, 로봇 팔, 조작 물체 주변에 attention이 모인다.

부록은 같은 분석을 future query 토큰까지 넓혀, CoD attention은 움직이는 영역에 집중하고 future query attention은 장면 전체에 퍼진다고 보고한다(Qwen 24~27층). 예시가 선택된 것인지 무작위인지는 적혀 있지 않고, 앞서 인용했듯 저자들 스스로 인과적 증거가 아니라고 한정한다.

구성요소 절제 (표 3)

표 3. 구성요소를 누적해 더한 LIBERO-PRO 성공률(%).

변형	Object	Pos.	Sem.	Task	Env.	평균	증가
Qwen 베이스라인	59.5	1.9	84.4	17.2	37.8	40.1	–
+ history 프레임	61.3	4.9	84.6	22.8	29.8	40.7	+0.6
+ future prediction	70.0	11.9	89.4	26.3	54.4	50.4	+9.7
+ CoD	74.5	16.9	94.4	29.7	56.4	54.4	+4.0
+ RL	73.3	18.2	93.9	31.9	60.9	55.6	+1.2

총 증가 +15.5%p 중 future prediction이 63%, CoD가 26%, RL이 8%, history가 4%를 차지한다(필자 계산). 본문의 “CoD는 모든 shift에서 일관되게 개선한다”는 표와 맞고(다섯 축 모두 상승), RL에 대해서는 “position·task·environment에서 추가 이득”이라고 정확히 한정해 썼다. 실제로 RL은 Object(−1.2)와 Semantic(−0.5)을 내린다. history는 Environment를 37.8 → 29.8로 크게 떨어뜨리는데 논문은 언급하지 않는다.

이 절제의 구조적 한계는 순서가 하나뿐이라는 점이다. future prediction 없이 CoD만 넣은 변형, CoD 없이 RL 비슷한 것을 넣은 변형이 없어서 “CoD의 몫”은 future prediction이 이미 있는 상태에서의 증분으로만 측정된다. 시드 1개라 RL의 +1.2%p가 학습 분산보다 큰지 판단할 수 없다. 제목이 “World Imagination Reinforces Chain-of-Dynamics Reasoning”인 것을 생각하면, 이 논문에서 가장 약하게 뒷받침된 구성요소가 제목의 동사다.

실험 5: 부록의 추가 결과 (부록 C.3~C.5)

SimplerEnv(표 7). SimplerEnv 전용 fine-tuning 없이 평가했다. 저자들은 Bridge와 RT-1 데이터를 SFT·RL에서 봤다고 밝힌다.

그룹	과제	성공률(%)
Google-VM	–	49.31
Google-VA	Pick Coke can	56.00
Google-VA	Drawer	33.33
Google-VA	Move-near	55.83
Google-VA	Put-in-drawer	2.12
Google-VA	micro 평균	46.54
WidowX VM	–	41.67
전체	micro	46.51

베이스라인이 없어 수준을 판단할 기준이 표 안에 없다. 이 절의 원래 목적은 closed-loop에서 미래 예측이 실제 도달 상태를 따라가는지 보는 정성 그림(Fig. 14)이다.

Fig. 14. SimplerEnv closed-loop rollout에서 각 열의 위는 실제 도달한 관측, 아래는 직전 재계획 시점에 예측한 1초 뒤 feature의 PCA. 세 예시 중 서랍과 가지 과제에서는 예측이 step에 따라 거의 바뀌지 않는다.

저자들은 예측이 장면 구조와 과제 진행을 “closely track”한다고 쓰지만, 그림을 보면 “Place object in closed drawer”와 “Put eggplant in basket”의 예측은 step 16~63, 21~79에 걸쳐 거의 같은 패턴이다. 장면 배치는 맞지만 과제 진행(서랍 열림, 가지 이동)이 예측에 드러난다고 보기는 어렵다(그림 판독). “Move object near target”에서는 팔 영역의 변화가 보인다.

LIBERO-Plus(표 8). LIBERO로만 학습한 정책을 zero-shot으로 평가했다.

방법	Camera	Robot	Language	Light	Background	Noise	Layout	평균
OpenVLA-OFT	56.4	31.9	79.5	88.7	93.3	75.8	74.2	69.6
π0-FAST	65.1	21.6	61.0	73.2	73.2	74.4	68.8	61.6
DreamVLA	65.0	40.8	63.5	85.7	82.6	84.9	74.0	69.9
ThinkWorld	46.9	70.5	73.5	90.7	90.0	62.7	79.6	71.7

OpenVLA-OFT와 π0-FAST 행은 LIBERO-Plus 레포의 리더보드 값과 같다. 평균 열은 일곱 칸의 단순 평균이 아니다(예: OpenVLA-OFT 단순 평균 71.4 vs 표기 69.6). 벤치마크 쪽의 집계 방식을 따른 것으로 보이며, ThinkWorld도 단순 평균이면 73.4다(필자 계산). 우위는 robot 초기 상태(70.5 vs 차순위 40.8)에서 크고, camera(46.9)와 noise(62.7)는 네 방법 중 가장 낮다. 저자들도 카메라·조명·배경·센서 노이즈는 “방법의 주된 초점 밖”이라고 밝힌다. 표의 OpenVLA-OFT 인용이 OFT 논문이 아니라 OpenVLA 논문으로, π0-FAST 인용이 π0 논문으로 걸려 있는 작은 인용 오류가 있다.

추론 효율(표 9). H100 80GB 한 장, batch 1, CUDA graph 끔(eager), 워밍업 5회 후 50회 동기화 측정이다.

정책	p50 (ms)	p95 (ms)	50회 총 시간 (s)	최대 메모리 (GiB)
MolmoAct2	335.07	467.96	18.44	12.11
MolmoAct2-Think	879.37	1014.47	46.76	12.12
ThinkWorld	324.84	333.09	16.31	7.07

ThinkWorld는 추론 때 CoD를 생성하지 않으므로 MolmoAct2와 비슷한 지연이 나오는 것은 설계상 당연하다(p50 기준 3% 차이). 프로젝트 페이지가 내세우는 “325 ms vs MolmoAct2-Think 879 ms”는 추론을 실행하는 변형과 실행하지 않는 모델의 비교다. 저자들도 각 모델이 자기 고유의 입력 규약을 써서 “동일 입력 아키텍처 절제가 아니다”라고 밝힌다. 절대값도 주의가 필요하다. MolmoAct2 리뷰가 기록한 원 논문 측정(LIBERO, H100, horizon 10)은 최적화 전 23.02 Hz, caching과 CUDA Graph를 켜면 55.79 Hz였다. 원 논문의 제어율은 “action horizon ÷ 생성 지연”이므로 호출당 약 434 ms와 약 179 ms에 해당한다(필자 환산). ThinkWorld 표의 MolmoAct2 335 ms(eager, CUDA graph 끔)는 그 사이에 있다. 입력 조건이 달라 직접 비교할 수는 없지만, 이 표는 MolmoAct2의 배포 최적화(CUDA Graph)를 켠 상태와 비교한 것이 아니다.

비판적으로 보면

강점

중간 추론을 “사람과 로봇이 공유하는 motion”으로 정한 선택이 깔끔하다. 텍스트 계획은 embodiment와 무관하지만 물리에 약하고, 로봇 action은 물리적이지만 embodiment에 묶인다. 손목 6D 변위는 둘 사이의 좋은 타협이고, FAST tokenizer로 VLM의 언어 모델링에 그대로 얹힌다.
보상 설계가 구체적이고 근거가 있다. 픽셀 대신 DINOv3 feature, 전역 항으로 장면 일관성 유지, 변화량 기반 가중치로 배경 지배 억제, 정적 목표 예외 처리, 형식 오류 페널티까지 부록에 다 적혀 있다. 보상 계산에 action 라벨이 필요 없다는 성질도 설계상 맞다.
배포 비용이 늘지 않는다. 추론 시 추론 토큰을 생성하지 않으므로 지연이 비슷한 VLA와 같다. 학습 때만 추론하고 배포 때는 버리는 설계를 명시적으로 택하고, 그 근거를 Fast-WAM 계열의 관찰과 같은 방향으로 제시한다.
실기 OOD 결과가 단단하다. 같은 플랫폼의 강한 베이스라인(MolmoAct2) 대비 OOD 52/60 대 25/60은 칸당 시행 수가 작아도 통계적으로 분명하다. 시행 분모, macro·micro 정의, 조건 수를 부록 표로 밝힌 점도 좋다.
자기 한계를 일부 스스로 적었다. 학습 시드 1개, PCA·attention이 인과 증거가 아니라는 점, 지연 비교가 동일 입력이 아니라는 점, LIBERO-Plus에서 지각 교란은 초점 밖이라는 점을 저자들이 먼저 적는다.
재현에 필요한 숫자의 밀도. 데이터 출처별 규모와 action 규약, 단계별 학습률·iteration·GPU, tokenizer 정규화 상수, decoder 구조, RL의 clip·KL·가중치까지 부록에 있다. 코드가 없는 논문치고는 재구현에 필요한 정보가 많다.

약점·한계

“라벨 없는 영상으로 학습한다”는 핵심 주장에 해당하는 실험이 없다. 초록과 Fig. 2는 world-imagination RL이 motion 주석 없이 사람·로봇 영상을 감독 신호로 바꾼다고 쓴다. 그러나 표 5의 RL 데이터는 SFT와 같은 “Robot + human motion”이고, 사람 데이터(EgoDex, EgoVerse)는 손목 motion 라벨이 있다(표 4). replay 항도 canonical CoD를 쓴다. 논문 어디에도 RL 단계에 라벨 없는 영상을 넣었다는 서술이 없고, 라벨을 지운 데이터로 RL을 돌린 대조 실험도 없다. 라벨 없는 사람 영상이 실제로 쓰인 곳은 오븐 skill composition의 fine-tuning뿐인데, 거기서는 RL이 아니라 future prediction 손실만 받는다. 프로젝트 페이지의 “44% egocentric human video, no action labels”는 논문 표 4와 맞지 않는다.
제목의 동사가 가장 약한 구성요소다. 표 3에서 world-imagination RL의 기여는 +1.2%p(전체 증가의 8%)이고, Object·Semantic 축은 오히려 내려간다. 학습 시드가 1개라 이 크기가 학습 분산보다 큰지 알 수 없다. 이득의 63%는 future prediction 손실에서 나온다. RL 중 보상 곡선, 그룹 내 보상 분산, KL 추이도 보고되지 않아, 보상이 실제로 무엇을 최적화했는지 확인할 수 없다.
“생각”은 배포 때 실행되지 않는다. action expert는 입력 토큰 KV만 보고 CoD 토큰을 보지 않는다. 그래서 CoD는 chain-of-thought라기보다 auxiliary objective이고, 이름의 “Think”와 “reasoning”은 이 점을 가린다. 이 사실 자체는 논문에 정확히 적혀 있으므로 기만은 아니지만, MolmoAct2-Think(추론 실행)와의 지연 비교는 같은 범주의 비교가 아니다.
LIBERO 표의 베이스라인 선택. 같은 action expert의 출처이자 실기 베이스라인인 MolmoAct2(97.2%)와 MolmoAct2-Think(98.1%)가 표 1에 없다. 넣었다면 “LIBERO best overall”은 성립하지 않는다. 표 안에서도 VLA-JEPA와의 차이는 0.05%p(2,000회 중 1회로 추정)다. LIBERO-PRO 평균 우위는 Task 축 하나에서 나오고, 그 축을 빼면 π0.5가 앞선다. Object 축은 표에서 가장 낮다.
skill composition은 정성 예시뿐이고 대조군이 없다. 성공률·시행 수·베이스라인이 없고, 지시문이 skill 순서를 문장으로 적어 준다. 로봇 atomic 데이터만으로 학습한 모델에 같은 지시문을 준 대조가 있어야 사람 영상의 기여를 분리할 수 있다.
실기 비교의 조건이 덜 적혀 있다. 베이스라인의 초기 체크포인트, 평가자와 시행 순서, 오차 막대의 정의가 없다. 본문의 “ID에서는 비슷하다”는 서술은 표 6과 어긋나고(60/60 vs 47/60), Fig. 3 캡션의 “베이스라인이 OOD에서 크게 떨어진다”는 cup hanging(베이스라인 OOD가 ID보다 높음)에서 성립하지 않는다. OOD는 과제별 fine-tuning 데이터 기준이며, 사전학습 코퍼스와의 겹침은 확인되지 않는다.
future prediction 분석의 기준선과 평가 정의가 빠져 있다. “현재 feature 복사” 기준선이 없고, “CoD off”는 CoD가 있는 상태로 학습한 projector에 대한 개입이다. 평가 샘플의 출처와 수가 없다. 이 표가 곧 RL 보상의 판별력을 보여 주는 유일한 근거인데, 정답 CoD와 섞은 CoD의 차이가 전체 patch 0.03 수준이라는 점은 보상 신호가 약할 수 있음을 시사한다(필자 해석).
CoD의 공유는 손목 변위까지만이다. gripper·손가락 상태가 빠지고, 로봇은 base frame, 사람은 yaw를 따라 도는 actor frame이다. “같은 토큰 = 같은 물리적 이동”이 성립하는 범위를 정량화한 분석이 없고, t-SNE는 점 28개 정도와 학습 목표상 기대되는 군집에 기댄다.
코드와 모델이 공개되지 않았다. 논문에는 코드·모델 공개 계획에 대한 언급이 없다. 프로젝트 페이지의 Code·Model 버튼은 링크 없이 “soon”으로 표시돼 있다. 4,276시간 코퍼스와 H100 128장 규모의 학습을 감안하면 제3자가 결과를 검증할 경로는 현재 없다.

요약

ThinkWorld는 VLA의 중간 추론을 사람과 로봇이 공유하는 손목 motion token(CoD)으로 정하고, CoD가 만들 1초 뒤 장면을 DINOv3 feature로 예측하게 한 뒤, 상상과 실제 미래의 일치를 보상으로 GRPO를 돌린다. 배포 때는 CoD도 상상도 생성하지 않으므로 지연은 일반 VLA와 같다. 실기 bimanual YAM에서 OOD 52/60(MolmoAct2 25/60)은 이 논문의 가장 단단한 결과이고, LIBERO-PRO 평균 55.6%도 표 안에서는 최고다.

한계는 주장과 증거의 짝에 있다. 제목이 강조하는 world-imagination RL은 절제에서 +1.2%p(시드 1개)이고, 이득의 대부분은 future prediction 손실이 만든다. “라벨 없는 영상으로 RL을 확장한다”는 기능은 설계만 있고 실험에서는 라벨 있는 데이터로만 RL을 돌렸다. LIBERO 표는 같은 action expert를 쓴 MolmoAct2 계열을 빼고 비교했고, skill composition은 대조군 없는 정성 예시다. 코드와 모델은 아직 공개되지 않았다. 다음으로 보고 싶은 것은 손목 라벨을 지운 사람 영상만으로 RL을 돌렸을 때의 이득, RL 중 보상 분산과 학습 곡선, MolmoAct2를 같은 조건으로 넣은 시뮬레이션 비교, 그리고 skill composition의 정량 평가다.

이 글에 대해

읽은 범위: arXiv v1(2026-10-27, 34쪽)의 PDF와 e-print LaTeX 소스를 읽었다. 표의 수치는 LaTeX 소스의 표 파일에서 옮기고 PDF와 대조했다. 그림은 e-print 소스에 들어 있는 원본 그림 파일에서 가져왔다. 비교를 위해 MolmoAct2 논문(arXiv:2605.02881) Table 8, LIBERO-PRO와 LIBERO-Plus 공식 레포의 리더보드, 프로젝트 페이지의 본문과 영상 메타데이터를 함께 대조했다.
공개 범위: 논문에는 코드·모델 링크와 공개 계획이 없다. 프로젝트 페이지의 Code·Model 버튼은 “soon”으로 표시돼 있고 링크가 없다. 이 리뷰의 모든 성공률은 논문이 보고한 값이며 재현 확인은 하지 않았다.
영상: 본문의 영상은 프로젝트 페이지의 mp4를 그대로 불러온 것이다(무음). 실기 side-by-side와 skill composition 영상은 페이지가 고른 대표 에피소드 한 개씩이다.
표기: “필자 계산·검산”은 논문 표의 값으로 직접 계산한 값(Fisher 검정, Wilson 구간, 합계와 비율, 축별 차이, 단순 평균)이다. “그림에서 읽음”은 Fig. 6의 막대·점에서 읽은 근사치이고, t-SNE 점 개수도 그림에서 센 값이다. 그림 번호는 PDF 기준이며, arXiv HTML은 부록 그림을 페이지별로 따로 세어 번호가 다르다.