📃DreamDojo 리뷰

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

• Paper Link (arXiv:2602.06949v1)

• Project Page (dreamdojo-world.github.io)

• Code Link (github.com/NVIDIA/DreamDojo) — Apache-2.0. 2026-02-18에 pretraining·post-training 코드, 2B/14B 체크포인트, GR-1 post-training 데이터셋·평가셋이 공개됐다(HuggingFace nvidia/DreamDojo).

• 저자: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng 외 다수 — Kaichun Mo, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi “Jim” Fan (NVIDIA GEAR / HKUST / UC Berkeley / KAIST / UofT / UCSD / UW / Stanford / UT Austin)

• ICML 2026 (레포 설명 기준). arXiv v1 공개 2026-02-06 (cs.RO). 이 리뷰의 수치는 전부 arXiv v1 원문에서 확인한 값이다.

1. 💡 로봇 데이터가 부족해 world model이 관측했던 세팅 밖으로 못 나가는 문제를, 44,711시간 규모의 1인칭 인간 영상으로 사전학습해 푼다 — 사람과 로봇의 임베디먼트는 다르지만 접촉 중의 물리는 대체로 같다는 가정이다.
2. ⚙️ 액션 라벨이 없는 인간 영상에는 VAE 정보 병목으로 뽑은 연속 latent action을 통일된 proxy 라벨로 붙여 Cosmos-Predict2.5를 사전학습하고, 타깃 로봇 데이터로 post-training한 뒤, Self Forcing 계열 증류로 4-step autoregressive 학생 모델을 만든다.
3. 🎯 640\times480 예측을 10.81 FPS(교사 2.72 FPS 대비 약 4배)로 1분 이상 굴리고, OOD 시나리오 사람 선호 평가에서 Cosmos-Predict2.5 대비 물리 정확도 73.50% 승률(14B), AgiBot 과일 담기 정책 평가에서 실기 성공률과 Pearson r = 0.995의 상관을 보인다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇용 video world model이 게임·주행 도메인만큼 진도가 안 나가는 이유를 저자들은 두 가지로 정리한다. 하나는 커버리지다. 로봇 데이터는 하드웨어 편차와 수집 비용 때문에 좁은 분포에 갇혀 있어서, 세상의 거의 무한한 변주를 감당하지 못한다. 다른 하나는 stochasticity의 부재다. 기존 데이터셋은 거의 전부 전문가 시연이라 “다른 의도로 다르게 움직였다면 어떻게 됐을까”라는 반사실(counterfactual) 신호가 없고, 그래서 학습된 모델은 행동 조건에 잘 반응하지 않는다. 결과적으로 기존 world model은 본 적 있는 셋업을 재생하는 데 머문다.

DreamDojo의 처방은 데이터 축을 로봇에서 사람으로 옮기는 것이다. 1인칭 인간 영상은 일상 활동 중에 그냥 찍히므로 스케일과 다양성 양쪽에서 텔레오퍼레이션과 비교가 안 된다. 문제는 그 영상에 액션 라벨이 없다는 것이고, 여기서 두 번째 결정이 나온다 — HaMeR 같은 기성 손 포즈 추정기 대신, 프레임 쌍에서 자기지도로 뽑은 32차원 연속 latent action을 모든 영상의 통일 proxy 라벨로 쓴다. 손을 넘어선 팔·로코모션 움직임을 담을 수 있고, 임베디먼트 간극이 클 때도 저수준 손 특징보다 전이가 낫다는 이유다.

DreamDojo 전체 파이프라인(Fig. 1) — ① In-lab·EgoDex·DreamDojo-HV 세 인간 영상 데이터로 latent action 조건 사전학습, ② GR-1·G1·AgiBot·YAM 등 타깃 로봇 데이터로 post-training(액션 조건화 레이어 재초기화), ③ Self Forcing 증류로 autoregressive 학생 모델, ④ 미지 환경 시뮬레이션·라이브 텔레오퍼레이션·정책 평가·모델 기반 계획.

핵심 방법론:

(1) 백본과 손실. 베이스는 Cosmos-Predict2.5 — WAN2.2 tokenizer의 연속 latent 공간에서 도는 latent video diffusion model이고, flow matching으로 학습된다.

\mathcal{L}_{\text{flow}}(\theta)=\mathbb{E}_{\mathbf{x},\epsilon,\mathbf{c},t}\left\|\mathbf{u}(\mathbf{x}_{t},t,\mathbf{c};\theta)-\mathbf{v}_{t}\right\|^{2},\qquad \mathbf{v}_t=\bm{\epsilon}-\mathbf{x}

(2) Latent action(식 3). 두 연속 프레임 f^{t:t+1}을 받아 저차원 임베딩 \hat a_t로 사영하는 VAE 인코더와, \hat a_t + 이전 프레임 f^t로 f^{t+1}을 복원하는 디코더. 임베딩의 압축성과 KL 정규화가 함께 정보 병목을 만들어 문맥이 아닌 움직임만 남게 강제한다.

\mathcal{L}^{pred}_{\theta,\phi}(f^{t+1})=\mathbb{E}_{q_{\phi}(\hat{a}|f^{t:t+1})}\log p_{\theta}(f^{t+1}|\hat{a},f^{t})-\beta\,D_{KL}\!\left(q_{\phi}(\hat{a}|f^{t:t+1})\,\|\,p(\hat{a})\right)

(3) 액션 주입 두 가지 설계. ① 상대 액션 — 절대 관절 포즈 대신 각 latent frame 시작 시점(4 timestep마다)의 포즈를 기준으로 rebaseline한다. ② 청크 주입 — WAN2.2 tokenizer의 시간 압축비가 4이므로 연속 액션 4개 a^{t:t+4}를 묶어 대응 latent frame에만 넣는다. 전체 궤적을 global condition으로 뿌리면 미래 액션이 현재 예측에 잡음으로 들어와 인과 혼동이 생긴다는 논리다.

(4) 시간 일관성 손실(식 4·5). 프레임별 flow matching은 프레임 간 상관을 놓치므로, 예측 속도 \mathbf{z}_t의 차분을 정답 속도 차분에 맞춘다.

\mathcal{L}_{\text{temporal}}(\theta)=\mathbb{E}\Big[\sum^{K-1}_{i=1}\left\|(z^{i+1}-z^{i})-(v^{i+1}-v^{i})\right\|^{2}\Big],\qquad \mathcal{L}_{\text{final}}=\mathcal{L}_{\text{flow}}+\lambda\,\mathcal{L}_{\text{temporal}},\ \ \lambda=0.1

(5) 증류. 양방향 attention → causal attention(sliding window 12), 50 step → 4 step. 1단계는 교사의 ODE 해를 회귀하는 warmup(\mathcal{L}_{\text{warmup}}=\mathbb{E}\|G_{\text{student}}(x_t,t)-x_0\|^2), 2단계는 학생 자신의 출력을 문맥으로 삼는 Self Forcing + distribution matching(\nabla\mathcal{L}_{\text{distill}}=-\mathbb{E}[(s_{\text{real}}-s_{\text{fake}})\,dG_{\text{student}}/d\theta]). 학생에게 교사 지평 N보다 긴 N'>N 프레임을 생성시키고 그 중 크기 N 창을 무작위로 골라 감독한다.

주요 결과:

• 데이터. In-lab 55h + EgoDex 829h + DreamDojo-HV 43,827h = 44,711시간 / 1,179k 궤적(Tab. 1). 본문 기준 9,869개 고유 장면, 6,015개 고유 태스크, 43,237개 고유 물체.
• 액션 조건화(Tab. 2, GR-1 post-training 후). In-lab Eval PSNR: 사전학습 없음 20.576 → action-free 20.797 → latent action 20.913 → retargeted GT action 20.960. EgoDex Eval: 19.952 → 19.924 → 20.344 → MANO 20.474. 즉 액션 없는 사전학습은 거의 이득이 없고, latent action은 추가 장비가 필요한 GT 라벨에 근접한다.
• 데이터 믹스처(Tab. 3). 인간 데이터를 더할수록 네 벤치마크 PSNR이 단조 상승. 최종 모델 PSNR은 In-lab 21.114(2B)/21.413(14B), Counterfactual 20.907/21.087 — Cosmos-Predict2.5의 20.576/20.472 대비 개선. 다만 SSIM·LPIPS에서는 2B가 베이스라인보다 나쁜 칸이 여럿 있다(아래 비판 참조).
• 사람 선호 평가(Tab. 4, 12명, OOD 50샘플). 물리 정확도 승률 2B > Cosmos 62.50%, 14B > Cosmos 73.50%, 14B > 2B 72.50%. 액션 following은 63.45% / 72.55% / 65.53%.
• 증류(Tab. 6, GR-1 Long Eval 600프레임 = 1분). 교사 PSNR 14.086 / 2.72 FPS → 학생 13.146 / 10.81 FPS(H100 1장). 학생은 문맥 길이 12를 쓸 수 있어 가림·카메라 이동에 더 강하다.
• 정책 평가. AgiBot 과일 담기 20개 장면, 체크포인트 6개: Pearson r = 0.995, MMRV = 0.003.
• 모델 기반 계획. 체크포인트 5개 앙상블 제안 → 증류 모델로 미래 예측 → 외부 value model이 선택. 분산이 큰 정책 그룹에서 최고 체크포인트 대비 +17%p(53% → 70%).

결론:

DreamDojo는 “로봇 world model의 병목은 모델이 아니라 데이터 분포”라는 가설에 정면으로 베팅한 작업이다. 인간 영상 44k시간 + 연속 latent action이라는 조합으로 OOD 물체·환경·반사실 액션에서 일관된 개선을 보였고, 증류로 실시간 상호작용까지 열었다. 다만 자동 지표의 개선폭은 PSNR 0.3~0.8 수준으로 작고 SSIM·LPIPS에서는 뒤집히는 칸도 있어서, 이 논문의 설득력은 상당 부분 사람 선호 평가와 다운스트림 응용에 실려 있다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“로봇 영상이 모자라면 사람 영상을 쓰되, 라벨 없는 영상에 자기지도로 만든 연속 latent action을 붙여 액션-결과의 인과까지 함께 전이시킨다” — 그리고 이 모든 것을 이미 잘 학습된 비디오 확산 백본(Cosmos-Predict2.5) 위에 얹어 실시간 속도까지 증류한다.

배경: 왜 로봇 world model은 본 것만 재생하나

Interactive world model의 정의는 단순하다. 상태 전이 분포 p:\mathcal{S}\times\mathcal{A}\to\Delta(\mathcal{S})에서

s_{t+1}\sim p(\cdot\mid s_t, a_t)

를 샘플링하는 것. 비디오 생성이 좋아지면서 s를 프레임으로 두는 video world model이 게임·주행에서 잘 굴러갔지만, 저자들의 진단은 이 성공이 이산 제어(방향키·조향)에 머물러 있다는 것이다. 접촉이 많은 로봇 태스크의 고차원 연속 액션 공간에서는 같은 진전이 없었다.

두 가지 결핍이 겹친다.

1. 커버리지. 로봇 데이터는 하드웨어 편차와 수집 비용 때문에 좁다. Tab. 1을 보면 world model 학습에 쓰이던 로봇 데이터셋 중 가장 큰 AgiBot-World가 2.9k시간·106 scene이고, 다양성으로 유명한 DROID가 350시간·564 scene·86 skill이다.
2. 의도의 stochasticity 부재. 데이터가 전부 전문가 시연이면 “물체를 향해 손을 뻗다가 빗나가는” 류의 궤적이 애초에 없다. 그런 데이터로 학습한 모델은 반사실 액션에 반응하지 않는다 — 액션을 바꿔도 화면이 별로 안 바뀐다는 뜻이고, 이건 world model로서는 치명적이다.

여기서 human video로 눈을 돌리는 건 최근 흐름과 맞닿아 있다. 이 블로그의 EgoScale 리뷰(같은 NVIDIA GEAR 계열)와 EgoHumanoid 리뷰가 1인칭 사람 데이터로 정책을 키우는 쪽이었다면, DreamDojo는 같은 재료로 시뮬레이터를 키운다.

데이터: 44,711시간이라는 숫자를 뜯어보면

세 소스가 섞인다.

소스	성격	시간	궤적	스킬	장면
In-lab	자체 수집, Manus 글러브 + Vive Ultimate Tracker (GR-1 리타게팅 가능)	55	13.9k	35	1
EgoDex	공개 데이터, Apple Vision Pro 1인칭 + 고정밀 3D 손·손가락 포즈	829	30k	194	5
DreamDojo-HV	크라우드소싱 자체 수집, 가정·산업·소매·교육·행정 등	43,827	1,135k	6,015†	1,135k
합계		44,711	1,179k	≥6,015†	≥1,135k

†는 원문 표 각주 그대로 — “각 비디오 클립의 전역 언어 주석을 바탕으로 GPT가 추정”한 값이다.

DreamDojo-HV 분포 분석(Fig. 2) — (a) 시나리오 분포와 최빈 카테고리 예시, (b) [좌] 비디오당 서브태스크 수 분포(대부분 여러 상호작용이 필요한 long-horizon), [우] 대표 스킬과 빈도, (c) 언어 주석 내 동사·물체명 빈도 워드클라우드.

이 표에서 꼭 짚어야 할 산술 문제가 있다. 초록과 Tab. 1 캡션은 “기존 최대 데이터셋 대비 15배 긴 시간, 96배 많은 스킬, 2,000배 많은 장면”이라고 말한다.

• 시간 15배: 44,711 / 2,900(AgiBot) ≈ 15.4 → 확인됨.
• 장면 2,000배: 1,135,000 / 564(DROID) ≈ 2,013 → 산술은 맞지만, 이건 DreamDojo-HV의 scene 수를 궤적 수와 똑같이(1,135k) 센 결과다. 클립 하나 = 장면 하나로 계수한 것이고, 정작 본문은 “9,869개 고유 장면”이라고 적는다. 고유 장면 기준으로는 9,869 / 564 ≈ 17.5배다. 두 자릿수와 네 자릿수 사이의 차이가 계수 규칙 하나에서 나온다.
• 스킬 96배: 표 안의 최대 skill 수는 AgiBot 87, DROID 86이다. 6,015 / 87 ≈ 69.1배, 6,015 / 86 ≈ 69.9배 — 어느 쪽으로도 96배가 나오지 않는다. 원문 안에서 이 96이라는 숫자의 근거를 찾지 못했다(불확실 표기).

스케일 자체가 압도적인 건 사실이라 이 지적이 결론을 뒤집진 않는다. 다만 헤드라인 배수를 인용할 때는 계수 규칙을 함께 적어야 한다는 뜻이다.

방법 ①: latent action이 왜 손 포즈보다 나은가

라벨 없는 영상에서 액션을 뽑는 가장 직관적 경로는 HaMeR 같은 기성 손 포즈 추정기다. 저자들이 이를 버린 이유는 셋이다: (i) 손 바깥의 움직임(팔·로코모션)을 표현 못 하고, (ii) 심한 가림과 카메라 이동에서 손 위치 추정이 무너지며, (iii) 사람 손의 저수준 특징에 집중해 임베디먼트 간극이 클 때 전이가 나쁘다.

대안은 Genie 계열의 spatiotemporal Transformer VAE인데, 여기서는 AdaWorld(Gao et al., 2025) 계열의 연속 latent action을 택한다(이산 코드북 대비 cross-embodiment 일반화와 적응성이 낫다는 이유). 인코더는 f^{t:t+1}의 시공간 특징을 전역 pooling해 32차원으로 사영하고, 디코더는 그 임베딩 + f^t로 f^{t+1}을 복원한다. 압축성 + KL 항이 정보 병목이 되어, 다음 프레임을 복원하려면 모델은 프레임 사이의 가장 결정적인 움직임만 골라 담아야 한다.

Latent action model(Fig. 3) — [좌] 정보 병목 구조가 액션을 문맥에서 분리해 프레임 간 움직임을 나타내는 연속 벡터를 만든다. [우] 서로 다른 데이터셋에서 latent action이 가장 비슷한 프레임 쌍을 검색·군집한 결과: 문맥이 크게 달라도 임베디먼트들이 같은 동작을 하고 있다.

Fig. 3 오른쪽이 이 논문에서 가장 설득력 있는 정성 근거다 — latent 공간에서의 근접 이웃이 문맥은 완전히 다른데 동작은 같은 프레임 쌍들로 묶인다. 이게 성립해야 “인간 영상의 latent action”과 “로봇 영상의 latent action”이 같은 조건 슬롯을 공유할 수 있다.

주입 경로도 구체적이다. latent action → 경량 MLP로 timestep embedding 차원에 맞춘 뒤 timestep embedding에 더해 각 DiT 블록의 adaptive layer norm으로 들어간다. 액션 MLP의 마지막 층은 0으로 초기화해(ControlNet식) 학습 초기에 사전학습된 상태를 흔들지 않게 하는데, 저자들은 이게 물리 품질을 경험적으로 개선했다고 적는다.

방법 ②: 상대 액션과 청크 주입 — 인과 혼동을 줄이는 두 수

Post-training 단계에서 진짜 로봇 액션을 다룰 때 두 가지 구조 변경이 들어간다.

상대 액션. 절대 관절 포즈는 궤적마다 값의 분포가 제각각이지만, 각 latent frame 시작 포즈를 기준으로 rebaseline한 상대 액션은 궤적들 사이에 공유되는 좁은 공간에 몰린다. 모델링 복잡도가 줄고 연속·조합적 액션으로의 일반화가 좋아진다는 논리다.

청크 주입. WAN2.2 tokenizer의 시간 압축비가 4이므로 latent x^i는 픽셀 프레임 f^{i:i+4}에 대응한다. 그러면 액션도 4개씩 묶어 a^{t:t+4}를 대응 latent frame에만 보낸다. 전체 액션열을 global condition으로 모든 latent frame에 뿌리면 미래 액션이 현재 예측에 보이게 되는데, 상호작용의 결과는 인과를 엄격히 따르므로 미래 액션은 도움이 안 되고 잡음만 된다. 이 강한 prior가 인과 혼동을 크게 줄인다.

두 설계 모두 Tab. 5에서 검증되는데, 뒤에서 보듯 둘 사이에도 기여도 격차가 크다.

방법 ③: 시간 일관성 손실

식 (2)의 flow matching은 각 프레임을 독립적으로 감독한다. 저자들은 여기에 프레임 간 차분 매칭 항을 얹는다(식 4). 직관은 명확하다 — 물체 동역학과 액션 following은 “프레임이 어떻게 생겼나”보다 “프레임에서 프레임으로 무엇이 얼마나 변했나”에 담겨 있으므로, 그 변화량을 직접 감독하면 더 직접적인 신호가 된다. \lambda=0.1.

방법 ④: 증류 — 양방향 확산을 실시간 autoregressive로

라이브 텔레오퍼레이션이나 온라인 계획에는 실시간 autoregressive 추론이 필요한데, 비디오 확산 모델은 (i) 양방향 attention이 지평을 고정하고 (ii) denoising step이 50 수준이라 둘 다 막힌다.

Self Forcing을 따라 2단계로 푼다.

• Warmup. 학생 = 교사와 같은 구조·가중치, 단 attention은 causal(sliding window 12), step은 4. 교사의 ODE 궤적 x_0로 회귀시키되 문맥은 교사가 만든 latent(teacher forcing). 10k ODE 궤적, 10k iteration.
• Distillation. 문맥을 학생 자신의 이전 출력으로 바꿔 train-test 분포 불일치를 줄이고, 교사↔︎학생 분포의 KL을 score 차이로 미분해 감독(식 7·8). 여기에 한 겹 더 — 학생에게 교사 지평 N보다 긴 N' 프레임(학습 시 13~49)을 생성시키고 마지막 13프레임 창에만 손실을 걸어 긴 롤아웃을 시뮬레이션한다. 3k iteration.

부수 효과가 하나 있는데 이게 꽤 중요하다. 교사는 단일 초기 프레임으로 조건화되지만, autoregressive 학생은 자연스럽게 여러 프레임을 문맥으로 받는다. 그래서 가림에서 물체를 복원하거나 카메라가 흔들려도 일관성을 유지할 수 있다.

학생 문맥의 이점(Fig. 11) — 짧은 문맥을 모델링하는 증류 모델은 가림·카메라 이동 후에도 물체를 복원하지만, 단일 프레임 조건화인 교사는 그럴 수단이 없다.

실험 셋업: 벤치마크를 어떻게 만들었나

평가 설계가 이 논문에서 공들인 부분이다. 세 인간 데이터셋의 상호작용을 Fourier GR-1 휴머노이드로 재현해 세 평가셋(In-lab Eval / EgoDex Eval / DreamDojo-HV Eval)을 만들었다 — 즉 “사람 영상에는 있지만 로봇 학습 데이터에는 없는 물체·상호작용”이 평가 대상이 된다. 여기에 반사실 액션(장난감을 툭 치기, 물체로 손을 뻗다 빗나가기) 전용 Counterfactual Eval, 그리고 Gemini 2.5 Flash Image(Nano Banana)로 배경을 편집한 EgoDex-novel / DreamDojo-HV-novel(각 25샘플)을 더해 총 6개다.

벤치마크 시각화(Fig. 4) — 인간 데이터셋의 다양한 시나리오·액션을 반영하되 로봇 학습 데이터에는 OOD가 되도록 6개 평가셋을 구성했다.

자동 지표는 PSNR·SSIM·LPIPS. 프로토콜에 눈여겨볼 점이 있는데, 마지막 예측으로 조건 프레임을 갈아끼우며 3라운드 autoregressive 롤아웃을 돌려 49프레임 100샘플을 만든다 — 변종 간 차이를 더 벌리기 위해 일부러 누적 오차가 쌓이는 조건을 쓴 것이다. 정답 영상이 없는 novel 평가셋은 12명 자원자의 side-by-side 선호 평가로 대체한다(순서 무작위, “무승부” 허용).

학습 규모: latent action model 700M(인코더 24 + 디코더 24 블록, 400k step, batch 256, 320\times240, \beta=10^{-6}). World model 2B / 14B 두 변종, 사전학습 140k step, effective batch 1024, H100 256장, lr 1.6\times10^{-4}, EMA 사용, 텍스트 조건은 빈 프롬프트 고정. Post-training은 H100 128장, 50k step, batch 512, 10 Hz 샘플링, 길이 13(첫 프레임 조건 + 상대 액션 12). 증류는 H100 64장. 추론은 교사 35 step / 학생 4 step, CFG는 이득이 적어 끔.

실험 ①: 액션 조건화 — latent action은 GT 라벨에 얼마나 가까운가

방법	In-lab PSNR↑	SSIM↑	LPIPS↓		EgoDex PSNR↑	SSIM↑	LPIPS↓
사전학습 없음	20.576	0.774	0.222		19.952	0.787	0.219
action-free 사전학습	20.797	0.773	0.222		19.924	0.783	0.222
latent action	20.913	0.776	0.219		20.344	0.790	0.214
GT 액션(회색 = 추가 장비 필요)	20.960 (retargeted)	0.773	0.219		20.474 (MANO)	0.795	0.211

(Tab. 2. 전부 인간 데이터 50k step 사전학습 + GR-1 25k step post-training.)

읽어야 할 것 두 가지.

• action-free 사전학습은 사실상 무의미하다. EgoDex Eval에서는 사전학습을 아예 안 한 것보다 세 지표 모두 나쁘다(19.924 < 19.952, 0.783 < 0.787, 0.222 > 0.219). 인간 영상을 그냥 다음 프레임 예측으로 먹이는 것으로는 액션-결과 인과가 안 넘어온다는, 논문의 핵심 주장을 지지하는 음성 결과다.
• latent action은 GT 라벨과의 격차를 대부분 메운다. In-lab에서 20.913 vs 20.960(격차 0.047), EgoDex에서 20.344 vs 20.474(0.130). 게다가 GT 쪽은 Manus 글러브 + Vive 트래커나 Apple Vision Pro가 있어야 얻는 라벨이라 스케일이 안 되고, 영상에서 MANO를 추정하는 경로는 정밀도가 떨어진다.

Post-training 중 PSNR 곡선(Fig. 13) — [좌] In-lab Eval, [우] EgoDex Eval. latent action 사전학습은 추가 장비로 얻은 고품질 라벨과 비슷한 수준에 도달하고, EgoDex Eval에서는 action-free·사전학습 없음보다 훨씬 높은 상한에 도달한다.

다만 절대 개선폭은 PSNR 0.34~0.42, SSIM 0.002~0.003이다. 100샘플 평균이고 표준편차·신뢰구간이 보고되지 않았으므로, 이 숫자만으로 순위를 확정적으로 읽는 건 위험하다.

실험 ②: 데이터 믹스처 — 스케일링은 어느 지표에서 성립하나

사전학습	In-lab PSNR/SSIM/LPIPS	EgoDex	DreamDojo-HV	Counterfactual
Cosmos-Predict2.5 (사전학습 없음)	20.576 / 0.774 / 0.222	19.952 / 0.787 / 0.219	18.274 / 0.754 / 0.236	20.472 / 0.802 / 0.190
In-lab	20.913 / 0.776 / 0.219	20.267 / 0.785 / 0.218	18.621 / 0.754 / 0.233	20.755 / 0.796 / 0.187
+EgoDex	20.972 / 0.778 / 0.216	20.334 / 0.791 / 0.215	18.706 / 0.762 / 0.230	20.797 / 0.796 / 0.188
+DreamDojo-HV	21.016 / 0.781 / 0.215	20.414 / 0.790 / 0.216	18.724 / 0.759 / 0.232	20.852 / 0.799 / 0.188
DreamDojo-2B (최종)	21.114 / 0.774 / 0.222	20.411 / 0.775 / 0.226	18.813 / 0.747 / 0.238	20.907 / 0.787 / 0.192
DreamDojo-14B (최종)	21.413 / 0.788 / 0.208	20.525 / 0.787 / 0.213	18.924 / 0.751 / 0.228	21.087 / 0.793 / 0.185

(Tab. 3. 위 네 행은 50k step 사전학습 + 25k step post-training, 균등 샘플링 비율. 아래 두 행은 140k step 사전학습 + 1:2:10 샘플링, 30k step post-training — 즉 위아래는 동일 조건 비교가 아니다.)

PSNR만 보면 논문의 서술(“데이터를 더할수록 모든 벤치마크에서 개선”)이 그대로 성립한다. 그런데 SSIM·LPIPS를 함께 보면 이야기가 달라진다.

• DreamDojo-2B는 SSIM/LPIPS 8칸 중 단 한 칸도 Cosmos-Predict2.5를 이기지 못한다. In-lab은 동률(0.774 / 0.222), EgoDex(0.775 < 0.787, 0.226 > 0.219)·DreamDojo-HV(0.747 < 0.754, 0.238 > 0.236)·Counterfactual(0.787 < 0.802, 0.192 > 0.190)은 모두 열세다. PSNR은 올랐는데 구조 유사도·지각 거리는 나빠진 것이다.
• 14B도 완전하진 않다. LPIPS는 네 벤치마크 전부 개선하지만 SSIM은 DreamDojo-HV(0.751 < 0.754)와 Counterfactual(0.793 < 0.802)에서 베이스라인에 진다.
• 심지어 50k step짜리 “+EgoDex” 행이 SSIM/LPIPS에서 최종 2B보다 낫다. 사전학습 스텝을 늘리고 샘플링을 1:2:10으로 기울인 최종 레시피가 이 지표들에서는 역효과였을 가능성을 시사한다.

논문은 이 역전을 언급하지 않는다. “데이터를 키우면 좋아진다”는 결론은 PSNR에 한정된 서술로 읽는 게 정확하다.

인간 데이터 사전학습 효과의 정성 비교(Fig. 8) — 로봇 데이터셋에 없는 물체에 대해 사전학습 모델이 더 현실적인 시뮬레이션을 만든다. 정량 지표의 미세한 차이에 비해 정성 차이는 크게 보인다.

실험 ③: 구조·손실 절제 — 세 기여의 크기는 같지 않다

relative	chunked	temporal	GR-1 Val PSNR/SSIM/LPIPS	Counterfactual PSNR/SSIM/LPIPS
			16.199 / 0.557 / 0.315	19.448 / 0.768 / 0.211
✓			16.522 / 0.576 / 0.304	19.482 / 0.772 / 0.212
✓	✓		17.626 / 0.620 / 0.267	20.783 / 0.790 / 0.193
✓	✓	✓	17.630 / 0.622 / 0.266	20.980 / 0.796 / 0.189

(Tab. 5. Cosmos-Predict2.5를 GR-1 데이터만으로 30k step 파인튜닝.)

기여도가 극단적으로 불균등하다.

• 청크 주입이 압도적이다. GR-1 Val에서 +1.104 PSNR, +0.044 SSIM, −0.037 LPIPS. Counterfactual에서 +1.301 PSNR. “미래 액션을 현재 프레임에 보여주지 마라”는 한 줄짜리 prior가 이 논문 액션 controllability의 대부분을 만든다.
• 상대 액션은 중간이다. +0.323 PSNR(GR-1 Val)이지만 Counterfactual에서는 +0.034에 그치고 LPIPS는 오히려 0.211 → 0.212로 미세 악화.
• 시간 일관성 손실은 in-distribution에서 사실상 0이다. GR-1 Val 17.626 → 17.630(+0.004). Counterfactual에서는 +0.197 PSNR로 의미 있는 값이 나오지만, 식 (4)·(5)로 별도 제시된 기여 항목치고는 근거가 얇다. 저자들이 본문에서 언급한 “물체 완결성 개선·아티팩트 감소”는 Fig. 9의 정성 비교로만 뒷받침된다.

실험 ④: 증류 — 4배 빠르지만 공짜는 아니다

	PSNR↑	SSIM↑	LPIPS↓	FPS↑	predict len↓	context len↑
Teacher	14.086	0.442	0.412	2.72	12	1
Student	13.146	0.379	0.485	10.81	4	12

(Tab. 6. GR-1 Long Eval, 600프레임 = 1분, H100 1장.)

속도는 3.97배. 그런데 “minor degradation”이라는 원문 표현은 후하다 — LPIPS가 0.412 → 0.485로 17.7% 악화했고 SSIM은 0.442 → 0.379로 14.3% 하락했다. 교사 자체의 절대 성능도 낮다(1분 롤아웃 PSNR 14.086, SSIM 0.442). 즉 이 표는 “장시간 롤아웃은 아직 어렵다”는 사실과 “학생이 그 어려움을 조금 더 겪는다”는 사실을 동시에 보여준다. 대신 학생은 문맥 12 프레임과 4프레임 단위 예측 granularity를 얻는데, 이게 인터랙티브 응용에서는 지표 손실을 상쇄하고도 남는 성질이다.

한편 Tab. 7은 증류 후에도 사전학습의 이득이 살아남는지를 확인한다. 인간 영상 사전학습 교사에서 증류한 학생이 Cosmos-Predict2.5에서 증류한 학생을 네 평가셋 PSNR 전부에서 이긴다(예: In-lab 20.733 vs 20.304, DreamDojo-HV 18.195 vs 17.869). 다만 여기서도 Counterfactual SSIM(0.746 vs 0.758)과 LPIPS(0.234 vs 0.232)는 뒤집힌다.

1분 long-horizon 롤아웃(Fig. 10) — 교사는 청크 단위로 생성하며 2.72 FPS, 학생은 10.81 FPS로 4배 빠르다.

실험 ⑤: 다운스트림 — 정책 평가, 계획, 텔레오퍼레이션

정책 평가. AgiBot 과일 담기(배·망고·바나나·스타프루트) 20개 장면, 과일 5개를 모두 담으면 100%. GR00T N1.5의 single-view state-free 변종을 학습해 여러 체크포인트로 실기 롤아웃(장면당 약 80초)을 모으고, 같은 초기 프레임에서 post-train된 DreamDojo-2B로 전체 롤아웃을 시뮬레이션한 뒤 같은 기준으로 사람이 채점한다.

실기 vs DreamDojo 성공률(Fig. 5(a)) — 체크포인트 6개(A~F)에서 Pearson r = 0.995, MMRV = 0.003. 다만 모든 점이 대각선 아래에 있다 — DreamDojo의 성공률이 실기보다 체계적으로 높다(예: F는 DreamDojo 0.81 vs 실기 0.44, A는 0.06 vs 0.00).

r = 0.995는 인상적이지만 점이 6개라는 점을 잊으면 안 된다. 그리고 더 중요한 건 그림에서 바로 보이는 체계적 편향이다 — 모든 점이 y=x 아래에 있다. 저자들도 한계에서 “DreamDojo 안의 절대 성공률이 실기보다 자주 높으며, 미묘한 실패를 정확히 생성하는 데 한계가 있다”고 인정한다. 즉 이 도구는 순위 매기기에는 쓸 만해도(MMRV=0.003) 절대 성능 예측에는 아직 못 쓴다.

모델 기반 계획. 체크포인트 5개를 앙상블해 분산 있는 액션 제안을 만들고, 증류 2B로 미래 영상을 배치 예측한 뒤, DINOv2 기반 외부 value model이 고른다. Value model은 프레임 4장을 받아 (동결된 DINOv2 특징 + 전역 attention 예측 모듈로) 현재 서브태스크 경계까지 남은 스텝 수를 추정하고, 값이 가장 낮은(= 완료에 가장 가까운) 제안을 실행한다.

모델 기반 계획 결과(Fig. 5(b)) — [좌] 성능 분산이 큰 정책 그룹: 최고 단일 체크포인트 53% → w/ DreamDojo 70%(+17%p), 균등 샘플링 37% 대비 약 1.9배. [우] 수렴한 체크포인트 위주 그룹: 최고 63% → 68%, 균등 샘플링 55% 대비 약 1.24배.

여기서도 본문과 그림이 어긋난다. 원문은 두 번째 그룹에 대해 “작지만 여전히 거의 2배 증가(smaller yet still nearly a 2× increase)”라고 적는데, Fig. 5(b) 오른쪽 패널의 라벨은 균등 샘플링 55% → w/ DreamDojo 68%, 즉 1.24배다. 첫 그룹(37% → 70% ≈ 1.89배)에만 “거의 2배”가 성립한다. 이 리뷰에서는 그림의 라벨 값을 근거로 삼는다.

라이브 텔레오퍼레이션. DreamDojo-2B를 RTX 5090 데스크톱에 올리고 PICO VR 컨트롤러로 G1 상체 액션을 넣어 가상 로봇을 실시간 조종한다. 데이터센터급 하드웨어 없이 소비자 GPU에서 돈다는 점이 실용적 신호다.

라이브 텔레오퍼레이션(Fig. 6) — PICO VR 컨트롤러로 가상 G1 로봇을 실시간 조종한다.

직관: 이 논문이 실제로 옮긴 것

DreamDojo가 바꾼 건 모델이 아니라 조건 슬롯의 의미다. 원래 world model의 액션 슬롯에는 “이 로봇의 관절 명령”이 들어가야 했고, 그 슬롯은 임베디먼트마다 다르니 데이터가 로봇별로 파편화됐다. Latent action은 그 슬롯을 “두 프레임 사이에 일어난 움직임”이라는 임베디먼트 중립 개념으로 재정의한다. 그러면 사람 영상 44k시간과 로봇 영상이 같은 슬롯을 공유하고, 사전학습에서 배운 “이 정도 움직임이 들어가면 세상이 이렇게 반응한다”는 지식이 post-training에서 진짜 관절 액션으로 레이어만 갈아끼우며 넘어온다.

이 관점에서 보면 이 블로그의 Hydra-0 리뷰와 정확히 같은 문제에 반대 방향의 답을 낸 것이다. Hydra-0은 액션 슬롯을 픽셀 평면의 모션 궤적(action flow)이라는 명시적·해석 가능한 공통 언어로 옮겼고(그래서 Isaac Lab 물리 롤아웃으로 궤적을 만들 수 있다), DreamDojo는 자기지도로 학습된 32차원 잠재 벡터라는 암묵적 공통 언어로 옮겼다(그래서 라벨도 캘리브레이션도 필요 없이 임의의 인터넷 영상으로 확장된다). 전자는 실행 가능성과 검증 가능성을, 후자는 스케일을 얻는다.

비판적으로 보면

강점

• 음성 결과를 제대로 보여준다. Tab. 2에서 action-free 사전학습이 EgoDex Eval에서 사전학습 없음보다 나쁘다는 사실은 “인간 영상을 그냥 넣으면 된다”는 손쉬운 대안을 배제한다. 이런 결과를 지우지 않고 실은 건 신뢰를 준다.
• 평가셋 설계가 정직하다. 사람 영상의 상호작용을 GR-1으로 물리적으로 재현해서, 로봇 학습 데이터에는 OOD인 상황을 만들었다. 반사실 액션(툭 치기, 빗나가기)을 별도 평가셋으로 뽑은 것도 이 분야에서 드물다.
• 한계를 구체적으로 인정한다. “정책 평가 시 DreamDojo 안의 절대 성공률이 실기보다 높다”, “느리게 흔들거나 때리는 흔치 않은 액션은 잘 못 만든다”, “멀티뷰 시뮬레이션을 자연스럽게 지원하지 않는다(SOTA 정책엔 필수)” — 마지막 항목은 특히 중요한 자기 비판이다.
• 재현 가능성이 실제로 열려 있다. Apache-2.0 코드 + 2B/14B 체크포인트 + GR-1 post-training 데이터셋·평가셋이 공개됐다. 이 규모(H100 256장 사전학습)의 논문에서 평가셋까지 공개한 건 드물다.
• 소비자 GPU 데모. RTX 5090에서 라이브 텔레오퍼레이션이 돈다는 건 이 방향이 연구실 밖으로 나갈 수 있다는 구체적 신호다.

약점·한계

• 자동 지표의 개선폭이 작고, SSIM/LPIPS에서는 역전된다. 위에서 본 대로 DreamDojo-2B는 SSIM·LPIPS 8칸 전부에서 Cosmos-Predict2.5를 못 이긴다. 논문은 PSNR 서술만 하고 이 역전을 다루지 않는다. PSNR은 흐릿한 예측에 관대한 지표라, “PSNR만 오르고 LPIPS는 나빠졌다”는 패턴은 예측이 더 매끄럽고 덜 선명해졌을 가능성을 시사한다 — 정성 그림(Fig. 8)의 인상과 반대 방향으로 읽힐 수 있는 신호다.
• 불확실성 보고가 전무하다. 모든 표가 100샘플(또는 25·50샘플) 단일 평균이고 표준편차·신뢰구간·시드가 없다. 그런데 표에서 다투는 차이는 PSNR 0.05~0.4, SSIM 0.002 수준이다. 사람 선호 평가도 12명뿐이고 평가자 간 일치도(IRR)가 보고되지 않는다.
• 헤드라인 배수의 산술이 원문 안에서 닫히지 않는다. “96배 많은 스킬”은 Tab. 1의 수치로 재계산하면 69배이고, “2,000배 많은 장면”은 DreamDojo-HV의 scene을 클립 수(1,135k)와 동일시할 때만 성립한다(본문의 고유 장면 9,869 기준으로는 17.5배). 게다가 스킬 수 6,015는 GPT가 언어 주석에서 추정한 값이다 — 다양성이라는 핵심 주장의 계량이 LLM 추정에 얹혀 있다.
• 시간 일관성 손실의 근거가 얇다. GR-1 Val에서 +0.004 PSNR. 별도 수식으로 제시된 기여로 보기엔 절제 실험이 뒷받침하지 못한다.
• 본문↔︎그림 불일치. 모델 기반 계획의 두 번째 정책 그룹을 “거의 2배”라고 서술하지만 Fig. 5(b)의 라벨은 55% → 68%(1.24배)다.
• 정책 평가의 표본이 6점이다. r = 0.995는 6개 체크포인트에서 나온 값이고, 시스템적 낙관 편향(모든 점이 대각선 아래)이 함께 있다. 즉 “DreamDojo 안에서 70%”라는 수치는 실기 성능의 추정치로 쓸 수 없고, 오직 상대 순위로만 써야 한다.
• 사전학습 지식 보존이 미해결이다. 저자들 스스로 “사전학습 지식을 최대한 유지하는 방법은 깊이 연구되지 않았다”며 LoRA·모델 머징 같은 대안을 후속 과제로 남긴다. Tab. 3에서 최종 2B가 중간 절제 모델보다 SSIM/LPIPS가 나쁜 현상이 바로 이 문제의 징후일 수 있다.
• latent action의 해석 가능성. Fig. 3 오른쪽의 검색 결과는 설득력 있지만, 32차원 잠재 벡터가 무엇을 담고 무엇을 버렸는지 정량화하는 분석(예: 특정 축과 물리량의 대응)은 없다. 이 점에서 명시적 표현을 택한 Hydra-0 계열과 대비된다.

관련 연구와의 자리 매김

• World model 계보. 게임·주행에서 성숙한 video world model을 로봇 조작으로 옮기려는 흐름의 연장선이다. 저자들은 기존 연구가 대부분 in-distribution 셋업에서만 학습·평가돼 미지 환경에서의 계획 가능성이 불분명하다는 점을 공백으로 지목한다. 이 블로그의 SWM 리뷰와 VTWM 리뷰가 각각 의미 수준·촉각 수준에서 같은 질문을 다룬다.
• 백본. 정확히 Cosmos predict/transfer 2.5 리뷰에서 다룬 그 모델을 초기값으로 쓴다. 이 논문의 모든 “베이스라인”은 Cosmos-Predict2.5이므로, 개선폭은 “물리 AI용 범용 비디오 파운데이션 모델에 로봇 액션 조건화를 얼마나 잘 붙였는가”로 읽어야 한다.
• 인간 영상 전이. EgoScale·EgoHumanoid가 사람 데이터로 정책을 키우는 축이라면 DreamDojo는 같은 데이터로 시뮬레이터를 키운다. 두 축은 경쟁이 아니라 상보적이다 — 실제로 정책 평가 실험의 피평가 정책이 GR00T N1.5다.
• Latent action. AdaWorld(Gao et al., 2025 — 1저자가 같다), Genie(Bruce et al., 2024), VAP(Wang et al., 2025b, 2D 스켈레톤으로 액션 통일), DexWM(Goswami et al., 2025, 인간 영상으로 미지 dexterous 스킬 일반화)의 연장이다. 저자들은 선행 연구가 연구실 탁상 데이터셋에 머물고 시각 품질이 떨어진다는 점을 차별점으로 든다.
• Autoregressive 증류. Self Forcing(Huang et al., 2025b)과 그 후속들, DMD(Yin et al., 2024b)의 distribution matching을 조합했다. 이 논문의 추가분은 N' > N 롤아웃 시뮬레이션과, 그로 인한 문맥 인지(context length 12) 확보다.
• 동시기 대안. Hydra-0(2026-08, NVIDIA Isaac)는 같은 Cosmos 계열 백본 위에서 액션 통일을 픽셀 모션 궤적으로 푼다. DreamDojo가 6개월 앞서 나왔고 데이터 스케일이 20배가량 크지만(44,711h vs 2,201.7h), Hydra-0 쪽은 물리 엔진 그라운딩으로 실행 가능성을 확보한다는 다른 강점을 갖는다. 두 리뷰를 나란히 읽으면 2026년 로봇 world model의 설계 공간이 꽤 선명해진다.

요약

DreamDojo는 “로봇 world model의 병목은 아키텍처가 아니라 데이터 분포”라는 가설에 44,711시간이라는 규모로 답한 작업이다. 액션 라벨 없는 인간 영상에 연속 latent action을 자기지도로 붙여 인과까지 함께 전이시키고, 상대 액션 + 청크 주입으로 controllability를 확보하고, Self Forcing 증류로 10.81 FPS 실시간 상호작용과 1분 롤아웃을 열었다. 그리고 정책 평가(r=0.995)·모델 기반 계획(+17%p)·라이브 텔레오퍼레이션이라는 세 가지 구체적 용처를 제시했다.

동시에, 이 논문의 정량적 근거는 생각보다 얇다. 자동 지표의 개선은 PSNR에 국한되고 SSIM·LPIPS에서는 베이스라인에 지는 칸이 많으며, 불확실성 보고가 없고, 헤드라인 다양성 배수는 계수 규칙과 GPT 추정에 의존하며, 본문 서술이 자기 그림과 어긋나는 곳도 있다. 이 작업의 진짜 설득력은 표가 아니라 사람 선호 평가와 다운스트림 응용, 그리고 코드·체크포인트·평가셋을 실제로 공개했다는 사실에 있다.

재현 관점에서 볼 때, 사전학습(H100 256장 × 140k step)은 현실적으로 불가능하지만 공개된 2B 체크포인트로 추론·평가·라이브 텔레오퍼레이션을 확인하는 경로는 열려 있다 — RTX 5090에서 돈다고 저자들이 직접 밝힌 만큼, 소비자 GPU 한 장으로 검증 가능한 주장(10.81 FPS, 4-step 학생, 문맥 12)이 여럿이다.