📃Hydra-0 리뷰

Hydra-0: Action Flow for Generalist World Modeling and Control

• Paper Link (arXiv:2608.18077v1)

• Project Page (nvidia-isaac.github.io/video_to_data/hydra-0)

• Code Link — 미공개. 프로젝트 페이지에 “Code — coming soon”으로만 적혀 있고 레포·체크포인트·데이터 전처리 스크립트 중 공개된 것이 없다. 이 리뷰의 모든 수치는 arXiv v1 원문에서만 확인한 값이다.

• 저자: Hongyu Li, Bowen Wen, Xinghao Zhu, Yixuan Wang, Yilun Du, Yunzhu Li, George Konidaris, Stan Birchfield, Soha Pouya, Chenran Li, Yan Chang (NVIDIA / Brown / Columbia / Harvard)

• arXiv 프리프린트(NVIDIA 테크니컬 리포트), 2026-08-18 (cs.RO)

1. 💡 로봇의 행동을 “픽셀 평면의 모션 궤적(action flow)”으로 다시 써서, 임베디먼트마다 다른 action space를 비디오 모델에 아예 노출하지 않고 사람 손·UMI 그리퍼·단일팔·양팔·휴머노이드 영상 2,201.7시간을 한 모델로 학습한다.
2. ⚙️ 배포 시엔 Isaac Lab이 후보 명령을 컨트롤러+물리로 실제로 굴려 링크 변환을 얻고, 식 (1)의 카메라 투영으로 로봇 표면점을 픽셀 궤적으로 바꿔 causal autoregressive 비디오 모델을 조건화한다 — 로봇의 자기 운동은 물리 엔진이, 세계의 반응은 학습된 비디오 모델이 맡는 분업이다.
3. 🎯 Cosmos 2.5의 native 6D end-effector 조건화 대비 로봇 모션 오차 90.40%·물체 모션 오차 60.16% 감소(단 이 헤드라인은 백본 교체·few-step 증류까지 포함한 값이고, 조건화만 바꾼 동일 백본 비교는 59.7% / 52.6%다 — 아래 참조), RoboLab 5개 정책 open-loop 재생에서 성공률 상관 r = 0.96.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇용 world model이 임베디먼트를 넘지 못하는 이유는 대개 조건 입력의 형식 때문이다. 관절 명령은 그 로봇의 구조를 그대로 담고 있고, 엔드이펙터 명령은 기구학이 다르면 같은 값이 전혀 다른 링크 운동으로 나타난다. 어느 쪽도 “화면에서 무엇이 어떻게 움직이는가”를 지정하지 않으므로, 비디오 모델은 명령 → 시각 동역학이라는 임베디먼트 종속 사상을 매번 새로 배워야 한다. 그래서 DROID로 학습한 모델을 양팔 로봇이나 사람 손 영상에 얹을 수 없다.

Hydra-0의 처방은 조건 입력을 관측 평면의 좌표계로 옮기는 것이다. 로봇 표면의 보이는 점들이 앞으로 어느 픽셀로 갈지를 나열한 sparse 궤적 집합 — 이것이 action flow다. 결정적으로 다른 한 가지는, 이 궤적을 손으로 그리는 게 아니라 후보 명령을 Isaac Lab에서 실제로 실행한 결과를 카메라로 투영해서 만든다는 점이다. 즉 궤적은 그 로봇의 기구학·컨트롤러·물리를 이미 통과한 것이라 실행 가능한 명령에 묶여 있으면서도 픽셀이라는 공통 언어로 표현된다. 학습 시엔 반대로, 기구 정보가 없는 영상에서도 dense point tracking + 마스크 그라운딩으로 같은 형식을 복원할 수 있어 사람 손 영상까지 같은 슬롯에 넣을 수 있다.

Hydra-0 전체 구조(Fig. 1) — 위: 오프라인 학습. 상호작용 영상에서 임베디먼트와 조작 물체를 함께 추적해 action flow를 복원하고, 미래 영상을 인코딩해 flow-matching 타깃을 만든다. 아래: 온라인 배포. Isaac Lab이 후보 명령열 \mathbf{a}_{0:H-1}을 컨트롤러+물리로 실행해 링크 변환을 얻고, 보이는 로봇 표면점을 전파해 식 (1)로 투영한 embodiment action flow가 causal autoregressive 모델을 조건화한다.

핵심 방법론:

(1) Action flow의 정의. N개 추적점, 예측 지평 H에 대해 점 n의 시각 t 이미지 위치를 \mathbf{x}_{n,t}=(u_{n,t},v_{n,t}), 가시성을 m_{n,t}\in\{0,1\}이라 하면

\mathcal{F}=\{\boldsymbol{\tau}_n\}_{n=1}^{N},\qquad \boldsymbol{\tau}_n=\{(\mathbf{x}_{n,t},\,m_{n,t})\}_{t=0}^{H}

\mathcal{F}가 관측 평면에서 정의되므로 로봇 팔·그리퍼·사람 손이 같은 텐서 슬롯을 공유한다.

(2) 기구학 그라운딩(식 1). 기구 정보와 캘리브레이션이 있을 때, 링크 \ell(n) 좌표계의 3D 점 \mathbf{X}_n을 시각 t의 이미지로 보내는 경로는

\mathbf{x}_{n,t}=\pi\!\left(\mathbf{K}\,\begin{bmatrix}\mathbf{I}_3 & \mathbf{0}\end{bmatrix}\mathbf{T}_{CW}\,\mathbf{T}_{\ell(n)}(\mathbf{q}_t)\,\bar{\mathbf{X}}_n\right)

\mathbf{q}_t는 배포 시 Isaac Lab의 컨트롤러+물리 롤아웃이 만드는 로봇 관절 형상(기록 데이터에서는 실제 로봇 상태), \mathbf{T}_{CW}·\mathbf{K}는 카메라 외부·내부 파라미터, \pi는 원근 투영이다. 가시성 m_{n,t}=1은 양의 카메라 깊이 + 이미지 범위 내 + 렌더된 depth buffer와 1.2 cm 이내 일치(실루엣 경계 오판을 막기 위해 3\times3 이웃)일 때만 준다.

(3) 모션 조건의 주입(식 3·4). 각 궤적의 시작 위치에서 초기 프레임 latent 특징 \mathbf{h}_n=\mathbf{s}_0(\widetilde{\mathbf{x}}_{n,0})을 bilinear 샘플링해, 미래 latent 격자 위치 주변으로 가우시안 가중 전파한다.

M_k(\widetilde{\mathbf{p}})=\sum_{n\in\mathcal{N}_K(\widetilde{\mathbf{p}},k)}\widetilde{w}_{n,k}(\widetilde{\mathbf{p}})\,\mathbf{h}_n, \qquad \widetilde{w}_{n,k}(\widetilde{\mathbf{p}})=\widetilde{m}_{n,0}\,\widetilde{m}_{n,k}\exp\!\left(-\beta\lVert\widetilde{\mathbf{p}}-\widetilde{\mathbf{x}}_{n,k}\rVert_2^2\right)

g_k(\widetilde{\mathbf{p}})=\operatorname{clip}_{[0,1]}\!\left(\sum_{n\in\mathcal{N}_K(\widetilde{\mathbf{p}},k)}\widetilde{w}_{n,k}(\widetilde{\mathbf{p}})\right)

g_k는 “이 칸이 궤적으로 채워졌는가”를 알리는 presence gate다. 부록에 따르면 실제 구현값은 \beta=220, K=2이고 softmax·가중합 정규화 없이 raw 가중합을 쓴다. 최종 모션 조건은 C_{\mathrm{motion}}=(M,g).

(4) 학습 목적. 사전학습 비디오 백본의 flow-matching 목적을 그대로 쓰되 조건만 추가한다.

\mathcal{L}(\theta)=\mathbb{E}_{\mathbf{o}_{0:H},\mathcal{F},t,\epsilon}\left[\left\lVert v_\theta(Z_t,t,c,C_{\mathrm{motion}})-v^\star_t\right\rVert_2^2\right]

백본 가중치는 DiT patch embedding을 제외하고 동결하고, attention의 q,k,v,o 투영과 FFN 두 투영에 rank-64 LoRA만 학습한다.

주요 결과:

• 조건화 표현 비교(Table 2, 5개 검증셋 평균). Cosmos 2.5의 native 상대 6D EE 조건화 대비 최고 설정(Wan2.2 A14B 4-step)의 gripper EPE는 34.28 → 3.29 px(−90.40%), object EPE는 13.23 → 5.27 px(−60.17%). 다만 백본을 고정한 채 조건화만 바꾼 비교(Cosmos 2.5 → Ours Cosmos 2.5 2B)는 34.28 → 13.80(−59.7%), 13.23 → 6.27(−52.6%)이다.
• 다만 VLM 심판 점수는 역전된다. 같은 Cosmos 백본에서 baseline 3.88 vs Hydra-0 3.83(1–5 척도, 평균)로 baseline이 근소 우위다. 논문도 “VLM 점수는 혼재”라고 적는다.
• 데이터 효율(Fig. 6, IWS 6개 태스크). 멀티임베디먼트 mid-training 체크포인트에서 출발한 Ours (MT)가 0%(zero-shot)에서 6개 태스크 전부 LPIPS·object-flow EPE·FVD 점추정이 Ours (PT)보다 좋다. 100%에서도 LPIPS·FVD는 6개 전부 최저, flow EPE는 4개에서 최저. 태스크별 이득의 대부분은 20% 지점에서 이미 도달한다(20→100% 사이 변화폭 LPIPS 최대 3.4%, flow EPE 6.7%, FVD 6.8%).
• 추론 속도(Table 3, H100 1장, 81프레임 480×832). 양방향 teacher 20.92 s/clip → causal AR teacher 12.48 s(1.68×) → 4-step student 1.31 s(16.0×, 61.98 FPS). 단 이 값은 guidance·VAE 디코딩을 제외한 generation-only이고, 3-chunk(≈5초)짜리 짧은 지평에서 측정됐다.
• Open-loop 정책 평가(Fig. 7). RoboLab 5개 정책 × 6개 태스크 × 10회 = 300 에피소드를 기록 궤적으로 재생. 생성 성공률과 참조 성공률의 Pearson r = 0.96, Spearman ρ = 0.93, MAE 5.7%p, 태스크 평균 기준 5개 정책 순위 재현.
• 역방향 제어(Fig. 9). 사람 시연에서 뽑은 desired object flow만 주고(embodiment flow 미제공) 호환되는 로봇 모션을 생성한 뒤, 학습된 action head가 latent를 실행 가능한 명령으로 디코딩 — flexible-pipe-bending 1개 태스크의 정성 시연.

결론:

핵심은 “비디오 모델에게 로봇의 언어를 가르치지 말고, 로봇의 명령을 카메라가 보는 것으로 번역해서 넣자”는 한 줄이다. 그 번역기(순기구학 + 카메라 투영)는 이미 우리가 정확히 알고 있는 결정론적 파이프라인이므로 학습에서 빼내고, 신경망에는 임베디먼트 불변한 절반(“이 픽셀들이 이렇게 움직이면 세계는 어떻게 반응하나”)만 남긴다. 같은 텐서 슬롯을 로봇 대신 물체 궤적으로 채우면 그대로 역방향(원하는 물체 운동 → 그것을 만드는 로봇 운동)이 되는 것이 이 설계의 배당금이다. 다만 아래에서 볼 것처럼, 헤드라인 수치·정책 평가의 의미·역방향의 검증 규모는 각각 상당한 유보를 안고 있다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“행동”을 로봇의 좌표계가 아니라 카메라의 좌표계에서 정의하면, 순기구학과 투영이라는 우리가 이미 정확히 아는 부분을 신경망 밖으로 빼낼 수 있다. Hydra-0의 action flow는 그 분리를 실행한 것이다. 명령 \mathbf{a}가 주어지면 컨트롤러와 물리가 \mathbf{q}_t를 만들고, 순기구학과 카메라 행렬이 \mathbf{q}_t를 픽셀 궤적으로 렌더한다 — 여기까지는 학습이 필요 없는 결정론적 사상이다. 비디오 모델은 그 뒤 남은 질문, 즉 “화면의 이 점들이 이렇게 움직일 때 나머지 세계는 어떻게 반응하는가”만 배우면 된다. 이 뒷부분은 로봇이 프랑카든 양팔이든 사람 손이든 거의 같은 질문이므로, 그제서야 이종 데이터가 한 모델의 학습 신호로 합쳐진다. 그리고 같은 슬롯에 로봇 궤적 대신 물체 궤적을 넣으면 모델은 “그 물체 운동을 만들어 낼 로봇”을 그려 넣는다 — 순방향 시뮬레이터와 역방향 제어기가 하나의 인터페이스에서 나온다.

배경: world model은 왜 임베디먼트를 못 넘나

Dreamer 계열의 latent world model이나 DINO-WM처럼 특징 공간에서 동역학을 배우는 흐름, 그리고 픽셀을 직접 합성하는 비디오 world model(Cosmos 2.5 등)은 모두 “행동을 조건으로 미래를 예측한다”는 형식을 공유한다. 문제는 그 행동 조건의 형식이다.

• 관절 공간 명령은 로봇의 구조(링크 개수·길이·축)를 값 자체에 담고 있어 다른 로봇으로 옮기면 의미가 소멸한다.
• 엔드이펙터 명령은 형식은 공유되지만, 기구학이 다르면 같은 6D 델타가 전혀 다른 관절 궤적과 전혀 다른 보이는 링크 운동을 만든다.

둘 다 “그래서 이미지 평면에서 무엇이 어디로 움직이는가”를 명시하지 않는다. 그러니 비디오 모델은 명령→시각 동역학이라는 임베디먼트 종속 사상을 데이터에서 새로 배워야 하고, 그 사상은 로봇이 바뀌면 통째로 무효가 된다. 논문이 지적하는 이 지점이 “왜 대규모 상호작용 데이터가 이렇게 많은데도 전이되는 foundation world model이 없는가”에 대한 답이다.

한편 비디오 생성 쪽에서는 이미 궤적을 조건으로 주는 계열이 성숙해 있었다. Motion Prompting은 sparse/dense 모션 궤적을 유연한 조건 신호로 썼고, ATI는 사용자가 지정한 궤적을 가우시안 전파로 latent에 주입했으며, Wan-Move는 첫 프레임 VAE 특징을 latent 궤적을 따라 실어 나른다. 이들은 “이미지 평면 모션이 공유 가능한 시각 조건이 될 수 있다”를 이미 보여줬다. 남은 구멍은 하나였다 — 그 궤적을 어떻게 실행 가능한 로봇 명령에 묶을 것인가. Hydra-0의 기여는 정확히 이 다리를 놓은 것이고, 그래서 논문은 자기 모드를 kinematically grounded video prediction이라 부른다.

방법 ①: action flow를 만드는 두 갈래

같은 표현 \mathcal{F}를 두 경로로 만든다. 이 이원화가 이 논문 데이터 전략의 전부라 해도 과언이 아니다.

(가) 기구학 인지 경로(geometry-aware). URDF와 카메라 캘리브레이션이 있을 때. 초기 관측 \mathbf{o}_0에서 보이는 로봇 표면에 점을 뿌리고, 링크 변환열로 그 점들을 전파한 뒤 식 (1)로 투영한다. 배포 시 링크 변환열 \mathbf{T}_{\ell(n)}(\mathbf{q}_t)은 Isaac Lab이 후보 명령을 컨트롤러와 물리로 실제 실행해서 만들고, 기록 데이터에서는 저장된 로봇 상태에서 읽는다. 부록 8.2에 따르면 가시성 판정은 렌더된 depth buffer와 1.2 cm 허용오차로 하며, 이 depth buffer는 로봇/그리퍼의 자기 가림과 RoboLab의 정적 장면 기하·강체 프록시까지는 반영하지만 모르는 물체의 가림은 명시적으로 제거하지 않는다. 또 이 경로는 그리퍼만이 아니라 보이는 임베디먼트 전체(팔 링크 포함)를 조건에 담는다.

(나) 영상 전용 경로(video-only). URDF도 캘리브레이션도 없는 대규모 데이터셋용. AllTracker로 dense image-plane 궤적과 가시성 라벨을 복원하고, 임베디먼트/조작 물체 마스크(SAM 3 등)로 그 트랙을 분류한다. 이렇게 하면 privileged 메타데이터 없이도 동일한 \mathcal{F}가 나온다. 중요한 제약이 하나 붙는다 — 추적된 미래는 학습 조건을 만드는 데만 쓰이고, 배포 시 flow는 언제나 후보 명령에서 인과적으로(causally) 유도된다. 즉 “미래를 훔쳐보는” 경로가 배포에는 없다.

영상 전용 경로와 네 가지 학습 시 샘플링 모드(Fig. 2) — 기하 정보가 없는 영상을 dense 추적한 뒤 임베디먼트/조작물체 마스크로 그라운딩하고, 학습 스텝마다 Embodiment(주 행동 조건) / Object(태스크·desired motion) / All(그라운딩 실패 시 폴백) / None(조건 드롭아웃) 중 하나를 뽑아 공유 모션 텐서를 채운다.

방법 ②: 네 가지 conditioning mode — 인터페이스를 다목적으로 만드는 장치

학습 스텝마다 어떤 트랙으로 모션 텐서를 채울지를 네 모드 중에서 뽑는다. 별도의 학습 토큰을 만들지 않고 같은 텐서의 내용만 바꾸는 것이 요점이다.

모드	무엇을 채우나	역할	표준 I2V 확률
Embodiment	행위 주체(로봇 링크·그리퍼·사람 손)의 트랙	주 행동 조건 → 순방향 예측	0.40
Object	조작 물체의 관측된 미래 트랙	태스크 의도 → 역방향(desired motion)	0.40
All	임베디먼트+물체+미분류 장면 트랙의 합집합에서 표집	시맨틱 그라운딩이 불완전할 때의 폴백	0.15
None	비움	조건 드롭아웃(텍스트·이미지만)	0.05

Embodiment/Object 모드는 1–128개, All 모드는 256–1024개 트랙을 뽑는다. 필요한 트랙 풀이 없으면 그 모드를 빼고 남은 확률을 재정규화하며, “데이터셋·카메라별 오버라이드”로 신뢰할 수 없는 주석·시점을 처리한다고만 적혀 있다(구체 오버라이드 목록은 없다).

이 표를 보면 초록의 표현 하나가 조금 후해 보인다. 논문은 역방향을 “we uncover an emergent inverse mode”라 부르지만, Object 모드는 학습 시간의 40%를 차지하는 명시적 학습 신호다. 진짜로 새로운 것은 능력 자체가 아니라 사용법 — 학습 때는 관측된 물체 궤적을 넣었는데 배포 때는 원하는 물체 궤적(그것도 다른 임베디먼트인 사람 시연에서 옮겨온 것)을 넣어도 모델이 호환되는 로봇을 그려 넣는다는 점이다.

방법 ③: 모션 조건이 DiT로 들어가는 경로

식 (3)·(4)의 C_{\mathrm{motion}}=(M,g)는 결국 “첫 프레임의 latent 특징을 궤적을 따라 실어 나른 텐서 + 그 자리에 실제로 무언가 실렸는지 알려주는 게이트”다. 부록 8.4가 구현을 정확히 적어 준다: 가우시안 locality \beta=220, 각 목적지 셀에서 raw 가중치 상위 K=2개만 유지, softmax도 가중합 정규화도 하지 않고 그대로 더한 값이 M, 그 raw 가중치 합을 [0,1]로 클립한 값이 g. \widetilde{m}_{n,0}\widetilde{m}_{n,k} 곱이 붙어 있어 출발점이나 도착점 중 하나라도 가려진 트랙은 기여하지 않는다.

모션 조건의 주입(Fig. 3) — action-flow 궤적이 첫 프레임 latent 특징을 시간축으로 전파해 C_{\mathrm{motion}}을 만들고, 이것이 노이즈 latent Z_t와 concat된 뒤 DiT patch embedding으로 들어간다.

백본별 어댑터는 다르고, 이 차이가 나중에 성능 격차의 상당 부분을 설명한다.

• Cosmos 2.5(latent 16채널): 16개 전파 특징 + 1개 presence gate = 17채널 side input을 만들고, zero-init patch projection으로 임베딩해 매 디노이징 호출마다 노이즈 비디오 토큰 임베딩에 더한다(additive).
• Wan2.2 I2V-A14B: 기존 visual conditioning 경로를 재활용한다. 16 VAE 채널 + 4 마스크 채널 구조에서, latent 프레임 0은 native I2V 조건을 유지하고 이후 프레임은 raw 전파 특징 + (1 − gate) × 원본 특징을 받으며 gate가 4개 마스크 채널로 브로드캐스트된다. 이 조건이 노이즈 latent와 concat된다. 두 전문가 MoE 스케줄에서는 고노이즈 전문가에만 모션 조건을 주고, 전이 지점에서 원본 조건을 복구해 저노이즈 전문가는 손대지 않은 채로 둔다.
• Wan2.2 TI2V-5B: I2V 조건 텐서가 없어서 48 전파 채널 + 1 gate = 49채널 side input을 매 호출마다 concat하고 DiT 입력 투영을 그만큼 넓힌다. 이 side input은 디노이징 스텝 간 불변이며 노이즈를 타지 않는다.

즉 Cosmos 쪽은 “토큰에 더하는 약한 힌트”, Wan 쪽은 “입력 채널에 붙이는 강한 조건”이다. Table 2의 gripper EPE가 이 차이를 그대로 드러낸다(아래 실험 절).

방법 ④: 긴 롤아웃을 위한 causal 변환과 4-step 증류

로봇 배포에서는 전체 지평을 한 번에 양방향으로 디노이징하는 것이 두 번 손해다. 완결된 행동 지평을 미리 알아야 하고, 매번 전체 창 비용을 다시 낸다. Hydra-0는 LongLive-2.0의 autoregressive conversion을 채택해 latent 열을 시간 청크 \mathcal{C}_1,\dots,\mathcal{C}_J로 쪼개고

p_\theta(\mathbf{s}_{1:H}\mid \mathbf{s}_0, C_{\mathrm{motion}})=\prod_{j=1}^{J} p_\theta\!\left(\mathbf{s}_{\mathcal{C}_j}\mid \mathbf{s}_{\mathcal{C}_{<j}},\mathbf{s}_0, C_{\mathrm{motion},\mathcal{C}_j}\right)

로 분해한다. 생성된 청크가 clean history를 대체하고 KV 캐시로 재사용된다. 여기서 놓치기 쉬운 디테일 하나가 핵심적이다 — C_{\mathrm{motion}}은 전체 창 좌표계에서 한 번 계산한 뒤 절대 청크 오프셋으로 잘라 쓴다. 청크 경계에서 궤적이 재-앵커링되면 로봇이 매 청크마다 원점으로 되돌아가는 꼴이 되기 때문이다.

few-step student는 이 causal AR 체크포인트에서 초기화해 DMD2로 증류하고, 청크당 4 스텝으로 생성한다. 부록 8.8에 따르면 generator 1회당 critic 5회 업데이트, 세 네트워크(student·real score·fake score) 모두 causal 유지, DMD 학습 중 real/fake 양쪽 CFG 계수를 0으로 둔다(AR 단계에서 무조건부 분기를 적응시키지 않았으므로).

방법 ⑤: 인터페이스를 뒤집기 — world action model

역방향은 구조 변경 없이 입력만 바꾼다. gripper flow를 주지 않고 desired object flow \mathcal{F}^{\mathrm{obj}}만 식 (3)의 같은 경로로 넣으면, 모델은 그 물체 운동과 양립하는 로봇 운동을 담은 latent 동역학을 굴린다. 여기에 action head를 붙여 실행 가능한 명령을 뽑는다. 헤드 구조는 명시적이다 — latent 프레임마다 mean-pooled 토큰과 single-query attention-pooled 토큰을 concat하고, LayerNorm + 은닉폭 1024짜리 2층 GELU MLP로 시간 정렬된 로봇 action과 state를 예측한다. state 예측은 보조 감독일 뿐 비디오 모델이나 action 디코더로 되먹임되지 않는다.

학습은 사전학습 causal 모델에서 시작해 rank-32 self-attention LoRA + 모션 입력 투영 + 경량 헤드만 후학습한다.

\mathcal{L}_{\mathrm{WAM}}=\mathcal{L}_{\mathrm{flow}}+\lambda_h\left(\mathcal{L}_{\mathrm{act}}+\mathcal{L}_{\mathrm{state}}+\lambda_v\mathcal{L}_{\mathrm{vel}}\right),\qquad \lambda_h=\lambda_v=0.1

\mathcal{L}_{\mathrm{act}},\mathcal{L}_{\mathrm{state}}는 차원별 정규화 타깃에 대한 masked Huber, \mathcal{L}_{\mathrm{vel}}은 정규화된 action의 1차 차분에 대한 masked L1(유효한 연속 슬롯 쌍에서만)이다. 데이터 요건이 흥미롭다 — 짝지어진 실기 롤아웃은 expert일 필요가 없다. 성공이든 실패든 “달성된 로봇 운동 ↔︎ 그것을 만든 명령”의 대응은 똑같이 성립하기 때문이다. 배포 시 헤드는 픽셀 디코딩 없이 각 디노이즈된 latent 블록의 마지막 트랜스포머 토큰 임베딩에서 바로 action/state를 읽는다.

직관: 왜 픽셀이 공통 인터페이스가 되는가

행동 조건부 예측을 이렇게 인수분해해 보면 명확하다.

p(\text{미래 영상}\mid \mathbf{a},\ \text{임베디먼트})\;\approx\;\underbrace{p(\text{미래 영상}\mid \mathcal{F})}_{\text{학습: 임베디먼트 불변}}\ \circ\ \underbrace{\mathcal{F}=\mathrm{render}(\mathbf{a},\ \text{임베디먼트},\ \text{카메라})}_{\text{비학습: FK + 투영, 정확히 알려짐}}

기존 action-conditioned world model은 오른쪽 항까지 신경망에 떠맡겼다. 그런데 오른쪽 항은 우리가 이미 오차 없이 계산할 수 있는 것이다(URDF와 캘리브레이션만 있으면). 이걸 빼내면 남는 왼쪽 항은 로봇이 무엇이든 대체로 같은 질문이 되고, 그제야 사람 손 영상과 양팔 로봇 영상이 같은 손실 항에 들어갈 수 있다. 데이터 효율(Fig. 6)과 백본 이식성이 이 인수분해의 자연스러운 따름정리다.

또 하나, 논문이 직접 그 말을 쓰지는 않지만 배포 파이프라인은 사실상 하이브리드 시뮬레이터다. 로봇 자신의 운동은 Isaac Lab의 컨트롤러+물리가 계산하므로 관절 한계·기구학 제약·컨트롤러 지연이 정확히 반영되고(비디오 모델이 “불가능한 로봇 자세”를 상상할 여지가 원천 차단된다), 반대로 천·로프·케이블처럼 물리 엔진이 잘 못 다루는 부분은 학습된 비디오 모델이 담당한다. 각자 잘하는 쪽을 맡긴 분업이고, 논문이 변형체 조작을 주 타깃으로 고른 이유도 여기 있다.

역방향이 “떨어져 나오는” 이유도 같은 그림에서 읽힌다. 모션 텐서는 어떤 트랙이 들어왔는지 구분하는 토큰이 없다 — 로봇 트랙이든 물체 트랙이든 같은 채널로 들어간다. 그래서 물체 트랙만 채워 넣으면 모델은 “이 픽셀들이 이렇게 움직이는 영상”을 그리려 하고, 학습 데이터에서 그런 영상에는 항상 그것을 만든 로봇이 함께 찍혀 있었으므로 로봇을 같이 그려 넣는다. 인과가 아니라 공기(共起) 통계를 되짚는 것이며, 이 점이 뒤에서 볼 정밀도 한계(센티미터급 파지 오차)의 뿌리이기도 하다.

데이터: 7개 소스, 필터 후 2,201.7시간

Table 1이 코퍼스 전체다. 모든 카메라 스트림을 480p / 16 fps로 리샘플하고 겹치지 않는 81프레임(≈5초) 창으로 자른 뒤 세었다.

데이터셋	임베디먼트	에피소드	창(필터 전)	창(필터 후)	시간	라이선스
DROID	단일팔	70,339	494,680	223,075	313.7	CC-BY-4.0
ABC-130k	양팔	54,961	1,060,456	1,048,681	1,474.7	Apache-2.0
MolmoAct2	양팔	7,723	129,589	126,335	177.7	Apache-2.0
EgoDex	사람 손	41,888	89,380	89,380	125.7	CC-BY-NC-ND-4.0
Deform360	핸드헬드 그리퍼(UMI)	1,714	87,224	60,315	84.8	MIT
XVLA-Soft-Fold	양팔	1,524	17,891	17,772	25.0	Apache-2.0
H1-Fold-Clothes	양팔(휴머노이드)	38	76	76	0.1	Apache-2.0
합계		178,187	1,879,296	1,565,634	2,201.7

몇 가지 짚어둘 것:

• IWS(Interactive World Simulator)는 학습 코퍼스에 포함되지 않는다. §4.3의 데이터 효율 평가 전용으로만 쓰이고 mid-training에서 명시적으로 제외된다. 프로젝트 페이지 요약만 보고 IWS를 학습 소스로 오해하기 쉬운데, 원문은 분명하다.
• 변형체 편중은 의도된 것이다. “변형체 상호작용이 이 논문의 초점”이라며 천·케이블·로프·가방·종이 상호작용 데이터를 주로 남겼다. 즉 이 코퍼스는 일반 조작 코퍼스가 아니라 변형체 코퍼스다.
• 필터 세 종. ① 정적 창 필터: 보이는 트랙 경로 길이의 90분위가 480p 기준 50픽셀 미만이면 버림. ② 얼어붙은 그리퍼 필터: 임베디먼트 트랙이 같은 50픽셀 기준 미달이면 버림. ③ 내용 없는 캡션 필터: 실행 가능한 내용이 없는 언어 주석을 가진 DROID 에피소드 제거. DROID가 494,680 → 223,075창으로 55% 가까이 잘려나간 것이 눈에 띈다.
• 주석 커버리지가 고르지 않다. dense 트랙은 AllTracker(128\times128 질의 격자)로 전 소스에 붙지만, 임베디먼트 마스크는 소스에 따라 캘리브레이션된 로봇 렌더링 / 투영된 손 기하 / SAM 3 정제 / 텍스트 프롬프트로 제각각이고, 물체 마스크는 DROID와 EgoDex에는 아예 없다. 코퍼스에서 가장 큰 로봇 소스(DROID)와 유일한 사람 손 소스(EgoDex)에 Object 모드를 쓸 수 없다는 뜻이다.
• 손목 시점 커버리지를 위해 DROID 손목 카메라 17프레임 창 스트림을 별도로 추가했고, 이건 외부 카메라 뷰와 섞지 않고 독립 시점으로만 쓴다.

학습 규모는 한 줄로만 나온다 — Wan2.2 I2V-A14B 백본을 H100 32장으로 5일, 40,000 스텝(≈3,840 GPU·시간). 나머지 백본은 그보다 적게 든다고만 적혀 있다.

실험 ①: 조건화 표현이 정말 문제였나

셋업은 통제가 잘 되어 있다. Cosmos 2.5와 Wan2.2에 같은 flow 구성·같은 데이터 혼합·같은 예측 지평을 주고, 다섯 개 held-out 검증셋(XVLA-Soft-Fold, Deform360, DROID, MolmoAct2, ABC-130k)에서 각 100 클립으로 평가한다. baseline인 Cosmos 2.5는 자기 native 상대 6D EE action 표현으로 파인튜닝했고, ATI와 Wan-Move는 공개 체크포인트를 그대로 쓴 zero-shot(표의 회색 행)이다.

Table 2의 Average 블록만 옮기면 이렇다(단위: EPE는 픽셀, VLM은 1–5).

모델	PSNR ↑	SSIM ↑	Obj. EPE ↓	Grip. EPE ↓	FID ↓	FVD ↓	VLM ↑
ATI (zero-shot)	17.01	0.700	23.19	4.62	36.4	444.2	3.14
Wan-Move (zero-shot)	16.35	0.688	21.53	4.67	34.4	408.3	3.71
Cosmos 2.5 (native 6D EE, 파인튜닝)	15.62	0.668	13.23	34.28	39.1	405.8	3.88
Ours (Cosmos 2.5 2B)	18.41	0.725	6.27	13.80	32.4	277.4	3.83
Ours (Wan2.2 5B)	19.64	0.770	6.61	3.88	24.1	248.8	3.90
Ours (Wan2.2 A14B)	20.76	0.805	6.00	3.83	20.7	193.7	3.98
Ours (Wan2.2 A14B 4-step)	21.84	0.830	5.27	3.29	18.7	155.9	4.23

헤드라인 90.4%는 무엇의 값인가

초록의 두 숫자를 산술로 되짚어 보면 정확히 이 표에서 나온다.

\frac{34.28-3.29}{34.28}=90.40\%\ (\text{gripper EPE}),\qquad \frac{13.23-5.27}{13.23}=60.17\%\ (\text{object EPE})

즉 Cosmos 2.5 (6D EE, 2B) → Ours (Wan2.2 A14B 4-step, 14B MoE) 비교다. 이 한 화살표 안에 세 가지 변화가 동시에 들어 있다 — ① 조건화 표현(6D EE → action flow), ② 백본(Cosmos 2B → Wan2.2 A14B), ③ 샘플링(50-step → 4-step 증류). 논문의 §4.2 본문은 다행히 통제된 비교도 함께 제시한다. 백본을 Cosmos 2.5로 고정하고 조건화만 바꾸면:

\frac{34.28-13.80}{34.28}=59.7\%,\qquad \frac{13.23-6.27}{13.23}=52.6\%

조건화 교체의 순수 기여는 약 60% / 53%이고, 초록의 90.4%는 여기에 7배 큰 백본을 더한 값이다. 초록의 “our best configuration”이라는 표현은 거짓이 아니지만, 독자가 “action flow가 90% 줄였다”로 읽기 쉽다. 인용할 때는 두 쌍을 같이 적는 편이 정확하다.

gripper EPE라는 지표는 얼마나 중립적인가

더 근본적인 유보가 하나 있다. gripper EPE는 조건 신호와 정확히 같은 좌표계(픽셀 평면)에서 재는 값이다. 픽셀 궤적을 조건으로 받은 모델이 픽셀 궤적을 잘 따라가는 것은 어느 정도 구조적으로 보장된 결과이고, 6D 명령을 받은 모델이 그걸 못 따라가는 것도 마찬가지다. 이 비대칭은 표에서 바로 확인된다 — 파인튜닝조차 하지 않은 zero-shot ATI(4.62)와 Wan-Move(4.67)가 파인튜닝된 Cosmos 2.5 baseline(34.28)보다 gripper EPE에서 7배 이상 좋다. ATI·Wan-Move는 궤적 조건부 모델이니 당연하다. 반대로 object EPE에서는 Cosmos 2.5(13.23)가 ATI(23.19)·Wan-Move(21.53)보다 좋다. 즉 baseline은 전면적으로 나쁜 모델이 아니라 딱 하나의 지표에서 구조적으로 불리한 모델이다.

그러므로 조건화와 독립적인 지표 — PSNR/SSIM/FID/FVD/VLM — 이 진짜 시험대다. 여기서는 이득이 실재하되 훨씬 온건하다(동일 Cosmos 백본 기준 PSNR 15.62→18.41, FVD 405.8→277.4). 그리고 VLM 심판만은 역전된다: baseline 3.88 vs Ours (Cosmos 2.5 2B) 3.83. 데이터셋별로 봐도 XVLA-Soft-Fold 4.56 → 4.42, Deform360 2.90 → 2.67로 baseline이 더 높고, 나머지 셋에서만 근소하게 뒤집힌다. 논문 §4.2는 “PSNR, SSIM, gripper-flow EPE, FID, FVD … 그리고 object EPE에서 더 나은 점추정을 얻는다”고 항목을 열거하는데, 그 목록에 VLM만 빠져 있다(별도 문단에서 “혼재”라고 설명은 한다). VLM 심판이 재는 것이 물리적 타당성·시간 일관성·물체 항상성·모션 사실성이라는 점을 감안하면, “궤적은 더 정확히 따라가는데 물리적으로 더 그럴듯하지는 않다”는 해석이 가능하고, 이건 world model로서는 가볍지 않은 지적이다.

Cosmos 어댑터는 왜 약한가

또 하나 논문이 다루지 않는 격차가 있다. 같은 action flow를 받았는데 Ours (Cosmos 2.5 2B)의 gripper EPE는 13.80으로, zero-shot ATI(4.62)보다 3배 나쁘다. 반면 Wan2.2 계열은 3.88 / 3.83 / 3.29로 단숨에 ATI를 앞선다. 방법 ③에서 본 어댑터 차이 — Cosmos는 zero-init 투영으로 토큰에 더하고, Wan은 입력 채널에 붙인다 — 가 가장 유력한 설명이다. “action flow는 백본에 종속되지 않는 이식 가능한 인터페이스”라는 주장은 방향으로는 옳지만(양쪽 다 자기 baseline보다 개선된다), 크기는 4배 가까이 다르고 헤드라인은 좋은 쪽을 취했다. 어댑터 설계에 대한 절제 실험이 없어 이 차이가 어댑터 탓인지 백본 용량(2B vs 14B) 탓인지 원문만으로는 가릴 수 없다.

한편 object EPE는 백본에 거의 둔감하다(6.27 / 6.61 / 6.00 / 5.27). 물체가 어떻게 움직이는가는 조건화 표현이 결정하고, 그것을 얼마나 정확히 따라 그리는가는 백본이 결정한다 — 라고 읽으면 표가 일관되게 설명된다.

정성 비교 — XVLA-Soft-Fold(Fig. 4 패널 1/2). 5초 지평을 6개 동기 스냅샷으로. 행 순서는 Wan-Move / 파인튜닝된 Cosmos 2.5 / action-flow 조건 입력 / 우리 생성 결과 / 정답.
정성 비교 — Deform360(Fig. 4 패널 2/2). 같은 행 구성. UMI 핸드헬드 그리퍼의 변형체 조작 장면이다.
DROID 추가 정성 결과(Fig. 10, 부록) — Action Flow 행이 조건 입력이고, Ours 행은 flow 오버레이 없는 생성 결과다. 여섯 개 동기 타임스탬프의 동일 검증 샘플.

손목 카메라: 개념 증명

팔에 달린 카메라는 로봇이 움직일 때 전역 이미지 운동을 만들어 낸다. 깊이와 상대 카메라 포즈가 있으면 카메라 에고모션도 이미지 공간 flow로 투영해 상호작용 모션과 합칠 수 있다는 것이 논문의 주장이고, DROID에서 정성 증명만 보인다(17프레임 = 1초).

손목 카메라 에고모션 예측(Fig. 5) — 17프레임 생성 클립의 프레임 0과 16(물리 시간 0.0 s / 1.0 s). 논문 스스로 정성적 개념 증명이라고 한정한다.

실험 ②: 멀티임베디먼트 mid-training의 데이터 효율

IWS 6개 태스크(Bimanual box / rope / sweep, Push-T, Single chain-in-box, Single grasp)를 학습에서 완전히 빼 놓고, 태스크별 적응 데이터를 1·2·4·20·40·60·80·100%로 중첩(nested) 분할해 같은 부분집합을 모든 방법에 준다. 0%는 적응 없는 zero-shot이다. 비교 대상은 원본 Wan2.2에서 시작한 Ours (PT), mid-training 체크포인트에서 시작한 Ours (MT), 태스크별로 밑바닥부터 학습하는 IWS, 그리고 Cosmos 2.5 baseline이다.

IWS 태스크 데이터 효율(Fig. 6) — 6개 태스크 × 3개 지표(LPIPS, object-flow EPE, FVD) vs 태스크별 학습 데이터 비율. 세 지표 모두 낮을수록 좋다. ATI·Wan-Move는 0%에서만 평가된다.

읽히는 것과 유보할 것을 나눠 보면:

• 의미 있는 비교는 MT vs PT다. 둘은 같은 아키텍처·같은 초기 백본 계열이고 차이는 오직 mid-training 유무다. 0%에서 6개 태스크 전부 MT가 세 지표 모두 우세하다는 결과는 곧 “이종 임베디먼트로 배운 상호작용 동역학이 전이된다”는 주장의 직접 증거다.
• IWS·Cosmos 2.5와의 0% 비교는 정보량이 적다. IWS는 태스크별로 밑바닥부터 학습하는 모델이므로 0%에서는 정의상 학습되지 않은 모델이고, Cosmos 2.5의 action-conditioning 층도 새로 도입된 것이다. “적응 안 한 action 인터페이스는 전이되지 않는다”는 결론은 맞지만 거의 동어반복에 가깝다.
• 논문이 스스로 유보를 단다. 100%에서 MT가 flow EPE 최저를 놓치는 두 경우를 명시하고(Bimanual box에서 PT와 0.014 px 차, Bimanual rope에서 IWS와 0.15 px 차), FVD가 점당 40클립 추정이라 분산이 커서 20% 이후 작고 때로 비단조인 변화가 엄밀한 수렴을 입증하지 않는다고 적는다. 이런 자기 유보는 좋은 신호다.
• “20%면 충분”은 이 태스크 스위트 안에서만 유효한 진술이다. IWS 태스크들은 모두 짧은 테이블탑 조작이고 코퍼스의 변형체 편중과도 상당히 겹친다. 훨씬 먼 도메인(예: 이동 조작, 다른 카메라 배치)에서 같은 곡선이 나올지는 실험되지 않았다.

실험 ③: 추론 속도 — 무엇이 측정됐고 무엇이 아닌가

단계	s / clip ↓	FPS ↑	Speedup ↑	네트워크 평가 횟수
양방향 teacher (50 step)	20.92	3.87	1.0×	50
Autoregressive teacher (50 step)	12.48	6.49	1.68×	153
Few-step student (4 step)	1.31	61.98	16.0×	15

산술은 정확하다(20.92/12.48=1.68, 12.48/1.31=9.53, 20.92/1.31=15.97; 평가 횟수도 3청크 × 50 + 3 recache = 153, 3청크 × 4 + 3 = 15로 맞는다). 흥미로운 것은 AR 변환이 평가 횟수를 3배 늘리고도 1.68배 빨라진다는 점인데, 청크당 7 latent만 처리하고 KV 캐시로 과거를 재사용하기 때문이다.

다만 논문 스스로 붙인 단서가 세 개다: ① generation-only 값이라 guidance와 VAE/픽셀 디코딩이 빠져 있고 end-to-end 속도가 아니다, ② 3청크짜리 짧은 지평이라 24-latent attention cap이 작동하지 않고 긴 롤아웃 비용이 전혀 시험되지 않았다, ③ 양방향 baseline은 별도 실행이며 양자화된 attention 커널을 쓴다. 그리고 결정적으로, world action model은 4-step student가 아니라 50-step AR teacher를 쓴다고 명시되어 있다 — 16배 가속과 실기 제어가 아직 같은 모델에서 만나지 않았다.

한 가지 설명되지 않은 관찰도 있다. 4-step student가 50-step teacher를 거의 모든 셀에서 이긴다(Average 기준 PSNR 20.76→21.84, FVD 193.7→155.9, VLM 3.98→4.23). 증류가 원본을 넘어서는 것은 흔한 일이 아니다. DMD2가 태스크 분포 위에서 on-policy critic과 함께 도는 추가 적응 단계로 작동했을 가능성, 혹은 소수 스텝 샘플링이 자기회귀 드리프트를 줄여 full-reference 지표에 유리하게 작용했을 가능성이 떠오르지만 논문은 이 역전을 언급조차 하지 않는다. 부수적으로 §4.1의 “four-denoising-step LightX2V I2V-A14B 체크포인트”라는 표현과 부록 8.8의 “우리가 AR 체크포인트에서 DMD2로 증류한 student”라는 서술이 나란히 있어, 표의 4-step 행이 정확히 어느 절차의 산물인지 원문만으로는 확정되지 않는다.

실험 ④: open-loop 정책 평가 — r = 0.96의 사정거리

프로토콜을 정확히 읽는 것이 중요하다. RoboLab(고충실도 시뮬레이션 벤치마크)에서 5개 정책(π₀, π₀.₅, GR00T N1.7, Cosmos-3 Edge, Cosmos-3 Nano)을 6개 태스크 × 10회 = 300 에피소드 굴린 기록이 원본이다. Hydra-0는 각 롤아웃의 진짜 첫 관측에서 시작해, 이미 기록된 로봇 EE 궤적에서 유도한 causal action flow를 받아 영상을 생성한다. 정책은 생성된 관측 위에서 한 번도 질의되지 않는다.

Open-loop 정책 평가(Fig. 7) — 참조 성공률(x) vs Hydra-0 재생 성공률(y). 5개 정책 × 6개 태스크 = 30개 점, 각 점은 10회 rollout 집계. 점선은 최소제곱 적합. Pearson r = 0.96.

결과는 r=0.96, \rho=0.93, MAE 5.7%p이고 태스크 평균 기준 5개 정책의 순위를 그대로 재현한다. 순위 재현은 정책 선택 용도에서는 실질적으로 가장 중요한 성질이라 값어치가 있다. 그런데 이 숫자를 어디까지 밀 수 있는지는 따로 따져야 한다.

• “open-loop”라는 단어가 용도를 크게 제한한다. 조건 입력이 기록된 궤적이므로, 어떤 정책을 평가하려면 그 정책을 이미 RoboLab에서 굴려 궤적을 확보해 두어야 한다. Hydra-0가 대체하는 것은 롤아웃 자체가 아니라 롤아웃의 결과 판정/시각화다. 논문도 한계 절에서 closed-loop 평가를 향후 과제로 남긴다.
• 비교 대상이 실제 세계가 아니라 다른 시뮬레이터다. 참조 성공률은 RoboLab 환경의 성공 판정(원 연구에서 정책 정체를 모르는 인간 평가자와 대조된 값)이다. 즉 이 실험이 보인 것은 “물리 시뮬레이터가 존재하는 영역에서 비디오 world model이 그 시뮬레이터와 일치한다”이다. 정작 Hydra-0가 필요한 곳 — 물리 시뮬레이션이 어려운 변형체 — 에서는 대조군이 없다. 실기 확장(Fig. 8)은 정성적이며 논문 스스로 “예비적 증거”라고 표현한다.
• Pearson r은 이 산점도에서 낙관적으로 읽힌다. 그림을 보면 30개 점 중 상당수가 원점 부근에 겹쳐 있고(성공률 0%인 정책–태스크 쌍), 상관계수는 반대쪽 끝의 고성능 점 몇 개가 끌어올린다. 같은 이유로 MAE 5.7%p도 참조 성공률의 기저율(base rate)과 함께 읽어야 하는데, 논문은 평균 성공률을 보고하지 않는다(프로젝트 페이지에는 “시뮬 집계 26.3% vs 참조 26.7%”라는 값이 있으나 arXiv v1 본문에는 없다 — 이 값을 받아들인다면 “항상 0%로 찍는” 자명한 예측기의 MAE가 ≈26.7%p이므로 5.7%p는 확실히 유의미하다). 이런 자명한 퇴화 baseline을 같은 표에 올렸어야 한다.
• 고성능 구간에서는 과소평가 경향이 보인다. 그림에서 읽으면 참조 80% 쌍이 60%로, 참조 100% 쌍 둘 중 하나가 80%로, 참조 30% 쌍이 10%로 내려간다(나머지 100% 쌍은 정확히 100%로 맞힌다). 상관은 높아도 개별 쌍의 절대값은 20%p까지 벌어진다.

실기 open-loop 재생(Fig. 8) — 천 접기에서 기록된 참조 궤적과, 그 로봇 모션으로 조건화한 open-loop 예측. 성공·실패 롤아웃의 결과 차이가 생성 영상에서도 보존되는지를 정성적으로 본다.

실험 ⑤: 역방향 — 사람 시연에서 실기 실행까지

가장 야심 찬 결과이자 가장 얇은 근거다. 보류된(held-out) 사람 시연에서 조작 물체의 운동만 뽑아 desired object flow로 만들고, embodiment flow는 넣지 않은 채 Hydra-0에 준다. 모델은 그 물체 운동을 만들어 낼 로봇 운동을 담은 롤아웃을 생성하고, 학습된 action head가 그 latent를 실행 가능한 명령으로 바꾼다.

물체 flow 조건부 실기 실행(Fig. 9) — flexible-pipe-bending 태스크. 여섯 개 대응 시점을 열로 놓고, 행 순서는 사람 시연 / 추출된 desired object flow / Hydra-0 비디오 생성 / action head를 통한 실기 실행이다.

주장의 강도를 정확히 재 보면:

• 논문의 표현부터 “qualitatively test”, “we illustrate the model on one flexible-pipe-bending task”다. 성공률도, 시행 횟수도, 비교 대상도 없다.
• “task-specific expert robot demonstrations 없이”라는 조건은 정확히 읽어야 한다. action head와 rank-32 LoRA는 짝지어진 실기 로봇 롤아웃으로 학습된다. 없어도 되는 것은 전문가 수준의 시연이지 그 플랫폼의 로봇 데이터가 아니다. 게다가 그 후학습 롤아웃에 파이프 굽히기 태스크가 포함됐는지 여부가 원문에 명시되지 않아, “태스크 데이터 없이”인지 “전문가 시연 없이”인지 독자가 확정할 수 없다.
• 한계 절이 스스로 밝히듯 이 모드는 센티미터급 파지 오차를 보이고(깊이 인지 부족을 가설로 든다), 생성 롤아웃에서 파지·접촉 상태가 모호해 물체가 실제로 잡혔는지조차 불분명할 때가 있다. 위 직관 절에서 말한 “인과가 아니라 공기 통계”의 대가가 여기서 드러난다.

비판적으로 보면

강점

• 문제를 재정의한 방식이 깔끔하다. “행동을 어떻게 인코딩할까”를 “행동을 어디에서 정의할까”로 바꿨다. 관측 평면으로 옮기는 순간 임베디먼트 차원이 사라지고, 순기구학+투영이라는 정확히 알려진 사상이 학습 부담에서 빠진다. 이 인수분해는 데이터 이종성·백본 이식성·역방향 가능성을 한꺼번에 설명한다.
• 하나의 인터페이스가 네 가지 일을 한다. 순방향 예측, 이종 데이터 통합 학습, open-loop 정책 평가, 역방향 제어가 모드 전환 없이 같은 텐서 슬롯에서 나온다. 별도의 학습 토큰조차 만들지 않은 설계 선택이 이 다목적성의 조건이다.
• 학습·배포의 비대칭을 정면으로 설계했다. 학습에는 URDF 없는 영상을 트래커+마스크로 끌어들이고, 배포에는 반드시 명령에서 인과적으로 flow를 만든다. “미래를 훔쳐보는” 조건화로 성능을 부풀리지 않는다는 것이 명확히 못 박혀 있다.
• 재현에 필요한 구현 상수를 부록에 상당히 적어 놓았다. \beta=220, K=2, 정규화 없는 raw 가중합, 모드 확률 (0.05,0.40,0.40,0.15), 트랙 표집 범위(1–128 / 256–1024), LoRA rank(순방향 64 / 역방향 32), 깊이 허용오차 1.2 cm, DMD의 critic:generator = 5:1과 CFG=0 — 코드가 없는 상황에서 이 정도 명세는 드물게 성실하다.
• 자기 결과에 유보를 단다. FVD의 40클립 분산, “엄밀한 수렴이 아님”, generation-only 속도, 손목 카메라의 정성 한정, VLM 점수 혼재 — 과장하지 않으려는 태도가 곳곳에 보인다.
• 비용 축이 실용적이다. 4-step 청크 생성으로 61.98 FPS(H100 1장)는 로봇 루프 안에서 후보 명령을 굴려 보는 용도에 실제로 닿을 만한 숫자다.

약점·한계

• 헤드라인 수치가 세 가지 변화를 한 화살표에 묶었다. 앞서 계산했듯 조건화 교체만의 기여는 59.7% / 52.6%이고, 90.4% / 60.2%는 백본 7배 확대와 증류까지 더한 값이다(위). 통제 실험 자체는 논문 안에 있으므로 은폐는 아니지만, 초록만 읽으면 오독하게 된다.
• 주력 지표가 조건 신호와 같은 좌표계에 있다. gripper EPE에서 픽셀 조건 모델이 6D 명령 모델을 이기는 것은 부분적으로 정의상 참이다. 실제로 zero-shot ATI가 파인튜닝된 baseline보다 이 지표에서 7배 좋다는 사실이 그 구조적 유리함을 보여 준다. 조건화 표현의 값어치는 조건과 무관한 지표(FVD·VLM)에서 판정해야 하는데, 거기서 이득은 더 작고 VLM은 동일 백본 비교에서 오히려 baseline이 근소 우위(3.88 vs 3.83)다.
• “백본 무관한 이식성”은 방향만 참이고 크기는 4배 다르다. 같은 flow를 받고도 Cosmos 백본판의 gripper EPE(13.80)는 zero-shot ATI(4.62)보다 3배 나쁘다. 어댑터 설계(additive vs concat)와 용량 중 무엇이 원인인지 가릴 절제 실험이 없다.
• 네 conditioning mode에 대한 절제 실험이 하나도 없다. 모드 확률 (0.05,0.40,0.40,0.15)는 이 논문의 두 핵심 능력(순방향·역방향)을 동시에 만드는 장치인데, 어떤 모드를 빼면 무엇이 무너지는지에 대한 실험이 없다. 게다가 “데이터셋·카메라별 오버라이드”가 있다고만 적고 그 목록이 없어 혼합 비율은 원문으로 재현 불가능하다. Object 마스크가 DROID·EgoDex에 아예 없다는 점을 감안하면 실제 유효 혼합은 표의 확률과 상당히 다를 수 있다.
• 긴 지평이 동기이자 사각지대다. autoregressive 변환의 명분은 장기 롤아웃인데, 보고된 모든 수치가 81프레임(≈5초) 3청크에서 나왔다. 속도 측정 문단은 “긴 롤아웃 비용이 시험되지 않았다”고 스스로 적고, 품질 쪽 장기 드리프트 측정은 아예 없다. 생성 청크가 clean history를 대체하며 누적되는 구조라 드리프트는 예상되는 실패 모드인데도 그렇다.
• 정책 평가는 open-loop이고 sim-vs-sim이다. 평가하려는 정책의 궤적을 이미 갖고 있어야 하고, 대조군은 실제 세계가 아니라 RoboLab이다. 물리 시뮬레이터가 잘 작동하는 영역에서만 정량 검증이 이뤄졌고, 정작 이 모델이 필요한 변형체 영역에서는 정성 결과(Fig. 8)뿐이다. 자명한 퇴화 예측기(항상 0% 등) baseline도 없다.
• 역방향 제어의 근거가 태스크 1개의 정성 시연이다. 초록·기여 목록·결론이 모두 이 능력을 내세우는 데 비해, 성공률·시행 횟수·비교가 전무하다. “expert 시연 없이”라는 한정어가 “태스크 데이터 없이”로 읽히기 쉬운 것도 문제다.
• “emergent”라는 표현이 후하다. Object 모드는 학습의 40%다. 새로운 것은 능력이 아니라 배포 시 관측된 물체 궤적 대신 원하는 궤적을 넣는 사용법이다.
• 배포 요건이 학습의 개방성을 배신한다. 학습은 URDF 없는 사람 손 영상까지 흡수하지만, 순방향 배포는 여전히 로봇 기하 + 카메라 캘리브레이션 + Isaac Lab 롤아웃을 요구한다(논문도 관련 연구 절 말미에 이를 명시한다). 즉 “사람 데이터로 배워 아무 로봇에나 쓴다”가 아니라 “사람 데이터로 배워 디지털 트윈이 갖춰진 로봇에 쓴다”다. 게다가 “적당한 캘리브레이션 오차는 조건만 흔들 뿐 타깃 영상을 바꾸지 않는다”는 주장에 캘리브레이션 섭동 실험이 없다 — 배포 실무에서 가장 먼저 부딪힐 질문인데 선언으로만 남았다.
• 가림 처리가 원리적으로 불완전하다. 가시성은 렌더된 depth buffer(1.2 cm 허용)로 판정하는데 “모르는/모델링되지 않은 물체의 가림은 명시적으로 제거하지 않는다”. 어수선한 장면에서는 가려진 로봇 표면점이 계속 flow에 남아 조건이 오염된다. DROID에서 물체 EPE를 아예 보고하지 못한 이유(“어수선한 장면에서 신뢰할 만한 물체 마스크를 얻을 수 없다”)와 같은 뿌리다.
• 평가 지표 자체가 얇다. VLM 심판은 Gemma 4 31B 단일 모델의 결정론적 디코딩 결과이고, 인간 평가와의 상관은 보고되지 않는다. 그리고 §4.1의 Metrics 문단은 LPIPS를 보고한다고 적어 놓았지만 Table 2에 LPIPS 열이 없다(LPIPS는 Fig. 6에만 등장한다).
• 물리 정합성에 대한 직접 측정이 없다. “물리 엔진 + 학습된 세계”라는 분업의 후반부는 어떤 보존 법칙도 강제하지 않는다. 그나마 물리적 타당성을 겨냥한 VLM 점수가 가장 어려운 Deform360에서 2.67–3.70/5로 낮게 머문다. 변형체를 주 타깃으로 삼은 논문에서 이 지표가 가장 약한 것은 시사적이다.
• 코드·체크포인트·데이터 파이프라인이 전부 미공개다. “coming soon”만 있고 재현 경로가 없다. 학습 코퍼스는 공개 데이터셋 조합이지만 필터 임계·모드 오버라이드·마스크 생성 파이프라인이 재현의 실질적 관문인데 그 명세가 부분적이다. 이 리뷰도 원문 텍스트와 그림 판독에만 기대고 있다.
• 부수적으로 흥미로운 미사용 자원이 있다. 한계 절은 깊이·촉각·힘 조건화를 향후 과제로 들지만, 정작 학습 소스 중 하나인 Deform360은 원 논문 제목부터 “Massive Multi-view Visuotactile Dataset”이다. 촉각 채널이 이미 데이터에 있는데 쓰지 않았다 — VTWM 계열이 보여 준 방향과 바로 이어지는 지점이다.

관련 연구와의 자리 매김

시각 조건 계보 쪽에서 Hydra-0는 Motion Prompting → ATI → Wan-Move로 이어지는 궤적 조건 비디오 생성의 로봇용 접지판이다. 전파 메커니즘(가우시안 가중 첫 프레임 특징 전파)은 ATI·Wan-Move에서 거의 그대로 가져왔고, 논문도 Wan-Move를 “가장 가까운 시각 조건화 선례”라고 명시한다. 새로 넣은 것은 세 가지 — 가시성 인지 로봇 표면점 트랙, 멀티임베디먼트 학습, 순/역 공유 인터페이스, 그리고 URDF·캘리브레이션 없는 영상에서 학습용 트랙을 복원하는 경로다.

world model 계보 쪽에서 보면 좌표를 바꾼 실험이다. Dreamer 계열이 압축된 latent에서, DINO-WM이 사전학습 시각 특징에서, SWM이 아예 미래에 대한 VQA로 동역학을 다뤘다면, Hydra-0는 픽셀을 합성하되 조건 입력의 좌표계를 바꿨다. 관측을 재구성하지 않는 SWM 계열과는 목적이 상보적이다 — SWM은 “그래서 성공했나”를 싸게 묻고, Hydra-0는 “화면에서 정확히 무슨 일이 일어나는가”를 비싸게 그린다.

로봇 정책 계보 쪽에서 이 논문은 정책이 아니다. 논문 스스로 “태스크별 행동을 재현하는 대신 로봇 운동의 결과를 모델링한다”고 선을 긋는다. 그래서 π₀·MolmoAct2 같은 VLA와 경쟁 관계가 아니라 소비 관계다 — VLA가 뱉은 후보 명령을 Isaac Lab으로 굴려 flow로 만들고 그 결과를 미리 본다. 다만 역방향 모드에서만은 경계가 흐려지는데, 그 부분이 아직 태스크 1개짜리 개념 증명이라는 점도 함께 기억할 필요가 있다.

물체 운동을 행동 표현으로 쓰는 계보와도 정면으로 만난다. Track2Act, FLIP, 그리고 3D Motion Field처럼 “물체가 어떻게 움직여야 하는가”를 임베디먼트 불변 행동 표현으로 삼는 흐름이 있는데, Hydra-0의 Object 모드가 정확히 그 자리다. 차이는 별도 표현을 새로 만들지 않고 순방향과 완전히 같은 텐서 슬롯을 재사용한다는 것, 그리고 그 위에 action head를 얹어 실기 명령까지 내린다는 것이다.

변형체 조작 쪽에서는 학습된 시뮬레이터라는 접근이 특히 값어치가 있다. 천·로프의 상태를 명시적으로 복원하고 물리 시뮬레이션하는 것이 여전히 어렵다는 게 논문의 출발점이고, 실제 천 접기 문제의 난이도는 Learning to Fold 같은 대회 솔루션에서 확인된 바 있다. 다만 이 논문의 정량 검증이 물리 시뮬레이터가 잘 도는 RoboLab에서만 이뤄졌다는 앞서의 지적은 바로 이 맥락에서 아프다.

요약

Hydra-0의 기여는 새 모델 구조가 아니라 인터페이스의 위치를 옮긴 것이다. 행동을 로봇의 좌표계가 아니라 카메라의 좌표계에서 정의하고, 그 번역기를 순기구학+투영이라는 결정론적 파이프라인(배포 시에는 Isaac Lab의 컨트롤러+물리 롤아웃)에 맡긴다. 그 결과 사람 손 영상부터 휴머노이드 천 접기까지 2,201.7시간이 한 손실 항으로 합쳐지고, 같은 슬롯을 물체 궤적으로 채우면 역방향 제어가 나오며, 기록 궤적을 재생하면 정책 평가기가 된다. 하나의 표현이 이만큼 여러 곳에 꽂히는 설계는 드물고, 부록의 구현 상수까지 성실하게 적힌 편이다.

동시에 근거의 층이 고르지 않다. 정량적으로 단단한 것은 조건화 표현 비교(Table 2)와 데이터 효율(Fig. 6) 두 가지이고, 그마저 헤드라인 90.4%는 백본 교체를 포함한 값이라 조건화만의 기여 59.7% / 52.6%로 다시 읽어야 한다. 정책 평가의 r=0.96은 open-loop·sim-vs-sim이라는 사정거리 안에서만 유효하고, 역방향 제어는 태스크 1개의 정성 시연이며, 장기 드리프트·캘리브레이션 민감도·conditioning mode 절제는 측정되지 않았다. 코드가 미공개라 외부 검증 경로도 지금은 없다.

그래도 방향은 설득력 있다. 로봇 world model이 임베디먼트 장벽에서 멈춰 온 이유가 조건 입력의 형식이라는 진단은 정확하고, “정확히 아는 부분은 계산하고 모르는 부분만 학습한다”는 처방은 이 분야에서 반복적으로 옳았던 원칙이다. 다음 판본에서 볼 것은 분명하다 — closed-loop 평가, 긴 지평 드리프트, 캘리브레이션 섭동, 그리고 역방향 모드의 정량화. 그리고 코드가 열리면 이 리뷰의 유보 중 상당수는 하루면 확인된다.