📃Cosmos Policy 리뷰

manipulation

world-model

video-generation

diffusion

planning

Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

Published

September 14, 2026

Paper Link (arXiv:2601.16163v1)
Code Link (NVlabs/cosmos-policy, Apache-2.0)
Project Page
Models (HuggingFace)
Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu
NVIDIA · Stanford University, arXiv preprint (2026-01-22 제출, v1)

💡 사전학습된 비디오 생성 모델(Cosmos-Predict2-2B)을 구조 변경 없이 단 한 번의 post-training만으로 로봇 정책으로 바꾼다 — 액션·미래 상태·가치를 전부 비디오 모델의 latent diffusion 시퀀스 안 “latent frame”으로 밀어 넣는 것이 전부다.
⚙️ latent injection으로 (s, a, s', V(s'))를 하나의 latent 시퀀스로 배열하고, 배치를 50/25/25로 쪼개 같은 가중치가 정책·월드모델·가치함수 셋을 동시에 학습하게 한다. 테스트 시엔 world model이 상상한 미래 상태의 가치로 best-of-N 탐색을 돌린다.
🎯 LIBERO 98.5%, RoboCasa 67.1%(태스크당 50 데모만 사용)로 SOTA, 실세계 ALOHA 4개 bimanual 태스크 평균 점수 93.6으로 \pi_{0.5}(88.6)·OpenVLA-OFT+(62.0)를 앞섰고, 어려운 두 태스크에 model-based planning을 붙이면 59.5 → 72.0으로 +12.5점.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

VLA(vision-language-action) 모델은 대부분 정적 이미지-텍스트 쌍으로 학습된 VLM을 백본으로 쓴다. 반면 비디오 생성 모델은 수백만 개의 영상에서 시간적 인과성·암묵적 물리·운동 패턴을 배운다 — 로봇 제어에 더 어울리는 prior처럼 보인다. 문제는 지금까지 비디오 모델을 정책으로 쓰려던 시도들이 하나같이 복잡했다는 점이다: 비디오 fine-tuning 후 별도 action module을 학습하는 2단계 파이프라인이거나(Video Prediction Policy, VidAR 계열), 별도의 action diffuser·inverse dynamics model 같은 새 구조를 붙여야 했다. 반대로 통합 video-action 모델(UVA, UWM)은 커스텀 설계 탓에 사전학습된 비디오 모델의 prior를 아예 못 쓴다.

Cosmos Policy의 주장은 단순하다. 아무것도 붙이지 마라. 비디오 모델은 이미 고차원·멀티모달 분포를 모델링하는 강력한 학습 알고리즘(latent diffusion)을 갖고 있으니, 액션도 그 알고리즘이 다루는 latent frame 중 하나로 만들어 버리면 된다. 로봇 proprioception·action chunk·state value를 각각 [-1,+1]로 정규화한 뒤 latent volume 크기에 맞게 복제(duplicate) 해서 채워 넣고, 그 latent frame들을 이미지 latent frame 사이에 끼워 넣는다. 그러면 “액션 생성”은 그냥 “몇몇 latent frame을 denoise하는 일”이 된다.

개요(Fig. 1) — Cosmos-Predict2-2B에서 fine-tune된 Cosmos Policy. 멀티뷰 카메라·언어·proprioception을 입력받아 (1) action chunk, (2) 미래 상태(proprio + 이미지), (3) value(미래 상태의 rewards-to-go)를 예측한다. 베이스 비디오 모델에 구조 변경은 전혀 없다.

프로젝트 페이지 공개 영상 — ALOHA·LIBERO·RoboCasa 롤아웃 데모.

핵심 방법론:

베이스 모델 Cosmos-Predict2-2B-Video2World는 Wan2.1 시공간 VAE 토크나이저 위에서 동작하는 latent video diffusion model이고, EDM denoising score matching으로 학습된다. 노이즈 레벨 \sigma에서 denoiser D_\theta의 학습 목적은

\mathcal{L}(D_{\theta},\sigma)=\mathbb{E}_{\mathbf{x}_{0},\mathbf{c},\mathbf{n}}\left[\left\|D_{\theta}(\mathbf{x}_{0}+\mathbf{n};\sigma,\mathbf{c})-\mathbf{x}_{0}\right\|_{2}^{2}\right]

로, \mathbf{x}_0는 VAE로 인코딩된 깨끗한 이미지 시퀀스, \mathbf{c}는 T5-XXL로 인코딩된 텍스트, \mathbf{n}\sim\mathcal{N}(\mathbf{0},\sigma^2\mathbf{I})다. 토크나이저는 (1+T)\times H\times W\times 3 비디오를 (1+T')\times H'\times W'\times 16 latent로 압축한다(T'=T/4, H'=H/8, W'=W/8). Cosmos Policy는 이 식을 한 글자도 바꾸지 않는다. 바꾸는 것은 \mathbf{x}_0가 무엇을 담느냐뿐이다.

3인칭 카메라 2대 + 손목 카메라 1대 구성이면 latent 시퀀스는 11개 프레임이 된다: (1) blank placeholder, (2) 현재 proprio, (3~5) 현재 손목·3인칭1·3인칭2 이미지, (6) action chunk, (7) 미래 proprio, (8~10) 미래 이미지 3장, (11) 미래 상태 value. 이 순서 자체가 (s, a, s', V(s'))를 표현하고, 왼쪽→오른쪽 autoregressive 디코딩을 가능하게 한다.

학습은 배치를 쪼개 세 함수를 동시에 최적화한다(조건부와 타깃을 어디서 끊느냐가 곧 어떤 함수를 학습하느냐다):

\underbrace{p(a,s',V(s')\mid s)}_{\text{policy, 50\%}}\quad \underbrace{p(s',V(s')\mid s,a)}_{\text{world model, 25\%}}\quad \underbrace{p(V(s')\mid s,a,s')}_{\text{value, 25\%}}

sparse reward 설정이므로 R(s_t,a_t)=0 for t<H, 종단 보상 R(s_H,a_H)\in[0,1]이고, 가치 라벨은 Monte Carlo return \gamma^{H-t}R(s_H,a_H)를 그대로 쓴다.

주요 결과:

LIBERO 4개 suite 평균 98.5% (suite당 500 trial × 3 seed = 6000 trial). CogVLA 97.4%, OpenVLA-OFT 97.1%, \pi_{0.5} 96.9%를 상회. LIBERO-Object는 100.0%.
RoboCasa 24개 주방 태스크 평균 67.1% (3600 trial). 그런데 학습 데이터는 태스크당 인간 데모 50개뿐 — 비교 대상 대부분은 300~3000개를 썼다(FLARE 66.4%@300, GR00T-N1.5 64.1%@300, DP-VLA 57.3%@3000).
실세계 ALOHA 4개 bimanual 태스크, 방법당 101 trial. 평균 score 93.6 vs \pi_{0.5} 88.6, \pi_0 77.9, OpenVLA-OFT+ 62.0, Diffusion Policy 33.6.
Planning: 어려운 두 태스크(candies in bowl / candy in ziploc bag)에서 base 59.5 → model-based(V(s')) 72.0 (+12.5). model-free(Q(s,a))는 61.3에 그침.
Ablation(LIBERO): auxiliary loss 제거 −1.5점(98.5→97.0), 사전학습 가중치 없이 scratch 학습 −3.9점(→94.6).

결론:

“비디오 모델을 정책으로 쓴다”는 아이디어 자체는 새롭지 않다. 새로운 것은 그 일을 하기 위해 아무 모듈도 만들지 않아도 된다는 실증이다. 액션을 latent frame으로 취급하는 한 줄짜리 결정만으로, 대규모 action-labeled 로봇 데이터로 사전학습된 VLA들을 같은 데모 위에서 이긴다. 덤으로 같은 모델이 world model이자 value function이 되어 test-time search까지 공짜로 얹힌다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문의 통찰은 “액션은 특별한 출력이 아니다” 라는 것이다. 지난 2년간의 로봇 정책 연구는 대체로 반대 방향이었다 — 사전학습 백본(VLM이든 비디오 모델이든)은 지각을 담당하고, 액션은 별도의 action expert / action diffuser / discrete token head가 뽑는다는 분업 구조. Cosmos Policy는 이 분업을 해체한다. 비디오 diffusion 모델이 이미 “고차원·멀티모달·시간적으로 일관된 연속값 시퀀스”를 생성하는 기계라면, 14차원 관절각 50스텝짜리 action chunk는 그 기계에게 그냥 조금 작은 프레임 하나다. 그래서 논문은 액션을 [-1,+1]로 정규화하고 latent volume이 꽉 찰 때까지 복제해 넣는, 거의 무례할 만큼 단순한 인코딩을 쓴다. 놀라운 것은 이게 작동한다는 사실이 아니라, 잘 작동한다는 것이다 — 그것도 백본을 바꾸지 않고, 학습 단계를 하나만 쓰고, 같은 모델이 world model·value function 역할까지 겸하면서.

배경: 비디오 모델을 정책으로 만들 때 생기는 구조적 부채

비디오 생성 모델은 로봇 정책의 백본으로 매력적이다. VLM이 정적 이미지-텍스트에서 의미 개념을 배우는 반면, 비디오 모델은 프레임 예측을 통해 시간적 인과성과 암묵적 물리를 배운다. 문제는 인터페이스다. 비디오 모델은 이미지를 받아 이미지를 뱉는다. 로봇은 proprioception을 받아 action을 뱉어야 하고, 카메라도 여러 대다. 이 간극을 메우는 기존 방식은 두 부류인데, 논문은 둘 다에 명확한 비용을 매긴다.

접근	대표 연구	비용
2단계: 비디오 fine-tune → 별도 action module	Video Prediction Policy (Hu et al. 2024), Video Policy (Liang et al. 2025), FlowVLA (Zhong et al. 2025), VidAR (Feng et al. 2025) 등	학습 단계가 늘고, action diffuser·inverse dynamics 같은 새 구조가 필요
통합 video-action 모델	UVA (Li et al. 2025a), UWM (Zhu et al. 2025)	커스텀 설계라 사전학습된 비디오 모델을 못 쓴다 → spatiotemporal prior 손실

세 번째 길이 없었던 이유는 간단하다. 비디오 모델의 latent 시퀀스는 “프레임”이라는 단일 타입만 받아들이도록 설계돼 있어서, 이질적인 모달리티를 넣을 자리가 없어 보였기 때문이다. Cosmos Policy는 그 전제를 의심한다 — latent frame은 결국 H'\times W'\times C' 텐서일 뿐이고, 거기에 무엇을 채우든 diffusion transformer는 상관하지 않는다.

방법 1: Latent Frame Injection

Latent diffusion 시퀀스(Fig. 2) — 윗줄: 원본 이미지가 latent frame으로 토크나이즈된다. 가운뎃줄: 추가 모달리티(현재 proprio·action chunk·미래 proprio·value, 붉은 테두리)가 latent 시퀀스에 직접 삽입된다. 아랫줄: 깨끗한 conditioning 부분(초록, s)을 조건으로 노이즈가 씌워진 target 부분(분홍, a, s', V(s'))을 denoise한다.

핵심 메커니즘은 세 줄로 요약된다.

자리 만들기. 새 모달리티가 들어갈 자리에 blank(전부 0인) 이미지를 끼워 넣고 VAE로 토크나이즈한다.
덮어쓰기. 그렇게 만들어진 placeholder latent frame을 정규화·복제된 proprio/action/value로 완전히 overwrite 한다.
그냥 학습. 이후는 원래 비디오 diffusion 학습과 동일 — 깨끗한 부분을 조건으로 노이즈 씌운 부분을 복원.

복제의 구체적 산식이 흥미롭다. K\times d_{act} 형태의 action chunk를 정규화 후 flatten하면 길이 K\cdot d_{act} 벡터가 되는데, 이를 \frac{H'\times W'\times C'}{K\times d_{act}} 번 복제해 latent volume 하나를 채운다. 추론 시엔 역으로 모든 복제본의 평균을 취해 action chunk를 복원한다. value는 스칼라라 더 간단히 latent volume 전체 평균을 취해 [0,+1]로 역정규화한다. 중요한 부수 효과: 이 모달리티들은 VAE 디코딩이 전혀 필요 없다 — 애초에 latent 공간에 직접 주입됐기 때문이다.

구현 상세(Fig. 8) — Fig. 2의 정밀판. 맨 앞 blank placeholder 프레임은 VAE의 (1+T/4) 시간 압축 때문에 필요하다(첫 이미지는 단독 인코딩, 나머지는 4장씩 묶여 압축). 그래서 각 이미지를 4장씩 동일 복제해 한 timestep이 latent frame 하나에 대응하도록 만든다.

이 blank placeholder는 사소해 보이지만 재현할 때 반드시 걸려 넘어질 부분이다. Wan2.1/Cosmos-Predict2 계열 토크나이저는 첫 프레임만 시간 압축 없이 인코딩하고 나머지는 4장 단위로 묶는다. 그래서 논문은 ① 시퀀스 맨 앞에 blank 프레임 하나를 버리는 자리로 두고, ② 실제로 쓰고 싶은 이미지는 동일한 이미지 4장을 복제해 넣어 latent frame 1개로 압축되게 만든다. 즉 Fig. 8 윗줄의 “4장씩 겹쳐 보이는 이미지”는 4개 timestep이 아니라 한 timestep의 4중 복사다.

설계상 눈여겨볼 제약도 명시돼 있다. s와 s'는 각각 시점 t와 t+K의 관측만 담는다 — 입력 히스토리를 쓰지 않고, 여러 미래 시점을 연속 예측하지도 않는다. 비디오 모델을 백본으로 쓰면서 정작 긴 시간 축을 쓰지 않는다는 점은 아이러니한데, 그만큼 “사전학습 prior가 단발 예측에도 도움이 된다”는 주장이기도 하다.

방법 2: 정책·월드모델·가치함수의 동시 학습

Balanced batches(Fig. 12) — latent 시퀀스는 고정된 채, 어디까지를 조건으로 주고 어디부터를 타깃으로 생성하게 하느냐만 바꿔 정책(50%)·월드모델(25%)·가치함수(25%)를 같은 가중치로 학습한다. rollout으로 refine할 때는 입력 마스킹으로 V(s') 또는 Q(s,a) 형태를 선택할 수 있다.

한 아키텍처가 세 역할을 하는 트릭은 conditioning scheme에 있다. latent 시퀀스 [s \mid a \mid s' \mid V(s')]는 그대로 두고, 앞쪽 어디까지를 깨끗하게(조건) 두느냐만 배치 샘플마다 바꾼다. s까지만 깨끗하면 정책 학습, (s,a)까지 깨끗하면 world model, (s,a,s')까지면 value function이다. 구조도 손실함수도 동일하고 마스크만 다르다.

데이터 출처도 갈린다: 배치의 50%는 demonstrations 데이터셋(정책용), 나머지 50%는 rollouts 데이터셋(월드모델·가치함수용, 절반씩)에서 온다. 초기엔 rollouts 데이터셋이 demonstrations의 상위집합 — 재생 시 실패하는 데모까지 포함한다. LIBERO·RoboCasa에선 사람 실수로 대략 10~20%의 데모가 재생 시 실패하는데, 정책 학습에선 이를 필터링하지만 월드모델·가치함수 학습에는 필터 없이 전부 쓴다. 실패 궤적이야말로 가치함수가 필요로 하는 신호이기 때문이다. (실세계 ALOHA 데이터는 원격조작을 조심히 수집해 실패 데모가 없고, 따라서 두 데이터셋이 동일하다.)

auxiliary supervision도 명시적 설계다. 정책은 p(a\mid s)가 아니라 p(a,s',V(s')\mid s)를, world model은 p(s'\mid s,a)가 아니라 p(s',V(s')\mid s,a)를 학습한다. 이게 단순 장식이 아니라는 건 RoboCasa ablation(Table 5)에서 극적으로 드러난다 — 뒤 실험 절 참조. (다만 “auxiliary”라는 이름은 구현을 보면 오해를 부른다. 공개 코드에는 추가된 손실 항이 없고 손실 마스크에서 그 칸을 빼지 않았을 뿐이다 — 뒤의 코드 대조 절 ①.)

노이즈 스케줄을 로봇용으로 바꾼다

노이즈 분포 변경(Fig. 9) — 왼쪽: 베이스 Cosmos-Predict2의 log-normal 분포(P_\text{mean}=1.39, P_\text{std}=1.2). 오른쪽: Cosmos Policy의 hybrid log-normal-uniform 분포 — 확률 0.7로 원래 log-normal, 0.3으로 [1.0, 85.0] 균등 분포에서 샘플해 고-\sigma 꼬리를 늘렸다.

논문에서 가장 “로봇스러운” 부분이다. 비디오 생성에선 픽셀이 조금 틀려도 되지만, 액션은 작은 부정확이 곧 파국적 실패다. 베이스 모델의 log-normal 노이즈 분포는 낮은 \sigma에 학습 가중치를 몰아주는데, diffusion 샘플링은 \sigma_\text{max}=80의 순수 노이즈에서 시작하므로 정작 생성이 시작되는 고-\sigma 영역의 학습 신호가 부족해 초기 denoising이 엉성해지고 오차가 누적된다. 그래서 학습 시엔 고-\sigma 꼬리를 늘린 혼합 분포를 쓴다(저자들은 0.7/0.3 비율을 튜닝하지 않았다고 밝힌다).

추론 시엔 정반대 방향의 조정을 한다. \sigma\approx 0 근처 마지막 denoising 스텝들이 SNR이 너무 낮아 오히려 부정확하다는 관찰에서, \sigma_\text{min}을 EDM 기본값 0.002가 아니라 4로 올린다(\sigma_\text{max}=80은 유지). 판단 근거는 학습·검증 샘플에서의 L1 loss 감소다. 재현하는 입장에선 이 두 값이 “기본값을 그대로 쓰면 안 되는” 대표적 함정이다.

방법 3: World model로 상상하고 value로 고르기

월드모델 예측 비교(Fig. 6) — 위: 데모만으로 학습된 base Cosmos Policy의 월드모델은 “지퍼백 슬라이더를 놓치는” 실패를 예측하지 못한다. 아래: policy rollout 데이터로 fine-tune한 뒤에는 결과 상태를 더 정확히 예측해 planning이 실제로 작동한다.

planning 파트의 핵심 논지는 “데모만으로는 world model을 만들 수 없다” 이다. 데모 데이터는 성공 궤적만 담고 있어서, world model과 value function이 보는 state-action 분포가 지나치게 좁다. 그래서 정책을 실제로 굴려 rollout을 모으고(성공/실패 또는 부분 점수까지 기록), 그 데이터로 체크포인트를 월드모델·가치함수 쪽에 90% 가중치를 두고(정책은 10%) 추가 fine-tune한다.

여기서 나오는 설계가 dual deployment다: 원래 체크포인트가 “policy model”로 액션을 제안하고, refine된 체크포인트가 “planning model”로 미래와 가치를 예측한다. 이유는 on-policy 정합성 — refine된 월드모델은 원래 정책이 만든 데이터로 학습됐으니, 그 정책의 제안을 평가할 때 가장 정확하다.

탐색 자체는 best-of-N이다: ① 정책에서 N개 action 후보 샘플링 → ② planning model로 각 후보의 미래 상태와 가치 예측 → ③ 최고 가치 후보 실행. 예측 노이즈에 대한 방어로 액션당 world model 3회 × 미래 상태당 value 5회 = 후보당 15개 가치 예측을 앙상블하고, 단순 평균 대신 “majority mean” 으로 집계한다 — 고정 임계로 성공/실패 다수파를 가른 뒤 그 다수파 안에서만 평균. 가치 예측이 bimodal하거나 분산이 클 때 naive average보다 이상치에 강하다는 논리다.

그리고 여기서 가치함수의 형태를 마스킹으로 고를 수 있다는 게 latent injection 설계의 예쁜 귀결이다. (s,a)를 마스크아웃하면 V(s')(월드모델 필요, model-based), s'를 마스크아웃하면 Q(s,a)(월드모델 불필요, model-free). 같은 체크포인트·같은 학습 코드에서 두 패러다임을 비교할 수 있다.

직관: 왜 “복제해서 채우기”가 통하는가

액션 14×50 = 700개 숫자를 H'\times W'\times 16짜리 텐서에 수십 번 복제해 넣는다는 것은, 정보이론적으로는 극단적인 중복 부호화(repetition code) 다. 이게 왜 유리한가.

추론 시 평균이 노이즈를 줄인다. diffusion 샘플링 결과는 확률적인데, 같은 값을 R번 복제해 두면 복원 시 R개 추정치의 평균을 쓰게 되어 분산이 줄어든다. 액션 정밀도가 곧 성공률인 도메인에서 이건 공짜 이득이다.
사전학습된 가중치가 “낯선 입력”을 만나지 않는다. 만약 액션을 latent frame의 한 귀퉁이에만 넣고 나머지를 0으로 두면, DiT 입장에서 통계적으로 전혀 본 적 없는 sparse한 텐서가 된다. 복제로 꽉 채운 텐서는 (Fig. 2에서 보이듯) 규칙적 줄무늬 패턴 — 텍스처를 닮은, 비디오 모델이 다룰 줄 아는 종류의 신호다.
모달리티 간 인터페이스가 균일해진다. 이미지든 액션이든 value든 전부 “latent frame 1개”라서, 시퀀스 순서를 바꾸는 것만으로 조건부 구조를 재구성할 수 있다. Fig. 12의 마스킹 트릭도, V/Q 전환도 여기서 나온다.

1번은 단순한 해석이 아니라 코드에 그대로 박혀 있다. 공개 구현의 액션 복원은 복제본 차원을 따라 평균을 취하는 한 줄이다(cosmos_policy/experiments/robot/cosmos_utils.py, final_action_chunk = torch.mean(all_action_chunks, dim=1), 2026-09-27 레포 직독). 즉 한 번의 디노이징으로 사실상 수십 번의 앙상블을 공짜로 얻는 구조다 — 논문 본문이 “평균을 취해 추출한다”고만 적고 그 통계적 이득을 주장하지 않는데, 정밀도가 성공률을 좌우하는 태스크(지퍼백 86.0점)에서 실제로 기여했을 가능성이 높다.

반대로 비용도 분명하다. latent volume 하나를 스칼라 value 하나에 통째로 쓰는 것은 계산상 낭비다. 다만 속도 쪽에는 역으로 이득이 있다: 액션·proprio·value는 애초에 latent 공간에 주입됐으므로 추출에 VAE 디코딩이 전혀 필요 없다. 직접 정책으로 쓸 때는 미래 이미지 예측을 그냥 버리면 되므로, 2B 비디오 모델을 쓰면서도 1-step denoising에서 0.16초가 나오는 근거가 여기에 있다.

실험

셋업

실세계 ALOHA 태스크(Fig. 3) — 장기 horizon·고정밀·높은 action multimodality를 요구하는 4개 bimanual 태스크의 성공 롤아웃.

도메인	로봇/환경	학습 데이터	평가 규모
LIBERO	Franka Panda, 4개 suite	suite당 500 데모 (10 태스크 × 50)	suite당 500 trial × 3 seed = 6000 trial
RoboCasa	Franka Panda, 24개 주방 태스크	태스크당 인간 데모 50개만 (MimicGen 1000개 미사용)	태스크당 50 trial × 3 seed = 3600 trial
ALOHA (실세계)	ViperX 300 S ×2, 카메라 3대(상단 1 + 손목 2), 25 Hz	4개 태스크 합쳐 185 데모 (80/15/45/45)	방법당 101 trial (30/20/25/26)

ALOHA 쪽 셋업에서 눈에 띄는 선택들: 제어 주파수를 50 Hz → 25 Hz로 낮췄고(계산 효율), 모든 정책이 50 스텝(2초) action chunk를 예측해 전량 실행 후 재질의한다(receding horizon 아님). Diffusion Policy만 구현 제약으로 48스텝. 그리고 태스크별 개별 정책이 아니라 4개 태스크 통합 단일 정책을 학습했다.

학습 조건도 부록에 꼼꼼히 적혀 있다(Appendix A.2). 세 도메인 모두 베이스 모델을 full fine-tuning(전 가중치)한다.

도메인	GPU	Global batch	Gradient steps	시간	Action chunk (실행)	최종 action L1
LIBERO	64× H100	1920	40K	48h	16 (전량)	0.012
RoboCasa	32× H100	800	45K	48h	32 (16스텝만 실행)	0.016
ALOHA	8× H100	200	50K	48h	50 (전량)	0.010

ALOHA 비교군에는 동일 wall-clock 예산(8×H100 48시간)을 줬는데, 프레임워크 속도 차이 탓에 실제 gradient step 수는 크게 갈렸다: \pi_{0.5}·\pi_0 400K(batch 256), OpenVLA-OFT+ 32K(batch 96, grad accum 4). Diffusion Policy는 약 150M 파라미터로 훨씬 작아 H100 1장에서 48시간(190 epoch ≈ 72K step, batch 350) 학습했다.

평가 지표는 성공률이 아니라 score(0~100, 태스크 완료 비율) 다. 예컨대 “fold shirt”는 10단계 각 10점에 접힘이 삐져나오면 −10점, “put candies in bowl”은 사탕 5개 각 20점. 이진 성공률이 놓치는 부분 진척을 잡으려는 것인데, 논문 서론이 이 93.6을 “highest average success rate (93.6%)”라 부르는 것은 Fig. 4·Table 3의 “Average Score”와 용어가 어긋난다 — 사소하지만 인용할 때 주의할 지점이다.

Q1: 직접 정책으로서의 성능

LIBERO (Table 1) — Cosmos Policy는 LIBERO-Long에서 특히 벌어진다(97.6 vs CogVLA 95.4, OpenVLA-OFT 94.5).

Method	Spatial	Object	Goal	Long	Average
Diffusion Policy	78.3	92.5	68.3	50.5	72.4
Dita	97.4	94.8	93.2	83.6	92.3
\pi_0	96.8	98.8	95.8	85.2	94.2
UVA	–	–	–	90.0	–
UniVLA	96.5	96.8	95.6	92.0	95.2
\pi_{0.5}	98.8	98.2	98.0	92.4	96.9
Video Policy	–	–	–	94.0	–
OpenVLA-OFT	97.6	98.4	97.9	94.5	97.1
CogVLA	98.6	98.8	96.6	95.4	97.4
Cosmos Policy (ours)	98.1	100.0	98.2	97.6	98.5

RoboCasa (Table 2) — 여기서 진짜 주장은 절대 수치가 아니라 데이터 효율이다. 50 데모로 300~3000 데모 기반 방법들을 넘는다.

Method	태스크당 학습 데모	Average SR (%)
GR00T-N1	300	49.6
UVA	50	50.0
DP-VLA	3000	57.3
GR00T-N1 + DreamGen	300 (+10000 합성)	57.6
GR00T-N1 + DUST	300	58.5
UWM	1000	60.8
\pi_0	300	62.5
GR00T-N1.5	300	64.1
Video Policy	300	66.0
FLARE	300	66.4
GR00T-N1.5 + HAMLET	300	66.4
Cosmos Policy (ours)	50	67.1

실세계 ALOHA (Fig. 4 / Table 3) — in-distribution과 OOD를 나눠 보면 그림이 훨씬 흥미로워진다.

ALOHA 평가 결과(Fig. 4) — 태스크별 score와 평균. Cosmos Policy가 전체 평균 93.6으로 최고이지만, 4개 중 3개 태스크에서만 1위다(“put candies in bowl”은 \pi_{0.5} 95.2가 앞선다).

Method	put X on plate	fold shirt	candies in bowl	candy in ziploc	Average
In-distribution
Diffusion Policy	85.0	23.3	37.3	11.0	39.2
OpenVLA-OFT+	87.5	99.2	22.7	59.0	67.1
\pi_0	97.5	98.3	73.3	56.0	81.3
\pi_{0.5}	97.5	99.2	98.7	56.0	87.8
Cosmos Policy	100.0	99.2	100.0	86.0	96.3
OOD
Diffusion Policy	20.0	23.8	26.0	26.7	24.1
OpenVLA-OFT+	30.0	100.0	20.0	56.7	51.7
\pi_0	60.0	98.8	68.0	60.0	71.7
\pi_{0.5}	100.0	100.0	90.0	80.0	92.5
Cosmos Policy	100.0	100.0	74.0	83.3	89.3
Full (ID + OOD)
Diffusion Policy	63.3	23.5	32.8	14.6	33.6
OpenVLA-OFT+	68.3	99.5	21.6	58.5	62.0
\pi_0	85.0	98.5	71.2	56.9	77.9
\pi_{0.5}	98.3	99.5	95.2	61.5	88.6
Cosmos Policy	100.0	99.5	89.6	85.4	93.6

여기서 논문 스스로 인정하는 반전이 있다: OOD 조건만 보면 \pi_{0.5}(92.5)가 Cosmos Policy(89.3)보다 낫다. 대규모 로봇 데이터 + 웹 데이터로 사전학습한 VLA의 일반화 우위가 남아 있다는 뜻이고, Cosmos Policy의 우위는 주로 in-distribution 정밀도(96.3 vs 87.8)에서 온다. 리뷰어 입장에선 이 구분이 초록의 “highest average score”보다 훨씬 유용한 정보다.

베이스라인 실패 모드(Fig. 5) — 왼쪽: \pi_{0.5}는 지퍼백 슬라이더의 고정밀 파지에 실패해 놓친다. 오른쪽: OpenVLA-OFT+는 사탕 하나를 향하지 않고 두 사탕 사이로 손을 뻗는다 — L1 회귀가 멀티모달 action 분포를 평균내버린 전형적 증상.

Fig. 5의 오른쪽은 이 논문이 “왜 diffusion 기반 생성이어야 하는가”를 보여주는 가장 설득력 있는 그림이다. OpenVLA-OFT+는 액션을 L1 회귀로 예측하는데(관련 리뷰: OpenVLA-OFT), 왼쪽 사탕과 오른쪽 사탕이 모두 유효한 선택인 상황에서 회귀는 두 모드의 평균, 즉 사탕 사이 빈 공간으로 수렴한다. “put candies in bowl”에서 OpenVLA-OFT+가 21.6점에 그친 것이 이 한 장에 설명된다.

Q2: 무엇이 성능을 만드는가 (ablation)

LIBERO (Table 4)

Variant	Spatial	Object	Goal	Long	Average
Cosmos Policy (ours)	98.1	100.0	98.2	97.6	98.5
(1) w/o auxiliary losses	97.6	99.8	96.7	94.0	97.0 (−1.5)
(2) w/o pretrained model (scratch)	94.7	98.9	96.3	88.6	94.6 (−3.9)

실세계에서의 scratch 검증은 더 가혹하다 — scratch 버전은 “fold shirt”에서 80.8점(full 대비 −18.7점)에 그쳤고, 움직임이 거칠어 장기 배포 시 로봇을 손상시킬 수 있다고 판단해 추가 평가를 중단했다. 사전학습 prior의 가치가 성공률뿐 아니라 동작의 부드러움에서 나온다는 관찰인데, 정량화되진 않았다.

RoboCasa (Table 5) — 이쪽이 훨씬 결정적이다. 구성요소를 하나씩 떼어내며 “액션만 예측하는 앙상한 정책”까지 간다.

Variant	Average SR (%)
Cosmos Policy (5 denoising steps)	67.1
(1) w/o 가치함수 학습 샘플 (배치 50/50 policy·WM)	66.6
(2) w/o 월드모델·가치함수 학습 샘플 (배치 100% policy)	64.0
(3) (2) + 정책의 value 보조 타깃 제거 → \pi(a,s'\mid s)	62.5
(4) (3) + 미래 상태 타깃까지 제거 → \pi(a\mid s) (barebones)	44.4
Cosmos Policy w/ 1 denoising step	66.4

→ (4)의 −18.1점 낙차가 이 논문의 숨은 주인공이다. 배치 분할·가치함수·앙상블 같은 장치는 각각 0.5~2.5점씩 기여할 뿐인데, 정책이 미래 상태를 함께 예측하도록 강제하는 것만으로 62.5 → 44.4의 붕괴를 막는다. 바꿔 말해 Cosmos Policy의 성능은 “비디오 모델을 백본으로 썼다”보다 “백본에게 계속 비디오를 예측시키면서 액션도 시켰다” 에서 나온다. 사전학습 prior를 fine-tuning 중에 잃지 않게 붙잡아두는 정규화로 읽는 편이 자연스럽다. 공개 코드를 보면 이 해석이 더 분명해진다 — (4)는 무언가를 뺀 것이 아니라 손실 마스크로 미래 프레임 칸을 꺼서 “비디오 예측을 그만두게 한” 설정이다(코드 대조 절 ①).

마지막 줄도 실용적으로 중요하다. denoising step을 5 → 1로 줄여도 66.4%(−0.5%) 이고, 지연은 0.61초 → 0.16초로 약 4배 빨라진다.

Q3·Q4: Planning

Planning 결과(Fig. 7) — 어려운 초기 조건에서의 score. base 59.5 → model-free Q(s,a) 61.3 → model-based V(s') 72.0. “put candy in ziploc bag”에서 70.0 → 84.0으로 가장 크게 오른다.

rollout 데이터는 놀랍도록 적다. 앞선 직접 정책 평가를 돌리면서 전 방법에 걸쳐 505개 롤아웃이 이미 쌓였고, 여기에 “put candy in ziploc bag”용으로 143개를 추가해 총 648개로 planning model을 fine-tune했다. 지퍼백 태스크에만 추가 수집을 한 이유도 구체적이다 — 로봇 자기 가림(self-occlusion)으로 카메라 관측성이 낮고, 밀리미터 차이가 성공/실패를 가르는 확률적 동역학이라 월드모델 학습이 특히 어렵다.

Q4의 답(model-based V(s') > model-free Q(s,a))에 대해 저자들이 내놓는 설명은 학습된 동역학을 활용하는 쪽이 샘플 효율적이라는 것, 그리고 Q는 입력 차원이 높아(s,a 모두 조건) 소량 데이터에서 과적합하기 쉽다는 것이다. 다만 이는 “648개 롤아웃”이라는 특정 데이터 규모에서의 관찰이고, 논문도 추측형(“suspect”)으로 적는다.

추론 비용은 정직하게 보고돼 있다. best-of-N(N=8)을 8개 H100에 브랜치당 1개씩 병렬 배치해도 한 번의 탐색에 4.9초가 걸린다(액션 10스텝 × 8후보 → 미래상태 5스텝 × 3앙상블 → value 5스텝 × 5앙상블). 탐색 비용을 더 키우지 않으려고 receding horizon 없이 chunk 전량 실행을 택한 것도 이 때문이다.

공개 코드와 대조해 보면

논문만 읽고 넘어가면 놓치는 것들이 있어, 공개 레포(NVlabs/cosmos-policy, Apache-2.0)를 실제로 받아 대조했다(확인 시점 2026-09-28, main 브랜치, 인용한 값은 모두 레포 파일에서 직접 확인). 먼저 분명히 해 두면, 알고리즘 자체는 논문과 일치한다 — latent frame 구성, 액션 타일링, blank placeholder + 4배 이미지 복제, \sigma_\text{min}=4, 0.7/0.3 혼합 노이즈 모두 파일 수준에서 확인된다. 어긋나는 것은 메커니즘이 아니라 서술 방식(아래 ①)과 논문에 적히지 않은 기본값들(②~④)이다. 그리고 그중 하나는 논문 읽기 자체를 바꾼다.

① “보조 손실을 더했다”는 서술은, 코드에서는 “손실 마스크에서 그 칸을 빼지 않았다”이다. 이게 이번 대조에서 가장 값진 발견이다. policy_text2world_model.py에서 실제로 역전파되는 손실은 EDM 손실 하나(kendall_loss = edm_loss_B_C_T_H_W)이고, 그 뒤에 프레임 단위 마스크 final_mask_B_T를 곱하는 것이 전부다. 같은 파일에 future image·proprio·value별 *_mse_loss/*_l1_loss가 잔뜩 계산되지만 전부 출력 딕셔너리로만 흘러가는 로깅 지표이고 학습에 쓰이지 않는다. “보조 손실 가중치” 같은 하이퍼파라미터도 없다(있는 것은 action_loss_multiplier 하나이고 공개 설정 값은 1).

당연한 이야기다 — 미래 이미지·proprio·value 칸은 이미 \mathbf{x}_0의 일부라, 아무것도 더하지 않아도 자동으로 EDM 손실에 들어간다. 따라서 §4.2의 auxiliary supervision은 추가한 것이 아니라 빼지 않은 것이고, ablation은 마스크로 그 칸을 꺼서 손실에서 제외한 것이다(mask_loss_for_action_future_state_prediction, mask_value_prediction_loss_for_policy_prediction — 둘 다 기본 False이고 공개 LIBERO/RoboCasa 설정 어디에도 켜는 줄이 없다. 즉 릴리스 체크포인트는 보조 감독이 최대로 켜진 상태다).

이렇게 읽으면 Table 5의 −18.1pp가 비로소 납득된다. “보조 항을 하나 더했더니 18점이 올랐다”가 아니라, “비디오 모델에게 하던 일(미래 프레임 예측)을 계속 시켰느냐 껐느냐”의 차이가 18점이라는 뜻이기 때문이다. Cosmos Policy의 본질은 손실 설계가 아니라 fine-tuning 중에도 백본이 원래 하던 일을 놓지 않게 두는 것에 가깝다.

② 공개 설정의 가치함수는 V(s')도 Q(s,a)도 아니다. 입력 마스킹 플래그 mask_current_state_action_for_value_prediction과 mask_future_state_for_qvalue_prediction은 둘 다 기본 False 이고, 레포 전체에서 True로 켜지는 곳은 ALOHA planning 실험 설정 단 한 줄뿐이다(전자만. Q(s,a) 플래그는 공개 설정에서 아예 켜지지 않는다). 따라서 LIBERO·RoboCasa 공개 설정의 가치 예측은 s, a, s'를 전부 조건으로 받는 형태 — 저자 주석 표기로는 V(s,a,s') — 이고, 논문 본문에 등장하지 않는 제3의 변형이다. 재현자 입장에선 함정이다: LIBERO 체크포인트로 planning을 흉내 내면 논문이 비교한 것과 다른 가치함수를 쓰게 된다.

③ \sigma 상한이 세 개이고 서로 다르다. 학습 sigma_max=200, 혼합 분포의 균등 상한 uniform_upper=85.0, 추론 시작점 sigma_max=80(+ sigma_min=4). 논문은 본문에서 \sigma_\text{max}=80과 균등 구간 [1.0, 85.0]만 언급하고 학습 상한 200은 적지 않는다 — 그래서 \sigma \in (85, 200] 구간이 log-normal 꼬리로만 드물게 채워진다는 사실이 논문만 봐서는 보이지 않는다. 덧붙여 학습 설정의 p_mean = 1.3862943611198906은 정확히 \ln 4이고 “Copied from base model config” 주석이 달려 있다(논문의 P_\text{mean}=1.39와 일치). 추론 \sigma_\text{min}도 4라는 게 우연인지 아닌지는 논문에 설명이 없다.

그리고 이 \sigma_\text{min}=4는 별도 inference-only 설정에 거의 홀로 들어 있고, 빠뜨려도 에러가 나지 않는다. 그 설정이 상위 설정에 얹는 내용이 사실상 sigma_max=80, sigma_min=4 두 줄뿐이라, 설정을 안 얹으면 학습 값(sigma_min=0.01)으로 조용히 떨어진다. 크래시도 경고도 없고 생성 품질만 나빠진다. 알고리즘만 옮겨 적는 재구현에서 가장 먼저 새는 지점이 여기일 것이다.

④ 미래 이미지 슬롯의 초기값은 blank가 아니라 “현재 이미지의 복사본”이다. cosmos_utils.py의 시퀀스 구성 코드를 보면, action·미래 proprio·value 자리에는 blank 이미지를 넣는데(blank_image_duplicated.copy()) 미래 손목/3인칭 이미지 자리에는 현재 손목/3인칭 이미지를 복사해 넣는다(주석도 “copies of the current primary/secondary images”라고 명시). 즉 월드모델은 무에서 미래를 그리는 게 아니라 현재 프레임을 출발점으로 변화분을 그리도록 조건이 잡혀 있다. 논문 본문에도 Fig. 2·Fig. 8에도 이 초기화 선택은 서술되지 않는다 — 재구현 시 blank로 두면 조건 자체가 달라진다. (미래 proprio는 blank인데 미래 이미지만 복사본이라는 비대칭도 설명이 없다.)

⑤ 액션 복원의 “평균”은 문자 그대로 한 줄이다 — 앞의 직관 절에서 다룬 무료 앙상블 효과.

부수적으로, 가치 앙상블 집계 함수에는 논문이 보고한 majority_mean 외에 비관적 하한(LCB, mean − std) 방식이 구현돼 있지만 논문에 보고되지 않는다. 성공/실패를 가르는 문턱값 0.05도 함수 안 상수다(논문은 “fixed threshold”라고만 적는다). 그리고 best-of-N 관련 기본값은 논문 설정과 다르다 — 질의 수 기본 1(=탐색 없음), 집계 기본 average이므로, 논문의 N=8·majority_mean을 재현하려면 명시적으로 지정해야 한다. LIBERO 공개 설정의 latent 시퀀스 길이는 state_t=9(blank, proprio, wrist, primary, action, future proprio, future wrist, future primary, value)로, 3인칭 2대 구성의 11과 §4.1의 예시 7 사이 어딘가다.

환경 구성 쪽에서는 긍정적인 발견이 있었다. SETUP.md는 Docker를 전제하지만, uv.lock에 NVIDIA 자체 인덱스의 prebuilt 휠(flash-attn·natten·transformer-engine)이 고정돼 있어 nvcc 없는 호스트에서 uv sync --extra cu128 한 번으로 설치가 완주했다(torch 2.7.0+cu128, RTX 5090 / sm_120에서 확인). 무거운 CUDA 확장을 직접 빌드하지 않아도 된다는 뜻이고, 이 규모의 NVIDIA 레포치고는 이례적으로 매끄럽다.

다만 평가 프로토콜을 단일 소비자 GPU에서 완주하는 것은 구조적으로 불가능하다. LIBERO 시뮬레이션 루프만 돌려도 약 10.7 steps/s인데, suite당 500 trial × 수백 step이면 모델 추론을 빼고도 6~7시간이고 논문은 3 seed(6000 trial)를 돈다. 위에서 본 학습 요구사항(64×H100)에 더해, 검증조차 클러스터 없이는 재현 범위가 “돌아가는지 확인”까지라는 점은 분명히 해 둘 필요가 있다.

비판적으로 보면

강점

단순성이 실증으로 뒷받침된다. “구조 변경 0, 학습 단계 1”이라는 주장은 말로는 쉽지만, Table 4의 scratch ablation(−3.9)과 Table 5의 barebones ablation(−22.7)이 “무엇을 안 했는지”와 “무엇이 실제로 기여했는지”를 분리해 보여준다. 단순함을 주장하는 논문이 흔히 빠지는 “그래서 진짜 이유가 뭐냐”에 답이 있다.
데이터 효율이 진짜 결과다. RoboCasa에서 50 데모로 300~3000 데모 기반 방법을 넘긴 것은 절대 성능(67.1%)보다 훨씬 강한 주장이다. ALOHA도 4개 태스크 총 185 데모로 대규모 사전학습 VLA들을 이겼다.
같은 모델이 정책·월드모델·가치함수를 겸한다는 것의 실용적 가치. 마스크만 바꿔 V(s')/Q(s,a)를 전환하고, 같은 코드로 model-based와 model-free를 비교한다. FLARE·SAILOR·Latent Policy Steering처럼 모듈을 분리한 접근들과 대비되는 명확한 설계 이점이다.
실패 모드를 그림으로 설명한다. Fig. 5는 “우리가 더 좋다”가 아니라 “경쟁 방법이 왜 그 태스크에서 무너지는가”를 보여준다. L1 회귀 ↔︎ 멀티모달 분포의 문제를 한 장으로 전달한 좋은 예.
재현 정보가 이례적으로 상세하다. GPU 수·배치 크기·gradient step·학습 시간뿐 아니라 모달리티별 L1 training loss(액션 0.010~0.016, 이미지 latent 0.036~0.097)까지 공개한다. 재현 시 “어디까지 내려가야 정상인지”를 알 수 있는 드문 수준이다. 코드 쪽도 uv.lock에 prebuilt CUDA 휠을 고정해 둬서 설치가 실제로 한 번에 통과했다.

약점·한계

OOD에서는 \pi_{0.5}에 진다(89.3 vs 92.5). 논문은 이를 Table 3 캡션에서 한 줄로 인정하고 넘어가지만, “비디오 prior가 VLM prior보다 낫다”는 서사의 가장 중요한 반례다. 대규모 action-labeled 사전학습이 주는 것과 비디오 사전학습이 주는 것이 서로 다른 종류의 이득임을 시사하는데, 그 구분에 대한 분석은 없다.
추론 비용이 무겁다. planning 없이도 한 chunk에 0.61초(5스텝)~0.95초(10스텝, H100 1장)이고, planning은 H100 8장 병렬로 4.9초다. ALOHA에서 이게 굴러간 것은 chunk가 2초를 커버하고 로봇이 그 동안 멈춰 서 있어도 되는 준정적 태스크이기 때문이다. 논문도 동적 조작·보행에 적용이 어렵다고 스스로 적는다. 다만 1-step denoising이 −0.5%로 거의 공짜였다는 결과(Table 5)를 보면, 지연 문제의 상당 부분은 최적화 여지가 있어 보인다.
planning 평가 규모가 작다. Q3·Q4 결론 전체가 2개 태스크, 어려운 초기 조건 subset에 기반한다. 시행 수·시드 수가 명시되지 않고, 신뢰구간도 없다. +12.5점이라는 숫자는 방향성으로는 설득력 있지만 통계적 강도는 약하다.
“rollout 데이터가 필요하다”는 순환성. 좋은 월드모델을 얻으려면 정책을 굴려야 하고, 그러려면 이미 쓸 만한 정책이 있어야 한다. 논문은 이를 한계로 인정하지만(“effective planning requires substantial rollout data”), 648개 롤아웃을 모으는 데 든 실세계 시간·노동은 보고되지 않는다. 데이터 효율을 핵심 주장으로 내세운 논문에서 이 비용의 부재는 아쉽다.
latent injection의 대안 설계가 검증되지 않았다. 복제 인코딩은 직관적으로 그럴듯하지만(위 직관 절), 논문에는 “복제 없이 sparse하게 넣기”, “학습 가능한 projection 쓰기” 같은 대안과의 비교가 없다. 즉 “구조를 안 바꿨다”는 주장은 검증됐지만 “이 인코딩이 최선이다”는 검증되지 않았다.
비디오 모델을 쓰면서 시간 축을 거의 안 쓴다. 입력 히스토리 없음, 미래는 t+K 한 시점만 예측. best-of-N도 탐색 트리 깊이 1이다. 비디오 모델의 진짜 강점(긴 시간 일관성)을 활용하지 않는 셈이고, 저자들도 예측 지평 확장과 깊은 탐색을 future work로 남긴다.
⚠️ “완전 공개”라는 재현성 주장에 구멍이 있다. §7 Reproducibility Statement는 체크포인트·학습 데이터·코드를 공개한다고 적고, 실제로 정책 체크포인트 nvidia/Cosmos-Policy-LIBERO-Predict2-2B는 HuggingFace에서 게이팅 없이 받을 수 있다. 그런데 그 정책이 의존하는 VAE 토크나이저는 nvidia/Cosmos-Predict2-2B-Video2World 안에 있고(cosmos_policy/config/defaults/tokenizer.py의 vae_pth="hf://nvidia/Cosmos-Predict2-2B-Video2World/tokenizer/tokenizer.pth"), 이 레포는 gated: auto 다(2026-09-27 HF API 확인). 즉 라이선스 수락 + 토큰 없이는 추론을 한 줄도 돌릴 수 없다. 더 나쁜 것은 README·SETUP.md·LIBERO.md 어디에도 HF 인증 안내가 없다는 점이다 — 재현자는 “공개”라는 문장을 읽고 시작했다가 토크나이저 다운로드 단계에서 막힌다. Apache-2.0 코드와 ungated 정책 가중치라는 외양이, 사실상 게이팅된 백본 위에 서 있다.
재현 진입 장벽이 문서에 반영돼 있지 않다. 위 HF 게이팅에 더해, SETUP.md가 Docker를 전제하는데 실제로는 불필요했고(오히려 uv sync 쪽이 매끄럽다), 추론 품질을 좌우하는 \sigma_\text{min}=4는 별도 설정을 얹어야 적용되며 빠뜨려도 조용히 넘어간다. 논문의 재현성 주장과 레포의 실제 온보딩 경험 사이 간극은 저자 통제 범위 안의 문제다.
논문이 기술한 설정과 공개 설정이 같지 않다. 가장 눈에 띄는 것은 가치함수다 — 논문은 V(s')와 Q(s,a) 두 형태만 논하는데, 공개 LIBERO/RoboCasa 설정은 s,a,s'를 모두 조건으로 받는 제3의 형태를 쓰고 그 사실이 논문에 없다. 학습 \sigma_\text{max}=200, 미래 이미지 슬롯을 현재 프레임 복사본으로 초기화하는 선택도 마찬가지로 논문에 없다(코드 대조 절 ②~④). 어느 것도 논문의 결론을 무너뜨리진 않지만, 논문만 보고 재구현하면 저자가 쓴 것과 다른 모델이 나온다. 재현성 진술이 “코드를 공개했다”에서 멈추고 “논문과 코드의 설정 차이”를 정리해 주지 않은 결과다.
튜닝되지 않은 값이 하드코딩돼 있다. 노이즈 혼합 0.7/0.3은 논문이 스스로 “튜닝하지 않았다”고 밝힌 값인데 코드에는 조건문 리터럴로 박혀 있다(균등 분포 경계만 설정 가능). 가치 앙상블의 성공 문턱 0.05도 함수 안 상수다. 저자들에게는 사소한 선택이었겠지만, 이 논문의 핵심 기여 중 하나가 “로봇용으로 노이즈 스케줄을 바꿨다”인 이상 가장 먼저 ablation했어야 할 노브다.
용어 불일치와 비교 공정성의 회색지대. 서론은 ALOHA 결과를 “success rate 93.6%”로, 표는 “Average Score”로 부른다. 또 ALOHA에서 베이스라인들에 동일 wall-clock(8×H100 48시간) 예산을 준 것은 공정한 설계이지만, 그 결과 gradient step 수는 \pi_{0.5} 400K vs Cosmos Policy 50K로 8배 차이가 난다. “같은 시간”과 “같은 학습량” 중 무엇이 공정한지는 논쟁적이고, 논문은 전자를 택한 이유를 길게 논하지 않는다.

요약

Cosmos Policy는 “액션을 비디오 모델의 latent frame으로 취급하면, 사전학습된 비디오 모델은 아무 개조 없이도 최고 수준의 조작 정책이 된다”는 것을 LIBERO 98.5%·RoboCasa 67.1%(50 데모)·실세계 ALOHA 평균 93.6점으로 보인 논문이다. 여기에 같은 모델이 world model과 value function을 겸하게 해 test-time best-of-N 탐색을 붙이면, 어려운 태스크에서 +12.5점을 더 얻는다.

가장 값진 발견은 방법론 자체보다 ablation이 드러낸 이유라고 본다. 정책이 액션만 예측하게 하면 RoboCasa 성능이 62.5 → 44.4로 무너진다. 비디오 모델을 로봇에 쓰는 이득은 “좋은 초기 가중치”가 아니라 미래를 계속 예측하게 만드는 학습 신호에 있다는 뜻이고, 이는 비디오 백본을 쓰는 후속 연구 모두에 적용될 만한 교훈이다. 공개 코드가 이 해석을 굳혀준다 — 논문이 “auxiliary loss”라 부른 것은 더해진 항이 아니라 끄지 않은 칸이었고, 그러니 그걸 껐을 때의 붕괴는 보조 신호의 상실이 아니라 백본이 하던 일을 빼앗긴 결과로 읽는 편이 맞다.

한계도 분명하다. OOD 일반화에서는 여전히 대규모 사전학습 VLA(\pi_{0.5})가 앞서고, planning은 H100 8장에 4.9초를 요구하며, 그 결론은 2개 태스크 subset에 기반한다. 그럼에도 코드·체크포인트·학습 데이터가 공개됐고(논문 §7, 코드 Apache-2.0), 공식 레포 README 기준 추론은 GPU 1장에 6.0~8.9 GB VRAM이면 돌아간다고 안내돼 있어, “비디오 파운데이션 모델을 정책으로 쓴다”는 아이디어를 실제로 만져볼 수 있는 몇 안 되는 출발점이 됐다. 실제로 설치까지는 uv sync 한 번으로 통과했다.

다만 그 “출발점”의 폭은 정직하게 좁혀 말해야 한다. 학습은 8×80GB H100이 최소 권장이고 논문 실험은 LIBERO 64 GPU·RoboCasa 32 GPU·ALOHA 8 GPU를 각각 48시간씩 썼다. 평가조차 단일 소비자 GPU로는 LIBERO 한 suite에 반나절이 걸려 논문 수치 검증이 현실적이지 않다. 그리고 그 앞에 게이팅된 토크나이저라는, 문서에 적혀 있지도 않은 관문이 하나 서 있다. 아이디어는 더없이 단순한데 그것을 확인하는 비용은 전혀 단순하지 않다는 점이, 이 논문을 읽고 남는 마지막 인상이다.