📃Zero-WAM 리뷰

world-model

vla

video-generation

zero-shot

human-video

Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization

Published

September 1, 2026

Paper Link (arXiv:2608.26103) — 이 리뷰는 v2 (2026-08-27, CC BY 4.0) 기준이며, 수치는 전부 원문에서 확인한 값이다.
Project Page (robbyant-research.github.io/Zero-WAM)
Code Link (github.com/robbyant-research/Zero-WAM) — 2026-09-15 공개(예고 기한을 지켰다). Python, ⭐399(2026-09-24 확인). 체크포인트 2종(zero-wam-pretrain, zero-wam-posttrain-robotwin, 각 37.06 GB)과 데이터셋(HumanGen, 326.8 GB) 모두 ungated·Apache-2.0으로 올라와 있다. 주의 — HuggingFace 조직이 robbyant(LingBot 계열 베이스라인)와 Robbyant-Research(Zero-WAM 산출물) 둘로 나뉘어 있다.

갱신 노트 (2026-09-24)

이 리뷰는 코드 공개 전인 2026-08-31에 작성됐고, 당시 “레포에 코드·모델·데이터가 하나도 없다 / 재현 가능성은 현재로선 0이다”라고 적었다. 그 서술은 이제 낡았다. 2026-09-15 릴리스 이후 실제로 코드를 받아 돌려 본 결과를 반영해 갱신한다.

arXiv는 여전히 v2가 최신이고 개정이 없다 → 논문 내용 델타는 0이다. 수치·수식·해석 부분은 그대로 둔다.
새로 추가한 것: 릴리스 상태, 단일 RTX 5090에서의 ICL 추론 실측, 그리고 논문 읽기만으로는 알 수 없던 논문↔︎코드 간극(「코드가 열린 뒤」 절). 후자가 이 갱신의 핵심이다.
릴리스 이후에도 해소되지 않은 비판(HumanGen 파이프라인)은 그대로 남겨 두고, 해소된 비판(코드 미공개)은 정정했다.

Jiaming Zhou, Qihang Zhang*, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang†, Yinghao Xu† (Robbyant · HKUST(GZ) · HKUST, *Project Lead, †Corresponding)
arXiv preprint, 2026 (cs.RO; v1 2026-08-26, v2 2026-08-27)

💡 학습 때 본 적 없는 조작 태스크를 파라미터 갱신 없이 수행하는 문제를, LLM의 in-context learning처럼 “태스크 명세를 컨텍스트에 넣는 문제” 로 바꾼다 — 다만 명세의 매체가 언어가 아니라 사람이 그 태스크를 하는 영상이다.
⚙️ 사람–로봇 짝 데이터가 없다는 병목을, 방향을 뒤집어 푼다: 이미 있는 로봇 궤적에서 VLM·이미지 편집·비디오 생성 모델로 의미가 같은 사람 영상을 합성해 74.2K쌍/8.6K 태스크의 HumanGen을 만들고, 사람 영상을 prefix memory로 붙인 causal video-action 모델을 in-context future chunk prediction(IFP) 보조 손실로 학습해 “로봇 히스토리만 보고 다음 chunk를 외삽하는” 지름길을 막는다.
🎯 RoboTwin 2.0의 unseen 7태스크에서 평균 성공률 46.95% — 같은 프로토콜의 LingBot-VA(17.45%) 대비 +29.50%p. 실물 양팔 Franka 3개 태스크군에서도 언어 조건 LingBot-VA를 모두 앞선다(53.3 / 33.3 / 16.7% vs 43.3 / 10.0 / 0.0%).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 정책의 태스크 인터페이스는 사실상 언어로 굳어져 있다. VLA도, 최근의 video-action 모델도 “무엇을 하라”를 문장으로 받는다. 그런데 문장은 조작 태스크를 자주 덜 지정한다(underspecify) — 어느 인스턴스인지, 중간 상태가 어때야 하는지, 어떤 순서로 해야 하는지를 말로 풀어 쓰기가 번거롭고, 무엇보다 “장면이 어떻게 변해야 하는가”에 대한 시각적 증거를 하나도 주지 못한다. Zero-WAM은 여기서 출발해 태스크 명세를 사람 시연 영상으로 바꾼다. 사람 영상은 실행 가능한 로봇 행동을 담고 있진 않지만, 원하는 상태 변화와 그 시간적 전개를 그대로 보여 준다.

문제는 이 인터페이스를 학습시킬 데이터다. 태스크가 다양한 사람–로봇 짝 데이터는 손으로 모으기엔 너무 비싸다(Table 1의 기존 데이터셋은 최대 344 태스크). Zero-WAM의 결정적인 한 수는 화살표를 뒤집는 것이다. 사람이 먼저 하고 로봇이 따라 하는 게 아니라, 이미 쌓여 있는 로봇 궤적에서 의미가 같은 사람 영상을 생성해 낸다. 로봇 궤적은 실행 가능한 행동 라벨을 그대로 갖고 있으므로, 생성된 사람 영상과 짝지으면 곧바로 “명세(사람 영상) + 정답(로봇 행동)” ICL 쌍이 된다. 이렇게 74.2K쌍·8.6K 태스크를 만들었다.

Zero-WAM 개요(Fig. 1) — 왼쪽은 학습 데이터 두 축(task-diverse 로봇 데이터 + 짝지어진 사람–로봇 데이터), 가운데는 언어 지시와 사람 영상 지시를 모두 받는 causal video-action 모델(Video Model → Action Model), 오른쪽은 평가 시나리오(multi-object · long-horizon · fine-grain · simulation).

핵심 방법론:

백본은 LingBot-VA 계열의 causal video-action 프레임워크다. 궤적을 chunk 열 \tau=\{(\mathbf{x}^{i},\mathbf{a}^{i})\}_{i=1}^{N} 로 자르고, 매 제어 스텝을 “다음 비디오 chunk와 그에 시간 정렬된 행동 chunk를 예측하는” 인과 예측 문제로 본다(Eq. 3). 이 결합확률은 비디오 예측 → 행동 디코딩으로 인수분해된다(Eq. 4):

p_{\theta}\!\left(\mathbf{x}^{i+1},\mathbf{a}^{i+1}\mid \mathbf{x}^{\leq i},\mathbf{a}^{\leq i},c\right) = \underbrace{p_{\theta}^{\mathrm{vid}}\!\left(\mathbf{x}^{i+1}\mid \mathbf{x}^{\leq i},\mathbf{a}^{\leq i},c\right)}_{\text{비디오 world model}}\cdot \underbrace{p_{\theta}^{\mathrm{act}}\!\left(\mathbf{a}^{i+1}\mid \mathbf{x}^{\leq i},\mathbf{a}^{\leq i},\mathbf{x}^{i+1},c\right)}_{\text{inverse dynamics}}

여기에 Zero-WAM이 더한 것이 태스크 조건 c 의 확장이다. 사람 영상 \mathbf{h} 를 로봇 궤적 앞에 붙여 prefix memory로 쓰고, 비디오 브랜치만 그것을 본다(Eq. 5~6):

\mathcal{C}^{\mathrm{vid},i}=[\,[\mathbf{h},\mathbf{x}^{\leq i}],\,\mathbf{a}^{\leq i},\,\ell\,],\qquad \mathcal{C}^{\mathrm{act},i}=[\,\mathbf{x}^{\leq i},\,\mathbf{a}^{\leq i},\,\mathbf{x}^{i+1},\,\ell\,]

즉 행동 Transformer는 사람 영상을 아예 보지 않는다(Eq. 7~8). 사람 영상의 태스크 의미는 이미 예측된 다음 로봇 비디오 chunk \mathbf{x}^{i+1} 안에 흡수됐다고 보고, 행동 디코딩은 표준 inverse dynamics로 남겨 둔다.

두 번째 축은 지름길 차단이다. teacher forcing으로 학습하면 “바로 다음” 로봇 비디오 chunk는 최근 로봇 히스토리만 외삽해도 상당히 맞출 수 있어서, 모델이 사람 영상을 쓰지 않고도 손실을 줄인다. IFP는 stride s 로 벌린 K 개의 먼 미래 chunk를 현재 로봇-비디오 표현만으로 맞히게 강제한다(Eq. 11~14):

j_{k}=(i+1)+1+(k-1)s,\qquad \bm{\phi}^{i+1}=P_{\mathrm{fuse}}\!\left(\mathrm{Concat}\left(\{\mathbf{r}^{i+1}_{m}\}_{m=1}^{M}\right)\right)

\mathcal{L}_{\mathrm{ifp}}=\sum_{k=1}^{K}w_{k}\,\mathcal{L}_{\mathrm{fm}}\!\left(\mathbf{x}^{j_{k}};\,\bm{\phi}^{i+1},\mathbf{x}^{\leq i},\mathbf{a}^{\leq i},\ell\right)

핵심은 IFP 모듈이 사람 영상 \mathbf{h} 에 직접 조건 걸리지 않는다는 점이다. 오직 메인 비디오 브랜치가 \mathbf{h} 와 상호작용한 뒤 뽑아낸 \bm{\phi}^{i+1} 만 본다. 그래야 “먼 미래를 맞혀라”는 압력이 보조 브랜치가 아니라 메인 브랜치의 표현으로 되돌아간다(IFP 모듈은 추론 시 제거된다).

주요 결과:

RoboTwin 2.0 unseen 7태스크 평균(3 seed × 태스크당 100 rollout): Zero-WAM 46.95±0.72%, LingBot-VA 17.45±1.40%, WAN-Action 10.98±1.07% (Table 2). 7개 태스크 전부에서 두 베이스라인을 앞선다.
개별 최고치는 place empty cup 84.87%(베이스라인 42.33 / 38.33%), move stapler to pad 69.14%. 가장 어려운 장기 태스크 stack blocks three는 베이스라인 둘 다 0.00%인데 Zero-WAM만 9.00%로 0을 깬다.
실물 양팔 Franka, 태스크군당 30 trial (Table 3): 물체→용기 배치 53.3%(LingBot-VA 43.3%), 3물체 순차 조작 33.3%(10.0%), 테이블 다리 2개 삽입 16.7%(0.0%).
데이터: HumanGen 74.2K쌍 / 8.6K 태스크 / 로봇 임베디먼트 45종 초과. 기존 최대 태스크 수는 EgoScale의 344개, 최대 샘플 수는 RH20T의 110K/147태스크였다(Table 1).
절제: IFP를 빼면 46.95% → 28.55%(Fig. 6 우). 대규모 사전학습 없이 43개 seen 태스크만으로 학습해도 ICL만으로 10.98% → 36.36%(Fig. 5). 사람 영상 조건을 마스킹한 text-only 변형은 39.44% 로 LingBot-VA를 21.99%p 앞선다(Fig. 6 좌).
비용: 사전학습 15,360 GPU-hour, RoboTwin post-training은 64 GPU × 4,000 step. GPU 기종과 추론 지연은 논문 어디에도 없다. (공개된 코드로 직접 재어 보니 단일 RTX 5090에서 액션 청크당 ~9.8초다 — 아래 코드가 열린 뒤 절.)

결론:

Zero-WAM의 실질적 기여는 모델 구조보다 데이터의 방향에 있다. “사람 영상을 태스크 프롬프트로 쓰자”는 아이디어 자체는 BC-Z·Vid2Robot 이래 있었고 늘 데이터에서 막혔는데, 이 논문은 로봇 궤적 → 사람 영상이라는 역방향 합성으로 태스크 커버리지를 두 자릿수 배로 늘렸다. 여기에 IFP라는 “지름길 차단 정칙화”를 붙여 그 인터페이스가 실제로 쓰이도록 만들었다. 다만 뒤에서 보겠지만, 헤드라인 +29.50%p의 대부분은 사람 영상 조건 자체가 아니라 사전학습 데이터 쪽 변화에서 온다 — 사람 영상을 마스킹한 변형만으로도 이미 대부분의 격차가 난다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

사람–로봇 짝 데이터가 없어서 “사람 영상을 프롬프트로 쓰는 정책”이 매번 좌초했다면, 짝을 사람 쪽에서 시작하지 말고 로봇 쪽에서 역으로 만들어 내면 된다 — 그리고 그렇게 만든 프롬프트를 모델이 실제로 읽게 하려면, 다음 프레임이 아니라 한참 뒤의 프레임을 맞히게 시켜야 한다.

배경: 언어의 underspecification과 지름길

논문이 지목하는 문제는 둘이다(§1).

첫째, 태스크 명세로서 언어의 한계. 공간 제약·중간 상태·시간 구조를 문장으로 정확히 옮기기 어렵고, 아무리 자세한 지시도 “장면이 어떻게 변해야 하는가”의 직접 증거는 주지 못한다. 게다가 unseen 태스크에서는 그 문장을 한 번도 관측한 적 없는 태스크 동역학으로 접지(grounding)해야 한다. 반면 사람 영상은 원하는 상태 변화와 그 전개를 그대로 보여 준다. 로봇 행동은 없지만, 정책은 자기 임베디먼트와 동역학으로 그것을 실현하면 된다.

둘째, 지름길(shortcut). 사람 영상을 조건으로 붙여 놓아도, seen 태스크에서 teacher forcing으로 학습하면 다음 로봇 비디오 chunk가 로봇 히스토리 + 텍스트만으로 대부분 예측된다. 그러면 모델은 사람 영상을 안 봐도 학습 손실이 잘 내려가고, 정작 그 신호가 필요한 unseen 태스크에서 영상을 덜 쓴다. 이건 조건부 생성 모델의 고전적 병리(조건 무시)가 로봇 정책에서 나타난 형태다.

여기에 논문이 명시하진 않았지만 배경으로 깔린 세 번째가 있다. 저자들이 인용하는 AGNOSTOS[41]는 VLA 정책이 cross-task 일반화에 실패함을 보이고 unseen 태스크의 로봇 궤적을 테스트 때 넣어 주는 우회로를 제안했다. 논문은 이를 “테스트 시점 비용을 늘린다”고 비판하는데, AGNOSTOS의 1저자가 Zero-WAM의 1저자 Jiaming Zhou다. 즉 이 논문은 자기 이전 벤치마크가 남긴 숙제를 자기가 푸는 구도다.

데이터: 로봇 궤적을 사람 영상으로 되돌린다

Task-diverse VA — “궤적 수”가 아니라 “태스크 수”로 세기

먼저 로봇 쪽 사전학습 코퍼스를 다시 짠다(§2.1). 소스는 AgiBot, InternData-A1, Open-X-Embodiment, RoboCOIN, RoboMIND 다섯 개로 LingBot-VA가 쓴 것과 동일하다. 문제는 이 데이터셋들이 같은 태스크의 텔레옵을 반복한 궤적으로 채워져 있다는 점이다. 원 분포를 그대로 쓰면 사전학습이 중복 궤적에 지배돼, 이미 데이터 안에 있는 태스크 다양성을 활용하지 못한다.

그래서 각 데이터셋을 “조작 동작 × 대상 물체” 로 정의된 태스크 단위로 재분할하고(메타데이터가 있으면 그것을, 없으면 궤적에서 파싱), 태스크마다 상한을 두고 궤적을 뽑는다. 상한은 소스별 태스크 내 다양성에 맞춰 조정한다. 그 결과가 에폭당 6,000개 넘는 태스크, 약 400K 궤적이다.

In-context human video generation — 파이프라인 4단

데이터 구성과 사람 영상 생성 파이프라인(Fig. 2) — 위: Task-diverse VA와 HumanGen의 4개 서브셋(Pre-train ICL external/in-house, Simulation ICL, Real-world ICL). 아래: 로봇 영상 → (VLM 파싱) → 편집 프롬프트 → (이미지 편집) → 사람 관측 → (비디오 생성) → 사람 영상 → (VLM 품질 평가) → ICL 쌍. 품질 평가는 Semantics/Physics 각각 5(Perfect)·3(Acceptable)·1(Bad) 척도다.

같은 태스크 단위 샘플링으로 뽑은 로봇 영상 하나마다 다음을 돌린다(§2.2).

VLM 태스크 분석 (Gemini 3.1 Pro 또는 Qwen3.6-Plus): 태스크 이름, 초기 물체 상태, 상태 변화, 최종 상태를 뽑고, 첫 로봇 프레임을 사람 조작 장면의 초기 관측으로 바꿀 이미지 편집 프롬프트를 만든다. 배경·시점·환경 스타일·물체 인스턴스·물체 배치의 변주를 여기서 주입한다.
이미지 편집 (Nano Banana 2 / Qwen-Image-2.0): 편집 프롬프트로 초기 사람 관측 이미지를 생성.
비디오 생성 (Wan 2.7 / Kling AI 3.0): VLM이 다시 “사람 손이 어떻게 물체를 조작해야 하는가”를 서술한 비디오 생성 프롬프트를 만들고, 그것으로 사람 조작 영상을 합성.
VLM 품질 필터: 태스크 의미 보존과 물리적 타당성을 평가해 통과한 것만 원 로봇 궤적과 짝짓는다.

여기서 의도적으로 시각적 정렬을 흐트러뜨린다는 설계가 중요하다. 사람 영상과 로봇 궤적이 임베디먼트·시점·배경·물체 배치에서 다르면, 모델은 사람 손의 궤적을 베껴 쓸 수 없고 태스크 수준의 대응을 배워야 한다. 실제로 서브셋별로 정렬 강도를 다르게 잡았다 — Pre-train ICL (External)에서는 장면·배경·물체 인스턴스·배치 변화를 강제하고 1인칭/3인칭을 균형 맞추는 반면, In-house 서브셋에서는 3인칭 비율과 변화 빈도를 줄여 더 잘 정렬된 샘플을 만든다.

HumanGen의 구성

서브셋	태스크	ICL 쌍	비고
Pre-train ICL (External)	5,062	41,188	AgiBot 3,354/6,660 · InternData-A1 261/12,515 · OXE 438/9,290 · RoboCOIN 512/6,513 · RoboMIND 497/6,210
Pre-train ICL (In-house)	3,522	30,247	양팔 Franka, Galaxea R1 Pro 등
Simulation ICL	50	2,500	RoboTwin 50태스크 × 50샘플 (43 post-train / 7 unseen)
Real-world ICL	—	252	배치 120(30조합) · 순차 96(16조합) · 삽입 36
합계	8.6K	74.2K	임베디먼트 45종 초과

숫자는 내부적으로 맞는다: 41,188 + 30,247 + 2,500 + 252 = 74,187 ≈ 74.2K이고, External 소스별 태스크·궤적 합도 각각 5,062·41,188로 떨어진다.

Table 1의 비교가 이 데이터셋의 판매 포인트를 잘 보여 준다. 샘플 수만 보면 RH20T가 110K로 더 크지만 태스크는 147개뿐이고, 태스크 수 기준 기존 최고는 EgoScale의 344개다. HumanGen은 8.6K 태스크로 한 자릿수가 아니라 두 자릿수 배 차이를 낸다. 사람 영상 취득이 manual이 아니라 auto-generated인 유일한 항목이고, multi-source이며 정렬 다양성을 갖는 유일한 항목이기도 하다. 태스크 커버리지가 cross-task 일반화의 핵심 변수라는 논문의 가설과, 데이터셋 설계가 정확히 일치한다.

방법 1: 사람 영상을 prefix memory로

모델은 Wan-2.2-TI2V-5B를 causal video-action 정책으로 바꾼 것이다(LingBot-VA와 동일한 초기화 경로). 비디오 Transformer는 Wan-2.2 백본 그대로 hidden d_v=3072, 30 layer. 행동 Transformer도 d_a=3072 이고 파라미터를 비디오 브랜치에서 초기화한다. 둘은 Mixture-of-Transformers(MoT) 로 묶인다 — QKV projection·FFN·출력 헤드는 modality별로 따로 갖되, 표현은 하나의 시퀀스에 남아 공유 attention 층에서만 상호작용한다. 시퀀스 안에서 행동 chunk 표현은 미래 비디오 표현 뒤에 놓여, 행동 디코딩이 예측된 미래 로봇 영상을 attend할 수 있게 한다(Eq. 4의 인수분해가 요구하는 배치다).

학습 시에는 사람 영상 chunk·로봇 영상 chunk·행동 chunk의 토큰 표현 위에 teacher-forcing attention mask를 건다. 사람 영상 \mathbf{h} 는 로봇 궤적 앞에 붙어 비디오 예측의 prefix memory 역할만 한다.

RoPE offset이라는 작은 트릭. 사람 영상과 다중 뷰 로봇 영상은 같은 VAE 인코더로 인코딩되므로 같은 latent 공간을 공유한다. 한 시퀀스에 섞이면 헷갈릴 수밖에 없다. 그래서 시각 latent의 좌표 (q,y,x) 중 height 축을 밀어 구분한다(Eq. 9~10):

\mathrm{pos}_{\mathrm{robot}}(q,y,x)=(q,y,x),\qquad \mathrm{pos}_{\mathrm{human}}(q,y,x)=(q,\,y+\Delta_{H},\,x),\quad \Delta_{H}>H_{\mathrm{mv}}

\Delta_H 를 다중 뷰 로봇 latent 레이아웃의 높이 H_{\mathrm{mv}} 보다 크게 잡아 사람 영상 latent를 로봇 영상 좌표 범위 밖에 놓는 것이다. 논문이 밝힌 값은 \Delta_H=32인데, 공개된 학습 설정의 기본값은 icl_rope_h = 24다(wan_va/configs/zerowam_train_config.py:26). 어느 쪽이든 메커니즘은 같고 조건(\Delta_H>H_{\mathrm{mv}})도 만족하지만, 논문에 적힌 숫자가 릴리스 설정과 다르다는 점은 기록해 둔다. 새 임베딩이나 새 인코더 없이 위치 좌표만으로 modality를 분리하는, 값싸고 깔끔한 처리다.

행동 브랜치가 사람 영상을 못 본다는 선택. 앞서 언급한 대로 p_\theta^{\mathrm{act}} 는 \mathbf{h} 를 직접 attend하지 않는다(Eq. 7~8). 이 설계는 공개된 코드의 attention mask에서 그대로 확인된다 — 뒤의 「코드가 열린 뒤」 절에서 한 줄짜리 조건식으로 짚는다. 논문의 논리는 “태스크 의미는 이미 \mathbf{x}^{i+1} 에 흡수됐으니 행동 디코딩은 순수 inverse dynamics로 충분하다”이다. 설계로는 우아하다 — 행동 브랜치를 표준 상태로 유지해 non-ICL 데이터와 파라미터를 공유하기 쉽고, 학습/추론 조건 불일치도 줄어든다. 다만 이건 강한 정보 병목이기도 한데, 이 점은 뒤에서 따로 짚는다.

방법 2: In-context future chunk prediction

IFP는 Next Forcing[14]의 multi-chunk prediction에서 착안한 학습 전용 보조 목적함수다(§3.3). stride s 로 벌린 K 개 미래 chunk의 인덱스는 j_k=(i+1)+1+(k-1)s 이고, 각 타깃마다 IFP 모듈 G_k 를 둔다. G_k 는 비디오 브랜치의 Transformer 층 하나와 같은 구조이며 마지막 비디오 층에서 초기화된다. 구현값은 K=4, s=2, 가중치 (w_1,\dots,w_4)=(0.5,0.25,0.15,0.15). (공개 설정의 mcp_loss_weights는 [0.5, 0.25, 0.15, 0.1] 로 마지막 항이 다르다 — 합이 1.0으로 떨어지는 쪽은 코드이므로 논문의 0.15가 오타로 보인다. zerowam_train_config.py:13.)

입력은 메인 브랜치가 만든 현재 로봇-비디오 표현이다. \mathbf{x}^{i+1} 을 flow time t 에서 노이즈화한 chunk의 hidden을 메인 비디오 Transformer의 M 개 중간 층에서 모아 concat하고, 가벼운 MLP P_{\mathrm{fuse}} 로 단일 층 차원으로 되돌린 것이 \bm{\phi}^{i+1} 이다(Eq. 12). (M 의 구체적 값과 어느 층을 골랐는지는 §4.1 구현 세부에 없다 — 공개된 설정 파일이 이 빈칸을 채워 준다: mcp_hidden_collect_layers = [3, 11, 19, 29], 즉 M=4 이고 30층을 거의 균등하게 4등분한 지점이다. wan_va/configs/zerowam_train_config.py:11.)

설계의 급소는 IFP 모듈에 \mathbf{h} 를 주지 않는 것이다. 논문이 이유를 명시적으로 쓴다: 만약 IFP가 사람 영상에 직접 조건 걸리면 보조 브랜치가 독립적인 human-video-conditioned 미래 예측기를 배워 버리고, 메인 로봇-비디오 Transformer가 in-context 정보를 인코딩하도록 강제되지 않는다. IFP 모듈은 추론 시 제거되므로, 그러면 배포된 정책은 보조 손실에서 아무것도 얻지 못한다. 그래서 \bm{\phi}^{i+1} 만 통로로 남긴다. 보조 손실을 붙일 때 “누가 그 손실의 수혜자가 되는가”를 정확히 통제한 사례라 인상적이다.

또 하나: K 개 미래를 병렬로 예측한다. stride로 난도를 올리면서도 미래 chunk 예측들 사이에 시간적 의존을 만들지 않아 학습이 순차화되지 않는다.

손실과 추론

전체는 flow matching이다. 비디오는 \mathbf{x}^{i+1}_{t}=(1-t)\mathbf{x}^{i+1}+t\bm{\epsilon}^{i+1}, 타깃 속도 \mathbf{v}^{\star}=\bm{\epsilon}-\mathbf{x} (Eq. 15~16). 행동도 별도의 flow time r 로 동형이다(Eq. 17~18). 데이터 종류에 따라 손실이 갈린다(Eq. 19~20):

\mathcal{L}_{\mathrm{VA}}=\mathbb{E}\!\left[\mathcal{L}_{\mathrm{fm}}^{i+1}(\ell)+\lambda_{a}\mathcal{L}_{a}^{i+1}(\ell)\right],\qquad \mathcal{L}_{\mathrm{ICL}}=\mathbb{E}\!\left[\mathcal{L}_{\mathrm{fm}}^{i+1}(c)+\lambda_{a}\mathcal{L}_{a}^{i+1}(\ell)+\lambda_{\mathrm{ifp}}\mathcal{L}_{\mathrm{ifp}}\right]

c=\{\mathbf{h},\ell\} 이고, 행동 손실은 양쪽 모두 \ell 조건이다(행동 브랜치가 \mathbf{h} 를 안 보므로 당연하다). 가중치 \lambda_a·\lambda_{\mathrm{ifp}} 의 값은 논문에 없는데, 코드에서는 총손실이 그냥 loss = latent_loss + action_loss + mcp_loss다(wan_va/train.py:686). 즉 \lambda_a=\lambda_{\mathrm{ifp}}=1 이고, IFP 쪽 스케일은 전부 w_k 가 흡수한다(그래서 \sum w_k=1 이 자연스럽다).

학습 세팅: AdamW, peak lr 1\times10^{-4}, weight decay 0.01. 사전학습에서 Task-diverse VA : HumanGen 샘플링 비 1:5. non-ICL 샘플은 언어 지시를 확률 0.1로 드롭하고, ICL 샘플은 사람 영상 latent를 0.1로, 언어 지시를 0.4로 드롭한다 — 언어 의존을 일부러 낮춰 영상 쪽으로 몰아붙이는 장치다. 로봇 비디오 chunk 크기는 1~4에서 랜덤. GPU당 서로 다른 길이의 샘플을 한 시퀀스에 패킹하고 attention mask로 분리하며, GPU당 최대 토큰은 160K. 사전학습에 15,360 GPU-hour가 들었다.

추론에서는 IFP 모듈을 떼고 두 모드를 지원한다. 언어 모드는 c=\ell, 비디오 CFG scale 5. ICL 모드는 사람 영상을 한 번만 인코딩해 토큰을 prefix memory로 캐시하고 언어 지시는 끈다(ICL CFG scale 5). 두 모드 모두 추론 chunk 크기 2, 행동 CFG 1.0.

직관: 왜 “더 먼 미래”가 프롬프트를 읽게 만드는가

IFP를 한 문장으로 옮기면 “예측 지평을 늘려 지름길의 수익률을 떨어뜨린다”이다.

바로 다음 chunk는 관성의 문제에 가깝다. 그리퍼가 어디로 가고 있었는지, 물체가 어디 있었는지만 알면 다음 0.x초는 상당히 맞는다. 이 정보는 전부 로봇 히스토리 \mathbf{x}^{\leq i} 안에 있으므로, 사람 영상은 읽어도 그만, 안 읽어도 그만인 부가 정보가 된다. 손실 최소화기 입장에서 굳이 어려운 cross-modal 대응을 배울 이유가 없다.

그런데 s=2 로 벌린 네 개 미래 chunk를 현재 표현 하나만으로 맞히라고 하면 사정이 달라진다. 그만큼 앞선 미래는 “지금 무슨 태스크를 수행 중인가”를 알아야만 맞힐 수 있다. 물체를 집는 중인지 놓는 중인지, 다음에 어느 용기로 갈 것인지 — 이건 히스토리 외삽으로 안 나오고, 사람 영상에만 있다. 게다가 IFP 모듈은 사람 영상을 직접 못 보므로, 그 정보를 \bm{\phi}^{i+1} 안에 넣어 줄 수 있는 유일한 주체가 메인 비디오 브랜치다. 압력이 정확히 원하는 곳에 걸린다.

같은 구조를 반대편에서 보면 이 논문의 아키텍처적 도박도 드러난다. 사람 영상 → 예측된 로봇 비디오 chunk → 행동. 태스크 정보가 흐르는 통로는 이 하나뿐이고, 그 중간 노드는 고작 다음 한두 chunk 분량의 로봇 영상이다. 다음 2 chunk 안에 렌더링될 수 없는 태스크 정보(예: “세 번째로 집을 물체는 분홍 그릇”)는 매 스텝마다 사람 영상에서 다시 읽어 내야 한다. Zero-WAM이 사람 영상 토큰을 캐시해 매 스텝 계속 붙여 두는 이유이기도 하고, 장기 태스크에서 성능이 급락하는 이유이기도 할 것이다.

실험 1: RoboTwin 2.0 cross-task

평가에 쓰인 unseen 7태스크(Fig. 3) — 저울에 물체 올리기, 도장 찍기, 전자레인지 열기, 스테이플러 옮기기, 빵을 바구니에 넣기, 빈 컵 놓기, 블록 3개 쌓기. unseen 물체 조작, articulated 물체, 양팔 협응, 장기 태스크를 고루 담았다.

프로토콜. RoboTwin 2.0의 clean 세팅에서 50개 양팔 태스크를 태스크 단위로 43(post-training) / 7(unseen 평가)로 나눈다. 궤적마다 파이프라인으로 사람 영상 지시를 만들어 Simulation ICL 서브셋을 구성한다. 평가는 3 seed, seed당 태스크마다 100 closed-loop rollout. RoboTwin 초기화 체크포인트는 Task-diverse VA + HumanGen 사전학습 모델이고, post-training은 64 GPU × 4,000 step, VA:HumanGen:RoboTwin = 2:10:3 비율로 섞는다.

stamp seal 과 move stapler to pad 두 태스크는 cross-task 평가에 맞게 성공 기준을 약간 조정했다고 각주로 밝히며, 모든 방법에 같은 기준을 적용하고 수정 버전을 공개하겠다고 한다.

베이스라인 설계는 “사전학습 사다리”다. WAN-Action은 Wan-2.2-TI2V-5B에서 출발해 같은 MoT causal video-action 프레임워크를 쓰되 43개 seen 태스크만으로 학습한 자체 구현이다. LingBot-VA는 공개 체크포인트(로봇 video-action 사전학습 포함)를 같은 seen 태스크로 post-training한 것이다. Zero-WAM은 여기에 태스크 균형 로봇 데이터와 사람–로봇 ICL 쌍 사전학습이 더해진다. 즉 세 방법은 “RoboTwin 이전에 무엇을 배웠는가”의 사다리를 이룬다.

Table 2 — RoboTwin 2.0 unseen 7태스크 성공률(%), 3 seed 평균±표준편차.
Task	WAN-Action	LingBot-VA	Zero-WAM
Place object on scale	3.00 ± 2.16	6.17 ± 4.87	24.67 ± 2.05
Stamp seal	7.33 ± 1.25	3.67 ± 2.49	47.00 ± 4.55
Open microwave	2.26 ± 1.60	29.33 ± 10.66	59.00 ± 2.83
Move stapler to pad	10.67 ± 1.70	23.33 ± 8.22	69.14 ± 2.93
Place bread in basket	15.26 ± 2.55	17.33 ± 6.18	35.00 ± 3.74
Place empty cup	38.33 ± 2.05	42.33 ± 7.85	84.87 ± 0.18
Stack blocks three	0.00 ± 0.00	0.00 ± 0.00	9.00 ± 2.16
Average	10.98 ± 1.07	17.45 ± 1.40	46.95 ± 0.72

읽을 만한 점 몇 가지.

이득이 한 태스크에 몰려 있지 않다. 7개 전부에서 앞서고, 특히 open microwave(articulated 물체 동역학)와 stamp seal(희귀 물체 재배치)에서 격차가 크다.
분산이 확 줄었다. LingBot-VA의 seed 간 표준편차는 open microwave 10.66, place empty cup 7.85로 큰데, Zero-WAM은 각각 2.83, 0.18이다. 평균 성공률만큼이나 안정성이 개선됐다는 신호인데 논문은 이걸 언급하지 않는다.
stack blocks three는 여전히 9%다. 0을 깬 유일한 방법이라는 서술은 맞지만, 절대값은 실용 수준과 거리가 멀다.

실험 2: 실물 양팔 Franka

실물 정성 평가(Fig. 4) — 각 블록의 위쪽이 사람 영상 지시, 아래쪽이 로봇 롤아웃이다. ① 복잡한 장면 pick-and-place, ② 장기(3물체 순차), ③ 테이블 다리 2개 삽입, ④ Table 3에는 없는 추가 정성 사례(전구 삽입, unseen). ③에는 “fine-grained & human-robot collaboration”이라는 라벨이 붙어 있는데 본문에 “collaboration”에 대한 설명은 없다.

세 태스크군을 평가한다. 각 군마다 실물 Franka 기구학에 정책을 맞추기 위한 소량의 seen-task 시연을 모으고, 평가 구성은 홀드아웃한다. 테스트 시점에 Zero-WAM은 언어 없이 사람 영상만으로 조건 걸고, LingBot-VA에는 상세한 텍스트 태스크 서술이 주어진다. 태스크군당 30 trial.

Table 3 — 실물 unseen 구성 평가, 30 trial 성공률(%).
Task	학습 조합	학습 시연	LingBot-VA (언어)	Zero-WAM (사람 영상)
Object-to-container placement	30	120	43.3	53.3
Three-object sequential manipulation	16	96	10.0	33.3
Two-table-leg insertion	–	36	0.0	16.7

물체→용기 배치: 물체·용기 집합의 일부를 홀드아웃해, 모든 테스트 구성이 로봇 학습 시연에 없던 물체나 용기를 최소 하나 포함하도록 했다.
3물체 순차 조작: 사람 영상이 순서를 지정한다. 매 에피소드마다 3개 물체를 무작위 순서로 골라 사람 영상으로 보여 주고, unseen 물체·용기도 섞인다. 33.3% vs 10.0%로 격차가 가장 크다 — 언어로 순서를 지정하기가 특히 곤란하다는 논문의 주장과 잘 맞는다.
테이블 다리 삽입: 사람 영상이 “어느 색 다리를 어느 구멍에” 넣을지 지정한다. 시연은 36개뿐. 16.7% vs 0.0%인데, 논문 스스로 “정밀 물리 삽입의 난도 때문에 절대 성공률이 제한적”이라고 적는다. unseen 색·종류의 다리와 상판에도 정성적으로 전이됐다고 덧붙인다.

절제: 세 요인의 분해

절제는 전부 RoboTwin의 같은 43/7 분할에서 돌린다. 논문 표현대로, 작은 실물 trial 집합보다 대규모 closed-loop 평가가 가능한 시뮬레이션이 비교에 더 믿을 만하다.

사람 영상 ICL의 효과 (사전학습 없이)

사람 영상 프롬프트의 효과(Fig. 5) — 모든 변형을 43개 seen RoboTwin 태스크 데이터만으로 학습해 대규모 사전학습 효과를 제거한 비교. 막대 라벨은 반올림값이다.

세 변형 모두 43개 seen 태스크 데이터만 쓴다. Zero-WAM w/o pretrain은 Wan-2.2 가중치에서 시작해 ICL 사람 영상을 지시로 학습한 것이고, WAN-Action은 같은 Wan-2.2에서 시작하되 언어만 쓴다. LingBot-VA는 언어를 쓰되 자기 로봇 video-action 사전학습을 유지한다.

WAN-Action 10.98% → Zero-WAM w/o pretrain 36.36%. 같은 초기화·같은 데이터에서 인터페이스만 바꿔 +25.4%p. ICL 신호가 텍스트 조건 이상의 태스크 정보를 준다는 가장 깨끗한 증거다.
사전학습이 있는 LingBot-VA(17.45%)조차 크게 앞선다.
다만 태스크별로 보면 균일하지 않다. open microwave에서는 26% vs LingBot-VA 29%로 오히려 진다. 그리고 세 변형 모두 stack blocks three에서 0%다 — 논문은 이를 “소규모 ICL 데이터로는 unseen 장기 태스크가 안 된다, 대규모 task-diverse ICL 사전학습이 필요하다”는 근거로 쓴다.

IFP와 태스크 균형 데이터

두 절제(Fig. 6) — 왼쪽: 태스크 균형 로봇 사전학습(LingBot-VA vs text-only Zero-WAM). 오른쪽: IFP 모듈(전체 Zero-WAM vs w/o IFP). 레이더 축은 태스크별 성공률과 매크로 평균이다. 주의 — 축마다 최대값이 다르다(stack blocks three는 10%, place empty cup은 90%). 면적으로 크기를 비교하면 오해한다.

IFP (Fig. 6 우): 46.95% → 28.55% (제거 시). 즉 IFP가 +18.40%p. open microwave·stamp seal에서 특히 크고, stack blocks three의 0.00% → 9.00%도 IFP 덕이다.
태스크 균형 데이터 (Fig. 6 좌): text-only Zero-WAM 변형은 ICL 샘플을 사전학습에 포함하되 사람 영상 조건을 마스킹해 평범한 텍스트 조건 video-action 샘플로 만든 것이다. 이 변형이 39.44% 로 LingBot-VA를 +21.99%p 앞선다. 논문은 이를 “사람 영상 조건 없이도 태스크 균형 사전학습이 cross-task 전이를 개선한다”는 근거로 읽는다. 다만 이 비교는 완전한 단일 변수 대조가 아니다 — 논문 스스로 “우리 태스크 샘플 로봇 데이터의 대부분이 LingBot-VA의 사전학습 코퍼스에 포함된다”고 적는데(§4.4), 뒤집으면 In-house ICL 서브셋(3,522 태스크 / 30,247 쌍)처럼 LingBot-VA가 본 적 없는 데이터도 이 변형에는 들어가 있다는 뜻이다. 21.99%p에는 “태스크 단위 재분할·균형 샘플링”뿐 아니라 데이터 추가분이 섞여 있다.

여기서 한 걸음 더 — 헤드라인은 어디서 왔나

논문이 직접 하지는 않지만, 위 숫자들은 정확히 분해된다. (전부 같은 7태스크 매크로 평균이다.)

\underbrace{17.45}_{\text{LingBot-VA}} \;\xrightarrow{\;+21.99\;(\text{태스크 균형 데이터})\;}\; \underbrace{39.44}_{\text{text-only Zero-WAM}} \;\xrightarrow{\;+7.51\;(\text{사람 영상 ICL}+\text{IFP})\;}\; \underbrace{46.95}_{\text{Zero-WAM}}

합이 정확히 헤드라인 +29.50%p다(같은 두 끝점을 쓰므로 산술적으로 당연한 분해이긴 하다). 그러니까 논문 제목과 서사의 주인공인 “in-context 사람 영상”이 최종 성능에 기여한 잔여분은 7.51%p이고, 나머지 21.99%p는 사전학습 데이터 쪽에서 온다(앞서 짚었듯 태스크 균형 샘플링과 데이터 추가가 섞인 몫이다). 사람 영상 인터페이스가 무의미하다는 뜻은 전혀 아니다 — Fig. 5가 보여 주듯 데이터가 적은 영역에서는 ICL이 압도적이고(+25.4%p), 실물 3물체 순차 조작처럼 언어로는 원리적으로 지정하기 어려운 태스크에서는 대체 불가능하다. 다만 “RoboTwin에서 +29.5%p”라는 헤드라인을 사람 영상의 공로로 읽으면 3분의 2 이상을 오귀속하게 된다.

그리고 같은 숫자들에서 더 껄끄러운 조합이 하나 나온다. Zero-WAM w/o IFP(28.55%)는 text-only Zero-WAM(39.44%)보다 낮다. 숫자를 액면 그대로 읽으면, IFP 없이 사람 영상을 조건으로 붙이는 것은 아예 안 붙이는 것보다 나쁘다(−10.89%p). 논문의 shortcut 서사와 방향은 같지만(“모델이 영상을 안 쓴다”) 강도는 더 세다 — 사람 영상은 그냥 무시되는 게 아니라, 정칙화 없이는 오히려 방해가 된다. 다만 이 비교에는 단서가 셋 붙는다. ① 두 변형은 Fig. 6의 서로 다른 패널(좌/우)에서 온 별개 실험이고, ② 절제에는 seed 분산이 없어 −10.89%p의 통계적 유의성을 판단할 수 없으며, ③ 논문은 text-only 변형에서 IFP 손실을 어떻게 처리했는지 명시하지 않는다(Eq. 20에서 IFP는 ICL 샘플에 붙으므로 함께 빠졌다고 읽는 게 자연스럽지만, 원문에서 확인되지는 않는다). 그래서 단정하지는 못하고, 이 인터페이스가 IFP라는 정칙화 위에서만 값을 한다는 쪽을 강하게 시사하는 정도로 읽는 게 맞다.

코드가 열린 뒤 — 논문이 말하지 않은 것들

이 절은 2026-09-24에 추가됐다

이 리뷰를 처음 쓴 2026-08-31에는 레포가 비어 있어서 “재현 가능성은 현재로선 0”이라고 적었다. 2026-09-15 릴리스 이후 실제로 받아 돌려 본 결과를 여기에 따로 모은다. 아래 파일:라인 앵커는 전부 디스크의 실제 파일에서 확인한 것이고, 기준은 업스트림 robbyant-research/Zero-WAM @ 08e2c4a(“Initial public release”, 2026-09-15)다 — 링크를 따라가면 그대로 보일 것이다. 실측값은 단일 RTX 5090(32 GB) 한 대에서 나온 것이다.

무엇이 공개됐나

2026-09-24 확인.
항목	상태	크기
코드 `robbyant-research/Zero-WAM`	공개 (2026-09-15 push, ⭐399)	127 MB
HF `Robbyant-Research/zero-wam-pretrain`	공개·ungated·Apache-2.0	37.06 GB
HF `Robbyant-Research/zero-wam-posttrain-robotwin`	공개·ungated·Apache-2.0	37.06 GB
HF datasets `Robbyant-Research/HumanGen`	공개·ungated·Apache-2.0	326.8 GB

예고(Sep 15)를 지켰고, 셋 다 게이팅 없이 받을 수 있다. 데이터셋 공개 여부가 이 논문의 실질 영향력을 좌우할 거라고 썼는데, 그 물음의 절반은 좋은 쪽으로 답이 났다. 나머지 절반은 아래 ③에서 다시 걸린다.

실제로 돌려 본 것

pytest tests/ 68 passed, 0 failed. 그중 tests/test_icl_model.py는 GPU에서 ICL forward+backward와 flex_attention 마스크 컴파일을 실제로 수행한다 — 형상 체크만 하는 스모크 테스트가 아니다.
단일 RTX 5090 32 GB에서 서버 ICL 경로 end-to-end 추론 성공. 사람 영상 prefix가 reset 이후 2240 토큰으로 고정 유지되는 것을 런타임에서 관측했다(persistent cache: {2: 2240}) — 논문이 말한 “사람 영상을 한 번만 인코딩해 prefix memory로 캐시한다”가 구현에서 그대로 확인된다.
액션 청크 shape (16, 2, 16) = (프레임당 액션 16 × 프레임 청크 2 × 액션 차원 16), 청크당 ~9.8초(50 denoising step, bf16, SDPA). 초기 reset(prefix KV 캐시 + flex_attention 컴파일)은 141초. 추론 VRAM 24.3 GB.
설치 함정 하나: INSTALL.md가 지정한 cu126은 RTX 5090(sm_120)에서 동작하지 않는다. cu128 빌드가 필요하다.

재현하지 않은 것을 분명히 해 둔다. RoboTwin 2.0 성공률 46.95%는 검증하지 않았다 — 시뮬레이터(SAPIEN/에셋)를 설치하지 않았고, 청크당 9.8초 기준 7태스크 × 100 rollout × 3 seed는 단일 GPU에서 수십 시간이다. 이 리뷰의 모든 성공률 숫자는 논문이 주장한 값이지 우리가 확인한 값이 아니다.

논문↔︎코드 간극 — 읽기만 해서는 몰랐을 것들

① 이름부터 다르다. 논문의 IFP(in-context future chunk prediction)는 코드에서 일관되게 MCP로 불린다(enable_mcp, mcp_loss_weights, shift_latents_for_mcp, …). 논문에 MCP라는 약어는 한 번도 나오지 않는다. 사소해 보이지만, 논문을 읽고 코드를 찾는 사람이 ifp로 grep하면 아무것도 안 나온다. 부수적으로 코드는 논문에 없는 디테일도 드러낸다 — MCP 전용 노이즈 스케줄러(SNR shift 10)를 따로 두고, 각 모듈은 트랜스포머 블록 1개뿐인 아주 얇은 헤드다(mcp_blocks_per_group = 1).

② 행동 토큰은 사람 영상을 “직접” 보지 않는다 — 그림에는 없는 비대칭. 앞서 Eq. 7~8을 근거로 “행동 브랜치가 \mathbf{h} 를 attend하지 않는다”고 읽었는데, 코드의 attention mask가 이를 조건식 한 줄로 못 박는다:

# wan_va/modules/icl_model.py:149-156
def target_video_to_icl(b, h, q_idx, kv_idx):
    return (
        (seq_ids[q_idx] >= 0)
        & (seq_ids[q_idx] == seq_ids[kv_idx])
        & (icl_ids[q_idx] == 0)      # query = target(로봇) 스트림
        & (icl_ids[kv_idx] == 1)     # key   = ICL(사람 영상) 스트림
        & (type_ids[q_idx] == 0)     # ← query가 "비디오" 토큰일 때만
    )

type_ids는 같은 파일 :947-951에서 비디오 토큰에 0, 액션 토큰에 1로 부여된다. 즉 마지막 조건이 액션 토큰의 ICL 접근을 차단한다. 추론 경로에도 같은 게이트가 있다(icl_model.py:83-84). 사람 영상 → 예측 로봇 비디오 → 행동이라는 단일 통로가 “설계 의도”가 아니라 마스크에 하드코딩된 제약임을 이제 확인할 수 있다. 반대로 ICL 토큰끼리는 인과·윈도우 제약 없이 완전 양방향이다(:158-164). 논문의 구조도는 이 비대칭을 표시하지 않는다.

③ HumanGen 파이프라인 코드는 여전히 미공개다 — 대신 산출물이 “어느 생성기를 썼는지”를 알려 준다. 레포를 전부 뒤져도 VLM 호출·이미지 편집·비디오 생성 코드가 없다. 있는 것은 파이프라인의 산출물뿐이다: 생성된 사람 영상 latent(human_latents/), 페어링 매니페스트(icl_configs/ICL_config_*.json), 평가용 고정 ICL 데모 매핑(evaluation/robotwin/robotwin_icl_human_videos.py). 그러니까 논문 contribution #2는 데이터를 받을 수는 있어도 파이프라인을 다시 돌릴 수는 없다. 여기에 작지만 유용한 관찰이 하나 붙는다. 논문 §2.2는 생성기를 익명화하지 않았다 — “a video generation model (Wan 2.7 [31] or Kling AI 3.0 [32])”으로 둘을 명시하고 참고문헌까지 단다. 다만 둘 중 어느 쪽이 어느 부분을 만들었는지는 쓰지 않는다. 그 배분을 릴리스 산출물이 알려 준다: latent 파일명이 generated_video_kling-v3.pth다. 즉 공개된 이 영상들은 Kling AI 3.0 쪽 산출물이다. 두 생성기의 비율과 서브셋별 배분은 논문의 빈칸인데, 파일명 규약만으로도 부분적으로 복원된다 — 뒤집어 말하면 “사람 영상 프롬프트의 품질”을 따질 때 생성기별로 나눠 볼 여지가 데이터 안에 남아 있다는 뜻이기도 하다.

④ 논문의 주력 설정에서 target-text CFG는 애초에 꺼져 있다. 추론 코드에서 두 CFG는 상호 배타적이다(wan_va/wan_va_server.py:636-638): use_icl_cfg = use_icl and icl_guidance_scale > 1.0이고 target_text_cfg_active = (not use_icl_cfg) and video_guidance_scale > 1.0. README가 권장하는 ICL_CFG=5, TARGET_TEXT_CFG=-1은 이 분기에서 ICL CFG만 켠다. 논문이 “ICL 모드에서 언어 지시를 끈다”고 서술한 것과 모순되진 않지만, 끄는 방식이 코드 수준의 배타 분기라는 건 논문만 봐선 알 수 없다.

⑤ 릴리스 체크포인트는 릴리스 데이터로 재현되지 않는다(저자 자인). 업스트림 README가 명시한다 — 논문에 보고된 zero-wam-posttrain-robotwin은 “the complete Pre-training ICL collection”으로 학습됐고, 공개된 학습 데이터는 그 부분집합이라 “Post-training with the released data will produce a model that differs from our released checkpoint”. 체크포인트를 받아 추론하는 재현은 가능하지만, 공개 데이터로 학습해 같은 모델에 도달하는 재현은 불가능하다. 정직한 고지이긴 하나, 46.95%라는 수치의 학습 재현 경로는 여전히 닫혀 있다.

⑥ 오프라인 경로는 그냥 깨져 있다. 서버 없이 도는 infer_mode='i2va'/demo 경로는 AttributeError: 'VA_Server' object has no attribute 'use_cfg'로 죽는다 — use_cfg를 wan_va_server.py:269에서 참조하는데 할당은 :910에서만 일어난다. 서버–클라이언트 경로로는 문제없이 돌았으므로 업스트림 버그다. 릴리스 직후 코드의 통상적인 흠집이고, 위 ①~⑤와 달리 논문 해석에 영향을 주지는 않는다.

⑦ “추론 시 제거된다”는 IFP 모듈이 체크포인트에는 그대로 들어 있다. 논문은 IFP를 학습 전용이라 못 박고 추론 시 제거한다고 쓴다. 그런데 서버는 disable_mcp = not self.use_icl_model로 모듈 탑재 여부를 정한다(wan_va_server.py:99) — 즉 ICL 모델을 쓰는 경로에서는 MCP가 제거되지 않는다. 릴리스 체크포인트의 safetensors 헤더를 직접 집계해 보니 transformer 21.29 GiB / 1,880 텐서 중 mcp_*가 2.67 GiB / 228 텐서(12.5%)다. MCP forward는 forward_train에서만 호출되므로 추론 계산에는 쓰이지 않는다. 결과적으로 가중치의 1/8이 추론 중 아무 일도 하지 않으면서 VRAM을 점유한다. 단일 32 GB에서 텍스트 인코더를 CPU로 내려야 했던 사정과 직결되는 부분이라, 논문의 “추론 시 제거”는 원리로는 맞지만 릴리스된 물건에는 해당하지 않는다. 배포 관점에서는 로드 시 mcp_*를 떨궈 내는 것만으로 2.67 GiB를 회수할 수 있다는 뜻이기도 하다.

정리하면, 릴리스가 해소한 비판과 해소하지 못한 비판이 갈린다. “코드·모델·데이터가 없다”는 해소됐다(정정했다). “HumanGen을 재현할 수 없다”는 형태만 바뀐 채 남았다 — 예전에는 데이터가 없어서였고 지금은 데이터는 있는데 만드는 법이 없어서다. 그리고 상용 생성 API 버전이 계속 바뀌는 이상, 파이프라인 코드가 나중에 공개되더라도 같은 데이터가 다시 만들어진다는 보장은 여전히 없다.

비판적으로 보면

강점

데이터 병목을 방향 전환으로 푼다. “사람 영상을 프롬프트로”는 오래된 아이디어인데(BC-Z 2022, Vid2Robot), 늘 사람–로봇 짝 데이터에서 막혔다. 사람에서 시작해 로봇을 붙이는 대신 로봇에서 시작해 사람을 합성하는 역방향은 (a) 행동 라벨이 자동으로 보존되고 (b) 기존 대규모 로봇 코퍼스를 재활용하며 (c) 정렬 다양성을 프롬프트로 제어할 수 있다는 세 이점을 동시에 가진다. 태스크 수가 344 → 8,600으로 뛴 게 그 결과다.
보조 손실의 수혜자를 정확히 통제했다. IFP 모듈이 사람 영상을 직접 보면 안 되는 이유를 논문이 명확히 논증하고 그렇게 구현했다. “추론 때 떼어낼 모듈이 학습의 이득을 독차지하면 배포 모델은 아무것도 못 얻는다”는 논리는 auxiliary-loss 설계 일반에 적용되는 좋은 원칙이다.
절제가 요인을 실제로 분리한다. Fig. 5(사전학습 제거 후 ICL 효과), Fig. 6 좌(사람 영상 마스킹 후 데이터 효과), Fig. 6 우(IFP 효과)가 각각 다른 축을 건드려, 위에서 한 분해가 가능할 만큼 재료를 다 내놓았다. 요약에서 자기에게 유리한 쪽만 강조하긴 하지만 숨기지는 않았다.
평가 규모가 크다. 3 seed × 태스크당 100 rollout × 7태스크 × 3방법. WAM 논문들이 흔히 단일 seed로 끝내는 것에 비하면 성실하고, 표준편차가 함께 실려 있어 Table 2의 격차가 노이즈가 아님을 독자가 판단할 수 있다.
릴리스가 예고를 지켰고 범위도 넓다. 2026-09-15에 코드·체크포인트 2종·326.8 GB 데이터셋을 전부 게이팅 없이 Apache-2.0으로 풀었다. 74 GB짜리 체크포인트 두 개와 대용량 데이터셋을 승인 절차 없이 내놓는 릴리스는 이 분야에서 흔하지 않고, 실제로 그 덕에 단일 소비자용 GPU에서 핵심 루프를 돌려 볼 수 있었다. 테스트 스위트도 형상 체크에 그치지 않고 GPU에서 ICL forward/backward를 실제로 도는 것으로 68개 들어 있다.
베이스라인을 자기 프레임워크로 재구현했다. WAN-Action은 같은 백본·같은 MoT 구조에서 언어 조건만 쓰는 통제군이다. 서로 다른 논문의 숫자를 나란히 놓는 흔한 함정을 일부 피했다.

약점·한계

헤드라인 귀속이 기울어 있다. 위에서 분해한 대로 +29.50%p 중 21.99%p는 사람 영상을 마스킹해도 남는 사전학습 데이터 쪽 몫이고, 사람 영상+IFP의 잔여 기여는 7.51%p다. 초록·서론은 이 분해를 하지 않고 “video-action 베이스라인 대비 +29.5%p”만 제시한다. 태스크 단위 재샘플링은 사실 이 논문에서 가장 실용적이고 재현하기 쉬운 기여인데도, 서사의 조연으로 밀려 있다.
시뮬레이션의 “zero-shot”이 생각보다 덜 zero-shot이다. Simulation ICL은 RoboTwin 50태스크 전부에 대해 궤적마다 사람 영상을 생성했다 — unseen 7태스크 포함이다. 즉 테스트 시점 프롬프트는 그 unseen 태스크의 전문가 로봇 궤적에서 합성된 것이다. 정책이 그 태스크의 행동 지도(supervision)를 받지 않은 것은 맞지만, 프롬프트 자체는 성공한 실행에서 유래한 정보를 나른다. 논문이 AGNOSTOS를 두고 “테스트 때 unseen 태스크 로봇 궤적을 제공해야 한다”고 비판한 그 조건이, 형태를 바꿔 시뮬레이션 프로토콜 안에 남아 있는 셈이다. 실제 배포에서는 사람이 그 자리에서 시연하면 되므로 결함은 아니지만, 시뮬레이션 수치를 “인터넷에서 주운 사람 영상으로도 된다”의 증거로 읽으면 과대해석이다.
학습 프롬프트가 (거의) 전부 AI 생성 영상이다. §2.3은 HumanGen을 “파이프라인으로 생성한 사람–로봇 ICL 쌍의 모음”으로 정의하고 네 서브셋을 그 아래 둔다(Real-world ICL만 “collected”라는 동사를 쓰는데, 로봇 시연 수집을 가리키는지 사람 영상까지 실촬영인지는 불분명하다). 어느 쪽이든 모델이 본 사람 영상의 절대다수는 Wan 2.7/Kling 3.0이 만든 것이다(논문 §2.2가 두 생성기를 명시하고, 공개된 latent 파일명 generated_video_kling-v3.pth가 이 서브셋을 만든 쪽을 Kling AI 3.0으로 특정해 준다). 실제 사람이 촬영한 영상과의 도메인 갭은 한 번도 측정되지 않는다. 시뮬레이션 평가 프롬프트도 같은 파이프라인 산물이라 in-distribution이다. 실물 평가의 테스트 프롬프트가 어떻게 만들어졌는지는 명시가 없는데, 논리적으로는 생성일 수 없다 — 파이프라인은 소스 로봇 궤적을 요구하는데 unseen 구성에는 그런 궤적이 없기 때문이다. 그렇다면 실촬영일 텐데, 그 경우 실물 결과는 학습/테스트 도메인이 다른 조건에서 얻은 값이라는 뜻이고 이 점이 논문에 서술되지 않은 것은 아쉽다. 리뷰 시점 원문에서 확인할 수 없었던 항목이다.
추론 비용이 통째로 빠져 있다 — 그리고 직접 재어 보니 컸다. 지연, 제어 주파수, GPU 기종, denoising step 수 중 어느 것도 논문에 없다. Zero-WAM은 매 제어 스텝에 5B 비디오 DiT로 chunk를 생성하고, CFG scale 5를 쓰며(사실상 forward 2배), 사람 영상 prefix까지 컨텍스트에 얹는다. 캐시로 재인코딩은 피하지만 attention 길이는 늘어난다. 같은 Wan2.2 백본을 쓰는 Fast-WAM이 imagine-then-execute를 810 ms로, 자기 방식을 190 ms로 측정해 놓은 것과 대비하면 이 침묵은 눈에 띈다. 사전학습 15,360 GPU-hour만 밝히고 GPU 기종도 쓰지 않아 절대 비용 환산도 안 된다. 릴리스 코드로 직접 재어 본 값은 단일 RTX 5090에서 액션 청크당 ~9.8초다(50 step, bf16, SDPA, offload 포함 — 위 코드가 열린 뒤 절). 이건 최적화된 배포 구성도, 논문의 실물 실험 구성도 아니므로 논문 값에 대한 반박은 못 된다. 다만 “매 제어 스텝마다 5B 비디오 DiT를 돌린다”는 설계가 실시간 제어와 얼마나 먼 자리에서 출발하는지는 보여 주고, 논문이 이 축을 끝내 보고하지 않은 것은 여전히 결함이다.
베이스라인이 사실상 자기 이전 모델이다. LingBot-VA[11]의 저자 목록(Qihang Zhang, Yiming Luo, Shuai Yang, Ruilin Wang, Xing Zhu, Yujun Shen, Yinghao Xu)은 Zero-WAM과 크게 겹치고, IFP가 착안했다는 Next Forcing[14]도 같은 그룹이다. 자기 계보 안에서의 개선을 측정하는 건 통제 면에서 오히려 장점일 수 있지만, “the strongest video-action baseline”이라는 표현은 외부 계열(DreamZero, EgoWAM, WAM-TTT, RoboTTT 등 §6에서 스스로 나열한 최신 WAM들)과 한 번도 비교하지 않은 상태에서 나온 것이다. RoboTwin cross-task 세팅에서 이들 중 어느 것도 돌려 보지 않았다.
Table 3의 비교가 두 변수를 함께 바꾼다. Zero-WAM은 사람 영상, LingBot-VA는 언어로 조건 걸린다. 모델도 다르고 인터페이스도 다르다. Zero-WAM은 언어 모드를 지원한다고 명시했으므로(§3.4) 실물에서 “Zero-WAM + 언어” 행을 넣는 건 어렵지 않았을 텐데 없다. 그 행이 있었다면 실물에서 인터페이스의 순수 효과를 볼 수 있었다.
절제에 분산이 없다. Table 2는 3 seed 표준편차를 주는데, Fig. 5·6은 단일 값 막대·레이더다. 특히 앞서 지적한 w/o IFP(28.55) < text-only(39.44) 같은 교차 그림 비교의 신뢰도를 판단할 수 없다. 그리고 Fig. 6의 레이더는 축마다 최대값이 다르다 — stack blocks three 축의 10%가 place empty cup 축의 90%와 같은 반경이라, 시각적 면적이 성능 차이를 과장한다.
하이퍼파라미터가 일부 비어 있다(코드가 메우지만, 그러면 또 어긋난다). IFP가 모으는 중간 층 수 M 과 그 층 선택, 손실 가중치 \lambda_a·\lambda_{\mathrm{ifp}} 가 §4.1에 없다 — 릴리스 설정이 [3, 11, 19, 29](M=4)와 \lambda_a=\lambda_{\mathrm{ifp}}=1 로 답을 준다. 대신 논문에 적힌 값이 코드와 어긋나는 항목이 둘 드러났다: w_4(논문 0.15 vs 코드 0.1)와 \Delta_H(논문 32 vs 코드 24). 둘 다 결론을 흔들 크기는 아니지만, 논문의 구현 세부를 그대로 베껴 재구현하면 릴리스 모델과 다른 것을 만들게 된다. 그리고 K·s·w_k 에 대한 민감도 분석은 여전히 없다 — “먼 미래를 맞히게 하라”가 핵심 메커니즘인데 얼마나 멀어야 하는지에 대한 곡선이 없는 셈이다.
행동 브랜치의 정보 병목을 검증하지 않았다. 사람 영상 → 예측 비디오 → 행동이라는 단일 경로 설계는 우아하지만, “태스크 의미가 \mathbf{x}^{i+1} 에 충분히 흡수된다”는 가정은 실험으로 확인되지 않는다. 공개된 코드에서 이 병목은 attention mask의 type_ids[q_idx] == 0 한 줄로 하드코딩돼 있음이 확인됐는데(위 절 ②), 그럼에도 행동 브랜치도 \mathbf{h} 를 attend하게 한 변형과의 비교는 없고, 예측된 비디오의 품질(FVD 등)과 성공률의 상관도 보고되지 않는다. 장기 태스크 9%라는 결과는 이 병목이 실제 제약일 가능성을 시사한다.
재현 가능성은 “추론은 열리고 학습은 닫힌” 상태다. ~~2026-08-31 확인 기준 레포에는 README·LICENSE뿐이고 재현 가능성이 0이다~~ → 2026-09-15에 코드·체크포인트·데이터가 모두 ungated로 공개되면서 이 비판은 상당 부분 해소됐다. 실제로 단일 GPU에서 ICL 추론 루프가 돈다(위 절). 다만 남은 구멍이 둘이다. ① HumanGen 생성 파이프라인 코드가 빠져 있어 논문의 두 번째 기여는 산출물로만 확인 가능하고, 상용 API(Gemini 3.1 Pro, Nano Banana 2, Kling v3)의 버전 이동을 생각하면 나중에 코드가 나와도 같은 데이터가 재생산된다는 보장이 없다. ② 저자 스스로 릴리스 데이터가 학습에 쓴 데이터의 부분집합이라 post-training으로 같은 체크포인트가 나오지 않는다고 고지했다. 즉 46.95%를 학습부터 되짚는 경로는 여전히 닫혀 있다.
범위가 고정 테이블톱이다. 저자들도 결론에서 인정하는 부분으로, mobile manipulation이나 훨씬 긴 지평은 향후 과제로 남긴다.

요약

Zero-WAM의 기여는 인터페이스 하나와 데이터 파이프라인 하나, 그리고 그 인터페이스를 실제로 쓰게 만드는 정칙화 하나다. 사람 영상을 태스크 명세로 삼는 발상은 새롭지 않지만, “로봇 궤적에서 사람 영상을 역생성한다”는 방향 전환으로 태스크 커버리지를 8.6K까지 끌어올린 것은 이 계보에서 처음 보는 규모다. IFP는 조건부 생성 모델의 고전적 병리(조건 무시)를 예측 지평 확장으로 공략하는 깔끔한 처방이고, 보조 모듈이 이득을 가로채지 못하게 조건을 끊어 놓은 세부까지 잘 설계됐다.

동시에, 이 논문의 숫자를 읽는 정직한 방법은 헤드라인이 아니라 절제 쪽이다. RoboTwin +29.50%p 중 22%p는 사람 영상을 마스킹해도 남는 사전학습 데이터 쪽 몫이고, 7.5%p가 사람 영상 ICL과 IFP의 잔여 기여다. 그리고 절제 수치를 그대로 믿는다면 IFP 없이는 사람 영상 조건이 텍스트보다 못하다. 사람 영상 인터페이스가 진짜로 값을 하는 자리는 평균 성공률 몇 %p가 아니라, 언어로는 원리적으로 지정할 수 없는 태스크다 — 실물 3물체 순차 조작(33.3% vs 10.0%)과 색-구멍 대응 삽입(16.7% vs 0.0%)이 그 증거이고, 이 두 결과가 논문에서 가장 설득력 있는 부분이다.

남은 물음은 배포 쪽에 몰려 있었고, 그중 둘은 이제 답이 나왔다(2026-09-24 갱신). 74.2K 데이터셋은 실제로 공개됐다 — 326.8 GB, 게이팅 없이. 지연도 더 이상 미지수가 아니다 — 단일 RTX 5090에서 액션 청크당 ~9.8초로, 최적화되지 않은 하한선이지만 실시간과의 거리를 보여 주기엔 충분하다.

아직 답이 없는 물음은 하나 남고, 새로 하나가 생겼다. 남은 것은 AI가 생성한 사람 영상으로 학습한 모델이 실제 촬영 영상을 얼마나 잘 따르는가 — 데이터가 공개된 지금은 누구나 실촬영 프롬프트를 넣어 측정할 수 있으니 오히려 답하기 쉬워졌다. 새로 생긴 것은 재현의 비대칭이다. 추론은 열렸는데 학습은 닫혔다. HumanGen을 만드는 코드는 없고, 공개된 데이터는 체크포인트를 만든 데이터의 부분집합이다. 이 논문의 핵심 주장이 “데이터의 방향을 뒤집으면 태스크 커버리지가 열린다”인 만큼, 정작 그 방향 전환을 수행하는 코드가 빠진 것은 릴리스에서 가장 아쉬운 구멍이다.