📃Zero-WAM 리뷰

world-model

vla

video-generation

flow

manipulation

bimanual

zero-shot

human-video

human-robot-transfer

data-generation

dataset

Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization

Published

September 1, 2026

Paper Link (arXiv:2608.26103) — 이 리뷰는 v2 (2026-08-27, CC BY 4.0) 기준이며, 수치는 전부 원문에서 확인한 값이다.
Project Page (robbyant-research.github.io/Zero-WAM)
Code Link (github.com/robbyant-research/Zero-WAM) — 2026-08-31 확인 시점에 레포에는 README.md·LICENSE(Apache-2.0)·.gitignore·docs/(그림 2장)뿐이고 코드·모델·데이터는 하나도 없다. README의 Release Plan에 “Code / Model / Data: expected before Sep 15, 2026”으로 예고돼 있고, 프로젝트 페이지의 [Data] 버튼도 그 예고 섹션으로 되돌아온다. HuggingFace의 robbyant 조직에는 베이스라인인 LingBot 계열 체크포인트(lingbot-va-base, lingbot-va-posttrain-robotwin 등)가 이미 다수 올라와 있지만, Zero-WAM 모델과 HumanGen 데이터셋은 아직 없다.
Jiaming Zhou, Qihang Zhang*, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang†, Yinghao Xu† (Robbyant · HKUST(GZ) · HKUST, *Project Lead, †Corresponding)
arXiv preprint, 2026 (cs.RO; v1 2026-08-26, v2 2026-08-27)

💡 학습 때 본 적 없는 조작 태스크를 파라미터 갱신 없이 수행하는 문제를, LLM의 in-context learning처럼 “태스크 명세를 컨텍스트에 넣는 문제” 로 바꾼다 — 다만 명세의 매체가 언어가 아니라 사람이 그 태스크를 하는 영상이다.
⚙️ 사람–로봇 짝 데이터가 없다는 병목을, 방향을 뒤집어 푼다: 이미 있는 로봇 궤적에서 VLM·이미지 편집·비디오 생성 모델로 의미가 같은 사람 영상을 합성해 74.2K쌍/8.6K 태스크의 HumanGen을 만들고, 사람 영상을 prefix memory로 붙인 causal video-action 모델을 in-context future chunk prediction(IFP) 보조 손실로 학습해 “로봇 히스토리만 보고 다음 chunk를 외삽하는” 지름길을 막는다.
🎯 RoboTwin 2.0의 unseen 7태스크에서 평균 성공률 46.95% — 같은 프로토콜의 LingBot-VA(17.45%) 대비 +29.50%p. 실물 양팔 Franka 3개 태스크군에서도 언어 조건 LingBot-VA를 모두 앞선다(53.3 / 33.3 / 16.7% vs 43.3 / 10.0 / 0.0%).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 정책의 태스크 인터페이스는 사실상 언어로 굳어져 있다. VLA도, 최근의 video-action 모델도 “무엇을 하라”를 문장으로 받는다. 그런데 문장은 조작 태스크를 자주 덜 지정한다(underspecify) — 어느 인스턴스인지, 중간 상태가 어때야 하는지, 어떤 순서로 해야 하는지를 말로 풀어 쓰기가 번거롭고, 무엇보다 “장면이 어떻게 변해야 하는가”에 대한 시각적 증거를 하나도 주지 못한다. Zero-WAM은 여기서 출발해 태스크 명세를 사람 시연 영상으로 바꾼다. 사람 영상은 실행 가능한 로봇 행동을 담고 있진 않지만, 원하는 상태 변화와 그 시간적 전개를 그대로 보여 준다.

문제는 이 인터페이스를 학습시킬 데이터다. 태스크가 다양한 사람–로봇 짝 데이터는 손으로 모으기엔 너무 비싸다(Table 1의 기존 데이터셋은 최대 344 태스크). Zero-WAM의 결정적인 한 수는 화살표를 뒤집는 것이다. 사람이 먼저 하고 로봇이 따라 하는 게 아니라, 이미 쌓여 있는 로봇 궤적에서 의미가 같은 사람 영상을 생성해 낸다. 로봇 궤적은 실행 가능한 행동 라벨을 그대로 갖고 있으므로, 생성된 사람 영상과 짝지으면 곧바로 “명세(사람 영상) + 정답(로봇 행동)” ICL 쌍이 된다. 이렇게 74.2K쌍·8.6K 태스크를 만들었다.

Zero-WAM 개요(Fig. 1) — 왼쪽은 학습 데이터 두 축(task-diverse 로봇 데이터 + 짝지어진 사람–로봇 데이터), 가운데는 언어 지시와 사람 영상 지시를 모두 받는 causal video-action 모델(Video Model → Action Model), 오른쪽은 평가 시나리오(multi-object · long-horizon · fine-grain · simulation).

핵심 방법론:

백본은 LingBot-VA 계열의 causal video-action 프레임워크다. 궤적을 chunk 열 \tau=\{(\mathbf{x}^{i},\mathbf{a}^{i})\}_{i=1}^{N} 로 자르고, 매 제어 스텝을 “다음 비디오 chunk와 그에 시간 정렬된 행동 chunk를 예측하는” 인과 예측 문제로 본다(Eq. 3). 이 결합확률은 비디오 예측 → 행동 디코딩으로 인수분해된다(Eq. 4):

p_{\theta}\!\left(\mathbf{x}^{i+1},\mathbf{a}^{i+1}\mid \mathbf{x}^{\leq i},\mathbf{a}^{\leq i},c\right) = \underbrace{p_{\theta}^{\mathrm{vid}}\!\left(\mathbf{x}^{i+1}\mid \mathbf{x}^{\leq i},\mathbf{a}^{\leq i},c\right)}_{\text{비디오 world model}}\cdot \underbrace{p_{\theta}^{\mathrm{act}}\!\left(\mathbf{a}^{i+1}\mid \mathbf{x}^{\leq i},\mathbf{a}^{\leq i},\mathbf{x}^{i+1},c\right)}_{\text{inverse dynamics}}

여기에 Zero-WAM이 더한 것이 태스크 조건 c 의 확장이다. 사람 영상 \mathbf{h} 를 로봇 궤적 앞에 붙여 prefix memory로 쓰고, 비디오 브랜치만 그것을 본다(Eq. 5~6):

\mathcal{C}^{\mathrm{vid},i}=[\,[\mathbf{h},\mathbf{x}^{\leq i}],\,\mathbf{a}^{\leq i},\,\ell\,],\qquad \mathcal{C}^{\mathrm{act},i}=[\,\mathbf{x}^{\leq i},\,\mathbf{a}^{\leq i},\,\mathbf{x}^{i+1},\,\ell\,]

즉 행동 Transformer는 사람 영상을 아예 보지 않는다(Eq. 7~8). 사람 영상의 태스크 의미는 이미 예측된 다음 로봇 비디오 chunk \mathbf{x}^{i+1} 안에 흡수됐다고 보고, 행동 디코딩은 표준 inverse dynamics로 남겨 둔다.

두 번째 축은 지름길 차단이다. teacher forcing으로 학습하면 “바로 다음” 로봇 비디오 chunk는 최근 로봇 히스토리만 외삽해도 상당히 맞출 수 있어서, 모델이 사람 영상을 쓰지 않고도 손실을 줄인다. IFP는 stride s 로 벌린 K 개의 먼 미래 chunk를 현재 로봇-비디오 표현만으로 맞히게 강제한다(Eq. 11~14):

j_{k}=(i+1)+1+(k-1)s,\qquad \bm{\phi}^{i+1}=P_{\mathrm{fuse}}\!\left(\mathrm{Concat}\left(\{\mathbf{r}^{i+1}_{m}\}_{m=1}^{M}\right)\right)

\mathcal{L}_{\mathrm{ifp}}=\sum_{k=1}^{K}w_{k}\,\mathcal{L}_{\mathrm{fm}}\!\left(\mathbf{x}^{j_{k}};\,\bm{\phi}^{i+1},\mathbf{x}^{\leq i},\mathbf{a}^{\leq i},\ell\right)

핵심은 IFP 모듈이 사람 영상 \mathbf{h} 에 직접 조건 걸리지 않는다는 점이다. 오직 메인 비디오 브랜치가 \mathbf{h} 와 상호작용한 뒤 뽑아낸 \bm{\phi}^{i+1} 만 본다. 그래야 “먼 미래를 맞혀라”는 압력이 보조 브랜치가 아니라 메인 브랜치의 표현으로 되돌아간다(IFP 모듈은 추론 시 제거된다).

주요 결과:

RoboTwin 2.0 unseen 7태스크 평균(3 seed × 태스크당 100 rollout): Zero-WAM 46.95±0.72%, LingBot-VA 17.45±1.40%, WAN-Action 10.98±1.07% (Table 2). 7개 태스크 전부에서 두 베이스라인을 앞선다.
개별 최고치는 place empty cup 84.87%(베이스라인 42.33 / 38.33%), move stapler to pad 69.14%. 가장 어려운 장기 태스크 stack blocks three는 베이스라인 둘 다 0.00%인데 Zero-WAM만 9.00%로 0을 깬다.
실물 양팔 Franka, 태스크군당 30 trial (Table 3): 물체→용기 배치 53.3%(LingBot-VA 43.3%), 3물체 순차 조작 33.3%(10.0%), 테이블 다리 2개 삽입 16.7%(0.0%).
데이터: HumanGen 74.2K쌍 / 8.6K 태스크 / 로봇 임베디먼트 45종 초과. 기존 최대 태스크 수는 EgoScale의 344개, 최대 샘플 수는 RH20T의 110K/147태스크였다(Table 1).
절제: IFP를 빼면 46.95% → 28.55%(Fig. 6 우). 대규모 사전학습 없이 43개 seen 태스크만으로 학습해도 ICL만으로 10.98% → 36.36%(Fig. 5). 사람 영상 조건을 마스킹한 text-only 변형은 39.44% 로 LingBot-VA를 21.99%p 앞선다(Fig. 6 좌).
비용: 사전학습 15,360 GPU-hour, RoboTwin post-training은 64 GPU × 4,000 step. GPU 기종과 추론 지연은 논문 어디에도 없다.

결론:

Zero-WAM의 실질적 기여는 모델 구조보다 데이터의 방향에 있다. “사람 영상을 태스크 프롬프트로 쓰자”는 아이디어 자체는 BC-Z·Vid2Robot 이래 있었고 늘 데이터에서 막혔는데, 이 논문은 로봇 궤적 → 사람 영상이라는 역방향 합성으로 태스크 커버리지를 두 자릿수 배로 늘렸다. 여기에 IFP라는 “지름길 차단 정칙화”를 붙여 그 인터페이스가 실제로 쓰이도록 만들었다. 다만 뒤에서 보겠지만, 헤드라인 +29.50%p의 대부분은 사람 영상 조건 자체가 아니라 사전학습 데이터 쪽 변화에서 온다 — 사람 영상을 마스킹한 변형만으로도 이미 대부분의 격차가 난다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

사람–로봇 짝 데이터가 없어서 “사람 영상을 프롬프트로 쓰는 정책”이 매번 좌초했다면, 짝을 사람 쪽에서 시작하지 말고 로봇 쪽에서 역으로 만들어 내면 된다 — 그리고 그렇게 만든 프롬프트를 모델이 실제로 읽게 하려면, 다음 프레임이 아니라 한참 뒤의 프레임을 맞히게 시켜야 한다.

배경: 언어의 underspecification과 지름길

논문이 지목하는 문제는 둘이다(§1).

첫째, 태스크 명세로서 언어의 한계. 공간 제약·중간 상태·시간 구조를 문장으로 정확히 옮기기 어렵고, 아무리 자세한 지시도 “장면이 어떻게 변해야 하는가”의 직접 증거는 주지 못한다. 게다가 unseen 태스크에서는 그 문장을 한 번도 관측한 적 없는 태스크 동역학으로 접지(grounding)해야 한다. 반면 사람 영상은 원하는 상태 변화와 그 전개를 그대로 보여 준다. 로봇 행동은 없지만, 정책은 자기 임베디먼트와 동역학으로 그것을 실현하면 된다.

둘째, 지름길(shortcut). 사람 영상을 조건으로 붙여 놓아도, seen 태스크에서 teacher forcing으로 학습하면 다음 로봇 비디오 chunk가 로봇 히스토리 + 텍스트만으로 대부분 예측된다. 그러면 모델은 사람 영상을 안 봐도 학습 손실이 잘 내려가고, 정작 그 신호가 필요한 unseen 태스크에서 영상을 덜 쓴다. 이건 조건부 생성 모델의 고전적 병리(조건 무시)가 로봇 정책에서 나타난 형태다.

여기에 논문이 명시하진 않았지만 배경으로 깔린 세 번째가 있다. 저자들이 인용하는 AGNOSTOS[41]는 VLA 정책이 cross-task 일반화에 실패함을 보이고 unseen 태스크의 로봇 궤적을 테스트 때 넣어 주는 우회로를 제안했다. 논문은 이를 “테스트 시점 비용을 늘린다”고 비판하는데, AGNOSTOS의 1저자가 Zero-WAM의 1저자 Jiaming Zhou다. 즉 이 논문은 자기 이전 벤치마크가 남긴 숙제를 자기가 푸는 구도다.

데이터: 로봇 궤적을 사람 영상으로 되돌린다

Task-diverse VA — “궤적 수”가 아니라 “태스크 수”로 세기

먼저 로봇 쪽 사전학습 코퍼스를 다시 짠다(§2.1). 소스는 AgiBot, InternData-A1, Open-X-Embodiment, RoboCOIN, RoboMIND 다섯 개로 LingBot-VA가 쓴 것과 동일하다. 문제는 이 데이터셋들이 같은 태스크의 텔레옵을 반복한 궤적으로 채워져 있다는 점이다. 원 분포를 그대로 쓰면 사전학습이 중복 궤적에 지배돼, 이미 데이터 안에 있는 태스크 다양성을 활용하지 못한다.

그래서 각 데이터셋을 “조작 동작 × 대상 물체” 로 정의된 태스크 단위로 재분할하고(메타데이터가 있으면 그것을, 없으면 궤적에서 파싱), 태스크마다 상한을 두고 궤적을 뽑는다. 상한은 소스별 태스크 내 다양성에 맞춰 조정한다. 그 결과가 에폭당 6,000개 넘는 태스크, 약 400K 궤적이다.

In-context human video generation — 파이프라인 4단

데이터 구성과 사람 영상 생성 파이프라인(Fig. 2) — 위: Task-diverse VA와 HumanGen의 4개 서브셋(Pre-train ICL external/in-house, Simulation ICL, Real-world ICL). 아래: 로봇 영상 → (VLM 파싱) → 편집 프롬프트 → (이미지 편집) → 사람 관측 → (비디오 생성) → 사람 영상 → (VLM 품질 평가) → ICL 쌍. 품질 평가는 Semantics/Physics 각각 5(Perfect)·3(Acceptable)·1(Bad) 척도다.

같은 태스크 단위 샘플링으로 뽑은 로봇 영상 하나마다 다음을 돌린다(§2.2).

VLM 태스크 분석 (Gemini 3.1 Pro 또는 Qwen3.6-Plus): 태스크 이름, 초기 물체 상태, 상태 변화, 최종 상태를 뽑고, 첫 로봇 프레임을 사람 조작 장면의 초기 관측으로 바꿀 이미지 편집 프롬프트를 만든다. 배경·시점·환경 스타일·물체 인스턴스·물체 배치의 변주를 여기서 주입한다.
이미지 편집 (Nano Banana 2 / Qwen-Image-2.0): 편집 프롬프트로 초기 사람 관측 이미지를 생성.
비디오 생성 (Wan 2.7 / Kling AI 3.0): VLM이 다시 “사람 손이 어떻게 물체를 조작해야 하는가”를 서술한 비디오 생성 프롬프트를 만들고, 그것으로 사람 조작 영상을 합성.
VLM 품질 필터: 태스크 의미 보존과 물리적 타당성을 평가해 통과한 것만 원 로봇 궤적과 짝짓는다.

여기서 의도적으로 시각적 정렬을 흐트러뜨린다는 설계가 중요하다. 사람 영상과 로봇 궤적이 임베디먼트·시점·배경·물체 배치에서 다르면, 모델은 사람 손의 궤적을 베껴 쓸 수 없고 태스크 수준의 대응을 배워야 한다. 실제로 서브셋별로 정렬 강도를 다르게 잡았다 — Pre-train ICL (External)에서는 장면·배경·물체 인스턴스·배치 변화를 강제하고 1인칭/3인칭을 균형 맞추는 반면, In-house 서브셋에서는 3인칭 비율과 변화 빈도를 줄여 더 잘 정렬된 샘플을 만든다.

HumanGen의 구성

서브셋	태스크	ICL 쌍	비고
Pre-train ICL (External)	5,062	41,188	AgiBot 3,354/6,660 · InternData-A1 261/12,515 · OXE 438/9,290 · RoboCOIN 512/6,513 · RoboMIND 497/6,210
Pre-train ICL (In-house)	3,522	30,247	양팔 Franka, Galaxea R1 Pro 등
Simulation ICL	50	2,500	RoboTwin 50태스크 × 50샘플 (43 post-train / 7 unseen)
Real-world ICL	—	252	배치 120(30조합) · 순차 96(16조합) · 삽입 36
합계	8.6K	74.2K	임베디먼트 45종 초과

숫자는 내부적으로 맞는다: 41,188 + 30,247 + 2,500 + 252 = 74,187 ≈ 74.2K이고, External 소스별 태스크·궤적 합도 각각 5,062·41,188로 떨어진다.

Table 1의 비교가 이 데이터셋의 판매 포인트를 잘 보여 준다. 샘플 수만 보면 RH20T가 110K로 더 크지만 태스크는 147개뿐이고, 태스크 수 기준 기존 최고는 EgoScale의 344개다. HumanGen은 8.6K 태스크로 한 자릿수가 아니라 두 자릿수 배 차이를 낸다. 사람 영상 취득이 manual이 아니라 auto-generated인 유일한 항목이고, multi-source이며 정렬 다양성을 갖는 유일한 항목이기도 하다. 태스크 커버리지가 cross-task 일반화의 핵심 변수라는 논문의 가설과, 데이터셋 설계가 정확히 일치한다.

방법 1: 사람 영상을 prefix memory로

모델은 Wan-2.2-TI2V-5B를 causal video-action 정책으로 바꾼 것이다(LingBot-VA와 동일한 초기화 경로). 비디오 Transformer는 Wan-2.2 백본 그대로 hidden d_v=3072, 30 layer. 행동 Transformer도 d_a=3072 이고 파라미터를 비디오 브랜치에서 초기화한다. 둘은 Mixture-of-Transformers(MoT) 로 묶인다 — QKV projection·FFN·출력 헤드는 modality별로 따로 갖되, 표현은 하나의 시퀀스에 남아 공유 attention 층에서만 상호작용한다. 시퀀스 안에서 행동 chunk 표현은 미래 비디오 표현 뒤에 놓여, 행동 디코딩이 예측된 미래 로봇 영상을 attend할 수 있게 한다(Eq. 4의 인수분해가 요구하는 배치다).

학습 시에는 사람 영상 chunk·로봇 영상 chunk·행동 chunk의 토큰 표현 위에 teacher-forcing attention mask를 건다. 사람 영상 \mathbf{h} 는 로봇 궤적 앞에 붙어 비디오 예측의 prefix memory 역할만 한다.

RoPE offset이라는 작은 트릭. 사람 영상과 다중 뷰 로봇 영상은 같은 VAE 인코더로 인코딩되므로 같은 latent 공간을 공유한다. 한 시퀀스에 섞이면 헷갈릴 수밖에 없다. 그래서 시각 latent의 좌표 (q,y,x) 중 height 축을 밀어 구분한다(Eq. 9~10):

\mathrm{pos}_{\mathrm{robot}}(q,y,x)=(q,y,x),\qquad \mathrm{pos}_{\mathrm{human}}(q,y,x)=(q,\,y+\Delta_{H},\,x),\quad \Delta_{H}>H_{\mathrm{mv}}

\Delta_H 를 다중 뷰 로봇 latent 레이아웃의 높이 H_{\mathrm{mv}} 보다 크게 잡아 사람 영상 latent를 로봇 영상 좌표 범위 밖에 놓는 것이다. 구현값은 \Delta_H=32. 새 임베딩이나 새 인코더 없이 위치 좌표만으로 modality를 분리하는, 값싸고 깔끔한 처리다.

행동 브랜치가 사람 영상을 못 본다는 선택. 앞서 언급한 대로 p_\theta^{\mathrm{act}} 는 \mathbf{h} 를 직접 attend하지 않는다(Eq. 7~8). 논문의 논리는 “태스크 의미는 이미 \mathbf{x}^{i+1} 에 흡수됐으니 행동 디코딩은 순수 inverse dynamics로 충분하다”이다. 설계로는 우아하다 — 행동 브랜치를 표준 상태로 유지해 non-ICL 데이터와 파라미터를 공유하기 쉽고, 학습/추론 조건 불일치도 줄어든다. 다만 이건 강한 정보 병목이기도 한데, 이 점은 뒤에서 따로 짚는다.

방법 2: In-context future chunk prediction

IFP는 Next Forcing[14]의 multi-chunk prediction에서 착안한 학습 전용 보조 목적함수다(§3.3). stride s 로 벌린 K 개 미래 chunk의 인덱스는 j_k=(i+1)+1+(k-1)s 이고, 각 타깃마다 IFP 모듈 G_k 를 둔다. G_k 는 비디오 브랜치의 Transformer 층 하나와 같은 구조이며 마지막 비디오 층에서 초기화된다. 구현값은 K=4, s=2, 가중치 (w_1,\dots,w_4)=(0.5,0.25,0.15,0.15).

입력은 메인 브랜치가 만든 현재 로봇-비디오 표현이다. \mathbf{x}^{i+1} 을 flow time t 에서 노이즈화한 chunk의 hidden을 메인 비디오 Transformer의 M 개 중간 층에서 모아 concat하고, 가벼운 MLP P_{\mathrm{fuse}} 로 단일 층 차원으로 되돌린 것이 \bm{\phi}^{i+1} 이다(Eq. 12). (M 의 구체적 값과 어느 층을 골랐는지는 §4.1 구현 세부에 없다.)

설계의 급소는 IFP 모듈에 \mathbf{h} 를 주지 않는 것이다. 논문이 이유를 명시적으로 쓴다: 만약 IFP가 사람 영상에 직접 조건 걸리면 보조 브랜치가 독립적인 human-video-conditioned 미래 예측기를 배워 버리고, 메인 로봇-비디오 Transformer가 in-context 정보를 인코딩하도록 강제되지 않는다. IFP 모듈은 추론 시 제거되므로, 그러면 배포된 정책은 보조 손실에서 아무것도 얻지 못한다. 그래서 \bm{\phi}^{i+1} 만 통로로 남긴다. 보조 손실을 붙일 때 “누가 그 손실의 수혜자가 되는가”를 정확히 통제한 사례라 인상적이다.

또 하나: K 개 미래를 병렬로 예측한다. stride로 난도를 올리면서도 미래 chunk 예측들 사이에 시간적 의존을 만들지 않아 학습이 순차화되지 않는다.

손실과 추론

전체는 flow matching이다. 비디오는 \mathbf{x}^{i+1}_{t}=(1-t)\mathbf{x}^{i+1}+t\bm{\epsilon}^{i+1}, 타깃 속도 \mathbf{v}^{\star}=\bm{\epsilon}-\mathbf{x} (Eq. 15~16). 행동도 별도의 flow time r 로 동형이다(Eq. 17~18). 데이터 종류에 따라 손실이 갈린다(Eq. 19~20):

\mathcal{L}_{\mathrm{VA}}=\mathbb{E}\!\left[\mathcal{L}_{\mathrm{fm}}^{i+1}(\ell)+\lambda_{a}\mathcal{L}_{a}^{i+1}(\ell)\right],\qquad \mathcal{L}_{\mathrm{ICL}}=\mathbb{E}\!\left[\mathcal{L}_{\mathrm{fm}}^{i+1}(c)+\lambda_{a}\mathcal{L}_{a}^{i+1}(\ell)+\lambda_{\mathrm{ifp}}\mathcal{L}_{\mathrm{ifp}}\right]

c=\{\mathbf{h},\ell\} 이고, 행동 손실은 양쪽 모두 \ell 조건이다(행동 브랜치가 \mathbf{h} 를 안 보므로 당연하다). 가중치 \lambda_a·\lambda_{\mathrm{ifp}} 의 값은 논문에 없다.

학습 세팅: AdamW, peak lr 1\times10^{-4}, weight decay 0.01. 사전학습에서 Task-diverse VA : HumanGen 샘플링 비 1:5. non-ICL 샘플은 언어 지시를 확률 0.1로 드롭하고, ICL 샘플은 사람 영상 latent를 0.1로, 언어 지시를 0.4로 드롭한다 — 언어 의존을 일부러 낮춰 영상 쪽으로 몰아붙이는 장치다. 로봇 비디오 chunk 크기는 1~4에서 랜덤. GPU당 서로 다른 길이의 샘플을 한 시퀀스에 패킹하고 attention mask로 분리하며, GPU당 최대 토큰은 160K. 사전학습에 15,360 GPU-hour가 들었다.

추론에서는 IFP 모듈을 떼고 두 모드를 지원한다. 언어 모드는 c=\ell, 비디오 CFG scale 5. ICL 모드는 사람 영상을 한 번만 인코딩해 토큰을 prefix memory로 캐시하고 언어 지시는 끈다(ICL CFG scale 5). 두 모드 모두 추론 chunk 크기 2, 행동 CFG 1.0.

직관: 왜 “더 먼 미래”가 프롬프트를 읽게 만드는가

IFP를 한 문장으로 옮기면 “예측 지평을 늘려 지름길의 수익률을 떨어뜨린다”이다.

바로 다음 chunk는 관성의 문제에 가깝다. 그리퍼가 어디로 가고 있었는지, 물체가 어디 있었는지만 알면 다음 0.x초는 상당히 맞는다. 이 정보는 전부 로봇 히스토리 \mathbf{x}^{\leq i} 안에 있으므로, 사람 영상은 읽어도 그만, 안 읽어도 그만인 부가 정보가 된다. 손실 최소화기 입장에서 굳이 어려운 cross-modal 대응을 배울 이유가 없다.

그런데 s=2 로 벌린 네 개 미래 chunk를 현재 표현 하나만으로 맞히라고 하면 사정이 달라진다. 그만큼 앞선 미래는 “지금 무슨 태스크를 수행 중인가”를 알아야만 맞힐 수 있다. 물체를 집는 중인지 놓는 중인지, 다음에 어느 용기로 갈 것인지 — 이건 히스토리 외삽으로 안 나오고, 사람 영상에만 있다. 게다가 IFP 모듈은 사람 영상을 직접 못 보므로, 그 정보를 \bm{\phi}^{i+1} 안에 넣어 줄 수 있는 유일한 주체가 메인 비디오 브랜치다. 압력이 정확히 원하는 곳에 걸린다.

같은 구조를 반대편에서 보면 이 논문의 아키텍처적 도박도 드러난다. 사람 영상 → 예측된 로봇 비디오 chunk → 행동. 태스크 정보가 흐르는 통로는 이 하나뿐이고, 그 중간 노드는 고작 다음 한두 chunk 분량의 로봇 영상이다. 다음 2 chunk 안에 렌더링될 수 없는 태스크 정보(예: “세 번째로 집을 물체는 분홍 그릇”)는 매 스텝마다 사람 영상에서 다시 읽어 내야 한다. Zero-WAM이 사람 영상 토큰을 캐시해 매 스텝 계속 붙여 두는 이유이기도 하고, 장기 태스크에서 성능이 급락하는 이유이기도 할 것이다.

실험 1: RoboTwin 2.0 cross-task

평가에 쓰인 unseen 7태스크(Fig. 3) — 저울에 물체 올리기, 도장 찍기, 전자레인지 열기, 스테이플러 옮기기, 빵을 바구니에 넣기, 빈 컵 놓기, 블록 3개 쌓기. unseen 물체 조작, articulated 물체, 양팔 협응, 장기 태스크를 고루 담았다.

프로토콜. RoboTwin 2.0의 clean 세팅에서 50개 양팔 태스크를 태스크 단위로 43(post-training) / 7(unseen 평가)로 나눈다. 궤적마다 파이프라인으로 사람 영상 지시를 만들어 Simulation ICL 서브셋을 구성한다. 평가는 3 seed, seed당 태스크마다 100 closed-loop rollout. RoboTwin 초기화 체크포인트는 Task-diverse VA + HumanGen 사전학습 모델이고, post-training은 64 GPU × 4,000 step, VA:HumanGen:RoboTwin = 2:10:3 비율로 섞는다.

stamp seal 과 move stapler to pad 두 태스크는 cross-task 평가에 맞게 성공 기준을 약간 조정했다고 각주로 밝히며, 모든 방법에 같은 기준을 적용하고 수정 버전을 공개하겠다고 한다.

베이스라인 설계는 “사전학습 사다리”다. WAN-Action은 Wan-2.2-TI2V-5B에서 출발해 같은 MoT causal video-action 프레임워크를 쓰되 43개 seen 태스크만으로 학습한 자체 구현이다. LingBot-VA는 공개 체크포인트(로봇 video-action 사전학습 포함)를 같은 seen 태스크로 post-training한 것이다. Zero-WAM은 여기에 태스크 균형 로봇 데이터와 사람–로봇 ICL 쌍 사전학습이 더해진다. 즉 세 방법은 “RoboTwin 이전에 무엇을 배웠는가”의 사다리를 이룬다.

Table 2 — RoboTwin 2.0 unseen 7태스크 성공률(%), 3 seed 평균±표준편차.
Task	WAN-Action	LingBot-VA	Zero-WAM
Place object on scale	3.00 ± 2.16	6.17 ± 4.87	24.67 ± 2.05
Stamp seal	7.33 ± 1.25	3.67 ± 2.49	47.00 ± 4.55
Open microwave	2.26 ± 1.60	29.33 ± 10.66	59.00 ± 2.83
Move stapler to pad	10.67 ± 1.70	23.33 ± 8.22	69.14 ± 2.93
Place bread in basket	15.26 ± 2.55	17.33 ± 6.18	35.00 ± 3.74
Place empty cup	38.33 ± 2.05	42.33 ± 7.85	84.87 ± 0.18
Stack blocks three	0.00 ± 0.00	0.00 ± 0.00	9.00 ± 2.16
Average	10.98 ± 1.07	17.45 ± 1.40	46.95 ± 0.72

읽을 만한 점 몇 가지.

이득이 한 태스크에 몰려 있지 않다. 7개 전부에서 앞서고, 특히 open microwave(articulated 물체 동역학)와 stamp seal(희귀 물체 재배치)에서 격차가 크다.
분산이 확 줄었다. LingBot-VA의 seed 간 표준편차는 open microwave 10.66, place empty cup 7.85로 큰데, Zero-WAM은 각각 2.83, 0.18이다. 평균 성공률만큼이나 안정성이 개선됐다는 신호인데 논문은 이걸 언급하지 않는다.
stack blocks three는 여전히 9%다. 0을 깬 유일한 방법이라는 서술은 맞지만, 절대값은 실용 수준과 거리가 멀다.

실험 2: 실물 양팔 Franka

실물 정성 평가(Fig. 4) — 각 블록의 위쪽이 사람 영상 지시, 아래쪽이 로봇 롤아웃이다. ① 복잡한 장면 pick-and-place, ② 장기(3물체 순차), ③ 테이블 다리 2개 삽입, ④ Table 3에는 없는 추가 정성 사례(전구 삽입, unseen). ③에는 “fine-grained & human-robot collaboration”이라는 라벨이 붙어 있는데 본문에 “collaboration”에 대한 설명은 없다.

세 태스크군을 평가한다. 각 군마다 실물 Franka 기구학에 정책을 맞추기 위한 소량의 seen-task 시연을 모으고, 평가 구성은 홀드아웃한다. 테스트 시점에 Zero-WAM은 언어 없이 사람 영상만으로 조건 걸고, LingBot-VA에는 상세한 텍스트 태스크 서술이 주어진다. 태스크군당 30 trial.

Table 3 — 실물 unseen 구성 평가, 30 trial 성공률(%).
Task	학습 조합	학습 시연	LingBot-VA (언어)	Zero-WAM (사람 영상)
Object-to-container placement	30	120	43.3	53.3
Three-object sequential manipulation	16	96	10.0	33.3
Two-table-leg insertion	–	36	0.0	16.7

물체→용기 배치: 물체·용기 집합의 일부를 홀드아웃해, 모든 테스트 구성이 로봇 학습 시연에 없던 물체나 용기를 최소 하나 포함하도록 했다.
3물체 순차 조작: 사람 영상이 순서를 지정한다. 매 에피소드마다 3개 물체를 무작위 순서로 골라 사람 영상으로 보여 주고, unseen 물체·용기도 섞인다. 33.3% vs 10.0%로 격차가 가장 크다 — 언어로 순서를 지정하기가 특히 곤란하다는 논문의 주장과 잘 맞는다.
테이블 다리 삽입: 사람 영상이 “어느 색 다리를 어느 구멍에” 넣을지 지정한다. 시연은 36개뿐. 16.7% vs 0.0%인데, 논문 스스로 “정밀 물리 삽입의 난도 때문에 절대 성공률이 제한적”이라고 적는다. unseen 색·종류의 다리와 상판에도 정성적으로 전이됐다고 덧붙인다.

절제: 세 요인의 분해

절제는 전부 RoboTwin의 같은 43/7 분할에서 돌린다. 논문 표현대로, 작은 실물 trial 집합보다 대규모 closed-loop 평가가 가능한 시뮬레이션이 비교에 더 믿을 만하다.

사람 영상 ICL의 효과 (사전학습 없이)

사람 영상 프롬프트의 효과(Fig. 5) — 모든 변형을 43개 seen RoboTwin 태스크 데이터만으로 학습해 대규모 사전학습 효과를 제거한 비교. 막대 라벨은 반올림값이다.

세 변형 모두 43개 seen 태스크 데이터만 쓴다. Zero-WAM w/o pretrain은 Wan-2.2 가중치에서 시작해 ICL 사람 영상을 지시로 학습한 것이고, WAN-Action은 같은 Wan-2.2에서 시작하되 언어만 쓴다. LingBot-VA는 언어를 쓰되 자기 로봇 video-action 사전학습을 유지한다.

WAN-Action 10.98% → Zero-WAM w/o pretrain 36.36%. 같은 초기화·같은 데이터에서 인터페이스만 바꿔 +25.4%p. ICL 신호가 텍스트 조건 이상의 태스크 정보를 준다는 가장 깨끗한 증거다.
사전학습이 있는 LingBot-VA(17.45%)조차 크게 앞선다.
다만 태스크별로 보면 균일하지 않다. open microwave에서는 26% vs LingBot-VA 29%로 오히려 진다. 그리고 세 변형 모두 stack blocks three에서 0%다 — 논문은 이를 “소규모 ICL 데이터로는 unseen 장기 태스크가 안 된다, 대규모 task-diverse ICL 사전학습이 필요하다”는 근거로 쓴다.

IFP와 태스크 균형 데이터

두 절제(Fig. 6) — 왼쪽: 태스크 균형 로봇 사전학습(LingBot-VA vs text-only Zero-WAM). 오른쪽: IFP 모듈(전체 Zero-WAM vs w/o IFP). 레이더 축은 태스크별 성공률과 매크로 평균이다. 주의 — 축마다 최대값이 다르다(stack blocks three는 10%, place empty cup은 90%). 면적으로 크기를 비교하면 오해한다.

IFP (Fig. 6 우): 46.95% → 28.55% (제거 시). 즉 IFP가 +18.40%p. open microwave·stamp seal에서 특히 크고, stack blocks three의 0.00% → 9.00%도 IFP 덕이다.
태스크 균형 데이터 (Fig. 6 좌): text-only Zero-WAM 변형은 ICL 샘플을 사전학습에 포함하되 사람 영상 조건을 마스킹해 평범한 텍스트 조건 video-action 샘플로 만든 것이다. 이 변형이 39.44% 로 LingBot-VA를 +21.99%p 앞선다. 논문은 이를 “사람 영상 조건 없이도 태스크 균형 사전학습이 cross-task 전이를 개선한다”는 근거로 읽는다. 다만 이 비교는 완전한 단일 변수 대조가 아니다 — 논문 스스로 “우리 태스크 샘플 로봇 데이터의 대부분이 LingBot-VA의 사전학습 코퍼스에 포함된다”고 적는데(§4.4), 뒤집으면 In-house ICL 서브셋(3,522 태스크 / 30,247 쌍)처럼 LingBot-VA가 본 적 없는 데이터도 이 변형에는 들어가 있다는 뜻이다. 21.99%p에는 “태스크 단위 재분할·균형 샘플링”뿐 아니라 데이터 추가분이 섞여 있다.

여기서 한 걸음 더 — 헤드라인은 어디서 왔나

논문이 직접 하지는 않지만, 위 숫자들은 정확히 분해된다. (전부 같은 7태스크 매크로 평균이다.)

\underbrace{17.45}_{\text{LingBot-VA}} \;\xrightarrow{\;+21.99\;(\text{태스크 균형 데이터})\;}\; \underbrace{39.44}_{\text{text-only Zero-WAM}} \;\xrightarrow{\;+7.51\;(\text{사람 영상 ICL}+\text{IFP})\;}\; \underbrace{46.95}_{\text{Zero-WAM}}

합이 정확히 헤드라인 +29.50%p다(같은 두 끝점을 쓰므로 산술적으로 당연한 분해이긴 하다). 그러니까 논문 제목과 서사의 주인공인 “in-context 사람 영상”이 최종 성능에 기여한 잔여분은 7.51%p이고, 나머지 21.99%p는 사전학습 데이터 쪽에서 온다(앞서 짚었듯 태스크 균형 샘플링과 데이터 추가가 섞인 몫이다). 사람 영상 인터페이스가 무의미하다는 뜻은 전혀 아니다 — Fig. 5가 보여 주듯 데이터가 적은 영역에서는 ICL이 압도적이고(+25.4%p), 실물 3물체 순차 조작처럼 언어로는 원리적으로 지정하기 어려운 태스크에서는 대체 불가능하다. 다만 “RoboTwin에서 +29.5%p”라는 헤드라인을 사람 영상의 공로로 읽으면 3분의 2 이상을 오귀속하게 된다.

그리고 같은 숫자들에서 더 껄끄러운 조합이 하나 나온다. Zero-WAM w/o IFP(28.55%)는 text-only Zero-WAM(39.44%)보다 낮다. 숫자를 액면 그대로 읽으면, IFP 없이 사람 영상을 조건으로 붙이는 것은 아예 안 붙이는 것보다 나쁘다(−10.89%p). 논문의 shortcut 서사와 방향은 같지만(“모델이 영상을 안 쓴다”) 강도는 더 세다 — 사람 영상은 그냥 무시되는 게 아니라, 정칙화 없이는 오히려 방해가 된다. 다만 이 비교에는 단서가 셋 붙는다. ① 두 변형은 Fig. 6의 서로 다른 패널(좌/우)에서 온 별개 실험이고, ② 절제에는 seed 분산이 없어 −10.89%p의 통계적 유의성을 판단할 수 없으며, ③ 논문은 text-only 변형에서 IFP 손실을 어떻게 처리했는지 명시하지 않는다(Eq. 20에서 IFP는 ICL 샘플에 붙으므로 함께 빠졌다고 읽는 게 자연스럽지만, 원문에서 확인되지는 않는다). 그래서 단정하지는 못하고, 이 인터페이스가 IFP라는 정칙화 위에서만 값을 한다는 쪽을 강하게 시사하는 정도로 읽는 게 맞다.

비판적으로 보면

강점

데이터 병목을 방향 전환으로 푼다. “사람 영상을 프롬프트로”는 오래된 아이디어인데(BC-Z 2022, Vid2Robot), 늘 사람–로봇 짝 데이터에서 막혔다. 사람에서 시작해 로봇을 붙이는 대신 로봇에서 시작해 사람을 합성하는 역방향은 (a) 행동 라벨이 자동으로 보존되고 (b) 기존 대규모 로봇 코퍼스를 재활용하며 (c) 정렬 다양성을 프롬프트로 제어할 수 있다는 세 이점을 동시에 가진다. 태스크 수가 344 → 8,600으로 뛴 게 그 결과다.
보조 손실의 수혜자를 정확히 통제했다. IFP 모듈이 사람 영상을 직접 보면 안 되는 이유를 논문이 명확히 논증하고 그렇게 구현했다. “추론 때 떼어낼 모듈이 학습의 이득을 독차지하면 배포 모델은 아무것도 못 얻는다”는 논리는 auxiliary-loss 설계 일반에 적용되는 좋은 원칙이다.
절제가 요인을 실제로 분리한다. Fig. 5(사전학습 제거 후 ICL 효과), Fig. 6 좌(사람 영상 마스킹 후 데이터 효과), Fig. 6 우(IFP 효과)가 각각 다른 축을 건드려, 위에서 한 분해가 가능할 만큼 재료를 다 내놓았다. 요약에서 자기에게 유리한 쪽만 강조하긴 하지만 숨기지는 않았다.
평가 규모가 크다. 3 seed × 태스크당 100 rollout × 7태스크 × 3방법. WAM 논문들이 흔히 단일 seed로 끝내는 것에 비하면 성실하고, 표준편차가 함께 실려 있어 Table 2의 격차가 노이즈가 아님을 독자가 판단할 수 있다.
베이스라인을 자기 프레임워크로 재구현했다. WAN-Action은 같은 백본·같은 MoT 구조에서 언어 조건만 쓰는 통제군이다. 서로 다른 논문의 숫자를 나란히 놓는 흔한 함정을 일부 피했다.

약점·한계

헤드라인 귀속이 기울어 있다. 위에서 분해한 대로 +29.50%p 중 21.99%p는 사람 영상을 마스킹해도 남는 사전학습 데이터 쪽 몫이고, 사람 영상+IFP의 잔여 기여는 7.51%p다. 초록·서론은 이 분해를 하지 않고 “video-action 베이스라인 대비 +29.5%p”만 제시한다. 태스크 단위 재샘플링은 사실 이 논문에서 가장 실용적이고 재현하기 쉬운 기여인데도, 서사의 조연으로 밀려 있다.
시뮬레이션의 “zero-shot”이 생각보다 덜 zero-shot이다. Simulation ICL은 RoboTwin 50태스크 전부에 대해 궤적마다 사람 영상을 생성했다 — unseen 7태스크 포함이다. 즉 테스트 시점 프롬프트는 그 unseen 태스크의 전문가 로봇 궤적에서 합성된 것이다. 정책이 그 태스크의 행동 지도(supervision)를 받지 않은 것은 맞지만, 프롬프트 자체는 성공한 실행에서 유래한 정보를 나른다. 논문이 AGNOSTOS를 두고 “테스트 때 unseen 태스크 로봇 궤적을 제공해야 한다”고 비판한 그 조건이, 형태를 바꿔 시뮬레이션 프로토콜 안에 남아 있는 셈이다. 실제 배포에서는 사람이 그 자리에서 시연하면 되므로 결함은 아니지만, 시뮬레이션 수치를 “인터넷에서 주운 사람 영상으로도 된다”의 증거로 읽으면 과대해석이다.
학습 프롬프트가 (거의) 전부 AI 생성 영상이다. §2.3은 HumanGen을 “파이프라인으로 생성한 사람–로봇 ICL 쌍의 모음”으로 정의하고 네 서브셋을 그 아래 둔다(Real-world ICL만 “collected”라는 동사를 쓰는데, 로봇 시연 수집을 가리키는지 사람 영상까지 실촬영인지는 불분명하다). 어느 쪽이든 모델이 본 사람 영상의 절대다수는 Wan 2.7/Kling 3.0이 만든 것이다. 실제 사람이 촬영한 영상과의 도메인 갭은 한 번도 측정되지 않는다. 시뮬레이션 평가 프롬프트도 같은 파이프라인 산물이라 in-distribution이다. 실물 평가의 테스트 프롬프트가 어떻게 만들어졌는지는 명시가 없는데, 논리적으로는 생성일 수 없다 — 파이프라인은 소스 로봇 궤적을 요구하는데 unseen 구성에는 그런 궤적이 없기 때문이다. 그렇다면 실촬영일 텐데, 그 경우 실물 결과는 학습/테스트 도메인이 다른 조건에서 얻은 값이라는 뜻이고 이 점이 논문에 서술되지 않은 것은 아쉽다. 리뷰 시점 원문에서 확인할 수 없었던 항목이다.
추론 비용이 통째로 빠져 있다. 지연, 제어 주파수, GPU 기종, denoising step 수 중 어느 것도 논문에 없다. Zero-WAM은 매 제어 스텝에 5B 비디오 DiT로 chunk를 생성하고, CFG scale 5를 쓰며(사실상 forward 2배), 사람 영상 prefix까지 컨텍스트에 얹는다. 캐시로 재인코딩은 피하지만 attention 길이는 늘어난다. 같은 Wan2.2 백본을 쓰는 Fast-WAM이 imagine-then-execute를 810 ms로, 자기 방식을 190 ms로 측정해 놓은 것과 대비하면 이 침묵은 눈에 띈다. 사전학습 15,360 GPU-hour만 밝히고 GPU 기종도 쓰지 않아 절대 비용 환산도 안 된다.
베이스라인이 사실상 자기 이전 모델이다. LingBot-VA[11]의 저자 목록(Qihang Zhang, Yiming Luo, Shuai Yang, Ruilin Wang, Xing Zhu, Yujun Shen, Yinghao Xu)은 Zero-WAM과 크게 겹치고, IFP가 착안했다는 Next Forcing[14]도 같은 그룹이다. 자기 계보 안에서의 개선을 측정하는 건 통제 면에서 오히려 장점일 수 있지만, “the strongest video-action baseline”이라는 표현은 외부 계열(DreamZero, EgoWAM, WAM-TTT, RoboTTT 등 §6에서 스스로 나열한 최신 WAM들)과 한 번도 비교하지 않은 상태에서 나온 것이다. RoboTwin cross-task 세팅에서 이들 중 어느 것도 돌려 보지 않았다.
Table 3의 비교가 두 변수를 함께 바꾼다. Zero-WAM은 사람 영상, LingBot-VA는 언어로 조건 걸린다. 모델도 다르고 인터페이스도 다르다. Zero-WAM은 언어 모드를 지원한다고 명시했으므로(§3.4) 실물에서 “Zero-WAM + 언어” 행을 넣는 건 어렵지 않았을 텐데 없다. 그 행이 있었다면 실물에서 인터페이스의 순수 효과를 볼 수 있었다.
절제에 분산이 없다. Table 2는 3 seed 표준편차를 주는데, Fig. 5·6은 단일 값 막대·레이더다. 특히 앞서 지적한 w/o IFP(28.55) < text-only(39.44) 같은 교차 그림 비교의 신뢰도를 판단할 수 없다. 그리고 Fig. 6의 레이더는 축마다 최대값이 다르다 — stack blocks three 축의 10%가 place empty cup 축의 90%와 같은 반경이라, 시각적 면적이 성능 차이를 과장한다.
하이퍼파라미터가 일부 비어 있다. IFP가 모으는 중간 층 수 M 과 그 층 선택, 손실 가중치 \lambda_a·\lambda_{\mathrm{ifp}} 가 §4.1에 없다. K=4·s=2·w_k 는 주어졌지만 이 값들에 대한 민감도 분석도 없다 — “먼 미래를 맞히게 하라”가 핵심 메커니즘인데 얼마나 멀어야 하는지에 대한 곡선이 없는 셈이다.
행동 브랜치의 정보 병목을 검증하지 않았다. 사람 영상 → 예측 비디오 → 행동이라는 단일 경로 설계는 우아하지만, “태스크 의미가 \mathbf{x}^{i+1} 에 충분히 흡수된다”는 가정은 실험으로 확인되지 않는다. 행동 브랜치도 \mathbf{h} 를 attend하게 한 변형과의 비교가 없고, 예측된 비디오의 품질(FVD 등)과 성공률의 상관도 보고되지 않는다. 장기 태스크 9%라는 결과는 이 병목이 실제 제약일 가능성을 시사한다.
재현 가능성이 현재로선 0이다. 2026-08-31 확인 기준 레포에는 README·LICENSE·.gitignore·docs/뿐이고 코드·모델·데이터가 전부 “Sep 15, 2026 이전 공개” 예고 상태다. HumanGen은 상용 API(Gemini 3.1 Pro, Nano Banana 2, Wan 2.7, Kling 3.0)에 의존하므로 데이터셋 자체가 공개되지 않으면 파이프라인만으로 재구성하는 비용이 상당하다. 게다가 이 API들은 버전이 계속 바뀌어 “같은 파이프라인”이 미래에 같은 데이터를 만든다는 보장도 없다. 데이터 공개 여부가 이 논문의 실질 영향력을 좌우할 것이다.
범위가 고정 테이블톱이다. 저자들도 결론에서 인정하는 부분으로, mobile manipulation이나 훨씬 긴 지평은 향후 과제로 남긴다.

요약

Zero-WAM의 기여는 인터페이스 하나와 데이터 파이프라인 하나, 그리고 그 인터페이스를 실제로 쓰게 만드는 정칙화 하나다. 사람 영상을 태스크 명세로 삼는 발상은 새롭지 않지만, “로봇 궤적에서 사람 영상을 역생성한다”는 방향 전환으로 태스크 커버리지를 8.6K까지 끌어올린 것은 이 계보에서 처음 보는 규모다. IFP는 조건부 생성 모델의 고전적 병리(조건 무시)를 예측 지평 확장으로 공략하는 깔끔한 처방이고, 보조 모듈이 이득을 가로채지 못하게 조건을 끊어 놓은 세부까지 잘 설계됐다.

동시에, 이 논문의 숫자를 읽는 정직한 방법은 헤드라인이 아니라 절제 쪽이다. RoboTwin +29.50%p 중 22%p는 사람 영상을 마스킹해도 남는 사전학습 데이터 쪽 몫이고, 7.5%p가 사람 영상 ICL과 IFP의 잔여 기여다. 그리고 절제 수치를 그대로 믿는다면 IFP 없이는 사람 영상 조건이 텍스트보다 못하다. 사람 영상 인터페이스가 진짜로 값을 하는 자리는 평균 성공률 몇 %p가 아니라, 언어로는 원리적으로 지정할 수 없는 태스크다 — 실물 3물체 순차 조작(33.3% vs 10.0%)과 색-구멍 대응 삽입(16.7% vs 0.0%)이 그 증거이고, 이 두 결과가 논문에서 가장 설득력 있는 부분이다.

남은 물음은 배포 쪽에 몰려 있다. 매 제어 스텝마다 5B 비디오 DiT를 돌리는 정책의 지연은 얼마인가. AI가 생성한 사람 영상으로 학습한 모델이 실제 촬영 영상을 얼마나 잘 따르는가. 그리고 상용 생성 API에 의존해 만든 74.2K 데이터셋이 실제로 공개되는가. 마지막 물음은 2026년 9월 15일 이전에 답이 나온다고 예고돼 있으니, 그때 다시 볼 만하다.