📃Long-WAM 리뷰

world-model

vla

video-generation

autoregressive

efficiency

Long-WAM: Scaling the Context of World-Action Models

Published

October 18, 2026

Paper Link (arXiv:2610.10528): 이 리뷰는 v1 (2026-10-07, CC BY 4.0) 기준이다. 표·그림 번호는 PDF 번호를 따른다(arXiv HTML은 표 상호참조가 일부 어긋나 있다).
Project Page: 페이지의 일부 수치가 arXiv v1과 다르다. 차이는 아래 「수치 대조」 절에 모았다(2026-10-19 확인).
Code Link (github.com/NVlabs/LongLive, Long-WAM/ 하위): Apache-2.0. 정책 체크포인트 11종과 비디오 생성기 2종(LongLive2.0-Robot-S/-M)이 Hugging Face에 ungated로 올라와 있다(모델 카드 라이선스 표기는 other). 확인 시점 커밋 1b9e348(2026-10-18).
Wei Huang*, Bohan Zhang*, Chenzhi Liu, Isabella Liu, Shuai Yang, Weian Mao, Luozhou Wang, Yicheng Xiao, Weifeng Lin, Qixin Hu, Bryan Chu, Sifei Liu, Linxi “Jim” Fan, Xiaojuan Qi, Song Han, Yukang Chen (NVIDIA · MIT · HKU · UCSD, *equal contribution)
arXiv preprint, 2026

💡 World-action model(WAM)에 더 긴 시각 히스토리를 주면 정말 좋아지는가를 묻고, “히스토리에 접근할 수 있다”와 “히스토리를 쓸 줄 안다”는 다르다는 답을 낸다. 긴 맥락의 이득은 비디오 기반 모델을 자기회귀(AR)로 사전학습했을 때만 나타난다는 것이다.
⚙️ 행동 라벨 없는 로봇·1인칭 영상(창 환산 약 1만 시간)으로 AR 비디오 생성기 LongLive2.0-Robot을 만들고, 그 인과 구조를 그대로 둔 채 행동 expert를 붙여 “미래 latent를 일부만 denoise → 그 KV로 행동 denoise”하는 IDM 정책을 학습한다. 비동기 실행·스트리밍 VAE·NVFP4 양자화로 미래 예측을 유지한 채 RTX 5090에서 청크당 107.4 ms를 낸다.
🎯 RoboCasa GR-1에서 맥락 0 → 19.2초로 성공률 63.3 → 78.7%(양방향 사전학습 초기화는 순이득 없음), LIBERO-Long 99.5%, RoboTwin 2.0 94.4%, DOMINO 34.9%. Unitree G1 컨베이어 컵 쌓기 19/20 성공(π0.5·Fast-WAM은 0/20).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇이 움직이는 컵을 잡으려면 컵이 어디 있는지보다 어디로 가고 있는지를 알아야 한다. 이미지 한 장은 위치는 주지만 속도와 진행 상황은 주지 못한다. 그래서 비디오 예측을 제어에 끌어들인 world-action model(WAM)에게 과거 영상은 자연스러운 자원이다. 문제는 히스토리를 길게 볼수록 처리할 토큰이 늘어 행동이 늦어진다는 것이다. 이 논문은 두 질문을 묶는다. “맥락을 늘리면 WAM 제어가 얼마나 좋아지는가”, 그리고 “그 이득을 실시간 제약 아래에서 어떻게 지키는가”.

첫 질문에 대한 답이 논문의 중심 주장이다. 기존 WAM(DreamZero, LingBot-VA)은 양방향(bidirectional)으로 사전학습된 비디오 생성기를 가져다 행동 학습 단계에서 인과(causal) 구조로 바꿔 쓴다. Long-WAM은 순서를 뒤집어 먼저 AR 비디오 예측을 배우고, 그 “과거 → 미래” 구조를 깨지 않은 채 행동에 적응시킨다. 같은 인과 마스크로 적응해도, AR로 사전학습한 초기화만 맥락이 길어질수록 성공률이 오르고 양방향 초기화는 오르지 않는다. 두 번째 질문에는 시스템 공학으로 답한다. 비동기 실행, 관측을 미리 인코딩하는 스트리밍 VAE, 비디오 expert의 4비트(NVFP4) 양자화, 장치별 커널 튜닝을 쌓아 미래 예측을 빼지 않고도 RTX 5090·DGX Spark·Jetson AGX Thor에서 돌아가게 했다.

Long-WAM 개요(Fig. 1). ① AR 비디오 사전학습(로봇·1인칭 영상, 창 환산 약 1만 시간, RoVid-X가 82.7%) ② causal-to-causal 적응: 관측 히스토리의 KV 캐시와 “상상한 미래”를 행동 expert가 읽는다 ③ 맥락 스케일링: GR-1은 19.2초에서 +15.4점, LIBERO-Long은 2.4초에서 +5.0점으로 정점 ④ 비동기 실행·스트리밍 VAE·KV 재사용으로 세 종류의 엣지 장치에 배포.

핵심 방법론:

1단계는 행동 라벨 없는 AR 비디오 사전학습이다. 목표 청크 z_i에 노이즈 수준 \sigma_i로 노이즈를 섞고, 정답 과거 h_{<i}를 조건으로 속도를 예측한다(teacher forcing, Eq. 1~2):

x_i^{\sigma_i}=(1-\sigma_i)\bar z_i+\sigma_i\bar\epsilon_i,\qquad \mathcal{L}_{\mathrm{TF\text{-}AR}}=\mathbb{E}\Big[w(\sigma_i)\,\big\|v_\theta(x_i^{\sigma_i},\sigma_i\mid h_{<i},c)-(\bar\epsilon_i-z_i)\big\|_2^2\Big]

막대(bar)가 붙은 값은 버퍼에 쌓아 둔 모델 오차로 교란한 입력이고, 목표는 교란 전 원래 z_i로 둔다. 롤아웃에서 생기는 오차를 되돌리는 법을 배우게 하는 장치다(LongLive-2.0에서 가져온 error recycling).

2단계에서 결정 시점 t의 관측 latent Z_t^-, 로봇 상태 q_t, 언어 c가 주어지면, 비디오 expert \theta가 미래 latent K_v개를 노이즈 수준 \sigma_\star까지만 굴리고, 그 결과로 만든 KV 캐시 \mathcal{K}_t를 행동 expert \psi가 읽어 H스텝 행동 청크를 denoise한다(Eq. 3):

\widetilde Z_t^{+}=\mathrm{Rollout}_{\theta,\sigma_\star}(\epsilon^v\mid Z_t^-,c,q_t),\quad \mathcal{K}_t=\mathrm{Prefill}_\theta(Z_t^-,\widetilde Z_t^{+};c,q_t,\sigma_\star),\quad \widehat{\mathbf A}_t=\mathrm{Denoise}_\psi(\epsilon^a\mid\mathcal{K}_t,c,q_t)

논문은 이 “예측한 다음 행동” 모드를 IDM(inverse dynamics modeling)이라 부른다. \sigma_\star=0.9이고 미래 latent는 픽셀로 디코딩하지 않는다. 배포에서는 청크를 비동기로 갈아 끼우는데, 새 청크는 겹침 구간 O=R-S 스텝 안에 준비돼야 한다(Eq. 4, \Delta t는 제어 주기):

T_{\mathrm{ready}}\le O\,\Delta t=(R-S)\,\Delta t

주요 결과:

맥락 스케일링(Fig. 6): GR-1에서 LongLive2.0-Robot 초기화는 0초 63.3% → 19.2초 78.7%(+15.4점). 양방향(Wan2.2) 초기화는 2.4초 61.7% → 19.2초 61.6%로 순이득이 없고, 두 초기화의 격차는 맥락 0초 3.3점에서 19.2초 17.1점으로 벌어진다. 38.4초에서는 75.2%로 떨어진다.
시뮬레이션 벤치마크: LIBERO 평균 99.5%(LIBERO-Long 99.5%, Table 1), RoboTwin 2.0 평균 94.4%(Table 2), DOMINO SR 34.9% / MS 45.1(Table 3). 모두 비교 대상 중 최고.
디노이징 전략(Table 1·2): LIBERO-Long에서 IDM 99.5% vs 미래 예측 없음(w/o V) 94.5% vs 공동 디노이징(CoD) 95.8%(본문은 97.8%로 적는다. 아래 참조).
지연(Table 6·8): RTX 5090 V4/A4 기준 BF16 eager 356.0 ms → 최적화 107.4 ms(3.3×). DGX Spark 1342.8 → 328.2 ms(4.1×), Jetson AGX Thor 1215.2 → 378.7 ms(3.2×). 단 최적화 후 RoboTwin SR은 94.4 → 93.5%로 내려간다.
순수 비동기 실행(Table 7): RoboTwin에서 IDM은 동기 94.4% → 비동기 94.2%로 거의 유지하는 반면, 저자가 같은 방식으로 돌린 Fast-WAM은 15.4점, LingBot-VA는 45.5점 떨어진다.
실기(Fig. 7·8, 각 조건 20회): G1 컨베이어 컵 집기는 3.0~7.5 cm/s에서 100/100/95/90%(Fast-WAM 75→0%, π0.5 15→0%). 움직이는 컵 쌓기 19/20. YAM 장기 과제 3종 평균 81.7%.
계획기 결합(Table 5): RoboCasa365에서 같은 체크포인트에 GPT-6 Astra 계획기를 붙이면 Overall 31.4 → 54.4%, 처음 보는 조합(Composite-Unseen)은 6.1 → 35.0%.

결론:

이 논문의 진짜 기여는 “긴 맥락이 좋다”가 아니라 “긴 맥락이 좋아지려면 비디오 기반 모델이 이미 과거에서 미래를 예측하는 법을 알고 있어야 한다”는 조건부 주장이다. 같은 인과 마스크, 같은 적응 절차에서 초기화만 바꾼 비교가 그 근거다. 여기에 미래 예측을 빼지 않은 채 100 ms대로 끌어내린 배포 스택이 붙는다. 다만 맥락 스케일링 효과는 시뮬레이션 두 벤치마크에서만 측정됐고, 실기 결과는 맥락 길이를 통제한 비교가 아니다. 공개 GR-1 체크포인트로 이 곡선을 다시 잰 제3자 보고(GitHub 이슈 #113)에서는 4.8초까지는 논문과 맞고 9.6·19.2초에서 67.9·67.1%에 그쳤다. 또 GR-1 비교표의 기준선 일부는 다른 벤치마크의 값으로 보인다(아래 「실험」 절).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

기억을 더 준다고 기억을 쓰는 것은 아니다. 과거로부터 미래를 예측하는 법을 사전학습에서 이미 배운 모델만 긴 히스토리를 성공률로 바꾼다. 그리고 그 히스토리를 쓰는 비용은 시스템 쪽에서 따로 갚아야 한다.

배경: 접근(access)과 사용(use)은 다르다

로봇 정책 계열 중 비디오 예측을 제어에 결합한 것들을 논문은 world-action model(WAM)이라 부른다(Motus, DreamZero, LingBot-VA 등을 대표로 든다). 이들은 과거를 인과 캐시나 메모리로 들고 있으므로 원리적으로는 긴 히스토리를 “볼 수” 있다. 논문 §1의 문제 제기는 그 다음이다. 히스토리에 접근할 수 있다는 것과, 히스토리로부터 예측하는 법을 배웠다는 것은 다르다.

이 구분이 실제로 갈리는 지점은 비디오 기반 모델을 어떻게 사전학습했느냐다(§1·§2).

계열	비디오 사전학습	인과 구조가 생기는 시점
DreamZero, LingBot-VA	양방향 비디오 생성기	행동 적응 단계에서 처음 도입
LingBot-VA 2.0	인과 비디오 + 학습된 latent action을 함께 사전학습	사전학습
Long-WAM	행동 없는 AR 비디오 사전학습 → 같은 인과 순서로 행동 적응	비디오 사전학습

Long-WAM은 세 번째 줄의 “단계적(staged)” 경로를 택한다. 행동 라벨 없이 로봇 영상으로 과거→미래 예측을 먼저 배우게 하고, 행동 학습에서는 그 순서를 유지한다. 행동 공간이 다른 여러 로봇과 사람의 1인칭 영상을 한 사전학습에 넣을 수 있다는 실용적 이점도 따라온다(행동 좌표를 맞출 필요가 없다).

두 번째 긴장은 지연이다. 맥락이 길수록 prefill·attention·캐시 비용이 커지고(§3.3), 게다가 Long-WAM은 행동 전에 미래를 예측하는 단계를 그대로 유지한다. 같은 계열의 Fast-WAM이 “추론 때 미래 상상을 빼도 성능은 거의 같고 4배 빠르다”고 주장한 것과 정반대 선택이다. Long-WAM은 상상 경로를 지키고, 그 순차 비용을 스트리밍 인코딩과 장치별 가속으로 갚는 쪽을 택했다(§2 마지막 문단).

방법 1: LongLive2.0-Robot, 행동 없는 AR 비디오 사전학습 (§3.1, 부록 B.1)

LongLive-2.0(같은 그룹의 NVFP4 기반 장시간 AR 비디오 생성 인프라)의 16초 AR 체크포인트에서 이어 학습한다. 30초 길이까지의 로봇 영상 시퀀스를 쓰고, 긴 시퀀스를 GPU들에 나눠 싣는 sequence-parallel AR 학습을 그대로 가져온다. 학습은 block-causal attention의 teacher forcing이다. 각 노이즈 청크가 정답 과거를 조건으로 병렬 감독되고, 조건 이미지는 깨끗한 채 손실에서 빠진다.

데이터 구성(Table 9):

출처	샘플 수	비중
RoVid-X	1,898,562	82.7%
AgiBot World (full146)	69,834	3.0%
AgiBot World (5.2~32초 보충)	40,497	1.8%
EgoDex	207,044	9.0%
EgoVerse	59,742	2.6%
VITRA	19,210	0.8%
합계	2,294,889

여기서 “약 1만 시간”이라는 헤드라인의 정체를 부록이 정직하게 밝힌다. 학습 split 2,251,021 샘플에 샘플당 16초를 일괄 배정해 얻은 10,004.5시간이고, “고유 원본 영상의 측정치가 아니다”(겹치는 창·원 클립 길이·패딩이 차이를 만든다). 산술은 맞는다(2,251,021 × 16 s ≈ 10,004.5 h). 다만 Fig. 1에 큰 글씨로 박힌 “~10,000 h”가 이 회계 관례에 의존한다는 점은 기억해 둘 만하다. 사람 1인칭 영상(EgoDex·EgoVerse·VITRA)은 합쳐 12.5%다.

부록 B.2(Eq. 5)는 error recycling을 더 정확히 적는다. 문맥·latent·노이즈 각각에 버퍼에서 뽑은 모델 오차 \delta^c,\delta^z,\delta^\epsilon를 더하되, 목표 속도는 \bar\epsilon_i-z_i로 교란 전 latent를 향하게 둔다. 즉 “내가 롤아웃에서 저지를 법한 실수가 섞인 입력을 받아도 원래 궤적으로 되돌아가라”는 학습이다.

LongLive2.0-Robot의 과제 조건 비디오 예측(Fig. 9, 부록 C). 첫 프레임(빨간 테두리)과 언어 프롬프트만으로 이후 프레임을 생성한다(f는 0부터 센 프레임 번호). 논문이 고른 5개 예시이며 정량 지표는 없다.

프로젝트 페이지의 LongLive2.0-Robot 생성 영상(“Fold the clothing”, 2배속). 페이지 스스로 “실행된 롤아웃이 아니라 비디오 예측”이라고 표기한다.

부록 C는 이 예측들이 “외관 보존이 아니라 과제 지향적 연속 동작”이라고 해석하지만, 근거는 고른 정성 예시뿐이다. 사전학습된 비디오 모델의 예측 품질(FVD 등)과 하류 정책 성능의 관계는 보고되지 않는다.

방법 2: Causal-to-causal 적응과 IDM (§3.2, 부록 B.2)

비대칭 attention

Attention 패턴과 네 가지 추론 전략(Fig. 2). (a) 현재 관측만 보고 행동 (b) 히스토리를 보되 미래 예측 없이 행동 (c) 미래 비디오와 행동을 함께 denoise(CoD) (d) 미래 비디오를 먼저 예측하고 행동을 denoise(IDM). (d)에서 Video 행은 Action 열이 비어 있다(비디오는 행동을 보지 않는다). (c)에서는 미래 Video 행이 Action 열까지 읽는다.

DreamZero·LingBot-VA를 따라 비디오 expert와 행동 expert를 비대칭 인터페이스로 묶는다. 비디오 query는 자기 블록과 이전 시각 블록만 읽고 행동 토큰은 절대 읽지 않는다. (이 문장은 IDM 모드와 관측 히스토리 행에 대해서만 참이다. 공개 코드의 마스크를 덤프해 보면 CoD 모드에서는 [미래 비디오 | 행동]이 하나의 양방향 블록이라 미래 비디오 행이 행동 토큰을 읽는다(longwam_base.py:709). Fig. 2(c)의 그림과는 맞고, §3.2의 일반화된 문장과는 다르다. 히스토리 행은 두 모드 모두 인과적이다.) 행동 query는 관측 히스토리, 부분적으로 denoise된 미래, 노이즈 행동 청크 전체를 읽는다. 이렇게 하면 사전학습에서 배운 시각적 인과 의존이 깨지지 않는다. 논문이 강조하는 문장은 “과거→미래 순서는 비디오 사전학습 때 이미 학습된 것이지, 행동 적응 때 처음 들어오는 것이 아니다”이다.

2-pass 학습과 \sigma_\star=0.9

학습은 두 번의 forward로 이뤄진다.

비디오 pass: 깨끗한 히스토리를 조건으로 미래 latent에 flow matching.
행동 pass: 히스토리 + 정답 미래 latent를 \sigma_\star=0.9까지 forward-noise한 것을 조건으로 행동에 flow matching. 이때 시각 캐시는 detach되므로 행동 손실은 행동 expert와 고유수용 어댑터만 갱신한다.

전체 손실은 \mathcal{L}=\lambda_v\mathcal{L}_{\mathrm{video}}+\lambda_a\mathcal{L}_{\mathrm{action}}인데, 논문은 \lambda 값을 적지 않는다(공개 config는 둘 다 1.0이다). 부록 B.2의 마스크된 손실(Eq. 6)은 패딩된 미래 latent와 패딩된 행동 스텝을 감독에서 뺀다.

추론에서는 비디오 4스텝(V4)이 순수 노이즈에서 출발해 깨끗한 영상이 아니라 \sigma_\star=0.9에서 멈추고, 그 캐시를 행동 denoise 내내 재사용한다. 부록 B.2는 여기서 학습-추론 불일치를 스스로 인정한다. 학습 때의 미래는 “정답에 노이즈를 섞은 것”이라 정답 성분이 남아 있고, 추론 때의 미래는 모델이 노이즈에서 굴린 것이다. 저자의 표현은 “training approximation, not an assertion of identical conditioning distributions”이다.

또 하나 짚을 점은 부록 B.2의 “Cache scope”다. 최신 로봇 상태 q_t의 투영이 두 expert 모두의 조건 토큰에 붙으므로, 시각 특징이 여러 층에서 q_t에 의존한다. 그래서 한 번의 행동 solve 안에서의 KV 재사용과 결정 간 재사용은 다르다. 상태가 바뀌면 이전에 계산한 시각 KV가 무효가 될 수 있다. 실시간 시스템에서 “과거 KV를 영구 캐시로 들고 가면 된다”는 직관이 이 설계에서는 그대로 성립하지 않는다는 뜻이다.

세 가지 디노이징 모드

모드	추론 구조	논문의 역할
w/o V	히스토리 조건, 미래 예측 없이 행동만 denoise (Fig. 2(b))	상상 없는 대조군
CoD	미래 비디오와 행동을 매 스텝 양방향으로 함께 denoise (Fig. 2(c))	공동 디노이징
IDM	미래 latent를 \sigma_\star까지 예측 → 그 KV로 행동 denoise (Fig. 2(d))	제안 기본값

w/o V가 학습 때도 비디오 손실을 뺀 것인지, 추론 때만 미래를 생략한 것인지는 논문에 적혀 있지 않다. Fast-WAM이 바로 이 둘을 갈라 “학습 때 비디오 손실이 핵심, 추론 때 상상은 부차”라고 결론냈기 때문에, 이 공백은 두 논문을 나란히 읽을 때 결정적이다(아래 「직관」 절).

방법 3: 맥락 스케일링 실험 설계 (§3.3)

관측 prefix의 실제 시간 길이만 늘리고, 미래 예측 길이와 행동 horizon은 벤치마크 안에서 고정한다. 그래서 이 실험은 “더 멀리 예측하느냐”가 아니라 “같은 근미래 결정에 과거 증거가 더 도움이 되느냐”를 잰다. 세부 규칙:

맥락 길이마다 별도 모델을 학습하고, 그 모델이 학습된 길이로 평가한다.
맥락 0초는 현재 관측만 쓴다. 에피소드 초반에 부족한 과거는 첫 프레임을 반복해 채운다.
비교하는 비디오 초기화는 셋: Wan2.2(양방향), LongLive-2.0(AR), LongLive2.0-Robot(로봇 도메인 AR). 세 경우 모두 적응된 정책은 같은 인과 마스크를 쓴다. 논문은 “bidirectional은 사전학습을 가리키지, 적응된 정책의 시간 마스크가 아니다”라고 못 박는다.
GR-1에서 0~38.4초를 스윕하고 LIBERO-Long에서 보조 연구를 한다.

공개 코드의 모델 정의를 보면 세 초기화가 같은 아키텍처라는 점이 확인된다. 비디오 expert는 Wan2.2-TI2V-5B 구조(hidden 3072, 30층)를 쓰고 그 위에 LongLive 계열 가중치를 싣는다(행동 expert는 hidden 1024, 30층). 즉 AR과 양방향 비교에서 모델 크기는 같다. 다만 LongLive-2.0은 확산 비디오 모델을 장시간 AR 생성기로 추가 튜닝한 모델이므로(LongLive-2.0 초록, 그리고 같은 Wan2.2-5B 구조를 쓰는 공개 config 기준), 두 초기화는 “AR이냐”만이 아니라 “장시간 비디오로 더 학습했느냐”도 함께 다르다. 이 혼입은 논문에서 분리되지 않는다.

방법 4: 실시간 인프라 (§4)

4.1 순수 비동기 실행

결정 k에서 예측한 청크 \widehat{\mathbf A}_{t_k}\in\mathbb{R}^{H\times d} 중 앞 R스텝만 실행 후보이고, 추론은 명목 보폭 S(R/2\le S<R\le H)로 촉발돼 O=R-S스텝이 겹친다. 교체 시점에 컨트롤러는 이미 지나간 앞부분을 버리고 새 청크의 정렬된 뒷부분을 실행하며, 새 청크가 늦으면 기다린다.

비동기 실행은 청크 경계에서 행동이 튀는 문제가 있어 보통 추론 시 guidance(real-time chunking 류)나 학습 시 행동 조건화로 막는다. 논문은 둘 다 쓰지 않는다. 연속적인 LongLive2.0-Robot 예측에 조건을 거니 연속된 청크가 겹침 구간에서 자연히 일치하더라는 것이다(아래 Table 7).

스트리밍 VAE와 비동기 실행(Fig. 3). 위: 관측 청크가 도착하는 대로 인코딩해 마감 T_{\mathrm{ready}}\le O\Delta t를 맞춘다. 아래: 촉발 후 전체 창을 인코딩하면 교체가 늦어지고(WAIT), 다음 촉발도 밀려 로봇 유휴 시간이 쌓인다.

스트리밍 VAE가 필요한 이유는 Eq. 4다. 부록 E에 따르면 겹침을 12 → 8스텝으로 줄이면 겹침 RMSE가 약 4배(0.0246 → 0.0063), jerk가 약 3배(0.0436 → 0.0156) 줄어든다. 그런데 R이 고정이면 겹침을 줄일수록 촉발이 늦어지고 마감이 빡빡해진다. 그래서 들어오는 프레임 묶음을 미리 인코딩해 두고, 촉발 후에는 남은 프레임만 인코딩한다.

4.2 엣지 가속

엣지 배포 최적화(Fig. 4). 왼쪽은 공통 최적화(비디오 NVFP4·행동/KV는 BF16, torch.compile + CUDA Graph, 디노이징 불변 재사용, 공유 입력 양자화, 비디오-행동 online softmax). 오른쪽은 장치별 튜닝(SM 수·공유 메모리 크기에 맞춘 타일·CTA 배치, attention/VAE 백엔드 선택).

공통 최적화의 요점:

비디오 expert만 W4A4 NVFP4(생성과 KV prefill). 행동 연산과 KV 저장은 BF16으로 남긴다. 행동 양자화는 지연 이득이 작고 제어 정밀도를 해칠 수 있다는 이유다.
NVFP4는 작은 양자화·스케일 커널을 추가해 launch 오버헤드가 연산 절감을 상쇄할 수 있다. 그래서 CUDA Graph 재생·컴파일과 묶어야 이득이 난다(아래 프로젝트 페이지 수치가 이를 보여 준다).
호출 안에서 변하지 않는 text/state KV, 관측 비디오 KV, FP32 RoPE 표를 재사용한다.
Q/K/V projection의 공유 입력을 한 번만 양자화해 세 GEMM에 재사용한다.
비디오 KV와 행동 KV를 이어 붙이지 않고 online softmax로 합친다. 각 구간 j\in\{v,a\}의 최대 logit m_j, 지수합 \ell_j, 값 가중합 u_j로

m=\max(m_v,m_a),\qquad \mathrm{Attn}=\frac{e^{m_v-m}u_v+e^{m_a-m}u_a}{e^{m_v-m}\ell_v+e^{m_a-m}\ell_a}

을 계산하면 연결된 KV 버퍼 없이도 joint attention과 같은 결과가 나온다(논문이 인용하는 online normalizer 계산, Milakov & Gimelshein 2018의 구간 합치기와 같은 형태다).

장치별 튜닝은 SM 170개·공유 메모리 100 KiB인 RTX 5090, SM 48개인 DGX Spark, SM 20개·블록당 228 KiB인 Thor에 맞춰 타일·warp·파이프라인 단계·버퍼를 고른다(Fig. 4 수치). 저자는 이것이 “장치 전용 알고리즘이 아니라 하드웨어 제약의 반영”이라고 적는다.

직관: 왜 AR 사전학습만 긴 기억을 성공률로 바꾸는가

논문의 설명(§5.3)은 한 문장이다. AR 사전학습은 WAM 적응이 유지하는 인과적 시간 분해를 이미 배웠기 때문에, 추가 관측이 예측 표현을 거쳐 제어에 반영된다. 저자는 이를 “A plausible explanation”이라고 표현한다. 검증된 메커니즘이 아니라 가설이라는 뜻이다.

이를 풀어 보면 이렇다. 양방향 생성기는 클립 전체를 한꺼번에 보며 “그럴듯한 영상 전체”를 맞추도록 배웠다. 행동 적응 단계에서 인과 마스크를 씌우면 과거만 보게 되지만, 그 과거로부터 다음을 외삽하는 능력은 행동 데이터만으로 새로 배워야 한다. 로봇 행동 데이터는 비디오 사전학습 데이터보다 훨씬 작으므로, 맥락을 늘려도 그 정보를 미래 예측으로 바꿔 줄 회로가 부족하다. 반면 AR 생성기는 수백만 개 클립에서 “앞부분이 주어지면 뒷부분을 맞추는” 일을 이미 했다. 맥락이 길어지면 그 회로가 쓸 증거가 늘어날 뿐이다. 이 해석은 GR-1에서 양방향 초기화가 2.4초 61.7% → 9.6초 64.1% → 19.2초 61.6%로 평평한 반면 두 AR 초기화는 같은 구간에서 12.4점·11.0점 오르는 패턴과 맞는다.

⚠️ 아래 두 문단은 필자의 해석이다. 논문은 \sigma_\star의 의미를 이 방향으로 논의하지 않는다.

흥미로운 지점은 IDM의 “상상”이 얼마나 얕은가다. 추론은 순수 노이즈(\sigma=1)에서 4스텝을 돌아 \sigma_\star=0.9에서 멈춘다. 학습 때 행동이 보는 미래도 0.1\,z+0.9\,\epsilon꼴로 노이즈가 90%다. 그러니 행동 expert가 받는 것은 “미래 영상”이라기보다 미래 위치의 query로 비디오 expert를 몇 번 더 돌린 내부 활성(KV)에 가깝다. 이 KV가 비디오 expert의 “다음에 무슨 일이 일어날지”에 대한 추정을 담고 있다면, IDM의 이득은 픽셀 수준 상상이 아니라 예측 회로를 행동 조건에 한 번 더 통과시키는 것에서 온다고 볼 수 있다.

논문 밖에서 나온 두 정보가 이 해석과 맞는 방향이다. 저자는 GitHub 이슈 #110(2026-10-13)에서 \sigma_\star=0.9를 고른 이유를 “미래 분기는 깨끗한 영상이 아니라 장면이 어떻게 바뀔지를 가리키면 충분하고, 높은 노이즈가 불필요한 시각 디테일과 비디오 예측 오차에 대한 민감도를 줄인다”고 설명하며, 이 값은 철저한 탐색이 아니라 “실용적 설계점”이라고 답했다. 같은 이슈에서 한 사용자는 공개 RoboTwin IDM 체크포인트로 비디오 스텝을 4 → 1(1.0에서 0.9로 한 번에)로 줄여도 100회 중 90·91회(V4 두 번) 대 92회(V1)로 차이가 없었다고 보고했다. 셀당 1회짜리 거친 비교라는 단서는 보고자 스스로 달았다. 둘 다 “상상”이 깊은 생성이 아니라 얕은 조건 신호라는 쪽을 가리킨다.

이렇게 보면 Fast-WAM과의 긴장도 일부 풀린다. Fast-WAM은 히스토리 없이 첫 프레임 하나만 보는 설정에서 “추론 때 상상을 빼도 1%p 안쪽”이라 했고, Long-WAM은 히스토리가 있는 설정에서 IDM이 w/o V보다 LIBERO-Long 5.0점, RoboTwin 2.4점 높다고 한다. 두 결과는 모순이라기보다 히스토리가 있을 때 예측 회로를 거치는 것의 값어치가 커진다는 쪽으로 읽힐 수 있다. 다만 앞서 적었듯 Long-WAM의 w/o V가 비디오 손실까지 뺀 것인지가 불명확해서, 이 해석을 확정할 수는 없다.

실험 1: 시뮬레이션 벤치마크 (§5.1~5.2)

평가 환경(Fig. 5). 시뮬레이션 4종(LIBERO 단일 팔, RoboTwin 2.0 양팔, DOMINO 동적 물체, RoboCasa 가정/GR-1)과 실기 8개 설정(G1 컨베이어 컵 집기 4속도, 움직이는 컵 쌓기, YAM 그릇 쌓기·색 분류·만두 옮기기).

학습 자원(§5.1): LongLive2.0-Robot 사전학습은 H100 64장에서 약 30,720 GPU-시간(산술상 약 20일), 하류 WAM은 GB200 16장. AdamW, peak lr 10^{-4}, cosine decay, 5% warmup, BF16, gradient clipping 1.0. 주 결과는 LIBERO·RoboTwin·DOMINO에서 최대 2.4초 맥락을 쓴다. 시뮬레이션 평가의 에피소드 수·시드 수는 논문 어디에도 없다(공개 README는 벤치마크별 기본 프로토콜을 적어 둔다. 아래 「수치 대조」 절).

LIBERO (Table 1)

방법	Spatial	Object	Goal	Long	Avg.
OpenVLA-OFT	97.6	98.4	97.9	94.5	97.1
\pi_{0.5}	98.8	98.2	98.0	92.4	96.9
X-VLA	98.2	98.6	97.8	97.6	98.1
LingBot-VA	98.5	99.6	97.2	98.5	98.5
Motus	96.8	99.8	96.6	97.6	97.7
Fast-WAM	98.2	100.0	97.0	95.2	97.6
Long-WAM (w/o V)	98.0	99.5	97.0	94.5	97.3
Long-WAM (CoD)	98.6	99.8	96.8	95.8	97.8
Long-WAM (IDM)	99.5	100.0	98.0	99.5	99.5

(OpenVLA·GR00T-N1·π0·UniVLA 행은 생략.) LIBERO-Long에서 LingBot-VA보다 1.0점, Fast-WAM보다 4.3점 높다. 기준선 수치는 이 블로그의 원논문 리뷰들과 일치한다(OpenVLA-OFT의 97.6/98.4/97.9/94.5/97.1, Fast-WAM의 98.2/100.0/97.0/95.2/97.6).

두 가지를 검산했다. 첫째, IDM 행의 평균이 맞지 않는다. 네 suite의 산술평균은 (99.5+100.0+98.0+99.5)/4 = 99.25인데 표는 99.5다. 다른 12개 행은 반올림 범위 안에서 모두 맞는다. 순위는 바뀌지 않지만(차순위 LingBot-VA 98.5), 프로젝트 페이지 헤드라인의 “LIBERO 99.5%”는 이 칸을 그대로 옮긴 것이다. 둘째, LIBERO-Long 94.5라는 같은 값이 서로 다른 두 실험에 나온다. Table 1의 w/o V(히스토리 2.4초, 미래 예측 없음)와 Fig. 6의 맥락 0초 IDM(히스토리 없음, 미래 예측 있음)이 둘 다 94.5이고, 그래서 §5.3의 “IDM 99.5 vs w/o V 94.5”와 §5.3 맥락 절의 “0초 94.5 → 2.4초 99.5”가 정확히 같은 수치 쌍이 된다. 우연일 수 있으나 논문은 이 일치를 설명하지 않는다.

RoboTwin 2.0 (Table 2)

방법	Clean	Rand.	Avg.
\pi_{0.5}	82.7	76.8	79.8
Motus	88.7	87.0	87.8
LingBot-VA	92.9	91.5	92.2
LingBot-VA 2.0	93.8	93.4	93.6
Fast-WAM	91.9	91.8	91.8
AHA-WAM	93.4	92.2	92.8
ABot-M0.5	94.0	94.2	94.1
Qwen-RobotManip	93.7	94.0	93.9
Long-WAM (w/o V)	92.4	91.6	92.0
Long-WAM (CoD)	94.0	93.1	93.6
Long-WAM (IDM)	94.7	94.2	94.4

(RoboTwin 2.0 벤치마크 자체는 별도 리뷰에 정리했다.) 1위지만 ABot-M0.5와 0.3점, Qwen-RobotManip과 0.5점 차다. 공개 README의 기본 프로토콜(50태스크 × clean/randomized × 100회 = 10,000회)을 가정하면 0.3점 차의 표준오차는 약 0.34점이라 통계적으로 구별되지 않는다. 그리고 뒤의 Table 6에서 보듯 107.4 ms로 최적화한 설정의 SR은 93.5%라서, 배포 설정만 놓고 보면 ABot-M0.5(94.1)·Qwen-RobotManip(93.9) 아래로 내려간다. 학습 데이터도 논문에 없는데, 저자는 GitHub 이슈 #111(2026-10-13)에서 94.4%가 Fast-WAM 프로토콜(clean 2,500 + randomized 25,000 시연)로 학습한 결과이며 공식 리더보드의 clean-only 학습 프로토콜과는 직접 비교할 수 없고 clean-only 결과는 없다고 답했다.

DOMINO (Table 3)

움직이는 물체가 있는 벤치마크로, 동적 데이터로 파인튜닝한 뒤 평가한다. Long-WAM SR 34.9% / MS 45.1로, SR은 Fast-WAM(19.9)보다 15.0점, MS는 PUMA(35.0)보다 10.1점 높다. 논문은 “최근 관측이 이미지 한 장으로는 줄 수 없는 운동 단서를 준다”고 해석하지만, DOMINO에서 맥락 길이를 바꾼 절제 실험은 없다. 그 해석은 GR-1·LIBERO의 맥락 실험에서 빌려 온 것이다.

RoboCasa GR-1 (Table 4)와 기준선 출처 문제

방법	SR
\pi_0	62.5
Diffusion Policy	32.7
Fast-WAM	47.5
GR00T-N1.5	64.1
DreamZero	62.4
Cosmos Policy	67.1
Long-WAM (2.4 s)	63.3
Long-WAM (19.2 s)	78.7

논문은 “78.7%가 가장 강한 GR-1 기준선(Cosmos Policy 67.1)을 11.6점 넘는다”고 쓴다. 이 표에는 두 가지 문제가 있다.

“Long-WAM (2.4 s) 63.3”은 본문·그림과 어긋난다. Fig. 6과 §5.3 본문에서 63.3은 맥락 0초의 값이고 2.4초는 66.3이다. 프로젝트 페이지의 같은 표는 이 칸을 66.3으로 적는다. 라벨이 틀렸거나 값이 틀렸다.
기준선 세 개가 다른 벤치마크의 수치로 보인다. \pi_0 62.5, GR00T-N1.5 64.1, Cosmos Policy 67.1은 Cosmos Policy 논문 Table 2의 값과 소수점까지 같다. 그런데 그 표는 Cosmos Policy 논문 원문 기준 “단일 Franka Panda 팔의 RoboCasa 정적 주방 24태스크”(태스크당 데모 50~300개, 3,600회 평가)의 결과다. Long-WAM의 GR-1 평가는 논문 인용(GR00T Teleop Sim GR1 Tabletop 데이터셋)과 공개 레포 기준 GR-1 휴머노이드 tabletop 24태스크, 데모 24,000개(태스크당 1,000개)다. 로봇·태스크·데이터 규모가 모두 다르다. 저자가 세 방법을 GR-1에서 다시 돌려 우연히 같은 값을 얻었을 가능성을 배제할 수는 없지만, 세 값이 모두 일치할 가능성은 낮다. 논문 부록 D는 RoboCasa365 기준선의 출처(리더보드)는 밝히지만 GR-1 기준선의 출처는 적지 않는다. 이 표가 다른 벤치마크의 값을 섞은 것이라면 “+11.6점” 비교는 성립하지 않는다. 그렇다 해도 논문의 중심 주장(같은 GR-1 설정 안에서 초기화별 맥락 스케일링 차이)은 이 표와 무관하게 Fig. 6으로 서 있다.

실험 2: 맥락 스케일링과 AR vs 양방향 (§5.3, 부록 G)

세 비디오 초기화의 맥락 스케일링(Fig. 6). (a) LIBERO-Long: 2.4초에서 99.5%로 포화. (b) RoboCasa GR-1: 두 AR 초기화는 19.2초까지 오르고 38.4초에서 내려간다. 양방향(Wan2.2) 초기화는 60~64%에서 평평하다. x축은 등간격으로 그렸다(실제 시간 간격이 아니다).

그림의 점 값과 부록 G의 지연을 한 표로 모은다. 굵은 값은 논문 본문에 숫자로 나오는 값이고, 나머지는 프로젝트 페이지 data.js(그림의 원자료라고 표기)에서 옮겼다.

맥락	GR-1: Robot	GR-1: LongLive2.0	GR-1: Wan2.2(양방향)	LIBERO-Long: Robot	LIBERO-Long: Wan2.2	RTX 5090 지연
0 s	63.3	62.4	60.0	94.5	93.4	74.6 ms
2.4 s	66.3	65.7	61.7	99.5	96.5	107.4 ms
4.8 s	71.2	66.9	62.4	99.0	97.1	138.3 ms
9.6 s	74.5	69.8	64.1	99.0	96.2	204.5 ms
19.2 s	78.7	76.7	61.6	–	–	341.0 ms
38.4 s	75.2	74.2	61.6	–	–	미보고

(GR-1 Wan2.2의 0초 60.0은 본문의 “3.3점 격차”에서 역산해도 같다: 63.3 − 3.3.)

표에서 읽히는 것:

GR-1에서 AR의 이점은 맥락과 함께 커진다. Robot과 양방향의 격차는 0초 3.3점 → 19.2초 17.1점. 이것이 논문의 중심 증거다.
LIBERO-Long에서는 양방향도 맥락으로 이득을 본다. 0 → 2.4초에 Wan2.2도 93.4 → 96.5(+3.1점)로 오른다. AR 쪽이 +5.0점으로 더 크지만, “양방향은 히스토리를 못 쓴다”는 주장은 GR-1에서만 깔끔하게 성립한다. 초록도 “no net gain”을 GR-1에 한정해 쓴다.
로봇 도메인 사전학습의 추가 이득은 작다. 정점에서 Robot vs 일반 LongLive-2.0은 GR-1 78.7 vs 76.7(2.0점), LIBERO-Long 99.5 vs 99.0(0.5점). 논문은 “robot-domain pretraining further raises peak success”라 쓰지만, 차이의 대부분은 “AR이냐”에서 나온다. 중간 맥락(4.8·9.6초)에서는 Robot이 4~5점 앞선다.
38.4초의 하락: 이 창은 평균 학습 궤적 길이(12.1초)의 세 배이고, 샘플링된 히스토리 프레임의 80.4%가 패딩이다. 저자는 “고유한 기억 한계가 아니라 히스토리 커버리지 부족”이라는 가설로 적는다.
맥락의 값: 히스토리 8배(2.4 → 19.2초)가 지연 3.2배(107.4 → 341.0 ms)를 부른다. 성공률 +12.4점의 값을 이 지연으로 치를지는 과제 동역학에 달렸다.

이 차이들은 통계적으로 얼마나 단단한가. 논문은 GR-1의 에피소드 수를 적지 않는다. 공개 README의 기본 프로토콜(24태스크 × 10회 = 240회)을 가정해 이항 표준오차로 계산하면(필자 계산):

비교	차이	차이의 표준오차	z
Robot 19.2 s vs Wan2.2 19.2 s	17.1점	4.1점	4.2
Robot 0 s → 19.2 s	15.4점	4.1점	3.8
Robot vs LongLive2.0 (19.2 s)	2.0점	3.8점	0.5
Robot 19.2 s → 38.4 s 하락	3.5점	3.8점	0.9
Wan2.2 2.4 s → 9.6 s 상승	2.4점	4.4점	0.5

중심 주장(AR vs 양방향, 맥락 스케일링 자체)은 이 가정 아래에서 논문 수치만 놓고 보면 충분히 크다. 반면 “로봇 도메인 사전학습의 추가 이득”, “38.4초 하락”, “양방향이 9.6초까지 오르다 내려온다”는 단일 실행·240회 규모에서는 잡음과 구별되지 않는다. 맥락마다 모델을 한 번씩 학습했으므로 학습 시드 분산도 들어가 있지 않다.

제3자 재측정: 9.6초 이후가 재현되지 않았다는 보고. GitHub 이슈 #113(2026-10-18, 사용자 jcjackch, 2026-10-19 기준 메인테이너 답변 없음)은 공개된 GR-1 체크포인트 5개를 각자의 config.yaml·통계·expected_history로, README 명령 그대로(24태스크 × 10회, 단일 H200/B200) 다시 평가한 결과를 올렸다. 이 리뷰가 확인한 것이 아니라 제3자 보고다.

맥락	논문 (Fig. 6, 점 값은 프로젝트 페이지 원자료)	이슈 #113 재측정
0 s	63.3	64.2
2.4 s	66.3	71.2
4.8 s	71.2	73.8
9.6 s	74.5	67.9
19.2 s	78.7	67.1

0~4.8초는 논문과 같거나 더 높고, 9.6·19.2초는 크게 낮다. 19.2초 차이 11.6점은 240회 기준 약 4 표준오차다(보고자 계산과 이 리뷰의 계산이 같다). 이 재측정이 맞다면 공개 체크포인트로 본 Robot 곡선은 4.8초에서 정점을 찍고 내려오며, “19.2초까지 계속 오른다”는 논문의 그림은 공개 산출물로는 아직 확인되지 않는다. 다만 원인은 열려 있다. 공개 체크포인트가 Fig. 6의 그 모델인지, 논문의 평가 프로토콜(에피소드 수·시드·반복 횟수)이 README 기본값과 같은지를 보고자가 묻고 있고 아직 답이 없다. 두 경우 모두 AR vs 양방향 비교(양방향 곡선은 공개되지 않았다)를 직접 반박하지는 않지만, 그 비교의 크기가 19.2초의 78.7%에 기대고 있다는 점에서 중심 주장의 근거도 약해진다.

디노이징 전략 비교와 초기화 혼입

§5.3은 IDM이 LIBERO-Long에서 99.5%로 w/o V(94.5)와 CoD를 앞서는 것을 “상호작용이 어떻게 전개될지 먼저 추정하는 것이 여러 하위 단계의 행동 조율에 유용한 조건”이라고 해석한다. 두 가지를 덧붙여야 한다.

CoD의 LIBERO-Long 값이 논문 안에서 둘이다. Table 1은 95.8(평균 97.8)인데 §5.3 본문은 “97.8% (CoD)”라고 적는다. 프로젝트 페이지 표는 Long 97.8, 평균 98.3이다(98.3은 97.8을 넣고 계산한 평균과 맞는다). Table 1 행은 그 자체로는 산술이 맞으므로 어느 판본이 옳은지 판단할 수 없다. 어느 쪽이든 IDM 99.5가 가장 높다는 결론은 같다.
RoboTwin의 IDM과 CoD는 다른 비디오 초기화에서 학습됐을 수 있다. 레포 커밋 9d17d50(2026-10-13)의 docs/TRAINING.md에는 “공개된 RoboTwin 가중치의 기록된 초기화” 표가 있었다. 그에 따르면 공개 IDM 가중치는 로봇 도메인 AR 중간 체크포인트에서, CoD 가중치는 로봇 데이터 사전학습이 없는 일반 LongLive-2.0 AR 체크포인트에서 출발했고, 둘 다 해시가 “원래 산출물과 일치한다”. 이 29줄짜리 절(“Released RoboTwin weights versus the current recipe”)은 3분 뒤 커밋 c6a27e7(“Keep training documentation focused on configuration and usage”)에서 빠졌다. TRAINING.md 파일 자체는 남아 있고 그 절만 지워졌다. 같은 절은 두 가중치 모두 ActionDiT를 무작위 초기화했다고 적었다. 저자 답변은 이와 어긋난다. 이슈 #111(2026-10-13)에서 저자는 처음엔 “LongLive2.0-Robot 비디오 expert와 mapped ActionDiT backbone”을 썼다고 답했고, 재질문에는 “Just use LongLive2.0-Robot-S and randomly initialized ActionDiT”라고 답했다. 마지막 답은 지금의 학습 레시피를 가리키는 것으로 읽을 수 있어 지워진 절(공개 가중치의 이력)과 반드시 모순되지는 않는다. 다만 공개 RoboTwin 가중치가 정확히 무엇에서 출발했는지에 대해 저자 측 진술이 세 가지로 갈린 상태다. 공개 가중치가 논문 Table 2의 그 모델이라면, RoboTwin의 IDM(94.4) vs CoD(93.6) 차이 0.8점에는 디노이징 전략과 로봇 도메인 사전학습 여부가 함께 들어 있다. 맥락 실험에서 로봇 도메인 사전학습의 효과가 0.5~2점 수준이었다는 점을 생각하면 무시할 수 없는 혼입이다. 논문 본문은 초기화가 달랐다는 언급이 없다.

실험 3: 실행기로서의 Long-WAM, RoboCasa365 계층형 계획 (§6, Table 5)

RoboCasa365의 50태스크(Atomic-Seen 18 / Composite-Seen 16 / Composite-Unseen 16)에서, Human300 데이터로 학습한 2.4초 맥락 체크포인트에 추가 정책 학습 없이 상위 계획기 GPT-6 Astra를 붙인다. 계획기는 목표를 원자 하위 지시로 쪼개고, 실행할 prefix 길이를 고르고, 제한된 말단장치 보정을 낼 수 있다.

방법	Atomic-Seen	Composite-Seen	Composite-Unseen	Overall
GR00T N1.5	50.7	14.8	2.7	23.9
WorldDreamer	66.3	26.7	9.0	35.3
RLDX-1	67.6	27.9	8.5	36.0
PRTS	66.3	30.3	18.8	39.6
Qwen-RobotManip	68.6	20.1	14.9	35.9
ABot-M0.5	75.6	37.7	3.3	40.3
GPT-6 Astra (단독)	31.5	22.4	20.8	25.2
\pi_{0.5}	39.6	7.1	1.2	16.9
\pi_{0.5} + GPT-6 Astra	46.5	24.0	19.0	30.5
Long-WAM	67.9	15.8	6.1	31.4
Long-WAM + GPT-6 Astra	85.6	38.8	35.0	54.4

(Diffusion Policy·Azero-Robotics-1·π0·GigaWorld-Policy·GR00T N1.6 행은 생략.) Overall이 세 분할의 태스크 수 가중평균(18:16:16)이라는 것은 전 행을 재계산해 확인했다(16행 모두 ±0.05 안에서 일치).

읽을 거리가 세 가지 있다.

Long-WAM 단독은 리더보드 1위가 아니다. Overall 31.4%는 ABot-M0.5(40.3), PRTS(39.6), RLDX-1(36.0), Qwen-RobotManip(35.9), WorldDreamer(35.3)보다 낮다. 54.4%는 계획기를 붙인 결과이고, 계획기를 붙여 비교한 기준선은 \pi_{0.5} 하나뿐이다. “강한 실행기가 계획의 이득을 키운다”(+23.0 vs +13.6점)는 주장은 이 두 점에 기대고 있다.
Atomic의 이득 대부분은 계획이 아니라 “더 자주 다시 묻기”에서 온다. 논문 스스로 같은 정책을 15스텝마다 질의하면 계획기 없이 Atomic-Seen 84.4%가 나와 계층형의 85.6%에 거의 닿는다고 적는다. 반대로 Composite 분할에서는 15스텝 제어가 11.2%·5.0%에 그쳐, 조합 과제의 이득은 실행 간격만으로 설명되지 않는다. 이 대조 실험은 정직하고 유용하다.
GPT-6 Astra가 무엇인지 논문에 설명이 없다. 모델의 정체·버전·호출 비용·프롬프트가 본문과 부록 어디에도 없다. 공개 레포의 에이전트 런타임은 Codex 모델 ID 기본값으로 gpt-6-astra(effort xhigh)를 두고 있고, 이 실험의 평가 프로토콜을 “50태스크 × 5회”로 적는다(표준 리더보드 평가는 50 × 50회). 계획기 행들이 어느 프로토콜로 평가됐는지 논문은 밝히지 않는다.

RoboCasa365 복합 과제(프로젝트 페이지, 4배속). 왼쪽 Long-WAM 단독, 오른쪽 GPT-6 Astra + Long-WAM. 두 쪽 모두 같은 체크포인트이고 SUCCESS/FAILED 배지는 원 녹화에서 온 것이라고 페이지가 밝힌다.

실험 4: 실기 배포 (§6.1, 부록 H)

Unitree G1: 움직이는 물체

Unitree G1 동적 조작(Fig. 7). 위: 컵 쌓기(3 cm/s)와 컨베이어 속도별 컵 집기의 성공 횟수(정책별 20회, 사람 원격조작은 별도 시행 수). 아래: Long-WAM 성공과 Fast-WAM 실패 롤아웃(빨간 원이 놓친 지점).

조건	\pi_{0.5}	Fast-WAM	Long-WAM	사람(원격조작)
컵 집기 3.0 cm/s	3/20	15/20	20/20	50/52
컵 집기 4.5 cm/s	0/20	6/20	20/20	50/53
컵 집기 6.0 cm/s	0/20	0/20	19/20	50/52
컵 집기 7.5 cm/s	0/20	0/20	18/20	50/58
움직이는 컵 쌓기 3 cm/s	0/20	0/20	19/20	50/54

(시행 수는 Fig. 7의 막대 라벨에서 읽었다.) 19/20 대 0/20의 피셔 정확검정 p는 약 3\times10^{-10}이라 20회 규모로도 차이는 확실하다. 그림에는 본문이 언급하지 않는 사람 원격조작 기준선도 있다. 7.5 cm/s에서 사람은 50/58(86%), 컵 쌓기에서 50/54(93%)로, 이 두 조건에서는 Long-WAM 점추정치가 사람보다 높다. 사람 시행은 “50회 성공까지” 방식으로 보이며 프로토콜이 논문에 적혀 있지 않으므로 직접 비교는 조심해야 한다.

Long-WAM 움직이는 컵 쌓기(3 cm/s, 1배속). 파란 컵을 잡고, 흘러오는 초록 컵을 가로채 넣는다.

Long-WAM 컵 집기, 3.0/4.5/6.0/7.5 cm/s(1배속).

같은 컵 쌓기 과제의 기준선(프로젝트 페이지 배치 기준 왼쪽 π0.5, 오른쪽 Fast-WAM, 1배속). 둘 다 파란 컵은 잡지만 움직이는 초록 컵을 놓친다.

부록의 컵 쌓기 롤아웃(Fig. 11·12). 왼쪽 Fast-WAM은 파란 컵을 잡은 뒤 초록 컵 쪽으로 손을 뻗지만 놓친다. 오른쪽 Long-WAM은 가로채기 → 정렬 → 삽입까지 간다. 각 블록은 전경 1장 + 손목 카메라 2장이다.

이 결과는 인상적이지만 무엇이 차이를 만들었는지는 분리되지 않는다. Fast-WAM과 \pi_{0.5}는 기본 설정에서 현재 프레임 하나로 행동을 낸다. 움직이는 물체의 속도는 한 장의 이미지에 들어 있지 않으므로, 단일 프레임 정책이 컨베이어에서 무너지는 것은 구조적으로 예상되는 결과다. 히스토리, AR 사전학습, 지연(아래 표에서 244 ms vs 107 ms), 비동기 실행 중 어느 것이 결정적이었는지 가리려면 Long-WAM 자신의 맥락 0초 변형이나 동기 실행 변형의 성공률이 필요한데, 실기에서는 보고되지 않는다. 프로젝트 페이지의 동기/비동기 비교 영상도 성공률 없이 정성적으로만 제시된다.

동기(위) vs 비동기(아래) 실행, 컨베이어 4속도(프로젝트 페이지, 1배속). 비동기에서는 다음 청크를 계산하는 동안에도 로봇이 계속 움직인다. 이 클립에서는 동기 실행도 컵을 잡는다. 실기 동기/비동기 성공률은 논문에 없다.

기준선의 실기 학습 조건(시연 수, 파인튜닝 방식, 같은 데이터인지)과 실기에서 모델을 돌린 장치, 실기 제어 주기도 논문에 적혀 있지 않다. Spark·Thor에서의 실기 성공률도 없다. “세 장치에서 배포 가능”은 지연 측정에 근거한 주장이다.

YAM: 장기 과제

YAM 장기 과제(Fig. 8, 과제당 20회). 색으로 벽돌 분류 16/20, 만두를 팬에 담기 16/20, 그릇 쌓기 17/20.

YAM 장기 과제 롤아웃(프로젝트 페이지, 2배속). 왼쪽 그릇 쌓기(85%), 오른쪽 색으로 벽돌 분류(80%).

평균 40초가 넘는 과제에서 81.7%다. 다만 YAM에는 기준선이 하나도 없고, 맥락 길이 변형도 없다. 16/20의 95% 신뢰구간(Wilson)은 약 58~92%로 넓다. 이 실험은 “장기 실행이 된다”는 시연이지 “긴 맥락 덕분에 장기 실행이 된다”는 증거는 아니다. 저자도 부록 A에서 실기 맥락 길이 연구를 “자연스러운 다음 단계”로 남긴다.

실험 5: 효율 (§6.2, 부록 E·F·G)

지연과 성공률 (Table 6)

방법	지연 (ms)	RoboTwin SR (%)
LingBot-VA	3618.4	92.2
Motus	1201.1	87.8
Cosmos Policy	470.6	–
Fast-WAM	244.1	91.8
Long-WAM, BF16 eager (V4/A4)	356.0	94.4
Long-WAM, 최적화 (V4/A4)	107.4	93.5
Long-WAM, 최적화 (V2/A2)	81.8	92.5

모든 수치는 RTX 5090. 최적화가 SR을 0.9점 깎는다(94.4 → 93.5)는 것을 논문은 “largely preserving SR”로 적는다. V2/A2는 SR 1.0점을 더 내주고 지연을 24% 줄인다(81.8 ms). 기준선은 “각자의 기본 배포 설정과 디노이징 예산”으로 측정했다고 밝힌다.

두 가지 주의점이 있다.

“Fast-WAM보다 2.3배 빠르다”는 Fast-WAM을 어떻게 돌렸느냐에 크게 의존한다. 이 블로그의 Fast-WAM 재현(RTX 5090, 공개 체크포인트, LIBERO 설정, 10스텝)에서 Fast-WAM은 eager 약 283 ms, 공개 기본값인 torch.compile 적용 시 73.1 ms였다(Fast-WAM 리뷰의 지연 절). 벤치마크·입력 크기가 달라 직접 비교는 아니지만, Long-WAM 논문의 244.1 ms는 컴파일 여부가 적혀 있지 않고, 컴파일된 Fast-WAM이라면 순위가 뒤집힐 수도 있는 범위다. 한편 Long-WAM 자신은 컴파일·CUDA Graph·NVFP4를 모두 켠 값이다.
헤드라인 쌍 “94.4% + 107.4 ms”는 같은 설정이 아니다. 94.4%는 BF16 eager(356 ms)의 SR이고, 107.4 ms 설정의 SR은 93.5%다. 또 공개 RoboTwin 체크포인트 카드는 추론을 “비디오 4스텝 + 행동 10스텝”으로 적는다. Table 2의 94.4%가 A10 설정이고 Table 6의 “BF16 eager V4/A4 = 94.4”가 별도 평가인지, 같은 값을 옮긴 것인지는 논문에서 확인되지 않는다.

순수 비동기 실행 (Table 7, 부록 E)

방법	동기 SR	비동기 SR	겹침 RMSE	Jerk
Fast-WAM	91.8	76.4	0.0731	0.1316
LingBot-VA	92.2	46.7	0.1432	0.6592
Long-WAM (CoD)	93.6	93.2	0.0260	0.0479
Long-WAM (IDM)	94.4	94.2	0.0246	0.0436

S=12, R=24에서, guidance나 블렌딩 없이 그냥 갈아 끼운 결과다. Long-WAM의 RMSE·jerk는 Fast-WAM의 약 1/3이다(0.0246/0.0731 = 0.34, 0.0436/0.1316 = 0.33). 비동기 결과는 기준선까지 전부 저자의 평가이고, 기준선들이 원래 이런 순수 비동기 교체를 상정하고 설계됐는지는 별개 문제다. RTC 같은 연속성 장치를 기준선에 붙였을 때의 비교는 없다.

부록 E(Table 10)는 겹침 길이를 바꾼 결과다.

S	겹침 O	SR (%)	RMSE	Jerk
12	12	94.2	0.0246	0.0436
16	8	95.0	0.0063	0.0156
20	4	94.3	0.0058	0.0143

매끄러움은 겹침이 짧을수록 단조롭게 좋아지지만 성공률은 S=16에서 정점이다. 저자의 해석이 좋다. S를 키우면 결정 주기 S\Delta t가 길어져 피드백이 느려지므로, “불연속을 최소화하는 것이 과제 성공을 최대화하지는 않는다”. 다만 95.0 vs 94.2·94.3의 차이는 0.7~0.8점이라 RoboTwin 규모에서도 경계선에 있다.

누적 가속 (Table 8)

단계	RTX 5090	DGX Spark	Jetson AGX Thor
BF16 eager	356.0 ms (1.0×)	1342.8 ms (1.0×)	1215.2 ms (1.0×)
+ NVFP4 + CUDA Graph + compile	172.4 (2.1×)	686.4 (2.0×)	762.4 (1.6×)
+ 디노이징 불변 재사용	144.9 (2.5×)	464.5 (2.9×)	524.5 (2.3×)
+ 공유 입력 양자화	130.3 (2.7×)	427.8 (3.1×)	476.5 (2.6×)
+ 비디오-행동 online softmax	126.9 (2.8×)	419.9 (3.2×)	468.2 (2.6×)
+ Quant/GEMM 튜닝	119.1 (3.0×)	415.6 (3.2×)	458.9 (2.6×)
+ 백엔드 선택	107.4 (3.3×)	328.2 (4.1×)	378.7 (3.2×)

산술은 모두 맞는다(장치별 튜닝 몫 15~22%도 126.9→107.4, 419.9→328.2, 468.2→378.7로 확인). 프로젝트 페이지는 첫 단계를 쪼개 보여 주는데, NVFP4만 켰을 때 RTX 5090은 356.0 → 360.4 ms, Thor는 1215.2 → 1219.8 ms로 오히려 느려지고 Spark만 1147.4 ms로 빨라진다. §4.2의 “작은 커널의 launch 오버헤드가 연산 절감을 상쇄한다”는 서술의 실측 근거가 논문 표에서는 합쳐져 보이지 않는 셈이다. 이 지연은 전체 관측 VAE를 포함하지만 전처리·텍스트 인코딩·컨트롤러/IPC는 뺀 값이고, 두 독립 프로세스에서 워밍업 5회를 버린 30개 샘플 중앙값의 평균이다(부록 F).

부록 F(Table 11)는 같은 프로토콜로 CoD가 V4/A4 90.9 ms, V2/A2 65.7 ms로 IDM(107.4/81.8)보다 빠르다는 것도 보여 준다. IDM은 성공률이, CoD는 속도가 앞선다. 관측 비디오 KV 재사용의 순수 효과는 장치와 스텝 수에 따라 달라서, RTX 5090 V4/A4에서 4.6%(112.6 → 107.4), Spark에서 16.9%이고, RTX 5090 V2/A2에서는 이득이 없다(81.3 vs 81.8 ms). 이런 음성 결과까지 적어 둔 점은 좋다.

Thor의 378.7 ms는 2.4초 맥락 기준이다. 맥락에 따른 지연 증가(부록 G, RTX 5090에서 2.4 → 19.2초에 3.2배)가 Thor에도 비슷한 비율로 적용된다면, Thor에서 19.2초 맥락은 1초를 넘을 것이다(필자 추정, 논문은 Thor의 맥락별 지연을 보고하지 않는다). 즉 “긴 맥락”과 “엣지 실시간”은 이 논문 안에서 같은 설정으로 함께 시연되지 않았다.

수치 대조: 논문 v1 · 프로젝트 페이지 · 공개 레포

프로젝트 페이지는 각주에서 “All numbers are from the paper”라 적고, 그 데이터 파일(data.js)도 “copied from the Long-WAM manuscript”라고 주석을 단다. 그런데 arXiv v1과 다른 값이 있다. 페이지가 v1과 다른 원고 판본을 반영했을 가능성이 있으므로 어느 쪽이 맞다고 단정하지 않고 나란히 둔다.

항목	arXiv v1	프로젝트 페이지 (2026-10-19)
초록의 GR-1 맥락 주장	0.0 → 19.2초, 63.3 → 78.7%	2.4 → 19.2초, 66.3 → 78.7%
Table 4 “Long-WAM (2.4 s)”	63.3	66.3
Table 1 CoD, LIBERO-Long / Avg.	95.8 / 97.8 (본문은 Long 97.8)	97.8 / 98.3
Table 7 동기 SR, Fast-WAM / LingBot-VA	91.8 / 92.2 (Table 2에서 옮겼다고 명시)	91.2 / 91.2
107.4 ms 설정의 RoboTwin SR	93.5 (Table 6)	94.4 (지연 표에서 V4/A4 107.4 ms와 짝지음)
NVFP4 단독 단계	별도 행 없음	5090 360.4 / Spark 1147.4 / Thor 1219.8 ms

공개 레포(커밋 1b9e348 기준, 실행 검증 아님)에서 논문에 없던 값과 서로 다른 값:

항목	논문	공개 레포·체크포인트 카드
\lambda_v,\lambda_a	기호만	1.0 / 1.0 (`configs/model/long_wam.yaml`)
미래 latent 수 K_v	기호만	2 (`num_imagine_frames: 2`)
행동 디노이징 스텝	배포 지연은 A4/A2. 벤치마크 SR의 스텝 수는 미기재	IDM 카드(LIBERO·RoboTwin) 10스텝인데 `configs/eval/libero.yaml`은 20이고 eval 값이 카드 값을 덮어쓴다(`runtime/libero.py:241-245`). CoD 카드는 “4 joint steps”인데 eval 기본값은 10(RoboTwin)·20(LIBERO). LIBERO eval은 80스텝 청크를 디코딩한다(학습 청크 32). 논문 표가 어느 설정인지 코드로는 판정할 수 없다
시뮬레이션 평가 규모	미기재	LIBERO 4×10×50 / RoboTwin 50×2×100 / DOMINO 35×5 / GR-1 24×10 / RoboCasa365 50×50 (계획기 실험 50×5)
비디오 초기화	“LongLive2.0-Robot” 하나	`Robot-S`(짧은 시퀀스)와 `Robot-M`(짧은~중간 길이) 두 변종 공개. S/M은 크기가 아니라 시퀀스 길이 범위다. 공개 학습 레시피는 2026-10-13부터 전부 Robot-S
공개 RoboTwin 가중치의 초기화	(언급 없음)	IDM은 로봇 도메인 AR 중간 체크포인트, CoD는 일반 LongLive-2.0, 둘 다 무작위 ActionDiT (커밋 `9d17d50`의 `TRAINING.md` 절, `c6a27e7`에서 그 절만 제거). 저자 답변(이슈 #111)은 이와 다르게 갈린다
논문에 값이 있는 설정의 코드 위치	\sigma_\star=0.9(§3.2), 비디오 4스텝 V4(§3.2)	\sigma_\star `configs/denoising/idm.yaml:22`, V4 `idm.yaml:23`. 논문 값과 일치
논문에 값이 없는 설정의 코드 위치	기호나 서술만 있음	K_v=2 `configs/model/long_wam.yaml:42`. \lambda_v=\lambda_a=1.0 `long_wam.yaml:90-91` → `runtime/factory.py:450-451` → `longwam_base.py:1001`. 오차 재활용(error recycling) 주입 확률: context 0.9, latent 0.9, noise 0.01, clean 0.2(`stage1/configs/train_s.yaml:69-72`, `train_m.yaml` 동일)
절제 실험 재현	w/o V, Wan2.2·LongLive-2.0 초기화	`docs/BENCHMARKS.md`: “historical imagination ablations are intentionally excluded”. GR-1 레시피는 Robot-S 하나
실기 체크포인트	G1·YAM 결과	G1 체크포인트 없음. YAM은 “Bimanual YAM pretraining on ABC 130K” 릴리스(논문에 없는 데이터명)
warmup	“5% warmup” (WAM 학습 전체)	`docs/TRAINING.md`: GR-1·RoboCasa365만 5%

레포의 docs/BENCHMARKS.md는 스스로 “this repository does not assert that the migrated entry points have already reproduced the paper’s numbers”라고 적는다. 2026-10-01자 자체 감사(docs/VERIFICATION.md)에서는 LIBERO 평가가 설정 전파 버그로, RoboTwin 평가가 Open3D 의존성으로 막혔다고 기록돼 있다. LIBERO 쪽 버그는 확인 시점 HEAD(1b9e348)에도 남아 있다(아래 재현 노트).

비판적으로 보면

강점

질문이 정확하다. “긴 맥락이 좋은가”가 아니라 “어떤 사전학습 아래에서 긴 맥락이 좋은가”를 묻고, 같은 아키텍처·같은 인과 적응 위에서 초기화만 바꿔 답했다. 논문 수치로는 GR-1에서 양방향 초기화가 평평하고 AR 초기화가 15점 오르는 대비가 240회 가정 아래에서도 z ≈ 4의 큰 효과다(단 19.2초 값은 제3자 재측정에서 재현되지 않았다. 약점 참조). “히스토리 접근 ≠ 히스토리 사용”이라는 문장은 WAM 설계에서 기억해 둘 만한 구분이다.
미래 예측을 빼지 않고 실시간을 만든다. Fast-WAM이 상상을 버려 속도를 얻었다면, Long-WAM은 상상(얕지만)을 유지한 채 NVFP4·CUDA Graph·KV 재사용·장치별 커널로 3.2~4.1배를 얻었다. 누적 표가 단계별로 산술이 맞고, 이득이 없던 경우(V2/A2에서 KV 재사용 0%)까지 적었다.
저자 스스로의 유보가 많다. “1만 시간은 창 환산 추정치이지 고유 영상 측정치가 아니다”, “학습 surrogate는 추론 조건 분포와 같다는 주장이 아니다”, “38.4초 하락은 가설”, “불연속 최소화가 성공 최대화는 아니다”, “15스텝 질의만으로 Atomic 84.4%” 같은 문장은 홍보문에서 먼저 지워지는 종류다.
동적 실기 결과가 선명하다. 19/20 대 0/20, 18/20 대 0/20은 20회 규모로도 의심할 여지가 없는 차이다. 사람 원격조작 기준선까지 그림에 넣었다.
공개 범위가 넓다. 맥락 길이별 GR-1 체크포인트 5종, LIBERO·RoboTwin의 IDM/CoD, RoboCasa365, YAM, 비디오 생성기 S/M이 ungated로 올라와 있고, 벤치마크별 평가 프로토콜을 README에 적었다.

약점·한계

GR-1 비교표의 기준선 출처가 의심스럽다. Table 4의 π0 62.5·GR00T-N1.5 64.1·Cosmos Policy 67.1은 Cosmos Policy 논문의 RoboCasa 주방(Franka Panda) 표와 같은 값이고, 논문은 GR-1 기준선의 출처를 밝히지 않는다. 같은 표의 “Long-WAM (2.4 s) 63.3”은 본문·그림의 2.4초 값(66.3)과 어긋난다. “+11.6점 over the strongest GR-1 baseline”은 지금 형태로는 인용하기 어렵다.
중심 주장의 근거가 시뮬레이션 두 벤치마크, 단일 실행이다. 맥락 스케일링은 GR-1과 LIBERO-Long에서만 측정됐고, 맥락마다 모델을 한 번 학습했으며, 시뮬레이션 에피소드 수·시드·신뢰구간이 논문에 없다. README 프로토콜을 가정하면 “로봇 도메인 사전학습의 추가 이득”(2.0점)과 “38.4초 하락”(3.5점)은 잡음과 구별되지 않는다. 공개 GR-1 체크포인트를 다시 잰 제3자 보고(이슈 #113)는 9.6·19.2초에서 67.9·67.1%를 얻어 논문의 74.5·78.7%와 크게 어긋났다(아직 저자 답변 없음). LIBERO-Long에서는 양방향 초기화도 +3.1점을 얻어, “양방향은 히스토리를 쓰지 못한다”는 GR-1 한정 결론이다.
AR이라는 성질과 추가 비디오 학습이 혼입돼 있다. LongLive-2.0은 확산 비디오 모델을 장시간 AR 생성기로 추가 튜닝한 모델이다. 양방향 모델을 같은 데이터·같은 연산량으로 더 학습한 대조군이 없으므로, 효과가 “AR 목적함수” 때문인지 “더 많은 장시간 비디오 학습” 때문인지 분리되지 않는다.
디노이징 전략 비교에 초기화 혼입 가능성이 있다. 공개 RoboTwin IDM과 CoD 가중치는 레포 TRAINING.md의 한 절(커밋 c6a27e7에서 제거)에 따르면 다른 비디오 초기화(로봇 도메인 AR vs 일반 AR)에서 출발했고, 이에 대한 저자 답변은 갈린다. w/o V가 비디오 손실까지 뺀 변형인지도 적혀 있지 않다. 그래서 §5.3의 “먼저 예측하는 것이 유용한 조건”이라는 해석은 통제 비교로 확정되지 않는다. 공개 레포는 이 절제들의 재현 레시피를 “의도적으로 제외”했다.
실기 결과는 맥락의 효과를 분리하지 않는다. G1 기준선 두 개는 단일 프레임 정책이라 움직이는 물체에서 무너지는 것이 예상되는 구조다. Long-WAM 자신의 맥락 0초 변형, 동기 실행 변형, 히스토리를 준 기준선이 없다. YAM에는 기준선이 아예 없다. 실기 학습 데이터 규모, 기준선 학습 조건, 실기 추론 장치와 제어 주기도 논문에 없다.
효율 헤드라인이 설정을 섞는다. 94.4%(BF16 eager, 356 ms)와 107.4 ms(SR 93.5%)는 다른 설정이고, 최적화 설정만 보면 RoboTwin 1위가 아니다. 게다가 [정적] 107.4 ms가 RoboTwin 입력 형상에서 잰 값인지부터 의심스럽다. 부록 F는 RTX 5090 양자화기 타일을 588 토큰에서 재사용 후 392/196 토큰으로 확장했다고 적는데, 공개 엣지 커널 코드 기준으로 588 = 6프레임 × 98, 392/196 = 4·2프레임 × 98이고 98은 LIBERO의 프레임당 토큰 수다(RoboTwin 3카메라 모자이크는 120). Table 6은 이 지연을 RoboTwin SR과 한 행에 둔다. 논문이 측정 입력을 밝히지 않으므로 단정할 수는 없다. “Fast-WAM보다 2.3배 빠르다”의 기준 244.1 ms는 컴파일 여부가 불명이며, 컴파일된 Fast-WAM은 이 블로그의 측정(LIBERO 설정)에서 73.1 ms였다. Spark·Thor의 “배포”는 지연 측정이고 그 장치에서의 과제 성공률은 없다. 긴 맥락과 엣지 실시간은 같은 설정에서 함께 시연되지 않았다.
계획기 실험의 핵심 변수가 불투명하다. GPT-6 Astra가 무엇인지, 호출당 비용·지연·프롬프트가 무엇인지 논문에 없다. 계획기를 붙여 비교한 기준선은 π0.5 하나뿐이고, Long-WAM 단독(31.4%)은 리더보드 상위 5개 방법보다 낮다.
표 내부 불일치가 여럿이다. LIBERO IDM 평균(99.25 vs 표기 99.5), CoD LIBERO-Long(표 95.8 vs 본문 97.8), Table 4의 2.4초 라벨, 서로 다른 두 실험이 같은 94.5를 내는 일치, 그리고 프로젝트 페이지와의 판본 차이(위 표). 하나하나는 결론을 뒤집지 않지만, 헤드라인 숫자를 인용할 때 판본을 확인해야 한다.

🔧 재현 노트

🔬 이 절은 논문·저자 진술이 아니라 이 블로그가 직접 돌린 결과다. 범위를 먼저 못 박는다. 공개 레포(1b9e348)의 모델 클래스를 축소 깊이(30층 중 4·8·12층)와 무작위 가중치로 단일 RTX 5090(다른 작업과 공유, 450 W 제한, 12 GiB 상한)에서 돌렸다. 공개 체크포인트는 실행하지 않았고(전체 깊이 BF16 forward의 예상 피크가 약 14.4 GiB로 상한을 넘었다), 시뮬레이터 평가도, NVFP4 네이티브 빌드도, 학습도 하지 않았다. 그래서 아래 어떤 숫자도 논문의 성공률이나 107.4 ms를 확인한 것이 아니다. 구조와 비용의 모양이 논문 서술과 맞는지를 본 것이다.

맞은 것

[실측] 크기: 공개 config로 전체 깊이 파라미터 수를 맞추면 비디오 5.000B + 행동 1.021B = 6.021B, bf16 12.04 GB다. Hugging Face의 model.pt(12.042 GB)와 네 자리까지 일치한다. 공개 config가 공개 가중치와 같은 구조라는 뜻이다.
[실측] 맥락의 상대 비용: 우리가 쓴 입력은 RoboTwin 형상(384×320 모자이크, 행동 14차원, H=32, A10·V4·K_v=2)이다. 층수별 지연을 30층으로 외삽해 2.4초 대비 비율을 내면 논문 부록 G와 거의 같다. 이것이 “부록 G를 RoboTwin에서 쟀다”는 뜻은 아니다(아래).

맥락	우리 외삽 (eager 참조 경로)	논문 부록 G (최적화 경로)
0 s	0.58×	0.69×
4.8 s	1.29×	1.29×
9.6 s	1.86×	1.90×
19.2 s	3.17×	3.18×

이 비율은 학습된 가중치 없이 연산 모양(깨끗한 프레임이 늘면 VAE와 비디오 토큰이 늘어난다)만으로 나온다. GR-1 입력(224×224, H=16)에서는 비율이 크게 달라서(19.2초 2.17×) 부록 G가 GR-1 형상에서 잰 값은 아닌 것으로 보인다. [정적] 공개 엣지 프로파일은 애초에 action_horizon=32만 허용하고(runtime/settings.py:75-76), 행동 분할 attention 커널은 비디오 KV 길이로 프레임당 98토큰(LIBERO)과 120토큰(RoboTwin)에 M+k = 6/9/15/27 프레임을 곱한 값만 받는다(runtime/optim/action_segmented_attention.py:30). 맥락 실험의 주 무대인 GR-1(H=16)은 이 최적화 경로에 들어가지 못하므로, “8배 히스토리 → 3.2배 지연”은 GR-1 정책의 지연이 아니라 LIBERO 또는 RoboTwin 형상의 측정일 것이다. 98토큰과 120토큰은 비용 곡선의 모양이 비슷해서 우리 비율 일치는 둘을 구별하지 못한다. 논문은 측정 입력을 적지 않는다. 비용의 대부분은 전체 창 VAE 인코딩과, 비디오 스텝마다 모든 깨끗한 프레임을 다시 통과시키는 상상 단계에서 나온다(19.2초에서 둘이 약 80%).

[실측] 스트리밍 VAE: 전체 크기 VAE(무작위 초기화)로 스트리밍 인코딩과 전체 창 인코딩을 비교하면 latent가 비트 단위로 같다(최대 절대오차 0). 총 VAE 작업량은 같고 촉발 이후 임계 경로만 줄어든다: 2.4초 58.7 → 0.73 ms, 19.2초 445.8 → 0.82 ms. 다만 다음 창의 이미 있는 앞부분을 추론 직후 한꺼번에 다시 인코딩하는 구조라, 19.2초에서는 그 약 0.45초(eager)가 촉발 간격 안에 들어가야 한다.
[실측] 테스트: CPU 테스트 354 통과·12 건너뜀(저자 문서와 같다), 저자가 건너뛴 CUDA 전용 테스트 10개도 RTX 5090에서 통과.
[실측] 공통 최적화의 몫: NVFP4와 clean-prefix wavefront를 뺀 rtx5090 프로파일(컴파일·캐시)만으로 8층 기준 239.5 → 115.5 ms(2.07×). 논문의 3.3×는 NVFP4까지 포함한 값이라 직접 비교는 아니다.

맞지 않거나 확인 못 한 것

[실측] 절대 지연: 30층 외삽 eager 2.4초가 755 ms로 논문 BF16 eager 356 ms의 약 2.1배다. 외삽 오차, GPU 공유·전력 제한, 계측용 동기화, 논문의 “BF16 eager”가 이미 일부 캐시 재사용을 포함했을 가능성 중 무엇인지 분리하지 못했다.
[정적] 마스크: 앞의 방법 2 절에 적었듯 CoD에서는 미래 비디오 행이 행동 토큰을 읽는다. 마스크 덤프로 확인했다.
[실측] 평가 버그: 저자 자체 감사가 적은 LIBERO 평가 버그가 HEAD에도 남아 있다. evaluation.py:273이 run.EVALUATION을 벤치마크 필드를 채우기 전에 할당해(OmegaConf가 복사한다) num_trials 등이 빠지고, eval_libero_single.py:408에서 Missing key num_trials로 멈춘다. 실제 번들 config로 CPU에서 재현했고, 두 줄 순서만 바꾸면 고쳐진다(테스트는 그대로 354/12). 즉 공개 LIBERO 평가 경로는 지금 그대로는 돌지 않는다.
[정적] CoD 지연 경로: 부록 F는 CoD(90.9 ms)에서 첫 공동 스텝이 히스토리 KV 캐시를 만들고 이후 스텝이 재사용한다고 적는다. 그런데 공개 런타임은 CoD 모델이면 순차 캐시 옵션(video_clean_prefix_wavefront, action_video_kv_resident_cache, video_cross_kv_cache 등)을 모두 걷어내고, 사용자가 켜려 하면 에러를 낸다(runtime/backends/__init__.py:84-114). 따라서 부록 F의 CoD 90.9/65.7 ms 경로는 공개 런타임으로 재현할 수 없다.
[정적] 지연 헤드라인의 입력 형상: 위 약점 절에 적은 대로, 부록 F의 588/392/196 토큰은 LIBERO 형상(98토큰/프레임)과 맞는데 Table 6은 107.4 ms를 RoboTwin SR과 짝지었다(의심, 미확정).
확인 못 한 것: 공개 체크포인트의 실제 성공률과 지연, NVFP4 경로의 107.4 ms, 그리고 논문 표가 어느 행동 스텝 설정에서 나왔는지(「수치 대조」 표).

요약

Long-WAM은 WAM에 긴 시각 히스토리를 주는 문제를 “얼마나 길게”가 아니라 “무엇으로 사전학습했을 때 긴 히스토리가 쓸모 있어지는가”로 바꿔 물었다. 같은 아키텍처·같은 인과 적응에서 AR 초기화만 맥락과 함께 성공률이 오르고 양방향 초기화는 평평하다는 GR-1 결과가 그 답이고, 이 대비는 통계적으로도 충분히 크다. 여기에 미래 예측을 유지한 채 RTX 5090 107.4 ms, Spark 328.2 ms, Thor 378.7 ms를 만든 배포 스택과, 움직이는 컵을 19/20으로 쌓는 실기 시연이 붙는다.

한계도 분명하다. 맥락 효과의 근거는 시뮬레이션 두 벤치마크의 단일 실행이고, AR이라는 성질과 추가 장시간 비디오 학습이 분리되지 않았으며, 실기 결과는 맥락 길이를 통제하지 않았다. GR-1 비교표의 기준선 일부는 다른 벤치마크(RoboCasa 주방, Franka)의 값으로 보이고, 효율 헤드라인은 서로 다른 설정의 성공률과 지연을 짝지었다. 공개 레포 문서의 지워진 절에 따르면 RoboTwin의 IDM과 CoD 가중치는 다른 비디오 초기화에서 출발했다. 공개 GR-1 체크포인트로 맥락 곡선을 다시 잰 제3자 보고는 9.6초 이후를 재현하지 못했다.

재현 상태(2026-10-19 기준). 이 블로그의 확인은 체크포인트 없이 공개 모델 클래스를 축소 깊이·무작위 가중치로 돌린 구조 검증까지다. 파라미터 수(6.021B = 12.04 GB)와 맥락에 따른 상대 지연 증가(2.4 → 19.2초 3.17배, 논문 3.18배)는 맞았고, 절대 지연과 성공률은 확인하지 못했다. 상세는 재현 노트.

그래서 지금 가져갈 교훈은 “WAM에 긴 기억을 주면 좋아진다”가 아니라 “긴 기억을 쓰게 하려면 비디오 기반 모델이 먼저 과거로부터 미래를 예측하는 법을 배워 둬야 하고, 그 기억을 쓰는 비용은 시스템 쪽에서 따로 갚아야 한다”는 조건부 명제다. 저자 스스로 다음 단계로 꼽은 것(테스트 시 맥락 길이를 스스로 조절하는 단일 정책, 실기 맥락 길이 연구)이 이 명제의 실제 범위를 정할 것이다.