📃Flex-π 리뷰

world-model

vla

video-generation

flow

manipulation

bimanual

DINOv3

benchmark

efficiency

open-source

Flex-π: A Multi-Stream World-Action Model with Compute Flexibility

Published

August 31, 2026

Paper Link (arXiv:2608.10860) — 이 리뷰는 v2 (2026-08-13, CC BY 4.0) 기준이다.
Project Page
Code Link (github.com/geyan21/flex-pi) — MIT(GitHub은 other로 분류하지만 LICENSE 원문 첫 줄이 MIT License다. Fast-WAM과 똑같이 “third-party code and files retain their original license” 단서가 붙는다). RoboTwin·LIBERO 체크포인트 3종과 학습 데이터셋이 HF flex-pi에 공개돼 있다.
Ge Yan, Jinghao Liu, Yuzhi Fan*, Lei Cai, Minwen Liao, Jesse Zhang†, Dieter Fox† (University of Washington · Allen Institute for AI)
arXiv preprint, 2026

💡 World Action Model(WAM)이 예측하는 미래가 RGB latent 하나뿐이라는 점을 문제 삼고, 같은 latent 공간에 3D pointmap과 DINOv3 객체 semantics를 얹어 함께 denoising한다 — 새 센서도, 새 사전학습도, 추가 지연도 없이.
⚙️ 세 시각 스트림을 Mixture-of-Transformers로 묶고, 학습 중 입력 마스크와 출력 마스크를 독립적으로 뽑아(각 스트림 Bernoulli 0.5) 안 본 modality까지 생성하게 강제한다(cross-modality forcing) → 체크포인트 하나가 배포 시점의 런타임 플래그만으로 action-only부터 full joint generation까지 커버한다.
🎯 실물 양팔 YAM 5개 태스크에서 \pi_{0.5} 대비 성공률 3.5×, ManiFlow 대비 2.3×, RoboTwin 50태스크 94.6%, LIBERO 최대 99.2% — 그러면서 action-only 모드는 RTX 5090에서 60 ms/call로 모든 베이스라인보다 빠르다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

바로 어제 리뷰한 Fast-WAM이 “WAM은 추론 때 미래를 그릴 필요가 있는가”를 물었다면, Flex-π는 그 옆칸의 질문을 던진다. WAM은 무엇을 예측해야 하는가? 현재 대부분의 generalist WAM은 비디오 생성 모델의 VAE latent, 즉 RGB 하나만 예측한다. 그런데 그 latent는 픽셀 재구성으로 학습된 것이라 조작에 필요한 3D 구조나 물체 semantics를 명시적으로 담고 있지 않다. 기하와 의미를 직접 supervise하면 좋겠지만 값이 비싸다 — 센서를 더 달거나, 새 prior를 학습하거나, 추론을 느리게 하거나.

Flex-π는 세 비용을 모두 피한다. Pointmap은 RGB에서 Depth Anything 3로, semantics는 같은 RGB에서 DINOv3로 뽑으므로 센서가 늘지 않고, 두 인코더 모두 off-the-shelf라 새 prior를 학습하지 않는다. 그리고 배포 시점에 어떤 스트림이든 끌 수 있으므로 지연이 늘지 않는다. 여기에 논문이 “surprising free lunch”라 부르는 관찰이 하나 붙는다 — RGB 픽셀로만 학습된 Wan-2.2 VAE가 pointmap도 거의 무손실로 인코딩·디코딩한다(Fig. 3). pointmap 전용 학습이 전혀 없이도 3D 정보가 비디오 latent 공간에 그대로 들어간다는 뜻이다.

개요(Fig. 1) — Flex-π는 RGB·3D·DINO를 입력으로 받아 미래 시각 latent와 행동을 함께 생성하는 multi-stream WAM이다. 학습 후에는 지연과 성능을 맞바꾸는 유연한 추론 모드를 지원한다.

핵심 방법론:

베이스는 비디오 생성 모델의 flow matching이다. 인코더 \mathrm{Enc}로 latent z_{1:t}를 얻고, 선형 경로 z^{\tau}_{t+1}=\tau z_{t+1}+(1-\tau)\epsilon 위에서 속도장을 회귀한다(Eq. 1):

\mathcal{L}_{\text{FM}}(z_{t+1})=\mathbb{E}_{z,\epsilon,\tau}\big\|v_{\theta}(\cdot\mid\tau,l,z_{1:t})-(z_{t+1}-\epsilon)\big\|_{2}^{2}

여기서 결정적인 문장이 나온다 — (\mathrm{Enc},\mathrm{Dec})는 이미지 모양의 어떤 텐서에도 쓸 수 있는 latent 공간을 정의한다. 그래서 이미지 o_t와 pointmap p_t에 같은 frozen VAE를 쓴다(Eq. 2):

z^{o}_{t}=\mathrm{Enc}(o_{t}),\quad z^{p}_{t}=\mathrm{Enc}(p_{t}),\quad d_{t}=\mathrm{DINO}(o_{t})

정책은 \pi_{\theta}(a_{t},o_{t+1},p_{t+1},d_{t+1}\mid o_{t},p_{t},d_{t},s_{t},l)이고, 손실은 네 스트림의 flow matching 합이다(Eq. 3):

\mathcal{L}(\theta)=\lambda_{a}\mathcal{L}^{\text{FM}}_{a}(a_{t})\;+\;\sum_{i\,\in\,\{o,d,p\}}\lambda_{i}\,\mathcal{L}^{\text{FM}}_{i}(i_{t+1}),\qquad \lambda=1\ \text{(전부)}

유연성은 두 개의 마스크에서 온다. 입력 존재 마스크 \mathbf{m}^{\text{in}}과 출력 attention 마스크 \mathbf{m}^{\text{out}}을 샘플마다 독립적으로 뽑는다(각 원소 Bernoulli 0.5, \mathbf{m}^{\text{in}}은 최소 한 스트림이 남도록 rejection sampling — §A.5는 “at least one visual stream is always observed”라고만 쓴다). 핵심은 \mathbf{m}^{\text{out}}이 loss mask가 아니라 attention mask라는 점이다 — 모든 미래 스트림은 언제나 denoising되고 언제나 손실을 낸다. 그래서 입력에서 빠진 스트림도 출력에서는 여전히 만들어 내야 하고(=cross-modality forcing), 모델은 각 modality를 나머지로부터 내재화하도록 강제된다.

여담으로 그 rejection sampling은 코드에서 재추첨이 아니다. flex_joint.py는 세 스트림이 모두 0으로 나온 샘플에 대해 다시 뽑는 대신 셋 중 하나를 균등하게 골라 1로 뒤집는다. 그러면 각 스트림의 marginal이 0.5 + \tfrac{1}{3}(0.5)^3 \approx 0.542로 밀린다 — 실질적 차이는 아니지만, “Bernoulli 0.5”라는 논문의 서술과 실제 학습 분포가 정확히 같지는 않다.

주요 결과:

실물(양팔 YAM, 5태스크): 평균 task completion 83(full joint) / 76(action-only) vs ManiFlow 58, \pi_{0.5} 52. binary success 기준 \pi_{0.5} 대비 3.5×, ManiFlow 대비 2.3×. 어려운 태스크일수록 격차가 커진다 — Self-Repair Gripper +42.7점, Soft-Bag Zipping +27.2점 (Fig. 6).
속도: action-only ~60 ms/call(RTX 5090, K{=}4)로 모든 베이스라인보다 빠르면서 5태스크 전부에서 최고. full joint는 ~193 ms에 평균 성공률 +13% (Fig. 7).
RoboTwin 50태스크: action-only 94.6%, full joint 94.6% — 사전학습 코퍼스가 76배 큰 Qwen-RobotManip(93.9%)과 최강 WAM인 LingBot-VA 2.0(93.6%)을 앞선다 (Table 1).
데이터 효율: 태스크당 50 시연에서 78.8% vs Fast-WAM 41.9%, \pi_{0.5} 31.4%, LingBot-VA 17.2% → 1.9–4.5× (Fig. 10).
LIBERO: 98.5%(full joint), dropout 없이 파인튜닝한 Flex-π* full joint는 99.2%로 Qwen-RobotManip과 동률. LIBERO-Plus 전체 10,030 태스크에서 80.9%(full joint) / 78.3%(action-only), Fast-WAM 65.3%.
Ablation(RoboTwin 5태스크·50시연·from scratch): 입력에 DINO를 더하면 +6.8%, pointmap을 더 얹으면 추가 +20%. cross-modality forcing을 빼면 -21%.

결론:

Flex-π의 주장은 두 겹이다. 하나는 표현 — WAM에 기하와 의미를 넣으면 좋고, 그게 공짜로 된다(같은 VAE, 같은 RGB, off-the-shelf 인코더). 다른 하나는 배포 — 예측할 스트림의 조합을 학습 시점에 고정하지 말고 배포 시점에 고르게 하자. 한 체크포인트가 VLA 지연(60 ms)부터 풀 월드모델(193 ms)까지 3배 이상의 지연 범위와 24점의 성공률 범위를 스스로 커버한다. 그리고 흥미롭게도, 미래를 하나도 안 그리는 action-only 모드조차 모든 베이스라인을 이긴다 — 즉 이득의 상당 부분은 학습 목적함수에서 이미 다 나와 있다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“RGB로 학습된 비디오 VAE에 3D pointmap을 그냥 넣어도 잘 복원된다”는 관찰 하나로, WAM의 예측 대상을 RGB에서 RGB+기하+의미로 넓히고, 두 개의 독립 마스크로 그 확장을 배포 시점 런타임 플래그로 바꾼 논문.

배경: WAM은 왜 RGB만 예측하는가

WAM(world-action model)의 이득은 두 갈래에서 온다고 논문은 정리한다(§1). ① 학습 중 행동과 미래 관측을 함께 예측하면서 얻는 강건한 표현, ② 대규모 비디오로 사전학습된 생성 백본의 시공간 prior. 두 요인 모두 예측 대상이 RGB latent라는 사실에 묶여 있다. 비디오 생성 모델의 VAE가 그것만 인코딩하니까.

문제는 그 latent가 픽셀 재구성으로 학습됐다는 점이다. 외양의 디테일은 잘 담지만, 조작에 필요한 3D 구조나 “이 물체는 접시고 저건 랙이다” 같은 객체 수준 semantics와 정렬돼 있지 않다. 그럼 기하와 의미를 직접 supervise하면 되지 않나? 그러면 셋 중 하나를 치러야 한다 — 센서 추가(depth 카메라), prior 학습(3D world model을 따로 사전학습), 추론 지연 증가(스트림이 늘어난 만큼 매 스텝 denoising 비용이 는다).

Flex-π의 논문 전체는 이 세 비용을 각각 어떻게 0으로 만드는지에 대한 답으로 읽을 수 있다.

방법 1: 하나의 VAE에 세 가지를 넣는다

Flex-π 아키텍처(Fig. 2) — 시각 t에서 RGB o_t와 pointmap p_t를 사전학습된 Wan-2.2 VAE가 latent 스트림 z^o_t, z^p_t로, DINOv3가 semantic token d_t로 만든다. 입력 존재 마스크 \mathbf{m}^{\text{in}}이 공유 Visual Transformer Backbone에서 어떤 스트림을 attend할지 고르고, 더 작은 Action Expert가 시각 스트림에 cross-attend해 action chunk a_{t:t+H}를 낸다. 출력 마스크 \mathbf{m}^{\text{out}}은 공동 생성되는 미래 시각 스트림들이 서로에게 보이는지를 정한다.

공짜 점심: pointmap도 비디오 VAE에 들어간다

논문의 출발점이자 가장 예쁜 관찰이다. Wan-2.2-5B의 frozen VAE는 RGB 이미지만으로 학습됐는데, pointmap을 그대로 인코딩했다 디코딩해도 매우 정확하게 복원된다(§3.1, Fig. 3). 유일한 수치는 그림 패널 안에 찍힌 PSNR: 38 / MSE: 0.0001인데, 프레임 한 장의 값이다(아래 “비판적으로 보면” 참조).

Wan-VAE의 pointmap 재구성(Fig. 3) — RGB 이미지만으로 학습됐음에도 pointmap 재구성이 ground truth와 거의 일치한다.

이게 왜 결정적이냐면, pointmap 스트림이 비디오 사전학습 prior를 그대로 상속하기 때문이다. 별도의 3D 인코더를 학습해 붙이는 게 아니라, 이미 인터넷 스케일 비디오로 학습된 그 latent 공간 안에서 기하가 표현된다. 심지어 pointmap 스트림의 adapter도 video expert의 patch embedding/unpatchify head를 Wan-2.2 가중치로 초기화한 사본이다(§A.3) — 기하 브랜치가 비디오 prior에서 출발해 특화되는 구조다.

DINO 쪽은 조금 다르다. DINOv3 ViT-B/16(frozen, 768-d)의 패치 토큰을 전부 쓰되, 인접 2\times2 패치를 채널축으로 접어(pixel-unshuffle, f=2) 768 \to 3072차원 토큰 하나로 만든다. 뷰당 14\times14 그리드가 7\times7이 되어 토큰 수가 4배 줄지만 정보는 정확히 보존된다(가역 변환이므로). DINO는 VAE latent 공간을 공유하지 않으므로 LayerNorm + linear in/out 어댑터로 트렁크 폭 d_v에 맞춘다(§A.3).

접는 대가로 생긴 문제 하나가 재미있다. 토큰 차원이 3072가 되면서 feedforward hidden dim과 같아지는데, 이 고차원 영역에서는 속도 예측이 잘 안 된다고 알려져 있다(Li & He 2025). 그래서 DINO 헤드만 x-prediction(깨끗한 d_{t+1}을 직접 예측)을 쓰고, 항등식으로 속도를 복원해 같은 손실에 넣는다(§A.4, Eq. 4):

\hat{v}=\frac{\hat{d}_{t+1}-d^{\tau}_{t+1}}{1-\tau}

video/pointmap latent는 192/3072\approx0.06, action은 0.01–0.03 비율이라 이 문제에서 멀고, 그래서 표준 속도 예측을 유지한다. 세 스트림을 억지로 통일하지 않고 각자에 맞는 파라미터화를 준 셈이다.

Mixture-of-Transformers 백본

총 6B다. 시각 트렁크는 5B(Wan-2.2-5B에서 직접 초기화)가 세 시각 modality를 전부 처리하되 modality별 feedforward projection은 따로 두고, action expert는 ~1B으로 key/query/value·feedforward·normalization을 독립적으로 갖는다(§3.1).

디테일 두 개가 눈에 띈다.

cross-stream attention은 30개 MoT 블록 중 가운데 16개에만 걸린다. 앞쪽 인코딩과 뒤쪽 디코딩은 스트림별로 남고 융합은 트렁크에서만 일어난다. (코드를 열어 보면 16이라는 상수는 어디에도 없다. hbridge.bottom_ratio = top_ratio = 0.25에서 int(30 × 0.25) = 7이 위아래로 빠지고 남은 값이다. 게다가 MoT 클래스 기본값은 hbridge_enabled: bool = False로 꺼져 있고 configs/model/flexpi.yaml이 켠다 — 이 구조는 모델의 본질이라기보다 설정 하나로 붙였다 뗐다 하는 옵션이다.)
action expert가 트렁크보다 좁기 때문에(residual/FFN 폭 d_a=1024/4096 vs d_v=3072/14336) 가중치를 그대로 복사할 수 없다. 대신 각 텐서를 축별 1D 선형 보간으로 resampling하고, fan-in이 줄어든 텐서는 \sqrt{d_v/d_a}로 rescale해 초기 활성 분산을 보존한다(§A.3). head 수(24)와 head 차원(128), depth(30)는 반드시 일치해야 MoT joint attention에서 concat이 가능하다.

attention은 단방향이다. 어떤 시각 토큰도 action 스트림에 attend하지 않는다. 그래서 추론 시 action 스트림을 통째로 떼어낼 수 있다(§3.1, §A.5) — Fast-WAM의 마스크 규칙과 정확히 같은 트릭인데, 목적은 정반대다. Fast-WAM은 미래를 떼기 위해 방향을 통제했고, Flex-π는 행동을 떼기 위해(=시각만 생성하는 경로도 유효하게) 통제한다.

방법 2: 두 개의 마스크와 cross-modality forcing

체크포인트 하나, 임의의 시각 입출력(Fig. 4) — 각 행은 \mathbf{m}^{\text{in}}(시각 t에 무엇을 관측할지)과 \mathbf{m}^{\text{out}}(공동 예측에서 어떤 시각 출력이 보일지)을 샘플링해 얻은 학습 스킴 하나다. ★은 cross-modality forcing 예시 — pointmap 입력이 attend되지 않는데도 다른 출력의 공동 생성이 생성된 pointmap 미래에 조건을 건다.

\mathbf{m}^{\text{in}}, \mathbf{m}^{\text{out}} \in \{0,1\}^3을 샘플마다 독립적으로 뽑는다. attention 규칙은 §A.5에 명시적이다.

X_{t+1}\rightarrow\text{obs}와 a\rightarrow\text{obs}는 항상 — 관측된 모든 스트림에 대해, 자기 modality뿐 아니라 전부.
X_{t+1}\leftrightarrow Y_{t+1}은 m^{\text{out}}_X = m^{\text{out}}_Y일 때만. 즉 \mathbf{m}^{\text{out}}은 미래들을 두 그룹으로 쪼개고 그룹 간 attention만 끊는다. action이 안 읽는 두 스트림도 서로는 여전히 본다.
a\rightarrow X_{t+1}은 m^{\text{out}}_X=1일 때만, 그리고 단방향.

입력에서 빠진 스트림은 제거되는 게 아니라 0으로 채워진다 — 시퀀스 레이아웃이 고정돼 배치 안에서 텐서 모양이 같게 유지된다. 언어와 proprioception은 두 마스크와 무관하게 cross-attention으로 모든 토큰에 닿는다.

여기서 cross-modality forcing이 나온다. 두 마스크를 독립적으로 뽑으므로 “입력에서는 빠졌는데 출력에서는 생성해야 하는” 스트림이 자연히 생긴다. RGB와 DINO만 보고 미래 pointmap을 상상하고, RGB와 기하만 보고 미래 DINO semantics를 상상하는 식이다. 논문은 이걸 masked language model이나 MAE의 친척으로 위치시키는데, 방향이 다르다 — 같은 modality 안에서 일부를 가리는 게 아니라 modality 하나를 통째로 가리고 나머지 modality들로부터 복원하게 한다.

AGIBOT World에서 생성된 스트림(Fig. 13) — 각 패널은 head 카메라(위)와 양쪽 wrist(아래)를 이어 붙인 3-view 합성 캔버스다. 위 세 행은 모든 스트림을 관측한 경우, 네 번째 행은 pointmap을 입력에서 뺀 경우로 기하를 RGB와 DINO만으로 만들어 내야 하는데도 장면 구조가 유지된다. 마지막 행은 세 번째 행의 생성된 pointmap을 보기 쉽게 depth로 렌더한 것(별도 출력이 아니다).

직관: 왜 이게 공짜인가, 그리고 왜 이게 유연한가

“공짜”의 정체는 세 개의 서로 다른 공짜다.

센서가 공짜인 이유는 pointmap과 DINO 둘 다 같은 RGB 한 장에서 나오기 때문이다(DA3, DINOv3). 사전학습에서는 AGIBOT World가 head 뷰 depth만 제공하고 그마저 구멍과 노이즈가 많아서, 아예 쓰지 않고 세 뷰 전부를 DA3로 오프라인 라벨링했다(§B). 카메라 intrinsic만 있으면 되고 calibrated extrinsic도 필요 없다.
prior가 공짜인 이유는 Fig. 3의 관찰이다. pointmap이 비디오 VAE latent 공간에 이미 들어맞으므로 그 공간의 prior를 상속받는다.
지연이 공짜인 이유는 마스크가 학습 시점이 아니라 런타임 인자이기 때문이다. action-only로 돌리면 추가 스트림은 계산되지 않는다. 그런데도 학습 때 받았던 supervision의 효과는 가중치에 남아 있다.

세 번째가 이 논문의 진짜 논점이다. 실험이 보여주는 건 아무 스트림도 생성하지 않는 모드조차 베이스라인을 이긴다는 것 — 즉 multi-stream 목적함수의 값어치는 추론 시 계산이 아니라 학습 시 표현에 쌓인다. 그리고 cross-modality forcing은 그 표현을 한 번 더 조인다. 각 modality가 나머지로부터 예측 가능해야 하므로, 외양·기하·의미가 상호 예측 가능한 하나의 표현이 만들어진다. 논문 표현대로 “robustness to missing sensors”는 부산물이고 진짜 이득은 표현 쪽이다 — 실제로 forcing을 빼면 성공률이 21% 떨어진다.

실험: 실물 5태스크 + 시뮬 3벤치마크

설정

사전학습: AGIBOT World-Beta 100태스크에서 뽑은 ~500시간(태스크당 첫 285 에피소드, 30 Hz, head + 양 wrist). 언어 주석 경계로 에피소드를 재분할해 각 샘플이 실제 그 동작을 설명하는 지시와 짝지어지게 했다(§B).
실물: 정지형 양팔 YAM(6-DoF 팔 2개 + 1-DoF 그리퍼 = 14 DoF, 32차원 canonical layout에 정확히 들어맞음), ZED 2i 오버헤드 + wrist ZED Mini 2대. 3뷰를 하나의 캔버스로 타일링해 VAE 한 번으로 처리한다. 30 Hz 기록, H{=}32 청크를 open-loop로 전부 실행 후 재계획(=1.07 s마다). 단일 RTX 5090에 로컬 소켓으로 서빙 (§C).
태스크 5종: Put Plate on Rack, Sort Utensils, Kitchen Organization(4스킬 연쇄), 그리고 가장 어려운 둘 — Self-Repair Gripper(전동 드라이버로 자기 그리퍼를 8단계에 걸쳐 재조립, 삽입 여유 ±0.25–0.5 mm), Soft-Bag Zipping(변형 필통을 열고 펜을 넣고 지퍼를 닫음).
시연 수는 가장 작은 베이스라인 ManiFlow가 그럴듯한 완료율에 도달할 때까지 반복 수집해 정했다. 평가는 partial-credit 루브릭(task completion)과 binary success를 함께, 태스크당 10–20 trial.

어려운 두 태스크(Fig. 5) — Self-Repair Gripper는 순서를 지켜야 하는 8단계를 ±0.25–0.5 mm 삽입 여유로 수행하고, Soft-Bag Zipping은 변형 필통을 열고 펜을 넣고 지퍼를 닫는다.

실물 결과

실물 결과(Fig. 6) — 막대는 task completion, 밑동의 빗금 영역은 binary success(전체 루브릭을 만족한 롤아웃 비율). 맨 오른쪽은 5태스크 평균. Flex-π가 전 태스크에서 앞서며, 서브밀리미터 정밀도와 변형 물체를 요구하는 두 태스크에서 격차가 가장 크다. action-only 변형(가장 싼 정책)조차 모든 태스크에서 모든 베이스라인을 이긴다.

평균 패널 기준: task completion은 \pi_{0.5} 52 → ManiFlow 58 → Flex-π action-only 76 → full joint 83, binary success는 18 → 27 → 50 → 63. Kitchen Organization에서는 최강 베이스라인 대비 +5.0점에 그치지만, Self-Repair Gripper +42.7, Soft-Bag Zipping +27.2로 난이도에 비례해 격차가 벌어진다.

Fast-WAM은 세 태스크에서만 평가됐고(Put Plate 12.5, Sort Utensils 5, Kitchen 77.5), 논문은 “어느 태스크에서도 경쟁력이 없어서” 어려운 두 태스크는 아예 돌리지 않았다고 적는다(§F.2). 이 숫자에 대해서는 아래 「비판적으로 보면」에서 다시 다룬다.

실물 speed–success frontier(Fig. 7) — 5태스크 평균 완료율 대 측정 지연. Flex-π action-only가 60 ms로 가장 빠르면서 이미 모든 베이스라인 위에 있고, full joint는 ~193 ms에 더 높다.

OOD와 데이터 효율

OOD 성능과 데이터 효율(Fig. 9) — (a) 처음 보는 물체와 방해물, 강한 시각적 clutter. (b) 데이터 50%로 학습. 각 막대쌍에 완료율 변화가 붙어 있다.

시각적 분포 이동에서 Flex-π는 full joint 평균 -4.7점, action-only -4.1점을 내주는 반면, 원래 최강 베이스라인이던 ManiFlow는 depth를 갖고 있음에도 -26.7점, \pi_{0.5}는 처음 보는 소프트백에서 -25.6점을 잃는다. Fast-WAM도 잘 버티지만 논문 표현대로 “내줄 게 거의 없었기 때문”이다.

논문은 여기서 중요한 추론을 한다. action-only와 full joint가 비슷하게 잘 버티고 둘 다 depth 있는 ManiFlow보다 훨씬 낫다 → 그렇다면 Flex-π의 우위는 추론 시 미래 생성이 아니라 joint action-RGB-DINO-3D latent 예측으로 학습된 표현에서 온다.

데이터 효율(Fig. 9b)에서는 실물 데이터 절반으로 파인튜닝한 full joint가 전체 데이터로 학습한 모든 베이스라인보다 낫고, 절반 데이터 action-only가 전체 데이터 \pi_{0.5}와 맞먹는다.

RoboTwin 데이터 스케일링(Fig. 10, 도메인 랜덤화·50태스크 평균) — 50 시연에서 Flex-π full joint 78.8 vs Fast-WAM 41.9, π_0.5 31.4, LingBot-VA 17.2. 500 시연에 가서야 베이스라인들이 격차를 좁힌다.

500 시연 지점은 원 논문들이 이미 보고한 설정이라 공개 수치를 인용하고, 50·100 시연 지점만 세 베이스라인을 직접 재학습했다(§F.1). 여기서 full joint가 모든 데이터 예산에서 action-only보다 나은데, 이는 “추론 시 미래 생성이 데이터 효율을 높인다”는 방향의 증거다.

시뮬레이션 벤치마크

RoboTwin 50태스크 full-data(clean 2,500 + randomized 25,000)에서 action-only 94.6%, full joint 94.6%. Qwen-RobotManip(93.9%)은 ~38,100시간, 즉 Flex-π의 76배 사전학습 코퍼스를 쓴다. 여기서 두 모드가 사실상 동률인 것을 논문은 벤치마크 포화 가능성으로 해석한다 — 솔직한 서술이다.

LIBERO에서는 stream dropout이 action overfitting 능력을 살짝 깎는다고 명시하고, dropout 없이 파인튜닝한 Flex-π*를 따로 보고한다(98.7 action-only / 99.2 full joint). LIBERO-Plus 10,030개 교란 태스크 전체에서는 full joint 80.9 / action-only 78.3으로 모든 교란 유형에서 full joint ≥ action-only이고, Fast-WAM(65.3†)과 대부분의 VLA를 앞서지만 \pi_{0.5}(84.7†)와 Qwen-RobotManip(91.4)에는 밀린다. †는 저자들이 공개 체크포인트를 직접 평가한 값이다.

Ablation과 시스템 트레이드오프

주의: 세 ablation 모두 메인 실험과 다른 설정이다 — RoboTwin 5태스크, 도메인 랜덤화, 태스크당 50 시연, from scratch 5 epoch(사전학습 없음).

RoboTwin ablation과 시스템 트레이드오프(Fig. 11) — (a) 모델이 관측하는 입력 스트림을 누적으로 추가. (b) RGB-only 입력에서 생성하는 스트림을 늘릴수록 지연과 성공률을 맞바꾼다 — 전부 같은 체크포인트 하나에서.

입력 modality: video only ≈39% → +DINO +6.8% → +pointmap +20%.
출력 modality(같은 사전학습 체크포인트, RGB-only 입력): action-only 40.2% @ ~60 ms → +video 60.4% → +DINO+pointmap 63.8% @ ~193 ms. 체크포인트 하나가 3배 이상의 지연 범위와 24점의 성공률 범위를 커버한다.
cross-modality forcing 제거: 성공률 -21%. 두 모델 모두 세 스트림을 다 관측하고 학습 규칙만 다르다.

Cross-modality forcing ablation(Fig. 12) — 두 모델 모두 세 스트림을 다 관측하며, 학습 규칙만 다르다.

denoising step K(§I.1): action-only 기준 K{=}4에서 60 ms·94.5/94.6%로 정점이고 K\ge2면 정점 대비 1.0점 이내지만, K{=}1에서는 49 ms에 51.0/52.9%로 붕괴한다. 논문의 설명이 좋다 — latent 공간에서 예측하기 때문에 action expert가 읽는 기하·의미는 latent가 시각적으로 수렴하기 훨씬 전에 안정된다.

depth 센서는 선택 사항(§G.2): Put Plate on Rack full joint에서 depth 입력 있을 때 95.0%, 없을 때 91.7%. 다만 논문이 분명히 선을 긋는다 — 배포 시 depth 센서는 빼도 되지만 학습에서 pointmap 스트림을 빼면 RoboTwin 평균 20% 하락이다.

추론 최적화 (§I) — 재현하려는 사람이 봐야 할 절

지연 수치가 나온 스택이 부록 I에 통째로 문서화돼 있고, 전부 training-free다(distillation 없음, 구조 변경 없음, 같은 체크포인트). RTX 5090 32GB, PyTorch 2.7.1/CUDA 12.8, TensorRT 10.16, 3뷰 384\times320 합성 입력, 언어 컨텍스트 128토큰 캐시, 워밍업 3회 + 측정 20회 평균.

토큰 회계도 명시적이다 — full joint에서 video 360 + DINO 441 + pointmap 360 + action 32 = 1193 토큰, 그중 387은 첫 프레임 앵커, 806은 noisy. action-only는 387 앵커를 KV 캐시로 prefetch하고 매 스텝 32개 action 토큰만 denoising한다.

K{=}4 기준 사다리: eager baseline 447.5 ms → loop-scope compile 359.5 → TensorRT joint core 252.0 → host-glue memoization 236.3 → encoder CUDA graphs 230.0 → prefill/decode split 193.3 ms. 즉 2.3×다. 앵커 387토큰은 \tau{=}0에서 modulate되어 스텝 불변이고, 저자들은 joint 블록 스택의 앵커 출력이 denoise 스텝 간 bit-identical임을 직접 검증했다.

여기 재현자에게 주는 경고가 하나 붙어 있는데, 나는 이게 이 논문에서 가장 정직한 문단이라고 본다: prefill은 앵커 내용으로 캐싱되므로 고정된 관측 하나를 반복 재생하는 벤치마크는 prefill을 한 번만 지불하고 split을 ~20 ms/call 빠르게 보고하게 된다. 저자들은 회전하는 관측 vs 정적 관측에서 엔진 launch를 세어(20회 호출에 20 prefill vs 0 prefill) 보정한 값을 L6 행에 실었다.

직접 재현해 본 지연 (RTX 5090, 공개 체크포인트 1종)

논문의 지연 주장이 이 논문의 세일즈 포인트라 같은 카드(RTX 5090)에서 직접 재봤다. K=4, batch 1, 워밍업 3회 + 측정 20회.

경로	논문(§I)	우리 실측
action-only	60 ms	92.0 ms
full joint	193 ms	432.9 ms
스팬	3.2×	4.7×

절대값은 논문보다 11~53% 느리다. 그런데 K에 대한 기울기는 소수점 둘째 자리까지 맞는다. denoising step을 K=1,2,4,8로 바꿔 가며 잰 action-only 지연은 각각 82.2 / 84.2 / 92.0 / 107.4 ms였고, 이 네 점을 최소제곱으로 회귀하면 3.69 ms/step으로 논문의 3.67 ms/step과 0.02 ms 이내다. (두 점만 이으면 다른 값이 나온다 — K=4→1 현(chord)은 9.8/3 = 3.27 ms/step이다. 곡선이 완전한 직선은 아니라서, 어떤 방식으로 잰 기울기인지는 밝혀 두는 게 맞다.) 즉 어긋나는 건 기울기가 아니라 절편이다: 우리 쪽엔 컴파일되지 않은 prefill 40.2 ms와 encoder 26.8 ms가 그대로 남아 있고, 카드도 450 W로 캡돼 있었다. 부록 I의 사다리(TensorRT·CUDA graphs·prefill/decode split)를 다 얹지 않으면 저 숫자가 나오지 않는다는 뜻이고, 이건 저자들이 §F.3에서 스스로 경고한 바와 정확히 일치한다.

재현하면서 얻은, 논문이 명시하지 않은 실용적 결론이 하나 있다. action 경로에서 K를 깎는 건 나쁜 거래다. K=4→1로 벌 수 있는 건 우리 실측 기준 9.8 ms(논문 기준 11 ms)뿐인데, 그 대가로 성공률이 논문 자신의 수치로 94.5 → 51.0으로 붕괴한다. ms당 4.4점을 내주는 셈이다. 반대로 지연을 줄이고 싶다면 K가 아니라 출력 마스크를 건드려야 한다 — full joint를 끄면 우리 실측으로 341 ms를 벌면서 성공률은 (실물 task completion 기준) 83→76, 7점만 내준다. 이 논문의 유연성 축이 K가 아니라 마스크인 이유가 여기서 수치로 드러난다.

비판적으로 보면

강점

관찰 하나가 설계 전체를 지탱한다. “RGB VAE가 pointmap도 인코딩한다”는 Fig. 3이 없었으면 이 논문은 성립하지 않는다. 3D를 넣으려면 보통 인코더를 새로 학습해야 하는데, 그 비용을 통째로 우회한다. 아이디어의 경제성이 뛰어나다.
유연성이 진짜 런타임이다. 논문이 반복해서 강조하는 대로 입출력 마스크는 아키텍처 선택이 아니라 실행 인자이며, 실물의 action-only와 full joint는 따로 학습한 모델이 아니라 같은 체크포인트에 다른 플래그다(§C). “flexible”이라 주장하면서 실은 여러 체크포인트를 쓰는 논문들과 구분되는 지점이다.
가장 강한 결과가 가장 어려운 태스크에서 나온다. ±0.25 mm 여유의 8단계 그리퍼 자가수리에서 +42.7점이라는 건 벤치마크 튜닝으로 만들 수 있는 숫자가 아니다. 태스크 선정도 “ManiFlow가 겨우 되는 지점”으로 시연 수를 맞춰 정했다고 밝혀 베이스라인에 불리하지 않게 설계했다.
속도 측정을 스스로 못 미덥게 만든다. §F.3에서 “우리는 최적화 수준을 방법 간에 고정하지 않았다”, “이건 각 정책을 우리가 실제로 돌리는 대로의 비용이지 동일한 엔지니어링 노력 하의 비용이 아니다”라고 먼저 적는다. 부록 I 전체가 재현자를 위한 함정 경고(prefill 캐싱)까지 포함해 문서화돼 있다. 이 정도로 자기 지연 수치의 조건을 노출하는 논문은 드물다.
불리한 결과를 지운 흔적이 없다. LIBERO에서 stream dropout이 오히려 손해라는 것, LIBERO-Plus에서 \pi_{0.5}와 Qwen-RobotManip에 밀린다는 것, RoboTwin full-data에서 두 모드가 동률이라 벤치마크가 포화됐을 수 있다는 것을 전부 본문에 쓴다.
재현 조건이 좋다. MIT, 체크포인트 3종 + 데이터셋 공개, 요구사항 표(추론 16–26 GB / RTX 4090·5090 1장)까지 README에 있다.

약점·한계

“almost losslessly”의 근거가 한 프레임짜리 스팟체크다. 수치가 아예 없는 건 아니다 — Fig. 3의 Reconstruction 패널 안에 PSNR: 38 / MSE: 0.0001이 찍혀 있다(캡션·본문에는 없어 그림을 직접 봐야 보인다). 문제는 그게 장면 하나·프레임 하나의 값이라는 것이다. 데이터셋 수준의 집계 지표도, 같은 VAE의 RGB 재구성 대비 비교(즉 pointmap이 RGB만큼은 잘 들어가는지)도, 표준화된 기하 오차(m 단위 RMSE든 relative depth error든)도 없다. “2 m에서 클리핑”(Table 12)한다는 것만 알 수 있는데, 그렇다면 그 이상 거리에서는 어떻게 되는지, 얇은 구조나 반사면에서 무너지지 않는지 알 수 없다. 초록에 “surprising free lunch”라고 쓸 정도의 주장이라면 표 하나는 있어야 했다.
Ablation 설정이 메인 결과와 다르고, 그 차이가 결론에 영향을 준다. 세 ablation은 전부 5태스크·50시연·from scratch 5 epoch다. 그런데 이 논문의 실제 모델은 500시간 사전학습을 거친다. “pointmap이 +20%”라는 수치는 사전학습 없는 저데이터 체제의 값이고, 사전학습 후에도 같은 크기인지는 검증되지 않았다. 오히려 RoboTwin full-data에서 두 모드가 동률(94.6 vs 94.6)이라는 사실은 사전학습이 그 이득의 일부를 흡수한다는 쪽을 시사한다.
Fast-WAM 베이스라인 수치가 이상하게 낮고, 그 안에서도 서로 안 맞는다. Fig. 11(b)의 Fast-WAM은 10.0%인데 Fig. 10의 50시연 Fast-WAM은 41.9%다. 둘 다 RoboTwin 저데이터 체제인데 4배 차이가 나고, 논문은 이를 조정(reconcile)하지 않는다. 두 설정이 다르다는 건 사실이다(5태스크·from scratch 5 epoch vs 50태스크) — 하지만 그 정도 차이가 4배를 설명하는지는 독자가 확인할 방법이 없다. 게다가 Fast-WAM 자신은 RoboTwin 91.8%를 보고한다. “사전학습 없이 from scratch 5 epoch”는 비디오 사전학습 백본을 쓰는 방법에게 가장 불리한 체제이므로, Fig. 11(b)에서 Fast-WAM을 나란히 찍어 “4배 성공률”이라 쓰는 건 공정한 비교로 보기 어렵다. 실물에서도 Fast-WAM은 세 태스크만 돌고 두 태스크는 “될 것 같지 않아서” 생략됐다(§F.2) — 판단 자체는 합리적일 수 있으나 평균 패널에서 Fast-WAM이 빠지는 결과가 된다.
속도 비교의 비대칭을 인정하되 해소하지는 않는다. Flex-π의 full joint 경로는 TensorRT + CUDA graphs + prefill/decode split까지 얹어 447.5 → 193.3 ms(2.3×)를 얻었다. 베이스라인은 잘해야 torch.compile이다. 저자들이 §F.3에서 이 비대칭을 먼저 밝힌 건 훌륭하지만, 그렇다면 Fig. 7의 x축을 근거로 “\pi_{0.5}보다 빠르다”는 초록 문장을 읽을 때는 모델의 성질이 아니라 배포 스택의 성질이 상당 부분 섞여 있다고 봐야 한다. (참고로 우리가 Fast-WAM 리뷰 때 같은 RTX 5090에서 공개 체크포인트로 직접 잰 컴파일된 Fast-WAM은 73.1 ms였고, 이 논문이 보고한 컴파일 Fast-WAM은 90 ms다. 방향은 일치한다.)
분산·신뢰구간이 전무하다. 실물은 태스크당 10–20 trial, 시뮬은 다중 seed 여부조차 안 적혀 있다. Fig. 6의 완료율에는 오차막대가 있지만 binary success에는 없고, RoboTwin/LIBERO 표에는 아무것도 없다. 94.6 vs 93.9(Qwen-RobotManip) 같은 0.7점 차이는 이 상태로는 판정 불가다 — Fast-WAM 리뷰에서 지적한 것과 정확히 같은 문제이며, 이 분야의 공통 병폐로 보인다.
학습 비용은 전혀 공짜가 아니다. 초록의 “free lunch”는 센서·prior·추론 지연에 한정된 말이다. 실제로는 6B 모델을 500시간 데이터로 사전학습하고, 매 샘플마다 네 스트림 전부를 denoising하며(출력 마스크가 loss mask가 아니므로), 실물 태스크에서 수렴에 최소 10 epoch 파인튜닝이 필요하다(§5 Limitations). 레포는 학습에 4–8 × A100 80GB / H100 / H200를 요구한다고 명시한다. 논문 본문에는 사전학습 GPU-시간이 없다.
DA3 pointmap의 오차가 어디로 가는지 추적되지 않는다. 사전학습에서는 단안 DA3 추정 pointmap을, 실물에서는 ZED 실측 depth를 쓴다. 이 domain gap(추정 기하 → 실측 기하)이 성능에 어떤 영향을 주는지 ablation이 없다. AGIBOT의 실측 head depth를 “구멍과 노이즈 때문에” 버렸다는 서술은 합리적이지만, 그렇다면 DA3 추정치가 그보다 낫다는 근거도 함께 있어야 한다.
“56가지 조합”은 레포의 주장이지 논문의 주장이 아니다. README는 “56 deployable combinations”를 내세우는데(입력 비공집합 7 × 출력 8), 논문이 실제로 측정한 건 그중 소수다. 유연성의 폭 자체가 검증된 건 아니다.

요약

Flex-π의 기여는 두 개의 서로 다른 크기다. 큰 쪽은 표현이다 — WAM이 예측하는 미래를 RGB 하나에서 RGB+pointmap+DINO로 넓히되, “RGB로 학습된 비디오 VAE가 pointmap도 인코딩한다”는 관찰 덕에 센서도 prior도 추가하지 않는다. 여기에 cross-modality forcing이 붙어 세 modality가 상호 예측 가능한 표현을 만든다(빼면 -21%). 작은 쪽은 배포 유연성이다 — 두 마스크를 독립적으로 샘플링해 학습했기에 체크포인트 하나가 60 ms부터 193 ms까지, 성공률 24점 범위를 런타임 플래그로 커버한다.

숫자는 설득력 있다. 특히 ±0.25 mm 여유의 8단계 자가수리 같은 태스크에서 +42.7점을 내고, 실물 데이터 절반으로 전체 데이터 베이스라인들을 이기는 결과는 저데이터 실물 조작에서 의미가 크다.

동시에 조심해서 읽을 곳도 분명하다. 논문 전체를 떠받치는 “pointmap 재구성이 거의 무손실”이라는 주장에 수치가 없고, modality 기여를 보여주는 ablation은 사전학습 없는 5태스크 축소판이며, 지연 비교는 저자들이 스스로 밝힌 대로 엔지니어링 노력이 비대칭이다. Fast-WAM 베이스라인 수치는 그림에 따라 4배씩 벌어지는데 조정되지 않는다. 그리고 “free lunch”는 추론에 한정된 말이다 — 학습은 4–8장의 80GB GPU를 요구한다.

그럼에도 Fast-WAM과 나란히 놓고 보면 이 두 논문이 같은 결론의 두 얼굴이라는 게 선명해진다. WAM에서 비디오 예측은 추론 예산이 아니라 학습 예산에 쓰는 편이 남는다 — Fast-WAM은 그걸 제거로 증명했고, Flex-π는 그걸 확장으로 증명했다. 다만 Flex-π는 한 걸음 더 나가 묻는다. 어차피 학습 예산에 쓸 거라면, 왜 픽셀만 예측하고 있는가?