📃Action Encoding Invariance 리뷰

world-model

JEPA

ViT

ssl

representation

action-space

invariance

manipulation

ALOHA

PushT

LeRobot

benchmark

Robot World Models Are Not Invariant to How the Actions Are Written

Published

September 25, 2026

Paper Link (arXiv:2609.23252v1) — 이 리뷰는 arXiv v1(2026-09-19, cs.RO) 을 정본으로 읽었고, HTML 판본과 arXiv 소스 tarball(arxiv.tex + fig1~4 PDF)을 함께 대조했다. 본문 6절 + 부록 A~H 전체가 대상이다.
Code: 링크 없음. 논문은 재현성 문단에서 “All results regenerate from the accompanying repository” 라 하고 6절에서 “We release Mezzanine, which implements the procedure end to end” 라고 이름까지 밝히지만, v1 본문·참고문헌·LaTeX 소스 어디에도 저장소 URL이 없다. 소스에 등장하는 유일한 GitHub 링크는 데이터셋 도구인 huggingface/lerobot이다. (→ 이 리뷰에 코드 재현·슬라이드가 없는 이유다.)
Project page: 없음. 데모 영상도 없다.
Ahmed Karim, Leon Chlon
Hassana Labs / University of Oxford / University College London — arXiv preprint, 2026 (LaTeX 소스가 iclr2027_conference.sty를 쓰므로 ICLR 2027 투고본으로 추정되나, 논문에 학회 표기는 없다)

💡 “같은 동작을 다르게 적었을 뿐인데 world model이 딴소리를 한다” — 로봇 액션을 절대 관절 목표로 쓰느냐 현재 상태 대비 변화량(델타)으로 쓰느냐는 컨트롤러 인터페이스 사정으로 정해지는 표기 문제인데, 액션을 조건으로 받는 latent dynamics model은 이 표기를 암묵적으로 물려받고, 표기를 바꿔 넣으면 그냥 나빠지는 게 아니라 다른 질문에 답한다.
⚙️ “이게 진짜 재표기(re-parameterization)인가”를 먼저 증명하고 고친다 — 예측 동등성(necessary)과 상호 복원가능성(sufficient certificate)으로 변환의 적격성(admissibility) 을 판정하고, 통과한 축에 대해서만 목적함수를 orbit 위에서 평균내고 불일치 페널티 \lambda 를 더해 수리한다. 출력 평균이 아니라 목적 평균이어야 하는 이유도 방향(단위벡터) 예측에서 Jensen 보장이 깨진다는 반례로 증명한다.
🎯 로봇 데이터셋 3종·모폴로지 2종에서 표기만 바꾸면 검색 rank가 2.6~13.4배 무너지고, 목표 조건 액션 선택은 53.1% → 15.4%, PushT에서는 두 믿음이 거의 직교(\cos=0.067, 최악 -0.377)한다. 그런데 두 표기는 결합 입력 기준 R^2=0.996 로 서로 완전 복원 가능 — 정보는 하나도 안 잃었다. 수리하면 held-out rank 61.5\to5.19, 최악 일치도 0.779\to0.995.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇에게 “팔꿈치를 30도로”라고 말하는 것과 “팔꿈치를 지금보다 5도 더”라고 말하는 것은 같은 동작이다. 현재 각도가 25도라면 둘은 정확히 같은 명령이고, 현재 상태 s_t 만 알면 서로를 완벽하게 옮겨 적을 수 있다.

a_{\mathrm{rel}} = a_{\mathrm{abs}} - s_t

이 논문의 질문은 단순하다. 학습된 world model에게 같은 궤적을 두 표기로 각각 건네면, 같은 미래를 예측하는가? 답은 “전혀 아니다”이다.

같은 궤적, 다른 표기(Fig. 1) — 각 행이 테스트 한 건. 왼쪽부터 시점 t 의 관측, 실제 미래 t+\Delta, 그리고 동일한 액션 윈도우를 절대/상대 표기로 각각 넣었을 때 검색된 프레임. 초록=정답, 주황=오답. 절대 표기로는 맞히고 상대 표기로는 완전히 다른 장면을 가져온다. 논문은 384건 중 125건이 “절대 정답·상대 오답”이고 그중 95건이 다른 에피소드에서 온 오답이라고 밝힌다.

핵심 방법론. 논문은 세 단계로 간다.

(1) 왜 이런 일이 일어나는가 (§2). 학습 목적함수는 “표기(notation)”와 “사실(fact)”을 구별하지 않는다. 두 표기가 공유하는 부분을 Z, 둘을 구별하는 좌표를 G 라 두고, 예측기 클래스 \mathcal{F} 가 G 를 못 보게 제한됐을 때 포기하는 샘플당 부호 길이를 I^{\mathcal{F}}_{\hat P}(Y;G\mid Z) 라 하면, 2-part MDL에서

\mathrm{MDL}_n(\mathcal{F}_{\mathrm{inv}})-\mathrm{MDL}_n(\mathcal{F}) =\underbrace{L(\mathcal{F}_{\mathrm{inv}})-L(\mathcal{F})}_{\text{architectural}} + n\cdot I^{\mathcal{F}}_{\hat P}(Y;G\mid Z)

이다. 즉 구조적 절약이 샘플당 항을 못 덮으면 최적화기는 표기를 써먹는 쪽을 고른다.

(2) 이게 재표기인가, 다른 입력인가 (§3). 불변성을 강제하는 게 사영(projection) 인지 뭉개기(blurring) 인지는 숫자만 봐선 구별이 안 된다. Theorem 2가 가격표를 붙인다. orbit-constant 예측기의 최적 log loss R_{\mathrm{inv}} 에 대해

R_{\mathrm{inv}} = H(Y\mid Q) \ \ge\ \max_v R(\varphi_v), \qquad R_{\mathrm{inv}} - \min_v R(\varphi_v) \ \ge\ \delta := \max_v R(\varphi_v) - \min_v R(\varphi_v)

parity gap \delta 가 불변성을 강제할 때 잃는 것의 하한이다. 이 테스트로 저자들이 제안했던 네 축 중 세 개가 기각됐다(photometric jitter, 카메라 선택, action-window 요약). 통과한 축이 절대/상대 액션 인코딩인데, 중요한 건 결합 입력으로 평가해야 한다는 것 — 액션 채널만 보면 R^2=0.757 로 “부적격” 오판이 나오고, 상태와 함께 보면 R^2=0.996 이다.

(3) 수리 (§4). 인증된 축에 대해 단일 예측기 g_\theta 를 모든 표기에서 맞히도록, 그리고 표기끼리 스스로 일치하도록 학습시킨다.

\mathcal{L}(\theta)=\frac1K\sum_v \ell\big(g_\theta(z,\phi_v(a)),y\big) \;+\;\lambda\cdot\frac{2}{K(K-1)}\sum_{v<w} d\big(g_\theta(z,\phi_v(a)),\,g_\theta(z,\phi_w(a))\big)

평균이 손실 위에 놓여 있다는 게 요점이다. 출력 위에 평균을 놓는 자연스러운 대안은 확률 예측에서는 Jensen 부등식으로 보장되지만, 이 논문의 예측은 단위 벡터(방향) 라 보장이 사라진다(Proposition 3).

주요 결과.

Table 1 — 액션 인코딩 축에서의 orbit dispersion (\Delta=4s, 3 seeds, 에피소드 분리, pool 384)
Dataset	모폴로지	Canon. rank	Held-out rank	Collapse	cos mean	cos worst
`aloha_mobile_cabinet`	14-D 양팔, 50 fps	6.19	61.5	9.9×	0.370	−0.178
`aloha_static_coffee`	14-D 양팔, 신규 태스크	3.97	53.3	13.4×	0.371	−0.096
`pusht`	2-D 평면 pusher, 10 fps	66.2	169.8	2.6×	0.067	−0.377

제어 실패: 목표 조건 액션 선택(32개 후보 top-1, chance 0.031)이 자기 표기에서 53.1%, 동등한 다른 표기에서 15.4%.
수리 효과: 두 표기 pooled 학습(\lambda=0)만으로 held-out rank 61.5\to5.98, 액션 선택 15.4\%\to40.1\%. 하지만 최악 일치도는 0.779에 머문다. 불일치 페널티(\lambda=16)가 이걸 0.995로 끌어올린다 — 대신 canonical 액션 선택은 44.3\%\to41.1\% 로 약 3점 손해.
롤아웃: 4초 hop을 반복하면 평균 일치도는 평평하지만 최악은 다르다. teacher는 침식되고(0.242@hop3, cabinet), \lambda=0 은 늦출 뿐이며, \lambda=16 만 버틴다(0.997). PushT에서는 \lambda=0 이 축을 아예 못 고친다 — hop2에서 최악이 음수(-0.348).

결론. “orbit 위에서 평균내라”는 수리 자체는 한 줄이다. 어려운 건 어느 orbit인지, 그게 애초에 대칭이긴 한지, 그리고 예측이 방향값일 때 평균을 어디에 놓아야 하는지이며, 그게 이 논문의 내용이라고 저자들이 직접 못 박는다.

🔔 Ring Review

🔔 Ring — Strike it and listen. Let the paper resonate.

한 줄로 시작하자: 이 논문은 “로봇 world model이 배우는 것 중 일부는 세계가 아니라 우리가 명령을 적는 방식”이라는 것을 측정하고, 그것이 측정할 가치가 있는 종류의 결함임을 먼저 증명한 다음, 고친다.

배경 — 처음 보는 사람을 위한 용어 정리

이 논문은 개념 밀도가 높다. 여기서는 논문에 실제로 나오는 개념만 골라 정의부터 세운다.

world model, 그중에서도 latent dynamics model

World model은 “지금 상태에서 이 행동을 하면 다음에 무엇이 벌어질까”를 예측하는 학습된 모델이다. 로봇에게는 실제로 움직여보지 않고 머릿속으로 결과를 시뮬레이션하는 능력에 해당한다.

이 예측을 픽셀 공간에서 할 수도 있다(다음 프레임 이미지를 그려낸다 — Dreamer 계열, 논문은 Hafner et al. 2023을 인용). 하지만 이 논문은 latent 공간에서 한다. 이미지를 인코더에 넣어 나온 벡터 z_t(latent, 잠재 표현)만 다루고, 다음 시점의 이미지를 복원하지 않는다. 이런 계열을 논문은 decoder-free / joint-embedding 모델이라 부르고 LeCun(2022)·I-JEPA(Assran et al. 2023)·V-JEPA 2(2025)·TD-MPC2(Hansen et al. 2024)를 든다.

왜 이 선택이 중요한가? 저자들의 논리가 여기서 정교하다. 픽셀 복원 항이 있으면 이미지 신호가 latent를 직접 붙잡아 준다. 그러면 액션 채널이 조건부여를 혼자 짊어지지 않으므로, 액션 쪽 결함이 다른 데서 오는 감독 신호에 부분적으로 가려진다. 반대로 여기서는 인코더가 동결(frozen) 되어 있고 역변환되지도, 갱신되지도 않는다 → “예측기가 배우는 유일한 것은 액션이 latent를 어떻게 움직이는가” 다. 그래서 측정된 것은 렌더링이나 augmentation 정책의 성질이 아니라 전이 데이터 자체의 성질이라는 주장이 성립한다. 이것이 논문이 말하는 “diagnostic” 가치다.

관련해서 latent world model 계열은 이 블로그의 NewtWM 리뷰(멀티태스크 연속제어 world model), SWM 리뷰(의미 공간 world model), VTWM 리뷰(시각-촉각 world model)에서 다룬 적이 있다. 이 논문은 그 계열 전체에 대한 감사(audit) 도구에 가깝다.

action representation: absolute vs relative(delta)

로봇 정책은 매 스텝 액션을 출력하는데, 그 숫자가 무엇을 뜻하는지는 컨트롤러 인터페이스가 정한다.

Absolute(position control): “관절 1을 0.30 rad 로 가라.” 숫자 자체가 목표 자세다.
Relative / delta(delta control): “관절 1을 0.05 rad 만큼 더 가라.” 숫자는 현재 상태 대비 변화량이다.

논문의 핵심 관찰은 둘이 같은 궤적을 서술한다는 것이다. 현재 상태 s_t 만 주어지면

a_{\mathrm{rel}} = a_{\mathrm{abs}} - s_t

로 정확히 서로를 결정한다. 그리고 어느 쪽을 쓸지는 학습과 무관한 이유로 정해진다 — 컨트롤러 인터페이스, 텔레오퍼레이션 장비, 이전 프로젝트가 뭘 썼는지. 논문이 직접 쓴 표현이다.

⚠️ 컨트롤러가 나에게 준 사전 정보에는 “joint/EE space”, “tokenization”이 개념 후보로 들어 있었다. 원문에는 EE(end-effector) 공간 축도, 액션 토크나이제이션도 나오지 않는다. 이 논문이 다루는 액션 축은 오직 absolute joint targets vs state-relative deltas 하나이며, 기각된 세 축은 photometric jitter / 카메라 선택 / action-window 요약이다. 여기서는 원문을 따른다.

orbit, orbit-constancy, dispersion

이 논문의 뼈대 용어다. 차근차근.

어떤 상황 X(여기서는 “지금 latent + 앞으로 내릴 명령 궤적”)를 모델에게 보여주는 방법이 여러 가지 있다. 이 방법 각각을 view \varphi_v 라 한다. 여기서는 K=2: 절대 표기와 상대 표기.
하나의 x 를 모든 view로 적어놓은 집합 \{\varphi_1(x),\dots,\varphi_K(x)\} 이 orbit(궤도)이다. “같은 것을 적는 모든 방식들의 모임”이라고 읽으면 된다.
예측기 f 가 orbit-constant라는 것은 f(\varphi_v(x))=f(\varphi_w(x)) 가 모든 x,v,w 에서 성립한다는 뜻 — 표기를 바꿔도 답이 안 바뀐다. 이게 이 논문이 말하는 “불변성(invariance)”이다.
dispersion(분산도)은 그 반대의 정도, 즉 한 orbit 안에서 예측들이 얼마나 서로 흩어지는가다. 이 논문에서는 두 표기의 예측 벡터 사이 코사인 유사도로 잰다(평균과 최악값 둘 다).

비유로 정리하면: 같은 주소를 “서울시 종로구 …”로 적느냐 “Jongno-gu, Seoul, …”로 적느냐다. 배달원이 둘 다 같은 집에 가야 정상이다. 그런데 이 논문이 잡아낸 배달원은 표기를 바꾸면 다른 동네로 간다.

그런데 왜 “그냥 distribution shift 아니냐”가 아닌가

여기가 논문의 논증에서 제일 중요한 매듭이다. 프로토콜만 보면 한 인코딩으로 학습하고 다른 인코딩으로 테스트하는 것이므로 분포 변화가 맞고, 논문도 새로운 현상이라 주장하지 않는다(“A certified special case of covariate shift”라고 절 제목을 붙였다).

문제는 보통의 covariate shift 결과가 “다른 분포”와 “정보가 적음”을 뒤섞는다는 점이다. 이 둘은 함의가 정반대다.

바뀐 입력이 목표에 대해 정보를 덜 담고 있다면 → 성능 저하는 올바른 행동이고 고칠 게 없다.
정보가 똑같이 들어 있다면 → 저하는 모델의 결함이고 고쳐야 한다.

논문은 두 번째임을 증명한다: 결합 입력 기준 두 인코딩은 R^2=0.996 으로 상호 복원 가능하고 task-R^2 차이는 0.003이다. 그래서 주장이 “brittleness”에서 “목표에 대해 아무 정보도 나르지 않는 변화에 대한 brittleness” 로 격상된다. 여기에 더해 저하가 우아하지 않다 — 보통 분포 밖으로 밀린 모델은 노이즈가 커질 뿐인데, 이 모델은 다른 질문에 답한다(PushT에서 \cos=0.067, 최악 -0.377, 즉 반대 방향).

방법 상세

§2 — 예측기가 표기를 존중할 이유가 없다는 것의 정확한 가격

직관은 이렇다. log loss로 (z_t,a_{\mathrm{abs}}) 쌍에 적합시킨 모델은 a_{\mathrm{abs}} 안에서 미래를 예측하는 데 쓸 수 있는 건 뭐든 쓴다. 거기엔 “명령을 델타가 아니라 절대 목표로 적었기 때문에 생긴 부산물”도 포함된다. 그 부산물이 학습 분포에서 답과 상관되면 그걸 쓰는 쪽이 설명 길이가 짧아지고, 최적화기는 시킨 대로 할 뿐이다.

이 직관에 정확한 가격이 붙는 곳이 식 (1)의 MDL 분해다. 앞의 Ping에 적은 식이 그것이고, 읽는 법은:

왼쪽(architectural) 항: 불변 클래스를 기술하는 비용 차이. 표현이 애초에 그 구별을 지워버렸다면 공짜다. 논문의 표현으로 “절대 관절 목표를 본 적 없는 인코더는 그것을 선호할 수 없다.”
오른쪽(per-sample) 항 n\cdot I^{\mathcal{F}}_{\hat P}(Y;G\mid Z): 데이터가 많아질수록 선형으로 커진다. 데이터를 늘리면 나아지는지를 결정하는 항이다.

부록 E는 이 항이 양수가 되는 경우를 세 체제로 나눈다. 이 구분이 실험 해석의 전제가 되므로 그대로 옮긴다.

체제	상황	I^{\mathcal{F}}(Y;G\mid Z)	함의
(i)	그룹 좌표가 목표에 대한 정보를 실제로 담음	양수(모집단 항)	불변성 강제 비용이 n 에 선형 증가. 대칭이 아니었던 경우 — 이 논문의 대상이 아님
(ii)	목표가 정확히 불변이고 두 클래스가 최적을 달성	0 + \Delta_{\mathrm{mis}}	선형 성장은 사라지고 유한표본 부담만 남음(orbit 크기에 따라 커지고 n 에 느리게 감소)
(iii)	라벨이 그 좌표를 한 번도 행사하지 않음	목적함수가 어느 방향으로도 가격을 안 매김	n 에 대한 어떤 읽기도 적용 안 됨. §5가 다루는 경우

논문이 다루는 액션 인코딩 축이 (iii)인 이유는 명확하다: teacher는 canonical 인코딩만으로 학습되므로, 두 표기를 구별하는 좌표가 라벨에 의해 단 한 번도 행사되지 않는다.

여기서 저자들은 Definition 1(make/break 기준) 도 세운다. 태스크 지표 M 과 dispersion 지표 A 에 대해 held-out에서 \Delta M,\Delta A 의 부트스트랩 신뢰구간을 구해, \Delta A 의 구간이 엄격히 음수이고 \Delta M 의 구간이 -\varepsilon 이상으로 하한되면 make, 아니면 break. 요점은 “orbit-constancy는 dispersion을 항상 줄이지만 정확도를 보존한다는 보장은 없고, 정확도 하락이 그 불변성을 기각하는 기준” 이라는 것이다.

§3 — 재표기인가, 다른 입력인가 (이 논문의 알맹이)

문제 제기. 입력에 딱지만 다시 붙이는 변환에 대해 orbit-constancy를 강제하는 것은 불변량 위로의 사영이다. 반면 아는 내용 자체를 바꾸는 변환에 대해 강제하면 그건 뭉개기다. 그런데 결과 숫자만 보면 둘을 구별할 수 없다. 그래서 dispersion 측정치는 “그 변환이 뭐였는지에 대한 판정”과 함께 놓여야만 해석 가능하다.

형식화. 후보 대칭은 상황 X 를 공통 표현 공간으로 나르는 view들의 집합 \varphi_1,\dots,\varphi_K 로 주어지고, 예측기는 그중 하나를 받되 어느 것인지 듣지 못한다. orbit-constant란 위의 등식들이 생성하는 동치관계로 그 공간을 몫(quotient) 낸 것에 대해 가측(measurable)이라는 뜻이다. Q 를 그 몫류, R(\varphi_v):=H(Y\mid\varphi_v(X)) 를 view v 단독의 최적 위험이라 둔다.

Theorem 2 (parity는 필요조건이고, parity gap이 그 가격)

R_{\mathrm{inv}} = H(Y\mid Q),\qquad R_{\mathrm{inv}} \ \ge\ \max_v R(\varphi_v),\qquad R_{\mathrm{inv}} - \min_v R(\varphi_v)\ \ge\ \delta := \max_v R(\varphi_v)-\min_v R(\varphi_v)

증명은 부록 F에서 세 줄이다: Q 는 모든 v 에 대해 \varphi_v(X) 의 함수이므로 거기에 조건화하면 위험은 올라갈 수만 있고, 따라서 orbit-constancy는 가족 중 최악의 view만큼은 비싸다.

여기서 두 개의 검사가 따라 나온다. 초보자를 위해 역할을 분명히 구분하자.

(a) Predictive parity — 필요조건이자 게이트. 각 view를 단독으로 썼을 때 y 에 대해 똑같이 예측력이 있어야 한다. 실패하면 Theorem 2가 그 비용을 정확히 말해준다: parity gap \delta 는 “그냥 더 좋은 view를 쓰는 것” 대비 불변성을 강제해서 잃는 것의 하한이다. 그래서 채널 선택이나 손실 있는 요약은 수리 대상이 아니라 기각 대상이다. 논문이 든 구체 사례: 두 카메라의 평균 rank가 각각 6.6 vs 23.3 — 여기에 불변성을 강제하면 더 좋은 센서를 버려서 일치도를 사는 것이다.

(b) Reconstructibility — 충분조건(certificate)이지 필요조건은 아니다. 각 view가 다른 view로부터 복원 가능하면 Q 가 각 \varphi_v(X) 와 같은 \sigma-대수를 생성하므로 R_{\mathrm{inv}}=R(\varphi_v), 즉 전단사 재라벨링은 공짜다. 이게 인증서다. 하지만 필요조건은 아니다: 몫 대칭은 설계상 nuisance 좌표를 버리므로 \theta+2\pi k 에서 k 를 복원할 수 없지만, k 는 y 에 대해 아무 말도 안 하므로 \delta=0 이고 Theorem 2는 여전히 비용 0을 준다. 전단사성을 요구하면 유효한 대칭을 기각하게 되므로 게이트가 아니라 인증서로 보고한다.

(c) 결합 입력으로 평가하라 — 실무자가 가장 틀리기 쉬운 지점. 적격성은 예측기가 받는 것 전체의 성질이지 한 채널의 성질이 아니다.

복원 평가 대상	R^2	판정
액션 채널 단독	0.757	부적격처럼 보임 — 자신만만한 오답(false negative)
상태와 결합한 입력	0.996	적격

이유는 수식에 다 드러나 있다. a_{\mathrm{rel}}=a_{\mathrm{abs}}-s_t 는 s_t 가 주어졌을 때만 전단사다. 채널을 고립시켜 검사하면 자신만만한 오답이 나온다.

테스트가 실제로 기각한 것들. 저자들이 제안했던 네 축 중 셋이 떨어졌다:

후보 축	기각 사유	증거
photometric jitter	group action이 아니라 augmentation	—
카메라 선택	서로 다른 센서는 서로 다른 정보를 나름	한 view rank 6.6 vs 다른 view 23.3
action-window 요약(`first`/`mean`/`mean_std`/`concat`)	손실 있는 위계	task R^2 0.986 vs 0.709
절대 vs 상대 액션 인코딩	통과	결합 R^2=0.996, task-R^2 격차 0.003

이 “3/4 기각”은 논문의 수사(rhetoric)가 아니라 논증의 핵심이다. 네 번째가 보고할 가치가 있는 이유가 바로 셋이 떨어졌다는 사실이기 때문이다.

또 하나 중요한 부수 결과가 부록 B에 있다. 액션 조건부여 검증에 흔히 쓰이는 action-shuffle(액션을 예제 간에 섞어 정확도가 무너지는지 보는 것)은 orbit-constancy 테스트가 아니다. 셔플은 다른 예제의 액션 윈도우를 먹이므로 정보를 재표현하는 게 아니라 파괴한다 → orbit을 만들지 않고, Definition 1이 참조할 dispersion 지표 A 도 없다. 셔플 결과는 “예측기가 액션 채널을 실제로 읽고는 있다”는 것을 보여줄 뿐, “명령을 보존하는 변화에 대해 믿음이 안정적이다”라는 더 강한 성질의 증거가 아니다. 즉 §5.1 이전까지 액션 조건부 dynamics에는 orbit-constancy 테스트가 아예 없었다는 것이 실험의 출발점이다.

§4 — 수리: 두 인코딩 위에서 평균내기, 그리고 평균이 놓일 자리

수리 자체는 orbit averaging 한 줄이다. 저자들 말대로 “그 앞의 모든 절이 존재하는 이유는 무엇을 평균낼 자격이 있는지를 확립하기 위해서” 다. 남은 선택은 평균을 어디에 놓느냐이고, 이건 출력 공간이 결정한다.

식 (2)를 다시 보자.

\mathcal{L}(\theta)=\underbrace{\frac1K\sum_v \ell\big(g_\theta(z,\phi_v(a)),y\big)}_{\text{orbit 위 목적함수 평균}} \;+\;\lambda\cdot\underbrace{\frac{2}{K(K-1)}\sum_{v<w} d\big(g_\theta(z,\phi_v(a)),\,g_\theta(z,\phi_w(a))\big)}_{\text{불일치 페널티}}

\ell 은 태스크 손실(검색 목표에는 참 미래에 대한 InfoNCE, 회귀에는 제곱오차), d 는 불일치 페널티(구현은 평균 쌍별 코사인 불일치, 부록 A). 읽는 법: 예측기는 모든 표기에서 맞히라고 요구받고, 동시에 표기들 사이에서 자기 자신과 일치하라고 요구받는다. 자기 출력의 요약치를 따라가라는 요구는 어디에도 없다.

왜 출력 평균이면 안 되는가. 자연스러운 대안은 표기 민감한 teacher의 예측들을 orbit 평균내고 student를 거기에 맞추는 것이다. 예측이 확률이면 이건 단지 합리적인 게 아니라 보장된다. \bar p:=\frac1K\sum_k f(\cdot\mid g_k\cdot x) 에 대해

\hat J(x;y):=\frac1K\sum_{k=1}^K\big(-\log f(y\mid g_k\cdot x)\big)-\big(-\log \bar p(y)\big)\ \ge\ 0

로그의 오목성(Jensen)에서 나온다 — 혼합의 log loss는 구성원 평균보다 절대 나쁘지 않다.

그런데 이 보장은 출력 공간의 성질이지 대칭의 성질이 아니다. 여기서 목표는 학습된 표현 공간의 단위 벡터(방향) 이고, 불일치는 각도이며, 방향이 어긋나는 단위벡터들의 평균은 짧고 무게중심을 가리킨다. 다시 정규화해도 orbit의 구성원으로 돌아온다는 보장이 없다.

Proposition 3 (방향값 예측에는 Jensen 보장이 없다). S^{d-1} 위의 예측·목표와 점수 \cos(\hat u,y) 에 대해, 정규화 평균 \bar u=\sum_k u_k/\lVert\sum_k u_k\rVert 이 모든 구성원보다 엄격히 낮은 점수를 받는 유한 orbit이 존재하고, \sum_k u_k=0 이라 \bar u 가 정의조차 안 되는 경우도 존재한다.

반례가 아주 손에 잡힌다. d=2, y=(1,0), u_1=(1,0), u_{2,3}=(-0.9,\pm\sqrt{1-0.81}) 로 두면 구성원 점수는 1,-0.9,-0.9 인데 \bar u=(-1,0) 은 -1 을 받는다. 평균이 모두보다 나쁘다. 두 번째는 u_{1,2}=(0,\pm1). 첫 반례는 부등식이 엄격하므로 generic 가정으로 제거되지 않고, 두 번째는 불안정하지만 그 근방 전체에서 \bar u 가 ill-conditioned하다.

실험이 이 이론을 그대로 확인한다: orbit-mean student는 rank 11.55, 식 (2)(\lambda=4)는 5.25. 식 (2)는 평균을 아예 형성하지 않음으로써 이 문제를 비켜간다.

직관 — 세 줄로 붙잡는 논문의 논리

모델은 “같은 뜻”이라는 개념을 갖고 있지 않다. 액션 윈도우를 숫자 벡터로 받는 MLP에게 “이 숫자들은 절대 목표다”라고 알려주는 채널이 없다. 그러니 학습 분포에서 통하는 상관이면 뭐든 쓴다(§2의 MDL).
그러므로 “표기를 바꿨을 때 답이 같은가”는 측정되어야 할 별도의 성질이다. 그런데 그 측정을 아무 변환에나 하면 안 된다 — 카메라를 바꿔놓고 “일치하지 않는다”고 혼내는 건 더 좋은 센서를 버리라는 요구다(§3의 parity gap).
자격이 확인된 변환에 대해서만 평균낸다. 그리고 예측이 방향이면 평균은 손실 위에 놓아야 한다(§4의 Proposition 3).

실험

설정 (부록 A)

투명하게 적어두는 편이 낫다. 이 논문의 실험 규모는 작다.

항목	값
인코더	동결 I-JEPA ViT-H/14 (`facebook/ijepa_vith14_1k`), fp16, batch 32
임베딩	뒤에서 네 번째 블록의 patch token에 대한 mean·std를 concat
예측기	[z_t \,\\|\, \phi_v(a_{t:t+\Delta})] 입력 MLP, hidden 1024, depth 2, 800 steps, in-batch negative InfoNCE
액션 입력	\Delta 구간을 균일 샘플한 16 포인트 × d_a (d_a = ALOHA 14, PushT 2)
학습/평가 크기	n_{\mathrm{train}}=1200, n_{\mathrm{test}}=384
예측 대상	\ell_2 정규화된 미래 latent (→ 방향값 예측)
\Delta	모든 경우 4초 (50 fps에서 200 step, 10 fps에서 40 step)
seed	0,1,2 (3개), split 샘플링·초기화·배칭을 제어
하드웨어	단일 RTX 5090. latent 캐시가 있으면 cabinet 3-seed 스윕이 수 분

데이터셋은 모두 공개 LeRobot 릴리스를 수정 없이 썼고, split은 에피소드 분리라 최근접 이웃 검색이 본 궤적의 인접 프레임을 떠올려 맞히는 일이 불가능하다.

Dataset	Camera	Episodes	Frames	fps	\Delta(steps)	train/test eps.
`aloha_mobile_cabinet`	`cam_high`	85	127,500	50	200	68 / 17
`aloha_static_coffee`	`cam_high`	50	55,000	50	200	40 / 10
`pusht`	`image`	206	25,650	10	40	165 / 41

지표 정의도 알아두면 표가 읽힌다.

Retrieval rank: 384개 테스트 latent 중 참 미래 latent가 코사인 유사도로 몇 등인가. 낮을수록 좋다.
Cross-encoding agreement: 같은 입력에 대한 두 인코딩 예측 사이의 코사인. 평균과 평가집합 최솟값(worst) 을 모두 보고.
Goal-conditioned action selection: 32개 후보 액션 윈도우를 학습된 dynamics로 채점해 참 미래와 맞는 것을 top-1으로 고르기. chance = 0.031.

축 자체는 딱 두 개다.

A:\ a_{t:t+\Delta}\ \text{(절대 관절 목표)}\qquad B:\ a_{t:t+\Delta}-s_t\ \text{(현재 상태 대비 상대)}

그리고 카메라를 고정한다 — 그래야 모든 예측이 한 latent 공간에 있어 dispersion이 잘 정의된다. 다중 카메라 축은 예측이 카메라별 공간에 살기 때문에 애초에 dispersion을 정의할 수 없다는 지적도 함께 적혀 있다(이게 §3에서 카메라 축을 기각한 것과 일관된다).

5.1 — 붕괴의 측정

Table 1(위 Ping에 옮긴 표)의 읽을 점:

두 ALOHA 데이터셋의 cross-encoding 코사인이 소수 셋째 자리까지 일치한다(0.370 / 0.371). 태스크 특이적 효과가 아니라는 근거다.
PushT는 다른 로봇, 2차원 액션인데도 같은 병이 있고 더 심하다 — 두 믿음이 거의 직교(0.067)이고 최악은 -0.377.

정확도와 일치도(Fig. 2) — 왼쪽: 각 인코딩에서의 검색 rank. teacher는 학습한 인코딩에서 6.2, 동등한 인코딩에서 61.5로 무너진다. 오른쪽: 인코딩 간 일치도(평균/최악). pooled 학습(\lambda=0)이 정확도를 회복시키지만 최악 일치도는 0.779에 머물고, 이를 끌어올리는 건 consistency 항뿐이다. teacher의 최악은 -0.178 — 최악의 입력에서 두 표기가 정반대를 가리킨다.

제어 실패라는 점이 결정적이다. 검색 rank는 표현 품질을 재는 대리지표다. 제어는 다른 질문 — “어느 액션이 목표에 도달하는가”이고, 후보를 학습된 dynamics로 질의와 같은 인코딩에서 채점한다. teacher는 자기 인코딩에서 53.1%, 동등한 인코딩에서 15.4% 를 고른다(chance 3.1%). 논문의 결론: “같은 명령이 다르게 적혔을 때 액션을 고를 수 없는 모델은, 검색 점수가 어떻든 제어에 쓸 수 없다.”

수리가 각각 무엇을 사주는가 (Table 2)

Table 2 — `aloha_mobile_cabinet`, 3 seeds, 모든 행이 같은 run에서 나옴
모델	Canon. rank	Held-out rank	cos mean	cos worst	액션선택 Canon.	액션선택 Held-out
Teacher (1 encoding)	6.19	61.5	0.370	—	0.531	0.154
Orbit-mean student	11.55	15.1	0.942	0.804	—	—
\lambda=0 (pooled)	5.46	5.98	0.937	0.779	0.443	0.401
\lambda=1	5.51	5.58	0.981	0.939	0.408	0.406
\lambda=4	5.25	5.31	0.993	0.973	0.426	0.402
\lambda=16	5.17	5.19	0.999	0.995	0.411	0.411

이 표에 대한 저자들의 태도가 이 논문에서 가장 마음에 드는 부분이다. 페널티에게 불리한 사실을 먼저 말한다.

목적함수를 orbit 위에서 평균내는 것만으로 태스크가 회복된다. \lambda=0 이 held-out rank를 61.5\to5.98, held-out 액션 선택을 15.4\%\to40.1\% 로 옮긴다. \lambda=16 은 그걸 5.19 와 41.1\% 로 옮기는데, 1점 차이는 seed 표준편차 4에 대해 무의미하다. 논문은 “이 증거로는 페널티가 평균화 대비 평균 태스크 성능을 개선하지 않으며, 우리는 그렇다고 주장하지 않는다” 라고 명시한다.
페널티가 사주는 건 꼬리다. \lambda=0 에서 최악 일치도 0.779 — 평균적으로는 두 표기가 동의하지만, 동의하지 않는 입력에서는 예측이 여전히 멀리 떨어져 있다. 페널티가 이를 0.995 로 닫는다(최악 불일치 4배 감소, seed 노이즈 밖). 값은 canonical 액션 선택 약 3점(44.3\%\to41.1\%).
orbit mean을 적합하는 건 둘 다 못 한다 — 평균 일치도 0.942에 rank 오차는 대략 두 배. Proposition 3이 말한 그대로다.

솔직한 요약: 축을 알고 나면 augmentation이 정확도를 되돌려주고, 페널티가 “대개 동의함”을 “보장”으로 바꿔준다. 그리고 Theorem 2가 진술된 언어가 바로 그 보장이다.

롤아웃: 평균은 안정적이고, 최악은 아니다 (Table 3·4)

위 숫자는 전부 한 스텝이지만 world model은 여러 스텝 쓴다. 저자들은 4초짜리 hop으로 held-out 에피소드에서 예측기를 앞으로 굴린다 — 각 hop마다 참 액션 윈도우와 상태를 공급하고, 반복되는 유일한 양은 모델의 믿음뿐이다. (closed-loop 제어가 아니며, 예측 품질 자체는 지평선을 따라 떨어진다 — cabinet에서 참 latent와의 코사인이 0.33\to0.13. 그래서 후반 hop은 점점 불확실해지는 양에 대한 일치도를 서술한다는 단서도 붙어 있다.)

Table 3 — held-out 에피소드 latent 롤아웃, 최종 hop에서의 cross-encoding 코사인(ALOHA 3 hop, PushT 2 hop)
Dataset	Teacher mean	Teacher worst	\lambda{=}0 mean	\lambda{=}0 worst	\lambda{=}16 mean	\lambda{=}16 worst
ALOHA cabinet	0.805	0.242	0.988	0.896	1.000	0.997
ALOHA coffee	0.898	0.614	0.991	0.955	1.000	0.998
PushT	0.178	−0.497	0.677	−0.348	0.872	0.139

hop별 궤적(Table 4)을 보면 이야기가 더 선명하다. ALOHA cabinet에서 teacher의 최악은 0.515\to0.350\to0.242 로 침식되고, \lambda=0 은 0.972\to0.951\to0.896 로 늦출 뿐 멈추지 못하며, \lambda=16 은 1.000\to0.999\to0.997 로 버틴다. 두 ALOHA 데이터셋에서 평균 일치도는 모든 모델에서 거의 평평하므로 저자들은 “불일치가 평균적으로 누적된다”는 주장을 하지 않는다.

PushT가 두 항을 훨씬 날카롭게 가른다. 거기서는 pooled 학습이 축을 전혀 고치지 못한다 — 평균 일치도 0.633, 최악은 두 번째 hop에서 음수 -0.348. 즉 두 인코딩으로 학습한 예측기조차 같은 명령 궤적에 대해 정반대 믿음을 만든다. 페널티가 이를 0.946 / +0.139 로 올리지만 격차를 닫지는 못한다. 저자들의 정리: 쉬운 경우일수록 평균화만으로 충분하고, 어려울수록 consistency 항이 일을 더 많이 한다.

수리가 공짜가 아닌 곳. PushT에서 수리된 예측기는 최악 rank 169.8\to85.7, \cos 0.067\to0.971 로 개선되지만 canonical 정확도를 지불한다(66.2\to79.2, rank이므로 나빠진 것). 논문은 그 teacher가 애초에 절대적으로 약하다(384 중 rank 66)는 점을 인정하고, 수리가 공짜인 건 모델에 여유가 있을 때뿐임을 §5.2로 넘긴다.

5.2 — 결함은 데이터를 늘려도 닫히지 않는다

앞서 본 대로 이 축은 체제 (iii)이므로 식 (1)은 이 축에 대해 아무 가격도 매기지 않는다. 그렇다면 검증할 예측은 “모델이 자기 태스크에 더 잘하게 되어도 이탈은 닫히지 않는다”이다.

고정된 캐시 학습셋을 잘라 n 을 쓸면(→ latent가 조건 간 동일), collapse ratio는 단조 증가한다: n=150,300,600,1200 에서 2.5\times,3.9\times,5.4\times,9.9\times.

데이터 규모 스윕(Fig. 3) — 패널 a가 읽어야 할 양이다. 데이터가 늘면 학습한 인코딩의 성능만 좋아지고 동등한 인코딩은 제자리다. 패널 b(collapse ratio)는 두 곡선의 몫이므로 “불일치가 커지는 것”이 아니라 “고정된 불일치의 비용이 커지는 것” 으로 읽어야 한다.

저자들이 이 숫자를 스스로 깎아내리는 대목이 중요하다. 비율만 보면 과장이 된다. cross-encoding 코사인은 같은 스윕에서 평평하다: 0.357, 0.337, 0.374, 0.370. 데이터가 많아진다고 예측기가 자기 자신과 더 불일치하지는 않는다. 다만 canonical 모델은 날카로워지고 held-out 모델은 그대로라, 같은 불일치가 더 비싸질 뿐이다. 그래서 스윕이 지지하는 주장은 더 약하고 더 유용한 쪽 — 결함은 규모에 의해 증폭되는 게 아니라 규모에 불변이다. n=1200 에서 예측기는 본 인코딩에서 8배 좋아지고 못 본 인코딩에서는 전혀 안 좋아진다.

최적화·용량 축도 같은 패턴이다(Table 5).

축	변화	From → To
Data	n=150\to1200	collapse 2.5\times \to 9.9\times
Optimization	800\to8000 steps	\cos 0.370 \to 0.242
Capacity	hidden 1024/2 \to 2048/3	\cos 0.370 \to 0.125

다만 저자들은 여기에도 단서를 단다: 더 크고 더 오래 학습한 teacher는 자기 인코딩에서도 더 나쁘므로 둘 다 부분적으로 1200개 예제에 과적합하고 있다. 방어 가능한 절반은 코사인 비교뿐이며, 깨끗한 용량 주장에는 canonical 정확도를 맞춘 비교가 필요한데 그건 없다고 명시한다. 그래서 “용량 열은 독립적 증거로 읽지 않는다” 고 적는다.

I(Y;G\mid Z) 를 직접 찍어보기

\lambda 에 따른 orbit-constancy 비용(Fig. 4) — \lambda=0 대비, 음수가 좋다. 왼쪽: n 이 커지면 이득이 줄다가 결국 부호가 뒤집힌다. 오른쪽: 최적화를 더 하면 같은 일이 더 일찍 일어난다.

n=150 에서 강한 페널티(\lambda=256)는 rank −6.59 만큼 이득이고, n=1200 에서는 +0.38 만큼 손해다. 부호가 n 과 함께 뒤집히는데, 이게 식 (1)의 우변이 예측하는 바다. 교차점 아래에서 orbit-constancy는 공짜 정규화이고, 위에서는 실제 비용이다. 논문이 권하는 운용점 \lambda\in[4,16] 은 교차점 아래에 있다.

5.3 — 왜 이 축이 어려운 경우인가

재표기가 비용을 발생시키는지는 변환이 아니라 표현이 결정한다. 부록 D.6의 네 수치 축이 통제군 역할을 한다.

축	계열	Teacher dispersion	감소	인증서
Angle wrap (Kepler)	gauge	8.6\times10^{-15}	—	bijective
Time origin (Lorenz)	gauge	4.2\times10^{-12}	—	bijective
Circular shift	gauge	2.6\times10^{-2}	100%	quotient
Node permutation (Ax=b)	exchangeability	3.3\times10^{2}	83.4%	quotient

앞의 두 축에서 이탈이 사실상 0인 이유는 모델이 강건해서가 아니다. Kepler featurization이 각도를 (\sin M,\cos M) 으로 인코딩하므로 M 과 M+2\pi k 는 문자 그대로 같은 입력이고, Lorenz 예측기는 절대 시각을 받지 않는다. 변환이 애초에 모델에 도달하지 못한다.

부록 H.2의 분자동역학 절제가 변수를 고립시켜 같은 점을 찍는다: 같은 시스템·같은 데이터·같은 기준에서, 불변 인코더를 raw 좌표로 바꾸는 것만으로 판정이 make에서 break로 뒤집힌다.

이게 식 (1)의 architectural 항 L(\mathcal{F})-L(\mathcal{F}_{\mathrm{inv}}) 를 눈에 보이게 만든 것이다. 격차는 표현이 그 구별을 이미 해소하지 못했을 때 정확히 그때 존재한다. 그리고 절대/상대 액션 인코딩이 호기심거리가 아니라 어려운 경우인 이유이기도 하다 — 카메라 각도나 시간 원점이라면 nuisance를 featurize해 없앨 수 있고, 그래야 한다. 여기서는 두 파라미터화가 모두 자연스럽고 어느 쪽도 정준적이지 않으며, 액션 윈도우를 숫자 벡터로 받는 예측기는 어떤 관례가 그 숫자를 만들었는지 알 방법이 없다. 손을 뻗을 featurization이 없고, 남는 건 격차를 재고 학습으로 지우는 것뿐이다.

비판적으로 보면

강점

가장 큰 강점은 “무엇을 측정하고 있는지”에 대한 자기 검열이다. 제안한 네 축 중 셋을 자기 테스트로 기각하고 그 사실을 논문의 중심 논증으로 쓴다. 대부분의 논문은 실패한 축을 조용히 지운다.
불리한 결과를 먼저 말한다. “페널티는 평균 태스크 성능을 개선하지 않는다”, “용량 열은 독립 증거가 아니다”, “collapse ratio는 불일치 증가가 아니라 비용 증가다”, “pooled 학습이 정확도를 되돌린 건 우리 공이 아니다”까지 전부 본문에 적혀 있다. 이 정직성 덕에 남은 주장(꼬리·롤아웃·PushT)의 신뢰도가 올라간다.
“정보 손실 없음”을 인증해 covariate shift 논쟁을 차단한 설계가 깔끔하다. R^2=0.996(결합) vs 0.757(액션 단독)의 대비는 그 자체로 실무자에게 유용한 교훈이다 — 채널을 고립시켜 검사하지 마라.
동결 인코더 선택이 진단 도구로서 논리적으로 정당화된다. 측정된 게 렌더링/augmentation 효과가 아니라 전이 데이터의 성질이라는 주장이 설계에서 나온다.
수리가 실무적으로 싸다. orbit 원소가 두 개뿐이라 augmentation 한 줄 + 코사인 페널티 한 줄이다. 그리고 논문은 이게 싼 이유(orbit이 유한하고 작음)와 어디서 그게 끝나는지(부록 D.2: S_{100} 은 \approx9.3\times10^{157} 항, 연속군은 Haar 측도 적분이라 유한 합이 아예 아님)를 명시한다.
수리 위치(손실 vs 출력)에 대한 이론적 구분이 실제 실험 숫자(11.55 vs 5.25)와 맞아떨어진다. 이론과 측정이 같은 방향을 가리키는 흔치 않은 사례다.

약점

실험 규모가 매우 작다. n_{\mathrm{train}}=1200, n_{\mathrm{test}}=384, hidden 1024 × depth 2 MLP, 800 steps, seed 3개. 저자들도 “3 seeds is thin”이라며 크기가 아니라 방향을 보고한다고 적지만, “액션 표기가 world model을 망가뜨린다”는 일반 주장을 이 규모로 지탱하려면 독자 쪽에서 상당한 외삽이 필요하다.
evaluated model이 world model이라기엔 얇다. 동결 latent 위의 2층 MLP는 Dreamer·TD-MPC2·V-JEPA 2 같은 실제 시스템과 용량·학습 방식이 크게 다르다. 논문은 복원 항이 있으면 결함이 “부분적으로 가려진다”고 주장하지만, 가려짐의 정도는 측정되지 않았다. “실제 배포되는 world model에서도 이만큼인가”는 열린 질문이다.
평가가 전부 오프라인이다. 저자들 스스로 한계로 적는다 — 액션 선택은 제어의 대리지표이고, 롤아웃도 latent 안에서만 닫힌다. “제어 실패”라는 강한 표현이 실제 폐루프 제어 실패로 확인되지는 않았다.
적격성 probe가 선형 ridge regression이다. 그래서 선형 재라벨링을 자동으로 인증하고(여기서 a_{\mathrm{rel}}=a_{\mathrm{abs}}-s_t 는 정확히 선형이다), 비선형 전단사는 기각할 수 있다. 논문의 인증서가 커버하는 범위가 생각보다 좁다는 뜻이다.
핵심 metric인 retrieval rank의 안정성에 단서가 붙어 있다. 재현성 진술에 “rank는 부동소수점 순서 때문에 CPU/GPU 간 2~4% 달라지며 dispersion 측정치는 소수 셋째 자리까지 일치한다” 고 적혀 있다. 그래서 논문의 rank 기반 수치(특히 collapse ratio)는 dispersion 수치보다 덜 단단하다. 다행히 논문의 결론은 대부분 코사인(=dispersion) 쪽에 걸려 있다.
PushT가 불편한 데이터점이다. 수리가 축을 못 고치고(\lambda=0 최악 -0.348), 페널티를 넣어도 완전히 못 닫으며, canonical 성능을 지불한다. 부록 H.1에는 더 곤란한 사실도 있다 — PushT에서는 액션을 추가하는 것 자체가 검색 rank를 악화시킨다(179.9\to349.9)고 보고되어, 액션 표현이 인코더의 latent 기하와 호환되지 않는 break 판정을 받는다. 그렇다면 PushT의 극적인 직교성 수치(\cos=0.067)가 “액션 표기 불변성 결함”인지 “애초에 액션 조건부여가 작동하지 않는 설정”인지 구분하기 어렵다. 논문은 teacher가 약하다는 점은 인정하지만 이 두 해석을 명시적으로 분리하지는 않는다.
코드가 이름만 있고 링크가 없다. “Mezzanine을 릴리스한다”, “모든 결과가 동반 저장소에서 재생성된다”고 쓰여 있는데 v1에 URL이 없다. 재현성 진술이 구체적일수록(캐시 fingerprint, results.json, 실행 디렉터리 목록) 링크 부재가 더 눈에 띈다. 이 리뷰에 코드 검증을 붙이지 못한 직접적 원인이다.
“repair가 쉬운 부분”이라는 프레이밍은 맞지만, 그 대가로 논문의 실용적 기여가 얇아진다. 실무자 입장에서 얻는 처방은 결국 “두 표기로 augment하고 코사인 일치 페널티를 걸어라”이고, 이건 축을 알고 나면 누구나 첫 번째로 시도할 방법이다(논문도 \lambda=0 을 “any practitioner would reach for”라 부른다). 진짜 기여는 §3의 인증 절차인데, 그 절차를 자동화하는 부분은 미래 작업으로 남겨져 있다(“Proposing transformations automatically … is the obvious thing to build next”).

판단

진단 프레임워크로서는 좋고, 실증 규모로서는 약하다. 이 논문에서 가져갈 것은 숫자가 아니라 질문의 순서다 — “불변인가?”를 재기 전에 “이 변환에 대해 불변을 요구할 자격이 있는가?”를 먼저 물어야 하고, 그 답이 parity gap이라는 정량으로 나온다는 것. 액션 표기를 바꿔 넣어보는 감사 절차 자체는 오늘 당장 아무 로봇 world model에나 적용할 수 있고, 비용이 거의 0이다. 그게 이 논문의 실질적 가치라고 본다.

요약

로봇 액션을 절대 관절 목표로 쓰느냐 상태 대비 델타로 쓰느냐는 컨트롤러 사정으로 정해지는 표기 문제인데, 액션 조건부 world model은 이를 말없이 물려받고 표기를 바꾸면 무너진다 — 검색 2.6~13.4배 붕괴, 목표 조건 액션 선택 53.1%→15.4%, PushT에서 거의 직교.
이것이 단순 분포 변화가 아닌 이유는 정보가 하나도 안 줄었기 때문이다(결합 입력 R^2=0.996). 논문은 이걸 증명하는 테스트를 제시하고, 그 테스트로 자기가 제안한 네 축 중 셋을 기각한다. 테스트는 반드시 결합 입력에서 해야 한다(액션 단독은 R^2=0.757 로 오판).
Theorem 2가 불변성 강제의 가격을 parity gap \delta 로 정확히 매긴다. 복원가능성은 인증서이지 게이트가 아니다.
수리는 목적함수의 orbit 평균 + 불일치 페널티. 평균이 출력에 놓이면 안 되는 이유는 예측이 방향값이라 Jensen 보장이 깨지기 때문이고(Prop. 3, 명시적 반례), 실험이 그대로 확인한다(orbit-mean student rank 11.55 vs 5.25).
정직한 배분: pooled 학습만으로 평균 태스크가 회복된다(rank 61.5→5.98). 페널티가 사는 건 꼬리다 — 최악 일치도 0.779→0.995, 롤아웃에서 침식되지 않고 버티는 최악값. 대신 canonical 정확도 약 3점.
결함은 데이터 규모에 불변이다(코사인 0.357/0.337/0.374/0.370 평평). 그리고 이 축이 어려운 이유는 두 파라미터화 모두 자연스럽고 어느 쪽도 정준적이 아니라서 featurize로 없앨 방법이 없기 때문이다.
한계는 저자들이 대부분 스스로 적는다: 작은 MLP·3 seed·오프라인 평가·선형 probe. 여기에 리뷰어로서 덧붙이자면 코드 링크 부재와 PushT의 해석 모호성(액션 조건부여 자체가 break 판정을 받은 설정)이다.