📃DSP 리뷰

dexterity

world-model

mpc

exploration

Dexterity from Supervised Play

Published

October 15, 2026

Paper Link (arXiv:2610.22340v1): 이 리뷰는 v1 (2026-10-15 제출, 8쪽) 기준이다. 수치는 PDF를 정본으로 읽었고, 그림 원본과 캡션 매핑은 arXiv e-print 소스에서 확인했다. 그림 번호는 논문 Fig. 1~10과 같다.
Project Page: 사람 play, 자율 play, 실기 재배향 8회, Push-T 계획 과정 영상이 있다. 아래에 넣은 영상은 모두 이 페이지의 static/videos/*.mp4(H.264, 원본 그대로)다.
Code (GitHub, FAR-hands/play_policy): 시뮬레이션 릴리스다(2026-10-21 확인, 커밋 e41cf7c). Isaac Lab 위의 시뮬 in-hand 재배향(Task B)용 play policy·world model 체크포인트, 사람 teleop 2개 테이크와 자율 play 5.0시간(라벨 시간) 데이터셋, MPC 하네스, Manus 글러브 teleop·리타게팅 코드가 들어 있다. PPO·hindsight BC·goal-conditioned BC·증류 정책·Push-T·RGB·실기 코드는 없다. 라이선스는 README에 “TODO (authors)”로 비어 있다.
Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma, Ruoshi Liu
Amazon Frontier AI & Robotics (FAR) · University of Maryland, College Park
arXiv preprint, 2026 (cs.RO, 학회 채택 표기 없음)

💡 다지 손이 접촉이 많은 경험을 스스로 모으게 하려면 “안전하고 쓸모 있는 놀이”를 규칙으로 설계해야 하는데, 그건 어렵다. DSP는 놀이를 목표 없는 행동 모방 문제로 보고, 몇 분의 사람 play로 play policy를 학습해 로봇이 직접 데이터를 모으게 한다.
⚙️ play policy가 모은 전이 데이터로 행동 조건부 world model(Diffusion Forcing)을 학습하고, 추론 때는 같은 play policy가 1,024개 행동 청크를 제안하면 world model이 결과를 예측해 목표에 가장 가까워지는 후보를 실행하는 MPC를 돌린다. 선택적으로 world model 안의 MPC를 목표 조건부 정책으로 증류한다.
🎯 시뮬 큐브 재배향(128회)에서 SR@0.6 rad 91.4%(hindsight BC 53.9%), 같은 성공률대의 PPO는 약 490배 많은 프레임(344M)이 필요했다. 실기 Sharpa 손에서는 SR@0.6 rad 90.0%(play policy 단독 38.3%). 다만 논문 자신의 결론 절은 실기 결과를 “provisional”이라 부르고 Push-T·RGB 결과가 아직 확정되지 않았다고 적는다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇이 다지 손 조작을 배우려면 접촉이 많은 상호작용 데이터가 많이 필요하다. 사람 시연은 비싸고, RL은 시뮬레이터와 잘 짠 보상이 있어야 한다. 실기에서 로봇이 스스로 탐색하게 하면 하드웨어가 망가질 수 있다. 저자들의 가설은 단순하다. “놀이(play)”는 규칙으로 정의하기 어렵지만, 목표가 없는 상태 조건부 확률 정책으로 보면 그냥 행동 모방(BC)으로 배울 수 있다.

DSP(Dexterity from Supervised Play)는 이 가설로 네 단계를 잇는다. (1) 사람이 Manus 글러브로 목표 없이 큐브를 갖고 노는 teleop 데이터로 diffusion transformer play policy를 학습한다. (2) 그 정책을 로봇에서 자율로 돌려 몇 시간 분량의 전이 데이터를 모은다. (3) 그 데이터로 행동 조건부 world model을 학습한다. (4) 목표가 주어지면 play policy가 행동 후보를 내고 world model이 그 결과를 예측해 고르는 MPC를 돌린다. (5) 선택적으로 이 MPC를 world model 안에서 굴려 목표 조건부 정책으로 증류한다. 기존 learning-from-play 연구가 play를 고정된 모방 데이터셋으로 썼다면, DSP는 play를 데이터 수집기이자 MPC의 제안 분포로 재사용한다는 점이 다르다.

DSP 파이프라인 개요(Fig. 1). ① 목표 없는 teleop으로 play policy 학습, ② 자율 play로 데이터 수집, ③ Diffusion Forcing world model, ④ play policy 제안 + world model 예측 + 목표 거리 순위로 MPC, ⑤ world model 안의 self-play로 목표 조건부 정책 증류(선택).

사람 play(프로젝트 페이지 영상). 글러브를 낀 사람의 손 동작을 팔에 달린 Sharpa 손이 따라 하며 큐브를 굴린다. 영상 첫 장면에서는 사람의 다른 손이 큐브를 로봇 손 위에 올려 둔다.

핵심 방법론:

play policy는 관측 이력 o_{\le t}로 길이 H의 행동 청크를 샘플링한다. 목표도 보상도 없다.

\hat a_{t:t+H-1} \sim \pi_{\text{play}}(\cdot \mid o_{\le t})

world model \mathcal M_{\text{wm}}은 최근 C개 관측과 행동 청크로 다음 K개 관측을 예측한다. 추론 때 play policy에서 후보 N개를 뽑아 각각을 world model로 굴리고, 예측 구간 중 목표에 가장 가까워지는 순간의 보상으로 점수를 매긴다.

\hat o^{(i)}_{t+1:t+K} = \mathcal M_{\text{wm}}\big(o_{t-C+1:t},\, \hat a^{(i)}_{t:t+K-1}\big),\qquad r_i = \max_{1\le k\le K} r\big(\hat o^{(i)}_{t+k}, o_g\big),\qquad i^\star = \arg\max_i r_i

선택한 청크의 앞 E개 행동만 실행하고 다시 계획한다. 목표는 오직 보상 r로만 들어가고, play policy와 world model은 끝까지 목표를 모른다. 시뮬 설정은 N=1{,}024, 50스텝 예측, 25스텝 실행이다.

주요 결과:

시뮬 큐브 재배향(Task B, 128회, 시작–목표 >90°): SR@0.4/0.6/0.8 rad가 play policy 단독 15.6/36.7/54.7%, hindsight BC 25.8/53.9/71.9%, DSP 72.7/91.4/96.1%. 같은 701K 프레임의 PPO는 0.0/0.0/1.6%, SR@0.6 rad가 비슷해지는 PPO 체크포인트는 344M 프레임(약 490배)에서 86.7%다. 상한으로 그린 PPO-unlimited는 SR@0.6 rad 96.9%로 DSP보다 높다.
실기 큐브 재배향(Task C): 관절 랜덤워크 0/0/0%, 같은 각속도의 SO(3) 랜덤워크 6.3/11.4/17.5%, play policy 20.9/38.3/54.1%, DSP 68.6/90.0/97.1%. 시도 횟수는 논문에 없다.
Push-T(Task A, 10k 프레임 teleop 예산): SR@0.90 / SR@0.95가 hindsight BC 74/36%, DSP 98/74%.
world model 데이터 스케일링(실기): 자율 play 0.54 → 5.11시간에서 50스텝 회전 MAE 34.96° → 28.40°(−18.8%).
증류 정책: 40.6/72.7/86.7%로 0.8 rad에서 MPC의 90%를 회복, 실행 시간 21.8 ms.

결론:

새로운 것은 “사람 시연을 과제 해법이 아니라 상호작용을 이어가는 법으로 쓴다”는 역할 전환이다. 같은 play policy가 데이터 수집기와 MPC의 행동 prior를 겸하므로, 목표 조건은 계획 시점의 보상 하나로 들어간다. 다만 이 v1 원고는 미완성 흔적이 뚜렷하다. 초록의 실기 수치는 실제로는 시뮬 수치이고, 결론 절은 실기 결과가 아직 잠정적이며 Push-T·RGB 결과와 핵심 비교(curiosity, play policy·world model 구조 비교)가 “remain to be inserted”라고 적는다. 아이디어는 설득력 있지만, 숫자는 저자 스스로 확정하지 않은 단계로 읽어야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

놀이를 공학으로 만들지 말고 흉내 내게 하자. 그리고 그 흉내 낸 놀이를 계획의 후보 생성기로 다시 쓰자. 15분 남짓의 목표 없는 사람 play에서 배운 정책은 혼자서도 큐브를 계속 굴리며 접촉 데이터를 모으고, 그 데이터로 배운 world model은 “이 놀이 동작을 지금 하면 큐브가 어디로 갈지”를 예측한다. 목표가 주어지면 play policy가 1,024개의 놀이 동작을 제안하고, world model이 그중 목표에 가장 가까워지는 것을 고른다. 시뮬에서 이 조합은 hindsight BC보다 SR@0.6 rad 37.5%p 높고, 같은 성공률대의 PPO보다 약 490배 적은 상호작용으로 그 수준에 이른다. 이 리뷰의 판단은 두 가지다. 아이디어의 구조는 깔끔하다. 그런데 v1 원고는 저자들이 결론에서 직접 인정하듯 아직 확정되지 않은 실험 상태로 올라왔고, 초록·캡션·표 라벨에 그 흔적이 여럿 남아 있다.

⚠️ 이 원고를 읽기 전에. 논문 §VI(결론)는 다음과 같이 쓴다. “A provisional hardware summary is consistent with a benefit from world-model search, but requires a frozen protocol and uncertainty before supporting a final task-success claim. The final evaluation includes both Push-T and RGB reorientation; their frozen quantitative results, together with curiosity and matched play-policy and world-model architecture comparisons, remain to be inserted.” 즉 본문의 실기 결과(Fig. 7), Push-T(Table I), RGB(Table II)는 저자 기준으로 아직 “frozen”이 아니다. 아래에서 인용하는 수치는 모두 논문이 v1에 실은 값이며, 이 리뷰가 확인한 값이 아니다.

배경: 왜 놀이를 배우려 하는가 (§I, §II)

저자들의 출발점은 발달심리학의 관찰이다. 아이들은 놀면서 손재주를 익힌다(서론이 인용하는 Needham et al. 2002 “sticky mittens” 연구). 로봇에게도 목표 없는 놀이는 과제와 무관한 상호작용의 원천이 될 수 있다. 문제는 놀이를 설계하는 것이다. 기존 연구는 명시적 휴리스틱으로 놀이를 정의하거나, 하드웨어가 망가지지 않게 안전 경계를 손으로 정했다. 저자들은 둘 다 확장성이 없다고 본다.

관련 연구 절은 네 갈래를 정리한다.

갈래	대표 예(논문이 인용한 것)	저자들이 보는 한계
상호작용과 계획 기반 RL	MuZero, hide-and-seek autocurricula, 탁구 로봇(Dürr et al. 2026)	잘 정의된 보상·시뮬레이터·게임 규칙이 필요
curiosity·내적 동기	예측 오차 curiosity(Pathak et al. 2017, 2019), RND(Burda et al. 2018)	여전히 휴리스틱이고, 안전하고 물체 중심적인 접촉으로 탐색을 유도하지 않음
learning from play	Play-LMP(Lynch et al. 2020), 놀이로부터 affordance 학습(Borja-Diaz et al. 2022)	play를 고정된 모방 데이터셋으로만 취급
다지 손 조작	범용 재배향(Chen et al. 2022, Qi et al. 2023), DeXtreme, OpenAI 큐브	잘 다듬은 과제 보상과 수억 번의 시뮬 상호작용이 필요

DSP의 차별점 주장은 마지막 열을 뒤집는 데 있다. play를 데이터셋이 아니라 재사용 가능한 자율 수집 장치로 쓰고(learning from play 대비), 보상 없이 사람의 놀이 구조를 빌려 탐색하며(curiosity 대비), 과제별 보상·시뮬 없이 실기 데이터만으로 동역학을 배운다(다지 RL 대비).

서론은 기여를 네 개로 적는다. ① supervised play 정식화, ② 실기 자율 play 데이터가 0.5 → 5시간으로 늘면 held-out world model 예측이 단조 개선된다는 스케일링, ③ play policy를 MPC 행동 제안 모델로 쓰면 조작 성능이 “significantly” 오른다는 것, ④ world model self-play를 통한 정책 증류. 뒤의 비판 절에서 ③이 실험적으로 어디까지 분리됐는지를 따로 본다.

방법 상세 (§III)

DSP의 네 단계(Fig. 2). (a) 사람 teleop에 대한 BC로 목표 없는 play policy 학습, (b) play policy의 자율 상호작용으로 관측–행동 전이 수집, (c) 전이로 행동 조건부 world model 학습, (d) play policy가 후보 행동을 내고 world model이 결과를 예측해 목표 보상이 가장 높은 후보를 실행.

① Supervised Play (§III-B)

o_t는 로봇과 물체의 관측, a_t는 기록된 관절 명령이다. play policy는 diffusion transformer(논문은 DiT, Peebles & Xie 2023을 인용)이고, 목표 없는 사람 teleop \mathcal D_{\text{human}}에 대한 BC로 학습한다. 출력은 식 (1)의 행동 청크다. 저자들이 강조하는 문장은 “Safe behavior are not explicitly engineered but implicitly demonstrated in the data.” 이다. 안전은 규칙이 아니라 데이터에 암묵적으로 들어 있다는 주장이다.

② Autonomous Play (§III-C)

이 정책을 로봇에서 자율로 돌려 (o_t, a_t, o_{t+1}) 전이를 모은다. 논문 서술은 짧다. “little human supervision”이 필요하고 여러 로봇·환경에서 병렬화할 수 있다고만 쓴다. 실기에서 큐브가 떨어지면 누가 어떻게 되돌려 놓는지, 몇 번 개입했는지는 본문에 없다(비판 절에서 다시 본다).

실기 자율 play(프로젝트 페이지 영상). 사람 없이 play policy가 목표 없이 큐브를 굴린다.

③ World Modeling (§III-D)

world model은 최근 C개 관측과 길이 K의 행동 청크로 미래 관측을 예측한다(식 2). 학습 목적은 시점별 가중 손실의 일반형으로만 적혀 있다.

\mathcal L(\phi) = \mathbb E_{(o,a)\sim\mathcal D_{\text{play}}}\Big[\sum_{k=1}^{K}\lambda_k\, \ell(\hat o_{t+k}, o_{t+k})\Big]

논문에 따르면 실제 학습은 Diffusion Forcing(Chen et al. 2024)이다. 시점마다 독립적인 노이즈 수준을 주고 인과적으로 denoise하므로, 관측된 과거는 깨끗하게 조건으로 두고 미래만 점진적으로 denoise하며 후보 행동열 아래서 자기회귀 롤아웃을 할 수 있다. \lambda_k, \ell, C, K의 실제 값은 논문에 없다. (공개된 시뮬 world model은 이 서술과 다르다. 아래 대조표 참고.)

④ Model Predictive Control (§III-E)

Ping에서 본 식 (4)(5)가 전부다. 핵심 설계는 후보를 무작위나 CEM이 아니라 play policy에서 뽑는 것이다. 저자들의 표현으로 play policy는 “시연된 상호작용 행동으로 탐색을 집중시키는 행동 prior”다. 점수는 예측 구간 전체가 아니라 구간 중 최선의 순간(\max_k)이다. 실행은 앞 E개(1\le E\le K)만 하고 재계획한다. 보상 r(o,o_g)는 “관측이 목표를 얼마나 만족하는가”로만 정의돼 있고, 재배향에서 무엇인지는 본문에 명시되지 않는다(Fig. 1의 “Rank by distance to goal”과 공개 코드로 보면 측지 거리다).

Push-T에서의 play 기반 계획(Fig. 9). (a) play policy가 현재 상태에서 후보 행동 청크(주황)를 제안하고, (b) world model이 T 블록의 궤적(파랑)을 예측하며, MPC가 목표 쪽으로 블록을 옮기는 최선의 후보(노랑)를 고른다.

시뮬 재배향 한 번의 재계획에서 뽑힌 후보(프로젝트 페이지의 “Sampled chunk b, closest to the goal” 영상).

⑤ Policy Distillation (§III-F)

MPC는 매 재계획마다 후보 1,024개를 평가하므로 느리다. 그래서 기록된 관측 이력과 샘플한 목표 o_g에서 시작해 world model 안에서 MPC를 굴리고, 선택된 행동 접두부 \hat a^\star = \hat a^{(i^\star)}_{t:t+E-1}를 라벨로 모은다. 이력은 world model 예측으로 전진시킨다. 이 데이터 \mathcal D_{\text{distill}}=\{(h,o_g,\hat a^\star)\}로 목표 조건부 정책을 BC한다.

\mathcal L_{\text{distill}}(\theta) = -\mathbb E_{\mathcal D_{\text{distill}}}\big[\log \pi_\theta(\hat a^\star \mid h, o_g)\big]

논문은 이것을 “self-play”라 부르지만, 게임 이론적 의미의 자기 대국은 아니다. 학습된 모델 안에서 계획기를 돌려 그 출력을 모방하는 계획기 증류(guided policy search나 Dyna식 상상 롤아웃의 계열)로 읽는 편이 정확하다.

논문이 비워 둔 값과 공개 코드의 값

본문에는 play policy·world model의 크기와 H, C, K, MPC의 세부, “counted frames”의 정의가 거의 없다. 공개 레포는 시뮬 Task B에 한해 이 빈칸 상당수를 채운다. 아래 표는 레포 문서(README, quickstart/README.md, docs/DATASET.md)와 isaac/mpc_core.py·isaac/coverage_metrics.py의 docstring을 읽은 것이다.

🔍 정적 확인, 실행 검증 아님. 아래 오른쪽 열은 업스트림 커밋 e41cf7c(2026-10-21 확인)의 문서·소스 주석 기준이다. 코드를 돌려 확인한 값이 아니며, 실기 시스템(Task C)의 설정이 같다는 보장도 없다. 코드 정독은 별도로 진행한다.

항목	논문	공개 레포(시뮬 릴리스)
사람 play 분량	초록 “minutes”, 시뮬 비교군 설명에 “15-min teleoperation data, same data amount as our human-collected play data”	teleop 2개 테이크, 29,474프레임. 라벨 시간 8.2분, 시뮬 물리 시간 2.0분, 조작자 벽시계 시간 18.1분(리셋 포함 19.9분)
“701K counted frames”	정의 없음	자율 play 672,000(128 에피소드) + teleop 29,474 = 701,474(필자 합산). 논문의 701K와 일치
데이터 “시간”	실기 0.54~5.11 h(Fig. 10)	시뮬은 프레임/60 Hz의 라벨 시간. 한 프레임은 물리 1/240 s라 데이터가 4배 슬로모션이다. world model 학습분 3.11 h(라벨) = 0.78 h(물리)
play policy	DiT, H 미기재	DiT 7.5M 파라미터, 200스텝 청크, 자율 play 때 50스텝 실행 후 재샘플
world model	Diffusion Forcing(시점별 독립 노이즈, 인과적 denoise, 자기회귀 롤아웃), C·K 미기재, “미래 관측” 예측	DiT 39M 파라미터, 3프레임 이력(stride 3)과 50스텝 행동으로 큐브 자세 50개를 예측. `play_policy/model.py`의 `PlayDPWorldModel`은 샘플마다 노이즈 수준 하나(`t`가 `(B,)`)를 50스텝 전체에 주고, 인과 마스크 없는 전역 self-attention으로 한 번에 denoise한다
MPC 후보	play policy에서 N개 샘플	1,024개 중 512개만 새로 샘플, 나머지 512개는 최근 3회 재계획의 우수 후보(elite)를 시간 정렬하고 행동 연속성으로 걸러 재사용
점수 r	“목표를 얼마나 만족하는가”	예측 구간 중 목표까지 측지 각도의 최솟값
낙하 처리	“Dropped cubes are respawned”	자율 play 128 에피소드에서 낙하 794회(평균 6.2회, 모든 에피소드에서 1회 이상). teleop에서는 리셋 37회 구간을 ±1.5 s씩 잘라냄
coverage 지표(Table III)	정의 없음	S² 프록시(큐브 한 축, 288칸)와 Euler 10° 격자 두 스크립트가 있고, 둘 다 docstring에서 “상대 비교용”이라 적는다. 어느 쪽이 Table III인지는 확인 못 함
play policy 단독 기준선	15.6 / 36.7 / 54.7%(Fig. 5a)	README가 “Paper reference”로 적은 값은 32.8 / 53.9 / 72.7%, 실행 길이 50스텝(MPC는 25스텝)

세 행이 특히 중요하다. 첫째, 공개된 world model은 논문이 서술한 Diffusion Forcing이 아니다. 시점마다 독립적인 노이즈 수준을 주고 인과적으로 denoise한다는 §III-D의 설명과 달리, 레포의 학습 손실은 미래 청크 전체에 같은 노이즈 수준을 쓰는 표준 DDPM이고, 과거 상태는 전역 조건으로만 들어가며, 샘플링은 50스텝을 한 번에 낸다. 행동 조건부 “청크 diffusion”에 가깝다. 논문 결과를 낸 모델이 이 공개 체크포인트라는 것은 레포 README의 주장이므로, 적어도 시뮬 Task B의 수치는 Diffusion Forcing 없이 나온 것으로 읽어야 한다(실기 모델은 공개되지 않아 확인할 수 없다). 둘째, elite 재사용은 논문 어디에도 없는 MPC 구성 요소다(논문 Table IV 설명의 “scoring and refinement”에서 refinement가 이것일 가능성이 있지만 본문은 설명하지 않는다). 셋째, play policy 단독 기준선이 논문 그림과 레포 README에서 다르다. 레포 값으로 계산하면 MPC가 더하는 몫은 SR@0.4/0.6/0.8 rad에서 +39.9/+37.5/+23.4%p로, 논문 그림 기준(+57.1/+54.7/+41.4%p)보다 작다(필자 계산). 어느 쪽이 맞는지, 두 수치가 서로 다른 프로토콜인지는 논문과 레포 어디에도 설명이 없다.

직관: 놀이는 어휘를, world model은 문법 검사를 맡는다

이 방법이 왜 통하는지는 역할 분담으로 보면 분명해진다. play policy는 “이 손으로 이 큐브에 할 수 있는, 안전하고 접촉이 유지되는 동작”의 분포를 갖고 있다. 하지만 목표를 모른다. world model은 목표를 직접 풀지 못하지만, 주어진 동작의 결과를 대략 예측할 수 있다. MPC는 놀이 동작 1,024개 중에서 결과가 목표에 가장 가까운 것을 고를 뿐이다. 무작위 행동 공간에서 탐색하면 대부분의 후보가 큐브를 떨어뜨리거나 아무 일도 일으키지 않을 텐데, play policy 제안은 처음부터 “말이 되는 동작”만 내놓는다.

play 기반 계획에서 나타나는 기술들(Fig. 3). MPC가 목표 없는 play policy의 동작을 예측 결과로 골라 yaw 회전, 모서리·꼭짓점 뒤집기, 미세 조정, 복합 동작을 만든다. 각 열에서 시간은 아래로 흐르고, 노란 화살표는 물체 움직임이다.

복합 동작(프로젝트 페이지 “Composite” 영상). 여러 회전을 이어 붙인다.

흥미로운 점은 world model이 정확하지 않아도 된다는 것이다. Fig. 10의 실기 world model은 5.11시간 데이터에서도 50스텝 회전 MAE가 28.40°다. 이는 가장 엄격한 성공 문턱 0.4 rad(22.9°)보다 크고, “아무것도 안 변한다”고 예측하는 persistence 기준선(38.60°)보다 26.4% 낮을 뿐이다. 그런데도 실기 SR@0.4 rad가 68.6%다. 이 간극을 메우는 장치는 셋으로 보인다(필자의 해석이며 논문이 직접 분석한 것은 아니다). ① MPC는 절대 예측이 아니라 후보 간 순위만 맞으면 된다. ② 25스텝마다 재계획하므로 50스텝 끝의 오차는 실행되지 않는다. ③ 점수가 구간 중 최선 순간이라 “목표 근처를 지나가는” 후보를 고르는 데 유리하다. 저자들도 실기 절에서 “replanning can correct local model and execution error”라고 쓴다.

반대로 이 해석은 지표의 성격도 드러낸다. 논문 Table II 설명은 지표를 anytime success라고 부르고, 레포 README는 SR을 “trial 안의 최선 오차”로 정의한다. 목표에 한 번 닿으면 성공이고, 거기 머물 필요는 없다. 점수 함수(\max_k)와 평가 지표(시도 중 최소 오차)가 같은 성질을 공유하므로, 이 조합은 “목표를 지나가는” 능력에 맞춰져 있다. 목표 자세를 유지하는 능력은 이 논문의 어떤 표도 재지 않는다.

실험 셋업 (§IV-A)

본문은 “three tasks”라고 쓰고 Task A~D 네 개를 나열한다. 정리하면 다음과 같다.

과제	환경	관측	시행	시간 예산	비교군
A: Push-T	시뮬(Fig. 6 왼쪽)	상태	미기재	미기재	BC, hindsight BC, goal-conditioned BC, RL(같은 데이터)
B: 시뮬 재배향	Isaac Lab, Sharpa 22관절	손 상태 + 큐브 자세	128(고정 시드)	2,500 제어 프레임	play policy, hindsight BC, goal-conditioned BC, PPO-TM, PPO-PM, 증류 정책
C: 실기 재배향	고정된 Sharpa 오른손, ZED 2i, 큐브 태그	고유수용감각 + 추적된 큐브 자세	미기재	120 s	관절 랜덤워크, SO(3) 랜덤워크, play policy
D: RGB 재배향	그림으로 보면 시뮬 렌더(Fig. 8)	RGB, world model은 학습된 64차원 잠재	64	3,600 프레임	(Table II 참조)

재배향 과제의 오차는 e_t = d_{SO(3)}(R_t, R_g)이고, 시뮬에서는 시작–목표 각도가 e_0 > 90°인 쌍만 균일하게 뽑는다. 짧은 변위 시행을 없애 난도를 올리는 조건이다.

실험 셋업(Fig. 6). 왼쪽: Push-T와 in-hand 큐브 재배향 시뮬 환경. 오른쪽: Tianji Marvin M6 팔에 장착한 Sharpa 손, 사람 teleop을 기록하는 Manus 글러브, 태그 붙은 큐브를 추적하는 ZED 2i 카메라.

비교군의 정의는 이렇다. hindsight BC는 play 궤적에 실제로 도달한 결과를 목표로 다시 붙여 목표 조건부 정책을 학습한다(시뮬에서는 DSP와 같은 701K 전이). goal-conditioned BC는 시뮬에서 “무작위 시작 자세에서 임의 목표 자세로 돌리는” 과제 시연 15분으로 학습한다. 사람 play와 같은 분량이다. PPO-TM은 같은 701K 프레임으로 학습한 PPO, PPO-PM은 SR@0.6 rad가 비슷해지는 344M 프레임 체크포인트다. 실기에서는 RL을 돌리지 않는다. 수백만 프레임이 필요하고 초기 탐색이 하드웨어를 망가뜨릴 수 있어서다.

실험 ①: Push-T (§IV-B1, Table I)

방법	SR@0.90 (%)	SR@0.95 (%)	Coverage
Behavior cloning	64	28	0.751
Hindsight BC	74	36	0.764
Goal-conditioned BC	60	34	0.733
RL, matched data (PPO)	0	0	0.155
DSP	98	74	0.953

SR@0.90/0.95는 T 블록과 목표의 마스크 겹침 기준이다. hindsight BC 대비 격차는 24%p(0.90)에서 38%p(0.95)로, 기준이 엄격해질수록 커진다. 저자들은 이것과 평균 coverage 0.764 → 0.953을 근거로 “모델 기반 선택이 물체를 목표 근처로 데려가는 것을 넘어 배치 정확도를 올린다”고 해석한다. 산술은 표와 맞는다.

다만 이 표의 해석에는 빈칸이 많다. 시행 횟수가 없고(모든 값이 짝수라 50회와 정합하지만 필자 추정일 뿐이다), Push-T 자율 play 데이터의 크기도 없다. “같은 상호작용 예산”이라는 RL 비교군의 예산이 얼마인지 알 수 없다. 또 표는 BC와 goal-conditioned BC의 출처로 Diffusion Forcing(Chen et al. 2024)을 인용하는데, 이는 world model 학습법이지 BC 정책이 아니다. Push-T 정책의 표준 참조인 Diffusion Policy(Chi et al. 2023)는 참고문헌에 없다. 결론 절이 “Push-T … frozen quantitative results … remain to be inserted”라고 쓴 표가 바로 이것이다.

Push-T에서 실행된 계획(프로젝트 페이지 “Executed plan” 영상). 녹색이 목표 자세, 파란 점이 미는 끝점이다.

실험 ②: 시뮬 재배향과 RL 비교 (§IV-B, Fig. 5)

원고 구조에 먼저 짚을 점이 있다. Task B의 결과 문단은 “1) Task A: Push-T” 소제목 아래에 이어 붙어 있고, “1) Task B: Simulated Reorientation” 소제목은 뒤의 분석 절(§IV-C)에 따로 있으며 그 아래 내용 중 하나(데이터 스케일링)는 실기 데이터다. 또 Fig. 5의 캡션은 “Quantitative results of real-world object reorientation”인데, 내용은 128회 시뮬 시행과 PPO 비교다. e-print 소스에서 이 그림의 파일명은 sim_reorientation_combined.png, 라벨은 fig:sim-reorientation이다. 캡션의 “real-world”는 오기로 보인다.

시뮬 재배향 정량 결과(Fig. 5, 캡션 원문은 “real-world”라고 적혀 있으나 내용은 시뮬 Task B). (a) 128회 시행의 SR@0.4/0.6/0.8 rad. (b) 상호작용 프레임 수(로그 축) 대비 SR@0.6 rad. DSP는 701K 프레임, PPO-PM은 344M 프레임에서 86.7%.

방법	학습 프레임	SR@0.4 rad (22.9°)	SR@0.6 rad (34.4°)	SR@0.8 rad (45.8°)
Play policy (목표 없음)	약 3\times10^4(그림 판독)	15.6	36.7	54.7
Hindsight BC	701K	25.8	53.9	71.9
Goal-conditioned BC	약 3\times10^4(그림 판독)	21.9	34.4	50.0
증류 정책	(world model 안에서 1.3M 라벨)	40.6	72.7	86.7
PPO-TM	701K	0.0	0.0	1.6
PPO-PM	344M	86.7(서론 서술)	86.7	그림에 없음
PPO-unlimited	그림상 \sim4\times10^8	그림에 없음	96.9	그림에 없음
DSP	701K	72.7	91.4	96.1

모든 값은 128회 시행의 정수 비율과 정확히 맞는다(예: 93/128 = 72.7%, 117/128 = 91.4%). Play policy와 goal-conditioned BC가 Fig. 5(b)에서 약 3\times10^4 프레임에 찍혀 있는 것은 사람 teleop 29,474프레임과 정합한다(레포 기준).

planning의 가치. play policy 단독은 36.7%(0.6 rad), 같은 데이터로 목표를 다시 붙인 hindsight BC는 53.9%, MPC를 얹은 DSP는 91.4%다. 저자들의 해석은 “play 데이터에는 쓸모 있는 동작이 있지만, 재라벨링만으로는 그것을 요청된 방향으로 안정적으로 조합하지 못한다”이다. 95% Wilson 구간으로 보면 DSP [85.3, 95.1]과 hindsight BC [45.3, 62.3]는 멀리 떨어져 있어 이 차이는 시드 하나로도 견고하다(필자 계산, 시행을 독립으로 가정).

RL과의 비교. 저자들은 이것을 “정밀도–상호작용 트레이드오프”라고 부른다. 같은 701K에서 PPO는 거의 0이다. PPO-PM은 344M 프레임에서 SR@0.6 rad 86.7%로 DSP(91.4%)와 비슷하고, 344M/701,474 ≈ 490.4라 “490배”는 산술상 맞다. 그런데 서론은 “PPO reaches 86.7% at both thresholds after 344M counted frames”라고 쓴다. 이게 맞다면 SR@0.4 rad에서는 PPO-PM(86.7%)이 DSP(72.7%)보다 14%p 높다. PPO-unlimited도 0.6 rad에서 96.9%로 DSP를 넘는다. 저자들도 “task-specific PPO remains stronger at fine convergence”라고 인정하므로, “490배 적은 데이터로 비슷한 성공”은 0.6 rad 문턱에서만 성립하는 주장이다. 한 가지 더. PPO의 “프레임”이 DSP의 “counted frame”과 같은 시간 단위인지는 논문에 없다. 레포 기준 DSP의 시뮬 프레임은 물리 1/240 s이고, PPO 코드는 공개되지 않았다.

증류. world model 안에서 54K개 기록 상태 × 24개 목표 = 1.3M(1,296,000) 라벨을 만들고, 새 상호작용 없이 정책을 학습한다. 0.8 rad에서 86.7/96.1 = 90.2%로 “90% 이상 회복”은 맞다. “21.8 ms, MPC 재계획보다 7배 빠름”은 Table IV의 재계획 133.6 ms(중앙값) 기준으로 나누면 6.1배다(p95 141.1 ms 기준 6.5배). 21.8 ms와 133.6 ms가 같은 하드웨어·같은 환경의 측정인지도 적혀 있지 않다(후자는 실기 측정이다). 또 증류 정책은 0.4 rad에서 40.6%로 MPC(72.7%)와의 격차가 32%p나 남는다. 정밀한 근접은 아직 계획에 기대고 있다.

실험 ③: 실기 재배향 (§IV-B2, Fig. 7, Fig. 4)

실기 대 시뮬(Fig. 7). 관절 랜덤워크·SO(3) 랜덤워크·play policy·DSP 실기와, 빗금 막대로 그린 DSP 시뮬 결과. e-print 소스에서 이 그림 파일은 figures/draft/ 폴더에 있다.

방법	SR@0.4 rad	SR@0.6 rad	SR@0.8 rad
관절 공간 랜덤워크	0.0	0.0	0.0
SO(3) 랜덤워크(play policy와 같은 평균 각속도)	6.3	11.4	17.5
Play policy	20.9	38.3	54.1
DSP (실기)	68.6	90.0	97.1
DSP (시뮬, Fig. 5와 같은 값)	72.7	91.4	96.1

저자들의 논리는 두 단계다. 첫째, SO(3) 랜덤워크는 회전 속도를 맞춘 대조군이므로 play policy가 이를 크게 이기는 것(11.4 → 38.3%)은 “움직임의 크기가 아니라 학습된 접촉·재파지 구조”가 쓸모 있는 탐색의 원천이라는 증거다. 이 대조군 설계는 이 논문에서 가장 깔끔한 부분이다. 둘째, MPC가 play 대비 +47.7/+51.7/+43.0%p를 더하고, 실기 결과가 시뮬과 모든 문턱에서 4.1%p 이내라서 방법이 “폐루프 의사결정 규칙으로서 전이된다”는 해석이다. 산술은 표와 맞는다.

Sharpa 손에서의 임의 자세 재배향 실기 시행 2개(Fig. 4). 목표까지의 각도 오차가 중간에 크게 늘었다가 결국 목표 근처(녹색 점선)로 내려오는 과정과, 오른쪽의 SO(3) 궤적.

실기 재배향 Run 7(프로젝트 페이지 영상, 2배속). 페이지 표기로 141° → 17°, 18초. 오른쪽에 목표·현재 큐브, 목표 오차 곡선, SO(3) 궤적이 표시된다.

이 결과를 읽을 때 걸리는 점이 셋 있다.

시행 횟수가 없다. DSP 실기 값 68.6/90.0/97.1%는 70회 기준 48/63/68과 정확히 맞는다. 그런데 play policy(20.9/38.3/54.1)와 SO(3) 랜덤워크(6.3/11.4/17.5)는 200회 미만의 어떤 공통 분모로도 정수 비율이 되지 않는다(필자 계산). 팔들이 서로 다른 횟수로 평가됐거나, 단순 비율이 아닌 집계일 수 있다. 70회로 가정하면 SR@0.6 rad 90.0%의 95% 구간은 [80.8, 95.1]이다.
“시뮬과 4.1%p 이내”는 통제된 비교가 아니다. 시뮬은 2,500 제어 프레임(레포 기준 물리 10.4 s, 라벨 41.7 s), 실기는 120 s 예산이다. 두 시스템은 서로 다른 데이터로 따로 학습된 별개의 모델이다. Fig. 4의 두 시행은 약 28초·53초, 프로젝트 페이지의 8회는 18~56초가 걸렸다. “같은 방법이 두 환경에서 비슷한 숫자를 낸다”는 관찰이지, sim-to-real 전이를 잰 것이 아니다. DSP는 실기에서 시뮬을 전혀 쓰지 않으므로 애초에 전이할 것이 없다.
저자 스스로 잠정 결과라고 한다. 위의 결론 절 인용대로, 실기 요약은 “frozen protocol and uncertainty”가 필요하다. 그런데 초록은 이 실기 결과 위에 확정형 주장을 세운다(아래 “헤드라인 검산” 참조).

실험 ④: RGB 재배향 (§IV-B3, Table II, Fig. 8)

Table II 행 라벨	SR@0.4 rad	SR@0.6 rad	SR@0.8 rad	본문(§IV-B3)이 부르는 이름
RGB-space DSP	34.4	53.1	76.6	“The RGB policy alone”
State-space DSP	56.2	78.1	89.1	“Adding world-model MPC”

같은 숫자가 표와 본문에서 다른 것을 가리킨다. 표는 두 행을 “RGB 공간 DSP”와 “상태 공간 DSP”라 부르고 캡션은 “RGB 방법이 물체 자세 없이 상태 공간 방법과 비교할 만한 결과”라고 쓴다. 본문은 같은 숫자를 “RGB play policy 단독”과 “거기에 world model MPC를 더한 것”이라 부르며 +21.8/+25.0/+12.5%p 향상을 계산한다(산술은 맞다). 두 해석 중 본문 쪽이 다른 수치와 더 정합한다. 표 라벨대로라면 64회·3,600프레임의 상태 공간 DSP가 128회·2,500프레임 Task B의 DSP(72.7/91.4/96.1)보다 시간이 더 길었는데도 낮은 셈이 되기 때문이다(필자 추론, 다른 시행 집합이라 단정할 수는 없다). 어느 쪽이든 이 표에서 확정할 수 있는 것은 64회 시행의 두 숫자 묶음뿐이다. 저자들도 이 실험을 “프로토콜을 맞춘 상태 대 RGB 비교가 아니라 표현 전이를 보이는 것”으로 한정하고, 결론에서는 RGB 결과가 아직 확정되지 않았다고 쓴다.

RGB world model(Fig. 8). Task D에서 픽셀 공간 world model의 3초간 예측(아래)과 실제(위).

RGB world model 예측(프로젝트 페이지 영상). 페이지 표기로 왼쪽이 실제, 오른쪽이 RGB와 손 상태로부터의 예측.

분석 (§IV-C)

실기 추론 시간 (Table IV)

단계	중앙값 (ms)	p95 (ms)
시각 큐브 자세 추적	19.4	29.4
Play policy (N=1,024 청크)	60.5	64.3
World model (1,024 × 25스텝 롤아웃)	44.2	50.3
MPC 점수·선택	23.4	26.4
재계획 전체	133.6	141.1

RTX 5090 한 장에서 돌고, 계획이 현재 행동 접두부 실행과 겹치므로 폐루프는 15~18 Hz로 돈다고 한다. 표의 world model 롤아웃은 25스텝인데 시뮬 설정은 “50스텝 예측, 25스텝 실행”이다. 실기 K가 시뮬과 다른지 본문은 말하지 않는다. 세 계획 단계의 합(128.1 ms)에 추적(19.4 ms)을 더하면 전체(133.6 ms)를 넘으므로 추적은 재계획과 병렬로 도는 것으로 보인다.

play policy 설계: 상태가 아니라 전이를 덮어야 한다 (Table III)

Transformer play policy	평균 회전 속도 (deg/s)	SO(3) Cov. (%)	Trans. Cov. (%)
Deterministic	57.8	87.6	55.4
Diffusion	124.9	98.8	84.2

결정적 정책과 diffusion 정책은 held-out 명령 오차가 비슷하지만(0.192 vs 0.181, 단위 미기재), 폐루프로 모은 데이터는 매우 다르다. 회전 속도는 2.16배, 자세 coverage는 +11.2%p, 가장 큰 차이는 전이 coverage(55.4 → 84.2%)다. 저자들은 이것을 결정적 정책의 mode averaging으로 해석한다. 같은 자세에 도달해도 훨씬 좁은 동작만 쓴다는 것이다. “오프라인 모방 오차는 world model에 필요한 전이 다양성도, MPC에 필요한 접근 경로의 다양성도 재지 못한다”는 결론은 이 논문에서 가장 이식성 높은 교훈이다.

다만 이 표는 coverage만 잰다. 결정적 play policy로 모은 데이터로 world model을 학습하고 MPC를 돌렸을 때 SR이 얼마인지는 없다. 결론 절이 “matched play-policy … comparisons remain to be inserted”라고 한 부분이 이것이다. coverage의 정의도 본문에 없다(레포의 정의는 위 대조표 참고).

자율 play 데이터 스케일링 (Fig. 10)

자율 play가 늘수록 world model 예측이 좋아진다(Fig. 10). 실기 자율 play 0.54/1.03/2.05/3.30/5.11시간에서 50스텝 회전 MAE 34.96/33.13/30.34/29.10/28.40°.

모델과 held-out 평가를 고정하고 실기 play 데이터만 늘렸다. 34.96° → 28.40°는 18.8% 감소, 최종값은 persistence 기준선 38.60°보다 26.4% 낮다(둘 다 산술 일치). 감소분 6.56° 중 4.62°(70%)가 처음 약 2시간에 나온다. 저자들은 “수확 체감이지만 계속 개선된다”고 쓴다. 이 곡선은 이 논문의 기여 ②의 근거 전부인데, 점 5개, 오차 막대 없음, 시드 수 미기재다. 그리고 world model 예측 오차의 개선이 MPC 성공률 개선으로 이어지는지는 재지 않았다. 결론 절은 “a controlled model-stack comparison shows improved goal acquisition under a fixed planner”라고 쓰지만, 그런 비교는 v1 본문에 없다(e-print 소스에는 주석 처리된 해당 문단이 남아 있다).

논의 (§V)

논의 절은 세 대비로 논지를 정리한다. BC 대비: 사람 시연의 역할이 “각 과제를 어떻게 푸는가”에서 “환경과의 쓸모 있는 상호작용을 어떻게 이어가는가”로 바뀐다. 목표 없는 행동이 구조 없는 행동은 아니다. RL 대비: 물리 지식 획득과 과제 목표를 분리한다. 목표가 계획 시점에 들어오므로 같은 prior와 world model을 재학습 없이 다른 목표에 쓴다. curiosity·무작위 탐색 대비: 새로움이나 예측 오차라는 목적은 다지 조작에 필요한 지속적이고 조율된 물체 상호작용을 지정하지 못한다. 사람 직관이 탐색의 행동 구조를 제공하고, 자율 상호작용이 그 구조를 손재주로 바꿀 물리 지식을 제공한다. 마지막으로 대형 behavior foundation model(Barreiros et al. 2026)을 play policy로 쓰는 방향을 전망한다.

세 번째 대비는 논증으로는 설득력 있지만, curiosity 기반 탐색과의 비교 실험은 이 논문에 없다. 실험에 있는 대조군은 두 종류의 랜덤워크뿐이다.

헤드라인 검산

초록과 서론의 주장을 논문 자신의 표·그림과 한 줄씩 맞대 본 결과다.

주장	논문 안의 근거	판정
초록: “In real world experiment, our method outperforms hindsight behavior cloning by 69.6% in success rate”	실기 비교군에 hindsight BC가 없다(§IV-A f: “The remaining simulation baselines are not transferable to hardware”). 시뮬 Fig. 5(a)의 0.6 rad에서 91.4/53.9 = 1.696	시뮬 수치의 상대 향상(%)을 실세계로 잘못 귀속. %p로는 37.5
초록: “comparable success to reinforcement learning with 490× less interaction data”	344M/701,474 = 490.4. 0.6 rad에서 91.4 vs 86.7	시뮬, 0.6 rad에서만 성립. 서론대로면 0.4 rad에서는 PPO-PM이 14%p 높다
서론: “Real world experiment shows DSP is able to transfer to real world with matched performance”	실기 68.6/90.0/97.1 vs 시뮬 72.7/91.4/96.1	차이 계산은 맞음. 시간 예산·학습 데이터가 다른 별개 시스템의 비교이고, 결론 절은 실기 결과를 provisional이라 함
§IV-B4: 증류 정책이 “over 90%” 회복, “7x faster”	86.7/96.1 = 90.2%. 133.6/21.8 = 6.1	90%는 맞음. 7배는 반올림 과다(약 6배)
§IV-C: 18.8% 감소, persistence 대비 26.4%	(34.96−28.40)/34.96 = 18.8%, (38.60−28.40)/38.60 = 26.4%	일치
§IV-B1: Push-T 격차 24 → 38%p	98−74, 74−36	일치
§IV-B3: RGB +21.8/+25.0/+12.5%p	산술은 맞음	Table II 행 라벨과 본문 해석이 충돌
§IV-C: “more than doubles rotation speed”, +11.2%p	124.9/57.8 = 2.16, 98.8−87.6 = 11.2	일치
§I: 실기 play 데이터 “0.5 to 5 hours”	Fig. 10: 0.54 → 5.11 h	반올림 표기, 일치

프로젝트 페이지와 본문의 차이

항목	프로젝트 페이지	본문
시뮬 사용	FAQ “Does DSP use simulation? Not on hardware; Isaac Lab is used only to evaluate baselines in repeatable simulation.”	DSP 자신도 Isaac Lab에서 학습·평가된다(Task B의 72.7/91.4/96.1%, Push-T, RGB). 공개 레포 전체가 그 시뮬 DSP다
사람 시간	“Learning dexterity from 15 minutes of goal-free play”	15분은 사람 시간이고, 시뮬 DSP는 여기에 자율 play 672K 프레임(라벨 3.11 h)을 더 쓴다. 레포 기준 시뮬 teleop은 라벨 8.2분·조작자 시간 18.1분으로 “15분”과 어느 쪽 시계로도 맞지 않는다
GC-BC 비교	“with the same 15 minutes of human time DSP reaches 91.4% … versus 34.4% for goal-conditioned BC”	사람 시간은 같지만 데이터 양은 다르다. GC-BC는 15분 시연만, DSP는 거기에 수 시간의 자율 상호작용을 쓴다
한계	FAQ가 “play 레퍼토리에 제한, 매 스텝 계획 연산, 초기 사람 play 필요, 큐브 재배향과 Push-T에서만 보임”을 명시	본문에는 한계 절이 없다(결론의 유보 문장이 전부)

프로젝트 페이지 FAQ의 한계 목록은 오히려 본문보다 정직하다. 반대로 “시뮬은 베이스라인 평가에만 쓴다”는 문장은 본문·레포와 맞지 않는다. 실기 DSP가 시뮬을 쓰지 않는다는 말로 읽어야 정확하다.

비판적으로 보면

강점

역할 전환이 깔끔하다. “사람 시연 = 과제 해법”이라는 등식을 “사람 시연 = 상호작용을 이어가는 법”으로 바꾼다. 같은 play policy가 데이터 수집기와 MPC 제안 분포를 겸하고, 목표는 계획 시점 보상으로만 들어간다. 과제가 바뀌어도 prior와 world model을 재학습하지 않는다는 구조적 장점이 있다. 다지 손에서 과제별 보상 설계와 시뮬 튜닝이 얼마나 비싼지 생각하면 실용적 가치가 크다.
대조군 하나가 논리를 받친다. 실기 SO(3) 랜덤워크는 play policy와 평균 각속도를 맞췄다. 그래서 play 단독(38.3%)과 랜덤워크(11.4%)의 차이가 “많이 움직여서”가 아니라 “학습된 접촉 구조 때문”이라는 해석에 근거가 생긴다. 이 정도로 신경 쓴 대조군은 흔하지 않다.
“오프라인 모방 오차 ≠ 수집기로서의 가치”를 수치로 보였다. Table III에서 모방 오차가 거의 같은 두 정책의 전이 coverage가 55.4% vs 84.2%로 갈린다. play policy를 데이터 수집기로 쓰는 모든 후속 연구가 먼저 확인해야 할 지점을 짚었다.
시뮬 핵심 결과는 표본이 충분하고 재현 경로가 있다. Task B는 같은 128개 시드 시행으로 모든 방법을 평가했고 값이 128분의 정수와 정확히 맞는다. 공개 레포는 그 체크포인트·데이터·128회 평가 스크립트를 주고, README는 특정 스택에서 “bit-for-bit” 재현을 주장한다(레포 진술, 이 리뷰는 실행하지 않았다). DSP 대 hindsight BC의 격차는 구간이 겹치지 않을 만큼 크다.
스스로의 한계를 일부 인정한다. PPO가 미세 수렴에서는 더 강하다는 것, RGB 실험이 프로토콜을 맞춘 비교가 아니라는 것, 실기 결과가 잠정적이라는 것을 본문과 결론이 직접 쓴다.

약점·한계

v1은 미완성 원고다. 그리고 초록이 그 미완성 결과 위에 확정형 주장을 세운다. 결론 절은 실기 결과가 “provisional”이고 Push-T·RGB의 확정 수치와 curiosity·play policy 구조·world model 구조 비교가 “remain to be inserted”라고 쓴다. 결론은 본문에 없는 “controlled model-stack comparison”도 결과로 언급하고, PPO-PM을 “PPO-Match”라는 다른 이름으로 부른다. “three tasks”라 쓰고 네 개를 나열하며, Task B 결과 문단이 Task A 소제목 아래에 있다. Fig. 7의 원본은 figures/draft/ 폴더에 있고, e-print 소스에는 TODO 매크로와 주석 처리된 한계 절이 남아 있다(주석은 논문의 일부가 아니므로 그 내용은 인용하지 않는다). 이 상태에서 초록이 실기 결과를 근거로 확정형 문장을 쓰는 것은 결론 절과 모순된다.
초록의 실기 주장 하나는 사실과 다르다. “In real world experiment, our method outperforms hindsight behavior cloning by 69.6%”는 실기에 존재하지 않는 비교다. 69.6%는 시뮬 0.6 rad의 상대 향상(91.4/53.9)이고, Fig. 5 캡션의 “real-world” 오기와 함께 시뮬 결과가 실기로 귀속됐다. 또 이 값은 %p(37.5)가 아니라 상대 비율이라는 표시도 없다.
기여 ③(“play policy를 행동 prior로 쓰면 MPC가 크게 좋아진다”)은 실험으로 분리되지 않았다. 논문이 비교한 것은 “MPC(play 제안)” 대 “play 단독”이지, “MPC(play 제안)” 대 “MPC(다른 제안 분포)”가 아니다. 같은 world model에 무작위 슈팅, CEM, 가우시안 섭동 같은 제안 분포를 붙인 대조군이 없으므로, 지금 데이터로는 성능 향상이 제안 분포 덕인지 world model과 재계획 덕인지 가를 수 없다. 공개 코드는 여기에 변수 하나를 더 얹는다. 1,024개 후보 중 절반이 지난 재계획의 elite 재사용인데, 논문은 이것을 서술하지 않는다. 결정적 vs diffusion play policy 비교도 coverage에서 멈추고 하류 성공률까지 가지 않는다.
자율성의 비용을 재지 않는다. 논문의 핵심 서사는 “little human supervision”이지만, 실기 자율 play 5.11시간 동안 큐브 낙하·리셋·사람 개입이 몇 번이었는지 없다. 공개 시뮬 데이터에서는 자율 play 128 에피소드 전부가 큐브를 1회 이상 떨어뜨렸고 총 794회(평균 6.2회)였다. 물리 시간 0.78시간에 794회이니 약 3.5초에 한 번이다(필자 계산, 시뮬 한정). 시뮬은 자동으로 다시 놓지만 실기는 그렇지 않다. 프로젝트 페이지의 실기 Run 6은 “큐브를 손에 올려 둔 뒤 시작”한다고 적혀 있고, 사람 play 영상 첫 장면에서도 사람이 큐브를 올려 놓는다. 실기 낙하율이 시뮬과 같다는 근거는 없지만, 리셋 방식과 개입 횟수는 “자율 수집”이라는 주장의 실제 범위를 정하는 숫자다. 마찬가지로 “safe behavior are implicitly demonstrated”는 하드웨어 사고·관절 한계 위반 같은 안전 지표로 측정되지 않았다.
실기 평가의 통계가 비어 있다. 시행 횟수가 없고, 팔마다 정수 비율이 맞는 분모가 다르다(DSP는 70회와 정합, 나머지는 200회 미만 공통 분모 없음). 목표 자세 샘플링 방식(시뮬은 e_0>90°)도 실기에서는 명시되지 않았다. Fig. 10 스케일링 곡선은 점 5개에 시드·오차 막대가 없다. 기여 ②(“단조 개선”)의 근거가 이 곡선 하나다.
지표가 “지나가기”를 잰다. SR은 anytime success(시행 중 최소 오차)다. MPC 점수도 예측 구간 중 최선 순간을 쓴다. 둘 다 “목표 근처를 한 번 지나가는” 행동에 보상을 준다. 낙하 후 재생성(시뮬)과 긴 시간 예산(실기 120 s)은 이 지표를 더 관대하게 만든다. 목표 자세를 유지하는 능력, 최종 오차, 낙하 횟수는 보고되지 않았다. 다지 재배향 연구(예: DeXtreme의 연속 성공 횟수)와 바로 비교하기 어려운 이유다.
RL 비교의 단위와 범위가 좁다. “490배”는 SR@0.6 rad 한 문턱에서의 비교이고, 0.4 rad에서는 PPO가 더 높으며(서론 서술 기준), PPO-unlimited는 0.6 rad에서도 더 높다. PPO의 프레임이 DSP의 counted frame과 같은 시간 단위인지 알 수 없고, PPO 실행이 몇 번이었는지도 없다. DSP의 701K에는 사람 teleop 29,474프레임이 포함된다(레포 기준). “같은 사람 시간” 대 “같은 상호작용 프레임” 중 어느 축의 효율인지 문장마다 섞여 있다.
같은 숫자가 다른 곳에서 다르게 나온다. play policy 단독 기준선이 논문 Fig. 5(a)는 15.6/36.7/54.7%, 공개 레포 README의 “Paper reference”는 32.8/53.9/72.7%다(실행 길이도 레포 쪽은 50스텝). 레포 값으로 보면 MPC가 더하는 몫이 약 17~18%p 작아진다. Table II는 표 라벨과 본문 해석이 다르다. 사람 play 분량 “15분”은 레포의 세 시계(라벨 8.2분, 물리 2.0분, 조작자 18.1분) 어느 것과도 맞지 않는다.
관련 연구에서 가장 가까운 선행작이 빠졌다. 학습된 동역학 모델 + MPC로 다지 손 in-hand 조작을 한 PDDM(Nagabandi et al. 2019, ShadowHand로 Baoding 공 돌리기와 실기 학습)이 인용되지 않았다. play 데이터에서 목표 조건부 행동을 생성하는 C-BeT(Cui et al. 2023, “From Play to Policy”)도 없다. 반대로 Push-T BC 비교군의 출처로 Diffusion Forcing을 인용하고 Diffusion Policy는 인용하지 않는다. 참고문헌이 21편이다. 서론의 “Complete the literature review” 류 TODO가 소스에 남아 있는 것과 같은 맥락으로 보인다.
공개 코드는 시뮬 Task B만 덮고, 그 안에서도 방법 서술과 다른 곳이 있다. 체크포인트·데이터·평가 스크립트가 잘 정리돼 있어 시뮬 핵심 수치는 외부에서 검증 가능하다. 그러나 공개 world model은 §III-D가 말하는 Diffusion Forcing(시점별 독립 노이즈, 인과적 denoise)이 아니라 청크 단위 노이즈의 표준 diffusion이고, MPC에는 논문에 없는 elite 재사용이 들어 있다(위 대조표, 정적 확인). 그러나 논문의 비교군(PPO·hindsight BC·GC-BC), 증류 정책, Push-T, RGB, 실기 스택은 없다. 서론이 “code, data, and training details will be publicly available”이라 했으니 이후 릴리스를 기다릴 일이다. 라이선스가 정해지지 않아(README “TODO”) 현재로선 재사용 조건이 불명확하다.

요약

DSP는 “놀이는 설계하기 어렵지만 흉내 내기는 쉽다”는 관찰에서 출발해, 몇 분의 목표 없는 사람 play를 play policy로 만들고, 그 정책이 모은 자율 상호작용으로 world model을 학습하고, 같은 정책을 MPC의 제안 분포로 다시 쓰는 파이프라인을 세운다. 시뮬 큐브 재배향에서 hindsight BC를 SR@0.6 rad 37.5%p 앞서고, 그 문턱에서 PPO보다 약 490배 적은 상호작용으로 비슷한 성공률에 이른다. 실기 Sharpa 손에서는 play 단독 38.3%를 90.0%로 끌어올린다. 회전 속도를 맞춘 랜덤워크 대조군, 모방 오차와 전이 coverage를 분리한 분석은 이 아이디어에 실질적인 근거를 준다.

그러나 v1은 저자 스스로 “provisional”, “remain to be inserted”라고 적은 미완성 원고이고, 초록의 실기 주장 하나는 시뮬 수치를 잘못 귀속한 것이다. 기여 ③의 핵심인 “제안 분포로서의 play policy”는 다른 제안 분포와 비교되지 않았고, 자율 수집의 비용(낙하·리셋·개입)과 실기 시행 횟수는 보고되지 않았으며, 지표는 목표 유지가 아니라 도달을 잰다. 공개된 시뮬 릴리스는 체크포인트부터 데이터까지 잘 갖춰져 있어 시뮬 핵심 결과를 외부에서 확인할 수 있지만, 레포 README의 play 단독 기준선은 논문 그림과 다르고, 공개 world model은 논문이 서술한 Diffusion Forcing이 아닌 청크 단위 diffusion이다. 확정판에서 가장 먼저 볼 것은 다섯 가지다. 같은 world model 위에서 무작위·CEM 제안과의 비교, 결정적 play policy로 만든 world model의 하류 성공률, 실기 시행 수와 신뢰구간, 자율 play 중 개입 횟수, 그리고 목표 유지 지표다.