📃SPD 리뷰

dexterity

bimanual

manipulation

sim2real

teleop

simulation

MuJoCo

DINOv3

flow

transformer

dataset

fine-tuning

Pre-training Visual Dexterity in Simulation

Published

September 2, 2026

Paper Link (arXiv:2608.15917) — 이 리뷰는 v2 (2026-08-27, arXiv perpetual non-exclusive license) 기준이며, 수치는 전부 원문(본문·부록·Figure 픽셀)에서 확인한 값이다.
Project Page (spd.bot)
Code Link: 없음. 2026-08-31 확인 시점에 프로젝트 페이지의 링크 버튼은 Paper 하나뿐이고, GitHub·HuggingFace 어느 쪽에도 레포·체크포인트·데이터가 없다. 다만 논문 §1 말미는 “we release our pre-training dataset (spd-75h), VR teleoperation software (spd-vr), and six curated scenes with tuned contact parameters”라고 공개를 명시한다 — 즉 “공개하지 않겠다”가 아니라 “공개한다고 써 놓고 아직 링크가 없는” 상태다. 뒤에서 다시 다룬다.
Sarthak Kamat¹*, Adam Rashid²*, Satvik Sharma¹, Aseem Doriwala³, Chelsea Finn¹, Phillip Isola², C. Karen Liu¹ (¹Stanford University · ²MIT · ³Scale AI, *Equal contribution)
arXiv preprint, 2026 (cs.RO; v2 2026-08-27)

💡 다지(multi-fingered) 손은 “사전학습할 데이터가 없어서” 그리퍼에 뒤처져 있다는 진단에서 출발해, 그 데이터를 시뮬레이터 안에서 사람이 직접 만들어 낸다 — 로봇 하드웨어 없이, 그러나 목표 임베디먼트 위에서 액션 라벨이 붙은 채로.
⚙️ 조작자가 VR 헤드셋을 쓰고 MuJoCo 안의 양팔 dexterous 로봇을 IK로 직접 조종해(spd-vr) 75시간·1,930 에피소드를 모으고, 이를 256 스텝 컨텍스트 · sliding-window 32 · 8-스텝 청크의 222M causal diffusion transformer로 사전학습한 뒤, 실물에서 태스크당 1~2시간 시연으로 전체 파인튜닝한다.
🎯 56-DoF 양팔 실물 5개 태스크에서 동일 아키텍처의 from-scratch BC 대비 평균 task progress 76.7% vs 58.9%(+17.8점), 그리고 그 이득은 history를 쓰는 설정에만 몰려 있다(다른 세 변형은 +3점 이하).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 정책 사전학습은 최근 몇 년간 “큰 데이터셋 → 적은 시연으로 파인튜닝”이라는 공식으로 굳어졌지만, 그 데이터셋은 거의 전부 평행 그리퍼를 단 로봇에서 나왔다. 다지 손은 텔레오퍼레이션이 비싸고(로봇이 비싸고 잘 부서진다), 사람 손 영상은 임베디먼트가 다르며 포즈 추정·리타게팅에서 정보가 샌다. SPD(Simulation Pre-training for Dexterity)의 제안은 단순하다 — 사전학습 데이터를 시뮬레이터 안에서 사람이 만들자. 물리 시뮬레이터 안의 로봇을 VR로 직접 조종하면, 로봇 하드웨어 없이도 목표 임베디먼트 위의, 액션 라벨이 이미 붙은 궤적이 나온다. 리셋은 즉시고, 여러 명이 동시에·분산으로 모을 수 있다.

여기서 중요한 건 이 논문이 시뮬레이션을 RL sim2real의 무대로 쓰지 않는다는 점이다. 시뮬레이션은 여기서 데이터 수집 장치다. 정책은 처음부터 끝까지 behavior cloning이고, sim에서 real로 넘어가는 다리는 도메인 랜덤화가 아니라 실물 1~2시간짜리 파인튜닝이다.

개요(Fig. 1) — 위: 여섯 개 씬·수백 개 물체 인스턴스에 걸친 75시간의 시뮬레이션 텔레오퍼레이션 데이터. 아래: 실물 1시간 시연으로 적응시킨 정책이 수행하는 실제 태스크들.

프로젝트 페이지 개요 영상(74초, 소리 없음) — 화면 좌상단에 Autonomous 1x 표기가 붙은, 배속 없는 자율 롤아웃 모음이다. 논문 그림이 정지 프레임으로만 보여 주는 것(손가락이 Jenga 블록을 밀어내는 순간, 컵을 벗겨 내는 손목 회전)이 실제 속도로 어떻게 보이는지 확인할 수 있다. 다만 이 영상은 고른 롤아웃이며, 뒤에서 볼 성공률 분포와는 다른 종류의 정보다.

핵심 방법론:

시스템은 대칭적인 두 개의 텔레오퍼레이션 스택으로 되어 있다. spd-vr(사전학습 데이터, MuJoCo + Meta Quest 3)과 spd-teleop(실물 데이터, Manus 글러브 + Quest 컨트롤러). 둘은 카메라 배치(top + 양 손목), 손·팔 모델, 물체 구성을 공유하도록 맞춰져 있다 — sim↔︎real 갭을 렌더링이 아니라 시스템 설계 수준에서 줄이겠다는 것이다.

정책은 flow matching으로 액션 청크를 디노이징하는 causal transformer다. 노이즈 청크는

x_t = (1-t)\,x_0 + t\,x_1,\qquad x_0\sim\mathcal N(0,I),\; t\sim\mathcal U[0,1]

로 만들고 모델은 속도 v = x_1 - x_0를 예측한다. 특징은 입력이 한 프레임이 아니라 256 타임스텝(30 Hz, 약 8.5초)의 인터리브 시퀀스라는 점이다. proprioception·이전 액션·멀티뷰 이미지 토큰·노이즈 청크가 시간순으로 섞여 들어가고, 모든 청크를 causal mask 아래에서 한 번에 병렬 디노이징해 긴 컨텍스트 처리 비용을 32개 청크 예측에 분산시킨다. 모든 레이어는 32 타임스텝 sliding-window attention을 써서, 배포 시 고정 길이 rolling KV cache로 그대로 환원된다.

주요 결과:

실물 5개 태스크(plate racking / mug hanging / jenga playing / cup stacking / bottles in bin), 태스크당 20 trial, 부분점수 rubric 기반 task progress.
선택된 설정(w{=}32, c{=}8)에서 SPD 80.6 / 93.3 / 85.0 / 55.6 / 68.8 vs from-scratch BC 66.9 / 80.0 / 65.0 / 35.0 / 47.5 (%) — 평균 76.7 vs 58.9.
이득은 설정에 따라 극적으로 갈린다: w{=}32,c{=}8은 +17.8점인데, 나머지 세 변형은 +2.5 / +0.7 / +2.4점뿐이다.
\pi_0식 설정(w{=}1, c{=}32)에서 청크만 8로 줄이면 성능이 붕괴한다(jenga·cups·bottles 모두 0.0%). history를 넣으면 그 trade-off가 사라진다.
학습 손실도 SPD 체크포인트가 시작점·수렴점 모두 낮다(Fig. 5의 loss 패널).

결론:

“시뮬레이션 텔레오퍼레이션은 dexterous 사전학습의 쓸 만한 데이터 소스다”까지가 이 논문이 실제로 보인 것이다. 그 이상 — 사람 영상 대비, 실물 데이터 대비 어느 쪽이 나은지 — 는 보이지 않았고, 저자들도 future work로 미룬다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

로봇을 사지 못해서 못 모으던 다지 손 데이터를, 로봇을 지운 채 사람의 시간만으로 모으고, 그 데이터가 실물 파인튜닝을 실제로 밀어 올린다는 것을 5개 태스크에서 보인 논문. 그리고 그 이득이 아키텍처 설정 하나(history conditioning)에 거의 전부 실려 있다는, 저자들 자신이 발견한 반전이 붙는다.

배경: 왜 손은 데이터가 없는가

사전학습 데이터를 얻는 경로는 대충 셋이다.

경로	액션 라벨	임베디먼트	스케일 병목
실물 텔레오퍼레이션	있음(정확)	목표 로봇	로봇 대수·고장·조작자 시간
핸드헬드 인터페이스(UMI 등)	있음	유사(그리퍼)	손가락 자유도를 담을 장치가 없음
사람 영상	없음	사람	포즈 추정·리타게팅 손실, 접촉점 불일치

논문의 §1은 이 표의 두 번째 줄과 세 번째 줄이 손에서는 특히 안 통한다고 짚는다. 핸드헬드 장치는 “임베디먼트 갭 없이 모든 자유도를 조작자에게 넘겨줘야” 하는데 그런 장치를 만들기 어렵고, 사람 영상은 접촉이 많을수록 가려짐이 심해져 손 포즈 재구성이 노이즈투성이가 된다. 모캡 글러브로 정확히 기록해도 접촉점과 손가락 구동이 로봇과 달라 그대로 실행되지 않는 시연이 남는다.

SPD의 답은 첫 번째 줄에서 로봇만 빼는 것이다. 시뮬레이터 안에서는 조작자가 목표 로봇 그 자체를 움직이므로 리타게팅이 사후 처리가 아니라 수집 루프 안에 들어가 있다. 조작자가 IK 결과를 눈으로 보면서 보정하므로, “실행 불가능한 시연”이라는 범주 자체가 생기지 않는다.

방법 1: `spd-vr` — 시뮬레이터를 데이터 수집 장치로

MuJoCo가 워크스테이션에서 480 Hz(implicitfast 적분기, elliptic friction cone, no-slip 1회)로 돌고, Quest 3 헤드셋은 WebXR 클라이언트만 띄운 채 장면 메시를 60 Hz 바이너리 스트림으로 받고 손 포즈를 USB 테더로 돌려보낸다. 제어·스트리밍·기록은 60 Hz. 손목 포즈와 지문 끝 위치가 IK로 시뮬레이션 로봇의 팔·손을 구동하고, 모든 손–물체 접촉은 물리로 시뮬레이션된다. 로봇 팔은 가림을 줄이려고 반투명하게 렌더한다.

수집은 task registry로 조직된다. 태스크마다 자연어 프롬프트·목표 길이·리셋 함수가 있고, 리셋은 에셋 선택·배치·물리 속성을 랜덤화하되 샘플된 값을 전부 로깅해 에피소드를 정확히 재구성할 수 있게 한다. 조작자는 3버튼 풋 페달(checkpoint / pause / revert-skip)로 기록을 통제하는데, 손이 물체에 접촉 중이면 checkpoint를 거부해서 revert가 항상 접촉 없는 상태로 되돌아가게 만든 디테일이 좋다 — 실수를 되돌릴 수 있는 텔레오퍼레이션은 실물에선 거의 불가능한 사치다.

수집 후에는 10초 이상 접촉이 없는 구간을 잘라 내고, MuJoCo Warp에 얹은 Madrona 배치 렌더러로 224\times168에 병렬 렌더한다. 이때 인스턴스 세그멘테이션 마스크를 함께 저장해, 데이터 로딩 후 GPU 변환으로 물체 색 랜덤 틴트·배경/테이블 텍스처 교체를 건다. 여기에 좌우 팔을 맞바꾸고 이미지·proprioception·액션을 함께 반사시키는 대칭 증강까지 넣는다.

조작자 전략의 다양성(Fig. 2) — 같은 조작자 풀이 하나의 long-horizon 태스크에서 만들어 낸 서로 다른 두 전략. (a) 글자 블록 더미에서 단어 만들기, (b) Jenga 타워 쌓기, (c) 도미노 배열.

태스크는 결과만 지정하고 전략·서브태스크 순서를 강제하지 않는 open-ended 형태다. 이게 데이터의 성격을 결정한다 — 같은 프롬프트에서도 접촉 방식·손 배분·순서가 제각각인 궤적이 쌓이고, 그래서 정책은 처음부터 multimodal action distribution을 다뤄야 한다(diffusion/flow를 쓰는 이유이기도 하다).

데이터셋 spd-75h의 실제 구성(부록 Table 2)은 본문 문장보다 훨씬 많은 것을 말해 준다. 조작자 5명, 1주일, 여섯 씬(spelling blocks · dishes · mugs · bottles · cups · Jenga), 총 1,930 에피소드 ≈ 75시간. Table 2는 에피소드 10개 미만 태스크를 빼고 spelling 변종을 합쳐 1,916 에피소드 / 4,516분을 집계한다. 씬별 시간 비중을 계산해 보면:

씬	에피소드	분	시간 비중
Jenga (6개 태스크)	557	2,178	48.2%
Spelling Blocks (4개)	275	976	21.6%
Mugs (hang mug)	406	491	10.9%
Dishes (2개)	208	394	8.7%
Bottles (toss in bin)	350	253	5.6%
Cups (3개)	120	223	4.9%

절반 가까이가 Jenga 씬이다. 반대로 cup stacking은 전체의 5% 미만인데, 뒤에서 보겠지만 실물 평가에서 가장 못 하는 태스크가 정확히 cups다. 이 상관을 논문은 언급하지 않는다.

방법 2: `spd-teleop`과 하드웨어 — 두 스택을 맞춰 놓기

실물 셋업은 YAM Pro 팔 2대(손 무게로 인한 과열을 줄이려 J3·J4 모터를 10:1에서 40:1 기어비로 교체) 각각에 22-DoF Sharpa Wave 손을 달았다. 팔 6-DoF × 2 + 손 22-DoF × 2 = 56-DoF. 카메라는 RealSense D405 3대(팔 사이 top 1대 + 각 손의 척골 쪽 손목 카메라 2대)로, spd-vr의 가상 카메라 배치와 일치시켰다.

실물 텔레오퍼레이션은 리타게팅 로직을 VR 쪽과 공유하되 헤드셋 내장 손 추적을 Manus 글러브(손당 25 키포인트)로 교체하고 손목은 Quest 컨트롤러로 잡는다 — 가림과 거리 때문에 헤드셋 추적으로는 정밀도가 부족했다는 솔직한 서술이다. 손가락은 손바닥 중심 좌표계에서 지문 끝 위치를 조작자별 아핀 매핑(짧은 캘리브레이션 루틴에서 최소제곱으로 적합)으로 로봇 손바닥 좌표계 목표로 옮기고, 그 5개 목표가 고정 베이스 시뮬레이션 안에서 mocap IK를 돌려 22개 관절각을 뽑는다. 손목은 mink 기반 미분 IK(틱당 QP 4회, posture·관절한계·속도 태스크)로 풀고 8 cm 이상 점프에는 보간을 건다.

시스템은 ZeroMQ pub/sub 위의 단일 목적 프로세스 묶음이다(leader 60 Hz, 팔·손 follower 120 Hz, 카메라 30 fps, CAN 1 Mbit/s·내부 서보 250 Hz). 기록은 스트림별 HDF5로 남기고 오프라인에서 30 Hz 학습 격자로 리샘플한다. 부록 A.3은 이 정도로 구체적이다 — 코드가 없는 논문치고는 재현에 필요한 상수를 이례적으로 많이 적어 놨다.

실물 텔레오퍼레이션(spd-teleop) 데이터 수집 — 조작자가 Manus 글러브(손가락)와 Quest 컨트롤러(손목)로 YAM Pro 팔 + Sharpa Wave 손을 직접 조종해 접시를 랙에 꽂는 시연을 만든다. 태스크당 44~121분짜리 파인튜닝 데이터가 이렇게 쌓인다. 프레임 안에 사람 팔과 로봇 팔이 같이 보이는 것이 이 영상이 자율 실행이 아니라 사람 조종임을 말해 준다 — 뒤의 태스크 영상들과 구분해서 봐야 한다.

방법 3: 정책 — 긴 컨텍스트를 감당하는 causal diffusion transformer

정책 구조(Fig. 3) — proprioception(o)·액션(a)·멀티뷰 이미지·노이즈 액션 청크가 인터리브 토큰으로 들어가고, 학습 시 causal mask 아래에서 모든 청크를 동시에 디노이징한다. sliding-window attention은 추론 시 rolling KV cache로 대응된다.

222M 파라미터(비전 인코더 86M + 액션 expert 58M 포함). 설계 선택을 하나씩 보면:

언어 조건을 뺐다. 데이터에 조밀한 언어 주석이 없고 씬 커버리지도 좁아서, 언어 대신 visuomotor history를 조건으로 쓴다. VLA 흐름과 정면으로 다른 선택이고, 이 논문의 실험이 결국 검증하는 것도 이 대체재의 값어치다.
비전 경로: 세 카메라 이미지를 frozen DINOv3 ViT-B/16로 패치 인코딩한 뒤, 카메라·프레임당 학습 가능한 쿼리 4개가 cross-attention으로 4개 토큰으로 풀링한다. 풀링을 문맥 의존적으로 만들기 위해 풀링된 토큰이 2블록마다 원본 패치 뱅크에 다시 cross-attend한다. 이미지는 8 타임스텝마다만 넣어 인접 프레임 중복을 없앤다.
트렁크: 8블록, hidden 768, 헤드 12, MLP 확장 4. 모든 attention은 causal이고 위치는 타임스탬프 기반 RoPE로 준다. 모든 레이어가 32 타임스텝 sliding window를 쓴다.
액션 expert는 \pi_0처럼 자기 가중치(58M)를 따로 갖고, 관측 토큰은 트렁크 가중치를 공유한다.
flow head: 청크 토큰마다 flow 시각 t의 Gaussian Fourier 임베딩과 청크 내 위치의 sinusoidal 임베딩을 더한다. 학습 시 청크마다 독립적인 t로 전부 병렬 디노이징해 256 스텝 컨텍스트 비용을 32개 청크에 분산한다.
history conditioning의 부작용에 대한 처방: 과거 액션을 조건으로 주면 학습·배포 분포가 어긋나므로(compounding error의 고전적 함정), proprioception과 액션 입력에 i.i.d. Gaussian noise \sigma=0.03 을 섞는다.
추론: rolling KV cache 위의 증분 엔진. 청크 경계에서 Euler 10 스텝으로 flow ODE를 적분해 다음 8개 액션을 낸다.
최적화: 행렬 파라미터는 Muon, 나머지는 AdamW. lr 10^{-3} 고정, weight decay 0.1, batch 64, 170k 스텝, EMA half-life 20 스텝.

직관: 왜 “짧은 청크 + 긴 history”인가

액션 청크 길이는 오래된 trade-off다. 청크가 길면(예: \pi_0의 1초 = 32스텝) 궤적이 매끄럽고 시간적으로 일관되지만, 그 1초 동안 세상이 변해도 정책은 모른다 — 반응성이 죽는다. 청크를 짧게 하면 자주 재계획하니 반응적이지만, 매번 관측 한 프레임만 보고 새로 뽑은 청크들이 서로 이어지지 않아 정책이 눈에 띄게 떨린다(논문 표현: visibly shaky).

SPD의 주장은 이 trade-off가 본질이 아니라 컨텍스트 부족의 증상이라는 것이다. 시간적 일관성을 청크 길이에서 얻는 대신 과거 32스텝의 관측·액션 컨텍스트에서 얻으면, 청크는 짧게 유지한 채 반응성만 챙길 수 있다. 접촉이 많고 가림이 심한 dexterous 조작에서는 이게 특히 중요하다 — 손가락이 물체를 가려 지금 프레임만으로는 상태가 관측 불가능한 순간이 계속 나오기 때문이다. 실제로 실험은 이 예측대로 나온다.

실험: 5개 실물 태스크

자율 롤아웃(Fig. 4) — (A) plate racking: 접시를 들어 랙에 꽂기, (B) mug hanging: 양손 handover 후 머그 트리에 걸기, (C) jenga playing: 한 손으로 블록을 밀고 다른 손으로 빼서 위에 올리기, (D) cup stacking: 겹친 컵을 풀어 피라미드 쌓기, (E) bottles in bin: 병을 통에 던져 넣기.

평가 프로토콜(부록 A.4)은 태스크당 20 trial, 초기 물체 배치 랜덤화, 태스크별 rubric 점수를 최대점으로 정규화한 task progress다. rubric은 예컨대 jenga가 3점(중간 블록 밀어내기 +1, 타워를 무너뜨리지 않고 반대편에서 빼내기 +1, 위에 올리기 +1), plates가 4점(접시당 들기 +1, 꽂기 +1), cups가 8점, bottles가 4점(병당 +1, 60초 타임아웃), mugs가 3점이다.

파인튜닝은 태스크당 6k 스텝(cups만 10k), 데이터는 44~121분 / 161~270 에피소드.

프로젝트 페이지는 이 다섯 태스크의 롤아웃 영상을 올려 두었고, 원문은 “All videos below are autonomous rollouts”라고 못박는다 — 전부 사람 조종이 아닌 정책 자율 실행이다.

자율 롤아웃 — (좌) Plate racking: 테이블에 엎어져 있는 접시를 한 손으로 들어 올려 나무 랙의 홈에 세워 꽂는다. 얇고 미끄러운 원판을 가장자리에서 집어 올리는, 손가락 여러 개가 동시에 필요한 동작이다. (우) Mug hanging: 머그를 집어 반대 손으로 handover한 뒤 머그 트리 가지에 손잡이를 건다. 마지막 프레임에서 두 개가 걸려 있다.

자율 롤아웃 — (좌) Jenga playing: 한 손으로 타워 중간 블록을 밀어내고 반대편에서 다른 손이 빼낸 뒤 꼭대기에 올린다(영상 도입부에 잠깐 보이는 사람 손은 시행 리셋이다). (우) Bottles in bin: 병 세 개를 차례로 집어 통에 던져 넣는다 — 재계획할 것이 거의 없는 탄도적 동작이고, Table 1에서 유일하게 c{=}32가 c{=}8을 이긴 태스크이기도 하다.

주 결과(Fig. 5) — (A–E) 각 태스크의 “task progress \geq x를 달성한 trial 비율”(survival) 곡선과 학습 손실 곡선, (F) 평균 task progress(에러바 = 표준오차). 진한 파랑 = SPD 사전학습, 연한 회색 = from-scratch BC.

Fig. 5는 논문에서 HTML에 이미지가 없어(벡터) 놓치기 쉬운 수치가 들어 있는 그림이다. 픽셀에서 읽어 보면:

survival 곡선의 오른쪽 끝, 즉 task progress 100%(완전 성공) 비율: plates 60% vs 40%, mugs 80% vs 50%, jenga 70% vs 35%, bottles 30% vs 10%, 그리고 cups는 SPD도 10% 미만, BC는 사실상 0%.
손실 곡선: 두 조건 모두 10k iteration까지 그렸고, SPD 체크포인트가 시작점부터 낮고 더 낮게 수렴한다. 특히 jenga(연회색 곡선이 0.36 축에서 크게 요동)에서 격차가 가장 크다.

이 100% 달성률이 중요한 이유는, abstract와 Table 1이 보고하는 것은 전부 부분점수(progress)이지 성공률이 아니기 때문이다. cup stacking의 “55.6%”는 컵 몇 개를 옳게 놓았다는 뜻이지 피라미드를 완성했다는 뜻이 아니고, 실제 완성률은 10% 미만이다.

자율 롤아웃 — Cup stacking: 겹쳐진 컵 더미를 하나씩 벗겨 내 3-2 피라미드를 쌓는다. 영상 안에서는 피라미드가 실제로 완성된다.

이 영상은 바로 위 문단과 나란히 놓고 봐야 한다. 페이지가 공개한 cup stacking 롤아웃은 피라미드를 완성하지만, Fig. 5의 survival 곡선에서 이 태스크의 완전 성공률은 SPD도 10% 미만이다. 둘은 모순이 아니라 다른 층위의 정보다 — 20 trial 중 잘 된 하나를 영상으로 싣는 것은 로보틱스에서 표준 관행이고 그 자체가 부정직한 것도 아니다. 다만 독자 입장에서 영상 1개는 “이 정책이 이 태스크를 할 수 있다”는 존재 증명일 뿐, 분포에 대해서는 아무것도 말해 주지 않는다. 논문 본문이 부분점수만 보고하고 성공률을 문장으로 쓰지 않는 탓에, 페이지 영상만 본 독자는 cups를 “되는 태스크”로 읽기 쉽다. 실제로는 5개 태스크 중 어느 조건에서도 사실상 완수되지 않은 유일한 태스크다.

실험: history와 청크 크기 ablation

w\in\{1,32\} × c\in\{8,32\} 네 변형을, 사전학습 체크포인트에서와 from-scratch에서 각각 학습해 8개 조건을 5태스크로 평가했다.

Ablation(Fig. 6) — Table 1의 평균 task progress를 레이더로 시각화. 왼쪽이 SPD 사전학습, 오른쪽이 from-scratch. 파랑(window 32, chunk 8)이 선택된 설정, 주황이 \pi_0식(window 1, chunk 32).

Table 1의 전체 수치(%):

학습	w	c	plates	mugs	jenga	cups	bottles	평균
SPD, pre-trained	1	8	31.9	35.0	0.0	0.0	0.0	13.4
	1	32	55.6	58.3	5.0	15.0	36.2	34.0
	32	8	80.6	93.3	85.0	55.6	68.8	76.7
	32	32	44.4	78.3	16.7	36.9	70.0	49.3
BC, from-scratch	1	8	16.2	38.3	0.0	0.0	0.0	10.9
	1	32	36.9	60.0	18.3	17.5	33.8	33.3
	32	8	66.9	80.0	65.0	35.0	47.5	58.9
	32	32	41.9	70.0	30.0	41.2	51.2	46.9

(평균 열은 리뷰어가 계산했다. 논문은 “18점 향상”만 언급하고 열을 싣지 않는다 — 76.66 − 58.88 = 17.8이라 반올림하면 18이 맞다.)

읽히는 것들:

w{=}1에서 c{=}8은 붕괴한다. jenga·cups·bottles가 세 태스크 모두 0.0%다. 한 프레임만 보고 0.27초짜리 청크를 계속 새로 뽑으면 아무것도 못 한다.
history를 넣으면 그 붕괴가 뒤집힌다. w{=}32, c{=}8이 두 학습 체제 모두에서 최고 평균이 된다.
사전학습 이득이 이 설정에만 몰려 있다. +17.8 vs +2.5 / +0.7 / +2.4. 즉 “SPD가 좋다”와 “history conditioning이 좋다”는 이 논문에서 분리되지 않는다 — 그리고 이건 약점이라기보다 논문이 정직하게 전면에 내세운 발견이다.
단, “8-스텝 청크가 항상 최고”는 아니다. SPD 체제에서 bottles는 c{=}32(70.0)가 c{=}8(68.8)을 이기고(Table 1에서 이 칸이 볼드다), BC 체제에서는 cups(41.2)와 bottles(51.2) 두 태스크가 c{=}32 쪽이다. 던져 넣기처럼 탄도적이고 재계획할 게 없는 동작에서는 긴 청크가 유리하다는 해석이 자연스럽지만, 논문은 이 예외를 설명하지 않고 넘어간다.

비판적으로 보면

강점

문제 설정의 재프레이밍이 깔끔하다. 시뮬레이션을 “정책을 학습시키는 곳”이 아니라 “데이터를 만드는 곳”으로 쓴다. RL sim2real이 태스크마다 보상을 설계하고 랜덤화를 튜닝해야 하는 것과 달리, 여기서 시뮬레이터가 해야 할 일은 조작자가 자연스럽게 조작할 수 있을 만큼만 접촉이 그럴듯하면 되는 것이다. 요구 수준이 다르다.
리타게팅 손실이 구조적으로 0이다. 사람 영상·모캡 글러브 경로의 고질적 문제(접촉점 불일치, 실행 불가능한 시연)를 사후 처리로 고치는 대신, 수집 루프 안에 조작자를 두어 발생 자체를 막는다. 이건 개념적으로 옳은 자리에 칼을 댄 것이다.
베이스라인이 정직하다. 동일 아키텍처·동일 파인튜닝 데이터·동일 학습 스텝의 from-scratch BC와 비교한다. “우리 방법이 더 크고 더 오래 학습해서 이겼다”는 흔한 혼동이 없다.
ablation이 실험의 중심이다. 보통 부록으로 밀리는 구조 선택(청크 길이 × 컨텍스트)을 §4.2 본문으로 올려, 이득의 출처를 스스로 해부한다. 게다가 그 결과가 자기 주장을 약화시키는 방향(다른 설정에서는 사전학습이 거의 무의미)인데도 그대로 싣는다.
부록의 엔지니어링 밀도가 높다. 480 Hz / 60 Hz / 120 Hz / 250 Hz 같은 루프 주기, elliptic friction cone, QP 반복 횟수, 8 cm 보간 임계, 접촉 중 checkpoint 거부, HDF5 스키마, rubric 전문 — 코드가 없다는 조건에서 이 정도까지 적어 준 논문은 드물다.
한계 서술이 실제 한계를 가리킨다. “시뮬레이터 물리가 충분히 잘 튜닝돼야 조작자가 현실적인 행동을 만든다”는 문장은 이 방법의 진짜 아킬레스건을 정확히 짚는다.

약점·한계

코드가 없고, 공개 약속과 현실이 어긋난다. §1은 spd-75h·spd-vr·튜닝된 씬 6종을 “release한다”고 현재형으로 쓰지만, 프로젝트 페이지에는 Paper 버튼뿐이고 어디에도 링크가 없다(2026-08-31 확인). 게다가 약속 목록에 정책 체크포인트와 spd-teleop이 빠져 있다 — 즉 계획대로 전부 공개돼도 독자가 받는 것은 “데이터와 수집 도구”지 “사전학습된 정책”이 아니다. 그런데 이 논문의 주장은 정확히 그 체크포인트가 파인튜닝을 밀어 올린다이고, 검증에 필요한 물건도 그것이다. 게다가 재현하려면 YAM Pro 팔 2대 + Sharpa Wave 손 2개 + 기어비 개조라는, 사실상 이 랩 말고는 없는 셋업이 필요하다. 논문 주장의 실질적 검증 가능성은 현재 0에 가깝다.
비교 대상이 “아무것도 안 함” 하나뿐이다. 이 논문의 서론은 사전학습 데이터 소스들(실물 텔레오퍼레이션, 핸드헬드, 사람 영상)을 나열하며 “시뮬레이션이 답”이라는 구도를 세우는데, 정작 실험은 시뮬레이션 사전학습 vs 사전학습 없음만 비교한다. 같은 75시간을 사람 영상에서 뽑았다면? 실물 텔레오퍼레이션 10시간이었다면? 공개 generalist(\pi_0·GR00T 등)를 같은 손에 붙였다면? 아무것도 없다. 결론은 “시뮬레이션 데이터가 없는 것보단 낫다”로 축소되며, 이는 서론이 세운 질문에 답하지 않는다.
사전학습 태스크와 평가 태스크가 사실상 같다. limitation은 “물체가 유사하다”고만 쓰지만, 부록 Table 2를 보면 더 강하다 — 사전학습 태스크 목록에 Hang mug(406 ep), Rack dishes(129 ep), Toss in bin(350 ep), Cups pyramid(44 ep), Jenga tower(87 ep) 가 전부 들어 있다. 평가 5개 태스크가 전부 사전학습 registry의 항목이다. 그러면 이건 “일반적 사전학습 후 새 태스크로 전이”가 아니라 시뮬레이션에서 배운 태스크를 실물로 옮기는 도메인 적응에 가깝고, “pre-training”이라는 프레이밍이 약속하는 것보다 좁다.
스케일링 곡선이 없다. 75시간은 점 하나다. 10h·25h·75h를 그렸다면 “시뮬레이션 데이터가 스케일에 따라 이득을 낳는가”라는, 이 방법의 존재 이유(=값싸게 많이 모을 수 있다)를 직접 검증할 수 있었다. 지금 데이터로는 “어떤 dexterous prior든 있으면 되는 것”과 “75시간이라서 되는 것”이 구분되지 않는다.
통계적 뒷받침이 얇다. 조건당 20 trial, 체크포인트 1개, 시드 반복 없음. 에러바는 trial 간 표준오차라 학습 시드 변동은 아예 측정되지 않았다. rubric이 3점(jenga·mugs)뿐인 태스크에서 progress 85.0 vs 65.0은 trial당 0.6점 차이이고, 20 trial이면 이 정도는 흔들릴 수 있다. 표의 8×5 = 40개 숫자 중 상당수가 이 정도 노이즈 안에 있다.
성공률이 끝까지 안 나온다. 보고 지표는 전부 부분점수다. Fig. 5의 survival 곡선을 읽어야만 cup stacking이 양쪽 다 사실상 실패라는 게 드러난다. 5개 태스크 중 하나는 어느 조건에서도 완수되지 않았다는 사실은 본문 어디에도 문장으로 없다.
검증 손실 대신 학습 손실을 쓰는 논거가 약하다. “학습 손실이 검증 손실과 달리 downstream 성능과 양의 상관”이라는 주장은 인용 하나에 기대고 있고, 애초에 더 좋은 초기화에서 출발한 모델의 학습 손실이 더 낮은 것은 거의 항진명제다. 이 곡선은 성능 증거라기보다 정합성 확인 정도로 읽는 게 맞다.
에피소드 수 불일치가 정리되지 않았다. 본문은 “약 2,000 에피소드”, 부록 A.2는 1,930, Table 2 합계는 1,916이다. 후자 둘의 차이는 “10개 미만 태스크 제외”로 설명되지만 본문의 2,000은 반올림 관행 이상으로 느슨하다. 마찬가지로 “1~2시간 실물 시연”이라는 서술도 Table 5에서 실제로는 44분(mugs)~121분(cups) 이라 하한이 1시간에 못 미친다(Fig. 1 캡션은 “1시간”이라고 쓴다).
데이터 편중을 다루지 않는다. 시간 기준으로 Jenga 씬이 48%, cups는 5% 미만인데, 실물에서 가장 못 하는 태스크가 cups다. 이 관계가 우연인지 인과인지 확인하는 실험(씬별 데이터 비율 조정)이 하나도 없다.
비용 비교가 없다. 이 논문의 실용적 주장은 “시뮬레이션 텔레오퍼레이션이 싸다”인데, 5명 × 1주일이라는 조작자 시간(그리고 Scale AI가 수집을 맡았다는 acknowledgment)이 실물 텔레오퍼레이션 75시간 대비 얼마나 싼지에 대한 숫자가 없다. 씬 6개의 접촉 파라미터를 튜닝하는 비용도 마찬가지다 — limitation이 인정하듯 이게 이 방법의 숨은 고정비다.

요약

SPD는 “다지 손 사전학습 데이터가 없다”는 병목에 대해 로봇 없이, 리타게팅 없이, 목표 임베디먼트 위에서 데이터를 만든다는 답을 내놓고, 75시간 규모로 그 답이 실물 파인튜닝을 실제로 밀어 올린다는 것을 5개 태스크 · 8개 조건으로 보였다. 방법 자체보다 인상적인 것은 이득의 출처를 스스로 해부한 ablation이다 — 사전학습 이득 +17.8점은 history conditioning을 쓰는 설정에만 붙고, \pi_0식 단일 프레임 설정에서는 +0.7점에 불과하다. 이건 “사전학습하면 좋아진다”보다 훨씬 쓸모 있는 정보다.

동시에 이 논문이 보이지 않은 것도 분명하다. 시뮬레이션 데이터가 다른 데이터 소스보다 나은지, 더 모으면 더 좋아지는지, 사전학습에 없던 태스크로 옮겨 가는지 — 서론이 세운 질문 셋 중 어느 것도 실험이 답하지 않는다. 그리고 그것을 독자가 직접 확인할 길이, 지금은 없다. 논문은 데이터셋과 VR 소프트웨어를 공개한다고 썼지만 링크는 아직 어디에도 없고, 정작 검증에 필요한 사전학습 체크포인트는 공개 목록에 들어 있지도 않다. 접촉 파라미터를 손으로 튜닝한 씬 6개와, 이 랩에만 있는 56-DoF 셋업 위에서 얻은 결과다. 약속된 spd-75h와 spd-vr이 실제로 올라오는지가, 이 논문이 방법론으로 남을지 시스템 보고서로 남을지를 가른다.