📃ADEPT 리뷰

ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning

• Paper Link (arXiv:2608.19182) — 이 리뷰는 v1 (2026-08-19, CC BY 4.0) 기준이며, 수치는 본문·부록·표에서 확인한 값만 옮겼다.

• Project Page (adept-dexterity.github.io)

• Code Link: 없음. 2026-09-03 확인 시점에 arXiv HTML 전문과 프로젝트 페이지 어디에도 GitHub·GitLab·HuggingFace 링크가 없고, 논문 본문에도 공개 계획에 대한 문장이 없다. 부록 H에 “other auxiliary heads … are exposed by the codebase”라는 표현이 나오지만 그 codebase가 공개된다는 언급은 없다.

• Jayjun Lee, Jessica Yin, Asif Rana, Nicholas Blauch, Sam Mady, Mohak Bhardwaj, Nima Fazeli, Nathan Ratliff, Karl Van Wyk, Ankur Handa (NVIDIA Corporation · University of Michigan Robotics)

• CoRL 2026 (arXiv:2608.19182v1, cs.RO)

1. 💡 다지 손 + 팔의 고DoF 시스템에서 태스크마다 RL을 처음부터 다시 돌리는 낭비를 끊기 위해, 범용 “reposing”(집어서 목표 자세로 놓기) 태스크로 한 번 사전학습해 두고 다운스트림 태스크는 그 정책을 prior로 삼아 post-train한다.
2. ⚙️ 사전학습 정책을 그냥 PPO로 파인튜닝하면 몇 번의 업데이트 만에 무너지므로 BC actor distillation → critic warm-up(actor 동결) → conservative PPO(actor LR 1e-5, clip 0.05) 3단 레시피로 옮기고, 정책과 로봇 사이에는 full joint-space geometric fabric을 끼워 23·29 DoF 전체를 안전하게 쓰게 한다.
3. 🎯 FMB peg insertion을 사전학습 8B + post-training 3B env step으로 푸는 반면 scratch 학습은 대부분 시드가 ADR 6 아래에서 정체하고, 실물 zero-shot에서 Kuka-Allegro 비전 학생이 star 5/10·square/round 3/10·dish 6/10, Flexiv-Sharpa visuo-tactile 학생이 square/round 8/10(같은 로봇 비전 전용은 3/10)을 낸다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

팔에 다지 손을 단 시스템에서 RL로 새 태스크를 배울 때마다 정책은 “손 뻗기 → 잡기 → 들기 → 손안에서 돌리기 → 옮기기”라는 똑같은 저수준 기술을 매번 처음부터 재발견한다. 태스크 보상은 희소하고 상태·행동 공간은 20차원을 훌쩍 넘으니, GPU 병렬 시뮬레이션이 있어도 이 재발견 비용이 전체 학습을 지배한다. ADEPT의 제안은 LLM 쪽에서 익숙한 구도 그대로다 — 한 번 비싸게 사전학습하고, 태스크마다 싸게 post-train한다.

사전학습 태스크는 특별한 것이 아니라 generic object reposing이다. 16종 프리미티브(원기둥·직육면체·구·원뿔)를 무작위 스케일로 테이블에 떨어뜨리고, 샘플된 목표 pose로 옮겨 놓게 한다. 이 하나의 목표가 위에 나열한 모든 저수준 기술을 강제로 요구한다. 결정적으로 다른 점은 여기서 멈추지 않고, 이 사전학습 정책을 다운스트림으로 옮기는 절차 자체를 문제로 명시했다는 것이다. 저자들이 관찰한 바로는 사전학습 teacher가 다운스트림 태스크의 reposing 구간을 zero-shot으로 잘 푸는데도, 거기에 PPO를 그대로 붙이면 성공률이 몇 번의 업데이트 만에 0%로 붕괴한다.

개요(Fig. 1) — 23 DoF Kuka-Allegro(RGB 2대)와 29 DoF Flexiv-Sharpa(RGB 2대 + 지문 촉각센서 5개)에서 reach·grasp·lift·reorient·transport·align·insert를 하나의 연속 행동으로 수행한다.

핵심 방법론:

두 MDP \mathcal{M}_{\mathrm{pre}}, \mathcal{M}_{\mathrm{post}}는 행동 공간 \mathcal{A}=[-1,1]^{n_q}(n_q=23)를 공유하지만 관측·동역학·보상이 다르다. o^{\mathrm{post}}는 o^{\mathrm{pre}}에 receptacle pose \mathbf{p}_{\mathrm{rec}}와 물체–receptacle 접촉력 \mathbf{f}_{\mathrm{or}}를 더한 것이다. 먼저 PPO로 (\pi_{\mathrm{pre}}, V_{\mathrm{pre}})를 얻고, 그다음 세 단계로 (\pi_{\mathrm{post}}, V_{\mathrm{post}})로 옮긴다.

1. BC actor distillation — \pi_{\mathrm{pre}}를 새 관측 공간을 가진 \pi_{\mathrm{post}}로 40k iteration 지도학습 증류.
2. Critic warm-up — \pi_{\mathrm{post}}를 동결한 채 새 보상 아래 fresh critic V_{\mathrm{post}}만 20 PPO iteration 학습(4096 env 기준 GPU당 약 1M env step).
3. Conservative PPO — 둘 다 풀되 actor LR 10^{-3}\to10^{-5}(선형 감쇠), clip \epsilon: 0.2\to0.05, critic LR 5\times10^{-5} 고정.

그리고 정책과 로봇 사이에 joint configuration space geometric fabric을 둔다. fabric은 configuration space 위의 자율 2차 시스템

\mathbf{M}_f(\mathbf{q}_f,\dot{\mathbf{q}}_f)\,\ddot{\mathbf{q}}_f + \mathbf{f}_f(\mathbf{q}_f,\dot{\mathbf{q}}_f) + \mathbf{f}_\pi(\mathbf{a}_t) = \mathbf{0}

으로, \mathbf{f}_f가 충돌·관절한계 반발력과 감쇠 같은 자율항을, \mathbf{f}_\pi가 정책이 미는 forcing항을 담는다. 정책은 60 Hz로 관절별 상대 델타를 내고 이것이 cspace target \mathbf{q}^*_t로 매핑된다. 시뮬레이터와 실물이 같은 fabric 인스턴스를 돌리므로 저수준 컨트롤러 갭이 사라진다.

마지막으로 state 기반 teacher를 DAgger로 학생에 증류한다. 학생은 proprioception·fabric state·RGB 2장(+Sharpa에서는 지문 촉각맵 5장)만 본다. 손실은 BC 항과 8-keypoint pose 보조 항의 합이고, w_{\mathrm{BC}}=1, w_{\mathrm{aux}}=20이다.

\mathcal{L}_{\mathrm{BC}} = \sqrt{\sum_{i=1}^{n_q}\frac{(\mu^i_\theta - \mu^i_T)^2}{(\sigma^i_T)^2}} + \sqrt{\sum_{i=1}^{n_q}\frac{(\sigma^i_\theta - \sigma^i_T)^2}{(\sigma^i_T)^2}}

주요 결과:

• 사전학습 teacher의 reposing 성공률: 학습에 쓴 16종 프리미티브 0.73±0.003인데 FMB peg(2종) 0.76±0.003, VisDex 152종 0.77±0.011 — OOD에서 오히려 소폭 높다(Kuka-Allegro, Tab. 1).
• 하지만 최종 삽입 목표(ADR 50)에서 zero-shot 성공률은 0.00% (Kuka-Allegro, 1024 에피소드). ADR 35까지는 52.5%로 버티다 receptacle과 접촉이 시작되는 구간에서 무너진다(Tab. 2).
• 학습량: ADEPT는 8B step 사전학습 위에 3B step post-training(총 11B). scratch는 대부분 시드가 ADR 6 아래에서 정체하고 소수만 약 9B step 후 도달(Fig. 3, Fig. 9).
• Ablation(5개 non-PBT 시드, Tab. 3): 낮은 actor LR이 필수 — 10^{-3} 변형은 전부 ADR 20에서 0/5 붕괴이고, KL 페널티(\beta=1)를 붙여도 살아나지 않는다. critic warm-up은 +17.6 SR, BC는 ADR 50 도달 시간을 35.2h → 19.9h로 거의 반감. 반면 clip 조임은 효과가 거의 없다(느슨한 0.20이 오히려 46.8 SR / 17.6h).
• 실물 zero-shot(태스크당 10 trial, Tab. 4): Kuka-Allegro 비전 학생 star 5/10, square/round 3/10, dish 6/10. Flexiv-Sharpa square/round는 비전 전용 3/10 vs visuo-tactile 8/10.
• Distillation 커리큘럼: 단일 stage 베이스라인은 두 peg 모두 0/10으로 전이 자체가 실패.
• 실행 속도: trial당 5–10초로, 외부 지그와 다단계 regrasp에 의존하는 FMB 평행 그리퍼 파이프라인(20–70초) 대비 2×–14× 빠르다.

결론:

ADEPT는 “dexterous RL에도 pre-train/post-train 구도가 성립한다”를 보인 것에 그치지 않고, 그 구도가 왜 순진하게는 안 되는지(critic 미보정 → 잘못된 advantage → 큰 policy drift)를 짚고 각 원인에 대응하는 부품을 붙여 ablation으로 분해했다. 여기에 full-cspace geometric fabric을 더해 이전 fabric 기반 연구들이 손을 5D PCA 부분공간에 가둬 놓았던 제약을 풀었고, 시연이나 pose tracker 없이 raw 지각만으로 pick–reorient–insert를 실물에서 zero-shot으로 보였다. 다만 실물 성공률의 절대값(3/10~8/10)과 표본 크기(태스크당 10회)는 “된다”의 증명이지 “쓸 만하다”의 증명은 아니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

ADEPT의 실질적 기여는 “generic 태스크로 사전학습하자”는 아이디어 자체가 아니라 — 그건 Play2Perfect를 비롯해 동시대에 여럿이 하고 있다 — 사전학습된 dexterous 정책을 on-policy RL로 옮길 때 무너지는 지점을 진단하고, 그 진단에 대응하는 최소 부품 셋을 ablation으로 분리해 낸 것이다. 그리고 그 결론이 다소 김빠지게 구체적이다: 세 부품 중 없으면 반드시 죽는 것은 actor learning rate 하나이고, KL 페널티라는 교과서적 처방은 이 상황에서 아무것도 구하지 못한다.

배경: 왜 고DoF 손은 매번 처음부터인가

다지 손이 달린 팔은 상태·행동 공간이 크고 접촉이 많다. 태스크별 희소 보상만으로는 유용한 행동이 잘 발견되지 않는다. GPU 병렬 시뮬레이션(DextrAH-G·DexPBT 계열이 기대는 그 인프라)이 있어도, 삽입 태스크 하나를 배우려면 정책은 먼저 손 뻗기·잡기·들기·자세 조정을 재발견해야 하고, 그 과정이 태스크마다 반복된다.

여기에 두 번째 제약이 겹친다. 실물 안전이다. 23·29 DoF 관절을 정책이 직접 위치 명령으로 때리게 두면 자기충돌·관절한계·급가속이 곧바로 하드웨어 문제가 된다. 그래서 fabric 기반 선행 연구들(DextrAH-G, DextrAH-RGB)은 정책의 출력을 6D 손바닥 pose + 사람 grasp에서 리타게팅한 5D PCA 부분공간으로 제한했다. 안전하지만, 손가락 하나하나를 독립적으로 조율해야 하는 접촉 풍부한 조작에는 표현력이 모자란다. ADEPT는 이 두 제약을 동시에 건드린다: 사전학습으로 탐색 비용을 낮추고, fabric을 full cspace로 확장해 표현력을 되찾는다(대신 학습 문제는 훨씬 어려워진다고 저자들도 명시한다).

방법 (1) — 사전학습: reposing이라는 범용 목표

전체 파이프라인(Fig. 2) — (1) reposing에서 (\pi_{\mathrm{pre}},V_{\mathrm{pre}}) 사전학습 → (2) BC 증류·critic warm-up·conservative PPO로 (\pi_{\mathrm{post}},V_{\mathrm{post}}) post-training → (3) 스테레오 RGB 학생으로 증류 → (4) 실물 zero-shot 배포.

에피소드마다 16종 프리미티브 중 하나가 무작위 스케일로 테이블에 스폰되고, 정책은 reach → grasp → lift → in-hand reorient → transport → 목표 pose 정렬의 전 과정을 수행해야 한다. 학습은 PPO에 ADR(자동 도메인 랜덤화)를 온라인 커리큘럼으로 얹고, PPO 하이퍼파라미터는 PBT로 탐색한다(부록 C). 중력조차 ADR로 0에서 -9.81\,\mathrm{m/s^2}까지 annealing한다 — 무중력에서 물체를 다루는 법을 먼저 배우게 하는 셈이다. 물체 표현으로는 point cloud를 쓰는데, 저자들은 이 선택이 다운스트림 zero-shot 일반화에 더 좋았다고 (수치 비교 없이) 적는다.

사전학습 물체(Fig. 6) — 16종 프리미티브. 스케일과 물리 속성이 랜덤화된다. 접시(dish) 태스크의 크고 평평한 판은 이 분포에서 명백히 멀다.

일반화 결과가 흥미롭다(Tab. 1). Kuka-Allegro teacher는 in-distribution 프리미티브에서 0.73인데 FMB peg에서 0.76, VisDex 152개 물체에서 0.77로 OOD가 더 높다. Flexiv-Sharpa는 0.64 → 0.58 / 0.61로 소폭 하락하지만 붕괴는 아니다. 다만 프리미티브 쪽 성공률 자체가 0.6~0.7대라는 점은 짚어 둘 만하다. 이 태스크는 ADR 최종 레벨에서 원래 어렵다.

방법 (2) — post-training: 순진한 파인튜닝은 왜 죽는가

학습 곡선(Fig. 3) — 초록: reposing 사전학습(약 8B step), 파랑: ADEPT post-training(약 3B step에 ADR 50 도달), 주황: direct finetuning(ADR 20에 고정), 회색: scratch(9B에서 ADR 6). 우측 inset: 파랑은 SR이 회복·상승하지만 주황은 0에 붙어 있다.

저자들은 붕괴 원인을 네 가지 mismatch로 정리한다: (1) 보상 함수가 바뀌고, (2) 다운스트림에만 있는 관측(\mathbf{p}_{\mathrm{rec}}, \mathbf{f}_{\mathrm{or}})이 추가되며, (3) 그 결과 value/advantage 추정이 나쁘고, (4) 그래서 policy update가 너무 크다. 인과 사슬이 명확하다 — V_{\mathrm{pre}}는 reposing 보상에 맞춰져 있으므로 삽입 보상 아래에서 내는 advantage가 신뢰할 수 없고, 그 gradient가 actor를 사전학습 분포 밖으로 밀어내는 속도가 critic이 재보정되는 속도보다 빠르다. 다음 rollout은 더 나빠진 정책이 더 나빠진 critic 위에서 모으고, 몇 iteration 만에 사전학습 행동이 파괴된다.

세 부품은 이 사슬의 서로 다른 마디를 끊는다. BC 증류는 (2)를 — 관측 공간이 다른 새 actor로 지식을 옮긴다. Critic warm-up은 (3)을 — actor를 얼려 두고 critic만 새 보상에 맞춘다(이 구간에서 actor의 log-std는 \sigma=-2, 선형 스케일로 약 0.14에 고정해 탐색을 좁게 유지, 부록 D). Conservative PPO는 (4)를 — LR을 사전학습 대비 100× 낮추고 clip을 4× 조인다.

여기에 커리큘럼 배치가 붙는데 이 디테일이 꽤 중요하다. 목표 pose는 L자 경로 위에 ADR 레벨로 인덱싱되어 있다: ADR 0→25가 peg 위에서 보드 구멍 위까지 수평 이동, 25→50이 구멍으로 내려가는 수직 삽입이다. BC 증류는 ADR 20의 단일 목표 pose에 고정해 돌리고(사전학습 teacher가 여기서 안정적으로 성공한다), critic warm-up부터는 목표를 곧바로 최종 삽입 지점(ADR 50)으로 놓은 채 나머지 ADR 랜덤화만 레벨 20에서 이어 올린다. scratch 학습은 같은 커리큘럼을 ADR 0부터 밟아야 한다.

Ablation이 이 리뷰에서 가장 값진 표다(Tab. 3, 변형당 5개 독립 non-PBT 시드).

변형	BC	WU	actor LR	clip	ADR50 도달	Train SR (%)	ADR 50까지 시간
(a) ADEPT (full)	✓	✓	10^{-5}	.05	5/5	46.0±1.1	19.9±1.0 h
(b) No BC	✗	✓	10^{-5}	.05	4/5	38.5±1.2	35.2±4.9 h
(c) No warm-up	✓	✗	10^{-5}	.05	4/5	28.4±3.7	20.2±1.5 h
(d) Standard PPO	✓	✓	10^{-3}	.20	0/5	0.0±0.0	Collapse (ADR 20)
(e) High LR only	✓	✓	10^{-3}	.05	0/5	0.0±0.0	Collapse (ADR 20)
(f) Loose clip	✓	✓	10^{-5}	.20	5/5	46.8±2.0	17.6±1.8 h
(g) No BC/WU (remap)	✗	✗	10^{-5}	.05	0/5	26.6±7.9	Stall (ADR 29–39)
(g†) No BC/WU (append)	✗	✗	10^{-5}	.05	0/5	27.0±10.7	Stall (ADR 43)
(h) Direct FT	✗	✗	10^{-3}	.20	0/5	0.0±0.0	Collapse (ADR 20)
(i) Direct FT + KL	✗	✗	10^{-3}	.20	0/5	0.0±0.0	Collapse (ADR 20)

읽어 낼 것이 셋이다. 첫째, 10^{-3} 행은 예외 없이 0/5다 — BC와 warm-up이 다 있어도(e) 죽는다. 둘째, KL 페널티가 구하지 못한다(i). 게다가 본문은 LR 10^{-5}에서 \beta=1로 KL 페널티를 붙여도 5개 시드 전부 0%였다고 적는다. 셋째, clip 조임은 이 논문의 레시피에서 사실상 불필요하다 — (f)가 (a)를 모든 열에서 따라잡거나 넘어선다. 저자들이 이 사실을 숨기지 않고 “배포한 정책은 모두 tight clip을 썼지만 앞으로는 loose clip이 합리적 기본값”이라고 적은 것은 정직하다.

한편 (g)/(g†)는 “BC 없이 관측 10차원을 억지로 주입”하는 두 방식(입력 레이어 remap vs. 391차원 유지 후 append)을 모두 시험해 둘 다 정체함을 보인다 — 즉 BC의 효용이 remapping 방식의 artifact가 아니라는 통제다.

방법 (3) — full cspace geometric fabric

fabric은 정책과 로봇 사이의 2차 미분방정식 레이어다. 각 구성요소는 taskmap \mathbf{x}=\boldsymbol\phi(\mathbf{q}_f) 위에 leaf metric \mathbf{M}과 leaf force \mathbf{f}를 정의하고, root로 pull-back된다:

\mathbf{M}_f \mathrel{+}= \mathbf{J}^\top \mathbf{M}\mathbf{J}, \qquad \mathbf{f}_f \mathrel{+}= \mathbf{J}^\top\!\left(\mathbf{f} + \mathbf{M}\dot{\mathbf{J}}\dot{\mathbf{q}}_f\right)

두 번째 항의 \mathbf{M}\dot{\mathbf{J}}\dot{\mathbf{q}}_f가 chain rule 하에서 leaf 가속을 보존하는 curvature force다. cspace attractor는 오차 \mathbf{e}^p=\mathbf{x}^p-\mathbf{q}^{*,p}_t에 대해 HD1 forcing 항

\ddot{\mathbf{x}}^p_{\text{forc}} = -k^p_a \tanh\!\big(\alpha^p_a\|\mathbf{e}^p\|\big)\frac{\mathbf{e}^p}{\|\mathbf{e}^p\|} - b^p(\mathbf{e}^p)\,\dot{\mathbf{x}}^p, \qquad b^p(\mathbf{e}^p)=b^p_{\max}\,\sigma\!\left(-\sigma^p_d(\|\mathbf{e}^p\|-r^p_d)\right)

와 속도 제곱에 비례하는 HD2 geometric attractor를 병렬로 붙인다. 감쇠가 반경 r^p_d 안에서만 켜지므로 멀리서의 접근은 느려지지 않고 목표 근처에서만 임계 감쇠가 걸린다. 여기에 body sphere 충돌 회피, 관절한계 반발, cspace damping·speed control이 더해지고, 관절별 가속·저크 상한도 걸린다(부록 B).

핵심 차이는 정책이 이 fabric을 팔 7 DoF + 손 16(또는 22) DoF 전체에서 구동한다는 점이다. 정책은 60 Hz로 \mathbf{a}_t\in[-1,1]^{n_q}를 내고 이것이 관절별 상대 델타 → cspace target으로 매핑되며, fabric은 같은 60 Hz에서 2차 Runge–Kutta로 적분된다. 실물에서는 Jetson AGX Orin 위의 C++ admittance 컨트롤러가 1 kHz로 (\mathbf{M}_f, \mathbf{f}_f+\mathbf{f}_\pi) 쌍을 관절 위치·속도 명령으로 적분하고(KUKA 제어 루프 1 kHz, Allegro 333 Hz), 학생 정책은 별도 워크스테이션 GPU에서 돌며 ZMQ로 통신한다(부록 F). 같은 fabric이 sim과 real 양쪽에서 도는 것이 sim-to-real 갭을 줄이는 핵심 장치다.

방법 (4) — 두 단계 학생 증류와 촉각

teacher를 학생으로 옮기는 데에도 pre/post 구조가 한 번 더 반복된다. 저자들의 진단은 “action cloning만으로는 학생이 peg의 방향을 보는 법을 안정적으로 배우지 못한다”이다. 삽입은 특정 방향을 요구하므로 yaw·tilt의 작은 오차가 곧 실패다. 그래서 공유 스테레오 특징 위에 8-keypoint(바운딩박스 코너) pose 예측 헤드를 얹어 시뮬레이터의 ground truth로 지도한다.

\mathcal{L}_{\mathrm{aux}} = \sqrt{\sum_{i=1}^{8}\left\|\hat{\mathbf{k}}^i_\theta(o_t)-\mathbf{k}^{\star,i}_t\right\|_2^2}, \qquad \mathcal{L}_{\mathrm{distill}} = \mathbb{E}_{o_t\sim\pi_\theta}\!\left[w_{\mathrm{BC}}\mathcal{L}_{\mathrm{BC}} + w_{\mathrm{aux}}\mathcal{L}_{\mathrm{aux}}\right]

커리큘럼은 두 단계다. Stage 1은 사전학습 reposing teacher를 “고정 위치의 receptacle 앞에서 peg를 들어 올려 세우기”라는 지각 부담이 큰 대리 태스크로 재활용해 학생을 증류한다 — 여기서는 \mathcal{L}_{\mathrm{aux}}가 시각 인코더를 지배한다. Stage 2는 그 체크포인트에서 시작해 post-trained 삽입 teacher를 상대로 계속 학습하며, 이번엔 \mathcal{L}_{\mathrm{BC}}가 접촉 풍부한 정책을 다듬는다. 각 단계에 지배적 목적이 하나씩만 있게 해 지각 학습과 정책 학습의 충돌을 없애자는 것이다.

Flexiv-Sharpa 학생은 여기에 지문 5개의 촉각을 더한다. TacMap 방식으로 각 지문 출력을 기하 일관적 침투깊이(penetration-depth) 맵으로 시뮬레이션해 실물 캘리브레이션 출력과 표현을 공유하고(그래서 촉각용 별도 sim-to-real 브리징이 없다), 임계값 \tau=1/255로 이진 접촉맵을 만들어 2채널로 쌓아 손가락 간 공유 CNN으로 인코딩한다(d_f=32). 그리고 SaTA 방식의 FiLM 조건화로 순기구학에서 얻은 지문 위치를 4밴드 Fourier 특징으로 확장해 per-finger 특징을 공간적으로 앵커링한다:

\tilde{\mathbf{u}}^k_t = (1+\alpha\boldsymbol\gamma^k_t)\odot\mathbf{u}^k_t + \alpha\boldsymbol\beta^k_t, \qquad \alpha=0.1

\alpha=0.1이라는 작은 값이 눈에 띈다 — 위치 조건화를 hard override가 아니라 soft perturbation으로 두겠다는 설계다. 다섯 개를 flatten하면 d_{\text{tac}}=160이고, 이것이 비전 latent(256, 공유 ResNet + cross-attention fuser)·proprioception·fabric state와 concat되어 [512, 512] MLP와 1024 LSTM을 거친다(부록 H).

직관: 사전학습은 무엇을 주는가

이 논문에서 가장 마음에 남는 관찰은 grasp의 “자연스러움”이 보상이 아니라 초기화에서 온다는 것이다.

grasp 비교(Fig. 12) — (a–d) scratch teacher(ADR 50): 검지와 새끼만으로 집거나 손가락을 극단으로 말아 한 손가락으로 감싸는 등 부자연스럽다. (e, f) 사전학습 teacher zero-shot(ADR 20): 손가락이 감싸지만 가끔 peg 아래에서 위로 잡아 삽입이 불가능하다. (g, h) ADEPT post-trained(ADR 50): 자연스러운 감싸기를 유지하면서 bottom-up grasp는 사라진다.

삽입 보상은 peg를 어떻게 잡는지 규정하지 않는다. 자연스러운 grasp도, 이상한 grasp도 보상을 만족시킬 수 있다. 랜덤 초기화에서 출발한 PPO는 그중 아무거나 — 보통 이상한 쪽을 — 찾아내고 시드마다 크게 흔들린다. reposing 사전학습이 하는 일은 정책 파라미터 공간에서 자연스러운 grasp이 나오는 영역에 정책을 떨어뜨려 놓는 것이고, post-training의 국소 업데이트는 새 grasp 모드를 발견하는 게 아니라 그 안에서 태스크에 맞는 것을 선택·정제한다. reposing teacher가 가끔 내던 bottom-up grasp(reposing은 되지만 삽입은 안 되는)는 다운스트림 정렬 보상 아래 사라진다.

그러면 “post-training은 정제밖에 못 하는가”라는 질문이 남고, dish 태스크가 그 반례다. 접시는 16종 프리미티브 어느 것과도 닮지 않았고, 사전학습 grasp 중 어느 것도 접시에 통하지 않는다. 전이되는 것은 reaching뿐이다. 그런데도 post-training은 접시 잡기를 새로 배우고, 뒤집힌 초기 상태에서는 flip-and-regrasp 전략까지 습득한다 — 사전학습 정책에는 없던 행동이다. 저자들의 정리가 적절하다: 사전학습이 다운스트림 행동을 이미 풀고 있을 필요는 없고, 다운스트림 RL이 해를 찾아 나갈 수 있는 영역에 정책을 놓아 주면 충분하다. 물론 그들도 곧바로 유보를 단다 — 사전학습과 겹침이 거의 없는 질적으로 다른 기술이 필요한 태스크라면 사전학습 분포를 더 넓혀야 할 것이다.

실험: 시뮬레이션과 실물

실물 셋업(Fig. 4) — (A) 23 DoF Kuka iiwa7 + Allegro와 29 DoF Flexiv Rizon + Sharpa, 각각 RealSense RGB 2대(좌측·중앙). (B) FMB peg·보드, 접시, 식기건조대. (C) 테스트에 쓰인 다양한 초기 상태와 조명.

셋업. FMB에서 난이도 양극단의 두 peg를 쓴다 — 회전·상하 대칭이라 유효 삽입 방향이 여럿인 star, 그리고 사각+원형 다리라 유효 방향이 하나뿐인 square/round(FMB에서 가장 어려운 형상). peg는 30 cm × 25 cm 범위에 눕혀 스폰하고 yaw는 [-\pi,\pi] 전 범위다. dish 태스크는 접시를 바로 놓거나 뒤집어 놓고 시작하며, 뒤집힌 경우의 flip-and-regrasp는 Tab. 4에서 Grasp 단계에 포함해 센다.

실물 카메라 뷰(Fig. 10) — (a) Kuka-Allegro, (b) Flexiv-Sharpa. 학생이 실제로 보는 입력은 이 두 장의 320×240 RGB(+Sharpa는 지문 촉각맵)뿐이다.

단계별 성공률(Tab. 4, 각 단계 누적 — k단계 성공은 이전 단계 전부 성공을 전제):

모달리티	로봇	태스크	Reach	Grasp	Lift	Reorient	Align	Insert (SR)
Vision	Kuka-Allegro	FMB Star	10/10	9/10	8/10	8/10	7/10	5/10
Vision	Kuka-Allegro	FMB Square/Round	10/10	8/10	6/10	4/10	3/10	3/10
Vision	Flexiv-Sharpa	FMB Square/Round	10/10	7/10	5/10	3/10	3/10	3/10
Visuo-Tactile	Flexiv-Sharpa	FMB Square/Round	10/10	10/10	10/10	9/10	8/10	8/10
Vision	Kuka-Allegro	Dish	10/10	10/10	8/10	7/10	6/10	6/10

촉각의 효과가 이 표에서 가장 선명하다. 같은 Flexiv-Sharpa·같은 peg에서 비전 전용 3/10 → visuo-tactile 8/10. 저자들의 해석이 좋다 — 실패하는 건 grasp 실행이 아니라 grasp 확신이다. 비전 전용 학생은 잡았는지 여부를 알 수 없어서, 잘 잡고도 손을 다시 열어 물체를 떨어뜨리고 잡기↔︎다시잡기를 반복하며, 그 실패가 lift·reorient로 연쇄된다. 지문 촉각이 붙으면 접촉이 확실해져 모든 trial에서 grasp와 lift에 성공(10/10, 10/10)하고 그 신뢰성이 뒤 단계로 이어진다.

peg 형상 효과도 표에 일관되게 나타난다. star는 능선 사이로 손가락이 감기고 유효 방향이 여러 개라 5/10인 반면, square/round의 둥근 다리는 불안정한 점접촉을 만들어 lift·reorient에서 가장 큰 낙폭(8→6→4)을 낸다.

sim과 real의 격차도 논문이 직접 적어 둔다. post-trained teacher는 시뮬레이션에서 85.0%(Kuka-Allegro, 두 peg 통합)·89.2%(Flexiv-Sharpa)인데, Kuka-Allegro 비전 학생은 46.7%(square/round)·65.2%(star)로 떨어진다. 즉 손실의 상당 부분이 teacher→student 증류 단계에서 발생하고, 실물 전이(65.2% → 5/10, 46.7% → 3/10)는 그 위에 얹힌다. 저자들이 §5에서 “perception이 distillation의 주 병목”이라 쓴 것과 정확히 맞는 그림이다. 참고로 이 수치들은 ADR 50에서 1024 에피소드 episodic SR이며, 학습 곡선의 “instantaneous training SR”(성공 상태에 있는 병렬 환경 비율, 지속 성공 시 리셋됨)과 비교 불가능하다고 논문이 명시한다 — Tab. 3의 46.0 같은 값을 최종 성능으로 읽으면 안 된다는 뜻이다.

증류 커리큘럼은 단일 stage로는 두 peg 모두 0/10으로 전이가 아예 실패하고, 두 단계일 때 학습 내내 병렬 환경 순간 성공률이 약 10% 높다. Stage 1 지각 사전학습이 있으나 마나 한 장식이 아니라는 뜻이다.

속도는 이 논문이 내세우는 실용적 논거다. 다지 손 정책은 전체 시퀀스를 끊김 없는 하나의 행동으로 trial당 5–10초에 수행한다. FMB의 평행 그리퍼 사람 시연은 grasp → 지그에 놓기 → 다시 잡기 → 회전 → 삽입으로 분해되고 외부 지그에 의존해 20–70초가 걸린다 — 2×–14× 차이다.

비판적으로 보면

강점

• 실패를 원인별로 분해하고 각각에 부품을 대응시킨 뒤 ablation으로 검증했다. “pre-train 후 fine-tune이 잘 된다”로 끝내지 않고, mismatch 네 가지 → 부품 세 개 → 5시드 통제 실험이라는 사슬이 끊기지 않는다.
• 자기 레시피에 불리한 결과를 그대로 실었다. clip 조임이 효과 없다는 것(f), 배포한 정책은 그럼에도 tight clip을 썼다는 것, KL 페널티가 실패한다는 것을 모두 적었다. (g)와 (g†)로 관측 주입 방식까지 통제한 것도 성실하다.
• fabric을 full cspace로 올린 것은 실질적 확장이다. DextrAH 계열의 5D PCA 부분공간 제약을 풀면서 안전 보장은 유지했고, sim과 real이 같은 fabric 인스턴스를 공유해 컨트롤러 갭을 구조적으로 없앴다. 배포 토폴로지(Jetson 1 kHz admittance + 워크스테이션 60 Hz 정책)까지 부록에 적어 재구성 가능성을 높였다.
• 촉각의 기여를 단계별로 분해해 보였다. 8/10 vs 3/10이라는 총합보다, grasp 10/10·lift 10/10로 “확신”이 회복되는 지점을 짚은 per-stage 표가 훨씬 설득력 있다.
• 부정적 전이 사례(dish)를 숨기지 않고 오히려 논거로 썼다. 사전학습 grasp가 하나도 통하지 않는 물체에서 post-training이 새 기술을 배운다는 것이 “prior = 좋은 초기 분포”라는 주장의 가장 강한 증거다.

약점·한계

• 코드·체크포인트가 없다. 2026-09-03 확인 시점 기준 레포·모델·시뮬레이션 에셋 어느 것도 공개되지 않았다. 8B + 3B env step의 PBT 학습, ADR 커리큘럼, fabric 파라미터 annealing, 두 단계 증류가 전부 얽힌 파이프라인이라 논문만으로 재현은 사실상 불가능하다. 부록 H가 “codebase”를 언급하는데도 링크가 없다는 점이 특히 아쉽다.
• 실물 표본이 태스크·조건당 10 trial이다. 5/10과 3/10의 차이는 이 표본에서 통계적으로 구분되지 않는다(이항 신뢰구간이 크게 겹친다). 촉각 8/10 vs 3/10 정도는 방향이 뚜렷하지만, star vs square/round의 세부 순위나 dish 6/10 같은 값을 정밀한 비교로 쓰기엔 근거가 얇다. 시뮬레이션 쪽은 1024 에피소드인데 실물만 10회라는 비대칭이 결론의 무게중심을 흔든다.
• 절대 성능이 낮다. 가장 어려운 조합인 Kuka-Allegro square/round는 10번 중 3번 성공한다. 논문 스스로 “human-level speed”를 강조하지만, 속도는 성공했을 때의 이야기다. 성공률까지 포함한 처리량으로 보면 2×–14× 주장은 상당히 희석된다.
• fabric 파라미터 튜닝 비용이 보이지 않는다. 부록 B는 mass sharpness·conical gain·damping radius·per-joint 가속/저크 상한 등 다수의 하이퍼파라미터를 정의하고 이들이 ADR로 annealing된다고 적지만, 이 튜닝이 얼마나 수고로웠는지·다른 임베디먼트로 옮길 때 얼마나 다시 해야 하는지는 평가되지 않는다. “full cspace fabric이 학습 문제를 훨씬 어렵게 만든다”고 인정한 만큼, PCA 부분공간 대비 직접 비교 ablation이 있었다면 두 번째 기여의 근거가 훨씬 단단했을 것이다.
• 일반성의 폭이 좁다. 다운스트림 태스크는 사실상 두 종류(peg insertion, dish placement)이고, 임베디먼트마다 사전학습을 따로 하며(Kuka-Allegro용·Flexiv-Sharpa용 별도), 태스크마다 teacher를 따로 post-train한다. “한 번 사전학습, 여러 태스크에 재사용”이라는 회계는 Kuka-Allegro의 3개 태스크로만 뒷받침된다. 8B step의 상각이 실제로 이득이 되려면 태스크 수가 더 필요하다.
• 지각 병목이 §5에 정직하게 적혀 있지만 정량화되지는 않았다. occlusion 하 비대칭 peg 방향 추정 오류가 잦다고 적으면서도, 실패 중 몇 %가 pose 오류인지·8-keypoint 예측 오차가 실제로 얼마인지는 보고되지 않는다. 손목 카메라가 도움될 것이라는 제안도 실험 없이 남는다.
• 일부 설계 선택이 근거 없이 지나간다. 물체 표현으로 point cloud를 쓰는 것이 “다운스트림 zero-shot 일반화에 더 좋았다”는 문장에는 비교 수치가 붙어 있지 않고, w_{\mathrm{aux}}=20이나 FiLM의 \alpha=0.1 같은 값도 민감도 분석 없이 제시된다.

관련 연구와의 자리 매김

Fabric 계열. Geometric Fabrics의 이론 위에서 DextrAH-G·DextrAH-RGB가 sim-to-real grasping을 세웠고, ADEPT는 그 라인의 직계 후속이다. 차이는 명확히 한 곳 — 손 제어를 5D PCA 부분공간에 가두는 대신 full cspace를 정책에 노출한다. 학생 아키텍처(ResNet + cross-attention fuser, unfreeze 스케줄, 보조 pose 헤드) 역시 DextrAH-RGB를 그대로 계승하되, 보조 목표를 물체 위치에서 8-keypoint pose로 올린 것이 삽입 태스크에 맞춘 변경이다.

Dexterous RL 사전학습. Play2Perfect가 동시대에 거의 같은 구도(태스크 무관 play로 goal-conditioned RL 사전학습 → 정밀 조립에 파인튜닝)를 밟는데, ADEPT가 스스로 긋는 선은 배포 시 입력이다. Play2Perfect와 SimToolReal은 물체 pose를 관측으로 받고 state 기반 teacher를 실물에 올리는 반면, ADEPT는 pose estimator 없이 raw RGB(+촉각)를 먹는 학생을 배포한다. 이 구분이 “시연도 pose tracker도 없이 pick–reorient–insert를 실물 zero-shot으로 처음 보였다”는 주장의 근거다. 한편 forgetting 완화의 표준 처방인 EWC·KL 정칙화 계열과 비교해, ADEPT는 명시적 페널티 대신 초기화(BC) + value 재보정(warm-up) + 작은 스텝(LR) 조합을 택했고 KL이 실패한다는 실험까지 붙였다.

촉각 sim-to-real. TacMap의 침투깊이 표현과 SaTA의 FiLM 공간 앵커링을 조합한 것이 Sharpa 학생의 촉각 브랜치다. 촉각 sim-to-real을 별도 정렬 학습 없이 “표현을 공유해서” 넘긴다는 전략은 DexPBT를 비롯한 visuo-tactile 계열 리뷰들과 함께 놓고 보면 이 분야가 수렴해 가는 지점이 보인다 — 촉각의 sim-to-real은 신호를 정확히 재현하는 문제가 아니라 양쪽이 같은 기하 표현을 보게 만드는 문제로 재정의되고 있다.

대조군으로서의 데이터 기반 접근. DemoStart는 픽셀에서 grasp–reorient–insert를 배우지만 시연으로 학습을 시드해야 한다. ADEPT는 시연 없이 보상만으로 같은 종류의 장기 태스크를 푼다는 점에서 반대편 극단에 있고, 대신 그 대가로 11B env step과 세심한 커리큘럼 설계를 지불한다.

요약

ADEPT는 dexterous RL을 “태스크마다 처음부터”에서 “한 번 사전학습하고 태스크마다 얹기”로 옮기려는 시도이고, 그 전환의 걸림돌이 사전학습 태스크의 품질이 아니라 전이 절차의 불안정성임을 실험으로 못박았다. 원인 사슬(보상 변경 → 관측 확장 → 잘못된 value → 과도한 policy drift)에 BC 증류·critic warm-up·conservative PPO를 하나씩 대응시켰고, ablation은 그중 작은 actor learning rate가 유일한 필수 조건이며 KL 페널티는 이 상황을 구하지 못한다는, 실무적으로 쓸모 있는 결론을 남긴다. 여기에 full cspace geometric fabric으로 23·29 DoF 전체를 안전하게 열어 주고, 두 단계 증류로 raw RGB(+촉각) 학생을 만들어 실물에 zero-shot으로 올렸다.

동시에 이 논문의 실물 근거는 태스크·조건당 10회 trial이고, 가장 어려운 조합의 성공률은 3/10이다. 시뮬레이션 teacher 85%가 학생 47%로, 다시 실물 3/10으로 줄어드는 계단은 저자들이 지목한 대로 지각이 병목임을 보여 주지만 그 병목은 이 논문에서 해결되지 않는다. 그리고 코드와 체크포인트가 없는 한 이 파이프라인의 어느 부품이 얼마나 이식 가능한지는 다른 팀이 확인할 수 없다. “사전학습된 손재주”라는 자산이 실제로 재사용 가능한 자산이 되려면, 태스크 수를 늘리는 것만큼이나 그 자산을 남들이 집어 들 수 있게 내놓는 일이 필요하다.