📃From Grasps to Dexterity 리뷰

dexterity

grasp

diffusion

pretraining

From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation

Published

September 27, 2026

Paper Link (arXiv:2606.30749v1) — 이 리뷰는 arXiv v1(2026-06-29, cs.RO) 을 정본으로 읽었다. 본문 8절 + 부록 A~D 전체가 대상이다.
Project Page
Code: 공개된 저장소 없음 (2026-09-27 확인). 논문 본문·부록·참고문헌, 그리고 프로젝트 페이지의 모든 링크를 훑었으나 GitHub URL도, 릴리스 예고 문구도 없다. 프로젝트 페이지가 거는 외부 링크는 arXiv, 저자 개인 페이지, 그리고 인용 논문 페이지(Dexonomy, MimicGen)뿐이다. DexCraft 벤치마크와 G2D-Pretrain 데이터셋도 결론에서 “We hope that DexCraft and G2D-Pretrain will support future research” 라고만 쓰고 배포 계획은 밝히지 않는다. (→ 이 리뷰에 코드 재현·슬라이드가 없는 이유다.)
Ying Yuan*, Xinyu Liu*, Sriram Krishna, David Held (*동등 기여)
Robotics Institute, Carnegie Mellon University — arXiv preprint, 2026 (논문에 학회 표기 없음)

💡 “수백만 개의 파지(grasp) 데이터는 집는 것 말고 쓰는 것도 가르칠 수 있는가” — 대규모 dexterous grasp 데이터셋은 지금까지 grasp 생성과 pick-and-place에만 쓰였는데, 이 논문은 그 데이터를 분절 도구(articulated tool) 조작이라는 장기 과제의 사전학습 코퍼스로 재해석한다.
⚙️ Dexonomy의 정적 grasp 주석을 시뮬레이터에서 3단계(pre-grasp → grasp → post-grasp) 궤적으로 펼쳐 355,677개 trajectory(G2D-Pretrain) 를 만들고, 이걸로 저수준 goal-conditioned DP3 컨트롤러를 사전학습한 뒤, 고수준 policy가 예측한 16개 손 keypoint sub-goal을 조건으로 downstream demo에 파인튜닝한다.
🎯 자체 벤치마크 DexCraft(6개 분절 도구 사용 태스크) 100-demo 기준 평균 성공률 64.6% — DP3(19.1%) 대비 +45.5pp, 사전학습 없는 동일 계층 정책(58.0%) 대비 +6.6pp. 실물 로봇 3개 태스크에서는 full-task 성공률이 DP3 대비 +33.3pp(7.4% → 40.7%).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 손으로 스프레이 병을 집는 것과, 집은 뒤 검지로 방아쇠를 당기는 것은 전혀 다른 난이도다. 앞의 것은 이미 수백만 건 규모의 합성 데이터셋(DexGraspNet, Dexonomy, GraspXL(ECCV 2024), Dex1B(RSS 2025))이 존재한다. 뒤의 것은 데모를 사람이 직접 모아야 하고, 그래서 늘 데이터가 모자란다.

이 논문의 질문은 단순하다. 앞의 데이터로 뒤의 문제를 도울 수 있는가? 저자들의 답은 “된다, 단 두 가지 장치가 있어야 한다”이다. 하나는 정적인 grasp 주석을 닫힌 루프 궤적으로 펼치는 것이고, 다른 하나는 grasp 데이터가 절대 알려줄 수 없는 것 — “이 도구로 무엇을 해야 하는가” — 를 계층 구조의 고수준 정책에 맡기는 것이다.

개요(Fig. 1) — 왼쪽: 시뮬레이션 벤치마크 DexCraft. 초록색 메시가 물체의 목표 자세(정책은 관측하지 못한다). 오른쪽: 실물 로봇(Franka + LEAP Hand)이 proprioception과 RGB-D만으로 주사기 밀기·스프레이 방아쇠·가위 집기를 수행하는 장면.

프로젝트 페이지의 공식 요약 영상.

핵심 방법론.

(1) 계층 분해. 고수준 정책 \pi_{high} 는 현재 포인트클라우드 관측 o_t 로부터 k 번째 sub-goal 시점의 손 상태를 3D로 예측한다. 기존 계층 모방학습(ArticuBot, GHOST)은 평행 그리퍼용이라 sub-goal을 4개 점으로 적었는데, 고자유도 손에서는 같은 손바닥·지문 위치가 서로 다른 내부 관절 배치·접촉 모드에 대응할 수 있다. 그래서 이 논문은 손 링크마다 하나씩, 16개 keypoint를 예측한다.

\mathcal{L}_{high}=\mathbb{E}_{(o_{t},e_{g(t)})\sim\mathcal{D}}\big\|\pi_{high}(o_{t})-e_{g(t)}\big\|_{2}^{2}, \qquad e_{g(t)}\in\mathbb{R}^{16\times 3}

실제 학습은 장면 점마다 하나씩 후보를 두는 dense GMM의 음의 로그우도로 이뤄진다(부록 B.1). 각 점 p_i 에 대해 네트워크가 변위 \Delta_i\in\mathbb{R}^{16\times3} 와 혼합 로짓 w_i 를 내면

\mathcal{L}_{\mathrm{GMM}}(G)=-\log\sum_{i}\pi_{i}\,\mathcal{N}\!\left(\mathrm{vec}(G);\ \mathrm{vec}(p_{i}+\Delta_{i}),\ \sigma^{2}I\right)

이고, 여러 고정 분산 \sigma\in\Sigma 에 대해 합산한 뒤 균등혼합 보조손실을 더한다: \mathcal{L}_{\mathrm{high}}=\sum_{\sigma\in\Sigma}(\mathcal{L}^{\sigma}_{\mathrm{GMM}}+\lambda\mathcal{L}^{\sigma}_{\mathrm{uniform}}).

저수준 정책 \pi_{low} 는 그 sub-goal을 조건으로 받아 action chunk를 낸다.

\mathcal{L}=\mathbb{E}_{(o_{t},s_{t},e_{g(t)},a_{t})\sim\mathcal{D}}\big\|\pi_{low}(o_{t},s_{t},e_{g(t)})-a_{t}\big\|_{2}^{2}

(2) Grasp 데이터를 궤적으로 펼치기. Dexonomy의 각 샘플은 pre-grasp / grasp / squeeze 세 개 자세만 준다. 저자들은 여기에 무작위 초기 자세, 목표 pre-grasp에 정렬된 펼친 손 자세, 마지막 들어올린 자세를 덧붙여 key-frame 열을 만들고, 접근 구간은 모션 플래너(관측 포인트클라우드로 충돌 검사), 이후 구간은 선형·평활 보간으로 채워 ManiSkill3에서 실행한다. 마지막 프레임에서 파지가 성립한 것만 남겨 355,677개를 얻었다.

(3) 형태(embodiment) 차이 메우기. 사전학습은 22-DoF Shadow hand 공간에서 이뤄지고 downstream은 16-DoF LEAP Hand다. 저자들은 학습 파라미터가 전혀 없는 수동 어댑터를 쓴다 — LEAP 관절을 의미가 대응하는 Shadow 관절 슬롯에 매핑(부록 Table 6)하고 나머지는 0으로 채운다. 추론 때는 역으로 해당 엔트리만 골라 LEAP 액션을 만든다.

주요 결과.

DexCraft 6태스크 평균 성공률(100 demos): Ours 64.6% > HP-Scratch 58.0% > GraspXL-PT 48.7% > DP3-PT 29.7% > DP3 19.1% > DP 2.3%.
데이터 효율: Ours가 20 demos로 얻는 45.4%가 DP3가 100 demos로 얻는 19.1%보다 높다.
사전학습 소스가 중요하다: 같은 355k 규모로 맞춰도 GraspXL 사전학습(48.7%)이 G2D-Pretrain(64.6%)에 못 미친다.
실물(각 태스크 50 demos, 18 에피소드 평가): Grasp 77.8% / Align 66.6% / Trigger 40.7% — DP3의 38.9 / 20.4 / 7.4 대비 전 단계 우세.
고수준 정책은 oracle에 밀리지 않는다: ground-truth sub-goal로 조건화한 oracle(100 demos 평균 57.8%)보다 학습된 고수준 정책(64.6%)이 오히려 높다(부록 Table 8).

결론. 대규모 grasp 합성 데이터의 가치는 “어떤 자세로 집을지”에 국한되지 않는다. 그것을 닫힌 루프 궤적으로 펼치고 + 작업 의도를 별도의 고수준 정책에 맡기면, 접촉이 빽빽한 분절 도구 사용의 사전학습 코퍼스로 재활용할 수 있다. 다만 논문이 실제로 보인 것은 “grasp 데이터가 도움이 된다” 이지 “grasp 데이터만으로 충분하다” 는 아니다 — 계층 구조를 뺀 DP3-PT의 이득(19.1→29.7)은 계층 구조 하나의 이득(19.1→58.0)에 한참 못 미친다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문은 “파지 데이터셋을 사전학습 코퍼스로 쓴다”는 한 문장을 실제로 성립시키기 위해, 정적 grasp 주석을 닫힌 루프 궤적으로 물리적으로 펼치고(G2D-Pretrain), 그 데이터가 결코 담을 수 없는 작업 의도를 고수준 sub-goal 정책으로 분리해 내고, 그 두 조각이 각각 얼마를 기여하는지 분해해 보인 시스템 논문이다. 그리고 솔직히 말하면, 실험이 보여주는 기여의 크기는 계층 구조 쪽이 사전학습 쪽보다 훨씬 크다.

배경 — 왜 “집기”와 “쓰기” 사이에 골이 있는가

Dexterous grasp 데이터셋은 이미 풍족하다

지난 몇 년간 다지 손용 grasp 합성은 규모 경쟁이 붙었다. 논문이 인용하는 것만 봐도 DexGraspNet, Dexonomy, GraspXL, Dex1B 등이 수백만~수십억 건 규모의 물리적으로 타당한 grasp을 만든다. 이 블로그에서도 Dexonomy 리뷰에서 taxonomy 기반 grasp 합성을, GRIT 리뷰에서 taxonomy를 RL 가이드로 쓰는 쪽을 다룬 적이 있다.

문제는 쓰임새다. 이 데이터들은 거의 전부 (a) grasp 예측 모델 학습 또는 (b) closed-loop grasping 정책 학습에 쓰였다. 즉 “집는 순간”까지다. 주사기를 집고 나서 플런저를 끝까지 미는 문제는 이 데이터 어디에도 적혀 있지 않다.

분절 도구 사용이 특별히 어려운 이유

논문이 드는 이유는 세 겹이다.

다단계. 도구 획득 → 접촉을 유지한 채 이동 → 작업 진행에 따라 파지 적응. 각 단계가 요구하는 손 모양이 다르다.
자세와 힘의 동시 요구. 분절 도구는 “물체의 자세를 유지하면서” + “정확한 접촉점에 힘을 가해” 가동부를 움직여야 한다. 스프레이 병을 잡은 채 방아쇠만 당기려면 나머지 손가락은 병을 놓치면 안 된다.
평행 그리퍼로는 애초에 불가능. 저자들이 태스크를 고른 기준이 이것이다 — “스프레이 병을 들고 방아쇠를 짜는” 류.

기존 분절 물체 벤치마크(Adroit, DexArt)가 있지만, 논문의 지적은 그것들이 정교하고 협응된 손가락 운동을 명시적으로 요구하지는 않는다는 것이다. 그래서 새 벤치마크를 만들었다.

DexCraft — 벤치마크부터 보자

DexCraft 6태스크(Fig. 2) — 각 태스크마다 왼쪽이 초기 프레임, 오른쪽이 목표 프레임. 초록 메시가 목표 물체 위치(정책은 보지 못한다). 참조 물체는 목표에 상대적으로 배치된다.

DexCraft 태스크 정의 (§4)
#	태스크	요구 동작	작동 손가락
1	Spray bottle	천 앞 목표 자세로 옮기고 방아쇠를 짠다	검지
2	Lighter	참조 물체 앞으로 옮기고 뚜껑을 젖힌다	엄지
3	Dispenser	참조 물체로 옮기고 펌프를 누른다	검지
4	Pliers	턱 사이에 참조 물체를 두고 턱을 닫는다	(다지 협응)
5	Stapler	상판과 바닥 사이에 참조 물체를 두고 상판을 누른다	(다지 협응)
6	Pen	펜 끝 근처 참조 물체로 옮기고 버튼을 누른다	엄지

성공 판정은 두 조건의 논리곱이다 — ① 도구의 위치·방향이 목표 자세와 일치하고, ② 분절 관절이 임계값 이상 작동할 것. 부록 A.1은 단계별 성공을 더 구체적으로 규정한다: Grasping = 최소 두 손가락이 0.5 N 초과 접촉력으로 물체에 닿음, Aligning = 목표 위치로부터 0.04 m 이내 + 목표 방향으로부터 30° 이내, Triggering = 분절 관절이 태스크별 임계값 도달.

환경. ManiSkill3 위에 XArm6(6-DoF) + LEAP Hand(16-DoF). 자산은 PartNet-Mobility. 관측은 q_{pos},q_{vel},\bar q_{pos}\in\mathbb{R}^{22}, p_{eef}\in\mathbb{R}^{7}, 포인트클라우드 P_o\in\mathbb{R}^{1024\times3}, 손 스켈레톤 P_{hand}\in\mathbb{R}^{16\times3}. 액션은 22차원(팔 6 + 손 16), 팔은 delta end-effector, 손은 delta joint position. 제어 주파수 20 Hz, RGB-D 카메라 2대.

데이터 수집이 흥미롭다. 태스크당 키보드 텔레오퍼레이션으로 단 5개 데모를 모으고, 이를 MimicGen으로 100개까지 증강한다. 손 제어는 손가락별 굽힘/폄 키 + 엄지 관절별 키로 이뤄진 “finger primitive” 조합이다. 부록 A.3은 MimicGen 증강의 성공률이 태스크 평균 약 10% 라고 밝힌다 — 즉 100개를 얻기 위해 1000회가량을 시도했다는 뜻이고, 이 벤치마크의 데모 생성이 결코 공짜가 아님을 보여준다.

⚠️ 한 태스크에 자산이 하나다. 저자들도 명시한다 — DexCraft는 category-level 일반화가 아니라 물체 자세 변화 하에서의 기능적 손재주에 초점을 맞춘다. 초기 자세는 0.1\,\mathrm{m}\times0.1\,\mathrm{m} 영역 + z 축 \pm30° 회전, 목표 자세는 같은 크기 영역 + z 축 \pm30° + y 축 회전(태스크에 따라 (-60°,0°) 또는 \pm15°) + 현재 높이보다 0.1{\sim}0.3\,\mathrm{m} 위. 일반화 주장은 이 범위 안에서만 유효하다.

방법 (1) — 계층 표현: 4점에서 16점으로

전체 파이프라인(Fig. 3) — 위: Dexonomy 주석을 grasp 궤적으로 증강해 저수준 정책을 사전학습하고 downstream 데이터로 파인튜닝. (a) 고수준 sub-goal 예측 정책은 포인트클라우드에서 손 keypoint 위치를 예측. (b) 저수준 정책은 예측된 sub-goal keypoint와 현재 관측을 조건으로 action chunk를 예측.

이 논문의 가장 직접적인 기술적 기여는 여기다. ArticuBot·GHOST 계열은 sub-goal을 “그리퍼 위 4개 점”으로 적었다. 평행 그리퍼는 자유도가 사실상 열림/닫힘 하나라 4점이면 포즈가 결정된다.

다지 손에서는 그 가정이 깨진다. 논문의 문장을 그대로 옮기면: “같은 손바닥·지문 자세가 서로 다른 내부 관절 배치, 접촉 모드, 손가락의 기능적 역할에 대응할 수 있다.” 스프레이 병을 “검지로 방아쇠를 당기는 자세”로 잡은 손과 “검지를 병 몸통에 감은 자세”로 잡은 손은 지문 위치가 비슷해도 다음에 할 수 있는 일이 전혀 다르다.

Cond-5 vs Cond-16(Fig. 11) — 빨간 점이 현재 손 keypoint, 파란 점이 예측된 sub-goal keypoint, 화살표가 대응. 왼쪽은 지문 4 + 손바닥 1 = 5점, 오른쪽은 손 링크마다 하나씩 16점.

구현 디테일. 고수준 정책은 PointNet++(MSG, set abstraction 6층, 점 개수 1024→512→256→128→64→16)를 백본으로 쓴다. 입력은 카메라 포인트클라우드 o_{cam} 와 현재 손 keypoint e_t 를 one-hot 라벨을 붙여 concat한 것이다. 출력 분포는 장면 점 위의 dense GMM — 각 점이 후보 sub-goal 중심 \mu_i=p_i+\Delta_i 를 정의하고, 고정 분산 \Sigma=\{0.01,0.05,0.1,0.25,0.5\} 각각에 대해 NLL을 합산한다. 추론 때는 로짓을 softmax로 정규화해 anchor 점 i\sim\mathrm{Categorical}(\pi) 를 뽑고 가우시안 노이즈 없이 그 평균 \hat G=p_i+\Delta_i 를 그대로 쓴다.

저수준 정책은 ArticuBot을 따라 수정된 DP3 인코더를 쓴다. 장면 점을 point-wise MLP + 3D rotary positional encoding으로 임베딩한 뒤, 현재 손 keypoint를 query로 장면에 cross-attend(Act3D 스타일)하고, 두 번째 cross-attention으로 현재 손 ↔︎ 목표 손 keypoint를 관계짓는다. 즉 “손 주변의 물체 맥락”과 “원하는 손 움직임”이 각각 별도의 attention으로 들어간다. 결과 특징을 proprioception 임베딩과 concat해 DP3 diffusion의 관측 조건으로 쓴다(FiLM conditioning, 예측 horizon 16, action step 4, DDIM, 학습 100 step / 추론 10 step).

두 정책은 독립적으로 학습되고, 학습 때는 양쪽 모두 데모의 ground-truth sub-goal을 쓴다. 추론 때는 같은 주기로 순차 실행 — \pi_{high} 가 sub-goal을 내고 \pi_{low} 가 그에 조건화된 action chunk를 낸다. 단계 분해는 grasping / aligning / actuating 세 개이며, sub-goal 프레임은 각 단계의 마지막 프레임이다.

📎 부록 A.1의 분해 원칙이 미묘하다. MimicGen은 태스크를 object-centric sub-task(로봇 운동이 한 물체 좌표계 기준)로 쪼개지만, 다지 손은 “열림/닫힘” 이진 상태로 추상화되지 않는다. 그래서 저자들은 object-centric + grasp-centric 하이브리드 분해를 쓴다 — 도구를 목표 자세로 옮기는 것은 object-centric, 파지와 트리거는 손가락 배치·접촉 패턴이 달라지므로 grasp-centric.

방법 (2) — 정적 grasp를 궤적으로 펼치기

Dexonomy는 10.7k 물체 · 9.5M grasp · Shadow hand · GRASP taxonomy 31종을 담는다. 저자들이 Dexonomy를 고른 이유는 두 개다. 첫째, grasp type 다양성 — 분절 도구 사용은 과정 중에 서로 다른 파지 유형이 필요하다. 둘째, 22-DoF Shadow hand는 현존 가장 복잡한 손 중 하나이고 저자유도 손으로의 전이가 선행 연구에서 확인됐다.

문제는 Dexonomy가 자세 세 개(pre-grasp / grasp / squeeze)만 준다는 것이다. 정책 사전학습에는 완전한 궤적이 필요하다. 변환 절차(부록 B.3):

각 Dexonomy 샘플에서 손목 자세 + Shadow 관절값을 뽑아 action key-frame으로 바꾸고, 물체 자세와 목표 손 자세 양쪽에 동일한 무작위 공간 오프셋을 적용한다 → 상대 grasp 기하는 보존한 채 장면만 무작위화.
key-frame 열을 구성: 무작위 초기 손 자세 → pre-grasp에 정렬된 펼친 손 → pre-grasp → grasp → squeeze → 들어올린 최종 자세.
접근 구간은 관측 포인트클라우드로 충돌 검사하는 모션 플래너, 이후는 선형 보간 + 손가락 관절 평활 보간.
ManiSkill3에서 floating Shadow hand로 실행, 마지막 프레임의 파지 성립 여부로 필터링.
각 유효 궤적에 대해 전이 인덱스에서 단계별 목표 손 포인트클라우드를 추가로 구성 → goal-conditioned 학습 가능.

최종 355,677개. grasp type별 분포는 고르지 않다.

G2D-Pretrain의 grasp type별 궤적 수 (부록 Table 5, 내림차순 재배열)
Grasp type	# Traj.	Grasp type	# Traj.
1_Large_Diameter	37,003	17_Index_Finger_Extension	12,159
28_Sphere_3_Finger	24,354	18_Extensior_Type	11,590
11_Power_Sphere	23,707	15_Fixed_Hook	11,487
12_Precision_Disk	22,407	22_Parallel_Extension	11,458
29_Stick	21,628	33_Inferior_Pincer	11,419
30_Palmar	20,887	24_Tip_Pinch	6,382
13_Precision_Sphere	18,850	25_Lateral_Tripod	6,801
32_Ventral	17,410	20_Writing_Tripod	5,669
26_Sphere_4_Finger	17,516	14_Tripod	5,186
3_Medium_Wrap	16,453	4_Adducted_Thumb	4,293
2_Small_Diameter	15,176	5_Light_Tool	3,783
31_Ring	15,018	7_Prismatic_3_Finger	3,323
6_Prismatic_4_Finger	2,970	8_Prismatic_2_Finger	2,585
23_Adduction_Grip	2,342	16_Lateral	1,511
9_Palmar_Pinch	1,428	10_Power_Disk	459
27_Quadpod	423	Total	355,677

📊 분포 불균형이 눈에 띈다. 최다(1_Large_Diameter 37,003)와 최소(27_Quadpod 423) 사이에 87배 차이가 난다. 상위 5종이 전체의 약 35% 를 차지한다. 논문은 “taxonomy 다양성”을 GraspXL 대비 우위의 근거로 드는데, 그 다양성은 종류의 수(31종)에서는 성립해도 빈도의 균형에서는 성립하지 않는다. 드문 grasp type(정밀 핀치, quadpod)이 downstream에서 정확히 필요한 것일 수도 있는데 이에 대한 분석은 없다.

Embodiment 어댑터 — 학습 파라미터 0개

사전학습은 22-DoF Shadow hand 액션 공간에서, downstream은 16-DoF LEAP Hand에서 일어난다. 저자들의 해법은 결정론적 수동 어댑터다.

6-DoF end-effector 명령은 그대로 복사.
LEAP의 16개 관절을 의미적으로 대응하는 Shadow 슬롯에 매핑(예: LEAP 0 → Shadow slot 1 = FFJ3, LEAP 3 → slot 18 = THJ4).
쓰이지 않는 Shadow 슬롯은 0으로 채움.
추론 시 역방향: Shadow 스타일 액션에서 해당 엔트리만 뽑아 LEAP 액션 구성.
관측 쪽도 마찬가지로, 엔트리가 없거나 형상이 안 맞으면 zero-pad.

학습 가능한 파라미터가 없다는 점이 중요하다 — 사전학습된 액션 인터페이스를 그대로 보존하면서 저자유도 손에서 파인튜닝·실행하게 하는 게 전부다. 우아하지만, 뒤에서 보듯 이 선택이 GraspXL 비교를 복잡하게 만든다.

직관 — 왜 grasp 데이터가 “도구 쓰기”에 도움이 되는가

저자들의 논리를 재구성하면 이렇다. 분절 도구 사용의 실패는 대부분 마지막 단계(트리거)가 아니라 첫 단계(파지) 에서 시작된다. 부록 D.2의 정성 분석이 이를 뒷받침한다 — DP3는 손-물체 정렬의 작은 오차가 불안정한 접촉을 낳고, 미끄러지거나 트리거를 지탱할 수 없는 자세로 병을 잡는다.

즉 “스프레이 병 잡기”는 “스프레이 병 쓰기”의 전제 조건이고, 전자는 grasp 데이터셋이 수백만 건 알고 있는 것이다. Grasp 사전학습이 주는 것은 트리거 동작 자체가 아니라 “트리거를 할 수 있는 자세로 잡는 법” 이라는 접촉·손배치 prior다.

동시에 이 논리는 grasp 데이터만으로는 왜 부족한지도 설명한다. Grasp 궤적은 “무엇을 달성해야 하는지”, “작업이 어떻게 진행되는지”, “언제 파지에서 도구 조작으로 넘어가는지”를 전혀 적고 있지 않다. 그 세 가지는 고수준 정책이 downstream 데모에서 배운다. 논문의 구조가 이렇게 쪼개진 이유다.

실험 수치가 이 직관을 정확히 확인해 준다. 실물 결과를 보면 사전학습의 이득이 Grasp 단계(61.1→77.8)에서 가장 크고, 그 이득이 Align(42.6→66.6)과 Trigger(25.9→40.7)로 전파된다. 파지가 좋아지니 뒤가 따라온 것이다.

실험 (1) — 시뮬레이션

DexCraft 6태스크 평균 성공률(%) — Table 1의 Avg. 열, 설정당 500 에피소드 평가
방법	20 demos	50 demos	100 demos
DP (image diffusion policy)	1.0	1.8	2.3
DP3	2.4	8.4	19.1
DP3-PT (end-to-end + G2D 사전학습)	10.1	22.3	29.7
GraspXL-PT (계층 + GraspXL 사전학습)	13.0	37.8	48.7
HP-Scratch (계층, 사전학습 없음)	38.7	48.9	58.0
Ours (계층 + G2D-Pretrain)	45.4	60.3	64.6

태스크별로도 펼쳐 보자(100 demos 기준).

DexCraft 태스크별 성공률(%), 100 demos (Table 1에서 발췌)
방법	SprayBot.	Lighter	Dispenser	Pliers	Stapler	Pen
DP	0.8	3.8	1.8	2.2	2.2	3.2
DP3	21.0	15.8	14.2	13.4	39.2	10.4
DP3-PT	29.0	35.2	17.4	23.2	43.8	29.6
GraspXL-PT	44.2	36.8	58.8	38.8	71.6	42.0
HP-Scratch	57.0	44.2	73.8	54.2	70.8	47.6
Ours	68.4	45.4	78.6	62.6	77.2	54.6

Q1 — 계층 구조의 기여. 표의 위 세 행(end-to-end)과 아래 세 행(계층)을 가르는 선이 명확하다. DP3(19.1) → HP-Scratch(58.0)의 +38.9pp가 이 논문에서 단일 설계 선택이 만든 가장 큰 차이다. 원인은 정성적으로도 설명된다 — end-to-end 정책은 물체 위치를 부정확하게 잡고, 스프레이 병처럼 병 방향에 손을 정렬해야 안정 파지가 되는 경우 눈에 띄는 오프셋으로 잡아 실패한다.

Stapler 태스크의 샘플 효율(Fig. 5) — 데모 20/50/100에서 DP3 대비 계층 정책 두 종의 성공률. 계층 정책은 20 demos만으로 DP3의 100-demo 성능을 크게 웃돈다.

Q2 — 사전학습의 기여. Ours vs HP-Scratch가 이 질문에 답한다: +6.7 / +11.4 / +6.6pp (20/50/100 demos). 일관되게 양수지만 계층 구조의 기여에 비하면 작다. 저자들도 “사전학습의 이득은 태스크마다 다르다”고 인정하고, 태스크 난이도·데모 커버리지·사전학습 정책이 배운 저수준 스킬의 차이로 돌린다. 실제로 Lighter(100 demos)에서는 44.2 → 45.4로 사실상 동률이고, Pen(20 demos)에서는 48.8 → 43.8로 뒤집힌다.

end-to-end 쪽에서도 사전학습은 작동한다 — DP3(19.1) → DP3-PT(29.7). 논문 표현으로는 “유용한 초기화를 제공”하는 정도다.

Q3 — 사전학습 소스. GraspXL-PT(48.7)와 Ours(64.6)의 차이다. 저자들의 해석: GraspXL의 다양성은 파지 가능 영역·접근 방향 같은 샘플링된 운동 목표에서 유도되므로 물체-상호작용 패턴이 좁은 쪽으로 편향될 수 있고, downstream이 요구하는 기능적 접촉 모드를 못 덮는다. 반면 Dexonomy는 taxonomy 수준의 grasp type을 명시적으로 덮어 손 배치·접촉 패턴의 변이가 넓다.

⚠️ 이 비교에는 중요한 비대칭이 있다. 부록 C.3이 밝히는 바, GraspXL은 encoder-only transfer로 평가됐다. 전체 체크포인트 파인튜닝이 “실험에서 잘 안 됐기 때문”이고, 저자들의 가설은 사전학습된 diffusion/action 디코더가 Allegro hand 파지 분포에 묶여 있다는 것이다. 즉 GraspXL의 손실은 데이터 자체의 성질이 아니라 형태 전이 실패일 수 있다. 저자들은 이 반박을 예상하고 Figure 9에서 G2D-Pretrain도 같은 encoder-only 프로토콜로 다시 평가해 비교했고, 그 조건에서도 G2D 쪽이 높다고 보고한다.

동일 프로토콜(encoder-only) 하의 사전학습 소스 비교(Fig. 9) — 6태스크 × 20/50/100 demos. 진한 막대가 GraspXL, 밝은 막대가 G2D-Pretrain으로 얻은 성공률.

keypoint 개수 어블레이션. Cond-5(지문 4 + 손바닥 1) vs Cond-16(링크당 1점).

Keypoint 조건화 방식 어블레이션(Fig. 10) — Spray Bottle / Lighter / Dispenser 3태스크에서 Cond-5와 Cond-16 비교. 대부분의 설정에서 Cond-16이 우세하나 격차는 태스크·데모 예산에 따라 다르다.

저자들의 해석은 “5점으로는 완전한 손 배치를 유일하게 특정할 수 없어 저수준 실행에 모호성이 생긴다”이다. 다만 그림을 읽어보면 격차가 균일하지 않다 — Dispenser 20-demo에서는 크고(약 28% → 54%), Dispenser 100-demo에서는 사실상 동률이다. 데모가 적을수록 조밀한 sub-goal 표현이 더 값지다는 해석이 가능하지만 논문이 그렇게 명시하지는 않는다.

고수준 정책 vs oracle. 부록 D.3은 ground-truth sub-goal로 조건화한 oracle과 비교한다.

학습된 sub-goal vs oracle sub-goal, DexCraft 평균 성공률(%) (부록 Table 8)
방법	20 demos	50 demos	100 demos
Ours (학습된 고수준 정책)	45.4	60.3	64.6
Oracle (ground-truth sub-goal)	36.9	54.1	57.8

학습된 정책이 oracle을 이긴다. 이상해 보이지만 저자들의 설명이 설득력 있다 — oracle은 데모의 고정된 sub-goal 시퀀스를 따르고 이전 sub-goal 근처에 도달하면 다음으로 넘어가는 방식이라, 물체가 우연히 밀리거나 롤아웃이 데모 궤적에서 벗어나면 취약하다. 학습된 고수준 정책은 매 시점 관측에서 sub-goal을 다시 예측하므로 장면 변화에 적응하고 이탈에서 회복할 수 있다. 즉 oracle은 상한이 아니다.

실험 (2) — 실물 로봇

실물 셋업(Fig. 4) — Franka Emika Panda + LEAP Hand, Microsoft Azure Kinect 2대.

데이터 수집은 GELLO에 Manus Metaglove Pro를 붙여 30 Hz로 텔레오퍼레이션하고, 태스크당 50개 데모를 모은 뒤 sub-goal 프레임을 수동 주석한다. 배포는 15 Hz.

태스크는 셋이다 — syringe(주사기를 잡아 파란 보울로 옮기고 플런저를 0 mL 눈금까지 민다), spray bottle(보울로 옮기고 검지로 방아쇠를 짠다), scissors(장난감 가위를 정확히 잡아 케이블로 옮긴다).

평가 지표가 단계별인 게 이 실험의 강점이다. Grasp → Align → Trigger 세 마일스톤이고, 앞 단계를 모두 통과해야만 뒤 단계가 성공으로 집계된다. 즉 Trigger 열이 곧 full-task 성공률이다.

실물 3태스크 단계별 성공률(%), 각 50 demos·18 평가 에피소드 (Table 2). G=Grasp, A=Align, T=Trigger(=full task)
방법	Syringe G / A / T	Spray Bottle G / A / T	Scissors G / A / T	Avg. G / A / T
DP3	44.4 / 5.6 / 5.6	27.8 / 16.7 / 5.6	44.4 / 38.9 / 11.1	38.9 / 20.4 / 7.4
HP-Scratch	55.6 / 44.4 / 33.3	61.1 / 44.4 / 22.2	66.7 / 38.9 / 22.2	61.1 / 42.6 / 25.9
Ours	88.9 / 72.2 / 38.9	88.9 / 83.3 / 38.9	55.6 / 44.4 / 44.4	77.8 / 66.6 / 40.7

읽을 거리가 여럿 있다.

헤드라인 수치의 출처: Trigger 평균 40.7 − 7.4 = 33.3pp. 초록과 기여 목록의 숫자가 이것이다.
Scissors가 예외다. Ours의 Grasp 성공률(55.6)이 HP-Scratch(66.7)보다 낮다. 그런데 Align·Trigger는 Ours가 높고, 특히 Ours는 Align한 것이 전부 Trigger에 성공한다(44.4 = 44.4). 즉 사전학습이 파지 횟수가 아니라 파지 질을 바꾼 정황이다. 논문 본문은 이 역전을 따로 논하지 않는다(“across most task stages”라고만 쓴다).
18 에피소드라는 표본 크기. 1회 성공이 5.6pp에 해당한다. Syringe와 Spray Bottle의 Trigger가 둘 다 정확히 38.9%(=7/18)인 것도 이 해상도 때문이다. 33.3pp 차이는 6회분이라 방향은 신뢰할 만하지만, 소수점 첫째 자리까지 의미를 두기는 어렵다.

실물 배포 중 고수준 정책의 sub-goal 예측(Fig. 6) — 현재 장면 포인트클라우드 위에 예측된 16개 손 keypoint가 그려진다.

정성 분석 — 실패 모드가 갈린다

부록 D.2는 spray bottle 태스크의 롤아웃을 세 방법에 대해 나란히 보여준다.

DP3의 평가 에피소드(Fig. 12) — 초기 파지 단계에서 실패하는 경우가 많다. 손-물체 정렬의 작은 오차가 불안정한 접촉을 낳아 손이 미끄러지거나 트리거를 지탱할 수 없는 자세로 잡는다.

사전학습 없는 계층 정책(HP-Scratch)의 에피소드(Fig. 13) — 계층 구조가 저수준 컨트롤러에 구조화된 목표를 주어 행동이 개선되지만, 일부 경우 여전히 불완전한 파지를 만든다. 태스크 데모만으로는 견고한 접촉 패턴을 학습하기에 부족하다는 근거.

제안 방법의 에피소드(Fig. 14) — 더 안정적이고 태스크에 적합한 파지를 만들어, 정렬과 트리거 구간 내내 접촉을 유지한다.

사전학습 데이터의 커버리지

작업 공간 커버리지 비교(Fig. 8) — G2D-Pretrain과 downstream 태스크의 포인트클라우드를 x-y 평면과 x-z 평면에 투영. 사전학습 데이터가 넓은 작업 공간을 덮는다.

포인트클라우드 통계 비교(Fig. 7) — G2D-Pretrain과 downstream 태스크의 점 분포 통계.

이 두 그림은 “사전학습 분포가 downstream을 덮는가”에 대한 시각적 방증이다. 다만 정량 지표(예: 커버리지 비율, 분포 거리)는 제시되지 않고 “넓은 작업 공간을 덮고 다양한 손-물체 배치를 포함한다”는 서술적 결론만 있다.

비판적으로 보면

강점

1. 질문 자체가 좋고, 답이 분해돼 있다. “grasp 데이터를 사전학습에 쓸 수 있나”는 자연스러운 질문인데, 이 논문은 그냥 “된다”로 끝내지 않고 계층 구조 / 사전학습 / 사전학습 소스의 기여를 각각 분리해 측정했다(HP-Scratch, DP3-PT, GraspXL-PT). 그 결과 자기 방법의 헤드라인 기여(사전학습)가 사실 두 번째로 큰 요인이라는 것까지 드러나는데, 이걸 숨기지 않고 표에 그대로 둔 것은 정직하다.

2. 16-keypoint sub-goal은 설득력 있는 일반화다. “평행 그리퍼 4점 → 다지 손 16점”은 사소해 보이지만, 그 이유(같은 지문 위치가 다른 접촉 모드에 대응)가 구체적이고 어블레이션(Fig. 10)과 시각화(Fig. 11)로 뒷받침된다. 계층 모방학습을 다지 손으로 옮기려는 후속 연구가 바로 가져다 쓸 수 있는 조각이다.

3. Oracle 비교가 흥미로운 negative result를 준다. 학습된 sub-goal이 ground-truth를 이긴다는 관찰과, oracle이 상한이 아닌 이유(고정 시퀀스의 취약성)에 대한 설명은 계층 정책 설계 전반에 시사점이 있다.

4. 단계별 평가 지표. 실물에서 Grasp/Align/Trigger를 누적 조건으로 보고한 덕에 어디서 개선이 일어났는지가 보인다. Scissors에서 파지는 떨어지는데 최종 성공은 오르는 현상 같은 건, full-task 성공률만 보고했다면 완전히 묻혔을 것이다.

5. 부록의 재현 정보가 충실하다. 하이퍼파라미터 4개 표(Table 3/4/6/7), 태스크별 무작위화 범위, MimicGen 증강 성공률(~10%), grasp type별 궤적 수까지 적혀 있다. 코드가 없는 논문 치고는 상당히 성실하다.

약점·한계

1. 코드도 데이터도 벤치마크도 공개되지 않았다. 이 논문의 기여 중 둘(DexCraft, G2D-Pretrain)이 인프라인데, 결론에서 “향후 연구를 지원하길 바란다”고 쓰면서 배포 경로를 제시하지 않는다(2026-09-27 확인). G2D-Pretrain은 355k 궤적 × 포인트클라우드라 재생성에도 상당한 계산이 든다. 인프라 논문의 가치가 배포에 달려 있다는 점에서 가장 큰 아쉬움이다.

2. 태스크당 자산 1개. 저자들이 명시적으로 범위 밖이라 선언하긴 했지만, “대규모 grasp 데이터가 다양한 물체에 대한 prior를 준다”는 것이 논문의 동기인데 downstream에서 물체 다양성을 전혀 평가하지 않는다. 사전학습의 진짜 강점이 나타날 법한 축이 측정되지 않은 셈이다. 저자들도 한계로 인정한다.

3. 사전학습의 이득이 작고 불안정하다. Ours − HP-Scratch = +6.7 / +11.4 / +6.6pp인데, 태스크별로는 Lighter 100-demo(+1.2), Pen 20-demo(−5.0)처럼 뒤집히거나 사라지는 경우가 있다. 설정당 500 에피소드라 개별 셀의 표준오차는 작겠지만(성공률 50% 기준 약 ±2.2pp), seed 반복이 없다 — 표 어디에도 오차 막대나 다중 시드 표기가 없어, 6.6pp가 학습 seed 분산을 넘는지 판단할 근거가 없다. 355k 궤적을 만든 비용 대비 이득이 이 정도라면, 독자로서는 “계층 구조만 쓰고 사전학습은 건너뛰어도 되지 않나”라는 질문이 자연스럽다.

4. GraspXL 비교의 프로토콜 비대칭. 부록 C.3이 정직하게 밝히듯 GraspXL은 encoder-only transfer로만 평가됐다. 저자들이 같은 프로토콜의 G2D 비교(Fig. 9)를 추가한 것은 옳은 대응이지만, 여전히 “GraspXL의 full-checkpoint가 왜 실패하는가”는 가설 수준이다(“Allegro 파지 분포에 묶여 있을 것”). 이 논문의 embodiment 어댑터가 Shadow hand 기준으로 설계됐다는 점을 생각하면, 비교가 구조적으로 자기 데이터에 유리하게 기울어 있을 가능성을 배제하기 어렵다.

5. 계층 분해가 수동에 의존한다. 단계(grasping/aligning/actuating)는 “경험적으로” 셋으로 나눴고, 실물에서는 sub-goal 프레임을 사람이 직접 주석한다. 저자들도 첫 번째 한계로 이를 꼽고 자동 sub-goal 발견을 미래 과제로 남긴다. 태스크마다 사람이 단계를 설계해야 한다면 “확장 가능한 사전학습”이라는 논문의 서사와 긴장 관계에 놓인다.

6. 실물 표본이 작다. 태스크당 18 에피소드. 1회가 5.6pp다. 방향성은 분명하지만 단계별 셀(예: Scissors Grasp 55.6 vs 66.7 = 2회 차이)에서 순위를 읽는 것은 위험하다.

7. 데모 품질이 병목일 수 있다. 시뮬레이션 데모는 키보드 텔레오퍼레이션 5개 + MimicGen 증강(성공률 ~10%)이다. 저자들도 “더 나은 텔레오퍼레이션이나 RL 정제로 얻은 고품질 데이터가 성능을 더 올릴 수 있다”고 인정한다. 그렇다면 표의 절대 수치(최고 78.6%)는 방법의 상한이 아니라 데이터의 상한을 반영하고 있을 수 있고, 방법 간 비교에도 영향을 줄 수 있다.

8. 촉각이 없다. 분절 도구의 트리거는 정의상 힘 제어 문제인데(방아쇠를 얼마나 세게 짜야 하는가), 관측은 proprioception + 포인트클라우드뿐이다. 성공 판정에 0.5 N 접촉력이 들어가 있는데도 정책은 힘을 관측하지 못한다. 저자들도 마지막 한계로 촉각 피드백을 꼽는다.

요약

기여. ① 분절 도구 사용 6태스크로 구성된 시뮬레이션 벤치마크 DexCraft(ManiSkill3 / XArm6 + LEAP Hand), ② Dexonomy 정적 grasp 주석을 물리 검증된 3단계 궤적으로 펼친 355,677개 사전학습 데이터셋 G2D-Pretrain, ③ 16-keypoint 손 sub-goal을 예측하는 고수준 정책 + grasp 사전학습된 저수준 goal-conditioned DP3라는 파이프라인, ④ 시뮬레이션 평균 64.6%(DP3 대비 +45.5pp) · 실물 full-task +33.3pp.

한계. 코드·데이터·벤치마크 미공개, 태스크당 자산 1개, 사전학습의 순이득이 +6.6~11.4pp로 계층 구조의 기여(+38.9pp)에 비해 작고 태스크별로 불안정하며 다중 시드 보고가 없음, GraspXL 비교의 프로토콜 비대칭, 수동 sub-goal 주석 의존, 실물 표본 18 에피소드, 촉각 부재.

전망. 이 논문에서 가장 오래 남을 것은 355k 숫자가 아니라 “grasp 데이터는 무엇을 할지는 못 알려주지만 무엇을 할 수 있는 자세로 잡을지는 알려준다” 는 분업 구도라고 본다. 실물 결과에서 파지 단계의 개선(+16.7pp)이 정렬(+24.0pp)과 트리거(+14.8pp)로 전파되는 패턴이 그 구도를 지지한다. 남은 질문은 세 개다 — ① 자동 sub-goal 발견이 수동 주석을 대체할 수 있는가, ② 물체 다양성을 넣었을 때 사전학습의 이득이 커지는가(논문의 동기대로라면 커져야 한다), ③ 촉각을 관측에 넣으면 트리거 단계의 40.7%가 어디까지 오르는가. 저자들이 한계 절에서 스스로 꼽은 것들과 정확히 겹친다.