📃Dexplore 리뷰

dexterity

retargeting

motion-tracking

exploration

Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference-Scoped Exploration

Published

October 3, 2026

Paper Link (arXiv:2509.09671)
Code Link (GitHub, NVIDIA OneWay Noncommercial License): IsaacGym 학습·평가 코드, GRAB 변환 스크립트, Inspire 손 체크포인트 2개(teacher·student). 실기 배포 코드는 없다.
Project
Sirui Xu, Yu-Wei Chao, Liuyu Bian, Arsalan Mousavian, Yu-Xiong Wang, Liang-Yan Gui, Wei Yang
UIUC · NVIDIA, CoRL 2025

💡 사람 손-물체 MoCap을 로봇 손 정책으로 옮길 때 흔히 쓰는 “retargeting → tracking → residual 보정” 3단 파이프라인은 앞 단의 오류를 뒤로 전파한다. Dexplore는 시연을 정답이 아니라 soft reference로 보고, 참조 주변에 “여기까지는 벗어나도 된다”는 공간 범위(spatial scope)를 둔 채 RL로 retargeting과 tracking을 한 번에 푼다.
⚙️ 범위는 adaptive early termination으로 구현된다. 처음엔 넓게 시작해 실패 비율에 맞춰 문턱을 조이고, 손-물체 거리에 비례해 운동학 추종 가중치를 낮춘다. 이렇게 학습한 상태 기반 tracker를 DAgger로 단일 시점 depth + 고유감각만 쓰는 skill-conditioned VAE 정책에 증류한다.
🎯 GRAB 658개 시퀀스에서 성공률이 Inspire 87.7%, Allegro 78.7%로, AnyTeleop retargeting 위의 DexTrack(7.4%, 45.9%)과 RSE를 뺀 자기 변형(둘 다 29.9%)보다 높다(Table 1). 증류된 vision 정책은 시뮬레이션 성공률 52.7%(Table B)이고, xArm7 + Inspire 실기 시연은 정성적으로만 보고된다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

GRAB 같은 손-물체 MoCap 데이터는 접촉이 풍부한 사람 조작을 대량으로 담고 있지만, 로봇 손이 그대로 따라 할 수는 없다. 손가락 수·길이·관절 수·구동 방식이 다르고, MoCap 자체에도 관통·떠 있는 접촉 같은 오차가 있다. 그래서 지금까지는 먼저 사람 손 자세를 로봇 관절로 retargeting하고, 그 궤적을 RL 정책으로 tracking하고, 남는 오차를 residual로 보정했다(DexTrack, ManipTrans). 이 방식은 retargeting이 만든 자세가 물리적으로 불가능하거나 비효율적이어도 뒤 단계가 그것을 정답으로 받아들인다는 문제가 있다. 사람에게 쉬운 손가락 굽힘이 6개 모터짜리 Inspire 손에서는 불가능한 경우가 대표적이다.

Dexplore는 retargeting 단계를 따로 두지 않는다. 정책은 사람 MANO 손과 로봇 손에 공통인 몇 개의 key joint(Inspire는 다섯 손끝)만 맞추도록 보상을 받고, 참조에서 얼마나 벗어나도 되는지는 종료 조건의 문턱으로 정한다. 문턱은 처음에 넓고, 같은 모션의 실패 비율이 줄어들수록 좁아진다. 정책은 참조가 그리는 “통로” 안에서 자기 몸에 맞는 궤적을 찾게 된다. 이렇게 얻은 상태 기반 정책을 teacher로 삼아, 특권 정보 없이 depth 점군과 고유감각만 받는 vision 정책을 VAE 형태로 증류하고 실기 xArm7 + Inspire 손에 올린다.

개요(Fig. 1). 왼쪽: 하나의 정책이 다양한 GRAB 물체를 Inspire 손으로 다루는 시뮬레이션 장면. 오른쪽: xArm7 + Inspire 손이 노란 병을 쥔 실기 장면과 그 순간의 depth 이미지.

프로젝트 페이지의 1분 요약 영상. 실기 grasp, teacher-student 구조, retargeting 대비 결과, vision 정책 입력, Inspire·Allegro 결과 순서로 구성된다.

핵심 방법론:

상태 기반 정책 \pi는 손 고유감각·특권 물체 상태·손-물체 거리 벡터 \boldsymbol D_t·이진 접촉 \boldsymbol C_t와 미래 참조 \{\hat{\boldsymbol x}_{t+k}\}_{k\in K}를 받는다. 사람 손과 로봇 손은 골격이 다르므로 공통 key joint로 사영하는 매핑 \boldsymbol M(AnyTeleop의 대응 관계)을 거쳐 차이를 계산한다. 운동학 보상은 다음과 같다.

R_{\boldsymbol J}^{\mathrm h}=\exp\!\Big(-\sum \lambda_{\boldsymbol J}^{\mathrm h}\,\big\|\boldsymbol M(\hat{\boldsymbol p})-\boldsymbol M(\boldsymbol p)\big\|^2\Big),\qquad w(\boldsymbol D)=\min\!\Big(1,\ \frac{\boldsymbol D}{0.20\,\mathrm m}\Big)

추종 가중치 \lambda는 손-물체 거리 \boldsymbol D에 비례해(접촉 근처에서는 추종을 느슨하게) 바뀌고, 에너지 벌점은 거리에 반비례한다. 핵심은 종료 문턱 \kappa의 적응이다.

\kappa=\kappa^{\text{init}}\cdot\frac{N_{\text{fail}}}{N_{\text{total}}}

실패가 많을 때는 문턱이 넓어 탐색을 허용하고, 성공이 늘수록 문턱이 좁아져 정밀 추종을 요구한다. 증류 단계는 MaskedMimic식 VAE다. encoder q_\phi(z\mid\boldsymbol x,\hat{\boldsymbol x})의 평균을 prior p_\psi(z\mid\tilde{\boldsymbol x},\boldsymbol P)의 평균에 더하는 residual 형태로 z=\boldsymbol\mu_p+\boldsymbol\mu_q+\boldsymbol\Sigma_q^{1/2}\epsilon을 뽑고, \mathcal L=\|\boldsymbol a-\tilde{\boldsymbol a}\|^2+\beta\,D_{\mathrm{KL}}로 학습한다. 추론 때는 prior에서만 z를 뽑는다.

주요 결과:

상태 정책(GRAB, Table 1): 성공률 Inspire 87.7% / Allegro 78.7%. 같은 표에서 DexTrack + AnyTeleop retargeting은 7.4% / 45.9%, RSE를 뺀 Dexplore는 29.9% / 29.9%다.
retargeter로서의 Dexplore: DexTrack의 참조를 AnyTeleop 대신 Dexplore 롤아웃으로 바꾸면 7.4→69.8%(Inspire), 45.9→77.4%(Allegro)로 오른다.
vision 정책(Table B): 무작위 카메라 시점의 단일 depth로 성공률 52.7%, 접촉 비율 48.2%. 같은 지표에서 상태 정책은 87.7% / 69.3%다.
정성 결과: 1.5배 크고 1.5^3배 무거운 물체(Fig. B), TACO의 처음 보는 물체 2개(Fig. C), 천 집기(Fig. A), 실기 박스 집기(Fig. 5).

결론:

Dexplore의 새로운 점은 MoCap을 “따라 할 궤적”이 아니라 “벗어나도 되는 범위를 정의하는 기준”으로 쓴다는 발상이고, 그 범위를 보상 항이 아니라 종료 조건의 문턱으로 구현했다는 점이다. Table 1의 RSE 절제(29.9 → 87.7 / 78.7%)가 이 설계를 직접 겨눈다. 다만 평가 분할·시행 수·실기 정량 결과가 없고, 공개 코드는 초기 상태를 dex-retargeting 출력으로 잡는 등 논문 서술과 다른 곳이 있어 “retargeting 없이”라는 주장은 범위를 좁혀 읽어야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

사람 시연을 로봇이 정확히 재현할 수 없다면, 재현을 강요하는 대신 “어디까지 벗어나도 되는가”를 학습 신호로 바꾸자는 논문이다. Dexplore는 시연 궤적 둘레에 종료 문턱으로 정의된 통로를 만들고, 통로 폭을 실패율에 따라 조인다. 정책은 통로 안에서 에너지를 덜 쓰는 자기 몸에 맞는 궤적을 찾는다. 그 결과 retargeting은 별도 단계가 아니라 RL의 부산물이 되고, 그렇게 얻은 롤아웃은 다른 tracker(DexTrack)의 참조로 써도 성능을 크게 올릴 만큼 품질이 좋다는 것이 Table 1의 메시지다.

배경: 왜 3단 파이프라인이 문제인가 (§1·§2)

저자들이 겨누는 대상은 DexTrack과 ManipTrans로 대표되는 다단 cascade다. 공통 구조는 ① 사람 손 자세를 로봇 관절각으로 kinematic retargeting하고(대개 AnyTeleop의 dex-retargeting처럼 손끝 위치를 맞추는 최적화), ② 그 로봇 궤적을 RL로 추종하고, ③ 남는 오차를 residual 정책이나 보조 모듈로 메우는 것이다.

이 구조에는 두 가지 비용이 있다. 하나는 오류 전파다. retargeting은 물리를 모른다. 손끝 위치를 엄격히 맞추면 사람에게 자연스러운 자세가 로봇에서는 관절 한계를 넘거나, 물체를 관통하거나, 접촉은 되지만 힘을 쓸 수 없는 자세가 된다. tracker는 그 자세를 정답으로 받는다. 다른 하나는 시연의 과소 활용이다. retargeting이 실패한 시퀀스는 뒤 단계로 가지 못하거나, 가더라도 학습을 방해한다. Inspire 손처럼 12개 관절을 6개 모터가 연동해 움직이는 손에서는 이 문제가 특히 크다. Fig. 3 왼쪽이 그 예를 보여 준다.

§2는 사람-로봇 전이를 세 갈래로 나눈다. 영상에서 손 동작을 추정해 로봇 궤적을 합성하는 경로, 시각·AR/VR 원격조작으로 처음부터 로봇이 할 수 있는 시연을 모으는 경로, task-aware retargeting 뒤 저수준 추종하는 경로다. Dexplore는 세 번째 경로에서 “엄격한 사람-로봇 대응”을 풀어 버리는 쪽에 선다.

방법 상세 (§3)

전체 구조(Fig. 2). (I) 참조 기반 모방 제어: MoCap 사람 시연을 Reference scope(분홍 경계) 안에서 탐색하는 궤적(초록)으로 추종한다. (II) vision 기반 generative 제어: 반구 위 무작위 카메라의 depth를 점군으로 바꿔 고유감각과 함께 prior에 넣고, 특권 관측과 참조를 받는 encoder는 학습 때만 쓴다. 잠긴 Tracking 정책(teacher)의 행동 a가 decoder 출력 \tilde a의 지도 신호다.

3.1 참조 기반 모방 제어

과제 정의. 손목은 world 좌표의 floating root joint로 두고 나머지 관절은 부모 기준으로 표현한다. 물체는 강체로, 상태는 6-DoF 포즈로 둔다. 참조 모방을 MDP로 쓰고 PPO로 푼다.

상태. 시점 t의 관측은 세 묶음이다.

묶음	내용
손	관절 회전·위치 \boldsymbol R_t^{\mathrm h},\boldsymbol J_t^{\mathrm h}, 각·선속도 \boldsymbol\omega_t^{\mathrm h},\boldsymbol v_t^{\mathrm h}
물체(특권)	자세·위치 \boldsymbol R_t^{\mathrm o},\boldsymbol p_t^{\mathrm o}, 각·선속도
기하·접촉	\boldsymbol D_t: 각 손 관절에서 물체 표면 최근접점으로 가는 벡터, \boldsymbol C_t: 손 강체별 이진 접촉(촉각 흉내)
참조(미래 K 시점)	\boldsymbol M(\hat{\boldsymbol R}^{\mathrm h}_{t+k})\ominus\boldsymbol M(\boldsymbol R^{\mathrm h}_t) 등 현재와 참조의 차이, 그리고 참조 자체

\boldsymbol D_t와 \boldsymbol C_t는 같은 1저자의 InterMimic(CVPR 2025)을 따른다. 매핑 \boldsymbol M은 AnyTeleop의 대응 관계를 쓰고, Inspire 손에서는 다섯 손끝으로 단순화된다. 모든 연속량은 손 root 기준 좌표로 정규화한다. 논문은 K의 값을 밝히지 않는다(공개 코드는 \{1, 16\} 두 시점이다, 코드 대조 절).

행동. 6-DoF 손목 신호와 손가락 명령으로 나뉘며 모두 PD 목표다. 회전은 exponential map으로 표현한다. 손목은 현재 손목 상태에 6-DoF 오프셋을 더하는 residual action으로 둬, 정책이 무한한 절대 궤적을 직접 내지 않게 한다. Inspire 손의 mimic joint는 구동 관절의 PD 목표에 연동 계수를 곱해 흉내 낸다. 저자들도 실제 연동 역학을 정확히 재현하지는 않는 근사라고 적는다.

보상. 상태-참조 일치 항 R_{\text{match}}와 에너지 항 R_{\text{energy}}로 이뤄진다. R_{\text{match}}는 InterMimic을 따라 운동학 항(손 관절 회전·위치, 물체 자세·위치)과 동역학 항(기하 R_{\boldsymbol D}, 접촉 R_{\boldsymbol C})을 묶는다.

R_{\boldsymbol R}^{\mathrm h}=\exp\!\Big(-\sum\lambda_{\boldsymbol R}^{\mathrm h}\big\|\boldsymbol M(\hat{\boldsymbol R})\ominus\boldsymbol M(\boldsymbol R)\big\|^2\Big),\quad R_{\boldsymbol D}=\exp\!\big(-\lambda_{\boldsymbol D}\|\hat{\boldsymbol D}-\boldsymbol D\|^2\big),\quad R_{\boldsymbol C}=\exp\!\big(-\lambda_{\boldsymbol C}\|\hat{\boldsymbol C}-\boldsymbol C\|^2\big)

R_{\boldsymbol D}·R_{\boldsymbol C}는 손 모양이 달라 정확한 운동학 모방이 불가능해도 “손끝이 물체의 기능 부위 근처에 있고, 접촉이 사람과 같은 시점에 생긴다”는 상호작용 구조를 유지하게 한다. 에너지 항은 연속된 PD 목표의 큰 변화, 큰 관절 가속도·속도에 벌점을 준다. 논문은 어떤 \lambda도 값을 밝히지 않는다.

종료 조건. 다섯 가지 중 하나라도 걸리면 에피소드를 끝낸다.

\text{(I)}\ R_{\boldsymbol J}^{\mathrm h}<\kappa_{\boldsymbol J}^{\mathrm h},\quad \text{(II)}\ R_{\boldsymbol p}^{\mathrm o}<\kappa_{\boldsymbol p}^{\mathrm o},\quad \text{(III)}\ R_{\boldsymbol R}^{\mathrm o}<\kappa_{\boldsymbol R}^{\mathrm o},\quad \text{(IV)}\ R_{\boldsymbol D}<\kappa_{\boldsymbol D},\quad \text{(V)}\ \boldsymbol C_t\neq\hat{\boldsymbol C}_t\ \ \forall t\in[t_0,t_0+10]

(V)는 접촉 불일치가 10 스텝 연속될 때다. DeepMimic 이후 모방 RL의 표준 장치인 early termination을 그대로 쓰되, 이 문턱들이 다음 절에서 “scope”가 된다.

상태 초기화. MANO와 로봇 손은 해부학이 달라 MANO 자세를 그대로 초기 상태로 줄 수 없다. 논문에 따르면 학습 초기에는 손바닥의 전역 회전·이동만 참조로 맞추고 나머지 자유도는 0으로 둔다. 이후 InterMimic처럼 품질 좋은 롤아웃 상태를 캐시해 초기 상태로 재사용하고, 접근 구간보다 어려운 구간에서 시작할 확률을 높이는 prioritized sampling을 쓴다(공개 코드는 이와 다르다, 코드 대조 절).

Reference-Scoped Exploration (RSE)

논문의 핵심 기여다. 엄격한 추종 보상에 덜 기대고, 적응형 종료 조건으로 정책을 빚는다는 것이 요지다. 두 장치로 이뤄진다.

(I) 거리 기반 가중치. 운동학 추종 가중치 \lambda_{\boldsymbol R}^{\mathrm h},\lambda_{\boldsymbol J}^{\mathrm h}를 손-물체 표면 거리에 비례하게, 에너지 벌점을 반비례하게 둔다. 예로 든 가중치는 w(\boldsymbol D)=\min(1,\boldsymbol D/0.20\,\mathrm m)이다. 손이 물체에서 20 cm 이상 떨어진 접근 구간에서는 사람 손을 그대로 따라가게 하고, 물체에 다가갈수록 손 모양 추종을 풀어 접촉 단계에서는 손이 자기 방식으로 쥐게 한다. 저자들은 가중치가 시점마다 바뀌어도 참조 궤적의 결정론적 함수이므로 정책 입장에서 보상은 정상(stationary)이라고 논증한다. 다만 이 논증이 성립하려면 \boldsymbol D가 참조 쪽 거리여야 하는데, 수식의 \boldsymbol D가 시뮬레이션 거리인지 참조 거리인지는 본문에 명시돼 있지 않다(공개 코드는 참조 손과 참조 물체 사이의 최소 거리를 쓴다).

(II) 적응형 종료 문턱. 각 종료 기준의 \kappa를 큰 값에서 시작해 실패 비율로 조인다.

\kappa=\kappa^{\text{init}}\cdot\frac{N_{\text{fail}}}{N_{\text{total}}}

N_{\text{fail}}은 early termination으로 끝난 롤아웃 수, N_{\text{total}}은 “현재 프레임에서 방문한” 롤아웃 수다. 실패가 많으면 문턱이 넓어 탐색 여지가 크고, 정책이 잘할수록 문턱이 좁아져 정밀 추종이 요구된다. 일종의 자동 커리큘럼이고, 시연마다·구간마다 다른 난이도를 하나의 규칙으로 처리한다.

여기에는 표기상 문제가 있다. 종료 조건이 “보상 R<\kappa”로 쓰여 있으므로, \kappa가 크면 거의 모든 상태가 종료된다. 즉 큰 \kappa^{\text{init}}은 넓은 통로가 아니라 가장 좁은 통로다. “넓게 시작해 조인다”는 서술이 맞으려면 \kappa가 거리 상한이어야 한다. 공개 코드가 실제로 그렇게 구현한다(오차 거리 >c\cdot\kappa이면 종료, 코드 대조 절). 논문 식을 그대로 구현하면 반대 방향의 커리큘럼이 된다.

Fig. 3. 왼쪽: 망치·집게류 물체에서 AnyTeleop(위)과 Dexplore(가운데), 원 MoCap 사람 시연(아래). 캡션은 아래 줄을 “retargeted MoCap data”라 부르지만 그림에 보이는 것은 사람 몸이다. 오른쪽: 칼을 집는 장면에서 DexTrack(위)은 손잡이를 놓치고 Dexplore(아래)는 들어 올린다.

3.2 vision 기반 generative 제어

관측. (i) 손 고유감각(손목 전역 위치·자세, 손가락 관절 회전)과 (ii) 단일 depth에서 복원한 물체 점군 \boldsymbol P. 카메라는 테이블 위 반구에서 무작위로 놓이고, 내부 파라미터는 실기의 Femto Bolt에 맞춘다. PointNet++가 물체 점군과 손 관절 위치를 함께 처리한다(본문은 “observed human joint positions”라 쓰는데 문맥상 로봇 손 관절이다). 관절 속도와 촉각은 sim-to-real 간극이 커서 뺀다. 짧은 이력과 “조작 시작 전/후” 이진 표시를 더한다.

목표. MaskedMimic을 따라 참조의 일부만 보여 준다. 예를 들어 손목 궤적만 공개하면(학습 때는 참조에서, 실기에서는 RRT 계획기에서) 정책이 나머지 손가락 동작을 latent로 메운다.

학습. 구성은 encoder q_\phi(z\mid\boldsymbol x,\hat{\boldsymbol x}), 상태 의존 prior p_\psi(z\mid\tilde{\boldsymbol x},\boldsymbol P), decoder \tilde\pi_\theta(\tilde{\boldsymbol a}\mid z,\tilde{\boldsymbol x})다.

z=\boldsymbol\mu_p+\boldsymbol\mu_q+\boldsymbol\Sigma_q^{1/2}\epsilon,\qquad \mathcal L=\underbrace{\|\boldsymbol a-\tilde{\boldsymbol a}\|^2}_{\mathcal L_{\text{rec}}}+\beta\,\underbrace{D_{\mathrm{KL}}\big(\mathcal N(\boldsymbol\mu_p+\boldsymbol\mu_q,\boldsymbol\Sigma_q)\,\|\,\mathcal N(\boldsymbol\mu_p,\boldsymbol\Sigma_p)\big)}_{\mathcal L_{\text{KL}}}

\epsilon은 에피소드 동안 고정해 한 에피소드 안에서 같은 “스타일”이 유지되게 한다(MaskedMimic, ControlVAE). encoder가 추론 때 없는 정보를 담지 않도록 KL로 prior에 묶고, \beta를 점점 키워 latent를 구조화한다. 학습은 3.1의 정책을 teacher로 한 DAgger다. 추론 때는 encoder를 버리고 prior에서 z를 뽑는다. 같은 관측에서 z만 바꾸면 다른 파지 스타일이 나오는 것이 Fig. D다.

직관: 왜 “보상”이 아니라 “종료 문턱”인가

참조와의 거리를 보상 항으로만 주면, 정책은 모든 시점에서 참조에 가까워지는 쪽으로 끌린다. 로봇이 그 자세를 낼 수 없는 구간에서도 기울기는 계속 “더 사람처럼”을 요구하고, 정책은 불가능한 자세 근처에서 진동하거나 그 자세를 흉내 내느라 물체를 놓친다. 종료 문턱은 성격이 다르다. 문턱 안에서는 참조와 얼마나 가까운지에 대한 압력이 보상 항만큼만 남고, 문턱을 넘는 순간 그 뒤의 모든 보상이 사라진다. 정책이 배우는 것은 “참조를 정확히 따르라”보다 “통로 밖으로 나가지 말고 끝까지 살아남아라”에 가깝다. 통로 안의 자유도는 에너지 항이 정리한다. 같은 결과를 낼 수 있다면 덜 움직이는 궤적이 남는다. Fig. 2 왼쪽의 초록 곡선(Explored trajectory)이 분홍 경계(Reference scope) 안에서 참조와 다른 길을 가는 그림이 이 설계의 요약이다.

거리 기반 가중치는 같은 생각을 시간 축으로 편다. 손이 멀리 있을 때는 사람의 접근 경로를 따르는 것이 해가 없고 오히려 탐색 공간을 줄여 준다. 물체 근처에서는 손 모양 차이가 결과를 좌우하므로 운동학 추종을 풀고 상호작용 항(\boldsymbol D, \boldsymbol C, 물체 추종)에 맡긴다. 사람이 “무엇을” 했는지(물체가 어디로 가고 손끝이 어디에 닿는지)는 지키고, “어떻게”(관절각)는 로봇에게 맡기는 분업이다.

실패 비율로 문턱을 조이는 규칙은 시연마다 난이도가 다른 문제를 해결한다. 쉬운 시퀀스는 빨리 좁은 통로에 도달하고, 어려운 시퀀스(작은 손잡이, 얇은 물체)는 넓은 통로에 더 오래 머문다. 전역 커리큘럼 하나로는 이 차이를 맞추기 어렵다.

실험 (§4)

셋업

항목	내용
손	Inspire(12 DoF, 6개 구동, mimic joint를 IsaacGym에서 흉내), Allegro(16 DoF, 완전 구동, 사람 손보다 큼)
데이터	GRAB 1,269개 시퀀스 중 한 손(주로 오른손) 조작 658개, 물체 51종
일반화 데이터	TACO(정성, 물체 2개)
베이스라인	AnyTeleop(task-unaware kinematic retargeting), DexTrack(공개 구성요소만으로 재구성, homotopy 최적화·IL+RL 결합은 미공개라 제외)
상태 정책 지표	물체 회전 오차 R_{\text{err}}(rad), 물체 이동 오차 T_{\text{err}}(cm), 손끝 오차 E_{\text{finger}}(cm), 성공률(물체를 떨어뜨리거나 큰 이탈 없이 완주)
vision 정책 지표	성공률(일정 시간 안정 접촉 후 물체를 테이블에 되돌림), 접촉 비율

시뮬레이션 설정은 부록 Table A에 있다.

파라미터	값	파라미터	값
Sim timestep	1/60 s	Contact offset	0.02
Control timestep	1/30 s	Rest offset	0.0
Environment count	4096	Max depenetration vel.	10
Physics substeps	8	Object restitution	0.7
Position solver iters	8	Object friction	0.9
Velocity solver iters	1	Object density	50

물체는 convex hull 20개로 분해해 시뮬레이션한다. 부록 Table C의 automatic domain randomization 범위는 물체 마찰·반발 스케일 \mathcal U(0.7,1.1), 밀도 스케일 \mathcal U(0.5,2), 모양 스케일 \mathcal U(0.8^3,1), 점군 additive 노이즈 \mathcal U(0,0.01)이다. 이 랜덤화가 상태 정책과 vision 정책 중 어디에 쓰였는지는 본문이 밝히지 않는다(실기 배포 절에 놓여 있다).

정량 결과: Table 1

오차는 “성공 롤아웃 평균 / 전체 프레임 평균”이다.

손	방법	R_{\text{err}} (rad) ↓	T_{\text{err}} (cm) ↓	E_{\text{finger}} (cm) ↓	성공률 (%) ↑
Inspire	DexTrack w/ AnyTeleop	0.475 / 0.216	4.93 / 2.29	6.71 / 5.67	7.4
Inspire	DexTrack w/ Ours	0.515 / 0.467	3.75 / 3.26	6.43 / 6.28	69.8
Inspire	Dexplore (w/o RSE)	0.514 / 0.333	3.88 / 2.59	6.12 / 5.71	29.9
Inspire	Dexplore	0.474 / 0.452	3.77 / 3.65	6.06 / 6.04	87.7
Allegro	DexTrack w/ AnyTeleop	0.595 / 0.471	4.21 / 3.39	9.38 / 9.36	45.9
Allegro	DexTrack w/ Ours	0.560 / 0.512	4.79 / 4.32	8.00 / 7.91	77.4
Allegro	Dexplore (w/o RSE)	0.549 / 0.481	4.19 / 3.68	7.98 / 7.92	29.9
Allegro	Dexplore	0.494 / 0.454	4.48 / 4.06	8.10 / 8.01	78.7

굵은 글씨는 논문 표기를 따랐다. 읽을 거리는 네 가지다.

RSE 절제가 가장 큰 효과를 낸다. 같은 Dexplore에서 RSE만 빼면 Inspire 87.7→29.9%(−57.8%p), Allegro 78.7→29.9%(−48.8%p)다(필자 계산). 논문 전체에서 가장 직접적인 증거다. 다만 “w/o RSE”가 정확히 무엇을 뺀 것인지(고정 문턱인지, 거리 가중치까지 뺀 것인지, 문턱을 어느 값에 고정했는지)는 논문 어디에도 정의돼 있지 않다. 두 손에서 값이 정확히 29.9%로 같은 것도 설명이 없다.
Dexplore 롤아웃은 좋은 retargeting 결과다. DexTrack의 참조를 AnyTeleop에서 Dexplore 롤아웃으로 바꾸면 Inspire 7.4→69.8%, Allegro 45.9→77.4%다. retargeting 품질의 차이가 tracker 성능을 지배한다는 저자들의 진단을 뒷받침한다. 반대로 DexTrack w/ Ours와 Dexplore의 차이는 Inspire 17.9%p, Allegro 1.3%p로(필자 계산), 좋은 참조만 주어지면 별도 tracker도 비슷한 수준에 오른다. Allegro의 1.3%p는 시행 수와 시드가 보고되지 않아 차이라고 읽기 어렵다.
오차 지표는 성공률을 따라오지 않는다. 성공 롤아웃 평균 기준으로 Dexplore가 세 오차 모두에서 최선인 손은 없다. Inspire T_{\text{err}}는 DexTrack w/ Ours(3.75)가, Allegro T_{\text{err}}·E_{\text{finger}}는 w/o RSE가 낫다. 더 근본적으로, 성공 롤아웃 평균은 방법마다 다른 부분집합(Inspire에서 7.4% 대 87.7%)의 평균이라 직접 비교할 수 없다. 어려운 시퀀스를 많이 성공시킨 방법일수록 평균 오차가 커지는 생존 편향이 있다. 전체 프레임 평균은 캡션이 스스로 밝히듯 실패가 많을수록 낮게 나온다(실패한 시퀀스는 물체를 건드리기 전 접근 구간 위주라서). 그래서 이 표의 오차 열은 어느 쪽으로도 순위를 매기기 어렵고, 결론은 성공률 열 하나에 기댄다. 본문의 “consistently outperforms baseline methods”는 성공률에 대해서만 맞다.
Inspire에서 AnyTeleop retargeting의 붕괴가 극적이다. 7.4%는 6개 모터의 연동 손에서 손끝 위치 기반 retargeting이 얼마나 쉽게 불가능한 자세를 만드는지 보여 준다(Fig. 3 왼쪽). 구동 자유도가 많은 Allegro에서는 45.9%로 덜하다.

평가 시퀀스가 학습 시퀀스와 같은지는 논문에 없다. 공개 MODEL_CARD는 “no dedicated held-out testing split”이라고 적는다. Table 1은 학습한 시연을 얼마나 잘 재현하는가의 표로 읽는 것이 맞다.

vision 정책: Table B

방법	성공률 (%)	접촉 비율 (%)
Dexplore (vision)	52.7	48.2
Dexplore (state)	87.7	69.3

무작위 시점, 손-물체 가림, 특권 정보 없음, sparse goal이라는 조건에서 52.7%다. 상태 정책 대비 35.0%p 낮다(필자 계산). 본문은 이 표를 “Table~B”라 부르며 본문 결과처럼 다루지만 실제로는 부록에 있다. 이 표에는 비교 대상이 상태 teacher 하나뿐이다. 다른 증류 방식(VAE 없는 BC, latent 없는 DAgger)이나 고정 시점 카메라와의 비교가 없어, VAE·무작위 시점·sparse goal 각각의 기여는 알 수 없다. 성공 정의도 상태 정책(완주)과 다르다(안정 접촉 후 테이블에 되돌림). 같은 표에 놓인 87.7%가 vision 정책의 성공 정의로 다시 잰 값인지, Table 1 값을 옮긴 것인지는 명시돼 있지 않다.

정성 결과

Allegro 손 결과(Fig. 4). 손전등, 원기둥, 코끼리 인형, 도넛, 정육면체, 머그를 집어 드는 세 장면씩. Allegro는 손가락이 넷이고 사람 손보다 크다.

더 크고 무거운 물체로의 일반화(Fig. B). 물체 크기를 1.5배(무게 1.5^3배)로 키운 공을 상태 정책이 집어 든다. 왼쪽이 원래 크기, 오른쪽이 확대본이다.

TACO의 처음 보는 물체(Fig. C). 왼쪽: depth와 그로부터 만든 점군. 오른쪽: GRAB으로만 학습한 vision 정책이 TACO object 081(위)과 194(아래)를 집어 든다.

latent 샘플링에 따른 파지 다양성(Fig. D). 같은 비행기 모형을 처음 접촉하는 순간의 손 자세가 latent 샘플마다 다르다.

일반화 주장 중 크기 확대(Fig. B)는 부록 Table C의 모양 스케일 랜덤화 범위 [0.8^3, 1] 밖이므로(이 랜덤화가 상태 정책에도 쓰였다면) 실제로 분포 밖이다. 다만 수치 없이 그림 한 장이다. TACO 일반화(Fig. C)도 물체 2개의 정성 결과뿐이다.

실기 배포 (부록 C)

실기 배포(Fig. 5). xArm7 + Inspire RH56DFTP 손이 테이블 위 작은 상자에 접근해 집어 든다. 두 줄은 서로 다른 시도이고, 오른쪽 위 거치대에 Femto Bolt depth 카메라가 있다.

부록 C의 배포 절차는 꽤 많은 공학 장치를 담고 있다.

정방향 기구학으로 팔의 점군을 계산해 장면에서 배경·테이블·팔 점을 지우고 손과 물체 점만 남긴다.
손이 카메라 시야에 들어오면 고유감각으로 계산한 관절 위치와 점군 사이에 차이가 생기므로, 각 관절을 점군의 최근접점으로 대체한다.
30 fps 롤아웃을 접근·들기 단계에서는 매 스텝 적용하지 않고, 손과 물체가 충분히 가까울 때만 전체 롤아웃을 켠다.
엄지를 먼저 움직이고 나머지 네 손가락을 뒤에 움직인다. 엄지는 모터가 2개라 무겁고 느리기 때문이다.
손목 궤적은 RRT로 계획해 손을 물체 근처로 옮기고 다시 돌려놓는다.
시뮬레이션은 PD gain을 100/10으로 두고, 실기는 손 내장 위치 제어 gain을 쓴다. 시뮬레이션의 mimic joint 연동과 달리 실기에는 구동 관절 PD 목표만 보낸다.
RTX 4090 + i9-14900K에서 스텝당 총 지연 약 80 ms이고, 그중 60~80 ms가 depth 획득·배경 제거 같은 descriptor 계산이다.

저자들은 “손이 시야에 완전히 들어온 뒤에는 정책이 전적으로 조작을 맡고, 핵심 grasp 동안 추가 수작업 제어는 없다”고 쓴다. 그러나 엄지 우선 순서와 롤아웃 활성화 시점은 그 자체가 수작업 일정이다. 80 ms 지연은 약 12.5 Hz로(필자 계산) 학습 제어 주기 30 Hz보다 느리다. 서론이 말한 “typical control rates”와 어떻게 맞추는지는 설명이 없다. 프로젝트 페이지에는 캔, 흰 컵, 스테이플러를 들어 올리는 실기 클립이 더 있다.

프로젝트 페이지 Real-World Experiments 클립 3편. 왼쪽부터 캔, 흰 컵, 스테이플러를 집어 들어 올린 채 유지한다. 논문에는 이 시연들의 시행 수나 성공률이 없다.

변형체(Fig. A). 테이블 위 검은 천을 집어 들어 올린다. 시뮬레이션은 강체만 다루므로 학습에 없던 조건이다.

비판적으로 보면

강점

설계 결정 하나를 정확히 겨눈 절제가 있다. RSE를 빼면 두 손 모두 성공률이 29.9%로 떨어진다. 논문의 제목에 들어간 개념(Reference-Scoped Exploration)이 절제 실험 하나로 직접 검증된다. 3단 파이프라인 비판이라는 서사가 “retargeting 품질 교체” 실험(DexTrack w/ AnyTeleop → w/ Ours)으로도 뒷받침된다.
retargeting을 tracking의 부산물로 만든다. Dexplore 롤아웃을 DexTrack의 참조로 쓰면 Inspire 성공률이 9배 넘게 오른다. 이 결과는 Dexplore를 정책으로만이 아니라 물리적으로 가능한 로봇 참조를 만드는 도구로도 쓸 수 있다는 뜻이다. 다른 tracker나 데이터 생성 파이프라인과 결합할 여지가 있다.
종료 문턱을 학습 신호로 쓰는 발상이 일반적이다. 보상 설계 대신 종료 조건으로 “허용 범위”를 정의하고 실패율로 자동 조정하는 방식은 손재주 조작에 국한되지 않는다. 모방 RL의 early termination을 적응형 커리큘럼으로 바꾼 것이라 휴머노이드 모션 추종 같은 다른 참조 추종 문제에도 그대로 옮겨 볼 수 있다.
어려운 손을 골랐다. 6개 모터로 12개 관절을 움직이는 Inspire는 손끝 retargeting이 가장 쉽게 깨지는 손이다. 이 손에서 7.4 → 87.7%라는 차이를 보였다. 크기와 손가락 수가 다른 Allegro로도 같은 경향을 확인했다.
코드·체크포인트·변환 스크립트가 공개됐다. 논문이 밝히지 않은 K, 보상 가중치, 종료 문턱 상수, PPO 설정, VAE latent 차원이 모두 코드에 있다. GRAB을 로봇 학습 데이터로 바꾸는 변환 파이프라인도 공개돼, 논문 본문의 빈칸을 상당 부분 메운다. 다만 그 과정에서 논문과 다른 곳도 드러난다(코드 대조 절).

약점·한계

평가 프로토콜이 거의 비어 있다. 시행 수, 시드 수, 신뢰구간, 학습/평가 분할이 하나도 없다(본문·부록 전수 확인). 공개 MODEL_CARD가 held-out 분할이 없다고 적으므로 Table 1은 학습 시연의 재현율로 읽힌다. “unseen” 일반화는 크기 확대 그림 한 장과 TACO 물체 2개의 정성 결과뿐이다. Allegro의 Dexplore 78.7% 대 DexTrack w/ Ours 77.4% 같은 차이는 분산을 모르면 해석할 수 없다.
“w/o RSE”가 정의되지 않았다. 거리 가중치와 적응 문턱 중 무엇을 뺐는지, 고정 문턱을 어느 값으로 뒀는지 없다. 두 손에서 값이 정확히 같은 29.9%인 이유도 없다. 두 장치를 따로 뺀 절제가 있었다면 “통로”와 “가중치” 중 무엇이 효과를 내는지 알 수 있었을 것이다. 공개 코드에도 w/o RSE 전용 플래그가 없다. 코드에서 적응 문턱을 끄는 유일한 경로는 stateInit을 Start 이외(예: Random)로 바꾸는 것인데, 같은 조건이 논문에 없는 테이블 충돌 커리큘럼도 함께 끈다(초기 상태 샘플링은 Start와 Random이 같은 코드 경로를 탄다). 저자들이 절제를 이렇게 구성했다면 RSE 외의 변수가 섞인 비교가 된다(구성 방법은 논문에 없어 확인 불가).
적응 문턱 식의 방향이 서술과 반대다. 종료 조건이 “R<\kappa”이면 큰 \kappa는 가장 엄격한 문턱이다. “큰 값에서 시작해 조인다”와 맞지 않는다. 공개 코드는 거리 문턱으로 구현해 서술과 맞지만, 논문 식만 읽고 구현하면 반대 방향의 커리큘럼이 된다. “현재 프레임에서 방문한 롤아웃 수”도 코드에서는 모션 단위 누적 횟수다.
베이스라인이 약하게 구성됐다. DexTrack은 핵심 기여(homotopy 최적화, IL+RL 결합)가 빠진 재구성판이다. 저자들이 “state-of-the-art”로 함께 지목한 ManipTrans는 실험에 없다. AnyTeleop은 kinematic replay(물리 없는 재생)로 비교한다. 따라서 Table 1은 “Dexplore가 SOTA를 이겼다”보다 “Dexplore가 재구성한 DexTrack과 kinematic retargeting보다 낫다”까지를 보인다.
오차 지표가 순위를 매기지 못한다. 성공 롤아웃 평균은 방법마다 다른 부분집합의 평균이고, 전체 프레임 평균은 실패할수록 유리하다. 오차 열에서 Dexplore가 일관되게 최선이 아닌 것도 이 때문일 수 있지만, 같은 시퀀스 집합(모든 방법이 성공한 교집합)에서 잰 오차가 없어 확인할 수 없다.
실기 결과가 정성뿐이다. 실기 시행 수·성공률·실패 사례가 없다. 시연된 물체(상자, 병, 천, 그리고 프로젝트 페이지의 캔·컵·스테이플러)가 GRAB 학습 물체와 어떤 관계인지도 없다. 배포에는 RRT 손목 계획, 엄지 우선 순서, 근접 시 롤아웃 활성화, 관절-점군 최근접 대체가 들어간다. RRT가 물체 근처 목표를 어디서 얻는지(물체 위치 추정)는 쓰여 있지 않다. 서론의 “no … pose estimators … required at runtime”과 어떻게 양립하는지 독자가 판단할 근거가 없다. 공개 레포에는 실기 배포 코드가 없고, MODEL_CARD는 공개 체크포인트가 실기 배포용으로 검증되지 않았다고 적는다.
“retargeting 없이”의 범위가 좁다. 보상과 종료는 사람 손 key joint와 직접 비교하므로 tracking target에 retargeting이 들어가지 않는 것은 맞다. 그러나 매핑 \boldsymbol M 자체가 AnyTeleop의 retargeting 대응 관계이고, 공개 코드는 에피소드 초기 관절각을 dex-retargeting 출력으로 잡는다(코드 대조 절). 공개 MODEL_CARD도 학습 데이터를 “reference motions retargeted from the GRAB sequences”라고 부른다. 정확한 주장은 “retargeting을 정답으로 추종하지 않는다”다.
InterMimic과의 차이가 분리돼 있지 않다. 상태(\boldsymbol D, \boldsymbol C), 보상 구성, 롤아웃 캐시 초기화가 모두 같은 1저자의 InterMimic을 “following”으로 가져온다. 어디까지가 기존 장치이고 어디부터가 이 논문의 기여인지(RSE와 증류 구조) 본문이 구분해 주지 않는다. InterMimic의 설정을 그대로 로봇 손에 적용한 베이스라인이 사실상 “w/o RSE”일 텐데, 그렇다고 밝히지도 않는다.
저자 스스로 밝힌 한계. 아주 작거나 얇은 물체에서 손끝 위치 오차에 민감하다. 한 손만 다룬다. 학습 데이터가 GRAB 658개 시퀀스로 작다. 제목의 “Scalable”은 1,269개 중 절반을 쓴 한 데이터셋 규모에서 주장되고, 데이터 규모에 따른 성능 곡선은 없다.

코드 공개 범위와 논문 vs 코드

이 절은 정적 확인이다. 업스트림 NVlabs/dexplore 커밋 d0b9320(2026-07-14, 단일 커밋)의 파일을 읽기만 했고, 학습·평가·시뮬레이터는 실행하지 않았다. 아래의 논문 수치는 모두 “논문이 주장한 값”이며, 이 블로그가 재현했다는 뜻이 아니다. 코드가 논문 수치를 낸 설정과 같은지는 확인할 방법이 없다.

공개 범위.

논문 요소	공개 코드
상태 정책(RSE) 학습·평가	있음. Inspire·Allegro 외에 논문에 없는 LEAP·Shadow 손 설정도 있다
vision 정책 증류(PointNet++ + VAE + DAgger)	있음. Inspire 설정만 있다
GRAB 변환	`data_processing/convert_grab.py`. GRAB 원본은 재배포 불가라 직접 받아야 한다
체크포인트	Inspire teacher(`inspire.pth`)와 student(`inspire_distill.pth`), Git LFS. Allegro 체크포인트는 없다
Table 1 지표(R_{\text{err}} rad, E_{\text{finger}})	평가 스크립트는 생존 기반 성공률, 16개 key body 평균 위치 오차, 물체 표면점 평균 거리를 낸다. 물체 회전 오차(rad)와 손끝만의 오차는 계산하지 않는다
Table B 지표	성공률은 생존(조기 종료 없음)으로 계산한다. 논문의 “물체를 테이블에 되돌림” 정의나 접촉 비율 계산은 없다
DexTrack·AnyTeleop 베이스라인	없음
TACO 평가, 실기 배포	없음

라이선스는 NVIDIA OneWay Noncommercial License다(비상업 연구 용도). MODEL_CARD는 student 체크포인트의 8 에피소드 smoke test 성공률 50.0%(4/8)를 적어 두었다. 이 값은 표본이 작아 Table B의 52.7%와 비교할 대상이 아니다.

논문 서술과 일치하는 것. 종료 조건 (V)의 “접촉 불일치가 10 스텝 넘게 지속”(단, 코드는 참조가 접촉 중인데 시뮬레이션 손이 닿지 않은 한 방향만 센다), 손목 residual action(PD 목표 = 현재 손목 + 오프셋), Inspire mimic joint 연동(계수 1.05·0.6·0.8), 시뮬레이션 1/60 s와 제어 30 Hz, residual 형태의 VAE latent(\mu_p+\mu_q, encoder logvar)와 에피소드마다 고정되는 \epsilon, KL 계수를 키우는 스케줄, DAgger, 무작위 카메라 depth를 렌더링해 점군으로 바꾸는 경로가 코드와 같다. 물체 convex hull 20개도 같다.

논문 서술과 다른 것.

항목	논문	공개 코드
초기 상태	손바닥 전역 자세만 참조로, 나머지 자유도는 0. 이후 롤아웃 상태 캐시와 prioritized sampling	공개 설정(`stateInit: Start`)은 Inspire의 손목 6 + 손가락 12 관절을 dex-retargeting 출력으로 초기화한다. Allegro task에는 손가락을 0으로 두려는 줄이 있지만, 인덱싱 사본에 대입하는 형태라 실제 상태에는 반영되지 않는다. 시작 프레임은 90% 확률로 참조 손이 물체 20 cm 안에 처음 들어오는 프레임 이전 구간에서, 뒤쪽일수록 높은 확률로 뽑고 10%는 0번 프레임이다. 롤아웃 상태 캐시 경로(`Hybrid`)는 코드에 있지만 캐시를 갱신하는 코드가 없고 공개 설정은 이 경로를 타지 않는다
적응 문턱의 형태	보상 R<\kappa이면 종료, \kappa=\kappa^{\text{init}}N_{\text{fail}}/N_{\text{total}}	거리 문턱 × \kappa. 손 key body 최대 오차 >0.8\kappa m, 물체 표면점 최대 오차 >0.6\kappa m, 손끝-물체 상호작용 그래프 상대 오차 >2.0\kappa이면 종료
\kappa 통계	현재 프레임에서 방문한 롤아웃	모션 단위 누적 실패/전체 횟수, 하한 0.5로 clamp. 문턱은 초기값의 1배에서 0.5배 사이에서만 움직인다
조이지 않는 종료 조건	언급 없음	참조가 접촉 중일 때 엄지·검지 손끝이 물체에서 7 cm 넘게 떨어지면 종료(\kappa와 무관한 고정값)
거리 가중치 w(\boldsymbol D)	\min(1,\boldsymbol D/0.20\,\mathrm m)	손끝 위치·방향 오차에 \operatorname{clip}(\boldsymbol D,0.01,1.0)을 곱한다. 즉 포화 거리가 1 m다. \boldsymbol D는 참조 손과 참조 물체 사이 최소 거리
에너지 항의 정의	연속 PD 목표의 큰 변화, 큰 관절 가속도·속도에 벌점	PD 목표 변화에 대한 항은 없고, 손목·관절·물체 속도의 유한차분(가속도), 관절 속도, 접촉력 크기에 벌점을 준다
에너지 항의 거리 반비례	있음	보상 함수(`compute_humanoid_reward`)에서 에너지 항에 거리 가중을 곱하는 코드를 찾지 못했다. 거리에 따라 바뀌는 것은 상호작용 그래프 항(1-\boldsymbol D 가중)과 비접촉 구간의 손가락 굽힘 벌점(0.1 m 중심 가우시안 가중)이다
테이블 충돌 커리큘럼	없음	모션별 성공률이 50%를 넘으면 테이블의 collision filter를 2에서 1로 바꾸는 “collision filter curriculum”이 있다. 이 커리큘럼과 적응 문턱은 같은 조건(`stateInit: Start`)에서만 켜진다
평가 시 문턱	성공 = 물체를 떨어뜨리거나 큰 이탈 없이 완주	평가 스크립트는 적응을 끄고 \kappa=1(가장 넓은 문턱)에서 조기 종료 없이 끝까지 간 에피소드를 성공으로 센다
참조 시점 K	미보고	\{1, 16\} 프레임 뒤 두 시점
Table A 시뮬레이션 설정	env 4096, substeps 8, contact offset 0.02, max depenetration 10, 물체 밀도 50, 마찰 0.9·반발 0.7	공개 Inspire 설정은 env 8192, contact offset 0.01, max depenetration 20, 코드의 물체 밀도 20. substeps는 4인데 제어 스텝당 시뮬레이션 2회를 곱하면 8이 된다. 물체 마찰·반발을 설정하는 코드는 찾지 못했다
Table C 물리 랜덤화	마찰·반발·밀도·모양 스케일	랜덤화 함수(`apply_randomizations`)는 정의만 있고 호출되는 곳이 없으며, 공개 설정 파일에 이 범위가 없다. 증류 설정에는 대신 점군 가우시안 노이즈(\sigma=0.01), 15% 점 dropout, 5% 무작위 이상점이 있다
DAgger 롤아웃	teacher를 expert로 한 DAgger, 추론 때는 encoder 없이 prior에서 z	학습 중 데이터를 모으는 롤아웃은 특권 정보를 받는 encoder를 켠 채(`with_encoder: True`) 돈다. 즉 DAgger가 방문하는 상태는 배포되는 prior-only 정책의 상태 분포와 다르다
PD gain	시뮬레이션 100 / 10	손가락 100 / 10은 같고, 손목 6자유도는 200 / 20
student 관측의 이력	짧은 과거 상태 이력을 포함	공개 student 관측(30D 고유감각 + 518점 + 유효 마스크 = 2102D)은 현재 시점 값만 담고 이력 항이 없다
student 입력의 촉각	촉각·관절 속도는 sim-to-real 간극 때문에 제외	관절 속도는 빠지지만, 손 접촉 강체 5개의 시뮬레이션 접촉 여부(접촉력 > 0.1)가 student 고유감각 벡터에 들어간다
증류 손실	\mathcal L_{\text{rec}}+\beta\mathcal L_{\text{KL}}	latent에서 물체 위치·회전을 복원하는 보조 decoder 손실(계수 0.1)이 더해진다. KL 계수는 0.01→0.1로 3,000 epoch에 걸쳐 키운다. 설정 주석에 “best-known defaults”, “10x stronger than legacy 0.01”이 있어 논문 이후 조정된 값일 수 있다

가장 큰 차이는 초기 상태다. 논문은 MANO와 로봇 손의 해부학 차이 때문에 MANO 자세를 초기 상태로 줄 수 없어 손바닥만 맞춘다고 쓰는데, 공개 코드는 바로 그 문제를 dex-retargeting으로 푼 관절각을 초기 상태로 쓴다. 게다가 대부분의 에피소드가 접촉 직전 구간에서 시작하므로, 정책은 “retargeting이 제안한 손가락 자세로 물체 앞에 놓인 상태”에서 출발하는 경우가 많다. 이것은 tracking target이 아니라 출발점일 뿐이고, 이후 궤적은 RSE가 정한다. 그래도 논문의 “without explicit retargeting”과 “retargeting errors can propagate”라는 서사를 읽은 독자가 예상하는 구현은 아니다. README는 “retargeting step … is not strictly necessary for training”이라고 적는다. 다만 공개 설정 그대로 학습하면 이 값이 초기 상태로 쓰이므로, 필요 없다는 말은 “0으로 채운 데이터로도 돌아간다”는 뜻으로 읽힌다(필자 해석, 실행 확인 아님).

두 번째는 scope의 실제 모양이다. 운동학 종료 문턱은 \kappa=1에서 손 key body 0.8 m, 물체 0.6 m이고, 가장 조여도 0.4 m와 0.3 m다. 손 크기를 생각하면 이 두 문턱은 거의 걸리지 않는 수준이다(필자 해석). 실제로 통로를 만드는 것은 상호작용 그래프의 상대 오차 문턱(2.0\kappa), \kappa와 무관한 7 cm 손끝 문턱, 10 스텝 접촉 불일치일 것으로 보인다. 즉 공개 구현에서 “reference scope”는 손 모양 공간이 아니라 손끝-물체 상대 관계 공간에 주로 걸려 있다. 이것은 논문의 직관(“무엇을”은 지키고 “어떻게”는 맡긴다)과 오히려 잘 맞는 구현이지만, 논문 식 (I)~(IV)의 R<\kappa 서술로는 알 수 없다.

세 번째는 평가 기준이다. 공개 평가 스크립트의 성공은 가장 넓은 문턱(\kappa=1)에서의 생존이고, 초기 상태도 학습 때와 같이 접촉 직전 구간에서 뽑는다. Table 1의 성공률이 이 정의로 계산된 것인지 논문은 밝히지 않는다. 같은 정의라면 “큰 이탈”의 기준이 학습 중 도달한 가장 좁은 통로가 아니라 가장 넓은 통로라는 뜻이다.

네 번째는 student 입력의 접촉 신호다. 논문은 촉각을 sim-to-real 간극 때문에 뺐다고 쓰지만, 공개 student 환경은 손가락 강체 5개의 시뮬레이션 접촉 여부를 고유감각 벡터에 넣는다. 실기에서 이 5개 값을 무엇으로 채웠는지(손의 힘 센서, 0 고정, 또는 다른 판의 정책)는 배포 코드가 없어 알 수 없다. 동봉된 student 체크포인트가 이 공개 설정으로 학습된 것인지도 레포만으로는 확정되지 않는다.

요약

Dexplore는 사람 MoCap을 로봇 손 정책으로 옮기는 문제에서 retargeting을 별도 단계로 두지 않는다. 시연 둘레에 종료 문턱으로 정의한 통로를 만들고, 실패율에 따라 통로를 조이며, 손이 물체에 가까울수록 손 모양 추종을 푸는 Reference-Scoped Exploration이 핵심이다. RSE 절제(29.9 → 87.7 / 78.7%)와 DexTrack의 참조 교체 실험(7.4 → 69.8%)은 “retargeting이 병목이고, 물리 안에서 푸는 편이 낫다”는 주장을 직접 뒷받침한다. 증류된 vision 정책은 단일 depth로 52.7%의 시뮬레이션 성공률을 내고 실기에 올라간다.

한계는 평가에 있다. 분할·시행 수·시드가 없고, 일반화와 실기는 정성 결과뿐이며, 베이스라인 DexTrack은 핵심이 빠진 재구성판이다. 논문의 적응 문턱 식은 서술과 방향이 반대로 쓰여 있고, 공개 코드는 거리 문턱으로 이를 바로잡는 대신 초기 상태를 dex-retargeting으로 잡는 등 논문과 다른 선택을 담고 있다. “시연을 정답이 아니라 허용 범위로 쓴다”는 아이디어 자체는 단순하고 이식성이 높다. 코드가 공개돼 있으므로, 같은 장치가 다른 손과 더 큰 데이터에서도 통하는지, 그리고 통로를 실제로 만드는 것이 어느 종료 조건인지를 확인해 볼 수 있다.

이 글에 대해

읽은 범위: arXiv v1(2025-09-11 제출, CoRL 2025) 본문과 부록(A 데모 영상, B 시뮬레이션 설정, C 실기 배포)을 arXiv e-print LaTeX 원본과 PDF로 읽었다. 그림 번호는 PDF 기준이다(본문 Fig. 1~5, 부록 Fig. A~D, 부록 Table A~C). 그림은 e-print에 들어 있는 원본 그림이다. 부록이 가리키는 데모 영상 URL(sirui-xu.github.io/dexplore/demo.mp4)은 404를 내고, 같은 영상이 프로젝트 페이지에 있다. 본문의 영상은 모두 프로젝트 페이지의 영상이다.
코드: GitHub 레포 업스트림 커밋 d0b9320 기준으로 README·MODEL_CARD·설정 파일과 핵심 파일(보상·종료·초기화·적응 문턱, GRAB 변환, 증류 환경·네트워크·학습기, 평가 스크립트)을 읽었다. 같은 레포의 코드 구조 노트가 지적한 논문-코드 차이는 원 파일을 다시 열어 확인한 것만 반영했다. 코드는 실행하지 않았다.
표기: “필자 계산”은 논문 표 값으로 직접 계산한 것이고, “필자 해석”은 논문이나 코드가 직접 말하지 않는 추론이다.