📃TeleDexter 리뷰

Towards Human-level Dexterous Teleoperation

• Paper Link (arXiv:2607.11481): v1(2026-07-13) 기준으로 읽었다. 본문 8쪽 + 부록, PDF 27쪽, 그림 9장, 표 11개.

• Project: 블로그형 프로젝트 페이지. 과제별 원격조작 영상(과제당 4개), any-to-any 재배치 영상, 자율 정책 영상, 전체 데모 영상(Full Video Demo)이 있다.

• 코드 공개 없음(2026-10-23 확인): arXiv PDF·HTML에 등장하는 GitHub 링크는 베이스라인(dex-retargeting, GeoRT, SimToolReal)과 Kaolin뿐이고, 프로젝트 페이지의 GitHub 링크는 저자 개인 프로필 하나다. 체크포인트·참조 모션 데이터 공개 언급도 없다.

• Puhao Li*, Zeyuan Chen*, Yingying Wu*, Pengkun Wei, Yuyang Li, Tianyu Wang, Jiaxiao Shi, Mingrui Yu, Baoxiong Jia, Song-Chun Zhu, Tengyu Liu†, Siyuan Huang† (*공동 1저자, †교신저자)

• BIGAI(State Key Lab of General Artificial Intelligence), Tsinghua University, Peking University. arXiv preprint, 2026 (게재지 표기 없음). 프로젝트 페이지 저자 표기는 “BIGAI Dexterity Team”

1. 💡 기존 다지 손 원격조작은 사람 손 자세를 로봇 관절로 옮기기만 해서 접촉력과 물체 관성을 무시하고, 그래서 손 안에서 물체를 돌리거나 손가락을 바꿔 짚는(finger gaiting) 순간 물체를 떨어뜨린다. TeleDexter는 조작자가 손끝 위치와 물체 포즈를 함께 목표로 지정하고, 그 목표를 실제 접촉으로 실현하는 일은 시뮬레이션에서 RL로 학습한 저수준 컨트롤러에 맡긴다.
2. ⚙️ 사람의 손-물체 모캡 궤적을 기하 인식 리타게팅으로 로봇 참조 모션으로 바꾸고, 이를 프레임 단위로 따라 하게 하는 대신 연속 subgoal로 쪼개 “도달하면 다음 목표”로 넘어가는 희소 보상 + 작은 밀집 추적 보상으로 단일 단계 RL(SAPG, Isaac Gym)을 돌린다. 일부 관절의 명령을 무작위로 얼려 두는 random action masking과 도메인 랜덤화로 실기에 zero-shot 배포한다.
3. 🎯 SharpaWave(22-DoF) 손으로 7개 실기 과제를 과제당 15회 시도해 평균 성공률 75.2%, 진행률 87.1%를 냈고, 원격조작 베이스라인(DexRT, GeoRT, DexGen)은 평균 성공률 0~5.7%였다(Tab. 1). 수집한 데모 50개로 학습한 Diffusion Policy는 세 과제에서 40.0~73.3% 성공했다(Tab. 3).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 손 원격조작의 주류는 운동학적 리타게팅이다. 카메라나 장갑으로 사람 손 자세를 읽어 로봇 관절각으로 옮긴다. 지연이 짧고 직관적이지만, 로봇 손과 사람 손은 크기·관절 배치·마찰이 다르고 조작자는 로봇 손이 느끼는 접촉을 모른다. 그래서 물체를 쥐고 옮기는 것까지는 되지만, 물체를 손 안에서 돌리거나 손가락을 떼었다 다시 짚는 동작(finger gaiting)에서는 물체가 미끄러져 떨어진다. DexterityGen(DexGen)처럼 시뮬레이션에서 학습한 행동 사전(action prior)을 끼워 넣는 시도도 있었지만, 저자들은 그 학습 목표가 합성된 파지 전환이라 물리적으로 그럴듯하다는 보장이 없고 생성 모델의 오차가 누적된다고 본다.

TeleDexter는 원격조작을 손-물체 공동 추적(co-tracking) 문제로 다시 쓴다. 조작자가 지정하는 것은 관절각이 아니라 “손끝은 여기, 물체는 이 포즈”라는 기하 목표이고, 그 목표를 어떤 손가락 순서와 접촉으로 달성할지는 RL로 학습한 컨트롤러가 정한다. 논문의 표현을 빌리면 목표는 what을 정하고 how는 컨트롤러에 맡긴다. 프로젝트 페이지는 이를 “학습된 소뇌(cerebellum)”라고 부른다.

개요(Fig. 1). 위: 조작자의 손(Hand target)과 조작자가 든 물체(Object target)가 로봇 손과 물체의 목표가 된다. 아래: 드라이버로 볼트 조이기, 빗자루로 쓸기, 전구 끼우고 빼기, 망치로 못 박고 뽑기의 단계별 장면(SharpaWave 손). 프로젝트 페이지 “Multi-stage Tool Use” 영상(망치, 4.2 MB, 원 URL 참조). 페이지 설명에 따르면 오른쪽이 조작자의 의도, 왼쪽이 학습된 컨트롤러의 접촉 실행이다.

핵심 방법론:

정책은 현재 손-물체 상태 \boldsymbol{o}_t와 공동 추적 목표 g_t를 받아 손 관절 목표 \boldsymbol{a}_t\in\mathbb{R}^{n_\mathrm{dof}}를 낸다. 목표는 손끝 위치 N_f개와 물체 포즈로 이뤄지며, 모든 양은 손목 좌표계에서 표현한다(팔은 IK로 사람 손목을 따로 따라간다).

\boldsymbol{a}_t=\pi_\theta(\boldsymbol{o}_t,g_t),\qquad g_t=\bigl(\hat{\boldsymbol{p}}^{\mathrm{tip}}_t,\ \hat T^{o}_t\bigr),\quad \hat{\boldsymbol{p}}^{\mathrm{tip}}_t\in\mathbb{R}^{N_f\times3},\ \hat T^o_t\in SE(3)

학습에서는 참조 궤적을 프레임마다 따라 하게 하지 않고, 간격을 바꿔 가며 뽑은 subgoal g_k에 “도달하면 다음으로” 넘어가게 한다. 보상의 주신호는 도달 순간에만 주어지는 희소 항이고, 밀집 추적 항은 작은 가중치(\alpha_\mathrm{dense}=0.1)로 초기 탐색만 돕는다.

r_t=\underbrace{\mathbb{1}_{\mathrm{reach}}(t)\,w_{\mathrm{step}}(t)\,r_{\mathrm{score}}(t)}_{\text{sparse subgoal}}+\underbrace{\alpha_{\mathrm{dense}}\,r_{\mathrm{dense}}(t)}_{\text{dense tracking}}-c_{\mathrm{time}}

w_\mathrm{step}은 건너뛴 참조 프레임 수에 비례해 커서 먼 subgoal일수록 보상이 크다. 실기 이전을 위해서는 도메인 랜덤화에 더해, 관절 일부의 명령을 직전 값에 묶어 두는 random action masking \tilde{\boldsymbol{a}}_t=\boldsymbol{m}_t\odot\boldsymbol{a}_t+(1-\boldsymbol{m}_t)\odot\tilde{\boldsymbol{a}}_{t-1}을 쓴다.

주요 결과:

• 원격조작(Tab. 1, SharpaWave, 과제·방법당 15회): TeleDexter 평균 SR 75.2% / TP 87.1%. 과제별 SR은 66.7~86.7%. DexRT 5.7 / 37.6, GeoRT 0.0 / 28.5, DexGen 0.0 / 25.0. 원격조작이 아닌 도구 사용 정책 SimToolReal은 세 도구 과제 평균 8.9%(도구별 정책)·6.7%(통합 정책).
• 다른 손(Tab. 2, LeapHand 16-DoF): 같은 사람 시연에서 리타게팅만 바꿔 원기둥 60.0%, 직육면체 73.3%.
• 자율 정책(Tab. 3): TeleDexter로 모은 데모 50개로 학습한 RGB Diffusion Policy가 HammerDriver 73.3%, BulbInstall 46.7%, BrushForward 40.0%.
• 절제(Tab. 4·5): 시뮬레이션에서 밀집 프레임 추적 대비 연속 subgoal 수 32.6 vs 2.6(Cuboid), 186.6 vs 2.7(Hammer). 실기에서 action masking을 빼면 Screwdriver SR 73.3 → 0.0%.

결론:

새로운 것은 개별 부품(벡터 리타게팅, 지수 커널 추적 보상, ManipTrans식 커리큘럼, SAPG, Visual Dexterity식 도메인 랜덤화)이 아니라, 원격조작 인터페이스를 “목표를 내는 쪽”과 “접촉을 푸는 쪽”으로 나누고, 뒤쪽을 희소 subgoal 추적으로 학습한 것이다. 손 안 재배치와 다단계 도구 사용을 실기 원격조작으로 보인 것은 의미가 크다. 다만 컨트롤러는 물체마다 따로 학습하고(물체당 모캡 약 50분 + 4×RTX 5090 약 1일), 실기 배포에 모캡이 필요하며, 조작자 수·숙련도·완료 시간은 보고되지 않았다. 제목의 “human-level”은 측정한 양이 아니라 지향점이다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

다지 손 원격조작이 실패하는 이유를 “조작자가 접촉을 느끼지 못한 채 관절을 직접 지정하기 때문”으로 보면, 답은 조작자에게서 관절 지정을 빼앗고 목표 지정만 남기는 것이다. TeleDexter는 손끝과 물체의 목표 포즈를 조작자에게서 받아, 그 목표에 이르는 접촉 순서는 시뮬레이션에서 수십억 스텝 동안 연습한 정책이 정하게 한다. 이 설계의 성패는 두 가지에 달려 있다. 첫째, 정책이 사람 시연을 “그대로 베끼지” 않고 로봇 손에 맞는 접촉 전략을 스스로 찾을 여유가 있어야 한다. 논문은 이를 프레임 추적 대신 연속 subgoal 추적으로 푼다. 둘째, 실기의 비동기적이고 느린 관절 응답을 견뎌야 한다. 논문은 이를 random action masking으로 푼다. 두 장치 모두 절제 실험이 있고 효과가 크다. 남는 질문은 이 컨트롤러가 물체마다 따로 학습된다는 점, 그리고 비교와 평가가 얼마나 단단한가이다.

배경: 왜 손 안 조작의 원격조작이 어려운가 (§1·§2)

운동학적 리타게팅의 한계. DexPilot(Handa et al., 2020), AnyTeleop(Qin et al., 2023), Bunny-VisionPro, Open-TeleVision 같은 비전 기반 시스템과 DOGlove, DEXOP 같은 장갑·외골격 시스템은 모두 사람 손의 자세를 로봇 관절로 옮긴다. GeoRT(Yin et al., 2025)는 이 사상을 신경망으로 학습하지만 여전히 운동학이다. 저자들의 진단은 이 계열이 “직관적이고 지연이 짧지만 손-물체 접촉력과 물체 관성을 완전히 무시한다”는 것이다(§1). 그 결과 가속이 큰 동작, 비파지(non-prehensile) 상호작용, 연속 finger gaiting에서 물체가 미끄러지거나 떨어진다. 블로그의 DexPilot 리뷰, AnyTeleop 리뷰, GeoRT 리뷰가 이 계열을 다뤘다.

학습된 행동 사전의 한계. DexterityGen(arXiv:2502.04307)은 시뮬레이션 롤아웃으로 생성형 행동 사전을 학습해 거친 원격조작 명령을 세밀한 손 동작으로 바꾼다. 저자들은 두 가지를 문제 삼는다. 학습 목표가 합성된 파지 전환이라 물리적 실현 가능성이 보장되지 않는다는 것, 그리고 생성 모델이 폐루프에서 궤적 표류와 공변량 이동(covariate shift)을 누적한다는 것이다(§1·§2).

사람 참조 모션으로 RL을 이끄는 흐름의 한계. 사람 손-물체 상호작용 데이터를 참조로 RL을 학습하면 과제별 보상 설계 없이 다양한 기술을 얻을 수 있다. 저자들은 이 흐름(Liu et al. 2024의 quasi-physical simulator, Chen et al. 2024의 object-centric 조작, Li et al. 2025의 ManipTrans, Liu et al. 2025의 DexTrack)이 “주로 궤적당 정책 하나를 배우고 재배치나 finger gaiting 같은 손 안 기술은 거의 달성하지 못한다”고 정리하고, 원인을 프레임 단위 밀집 추적이라는 정식화 자체로 돌린다(§2). 프레임마다 참조를 따라가라고 하면 RL이 쥐기와 손목 이동 이상의 접촉 전략을 탐색할 여지가 없다는 것이다. 이 진단이 논문의 첫째 기여(연속 subgoal 추적)의 출발점이다. 다만 DexTrack은 제목부터 범용(generalizable) 추적 컨트롤러를 표방하므로 “궤적당 정책 하나”라는 묶음 서술은 이 문헌에는 거칠다.

방법 상세 (§3, 부록 C)

방법 개요(Fig. 2). 왼쪽: 사람 손-물체(HOI) 데이터. 가운데: 연속 subgoal 공동 추적 RL. 정책 입력은 \boldsymbol{a}_{t-1}, \boldsymbol{o}_t, g_k이고, 목표에 도달하면 같은 궤적의 다음 subgoal(In-Traj) 또는 다른 궤적(Cross-Traj)으로 넘어간다. 보상(① Hybrid Reward), ② Action Mask, ③ Curriculum이 표시돼 있다. 오른쪽: 실기 원격조작.

문제 정의: 무엇을 정하고 무엇을 맡기는가

모든 양은 손목 좌표계 \mathcal{F}_\mathrm{wrist}에서 표현하고, 팔은 사람 손목 포즈를 IK로 독립적으로 따라간다. 따라서 학습 문제는 “손목에 고정된 손이 손끝과 물체를 목표로 옮기는 것”으로 줄어든다. 목표 g_t=(\hat{\boldsymbol{p}}^{\mathrm{tip}}_t,\hat T^o_t)는 손끝 위치와 물체 포즈를 함께 지정한다. 손끝만 지정하면 리타게팅과 다를 바 없고, 물체만 지정하면 SimToolReal 같은 물체 중심 정책이 된다. 둘을 같이 주는 것이 “공동 추적”의 뜻이다.

원격조작 중 g_t는 실시간 모캡에서 만든다(§3.3). 논문 본문은 물체 목표가 정확히 어디서 오는지 문장으로 적지 않지만, Fig. 1(Object target 화살표)과 Fig. 7(c)의 장면에서는 조작자가 같은 물체를 손에 들고 있고 그 포즈가 목표가 되는 것으로 보인다. 로봇이 쥔 물체의 현재 포즈도 관측 \boldsymbol{o}_t에 들어가므로, 배포 시에는 로봇 쪽 물체에도 마커가 필요하다(부록 B.3.1: “each rigid object is tagged with a marker rigid body”).

관측과 행동 (부록 C.1)

관측은 관절 상태, 손목 좌표계의 물체 포즈와 중력 방향, 목표와 그 차이, 직전 명령으로 구성된다(Tab. 7).

요소	설명	SharpaWave	LeapHand
\boldsymbol{q}_t, \cos\boldsymbol{q}_t, \sin\boldsymbol{q}_t	관절 위치와 그 cos·sin	22×3	16×3
\boldsymbol{x}^o_t, \boldsymbol{q}^o_t	물체 위치(3), 쿼터니언(4)	7	7
\hat{\boldsymbol{g}}_\mathrm{wrist}	손목 좌표계 중력 방향	3	3
\hat{\boldsymbol{p}}^\mathrm{tip}_t, \Delta\hat{\boldsymbol{p}}^\mathrm{tip}_t	목표 손끝 위치, 목표 − 현재	15+15	12+12
\hat{\boldsymbol{x}}^o_t, \Delta\hat{\boldsymbol{x}}^o_t, \hat{\boldsymbol{q}}^o_t, \Delta\hat{\boldsymbol{q}}^o_t	목표 물체 위치·쿼터니언과 차이	14	14
\tilde{\boldsymbol{a}}_{t-1}	직전 저수준 명령	22	16
합계		142	112

저자들이 강조하는 설계는 두 가지다. 중력 방향은 손목 좌표계 관측 중 유일하게 월드와 연결된 신호라 손목의 절대 자세를 알려 준다. 그리고 관절 속도와 접촉력은 하드웨어에서 잡음이 크거나 얻을 수 없어서 의도적으로 뺐다. 이 두 번째 선택은 뒤의 실패 분석(촉각 부재로 인한 tracking stall)과 이어진다.

행동은 HORA(Qi et al., 2023)의 잔차 관절 목표에 soft deadzone을 더한 형태다.

\boldsymbol{a}^{\mathrm{cmd}}_t=\mathrm{clip}_{\mathrm{joint}}\!\Bigl(\boldsymbol{a}^{\mathrm{cmd}}_{t-1}+\alpha_a\cdot\mathrm{deadzone}_\tau(\boldsymbol{a}_t)\Bigr),\quad \mathrm{deadzone}_\tau(a)=\mathrm{sign}(a)\max(|a|-\tau,0)

\alpha_a=0.1, \tau=0.1이다. 가우시안 정책은 정확히 0을 내기 어려운데, \pm\tau 안의 출력은 모두 “가만히 있기”가 되므로 정책이 명령 유지를 능동적으로 고를 수 있다. 접촉을 유지해야 하는 손 안 조작에서 작은 떨림이 누적되지 않게 하는 실용적인 장치다.

연속 subgoal 공동 추적 (§3.1, Eq. 1)

참조 궤적은 간격을 바꿔 가며 뽑은 subgoal 열로 바뀐다. subgoal g_k=(\hat{\boldsymbol{p}}^\mathrm{tip}_k,\hat T^o_k)에 대한 손가락별·물체 위치·물체 회전 오차는 다음과 같다.

e^{f}_{t,k}=\bigl\|\boldsymbol{p}^{\mathrm{tip}}_{t,f}-\hat{\boldsymbol{p}}^{\mathrm{tip}}_{k,f}\bigr\|_2,\quad e^{\mathrm{pos}}_{t,k}=\bigl\|\boldsymbol{x}^{o}_{t}-\hat{\boldsymbol{x}}^{o}_{k}\bigr\|_2,\quad e^{\mathrm{rot}}_{t,k}=\bigl\|\mathrm{Log}(\hat R^{o\top}_{k}R^{o}_{t})\bigr\|_2

N_\mathrm{stay} 프레임 연속으로 \max_f e^f_{t,k}<\epsilon_\mathrm{tip}, e^\mathrm{pos}_{t,k}<\epsilon_\mathrm{pos}, e^\mathrm{rot}_{t,k}<\epsilon_\mathrm{rot}이면 도달로 보고 다음 subgoal로 넘어간다. 부록 Tab. 8의 값은 \epsilon_\mathrm{pos}=1 cm, \epsilon_\mathrm{tip}=3 cm, \epsilon_\mathrm{rot}=10^\circ, N_\mathrm{stay}\sim\mathcal{U}\{5,15\}이다. 물체 위치 허용치(1 cm)가 손끝 허용치(3 cm)보다 세 배 엄격하다는 점이 흥미롭다. 물체를 정확히 옮기는 것이 우선이고, 손가락은 그 과정에서 사람과 조금 달라도 된다는 설계 의도로 읽힌다.

다음 subgoal은 확률 0.9로 같은 궤적의 k+\Delta k 프레임, 확률 0.1로 다른 궤적의 같은 프레임 인덱스에서 뽑는다(Eq. 9, cross-trajectory switch). 후자는 시연과 시연 사이를 잇는 전환을 연습시키려는 것으로, 저자들은 “배포 시 조작자의 동작은 어떤 녹화 궤적에도 머물지 않는다”는 이유를 든다. 궤적 전환 직후에는 실패 허용 프레임을 300으로 크게 늘려 재파지 시간을 준다.

하이브리드 보상 (§3.1 Eq. 2·3, 부록 C.2 Eq. 5~8)

보상은 위 Ping의 식과 같다. 점수 r_\mathrm{score}는 손끝과 물체 오차에 지수 커널을 씌워 섞는다.

r_{\mathrm{score}}=\alpha_s\Bigl[w^s_{\mathrm{tip}}\sum_{f\in\mathcal{F}}\rho_f+w^s_{\mathrm{obj}}(\rho_{\mathrm{pos}}+\rho_{\mathrm{rot}})\Bigr],\quad \rho_\cdot=\exp(-\beta_\cdot\,e_\cdot)

밀집 항은 손끝 5개에 더해 MCP 관절(lvl1)과 근위 관절(lvl2) 위치까지 추적하고, 물체 항에는 커리큘럼 계수 (1-\sigma_t)를 곱해 처음엔 꺼 두었다가 점점 켠다.

r_{\mathrm{dense}}=\sum_{i\in\mathcal{I}}w^d_i\rho_i+(1-\sigma_t)\bigl(w^d_{\mathrm{pos}}\rho_{\mathrm{pos}}+w^d_{\mathrm{rot}}\rho_{\mathrm{rot}}\bigr),\quad \mathcal{I}=\{\text{thumb, index, middle, ring, pinky, lvl1, lvl2}\}

부록 Tab. 8의 상수를 정리하면 다음과 같다.

묶음	상수	값
도달 판정	\epsilon_\mathrm{pos} / \epsilon_\mathrm{tip} / \epsilon_\mathrm{rot} / N_\mathrm{stay}	1 cm / 3 cm / 10° / \mathcal{U}\{5,15\}
스텝 가중 w_\mathrm{step}	궤적 내 / 궤적 전환	\lvert\Delta k\rvert+5 / 100
점수 r_\mathrm{score}	\alpha_s / w^s_\mathrm{tip} / w^s_\mathrm{obj}	1.5 / 0.5 / 2.0
커널 감쇠 \beta	thumb / 나머지 손끝 / lvl1 / lvl2 / pos / rot(rad)	100 / 90 / 50 / 40 / 80 / 3
밀집 r_\mathrm{dense}	thumb / 나머지 손끝 / lvl1 / lvl2 / pos=rot / \alpha_\mathrm{dense}	1.0 / 0.8 / 0.6 / 0.4 / 1.5 / 0.1
시간 벌점	c_\mathrm{time}	0.1

리뷰어가 상수로 크기를 가늠해 보면(필자 계산), SharpaWave에서 r_\mathrm{score}의 최댓값은 1.5\times(0.5\times5+2.0\times2)=9.75이고, 궤적 내 도달 한 번의 희소 보상은 \Delta k=40일 때 최대 45\times9.75\approx439다. 반면 밀집 항은 물체 항 계수 (1-\sigma_t)\le1-\sigma_{\min}=0.3까지 반영해 최대 0.1\times(1.0+0.8\times4+0.6+0.4+0.3\times1.5\times2)=0.61 정도이고, 시간 벌점은 매 스텝 0.1이다. (부록 C.3은 밀집 물체 항이 “0에서 전량으로” 커진다고 쓰지만, \sigma_{\min}=0.7이므로 실제 상한은 설정 가중치의 30%다.) 즉 도달 한 번이 밀집 항 수백 스텝 분량이어서, “주신호는 도달이고 밀집 항은 초기 탐색용”이라는 본문 서술(§3.1)과 상수가 정합한다. 궤적 전환 시 w_\mathrm{step}=100은 전환 직후의 어려운 재파지를 크게 보상하려는 것으로 보인다.

커리큘럼과 리셋 (§3.1, 부록 C.3·C.4)

부록 C.3은 커리큘럼 손잡이를 네 개로 적는다. 세 개는 진행 계수 \sigma_t(1 → \sigma_{\min}=0.7, env당 25,600 프레임 동안 선형 감소)로 함께 움직이고, 중력은 따로 움직인다.

손잡이	시작 → 끝	구동
subgoal 간격 상한 \lvert\Delta k\rvert	40 → 80 프레임	\sigma_t, 3제곱 보간
action mask 지속 상한 d^{\max}_t	1 → 10 프레임	\sigma_t, 3제곱 보간
밀집 물체 보상	0 → 전량	(1-\sigma_t)
중력	0 → −9.8 m/s²	env 프레임 32K 동안 선형

\sigma_t=1-(1-\sigma_{\min})\min(t/T_\sigma,1),\qquad u^{\max}_t=u_{\min}+\frac{u_{\max}-u_{\min}}{1-\sigma^3_{\min}}(1-\sigma_t^3)

검산해 보면 env당 25,600 프레임 × 약 62,400 env ≈ 1.6\times10^9, 중력의 32K × 62,400 ≈ 2.0\times10^9 환경 스텝이라, 부록 A.2의 “커리큘럼은 첫 2\times10^9 스텝 안에 끝난다”와 맞는다(필자 계산).

그런데 본문 §3.1의 커리큘럼은 다르게 적혀 있다. 본문은 (i) 중력, (ii) subgoal 추적 허용치 (\epsilon_\mathrm{tip},\epsilon_\mathrm{pos},\epsilon_\mathrm{rot})를 느슨하게 시작해 점점 조인다, (iii) subgoal 간격의 세 축을 말하고, 부록 A.2도 “permissive tolerances”를 커리큘럼 효과의 원인으로 든다. 그러나 부록 C.3의 네 손잡이에는 허용치가 없고, Tab. 8은 허용치를 고정값으로 준다. Fig. 2의 커리큘럼 상자에는 “Gravity / Failure Tolerance / Subgoal Step”이 적혀 있어, 조여지는 것이 도달 허용치가 아니라 실패 허용(\eta_\mathrm{fail} 관련)일 가능성도 있다. 어느 쪽이 실제 구현인지는 논문만으로 확정할 수 없다.

에피소드는 (i) 관절이나 물체 속도가 안전 한계를 넘거나, (ii) 물체 위치 오차가 15 cm를 넘거나, (iii) 다음 subgoal에 닿기 전 허용치 밖 프레임이 n^{\max}_\mathrm{fail}=\eta_\mathrm{fail}|\Delta k|(\eta_\mathrm{fail}=1.5)를 넘으면 끝난다. 재시작은 ManipTrans의 reference state initialization(RSI)을 따라 궤적 앞 90% 중 임의 프레임에서 한다.

실기 이전: 도메인 랜덤화와 random action masking (§3.1, 부록 C.7·C.8)

도메인 랜덤화는 Visual Dexterity(Chen et al., 2023)를 따른다(Tab. 9 요약).

묶음	항목(범위)
손 동역학	질량 ×[0.9, 1.2], 마찰 [1.0, 4.0], K_p·K_d ×[0.8, 1.2]
물체 물성	질량 ×[0.5, 2.0], 표면 마찰 [0.5, 4.0], 구름·비틀림 마찰 [0, 0.05], 반발 [0, 1.0], 메시 크기 ×[0.95, 1.05]
외력	스텝당 발생 확률 [0.01, 0.25], 크기 1.0, 감쇠 0.99
센싱 잡음	관절 가우시안 σ=0.1, 손끝·물체 위치 ±5 mm, 물체 방향 ±2°
관측 지연	큐 2프레임, 샘플링 확률 0.5
초기 상태	손목 방향 ±30°, 참조 프레임은 클립 앞 90%

여기에 더한 것이 random action masking이다. 매 스텝, 활성 마스크가 없을 때 확률 p_\mathrm{mask}=0.15로 관절 n_m=3개를 비복원 추출하고, 지속 시간 d\sim\mathrm{Uniform}\{1,d^{\max}_t\} 동안 그 관절에는 직전 명령을 계속 보낸다.

\tilde{\boldsymbol{a}}_t[j]=\begin{cases}\tilde{\boldsymbol{a}}_{t-1}[j] & j\in\mathcal{M}_t\\ \boldsymbol{a}_t[j] & \text{otherwise}\end{cases}

저자들은 이것이 시뮬레이션의 “완벽히 동기화된 구동”에 과적합하는 것을 막는다고 설명한다. 실기에서는 모터 지연, 백래시, SharpaWave SDK에서 가끔 명령이 누락되는 현상이 있다(부록 C.8). 즉 이 정규화는 일반적인 잡음 주입이 아니라 관절 일부가 늦거나 안 움직이는 상황을 표적으로 한다. 부록은 이를 “시험한 것 중 가장 효과가 큰 단일 sim-to-real 개입”이라고 적는다.

단일 단계 RL 학습 (§3.1, 부록 C.9)

항목	값
시뮬레이터 / 최적화기	Isaac Gym / SAPG(블록 6개, 엔트로피 0.005, off-policy 비 1.0, mix 0.5)
네트워크	LSTM 512(LayerNorm, 시퀀스 4) + MLP [512, 1024, 1024, 512, 512], ELU
PPO 설정	lr 2×10⁻⁴(adaptive, KL 0.008), epoch 4, 미니배치 31,200/GPU, horizon 32, γ 0.99, λ 0.95, clip 0.2
규모	RTX 5090 4장, GPU당 15,600 env(총 62,400), 약 10¹⁰ 스텝, 약 1일
데이터	물체 하나의 참조 모션 전부(약 50분)를 동시에 적재

“단일 단계”는 기술별 단계 학습이나 과제별 보상 설계 없이 한 번의 RL로 끝난다는 뜻이다. 교사-학생 증류도 없다. 다만 물체 하나에 컨트롤러 하나이므로, 7개 과제는 물체 7개, 즉 7번의 학습이 필요하다(§6 Limitations에서 저자들도 인정).

손-물체 참조 모션 만들기 (§3.2, 부록 B.3.1·C.5·C.6)

모캡 장비(Fig. 8). (a) NOKOV 적외선 카메라를 삼각대로 둘러친 촬영 공간. (b) 왼쪽은 오프라인 참조 모션 수집용 장갑(손목·손바닥·모든 손가락 관절에 마커), 오른쪽은 실시간 원격조작용 장갑(손목과 손끝에만 마커).

물체마다 NOKOV 광학 모캡으로 대본 없는 손-물체 상호작용을 150개 녹화한다. 각 20초(600 프레임, 30 Hz)로 물체당 약 50분이고, 범주는 손 안 이동, 손 안 회전, 자유 놀이(임의 파지·finger gaiting·도구 사용 동작) 셋이다(부록 C.6). 오프라인 장갑은 프레임마다 손 관절 3D 위치 24개, 관절 포즈 행렬 21개, 손목 SE(3), 물체 6D 포즈를 낸다.

리타게팅은 두 단계 최적화다.

\boldsymbol{q}^*_{1:T}=\arg\min_{\boldsymbol{q}_{1:T}}\sum_{t=1}^{T}\Bigl(\mathcal{L}^t_{\mathrm{vec}}+\lambda_{\mathrm{surf}}\mathcal{L}^t_{\mathrm{surf}}+\lambda_{\mathrm{pen}}\mathcal{L}^t_{\mathrm{pen}}+\lambda_{\mathrm{col}}\mathcal{L}^t_{\mathrm{col}}\Bigr)+\lambda_{\mathrm{smooth}}\mathcal{L}_{\mathrm{smooth}}

• 1단계(벡터 리타게팅): dex-retargeting의 벡터 정렬 손실 \mathcal{L}_\mathrm{vec}만으로 모든 프레임을 Adam(lr 10^{-3}, 6,000 반복)으로 최적화한다. 접촉을 모르는 초기값이다.
• 2단계(기하 인식 후최적화): 물체 메시를 넣는다. \mathcal{L}_\mathrm{surf}=\frac{1}{|\mathcal{S}_t|}\sum_{p\in\mathcal{S}_t}\mathrm{ReLU}(\mathrm{sdf}_{\mathcal{O}_t}(p))는 물체에서 \tau_\mathrm{surf} 안쪽에 있는 손 표면점만 표면으로 끌어당기고, \mathcal{L}_\mathrm{pen}=\sum_p\mathrm{ReLU}(-\mathrm{sdf}_{\mathcal{O}_t}(p))는 관통을 밀어내며, \mathcal{L}_\mathrm{col}은 다른 손가락의 충돌 구끼리 겹침을 막고, \mathcal{L}_\mathrm{smooth}는 cuRobo의 속도·가속도·저크 평활 에너지를 그대로 쓴다. Adam(lr 3\times10^{-3}, 160 반복, gradient clip 1.0), SDF는 NVIDIA Kaolin으로 미분한다.
• 가중치는 두 손 모두 \lambda_\mathrm{surf}=10, \lambda_\mathrm{pen}=2, \lambda_\mathrm{col}=10, \lambda_\mathrm{smooth}=0.1이다. \tau_\mathrm{surf}=2는 단위가 적혀 있지 않다(cm로 추정되지만 확인 불가).

결과 \{(\boldsymbol{q}^*_t,T^o_t)\}에서 손끝 목표는 순기구학 \hat{\boldsymbol{p}}^\mathrm{tip}_t=\mathrm{FK}_\mathrm{tip}(\boldsymbol{q}^*_t)로, 물체 목표는 녹화된 포즈 그대로 만든다. 여기서 눈여겨볼 점은 관절각 \boldsymbol{q}^*는 RL 목표에 직접 들어가지 않는다는 것이다. 목표는 손끝 위치와 물체 포즈뿐이고, \boldsymbol{q}^*는 리셋 초기화(RSI)와 lvl1/lvl2 밀집 보상에만 쓰인다. 리타게팅이 관절 수준에서 다소 부정확해도 RL이 흡수할 여지가 있는 구조다.

참조 모션 시각화(Fig. 9). (a) 원기둥, (b) 직육면체. 각 클립에서 위부터 MANO 사람 손, 리타게팅된 LeapHand, SharpaWave이고 좌표축은 물체 6D 포즈다.

실기 배포 (§3.3, 부록 B.3.2)

배포 루프는 30 Hz다. 매 프레임 모캡이 조작자의 손목 포즈, 손끝 위치, 물체 6D 포즈를 보내면 두 경로가 병렬로 돈다. 팔은 손목 포즈를 7-DoF Franka FR3 IK로, 손은 손끝과 물체 포즈를 손목 좌표계로 바꿔 g_t를 만들고 정책이 관절 위치 목표를 손 SDK로 보낸다.

중요한 운영 세부가 하나 있다. 컨트롤러는 손 안 HOI 참조로만 학습했기 때문에 접근과 첫 파지는 다루지 못한다. 그래서 시도마다 두 국면으로 나눈다. 접근·파지 국면에서는 운동학적 벡터 리타게팅(DexPilot·AnyTeleop 방식)이 손을 움직이고, 손이 물체 근처의 대략적인 파지 자세에 오면 조작자가 직접 전환해 공동 추적 정책으로 넘긴다. 이후의 재배치·재파지·finger gaiting은 정책이 맡는다. 전환을 어떤 입력(버튼, 페달 등)으로 하는지는 적혀 있지 않다.

직관: “따라 하기”를 “도착하기”로 바꾸면 무엇이 열리는가

프레임 단위 추적은 정책에게 “매 순간 시연자의 손 모양을 재현하라”고 요구한다. 그런데 사람 손과 로봇 손은 손가락 길이, 관절 수, 마찰이 다르다. 사람이 엄지와 검지로 돌린 동작을 로봇은 엄지와 중지로 해야 할 수도 있고, 중간에 손가락 하나를 떼었다 다시 짚어야 할 수도 있다. 프레임 추적은 이런 이탈을 오차로 벌하므로, RL은 결국 “쥐고 손목만 돌리는” 안전한 해로 수렴한다. 저자들이 §2에서 기존 참조 기반 RL이 손 안 기술을 거의 못 배운다고 진단한 이유가 이것이다.

연속 subgoal 추적은 요구를 “다음 체크포인트에 도착하라”로 낮춘다. 체크포인트 사이에서는 어떤 손가락 순서를 써도 된다. 여기에 두 장치가 맞물린다. 첫째, 허용치가 물체에 엄격(1 cm, 10°)하고 손끝에 느슨(3 cm)해서, 정책은 물체를 정확히 옮기되 손가락은 로봇에 맞게 바꿀 수 있다. 둘째, w_\mathrm{step}이 먼 체크포인트를 크게 보상하므로, 정책이 가까운 체크포인트만 골라 먹는 편법이 막힌다. 원격조작 관점에서 이 정식화가 특히 맞는 이유도 있다. 배포 시 조작자의 손은 시연 궤적을 그대로 재연하지 않고 매 순간 새 목표를 낸다. 학습 때부터 “임의의 다음 목표로 가기”와 “다른 시연으로 갈아타기”(cross-trajectory switch)를 연습한 정책은 이 상황을 분포 안으로 끌어들인다. 부록 A.1의 any-to-any 실험은 바로 이 능력을 따로 떼어 잰 것이다.

random action masking의 직관도 단순하다. 시뮬레이션의 관절은 명령을 받는 즉시 같은 방식으로 반응하므로, 정책은 “22개 관절이 정확히 동시에 움직인다”는 전제 위에서 섬세한 협응을 배울 수 있다. 실기의 손은 그렇지 않다. 관절 셋을 몇 프레임씩 얼려 두는 훈련은 “일부 손가락이 늦어도 물체를 놓치지 않는” 여유 있는 전략을 강요한다. 도메인 랜덤화가 물리 파라미터의 불확실성을 다룬다면, 이것은 구동의 비동기성이라는 다른 축을 다룬다.

실험 (§4, 부록 A·B·D·E)

셋업과 베이스라인

과제 정의(Fig. 3). 재배치 3종(CylinderReorient, CuboidReorient, BunnyReorient: 집기 → 손 안 재배치 → 놓기)과 도구 사용 4종(HammerUse 7단계, BrushSweep 7단계, ScrewdriverUse 5단계, BulbReplace 6단계).

플랫폼은 Franka FR3 팔에 SharpaWave(5지, 22-DoF) 또는 LeapHand(4지, 16-DoF)다. 실험 물체에는 마찰을 높이려고 의료용 붕대 테이프를 감았다(부록 B.1). 지표는 두 개다. SR은 모든 단계를 마친 시도의 비율, TP는 도달한 최종 단계 k/N의 평균이다. 잡은 것을 회복 불가능하게 놓치거나 물체를 떨어뜨리면 시도가 끝난다.

베이스라인	성격	구현(부록 D)
DexRT	벡터 리타게팅(DexPilot·AnyTeleop)	공개 dex-retargeting, 손끝 배율 SharpaWave 1.0 / LeapHand 1.2
GeoRT	신경망 리타게팅	공식 구현, 학습 데이터는 저자들의 추론용 장갑으로 수집
DexGen	생성형 행동 사전	공식 구현 없음 → 재구현. AnyGrasp-to-AnyGrasp RL 정책은 세부가 부족해 TeleDexter의 공동 추적 컨트롤러로 대체해 시뮬레이션 롤아웃 생성, 이후 확산 사전 학습·배포는 원 설계
SimToolReal	물체 중심 도구 사용 정책(원격조작 아님, 추론 시 사람 참조 모션 필요)	공식 구현을 저자들 하드웨어로 재학습. †도구별 정책, ‡전 도구 통합 정책

원격조작 결과 (Tab. 1, 부록 A.3)

과제	DexRT	GeoRT	DexGen	SimToolReal†	SimToolReal‡	TeleDexter
CylinderReorient	6.7 / 37.8	0.0 / 24.4	0.0 / 31.1	—	—	80.0 / 86.7
CuboidReorient	26.7 / 51.1	0.0 / 33.3	0.0 / 28.9	—	—	80.0 / 86.7
BunnyReorient	0.0 / 35.6	0.0 / 31.1	0.0 / 26.7	—	—	66.7 / 77.8
HammerUse	0.0 / 26.7	0.0 / 30.5	0.0 / 26.7	0.0 / 27.6	20.0 / 36.2	66.7 / 86.7
BrushSweep	0.0 / 39.0	0.0 / 29.5	0.0 / 8.6	26.7 / 41.9	0.0 / 5.7	73.3 / 89.5
ScrewdriverUse	6.7 / 37.3	0.0 / 25.3	0.0 / 33.3	0.0 / 17.3	0.0 / 20.0	73.3 / 86.7
BulbReplace	0.0 / 35.6	0.0 / 25.6	0.0 / 20.0	—	—	86.7 / 95.6
평균	5.7 / 37.6	0.0 / 28.5	0.0 / 25.0	8.9 / 28.9	6.7 / 20.6	75.2 / 87.1

각 칸은 SR / TP(%). SimToolReal은 세 도구 과제 평균. 논문 Tab. 1 그대로(PDF와 HTML 대조 일치).

분수로 되돌리면 구조가 보인다(필자 계산). 15회 기준이라 SR은 1/15 = 6.7% 단위이고, TeleDexter 평균 75.2%는 105회 중 79회 성공, DexRT 5.7%는 6회다. TP는 단계 수로 나뉘므로 재배치 과제는 1/45, HammerUse·BrushSweep은 1/105, ScrewdriverUse는 1/75, BulbReplace는 1/90 단위이고, 표의 모든 TP 값이 이 격자에 정확히 떨어진다. 평균도 칸에서 다시 계산하면 일치한다.

TP와 SR의 간격이 해석의 열쇠다. TeleDexter는 SR 75.2 / TP 87.1로 간격이 좁아 실패가 뒤 단계에 몰리고, 베이스라인은 TP 25~38%로 첫 손 안 단계에서 무너진다. 이 차이는 부록 Fig. 6의 단계별 생존 곡선에서 직접 보인다.

도구 사용 4과제의 단계별 생존 시도 수(Fig. 6, 15회 중). 주황(Ours)이 TeleDexter. 베이스라인은 손 안 회전이나 기능적 파지 전환이 처음 필요한 단계에서 급락한다.

그림을 읽어 Tab. 1의 TP를 역산하면(단계별 생존 수의 합 ÷ 15N) 대부분 정확히 맞는다. 예를 들어 BulbReplace의 TeleDexter는 15, 15, 15, 15, 13, 13으로 합 86 → 86/90 = 95.6%다. 본문의 “screw-in과 unscrew를 한 번도 잃지 않고(4단계까지 15/15) 마지막 놓기에서만 실패(13/15)”도 그림과 일치한다. ScrewdriverUse는 13/15가 조이기 단계를 통과하고 11/15가 완주한다.

몇 군데는 본문 서술이 그림보다 강하다.

• 부록 A.3은 HammerUse에서 “4단계(claw-down 회전)에 이르면 어떤 원격조작 베이스라인도 시도가 남지 않는다”고 쓰지만, Fig. 6에서 DexRT는 4·5단계에 1회가 남아 있다. Tab. 1의 DexRT TP 26.7% = 28/105도 15+6+5+1+1로만 맞으므로 그림 쪽이 옳다.
• 같은 문단의 “모든 방법이 망치를 집는다”도 GeoRT·DexGen 14/15, SimToolReal‡ 10/15라 정확하지 않다.
• 초록의 “all baselines consistently fail”은 범위를 좁혀 읽어야 한다. DexRT는 CuboidReorient에서 26.7%, SimToolReal†는 BrushSweep에서 26.7%, SimToolReal‡는 HammerUse에서 20.0%로 완주한 시도가 있다. 본문 §4.2의 “near-uniformly fail”이 더 정확한 표현이다.

격차 자체는 이런 세부와 무관하게 크다. 과제별로 가장 강한 베이스라인과 비교해도 TeleDexter의 우위는 유의하다(필자 계산, 양측 Fisher). CuboidReorient 12/15 vs DexRT 4/15는 p\approx0.009, HammerUse 10/15 vs SimToolReal‡ 3/15는 p\approx0.025, BrushSweep 11/15 vs SimToolReal† 4/15는 p\approx0.027이다.

다른 손(Tab. 2). LeapHand에서 CylinderReorient 60.0 / 73.3, CuboidReorient 73.3 / 82.2다. 같은 사람 시연을 쓰고 리타게팅만 바꿨다는 점이 핵심이다. 다만 LeapHand 평가는 재배치 2과제뿐이고 베이스라인 비교가 없다. SharpaWave 대비 차이(Cylinder 9/15 vs 12/15, Cuboid 11/15 vs 12/15)는 15회 규모에서 유의하지 않다(p\approx0.43, 1.0, 필자 계산).

any-to-any 재배치 (부록 A.1, Tab. 6)

원격조작에서는 조작자의 목표가 언제든 임의의 손-물체 구성으로 튈 수 있다. 이 능력만 떼어 보려고 LeapHand에서 원기둥과 직육면체를 대상으로, 참조 데이터의 모든 프레임을 목표 풀로 삼아 도달할 때마다 새 목표를 무작위로 보낸다. 물체 위치 오차 2 cm 미만, 회전 오차 20° 미만을 동시에 만족하면 도달이고, 물체가 빠지거나 한 목표를 20초 안에 못 닿으면 시도가 끝난다(물체당 15회).

물체	연속 성공 수	목표당 성공률
Cylinder	41.1	97.6%
Cuboid	12.1	92.3%

두 지표는 사실상 같은 정보다(필자 계산). 시도마다 정확히 한 번 실패하고 끝난다고 보면 목표당 성공률은 \bar n/(\bar n+1)이 되는데, 41.1/42.1=97.6\%, 12.1/13.1=92.4\%로 표와 맞는다. 즉 독립적인 두 번째 증거라기보다 연속 성공 수의 변환이다. 또 도달 기준(2 cm, 20°)은 학습 때 subgoal 도달 허용치(1 cm, 10°)의 두 배이고 손끝 조건이 없다. 실기 측정 잡음을 고려한 완화로 이해할 수 있지만, “학습 분포를 넘어 잘 일반화한다”는 해석은 이 완화된 기준 위에서 나온 것이다. 저자들은 원기둥이 쉬운 이유를 연속 곡면과 회전 대칭으로 설명한다.

프로젝트 페이지 “Any grasp to any grasp: cuboid”(LeapHand, 1.9 MB, 원 URL 참조). 페이지 설명에 따르면 정면·측면 뷰와 실시간 물체 포즈(현재 vs 목표)를 나란히 보여 준다.

프로젝트 페이지에는 SharpaWave로 펜 돌리기를 연속 수행하는 영상도 있다(“Continuous pen spinning on the SharpaWave”). 그러나 펜 돌리기는 논문 본문과 부록 어디에도 과제나 평가로 등장하지 않는다. 성공률이 없는 시연으로만 봐야 한다.

원격조작에서 자율로 (§4.3, Tab. 3, 부록 B.2·E)

자율 정책 셋업(Fig. 4). 3인칭 RealSense D455와 손목 RealSense D405 RGB, SharpaWave 손. 아래는 자율 롤아웃과 손목 카메라 시점.

수집한 데모로 Conv-UNet Diffusion Policy(Chi et al.)를 학습한다. 입력은 3인칭·손목 RGB 두 장이고 카메라마다 따로 둔 동결 DINOv2 ViT-S/14로 인코딩하며, 관측 2프레임으로 행동 16개를 예측한다(DDPM 100스텝 학습, DDIM 16스텝 추론, 배치 16, 300 에폭). 과제는 원격조작 과제에서 되돌려 놓기 단계를 뺀 축약판이고, 과제당 데모 50개, 평가 15회다.

과제	1단계	2단계	3단계	4단계	SR
BulbInstall (집기 → 재배치 → 정렬 → 끼우기)	13/15	12/13	8/12	7/8	46.7%
HammerDriver (집기 → 회전 → 못 박기)	15/15	15/15	11/15	—	73.3%
BrushForward (집기 → 회전 → 앞으로 쓸기)	7/15	7/7	6/7	—	40.0%

병목은 과제마다 다르다. HammerDriver는 집기와 회전이 완벽하고 못 박기(폼 타깃에 반복 힘 가하기)에서만 실패한다. BulbInstall은 정밀 정렬(8/12)이 병목이고, 정렬되면 7/8이 끼운다. BrushForward는 반대로 집기(7/15)가 병목인데, 저자들은 얇고 불규칙한 손잡이를 RGB만으로 정확히 잡기 어렵다고 설명한다. 흥미로운 점은 이 실패 위치가 원격조작 때 TeleDexter가 아니라 운동학적 리타게팅이 담당하던 접근·파지 국면이라는 것이다. 자율 정책은 그 부분까지 데모에서 배워야 한다.

프로젝트 페이지 “Autonomous hammer drive” 영상(5.9 MB, 원 URL 참조). 학습된 Diffusion Policy의 자율 롤아웃이다.

저자들의 결론은 “기존 원격조작 시스템으로는 이 세 과제를 안정적으로 완주하지 못하므로 비교 가능한 데모를 모으는 것 자체가 불가능하다”는 것이다. 논리적으로는 맞지만, 그래서 이 절에는 비교 대상이 없다. 데모 50개를 모으는 데 걸린 시간, 수집 중 실패율, 자율 정책의 행동 공간(손 관절 목표를 직접 내는지, 공동 추적 목표를 내고 TeleDexter가 실행하는지), 고유수용 감각 입력 여부가 적혀 있지 않다. 행동 공간은 이 결과를 해석하는 데 결정적인데 확인할 수 없다.

절제 1: 연속 subgoal vs 밀집 추적 (§4.4, Tab. 4)

시뮬레이션에서 세 물체의 held-out 참조 모션으로 비교한다. 밀집 평가는 참조가 매 스텝 진행하고(밀집 추적에 유리), 희소 평가는 현재 subgoal에 도달해야 진행한다.

물체	밀집 평가: 에피소드 길이 (Ours / Dense)	희소 평가: 연속 subgoal 수 (Ours / Dense)
Cuboid	378.6 / 115.8	32.6 / 2.6
Hammer	376.9 / 131.2	186.6 / 2.7
Screwdriver	373.2 / 88.7	178.5 / 2.7

밀집 추적에 유리한 평가에서도 subgoal 정책이 3~4배 오래 버틴다. 희소 평가에서 밀집 추적 정책은 subgoal 3개도 못 넘긴다. 이 결과는 논문의 첫째 주장을 강하게 지지한다. 다만 두 가지를 덧붙인다. 본문은 희소 평가의 격차를 “orders of magnitude”라고 쓰는데, Hammer(약 69배)와 Screwdriver(약 66배)는 그렇다고 해도 Cuboid는 약 12.5배로 한 자릿수 차이다(필자 계산). 그리고 세 물체의 subgoal 정책 에피소드 길이가 373~379로 몰려 있어 에피소드 길이 상한에 걸린 값일 가능성이 있는데, 상한이 적혀 있지 않아 확인할 수 없다. 시드 수와 분산도 없다.

절제 2: random action masking (§4.4, Tab. 5)

과제	w/ AM (SR / TP)	w/o AM (SR / TP)	SR 성공 수	Fisher p (필자 계산)
HammerUse	66.7 / 86.7	33.3 / 57.1	10 vs 5	≈ 0.14
ScrewdriverUse	73.3 / 86.7	0.0 / 36.0	11 vs 0	≈ 5×10⁻⁵
CuboidReorient	80.0 / 86.7	26.7 / 51.1	12 vs 4	≈ 0.009

세 과제를 합치면 33/45 vs 9/45로 매우 유의하다(p\approx7\times10^{-7}). 과제별로는 ScrewdriverUse와 CuboidReorient가 유의하고 HammerUse는 15회 규모로는 구별되지 않는다. 연속 축 회전을 오래 유지해야 하는 드라이버 과제에서 효과가 가장 크다는 점은 “일부 관절의 지연을 견디게 한다”는 메커니즘 설명과 잘 맞는다. 덧붙여 Fig. 2의 “w/ action mask 86% in real world vs 57%”는 SR이 아니라 HammerUse의 TP(86.7 vs 57.1)다. 그림만 보면 성공률로 오해하기 쉽다.

한 가지 우연을 기록해 둔다. w/o AM의 CuboidReorient 값 26.7 / 51.1은 Tab. 1에서 DexRT의 CuboidReorient 값과 소수점까지 같다(SR 4/15, TP 23/45). 15회 실험에서 우연히 겹칠 수 있는 값이지만, 서로 다른 두 실험의 SR과 TP가 동시에 일치하는 것이라 표 기입 과정을 한 번 확인할 만하다.

절제 3: 학습 레시피 (부록 A.2, Fig. 5)

Hammer 학습 레시피 절제(Fig. 5). (a) 보상, (b) 연속 subgoal 성공 수. 주황 Ours, 파랑 w/o curriculum, 보라 PPO(SAPG 대신). 가로축은 환경 스텝(×10⁹), 0~18.

PPO로 바꾸면 보상과 연속 성공이 일찍 포화한다(그림에서 읽으면 연속 성공 약 13). 저자들은 SAPG의 여러 블록이 서로 다른 전략을 탐색해 병합하기 때문에 이동·연속 회전·finger gaiting·재파지 같은 질적으로 다른 접촉 모드를 한 네트워크에 담을 수 있다고 설명한다. 커리큘럼을 끄면 최종 성능이 낮다(그림에서 18×10⁹ 스텝에 연속 성공 약 24 vs 약 55).

그림과 본문이 어긋나는 곳이 두 군데 있다.

• 본문은 커리큘럼을 끄면 “초기 진행은 더 빠르지만 낮은 성능에서 정체한다”고 쓴다. 그러나 Fig. 5의 두 패널 모두에서 w/o curriculum 곡선은 시작 직후부터 Ours 아래에 있다. “더 빠른 초기 진행”은 그림에서 보이지 않는다.
• 본문 §3.1은 “약 10^{10} 환경 스텝 안에 수렴한다”, 부록 C.9는 “약 10^{10} 스텝, 약 1일”이라고 쓰는데, Fig. 5의 Ours 곡선은 1.8\times10^{10} 스텝까지 그려져 있고 끝에서도 가파르게 오르는 중이다(연속 성공이 1.2\times10^{10}에서 약 28, 1.8\times10^{10}에서 약 55). 이 그림이 배포된 Hammer 컨트롤러의 학습 곡선과 같은 조건인지, 배포 컨트롤러는 몇 스텝에서 멈췄는지 논문만으로는 알 수 없다.

실패 분석 (부록 A.4)

실기 실패 사례(Fig. 7). (a) 상호작용 교란: 못을 칠 때 망치가 손 안에서 크게 밀린다. (b) 접촉 전환 걸림: 버니를 돌리던 중 손가락이 끼어 물체가 튕겨 나간다. (c) 추적 정체: 직육면체를 재파지하려 하지만 목표 쪽으로 진척이 없다(오른쪽은 조작자, 삽입 그림은 로봇).

저자들이 꼽은 세 실패 모드는 각각 시스템의 다른 한계를 가리킨다.

1. 상호작용 교란. 못을 치는 것 같은 도구-환경 충격은 손 안의 물체 포즈를 순간적으로 크게 바꾸는데, 컨트롤러는 자유 공간의 손-물체 상호작용만으로 학습해 이런 충격을 본 적이 없다. 학습 분포의 공백이다.
2. 접촉 전환 걸림. finger gaiting 중 떼어야 할 손가락이 액추에이터 컴플라이언스나 기하적 맞물림 때문에 물체에 걸린 채 남고, 나머지 손가락이 계속 움직이며 물체를 밀어낸다. 오목한 부분이 있는 버니에서 가장 잦다. 강체 시뮬레이션과 수동 컴플라이언스가 있는 실기 손가락의 차이다.
3. 추적 정체. 재파지를 시도하지만 물체를 목표로 옮길 접촉을 만들지 못한다. 물체는 떨어지지 않고 진척만 없다. 저자들은 촉각 관측의 부재를 원인으로 든다. 손가락이 물체를 누르는지 미끄러지는지 구별할 수 없어 재파지 실패에 적응하지 못한다는 것이다.

이 정리는 정직하고 유용하다. 특히 세 번째는 관측에서 접촉력을 “의도적으로 뺐다”는 설계 선택(부록 C.1)의 대가를 저자들이 스스로 짚은 것이다.

비판적으로 보면

강점

• 문제 분해가 정확하다. 원격조작을 “조작자는 목표, 컨트롤러는 접촉”으로 나눈 것은 단순하지만 결정적이다. 리타게팅 계열은 조작자에게 접촉 해결을 떠넘기고, 물체 중심 정책은 조작자의 손 의도를 버린다. 손끝과 물체를 함께 목표로 주는 공동 추적은 두 정보를 모두 살린다.
• 핵심 설계마다 절제가 있다. 연속 subgoal(Tab. 4, 시뮬레이션), action masking(Tab. 5, 실기), 커리큘럼과 SAPG(Fig. 5)를 각각 떼어 봤다. 특히 action masking을 실기에서 절제한 것은 비싼 실험이고, 효과의 크기(Screwdriver 11/15 → 0/15)가 메커니즘 설명과 맞는다.
• 보상 상수가 서술과 정합한다. 희소 도달 보상 한 번이 밀집 항 수백 스텝 분량이라는 계산(위 보상 절)은 “도달이 주신호”라는 주장이 수사가 아니라 실제 상수로 구현됐음을 보여 준다. 부록이 보상·커리큘럼·리셋·DR·하이퍼파라미터를 표로 거의 전부 공개했다.
• 어려운 과제를 다단계로 쟀다. 망치 앞뒤 뒤집기, 드라이버 축 회전, 전구 양방향 회전은 운동학 리타게팅으로는 사실상 불가능한 동작이고, 단계별 생존 곡선(Fig. 6)이 “어디서 무너지는가”를 보여 줘 SR 하나보다 훨씬 많은 정보를 준다. 표의 TP 값이 단계 수 격자에 정확히 떨어지고 그림에서 역산한 값과도 대부분 맞는다.
• 실패를 감추지 않는다. 부록 A.4가 세 실패 모드를 사진과 함께 분류하고, 각각을 학습 분포·구동 컴플라이언스·촉각 부재라는 서로 다른 한계로 귀속시켰다.

약점·한계

1. “Human-level”은 측정되지 않았다. 사람 손과의 비교, 과제 완료 시간, 조작자 작업 부하, 숙련 곡선이 없다. 논문이 재는 것은 “로봇 원격조작으로 이 과제를 몇 번 완주하는가”뿐이다. 제목과 초록의 “towards human-level”은 방향을 말하는 것으로 읽어야 하고, 같은 과제를 사람이 맨손으로 할 때의 시간과 비교만 있었어도 거리감을 정량화할 수 있었다.
2. 조작자 정보가 없다. 조작자가 몇 명인지, 누구인지(저자인지), 각 인터페이스에 얼마나 연습했는지, 방법별 시도 순서를 어떻게 정했는지가 전혀 적혀 있지 않다(PDF 전문에서 operator 관련 서술을 확인했다). 원격조작 평가에서 조작자 숙련은 결과를 좌우하는 변수다. 같은 사람이 TeleDexter를 오래 써 왔다면 베이스라인 비교가 기울어진다.
3. 입력 정보가 비대칭이다. TeleDexter는 물체의 6D 포즈(현재와 목표)를 모캡으로 받는다. DexRT와 GeoRT는 손 자세만 쓴다. 물체 포즈라는 강한 신호를 쓰는 방법과 쓰지 않는 방법을 비교한 셈이라, 격차의 일부는 “학습된 접촉 해결”이 아니라 “물체 상태를 아는 것”에서 온다. 리타게팅 베이스라인에 물체 포즈를 주는 변형(예: 물체 포즈 조건 리타게팅)은 없다.
4. DexGen은 공정한 재현이 아니다. 공식 구현이 없어 재구현했고, 원 논문의 핵심 중간 단계(AnyGrasp-to-AnyGrasp 정책)를 TeleDexter 자신의 컨트롤러로 대체해 롤아웃을 만들었다(부록 D). 이렇게 만든 DexGen이 전 과제 SR 0%인 것은 “생성형 사전의 오차 누적” 때문일 수도, 재구현의 문제일 수도 있다. 본문은 원인을 전자로 단정한다. 더구나 생성 데이터의 원천이 TeleDexter 컨트롤러라면, DexGen이 TeleDexter보다 못한 것은 증류 손실만으로도 설명된다.
5. 물체마다 컨트롤러와 50분짜리 모캡이 필요하다. 7개 과제에는 컨트롤러 7개가 있고, 각각 물체당 150개 시연과 4×RTX 5090 약 1일이 든다. 본문 §3.1의 “framework scales directly to new objects”는 “레시피가 그대로 적용된다”는 뜻이지 “새 물체에 바로 쓸 수 있다”는 뜻이 아니다. 저자들도 §6에서 물체 조건부 통합 컨트롤러를 향후 과제로 둔다. 데이터 엔진이라는 프로젝트 페이지의 포지셔닝을 고려하면 이 비용이 가장 큰 실용적 제약이다.
6. 실기 의존성: 모캡, 마커, 붕대 테이프. 배포에 조작자 장갑 마커, 조작자가 드는 물체의 마커(그림으로 보아), 로봇 쪽 물체의 마커가 모두 필요하다. 실험 물체에는 마찰을 높이려 의료용 붕대 테이프를 감았다(부록 B.1). 학습 때 마찰은 [0.5, 4.0]으로 랜덤화했으니 테이프는 그 범위 안으로 실물을 맞추는 조치로 볼 수 있지만, 테이프 없는 물체에서의 성능은 보고되지 않았다. 자율 정책은 RGB만 쓰므로 모캡 없이 돌지만, 그 데이터를 만드는 원격조작 단계는 모캡 없이는 불가능하다.
7. 통계 정보가 얇다. 실기는 과제·방법당 15회, 시뮬레이션 절제는 시드·분산이 없다. 위에서 계산했듯 대부분의 비교는 15회로도 유의하지만, HammerUse의 masking 효과(p\approx0.14)나 LeapHand-SharpaWave 차이는 구별되지 않는다. Tab. 4의 에피소드 길이가 상한에 걸렸는지도 알 수 없다.
8. 논문 내부 불일치가 여럿이다. 해석을 뒤집지는 않지만 재현하려는 독자에게는 걸린다.

위치	서술 A	서술 B
커리큘럼 대상	§3.1·부록 A.2: 도달 허용치 \epsilon를 느슨하게 시작해 조임	부록 C.3: 손잡이 4개(간격·마스크·밀집 물체 보상·중력)에 허용치 없음, Tab. 8은 고정값. Fig. 2는 “Failure Tolerance”
참조 모션 주파수	부록 C.6: 30 Hz 녹화, 20 s = 600 프레임	부록 C.3: “40 frames (~0.67 s at the 60 Hz reference rate)”
수렴	§3.1·C.9: 약 10¹⁰ 스텝에 수렴	Fig. 5: 1.8×10¹⁰ 스텝에서도 상승 중
커리큘럼 초기 효과	부록 A.2: 커리큘럼 없으면 초기 진행이 더 빠름	Fig. 5: 처음부터 Ours보다 낮음
HammerUse 4단계	부록 A.3: 원격조작 베이스라인 생존 0	Fig. 6·Tab. 1 TP 역산: DexRT 1/15 생존
희소 평가 격차	§4.4: “orders of magnitude”	Tab. 4 Cuboid: 32.6 vs 2.6(약 12.5배)
단위	부록 C.5: \tau_\mathrm{surf}=2	단위 미기재

9. 실행 세부가 비어 있다. 시뮬레이션 제어 주기, 에피소드 길이 상한, 정책 추론 지연, 리타게팅에서 공동 추적으로 넘어가는 전환 입력 방식, 자율 정책의 행동 공간과 고유수용 입력, 데모 50개의 수집 시간이 없다. 코드도 공개되지 않아 이 빈칸을 메울 방법이 없다.

관련 연구와의 자리 매김

TeleDexter는 세 흐름이 만나는 자리에 있다.

원격조작 인터페이스 쪽에서 보면, DexPilot·AnyTeleop·GeoRT·DEXOP는 사람 손의 운동학(또는 외골격을 통한 힘 감각)을 로봇에 최대한 충실히 옮기는 방향이다. TeleDexter는 이 충실도를 포기하고 “조작자는 목표를, 로봇은 접촉을”이라는 분업을 택한다. DexterityGen(arXiv:2502.04307)이 같은 분업을 생성형 행동 사전으로 시도했다면, TeleDexter는 목표 조건 RL 정책으로 직접 푼다. 블로그의 NestDex 리뷰는 또 다른 분업을 다룬다. NestDex는 손가락 동작을 미리 학습한 스킬에 맡기고 조작자에게는 진행도 다이얼 하나만 남기는 반면, TeleDexter는 조작자가 손끝과 물체 목표를 연속적으로 지정한다. 조작자에게 남기는 자유도의 양이 정반대라, 둘을 나란히 보면 “학습된 하위 계층에 무엇을 맡기는가”라는 설계 축이 선명해진다.

사람 참조 모션 기반 RL 쪽에서 보면, 같은 그룹의 ManipTrans(Li et al., 2025)가 보상 커널의 감쇠율, 커리큘럼, RSI 리셋의 직접 출처다. ManipTrans와 DexTrack이 시연 궤적을 충실히 재현하는 추적에 초점을 뒀다면, TeleDexter는 추적의 정식화를 프레임에서 subgoal로 느슨하게 바꿔 손 안 기술을 얻는다. 그 대가로 “시연과 같은 동작”은 보장하지 않는다. 원격조작에서는 오히려 그것이 원하는 성질이다.

손 안 조작 sim-to-real 쪽에서 보면, HORA(Qi et al., 2023)의 잔차 행동, Visual Dexterity(Chen et al., 2023)의 도메인 랜덤화를 그대로 가져왔다. 블로그의 From Simple to Complex Skills와 DexNDM도 손 안 재배치·회전을 RL로 학습해 실기로 옮기는 연구다. TeleDexter가 다른 점은 그 목표를 사람이 실시간으로 내는 원격조작 컨트롤러로 쓴다는 것이다. DexNDM이 관절별 신경 동역학 모델로 실기 격차를 메웠다면, TeleDexter의 random action masking은 관절별 지연을 모델링하는 대신 견디게 만드는 다른 접근이다. 두 접근의 정면 비교는 아직 없다.

SimToolReal(Kedia et al., 2026)과의 관계도 짚을 만하다. SimToolReal은 물체 중심 목표만으로 도구를 다루고, TeleDexter는 거기에 손끝 목표를 더한다. Tab. 1에서 SimToolReal이 단일 도구 과제에서는 일부 성공하지만 다단계 과제의 중간 전환에서 무너지는 모습(Fig. 6)은, 손끝 목표가 기능적 파지 전환을 지정하는 데 실제로 쓸모 있다는 간접 증거로 읽을 수 있다. 다만 SimToolReal은 원격조작용으로 설계된 방법이 아니고 저자들 하드웨어에 재학습된 것이라, 이 비교의 무게는 저자들의 말대로 “참고 기준” 정도다.

요약

TeleDexter는 다지 손 원격조작에서 조작자가 손끝과 물체의 목표를 내고, 그 목표를 실제 접촉으로 실현하는 일은 시뮬레이션에서 학습한 공동 추적 컨트롤러가 맡게 한다. 학습의 핵심은 사람 시연을 프레임마다 따라 하게 하는 대신 연속 subgoal로 쪼개 “도착”을 보상한 것이고, 실기 이전의 핵심은 관절 일부를 무작위로 얼리는 action masking이다. 두 장치 모두 절제로 효과가 확인됐고, SharpaWave 손으로 망치 뒤집기·드라이버 조이기·전구 끼우고 빼기 같은 다단계 손 안 과제를 평균 75.2% 완주했다. 이는 운동학 리타게팅과 기존 학습 기반 방법이 첫 손 안 단계에서 무너지는 것과 대비된다. 모은 데모로 학습한 RGB 자율 정책도 40~73% 성공했다.

한계도 분명하다. 컨트롤러는 물체마다 따로 학습하며(물체당 모캡 약 50분, GPU 4장 약 1일), 배포에는 모캡과 마커가 필요하다. 조작자 정보, 완료 시간, 사람 기준선이 없어 “human-level”은 측정된 양이 아니다. DexGen 베이스라인은 TeleDexter 자신의 컨트롤러로 일부를 대체한 재구현이다. 커리큘럼 대상, 참조 모션 주파수, 수렴 시점 같은 세부는 본문과 부록·그림이 서로 다르게 적혀 있다. 코드가 공개되지 않아 이 빈칸은 당분간 저자들만 메울 수 있다.

그럼에도 이 논문이 보인 것은 의미가 크다. “원격조작 = 자세 복사”라는 기본 가정을 바꾸면, 지금까지 원격조작으로 거의 모을 수 없던 손 안 조작 데이터를 모을 수 있다. 다음 단계는 저자들이 말한 대로 물체 조건부 통합 컨트롤러와 마커 없는 추적이고, 실패 분석이 가리키는 대로 충격을 포함한 학습과 촉각 관측일 것이다.

전체 데모 영상(41 MB)과 티저 영상(25 MB)은 용량이 커서 본문에 넣지 않았다. 프로젝트 페이지의 “Full Video Demo”에서 볼 수 있다.