📃DexTaG 리뷰

DexTaG: Tactile-as-Guidance in Reinforcement Learning for Dexterous Manipulation

• Paper Link (arXiv:2609.33882)

• Code Link (GitHub, MIT)

• Project

• Han Yang, Yian Wang, Yunlong Song, Zhenjia Xu, Chuang Gan

• UMass Amherst · Genesis AI, arXiv preprint (cs.RO), 2026

1. 💡 촉각 장갑으로 모은 사람 시연을 로봇 손으로 옮길 때, 기존 방법은 손-물체 포즈 참조의 기하(거리)로 접촉을 추정해서 잡음 섞인 포즈에 그대로 끌려가는데, DexTaG는 장갑이 실제로 측정한 24×32 촉각 지도를 RL 보상으로 써서 “어느 손가락이, 손의 어느 부위가 닿아야 하는지”를 직접 지도한다.
2. ⚙️ 촉각으로 열리는 손끝 근접 보상(Eq. 1)과 정규화·감마·가우시안 평활을 거친 촉각 지도 유사도 보상(Eq. 2·3)을 추종 보상에 더해, 같은 물체의 모든 학습 시연을 PPO 정책 하나(미래 참조 16프레임 TCN 인코딩)로 학습하고, 이를 물체 궤적만 받는 촉각 없는 학생 정책으로 DAgger 증류해 xArm7 + WUJI 손(20-DoF)에 올린다.
3. 🎯 마커펜 Trajectory Completion이 촉각 보상 없이 24.7%에서 87.5%로, 망치는 27.6%에서 76.8%로 올랐다(Table I). OakInk2에서는 정책당 참조 수를 1개에서 전체로 늘려도 평균 67.5→67.2%로 유지돼, ManipTrans 두 변형(−26.9%, −48.7%)과 대비된다(Table V). 실기에서는 망치 15/30, 마커펜 10/30이 끝까지 수행됐다(best-of-3, Table VI).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

모캡 장갑을 낀 사람이 맨손에 가까운 손재주로 물체를 직접 다루게 하면, 텔레오퍼레이션으로는 어려운 시연(바닥에 누운 공구를 집어 손 안에서 돌려 쥐기)도 쉽게 모을 수 있다. 문제는 그 시연을 로봇 손이 그대로 재생할 수 없다는 것이다. 그래서 시뮬레이터 안에서 RL이나 궤적 최적화로 손-물체 궤적을 따라가게 만드는 물리 기반 리타게팅이 쓰인다. 그런데 이때의 참조는 카메라로 추정한 물체 포즈라서 오차가 있다. 저자들의 데이터에서는 망치 손잡이처럼 얇은 물체를 집는 순간에도 참조 손끝이 물체에서 떨어져 있었다. 이런 참조로 “손끝이 물체에서 2 cm 안이면 접촉”이라는 식의 거리 휴리스틱을 쓰면 접촉 지도 자체가 틀린다.

DexTaG의 답은 장갑이 이미 갖고 있는 촉각 센서 배열이다. 장갑의 압력 지도는 포즈 추정과 독립적으로 “실제로 어디가 닿았는가”를 측정한다. 이 신호를 RL 보상으로 넣어 정책이 접촉을 얻는 방향으로 탐색하게 하고, 시뮬레이션 촉각 지도가 사람의 촉각 지도와 비슷해지도록 유도한다. 여기에 두 가지가 더해진다. 시연 하나마다 정책을 따로 학습하지 않고 같은 물체의 시연 전체를 정책 하나로 학습하며, 그 정책을 촉각 없이 물체 궤적만 따라가는 학생으로 증류해 실기에 올린다.

개요(Fig. 1). 왼쪽: EMF 촉각 장갑을 끼고 물체를 직접 조작해 시연을 모은다. 가운데: 여러 시연을 병렬 환경에서 한 정책으로 학습한다. 오른쪽: xArm7 + WUJI 손이 마커펜(위)과 망치(아래)를 집어 손 안에서 고쳐 쥐는 실기 장면. 프로젝트 페이지 상단 teaser 영상(3.0 MB, 원 URL 참조).

핵심 방법론:

장갑 촉각 지도 \mathbf{t}^{\text{ref}}_t\in\mathbb{R}^{P}(P=24\times32=768)를 두 보상으로 바꾼다. 첫째, 손가락 i에 배정된 픽셀 중 하나라도 켜져 있으면 그 손끝을 물체 쪽으로 당긴다(d_i는 손끝-물체 부호 거리).

g_i=\mathbf{1}\!\left[\max_{p\in\mathcal{P}_i}\mathbf{t}^{\text{ref}}_{t,p}>0\right],\qquad r^{\text{prox}}_t=\sum_{i=1}^{5} g_i\,\exp\!\bigl(-k_{\text{prox}}\max(d_i,0)\bigr)

둘째, 시뮬레이션 촉각 지도 \mathbf{t}^{\text{sim}}_t와 장갑 지도를 각자의 최댓값으로 정규화하고 제곱근을 씌운 뒤(\mathcal{N}), 3×3 가우시안(\sigma=1)으로 번지게 해서 L1 거리로 비교한다.

r^{\text{tac}}_t=\exp\!\Bigl(-k_{\text{tac}}\;\mathcal{L}_1\bigl(G_\sigma\star\mathcal{N}(\mathbf{t}^{\text{sim}}_t),\;G_\sigma\star\mathcal{N}(\mathbf{t}^{\text{ref}}_t)\bigr)\Bigr),\qquad k_{\text{prox}}=50,\ k_{\text{tac}}=4

이 두 항이 손목·손끝·관절·물체 추종 보상과 함께 PPO 정책 \pi_{\text{rtgt}}를 학습시키고, \pi_{\text{rtgt}}는 DAgger로 촉각 없는 학생 \pi_{\text{ctrl}}(손목 카메라 점군 + 고유감각 + 미래 물체 포즈)에 증류된다.

주요 결과:

• 촉각 보상 절제(Table I, 5 seed): Trajectory Completion이 마커펜 24.7% (촉각 보상 없음) → 64.5% (근접만) → 87.5% (둘 다), 망치 27.6% → 62.2% → 76.8±27.7%. 같은 근접 보상에 거리 기반 게이트를 쓴 Geom-gated는 48.6% / 29.9%.
• 자연스러움 사용자 연구(Table II): 11명 × 15궤적 = 165표 중 DexTaG 92표(55.8%), 촉각 보상 없음 40표, Geom-gated 33표.
• 일반화(Table III·IV): 학습:평가 비율 1:9 → 9:1에서 retargeter의 held-out 완료율이 마커펜 43.8 → 75.4%, 망치 36.1 → 78.8%로 오르고, 증류 학생도 평균 27.3 → 65.4%로 오른다.
• OakInk2 스케일링(Table V, 촉각 없이): 정책당 참조 수 n=1 → 전체에서 DexTaG 평균 67.5 → 67.2%(−0.4%), ManipTrans(Inspire) 55.7 → 40.7%, ManipTrans(WUJI) 58.5 → 30.0%.
• 실기(Table VI, 학습 참조 30개, best-of-3): 집기 / 기능 파지 / 내려놓기가 망치 22·17·15/30, 마커펜 21·13·10/30. 시도 단위로는 끝까지 간 비율이 15/83(18.1%), 10/86(11.6%).

결론:

새로운 것은 촉각 센서를 로봇에 다는 것이 아니라, 시연자가 느낀 접촉을 학습 신호로만 쓰고 배포 때는 버리는 설계다. 사람의 촉각은 보상과 critic의 특권 정보로만 들어가고, 실기 로봇(WUJI 손에는 촉각 센서가 없다)은 시각과 고유감각만으로 움직인다. 절제 실험은 측정된 접촉이 기하로 추정한 접촉보다 낫다는 것을 비교적 깨끗하게 보여 준다. 다만 실험은 공구 두 개, 한 손, 한 종류의 장갑에 한정되고, OakInk2 비교에는 촉각이 아예 들어가지 않으며 학습 예산도 맞춰지지 않았다. 실기 결과는 학습에 쓴 참조를 다시 재생한 것이고, 한 번의 시도로 끝까지 가는 비율은 10%대다. 공개 코드는 시뮬레이션 학습까지이고, 촉각 유사도 보상에는 논문 식에 없는 마스크·가중치·게이트가 붙어 있다(코드 대조 절).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

사람 시연을 로봇으로 옮기는 물리 기반 리타게팅은 지금까지 “참조와 얼마나 비슷하게 움직였나”를 보상으로 삼았고, 접촉은 그 참조의 기하에서 추론했다. DexTaG의 관찰은 단순하다. 촉각 장갑으로 시연을 모았다면 접촉은 추론할 필요가 없다. 이미 측정돼 있다. 손-물체 포즈 참조가 몇 cm 틀려도 장갑의 압력 지도는 “엄지와 검지 끝, 그리고 손바닥 아래쪽이 닿았다”를 정확히 말해 준다. 이 신호를 RL의 탐색 방향을 잡는 보상으로 쓰면, 포즈 추종만으로는 빠져나오지 못하던 “손끝이 물체 근처에서 맴돌다 끝나는” 국소해를 벗어난다. 그리고 그 신호는 학습에만 필요하므로, 배포되는 학생 정책은 촉각 센서가 없는 손에서도 돈다.

배경: 장갑 시연이 로봇에서 바로 돌지 않는 이유 (§I·§II)

손재주 조작 데이터를 모으는 길은 대략 세 가지다. 텔레오퍼레이션(AnyTeleop 등)은 사람-로봇 운동학 차이와 힘 피드백 부재 때문에 바닥에 누운 공구를 집어 손 안에서 고쳐 쥐는 동작이 어렵다. DexUMI·DexOp·DexExo 같은 외골격은 힘 피드백을 일부 되살리지만 작업 공간과 손가락 자유도를 제약하고 로봇마다 맞춘 하드웨어가 필요하다. 장갑 모캡은 시연자가 맨손에 가까운 손재주로 물체를 직접 다루게 해 주므로 더 확장적이다. 대신 기록된 사람 손 움직임을 로봇이 그대로 재생할 수 없다.

이 간극을 메우는 기존 방법은 시뮬레이션 안에서 참조 손-물체 궤적을 따라가는 정책을 RL로 학습하거나(ManipTrans, DexMachina) 궤적 최적화로 푸는 것(SPIDER)이다. 저자들은 여기에 두 가지 결함이 있다고 본다.

1. 참조의 기하가 틀리면 접촉 지도도 틀린다. 물체 포즈는 카메라 기반 추정이라 오차가 있다. 저자들의 시연에서는 집는 동안에도 참조 손끝이 물체에서 떨어져 있는 경우가 있었고, 망치 손잡이처럼 얇은 물체에서 특히 그랬다. 손과 물체 포즈를 동시에 추종하라는 요구가 “접촉하려면 참조에서 조금 벗어나야 하는” 조정을 막는다. ManipTrans나 SPIDER의 거리 기반 접촉 휴리스틱은 같은 틀린 기하를 물려받는다.
2. 시연마다 정책(또는 최적화)을 따로 푼다. 데이터가 늘수록 비용이 선형으로 는다.

DexTaG는 1을 장갑 촉각으로, 2를 같은 물체의 시연 전체를 학습하는 정책 하나로 푼다. 2는 DexTrack·HOT·FlashDexRetarget도 가는 방향이라, 이 논문 고유의 기여는 1에 있다.

방법 상세 (§III)

전체 구조(Fig. 2). Stage 1: 촉각 장갑과 오버헤드 카메라로 손-물체 궤적과 촉각 지도를 모은다. Stage 2: 시뮬레이션 촉각 지도와 목표 촉각 지도, 미래 참조, 고유감각·환경 상태를 받는 retargeter 정책을 RL로 학습한다. Stage 3: 점군·미래 물체 참조·고유감각만 받는 control 정책으로 모방 손실을 통해 증류한다.

시연 수집과 전처리 (§III-A, Fig. 3~5)

구성	내용
장갑	WUJI 촉각 장갑 한 쌍. 손가락·손바닥을 덮는 압력 센서 배열이 24×32 촉각 지도를 낸다
손가락 추적	EMF 모듈 5개가 손목 기준 손끝 포즈를 기록
손목 전역 추적	장갑 등에 단 Meta Quest 컨트롤러
물체 포즈	보정된 오버헤드 RealSense RGB-D + FoundationPose + 재구성 메시
데이터 규모	마커펜 100개, 망치 140개 시연
시연 내용	접근·집기 → 손 안에서 기능 파지로 고쳐 쥐기 → 기능 동작 → 내려놓기

수집 하드웨어(Fig. 3). 촉각 장갑 한 쌍과 프레임 위의 오버헤드 카메라.

조작 중 장갑의 원시 24×32 촉각 지도(Fig. 4). 손가락과 손바닥 모양이 픽셀 배치에 그대로 드러난다.

전처리에서 눈여겨볼 단계는 촉각 배경 보정이다. 장갑은 물체에 닿지 않아도 센서 오프셋과 손가락을 굽힐 때의 자기 접촉 때문에 0이 아닌 값을 낸다. 시연자는 물체 없이 반쯤 쥔 주먹 같은 대표 손 자세를 몇 개 취하고, 그 지도들의 픽셀별 최댓값을 하나의 고정 배경 지도로 삼는다. 모든 프레임에서 이 배경을 빼야 비로소 “물체와의 접촉”만 남는다. 로봇 손 관절 목표는 손끝 포즈를 운동학적으로 리타게팅해 얻고, 손목 포즈는 컨트롤러-손목 고정 변환으로 복원한다. 결과물은 로봇 손 관절각·손목 포즈·물체 포즈·배경 보정된 촉각 지도가 시간 동기화된 궤적이다.

수집된 궤적 예시(Fig. 5). 위: 마커펜, 아래: 망치. 각 시점의 손-물체 참조 아래(위)에 그 순간의 촉각 지도가 붙어 있다. 망치는 쥔 뒤 손바닥 쪽 픽셀이 넓게 켜진다.

프로젝트 페이지 수집 영상. 왼쪽: 오버헤드 카메라로 본 장갑 시연(망치를 집어 세워 들고 주황색 물체 쪽으로 가져갔다가 내려놓는다, 0.9 MB). 오른쪽: 처리된 손-물체 궤적(0.3 MB).

시뮬레이션 촉각과 장갑 촉각의 대응 (§III-B)

보상을 만들려면 시뮬레이션 로봇 손에서도 같은 24×32 격자의 지도가 나와야 한다. 저자들은 Genesis 안에 SDF 기반 전신 촉각 센서를 구현했다. 로봇 손바닥 쪽 표면에 약 700개 샘플 점을 두고, 각 점의 법선력은 물체 침투 깊이에 강성 2000 N/m을 곱해 추정한다. 그다음 로봇 손 부위와 장갑 24×32 배치의 영역을 사람이 손으로 대응시키고, 샘플 점을 그 영역의 픽셀에 배정한다. 각 픽셀 값은 배정된 점들의 평균 힘이다. 이렇게 하면 \mathbf{t}^{\text{sim}}_t,\mathbf{t}^{\text{ref}}_t\in\mathbb{R}^{768}이 같은 좌표계에 놓인다.

이 대응이 수작업이라는 점은 기억해 둘 만하다. README에 따르면 다른 손을 쓰려면 손 링크를 2D 배치에 놓는 파일을 고치고 Genesis 포크의 촉각 파이프라인으로 픽셀 매핑 JSON을 다시 만들어야 한다. 장갑과 로봇 손의 형상이 다를수록 이 대응이 보상의 정확도를 좌우한다.

보상 1: 촉각으로 열리는 손끝 근접 (Eq. 1)

이 항은 어느 손끝이 닿아야 하는지를 장갑 지도에서 직접 읽는다. 손끝 i\in\{1,\dots,5\}에 배정된 픽셀 집합을 \mathcal{P}_i, 손끝에서 물체 표면까지 부호 거리를 d_i라 하면

g_i=\mathbf{1}\!\left[\max_{p\in\mathcal{P}_i}\mathbf{t}^{\text{ref}}_{t,p}>0\right],\qquad r^{\text{prox}}_t=\sum_{i=1}^{5} g_i\cdot\exp\!\bigl(-k_{\text{prox}}\max(d_i,0)\bigr).

게이트 g_i가 닫힌 손가락은 아무 제약도 받지 않는다. 열린 손가락은 물체에 가까울수록 보상을 받고, 닿거나 파고들면(d_i\le0) 최대값 1을 받는다. 저자들은 이 항이 정책이 아직 접촉 패턴을 못 찾은 학습 초기에 밀집 신호를 주는 것이 중요하다고 쓴다. k_{\text{prox}}=50은 d의 단위가 m라면 1 cm에서 e^{-0.5}\approx0.61, 2 cm에서 e^{-1}\approx0.37이 되는 감쇠다(필자 계산, 논문은 d의 단위를 적지 않는다).

ManipTrans와의 차이는 게이트 하나뿐이다. ManipTrans는 모캡 참조에서 손끝-물체 거리가 임계값(여기서는 20 mm) 안이면 접촉으로 본다. DexTaG의 Geom-gated 절제가 정확히 이 대체를 실험한다.

보상 2: 촉각 지도 유사도 (Eq. 2·3)

근접 보상이 손끝만 다룬다면 이 항은 손바닥과 손가락 마디까지 포함한 접촉의 공간 패턴을 맞춘다. 문제는 두 지도가 서로 다른 센싱 과정에서 나온다는 점이다. 시뮬레이션 값은 침투 깊이에서 계산한 힘이고, 장갑 값은 실제 압력 센서의 판독값이라 크기를 직접 비교할 수 없다. 그래서 각 지도를 자기 최댓값으로 나누고 제곱근을 씌운다.

\mathcal{N}(\mathbf{x})_p=\sqrt{\operatorname{clip}\!\left(\frac{x_p}{\max(1,\max_q x_q)},\,0,\,1\right)}

분모의 하한 1은 0으로 나누는 것과 약한 신호의 과도한 증폭을 막는다. 제곱근(\gamma=0.5)은 동적 범위를 눌러 약한 접촉의 상대 기여를 키운다. 두 지도에 3×3 가우시안(\sigma=1.0)을 씌워 사람과 로봇의 접촉 위치가 한두 픽셀 어긋나는 것을 봐준 뒤 L1 거리를 지수 보상으로 바꾼다.

E^{\text{tac}}_t=\mathcal{L}_1\!\bigl(G_\sigma\star\widehat{\mathbf{t}}^{\text{sim}}_t,\;G_\sigma\star\widehat{\mathbf{t}}^{\text{ref}}_t\bigr),\qquad r^{\text{tac}}_t=\exp\!\bigl(-k_{\text{tac}}E^{\text{tac}}_t\bigr),\quad k_{\text{tac}}=4.0

두 가지를 짚어 둔다. 첫째, 정규화 때문에 절대적인 힘의 크기는 버려진다. 이 보상이 맞추는 것은 “얼마나 세게”가 아니라 “어디가 상대적으로 얼마나”다. 저자들도 이 설계가 두 도메인의 절대 힘 일치를 요구하지 않는다고 명시한다. 둘째, \mathcal{L}_1이 768픽셀의 평균인지 합인지 논문에 없다. 정규화된 지도는 [0,1]이므로 평균이라면 E^{\text{tac}}\in[0,1], 보상은 [e^{-4},1]\approx[0.018,1]에서 움직인다. 합이라면 E가 수십~수백이 되어 k_{\text{tac}}=4에서 보상이 사실상 항상 0이므로, 평균으로 읽는 것이 자연스럽다(필자 해석). 공개 코드는 실제로 평균을 쓰지만, 논문 식에 없는 마스크·가중치·게이트가 더 붙어 있다(코드 대조 절에서 다룬다).

관측과 학습 (§III-B2, Eq. 4)

\mathbf{o}_t=\bigl(\boldsymbol{\xi}_t,\ \mathbf{p}_t,\ \mathbf{t}^{\text{sim}}_t,\ \boldsymbol{\xi}_{t:t+K}\bigr)

여기서 \boldsymbol{\xi}_t는 목표 손 관절 상태·손목과 손끝 포즈·물체 운동을 담은 참조 프레임, \mathbf{p}_t는 현재 시뮬레이션 로봇-물체 상태다. 누가 무엇을 보는지가 이 설계의 요점이라 표로 정리한다.

입력	retargeter actor	retargeter critic	증류 학생 \pi_{\text{ctrl}}
현재 참조 \boldsymbol{\xi}_t (손+물체)	✓	✓	물체 궤적만
미래 참조 창 \boldsymbol{\xi}_{t:t+K}	✓ (K=32, stride 2 → 16프레임, TCN)	✓	미래 목표 물체 포즈 창
로봇-물체 상태 \mathbf{p}_t	✓ (특권 물체 포즈 포함)	✓	물체 포즈 대신 손목 카메라 점군(PointNet)
시뮬레이션 촉각 \mathbf{t}^{\text{sim}}_t	✓	✓	✗
장갑 촉각 \mathbf{t}^{\text{ref}}_t	✗	✓	✗
고유감각-행동 이력	✗	✓ (과거 8스텝)	✓ (짧은 이력)
출력	27차원 팔-손 관절 위치 명령(PD)		같음

사람의 촉각은 보상과 critic의 특권 정보로만 들어간다. actor는 자기 손의 시뮬레이션 촉각 반응을 보지만, 사람이 그 순간 무엇을 느꼈는지는 보지 못한다. 학습은 PPO이고, 두 촉각 보상에 손목·손끝·손 관절·물체 추종 보상과 안정성·접촉 페널티를 더한다. 각 항의 가중치는 논문에 없다.

시연 전체를 한 정책으로. 같은 물체·같은 과제의 시연은 들어 올리기, 최종 기능 파지 같은 하부 구조를 공유하고 접근·집기·손 안 재배치 경로만 다르다는 것이 저자들의 동기다. 미래 참조 창이 “다음에 어디로 얼마나 빨리 가는지”를 알려 주므로, 정책은 현재 프레임에만 반응하지 않고 다음 단계를 준비할 수 있다. 궤적 단위의 SE(2)·스케일 증강으로 배치·방향·크기 변화도 노출한다.

프로젝트 페이지 “Tactile-Guided RL Retargeting” 영상(마커펜). 왼쪽: 서로 다른 시연 참조들(0.8 MB). 오른쪽: 한 정책이 여러 참조를 동시에 수행하는 롤아웃을 색으로 겹쳐 그린 것(1.2 MB). held-out 참조에 대한 retargeter 롤아웃(마커펜, 5.4 MB). 페이지 설명에 따르면 왼쪽이 참조, 가운데가 정책 롤아웃, 오른쪽이 보상 계산에 쓰는 목표(Target)와 실시간 시뮬레이션(Actual) 촉각 지도다.

증류: 촉각 없는 배포용 컨트롤러 (§III-C)

\pi_{\text{rtgt}}는 DAgger 기반 행동 복제로 \pi_{\text{ctrl}}에 증류된다. 핵심 결정은 학생의 참조 입력에 목표 물체 궤적만 넣고 참조 손 포즈를 빼는 것이다. 저자들의 논리는 배포 때 무엇을 지정하기 쉬운가다. 물체 궤적은 영상에서 뽑거나 규칙으로 합성할 수 있지만(예: 마커펜으로 글자를 쓰는 매개변수 경로), 손가락까지 포함한 밀집 손 궤적은 장갑 수집 장비 밖에서는 얻기 어렵다. 학생은 팔-손 관절각, 미래 물체 포즈 창, PointNet으로 인코딩한 손목 카메라 점군, 짧은 고유감각-행동 이력을 본다. 같은 SE(2)·스케일 증강을 증류에도 쓴다.

촉각을 뺀 것은 의도된 선택이다. 실험에 쓴 WUJI 손에는 촉각 센서가 없고, 증류는 실기 촉각 관측이 시뮬레이션 센서 모델과 맞아야 하는 부담을 피한다. 저자들은 그 대가도 적어 둔다. 컨트롤러는 시각·고유감각으로 폐루프이지만 미끄러짐이나 예상치 못한 접촉을 촉각으로 감지하지 못한다.

직관: 촉각이 “어디를 잡을지”만 알려 줘도 충분한 이유

물리 기반 리타게팅에서 RL이 가장 어려워하는 순간은 접촉을 처음 만드는 순간이다. 접촉 전에는 물체가 움직이지 않으니 물체 추종 보상은 정책이 무엇을 하든 비슷하고, 손 추종 보상은 참조 손 위치를 따라가라고만 한다. 그런데 참조 손 자체가 물체에서 1~2 cm 떠 있다면, 참조를 완벽히 따라간 손은 물체를 집지 못한다. 손 추종 보상을 조금 포기하고 물체 쪽으로 파고들어야 집을 수 있는데, 그 방향을 가리키는 신호가 없다.

거리 기반 게이트(Geom-gated)는 이 상황에서 잘못된 답을 준다. 참조 손끝이 물체에서 20 mm 밖에 있으면 그 손가락은 “접촉 아님”으로 분류되고, 근접 보상이 꺼진다. 즉 가장 도움이 필요한 순간에 신호가 사라진다. 장갑 게이트는 포즈 추정과 독립적이라, 참조 손끝이 공중에 떠 있어도 장갑이 그 손가락에서 압력을 읽었다면 “이 손가락은 물체를 향해 가야 한다”고 말해 준다. 저자들의 표현으로는 정밀한 참조 기하에 대한 의존을 줄인다.

정규화로 힘의 크기를 버린 것도 이 관점에서 이해된다. 보상이 맞추려는 것은 사람의 힘 분포가 아니라 접촉의 위상(topology), 즉 손바닥으로 감쌌는지 손끝으로 집었는지다. 시뮬레이션 접촉 모델의 강성(2000 N/m)이 실제 손가락 패드와 다르고 장갑 센서의 단위도 다르므로, 크기를 맞추라고 요구하면 오히려 잘못된 신호가 된다.

논문 안에 이 직관을 받쳐 주는 대비가 하나 있다(필자 해석). 같은 파이프라인에서 촉각 보상을 모두 뺀 “w/o tactile”은 자체 장갑 데이터에서 완료율 24.7%(마커펜)·27.6%(망치)에 머문다(Table I). 반면 촉각 신호가 없는 OakInk2에서는 촉각 없는 DexTaG가 n=1에서 67.5%를 낸다(Table V). 두 데이터의 과제(바닥의 공구 집기 + 손 안 재배치 vs OakInk2의 컵·숟가락·막대)와 참조 품질이 다르므로 직접 비교는 아니지만, 오버헤드 카메라 하나로 만든 장갑 참조에서는 촉각 신호 없이 접촉 획득이 사실상 막힌다는 저자들의 동기와 맞는 그림이다.

실험 (§IV)

셋업과 지표

플랫폼은 7-DoF xArm에 단 20-DoF WUJI 오른손이다. 시뮬레이션 지표 Trajectory Completion은 에피소드가 종료되기 전까지 참조의 몇 %를 따라갔는가다. 종료 조건은 다음과 같다.

종료 조건	값
손끝 유클리드 오차(엄지 → 새끼)	약 57, 64, 71, 86, 86 mm (retargeter)
물체 위치 / 방향 오차	약 58 mm / 43.7° (마커펜 축 회전 무시)
팔 링크 접촉	0이 아니면 종료
테이블 힘 한계	0 / 10,000 / 20,000 학습 스텝에서 500 / 100 / 50 N으로 선형 감소 후 고정
속도 상한	손목·물체 선속도 100 m/s, 각속도 또는 평균 손 관절 속도 200 rad/s

허용치가 넉넉하다는 점은 지표를 읽을 때 중요하다. 물체가 6 cm·40° 넘게 벗어나야 종료되므로, Trajectory Completion은 “정밀 추종”이 아니라 “크게 실패하지 않고 어디까지 갔는가”에 가깝다. 비교 대상으로 TeleDexter의 subgoal 허용치는 물체 1 cm·10°, 손끝 3 cm였다. retargeter는 손 또는 물체 포즈 불일치로, 학생 \pi_{\text{ctrl}}은 물체 포즈 불일치로만 종료된다는 차이도 있다.

A. 촉각 보상 절제 (Table I, Fig. 6)

모델·actor 관측·학습 일정이 같은 네 변형과 비교한다. 모든 변형은 시뮬레이션 촉각 관측을 유지하고, Geom-gated와 w/o tactile은 critic에서도 장갑 촉각 지도를 뺀다.

변형	근접 보상 게이트	지도 유사도	마커펜 Comp. (%)	망치 Comp. (%)
Ours	장갑 촉각	✓	87.5 ± 4.0	76.8 ± 27.7
Prox-only	장갑 촉각	✗	64.5 ± 6.1	62.2 ± 31.3
Sim-only	(근접 없음)	✓	61.5 ± 13.8	29.6 ± 3.6
Geom-gated	참조 거리 < 20 mm	✗	48.6 ± 24.0	29.9 ± 5.5
w/o tactile	(근접 없음)	✗	24.7 ± 2.9	27.6 ± 0.1

Table I에서 옮김. 평균 ± 표준편차, 학습 seed 5개. 원 표에는 단계당 평균 물체·손 추종 보상(Obj., Hand) 열도 있다.

저자들이 읽는 순서대로 따라가면 다음과 같다.

• 두 보상은 상보적이다. 근접 보상만으로 24.7 → 64.5%(마커펜), 27.6 → 62.2%(망치)가 되고, 지도 유사도를 더하면 87.5%, 76.8%가 된다.
• 측정된 게이트가 기하 게이트보다 낫다. 보상의 형태가 같은 Prox-only와 Geom-gated의 차이는 게이트뿐인데, 64.5 vs 48.6%(마커펜), 62.2 vs 29.9%(망치)다. 이 비교가 논문에서 가장 깨끗한 통제 실험이다.
• 망치 파지는 seed에 민감하다. 전체 방법의 5개 run 중 하나가 집기를 배우지 못해 약 27%에 머물렀고, 이것이 ±27.7의 원인이다.

마지막 항목을 산술로 풀어 보면 결과가 더 선명해진다(필자 계산). 실패한 run이 27%이고 평균이 76.8%라면 나머지 4개 run의 평균은 (5\times76.8-27)/4\approx89.3\%이다. 이 4개가 모두 89.3%라고 두면 표본표준편차는 27.8로 표의 27.7과 거의 같다. 즉 망치의 전체 방법은 “약 89%로 성공하거나 약 27%에서 멈추는” 이봉 분포다. 같은 27% 근처에 w/o tactile(27.6 ± 0.1), Geom-gated(29.9), Sim-only(29.6)가 모여 있다는 것은, 망치에서 약 27%가 “집기 전 접근 구간”의 길이이고 이 세 변형은 5개 seed 모두 집기에 실패했다는 뜻으로 읽힌다. Prox-only의 62.2 ± 31.3도 같은 이봉 구조(5개 중 3개 정도 성공)와 맞는다. 망치에서 접촉 획득을 가능하게 한 것은 장갑 게이트를 쓴 근접 보상이고, 지도 유사도는 성공한 run의 완료율과 안정성을 올린 것으로 보인다.

저자들은 추종 보상 열을 조심해서 읽으라고 경고한다. 원 표에서 w/o tactile의 단계당 Obj. 보상(1.299)과 Hand 보상(2.304)이 가장 높은데, 일찍 실패한 정책은 쉬운 접근 구간만 추종하므로 단계당 평균이 오히려 높게 나온다. 생존 구간에서만 평균한 지표의 전형적인 생존 편향이다.

정성 비교(Fig. 6). 첫 행: 각 시점의 목표(Target, 장갑) 촉각 지도와 현재(Current, 시뮬레이션) 촉각 지도. 둘째 행: 전체 촉각 가이던스(DexTaG). 셋째 행: Geom-gated. 왼쪽 세 열은 마커펜, 오른쪽 세 열은 망치다. 저자 서술대로 Geom-gated는 마커펜을 집지만 다른 파지를 만들고, 망치는 들어 올리지 못한다(마지막 열에서 망치가 테이블 위에 남아 있다).

프로젝트 페이지 “Tactile Reward Ablation” 영상. 각 영상은 왼쪽부터 참조(사람 시연), DexTaG, Geom-gated. 왼쪽: 마커펜(2.9 MB). 오른쪽: 망치(3.1 MB). 망치 영상에서는 Geom-gated 쪽에 15초 무렵부터 TERMINATED 표시가 뜬다.

자연스러움 사용자 연구(Table II). 추종 보상으로 잡히지 않는 파지의 자연스러움을 따로 잰다. 마커펜만 대상으로 한 이유는 성공한 집기가 다양한 파지 형태를 낳는 반면 망치 변형들은 주로 “집느냐 못 집느냐”에서 갈리기 때문이다. 세 방법이 모두 궤적 중간 지점에 도달한 참조 15개를 무작위로 골라, 손바닥 쪽에서 본 중간 시점 렌더를 익명·무작위 순서로 11명에게 보여 주고 “가장 자연스러운/사람다운 파지”를 고르게 했다.

방법	득표	선호율
DexTaG	92	55.8%
w/o tactile	40	24.2%
Geom-gated	33	20.0%

165표(11명 × 15궤적)에서 우연 수준은 33.3%다. 표 값으로 단순 이항 검정을 하면 z ≈ 6.1이지만, 같은 응답자와 같은 궤적의 표는 서로 독립이 아니므로 이 값은 과대평가된 상한으로 봐야 한다(필자 계산). Prox-only와 Sim-only는 이 연구에 들어가지 않아, 두 보상 중 어느 쪽이 자연스러움을 만드는지는 알 수 없다.

B. retargeter와 컨트롤러의 일반화 (Table III·IV)

각 과제의 궤적을 학습:평가 = 1:9, 5:5, 9:1로 무작위 분할하고, 학습 궤적으로 \pi_{\text{rtgt}}를 학습한 뒤 \pi_{\text{ctrl}}로 증류한다. retargeter는 분할을 5번 반복한 평균 ± 표준편차이고, 컨트롤러는 비율당 분할 1개다.

학습:평가	retargeter 마커펜 (학습 / 평가)	retargeter 망치 (학습 / 평가)	컨트롤러 마커펜	컨트롤러 망치	컨트롤러 평균
1:9	55.1±20.9 / 43.8±13.1	55.6±15.8 / 36.1±13.8	57.9 / 27.1	53.8 / 27.5	55.9 / 27.3
5:5	75.7±4.9 / 69.9±6.3	73.7±4.9 / 68.8±3.9	70.5 / 52.6	70.6 / 60.8	70.5 / 56.7
9:1	73.3±5.0 / 75.4±5.0	80.1±5.2 / 78.8±3.7	68.1 / 55.6	80.0 / 75.2	74.1 / 65.4

Table III·IV에서 옮김. Trajectory Completion (%).

두 경향이 보인다. 첫째, 정책 하나가 더 다양한 궤적을 맞춰야 하는데도 학습 궤적이 늘면 학습·평가 성능이 대체로 함께 오른다. 마커펜의 학습 성능은 5:5 이후 정체하고 9:1에서 약간 떨어지지만 held-out 성능은 계속 오른다. 둘째, 학습-평가 격차가 줄어든다. 표에서 직접 계산하면 retargeter 격차는 마커펜 11.3 → 5.8 → −2.1 %p, 망치 19.5 → 4.9 → 1.3 %p이고, 컨트롤러 격차는 마커펜 30.8 → 17.9 → 12.5 %p, 망치 26.3 → 9.8 → 4.8 %p다(필자 계산). 저자들은 이것을 “개별 궤적을 외우는 것이 아니라 참조 사이에서 옮겨 가는 행동을 배운다”는 증거로 읽는다.

읽을 때의 주의점도 있다.

• 1:9의 학습 집합은 마커펜 10개, 망치 14개이고, 9:1의 평가 집합도 그 크기다. 9:1 마커펜의 평가(75.4%)가 학습(73.3%)보다 높은 것은 평가 궤적 10개의 구성에 따른 변동으로 보는 것이 자연스럽다.
• 컨트롤러 1:9의 held-out 완료율 27.1%·27.5%는 Table I에서 집기에 실패한 run들이 머문 27% 근처와 같다. 학생은 물체 포즈로만 종료되므로 물체가 움직이지 않는 접근 구간은 항상 통과한다. 그렇다면 이 값은 “held-out 궤적에서 대부분 집기에 실패했다”로 읽힌다(필자 해석).
• 컨트롤러는 분할 1개라 분산 정보가 없고, 평균 열은 두 과제의 단순 평균이다.
• Table I의 Ours(마커펜 87.5%)가 어떤 참조 집합으로 학습·평가됐는지 논문에 적혀 있지 않다. Table III의 학습 참조 완료율(73.3~75.7%)보다 14 %p 정도 높아 같은 설정으로 보기 어렵다.

C. OakInk2에서의 다중 궤적 적합 (Table V)

OakInk2에서 궤적이 가장 많은 세 물체, 컵(93개)·숟가락(98개)·막대(13개)를 쓴다. n\in\{1,5,10,\text{all}\}마다 궤적을 크기 n의 그룹으로 나누고 그룹당 정책 하나를 학습해, 그 그룹의 학습 궤적에서만 평가한다. 즉 이 실험은 일반화가 아니라 한 정책이 몇 개의 궤적을 동시에 맞출 수 있는가를 잰다. n=1은 ManipTrans의 표준 설정(궤적당 정책)이다. OakInk2에는 장갑 신호가 없으므로 DexTaG는 촉각 입력과 촉각 보상을 모두 뺀 같은 retargeter 파이프라인으로 돈다.

방법	물체	n=1	n=5	n=10	n=all	Δ
ManipTrans (Inspire)	cup	64.5	60.3	56.8	42.2	−34.6%
	spoon	51.9	46.2	41.7	44.4	−14.5%
	stick	21.1	11.9	2.0	1.8	−91.5%
	avg.	55.7	50.4	46.1	40.7	−26.9%
ManipTrans (WUJI)	cup	67.8	65.6	58.4	25.1	−63.0%
	spoon	55.2	51.0	47.6	40.4	−26.8%
	stick	17.2	7.1	2.8	3.1	−82.0%
	avg.	58.5	54.9	49.7	30.0	−48.7%
DexTaG (Ours, WUJI)	cup	80.7	78.3	76.0	70.1	−13.1%
	spoon	58.1	63.3	61.7	67.1	+15.5%
	stick	43.3	43.7	39.6	46.7	+7.9%
	avg.	67.5	68.9	66.8	67.2	−0.4%

Table V에서 옮김. Trajectory Completion (%). avg.는 궤적 수 가중 평균, Δ는 n=1 대비 n=\text{all}의 상대 변화.

DexTaG의 평균은 n에 거의 무관하고 ManipTrans 두 변형은 크게 떨어진다. 예외는 컵인데, 저자들은 일부 궤적에서 초기 손 자세에서 물체가 곧바로 떨어지는 경우가 있어 단일 궤적 정책이 빠른 파지에 특화하기 쉽다고 설명한다. DexTaG는 n=1을 포함한 모든 n에서 평균이 가장 높고, 모델도 더 작다(1.9 M vs 2.3 M 파라미터).

이 표를 정확히 읽으려면 세 가지가 필요하다.

1. 학습 예산이 맞춰져 있지 않다. 모든 그룹 크기에서 DexTaG 정책은 24시간(614 M 환경 스텝), ManipTrans 정책은 8시간(380 M 스텝)을 L40S에서 학습했다. 저자들은 이 고정 예산이 관찰된 학습 정체 시점에 따라 고른 것이고 compute-matched가 아니라고 명시한다. 그러면 n=1에서의 차이(67.5 vs 55.7/58.5%)에는 궤적당 3배의 시간, 약 1.6배의 환경 스텝이 섞여 있다(필자 계산). “n=1에서도 최고”라는 서술은 파이프라인의 우위인지 예산의 우위인지 이 실험만으로는 가를 수 없다.
2. 총 비용 비교는 서로 다른 n끼리의 비교다. 저자들은 204개 궤적에 대해 물체당 정책 하나인 DexTaG가 약 3×24 = 72시간, 궤적당 정책인 ManipTrans가 204×8 = 1,632시간이라고 쓴다(약 22.7배). 이것은 DexTaG n=\text{all}과 ManipTrans n=1의 비교이고, 그 두 설정의 평균 완료율은 67.2% vs 55.7/58.5%이므로 저자 쪽이 성능에서도 앞선다. 다만 DexTaG를 n=1로 돌리면 204×24 = 4,896시간이 든다는 점도 같은 표가 함의한다(필자 계산).
3. 표 안에 산술이 맞지 않는 칸이 하나 있다(필자 계산). 궤적 수 가중 평균을 다시 계산하면 11개 avg. 칸은 반올림 범위 안에서 정확히 맞는다. 그런데 ManipTrans(WUJI)의 n=\text{all} 평균은 칸 값(25.1, 40.4, 3.1)으로 계산하면 (25.1\times93+40.4\times98+3.1\times13)/204=31.0이고, 반올림 오차 ±0.05를 모두 반영해도 31.0~31.1이다. 표의 30.0과 Δ −48.7%(30.0 기준)는 이와 어긋난다. 31.0이라면 Δ는 −47.0%다. 결론을 바꿀 크기는 아니지만, 칸 값과 평균 중 어느 쪽이 맞는지 확인이 필요하다. HTML과 PDF 두 판본 모두 같은 값이다.

덧붙여, 이 표는 촉각 가이던스를 전혀 시험하지 않는다. 초록의 “outperforms single-trajectory baselines on OakInk2”는 미래 참조 창·TCN·증강·학습 예산으로 이뤄진 다중 궤적 파이프라인에 대한 주장이다. 또 OakInk2는 양손 데이터셋인데, 이를 한 손 WUJI 설정에 어떻게 맞췄는지(오른손만 썼는지 등)와 막대처럼 13개뿐인 물체에서 n=5,10 그룹의 나머지를 어떻게 처리했는지는 논문에 없다. HOT도 OakInk2에 직접 학습해 보려 했으나 추종을 일관되게 배우지 못해 정량 베이스라인에서 뺐다고 한다.

D. 촉각 없는 실기 배포 (Table VI)

손목에 깊이 카메라를 단 xArm7-WUJI 실기에서 증류 학생 \pi_{\text{ctrl}}을 평가한다. 물체마다 모든 수집 궤적으로 학습한 retargeter에서 학생 하나를 증류했고, 배포 때 과제별 튜닝은 없다. 평가 참조 30개는 학습 집합에서 뽑았다. 저자들도 이것이 held-out 일반화가 아니라 실기 실행을 시험한다고 명시한다.

세 단계를 순서대로 채점한다. Pickup은 테이블에서 공구를 들어 올리기, Grasp pose는 손 안에서 참조의 기능 파지로 고쳐 쥐기, Place는 전체 참조를 마치고 공구를 테이블에 내려놓기다. 주 결과는 참조당 최대 3번 시도해 가장 멀리 간 단계로 채점하는 best-of-up-to-three다. 저자들의 이유는 초기 물체 배치다. 목표 궤적의 초기 물체 포즈는 시뮬레이션에서는 정확하지만 실제 테이블에 손으로 재현하면 작은 오프셋이 생겨 집기에 실패할 수 있다.

물체	채점	Pickup	Grasp pose	Place
망치	best of up to three	22/30 (73.3%)	17/30 (56.7%)	15/30 (50.0%)
마커펜	best of up to three	21/30 (70.0%)	13/30 (43.3%)	10/30 (33.3%)
망치	시도 단위(재시도 포함)	31/83 (37.3%)	19/83 (22.9%)	15/83 (18.1%)
마커펜	시도 단위(재시도 포함)	28/86 (32.6%)	14/86 (16.3%)	10/86 (11.6%)

Table VI에서 옮김.

저자들은 실패한 시도의 76.5%(망치)·76.3%(마커펜)가 집기 전에 끝나고, 기능 파지에 도달하면 78.9%·71.4%가 끝까지 간다고 정리한다. 표로 검산하면 실패 시도는 망치 83−15 = 68번 중 집기 전 실패가 83−31 = 52번(76.5%), 마커펜 86−10 = 76번 중 58번(76.3%)이고, 파지 후 완료는 15/19(78.9%)·10/14(71.4%)로 모두 맞는다(필자 계산). 결론은 파지 획득이 병목이고 초기 배치 오프셋이 그럴듯한 기여 요인이라는 것이다.

규모에 대한 감각도 같이 적어 둔다. n = 30에서 best-of-3 Place 15/30의 95% Wilson 구간은 약 33~67%, 10/30은 약 19~51%다(필자 계산). 두 물체의 차이를 말하기엔 표본이 작다. 또 저자들이 주 결과로 내세우는 best-of-3는 “몇 번의 재시도로 실행”을 재는 것이지 단일 시도 신뢰도가 아니라고 스스로 적었고, 시도 단위로는 끝까지 간 비율이 18.1%·11.6%다. 프로젝트 페이지는 학생이 실기에 “zero-shot”으로 배포된다고 쓰지만, 이는 과제별 튜닝이 없다는 뜻이지 한 번에 성공한다는 뜻은 아니다.

프로젝트 페이지 실기 롤아웃(1× 속도). 위: 망치(10.0 MB). 아래: 마커펜(8.1 MB). 왼쪽 패널이 참조 물체 궤적, 오른쪽이 실기 실행이다. 다른 롤아웃 6편은 프로젝트 페이지에 있다.

실패 사례(프로젝트 페이지). 논문 본문에는 없고 프로젝트 페이지에만 있는 정성 자료지만, sim-to-real 간극의 구체적 원인을 저자들이 직접 적어 두었다. 마커펜에서는 실제 손가락 사이 마찰이 시뮬레이션보다 커서 엄지가 마커를 받치지 못하고 떠 있는 차선의 파지가 생겼다. 망치에서는 손의 부드러운 고무 커버 접촉을 시뮬레이션이 충실히 재현하지 못해 내려놓기에 실패했고, 시뮬레이션 학습 때 모델링하지 않은 손목 카메라와의 자기 충돌도 있었다.

프로젝트 페이지 “Failure Cases”. 왼쪽 위: 마찰 차이로 엄지가 뜬 마커 파지(1.4 MB). 오른쪽 위: 망치 내려놓기 실패(1.9 MB). 왼쪽 아래: 모델링하지 않은 손목 카메라와의 자기 충돌(1.4 MB). 오른쪽 아래: 마커 집기 실패(0.7 MB). 설명은 페이지 문구를 옮긴 것이다.

규칙으로 만든 목표 궤적. 학생이 물체 궤적만 받으므로, 매개변수 경로로 합성한 “마커펜으로 글자 쓰기” 궤적을 따라가는 예시가 프로젝트 페이지에 있다. 논문은 이것을 정성 예시로만 언급하고 정량 평가는 하지 않는다.

규칙 기반으로 합성한 글자 쓰기 궤적을 시뮬레이션에서 따라가는 학생 정책(4.0 MB). 왼쪽이 합성 궤적, 오른쪽이 롤아웃이다. 실기 버전은 프로젝트 페이지에 있다.

비판적으로 보면

강점

• 절제 실험이 기여를 정확히 겨눈다. Prox-only와 Geom-gated는 보상 형태가 같고 게이트만 다르다. “측정된 접촉 vs 기하로 추정한 접촉”이라는 이 논문의 주장을 한 변수만 바꿔 시험한 것이다. 망치에서 62.2 vs 29.9%라는 차이는 이봉 구조를 감안해도 크다(Geom-gated 망치의 29.9 ± 5.5는 5개 seed 모두 집기 실패 수준으로 읽힌다, 필자 해석).
• 촉각을 학습에만 쓰는 설계가 실용적이다. 장갑 촉각은 보상과 critic에만 들어가고 배포 정책에는 촉각 관측이 없다. 대부분의 상용 손재주 손에 촉각이 없거나 시뮬레이션과 맞지 않는 현실에서, 사람 쪽 촉각만으로 이득을 얻는 경로를 보였다.
• 음성 결과와 caveat을 숨기지 않는다. 망치 전체 방법의 실패 seed, 추종 보상 지표의 생존 편향, compute-matched가 아닌 예산, best-of-3가 단일 시도 신뢰도가 아니라는 점, HOT 적용 실패를 모두 본문에 적었다. 프로젝트 페이지의 실패 영상도 원인과 함께 공개했다.
• 표의 산술이 대부분 정확하다. Table V의 가중 평균 12칸 중 11칸, Δ 12칸, Table VI의 파생 비율 4개, Table II의 백분율이 모두 검산된다(어긋나는 1칸은 아래 약점에 적었다).
• 재현 자료가 공개돼 있다. 코드(MIT), 마커펜·망치 시연 데이터(209 MB, 장갑 촉각 지도 포함), 사전학습 retargeter가 README에 링크돼 있고, 다른 손으로 옮기는 절차도 문서화돼 있다. 논문이 생략한 보상 가중치·PPO 설정·도메인 랜덤화가 코드에 모두 있다. 다만 공개 범위는 시뮬레이션 학습 파이프라인까지다(코드 대조 절).

약점·한계

• OakInk2 결과는 촉각과 무관하고 예산도 다르다. 초록의 세 번째 주장(“outperforms single-trajectory baselines on OakInk2”)은 촉각을 뺀 파이프라인의 결과다. 게다가 DexTaG는 정책당 3배 시간·1.6배 스텝을 받았다. n이 커져도 성능이 유지된다는 경향 자체는 예산과 무관하게 의미가 있지만, n=1의 절대 우위는 예산 차이와 분리되지 않는다. 같은 예산의 ManipTrans, 또는 ManipTrans 예산으로 줄인 DexTaG 한 칸이면 해소될 문제다.
• 비교 대상이 거리 기반 게이트 하나뿐이다. 다중 궤적 추종이라는 같은 목표를 가진 DexTrack·HOT·FlashDexRetarget 계열과의 비교가 없고(HOT은 시도했으나 실패), 자체 데이터에서의 외부 베이스라인도 없다. 절제는 “촉각 보상을 쓰면 낫다”를 보이지만, 참조 품질 문제를 다른 식으로 푸는 방법(예: 접촉 전 손 추종 가중치를 낮추는 커리큘럼, TeleDexter식 느슨한 subgoal)과의 비교는 없다.
• 촉각 신호 처리에 검증되지 않은 가정이 있다.
  • 논문의 게이트 임계값은 >0이다. 배경은 정적인 손 자세 몇 개의 픽셀별 최댓값이므로, 조작 중 동적인 자기 접촉이나 장갑 주름이 그 값을 넘으면 게이트가 잘못 열린다. 이런 오탐의 빈도는 측정되지 않았다. 공개 코드는 장갑 원시값 60 미만을 0으로 자르는 문턱을 따로 두는데, 논문에는 이 문턱이 없다.
  • 정규화의 하한 1은 원시 단위에 걸린다. 시뮬레이션 지도는 픽셀당 평균 힘(N)이고 장갑 지도의 단위는 논문에 없다. 공개 코드에서는 장갑 값을 60으로 나누므로 장갑 쪽 하한 1은 원시값 60에 해당한다. 같은 “1”이 두 지도에서 다른 의미를 갖는다는 점은 그대로다.
  • 로봇 손 부위와 장갑 픽셀의 대응은 사람이 지정한다. 대응의 정확도가 보상에 얼마나 영향을 주는지, 다른 지정자가 하면 결과가 달라지는지는 시험되지 않았다.
• 논문에 없는 설정이 많다. 보상 항의 가중치, PPO 하이퍼파라미터, DAgger 설정, 시연자 수, 도메인 랜덤화(논문은 궤적 단위 SE(2)·스케일 증강만 언급한다), 학습 초기에 물체를 참조 궤적 쪽으로 끌어 주는 보조 힘, 실기 점군의 물체 분할 방법이 본문 6쪽에 없고 부록도 없다. 이 중 상당수는 공개 코드에 있다(코드 대조 절). 그러나 그중 일부(촉각 유사도 보상의 추가 항, 기본으로 꺼진 증강)는 논문 서술과 다르다. 따라서 논문 본문만으로는 재현할 수 없고, 코드를 읽어야 무엇을 학습했는지 알 수 있다.
• Table I의 설정이 불명확하다. 어떤 참조 집합으로 학습·평가했는지 없고, Ours 마커펜 87.5%가 Table III의 학습 참조 완료율(73.3~75.7%)과 맞지 않는다.
• 일반화의 범위가 좁다. held-out은 같은 물체·같은 과제의 다른 시연이다. 새 물체, 새 과제, 다른 장갑, 다른 시연자로의 일반화는 다루지 않는다. 데이터도 시연자 한 명이 모은 것으로 읽히는데(본문은 “the demonstrator” 단수), 몇 명인지는 명시돼 있지 않다.
• 실기 평가가 얇다. 학습 참조 재생, 물체당 30개, best-of-3, 실기 베이스라인 없음, 학생의 시뮬레이션 완료율(전체 데이터로 학습한 것)과의 대조 없음. 실기에서 촉각 가이던스의 효과(예: w/o tactile로 학습한 retargeter에서 증류한 학생과의 비교)는 측정되지 않았다. 따라서 실기 결과는 “이 파이프라인이 실기에서 돈다”까지 보여 주고, 촉각 가이던스가 실기 성공에 기여했다는 것은 시뮬레이션 절제로부터의 추론이다.
• 지표가 관대하다. 물체 58 mm·43.7° 허용치의 Trajectory Completion은 정밀도를 거의 재지 않는다. 물체 포즈 오차나 손끝 오차의 분포가 함께 보고됐다면 “자연스러운 파지”와 “정확한 추종”을 구분해 볼 수 있었을 것이다. 자연스러움은 11명의 선택 투표로만 재고, 접촉 지도 일치도(예: 학습 후 E^{\text{tac}}) 같은 정량 지표는 없다.
• 표 기입 하나가 어긋난다. Table V ManipTrans(WUJI) n=\text{all} 평균 30.0은 칸 값으로 계산한 31.0과 맞지 않는다. 결론에는 영향이 없다.

코드 공개 범위와 논문 vs 코드

이 절은 정적 확인이다. 업스트림 커밋 b4f5fd0 기준으로 코드를 읽기만 했고 학습·롤아웃·시뮬레이터는 돌리지 않았다. 아래 수치 중 논문 수치는 모두 “논문이 주장한 값”이며, 이 블로그가 재현했다는 뜻이 아니다. 파라미터 수는 layer 정의를 손으로 합산한 산술값이다.

공개 범위. 공개 레포는 Genesis 위의 시뮬레이션 학습 파이프라인이다. retargeter PPO 학습, 평가·렌더링, 학생 DAgger 증류가 들어 있고, 시뮬레이션 촉각 센서 본체는 저자의 Genesis 포크에 있다. 논문 실험 중 다음은 레포에 없다.

논문 요소	공개 코드
장갑 시연 전처리(배경 보정, FoundationPose 물체 포즈, 운동학 리타게팅)	없음. 전처리된 .pkl 데이터로 시작한다. 배경 보정이 배포 데이터에 이미 반영됐는지는 확인하지 않았다
Prox-only, Sim-only, w/o tactile 절제 (Table I)	보상 항의 scale을 0으로 덮어써서 구성할 수 있다
Geom-gated 베이스라인 (Table I)	없음. 20 mm 거리 게이트 구현이 없다
OakInk2 / ManipTrans 비교 (Table V)	없음
실기 배포 (Table VI)	없음. 시뮬레이션 롤아웃 저장·재생 스크립트만 있다

논문 서술과 일치하는 것. Eq. 1의 근접 보상(k=50, 침투 시 만점, 손가락 합), 정규화·감마·3×3 가우시안(\sigma=1)·k=4, 미래 창 K=32 stride 2(16프레임), critic만 장갑 촉각과 8스텝 이력을 보는 비대칭 구조, 시뮬레이션 촉각의 강성 2000 N/m과 픽셀별 평균, 손끝 57~86 mm·물체 약 58 mm/43.7° 종료 한계가 모두 코드와 같다. 시뮬레이션 촉각 샘플 점은 643개로 논문의 “약 700개”와 맞고, retargeter actor와 critic의 파라미터를 합하면 1,904,983개로 논문의 “1.9 M”과 산술상 일치한다. 논문은 이 1.9 M이 무엇을 센 값인지 밝히지 않았고, OakInk2용 설정은 레포에 없다.

논문 서술과 다른 것.

항목	논문	공개 코드
촉각 지도 유사도의 오차 범위	768픽셀 전체의 \mathcal{L}_1 (Eq. 3)	장갑 원시값이 0보다 큰 픽셀만 오차에 넣는다
픽셀 가중치	없음	손끝 픽셀 3배, 평균 1로 정규화한 가중 평균
보상 게이트	없음	\exp(-4E)에 \operatorname{clip}(n_{\text{contact}}/10,0,1)을 곱한다. 장갑 접촉 픽셀이 없으면 0점
장갑 원시값 처리	배경 지도 차감	원시값 60 미만은 0, [0, 511]로 자른 뒤 60으로 나눔
SE(2)·스케일 궤적 증강	적용한다고 서술	구현돼 있으나 기본값 enabled=False. 레지스트리와 README 명령 어디서도 켜지 않는다
테이블 힘 한계 커리큘럼 단위	“training steps” 0 / 10,000 / 20,000	PPO iteration 카운터. README 예시(15,000 iteration)로는 50 N에 닿지 못하고 75 N에서 끝난다
학습 보조 힘	언급 없음	학습 중 물체를 다음 참조 위치로 당기는 PD 힘을 5,000 iteration에 걸쳐 0으로 줄인다(평가 때는 꺼짐)
도메인 랜덤화	언급 없음	테이블 높이, 물체 질량·마찰, 로봇 게인, 물체 외란 힘, 0~1스텝 행동 지연. 학생에는 점군 깊이 노이즈·사각형 dropout, 관측 지연, 관절 노이즈
DAgger	“behavior cloning with DAgger”	학생이 행동하고 교사가 라벨을 다는 on-policy 방식. 데이터를 누적하지 않고 최근 24스텝 링 버퍼만 학습한다
보상 가중치	미보고	환경 레지스트리에만 있다(물체 위치 100, 물체 회전 125, 손끝 위치 50, 촉각 유사도 50, 촉각 근접 25 등)

가장 큰 차이는 촉각 지도 유사도 보상이다. 코드의 docstring이 이유를 적어 두었다. 마스크가 없으면 이 항은 실제 데이터에서 단조가 아니다. 장갑 지도가 희소할 때는 아무것도 닿지 않은 정책이 위치가 조금 어긋난 진짜 접촉 패턴보다 L1이 낮게 나와, 접촉하지 않는 쪽을 보상하게 된다. 그래서 오차를 장갑 접촉 픽셀로 제한하고 접촉 픽셀 수로 게이트를 걸었다는 것이다. 이 설명은 설득력이 있고, 앞의 직관 절과도 맞는다. 다만 두 가지가 따라 나온다. 첫째, 마스크 때문에 장갑에 없는 곳에 생긴 로봇 접촉은 벌점을 받지 않는다. 이 항이 실제로 재는 것은 “사람이 닿은 곳을 로봇도 닿았는가”이지 지도 전체의 유사도가 아니다. 둘째, 논문 Eq. 3만 보고 구현하면 저자들이 피하려던 비단조성을 그대로 만나게 된다. Table I의 Sim-only 결과가 어느 판의 보상으로 나온 것인지는 논문이 밝히지 않는다(필자는 배포 코드와 같은 판일 것으로 보지만 확인할 방법이 없다).

증강이 기본으로 꺼져 있다는 점도 읽는 방식을 바꾼다. 논문은 이 증강이 “배치·방향·크기 변화에 노출”시킨다고 썼지만, README 그대로 학습하면 증강 없이 학습된다. 배포된 사전학습 체크포인트가 증강을 켰는지는 체크포인트의 설정 파일을 열어 보지 않아 확인하지 못했다. 학습 보조 힘은 접촉 획득이라는 이 논문의 주제와 직접 관련이 있다. 학습 초기 5,000 iteration 동안 외부 힘이 물체를 참조 쪽으로 끌어 주므로, “촉각 보상이 접촉 획득을 가능하게 했다”는 Table I의 해석은 이 보조 장치가 함께 켜진 조건에서의 비교다. 모든 변형에 같이 적용됐다면 비교의 공정성에는 문제가 없지만, 논문만 읽은 독자는 이 장치의 존재를 알 수 없다.

관련 연구와의 자리 매김

참조 추종 리타게팅 계열. ManipTrans는 손 모방 사전학습 + 잔차 모듈 구조에서 모캡 손-물체 거리가 임계값 안일 때 접촉력을 보상하고 종료 조건에도 쓴다. DexTaG의 Geom-gated가 바로 이 거리 게이트를 재현한 것이므로, DexTaG는 ManipTrans의 접촉 항을 “측정된 접촉”으로 바꿔 끼운 실험으로 볼 수 있다. DexMachina는 가상 물체 컨트롤러의 강도를 줄여 가는 커리큘럼으로, SPIDER는 샘플링 기반 최적화와 가상 접촉 가이던스로 같은 접촉 획득 문제를 푼다. 셋 다 참조의 기하에 기대는 반면 DexTaG는 별도의 측정 채널을 가져온다는 점에서 축이 다르다.

한 정책으로 여러 참조를. DexTrack은 궤적별 RL로 시연을 캐고 공유 컨트롤러를 학습하며, FlashDexRetarget은 multi-reference tracking과 FlashSAC으로 수십~수천 모션을 한 정책에 담는다. DexTaG의 다중 궤적 학습도 이 흐름에 있지만 범위가 같은 물체·같은 과제로 좁고, 비교 대상이 궤적당 정책(ManipTrans)뿐이라 이 계열 안에서의 상대적 위치는 알 수 없다. 반대로 이 계열 방법들은 OakInk2·TACO 같은 촉각 없는 모캡 데이터를 쓰므로, DexTaG의 촉각 보상을 그대로 붙일 데이터가 없다. 촉각 장갑 데이터가 더 쌓여야 두 흐름이 만난다.

촉각을 학습 신호로. 로봇 촉각을 정책 입력으로 쓰는 연구(VT-Refine 등)나 촉각 시뮬레이션의 sim-to-real 간극을 줄이는 연구(TacMap, Tactile Genesis)와 달리, DexTaG는 사람의 촉각을 보상으로만 쓴다. Tactile Genesis가 같은 Genesis 엔진 위에서 “정책이 어떤 촉각 표현을 필요로 하는가”를 물었다면, DexTaG는 정책에게 촉각을 주지 않고도 사람의 촉각에서 이득을 얻을 수 있음을 보였다. 저자들이 가장 가깝다고 꼽는 PTLD는 로봇 촉각 데이터로 고유감각에서 접촉 상태를 추정하는 쪽이다.

데이터 수집 장치. DexExo 같은 외골격, AnyTeleop 같은 시각 텔레오퍼레이션, EgoScale 같은 1인칭 사람 영상 대비, 장갑 모캡은 손재주를 최대한 보존하는 대신 로봇 실행 가능성을 사후에 만들어야 한다. TeleDexter가 사람의 목표를 RL 컨트롤러가 접촉으로 실현하게 하는 원격조작 쪽 해법이라면, DexTaG는 같은 문제를 오프라인 시연 변환 쪽에서 장갑 촉각으로 푼다.

요약

DexTaG는 촉각 장갑 시연을 로봇 손으로 옮기는 RL 리타게팅에서, 손-물체 포즈 참조의 기하로 추론하던 접촉을 장갑이 측정한 촉각 지도로 대체한다. 촉각으로 열리는 손끝 근접 보상과 정규화된 촉각 지도 유사도 보상이 접촉 획득과 사람다운 파지를 유도하고, 같은 물체의 시연 전체를 정책 하나로 학습한 뒤 촉각 없는 학생으로 증류해 실기에 올린다. 게이트만 바꾼 통제 비교(Prox-only vs Geom-gated)가 “측정된 접촉이 기하 추정보다 낫다”를 뒷받침하는 것이 이 논문의 가장 단단한 증거다.

한계는 범위와 비교의 공정성에 있다. 공구 두 개, 한 손, 한 장갑, 같은 물체 안의 held-out 일반화로 한정되고, OakInk2 스케일링 비교는 촉각 없이 서로 다른 학습 예산으로 이뤄졌다. 실기 평가는 학습 참조를 재생한 것이고, 단일 시도로 끝까지 가는 비율은 10%대다. 그래도 “로봇에 촉각 센서가 없어도 사람의 촉각에서 배울 수 있다”는 메시지는 촉각 장갑이 데이터 수집 도구로 퍼지는 흐름에서 실용적이고, 코드·데이터·체크포인트가 공개돼 있어 다른 손과 다른 공구로 확장해 볼 수 있다. 단 공개 코드는 시뮬레이션 학습까지이고, 촉각 유사도 보상은 논문 식보다 손이 더 가 있으므로 코드와 함께 읽어야 한다.

이 글에 대해

• 읽은 범위: arXiv v1(2026-09-27 제출) 본문 6쪽을 HTML과 PDF 양쪽으로 읽었고, 인용한 표 값은 두 판본에서 대조했다. 부록은 없다. 프로젝트 페이지 dextag.github.io의 본문과 영상 41편 목록을 모두 확인했고, 그중 24편을 받아 프레임을 뽑아 내용을 확인한 뒤 캡션을 썼다. 코드는 GitHub 레포(2026-09-28 생성, MIT) 업스트림 커밋 b4f5fd0 기준이다. README와 파일 트리는 직접 봤고, 코드 대조 절의 내용은 같은 루프의 코드 정적 분석 노트를 받아 핵심 함수(촉각 유사도 보상, 증강 설정, iteration 카운터, 보조 힘, DAgger 버퍼)를 원 파일에서 다시 열어 확인한 것이다. 코드는 실행하지 않았다.
• 표기: “필자 계산”은 논문 표의 값으로 직접 계산한 것이고, “필자 해석”은 논문이 말하지 않은 추론이다. “프로젝트 페이지”로 표시한 서술은 논문 본문이 아니라 페이지 문구에서 왔다.
• 영상: 모두 프로젝트 페이지의 원 URL을 외부 src로 참조한다(H.264, access-control-allow-origin: *). 실기 롤아웃 두 편은 8~10 MB라 preload="metadata"로 넣었다.
• 조회 시점: 2026-10-27.