📃HandMimicX 리뷰

dexterity

human-video

egocentric

real2sim

HandMimicX: Learning Human-Like Dexterous Manipulation via an Object-Centric Policy from Egocentric Videos

Published

November 13, 2026

Paper Link (arXiv:2610.41336)
Project
Zihan Gao, Yufei Liu, Yuhong Zhang, Zhen Yu, Xinhao Huang, Zhinan You, Kai W. Ho, Zipeng Ye, Peng Jiao, Haoqian Wang
Tsinghua University · TsingTec · Meituan · The Chinese University of Hong Kong, Shenzhen · University of Southern California / arXiv preprint (cs.RO), 2026 (v2)

💡 사람 영상 한 편에서 dexterous 기술을 배울 때 손 궤적을 그대로 따라 하게 하면 재구성 오차에 민감하고 시연한 자리에서만 통한다. 반대로 물체 목표만 주는 object-centric RL은 일반화는 되지만 손 모양이 기괴해진다. HandMimicX는 목표는 물체 자세로 주고, 사람 손은 “처음 잡는 순간의 손 모양·접촉 부위·손-물체 상대 자세” 한 장면으로만 보상에 넣는다.
⚙️ egocentric RGB-D 영상 한 편에서 SAM3D(물체 mesh)·HaWoR(손 자세)·HACO(접촉)·FoundationPose(물체 궤적)로 손-물체 상호작용을 재구성하고, 손 위치를 depth로 보정한다. 그 mesh로 시뮬레이터에서 UR5 팔 + 20-DoF Wuji 손(26차원 action)이 무작위 6-DoF 목표 자세를 추종하도록 PPO 계열 SAPG로 학습한다(3,200여 물체 사전학습 30K iteration → 과제별 finetuning 10K). 실기는 DAgger로 증류한 student가 FoundationPose 물체 자세만 보고 움직인다.
🎯 시뮬 8개 과제 평균 성공률 85.4%로 Dex4D 66.8%, SimToolReal 57.3%를 앞서고, 실기는 과제당 10회씩 57/80(71.3%) 이다. 다만 제목의 “human-like”는 정량 지표가 하나도 없고 그림 한 장(Fig. 5, 물체 3개)으로만 보인다. 실기에는 baseline도 ablation도 없다. 코드는 공개되지 않았다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

사람 영상에서 로봇 손 기술을 배우는 RL 연구는 대체로 두 갈래다. 하나는 재구성한 사람 손 궤적을 참조로 놓고 residual action을 배우는 방식이다(ManipTrans, DexTrack 계열). 정밀하게 따라 하지만 손-물체 궤적이 조금만 어긋나도 성능이 무너지고, 시연한 궤적을 재생하는 데 그친다. 다른 하나는 물체가 어디로 가야 하는지만 목표로 주는 object-centric 방식이다(Dex4D, SimToolReal). 시연과 다른 위치로도 일반화되지만, 물체만 옮기면 되니 손가락이 사람이라면 절대 하지 않을 모양으로 물체를 감싸는 일이 생긴다(§I).

HandMimicX는 그 중간을 노린다. RL 목표는 물체 자세로 정의해 손 궤적에서 기술을 떼어 내고, 사람 영상에서는 첫 접촉 순간의 손 상태 하나만 뽑아 “interaction prior”로 보상에 넣는다. 이름의 “X”는 궤적 모방을 넘어선 일반화를 뜻한다고 저자들은 설명한다(§I).

HandMimicX 개요(Fig. 1). 사람 영상 한 편 → 손-물체 상호작용(HOI) 재구성과 interaction prior 추출 → 무작위 목표 자세 \mathrm{RT}_1 \dots \mathrm{RT}_n을 추종하는 object-centric policy 학습 → 측면 RGB-D 카메라로 실기 배치. 위는 쓸기, 아래는 우산 걸기.

핵심 방법론:

보상은 다섯 항의 가중합이다(§III-C).

r_t = w_{\mathrm{app}}r_{\mathrm{app}} + w_{\mathrm{con}}r_{\mathrm{con}} + w_{\mathrm{ges}}r_{\mathrm{ges}} + w_{\mathrm{rel}}r_{\mathrm{rel}} + w_{\mathrm{track}}r_{\mathrm{track}}

r_{\mathrm{app}}은 손가락-물체 거리를 줄이게 하고, r_{\mathrm{track}}은 목표 자세에 닿을 때마다 bonus를 준다. 나머지 셋이 사람 영상에서 온다. r_{\mathrm{con}}은 HACO가 사람 손에서 찾은 접촉 부위를 로봇 손 부위로 옮겨, 그 부위가 물체에 닿았는지를 센다. r_{\mathrm{rel}}은 손-물체 상대 위치·자세가 시연과 다르면 벌점을 준다. r_{\mathrm{ges}}는 손바닥 중심에서 손가락 관절로 뻗는 벡터들을 시연(Wuji 손으로 retarget한 자세)과 비교한다.

r_{\mathrm{ges}}^{t} = \exp\!\Big(-\beta\sum_{f,j}\big\lVert \mathbf{v}^{t}_{f,j}-\mathbf{v}^{*}_{f,j}\big\rVert_2\Big),\qquad \mathbf{v}^{t}_{f,j} = (\mathbf{R}^{H}_t)^{\top}\big(\mathbf{p}^{t}_{f,j}-\mathbf{p}^{H}_t\big)

여기서 (\mathbf{p}^{H}_t,\mathbf{R}^{H}_t)는 손바닥 자세, \mathbf{p}^{t}_{f,j}는 손가락 f의 관절 j 위치, \mathbf{v}^{*}_{f,j}는 시연에서 얻은 기준 벡터, \beta는 민감도다. 정책 관측은 현재·목표 물체 point cloud(mesh에서 뽑은 128점), 로봇 관절 상태, 직전 action, 손가락-물체 거리이고, 출력은 6-DoF UR5 팔과 20-DoF Wuji 손을 함께 움직이는 26차원 action이다.

주요 결과:

시뮬 8개 과제(무작위 waypoint 5개를 모두 통과하면 성공, 4,096 env): 평균 85.4% vs Dex4D 66.8%, SimToolReal 57.3%. 8개 과제 전부에서 1위(Table I).
ablation(Table II): interaction prior 제거 75.1%, point correspondence 제거 78.3%, 사전학습 제거 73.3%.
실기(Table III): 과제당 10회, 시연 궤적을 affine 변형한 궤적을 추종해 57/80 = 71.3%. 과제별 6/10~8/10.

결론:

“물체 목표 + 한 장면짜리 손 prior”라는 조합은 단순하고, 시뮬에서는 두 object-centric baseline을 크게 앞선다. 하지만 이 논문이 정량으로 보인 것은 성공률뿐이다. 제목의 “human-like”, 기여로 내세운 4D HOI 재구성의 정확도, depth 보정의 효과, sim-to-real 간극은 모두 측정이 없다. 보상 다섯 항 중 세 항은 식이 없고 가중치·\beta·\epsilon·시뮬레이터 설정도 빠져 있어, 코드가 없는 지금은 재현할 수 없다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

사람 영상 한 편에는 두 종류의 정보가 섞여 있다. “물체가 어디서 어디로 갔는가” 와 “사람 손이 그 물체를 어떻게 쥐었는가” 다. 손 궤적 모방은 둘을 한 덩어리로 따라 하게 해서 재구성 오차와 시연 위치에 묶이고, 순수 object-centric RL은 앞의 것만 써서 손 모양을 잃는다. HandMimicX는 둘을 갈라, 앞의 것은 무작위로 바꿀 수 있는 목표로 일반화하고 뒤의 것은 첫 접촉 순간 한 장면으로 압축해 보상의 정규화 항으로 쓴다. 아이디어는 깔끔하다. 그런데 “손 모양이 사람 같아졌다”는 핵심 주장은 측정되지 않았고, 증거는 시뮬 성공률 표와 그림 한 장에 기대고 있다.

배경: 손을 따라 할 것인가, 물체를 옮길 것인가 (§I, §II)

저자들의 문제 설정은 세 가지 긴장으로 정리된다.

사람-로봇 embodiment 차이와 시각-물리 차이. 영상에서 본 동작을 로봇에 옮기려면 손 구조 차이와 “보이는 것과 물리적으로 되는 것”의 차이를 넘어야 한다. 저자들은 시뮬레이터 안의 RL이 이 간극을 메우는 수단이라고 본다(§I).
손 궤적 모방형 RL의 취약성. HERMES, ManipTrans, DexTrack, AMR 같은 방법은 손 움직임을 주 감독 신호로 두고 residual action으로 다듬는다. 정밀한 모방은 되지만 손-물체 궤적 재구성이 정확해야 하고, 작은 정렬 오차에도 성능이 흔들리며, 옮길 수 있는 기술보다 운동학적 재생에 치우친다고 저자들은 비판한다(§I).
object-centric policy의 부자연스러움. Dex4D, SimToolReal처럼 물체 상태를 목표로 두면 “시연을 재현하는 것”에서 “과제가 이루려는 것”으로 목표가 옮겨 간다. 대신 물체 수준 성공에 치우쳐 물리적으로 그럴듯하지 않은 접촉과 부자연스러운 손가락 배치가 나온다(§I, §II-C).

관련 연구 절(§II-C)은 가장 가까운 선행 연구로 Human2Sim2Robot을 직접 언급한다. 사람 RGB-D 시연 한 편에서 시뮬 RL로 정책을 배운다는 점이 같은데, 저자들은 그 PCA 기반 손 action space가 “degenerate hand configuration”으로 이어질 수 있다고 지적한다. 다만 이 비판을 뒷받침하는 비교 실험은 없다(아래 약점 절).

방법 ①: egocentric HOI 재구성 (§III-B)

파이프라인(Fig. 2). (a1) RGB-D 영상에서 물체와 손을 재구성하고 depth로 정렬한다. (a2) 첫 접촉 프레임의 손-물체 상태를 interaction prior \boldsymbol{g}^{*}_{\mathrm{hand}}로 뽑는다. (b1) correspondence-aware encoder가 현재·목표 물체 point cloud를 latent로 바꾸고, \boldsymbol{o}^{\mathrm{prop}}_t, \boldsymbol{a}_{t-1}, \boldsymbol{d}^{\mathrm{h,o}}와 이어 붙여 actor/critic MLP에 넣는다. SAPG는 leader 1개와 explorer 3개 block(각 1,024 env)으로 rollout을 모은다. (b2) teacher가 임의의 목표 자세를 추종하도록 학습된다. (b3) DAgger로 student를 증류한다. (c) 실기에서는 실시간 물체 자세 추적으로 student를 돌린다.

입력과 추정기

입력은 egocentric RGB-D 영상 한 편이다. Fig. 1의 그림은 머리에 쓰는 카메라를 그리고 있지만, 본문은 녹화 장비의 기종·해상도·depth 방식을 밝히지 않는다. 재구성은 기존 모델을 조합한다.

무엇을 뽑나	추정기	쓰임
물체 mesh(metric scale)	SAM3D	시뮬 asset, 128점 point cloud의 원천
손 자세(world frame, MANO)	HaWoR	첫 접촉 순간의 손 모양·손-물체 상대 위치
손-물체 접촉 여부와 접촉 부위	HACO	정점별 이진 접촉 → 부위별 접촉 → 로봇 손 부위
시연 전체의 물체 6-DoF 궤적	FoundationPose	학습에는 안 쓴다. 실기 목표 궤적과 추가 궤적 생성의 기준

마지막 행이 중요하다. 물체 궤적은 정책 학습에 직접 들어가지 않는다고 저자들은 명시한다(§III-B). 시뮬 학습에서 목표는 무작위로 뽑은 자세이고, 시연 궤적은 실기에서 무엇을 추종할지를 정할 때만 쓰인다.

depth로 손 위치 보정하기

손과 물체를 따로 재구성하면 머리가 계속 움직이는 egocentric 영상에서 scale drift와 공간 어긋남이 생긴다. 저자들은 손의 전역 translation만 depth로 보정한다. 접촉 프레임 t마다 손 mask 안의 유효 depth 픽셀을 world 좌표 point cloud로 역투영하고 그중 10점을 무작위로 골라 depth anchor 집합 \mathcal{P}_t를 만든다. 카메라에 보이는 MANO 정점들의 world 좌표를 \mathcal{V}_t라 하면,

\Delta\mathbf{t}_t^{*} = \arg\min_{\Delta\mathbf{t}} \sum_{\mathbf{v}\in\mathcal{V}_t} \rho\!\Big(\min_{\mathbf{p}\in\mathcal{P}_t}\big\lVert \mathbf{v}+\Delta\mathbf{t}-\mathbf{p}\big\rVert_2^2\Big),\qquad \mathbf{t}_t = \mathbf{t}^{0}_t + \Delta\mathbf{t}^{*}_t

\rho(\cdot)는 depth outlier에 덜 민감하도록 쓴 Huber loss, \mathbf{t}^{0}_t는 HaWoR가 낸 원래 translation이다. 저자들은 이 보정이 “interpenetration을 크게 줄이고 공간·시간 일관성을 높인다”고 쓴다.

식을 뜯어 보면 몇 가지가 눈에 띈다. 보정 대상은 3차원 translation 하나뿐이고 회전·손가락 관절·scale은 그대로다. 각 보이는 정점이 10개 anchor 중 가장 가까운 점으로 끌려가므로 사실상 “손 표면이 depth 표면 근처에 오도록 평행이동”하는 정렬이다. 10점은 매우 듬성듬성하다(필자의 해석: 손 표면 정점 수백 개가 같은 몇 점으로 끌려가는 구조라 anchor 샘플링에 따라 해가 흔들릴 수 있다). 그런데 이 보정의 효과를 보여 주는 수치, 즉 penetration 깊이나 손-물체 거리 오차의 전후 비교는 논문에 없다. 프로젝트 페이지의 전후 비교 영상 두 편이 유일한 근거다.

프로젝트 페이지의 Depth Refinement 영상(우산, 세정제 분무기). 각 영상의 왼쪽이 보정 전(Before), 오른쪽이 보정 후(After)다. 장면 point cloud 위에 재구성한 물체와 MANO 손을 겹쳐 그렸다.

방법 ②: interaction prior는 정확히 무엇인가 (§III-B, §III-C)

논문은 interaction prior를 “접촉이 시작되는 순간의 손 자세, 손-물체 상대 위치, 부위 단위 접촉” 으로 정의한다(§III-B). Fig. 2(a2)도 “First Interaction Frame”에서 뽑은 \boldsymbol{g}^{*}_{\mathrm{hand}}로 그린다. 즉 시연 전체가 아니라 한 프레임이다.

접촉과 손 자세 retargeting(Fig. 3). HACO가 MANO 손 mesh에서 접촉 부위(녹색)를 추정하고, 이를 Wuji 손의 대응 부위로 옮긴다. 손 자세 retargeting은 AnyTeleop의 방법을 쓴다.

이 한 프레임이 보상 세 항으로 나뉘어 들어간다.

접촉 부위. HACO는 MANO 정점 \boldsymbol{v}마다 이진 접촉 라벨 h_t(\boldsymbol{v})\in\{0,1\}를 낸다. 이를 미리 정한 해부학적 분할로 묶어 부위별 접촉을 만들고, Wuji 손의 의미상 대응 부위(각 부위는 후보 로봇 link 집합과 연결)로 옮긴다. 그 결과가 목표 접촉 부위 집합 \mathcal{C}다.
손 모양. 시연 손 자세를 AnyTeleop의 retargeting(사람·로봇 손 keypoint 벡터 차이를 줄이는 최적화)으로 Wuji 손에 옮기고, 손바닥 중심에서 손가락 관절로 뻗는 벡터들 \mathbf{v}^{*}_{f,j}로 표현한다.
손-물체 상대 자세. 기준 상대 위치 \hat{\mathbf{P}}_{\mathrm{rel}}와 상대 회전 \hat{\mathbf{R}}_{\mathrm{rel}}.

여기서 짚을 것이 하나 있다. retargeting은 로봇 action을 만드는 데 쓰이지 않는다. 정책이 따라갈 손 궤적을 만드는 것이 아니라, 보상이 비교할 기준 손 모양 하나를 만드는 데만 쓰인다. “사람 손 궤적 → 로봇 손 궤적 retargeting → 추종”으로 짐작하기 쉽지만 구조가 다르다.

방법 ③: object-centric policy의 구조 (§III-C)

관측과 action

구분	teacher \boldsymbol{\pi}^{\mathrm{T}}	student \boldsymbol{\pi}^{\mathrm{S}}
현재·목표 물체 point cloud(N=128, mesh 표면 점)	✅ (encoder → latent)	✅ 실기에서는 FoundationPose 자세로 mesh 점을 변환
로봇 관절 위치·속도 \boldsymbol{o}^{\mathrm{prop}}_t	✅	✅
직전 action \boldsymbol{a}_{t-1}	✅	✅
손가락 끝-물체 최근접 거리 \boldsymbol{d}^{\mathrm{h,o}}	✅	❌
접촉 정보	언급 있음(아래 참고)	❌
출력	26차원 action(UR5 6 + Wuji 20)	같음

본문은 접촉·충돌 신호를 “정책 성능을 평가하는 데 쓰는 추가 privileged 정보”라고만 쓰고 teacher 관측 목록에는 넣지 않는다. 그런데 student 설명은 “손가락-물체 거리와 접촉 정보를 제외한다”고 쓴다. 접촉이 teacher 관측에 들어가는지 보상 계산에만 쓰이는지 본문만으로는 갈리지 않는다.

26차원 action이 관절 위치 목표인지, 증분(delta)인지, 토크인지, 제어 주기와 PD gain이 얼마인지도 논문에 없다. “action space”를 묻는 독자에게 줄 수 있는 답은 “팔 6 + 손 20 관절을 함께 내는 26차원”까지다.

correspondence-aware encoder

CordViP에서 착안한 point correspondence 학습이다. mesh에서 뽑은 N=128점 \bar{\mathbf{X}}=\{\bar{\mathbf{x}}_i\}_{i=1}^{N}을 현재 자세와 목표 자세로 각각 옮긴 것이 \mathbf{X}^{c}_t, \mathbf{X}^{g}_t다. 공유 PointNet \phi_\theta가 점별 특징 \mathbf{H}^{s}_t=\phi_\theta(\mathbf{X}^{s}_t), s\in\{c,g\}를 내고, 양방향 cross-attention으로 서로를 섞는다.

\widetilde{\mathbf{H}}^{c}_{t} = g_{\theta}(\mathbf{H}^{c}_{t},\mathbf{H}^{g}_{t}) + \mathbf{H}^{c}_{t},\qquad \widetilde{\mathbf{H}}^{g}_{t} = g_{\theta}(\mathbf{H}^{g}_{t},\mathbf{H}^{c}_{t}) + \mathbf{H}^{g}_{t}

g_\theta는 transformer 기반 cross-attention이다. 나머지 관측은 MLP encoder로 proprioceptive embedding이 되고, 모든 embedding이 actor로 들어간다. Fig. 2(b1)에 그려진 actor/critic MLP의 폭은 1024-1024-512-512다. \widetilde{\mathbf{H}}들을 어떻게 pooling해 하나의 latent로 만드는지는 본문에 없다.

왜 이 encoder가 통하는가 (필자의 해석)

Fig. 8(c)와 §IV-C를 보면 현재·목표 point cloud는 같은 canonical 표면점 128개를 두 자세로 옮긴 것이다. 실기에서 “현재 point cloud”도 depth에서 뽑은 점이 아니라 FoundationPose 자세로 mesh 점을 변환한 것이다. 따라서 점 i와 점 i의 대응은 구성상 이미 index로 주어져 있다. 이 encoder가 실제로 하는 일은 대응을 찾는 것이 아니라, “두 자세 사이의 상대 변환 + 물체 모양(어느 점이 손잡이 끝이고 어느 점이 머리인가)”을 점별로 묶어 표현하는 것으로 보인다. 관측 측면에서는 6-DoF 자세 차이를 기하가 실린 형태로 푼 것에 가깝다. 이 해석이 맞다면 ablation의 “w/o Correspondence”(−7.1pp)는 “대응 학습”의 효과라기보다 두 point cloud 특징을 섞는 fusion 모듈의 효과로 읽는 편이 정확하다. 실제로 논문도 이 ablation을 “correspondence-aware encoder에서 feature fusion 모듈을 뺀 것”으로 정의한다(§IV-B).

방법 ④: 보상 (§III-C)

r_t = w_{\mathrm{app}}r_{\mathrm{app}} + w_{\mathrm{con}}r_{\mathrm{con}} + w_{\mathrm{ges}}r_{\mathrm{ges}} + w_{\mathrm{rel}}r_{\mathrm{rel}} + w_{\mathrm{track}}r_{\mathrm{track}}

접촉 보상은 목표 부위 중 물체에 닿은 부위 수다.

r_{\mathrm{con}} = \sum_{i\in\mathcal{C}} I\big(d^{\mathrm{h,o}}_{i} < \epsilon\big)

d^{\mathrm{h,o}}_{i}는 로봇 손 i번째 부위와 물체 사이 거리, \epsilon는 접촉 문턱, I(\cdot)는 indicator다. 접촉은 실제 접촉력이 아니라 거리 문턱으로 판정된다. 손 모양 보상 r_{\mathrm{ges}}는 Ping에 적은 식 그대로다. 합이 제곱 norm이 아니라 norm의 합이라, 벡터 하나의 오차가 다른 벡터들에 비례하지 않고 선형으로 더해진다.

다섯 항 중 식이 주어진 것은 둘뿐이다. 정리하면 이렇다.

항	논문의 정의	빠진 것
r_{\mathrm{app}}	손가락-물체 거리 \boldsymbol{d}^{\mathrm{h,o}}를 줄이도록	식 전체
r_{\mathrm{con}}	위 식	\epsilon 값, 부위 분할과 대응 표
r_{\mathrm{ges}}	위 식	\beta 값, 관절 벡터 개수
r_{\mathrm{rel}}	상대 위치 차 \mathbf{P}^{t}_{\mathrm{rel}}-\hat{\mathbf{P}}^{t}_{\mathrm{rel}}와 상대 회전 차 \mathbf{R}^{t}_{\mathrm{rel}}\ominus\hat{\mathbf{R}}^{t}_{\mathrm{rel}}(axis-angle)에 벌점	식 전체, 두 차이의 결합 방식
r_{\mathrm{track}}	목표에 닿을 때마다 bonus	도달 판정 문턱, bonus 크기
가중치	w_{\mathrm{app}},\dots,w_{\mathrm{track}}	값 전부

두 가지 모호함이 더 있다. 첫째, interaction prior는 첫 접촉 한 프레임인데 r_{\mathrm{rel}}의 기준값 \hat{\mathbf{P}}^{t}_{\mathrm{rel}}에는 시간 첨자 t가 붙어 있다. 시연의 시간별 상대 자세를 쓰는지, 한 프레임 값을 매 스텝 비교하는지 본문만으로는 알 수 없다. 둘째, 손 모양 보상이 에피소드 전체에 걸리는지(망치질 중에도 “처음 잡은 모양”을 유지하라고 하는지) 접촉 직후에만 걸리는지도 적혀 있지 않다. 본문의 “Throughout the process, the interaction prior shapes the reward”는 전자를 시사한다. 그렇다면 물체를 돌려 세우는 Upright Sprayer처럼 잡은 뒤 손 모양이 바뀌어야 하는 과제에서는 이 항이 오히려 제약이 될 수 있다(필자의 해석).

방법 ⑤: 학습 절차 (§III-C)

“RL인가 IL인가”에 대한 답은 분명하다. 시뮬 RL(PPO 계열 SAPG)로 teacher를 만들고, DAgger로 student를 증류한다. 사람 영상을 behavior cloning으로 모방하는 단계는 없다. 사람 영상은 (1) 시뮬 asset(물체 mesh), (2) 보상의 기준값(interaction prior), (3) 실기 목표 궤적으로만 쓰인다.

사전학습 → finetuning

손의 action space가 고차원이라 바로 최적화하기 어렵다는 이유로 2단계를 쓴다. 사전학습은 DexYCB와 UniDexGrasp의 3,200개 이상 물체에서, 물체마다 수백 개의 기준 손 자세를 두고 일반 조작 능력을 익힌다. finetuning은 과제마다 해당 영상에서 뽑은 물체와 interaction prior로 한다. 두 단계는 같은 정책 구조와 같은 보상식을 쓴다.

사전학습 물체 예시(Fig. 4). 일상 물체(과일, 캔, 그릇, 머그 등)와 공구(망치, 드라이버, 가위, 드릴 등)가 섞여 있다.

항목	값	출처
과제당 사람 영상	1편(egocentric RGB-D)	§I, §III-A
사전학습 물체	3,200개 이상(DexYCB, UniDexGrasp)	§III-C
물체당 기준 손 자세	수백 개	§III-C
사전학습 / 과제별 finetuning	30K / 10K iteration	§III-C
병렬 env	4,096 (SAPG block 4개 × 1,024)	§III-C, Fig. 2
최적화	SAPG(block마다 다른 탐색 분포), 두 단계 모두	§III-C
actor/critic MLP	1024-1024-512-512	Fig. 2
point cloud 점 수	128	§III-C, Fig. 8
증류	DAgger, \ell_2 action matching	§III-C

사전학습 데이터의 기준 손 자세가 어디서 왔는지는 적혀 있지 않다. DexYCB는 사람 손 파지 데이터이고 UniDexGrasp는 합성 파지 데이터인데, 이것을 Wuji 손으로 어떻게 옮겼는지, 사전학습 단계의 접촉 부위 \mathcal{C}는 무엇으로 정하는지가 빠져 있다. 시뮬레이터 이름도 본문에는 없다(참고문헌에 Isaac Gym과 MuJoCo가 “시뮬레이션의 발전”으로 함께 인용될 뿐이다). iteration당 rollout 길이, 에피소드 길이, domain randomization, 관측 노이즈, 학습 시간과 GPU도 보고되지 않는다.

DAgger 증류

finetuning을 마친 teacher를 같은 actor 구조의 student로 증류한다.

\mathcal{L}_{\mathrm{distill}} = \Big\lVert \pi^{\mathrm{S}}\big(o^{\mathrm{partial}}_t\big) - \pi^{\mathrm{T}}\big(o^{\mathrm{priv}}_t\big) \Big\rVert_2^2

o^{\mathrm{priv}}_t는 privileged 관측, o^{\mathrm{partial}}_t는 실기에서 얻을 수 있는 관측이다. 빠지는 것은 손가락-물체 거리와 접촉 정보뿐이고, 물체 자세는 student도 그대로 받는다(실기에서는 FoundationPose 추정값). 그래서 이 증류는 “보이지 않는 물체 자세를 추정하게 만드는” 증류가 아니라 손가락-물체 거리 없이도 같은 행동을 내게 하는 비교적 가벼운 증류다. student가 시뮬에서 teacher 대비 얼마나 떨어지는지는 보고되지 않았다.

직관: 물체가 “무엇을”, 한 장면이 “어떻게”를 맡는다

이 설계를 한 문장으로 요약하면 과제의 내용은 물체 궤적에, 과제의 스타일은 한 장면에 맡긴 것이다. 망치질을 예로 들면, 망치가 어디로 움직여야 하는지는 무작위 목표와 실기의 시연 궤적이 정한다. 사람이 손잡이를 어느 쪽에서 몇 손가락으로 쥐었는지는 첫 접촉 장면의 손 모양·접촉 부위·상대 자세가 정한다. 손 궤적 전체를 따라 하지 않으니 재구성이 프레임마다 흔들려도 영향을 덜 받는다. 반대로 순수 object-centric 정책처럼 아무렇게나 쥐는 것도 막는다.

이 분리는 잡는 방식이 과제 내내 크게 바뀌지 않는 과제에서 가장 잘 맞는다. 8개 과제 중 망치, 우산, 빗자루, 컵, 가지, 피망은 대체로 한 번 쥐고 옮기는 과제다. 실제로 baseline 대비 이득이 가장 큰 곳도 망치(최강 baseline 대비 +32.7pp), 우산(+35.7pp), 피망(+25.3pp)이고, 물체를 돌려 세워야 하는 Upright Sprayer(+3.5pp)와 이미 baseline이 90% 가까운 Eggplant(+3.3pp)에서는 이득이 작다(필자 계산, Table I). 한 장면 prior가 무엇을 잘하고 무엇을 못하는지와 맞아떨어지는 분포다.

실험: 시뮬 8개 과제와 실기 (§IV)

설정

과제	내용
Nail Hammering	망치를 쥐고 못을 친다
Umbrella Hanging	우산을 고리에 건다
Debris Sweeping	빗자루로 부스러기를 쓰레받기에 쓸어 담는다
Pepper Lifting	피망을 탁자에서 안정적으로 들어 올린다
Eggplant Placement	가지를 바구니에 넣는다
Bowl Stacking	그릇을 다른 그릇 위에 쌓는다
Cup Relocation	컵을 나무 선반에 놓는다
Upright Sprayer	분무기를 똑바로 세운다

프로젝트 페이지의 Ego-centric Human Videos. 8개 과제의 사람 시연을 한 화면에 모았다.

baseline은 object-centric 방법 두 개, SimToolReal과 Dex4D다. 저자들은 각 baseline의 원래 학습 프로토콜을 따르고 과제별 finetuning 단계를 추가했다고 쓴다(§IV-A). baseline을 같은 UR5 + Wuji 구성으로 다시 학습했는지는 명시하지 않는다(원래 SimToolReal은 KUKA iiwa + 22-DoF Sharpa 손이다).

시뮬 평가는 Dex4D와 SimToolReal의 프로토콜을 따른다. 물체를 무작위로 뽑은 waypoint 5개로 차례로 옮기게 하고, 현재 waypoint에 닿으면 다음으로 넘어가며, 5개를 모두 통과하면 성공이다. 성공률은 4,096 env에서 센다(§IV-B).

시뮬 결과 (Table I)

Policy	Nail Hammering	Umbrella Hanging	Debris Sweeping	Upright Sprayer	Cup Relocation	Bowl Stacking	Eggplant Placement	Pepper Lifting	Avg.
SimToolReal	39.2	48.2	42.3	64.6	64.4	69.0	77.1	53.6	57.3
Dex4D	57.8	42.7	75.3	78.4	69.9	58.0	89.6	62.5	66.8
HandMimicX	90.5	83.9	85.7	81.9	84.9	75.2	92.9	87.8	85.4

8개 과제 모두에서 HandMimicX가 1위다. 평균 열은 세 행 모두 과제 평균과 일치한다(필자 검산: 57.3 / 66.775 / 85.35).

세 방법의 손-물체 자세 비교(Fig. 5). 물체 3개(병 모양 물체, 빗자루, 우산)에 대해 SimToolReal(주황)·Dex4D(빨강)·HandMimicX(보라)의 손 자세를 보여 준다. 논문이 “human-like”의 근거로 드는 유일한 그림이다.

프로젝트 페이지의 Simulation 영상(90초, 8개 과제). 원본 30 fps를 15 fps로 줄였다.

Ablation (Table II)

Policy	Nail	Umbrella	Debris	Sprayer	Cup	Bowl	Eggplant	Pepper	Avg.
w/o Pose Prior	78.3	64.1	79.4	64.5	69.7	76.6	92.5	75.9	75.1
w/o Correspondence	85.8	81.7	82.3	72.1	78.5	64.4	87.4	74.2	78.3
w/o Pretraining	79.7	71.6	62.2	71.3	75.0	61.8	90.6	74.1	73.3
HandMimicX	90.5	83.9	85.7	81.9	84.9	75.2	92.9	87.8	85.4

논문의 서술은 “두 구성요소가 각각 성능을 높이고, 함께 쓰면 더 높아진다”이다. 사전학습은 평균 성공률을 12.1 높인다고 쓴다(§IV-B). 표를 직접 읽으면 다음이 보인다.

Bowl Stacking에서는 prior를 뺀 쪽이 더 높다(76.6 vs 75.2). 원표는 이 열에서도 HandMimicX를 굵게 표시한다. Eggplant Placement도 92.5 vs 92.9로 사실상 같다. “각각 성능을 높인다”는 평균 기준으로만 참이다.
“12.1”은 퍼센트포인트(85.4 − 73.3)다. 상대 개선율로는 16.5%다.
“함께 쓰면 더 높아진다”를 검증할 행이 없다. 표는 하나씩 뺀 세 행뿐이고 둘 다 뺀 행이 없어, 상호작용(결합 효과)은 측정되지 않았다.
prior 제거본(75.1)도 Dex4D(66.8)와 SimToolReal(57.3)보다 높다. 그러니 Table I의 격차 18.6pp(대 Dex4D) 중 적어도 8pp 남짓은 사람 영상 prior가 아니라 정책 구조·사전학습·보상의 나머지 항에서 온다(필자 계산). 초록이 강조하는 “사람 영상에서 배운다”와 별개인 부분이다.
“w/o Pose Prior”가 정확히 어떤 항을 끈 것인지 불분명하다. 본문은 “interaction prior regularization을 뺐다”고 쓰는데, prior는 r_{\mathrm{ges}}·r_{\mathrm{con}}·r_{\mathrm{rel}} 세 항에 걸쳐 있고 표 이름은 “Pose Prior”다.
무엇보다 이 ablation은 성공률만 잰다. prior의 존재 이유인 “손 모양이 자연스러워진다”는 이 표에 나오지 않는다.

실기 (Table III, Fig. 6~8)

실기 구성(Fig. 7). 6-DoF UR5 팔, 20-DoF Wuji 손, 측면에 고정한 Intel RealSense D435 한 대. 오른쪽 아래는 과제 물체들이다.

카메라 extrinsic을 로봇 base에 대해 보정해 두고, 추론 중에는 FoundationPose가 물체 6-DoF 자세를 추정한다. mesh에서 뽑은 점들을 그 자세와 extrinsic으로 로봇 base frame에 옮긴 것이 현재 point cloud이고, 목표 point cloud는 과제 목표에 따라 미리 정한다(§IV-C). 과제마다 10회를 돌리며, 회마다 시연 궤적에 affine 변환을 가해 중간 waypoint와 최종 목표 자세를 바꾼 다른 궤적을 추종하게 한다.

Nail	Umbrella	Debris	Sprayer	Cup	Bowl	Eggplant	Pepper	Avg.
8/10	7/10	7/10	6/10	7/10	6/10	8/10	8/10	71.3%

합계 57/80 = 71.25%로 평균 열과 맞는다(필자 검산). 80회 전체에 대한 Wilson 95% 구간은 약 60.5~80.0%, 과제 하나(10회)의 구간은 6/10이 31~83%, 8/10이 49~94%라 과제 간 순위는 이 표본으로 가릴 수 없다(필자 계산). 흥미롭게도 시뮬 성공률이 낮은 Bowl Stacking·Upright Sprayer가 실기에서도 가장 낮은 6/10이다(8개 과제의 시뮬-실기 Pearson 상관 약 0.9, 필자 계산이며 표본이 8개라 참고만 할 값이다).

실기 실행 장면(Fig. 6). 사람 영상에서 뽑은 물체 궤적을 목표로 8개 과제를 수행한다.

한 궤적에서 여러 실행으로(Fig. 8). (a)(b)는 서로 다른 초기 물체 위치·방향에서 같은 가지 놓기 기술을 실행한 장면(빨간 상자는 목표, 녹색은 현재 물체), (c)는 actor가 물체 상태로 받는 128개 canonical 표면 keypoint다.

프로젝트 페이지의 Real World 영상(8개 과제).

프로젝트 페이지의 Policy Inference 영상(Eggplant Placement). 위는 실행 장면, 아래는 물체 자세 추적 화면(빨간 상자: 목표 자세, 녹색: 현재 추정 자세)이다. 원본 60 fps를 30 fps로 줄였다.

실기 평가에서 비어 있는 것이 많다. 실기의 성공 기준(망치가 못을 실제로 쳤는가, 우산이 고리에 걸렸는가, 부스러기가 몇 개 들어갔는가)이 정의되지 않았다. affine 변환의 범위(몇 cm, 몇 도까지 바꿨는가)도 없다. baseline과 ablation은 실기에서 하나도 돌리지 않았다. 그래서 Table III는 “이 시스템이 실기에서 돈다”는 증거이지 “prior나 object-centric 설계가 실기에서 낫다”는 증거는 아니다. 실패 사례 분석도 없다.

“human-like”는 어떻게 정의되고 측정되었나

답은 짧다. 정의는 보상으로만 있고, 측정은 없다.

논문은 “human-like”를 형식적으로 정의하지 않는다. 대신 초록은 “anatomically natural hand configurations”, 기여 목록은 “physically plausible and anthropomorphic”, 실험 절은 “natural, human-like hand–object configurations”라는 표현을 쓴다.
실제로 이를 만드는 장치는 r_{\mathrm{ges}}(retarget한 손 모양과의 벡터 거리), r_{\mathrm{con}}(사람이 닿은 부위가 닿았는가), r_{\mathrm{rel}}(손-물체 상대 자세)이다. 즉 “human-like” = “시연 첫 접촉 장면과 비슷함” 으로 조작적으로 정의된 셈이다.
그런데 그 유사도를 평가 지표로는 한 번도 보고하지 않는다. r_{\mathrm{ges}} 값, 관절각 거리, 접촉 부위 일치율, penetration 깊이, 사람 평가자 판정 중 어느 것도 없다. 근거는 Fig. 5의 물체 3개 정성 그림과 실험 절 한 문단뿐이다.
측정했다면 지표가 쉽게 만들어졌을 것이다. 보상에 이미 있는 \sum_{f,j}\lVert\mathbf{v}^{t}_{f,j}-\mathbf{v}^{*}_{f,j}\rVert와 \mathcal{C} 일치율을 세 방법에 대해 표로 내기만 하면 된다(다만 이것은 HandMimicX가 직접 최적화한 양이라 유리하게 기운 지표라는 점도 같이 적어야 한다).

정량 검증 / 서술만 / 없음

주장·성질	근거의 종류	근거
시뮬에서 두 object-centric baseline보다 성공률이 높다	정량 검증	Table I, 8과제 × 4,096 env (seed 수·분산 미보고)
interaction prior가 성공률을 높인다	정량 검증(평균), Bowl은 역전	Table II
point correspondence(fusion 모듈)가 성공률을 높인다	정량 검증	Table II
사전학습이 성공률을 높인다	정량 검증	Table II, +12.1pp
두 구성요소를 함께 쓰면 더 높아진다	측정 없음	둘 다 뺀 행이 없다
손 자세가 human-like·anatomically natural하다	서술 + 정성 그림	Fig. 5(물체 3개), 지표 없음
물리적으로 그럴듯한 접촉(침투·이상 접촉 감소)	측정 없음	서술만
4D HOI 재구성이 공간적으로 일관된다	측정 없음	재구성 정확도 지표 없음
depth 보정이 interpenetration을 크게 줄인다	서술 + 프로젝트 페이지 영상	수치·ablation 없음
실기로 전이된다	정량 검증(소표본)	Table III, 과제당 10회, 성공 기준 미정의
시연과 다른 공간 배치로 일반화된다	부분 검증	시뮬은 무작위 waypoint, 실기는 affine 변형(범위 미보고)
실기에서도 baseline보다 낫다	측정 없음	실기 baseline 없음
student가 teacher 성능을 유지한다	측정 없음	student 시뮬 성공률 미보고, Table I이 어느 정책인지도 미기재
손 궤적 모방형(residual) RL보다 재구성 오차에 강하다	측정 없음	서론의 핵심 동기지만 해당 계열 비교 없음
Human2Sim2Robot의 PCA action space가 degenerate하다	서술만	비교 없음
“efficient learning from human videos”(초록)	측정 없음	학습 시간·sample 수 미보고
재구성 오차에 대한 강건성	한계로만 언급	§VI

비판적으로 보면

강점

분리가 명확하다. “무엇을”(물체 궤적)과 “어떻게”(첫 접촉 장면)를 갈라 각각 다른 경로(무작위 목표 / 보상 정규화)로 쓰는 설계는 이해하기 쉽고, 손 궤적 모방과 순수 object-centric 사이에 정확히 자리를 잡는다. 시연 물체 궤적을 학습에 쓰지 않는다고 명시한 것도 정직하다.
사람 영상 의존을 최소 단위로 줄였다. 프레임마다 재구성이 맞아야 하는 손 궤적 대신 한 프레임의 손 상태만 쓰므로, egocentric 재구성의 누적 오차에 노출되는 면이 작다. 이 장점 자체는 설계상 타당하다(측정은 안 됐지만).
시뮬 격차가 크고 고르다. 8개 과제 전부 1위이고, 최강 baseline 대비 격차가 3.3~35.7pp다. 이득이 큰 과제(한 번 쥐고 옮기는 공구)와 작은 과제(손 안 재배치)의 분포가 방법의 성격과 맞아떨어진다.
실기 8개 과제를 실제로 돌렸다. UR5 + 20-DoF Wuji 손, 측면 카메라 한 대라는 단출한 구성에서 공구 사용·운반·쌓기·세우기를 모두 보였고, 영상도 공개했다.
ablation 세 축이 다 의미 있는 크기다. prior −10.3pp, fusion −7.1pp, 사전학습 −12.1pp로, 어느 하나도 장식이 아니다.

약점·한계

제목의 “human-like”가 측정되지 않았다. 이 논문을 다른 object-centric 연구와 가르는 유일한 축인데, 지표가 하나도 없고 근거는 물체 3개의 정성 그림(Fig. 5)뿐이다. prior ablation도 성공률만 잰다. 결과적으로 “prior가 성공률을 높인다”는 보였지만 “prior가 손을 사람처럼 만든다”는 보이지 않았다. 보상에 이미 있는 손 모양 거리와 접촉 부위 일치율을 세 방법·ablation에 대해 표로 냈다면 한 번에 해결됐을 문제다.
시뮬의 “과제”는 과제가 아니다. 시뮬 평가는 8개 과제 모두 “무작위 waypoint 5개 통과”로 같다. Nail Hammering의 시뮬 성공률 90.5%는 망치를 친 비율이 아니라 망치를 다섯 자세로 옮긴 비율이다. 과제의 의미(못을 친다, 고리에 건다)는 실기에서 시연 궤적을 줄 때만 들어오는데, 실기에서는 성공 기준이 정의되지 않았다.
실기 증거가 얇다. 과제당 10회, baseline 없음, ablation 없음, 성공 기준·affine 범위·실패 분석 없음. Wilson 구간으로 보면 과제별 순위는 구분되지 않는다. student가 시뮬에서 얼마나 떨어지는지도, Table I이 teacher인지 student인지도 적혀 있지 않다.
서론의 핵심 대조가 실험에 없다. 논문의 동기는 “손 궤적 모방형 residual RL은 재구성 오차에 민감하다”인데, ManipTrans·DexTrack 같은 그 계열과의 비교도, 재구성에 노이즈를 넣었을 때의 강건성 실험도 없다. 가장 가까운 선행 연구인 Human2Sim2Robot도 비판만 하고 비교하지 않는다. baseline 두 개는 모두 사람 영상을 쓰지 않는 object-centric 방법이라, “사람 영상에서 배운다”는 축의 비교 대상이 없다.
격차의 상당 부분은 사람 영상 밖에서 온다. prior를 뺀 판본(75.1%)도 두 baseline을 넘는다. Dex4D 대비 18.6pp 중 적어도 8pp 남짓은 정책 구조·3,200여 물체 사전학습·나머지 보상 항의 몫이다. 게다가 baseline을 같은 로봇(UR5 + Wuji)으로 재학습했는지, 같은 사전학습 물체를 썼는지가 명시되지 않아 공정성을 판단할 수 없다.
“한 편의 영상”이라는 말이 가리는 것. 과제별로는 영상 한 편이지만, 그 위에는 3,200개 이상 물체 × 물체당 수백 개 손 자세의 사전학습이 있다. Fig. 4 예시에는 망치·그릇·머그처럼 평가 과제와 같은 범주의 물체가 보인다. 실제로 사전학습을 빼면 12.1pp가 떨어진다. “single demonstration” 기여는 이 사전 데이터를 전제로 읽어야 한다.
재현 정보가 부족하다. 보상 다섯 항 중 r_{\mathrm{app}}·r_{\mathrm{rel}}·r_{\mathrm{track}}은 식이 없고, 가중치·\beta·\epsilon·도달 문턱이 모두 빠졌다. 시뮬레이터 이름, action 의미(위치 목표/증분), 제어 주기, PD gain, domain randomization, 노이즈, 에피소드 길이, seed 수, 학습 시간도 없다. 부록이 없고 코드도 공개되지 않았다(프로젝트 페이지 저장소에는 페이지와 영상만 있다).
재구성 기여의 검증 부재. 기여 2번 “joint 4D HOI reconstruction pipeline”은 SAM3D·HaWoR·HACO·FoundationPose 조합에 손 translation 보정을 더한 것인데, 재구성 정확도도, 보정이 정책 성능에 주는 효과도 측정되지 않았다. 보정은 translation 3자유도만, depth anchor 10점만 쓴다.
본문 내부의 작은 불일치. 접촉 정보가 teacher 관측에 들어가는지(관측 목록엔 없고 student 설명엔 “제외”), r_{\mathrm{rel}}의 기준값이 한 프레임인지 시간별인지(\hat{\mathbf{P}}^{t}_{\mathrm{rel}}), prior ablation이 어느 항을 끈 것인지가 갈리지 않는다. Table II의 Bowl Stacking 열은 더 낮은 HandMimicX 값을 굵게 표시한다.
한 장면 prior의 구조적 한계. 잡은 뒤 손 모양이 바뀌어야 하는 과제(재파지, 손 안 회전, 도구 기능 자세로의 전환)에서는 첫 접촉 모양이 제약이 될 수 있다. Upright Sprayer의 작은 이득이 그 신호일 수 있지만, 논문은 이를 논의하지 않는다. 접촉이 거리 문턱 기반의 discrete 부위 상태라 힘을 모델링하지 않는다는 점은 저자들도 한계로 인정한다(§VI).

요약

HandMimicX는 사람 영상 한 편을 “물체가 갈 곳”과 “손이 쥐는 방식”으로 나눠, 앞의 것은 무작위 목표로 일반화하고 뒤의 것은 첫 접촉 장면 하나로 압축해 보상에 넣는다. 이 단순한 분리로 시뮬 8개 과제에서 Dex4D·SimToolReal을 평균 18.6pp·28.1pp 앞서고, 실기 8개 과제에서 57/80을 낸다. 사전학습·fusion 모듈·prior 모두 성공률에 의미 있게 기여한다.

하지만 이 논문이 숫자로 보인 것은 성공률에 한정된다. 제목의 “human-like”는 그림 한 장, 재구성과 depth 보정은 서술과 영상, 실기 우위·student 성능·손 궤적 모방 대비 강건성은 측정이 없다. 보상 식 절반과 하이퍼파라미터, 시뮬레이터 설정이 빠져 있고 코드도 없어 지금으로서는 재현할 수 없다. 손 모양 거리·접촉 일치율 같은 지표를 세 방법에 대해 보고하고, 실기 baseline과 residual RL 비교를 더한다면 “human-like”라는 주장이 비로소 실험으로 뒷받침될 것이다.

이 글에 대해

읽은 범위: arXiv v2의 e-print LaTeX 소스를 정본으로 읽었고, 그림 번호는 arXiv HTML 캡션과 대조했다. v1(2026-10-30)과 v2(2026-11-09)는 저자 소속 표기만 다르고(5번 소속 NVIDIA → University of Southern California 등) 본문·표·그림은 같다. 부록은 없다. 그림 1~8은 e-print 소스의 원본 그림 파일이고, 영상은 프로젝트 페이지 원본 mp4를 줄여 실었다.
공개 범위: 코드는 공개되지 않았다. 논문 본문에 코드 저장소 링크가 없고, 프로젝트 페이지의 익명 저장소에는 페이지 HTML·영상·teaser 그림만 있으며 그 안의 초안 페이지는 “code will be added here”(Coming soon)라고 적고 있다. 그래서 이 글의 구현 세부는 논문이 서술한 범위로 한정했고, 수치는 모두 논문이 보고한 값이다. 논문에 없는 설정(시뮬레이터, 보상 가중치 등)은 채우지 않고 “미보고”로 적었다.
표기: “필자 계산·검산”은 논문 표의 값으로 직접 계산한 값(평균 검산, 퍼센트포인트 차이, Wilson 95% 구간, 시뮬-실기 상관)이다. “필자의 해석”으로 표시한 문장은 논문이 직접 주장하지 않은 해석이다. Table II의 열 이름은 지면 때문에 줄여 썼다.