📃CHORD 리뷰

CHORD: Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

• Project

• Paper (PDF)

• Code · arXiv: Coming Soon (2026-06 기준 미공개)

• Xinghao Zhu*, Zixi Liu*, Shalin Jain*, Chenran Li†, Milad Noori†, Huihua Zhao, John Welsh, Michael Andres Lin, Wei Liu, Tingwu Wang, Xingye Da, Zhengyi Luo, Vishal Kulkarni, Naema Bhatti, Yuke Zhu, Linxi Fan, Bowen Wen, Danfei Xu, Soha Pouya, Yan Chang‡

• NVIDIA (Isaac · video_to_data) — *equal, †core, ‡project lead·corresponding

• Preprint, 2026

1. 💡 사람 시연을 손재주(dexterous) 로봇 정책으로 옮길 때, 손 모양·접촉 위치를 그대로 베끼는 대신 접촉이 물체에 가할 수 있는 힘·토크(contact wrench) 를 맞추게 하면 형태가 다른 로봇도 같은 “물체 운동 효과”를 재현할 수 있다.
2. ⚙️ 사람 시연에서 접촉점·마찰콘 → 접촉 렌치 행렬 → support function을 뽑아, 로봇의 렌치가 사람 렌치를 재현하도록 하는 contact wrench-space reward 를 RL(task·imitation reward + VOC)에 더한다.
3. 🎯 4,739개 bimanual 태스크 벤치마크를 구축하고, 그중 1,831개에서 평균 성공률 82.12%, whole-body loco-manipulation에서 90.77%, 실세계 open/closed-loop 전이까지 보였다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

손재주 조작을 사람 시연으로 가르칠 때 가장 흔한 함정은 “사람 손동작을 그대로 따라 하게 하는 것”이다. 사람 손과 로봇 손은 형태·운동학·접촉 기하가 다르므로, 같은 물체 효과를 내려면 다른 접촉을 써야 한다. CHORD의 핵심 통찰은 접촉(contact)이 사람 시연과 로봇 행동을 잇는 자연스러운 다리 라는 것이다. 단, 3D 접촉 위치 를 맞추는 것으로는 부족하다 — 같은 표면을 만져도 접촉 법선·힘 방향에 따라 물체에 생기는 운동이 달라지기 때문이다. 그래서 CHORD는 접촉을 object-centric wrench space(접촉이 물체에 가할 수 있는 force–torque 방향의 공간)에서 표현하고, 사람과 로봇의 접촉을 “어떤 물체 운동을 유발할 수 있는가”로 비교한다. 접촉 위치·개수·손 모양이 달라도 wrench space에서는 비교가 된다.

CHORD 개요(Fig. 1) — (a) 사람 시연의 hand-object 궤적을 입력으로 (b) 시뮬레이션에서 로봇 정책을 학습해 (c) 실로봇으로 전이한다. (d) articulated, (e) rigid 물체 조작과 (f, g) whole-body 임베디먼트로 일반화. 배경은 4,739개 bimanual 태스크 대규모 벤치마크.

핵심 방법론:

각 시점·강체 부분 k에 대해 사람 시연에서 접촉점 p^{h,k}_i와 법선 n^{h,k}_i를 뽑는다. 접촉 i에서 가능한 접촉력 f가 만드는 primitive wrench 는 force와 그 모멘트를 쌓은 6D 벡터다:

w^{i,j}_{h,k} = \left[\, f^{j}_{h,k},\; p^{i}_{h,k}\times f^{j}_{h,k} \,\right]^{\top}\in\mathbb{R}^6 .

Coulomb 마찰콘을 d개의 모서리 힘으로 근사해 모든 primitive wrench를 모으면 wrench matrix \mathcal{W}_{h,k}\in\mathbb{R}^{6\times(c_{h,k}d)} 가 된다 — 이 행렬이 “사람 접촉이 물체에 가할 수 있는 force–torque 방향” 전체를 담는다. 두 wrench matrix는 열 개수·순서가 달라 직접 비교가 어렵다. 그래서 미리 뽑은 b개의 단위 방향 \mathcal{B}\in\mathbb{R}^{6\times b}에 대한 support function 으로 기하를 요약한다:

\sigma_{h,k} = \max_{\mathrm{col}}\big(\mathcal{B}^{\top}\mathcal{W}_{h,k}\big)\in\mathbb{R}^{b}.

로봇 support \sigma_{r,k}를 같은 방식으로 구해, 상대 허용오차 \beta 안에서 사람 reference와 비교하는 것이 contact wrench-space(CWS) reward 다:

r^{k}_{\mathrm{cws}} = \exp\!\left(-\frac{\lVert\max(0,(1-\beta)\sigma_{h,k}-\sigma_{r,k})\rVert_2^2}{v_{\mathrm{cws}}} - \frac{\lVert\max(0,\sigma_{r,k}-(1+\beta)\sigma_{h,k})\rVert_2^2}{v_{\mathrm{cws}}}\right).

앞 항은 로봇 support가 하한보다 작으면, 뒤 항은 상한을 넘으면 벌점을 준다. 추가로 사람 접촉이 없는데(\sigma_{h,k}=0) 로봇이 접촉하면(r_{\mathrm{unintend}}), 사람 접촉이 있는데 로봇이 놓치면(r_{\mathrm{miss}}) 따로 페널티를 준다. 전체 보상은 r = r_{\mathrm{task}} + r_{\mathrm{imit}} + r_{\mathrm{contact}}이며, 여기에 DexMachina의 virtual object controller(VOC) 를 커리큘럼으로 annealing해 탐색을 돕는다.

주요 결과: (PDF에서 확인한 수치만)

• 단일 하이퍼파라미터로 벤치마크 1,831개 태스크 평균 성공률 82.12% — 저자 주장상 이 규모로 평가된 첫 RL 기반 손재주 조작.
• baseline의 원래 태스크 스위트·지표로 비교 시(Table 1) DexMachina 스위트 AUC 0.232→0.687, ManipTrans SR 0.428→0.639; 자체 스위트에서는 Ours-1 AUC 0.211→0.895, Ours-2 SP-SR 0.533→0.982 등 baseline을 매칭·상회.
• reward 형태 ablation(Table 2): box grab SR 0.702(CHORD) vs 0.334(Position Only) vs 0.384(No Contact), mixer use 0.894 vs 0.624 vs 0.423.
• CWS reward와 태스크 성공의 상관: Pearson r\approx0.80(데이터셋별 0.76–0.89), 단조·포화 관계.
• whole-body loco-manipulation 90.77%, 다른 손 형태(G1 + Dex3 3지)로의 cross-embodiment 전이에서 position reward(0.217)를 크게 상회(0.925, Table 3).
• Dexmate + Sharpa 두 손 실로봇에서 open-loop·closed-loop 전이 성공(Fig. 9).

결론: CHORD는 “접촉 위치”가 아니라 “접촉이 만드는 물체 운동(wrench)”을 맞추는 보상으로, 사람 시연 → 손재주 RL 정책 전이를 임베디먼트·접촉 형태에 무관하게 확장 가능하게 만든다. 대규모 벤치마크와 일관된 하이퍼파라미터 평가로 확장성을 실증한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“같은 곳을 만지라”가 아니라 “같은 물체 운동을 만들 수 있게 만지라” — 접촉을 wrench space에서 비교하는 보상 하나로 사람 시연을 형태가 다른 손재주 로봇에 옮기고, 그 효과를 4,739개 태스크 규모로 검증한 연구다.

배경: 왜 사람 시연 전이가 어려운가

손재주 조작은 사람 시연이 풍부하다는 이점이 있지만, 그 시연을 로봇 정책으로 옮기는 일은 여전히 어렵다. CHORD는 두 갈래의 기존 접근이 모두 한계가 있다고 본다. ① 최적화에 시연을 쓰는 방법 은 “시연을 어떻게 전이할지”에 대한 brittle한 가정에 의존하고, ② 표현 학습(representation learning) 방법 은 태스크·물체마다 정렬된 human-robot 데이터를 요구해 curated 세팅 밖으로 확장하기 어렵다. 근본 난점은 형태·운동학·손 기하의 차이 때문에 로봇이 사람 손동작을 그대로 replay 해서는 같은 조작을 재현할 수 없다 는 데 있다.

접촉 가이드를 쓰는 최근 RL 연구들도 한계가 있다. ManipTrans는 시연된 hand-object 상호작용 근처의 접촉력 에 보상을 주고, DexMachina·SPIDER는 시연된 접촉 위치 와 VOC 같은 커리큘럼을 함께 쓴다. VOC는 초기 학습 동안 보조 wrench로 물체를 reference 궤적을 따라 움직여, 정책이 정확한 접촉 타이밍·힘을 즉시 찾지 않아도 되게 해 탐색을 매끄럽게 한다. 그러나 위치 기반 접촉 보상은 접촉 위치만으로는 접촉의 효과가 정해지지 않는다 는 본질적 약점을 안는다 — 같은 물체 영역도 접촉 법선·힘 방향에 따라 다른 물체 운동을 낸다(저자들의 box-opening 예시: 위치는 사람과 가깝지만 접촉 법선이 거의 수직으로 어긋나 물리적으로 mismatch). 한편 기존 grasp 쪽의 wrench 보상은 정적 안정성(force closure) 만 최적화해 grasp엔 좋지만 일반 조작엔 너무 경직돼 있다. CHORD는 wrench space를 사람 시연과 로봇 실행을 “유발 운동”으로 비교하는 척도 로 처음 쓴다고 주장하며, 이는 pushing·levering·sliding 같은 비-force-closure 구간과 articulated 물체까지 포괄한다.

방법 상세

문제 설정. K개 강체 부분을 가진 물체(분리 강체 또는 articulated)를 다룬다. 시연 \tau^{\mathrm{ref}}=\{x^{\mathrm{human}}_t, x^{\mathrm{object}}_t\}_{t=1}^{H}는 3D 손 keypoint와 부분별 SE(3) pose를 준다. 먼저 keypoint에서 IK로 로봇 구성 x^{\mathrm{robot}}_t로 retarget한 뒤, 정책 \pi(a_t\mid o^{\mathrm{robot}}_t, o^{\mathrm{object}}_t; x^{\mathrm{robot}}_t, x^{\mathrm{object}}_t)이 rollout의 물체 pose가 reference를 추종하도록 행동을 낸다.

보상 3종 + VOC. r=r_{\mathrm{task}}+r_{\mathrm{imit}}+r_{\mathrm{contact}}.

• r_{\mathrm{task}}: 부분별 pose 추종 \exp(-\sum_k \lVert x^{\mathrm{object},k}_t\ominus s^{\mathrm{object},k}_t\rVert_2^2/\mathrm{var})에 더해, insertion·pouring·scooping·tool use 처럼 물체-물체 기하가 중요한 구간에서만 켜지는 상대 보상 r_{\mathrm{relative}}=m(t)\exp(-e_{\mathrm{object}}/\mathrm{var}_{\mathrm{rel}})를 둔다.
• r_{\mathrm{imit}}: retarget된 사람 모션 쪽으로의 정규화 \exp(-\lVert x^{\mathrm{robot}}_t-s^{\mathrm{robot}}_t\rVert_2^2/\mathrm{var}_{\mathrm{imit}}).
• r_{\mathrm{contact}}: 위 Ping의 CWS reward r^k_{\mathrm{cws}} + unintended/missed 접촉 페널티.

CHORD 보상 구성(Fig. 2, mixer-closing 태스크) — 왼쪽: 사람 시연에서 추출한 접촉 wrench reference(아래에 접촉 위치·마찰콘은 빨강). 가운데: 시간에 따른 per-hand 접촉 wrench를 force manifold로 시각화, 빨강=사람, 파랑=CHORD 정책이 만든 접촉 wrench. 위=사람 시연, 아래=학습된 로봇 정책.

왜 support function인가(직관). wrench matrix \mathcal{W}는 접촉들이 물체에 가할 수 있는 6D force–torque의 “구름”이다. 두 구름을 직접 비교하려면 열의 개수·순서가 맞아야 하는데, 사람과 로봇은 접촉 개수·순서가 다르다. support function \sigma=\max_{\mathrm{col}}(\mathcal{B}^{\top}\mathcal{W})는 미리 정한 b개 방향마다 “그 방향으로 얼마나 멀리 밀 수 있는가”를 재 — 즉 wrench 다포체(polytope)의 지지 폭 을 방향별로 요약한다. 이렇게 하면 접촉의 개수·순서·위치가 달라도 “물체에 어떤 운동을 유발할 능력이 있는가”라는 임베디먼트-불변 척도 로 환원된다. CWS reward는 로봇의 지지 폭이 사람의 [(1-\beta)\sigma_h,\,(1+\beta)\sigma_h] 밴드 안에 들면 보상하는 구조라, 너무 약한(못 미는) 접촉과 너무 과한(과도하게 미는) 접촉을 모두 억제한다.

효율·강건·일반화 장치(3.2). ① reference 궤적의 임의 상태로 simulator를 reset하되 VOC를 짧은 stabilization window 동안 완전 활성화해 접촉 회복 후 보조를 annealing, ② 물체 부분에 \mathcal{W}_{h,k}에서 샘플한 wrench로 태스크-관련 교란 을 가해 강건화, ③ retarget 모션을 prior로 한 residual action space(ManipTrans식) + VOC 커리큘럼(DexMachina식).

노이즈 대응 — reduced force-closure objective. RGB 비디오 재구성처럼 hand-object 정합이 noisy해 접촉 추정이 불안정하면, 사람 wrench를 직접 맞추는 대신 각 basis 방향으로 양의 지지 를 내게 하는 완화된 목표로 전환한다:

r^{k}_{\mathrm{fc}} = \frac{1}{B}\sum_{b=1}^{B}\mathbb{1}[\sigma_{r,k,b} > \epsilon].

이를 최대화하면 force closure와 동치가 된다. Whole-body 확장 도 같은 골격이다 — hand-only reference(egocentric 재구성)는 inpainting 모듈로 전신 모션을 채운 뒤 CWS reward를, whole-body reference(third-person 재구성)는 손가락 재구성이 부정확하므로 reduced r^k_{\mathrm{fc}}를 쓴다.

벤치마크(3.3). mocap 데이터셋(ARCTIC·OakInk2·HOT3D·TACO 등)과 in-house 비디오 재구성을 Isaac Lab으로 가져와 4,739개 simulatable·trainable 태스크로 변환했다. single/multi rigid + articulated bimanual 조작을 포괄한다. 기존작 대비 시간 horizon·태스크당 접촉 이벤트 수·grasp 안정성(Ferrari-Canny epsilon) 세 지표에서 더 길고 더 dense하다.

벤치마크 분포(Fig. 3) — 시간 horizon, 태스크당 접촉 이벤트 수, Ferrari-Canny epsilon 분포. CHORD(주황)가 DexMachina·ManipTrans·SPIDER보다 더 많은 태스크·더 긴 horizon·더 dense한 접촉을 포함.

실험

대규모 평가(4.1). 1,831개 태스크에 동일 하이퍼파라미터(VOC gain·커리큘럼·reward weight)를 써서 평가했다. 성공 판정은 object-centric termination(위치 오차 15cm 또는 회전 40° 초과) 없이 완료하면 rollout 성공, completion ratio > 0.7이면 태스크 성공이다. 결과는 데이터셋·horizon 전반에서 고르게 강하다.

데이터셋별 성공률(Fig. 5에 대응) — 왼쪽: 1,831 태스크(HOT3D-1Obj 0.772, OakInk2-1Obj 0.786, OakInk2-2Obj 0.746, ARCTIC 0.814, TACO 0.935, HOT3D-2Obj 0.753). 오른쪽: whole-body 평가(ARCTIC 0.994, TPV 0.867, ARCTIC-articulated 0.914, TACO 0.866). 색=rigid/articulated/multi-object.

baseline 비교(4.1, Table 1). ManipTrans·DexMachina·SPIDER를 각자의 원래 태스크 스위트·지표 로 비교한다(Sharpa hand, Isaac Lab에서 신뢰성 있게 시뮬레이션 가능한 태스크만: MT 8, SP 3, DM 7개 + 자체 9개). CHORD는 모든 행에서 매칭·상회하고, 무엇보다 기존작이 rigid/articulated/multi-object 중 일부에 국한된 반면 세 범주 모두 를 푼다.

접촉 가이드 검증(4.2, Table 2). 동일한 non-contact reward를 두고 접촉 감독만 바꿔 비교한다 — CHORD(wrench support) > Position Only(DexMachina식 위치 보상) > No Contact(추종만). box grab 0.702/0.334/0.384, mixer use 0.894/0.624/0.423. 위치만 맞추는 것으로는 접촉-rich 조작을 충실히 재현하기 부족함을 보인다.

reward–성공 상관(4.3). 1,831 run에서 정규화 CWS reward와 성공률은 Pearson r\approx0.80(데이터셋별 0.76–0.89). 단조이되 포화하는 관계(고-reward 영역에서 1에 plateau)라, OLS 직선은 전체 추세의 ~2/3 분산을 설명하면서 고-reward 영역의 적합도를 과소평가한다. CWS reward가 학습 신호이자 proxy metric 으로 유용함을 시사.

왼쪽: CWS reward와 태스크 성공률의 상관(Fig. 6, Pearson r\approx0.80). 오른쪽: interaction horizon에 따른 추종 정확도(Fig. 7, DexMachina ADD-AUC) — CHORD(색)는 최장 40–48초에서도 ADD-AUC≈0.85–0.98을 유지, baseline은 horizon이 길어질수록 크게 저하.

long-horizon(4.4). 접촉 wrench를 단일 추상으로 다양한 조작을 한 메커니즘으로 합성하므로, 거의 1분에 이르는 태스크 시퀀스까지 확장된다. 대부분 시퀀스에서 near-saturated 추종을 유지한다.

whole-body 일반화(4.5, Table 3). hand-only reference 12개(rigid·articulated·multi 각 4) + TPV whole-body 5개 loco-manipulation. 사람 5지 손 → G1 + Dex3 3지 손이라는 형태 차이에도 wrench-space 정렬이 효과적 접촉을 학습하게 한다. 동일 레시피에서 position reward로 바꾸면(rigid 0.460, articulated 0.000, multi 0.192, overall 0.217) 크게 무너지는 반면 CHORD는 0.994/0.914/0.866/0.925 — 위치 보상은 시연 임베디먼트에 강하게 결합돼 cross-embodiment에 취약함을 보인다. TPV는 재구성 노이즈 때문에 force-closure 목표로 일관 성공.

실세계(4.6). Dexmate + Sharpa 두 손, mocap pose tracking. open-loop action-chunk와 closed-loop inference 모두에서 rigid·articulated 물체를 bimanual로 조작.

실세계 배치(Fig. 9) — 좌상단이 closed-loop, 나머지는 open-loop 배치. 박스·articulated 물체를 두 손 협응으로 조작.

teleoperation 대조(4.7). RL의 가치를 가늠하려 소규모 정성 pilot을 했다. 의외로 box-lifting이 가장 어려웠다 — grasp 형성·접촉 타이밍·힘 적용의 정밀 협응이 필요. 세 가지 난점: ① IK가 넓은 aperture나 한계 근처에서 의도한 손가락 구성을 보존 못 함, ② haptic·접촉 피드백 부재로 접촉 상태를 시각으로만 추정(occlusion에 취약), ③ joint torque 직접 제어 불가로 특정 손가락에 의도적 힘을 못 줌. mixer·waffle-iron은 연습 후 대략 맞는 궤적은 찾아도 접촉 상호작용이 달라 grasp가 fragile했다.

비판적으로 보면

강점

• 표현의 핵심을 정확히 짚었다. “접촉 위치 ≠ 접촉 효과”라는 관찰은 단순하지만 강력하고, support function으로 wrench polytope를 임베디먼트-불변 척도로 환원한 설계가 깔끔하다. position reward가 articulated cross-embodiment에서 0.000 으로 붕괴하는 대비(Table 3)는 이 주장을 설득력 있게 만든다.
• 규모와 통제된 평가. 단일 하이퍼파라미터로 1,831 태스크를 돌린 점, baseline을 각자의 원래 지표로 재현해 비교한 점은 cherry-picking 우려를 줄인다. reward–성공 상관(r\approx0.80)은 CWS가 proxy metric으로 쓰일 수 있음을 정량화한다.
• 노이즈에 대한 graceful degradation. 깨끗한 시연엔 full CWS, noisy하면 reduced force-closure로 자동 전환하는 설계는 비디오 재구성·TPV까지 같은 골격으로 흡수한다.
• 한 메커니즘으로 넓은 커버리지. rigid·articulated·multi-object를 모두, 그리고 hand-only/whole-body까지 동일 보상 추상으로 다룬다 — 기존작이 부분집합에 국한된 것과 대비된다.

약점·한계

• 상태 기반 관측에 의존(저자 명시). 실세계 배치가 mocap으로 물체·로봇 pose를 추적하는 state-based다. vision-based 배치가 없으므로 진짜 야외 일반화는 미검증이다.
• 깨끗한 시연 가정. 효과적 접촉 가이드는 비교적 깨끗한 시연을 요구하고, noisy하면 force-closure 가정으로 후퇴한다 — 이는 wrench 매칭의 강점을 일부 포기하는 trade-off다. 노이즈가 보상 품질을 얼마나 떨어뜨리는지의 체계적 분석은 부족하다.
• 평가 지표의 한계(저자 명시). 물체 pose 오차는 불완전한 성공 척도다 — 정확한 배치가 불필요한 태스크도, 작은 pose 오차가 기능적 실패로 이어지는 태스크도 있다. completion ratio>0.7, 15cm/40° 임계 같은 cutoff의 민감도도 더 들여다볼 여지가 있다.
• VOC·IK 등 외부 부품 의존. 탐색은 DexMachina VOC, retarget은 단순 keypoint IK에 기댄다. teleop pilot에서 드러난 IK의 손가락 구성 보존 실패는 retarget 품질이 전체 파이프라인의 약한 고리일 수 있음을 시사한다.
• 재현 검증 불가(현 시점). 코드·arXiv가 모두 미공개라 본 리뷰는 PDF만으로 작성했다. 벤치마크 4,739·평가 1,831·82.12% 등 핵심 수치는 PDF로 교차검증했으나, 외부 재현은 아직 불가능 하다.

관련 연구와의 자리 매김

CHORD는 사람 시연 기반 손재주 RL 계열에서 접촉 표현 을 바꾼 작업으로 자리한다. 직접 baseline인 SPIDER·DexMachina·ManipTrans가 접촉 위치/힘 과 VOC 커리큘럼을 쓰는 데 비해, CHORD는 접촉을 wrench space의 유발 운동 으로 비교한다. 사람 비디오에서 손재주 데이터를 만드는 Do as I Do, egocentric 비디오로 보편 손 제어를 학습하는 UniDex와는 “사람 시연 → 로봇 손재주” 문제를 공유하되, CHORD는 데이터 생성·표현 학습보다 RL 보상 설계 에 무게를 둔다. wrench·force-closure를 grasp 합성에 쓰는 GraspQP 계열과는 wrench space라는 도구를 공유하지만, CHORD는 정적 안정성이 아니라 동적 조작에서의 유발 운동 유사도 로 그 도구를 재해석한 점이 다르다. whole-body 확장은 humanoid 모션 추종 계열인 WholeBody-Loco와 맞닿아, hand-only 시연을 inpainting으로 전신 모션으로 들어올린 뒤 같은 접촉 보상을 적용한다.

요약

CHORD의 한 문장은 “접촉을 위치가 아니라 wrench(유발 운동)로 비교하라” 다. 사람 접촉의 wrench matrix를 support function으로 요약해 임베디먼트-불변 보상으로 쓰고, 여기에 task·imitation reward와 VOC 커리큘럼, noisy 시연용 force-closure 후퇴를 더해 사람 시연 → 손재주 RL 전이를 확장 가능하게 했다. 4,739 태스크 벤치마크와 1,831 태스크 82.12%(whole-body 90.77%), reward–성공 상관 r\approx0.80, 실세계 open/closed-loop 전이가 이를 뒷받침한다. 다만 state-based 배치·깨끗한 시연 가정·pose 기반 지표의 한계, 그리고 현재 코드·arXiv 미공개로 인한 외부 재현 불가는 남는 과제다.