📃CHORD 리뷰

CHORD: Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

• arXiv:2607.00033 — v1 2026-06-22 · v2 2026-08-14(본 리뷰는 v2 기준)

• Project

• Paper (PDF)

• Code — 레포 이름은 파이프라인 우산 이름인 nvidia-isaac/video_to_data이고, CHORD 구현부는 그 안의 robotic_grounding/ 이다(보상 정의는 source/robotic_grounding/robotic_grounding/tasks/v2d/mdp/rewards.py).

• Dataset — HF 컬렉션 Video to Data

• Xinghao Zhu*, Zixi Liu*, Shalin Jain*, Chenran Li†, Milad Noori†, Michael Andres Lin†, Huihua Zhao, John Welsh, Mrinal Verghese, Wei Liu, Tingwu Wang, Xingye Da, Zhengyi Luo, Vishal Kulkarni, Naema Bhatti, Yuke Zhu, Linxi Fan, Bowen Wen, Danfei Xu, Soha Pouya, Yan Chang‡ (v2 기준)

• NVIDIA (Isaac · video_to_data) — *equal, †core, ‡project lead·corresponding

• Preprint(arXiv), 2026 — v2 시점까지 학회 채택 정보 없음

1. 💡 사람 시연을 손재주(dexterous) 로봇 정책으로 옮길 때, 손 모양·접촉 위치를 그대로 베끼는 대신 접촉이 물체에 가할 수 있는 힘·토크(contact wrench) 를 맞추게 하면 형태가 다른 로봇도 같은 “물체 운동 효과”를 재현할 수 있다.
2. ⚙️ 사람 시연에서 접촉점·마찰콘 → 접촉 렌치 행렬 → support function을 뽑아, 로봇의 렌치가 사람 렌치를 재현하도록 하는 contact wrench-space reward 를 RL(task·imitation reward + VOC)에 더한다.
3. 🎯 4,739개 bimanual 태스크 벤치마크를 구축하고, 그중 1,831개에서 평균 성공률 82.12%, whole-body loco-manipulation에서 90.77%, 실세계 open/closed-loop 전이까지 보였다.

---

📌 2026-08-24 갱신. 이 리뷰는 2026-06-30에 프로젝트 페이지 PDF(내용상 arXiv v1)만 보고 썼다. 이후 arXiv v2(2026-08-14) 개정과 코드·데이터셋 공개가 있었고, 특히 Table 1·Table 2의 실험 프로토콜과 수치가 통째로 교체됐다. 본문은 v2 기준으로 고쳤다. 더불어 공개 레포를 직접 clone해 논문 수식과 대조했는데, 핵심 수학은 10^{-16} 수준으로 일치하는 반면 논문에 인쇄된 보상 수식은 구현과 달라 그대로 구현하면 학습이 안 된다는 것을 확인했다. 자세한 내용과 출처 구분(논문 / 저자 진술 / 우리 실행 결과)은 맨 아래 갱신 노트 절에 있다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

손재주 조작을 사람 시연으로 가르칠 때 가장 흔한 함정은 “사람 손동작을 그대로 따라 하게 하는 것”이다. 사람 손과 로봇 손은 형태·운동학·접촉 기하가 다르므로, 같은 물체 효과를 내려면 다른 접촉을 써야 한다. CHORD의 핵심 통찰은 접촉(contact)이 사람 시연과 로봇 행동을 잇는 자연스러운 다리 라는 것이다. 단, 3D 접촉 위치 를 맞추는 것으로는 부족하다 — 같은 표면을 만져도 접촉 법선·힘 방향에 따라 물체에 생기는 운동이 달라지기 때문이다. 그래서 CHORD는 접촉을 object-centric wrench space(접촉이 물체에 가할 수 있는 force–torque 방향의 공간)에서 표현하고, 사람과 로봇의 접촉을 “어떤 물체 운동을 유발할 수 있는가”로 비교한다. 접촉 위치·개수·손 모양이 달라도 wrench space에서는 비교가 된다.

CHORD 개요(Fig. 1) — (a) 사람 시연의 hand-object 궤적을 입력으로 (b) 시뮬레이션에서 로봇 정책을 학습해 (c) 실로봇으로 전이한다. (d) articulated, (e) rigid 물체 조작과 (f, g) whole-body 임베디먼트로 일반화. 배경은 4,739개 bimanual 태스크 대규모 벤치마크.

핵심 방법론:

각 시점·강체 부분 k에 대해 사람 시연에서 접촉점 p^{h,k}_i와 법선 n^{h,k}_i를 뽑는다. 접촉 i에서 가능한 접촉력 f가 만드는 primitive wrench 는 force와 그 모멘트를 쌓은 6D 벡터다:

w^{i,j}_{h,k} = \left[\, f^{j}_{h,k},\; p^{i}_{h,k}\times f^{j}_{h,k} \,\right]^{\top}\in\mathbb{R}^6 .

Coulomb 마찰콘을 d개의 모서리 힘으로 근사해 모든 primitive wrench를 모으면 wrench matrix \mathcal{W}_{h,k}\in\mathbb{R}^{6\times(c_{h,k}d)} 가 된다 — 이 행렬이 “사람 접촉이 물체에 가할 수 있는 force–torque 방향” 전체를 담는다. 두 wrench matrix는 열 개수·순서가 달라 직접 비교가 어렵다. 그래서 미리 뽑은 b개의 단위 방향 \mathcal{B}\in\mathbb{R}^{6\times b}에 대한 support function 으로 기하를 요약한다:

\sigma_{h,k} = \max_{\mathrm{col}}\big(\mathcal{B}^{\top}\mathcal{W}_{h,k}\big)\in\mathbb{R}^{b}.

로봇 support \sigma_{r,k}를 같은 방식으로 구해, 상대 허용오차 \beta 안에서 사람 reference와 비교하는 것이 contact wrench-space(CWS) reward 다:

r^{k}_{\mathrm{cws}} = \exp\!\left(-\frac{\lVert\max(0,(1-\beta)\sigma_{h,k}-\sigma_{r,k})\rVert_2^2}{v_{\mathrm{cws}}} - \frac{\lVert\max(0,\sigma_{r,k}-(1+\beta)\sigma_{h,k})\rVert_2^2}{v_{\mathrm{cws}}}\right).

앞 항은 로봇 support가 하한보다 작으면, 뒤 항은 상한을 넘으면 벌점을 준다. 추가로 사람 접촉이 없는데(\sigma_{h,k}=0) 로봇이 접촉하면(r_{\mathrm{unintend}}), 사람 접촉이 있는데 로봇이 놓치면(r_{\mathrm{miss}}) 따로 페널티를 준다. 전체 보상은 r = r_{\mathrm{task}} + r_{\mathrm{imit}} + r_{\mathrm{contact}}이며, 여기에 DexMachina의 virtual object controller(VOC) 를 커리큘럼으로 annealing해 탐색을 돕는다.

주요 결과: (arXiv v2에서 확인한 수치만)

• 단일 하이퍼파라미터로 벤치마크 1,831개 태스크 평균 성공률 82.12% — 저자 주장상 이 규모로 평가된 첫 RL 기반 손재주 조작.
• 통일된 60개 태스크(rigid 17·articulated 24·multi-object 19, 태스크당 3 seed)에서의 baseline 비교(v2 Table 1): CHORD AUC 0.918 / SP-SR 0.926 / MP-SR 0.894, 오차 지표 JPE 4.34° / RPE 5.14cm / MPPE 5.11cm 로 DexMachina·ManipTrans·SPIDER·Human2Sim2Robot을 6개 지표 전부에서 상회.
• 같은 60태스크에서 reward 형태 ablation(v2 Table 2): CHORD(0.918/0.926/0.894) > Position Only(0.862/0.856/0.780) > No Contact(0.774/0.756/0.612) — AUC/SP-SR/MP-SR 기준, 오차 지표도 같은 순서.
• CWS reward와 태스크 성공의 상관: Pearson r\approx0.80(데이터셋별 0.76–0.89), 단조·포화 관계.
• whole-body loco-manipulation 90.77%, 다른 손 형태(G1 + Dex3 3지)로의 cross-embodiment 전이에서 position reward(0.217)를 크게 상회(0.925, Table 3).
• Dexmate + Sharpa 두 손 실로봇에서 open-loop·closed-loop 전이 성공(Fig. 9). v2는 시행 횟수도 공개했다 — bowl handover 5/5, bowl-plate stacking 5/5, mixer open-close 5/5, capsule machine pick-place 5/5, in-hand plate reorientation 3/5, box pick-place는 open-loop 6/7 vs closed-loop 7/7.

결론: CHORD는 “접촉 위치”가 아니라 “접촉이 만드는 물체 운동(wrench)”을 맞추는 보상으로, 사람 시연 → 손재주 RL 정책 전이를 임베디먼트·접촉 형태에 무관하게 확장 가능하게 만든다. 대규모 벤치마크와 일관된 하이퍼파라미터 평가로 확장성을 실증한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“같은 곳을 만지라”가 아니라 “같은 물체 운동을 만들 수 있게 만지라” — 접촉을 wrench space에서 비교하는 보상 하나로 사람 시연을 형태가 다른 손재주 로봇에 옮기고, 그 효과를 4,739개 태스크 규모로 검증한 연구다.

배경: 왜 사람 시연 전이가 어려운가

손재주 조작은 사람 시연이 풍부하다는 이점이 있지만, 그 시연을 로봇 정책으로 옮기는 일은 여전히 어렵다. CHORD는 두 갈래의 기존 접근이 모두 한계가 있다고 본다. ① 최적화에 시연을 쓰는 방법 은 “시연을 어떻게 전이할지”에 대한 brittle한 가정에 의존하고, ② 표현 학습(representation learning) 방법 은 태스크·물체마다 정렬된 human-robot 데이터를 요구해 curated 세팅 밖으로 확장하기 어렵다. 근본 난점은 형태·운동학·손 기하의 차이 때문에 로봇이 사람 손동작을 그대로 replay 해서는 같은 조작을 재현할 수 없다 는 데 있다.

접촉 가이드를 쓰는 최근 RL 연구들도 한계가 있다. ManipTrans는 시연된 hand-object 상호작용 근처의 접촉력 에 보상을 주고, DexMachina·SPIDER는 시연된 접촉 위치 와 VOC 같은 커리큘럼을 함께 쓴다. VOC는 초기 학습 동안 보조 wrench로 물체를 reference 궤적을 따라 움직여, 정책이 정확한 접촉 타이밍·힘을 즉시 찾지 않아도 되게 해 탐색을 매끄럽게 한다. 그러나 위치 기반 접촉 보상은 접촉 위치만으로는 접촉의 효과가 정해지지 않는다 는 본질적 약점을 안는다 — 같은 물체 영역도 접촉 법선·힘 방향에 따라 다른 물체 운동을 낸다(저자들의 box-opening 예시: 위치는 사람과 가깝지만 접촉 법선이 거의 수직으로 어긋나 물리적으로 mismatch). 한편 기존 grasp 쪽의 wrench 보상은 정적 안정성(force closure) 만 최적화해 grasp엔 좋지만 일반 조작엔 너무 경직돼 있다. CHORD는 wrench space를 사람 시연과 로봇 실행을 “유발 운동”으로 비교하는 척도 로 처음 쓴다고 주장하며, 이는 pushing·levering·sliding 같은 비-force-closure 구간과 articulated 물체까지 포괄한다.

방법 상세

문제 설정. K개 강체 부분을 가진 물체(분리 강체 또는 articulated)를 다룬다. 시연 \tau^{\mathrm{ref}}=\{x^{\mathrm{human}}_t, x^{\mathrm{object}}_t\}_{t=1}^{H}는 3D 손 keypoint와 부분별 SE(3) pose를 준다. 먼저 keypoint에서 IK로 로봇 구성 x^{\mathrm{robot}}_t로 retarget한 뒤, 정책 \pi(a_t\mid o^{\mathrm{robot}}_t, o^{\mathrm{object}}_t; x^{\mathrm{robot}}_t, x^{\mathrm{object}}_t)이 rollout의 물체 pose가 reference를 추종하도록 행동을 낸다.

보상 3종 + VOC. r=r_{\mathrm{task}}+r_{\mathrm{imit}}+r_{\mathrm{contact}}.

• r_{\mathrm{task}}: 부분별 pose 추종 \exp(-\sum_k \lVert x^{\mathrm{object},k}_t\ominus s^{\mathrm{object},k}_t\rVert_2^2/\mathrm{var})에 더해, insertion·pouring·scooping·tool use 처럼 물체-물체 기하가 중요한 구간에서만 켜지는 상대 보상 r_{\mathrm{relative}}=m(t)\exp(-e_{\mathrm{object}}/\mathrm{var}_{\mathrm{rel}})를 둔다.
• r_{\mathrm{imit}}: retarget된 사람 모션 쪽으로의 정규화 \exp(-\lVert x^{\mathrm{robot}}_t-s^{\mathrm{robot}}_t\rVert_2^2/\mathrm{var}_{\mathrm{imit}}).
• r_{\mathrm{contact}}: 위 Ping의 CWS reward r^k_{\mathrm{cws}} + unintended/missed 접촉 페널티.

CHORD 보상 구성(Fig. 2, mixer-closing 태스크) — 왼쪽: 사람 시연에서 추출한 접촉 wrench reference(아래에 접촉 위치·마찰콘은 빨강). 가운데: 시간에 따른 per-hand 접촉 wrench를 force manifold로 시각화, 빨강=사람, 파랑=CHORD 정책이 만든 접촉 wrench. 위=사람 시연, 아래=학습된 로봇 정책.

왜 support function인가(직관). wrench matrix \mathcal{W}는 접촉들이 물체에 가할 수 있는 6D force–torque의 “구름”이다. 두 구름을 직접 비교하려면 열의 개수·순서가 맞아야 하는데, 사람과 로봇은 접촉 개수·순서가 다르다. support function \sigma=\max_{\mathrm{col}}(\mathcal{B}^{\top}\mathcal{W})는 미리 정한 b개 방향마다 “그 방향으로 얼마나 멀리 밀 수 있는가”를 재 — 즉 wrench 다포체(polytope)의 지지 폭 을 방향별로 요약한다. 이렇게 하면 접촉의 개수·순서·위치가 달라도 “물체에 어떤 운동을 유발할 능력이 있는가”라는 임베디먼트-불변 척도 로 환원된다. CWS reward는 로봇의 지지 폭이 사람의 [(1-\beta)\sigma_h,\,(1+\beta)\sigma_h] 밴드 안에 들면 보상하는 구조라, 너무 약한(못 미는) 접촉과 너무 과한(과도하게 미는) 접촉을 모두 억제한다.

v2에서 추가된 단서. 저자들은 이 표현이 물리적으로 정확한 multi-contact feasible net-wrench polytope를 복원하는 것이 아니라고 v2에서 명시했다. wrench 표현은 접촉별 방향 능력(directional capability) 을 정의할 뿐이고, 그 support 값을 비교해 가이드 신호 로 쓰는 것이며, 실제 구동 가능성(actuation feasibility)은 시뮬레이터가 뒤이어 강제한다. 즉 CWS reward는 엄밀한 물리량 매칭이 아니라 잘 정의된 대리 지표라는 자기 규정이다.

🔬 직접 검증 — 논문에 인쇄된 CWS reward 수식은 공개 구현과 다르다. (아래는 우리가 공개 레포를 내려받아 float64 독립 재구현과 대조해 확인한 것이다. 논문·저자 진술이 아니라 실행 결과다.)

wrench matrix, support function \sigma=\max_{\mathrm{col}}(\mathcal{B}^{\top}\mathcal{W}), reduced force-closure r^k_{\mathrm{fc}} 는 논문과 코드가 정확히 일치한다(17/17 항목, 오차 ~10^{-16}). 그런데 보상 함수 하나가 다르다:

• 논문 인쇄본: b개 방향의 하한·상한 위반을 각각 \lVert\cdot\rVert_2^2 로 합친 뒤 지수 하나에 넣는다(위 Ping의 식).
• 레포 구현(contact_wrench_support_reward_jit): 방향별로 \exp 를 취한 뒤 b개를 평균한다.

b=512 기준 수치:

로봇 support 상태	레포 구현	논문 인쇄 수식
사람과 정확히 일치	1.000	1
허용대 안(×1.05)	1.000	1
20% 약함(×0.8)	0.874	1.72e-32
2배 강함(×2.0)	0.134	0

격차는 b가 커질수록 벌어진다 — ×0.8 조건에서 b=4: 0.857 vs 0.528 → b=16: 0.885 vs 0.128 → b=64: 0.889 vs 3.26e-4 → b=512: ≈0.87 vs ≈1.9e-33.

즉 논문에 적힌 대로 구현하면 b가 실전 규모일 때 조금만 어긋나도 보상이 0으로 붕괴해 gradient가 사라진다. 학습이 실제로 되는 것은 코드 쪽 형태(방향별 평균) 덕분이다. 오타 수준의 흠이 아니라 인쇄된 수식으로는 이 방법이 작동하지 않는다는 뜻이라, 논문만 읽고 재구현하려는 사람에게는 결정적인 함정이다.

효율·강건·일반화 장치(3.2). ① reference 궤적의 임의 상태로 simulator를 reset하되 VOC를 짧은 stabilization window 동안 완전 활성화해 접촉 회복 후 보조를 annealing, ② 물체 부분에 \mathcal{W}_{h,k}에서 샘플한 wrench로 태스크-관련 교란 을 가해 강건화, ③ retarget 모션을 prior로 한 residual action space(ManipTrans식) + VOC 커리큘럼(DexMachina식).

노이즈 대응 — reduced force-closure objective. RGB 비디오 재구성처럼 hand-object 정합이 noisy해 접촉 추정이 불안정하면, 사람 wrench를 직접 맞추는 대신 각 basis 방향으로 양의 지지 를 내게 하는 완화된 목표로 전환한다:

r^{k}_{\mathrm{fc}} = \frac{1}{B}\sum_{b=1}^{B}\mathbb{1}[\sigma_{r,k,b} > \epsilon].

이를 최대화하면 force closure와 동치가 된다. Whole-body 확장 도 같은 골격이다 — hand-only reference(egocentric 재구성)는 inpainting 모듈로 전신 모션을 채운 뒤 CWS reward를, whole-body reference(third-person 재구성)는 손가락 재구성이 부정확하므로 reduced r^k_{\mathrm{fc}}를 쓴다.

벤치마크(3.3). mocap 데이터셋(ARCTIC·OakInk2·HOT3D·TACO 등)과 in-house 비디오 재구성을 Isaac Lab으로 가져와 4,739개 simulatable·trainable 태스크로 변환했다. single/multi rigid + articulated bimanual 조작을 포괄한다. 기존작 대비 시간 horizon·태스크당 접촉 이벤트 수·grasp 안정성(Ferrari-Canny epsilon) 세 지표에서 더 길고 더 dense하다.

벤치마크 분포(Fig. 3) — 시간 horizon, 태스크당 접촉 이벤트 수, Ferrari-Canny epsilon 분포. CHORD(주황)가 DexMachina·ManipTrans·SPIDER보다 더 많은 태스크·더 긴 horizon·더 dense한 접촉을 포함.

실험

대규모 평가(4.1). 1,831개 태스크에 동일 하이퍼파라미터(VOC gain·커리큘럼·reward weight)를 써서 평가했다. 성공 판정은 object-centric termination(위치 오차 15cm 또는 회전 40° 초과) 없이 완료하면 rollout 성공, completion ratio > 0.7이면 태스크 성공이다. 결과는 데이터셋·horizon 전반에서 고르게 강하다. (v2는 여기에 “0.7 completion ratio가 사소한 reference 이탈에도 기능적 완수를 경험적으로 반영하긴 하지만 모든 뉘앙스를 담지는 못한다”는 단서를 새로 달았다.)

데이터셋별 성공률(Fig. 5에 대응) — 왼쪽: 1,831 태스크(HOT3D-1Obj 0.772, OakInk2-1Obj 0.786, OakInk2-2Obj 0.746, ARCTIC 0.814, TACO 0.935, HOT3D-2Obj 0.753). 오른쪽: whole-body 평가(ARCTIC 0.994, TPV 0.867, ARCTIC-articulated 0.914, TACO 0.866). 색=rigid/articulated/multi-object.

평가 태스크(4.1, v2 신설). baseline 비교와 ablation은 1,831개 중 60개 태스크(rigid 17 · articulated 24 · multi-object 19, 태스크당 3 seed)를 골라 공통 무대로 쓴다. v1에는 없던 절이다.

baseline 비교(4.1, Table 1 — v2에서 전면 교체). v1은 ManipTrans·DexMachina·SPIDER를 각자의 원래 태스크 스위트·지표 로 따로따로 비교했다(행끼리 비교 불가). v2는 이를 버리고, 위 60태스크 위에서 baseline들을 자체 재구현(DM·MT·H2S2R 재구현, SP는 적응)해 하나의 표로 통일했다. baseline에 Human2Sim2Robot(H2S2R)이 새로 추가됐고, 성공률 계열 3개(AUC·SP-SR·MP-SR)에 더해 기능적 연속 오차 지표 3개 — articulated joint position error(JPE, °), multi-object relative position error(RPE, cm), keypoint mean per-frame pose error(MPPE, cm) — 를 함께 보고한다. 이 오차 지표는 v2 Limitations의 “pose 오차는 불완전한 성공 척도”라는 자기비판에 대한 응답이다.

v2 Table 1 — 60태스크·3 seed 통일 비교.

Method	AUC ↑	SP-SR ↑	MP-SR ↑	JPE ° ↓	RPE cm ↓	MPPE cm ↓
DexMachina (DM)	0.737 ± 0.053	0.690 ± 0.068	0.569 ± 0.097	13.10 ± 2.31	9.92 ± 1.64	15.88 ± 0.70
ManipTrans (MT)	0.506 ± 0.006	0.423 ± 0.011	0.323 ± 0.003	30.07 ± 0.61	9.91 ± 0.42	21.24 ± 6.19
SPIDER (SP)	0.804 ± 0.044	0.911 ± 0.039	0.789 ± 0.047	41.35 ± 2.44	6.99 ± 1.56	14.28 ± 2.79
Human2Sim2Robot	0.730 ± 0.056	0.686 ± 0.068	0.569 ± 0.085	11.80 ± 1.50	9.78 ± 1.03	16.59 ± 0.51
CHORD	0.918 ± 0.018	0.926 ± 0.022	0.894 ± 0.032	4.34 ± 0.25	5.14 ± 0.54	5.11 ± 0.39

CHORD는 6개 지표 전부에서 1위다. 눈에 띄는 것은 SPIDER가 성공률에서는 준수한데(SP-SR 0.911) JPE 41.35° 로 articulated 관절 추종은 크게 어긋난다는 점 — 성공률만 보면 놓칠 차이를 오차 지표가 드러낸다. 또한 기존작이 rigid/articulated/multi-object 중 일부에 국한된 반면 CHORD는 세 범주 모두 를 푼다.

접촉 가이드 검증(4.2, Table 2 — v2에서 전면 교체). v1은 ARCTIC의 대표 시퀀스 2개(box grab, mixer use)에서 성공률만 비교했다. v2는 같은 60태스크·6지표 무대로 ablation을 옮겼다. 동일한 non-contact reward를 두고 접촉 감독만 바꾼다 — CHORD(wrench support) > Position Only(DexMachina식 위치 보상) > No Contact(추종만).

v2 Table 2 — 접촉 감독 형태 ablation(3 seed × 4096 env).

Method	AUC ↑	SP-SR ↑	MP-SR ↑	JPE ° ↓	RPE cm ↓	MPPE cm ↓
CHORD	0.918 ± 0.018	0.926 ± 0.022	0.894 ± 0.032	4.34 ± 0.25	5.14 ± 0.54	5.11 ± 0.39
Position Only	0.862 ± 0.019	0.856 ± 0.028	0.780 ± 0.042	6.41 ± 0.44	7.81 ± 0.64	7.63 ± 0.06
No Contact	0.774 ± 0.036	0.756 ± 0.059	0.612 ± 0.055	9.81 ± 0.73	10.91 ± 1.24	14.38 ± 2.23

접촉 가이드가 풍부해질수록 성능이 올라간다. 다만 성공률 계열의 간극은 v1보다 눈에 띄게 좁아졌다 — v1 표에서는 box grab이 0.702 vs 0.334로 두 배 넘게 벌어졌는데, v2의 통일 무대에서는 AUC 0.918 vs 0.862다. 대신 오차 지표에서 간극이 크다(JPE 4.34° vs 6.41°, MPPE 5.11 vs 7.63cm). 즉 “위치 보상으로도 대충 성공은 하지만 접촉 품질·추종 정밀도가 떨어진다”는 쪽으로 주장의 결이 바뀌었다.

reward–성공 상관(4.3). 1,831 run에서 정규화 CWS reward와 성공률은 Pearson r\approx0.80(데이터셋별 0.76–0.89). 단조이되 포화하는 관계(고-reward 영역에서 1에 plateau)라, OLS 직선은 전체 추세의 ~2/3 분산을 설명하면서 고-reward 영역의 적합도를 과소평가한다. CWS reward가 학습 신호이자 proxy metric 으로 유용함을 시사.

왼쪽: CWS reward와 태스크 성공률의 상관(Fig. 6, Pearson r\approx0.80). 오른쪽: interaction horizon에 따른 추종 정확도(Fig. 7, DexMachina ADD-AUC) — CHORD(색)는 최장 40–48초에서도 ADD-AUC≈0.85–0.98을 유지, baseline은 horizon이 길어질수록 크게 저하.

long-horizon(4.4). 접촉 wrench를 단일 추상으로 다양한 조작을 한 메커니즘으로 합성하므로, 거의 1분에 이르는 태스크 시퀀스까지 확장된다. 대부분 시퀀스에서 near-saturated 추종을 유지한다.

whole-body 일반화(4.5, Table 3). hand-only reference 12개(rigid·articulated·multi 각 4) + TPV whole-body 5개 loco-manipulation. 사람 5지 손 → G1 + Dex3 3지 손이라는 형태 차이에도 wrench-space 정렬이 효과적 접촉을 학습하게 한다. 동일 레시피에서 position reward로 바꾸면(rigid 0.460, articulated 0.000, multi 0.192, overall 0.217) 크게 무너지는 반면 CHORD는 0.994/0.914/0.866/0.925 — 위치 보상은 시연 임베디먼트에 강하게 결합돼 cross-embodiment에 취약함을 보인다. TPV는 재구성 노이즈 때문에 force-closure 목표로 일관 성공.

실세계(4.6). Dexmate + Sharpa 두 손, mocap pose tracking. open-loop action-chunk와 closed-loop inference 모두에서 rigid·articulated 물체를 bimanual로 조작. v2는 정성 서술에 그쳤던 v1과 달리 시행 횟수를 공개했다 — bowl handover 5/5, in-hand plate reorientation 3/5, bowl-plate stacking 5/5, mixer open-close 5/5, capsule machine alternating pick-place 5/5. 실패는 초기 물체 배치와 open-loop 실행 중 접촉 전이에서 오는 sim-to-real 괴리 탓이다. box pick-place에서 open-loop 6/7 vs closed-loop 7/7로 폐루프가 근소 우위. 다만 v2는 “이 state-feedback 정책은 고정된 시연 reference를 추종할 뿐 반응적 replanning을 하지 않는다” 고 명시했다 — closed-loop이라는 말이 재계획을 뜻하지 않는다는 중요한 자기 제한이다. 시행 수가 5·7회 수준이라 통계적 결론을 내기엔 여전히 작다.

학습 비용(v2 신설 Appendix B). CHORD는 FlashSAC를 2,048 환경으로 돌려 시퀀스별 정책을 L40S GPU 1장에서 약 2시간 만에 학습한다고 밝힌다. 태스크별 하이퍼파라미터 튜닝 없이 경량 MLP를 쓴다. 비교로 DexMachina ~10시간, ManipTrans ~20시간, SPIDER ~4시간(태스크당). 저자들은 이것이 cross-task 정책 일반화 가 아니라 학습 레시피의 확장성 을 보이는 것이라고 선을 긋는다.

실세계 배치(Fig. 9) — 좌상단이 closed-loop, 나머지는 open-loop 배치. 박스·articulated 물체를 두 손 협응으로 조작.

teleoperation 대조(4.7). RL의 가치를 가늠하려 소규모 정성 pilot을 했다. 의외로 box-lifting이 가장 어려웠다 — grasp 형성·접촉 타이밍·힘 적용의 정밀 협응이 필요. 세 가지 난점: ① IK가 넓은 aperture나 한계 근처에서 의도한 손가락 구성을 보존 못 함, ② haptic·접촉 피드백 부재로 접촉 상태를 시각으로만 추정(occlusion에 취약), ③ joint torque 직접 제어 불가로 특정 손가락에 의도적 힘을 못 줌. mixer·waffle-iron은 연습 후 대략 맞는 궤적은 찾아도 접촉 상호작용이 달라 grasp가 fragile했다.

비판적으로 보면

강점

• 표현의 핵심을 정확히 짚었다. “접촉 위치 ≠ 접촉 효과”라는 관찰은 단순하지만 강력하고, support function으로 wrench polytope를 임베디먼트-불변 척도로 환원한 설계가 깔끔하다. position reward가 articulated cross-embodiment에서 0.000 으로 붕괴하는 대비(Table 3)는 이 주장을 설득력 있게 만든다.
• 규모와 통제된 평가. 단일 하이퍼파라미터로 1,831 태스크를 돌린 점은 cherry-picking 우려를 줄인다. reward–성공 상관(r\approx0.80)은 CWS가 proxy metric으로 쓰일 수 있음을 정량화한다.
• v2에서 평가 프로토콜을 스스로 고쳤다. v1의 Table 1은 baseline마다 다른 태스크 스위트·다른 지표를 써서 “행끼리 비교 불가”라는 단서가 붙은 표였다. v2는 이를 폐기하고 60태스크·3 seed 공통 무대 + 6지표로 재실험했고, 자기 한계로 지목했던 “pose 오차의 불완전함”에 대해 기능적 오차 지표(JPE·RPE·MPPE) 를 도입했다. 개정으로 표가 통째로 바뀌는 일은 흔치 않은데, 방향이 더 엄격한 쪽 이라는 점은 신뢰를 준다.
• 방법의 심장이 수치 대조로 검증된다. 공개된 robotic_grounding/에 논문 보상 3종이 그대로 있고(contact_wrench_support_reward · unintended_contact_penalty · missed_contact_penalty, whole-body엔 force_closure_reward), VOC(virtual_rigid_object_control.py)·커리큘럼·support 시각화 스크립트까지 실재한다. 이름 대응에서 그치지 않고 우리가 레포를 내려받아 float64 독립 재구현과 대조한 결과, wrench matrix·support function \sigma·reduced force-closure가 오차 10^{-16} 수준으로 논문과 일치했다(17/17). 논문의 개념적 주장 — “접촉을 wrench support로 요약한다” — 은 코드에서 그대로 성립한다. (다만 보상 함수의 인쇄 형태는 구현과 다르다. 위 「방법 상세」의 직접 검증 블록 참고 — 검증된 것은 표현이고, 어긋난 것은 그 표현을 보상으로 바꾸는 마지막 한 단계다.)
• 노이즈에 대한 graceful degradation. 깨끗한 시연엔 full CWS, noisy하면 reduced force-closure로 자동 전환하는 설계는 비디오 재구성·TPV까지 같은 골격으로 흡수한다.
• 한 메커니즘으로 넓은 커버리지. rigid·articulated·multi-object를 모두, 그리고 hand-only/whole-body까지 동일 보상 추상으로 다룬다 — 기존작이 부분집합에 국한된 것과 대비된다.

약점·한계

• 상태 기반 관측에 의존(저자 명시). 실세계 배치가 mocap으로 물체·로봇 pose를 추적하는 state-based다. vision-based 배치가 없으므로 진짜 야외 일반화는 미검증이다.
• 깨끗한 시연 가정. 효과적 접촉 가이드는 비교적 깨끗한 시연을 요구하고, noisy하면 force-closure 가정으로 후퇴한다 — 이는 wrench 매칭의 강점을 일부 포기하는 trade-off다. 노이즈가 보상 품질을 얼마나 떨어뜨리는지의 체계적 분석은 부족하다.
• 평가 지표의 한계(저자 명시). 물체 pose 오차는 불완전한 성공 척도다 — 정확한 배치가 불필요한 태스크도, 작은 pose 오차가 기능적 실패로 이어지는 태스크도 있다. v2는 0.7 임계가 “모든 뉘앙스를 담지 못한다”고 인정하고 JPE·RPE·MPPE를 덧붙였지만, 1,831 태스크 대규모 평가의 82.12%는 여전히 옛 이진 판정 그대로 다 — 새 오차 지표는 60태스크 비교에만 쓰인다. 헤드라인 숫자와 정교해진 지표 사이에 틈이 있다.
• baseline이 전부 저자 재구현이 됐다. v2는 공정한 통일 무대를 얻은 대신, DM·MT·H2S2R를 저자들이 다시 구현하고 SP는 “적응”했다. 원 논문이 보고한 값으로 역추적할 수 있는 앵커가 사라졌다는 뜻이다. 사유(Isaac Lab에서 시뮬레이션 불가한 에셋)는 납득되지만, 재구현 baseline이 6개 지표 전부에서 지는 표는 원리적으로 검증 부담이 크다. 재구현 코드가 공개 레포에 포함돼 있는지도 확인되지 않는다.
• VOC·IK 등 외부 부품 의존. 탐색은 DexMachina VOC, retarget은 단순 keypoint IK에 기댄다. teleop pilot에서 드러난 IK의 손가락 구성 보존 실패는 retarget 품질이 전체 파이프라인의 약한 고리일 수 있음을 시사한다.
• 논문의 4,739 벤치마크는 아직 “받을 수 있는 물건”이 아니다. 공개된 HF 데이터셋은 데이터셋 카드 기준 TACO 기반 1,215 모션 시퀀스 / 121,500 로봇 에피소드(924.8GB) 이고, 스스로를 “파이프라인 예시 출력 · grounding 부분을 실험해 보기 위한 샘플”로 규정한다. 논문이 말한 ARCTIC·OakInk2·HOT3D·TACO + in-house 비디오를 아우르는 4,739 태스크 벤치마크는 배포물이 아니라 재현 절차 다 — 레포 README는 MANO와 각 데이터셋(taco·hot3d·arctic·grab·h2o·dexycb)을 사용자가 원 출처에서 직접 등록·다운로드 하라고 요구한다. 라이선스가 걸린 원본 데이터를 각자 확보한 뒤 파이프라인을 돌려야 하므로, “4,739”라는 숫자를 제3자가 그대로 재현·감사하기는 여전히 어렵다. 공개분은 논문 벤치마크의 약 26%에 해당한다.
• 공개된 데이터에는 이 논문의 핵심 입력인 “사람 접촉 레퍼런스”가 없다. 위 항목이 개수 문제라면 이쪽은 신호 자체 문제다. CHORD의 보상은 사람 시연에서 뽑은 접촉점·법선에서 출발하는데, 우리가 확인한 바로 HF 데이터셋 parquet의 34개 열 중 접촉을 담은 열이 하나도 없다. 레포에 커밋된 예제 fixture(synthbox)는 접촉이 전부 0으로 채워져 있고 그것이 설계상 의도다(make_synthbox_fixtures.py). 실제로 그 데이터로 \sigma 를 계산하면 155프레임 전체에서 접촉 0 · \sigma=0 · r_{\mathrm{fc}}=0 이라 CWS 보상이 항상 0 이다. 즉 공개된 데이터만으로는 이 논문의 핵심 보상을 한 번도 작동시켜 볼 수 없다. 접촉 레퍼런스를 얻으려면 원본 데이터셋을 직접 받아 재구성 파이프라인 전체를 돌려야 한다.
• 논문에 인쇄된 CWS reward 수식으로는 방법이 작동하지 않는다. 위 「방법 상세」의 직접 검증 블록에서 보였듯, 논문 식은 b개 방향 손실을 합쳐 지수 하나에 넣지만 구현은 방향별 \exp 의 평균이다. b=512·support 20% 부족 조건에서 0.874(코드) vs 1.7e-32(논문 식)로, 논문대로 구현하면 gradient가 소멸한다. 표현(σ·wrench matrix)은 정확히 재현되는데 보상으로 넘어가는 마지막 한 줄만 인쇄본이 틀린 셈 이라 더 위험하다 — 재구현자가 표현 검증을 통과하고도 학습이 안 되는 이유를 찾지 못한다. 정오표나 수식 수정이 필요해 보인다.
• 공개된 코드는 논문 수치를 낸 구현이 아니다 — 저자 본인이 명시했다. v2 Appendix B는 CHORD가 FlashSAC · 2,048 환경 · L40S 1장 · 시퀀스당 ~2시간으로 학습된다고 적는다. 그러나 공개 레포에는 RSL-RL PPO만 있다(레포 전체 검색에서 FlashSAC·flash_sac·SACCfg·OffPolicyRunner 전부 0건, OnPolicyRunner만 존재). 이 간극에 대해 메인테이너(제1저자)는 GitHub 이슈 #148에서 2026-08-23 이렇게 답했다 — “현재 릴리스는 Isaac Lab + PPO에 4,096 병렬 환경을 쓰며, 논문이 보고한 ~2시간보다 수렴에 훨씬 오래 걸릴 수 있다. 논문 결과는 2,048 환경의 가속 구현으로 얻었고, 그 구현과 3개 RL 스테이지 전체의 하이퍼파라미터·설정은 내부 검토 중이며 2026년 9월 공개 목표다.” 같은 문구가 같은 날 robotic_grounding/README.md에도 추가됐다. → 코드가 공개됐지만 논문 표는 지금 재현할 수 없다. 하드웨어 문제가 아니라 학습기 자체가 아직 릴리스에 없다. 이 점에서 “코드 공개”는 아직 절반이다.

관련 연구와의 자리 매김

CHORD는 사람 시연 기반 손재주 RL 계열에서 접촉 표현 을 바꾼 작업으로 자리한다. 직접 baseline인 SPIDER·DexMachina·ManipTrans가 접촉 위치/힘 과 VOC 커리큘럼을 쓰는 데 비해, CHORD는 접촉을 wrench space의 유발 운동 으로 비교한다. 사람 비디오에서 손재주 데이터를 만드는 Do as I Do, egocentric 비디오로 보편 손 제어를 학습하는 UniDex와는 “사람 시연 → 로봇 손재주” 문제를 공유하되, CHORD는 데이터 생성·표현 학습보다 RL 보상 설계 에 무게를 둔다. wrench·force-closure를 grasp 합성에 쓰는 GraspQP 계열과는 wrench space라는 도구를 공유하지만, CHORD는 정적 안정성이 아니라 동적 조작에서의 유발 운동 유사도 로 그 도구를 재해석한 점이 다르다. whole-body 확장은 humanoid 모션 추종 계열인 WholeBody-Loco와 맞닿아, hand-only 시연을 inpainting으로 전신 모션으로 들어올린 뒤 같은 접촉 보상을 적용한다. v2에서는 한 사람 시연으로 sim-to-real RL을 돌려 임베디먼트 격차를 넘는 Human2Sim2Robot이 baseline으로 추가됐다 — 같은 “시연 1개 → RL” 계열이지만 CHORD는 시연을 접촉 wrench로 추상화해 대규모 태스크로 밀어붙인다는 점이 다르다.

요약

CHORD의 한 문장은 “접촉을 위치가 아니라 wrench(유발 운동)로 비교하라” 다. 사람 접촉의 wrench matrix를 support function으로 요약해 임베디먼트-불변 보상으로 쓰고, 여기에 task·imitation reward와 VOC 커리큘럼, noisy 시연용 force-closure 후퇴를 더해 사람 시연 → 손재주 RL 전이를 확장 가능하게 했다. 4,739 태스크 벤치마크와 1,831 태스크 82.12%(whole-body 90.77%), reward–성공 상관 r\approx0.80, 실세계 open/closed-loop 전이가 이를 뒷받침한다. 다만 state-based 배치·깨끗한 시연 가정·pose 기반 지표의 한계는 남는다. arXiv v2와 코드·데이터셋이 공개되면서 방법의 수학(wrench matrix·support function·force-closure)은 독립 재구현과 10^{-16} 수준으로 일치함이 확인됐다. 그러나 ① 논문에 인쇄된 CWS reward 수식은 구현과 달라 그대로 구현하면 학습이 안 되고, ② 논문 수치를 낸 학습기는 저자 확인상 2026년 9월 공개 예정이며, ③ 공개 데이터에는 핵심 입력인 접촉 레퍼런스가 아예 없다. 아이디어는 검증됐지만 숫자는 아직 재현할 수 없다 — 이것이 현재 CHORD의 정확한 좌표다.

갱신 노트 — arXiv v2 · 코드 · 데이터셋 공개 반영 (2026-08-24)

이 리뷰는 2026-06-30에 프로젝트 페이지 PDF만 보고 작성했고(당시 arXiv·코드·데이터셋 모두 미공개), 2026-08-24에 아래를 반영해 갱신했다.

① arXiv v1(2026-06-22) → v2(2026-08-14)에서 실제로 바뀐 것

• Table 1 전면 교체. v1은 baseline별 원래 태스크 스위트·원래 지표 로 따로 비교(DexMachina AUC 0.232→0.687, ManipTrans SR 0.428→0.639, Ours-1 AUC 0.211→0.895, Ours-2 SP-SR 0.533→0.982 등). v2는 이 표를 없애고 60태스크·3 seed 통일 무대 + 6지표(AUC·SP-SR·MP-SR·JPE·RPE·MPPE) 로 재실험했다. v1의 그 수치들은 v2에 존재하지 않는다. baseline에 Human2Sim2Robot이 추가됐고, DM·MT·H2S2R는 저자 재구현, SP는 적응 버전이다.
• Table 2 전면 교체. v1은 ARCTIC 시퀀스 2개 성공률(box grab 0.702/0.334/0.384, mixer use 0.894/0.624/0.423). v2는 같은 60태스크·6지표 ablation(CHORD 0.918/0.926/0.894 vs Pos. Only 0.862/0.856/0.780 vs No Cont. 0.774/0.756/0.612). v1의 그 수치들도 v2에 없다.
• 신설 절 “Evaluation Tasks”(4.1) — 위 60태스크(rigid 17·articulated 24·multi-object 19)의 선정을 명시.
• 신설 문단(3.1) — “물리적으로 정확한 multi-contact feasible net-wrench polytope를 복원하는 것이 아니며, 접촉별 방향 능력을 정의하고 그 support 값을 가이드 신호로 비교할 뿐, 구동 가능성은 시뮬레이터가 강제한다.”
• 신설 단서(4.1) — 0.7 completion ratio 임계가 “모든 뉘앙스를 담지는 못한다”.
• 신설 수치(4.6 실세계) — bowl handover 5/5, in-hand plate reorientation 3/5, bowl-plate stacking 5/5, mixer open-close 5/5, capsule machine pick-place 5/5, box pick-place open-loop 6/7 vs closed-loop 7/7. 더불어 “state-feedback 정책은 고정 reference를 추종할 뿐 반응적 replanning은 하지 않는다”는 명시.
• 신설 Appendix B “Training Details” — FlashSAC · 2,048 envs · L40S 1장 · 시퀀스당 ~2시간; DexMachina ~10h, ManipTrans ~20h, SPIDER ~4h.
• 저자 변경 — Michael Andres Lin이 core contributor(†)로 올라가고 Mrinal Verghese 추가. 참고문헌은 Human2Sim2Robot 추가로 전체 번호가 밀렸다.

변경 없음(대조 확인): Abstract 수치(4,739 / 1,831 / 82.12% / 90.77%), 모든 수식(wrench matrix·support function·CWS reward·reduced force-closure — LaTeX 원문 대조 결과 동일), Table 3 whole-body(0.994 / 0.914 / 0.866 / 0.925 vs position reward 0.460 / 0.000 / 0.192 / 0.217), 4.3 상관(r\approx0.80, 데이터셋별 0.76–0.89), 4.4 long-horizon(ADD-AUC 0.85–0.98 @ 40–48초), 4.7 teleoperation pilot, Limitations 3항목, 그림 13장의 번호·이미지 파일 전부 동일(본문 Fig. 번호는 PDF 기준으로 그대로 유효 — 단 arXiv의 HTML 판은 LaTeXML이 teaser를 Fig. 1에 병합해 그림이 12장으로 세지고 Fig. 2부터 번호가 하나씩 당겨지니, Fig. 번호를 대조할 땐 PDF를 볼 것). 학회 채택 정보는 v2에도 없다.

② 코드·데이터셋 공개로 무엇이 검증됐고, 무엇이 어긋났나

아래에서 출처를 셋으로 구분한다 — [논문] 은 arXiv v2 본문, [저자] 는 메인테이너가 GitHub 이슈·README에 남긴 진술, [검증] 은 우리(claude-curio)가 레포를 clone해 직접 실행·대조한 결과다.

검증된 것 — 방법의 수학. [검증] robotic_grounding/을 내려받아 float64 독립 재구현과 대조한 결과, wrench matrix · support function \sigma=\max_{\mathrm{col}}(\mathcal{B}^{\top}\mathcal{W}) · reduced force-closure r^k_{\mathrm{fc}} 가 논문과 오차 10^{-16} 수준으로 일치했다(17/17 항목). 보상 항 3종과 VOC·커리큘럼도 코드에 그대로 있다. 논문의 핵심 아이디어는 코드에서 성립한다. 라이선스도 명확하다(레포 LICENSE: 소스 Apache-2.0 + 문서 CC-BY-4.0 / HF 데이터셋 CC-BY-4.0 — GitHub의 “NOASSERTION” 표시는 이중 라이선스라 자동 분류가 안 된 것일 뿐이다).

어긋난 것 (1) — 인쇄된 보상 수식. [검증] 논문의 r_{\mathrm{cws}} 는 b개 방향 손실을 합쳐 지수 하나에 넣지만, 구현(contact_wrench_support_reward_jit)은 방향별 \exp 를 평균한다. b=512·support 20% 부족에서 0.874(코드) vs 1.72e-32(논문 식). 논문에 적힌 대로 구현하면 학습이 안 된다. 자세한 수치는 위 「방법 상세」의 직접 검증 블록에 있다.

어긋난 것 (2) — 학습기. [논문] Appendix B는 FlashSAC · 2,048 env · L40S 1장 · ~2시간이라 적는다. [검증] 레포에는 RSL-RL PPO만 있다(FlashSAC·SACCfg·OffPolicyRunner 전량 0건). [저자] 이슈 #148에서 제1저자가 “현재 릴리스는 PPO·4,096 env이고 논문 결과는 2,048 env의 가속 구현으로 얻었으며, 그 구현과 3개 스테이지 하이퍼파라미터는 내부 검토 중·2026년 9월 공개 목표”라고 확인했다(2026-08-23, 같은 문구가 robotic_grounding/README.md에도 추가됨).

어긋난 것 (3) — 데이터. [검증] HF 데이터셋은 TACO 기반 1,215 시퀀스(논문 벤치마크의 약 26%)이고, parquet 34개 열 중 접촉을 담은 열이 0개 다. 레포 예제 fixture(synthbox)도 접촉이 설계상 전부 0이라 155프레임 전체에서 \sigma=0, CWS 보상이 항상 0이다. 즉 공개 데이터만으로는 이 논문의 핵심 보상을 작동시켜 볼 수 없다.

여전히 불가능한 것. 위 (2)·(3) 때문에 논문 표의 성능 재현은 지금 불가능하다 — 접촉 레퍼런스를 얻으려면 원본 데이터셋을 각자 받아 재구성 파이프라인을 돌려야 하고, 논문 수치를 낸 학습기는 저자 예고대로면 2026년 9월 에야 나온다. 코드 공개는 “방법이 맞는지 읽을 수 있게” 만들었지만 “숫자가 맞는지 확인할 수 있게”는 아직 만들지 못했다.