📃HRDexDB 리뷰

HRDexDB: A Paired Human-Robot Dataset for Cross-Embodiment Dexterous Grasping

• Paper Link

• Code Link

• Project

• Jongbin Lim, Taeyun Ha, Mingi Choi, Jisoo Kim, Byungjun Kim, Subin Jeon, Hanbyul Joo

• Seoul National University (SNU VCLab), 2026 (arXiv preprint)

1. 💡 사람 손과 4종 로봇 손이 같은 물체를 같은 의도로 쥐는 장면을 짝지어(paired) 담은, 최초의 마커리스(markerless) 크로스-임베디먼트 손재주 파지 데이터셋 HRDexDB를 제안한다.
2. ⚙️ 21대 exocentric + 2대 egocentric = 23대 카메라 리그와 텔레오퍼레이션(Xsens+MANUS)으로 사람/로봇 파지를 수집하고, HaMeR·SAM3·FoundationStereo·FoundationPose 기반 파이프라인으로 3D 손·물체 6D·접촉력을 복원한다.
3. 🎯 100개 물체·2.1K 시퀀스·24M 프레임 규모로, 사람→로봇 접촉맵 전이·잠재공간 파지 검색·3D 손 포즈/물체 6D 포즈 추정의 4개 벤치마크를 제공한다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

HRDexDB는 “사람의 손재주(dexterity)를 로봇 손으로 어떻게 옮길까”라는 문제를 데이터의 관점에서 공략한다. 기존 데이터셋은 사람 손-물체 상호작용(HOI)이나 로봇 조작(ROI) 중 한쪽에 치우쳐 있어, 같은 물체 위에서 사람과 여러 로봇 손이 어떻게 다르게 쥐는지를 짝지어 비교할 자료가 사실상 없었다. HRDexDB는 사람 손 + 4종 로봇 손(Allegro V4·V5 Plus, Inspire RH56DFTP·RH56F1)이 공유된 100개 물체를 파지하는 시퀀스를, 마커 없이 다시점 RGB로 정밀하게 복원해 짝지어(paired) 제공한다.

개요(Fig. 1) — 사람과 여러 로봇 손이 100개 물체를 파지하는 짝지어진 에피소드. 동기화된 다시점 캡처로 3D 손·로봇 궤적, 물체 6D 포즈, egocentric 관찰, 촉각 접촉력, 성공/실패 라벨을 함께 기록한다.

핵심 차별점은 세 가지다. (1) Paired: 같은 물체를 사람이 먼저 자연스럽게 쥐고, 텔레오퍼레이터가 그 의도를 보존한 대응 파지를 로봇으로 재현한다. (2) Cross-embodiment: 사람 포함 5개 임베디먼트가 같은 물체 집합을 공유한다. (3) Markerless + multi-modal: 마커 없이 다시점 RGB만으로 고정밀 3D를 복원하고, 촉각 지원 로봇 손에서는 접촉력까지 담는다.

핵심 방법론:

로봇 파지 시퀀스는 시간 인덱스된 다중모달 튜플로 표현된다.

\mathcal{T}^{\mathrm{robot}}=\left\{\{\mathbf{I}^{c_i}_{t}\}_{c_i=1}^{21},\ \mathbf{I}^{\mathrm{ego}}_{t},\ \bm{q}^{\mathrm{robot}}_{t},\ \bm{T}^{\mathrm{object}}_{t},\ \bm{F}^{\mathrm{tactile}}_{t},\ y\right\}_{t=1}^{T_r}

여기서 \mathbf{I}^{1..21}_t·\mathbf{I}^{\mathrm{ego}}_t는 동기화된 exo/ego RGB, \bm{q}^{\mathrm{robot}}_t는 로봇 상태, \bm{T}^{\mathrm{object}}_t\in\mathrm{SE}(3)는 물체 6D 포즈, \bm{F}^{\mathrm{tactile}}_t는 지문 촉각 신호, y\in\{0,1\}은 성공 여부다. 사람 파지는 로봇 상태·촉각 대신 MANO 포즈 \bm{\theta}^{\mathrm{human}}_t\in\mathbb{R}^{51}로 기술된다.

주요 결과 (벤치마크 4종):

• 접촉맵 전이: 사람 접촉을 그대로 쓴 것보다, HRDexDB로 학습한 로봇 전용 접촉맵으로 파지를 최적화하면 실기 성공률이 Inspire 66.7→73.3%, Allegro 63.3→80.0%로 상승(Table 2).
• 잠재공간 파지 검색: 33개 후보 중 Human→Inspire R@5 100%, R@1 36.36%. 검색 결과로 BODex 최적화를 초기화하면 kinematic retargeting을 능가(Table 3–4).
• 3D 손 포즈 추정: 모든 SOTA 모델이 FreiHAND보다 우리 데이터에서 오차가 큼 → 더 어려운 벤치마크임을 확인. 6k 샘플을 섞으면 FreiHAND 성능도 소폭 개선(Table 5–6).
• 물체 6D 포즈 추정: 로봇 파지가 사람 파지보다 항상 더 어려움(로봇 링크가 물체 경계를 가림). MegaPose refiner를 HRDexDB로 미세조정 시 ADD-S 10.2% 개선(Table 7–8).

결론: HRDexDB는 사람과 여러 로봇 손의 파지를 공유 물체 위에서 짝지어 담은 첫 마커리스 데이터셋으로, 크로스-임베디먼트 전이 연구와 상호작용 중심 지각(perception) 벤치마크의 공통 토대를 제공한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

사람 손재주를 로봇에 옮기는 연구의 근본 병목은 “비교 가능한 데이터의 부재”였다. HRDexDB는 논문 대부분을 정책·모델이 아니라 캡처·복원 파이프라인과 데이터 구조에 쏟는 데이터셋 논문이며, 그 위에서 네 개의 다운스트림 벤치마크로 데이터의 쓸모를 실증한다.

왜 어려운가 — paired·cross-embodiment 데이터의 공백

사람과 로봇 손은 형태(morphology)·기구학(kinematics)·구동(actuation)이 다르고, 이 임베디먼트 격차는 로봇 손들 사이에서도 존재한다. 서로 다른 다지 손은 저마다 물리·기구학 제약을 지녀 실현 가능한 접촉 패턴과 파지 전략이 다르다. 그런데 기존 데이터셋은 이 격차를 정면으로 다룰 재료를 주지 못했다.

• HOI(사람-물체) 데이터셋 — FreiHAND, DexYCB, ARCTIC, HOI4D, GigaHands 등은 규모·시점·물체 다양성을 키웠지만 사람 중심이라 로봇 임베디먼트와의 짝(pair)이 없다.
• ROI(로봇-물체) 데이터셋 — Open X-Embodiment, DROID는 대규모지만 상당수가 저-DoF 그리퍼이고 물체 모션이 부분적으로만 추적된다.
• 소수의 HROI(사람-로봇) 시도 — RH20T, DexWild, H&R 등이 있으나, 여러 다지 로봇 임베디먼트를 공유 물체 위에서 짝지어 담지 못하거나 마커리스 RGB·촉각이 빠져 있다.

HRDexDB는 저자들이 아는 한, 공유 물체 위에서 사람과 다중 로봇 손의 손재주 파지를 마커리스 다시점 RGB로 통일·짝지어 담은 첫 데이터셋이라고 주장한다.

데이터셋 구성(Fig. 1) — 100개 물체 × (사람 + 4 로봇 손). 짝지어진 파지 궤적·물체 6D·촉각·성공라벨.

Table 1의 비교에서 HRDexDB는 HROI 타입, 임베디먼트 5(사람+4로봇), 다지(Dex) ✓, 23 시점, 100 물체, 2048×1536 해상도, 2.1K 시퀀스·24M 프레임, 촉각·마커리스·3D 손·물체 6D를 모두 갖춘 유일한 항목으로 제시된다. (규모 자체는 GigaHands(183M 프레임)나 로봇 데이터셋(OXE 130M)이 더 크지만, HRDexDB의 강점은 프레임 수가 아니라 paired·multi-embodiment·multi-modal 조합의 완비에 있다.)

데이터 수집 — 캡처 시스템과 짝짓기 프로토콜

캡처·복원 파이프라인(Fig. 2) — 다시점 녹화를 처리해 손 모션·물체 6D 궤적을 복원하고, 정렬된 사람·로봇 파지를 산출한다.

캡처 리그. 작업공간을 3면으로 둘러싼 금속 프레임에 21대 exocentric RGB 카메라를 배치해 심한 손-물체 가림(occlusion) 속에서도 조밀한 다시점 캡처를 얻는다. 여기에 2대 egocentric 스테레오를 더하는데, 로봇 시행은 어깨 너머(over-the-shoulder) 리그, 사람 시연은 커스텀 스테레오 헬멧으로 촬영한다. 로봇은 Xsens 관성 모션캡처 슈트 + MANUS 글러브로 텔레오퍼레이션되어, 조작자의 손목·손가락 움직임을 로봇 팔과 손에 매핑한다.

짝짓기(paired) 프로토콜 — 2단계. 같은 물체·같은 작업공간 조건에서, ① 사람 피험자가 먼저 자연스러운 파지를 수행하고 다시점 녹화로 사람 손·물체 궤적을 복원한다. ② 텔레오퍼레이터가 그 시연을 관찰하고 의미적으로 대응하는(semantically corresponding) 파지를 로봇으로 재현하되, 형태·기구학·타이밍의 임베디먼트별 차이는 허용한다. 즉 짝짓기는 프레임 단위 정합이 아니라 파지 의도(intent) 수준의 대응이다 — 이 설계 선택은 뒤의 한계와 직접 연결된다.

다중모달 상태 복원

통일 월드 좌표계 안에서 세 요소를 복원한다.

• 사람 손 — MANO 파라메트릭 모델을 사용. GigaHands의 다시점 피팅 전략을 따라 각 보정 시점에서 HaMeR로 2D 키포인트를 검출→삼각측량으로 3D 관절을 얻고→프레임마다 MANO 포즈를 최적화한다. 피험자별 손 형상은 SAM3 마스크와의 실루엣 정렬로 보정하고, 시간 필터링으로 지터를 줄인다.
• 물체 6D 추적 — 보정된 스테레오 쌍에서 FoundationStereo로 밀집 깊이를, SAM3로 물체 마스크를 얻는다. RGB-D와 CAD 모델을 FoundationPose에 넣어 첫 프레임을 전역 정합으로 초기화하고 이후 시간 추적으로 정련한다. 단일 시점 스테레오의 드리프트를 막기 위해, 물체 메쉬를 모든 보정 시점에 렌더링해 시점 간 실루엣 불일치를 최소화하는 교차 시점 기하 일관성 제약을 추가한다.

이 파이프라인은 전부 기존 SOTA 비전 모델의 조합이라는 점을 짚어둘 만하다 — 새 복원 알고리즘을 제안하기보다, 정밀 다시점 리그 위에서 검증된 도구들을 통합해 데이터 품질을 확보하는 엔지니어링에 가깝다.

실험 — 데이터의 쓸모를 보이는 4개 벤치마크

논문은 두 방향으로 데이터를 활용한다: (A) 사람→로봇 전이(4.1 접촉맵 전이, 4.2 파지 검색)와 (B) 상호작용 중심 지각 벤치마크(4.3 손 포즈, 4.4 물체 6D 포즈).

4.1 사람→로봇 접촉맵 전이

접촉 전이와 실기 파지(Fig. 3) — (a) 사람 접촉/부위 맵 (C^h,P^h)를 로봇 전용 맵 (\hat{C}^r,\hat{P}^r)로 변환해 파지 합성의 최적화 목표로 삼는다. (b) 같은 물체·같은 입력에서, 전이된 맵으로 최적화한 파지는 성공하고 사람 맵 그대로 쓴 파지는 실패한다.

착상. 다지 로봇 손이 사람 손을 닮았어도, 사람 접촉 패턴을 그대로 모방하면 형태·기구학 차이로 최적이 아닐 수 있다. CEDex 같은 기존 방법은 사람→로봇 접촉 대응을 사전 정의했지만, HRDexDB는 짝지은 데이터로부터 로봇 전용 접촉맵을 데이터 기반으로 학습하는 대안을 연다.

설정. 물체 포인트클라우드 O\in\mathbb{R}^{N\times3} 위의 파지를, 점별 접촉확률 C\in[0,1]^N과 부위 맵 P(접촉점을 손 부위에 할당)로 표현한다. 사람 부위 맵 P^h\in\mathbb{R}^{N\times6}, 로봇 부위 맵 P^r\in\mathbb{R}^{N\times B}(Inspire B=6, Allegro B=5). 사람 표현 [C^h,P^h]와 PointNet++ 물체 특징을 조건으로 로봇 표현 [C^r,P^r]를 예측하고, C^r에 접촉 가중 L_1, P^r에 교차엔트로피로 학습한다. 예측된 로봇 접촉으로 CEDex의 물리 인지 최적화(접촉·관통·자기충돌 항)로 파지를 합성한다. 시뮬레이션은 Isaac Gym에서 6축 힘, 실기는 물체를 들어 10초 유지하면 성공으로 본다(pre-grasp/squeeze는 BODex, 실행 궤적은 CuRobo).

결과(Table 2, 성공률 %). 최적화기는 고정하고 접촉 항의 출처만 바꾼 비교:

Method	Inspire Sim ↑	Inspire Real ↑	Allegro Sim ↑	Allegro Real ↑
Human-Contact	54.6	66.7	60.2	63.3
Transferred (Ours)	55.6	73.3	65.8	80.0

Sim 시행 1000/1000, Real 시행 60/30(Inspire/Allegro). 전이된 접촉맵이 시뮬·실기 모두에서 사람 접촉을 그대로 쓴 경우보다 성공률을 높였다. 특히 실기에서 격차가 크다(Allegro +16.7%p). 다만 시뮬 향상폭(Inspire +1.0%p)은 작아, 이득의 상당 부분이 실기 접촉 정합에서 나온다.

4.2 잠재공간 로봇 파지 검색

사람 조건부 로봇 파지 검색의 정성 예시(Fig. 4) — 사람 손-물체 파지 질의로 학습된 임베딩 공간에서 로봇 파지 후보를 검색. same-object는 질의 물체로 후보를 제한, cross-object는 학습 물체에서 검색해 미학습 질의에 호환되는 파지 사전을 찾을 수 있는지 평가한다.

착상. 짝지은 사람·로봇 파지로부터, 기하·기능적으로 대응하는 파지를 임베디먼트 간에 정렬하는 공유 잠재 표현을 학습한다. 추론 시 사람 손-물체 파지를 질의로, HRDexDB의 로봇 파지 후보를 임베딩 유사도로 랭킹한다. 구현은 CLIP 스타일 다분기 검색 모델(사람·Inspire-F1·Allegro-V5용 포인트클라우드 인코더 + 공유 물체 인코더)을 대칭 대조 손실로 학습한다.

결과(Table 3, 33개 후보 검색).

Retrieval Direction	R@1	R@3	R@5
Human → Inspire	36.36%	81.82%	100.00%
Human → Allegro	24.24%	63.64%	72.73%
Inspire → Allegro	8.18%	57.58%	72.73%

사람→Inspire가 가장 잘 되고(R@5 100%), 로봇→로봇(Inspire→Allegro)은 R@1이 8.18%로 어렵다 — 서로 다른 로봇 손 사이 정렬이 사람↔︎로봇보다 오히려 까다로움을 시사한다.

다운스트림(Table 4, BODex 초기화 전략별 성공률 %). 검색된 파지로 BODex 미세 단계를 초기화하고, AnyTeleop 스타일 kinematic retargeting과 비교(같은 BODex 백엔드·MuJoCo, 7개 미학습 물체 33 에피소드, 에피소드당 50 시드).

Initialization	Seed Inspire-F1	Seed Allegro-v5	Episode Inspire-F1	Episode Allegro-v5
Vanilla	3.39	16.24	69.70	84.85
Kinematic Retargeting	3.52	1.21	42.42	30.30
Retrieval-top5	10.79	17.09	75.76	93.94
Retrieval-top1	12.24	21.33	57.58	75.76

검색 기반 초기화가 Vanilla BODex보다 낫고, kinematic retargeting은 오히려 Vanilla보다도 나쁘다(임베디먼트 불일치에서 직접 포즈 전이의 취약성). Retrieval-top1은 시드 성공률 최고, top5는 에피소드 성공률 최고 — 정밀도·커버리지 트레이드오프.

4.3 3D 손 포즈 추정 벤치마크

HRDexDB는 물체를 조작하는 손을 정밀 3D 지도(supervision)와 함께 다시점 RGB로 제공하므로, 손 재구성 모델을 어려운 조건에서 평가할 수 있다. Table 5에서 WiLoR·HaMeR·Hamba·MeshGraphormer·FrankMocap 모두 FreiHAND보다 우리 데이터에서 오차(PA-MPJPE/PA-MPVPE mm)가 대체로 크다(예: WiLoR 5.94 vs 5.71). 즉 더 어려운 벤치마크임을 확인. 나아가 우리 데이터 6k 샘플을 10개 손 데이터셋(총 2.7M) 미세조정 세트에 섞으면(Table 6), HaMeR·WiLoR 모두 FreiHAND에서 소폭 개선되어 중복이 아닌 보완적 신호임을 시사한다.

4.4 물체 6D 포즈 추정 벤치마크

CAD·6D 라벨을 사람·로봇 파지 프레임 모두에 제공하므로 상호작용 중심 6D 포즈 평가가 가능하다. FoundPose·GigaPose·PicoPose(정련은 상위 5개를 MegaPose로)를 동일 RGB+마스크 프로토콜로 평가(Table 7). 모든 방법이 로봇 파지에서 사람 파지보다 나쁘다(예: FoundPose+MegaPose ADD 사람 3.35→로봇 4.40cm) — 로봇의 강체 링크·지문이 물체 경계를 가리고 물체 같은 시각 구조를 만들어 국소화를 어렵게 한다. 또 MegaPose refiner를 100k GSO 합성 + 5.3k HRDexDB 로봇 파지로 미세조정하면, HRDexDB와 분리된 OmniRobotHome 환경에서 평균 ADD-S가 10.2% 개선(Table 8)되어, 상호작용 세팅 적응에 데이터가 도움됨을 보인다.

비판적으로 보면

강점

• 공백을 정확히 겨냥한 데이터. paired·multi-embodiment·markerless·multi-modal(촉각 포함)을 한 번에 갖춘 조합은 실제로 기존에 부재했고, Table 1의 비교가 이를 설득력 있게 보여준다. 크로스-임베디먼트 전이 연구의 공통 토대로서 가치가 분명하다.
• 데이터의 쓸모를 4개 벤치마크로 실증. 데이터셋 논문이 흔히 빠지는 “만들었으니 쓸모 있을 것” 식 주장을 넘어, 전이(접촉맵·검색)와 지각(손·물체 포즈) 양쪽에서 정량 결과를 제시한다. 특히 접촉맵 전이의 실기 +16.7%p, retargeting이 Vanilla보다도 나쁘다는 결과는 paired 데이터의 필요성을 구체적으로 뒷받침한다.
• 정직한 파이프라인 통합. 새 알고리즘을 과장하지 않고 검증된 SOTA(HaMeR·SAM3·FoundationStereo·FoundationPose)를 정밀 리그로 통합했다. 재현·확장 가능성이 높다.

약점·한계

• 규모의 한계. 100 물체·2.1K 시퀀스는 “foundational benchmark”를 표방하기엔 물체·행동 다양성이 제한적이다. 프레임 수(24M)는 크지만 파지 시퀀스는 2.1K로, VLA 사전학습 같은 대규모 학습에는 부족할 수 있다. 저자도 1,000 물체로 확장 중이라고 밝힌다.
• 파지에 국한. 이름 그대로 dexterous grasping 데이터셋이다. 도구 사용·기능적 조작(functional manipulation) 같은 장기(long-horizon)·접촉 풍부 태스크는 아직 없다(향후 계획).
• 의미적 짝짓기의 느슨함. 저자가 한계 (2)로 인정하듯, 사람과 로봇 파지는 의미 수준에서만 짝지어진다. 형태가 다른 손 사이에서 기능적으로 등가인 모션을 정의하는 문제는 미해결이라, 프레임 단위 대응이 필요한 imitation에는 그대로 쓰기 어렵다.
• 촉각 이질성. 촉각은 로봇 손에만 있고 센서 사양도 플랫폼마다 달라(한계 1) 통일된 촉각 분석이 어렵다. “촉각 포함”이 강점이지만 실사용에는 정규화가 선행돼야 한다.
• 전이 실험의 범위. 접촉맵 전이·검색 실험은 Inspire-F1·Allegro-V5 두 손으로만 학습·평가되어, 데이터셋이 표방하는 “5 임베디먼트”의 크로스-임베디먼트 잠재력을 아직 부분적으로만 활용한다. 로봇→로봇 검색 R@1 8.18%도 이 방향의 난이도를 드러낸다.
• (참고) 원문에 표 참조 번호 오타가 보인다(본문이 Table 4/6을 가리키는데 내용상 Table 3/5) — 리뷰에서는 내용에 맞는 표 번호로 인용했다.

재현 관점 노트(원문 주장과 무관, 공개 시점 릴리스 성숙도). 실제 재현을 시도해 보면, 현재 공개된 HuggingFace 릴리스(cc-by-nc-4.0, 약 680GB이지만 allow_patterns로 scene 단위 선택 다운로드 가능)에는 논문이 기술한 5개 임베디먼트 중 human/과 allegro_v5/ split만 올라와 있어, README quick-start의 --hand inspire_f1 예제는 대응 scene 데이터가 아직 없어 그대로 실행되지 않는다(코드는 정상, 데이터 릴리스가 부분적). 또 robot(allegro_v5) scene은 팔·손은 정상 애니메이션되지만 물체 6D 포즈 파일 포맷 불일치(object_6d_pose.npz vs 코드가 기대하는 object_6d/pose_*.txt)로 물체가 조용히 누락된다. 논문 주장의 한계가 아니라 공개 초기 데이터/코드 성숙도 이슈다(재현 PR 참고).

관련 연구와의 자리 매김

HRDexDB는 “사람 시연으로부터의 로봇 손재주 학습”이라는 흐름의 데이터 인프라 축에 위치한다.

• UniDex 리뷰 — 사람 egocentric 영상을 로봇 궤적으로 변환해 손을 가로지르는 파운데이션을 학습. HRDexDB가 정밀 다시점 리그로 GT를 확보한다면, UniDex는 야생 영상 규모로 데이터를 채운다 — 상보적 접근이다.
• CHORD 리뷰 — 사람 시연의 접촉 렌치(wrench)로 크로스-임베디먼트 손재주 조작을 학습. HRDexDB의 접촉맵 전이와 문제의식(사람 접촉→로봇)이 맞닿는다.
• Do as I Do 리뷰 — 일상 사람 영상에서 손재주 데이터를 생성. 사람→로봇 데이터 확보 전략의 다른 갈래.
• GenHand 리뷰 — 사람 파지의 kinematic retargeting. HRDexDB 4.2가 retargeting을 능가하는 검색 기반 초기화를 보여, 이 계열의 한계를 데이터로 짚는다.

전이 방법(정책·모델) 연구가 그동안 평가할 공유 물체 위 paired 데이터의 부재로 서로 비교되기 어려웠던 상황에서, HRDexDB는 그 공백을 메우는 벤치마크로 자리한다.

요약

HRDexDB는 사람 손 + 4종 로봇 손이 공유 100개 물체를 파지하는 장면을 마커리스 다시점 RGB로 짝지어 담은 첫 데이터셋이다(2.1K 시퀀스·24M 프레임·촉각·3D 손·물체 6D). 23대 카메라 리그와 텔레오퍼레이션으로 수집하고, 검증된 SOTA 비전 파이프라인으로 3D 상태를 복원한다. 접촉맵 전이(실기 성공 +16.7%p)·잠재 파지 검색(retargeting 능가)·손 포즈·물체 6D 포즈의 4개 벤치마크로 데이터의 쓸모를 실증했다. 규모·태스크 다양성·짝짓기의 느슨함이라는 한계는 남지만, 크로스-임베디먼트 손재주 전이 연구의 공통 토대로서의 기여가 뚜렷하다.