📃UniDex 리뷰

UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos

• Paper Link

• Code Link

• Project

• Gu Zhang 외 (UniDex 팀)

• CVPR 2026

1. 💡 사람의 1인칭(egocentric) 비디오를 로봇 궤적으로 바꿔 만든 대규모 데이터셋과, 손 종류를 가로지르는 통일 행동공간(FAAS), 3D VLA 정책을 묶어 범용 손재주(dexterous) 제어의 파운데이션 스위트를 제안한다.
2. ⚙️ 사람 손가락 끝 궤적을 6-DoF 베이스 보정과 함께 로봇으로 retarget하고 사람 손을 마스킹한 3D 포인트클라우드로 학습하며, 기능적으로 같은 액추에이터를 공유 좌표로 묶어(FAAS) 여러 손에 전이하고, flow-matching VLA를 대규모 사전학습 후 태스크당 50개 시연으로 미세조정한다.
3. 🎯 두 개의 손·5개 도구사용 태스크에서 평균 task progress 81.0%(성공률 76.0%)로 DP·DP3·π₀ 베이스라인을 큰 폭으로 능가하고, 공간·물체·손(zero-shot)에 대한 일반화까지 보인다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

UniDex는 “손재주(dexterous) 조작을 위한 로봇 파운데이션 모델을 어떻게 싸게, 그리고 여러 손에 통하게 만들까”라는 질문에 답하는 세 조각의 스위트다. (1) 사람의 1인칭 비디오를 로봇이 실행 가능한 궤적으로 변환한 대규모 데이터셋 UniDex-Dataset, (2) 서로 다른 손의 액추에이터를 기능 기준으로 묶어 하나의 행동공간으로 통일한 FAAS, (3) 3D 포인트클라우드와 언어를 입력으로 받는 UniDex-VLA 정책. 핵심 통찰은 “로봇 원격조작 데이터는 비싸지만 사람의 손 영상은 넘쳐난다 → 사람 데이터를 로봇 데이터로 바꾸고, 손마다 다른 제어를 기능 좌표로 통일하면 파운데이션 학습이 가능하다”는 것이다.

UniDex-VLA 개요(Fig. 4) — 시점 t에서 단일 시점 컬러 포인트클라우드 P_t, 언어 지시 \ell_t, 고유수용성 상태 q_t를 받아 FAAS 행동공간 위에서 H-스텝 행동 청크를 출력한다.

핵심 방법론:

세 요소가 맞물린다. 첫째, 사람 손 영상을 로봇 궤적으로 바꾸는 human-to-robot transformation은 손가락 끝(fingertip) IK에 6-DoF 베이스 보정(dummy base)을 더해 물리적으로 그럴듯한 접촉을 유지하고, 사람 손을 마스킹한 3D 포인트클라우드로 시각 격차를 줄인다. 둘째, FAAS(Function–Actuator–Aligned Space)는 손마다 다른 액추에이터(6~24 DoF)를 “엄지-검지 핀치, 손가락 말기, 측면 외전” 같은 기능 단위로 묶어 공유 좌표에 매핑한다 — 임베디먼트 고유의 잡음을 버리고 손을 가로지르는 전이를 가능케 한다. 셋째, UniDex-VLA는 단일 시점 컬러 포인트클라우드 P_t, 언어 \ell_t, 고유수용 q_t를 받아 행동 청크 p(A_t \mid o_t)를 flow-matching으로 모델링하며, UniDex-Dataset으로 사전학습 후 태스크 시연으로 미세조정한다.

주요 결과:

• 5개 실세계 도구사용 태스크·두 손·태스크당 시연 50개 기준, 평균 task progress 81.0±12.1%, 최종 성공률 76.0±17.8%.
• 베이스라인 대비 큰 격차: DP 29.0% · DP3 35.0% · π₀ 38.0% · UniDex-VLA(No-Pretrain) 32.5% → UniDex-VLA 81.0%.
• 가장 어려운 “가위로 봉지 자르기”에서 최고 경쟁 모델 대비 평균 task progress +84.6% 상대 향상.
• 공간(OOD 위치)·물체(미학습 주전자)·손(Inspire→Wuji/Oymotion zero-shot) 일반화를 모두 보임.

결론: UniDex는 “사람 영상 → 로봇 데이터”, “손마다 다른 제어 → 기능 통일 행동공간”, “2D 그리퍼 VLA → 3D 고DoF VLA”라는 세 전환을 한데 묶어, 비싼 로봇 데이터 의존을 줄이면서도 여러 손에 통하는 손재주 파운데이션을 실증했다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

손재주 조작의 세 가지 벽은 데이터 비용(로봇 원격조작은 비싸다), 손의 이질성(엄지 몇 개, DoF 몇 개가 제각각), 고차원 제어(6~24 DoF)다. UniDex의 통찰은 단순하다. 사람의 1인칭 손 영상은 풍부하니 그걸 로봇 궤적으로 바꿔 데이터를 채우고(데이터 비용), 손마다 다른 액추에이터를 기능 기준으로 통일해 한 정책이 여러 손을 다루게 하며(이질성), 3D 포인트클라우드 위에서 언어조건 행동을 학습한다(고차원). 데이터·행동공간·정책을 한 묶음으로 정렬한 파운데이션 스위트라는 점이 이 논문의 무게중심이다.

왜 손재주 조작이 어려운가

평행 그리퍼는 사실상 1 DoF다. 반면 사람형/다지 로봇 손은 6~24 DoF에 이르고, 도구를 쥐고 쓰는 작업(주전자로 커피 내리기, 가위로 자르기)은 미세한 3D 기하와 접촉 어포던스를 요구한다. 여기에 더해 로봇마다 손 구조가 달라 한 손에서 모은 데이터·정책이 다른 손으로 잘 옮겨가지 않는다. 결국 “손마다 비싼 데이터를 따로 모아 따로 학습”하는 비효율이 손재주 파운데이션의 가장 큰 장벽이었다.

UniDex-Dataset: 사람 영상을 로봇 궤적으로

UniDex-Dataset은 1인칭 사람 영상에서 파생한 5만 개 이상의 궤적을, 8종의 손(6~24 DoF)에 걸쳐 구축한 로봇 중심 데이터셋이다. 핵심은 사람 데이터를 로봇이 실행 가능한 형태로 바꾸는 변환 파이프라인이다.

사람–로봇 변환 파이프라인(Fig. 1) — 원본 장면 포인트클라우드에서 사람 손을 마스킹하고, 손가락 끝 궤적을 로봇 손에 정렬해 로봇 실행 궤적으로 바꾼다.

변환은 두 격차를 넘어야 한다. 기구학적(kinematic) 격차는 손가락 끝 retargeting으로 푼다. 사람 손에서 m개의 손가락 끝 목표 X^\star=[x_1^\star,\ldots,x_m^\star]\in\mathbb{R}^{3\times m}(m=로봇 손가락 수)를 뽑고, 손가락 끝 기반 IK를 적용하되 6-DoF 정렬 오프셋(실제 베이스 앞에 삽입한 dummy base)을 허용해 물리적으로 그럴듯한 손–물체 접촉을 유지한다. 손가락 끝이 접촉의 1차 지점이므로 이를 기준으로 맞추는 것이 자연스럽다. 시각(visual) 격차는 사람 손을 마스킹한 명시적 3D 포인트클라우드 위에서 동작함으로써 좁힌다 — 정책이 “사람 손”이라는 분포 밖 입력에 휘둘리지 않게 한다.

UniDex-Dataset 시각화(Fig. 2) — 동사–물체 워드클라우드와 데이터셋의 일부. 색은 서로 다른 손을 의미한다.

FAAS: 손을 가로지르는 통일 행동공간

서로 다른 손 위에서 하나의 파운데이션을 사전학습하려면, 손을 가로질러 전이되는 행동 표현이 필수다. FAAS(Function–Actuator–Aligned Space)는 그 답이다. n개의 작동 DoF를 가진 임의의 손에 대해, 각 액추에이터(URDF에서 파생한 제어 가능한 DoF, mimic 관절 포함)를 그 기능적 역할에 해당하는 FAAS 인덱스로 매핑한다. 손마다 링크 길이·커플링·배치가 달라도, 모두 “엄지–검지 핀치, 손잡이를 감싸는 손가락 말기, 안정화를 위한 측면 외전/내전” 같은 소수의 기능 프리미티브를 구현한다는 관찰이 핵심이다. FAAS는 액추에이터를 이 기능 역할로 묶어 공통 좌표계에 매핑하고, 임베디먼트 고유의 잡음 요인을 버린다.

FAAS(Fig. 3) — Oymotion(11), Allegro(16), Inspire(12), Wuji 등 서로 다른 손의 엄지·약지를 기능 역할 기준으로 공유 좌표에 정렬한다.

이 “URDF 고유 관절 공간”이 아니라 “기능 중심 제어 인터페이스”라는 발상이 cross-hand 전이의 토대가 된다.

UniDex-VLA: 3D 언어조건 파운데이션 정책

UniDex-VLA는 3D·언어조건 손재주 제어 모델을 지향한다. 2D 인코더와 저차원 그리퍼 행동을 짝짓던 기존 VLA와 달리, 이 문제는 본질적으로 부피적(volumetric)이고 고DoF다 — 특히 1인칭 단일 시점 관측에서 도구사용은 미세한 3D 기하와 접촉 어포던스 추론을 요구한다. UniDex-VLA는 3D 시각 입력을 FAAS 행동공간과 결합해 지각과 제어를 공유 표현으로 정렬한다.

관측은 o_t=[P_t,\ell_t,q_t]로, P_t는 RGB-D에서 만든 단일 시점 컬러 포인트클라우드(크롭·다운샘플), \ell_t는 자연어 지시, q_t는 로봇 고유수용 상태다. 모델은 H-스텝 행동 청크 A_t=[a_t,\ldots,a_{t+H-1}]에 대한 분포 p(A_t\mid o_t)를 모델링하며, 학습은 flow-matching 손실을 쓴다(부록 A). 정책은 UniDex-Dataset으로 사전학습한 뒤 태스크 시연으로 미세조정된다.

실험: 성능

평가는 두 손에 걸친 5개 실세계 도구사용 태스크에서 이뤄진다. 태스크당 시연 50개, 알고리즘·태스크별 20회 시도다.

실세계 벤치마크(Fig. 6) — 5개의 까다로운 도구사용 태스크. 각 태스크의 핵심 단계와 요구되는 정밀한 손재주를 보여준다.

결과는 분명하다. 시연 50개만으로 UniDex-VLA는 길고 어려운 도구사용 태스크에서 높은 성공률을 달성하고 모든 베이스라인을 큰 폭으로 앞선다.

평균 task progress(Fig. 10) — 5개 태스크 평균(위)과 평균 task progress·최종 성공률의 집계(아래).

Model	Avg Task Progress	Final Success Rate
DP	29.0 ± 19.9%	22.0 ± 22.5%
DP3	35.0 ± 17.1%	30.0 ± 18.7%
π₀	38.0 ± 7.4%	35.0 ± 10.0%
UniDex-VLA (No-Pretrain)	32.5 ± 18.5%	23.0 ± 12.0%
UniDex-VLA	81.0 ± 12.1%	76.0 ± 17.8%

특히 가장 어려운 “가위로 봉지 자르기”에서 최고 경쟁 모델 대비 평균 task progress가 +84.6% 상대 향상한다. No-Pretrain과의 격차는 UniDex-Dataset 사전학습의 효과를 깔끔하게 분리해 보여준다 — 사전학습이 손재주 제어를 위한 강한 운동 prior를 부여한다는 증거다.

일반화: 공간·물체·손

성능을 넘어, UniDex-VLA는 세 방향의 일반화를 보인다.

공간 일반화. 3D 지각 덕분에 포인트클라우드의 기하 편집으로 간단한 자동 증강이 가능하다. Make Coffee에서 주전자·드리퍼의 포인트클라우드를 분할해 테이블 x/y축으로 옮겨 OOD 배치를 만들고, TAMP로 로봇 상태를 새 장면에 정렬한다(DemoGen으로 자동화). 그 결과 전 작업공간에서 높은 성공률에 근접한다.

손 일반화(Fig. 9) — Inspire Hand로 학습한 정책을 Wuji·Oymotion으로 zero-shot 전이한다(스킬 전이).

물체 일반화. 검은 주전자를 색·크기·기능부(손잡이·주둥이)가 다른 작은 보라색 주전자로 바꿔도 강한 성능을 유지한다. 손 일반화. Inspire Hand로 학습한 정책을 Wuji·Oymotion으로 zero-shot 전이한다 — FAAS가 만든 기능 통일 행동공간이 cross-hand 스킬 전이를 실제로 가능케 함을 보여준다.

UniDex-Cap: 휴대용 캡처와 사람–로봇 공동학습

UniDex-Cap은 동기화된 RGB-D와 손/머리 자세를 기록하는 실용적 캡처 셋업이다. 손/머리 자세 추정용 Apple Vision Pro, 고품질 RGB-D용 Intel RealSense L515, 그리고 둘을 고정 강체 변환으로 묶는 3D 프린팅 마운트로 구성되며, 이 변환을 캘리브레이션해 RGB-D와 자세를 공유 좌표계에서 시간 동기화한다.

UniDex-Cap(Fig. 11) — (a,b) 구성요소, (c,d) 캡처 데이터와 변환된 로봇 실행 궤적.

캡처한 사람 데이터를 3.2의 변환 파이프라인으로 로봇 궤적으로 바꾸고, 시점 변환과 다운샘플링으로 로봇 관점·속도에 맞춘 뒤, 실로봇 데이터와 공동학습(co-train)한다. 이로써 비싼 로봇 시연 의존을 줄인다.

비판적으로 보면

강점

• 세 전환을 한 묶음으로 정렬했다. “사람 영상→로봇 데이터”, “손별 제어→기능 통일 행동공간(FAAS)”, “2D 그리퍼 VLA→3D 고DoF VLA”가 따로 노는 게 아니라 데이터–행동공간–정책으로 일관되게 맞물린다. 좋은 시스템 논문의 전형이다.
• cross-hand 전이가 실증됐다. FAAS 위에서 Inspire→Wuji/Oymotion zero-shot 전이가 된다는 것은 통일 행동공간이라는 주장의 가장 강한 증거다.
• 사전학습 효과가 분리됐다. No-Pretrain 대비 32.5%→81.0%의 격차가 데이터셋·사전학습의 가치를 깔끔하게 보여준다.
• 실용적 캡처 경로(UniDex-Cap). Vision Pro+L515라는 접근 가능한 하드웨어로 사람 데이터를 모아 공동학습하는 길을 제시한다.

약점·한계

• action-free 대규모 영상을 아직 못 쓴다. 저자도 인정하듯, 약하게 라벨된/행동 없는 대규모 1인칭 활동 영상을 아직 활용하지 못한다 — 진짜 “웹 스케일” 사전학습의 잠재력은 미개봉이다.
• 태스크·손의 규모가 제한적. 본문 벤치마크는 5개 도구사용 태스크·두 손 평가다. “universal”이라는 주장에 비해 실세계 평가 손/태스크 다양성은 더 넓어질 여지가 있다.
• FAAS의 손실. 기능 역할로 묶으며 임베디먼트 고유 정보를 “잡음”으로 버리는데, 미세한 손별 운동학 차이가 중요한 작업에서는 이 추상화가 한계가 될 수 있다(본문은 강점 위주로 보고).
• 파이프라인 복잡도. retargeting(IK+dummy base), 손 마스킹, TAMP/DemoGen 증강, 캘리브레이션 등 구성요소가 많아 재현·운용 비용이 작지 않다.
• 단일 시점 가정. 1인칭 단일 시점 포인트클라우드에 의존하므로 가림(occlusion)이 심한 접촉 단계에서의 강건성은 추가 검증이 필요하다.

관련 연구와의 자리매김

UniDex는 세 흐름의 교차점에 있다. 첫째, 손재주 조작(다지 손 제어)에서 데이터·임베디먼트 이질성 문제를 정면으로 다룬다(DexNDM 리뷰 등 cross-embodiment 손 제어 계열과 맞닿는다). 둘째, 로봇 파운데이션/통일 행동공간에서 FAAS는 cross-hand 전이를 위한 행동 파라미터화를 제시한다(VLA 계열인 XL-VLA 리뷰와 비교해 볼 만하다). 셋째, 사람 영상에서 배우기에서 1인칭 데이터를 로봇 궤적으로 변환하는 전략을 취한다(EgoScale 리뷰의 egocentric 학습과 상보적이다).

이 세 흐름을 따로 다루던 기존 연구와 달리, UniDex는 “데이터(사람 영상)–표현(FAAS)–정책(3D VLA)”을 한 스위트로 정렬했다는 데 차별점이 있다. 코드가 공개되어 있어(unidex-ai/UniDex) 손재주 파운데이션 연구의 출발 플랫폼으로 끌어 쓰기 좋다는 점도 실무적 가치다.

요약

UniDex의 기여는 “손재주 파운데이션은 데이터·행동공간·정책을 한꺼번에 정렬해야 한다”는 시스템 관점에 있다. 사람 1인칭 영상을 로봇 궤적으로 바꿔 5만 궤적·8손 데이터셋을 만들고(UniDex-Dataset), 기능 기준으로 손을 통일하고(FAAS), 3D 언어조건 VLA를 사전학습·미세조정해(UniDex-VLA), 두 손·5태스크에서 평균 task progress 81%와 zero-shot 손 전이를 달성했다. 한계도 분명하다 — action-free 대규모 영상 미활용, 평가 규모, 추상화의 손실, 파이프라인 복잡도. 하지만 그 한계 대부분은 “더 많은 데이터”와 “더 넓은 평가”라는 확장 문제이고, 데이터–표현–정책을 정렬한다는 핵심 설계는 손재주 파운데이션의 자연스러운 청사진으로 읽힌다.