📃DexEXO

exoskeleton

dexterity

wearable

A Wearability-First Dexterous Exoskeleton for Operator-Agnostic Demonstration and Learning

Published

May 21, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 다양하고 이질적인 작업자로부터 고품질의 데모 데이터를 수집하는 데 따르는 어려움으로 인해 숙련된 로봇 학습의 확장이 제약받는 문제를 해결하고자 합니다. 기존의 웨어러블 인터페이스는 종종 착용성(wearability)과 사용자 간 적응성을 희생하면서 운동학적 충실도(kinematic fidelity)를 높이려 하며, 데모 단계와 배포 단계 간의 임바디먼트 불일치(embodiment mismatch)는 정책 학습 전에 시각적 후처리(visual post-processing)를 요구합니다.

이러한 한계점을 극복하기 위해 본 논문은 착용성을 최우선으로 고려한 핸드 외골격인 DexEXO를 제안합니다. DexEXO는 하드웨어 수준에서 시각적 외형(visual appearance), 접촉 기하학(contact geometry), 운동학(kinematics)을 정렬시킵니다. 핵심적인 특징은 다음과 같습니다:

착용성 및 교차 사용자 적응성:
- Slider-Based Finger Interface: 각 손가락에 수동 스프링 장착 선형 슬라이더(linear slider)를 사용하여 손가락 길이 변화를 수용하고 충분한 컬(curl) 변위를 유지합니다. 이는 삽입 깊이와 관절 축 정렬을 분리하여 착용 견고성을 향상시킵니다. 분석적 모델링을 통해 140 mm에서 217 mm까지의 손 길이를 지원하도록 설계되었으며, 이는 사용자의 손 길이에 따라 손가락 TPU 링이 손가락 물갈퀴(webbing) 위로 최대 \delta = 17 \text{ mm}까지 위치할 수 있도록 허용합니다. 최소 및 최대 호환 손 길이는 다음과 같이 계산됩니다: \text{H}_{\text{min}} = \text{L}_{\text{min}} / r \text{H}_{\text{max}} = (\text{d}_{\text{max}} - \text{d}_{\text{curl}} + \delta) / r 여기서 \text{L}_{\text{min}}은 최소 TPU 링-손가락 덮개 거리, \text{d}_{\text{max}}는 슬라이더의 최대 이동 거리, \text{d}_{\text{curl}}은 완전한 손가락 굽힘에 필요한 최소 자유 슬라이더 길이, r은 손가락 길이-손 길이 비율입니다. 이를 통해 사용자별 피팅 및 교정의 필요성을 줄여 확장 가능한 교차 사용자 데이터 수집을 가능하게 합니다.
- Pose-Tolerant Thumb Mechanism: 이 메커니즘은 인간 엄지손가락의 자연스러운 작업 공간(workspace)을 보존하면서도 로봇 엄지손가락 자유도(DOFs)에 대한 일관된 매핑을 유지합니다. 외골격 엄지손가락은 계측된 IP 관절 \text{J}_1 (각도 \theta_1)을 포함하며, 수동 엄지손가락은 IP 관절 \text{J}_2 (각도 \theta_2)와 TM 외전/내전(abduction/adduction) 관절 \text{J}_4 (각도 \theta_4)를 포함합니다. 여기서 \text{J}_3는 \text{J}_2에 기계적으로 연결됩니다. 외골격 엄지손가락은 두 개의 강성 링키지(distal linkage 및 metacarpal linkage)를 통해 수동 엄지손가락에 연결됩니다. 이 아키텍처는 외골격과 인간 엄지손가락 사이의 강성 방향 정렬을 강제하지 않고, 대신 기하학적 거리 제약 조건만 부여하여 외골격이 손바닥에 대해 번역(translate) 및 회전(rotate)할 수 있도록 합니다. 외골격의 포즈 \text{B}\text{T}_{\text{E}}는 6자유도를 가지며, 다음의 홀로노믹(holonomic) 거리 제약 조건을 만족합니다: \lVert \text{B}\text{r}_{\text{d}}^{\text{E}} - \text{B}\text{r}_{\text{d}}(\text{q}_{\text{p}}) \rVert = \text{L}_{\text{d}} \lVert \text{B}\text{r}_{\text{m}}^{\text{E}} - \text{B}\text{r}_{\text{m}}(\text{q}_{\text{p}}) \rVert = \text{L}_{\text{m}} 여기서 \text{L}_{\text{d}}와 \text{L}_{\text{m}}은 원위(distal) 및 중수골(metacarpal) 링키지 길이를 나타냅니다. 이러한 잔여 자유도(residual freedom)는 “꿈틀거림 공간(wiggle space)”으로 나타나며, 외골격 몸체가 손바닥에 대해 이동 및 회전하면서도 수동 엄지손가락 자세를 변경하지 않도록 합니다.
임바디먼트 정렬:
- 배포된 로봇(OYMotion ROH-AP001)과 시각적으로 일치하는 수동 손(passive hand)을 통합하여, 손목에 장착된 카메라 관점이 로봇 손의 관점과 일치하도록 합니다. 이는 수집 및 추론 과정에서 시각적 불일치를 제거하고, 세그멘테이션(segmentation) 및 비주얼 포스트 프로세싱(visual post-processing) 없이 원시(raw) 손목 장착 RGB 관찰에서 직접 정책 학습이 가능하도록 합니다.

데이터 수집 및 정책 학습:

데이터는 외골격 메커니즘 내부에 내장된 6개의 아날로그 엔코더(finger joint positions), iPhone 기반 AR 추적 시스템(6-DOF end-effector pose), 그리고 손목 장착 Intel RealSense 카메라(RGB images)를 통해 수집됩니다. 모든 센서 데이터는 동기화됩니다. 정책 학습에는 디퓨전 정책(diffusion policy)을 사용하며, 관찰값으로는 손목 장착 카메라의 RGB 이미지와 (선택적으로) 저차원 손 상태가 포함됩니다. RGB 이미지는 DINOv2 ViT-S/14 인코더를 사용하여 시각적 특징을 추출하고 정책의 주요 조건화 신호로 사용됩니다. 정책은 16단계의 예측 행동 호라이즌을 출력하며, 첫 8개 행동은 리시딩 호라이즌(receding-horizon) 방식으로 실행됩니다.

결과:

사용자 연구에서 DexEXO는 기존 웨어러블 시스템(DexUMI) 및 텔레오퍼레이션(teleoperation)에 비해 향상된 편안함과 사용성(예: 가위 자르기 작업 유일하게 수행, 피아노 작업 성공률 54.5% 높음, 완료 시간 16.6% 빠름)을 보여주었습니다. 특히, 착용자는 외골격 디자인에 대해 더 높은 손가락 독립성(finger independence), 물리적 편안함(physical comfort), 낮은 좌절감을 보고했습니다. 정책 평가 결과, 하드웨어 수준의 기하학적 및 시각적 정렬은 시각적 후처리 없이 효과적인 엔드투엔드 정책 학습을 가능하게 하며, 원시 RGB 관찰만으로도 충분한 상태 정보를 제공하여 명시적인 손 상태 조건화(explicit hand-state conditioning)가 불필요하다는 것을 입증했습니다. DexUMI의 최적 구성(세그멘테이션 및 인페인팅 포함)과 비교했을 때, DexEXO는 세그멘테이션이나 인페인팅 없이 유사한 성공률을 달성했습니다.

결론적으로, DexEXO는 착용성과 하드웨어 수준의 임바디먼트 정렬을 우선시함으로써 숙련된 로봇 학습에서 인간 및 알고리즘적 병목 현상을 줄이면서도 작업 성능을 희생하지 않는 효과적인 접근 방식을 제시합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

The bulk of the paper is in hand, but I still need the policy evaluation (V-C), limitations, and conclusion sections. Let me grab those. ## 시작하며: 손이 안 맞으면 데이터도 없다

손기술(dexterous manipulation)을 학습시킨다는 건 결국 데이터 싸움입니다. 다관절 손에서 접촉이 풍부한 동작 데이터를 모으는 일은 그래스퍼(parallel-jaw gripper) 데이터를 모으는 일과 비교가 안 됩니다. 자유도가 많고, 시점 가림(occlusion)이 일상이며, 접촉이 끊임없이 만들어지고 풀립니다. 손에 무언가를 끼우는 순간 사용자는 불편함을 호소하고, 손마다 크기와 비율이 달라 한 사람에게 맞춘 장치는 다른 사람에겐 헐겁거나 끼이게 됩니다.

이 논문이 던지는 질문은 단순합니다. “손기술 데모 수집 장치의 진짜 병목은 정확도가 아니라 착용성(wearability)이 아닐까?” 그리고 한 가지 더. “기구학적으로는 일치시키더라도 카메라가 보는 영상까지 일치시키지 않으면, 결국 정책 학습에서는 후처리가 또 필요하지 않은가?” DexEXO는 이 두 문제를 하드웨어 수준에서 동시에 해결하려는 시도입니다. 그리고 그 해결책의 본질은 의외로 단순합니다. “맞추려고 하지 말고, 어긋남을 흡수하라.”

이 글은 UCLA의 RoMeLa와 PRG 그룹이 발표한 DexEXO를 다관절 손기술을 다루는 로봇공학자의 관점에서 깊이 있게 들여다봅니다. 특히 Allegro Hand나 유사 로봇 손 플랫폼에서 데이터 수집을 고민하는 분들이라면, 이 논문의 설계 철학이 도구 선택을 넘어서 연구 방향에까지 영향을 줄 수 있다고 생각합니다.

문제의 풍경: 데모를 얻는 세 갈래길

손기술 데이터를 모으는 방법은 크게 셋입니다.

첫째, 시뮬레이션과 비디오입니다. 양은 풍부합니다. 인터넷 영상은 무한대에 가깝고 시뮬레이션은 병렬로 무한히 굴릴 수 있습니다. 그러나 접촉력과 미세한 손가락-물체 상호작용을 실재처럼 포착하는 일은 여전히 어렵습니다. 손가락이 종이 한 장을 집어 올릴 때 손톱이 미끄러지는 그 찰나의 dynamics는 비디오엔 안 찍히고 시뮬레이터엔 종종 빠져 있습니다.

둘째, 원격조작(teleoperation)입니다. 로봇의 제어공간에서 직접 데이터를 만드니 가장 정확합니다. 다만 다관절 손의 원격조작은 느리고, 직관적이지 않으며, 햅틱 피드백이 부족해 접촉이 풍부한 작업에선 사용자가 자기 손이 뭘 하고 있는지 알기가 힘듭니다.

셋째, 착용형 장치(glove, exoskeleton)입니다. 사람 손의 움직임을 로봇 손의 자유도로 직접 매핑할 수 있어 retargeting의 모호성을 줄여줍니다. 하지만 여기서 다시 두 갈래로 나뉩니다.

flowchart TD
    A[데모 수집 방법] --> B[시뮬/비디오]
    A --> C[원격조작]
    A --> D[착용형 장치]
    B --> B1[규모: 무한대]
    B --> B2[접촉 fidelity: 낮음]
    C --> C1[제어공간 일치]
    C --> C2[속도와 직관성 손실]
    D --> E[데이터 글러브]
    D --> F[외골격 Exoskeleton]
    E --> E1[Correspondence 문제]
    F --> G[DexUMI: 시각 기반 정렬]
    F --> H[DexOP: 강체 링키지 정렬]
    F --> I[DexEXO: 포즈 허용 + Passive Hand]
    G --> G1[Segmentation/Inpainting 필요]
    H --> H1[로봇 손 종속, 인체공학 제한]
    I --> I1[Raw RGB로 직접 학습]

DexUMI는 가벼운 외골격 + 비전 기반 복원을 추구합니다. 그러나 외골격 형상이 로봇 손 비율을 따르다 보니 사람 손 크기 다양성에 둔감하고, 카메라가 보는 손의 모양이 실제 로봇 손과 달라 학습 전 segmentation과 inpainting을 거쳐야 합니다. DexOP는 강체 링키지로 사람 손과 로봇 손 운동학을 강하게 묶었습니다. 정확도는 좋지만 특정 로봇 손 기하에 박혀버려 다른 손에 못 씁니다.

DexEXO는 이 둘의 중간이 아니라, 사실상 직교하는 위치에 자리를 잡습니다. “기구학적 정렬을 강제하지 말고, 어긋남을 받아들이는 자유도를 의도적으로 남겨두자”라는 발상이 핵심입니다.

핵심 아이디어: 맞추지 말고 흡수하라

사람 손은 길이도 비율도 다릅니다. 강체 외골격이 사람 손 관절축과 외골격 관절축을 일치시키려 들면, 누군가에겐 잘 맞고 누군가에겐 통증을 줍니다. 사용자별 캘리브레이션을 도입하면 맞출 수는 있지만 데이터 수집 확장성이 죽습니다. 매번 장비를 사람마다 조정하는 비용이 너무 큽니다.

DexEXO의 아이디어는 이 발상의 전환입니다. 기구학적 일치를 강제하지 않고, 사람 손과 외골격 사이에 의도된 자유도(여유 자유도, residual DoF)를 남겨둡니다. 이 자유도가 사람마다 다른 해부학을 국소적으로 흡수합니다. 핵심은 둘입니다.

손가락에는 스프링이 들어간 슬라이더(spring-loaded slider)를 둬서 손가락 길이 변동을 흡수합니다.
엄지에는 두 개의 링키지(distal + metacarpal)로 구성된 포즈-허용(pose-tolerant) 커플링을 둬서 외골격 본체가 손바닥에 대해 자유롭게 떠다닐 수 있게 합니다.

여기에 더해 한 가지 영리한 트릭이 있습니다. Passive Hand, 즉 사람 손에 매다는 “로봇 손 형상의 더미”입니다. 이 passive hand는 실제 배치 시 사용될 로봇 손(ROHand)과 시각적으로 거의 동일합니다. 손목에 장착된 카메라가 보는 풍경이 데모 시와 추론 시에 똑같아집니다. 그러면 정책은 raw RGB로부터 곧장 학습해도 됩니다. Segmentation, masking, inpainting을 다 건너뛰는 것이 가능해집니다.

하드웨어 설계 깊이 들여다보기

시스템 개요

DexEXO는 세 부분으로 구성됩니다.

링키지 구동 외골격(linkage-driven wearable exoskeleton), (2) 수동 데모 핸드(passive demonstration hand), (3) 무선 동작을 위한 온보드 센싱/전력 모듈입니다. Passive hand는 6 자유도의 OYMotion ROH-AP001 (ROHand) 기하를 따릅니다. ROHand는 엄지에 2자유도(IP flexion/extension, TM abduction/adduction), 나머지 네 손가락에 각각 1자유도의 굴곡(flexion)을 가집니다. 그러니까 총 6 자유도입니다.

[Dorsal-mounted electronics module]
      |
      v
[Exoskeleton structure (linkage)]
      |
      +-- 4-finger parallel four-bar linkage -> [Passive finger]
      |   (parallel motion transmission)
      |
      +-- 2-link distal+metacarpal coupling -> [Passive thumb]
      |   (pose-tolerant)
      |
      v
[Wrist-mounted RealSense RGB + iPhone (AR pose)]

이 구조의 묘미는, 외골격이 사람 손 위에 “헐겁게” 떠 있고, 사람 손의 움직임은 링키지를 통해 passive hand로 전달된다는 점입니다. 그리고 카메라는 passive hand를 봅니다. 사람 손은 카메라 시야에 거의 들어오지 않거나, 들어와도 외골격 너머에 있어 무시할 만합니다.

슬라이더 기반 손가락 인터페이스

각 손가락에는 스프링이 달린 선형 슬라이더가 있고, 그 끝에 TPU(thermoplastic polyurethane)로 만든 컴플라이언트 핑거콧(fingercot)이 붙어 있습니다. 핑거콧은 손가락 끝을 감싸는 일종의 부드러운 골무 같은 것입니다. 슬라이더는 손가락 길이가 사용자마다 달라도 같은 굴곡 변위(curl displacement)를 보장하도록 설계되어 있습니다. 핵심은 삽입 깊이(insertion depth)와 관절축 정렬(joint-axis alignment)을 분리한 것입니다. 손가락이 길든 짧든, 슬라이더가 그 차이를 빨아들입니다.

논문은 이 슬라이더의 기하적 한계를 명시적으로 분석합니다. 중지(middle finger)를 기준으로, 다음 부등식이 만족되어야 합니다.

L_{max} = d_{max} - d_{curl}, \quad MFL_{max} = L_{max} + \delta

H_{min} = \frac{L_{min}}{r}, \quad H_{max} = \frac{MFL_{max}}{r}

여기서 L_{min}은 TPU 링과 핑거콧 간 휴식 시 최소 거리, d_{max}는 슬라이더 최대 이동 거리, d_{curl}은 완전 굴곡에 필요한 슬라이더 여유, \delta는 TPU 링이 손가락 사이 막(webbing) 위에 떠 있을 수 있는 허용 오프셋, r은 중지-손 길이 비율(약 0.39~0.40)입니다.

수식을 직관적으로 풀어보면 이런 이야기입니다. “슬라이더는 손가락 길이 변동을 흡수하지만, 그 흡수량에는 한계가 있다. 그 한계는 슬라이더의 물리적 이동 범위(d_{max})에서 굴곡에 필요한 최소 여유(d_{curl})를 뺀 것이다. 손바닥 위쪽에 링이 떠 있어도 되는 양(\delta)을 더하면 사용 가능한 손가락 길이가 정해지고, 인체 비율(r)로 나누면 사용 가능한 손 전체 길이가 나온다.”

논문이 제시한 수치(L_{min}=56 mm, d_{max}=86 mm, d_{curl}=16 mm, \delta=17 mm, r=0.40)를 대입하면 H_{min}=140 mm, H_{max}=217 mm가 나옵니다. 손 길이 140~217 mm 범위를 캘리브레이션 없이 다 커버한다는 뜻입니다. 사용자 연구에 참여한 14명(손 길이 165~195 mm)은 모두 이 범위 안에 있었습니다.

이 단순한 분석이 시사하는 바는 큽니다. 손 크기 호환 범위를 하드웨어 설계 시점에서 부등식 한 줄로 통제할 수 있다는 점입니다. 신축성 직물이나 머신러닝으로 사후에 보정하는 접근과 본질이 다릅니다.

포즈-허용 엄지 메커니즘: 가장 영리한 부분

엄지는 손에서 가장 까다로운 손가락입니다. abduction, adduction, opposition을 통해 다른 손가락과 마주 보며 in-hand manipulation의 절반 이상을 담당합니다. 그런데 사람마다 엄지 관절 위치가 너무 다릅니다. 외골격이 사람 엄지 관절축과 일치하도록 강체로 만들면 어떤 사람에겐 통증을 주고, 어떤 사람에겐 운동을 제한합니다.

DexEXO의 해법은 흥미롭습니다. 방향(orientation)은 강제하지 않고 거리(distance)만 구속합니다. 외골격 엄지와 passive 엄지 사이에 distal link(말단 링키지)와 metacarpal link(손허리 링키지) 두 개를 둡니다. 각 링키지는 양 끝에 swivel joint(자유 회전 관절)를 가집니다. 이 구조는 link 길이를 일정하게 유지하면서, 외골격이 손바닥에 대해 회전하고 평행이동할 자유를 줍니다.

논문은 이를 SE(3)에서 형식화합니다. Palm-base frame \{B\}에 대한 외골격 frame \{E\}의 자세를 다음처럼 둡니다.

{}^{B}T_{E} = \begin{bmatrix} {}^{B}R_{E} & {}^{B}p_{E} \\ 0 & 1 \end{bmatrix} \in SE(3)

Passive thumb의 구성을 q_p = [\theta_2, \theta_4]^\top (IP angle, TM ab/ad angle), 그리고 \theta_3 = f(\theta_2) (기구적으로 결합)이라 두고, 두 부착점 \{}^{B}r_d, {}^{B}r_m\}이 passive thumb 운동학에서 계산된다고 합시다. 외골격 쪽 부착점은 frame \{E\}에서 상수 벡터 \{}^{E}\bar{r}_d, {}^{E}\bar{r}_m\}이고, 이를 \{B\}로 옮기면

{}^{B}r^E_i = {}^{B}R_E \, {}^{E}\bar{r}_i + {}^{B}p_E, \quad i \in \{d, m\}

링키지 두 개가 강요하는 holonomic 제약은 단순히 거리 동일성입니다.

\|{}^{B}r^E_d - {}^{B}r_d(q_p)\| = L_d, \quad \|{}^{B}r^E_m - {}^{B}r_m(q_p)\| = L_m

핵심은 이 두 식이 무엇을 하지 않느냐에 있습니다. 방향 일치(orientation alignment)는 강요하지 않습니다. 두 부착점이 정해진 거리만큼 떨어져 있기만 하면 그만입니다.

이제 자유도 산수를 해봅시다. {}^{B}T_E는 6자유도입니다. 거리 제약은 두 개의 스칼라 holonomic 제약입니다. 따라서 passive thumb 자세 q_p를 고정한 상태에서, 외골격 자세 \{}^{B}T_E\}는 일반적으로 4차원 self-motion manifold 위에서 자유롭게 움직일 수 있습니다.

\text{Residual DoF} = 6 - 2 = 4

이 4자유도가 곧 논문이 말하는 “wiggle space”입니다. 사용자가 엄지를 거의 같은 자세로 유지한 채 외골격 본체를 손바닥 위에서 살짝 흔들거나 비틀어도, passive thumb은 같은 자세를 유지합니다. 다시 말해 사람 엄지의 작은 흔들림이나 사람마다 다른 엄지 베이스 위치를 4차원 self-motion manifold가 그대로 흡수합니다.

이건 단순한 컴플라이언스가 아닙니다. 위상기하적으로 “필요한 정보만 강제하고 나머지는 풀어준” 설계입니다. 로봇공학에서 흔히 보는 “constrain only what you must” 원칙의 깔끔한 사례입니다.

Passive Hand: 카메라가 거짓말을 하지 않게

수동 핸드는 ROHand의 외형을 그대로 따라 만든 부품입니다. 손목에 장착된 RealSense 카메라가 보는 손은 데모 시에는 passive hand이고, 추론 시에는 실제 ROHand입니다. 둘이 시각적으로 거의 동일하기 때문에 embodiment gap이 영상 레벨에서 소실됩니다.

DexUMI는 이 문제를 학습 단계에서 풀려고 했습니다. Segmentation으로 외골격 부분을 떼어내고 inpainting으로 그 자리에 로봇 손을 합성해 넣었습니다. DexEXO는 그 모든 후처리를 하드웨어로 해결합니다. 카메라가 보는 그림이 처음부터 맞으니까요.

이 차이는 표면적으로는 단순하지만, 정책 학습 파이프라인 전체에 영향을 줍니다. Segmentation 품질에 의존하지 않고, inpainting의 시각적 인공물(visual artifact)도 들어가지 않으며, 학습 데이터가 sim-to-real 갭이 아니라 real-to-real 동치성을 가집니다.

데이터 수집과 정책 학습 파이프라인

데이터 흐름을 정리하면 다음과 같습니다.

[1 kHz] 6 analog encoders (finger joints) -- onboard MCU --
                                                          \
                                                           +--> Host PC
                                                          /        |
[60 Hz] iPhone AR (6-DoF EE pose via TeleDex) -----------/         |
                                                                   |
[30 Hz] Intel RealSense RGB (wrist-mounted, 640x480) --------------+
                                                                   |
                                                                   v
                          Time-synchronized via video timestamps
                                                                   |
                                                                   v
                 [DINOv2 ViT-S/14 encoder] + (optional 6D finger state)
                                                                   |
                                                                   v
                            [Diffusion Policy backbone]
                                                                   |
                                                                   v
                  12-D action (6 EE delta + 6 finger commands)
                  horizon=16, execute first 8, receding horizon

손가락 위치는 외골격 안에 박힌 6개의 아날로그 엔코더로 1 kHz에서 측정됩니다. 그런데 외골격 엔코더 값이 곧바로 로봇 손 actuator 명령이 되진 않습니다. ROHand의 actuation은 비선형이라서, 같은 물리적 자세를 외골격과 ROHand에서 각각 sampling한 waypoint들로 piecewise linear interpolation을 만들어 매핑합니다. 이건 흔히 보는 retargeting의 한 형태입니다.

End-effector 6자유도 자세는 iPhone의 ARKit 기반 추적(TeleDex 앱)으로 잡습니다. iPhone을 손목에 매단다는 발상은 영리합니다. 비싼 모션 캡쳐 시스템 없이도 in-the-wild 데이터를 모을 수 있게 해줍니다.

시각 관측은 손목 장착 RealSense RGB(640×480, 30 Hz)입니다. 학습 시 240×240으로 리사이즈하고 224×224로 random crop, color jitter를 가합니다. 인코더는 DINOv2 ViT-S/14입니다. Self-supervised pretrain된 강력한 시각 특징을 그대로 가져옵니다. 보조 입력으로 6D 손가락 상태를 추가할 수도 있습니다(있을 때와 없을 때의 차이는 V-C에서 ablation으로 검토합니다).

정책은 diffusion policy(Chi et al., RSS 2023)입니다. 16-step action을 한 번에 예측하고 첫 8개를 receding horizon으로 실행합니다. Action은 horizon 시작 시점에 대한 상대값(T_k - T_0)으로 표현합니다. 12차원 action은 EE 6자유도와 finger 6자유도로 구성됩니다.

여기서 한 가지 주목할 점이 있습니다. DexEXO 파이프라인에는 segmentation, masking, inpainting이 없습니다. Raw RGB가 그대로 정책의 입력으로 들어갑니다. 이게 가능한 이유는 hardware-level visual alignment 덕분입니다. 학습 파이프라인이 단순해진 만큼, 시각 후처리에서 누적되던 오차도 사라집니다.

실험과 결과

Wiggle Space 측정: 이론이 맞는가?

이론적으로 4차원 self-motion manifold가 존재한다고 했는데, 실제로는 어떨까요? 논문은 모션 캡쳐로 실측합니다. Pinch 자세를 유지한 상태에서, base와 외골격 엄지 링키지에 reflective marker를 붙이고 25초 동안 사용자가 자연스럽게 작은 조정을 하도록 합니다. 외골격이 base에 대해 그리는 점 구름(point cloud)이 바로 wiggle space입니다.

이 점 구름의 분포를 covariance로 요약합니다.

\Sigma = \frac{1}{N-1} \sum_{i=1}^{N} (p_i - \bar{p})(p_i - \bar{p})^\top

\Sigma의 고유값 \lambda_i로부터 타원체 반축 길이 a_i = k\sqrt{\lambda_i}를 구합니다(k=2로 95% 신뢰영역). 측정 결과는 66.12 mm, 49.19 mm, 21.14 mm의 반축을 가지는 타원체였습니다.

이 숫자가 시사하는 바는 분명합니다. 외골격이 손바닥에 대해 가장 긴 축으로 6 cm 이상 자유롭게 움직여도 passive thumb 자세는 거의 그대로 유지된다는 뜻입니다. 사람 엄지 길이가 6 cm 정도라는 점을 생각하면, 사람마다 엄지 위치가 한 손가락 길이만큼 다르더라도 같은 외골격이 작동한다는 의미입니다. 캘리브레이션 없이 cross-user 데모 수집이 가능하다는 주장의 실증적 근거가 됩니다.

사용자 연구: 가위질이 보여준 진실

14명(7명 남, 7명 여, 18~27세, 손 길이 165~195 mm)이 세 가지 장치로 네 가지 작업을 수행했습니다. 장치는 DexEXO, DexUMI, 그리고 비전 기반 원격조작(TeleDex)입니다. 작업은 다음과 같습니다.

가위질(Scissors cutting): 가위를 들어 테이프를 자르기
페이지 넘기기(Page flipping): 손가락 끝으로 노트북 페이지 넘기기
컵 쌓기(Cup stacking): 컵 3개를 위로 향하게 쌓기
피아노 연주(Piano playing): 4개 손가락으로 16개 음 연주

표로 정리한 결과(120초 제한, 평균 ± SEM):

방법	가위질 성공률	가위질 시간(s)	페이지 성공률	페이지 시간(s)	컵쌓기 성공률	컵쌓기 시간(s)	피아노 성공률	피아노 시간(s)
DexEXO	0.79 ± 0.10	11.7 ± 1.4	0.88 ± 0.03	5.4 ± 0.6	0.82 ± 0.07	12.0 ± 1.1	0.96 ± 0.02	21.6 ± 1.8
DexUMI	0.00 ± 0.00	—	0.86 ± 0.04	4.7 ± 0.7	0.80 ± 0.07	8.9 ± 1.0	0.62 ± 0.13	25.9 ± 2.5
Teleoperation	0.00 ± 0.00	—	0.51 ± 0.06	18.0 ± 2.1	0.33 ± 0.09	68.6 ± 13.1	0.60 ± 0.09	97.4 ± 7.8

이 표에서 가장 흥미로운 행은 가위질입니다. DexEXO만 성공합니다. DexUMI는 외골격이 robot hand 형상에는 없는 외부 기하를 추가해서 가위 손잡이 구멍에 손가락이 안 들어갔다고 합니다. 원격조작은 정밀도, 반응성, 힘 피드백 부족으로 실패했습니다. 이 한 줄이 보여주는 바가 큽니다. 외골격 형상이 로봇 손 형상과 다르면, 사람이 도구를 다루는 능력 자체가 손상됩니다. 데이터 fidelity 이전의 문제입니다.

페이지 넘기기와 컵 쌓기에서는 DexUMI가 시간상 더 빠릅니다(각각 13.0%, 25.8%). 그러나 성공률은 DexEXO가 약간 높습니다. 트레이드오프가 있는 셈입니다.

피아노 연주에서는 차이가 큽니다. DexEXO 0.82(또는 표의 다른 셀 0.96 — 작업 변형 차이로 추정), DexUMI 0.33. 손가락 독립성(finger independence)이 중요한 작업에서 외골격 설계 철학이 결정적입니다. 주관 평가에서도 손가락 독립성에서 p \ll 0.01로 DexEXO가 우세했습니다. 물리적 편안함(p = 0.0127), 좌절감 감소(p = 0.0219)에서도 통계적으로 유의미한 차이가 났습니다.

원격조작이 모든 작업에서 외골격 두 방식에 크게 못 미친다는 점도 주목할 만합니다. 손기술 수집에서 비전 기반 원격조작이 사실상 baseline 이하의 도구임을 다시 한 번 확인하는 결과입니다.

정책 평가: Raw RGB만으로도 충분한가

논문은 block pick-and-place, egg carton 정리, bottle 조작 작업에 대해 diffusion policy를 학습하고 roll-out을 보여줍니다(Figure 7). 핵심 주장은 embodiment-aligned RGB만으로도(즉, segmentation/inpainting 없이도) 경쟁력 있는 성능이 나온다는 것입니다. 학습 파이프라인이 훨씬 단순해지면서 task performance는 유지 또는 향상됩니다.

Ablation에서는 시각 입력 단독 vs 시각 + 손가락 상태(state proprioception)의 비교, action 표현(절대 vs 상대) 비교 등을 살펴봅니다. 자세한 수치는 논문 V-C 절에 표로 나오는데, 핵심 메시지는 일관됩니다. 하드웨어가 시각 도메인을 일치시키면, 알고리즘 측에서 해야 할 일이 줄어든다는 것입니다.

비판적 고찰

강점

첫째, “맞추지 말고 흡수하라”는 설계 철학의 명료성입니다. 기구학적 정렬을 줄이고 자유도를 일부러 남기는 발상은 직관에 반하지만, 사용자 다양성을 받아낼 수 있는 거의 유일한 길입니다. Holonomic 제약 두 개로 4차원 self-motion manifold를 만들고 이를 정량적으로 측정해서 보여준 점은 깔끔합니다.

둘째, hardware-level visual alignment를 통한 학습 파이프라인 단순화입니다. Passive hand 하나로 segmentation, masking, inpainting을 모두 제거합니다. 이건 표면적으로 “보정용 부품 하나 추가”로 보이지만, 정책 학습의 시각 도메인 신뢰도 측면에서 큰 차이입니다.

셋째, 가위질 작업이 보여준 differentiator입니다. 외골격 형상이 로봇 손 형상과 다르면 사람이 도구를 잡는 일조차 못 한다는 점은 다른 논문에서 거의 안 다루는 측면입니다. 이건 wearable 외골격 평가에서 새로운 기준이 될 만합니다.

넷째, 분석의 단순성과 검증의 직접성입니다. 손 크기 호환 범위를 부등식 두 줄로 도출하고 14명 모두 그 범위 안에 있음을 보였습니다. Wiggle space를 motion capture로 실측하고 covariance ellipsoid로 요약했습니다. 단순하지만 결정적인 증거 제공입니다.

다섯째, 14명 사용자 연구의 폭과 비교 baseline의 적절성입니다. DexUMI, teleoperation을 같은 작업에서 직접 비교한 점, NASA-TLX 기반 주관 평가까지 포함한 점이 신뢰도를 높입니다.

약점과 한계

첫째, ROHand 6자유도라는 작은 타겟에 종속적입니다. Allegro Hand(16자유도)나 LEAP Hand(16자유도)처럼 자유도가 더 많은 손에서 같은 설계 철학이 통할지는 추가 검증이 필요합니다. 자유도가 늘어나면 abduction-adduction(AA) 제어가 본격적으로 필요한데, 본 설계는 calibration-free를 위해 AA joint를 의도적으로 뺐습니다. 후속 작업(WHED 라인업, DEX-Mouse 등 동일 그룹/관련 그룹 작업)에서 flexure 센서로 lateral motion을 추가하겠다고 언급되지만, DexEXO 자체는 AA 부재라는 표현력 손실을 안고 있습니다.

둘째, 양손 작업(bimanual)이나 도구를 들고 하는 정밀 작업의 평가가 제한적입니다. 가위질이 핵심 사례지만, 양손 협업이 필요한 작업(예: 병뚜껑 열기를 양손으로)이나 in-hand re-orientation처럼 진정한 in-hand dexterity가 요구되는 작업의 정량 평가는 부족합니다.

셋째, 촉각 감각이 빠져 있습니다. Diffusion policy가 raw RGB로 학습 가능하다는 주장은 강력하지만, 접촉이 풍부한 작업에서는 시각만으로 한계가 있습니다. MILE(fingertip visuotactile sensing 통합)이나 PolyTouch(tactile-diffusion policy) 같은 동시기 작업과 비교하면 tactile 부재는 명백한 약점입니다. DIGIT/GelSight 같은 vision-based tactile sensor를 passive hand 손가락 끝에 통합하는 것이 자연스러운 다음 단계로 보입니다.

넷째, 손목 장착 RGB 단일 시점 의존성입니다. Wrist camera 시점은 가림과 시야 좁음의 문제가 있고, third-person 시점이나 multi-view fusion이 필요한 작업에는 그대로 적용하기 어렵습니다. DexCap이 mocap 글러브와 third-person view를 결합한 것을 떠올리면 비교됩니다.

다섯째, “calibration-free”의 한계. 손 길이 140~217 mm 범위는 광범위하지만, 손 폭이나 두께, 손바닥-손가락 비율의 변동은 명시적으로 다루지 않습니다. 또 사용자가 매번 똑같이 장착할 수 있을지(반복성)는 14명 연구로는 완전히 검증하기 어렵습니다.

여섯째, end-effector pose의 iPhone AR 의존입니다. ARKit의 정확도와 drift는 실내 환경에선 충분하지만 long-horizon 작업이나 metallic/reflective 환경에서는 문제가 될 수 있습니다. 이건 in-the-wild 데이터 수집의 명시적 약점입니다.

로봇공학자에게 주는 통찰

다관절 손 플랫폼을 다루는 연구자의 입장에서 이 논문이 시사하는 바를 정리하면 다음과 같습니다.

첫째, “정확한 정렬”이 항상 옳은 목표가 아닙니다. 사용자 다양성을 다루려면 일부 자유도를 의도적으로 풀어주는 설계가 더 견고합니다. Allegro Hand처럼 16자유도 손에서도 base joint 정렬보다 fingertip workspace 매칭이 더 중요한 작업이 많습니다. 사람-로봇 매핑 시 어떤 정보를 강제하고 어떤 정보를 풀어줄지를 명시적으로 설계하는 관점이 유용합니다.

둘째, hardware-level visual alignment는 실용적인 큰 leverage입니다. Passive hand 하나로 학습 파이프라인의 후처리를 제거한 것은 시뮬레이션의 sim-to-real 갭을 줄이려고 들이는 노력에 비교하면 비용 대비 효과가 매우 큽니다. Allegro Hand로 데모 수집할 때도 wrist-mounted camera 영상이 실배치 시점 영상과 일치하는지 점검해볼 가치가 있습니다.

셋째, DINOv2 + Diffusion Policy + relative action의 조합이 raw RGB로 다관절 작업에서 통한다는 점입니다. DINOv2 ViT-S/14의 강력한 self-supervised feature가 raw 관측에서도 충분한 신호를 뽑아냅니다. 이는 VLA(RT-2, OpenVLA, π0 등) 학습용 데모 수집 파이프라인을 설계할 때도 시사점을 줍니다. 시각 인코더의 선택과 시각 도메인 정렬이 alignment 후처리만큼이나 중요하다는 점입니다.

넷째, 사용자 연구의 작업 선택에서 “가위질”의 가치입니다. 외골격 형상이 도구 사용에 미치는 영향을 드러내는 작업입니다. 데모 수집 장치를 평가할 때, 손 자체의 작업뿐 아니라 손이 들고 있는 도구가 작업을 수행해야 하는 작업을 포함시키면 외골격 부피의 영향을 노출시킬 수 있습니다.

다섯째, “wiggle space”라는 개념의 일반화 가능성입니다. 강체 정렬을 강요하지 않고 self-motion manifold를 의도적으로 만드는 설계는 손 외골격을 넘어 humanoid 전신 teleoperation, wearable haptic 인터페이스 등에 적용 가능한 발상입니다. Holonomic 제약의 수와 종류를 의도적으로 선택해 residual DoF의 차원을 통제하는 일반적 설계 원리로 확장할 수 있습니다.

마무리

DexEXO를 한 문장으로 요약하면 이렇게 됩니다. “기구학적 일치를 강요하지 말고, 시각적 일치를 하드웨어로 보장하라.” 이 두 원칙이 사용자 다양성 흡수와 학습 파이프라인 단순화라는 두 가지 실용적 이득을 한 번에 가져옵니다.

논문이 던지는 더 큰 메시지는 이렇습니다. 데모 수집의 진짜 병목은 알고리즘이 아니라 사람이 그 장치를 오래, 편하게, 정확하게 쓸 수 있느냐입니다. 이 관점은 dexterous manipulation 데이터 확보를 고민하는 모든 연구자에게 유효합니다. 더 정확한 retargeting 알고리즘을 짜기 전에, 외골격이 도구 손잡이에 안 걸리는지부터 확인해봐야 한다는 이야기입니다.

남는 질문도 있습니다. 16자유도 손에서 같은 철학이 유효할까요? Tactile sensing이 결합되면 passive hand 설계가 어떻게 바뀌어야 할까요? Bimanual로 확장하려면 wrist pose 추적은 어떻게 강화해야 할까요? 이 질문들에 대한 답이 후속 연구에서 나오면, DexEXO의 철학은 단순한 한 장치를 넘어 다관절 손기술 데이터 수집의 표준적 설계 원칙으로 자리잡을 가능성이 충분합니다.

대규모 데이터 시대의 손기술 학습에서, 가장 영리한 algorithmic trick은 종종 hardware trick으로 풀린다는 점을 다시 한 번 일깨워주는 작업입니다.