📃DexPilot 리뷰

retargeting

vision

Kinematic Motion Retargeting for Contact-Rich Anthropomorphic Manipulations

Published

August 19, 2025

DexPilot은 저비용 비전 기반 원격 조작 시스템으로, 장갑이나 마커 없이 맨손 움직임을 사용하여 23 DoA의 로봇 팔/손 시스템을 완벽하게 제어합니다.
시스템은 딥러닝과 모델 기반 추적(DART)을 결합하여 인간 손의 포즈와 관절 각도를 추정하고, 비선형 최적화 기반의 키네마틱 리타겟팅을 통해 Allegro hand의 동작으로 변환합니다.
DexPilot은 다양한 복잡한 조작 작업에서 인간 시연자를 통해 높은 성공률을 달성하며, 이를 통해 숙련된 동작 데이터 수집 및 미래의 자율 정책 학습 가능성을 보여줍니다.

Brief Review

본 논문은 고자유도(high degree-of-actuation, DoA) 로봇 손-팔 시스템(Allegro Hand가 장착된 KUKA LBR iiwa)을 위한 저비용, Vision Based Teleoperation 시스템인 DexPilot을 소개한다. DexPilot은 특별한 장비(markerless, glove-free) 없이 맨손(bare human hand)의 움직임을 관찰하여 로봇을 직접 모방 제어(direct imitation)한다. 이 시스템은 정교한 파지(precision grasp), 다지 조작(multi-fingered manipulation), 인-핸드 조작(in-hand manipulation) 등 다양한 복잡한 Task를 수행할 수 있게 하며, 이를 통해 학습을 위한 고차원 센서 데이터 및 행동 데이터(sensorimotor state-action data)를 수집하는 데 활용될 수 있다.

시스템 아키텍처 및 하드웨어: 시스템은 KUKA LBR iiwa7 R800 로봇 팔과 Wonik Robotics Allegro Hand로 구성된 로봇 시스템과, 조작자의 손을 관찰하는 4대의 Intel RealSense D415 RGB-D 카메라로 구성된 인간 조작자 영역으로 나뉜다. Allegro Hand에는 SynTouch BioTac 촉각 센서와 3M TB641 그립 테이프가 장착되어 촉각 피드백 신호(92개)와 마찰력을 제공한다. 시스템은 Vision Based Perception, Optimization, Motion Generation, Control 모듈로 구성되며, 약 1초의 Latency를 가진다.

핵심 방법론:

핸드 트래킹 (Hand Tracking): 조작자의 손 추적은 DART 와 Deep Neural Networks의 조합으로 이루어진다.
- DART: articulated human hand model ([28, 29] 기반)을 입력 Point Cloud에 매칭하여 손의 Pose와 20개 Joint Angle을 연속적으로 추적하는 모델 기반(model-based) 추적기이다. Nonlinear Optimization 기반이므로 정확한 초기화가 필수적이며, Spurious Local Minima에 빠지는 것을 방지하기 위해 Neural Network로부터 Hand Pose Prior와 Hand Segmentation 정보를 활용한다.
- Neural Networks: DART의 초기화 및 강건성(robustness) 확보를 위해 두 단계로 학습된 Neural Network가 사용된다.
  - First Phase (with Glove for Annotation): 데이터 수집 초기에는 색상 블롭(coloured blobs)이 부착된 장갑을 착용하고 ResNet-50 with spatial-softmax 기반의 GloveNet을 훈련시켜 RGB 이미지에서 블롭의 2D 위치를 예측한다. 특히 손바닥 뒷면의 3개 블롭을 사용하여 Hand Pose를 추정한다. 4대 카메라의 예측 및 Depth 값을 이용하여 3D Hand Pose를 얻고 Hand Segmentation을 수행한다. DART는 이 Segmentation된 Point Cloud에 대해서만 최적화하여 Annotation 데이터를 생성한다.
  - Second Phase (Bare Hand Tracking): First Phase에서 생성된 Annotation을 사용하여 맨손(bare hand)의 Fused Point Cloud를 직접 처리한다. PointNet++ 기반 아키텍처가 사용되며, 테이블 Point 제거 후 Arm과 Body를 포함한 Point Cloud를 입력받아 Hand를 Localize하고 Hand Pose 및 Hand Segmentation(Auxiliary Segmentation Loss 사용)을 추정한다. 이 네트워크는 손의 23개 Keypoint(손가락별 4개 관절 + 손바닥 뒷면 3개)의 3D 좌표를 예측하도록 훈련된다. Uniform Sub-sampling으로 인한 손가락 Keypoint 예측 정확도 문제를 해결하기 위해, 첫 단계의 Pose와 Segmentation을 기반으로 손 위의 포인트를 다시 샘플링하여 두 번째 단계(second stage)에서 Keypoint 예측을 정밀화한다.
  - JointNet: 예측된 23개 Keypoint 위치(23x3 벡터)를 20개 Joint Angle(손가락 관절)로 매핑하는 2-layer fully connected network인 JointNet을 사용하여 DART의 Joint Prior를 제공한다.
운동학적 리타겟팅 (Kinematic Retargeting): 인간 손의 관절 움직임을 Allegro Hand의 관절 움직임으로 매핑하는 과정이다. 인간 손과 Allegro Hand는 운동학적으로 다르므로, Grasping과 Manipulation에 중요한 Fingertip Task-Space Metrics에 우선순위를 둔다.
- 비용 함수(Cost Function)는 다음과 같이 정의된다: C(q_h, q_a) = \frac{1}{2N}\sum_{i=0} s(d_i)||r_i(q_a) - f(d_i)\hat{r}_i(q_h)||^2 + \gamma||q_a||^2 여기서 q_h, q_a는 각각 인간 손과 Allegro Hand의 관절 각도이며, r_i는 한 좌표계(예: 손바닥)에서 다른 좌표계(예: 손가락 끝)까지의 벡터이다. d_i = ||r_i(q_h)||, \hat{r}_i(q_h) = \frac{r_i(q_h)}{||r_i(q_h)||}이다.
- s(d_i)는 스위칭 가중치 함수(switching weight function)로, 추적 오류가 있을 때 정밀 파지(precision grasp) 시 손가락 충돌을 방지하고 Thumb와의 접촉을 가깝게 하는 Projection Scheme에 사용된다. d_i가 임계값 \epsilon보다 작을 경우, Primary Finger-Thumb 벡터에는 0, Primary Finger-Primary Finger 벡터에는 400의 가중치를 부여한다 (Table I).
- f(d_i)는 거리 함수(distancing function)로, d_i가 \epsilon보다 클 경우 \beta d_i (\beta=1.6)로 비례 스케일링하고, 작을 경우 Primary Finger-Thumb 간의 거리는 \eta_1 (10^{-4}m), Primary Finger 간의 거리는 \eta_2 (3 \times 10^{-2}m)로 강제하여 최소/최대 거리를 유지한다.
- \gamma||q_a||^2는 정규화 항(regularization term)으로, \gamma=2.5 \times 10^{-3}이며 Allegro 관절 각도를 0(완전히 열린 손)으로 정규화하여 해의 중복을 줄이고 비정상적인 자세를 방지한다.
- 벡터 r_i는 거리와 방향뿐만 아니라 좌표계의 Orientation 정보도 포함한다. Allegro Hand의 Primary Finger distal 관절은 medial 관절과 동일하게 제약된다.
- 이 비용 함수는 NLopt 라이브러리의 Sequential Least-Squares Quadratic Programming (SLSQP) 알고리즘 [35, 36, 37]을 사용하여 실시간으로 최소화된다. Forward Kinematic 계산은 Orocos Kinematics and Dynamics library 를 사용한다. 결과는 First-Order Low-Pass Filter를 거친다.
모션 생성 및 제어 (Motion Generation and Control):
- Allegro Palm의 Cartesian Pose는 Riemannian Motion Policies (RMPs)를 사용하여 제어된다. RMPs는 Arm의 Torque-Level Impedance Controller에 목표 Joint Trajectory를 200Hz로 보낸다.
- Kinematically Retargeting된 Allegro Angles는 Allegro Hand의 Torque-Level Joint Controller에 30Hz로 보낸다.
- 로봇과 카메라 시스템 간의 공간 정렬은 초기 손 자세(테이블과 평행한 완전히 열린 손)를 기준으로 보정하여 조작자가 직관적으로 로봇을 제어할 수 있게 한다.

실험 및 결과: DexPilot 시스템은 Pringles 캔 정렬, 컵 삽입, 두 개 큐브 파지, 지갑에서 돈 꺼내기 등 15가지 다양한 Task (Table II, Fig. 1)에 대해 두 명의 조작자를 대상으로 테스트되었다. 성능은 평균 완료 시간(Mean Completion Time, CT)과 성공률(Success Rate)로 측정되었다 (Fig. 14, 15). 결과는 촉각 피드백 부재에도 불구하고 다양한 Task에서 높은 성공률을 달성했음을 보여준다. 복잡한 Task 수행은 Bare Hand 관찰만으로도 정교한 Skill 전달이 가능함을 입증한다. Task 수행 중 수집된 풍부한 Sensorimotor 데이터(BioTac 신호 등)는 향후 로봇 학습에 활용될 수 있다.

논의 및 한계: DexPilot은 복잡한 Manipulation Task 해결을 위한 실행 가능하고 저렴한 Teleoperation 솔루션을 제공하며, 학습을 위한 고품질 데이터 수집을 가능하게 한다. 향후 개선 방향으로는 Deep Learning 발전을 통한 Hand Tracking 정확도 향상, RGB 데이터 활용, 자율적인 힘 조절 제어 기능 통합, 의도 인식 등이 제시된다. 한계점으로는 제한적인 작업 공간, Projection Scheme이 Finger Gaiting이나 작은 물체 놓기를 방해하는 문제, 촉각 피드백 부재로 인한 정밀 Task(예: NIST Peg-in-hole insertion)의 어려움, 시스템 Latency, 조작자 손 크기/모양에 대한 강건성 등이 언급된다. 특히 Peg-in-hole Insertion과 같은 고정밀 Task는 현재 시스템으로도 시도는 가능하나 성공률이 매우 낮아 추가적인 개선이 필요하다.

주요 Contribution:

Markerless, glove-free, 전적으로 Vision-based인 Teleoperation 시스템으로 고자유도 로봇 손-팔 시스템을 직접 모방 제어한다.
Hand Joint 추적 오류 존재 시에도 손 기교와 Precision Grasp의 실현 가능성을 보존하는 Novel Cost Function 및 Projection Scheme for Kinematically Retargeting Human Hand Joints to Allegro Hand Joints.
Fine Manipulation과 Dexterity를 포함하는 다양한 Task에서의 Teleoperation 시스템 시연 및 평가.
촉각 피드백 부재에도 높은 Task 성공률 달성.

Detail Review

1. 연구 개요 및 기여

DexPilot은 고자유도(23 DoF)의 다지능 로봇 손–팔 시스템을 저비용·시각 기반으로 원격 조작하기 위한 시스템이다. 전통적인 텔레오퍼레이션 시스템은 고자유도 로봇 제어시 고가의 센서(글러브, 마커, 모션캡처 등)를 요구하지만, DexPilot은 실제 인간의 맨손 움직임만으로 23자유도의 Allegro 로봇 손과 로봇 팔을 직접 모사·제어한다.

주요 기여로는

마커나 장갑 없이 순수 RGB-D 카메라로 인간 손을 추적하여 로봇 손에 전사하는 시각 기반 글러브-프리 텔레오퍼레이션 구현,
손 끝(fingertip) 위치 및 방향을 보존하면서 인간 손 관절 상태를 Allegro 손 관절로 매핑하는 새로운 비용 함수 및 투영(projection) 기법 제안,
정밀한 집기(pinching)와 다중 단계 조작을 포함한 다양한 과제(지폐 추출, 서랍 열기, 약병 개봉 등)에서 23DoF 시스템 조작을 시연,
두 명의 파일럿으로 진행한 실험에서 속도 및 성공률 지표로 시스템 성능을 평가이다.

이 결과 고자유도 로봇 조작용 대용량 상태·행동(상태/액션) 데이터 수집이 가능하며, 향후 머신러닝 기반 조작 정책 학습에 유용한 데이터셋을 제공할 수 있다.

2. 시스템 구성 및 손 추적 방법

DexPilot의 하드웨어는 KUKA LBR iiwa7 협동로봇 팔과 Wonik Allegro 손으로 구성되며, Allegro 손 끝에는 Biotac 촉각 센서를 장착하였다. 사람 파일럿 영역에는 검은색 천으로 덮인 테이블 위에 4대의 Intel RealSense D415 RGB-D 카메라가 배치되어, 인간 손을 여러 시점에서 관찰한다.

시스템은 세 개의 처리 스레드로 병렬 실행된다.

학습 스레드는 4개 카메라의 융합된 포인트 클라우드로부터 손의 자세 및 관절각을 추정하는 신경망을 실행하며, 이를 통해 얻은 초기 추정값을 하위 모듈에 제공한다.
추적 스레드는 DART(Differentiable Articulated Rigid-body Tracker)를 사용하여 인간 손 모델의 6자유도 위치 및 20개 관절(각 손가락당 4개: 1 abduction, 3 flexion)의 자세를 지속적으로 최적화 추적한다. 이때, 신경망이 제공한 손 위치/관절각 예측이 초기값(prior)으로 사용되어 로컬 미니마로 빠지는 것을 방지한다.
제어 스레드는 Riemannian Motion Policy(RMP) 기반의 제어 방정식을 계산하여 Allegro 손바닥의 목표 위치·자세와 팔 동작을 생성한다. 전체 시스템의 엔드-투-엔드 지연(latency)은 약 1초 정도로 보고되었다.

시각 기반 손 추적을 위해 DexPilot은 두 단계의 딥러닝 모델과 DART 최적화를 결합하였다.

첫 번째 단계에서는 파일럿이 착용한 컬러 장갑(glove)을 활용하여 학습 데이터를 얻는다. 장갑의 손가락 끝과 손바닥에 서로 다른 색의 점을 부착하고, 4대의 RGB 카메라로 관찰한 RGB 영상을 ResNet-50 기반의 회귀 네트워크(GloveNet)를 통해 색점의 2D 위치를 추정한다. 이렇게 얻은 2D 좌표에 깊이(depth)를 결합해 3D 위치를 계산하고, 그로부터 손의 포즈(세 점의 위치)와 분할(segmentation)을 구한다. 이 정보를 이용해 DART가 손 모델을 세분화(segmented point cloud)에 맞추어 최적화하도록 함으로써, 초기에는 장갑을 쓴 상태에서 정확한 손 관절각 어노테이션을 생성한다.
두 번째 단계에서는 장갑 없이 생 데이터를 사용한다. 4개 카메라의 깊이 영상을 융합하여 테이블 평면을 제거한 후, 남은 손·팔 포인트클라우드를 PointNet++ 기반 네트워크에 입력한다. 이 네트워크는 손 부분을 분리하고(손분할), 손뼈의 23개 주요 관절점(keypoints; 손가락당 4개, 손바닥 후면 3개)를 3D 좌표로 회귀한다. 첫 단계의 손바닥 컬러 장갑 방식으로 생성된 어노테이션을 학습에 사용하여, 실제 맨손 데이터에서도 손 관절 포즈를 예측한다. 또한, 23개 키포인트를 20차원 관절각으로 변환하기 위한 JointNet(2층 완전연결망)도 함께 학습시켰다. 이 딥 네트워크들 덕분에 DART 추적이 장기간 안정적으로 수행되며, 검증 셋에서 평균 키포인트 오차는 약 9.7mm, 관절각 오차는 약 1.33°로 보고되었다. 결과적으로, DexPilot은 카메라 포인트클라우드→키포인트→관절각 추정→DART 미세조정의 파이프라인을 통해 인간 손의 포즈와 관절 상태를 실시간으로 얻어낸다.

3. 인간-로봇 손 매핑 전략 및 수학적 모델링

인간 손과 Allegro 로봇 손은 관절 수, 관절축 배치, 손가락 길이 등이 크게 다르기 때문에 단순한 대응(mapping)이 불가능하다. DexPilot은 정밀 조작 관점에서 손끝(fingertip) 작업 공간(task-space) 을 최우선시하여 두 손의 동작을 연결한다.

손끝을 잇는 위치와 방향 정보가 인간·로봇 손의 주요 조작을 결정한다고 보고, 이들 사이 거리를 최소화하는 최적화 기반 매핑(cost function)을 설계하였다. 구체적으로, 인간 손 자세 q_h와 Allegro 손 관절 q_a에 대해 다음과 같은 비용 함수를 정의:

C(q_h, q_a) = \frac{1}{2}\sum_{i=1}^N s(d_i)\,|r_i(q_a) - f(d_i)\,\hat{r}_i(q_h)|^2 \;+\; \gamma|q_a|^2,

여기서 r_i(q)는 손바닥(origin)으로부터 i번째 손끝까지의 벡터(또는 손가락 간 벡터)로, 각각 Allegro 손(r_i(q_a))과 인간 손 모델(\hat{r}_i(q_h))의 작업 공간에서 계산된다.
\hat{r}_i(q_h)=r_i(q_h)/d_i는 정규화된 인간 손 벡터이며, d_i=|r_i(q_h)|
s(d_i)는 가중치 함수로서 인간 손의 엄지가 i번째 벡터(r_i(q_h))와 가깝게 접촉할 때 손끝 간 거리에 더 큰 중요도를 부여한다. 예를 들어, 임계거리 \epsilon 이하로 가까워지면 엄지와 손끝이 대응되는 벡터 집합 S1일 때 s(d_i)=200, 손끝 쌍(S2)에 대해서는 s(d_i)=400 등으로 급격히 증가시킨다. 반면 거리가 \epsilon 이상이면 s(d_i)=1으로 작게 준다.
f(d_i)는 거리 조절 함수로서, 보통 f(d_i)=\beta d_i (증폭계수 \beta=1.6)로 손끝 간 거리를 그대로 복사하지만, 임계거리 이하일 때 손가락끼리 겹치지 않도록 일정 거리(\eta_1,\eta_2)를 강제한다. 예를 들어 엄지-주요 손가락 사이가 너무 가까워지면 \eta_1=0.1\;\mathrm{mm}로 접촉 거리를 유지시켜 핀치 집기를 가능하게 하며, 주요 손가락 간에는 \eta_2=30\;\mathrm{mm}로 일정 거리를 확보한다.
마지막으로 \gamma|q_a|^2 항(정규화 항)은 Allegro 손을 완전히 펼친 상태(q_a=0)로 유도하여 중복성(redundancy)을 완화하고 기괴한 최소해(예: 손가락이 손바닥에 파고드는 현상)를 방지한다. 이때 사용하는 벡터 집합 S1, S2는 표 I에 정의된 것처럼 “엄지와 주요 손가락(검지·중지·약지) 사이 벡터”와 “엄지와 각각 매핑된 두 주요 손가락 사이 벡터”로 구성한다. 또한, 해 공간 크기를 줄이기 위해 Allegro 손의 검지·중지·약지 각각에 대해 원위관절(distal joint)의 각도를 중간관절(medial joint)과 같게 고정하는 제약을 두었다. 이와 같이 설계된 비용 함수를 매 프레임마다 최소화하면 인간 손의 손끝 배치와 유사한 Allegro 손 구성이 생성된다.

최적화는 NLopt 라이브러리의 SLSQP(순차적 이차계획법) 알고리즘으로 실시간 수행된다. 초기 프레임에는 Allegro 각도를 모두 0(완전 펼침)으로 시작하고, 이후 매 프레임은 이전 프레임 해를 초기값으로 사용하여 연속성을 유지한다. 인간 손 모델과 Allegro 손의 순방향 기구학 계산에는 Orocos KDL 라이브러리를 사용하였다. 최적화 결과로 얻은 Allegro 관절각은 고주파 노이즈를 억제하기 위해 1차 저역 통과 필터를 거쳐 출력한다. 결과적으로 이 리타겟팅 모듈은 인간 파일럿이 손을 구부리거나 엄지와 손가락 사이 거리를 조절할 때, 그 손끝 동작이 로봇 손에서도 자연스럽게 재현되도록 동작한다.

4. 손 리타겟팅 모듈 동작 원리와 제약조건

DexPilot의 리타겟팅 모듈은 추적 스레드 내부에서 작동하며, 인간 손 추적 결과를 Allegro 손 제어 명령으로 변환하는 실시간 최적화 엔진이다. 매 주기마다 앞서 계산된 인간 손 관절각을 입력으로 하여 위의 비용 함수를 최소화하며, 이때 s(d_i)나 f(d_i) 등의 기법으로 엄지-검지 간 픽스쳐 동작을 강제한다. 예를 들어, 지폐를 핀치할 때와 같이 엄지와 검지 사이 거리가 작아져 d_i<\epsilon이 되면 손끝 간 거리를 유지하도록 f(d_i)가 작아지며, 동시에 가중치 s(d_i)가 커져 해당 손끝 벡터 항이 비용에 크게 반영된다. 이러한 투영(projection) 기법은 카메라 기반 추적의 오차에도 불구하고 정확한 핀치 자세를 유도할 수 있게 해주지만, 후술할 작은 물체 놓기 등의 상황에서는 손가락을 너무 오래 유지하게 만드는 부작용도 발생할 수 있다.

리타겟팅 최적화는 실시간으로 실행되어야 하므로, 계산 복잡도를 줄이고 솔루션의 연속성을 보장하는 여러 제약조건도 적용된다. 먼저 \gamma|q_a|^2 정규화 항을 통해 해 공간의 중복성을 억제하며, 동일한 효과로 앞서 언급한 검지·중지·약지의 distal=medial 고정 제약도 도입한다. 이와 함께, 최적화 초기값을 이전 결과로 설정하여 연산 비용과 진동을 완화한다. 마지막으로 로봇과 카메라 좌표계 정합(calibration)을 통해 원하는 초기 손 자세(펼친 손, 손바닥 평행)를 시스템에 맞추어 파일럿의 손과 로봇 손이 일치하도록 설정한다. 종합하면, DexPilot의 리타겟팅 모듈은 비선형 최적화 기반이며, 손끝 위치·방향 작업 공간을 보존하기 위한 비용 함수에 의해 인간 손동작을 Allegro 관절값으로 변환한다. 추가적인 필터링과 제약을 통해 부드럽고 물리적으로 타당한 움직임을 보장하며, 이를 통해 인간 파일럿의 손 제스처는 정교하게 로봇 손으로 복제된다.

5. 실험 설정 및 성능 평가

DexPilot 시스템의 성능은 다양한 조작 과제(task)에서 측정되었다. 사용된 실험 장비는 앞서 설명한 KUKA iiwa7+Allegro 손, 4대의 Intel RealSense D415 카메라이다[9]. 실험에서 파일럿(조종사)은 테이블 위에서 정해진 물체를 조작해야 했으며, 실험 과제는 총 15가지가 제시되었다(표 II 참조). 여기에는 단순 물체 옮기기(pick-and-place)부터, 동전 내지 지폐를 지갑에서 꺼내기(그림 11), 서랍 열기 및 티백 꺼내기(그림 12), 땅콩통 뚜껑 풀기(그림 13) 같은 다단계 작업들이 포함.

각 과제마다 파일럿 2명이 5회 연속 시도하며 성공률을 측정했고, 완료 시간(mean completion time)도 기록했다. 결과적으로, DexPilot은 대부분 과제에서 높은 성공률을 보였다(Fig. 15). 특히 단순 피킹/플레이스 작업이나 비교적 큰 물체 조작 작업들은 대부분 성공률 90–100%에 달했다. 평균 완료 시간은 과제 난이도와 복잡도에 따라 다양했는데, 멀티스텝 작업(예: 서랍 속 물건 꺼내기)일수록 수 분이 소요되었다. 전반적으로 시스템은 정밀 집기·파지, 다지 간 조작, 비파지(non-prehensile) 동작 등을 모두 수행할 수 있는 충분한 유연성과 안정성을 보였다. 정성적 평가에서도 DexPilot의 성능을 확인할 수 있다. 예를 들어 그림 11의 지갑 과제에서 파일럿은 지폐를 손가락 사이에 핀치한 채로 성공적으로 지갑 바깥으로 끄집어냈으며, 이때 로봇 손도 지폐를 놓치지 않고 유지했다. 그림 12에서는 서랍을 열고 티백을 잡아 당기기 위한 손가락의 회전 및 접촉 동작이 명확히 구현되었으며, 그림 13의 땅콩통 뚜껑 과제에서는 뚜껑을 반복 회전시키는 동작이 로봇에도 그대로 전달되었다. 이처럼 작은 물체를 집거나 돌리는 정밀 동작 뿐 아니라, 두 손가락으로 물체를 잡은 상태에서 남은 손가락을 이용해 추가 조작을 수행하는 복합 조작(compound manipulation)도 모두 사람이 행하듯 수행 가능함을 보였다.

그러나 작은 물체를 다루는 작업에서는 한계도 관찰되었다. 예를 들어 크기가 작은 블록(pick blocks small)이나 컨테이너 속 물체 뽑기(Container) 등의 작업은 완료 시간이 길거나 성공률이 낮았다. 특히 작은 블록을 쥐었다가 놓는 과정에서, 앞서 설명한 투영 기법이 손가락 간 거리를 강하게 조절하여 물체를 늦게 놓게 만들거나 손가락이 간섭하는 현상이 발생했다. 결과적으로 작은 블록 옮기기 과제의 경우 성공률이 상대적으로 현저히 낮았고, 완료 시간이 매우 길어졌다. 이러한 현상은 장갑 기반 추적 데이터의 부정확성이나 투영 파라미터 조정에 기인한 것으로 분석된다.

6. 기존 방법과 비교 및 기술적 한계

DexPilot은 글러브·마커를 사용하지 않는 순수 시각 기반 시스템이라는 점에서 독창적이다. 기존 상용 시스템들(예: CyberGlove, HaptX)은 높은 정확도의 관절 추정과 촉각 피드백을 제공하지만, 장비 비용과 부피가 크고 사용자의 자유로운 움직임을 제한한다. 반면 DexPilot은 저렴한 RGB-D 카메라 네트워크만으로 23DoF 제어를 가능하게 하였고, 이는 종래의 글러브나 모션캡처 없이 복잡 조작을 수행한 사례로는 드물다. 기존 학술 연구와 비교해 보면, Li 등은 딥러닝으로 섀도우 핸드(Shadow Hand) 관절각을 추정하였으나 시스템 전체 적용과 정밀 집기에는 한계가 있었다. Antotsiou 등은 시뮬레이션 상의 간단한 조작 작업만 보였던 반면, DexPilot은 실제 물리적 환경에서 손끝 접촉과 연관된 복잡 작업을 수행했다. 이처럼 DexPilot은 시각-모델 추적, 최적화 기반 리타겟팅, 임피던스 제어를 결합하여 현장작업에 필요한 수준의 조작 성능을 보여주었다는 점에서 새로운 패러다임을 제시했다.

그럼에도 몇 가지 기술적 한계가 보고되었다.

첫째, 관찰 영역(workspace)이 카메라 범위로 제한되어 있어 넓은 공간에서의 조작에는 부적합하다. 실험에서는 카메라가 관절 거리 1m 이내에서 좋은 품질을 보였으나, 범위를 벗어나면 깊이 센싱 정확도가 급격히 떨어진다.
둘째, 앞서 언급한 리타겟팅 투영 기법의 부작용이다. 엄지-검지 핀치 유지 시 잡은 물체를 늦게 놓거나 손가락끼리 간섭이 발생할 수 있으며, 이는 작은 물체 작업에서 효율을 떨어뜨린다. 현재는 이 기능을 옵션으로 끌 수 있도록 하였으나, 궁극적으로는 손 추적 정확도를 높여 이러한 보정이 필요 없도록 해야 한다.
셋째, 촉각 피드백 부재로 인해 미세 조작이 어렵다. DexPilot에는 촉각 센서가 있어 데이터를 기록할 수 있으나, 파일럿에게는 힘/촉각 정보가 돌아가지 않는다. 이로 인해 물체가 미끄러질 때 직관적으로 감지하기 어려워 조작 실패율이 높아질 수 있다. 향후 촉각 피드백 전달이나 반자동 힘 제어(잡기 강도 자동 조절) 기술을 결합한다면 이 부담을 줄일 수 있을 것이다.
넷째, 추적 및 제어 지연이다. 전체 시스템의 응답 지연은 약 1초이며, RMP 제어의 파라미터 튜닝과 네트워크 인퍼런스 지연을 최적화할 수 있다. 마지막으로 고정밀 삽입 작업(예: 페그-인-홀)은 아직 완벽히 수행되지 못했다. 실제로 NIST 삽입 과제를 시도했지만, 매우 협소한 간격(0.1mm)에서는 성공률이 10% 이하로 저조했다. 이는 카메라 해상도, 손 추적 정밀도, 제어 응답 속도 등 다양한 요인이 복합적으로 작용한 결과로, 한계를 극복하기 위해 더 정밀한 추적과 자동 제어 보조 기능이 필요하다.

종합하면, DexPilot은 저비용 시각 기반 방식으로 고자유도 로봇 손을 조작 가능하게 한 획기적인 시스템이지만, 카메라 관측 범위, 손 추적 정확도, 촉각 부재 등 실제 활용 시 고려해야 할 한계점들도 동시에 지니고 있다. 이러한 한계들을 개선하면 앞으로 보다 정교한 텔레오퍼레이션과 로봇 학습 응용에 큰 기여를 할 수 있을 것이다.

Additional Review

시작하며: “장갑 없이도 손을 빌려줄 수 있을까?”

로봇 손을 사람 손처럼 조종하는 가장 솔직한 방법은 무엇일까. 데이터 글러브를 끼고, 자석 트래커를 손등에 붙이고, 손가락 마디마다 IMU를 매다는 것이다. 잘 작동하지만 비싸고 거추장스럽다. 한 시간만 끼고 있어도 손이 땀에 절고 캘리브레이션은 어긋난다. 그래서 사람들이 자연스럽게 도달하는 질문이 있다 — 카메라만으로는 정말 안 되는 걸까?

DexPilot의 답은 “된다, 그것도 23 자유도(degree of actuation, DoA) 전부를 다.” 이다. 사람의 맨손을 4대의 RealSense 깊이 카메라로 관찰하고, GPU 두 장으로 자세를 추정하고, 최적화 한 번으로 Allegro 손과 7-DoF 팔에 동시에 명령을 내린다. 지갑에서 지폐를 빼고, 서랍을 열고 티백을 꺼내고, 네 손가락 사이에 큐브 두 개를 끼우는 묘기까지. 촉각 피드백 없이.

이 리뷰는 그 시스템이 어떻게 그리고 왜 작동하는지를, 수식과 알고리즘과 함께 직관적으로 풀어본다. 특히 운동학적 리타게팅(kinematic retargeting)의 비용 함수 설계 — 이 논문이 후속 연구(AnyTeleop, GELLO, Bunny-VisionPro 등)에 남긴 진짜 유산 — 는 한 줄 한 줄 뜯어볼 가치가 있다.

문제의 본질: 왜 손 텔레오퍼레이션은 어려운가

손을 옮기는 것과 손가락을 움직이는 것은 다른 문제다. 팔은 6-DoF, 잘 풀린 IK가 있으면 끝이다. 손은 다르다.

첫째, 자유도 불일치

사람 손은 대략 27 DoF, Allegro 손은 16 DoF다. 자유도가 다른 두 메커니즘 사이에 일대일 대응을 만들 수 있는 자연스러운 방법은 존재하지 않는다. 관절 각도를 직접 복사하는 방식(joint-space copy)은 손가락 길이가 다르고 베이스 위치가 다른 순간 무너진다. 예를 들어 사람이 엄지와 검지로 동전을 집는 자세를 Allegro에 그대로 복사하면, 손끝이 만나야 할 곳에서 5 cm씩 빗나간다.

이걸 해결하려면 무엇을 보존할지 결정해야 한다. 손끝 위치? 손가락 방향? 손바닥 대비 상대 좌표? 정답은 “정확한 그립을 위해 필요한 것”이다. DexPilot의 답은 손가락 끝과 손바닥 사이, 그리고 손가락 끝끼리의 벡터다. 이 선택이 왜 자연스러운지는 잠시 후에 본다.

둘째, 시각만으로 손을 추적하는 일

손은 가렸다, 또 가렸다, 자기 자신을 가린다. 새끼손가락을 굽히면 약지가 가리고, 약지를 굽히면 중지가 가린다. 한 대의 카메라로는 거의 항상 어떤 손가락은 보이지 않는다.

DexPilot은 카메라를 네 대 — 사용자 시점에서 정면 1대, 좌우 2대, 아래 1대 — 배치해서 손이 어느 방향으로 회전해도 적어도 한 시점은 살아남도록 만든다. 그리고 한 가지 더: 모델 프리 추정기와 모델 기반 트래커를 같이 쓴다. 신경망은 빠르고 강건하지만 떨린다. 모델 기반 추적(DART)은 매끄럽지만 한 번 놓치면 영원히 못 따라간다. 둘을 결합하면 “초기값은 신경망, 정밀화는 최적화”라는 고전적 컴퓨터비전 레시피가 된다.

셋째, 정밀 그립의 비대칭성

손끝과 손끝이 닿아야 하는 그립(precision grasp)은 실패에 매우 민감하다. 9 mm 추적 오차는 손바닥 위 자세에서는 무시할 만하지만, “엄지와 검지로 종이 한 장 집기”에서는 치명적이다. 9 mm 오차로 손가락이 1 mm 떨어지면 종이는 떨어진다.

이 비대칭을 다루는 게 DexPilot의 영리한 부분이고, 뒤에서 projection scheme이라는 이름으로 등장한다.

시스템 한눈에 보기

전체 파이프라인은 다음과 같다:

flowchart LR
    A[4x RealSense<br/>Depth Cameras] --> B[Hand Segmentation<br/>plane removal]
    B --> C[PointNet++ Stage 1<br/>coarse hand pose]
    C --> D[PointNet++ Stage 2<br/>refined pose]
    D --> E[DART Model-based<br/>Tracker]
    E --> F{Hand Joints<br/>23 keypoints}
    F --> G[Kinematic Retargeting<br/>SLSQP nonlinear opt.]
    F --> H[Palm Pose<br/>6-DoF]
    G --> I[Allegro 16 joint angles]
    H --> J[RMPs<br/>Arm Motion Policy]
    J --> K[KUKA LBR4+<br/>7-DoF arm]
    I --> L[Allegro Hand<br/>torque controller]
    K --> M[Robot World]
    L --> M

핵심 숫자만 정리하면:

구성요소	사양
깊이 카메라	Intel RealSense D415 x 4
GPU	NVIDIA GPU x 2 (PointNet++ + DART)
손	Allegro Hand V4, 16 DoF
팔	KUKA LBR4+, 7 DoF
총 자유도	23 DoA
제어 주기	30 Hz
평균 keypoint 오차	9.7 mm
비용 함수 최적화	SLSQP (NLopt)
팔 제어기	Riemannian Motion Policies
손 자세 추정 모델	PointNet++ 2-stage + DART
손끝 2D 검출 보조	GloveNet (ResNet-50 + spatial-softmax)

비용이 왜 낮은지는 표 안에 다 있다. 카메라 한 대가 약 150달러, GPU와 워크스테이션을 더해도 글러브 기반 솔루션(수천만 원)의 일부에 불과하다.

시각 파이프라인: 모델 프리와 모델 기반의 결혼

1단계: PointNet++로 거친 자세 잡기

네 대의 카메라에서 들어온 깊이 영상은 합쳐져 하나의 포인트 클라우드가 된다. 책상은 평면 피팅(RANSAC)으로 제거한다. 남은 점들에는 손, 팔, 그리고 사람의 몸통 일부가 들어 있다.

여기서 PointNet++가 등장한다. PointNet++의 두드러진 특징은 점 집합을 입력으로 받아 순서에 불변(permutation invariant)하면서도 지역적 구조를 본다는 것이다. 손바닥 한 점을 처리할 때, 그 점 주변의 이웃 점들이 이루는 작은 패치를 함께 본다. 이 지역 패치들이 계층적으로 모여 결국 손 전체의 자세를 결정한다.

DexPilot의 네트워크는 두 단계로 구성된다:

Stage 1: 입력 포인트 클라우드 전체에서 손의 거친 자세(global rotation + translation + 23개 keypoint의 대략적 위치)를 추정한다. 책상은 빠졌지만 팔과 몸통이 남아 있어 노이즈가 크다.
Stage 2: Stage 1의 출력을 바탕으로 손 영역을 잘라내고, 그 안에서 정밀한 keypoint 위치를 다시 추정한다. 같은 PointNet++ 백본에 MLP 헤드를 붙인 구조.

7,000장의 검증 영상에서 평균 9.7 mm 오차. 이건 손목 너비의 1/3 수준이고, 손가락 마디 길이의 1/5 수준이다. 정밀 그립에는 부족하지만 시작점으로는 충분하다.

2단계: DART로 정밀 추적

DART(Dense Articulated Real-time Tracking)는 GPU 기반 모델 기반 추적기다. 핵심 아이디어는 다음과 같다:

손의 연결된 강체 모델(kinematic tree)을 미리 만들어 둔다.
각 강체에 대해 signed distance function (SDF) — “이 점에서 표면까지의 부호 있는 거리” — 을 정의한다.
관측된 포인트 클라우드의 각 점에 대해, 가까운 강체의 SDF 값을 계산한다.
모든 점의 SDF 합을 최소화하는 관절 각도를 비선형 최적화로 구한다.

PointNet++가 “어디쯤”이라고 외치면 DART가 “정확히 여기”라고 다듬는 구조다. 두 가지가 결합되는 방식이 중요하다:

PointNet++의 keypoint 예측은 DART의 초기화 및 선험적 제약으로 들어간다.
매 프레임 DART는 이전 프레임의 결과를 따라가지만, 큰 차이가 나면 PointNet++ 예측으로 리셋한다.

이 하이브리드 덕분에 DexPilot은 손이 빠르게 움직여도(jerk) 안 잃어버리고, 손가락이 꼬여도 한 손가락이 다른 손가락으로 “튀는” 현상이 적다. 이 구조는 이후 많은 텔레오퍼레이션 시스템의 표준이 된다.

flowchart TB
    PC[Point Cloud<br/>~30K points] --> PN[PointNet++<br/>Stage 1+2]
    PN -->|23 keypoints<br/>coarse pose| INIT[DART Init/<br/>Re-init check]
    PN -.->|fallback if<br/>DART loses track| INIT
    INIT --> DART[DART SDF<br/>Optimization]
    DART -->|refined joints| OUT[Final Hand Pose]
    OUT -.->|prev frame| DART

보조: GloveNet으로 손끝 2D 위치 보강

손끝 추적이 특히 어려우니 별도 모델을 둔다. GloveNet은 RGB 이미지에서 ResNet-50 백본 위에 spatial-softmax 헤드를 얹어 손끝의 2D 위치를 회귀한다. 깊이 맵의 손끝은 종종 노이즈에 묻혀 사라지므로, 이 RGB 기반 단서가 깊이 신호의 빈 곳을 메운다.

운동학적 리타게팅: 이 논문의 진짜 핵심

여기서부터가 DexPilot의 진짜 기여다. 손 자세를 알았다고 치자 — 23개 keypoint의 3D 좌표가 매 프레임 들어온다. 이걸 Allegro의 16개 관절 각도로 어떻게 바꾸나?

잘못된 방법들

먼저 안 되는 방법부터 보자. 직관과 어긋나는 게 어디인지가 더 교훈적이다.

관절 각도 복사: 사람의 검지 PIP 관절이 30°면 Allegro 검지 PIP도 30°. 길이도 베이스 위치도 다르니 손끝이 만나야 할 곳에서 빗나간다.
손끝 위치 복사: 사람 손바닥 좌표계에서 손끝 위치를 측정하고 Allegro 손바닥 좌표계에 그대로 입력. 손가락 길이가 짧은 Allegro는 도달 불가능한 점이 많고, 도달하더라도 손가락이 이상하게 휜다.
단순 BioIK 풀이: 손바닥에서 손끝까지의 벡터를 매칭. 손끝끼리의 상대 위치는 보존되지 않으니 정밀 그립이 망가진다.

옳은 질문: “그립의 기하학에서 무엇이 중요한가?”

집기를 결정하는 건 손끝과 손끝 사이의 상대 벡터다. 엄지가 검지에 닿는 핀치 그립이라면 “엄지 끝과 검지 끝 사이의 벡터”가 영벡터가 되어야 한다. 손바닥에서 손끝까지의 벡터도 중요한데, 그건 그립의 깊이와 방향을 결정한다.

DexPilot은 그래서 task-space 벡터의 모음을 정의한다 (Fig. 8 참조):

손바닥-엄지끝 벡터
손바닥-검지끝 벡터
손바닥-중지끝 벡터
손바닥-약지끝 벡터
엄지끝-검지끝 벡터
엄지끝-중지끝 벡터
엄지끝-약지끝 벡터

각 벡터를 사람 손에서 측정한 값과 Allegro에서 계산한 값(관절 각도의 함수)이 일치하도록 최적화한다.

비용 함수 들여다보기

전체 비용 함수는 직관적으로 다음과 같이 쓸 수 있다 (논문 표기를 살짝 정리):

J(q) \;=\; \sum_{i=1}^{N} w_i \,\bigl\| f_i(q) - s\cdot r_i^{h} \bigr\|^2 \;+\; \gamma \,\| q \|^2

여기서:

q \in \mathbb{R}^{16}: Allegro 관절 각도.
r_i^{h} \in \mathbb{R}^3: 사람 손에서 측정한 i번째 task-space 벡터.
f_i(q): 같은 정의로 Allegro에서 계산한 벡터 (순방향 운동학으로 얻음).
s: 사람 손과 Allegro 사이의 스케일 인자 (손 크기 보정).
w_i: 벡터별 가중치.
\gamma = 2.5 \times 10^{-3}: Allegro 각도를 0(완전히 펴진 손)에 가깝게 끄는 정칙화.

정칙화 항 \gamma \|q\|^2이 왜 있는지가 흥미롭다. 비용 함수가 비볼록(non-convex)이고, 같은 task-space 벡터를 만드는 관절 조합이 여러 개 존재한다. 정칙화를 빼면 최적화기가 손가락을 손바닥 안쪽으로 말아 넣는 희한한 지역 최소점에 빠지는 경우가 자주 생긴다. 한 번 그런 자세에 들어가면 다음 프레임에서 빠져나오기 어렵다. \gamma는 그 함정에 빠지지 않도록 살짝 “펴진 자세 쪽으로 밀어주는” 스프링 역할이다.

또 하나의 트릭: distal 관절을 medial 관절과 묶는다. 사람 검지의 DIP는 PIP와 강한 상관이 있다(자연스럽게 같이 굽혀진다). Allegro의 검지/중지/약지에서도 distal = medial로 제약을 걸어 탐색 공간을 줄인다. 16 DoF가 사실상 13 DoF처럼 동작하지만 자연스러움은 잃지 않는다.

Projection Scheme: 정밀 그립의 비대칭을 감당하는 법

이게 진짜 영리한 부분이다. 사람 손에서 엄지와 검지 끝 사이의 벡터가 작아질수록(즉 핀치 그립에 가까워질수록), 9 mm 추적 오차가 상대적으로 커진다. 사람이 의도한 것은 “닿음”인데, 추적 결과는 “8 mm 떨어짐”이 되어 Allegro도 8 mm 떨어진다. 종이는 떨어진다.

DexPilot의 해결책은 임계값 기반 투영이다. 벡터의 크기가 어떤 거리 d_{\text{thresh}} 이하로 줄어들면, 비용 함수의 그 항을 목표 = 0 (완전 접촉)으로 바꿔치기한다. 즉:

\tilde r_i^{h} \;=\; \begin{cases} r_i^{h}, & \|r_i^{h}\| \geq d_{\text{thresh}} \\ \mathbf{0}, & \|r_i^{h}\| < d_{\text{thresh}} \end{cases}

또한 이 모드에서는 해당 벡터의 가중치 w_i를 대폭 올려서 최적화기가 “어떻게 해서든 손끝을 붙여라”라고 명령받게 한다.

직관적으로 표현하면: 사람이 “거의” 손가락을 붙였다 싶으면 시스템은 “붙이려 했구나”로 해석한다. 이게 너무 공격적이면 사용자가 손가락을 살짝 벌리려는 미세 조정에 시스템이 응답하지 않는다 — 이 부작용은 논문도 인정한다. 그래서 사용자가 projection을 끌 수 있는 토글이 있다.

의사코드로 정리하면

# Per-frame retargeting (called at 30 Hz)
def retarget(human_keypoints_3d, q_prev):
    # 1) Build task-space vectors from human hand
    r_h = compute_task_vectors(human_keypoints_3d)   # 7 vectors

    # 2) Apply projection for precision grasps
    for i in range(len(r_h)):
        if norm(r_h[i]) < d_thresh:
            r_h_tilde[i] = zeros(3)
            w[i] = w_high           # snap together
        else:
            r_h_tilde[i] = r_h[i]
            w[i] = w_nominal

    # 3) Solve nonlinear least-squares with SLSQP
    def cost(q):
        r_a = forward_kinematics_vectors(q)  # Allegro vectors
        err = 0
        for i in range(len(r_h_tilde)):
            err += w[i] * norm(r_a[i] - s * r_h_tilde[i])**2
        err += gamma * norm(q)**2
        return err

    q_star = slsqp_minimize(
        cost,
        x0=q_prev,                # warm-start from previous solution
        constraints=joint_limits,
        equality=[q.distal == q.medial for primary fingers]
    )

    # 4) Low-pass filter to smooth jitter and projection switches
    q_out = lowpass(q_star, q_prev_out)
    return q_out

세 가지 디테일에 주목할 만하다:

Warm start: 이전 프레임 해를 초기값으로 쓰면 SLSQP가 보통 5-10 iteration 만에 수렴한다. 30 Hz 실시간 제어가 가능해지는 핵심이다.
저역 통과 필터: 추적 노이즈와 projection switch가 만드는 고주파 점프를 부드럽게 만든다. 1차 필터 한 줄로 손이 떨리지 않게 된다.
SLSQP는 KKT 만족하는 SQP: 관절 한계, distal=medial 같은 등식/부등식 제약을 자연스럽게 다룬다.

팔 제어: Riemannian Motion Policies

손 관절은 retargeting으로 풀렸다. 그럼 팔은? 사람 손바닥의 6-DoF 자세를 받아 KUKA LBR4+ 7-DoF 팔이 따라가야 한다. 그냥 IK를 풀면 될 것 같지만 — 그러면 충돌과 특이점이 문제다.

DexPilot은 RMPflow 계열의 Riemannian Motion Policies (RMPs)를 쓴다. 직관은 이렇다:

각 서브태스크(예: “엔드 이펙터를 목표 자세로”, “장애물 피하기”, “관절 한계 멀리하기”)에 대해 가속도 필드와 그 신뢰도를 표현하는 메트릭을 정의한다.
모든 서브태스크의 가속도를 메트릭으로 가중 평균해서 합성 가속도를 만든다.
합성 가속도를 관절 공간으로 풀백(pullback)해서 토크 명령으로 변환한다.

수식을 빌리면, i번째 정책이 가속도 \ddot x_i와 메트릭 M_i를 내놓을 때 합성 정책은:

\ddot x^* \;=\; \Bigl(\sum_i M_i\Bigr)^{-1} \sum_i M_i \, \ddot x_i

물리적으로는 “신뢰도 가중 합의(consensus by precision-weighted averaging)”다. 가까운 장애물은 메트릭이 커지고, 따라서 회피 가속도가 다른 모든 정책을 압도한다. 거리가 멀어지면 메트릭이 작아져 사실상 무시된다.

DexPilot 맥락에서 중요한 것은 RMP가 닫힌 형태로 충돌 회피와 추종을 동시에 처리한다는 점이다. 사용자가 손을 빠르게 휘둘러도 Allegro 손바닥이 팔과 자기 자신을 들이받지 않는다.

실험: 15개 과제, 두 명의 파일럿, 다섯 번씩

평가 설계

논문은 정밀 그립, 파워 그립, prehensile/non-prehensile 조작, 손가락 보행(finger gaiting)을 두루 포함하는 15개 과제를 정의한다. 각 과제는 두 명의 훈련된 “파일럿”이 다섯 번씩 수행한다. 측정 지표:

완료 시간 (mean completion time): 시간이 짧을수록 시스템이 직관적이고 정확하다.
성공률 (success rate): 5회 중 성공한 횟수.

대표 과제와 결과

논문에 나오는 인상적인 과제들:

지갑에서 지폐 빼기: 한 손으로 지갑을 잡고, 다른 손가락 조합으로 종이를 핀치해 빼낸다. 두 손가락 끝 사이 압력을 유지해야 하므로 projection scheme이 결정적이다.
티 서랍 열기, 티백 꺼내기, 다시 닫기: 긴 시계열의 multi-step 과제. 누적 오차에 강건해야 한다.
Pringles 통 세우기, 빨간 통 안에 넣기: 대형 물체의 비파지(non-prehensile) 조작 + 파지 전환.
두 큐브를 네 손가락 사이에 끼우기: 손가락 사이 압력을 분산해서 유지해야 하는 어려운 multi-finger grasp.

평균적으로 두 파일럿 모두 대부분 과제에서 80% 이상의 성공률을 기록했고, 완료 시간은 과제별로 5-30초 범위였다. 정밀 그립 과제는 훈련 시간이 길었다는 점이 보고된다 — 파일럿이 시스템의 응답 특성에 적응하는 시간이 필요하다. 텔레오퍼레이션의 “유능함”이 시스템뿐 아니라 사람-시스템 결합의 함수임을 보여주는 대목이다.

결과의 진짜 의미

이 실험이 보여주는 것은 단지 “DexPilot이 작동한다”가 아니다. 더 깊은 메시지는 두 가지다:

촉각 없이도 시각만으로 정밀 조작이 가능하다. 인간 손-눈 협응의 예측 모델(사람이 시각으로 접촉을 예측한다는 인지심리 연구 [12])이 텔레오퍼레이션 회로 안에서도 활용된다.
고품질 시연 데이터의 수집 통로가 열린다. 23 DoA 상태-행동 시퀀스, 깊이 영상, RGB 영상이 동기화되어 쌓인다. 이 데이터가 이후 imitation learning, dexterous RL, VLA 학습의 연료가 된다. DexPilot의 진정한 영향은 시스템 그 자체가 아니라 그것이 만들어 낼 데이터셋이다.

비판적 고찰

잘 된 것

저비용으로 23 DoA 전체 제어: 글러브 솔루션 대비 한 자릿수 이상 저렴.
모델 기반 + 모델 프리 추적의 모범 사례: 이후 거의 모든 vision-based teleop이 이 구조를 따라간다.
Task-space 벡터 + projection의 retargeting 공식: 단순하면서도 정밀 그립을 가능케 한 결정적 설계.
즉시 사용 가능한 코드 유산: dex-retargeting 라이브러리 등에 “DexPilot retargeting” 모드로 그대로 살아 있다.

한계와 비판점

논문이 스스로 인정하는 한계와 필자가 보태는 비판을 같이 정리한다.

1. 워크 볼륨이 작다

각 RealSense 카메라는 1 m 안에서만 깊이 품질이 살아 있다. 따라서 사용자의 손이 움직일 수 있는 실효 작업 공간이 좁다. 카메라를 더 좋은 것으로 바꾸면 늘어나지만, 그러면 “저비용”이라는 정체성이 흔들린다. 후속 연구(AnyTeleop 등)는 VR 헤드셋과 손 위 마운트로 이 한계를 비껴간다.

2. Projection scheme의 부작용

핀치 모드로 일단 snap되면, 사용자가 손가락을 천천히 떼려 할 때 시스템이 그 의도를 못 알아챈다. 작은 물체를 놓는 순간 손이 굳어 있는 셈이다. Finger gaiting(공을 손가락 사이로 굴리기) 과제도 같은 이유로 어렵다. 논문은 토글 옵션을 제공하지만 이상적인 해법은 “더 정확한 추적으로 projection 자체가 필요 없게 만들기”라고 말한다.

3. 촉각이 없다

촉각이 없으면 접촉 직전과 직후를 구별 못 한다. 사람은 시각으로 그 갭을 메우지만, 학습된 정책은 못 할 수 있다. DexPilot으로 수집한 데이터는 상태 = 시각 + 관절이지 상태 = 시각 + 관절 + 촉각이 아니라는 한계가 있다. 이후 NeuralFeels, TacSL, AnyRotate 같은 연구가 촉각 통합 방향으로 갔다.

4. 손목/팔뚝 비틀림의 한계

사람 손목은 약 180° 회전하지만, 시각 기반 추적은 자기 가림(self-occlusion) 때문에 극단 자세에서 신뢰도가 떨어진다. 또한 KUKA 팔의 운동학적 특이점 회피 때문에 일부 회전은 표현이 어렵다.

5. 사람 손 모델이 universal하지 않다

DART의 손 모델은 표준 크기에 캘리브레이션된다. 손이 매우 크거나 작은 사용자는 스케일 인자 s로 보정하지만, 손가락 비율이 다르면 retargeting 품질이 떨어진다. 후속 연구에서 MANO 같은 파라미터 모델이 보편화된 이유다.

6. 학습 가능한 retargeting의 부재

DexPilot의 retargeting은 최적화 기반이고, 비용 함수의 가중치 w_i, \gamma, d_{\text{thresh}}는 손으로 튜닝된다. 더 일반적인 손/로봇 조합으로 확장하려면 이 튜닝을 자동화하거나 신경망으로 대체해야 한다. 이게 최근의 learned retargeting 흐름이다.

다시 살펴보는 핵심 통찰

이 논문에서 얻을 수 있는 일반적 교훈을 세 가지로 압축하면:

1. 비용 함수 설계가 곧 문제 정의다

DexPilot의 retargeting은 “관절을 어떻게 매핑할 것인가”가 아니라 “어떤 기하학을 보존할 것인가”를 비용 함수로 선언한다. Task-space 벡터의 선택, 정칙화의 방향, projection의 임계값 — 모두 그 선언의 일부다. 비용 함수를 한 줄 바꾸면 retargeting의 성격이 바뀐다. 이건 거의 모든 manipulation 문제에 똑같이 적용된다.

2. 모델 프리와 모델 기반은 적이 아니다

신경망의 강건함과 최적화의 정밀함을 직렬로 연결한 구조는 단순하지만 강력하다. Stage 1에서 외쳐주고 Stage 2에서 다듬는 패턴은 hand pose estimation, object pose tracking, articulated tracking 어디에나 적용된다. “둘 중 뭘 쓰지”라는 질문은 보통 잘못된 질문이다.

3. 시연 수집은 추정보다 비싼 자원이다

알고리즘은 논문 한 편이지만, 23 DoA × 30 Hz × 수십 시간의 동기화된 시연 데이터는 후속 연구의 모든 imitation learning 정책을 만들 수 있는 인프라다. 텔레오퍼레이션 시스템의 가치는 그 시스템의 우아함이 아니라 그것이 만들어 낼 데이터의 크기와 품질로 평가해야 한다.

결론

DexPilot은 카메라 네 대와 GPU 두 장으로 23 DoA 손-팔 시스템을 직관적으로 조종할 수 있다는 것을 보여줬다. 그 길에 놓인 기술적 디테일 — 멀티뷰 깊이 통합, PointNet++/DART 하이브리드 추적, task-space 벡터 기반 retargeting, projection scheme, RMP 팔 제어 — 은 각각 별개의 연구 주제로 발전할 가치가 있다.

이 논문이 지금도 인용되는 이유는 어떤 trick 때문이 아니라 어떤 사고방식 때문이다: 문제를 풀 때 무엇을 보존해야 하는지를 먼저 묻고, 그것을 비용 함수로 옮기고, 정밀도가 비대칭적으로 중요한 영역(정밀 그립)에는 비대칭적 처리를 명시적으로 넣는다. Robotics 연구에서 이 사고방식은 시뮬레이션-실세계 갭, sim2real, 도메인 적응 어디에서나 같은 모양으로 나타난다.

Allegro 손으로 dexterous manipulation을 연구한다면, DexPilot은 반드시 읽고 반드시 한 번 구현해 봐야 하는 논문이다. 비용 함수의 가중치를 직접 만져 보고, projection 임계값을 바꿔 보고, distal=medial 제약을 풀어 보면, 텔레오퍼레이션의 어디가 부드럽고 어디가 빡빡한지가 손끝으로 느껴진다. 그 감각이 다음 시스템을 설계할 때의 출발점이 된다.

참고

Handa, A., Van Wyk, K., Yang, W., Liang, J., Chao, Y.-W., Wan, Q., Birchfield, S., Ratliff, N. D., Fox, D. DexPilot: Vision-Based Teleoperation of Dexterous Robotic Hand-Arm System. ICRA 2020. arXiv:1910.03135
프로젝트 영상: sites.google.com/view/dex-pilot
관련 코드: dexsuite/dex-retargeting
후속 연구 흐름: AnyTeleop, GELLO, Bunny-VisionPro, TeleOpBench