📃UHAS 리뷰

cross-embodiment

dexterity

in-hand-reorientation

action-space

kinematics

retargeting

sim2real

hand

IsaacSim

Cross-Embodiment Robot Manipulation via a Unified Hand Action Space

Published

July 28, 2026

Paper Link (arXiv:2607.03570v1)
Project Page (irvlutd.github.io/UHAS)
Code Link (IRVLUTD/UHAS_sim) — Isaac Lab 시뮬레이션, Apache-2.0
저자: Luis Felipe Casas, Robert Teal, Keval Shah, Abhijit Tadepalli, Wanxin Jin, Yu Xiang
Intelligent Robotics and Vision Lab, UT Dallas · Intelligent Robotics and Interactive Systems Lab, ASU
arXiv preprint (cs.RO), 2026-07-03 (프로젝트 페이지 기준 RSS 2026 Dexterous Manipulation 워크숍 포스터)

💡 손마다 관절 수·구조·의미가 전부 다르다는 이유로 dexterous 정책이 embodiment에 묶여 버리는 문제를, 행동을 관절이 아니라 “손 앞에 놓인 정준 구(canonical sphere)의 변형”으로 정의해 풀자는 제안.
⚙️ URDF만 있으면 손별 구(반지름 r=2l/\pi)와 구↔︎손 표면 대응을 자동 생성하고, 정책은 손가락마다 하나씩 붙은 driving plane의 회전 \Delta\theta와 그 안의 driving vector 반경 변위 \Delta r — 5 plane × 2 vector = 15차원 연속 행동 — 만 출력하며, Cascade Inverse Kinematics(CIK)가 반복 최적화 없이 이를 손별 관절 명령으로 되돌린다(최대 150 Hz).
🎯 큐브 in-hand 재배향에서 손별 개별 학습 99.1~99.8%, 네 손을 하나의 정책으로 학습해도 98.7~99.5%를 유지하고, 학습에서 제외한 손에 zero-shot으로 Shadow 85.7%·MANO 98.1%를 냈지만, 5지→4지 교차는 66.2~80.8%로 무너지고 실기 LEAP은 연속 재배향 평균 2.0회(관절 제어 베이스라인 0.6)에 그쳐 sim-to-real 격차가 크게 남는다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 손으로 학습한 조작 정책은 그 손에서만 돈다. 관절 수와 축 배치가 다르고, 같은 이름의 관절이라도 회전축과 가동범위와 “그 각도가 의미하는 자세”가 손마다 다르기 때문이다. 그래서 그리퍼 중심의 대규모 로봇 학습이 cross-embodiment로 확장되는 동안, dexterous hand 쪽은 손이 바뀔 때마다 행동 공간·데이터·학습을 새로 짜는 관행에 머물러 있다.

UHAS의 답은 단순하다. 행동을 손의 관절이 아니라 손이 감싸는 공간의 기하로 쓰자. 손 앞에 정준 구를 하나 띄우고, 정책은 그 구를 어떻게 찌그러뜨릴지만 결정한다. 손이 무엇이든 “구를 이렇게 변형하라”는 명령의 의미는 같으며, 그 변형을 실제 관절 각도로 되돌리는 일은 손마다 한 번씩 만들어 두는 기구학 모듈(CIK)이 맡는다. 관절 공간의 이질성이 정책이 아니라 정책 아래의 컨트롤러로 밀려 내려간다. 이 아이디어의 뿌리는 같은 연구실의 RobotFingerPrint가 그리퍼 표면과 구 사이 대응을 세워 grasp을 합성한 것인데, UHAS는 그 대응을 grasp 표현이 아니라 행동 공간 자체로 승격시킨다.

개요(Fig. 1). 정책은 상태 \mathbf{s}_t로부터 행동 \mathbf{a}_t = 정준 구의 변형을 내고, 손마다 준비된 Cascade IK가 이를 각 손의 관절 형상 \mathbf{q}_t로 변환한다(LEAP, MANO, Allegro, Shadow).

핵심 방법론:

먼저 손별 구를 URDF에서 자동 생성한다. 편 손 자세에서 손바닥 중심과 손끝 프레임을 잡고, 손바닥 중심에서 손끝까지 평균 거리 l로부터

r=\frac{2l}{\pi}

를 반지름으로 삼는다(\pi/2 라디안, 즉 손바닥에서 손끝까지 약 90^\circ 호에 대응). 구 중심은 손바닥 법선 방향으로 r만큼 띄우고, +z는 손바닥 바깥 법선, +x는 중지 방향으로 정한다. 모든 거리를 r로 정규화하면 손 크기 차이가 지워진 단위 구가 남고, 이것이 공유 행동 공간의 좌표계가 된다.

구 표면의 점 (\theta,\phi)(\theta: 방위각, \phi: 극각)를 손 안쪽 표면에 투영해 대응을 세우면, 손 자세가 바뀌어도 각 손 표면점의 구 좌표 (\theta,\phi)는 불변이다. 행동은 이 표면의 변형인데, 북극이 손바닥에 고정되어 있으므로 \Delta\phi는 버리고 (\Delta\theta,\Delta r)만 쓴다. 전면적 점별 변형은 차원이 너무 크므로 희소한 제어 원소로 파라미터화한다 — 고정 방위각에 놓인 driving plane들이 \Delta\theta를, 각 plane 안의 고정 극각(\phi=60^\circ,120^\circ)에 놓인 driving vector들이 \Delta r을 담당하고, 나머지 표면은 보간으로 채운다. plane은 손가락마다 하나씩 붙이므로

\dim(\mathbf{a}) = 5 + 2\times 5 = 15

차원의 연속 행동이 된다(4지 손은 약지 위치에 plane을 하나 복제해 5로 맞춘다).

역방향은 CIK가 맡는다. 관절을 손끝의 방위각 \theta를 주로 움직이는 lateral joint와 반경 r·극각 \phi를 주로 움직이는 encompassing joint로 자동 분류한 뒤, lateral은 오프라인 lookup table로 상수 시간에 풀고, encompassing은 손가락 기구학 사슬을 따라 근위→원위로 1-D 부분문제를 각각 정확히 한 번씩 푼다. 반복 수치 최적화가 없어 전체 파이프라인이 약 150 Hz로 돈다.

주요 결과: (Isaac Lab 큐브 재배향, 1000 병렬 환경, 에피소드당 목표 10개, 성공률 / 첫 낙하 전 평균 연속 재배향 수)

손별 개별 학습: Allegro 99.1/9.6, LEAP 99.7/9.8, Shadow 99.3/9.6, MANO 99.8/9.9 (Table 1)
관절 제어 베이스라인: 98.5/9.2, 98.6/9.3, 98.0/9.1, 99.6/9.8 — 시뮬 단일 손에서는 차이가 크지 않다
네 손 공동 학습(단일 정책): 98.7~99.5로 개별 학습과 대등
Zero-shot(대상 손을 학습에서 제외): Allegro 95.3, LEAP 95.5, MANO 98.1, Shadow 85.7 / 4.4회
교차 형태(Table 2): 5지(Shadow+MANO)로 학습 → Allegro 66.2/1.9, LEAP 80.8/3.7. 4지로 학습 → Shadow 83.2/4.0, MANO 95.0/7.6
500 iter 파인튜닝(Table 3): Shadow 85.7 → 95.8 (밑바닥 학습은 약 4,500 iter)
실기 LEAP 10회 시행 평균 연속 재배향(Table 5): 관절 제어 0.6 < UHAS zero-shot 0.9 < multi-hand 1.1 < LEAP 전용 2.0
실기 Allegro(부록 Table 13): zero-shot 0.8, multi-hand 2.1, Allegro 전용 2.1

결론:

“행동 공간을 통일한다”는 목표에 대해 UHAS는 학습이 아니라 기하로 답한다. latent action을 오토인코더로 뽑거나(XL-VLA류) 데이터로 retargeting을 배우는 대신, URDF와 정준 구만으로 통일 표현을 구성하고 그 역변환을 닫힌 형태에 가까운 알고리즘으로 처리한다. 덕분에 새 손을 붙이는 데 데이터가 한 줄도 필요 없고, 저자들은 사전학습 multi-hand 정책과 “당신의 손을 추가하는” 파이프라인을 함께 공개했다. 다만 시뮬 단일 손에서 관절 제어 대비 이득이 1%p 안팎에 불과하고, 5지↔︎4지 전이와 sim-to-real에서 성능이 크게 무너진다는 점에서, 이 표현의 가치는 아직 “하나의 정책으로 여러 손을 굴릴 수 있다”는 가능성 증명에 머문다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문은 cross-embodiment 손 제어를 표현 학습 문제가 아니라 좌표계 문제로 다시 세운다. 손마다 다른 것은 관절이지 손이 물체와 만나는 공간이 아니다 — 어느 손이든 결국 물체를 둘러싼 대략 구형의 작업공간 안에서 접촉 패턴을 만든다. 그렇다면 정책이 말해야 하는 것은 “16번 관절을 0.3 rad 굽혀라”가 아니라 “이 방위각 쪽 표면을 안으로 0.4만큼 밀어라”여야 한다. 이 문장은 Allegro에서도 Shadow에서도 사람 손에서도 같은 뜻이고, 그 문장을 각 손의 관절 언어로 번역하는 일은 정책이 아니라 손마다 한 번 만들어 두는 사전(dictionary), 즉 CIK가 맡는다. 정책은 embodiment를 배우지 않고, 대신 embodiment가 정책 아래에서 흡수된다.

배경: 왜 손이 바뀌면 처음부터 다시인가

최근 로봇 학습의 확장은 상당 부분 평행 그리퍼에서 일어났다. 그리퍼는 사실상 1-DoF 개폐라 embodiment 사이 행동 공간이 자명하게 정렬되지만, dexterous hand는 그렇지 않다. 관절 수, 축 배치, 언더액추에이션 유무, 제어 인터페이스가 전부 다르고, 무엇보다 관절 각도 벡터의 각 성분이 갖는 의미가 손마다 다르다. 그래서 기존 dexterous 시스템 대부분은 embodiment별 행동 공간·데이터셋·재학습에 의존한다.

이 공백을 메우려는 시도는 크게 세 갈래다.

행동 헤드 분리: CrossFormer처럼 공유 백본에 embodiment별 head를 붙인다. 헤드마다 데이터가 필요하다.
잠재 행동(latent action): XL-VLA 리뷰처럼 여러 손의 관절 궤적을 오토인코더로 공유 latent에 밀어 넣는다. 통일은 되지만 latent 자체를 데이터로 배워야 하고, 학습에 포함되지 않은 손은 인코더/디코더가 없다.
정준 관절 공간: 손들을 공통 관절 정의로 사상한다. 관절 수·구조가 다르면 사상이 억지스러워진다.

UHAS가 서 있는 자리는 네 번째다 — 기하 표현. 저자들이 직접 잇는 선행 연구가 D(R,O) Grasp(로봇-물체 상호작용의 통일 표현)와 같은 연구실의 RobotFingerPrint(그리퍼 표면점과 정준 구 사이 조밀 대응으로 grasp 합성)인데, 이들은 모두 정적인 grasp을 표현하는 데 구를 썼다. UHAS의 한 걸음은 여기서 “구 변형 그 자체를 행동으로 삼는다”로 나아간 것이다. 정적 표현에서 동적 행동 공간으로의 승격이 이 논문의 실질적 신규성이다.

방법 1: URDF에서 구를 뽑는다

손별 정준 구의 자동 생성(Fig. 2). URDF → 편 손 자세에서 손바닥 중심·손끝 프레임 식별 → 평균 손끝 거리 l=(l_1+l_2+l_3+l_4)/4로부터 r=2l/\pi → 손바닥 법선 위로 r만큼 띄운 구 중심 → x축을 중지 방향으로 잡은 정준 방향.

절차는 전부 기구학 분석과 기하 정규화로만 이루어진다. 편 손(fingertip 법선이 손바닥 법선과 대략 정렬된) 자세에서 손바닥 중심을 손가락 뿌리 위치들의 평균으로 잡고, 거기서 손끝까지 평균 거리 l을 재서

r=\frac{2l}{\pi}

로 반지름을 정한다. 이 상수 2/\pi의 의미는 “손바닥 중심에서 손끝까지가 구 위에서 대략 90^\circ 호가 되게” 맞춘 것이다 — 즉 구가 손의 자연스러운 파지 작업공간 안에 놓이도록 하는 척도 선택이다.

구 좌표계는 +z = 손바닥 바깥 법선, +x = 중지 방향, y는 오른손 법칙으로 결정된다. 마지막으로 모든 거리를 r로 나눠 단위 구로 정규화하면 손 크기·손가락 개수와 무관한 공유 좌표계가 완성된다. 손별 실제 r과 구 중심은 따로 보관되어 나중에 CIK가 쓴다.

여기서 주목할 점은 이 과정에 학습도 데이터도 사람 개입도 없다는 것이다. URDF 하나면 새 손이 이 표현에 들어온다. 저자들이 공개 저장소에 “Bring Your Own Hand” 가이드(docs/add_hand.md)를 넣을 수 있었던 이유가 여기 있다.

방법 2: 구 표면과 손 표면을 붙인다

통일 손 표면 대응의 구성(Fig. 3). (a) 구 표면 균일 샘플링 → (b) 각 점의 구면 좌표 (\theta,\phi)와 바깥 법선 계산 → (c) 손 안쪽 표면으로 투영해 조밀 대응 생성 → (d) 손 자세가 바뀌어도 각 표면점의 구면 좌표는 그대로.

핵심은 (d)다. 손 표면점의 3D 위치는 관절 형상에 따라 변하지만 그 점에 붙은 (\theta,\phi) 라벨은 고정이다. 이 형상 불변 파라미터화 덕에 서로 다른 손이 공통의 구면 좌표 도메인을 공유하게 되고, “구 위 (\theta,\phi) 지점을 반경 r'로 옮겨라”라는 명령이 모든 손에서 동일하게 해석된다. 관절 각도라는 embodiment 고유 언어 대신, 구면 좌표라는 공통 언어가 생긴 셈이다.

방법 3: 구를 어떻게 찌그러뜨릴 것인가 — 15차원 행동

UHAS의 구 변형 파라미터화(Fig. 4). (a) driving plane 초기 배치(위에서 본 그림, 여기서는 4개) → (b) plane을 회전시켜 lateral 변형 \Delta\theta 제어 → (c) plane 안 driving vector의 반경 변위로 \Delta r 제어 → (d) 보간으로 복원한 최종 변형 구.

표면점 하나하나의 변형을 직접 내보내는 것은 차원이 감당되지 않는다. 그래서 두 단계로 압축한다.

첫째, 변형의 자유도를 줄인다. 정규화된 기준 구 위 점을 (\theta,\phi,r)로 쓰면(r=1이 미변형), 실제로 쓰는 성분은 (\Delta\theta,\Delta r) — 옆 방향 각변위와 반경 팽창/수축 — 두 개뿐이다. \Delta\phi를 버린 근거는 UHAS 구성 자체다: 구의 북극이 손바닥 프레임에 강체로 고정되어 있으므로 극각 방향 변형은 손바닥 자체를 움직이는 것과 중복된다.

둘째, 희소한 제어 원소로 파라미터화한다. 구 중심을 지나면서 고정 방위각 \theta_{\text{plane}}에 놓인 평면들(driving plane)이 \Delta\theta를 담당하고, 각 plane 안에서 고정 극각에 놓인 제어점들(driving vector)의 반경 변위가 \Delta r을 담당한다. 나머지 표면은 보간으로 채운다 — \Delta\theta는 이웃 plane 값들의 보간, \Delta r은 (\theta,\phi) 파라미터 공간에서의 2차원 보간.

plane을 손가락에 정렬시키면(각 손가락 하나씩) 5 plane × 2 vector 구성에서

\dim(\mathbf{a}) = 5 + 2\times 5 = 15

이 된다. 부록 B의 구현 세부는 다음과 같다. driving vector는 \phi=60^\circ와 \phi=120^\circ에 등간격으로 놓이고 반경 변위 범위는 [-2,2]다. lateral 행동은 각 손의 lookup table에 저장된 극단값으로 클리핑된다. 4지 손은 약지 방위각 위치에 plane을 하나 더 복제해 5-plane 형식을 맞추되, 복제된 plane의 \Delta\theta,\Delta r은 평균 낸 뒤 보간에 들어간다.

한 가지 흥미로운 설계 결정이 있다. 반경이 음수가 된 구 점은 CIK 호출 전에 버려지고, 그 결과 도달 대상 점이 하나도 남지 않은 encompassing 관절은 완전 폐쇄 자세로 명령된다. 저자들은 음의 반경 변형을 허용하는 편이 동적인 큐브 재배향에서 성능이 크게 낫다고 보고한다 — 격렬한 재배치 중 손가락을 빠르게 접을 수 있게 해 주기 때문이다. 다시 말해 “구 변형”이라는 매끈한 기하 은유는 실제로는 하드 폐쇄라는 이산 동작을 뒷문으로 포함하고 있다.

방법 4: Cascade Inverse Kinematics — 되돌리는 길

관절 분류와 CIK(Fig. 5). (a) lateral joint — 손끝의 방위각 \theta를 주로 바꾸는 좌우 운동. (b) encompassing joint — 반경 r과 극각 \phi를 주로 바꾸며 손가락이 구 표면에 감기게 한다. (c) 변형된 구를 입력으로 받아 손가락 사슬을 따라 순차적으로 풀어 관절 형상을 출력하는 cascade.

일반 수치 IK 솔버는 반복 최적화라 실시간 dexterous 제어에 무겁다. CIK는 UHAS의 기하 구조를 이용해 문제를 두 종류의 훨씬 쉬운 부분문제로 쪼갠다.

(1) 관절 분류. 손마다 URDF에서 한 번, 편 손 기준 자세에서 각 관절을 가동범위 전체로 훑으며 나머지를 고정한 채 손끝 구면 좌표 (\theta,\phi,r)의 변화를 순기구학으로 기록한다. \theta를 주로 바꾸면 lateral, r·\phi를 주로 바꾸면 encompassing이다. 관절 회전축이 손끝을 향해 있어 판정이 애매한 경우에는 나머지 관절을 부분적으로 굽힌 뒤 다시 훑는다.

관절 분류 절차(Fig. 8). (a) 손끝 방위각 \theta에 대한 영향으로 lateral joint 판정. (b) 손끝 반경 r·극각 \phi에 대한 영향으로 encompassing joint 판정.

(2) Lateral: lookup table. 각 lateral 관절을 균일 간격으로 훑으면서, 매 샘플마다 그 값을 고정하고 미변형 기준 구 위에서 encompassing 관절들을 푼 뒤 결과 손끝 방위각 \theta_{\text{fingertip}}을 기록한다. 그러면 q_{\text{lateral}}\mapsto\theta_{\text{fingertip}} 사상이 오프라인으로 완성된다. 추론 시에는 정책이 낸 \Delta\theta로부터

\theta_{\text{fingertip}}=\theta_{\text{initial}}+\Delta\theta

를 계산하고(\theta_{\text{initial}}은 가동범위 중앙의 중립 자세), 테이블 역조회로 상수 시간에 관절값을 얻는다.

(3) Encompassing: 근위→원위 cascade. lateral이 정해진 뒤, encompassing 관절을 손가락 사슬을 따라 순서대로 푼다. 관절 i마다 이미 계산된 부모 관절값으로 순기구학을 돌려 관절 i와 그 하위 링크들에 대응하는 목표 구 표면점을 관절 i의 국소 좌표계로 옮긴 뒤, 그 점들을 변형 구 표면에 올리는 각도를 직접 계산한다. 각 관절이 단일 forward pass에서 정확히 한 번씩 풀리고 반복 최적화가 없다. 손가락들은 UHAS 정식화에서 기구학적으로 독립이므로 손가락별로도 병렬적이다.

그 결과 전체 CIK 파이프라인이 약 150 Hz로 돈다. 저자들은 실기에서 CIK가 병목이었던 적은 없고, 지연의 지배적 원인은 LEAP 손과의 시리얼 통신과 AprilTag 기반 물체 자세 추정이었다고 명시한다.

방법 5: 행동만 통일해서는 부족하다 — 관측도 구 좌표계로

행동 공간을 통일해 놓고 관측에 원시 관절값을 넣으면 정책은 여전히 embodiment에 묶인다. 관절값의 의미와 수치 범위가 손마다 다르기 때문이다. 그래서 UHAS는 관측도 손 표면 대응 위에서 재구성한다.

손가락마다 기구학 사슬을 뿌리에서 손끝까지 7개 등간격 점으로 이산화하고, 각 점의 부모 관절은 정준 구 위 최근접 표면 대응으로 정한다. 점의 위치는 순기구학으로, 선속도·각속도는 현재 관절 형상에서 평가한 자코비안으로 구한다. 본문 정책들은 이 중 손가락당 2점(중간점과 손끝)만 쓴다. 모든 위치·속도는 정준 구 좌표계에서 표현되고 손별 반지름 r로 정규화된다. 4지 손은 약지 관측을 복제해 차원을 맞춘다.

네 손에 걸친 동형(homogeneous) 관측점(Fig. 9). 손가락 사슬을 따라 잡은 점들 — 손마다 관절 수와 사슬 길이가 달라도 정책이 보는 것은 구 좌표계에서 정규화된 같은 개수의 점이다.

이 부분이 사실 논문의 절반이다. “통일 행동 공간”이라는 제목이 가리키는 것보다 실제로 통일된 것은 더 많다 — 행동, 관측, 그리고 (뒤에 나올) 보상의 정규화 항까지 손 사이에 정렬되어야 단일 정책이 성립한다.

직관: 왜 하필 구인가

세 가지가 겹친다.

첫째, 위상(topology)이 손의 개수를 지운다. 관절 공간의 차원은 손가락 개수·관절 수에 종속되지만, 구면은 연속이고 닫혀 있으며 손가락이 몇 개든 같은 (\theta,\phi) 도메인을 갖는다. 4지와 5지를 같은 표현에 넣을 수 있는 것은 표현이 손가락을 세지 않기 때문이다(그럼에도 driving plane은 손가락에 정렬되므로 개수 의존이 뒷문으로 다시 들어온다 — 아래 비판 참조).

둘째, 조작 행동의 상당수가 실제로 반경·각도 운동이다. 물체를 감싸고, 조이고, 굴리는 동작은 “물체 중심 작업공간 주위의 협응된 반경·각 상호작용”으로 읽힌다. 구 변형은 이 부류의 행동을 저차원으로 정확히 담는다. 반대로 말하면 이 은유가 잘 맞지 않는 조작(정밀 핀치, 도구 사용, 한 손가락 접촉)에서는 표현력이 의심스럽다.

셋째, 역변환이 싸다. 이 표현이 실용적인 진짜 이유다. 통일 표현을 만드는 것 자체는 어렵지 않지만 — latent도 정준 관절 공간도 다 통일 표현이다 — 그것을 실시간으로 관절로 되돌리는 비용이 문제다. 구 변형은 관절 역할을 \theta 담당(lateral)과 r,\phi 담당(encompassing)으로 자연스럽게 분리해 주고, 이 분리 덕에 IK가 lookup + 1-D 순차 해로 무너진다. 즉 표현의 기하가 역변환 알고리즘의 구조를 미리 정해 준다. 이것이 UHAS의 설계에서 가장 잘 맞물린 부분이다.

실험: 셋업

실험 셋업(Fig. 6). (a) Isaac Lab 시뮬레이션 — Allegro(4지), LEAP(4지), Shadow(5지), MANO 사람 손 모델(5지). (b) 실기 — LEAP 손, AprilTag를 붙인 큐브, RealSense 카메라.

과제. Isaac Lab의 Repose Cube 환경을 sphere controller로 개조해 쓴다. 시뮬 에피소드마다 손은 10개의 목표 자세를 순차로 달성해야 하고, 큐브가 떨어지면 환경을 리셋해 남은 시도를 이어간다. 목표 하나당 제한 시간은 30초. 실기에서는 큐브가 떨어질 때까지 정책을 계속 돌린다.

지표. Average Consecutive Reorientations는 첫 낙하 전 연속 성공 재배향 수(시뮬 최대 10), Success Rate는 개별 재배향 시도의 성공 비율이다. 시뮬 평가는 전부 1000 병렬 환경.

베이스라인. 같은 과제에서 관절 위치를 직접 예측하고 관절 위치·속도를 상태로 받는 정책(Joint Control).

정책·학습. RSL-RL의 PPO, actor-critic 은닉층 [512,512,256,128]·ELU, 학습률 5\times10^{-4} 적응 스케줄, clip 0.2, 엔트로피 계수 0.005, \gamma=0.99, \lambda_{\text{GAE}}=0.95, 목표 KL 0.016, 환경당 16스텝. 시뮬레이터는 Isaac Sim 4.5.0 + PhysX, 단일 NVIDIA A5000 GPU.

보상. Isaac Lab 원 환경의 보상을 그대로 쓰되 두 개의 정규화 항을 더한다.

r=w_d\,d+w_r\,r_{\text{rot}}+w_{\text{lat}}\,p_{\text{lat}}+w_{\text{rad}}\,p_{\text{rad}}+b_{\text{success}}+p_{\text{fall}}

여기서 d는 물체-목표 거리, r_{\text{rot}}은 방향 정렬 보상, p_{\text{lat}},p_{\text{rad}}는 lateral·encompassing 관절이 기준 자세에서 벗어난 정도에 대한 벌점이다. 스케일은 w_d=-10.0, w_r=1.0, b_{\text{success}}=250(허용오차 0.1 rad 내 도달 시), p_{\text{fall}}=-100, w_{\text{lat}}=-0.016, w_{\text{rad}}=-0.004.

이 두 정규화 항이 추가된 이유가 의미심장하다 — “lateral 관절 운동에만 의존하고 encompassing 관절을 덜 쓰는” 식의 embodiment 고유 악용을 막기 위해서다. 통일 행동 공간이 있어도 정책은 여전히 특정 손의 기구학적 특성을 파고들 수 있고, 저자들은 그것을 보상 설계로 눌러야 했다. 부록 F.1의 실패 분석(Allegro 정책이 그 손 특유의 lateral 관절에 기대어 회전을 만들고, 그런 액추에이션이 없는 Shadow/MANO에서 완전히 무너짐)이 정확히 이 문제의 실사례다.

도메인 랜덤화(Table 8). 물체 스케일 [0.9,1.1]\times, 질량 [0.8,1.2]\times, 정지/운동 마찰 [0.2,0.3]/[0.15,0.25], 로봇 질량 [0.9,1.1]\times, 관절 마찰·강성·감쇠·토크 한계 등, 그리고 손 베이스 경사 15^\circ\pm5^\circ와 driving vector 방위각 \pm15^\circ. 손 경사 랜덤화는 정책이 “큐브가 손바닥 어느 자리로 미끄러져 들어온다”는 특정 상호작용에 기대는 것을 막고, 물체 스케일 랜덤화는 손 형상 차이에서 오는 손가락 끼임을 완화한다.

실험 1: 네 손, 네 가지 학습 설정

Test Hand	Single-Hand	Joint Control	Multi-Hand	Zero-shot
Allegro	99.1 / 9.6 ±1.7	98.5 / 9.2 ±2.2	99.2 / 9.5 ±1.9	95.3 / 7.7 ±3.4
LEAP	99.7 / 9.8 ±1.1	98.6 / 9.3 ±1.2	99.1 / 9.5 ±1.9	95.5 / 7.7 ±3.5
Shadow	99.3 / 9.6 ±1.6	98.0 / 9.1 ±1.9	98.7 / 9.2 ±2.3	85.7 / 4.4 ±3.7
MANO	99.8 / 9.9 ±1.0	99.6 / 9.8 ±1.4	99.5 / 9.8 ±1.2	98.1 / 8.9 ±2.6

(Table 1. 성공률 / 첫 낙하 전 평균 연속 재배향 수)

읽을 것이 세 가지다.

Multi-Hand가 Single-Hand와 거의 같다. 네 손을 한 정책으로 학습해도 손별 전용 정책과 대등하다(98.7~99.5 vs 99.1~99.8). 이것이 논문의 핵심 주장이고, 실제로 표에서 가장 설득력 있는 칸이다.
Joint Control과의 차이는 작다. 시뮬 단일 손 성능만 보면 UHAS는 0.2~1.6%p 나은 정도다. 즉 UHAS는 “더 잘 하기 위한” 표현이 아니라 “여러 손에서 되게 하기 위한” 표현이다. 저자들도 이 점을 과장하지 않는다.
Zero-shot에서 Shadow가 혼자 무너진다. 85.7% / 4.4회로, 다른 세 손(95.3~98.1 / 7.7~8.9)과 확연히 갈린다. Shadow가 나머지 셋과 기구학적으로 가장 멀다는 점이 원인일 텐데(부록 F.1의 one-to-many 표에서도 Shadow가 목표일 때가 가장 어렵다), 논문은 이 격차의 기전을 정량적으로 분해하지는 않는다.

실험 2: 4지 ↔︎ 5지, 표현의 한계선

Test Hand	Train: Shadow + MANO (5지)	Train: Allegro + LEAP (4지)
Allegro (4F)	66.2 / 1.9 ±1.9	99.7 / 9.8 ±1.2
LEAP (4F)	80.8 / 3.7 ±3.6	99.8 / 9.9 ±0.98
Shadow (5F)	98.6 / 9.3 ±2.1	83.2 / 4.0 ±4.0
MANO (5F)	99.7 / 9.8 ±1.3	95.0 / 7.6 ±3.5

(Table 2)

분포 내(대각 블록)에서는 99%대를 유지하지만, 손가락 개수를 넘어가면 확실히 무너진다. 특히 5지 → Allegro는 66.2% / 1.9회로, 10회 중 2회 못 미치는 연속 재배향에 그친다. 저자들은 “성능 격차는 남지만 의미 있는 전이”라고 표현하는데, 연속 재배향 지표에서 9.8회 → 1.9회는 “의미 있는 전이”보다는 표현의 경계선으로 읽는 편이 정직해 보인다.

원인은 표현 설계에 이미 들어 있다. 4지 손을 5-plane 형식에 맞추는 방식이 “약지 plane을 복제하고 두 값을 평균 낸다”는 임시적 처리이기 때문이다. 5지로 학습한 정책은 다섯 손가락을 독립적으로 조율하는 법을 배웠는데, 4지 손에 배포되면 그중 두 plane이 강제로 묶여 평균된다. 부록 E의 driving plane ablation이 이 직관을 뒷받침한다 — 4-plane과 5-plane의 성능 차이는 미미하고(Shadow는 4-plane이 오히려 99.5 vs 99.3으로 근소 우위), 저자들은 큐브 재배향 과제에서 새끼손가락이 거의 쓰이지 않기 때문이라고 설명한다. 동시에 3-plane으로는 학습이 아예 수렴하지 않았다고 보고하는데, 이 negative result는 “행동 공간 표현력에 최소선이 있다”는 정보를 준다.

실험 3: 파인튜닝과 one-to-many 전이

500 iter 파인튜닝(Table 3). MANO에서 출발해 대상 손에서 500 iter만 더 돌린다(밑바닥 학습은 약 4,500 iter).

Target Hand	Zero-shot	+500 Iter
Allegro	95.3 / 7.7 ±3.4	96.3 / 8.1 ±3.3
LEAP	95.5 / 7.7 ±3.5	96.2 / 8.0 ±3.3
Shadow	85.7 / 4.4 ±3.7	95.8 / 7.8 ±3.5

여기에는 표 사이 정합성 문제가 있다(뒤 비판 절에서 자세히). 표에 적힌 대로 읽으면 실질적 개선은 Shadow(+10.1%p)뿐이고 나머지 둘은 +1.0, +0.7%p로, 본문의 “success rate improves substantially across all target hands”와는 거리가 있다.

One-to-many(부록 Table 12). 한 손으로만 학습해 나머지 셋에 zero-shot 배포한 결과인데, 이 표가 논문에서 가장 정보량이 많다.

Source Target	Allegro	LEAP	Shadow	MANO
Allegro	99.1 / 9.6	55.4 / 1.1	8.7 / 0.1	17.5 / 0.0
LEAP	95.3 / 7.8	99.7 / 9.8	65.8 / 1.8	87.0 / 4.7
Shadow	35.6 / 0.4	59.4 / 1.6	99.3 / 9.6	97.6 / 8.7
MANO	33.0 / 0.4	31.0 / 0.4	36.2 / 0.5	99.8 / 9.9

단일 손 학습은 그 손 특유의 악용을 낳는다. Allegro 정책은 그 손의 독특한 lateral 관절에 크게 의존해 큐브를 돌리는데, 그런 액추에이션이 없는 Shadow에서 8.7%로 사실상 완전히 실패한다. LEAP에는 부분적으로 전이되는데(55.4%), LEAP의 lateral 관절이 손가락을 굽힌 상태에서 비슷한 운동을 만들 수 있기 때문이라고 설명한다.
가동범위가 넓은 손이 더 잘 전이된다. 네 손 중 가동범위가 가장 넓은 LEAP를 소스로 쓸 때 전반적 zero-shot이 가장 좋다(95.3/65.8/87.0). 반대로 MANO 소스는 31~36%로 최악이다.
비대칭이 존재한다. Shadow → MANO는 97.6%인데 MANO → Shadow는 36.2%다. 둘 다 5지인데도 그렇다. 저자들은 “학습 시 기구학적 유연성이 클수록 전이 가능한 행동을 배운다”는 가설을 세우고, 고자유도 손에서 학습할 때 오히려 가동범위/행동 공간을 제한하는 것이 강건성에 도움이 될지를 후속 질문으로 남긴다.

이 표를 부록에 넣어 자기 방법의 약한 면을 그대로 보여 준 것은 평가할 만하다. 동시에 이 표는 본문 Table 1의 zero-shot(leave-one-out, 세 손으로 학습)이 세 손의 다양성 덕에 좋아 보인 것이지 표현 자체가 embodiment 불변성을 보장하지 않는다는 사실을 드러낸다.

실험 4: ablation

# Driving Vectors	1	2	3	4
Success Rate	98.0	98.7	99.5	98.1
# Reorientations	8.8 ±2.6	9.3 ±2.0	9.6 ±1.5	9.1 ±2.4
Training Time (h)	5.3	4.5	6.5	5.5

(Table 4. 학습 시간은 최대 연속 재배향 수의 90%에 도달하는 데 걸린 시간)

3-vector가 성능은 가장 좋지만 2-vector가 거의 대등하면서 학습이 가장 빨라 최종 설정으로 채택됐다. 1-vector는 제어 유연성이 부족해 성능도 낮고 학습도 더 오래 걸린다.

관측점 개수 ablation(부록 Table 9)은 1~4점에서 98.8~99.1%로 사실상 평평하다 — 저자들 표현대로 도메인 랜덤화를 적용하면 이득이 무시할 만해지고, 계산 비용만 늘어난다. 도메인 랜덤화 ablation(부록 Table 11)에서 Shadow만 80.1 → 85.7로 뚜렷하게 개선되고 Allegro는 96.7 → 95.3으로 오히려 떨어진다(LEAP은 95.3 → 95.5로 사실상 동일). 즉 랜덤화의 효과는 “학습 집합과 형태학적으로 먼 손”에 국한된다.

실험 5: 실기, 그리고 남은 격차

실기 롤아웃 예시(Fig. 7). LEAP 손 위에서 큐브를 연속 재배향하는 장면. 위쪽 인셋은 AprilTag 기반 자세 추정의 시각화.

자세 추정(부록 C). 3D 프린팅 큐브의 여섯 면에 각각 서로 다른 tag36h11 AprilTag 4개(총 24개)를 붙이고, Intel RealSense 1~2대가 848\times480 적외선 영상을 60 Hz로 스트리밍한다. 두 번째 카메라는 손에 가려지지 않은 태그 수를 늘리기 위한 것이고, 조명을 밝게 해 노출을 줄여 빠른 재배향 중 모션 블러를 줄였다. 태그는 Hamming 디코딩 값이 0이고 decision margin이 50 이상일 때만 발행하며, 이중 카메라에서는 100 ms 이내 타임스탬프끼리 짝짓는다. 중앙값에서 10 mm 넘게 어긋난 위치나 합의 쿼터니언에서 0.075 rad 넘게 벗어난 방향은 버리고, 나머지를 평균 위치·반구 정렬 쿼터니언 평균으로 융합한다. 태그가 3개 이상 보일 때만 자세를 발행한다.

시스템 식별(부록 D). LEAP 손의 서보는 \text{current}(t)=K_p\Delta\theta(t)-K_d\Delta\dot\theta(t)의 전류 기반 위치 제어를 쓰는데, 이를 시뮬레이터의 암시적 PD 토크 액추에이터에 그대로 옮기면 실제 운동이 재현되지 않았다. 그래서 무작위 목표 위치를 명령하며 K_p,K_d를 바꿔 기록한 관절 위치·속도·전류 궤적으로부터 유효 게인을 역산했다. 결과: 모터는 거의 감쇠가 없는 계처럼 거동하고, 유효 K_p는 제조사 사양과 달라 100 모터 단위당 약 0.0786~\mathrm{Nm/rad}, K_d는 약 0.0014~\mathrm{Nm/(rad/s)}였다. 시리얼 통신 대역폭 제약 때문에 학습·배포 모두 20 Hz 제어 주기를 쓴다. 실기용 모델은 랜덤화 범위를 넓히고(속도 한계 포함) 비대칭 actor-critic(actor는 위치 정보만, critic은 속도까지 포함한 전체 상태)을 채택했다.

결과(Table 5, LEAP 10회 시행 평균 연속 재배향 수).

Method	MEAN
Baseline (Joint Control)	0.6
UHAS (Zero-Shot)	0.9
UHAS (Multi-Hand)	1.1
UHAS (LEAP 전용)	2.0

부록 F.2의 Allegro 결과(Table 13)는 zero-shot 0.8, multi-hand 2.1, Allegro 전용 2.1이다.

Allegro 실기 셋업(Fig. 10). 부록 F.2의 추가 실험.

시뮬 9.8회 → 실기 2.0회. 저자들은 시스템 식별과 도메인 랜덤화에도 불구하고 격차가 크게 남는다고 먼저 인정한다. 부록 D.2가 그 이유를 구체적으로 알려 준다 — 시리얼 통신에서 읽기/쓰기 실패가 잦고(일부 모터 상태는 제조사 API로 끝내 읽히지 않았다), LEAP 손의 구조 부품이 하중에서 변형되어 여러 관절의 가동범위를 소프트웨어로 좁혀야 했으며, 반복 사용으로 손가락이 헐거워져 검지·중지·약지 뿌리 관절을 나사로 더 고정하는 보강 베이스와 엄지 뿌리 전용 부착물을 3D 프린팅해야 했다. 즉 이 실험에서 sim-to-real 격차의 상당 부분은 정책이 아니라 하드웨어·통신에서 온다.

한편 LEAP에서는 multi-hand(1.1)가 LEAP 전용(2.0)보다 나빴는데, 저자들은 “단일 손 학습은 그 손의 작업공간과 기구학을 활용할 수 있는 반면 multi-hand 학습은 모든 손에서 안전한 운동만 배우게 되어 보수적 정책이 된다”고 설명한다. 그럴듯한 해석이지만 Allegro에서는 multi-hand(2.1)가 전용 모델(2.1)과 동률이라 이 설명은 두 실험 전체를 일관되게 덮지 못한다.

비판적으로 보면

강점

통일을 학습이 아니라 기하로 얻는다. 이 설계의 실질적 귀결이 크다. latent 기반 통일(XL-VLA 리뷰)은 각 손의 인코더/디코더를 데이터로 학습해야 하고, 학습에 없던 손은 애초에 표현에 들어올 수 없다. UHAS는 URDF 하나로 새 손이 표현에 편입되고, 사전학습된 multi-hand 정책을 그 손에 즉시 배포할 수 있다. “cross-embodiment”라는 말이 흔히 “학습 집합 안의 embodiment 사이”를 뜻하는 데 반해, 여기서는 진짜로 열린 집합을 향한다.
표현과 역변환이 함께 설계됐다. 통일 표현을 만드는 것보다 어려운 것은 그것을 실시간으로 관절로 되돌리는 일인데, 구면 기하가 관절을 \theta 담당/r,\phi 담당으로 갈라 주는 덕분에 IK가 lookup + 1-D 순차 해로 붕괴한다. 반복 최적화 없이 150 Hz가 나오고, 저자들도 CIK가 병목이 아니었다고 명확히 보고한다.
행동만이 아니라 관측까지 정렬했다. 손가락 사슬 위의 점을 구 좌표계에서 정규화해 관측으로 쓴 결정이 없었다면 단일 정책이 성립하지 않았을 것이다. 이 부분은 제목이 강조하지 않지만 방법의 절반이다.
ablation이 성실하고, 실패도 보고한다. driving vector 개수, 관측점 개수, driving plane 개수, 도메인 랜덤화 네 축을 모두 훑는다. 3-plane은 아예 수렴하지 않았다는 negative result를 적고, 부록 E 말미에서 “4 vs 5 plane 차이가 작은 것은 이 재배향 과제·보상·큐브 위치에 특수한 결과일 수 있으니 다른 과제로 일반화하지 말라”고 스스로 제한한다.
자기 방법의 약한 면을 부록에 그대로 놓았다. one-to-many 표(Table 12)의 8.7%, 31~36% 같은 수치는 감춰도 됐을 것이다. Allegro 정책이 lateral 관절을 악용한다는 실패 기전 분석과 “고자유도 손에서는 행동 공간을 오히려 제한해야 할지 모른다”는 후속 질문은 이 논문에서 가장 값진 관찰에 속한다.
재현 경로가 실제로 열려 있다. Isaac Lab 환경, 네 손의 URDF/USD와 sphere_cik.json, 학습·평가 스크립트, URDF 처리 파이프라인, “당신의 손 추가하기” 문서가 Apache-2.0으로 공개됐고, 사전학습 multi-hand 정책도 배포된다. 논문의 핵심 주장(“임의의 손에 zero-shot”)을 독자가 직접 검증할 수 있는 형태다.

약점·한계

Table 3의 zero-shot 기준선이 캡션·본문과 어긋난다. 캡션과 §4.2는 “MANO만으로 학습한 정책에서 출발해 500 iter 파인튜닝”이라고 쓰는데, 그 표의 Zero-shot 열 값(95.3/7.7±3.4, 95.5/7.7±3.5, 85.7/4.4±3.7)은 Table 1의 leave-one-out zero-shot 열과 소수점·표준편차까지 완전히 동일하다. 반면 부록 Table 12의 MANO 소스 행은 33.0/0.4, 31.0/0.4, 36.2/0.5로 전혀 다르다. 두 값 중 어느 쪽이 진짜 출발점인지에 따라 해석이 크게 달라진다 — 만약 정말 MANO-only 정책에서 출발했다면 개선은 33.0 → 96.3처럼 극적일 것이고, 표에 적힌 대로라면 출발점은 MANO-only가 아니라 세 손 leave-one-out 정책이다. 그리고 표에 적힌 수치대로 읽으면 본문의 “success rate improves substantially across all target hands”는 Shadow(+10.1%p)를 빼면 +1.0%p, +0.7%p에 불과해 성립하지 않는다. 결과 자체를 무너뜨리는 오류는 아니지만 파인튜닝 절의 주장이 어느 수치 위에 서 있는지 독자가 판정할 수 없다.
본문 상호참조 오류. §4.2의 “Cross-Morphology Generalization” 문단이 Table 3을 가리키지만 내용상 Table 2다(바로 다음 “Finetuning” 문단도 Table 3을 가리킨다). 표를 읽을 때 주의가 필요하다.
베이스라인이 하나뿐이고, 결정적 대조가 빠졌다. Joint Control은 같은 PPO·같은 보상으로 관절 위치를 직접 내는 정책이며 관측도 관절 위치·속도로 다르다. 즉 이 비교는 행동 공간과 관측 공간의 효과가 섞여 있다. 더 중요한 것은, UHAS의 주장이 “single-hand 성능”이 아니라 “하나의 정책으로 여러 손”인데 정작 multi-hand 관절 제어 대조군이 없다는 점이다. 최대 DoF에 zero padding하고 hand-ID를 조건으로 주는 단순한 baseline이 얼마나 하는지 모른 채로는, 구 변형이라는 정교한 표현이 실제로 필요한지 판정할 수 없다. latent 통일이나 정준 관절 공간 같은 기존 대안과의 비교도 없다.
과제가 하나다. 평가 전부가 in-hand 큐브 재배향이다. 구 변형은 물체를 감싸는 조작에 자연스러운 은유지만, 정밀 핀치, 도구 파지, 손가락 하나만 쓰는 접촉, 표면 위 pushing 등은 이 표현으로 어떻게 쓰이는지 전혀 검증되지 않았다. 저자들도 부록 E에서 plane 개수 결론의 과제 특수성을 인정한다.
표현이 손가락 개수에서 완전히 자유롭지 않다. “구는 손가락을 세지 않는다”가 이 표현의 매력인데, 실제 구현에서는 driving plane을 손가락마다 하나씩 붙이고 4지 손에는 약지 plane을 복제해 평균 낸다. 그 결과 5지↔︎4지 전이가 66.2~83.2%로 무너진다. 즉 표현의 embodiment 불변성은 “손가락 개수가 같을 때”라는 조건부다. 또한 \Delta\phi를 버렸으므로 손가락이 극각 방향으로 움직이는 자유도는 encompassing 관절의 종속 결과로만 나타난다.
엄지의 특수성이 다뤄지지 않는다. 모든 손가락을 대칭적인 driving plane으로 처리하지만 엄지는 대향(opposition) 방향과 기구학이 근본적으로 다르다. Fig. 9를 보면 엄지에도 다른 손가락과 같은 방식의 관측점이 붙어 있는데, 이 균질화가 재배향 과제에서 왜 문제가 되지 않았는지에 대한 논의가 없다.
CIK의 근사 오차가 측정되지 않았다. CIK는 근사 해다 — lateral은 이산 lookup, encompassing은 근위→원위 1-D 순차 해라 전역 최적이 아니다. 그런데 “목표 변형 구와 실제 도달한 손 표면 사이의 잔차”가 손별로 얼마인지 한 번도 보고되지 않는다. 이 잔차의 손별 차이가 zero-shot 성능 차(Shadow 85.7 vs MANO 98.1)를 설명하는지 여부는 이 방법의 작동 원리를 이해하는 데 핵심인데 비어 있다. 반경이 음수인 점을 버리고 도달 대상이 없는 관절을 완전 폐쇄로 명령하는 처리도 상당히 거친 근사인데, 그 발동 빈도조차 보고되지 않는다.
“랜덤화가 일관되게 개선한다”는 서술이 표와 어긋난다. 부록 E는 “Randomization during training consistently improves zero-shot transfer”라고 쓰지만 Table 11에서 Allegro는 96.7 → 95.3으로 떨어지고 LEAP은 95.3 → 95.5로 사실상 동일하다. 실질적 개선은 Shadow(80.1 → 85.7)와 MANO(97.1 → 98.1)뿐이다. 바로 다음 문장의 “형태학적 차이가 큰 손에서 특히”라는 단서가 실제 내용에 가까우므로, “consistently”가 과한 표현이다.
실기 표본이 작고 통계가 없다. 방법당 10회 시행, 값은 정수 카운트, 신뢰구간이나 분산 표기가 전혀 없다. LEAP에서 UHAS zero-shot 0.9 vs 베이스라인 0.6은 각각 시행의 절반 이상이 0인 분포에서 나온 평균이라 사실상 구분되지 않는다(zero-shot은 10회 중 6회가 0, 베이스라인은 6회가 0). “모든 UHAS 변형이 베이스라인을 앞선다”는 주장에서 실제로 표본 크기를 견디는 것은 LEAP 전용(2.0) 정도다.
multi-hand의 실기 열세에 대한 설명이 두 실험을 함께 설명하지 못한다. LEAP에서 multi-hand(1.1) < 전용(2.0)을 “여러 손에서 안전한 운동만 배워 보수적”이라고 해석했지만, Allegro에서는 multi-hand(2.1) = 전용(2.1)이다. 부록 결과가 본문 해석과 어긋나는데 이 불일치를 다루지 않는다.
구 생성 휴리스틱의 적용 범위가 미검증. r=2l/\pi, 손바닥 중심 = 손가락 뿌리 평균, x축 = 중지 방향 같은 규칙은 모두 사람 손을 닮은 4지/5지 손을 전제한다. 3지 손, 언더액추에이션 손, 마주보는 그리퍼, 비대칭 손에서 이 구성이 의미 있는 구를 만드는지는 다루지 않는다.
실기 코드 경로는 아직 닫혀 있다. 시뮬 저장소는 잘 정리돼 공개됐지만, README가 가리키는 실기 저장소(IRVLUTD/UHAS_rw)는 2026-07 기준 존재하지 않고(404), 사전학습 모델도 저장소가 아닌 외부 Box 링크로 배포된다. LEAP 손 보강 베이스와 엄지 부착물은 “논문과 함께 공개 예정”이라고 적혀 있다. 시뮬 재현은 가능하지만 sim-to-real 재현은 현재로선 어렵다.

요약

UHAS의 기여는 세 문장으로 압축된다. (1) 로봇 손의 행동을 관절이 아니라 손 앞에 놓인 정준 구의 변형 (\Delta\theta,\Delta r)으로 정의하면 — URDF만으로 자동 구성되고 손 크기·손가락 개수에 대체로 무관한 — 15차원 공유 행동 공간이 얻어진다. (2) 이 표현의 기하가 관절을 lateral/encompassing으로 갈라 주므로, 반복 최적화 없이 lookup + 1-D 순차 해로 150 Hz 역변환(CIK)이 가능하다. (3) 그 결과 네 이종 손(Allegro·LEAP·Shadow·MANO)을 단일 정책으로 98.7~99.5% 성공률에 학습시킬 수 있고, 학습에 없던 손으로도 85.7~98.1%의 zero-shot 전이와 500 iter 파인튜닝 회복이 가능하다.

한계도 선명하다. 시뮬 단일 손에서 관절 제어 대비 이득은 1%p 안팎이라 이 표현의 가치는 오직 다중 손에서 나오는데, 정작 multi-hand 관절 제어 대조군이 없어 “구가 필요한가”라는 질문이 열려 있다. 5지↔︎4지 전이는 66~83%로 무너지고, 그 원인이 표현의 plane–손가락 결합에 있음을 논문 자신의 ablation이 시사한다. 실기는 연속 재배향 평균 2.0회로 시뮬(9.8회)과 크게 벌어져 있으며, 부록을 보면 그 격차의 큰 몫이 통신 신뢰성과 하드웨어 변형에서 온다. CIK의 근사 오차는 한 번도 측정되지 않았고, 파인튜닝 표의 기준선과 도메인 랜덤화 서술은 표 안 수치와 어긋난다.

그럼에도 “cross-embodiment를 데이터로 배우지 말고 좌표계로 정의하자”는 이 논문의 태도는 분명한 가치가 있다. 특히 새 손을 붙이는 데 데이터가 0이라는 성질은 latent 기반 접근이 구조적으로 줄 수 없는 것이고, 그것을 코드와 사전학습 정책과 “당신의 손 추가하기” 문서로 뒷받침해 검증 가능하게 만든 점도 그렇다. dexterous 로봇 파운데이션 모델이 그리퍼를 넘어가려면 언젠가는 풀어야 할 문제에 대해, 이 논문은 “기하로 풀린다”는 가설을 최소한 하나의 과제에서 성립시켰다.