📃NestDex 리뷰

dexterity

teleop

latent-action

skill-library

NestDex: Nested Policy Learning with Copilot Assisted Teleoperation for Dexterous Manipulation

Published

October 17, 2026

Paper Link (arXiv:2608.13362): v1(2026-08-13) 기준으로 읽었다. 9쪽, 그림 11장, 표 3개이고 부록은 없다.
Project: 상단 하이라이트 영상(68초), 5개 과제의 자율 롤아웃·copilot 수집 데모 영상, Fig. 9·10을 창 구간을 바꿔 다시 그려 보는 인터랙티브 플롯이 있다.
코드 공개 없음(2026-10-19 확인): arXiv 본문·HTML과 프로젝트 페이지(React 번들 전체를 grep)에 저장소 링크가 없다. 외부 링크는 arXiv abs와 BibTeX뿐이다. 체크포인트·데이터셋 공개 언급도 없다.
James Zhao†, Jinhe Tang†, Mingyuan Ba, Weiming Zhi (†공동 1저자)
The University of Sydney (School of Computer Science, Australian Centre for Robotics), Vanderbilt University. arXiv preprint, 2026 (게재지 표기 없음)

💡 다지 손 원격조작이 어려운 이유는 조작자가 팔 궤적과 손가락 20개 관절을 동시에 지정해야 하기 때문이다. NestDex는 손가락 동작을 미리 학습한 손 스킬(inner policy)에 맡기고, 조작자는 팔과 1-DoF 클러치 하나로 그 스킬의 진행도만 조절하게 한다.
⚙️ inner policy는 손 관절 위치·토크 이력 30스텝만 보고 다음 30스텝 손 명령을 내는 Transformer이고, VLM이 손목 카메라 영상을 보고 단계별로 어떤 스킬을 쓸지 고른다. 이렇게 모은 완주 데모로 손목 카메라 기반 outer visuomotor policy를 학습하며, 손 액션은 20차원 → 10차원 H-VAE 잠재로 압축한다. 배포 때는 inner policy도 VLM도 쓰지 않는다.
🎯 같은 하드웨어의 AnyTeleop 대비 6개 과제 모두에서 데모 수집 성공률 100%(AnyTeleop 0~75%), 성공 데모당 시간 1.3~3.4배 단축. 수집한 데이터로 학습한 outer policy는 H-VAE를 쓰면 4개 단일 팔 과제에서 75~100% 성공했다(20회 롤아웃).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

평행 그리퍼의 손 제어는 “얼마나 벌릴까” 하나다. 다지 손은 접촉을 만들고 유지하고 고치려면 관절 여러 개가 함께 움직여야 하고, 조작자는 그 와중에 팔도 움직여 과제를 진행시켜야 한다. 기존 다지 원격조작 시스템(장갑, 카메라 기반 리타게팅)은 손에 대한 표현력을 늘리는 쪽으로 발전했지만, 팔과 손을 한 사람이 동시에 지정해야 한다는 구조는 그대로다.

NestDex는 분업을 바꾼다. 조작자는 리더 팔로 팔을 직접 움직이고, 손은 미리 학습한 손 스킬(inner policy)이 움직인다. 조작자에게 남는 손 관련 입력은 1-DoF 클러치 하나로, 현재 스킬을 얼마나 진행시킬지(앞으로, 멈춤, 되감기)만 정한다. 어떤 스킬을 쓸지는 VLM이 손목 카메라 영상을 보고 고른다. 이렇게 “부조종사(copilot)”의 도움으로 모은 완주 데모로 별도의 outer visuomotor policy를 학습하고, 배포 때는 outer policy 혼자 팔과 손을 모두 제어한다. 정책 안에 정책이 들어 있는(nested) 구조라서 이름이 NestDex다.

개요(Fig. 1). 위 왼쪽: outer policy의 자율 롤아웃(Tongs Transfer, Dual-Object Transfer). 위 오른쪽: 하나의 inner policy가 여러 물체에 서로 다른 손 형태를 만든다. 아래: copilot 보조로 수집하는 양팔 과제(Binder Filing, Toast Preparation).

프로젝트 페이지 상단 하이라이트 영상(68초, 원 URL 링크). Tongs Transfer, Bottle Disposal, Toast Preparation, Binder Filing 장면이 이어진다.

핵심 방법론:

클러치 입력 c_t를 스킬 진행도 p_t\in[0,1]로 정규화하고, 이를 inner policy가 만든 손 궤적의 목표 인덱스 s^{\text{in}}_t로 바꾼다. 실제 실행 인덱스 r^{\text{in}}_t는 한 제어 주기에 최대 한 칸씩만 따라간다.

p_t=\mathrm{clip}\!\left(\frac{c_t-c_{\text{start}}}{c_{\text{end}}-c_{\text{start}}},0,1\right),\qquad s^{\text{in}}_t=\lfloor p_t(T_{\max}-1)\rfloor,\qquad r^{\text{in}}_{t+1}=r^{\text{in}}_t+\mathrm{clip}(s^{\text{in}}_t-r^{\text{in}}_t,-1,1)

인덱스가 한 칸 늘 때마다 inner policy를 최신 손 관절 위치·토크 이력으로 다시 질의하므로, 손 동작은 고정 궤적 재생이 아니라 접촉에 따라 바뀐다. 한 칸 줄면 버퍼에 쌓인 직전 명령으로 되돌아간다(되감기). outer policy의 액션은 팔 관절 명령과 손 명령의 H-VAE 잠재(인코더 평균)를 이어 붙인 것이다.

\mathbf{a}_k=[\mathbf{a}^{\text{arm}}_k,\ \mathbf{z}_k],\qquad \mathbf{z}_k=\boldsymbol{\mu}_\phi(\mathbf{a}^{\text{hand}}_k)\in\mathbb{R}^{10}

주요 결과:

데모 수집(Table II, 과제당 20회 시도): copilot은 6개 과제 모두 100% 성공. AnyTeleop은 Bottle Disposal 50%, Dual-Object Transfer 30%, Ingredient and Pot Transfer 75%, Tongs Transfer와 양팔 과제 2개는 0%.
성공 데모당 시간: 비교 가능한 3개 과제에서 copilot이 41.37 s vs 88.88 s, 36.19 s vs 121.63 s, 43.26 s vs 55.29 s. copilot 쪽 시간에는 inner policy 학습용 데모 10개 수집 비용이 상각돼 들어가 있다.
outer policy(Table III, 20회 롤아웃): copilot 데이터 + H-VAE가 Tongs 100%, Bottle 75%, Dual-Object 90%, Ingredient and Pot 100%. H-VAE를 빼면 65/60/80/85%, AnyTeleop 데이터(H-VAE 없음)는 N/A/40/20/75%.
inner policy 실행 방식(Q4, 물병 잡기 조건당 10회): 고정 명령 재생 3/10, 폐루프·앙상블 없음 7/10, 폐루프·temporal ensemble 9/10. 앙상블이 없으면 실행 명령의 P95 jerk가 2.30배(p=1.8\times10^{-4}).

결론:

새로운 것은 개별 부품(AnyTeleop식 리타게팅, ACT식 action chunk와 temporal ensembling, VAE)이 아니라 “학습된 손 스킬은 데이터 수집 도구이고 최종 정책의 부품이 아니다”라는 배치다. 손 스킬이 데모의 손 궤적을 일관되게 만들어 주고, 최종 정책은 그 데모만으로 팔과 손을 함께 배운다. 다만 평가는 조작자 1명, 과제당 20회 규모이고, 양팔 과제는 수집만 하고 자율 정책을 평가하지 않았으며, VLM 선택기는 모델 이름조차 밝히지 않은 채 정성 사례로만 보였다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

다지 손 데모의 병목이 “조작자가 손가락을 잘 지정하지 못한다”라면, 손가락을 지정하는 일 자체를 조작자에게서 빼면 된다. NestDex는 손가락 동작을 짧은 손 스킬 정책에 위임하고 조작자에게는 팔과 “스킬을 얼마나 진행시킬지”를 조절하는 다이얼 하나만 남긴다. 그 결과 데모의 손 궤적은 사람 손떨림이나 리타게팅 오차가 아니라 학습된 스킬이 만든 일관된 궤적이 되고, 이것이 최종 정책 학습을 쉽게 만든다는 것이 논문의 주장이다. 핵심 질문은 이 “쉬워짐”이 무엇의 대가인가인데, 데이터의 손 동작 다양성이 inner policy가 아는 범위로 묶인다는 점이 그 대가다. 이 부분은 비판 절에서 다시 다룬다.

배경: 왜 다지 손 데모가 어려운가 (§I·§II)

저자들이 정리하는 기존 다지 데모 수집은 대부분 사람 손 동작을 로봇 손으로 옮긴다. 모션캡처 장갑(DexCap, DOGlove 등)이나 카메라 기반 손 자세 추정(AnyTeleop, DexPilot, Robotic Telekinesis)이 그 예다. 장갑은 섬세하지만 추가 장비가 필요하고, 어느 쪽이든 조작자가 데모 내내 팔과 손을 모두 지정한다.

다른 갈래는 공유 자율(shared autonomy)이다. 학습된 정책이 손을 맡고 사람이 팔을 맡는다. 논문이 직접 인용하는 선행 사례가 Cui et al.의 DexGrasp-VLA(VR로 팔을 조종하고 손은 자율 VLA가 잡는다)이다. NestDex는 이 분업을 그대로 쓰되 두 가지를 바꾼다. (1) 손 정책을 하나가 아니라 스킬 라이브러리로 두고 VLM이 단계별로 고른다. (2) 조작자가 클러치로 스킬 진행을 되감을 수 있다.

계층적 스킬 학습 관점에서 보면, 상위 정책이 하위 스킬을 고르는 구조(option framework, 스킬 사전, SayCan류 언어모델 선택)는 흔하다. 저자들이 강조하는 차이는 선택기와 스킬이 배포 시스템에 남지 않는다는 점이다. 스킬은 데이터를 만드는 데만 쓰이고, 최종 정책은 단일 visuomotor 정책이다. 이 점이 MoDE-VLA의 IMCopilot과 갈린다. IMCopilot은 수집 때는 조작자를 돕고 배포 때는 VLA가 호출하는 프리미티브로 다시 쓰인다.

잠재 액션 표현 쪽에서는 RL의 탐색 공간 축소(PLAS, LASER, VQ-ACE)와 모방학습의 다봉 행동 모델링(Behavior Transformers, VQ-BeT)이 있다. NestDex는 VAE를 손 명령에만 쓰고 팔 명령은 관절 공간 그대로 둔다.

준비: action chunk와 temporal ensembling (§III)

inner·outer 정책 모두 ACT(Zhao et al., 2023)의 action chunk 정식화를 따른다. 시각 관측 \mathbf{v}_t와 상태 \mathbf{s}_t를 받아 H스텝 묶음을 한 번에 예측한다.

\hat{\mathbf{A}}_t=\pi_\theta(\mathbf{v}_t,\mathbf{s}_t)=[\hat{\mathbf{a}}_{t+1|t},\dots,\hat{\mathbf{a}}_{t+H|t}] \tag{1}

고유감각만 쓰는 정책이면 입력이 \mathbf{o}^{\text{prop}}_t=[\mathbf{s}_{t-h+1},\dots,\mathbf{s}_t]로 바뀐다. 매 스텝 질의하면 같은 실행 시각 t에 대한 예측이 여러 개 쌓인다(집합 \mathcal{P}_t, 오래된 것부터 인덱스 i=0,1,\dots). 이를 지수 가중 평균한다.

\mathbf{a}^{\text{exec}}_t=\frac{\sum_{i}w_i\,\mathcal{P}_t[i]}{\sum_i w_i},\qquad w_i=\exp(-m i) \tag{2}

i=0이 가장 오래된 예측이므로 가중치는 오래된 예측일수록 크다. 논문 설명대로 m이 작을수록 최근 예측의 상대 가중이 커진다. 이 규칙은 ACT 원문과 같고, 논문은 m 값을 보고하지 않는다.

방법 상세 (§IV)

시스템 개요(Fig. 2 왼쪽). 리타게팅한 손 스킬 시연으로 inner policy 라이브러리 \pi_0,\dots,\pi_n을 학습하고, VLM이 환경 영상을 보고 단계별 스킬을 고른다. 아래 줄: 손은 클러치로 되감을 수 있는 스킬 실행, 팔은 직접 원격조작. 이렇게 모은 완주 데모가 outer policy 학습 데이터가 된다.

하드웨어(§IV 도입, §V). 리더-팔로워 구성이다. 각 팔-손 쌍마다 리더 쪽에 7-DoF Piper Nero 팔과 1-DoF 클러치, 팔로워 쪽에 같은 7-DoF 팔, 20-DoF 5지 WujiHand I, 손목 카메라가 있다. 리더 팔 관절각이 팔로워 팔 명령으로 직접 매핑된다. 팔로워 손 상태는 20차원 관절 위치 + 20차원 관절 토크(effort), 팔 상태는 7차원 위치 + 7차원 토크다. 양팔 과제에서는 두 쌍이 각자 inner policy를 독립적으로 돌린다. inner policy 실행 주기는 100 Hz다. 클러치의 물리적 형태(트리거인지 다이얼인지)와 카메라 모델은 본문에 없다. Fig. 2의 사진으로는 손에 쥐는 트리거형 장치로 보인다.

A. Inner policy: 손 스킬 시연과 학습

스킬 시연 수집. 여러 대의 보정된 카메라로 사람 손 키포인트를 삼각측량해 3D 손 자세를 복원한다(단일 시점의 깊이 모호성과 손가락 가림을 줄이려는 목적). 그다음 AnyTeleop의 벡터 기반 리타게팅을 쓰되 제곱 잔차를 Huber 손실로 바꾼다.

\mathbf{q}^*_t=\arg\min_{\mathbf{q}_{\min}\le\mathbf{q}\le\mathbf{q}_{\max}}\ \sum_{i=1}^{M}\rho_\delta\!\left(\big\|\alpha\mathbf{v}^h_{i,t}-\mathbf{v}^r_i(\mathbf{q})\big\|_2\right)+\beta\big\|\mathbf{q}-\mathbf{q}^*_{t-1}\big\|_2^2 \tag{3}

\mathbf{v}^h_{i,t}는 사람 손 랜드마크로 만든 벡터, \mathbf{v}^r_i(\mathbf{q})는 정기구학으로 계산한 로봇 손 벡터, \alpha는 손 크기 보정, \beta는 시간 평활화 항이다. Huber 손실은 큰 매칭 오차(랜드마크 오검출)의 영향을 선형으로 묶는다. 카메라 대수, \delta,\alpha,\beta, 벡터 대응 수 M은 보고되지 않는다.

손 스킬 시연 수집(Fig. 2 오른쪽). 두 시점의 사람 손 키포인트(왼쪽 두 열)를 삼각측량해 로봇 손 관절로 리타게팅하고(셋째 열), 실제 손으로 실행한다(넷째 열).

중요한 점은 inner policy의 학습 데이터가 사람 손 자세가 아니라 리타게팅 실행 중 기록한 팔로워 손의 실제 관절 위치 \mathbf{q}_{n,t}와 토크 \mathbf{e}_{n,t}라는 것이다. 즉 물체와 접촉했을 때 손에 걸린 토크가 데이터에 들어간다. 한 스킬의 시연 N개가 \mathcal{D}_{\text{in}}이 된다.

학습. 손 상태 \mathbf{x}_{n,t}=[\mathbf{q}_{n,t},\mathbf{e}_{n,t}]의 최근 h개를 입력으로, 이후 H_{\text{in}}개 관절 위치를 출력으로 하는 슬라이딩 윈도우 샘플을 만든다.

\mathbf{o}_{n,t}=[\mathbf{x}_{n,t-h+1},\dots,\mathbf{x}_{n,t}],\qquad \mathbf{A}_{n,t}=[\mathbf{q}_{n,t+1},\dots,\mathbf{q}_{n,t+H_{\text{in}}}] \tag{4}

스킬마다 정책 하나를 학습한다. 실험 설정은 h=H_{\text{in}}=30, 시연 10개, 고유감각 전용 Transformer(인코더 4층, 디코더 1층), AdamW 20,000 스텝, 배치 256, 학습률 10^{-5}다. 100 Hz 기준이면 30스텝은 0.3초인데, 데이터 기록 주기가 실행 주기와 같은지는 본문에 명시되지 않았다.

한 grasp inner policy가 학습에 쓴 네 물체에서 만든 서로 다른 접촉 형태(Fig. 3). (a) 초록 파 장난감, (b) 물병, (c) 무 장난감, (d) 종이컵. 정책 입력은 손 관절 위치와 토크뿐이고 물체 영상이나 정체는 받지 않는다.

grasp 스킬의 시연은 Fig. 3의 네 물체로 모았다. 본문은 이를 “green scallion toy, water bottle, rounded object, and paper cup”이라 쓰고 캡션은 (c)를 “radish toy”라 쓴다. 같은 물체를 두 이름으로 부른 것이다. 스킬당 시연이 10개이니 물체당 2~3개꼴이다(물체별 배분은 미기재).

B. Copilot 원격조작: 클러치와 VLM 선택기

Copilot 원격조작 시퀀스(Fig. 4, PDF에서 크롭). 테두리 색과 라벨이 활성 inner policy, SWITCH 표시는 직전 정책이 실행 인덱스 0으로 되감긴 뒤의 자동 재선택이다. (a) Toast Preparation: Tongs Grasp → Button Press → Plate Grasp → Tongs Grasp. (b) Binder Filing: Paper Pinch → Hole-Punch Press → Paper Pinch → Binder Closure.

클러치 → 실행 인덱스. 스킬의 시간 길이는 그 스킬 시연 중 가장 긴 것으로 정한다.

T_{\max}=\max_{\tau_n\in\mathcal{D}_{\text{in}}}T_n \tag{5}

모든 시연이 성공 실행이므로 가장 긴 길이를 쓰면 스킬이 끝나기 전에 잘리지 않는다. 클러치 값의 시작·끝을 c_{\text{start}},c_{\text{end}}로 두고 Ping의 식 (6)·(7)로 목표 인덱스 s^{\text{in}}_t를 정한다. 실행 인덱스는 식 (8)처럼 한 주기에 ±1까지만 움직인다.

+1: 최신 고유감각 이력으로 inner policy를 질의하고, 식 (2)로 앙상블한 다음 명령을 실행하고 손 궤적 버퍼에 붙인다. 그래서 이후 명령은 접촉이 만든 상태 변화를 반영한다.
−1: 버퍼의 직전 명령을 실행하고 버려진 명령은 지운다.
0: 현재 자세 유지.

되감을 때는 누적된 앙상블 예측을 지우고 궤적 버퍼는 남긴다. 버려진 롤아웃의 예측이 다시 전진할 때 섞이지 않게 하려는 처리다. ±1 제한은 명령을 건너뛰지 않게 하고, 끝 인덱스는 T_{\max}-1로 묶인다.

여기서 클러치의 의미가 분명해진다. 클러치 위치는 손 관절 자세를 직접 지정하는 것이 아니라 “이 스킬의 시간축을 어디까지 진행시킬지”를 지정한다. 앞으로 갈 때는 폐루프로 새로 생성하고, 뒤로 갈 때는 이미 실행한 궤적을 되짚는다. 비대칭이다.

VLM 선택기. 사전학습 VLM이 손목 카메라 영상과 “번호 붙은 스킬 설명 목록”을 받아 정책 번호를 돌려준다. 선택은 시작 시점과 조작자가 현재 스킬을 r^{\text{in}}_t=0까지 완전히 되감았을 때만 일어난다. 따라서 스킬 실행 도중에는 바뀌지 않는다. 선택 후 손은 새 스킬의 시작 자세로 이동하고 버퍼를 새로 연다. 어떤 VLM을 썼는지, 프롬프트 전문, 질의 지연, 오선택 시 조작자가 덮어쓸 수 있는지는 본문에 없다.

Toast Preparation copilot 수집 데모 1번(프로젝트 페이지, 352.8초 원본). 양팔이 집게로 토스트를 토스터에 넣고, 버튼을 누르고, 접시를 놓고, 데운 토스트를 접시로 옮긴다. Table II의 성공 데모당 평균 327.46 s와 같은 규모다.

C. Outer policy: H-VAE와 visuomotor 정책

손 액션 압축과 outer policy(Fig. 5). (a) H-VAE가 20-DoF 손 명령을 잠재로 인코딩하고 디코더로 복원한다. 정책 타깃은 인코더 평균 \boldsymbol{\mu}_\phi다. (b) outer policy가 팔 명령과 손 잠재로 된 H스텝 묶음을 예측하고, 배포 때 디코더가 손 잠재를 관절 명령으로 되돌린다.

완주 데모 하나에는 영상, 팔·손 관절 위치와 토크, 팔·손 관절 위치 명령이 동기화돼 있다. 각 팔-손 쌍마다 손목 카메라 영상 \mathbf{v}_t, 상태 \mathbf{s}_t, 명령 \mathbf{a}^{\text{arm}}_t,\mathbf{a}^{\text{hand}}_t가 있다.

H-VAE. 손 명령만 VAE로 인코딩하고 팔 명령은 그대로 둔다. 원 VAE 논문 설정대로 재구성 손실 + KL 정규화, 재매개변수화로 학습하고, 학습 후에는 샘플링 잡음을 피하려고 인코더 평균을 타깃으로 쓴다.

\mathbf{a}_k=[\mathbf{a}^{\text{arm}}_k,\mathbf{z}_k],\quad \mathbf{z}_k=\boldsymbol{\mu}_\phi(\mathbf{a}^{\text{hand}}_k),\qquad \mathbf{A}_t=[\mathbf{a}_{t+1},\dots,\mathbf{a}_{t+H}] \tag{9}

설정은 은닉층 [128, 64], 표준화한 20차원 손 명령 → 10차원 잠재, 100 epoch, 배치 512, 학습률 10^{-3}이고 과제마다 따로 학습한다(§V-B). KL 가중치와 재구성 오차는 보고되지 않는다.

Outer policy. 식 (1)의 형태로 (\mathbf{v}_t,\mathbf{s}_t)\mapsto\mathbf{A}_t를 행동 복제로 학습한다.

\mathcal{L}_{\text{BC}}(\theta)=\mathbb{E}_{\mathcal{D}_{\text{out}}}\big[\ell(\pi_\theta(\mathbf{v}_t,\mathbf{s}_t),\mathbf{A}_t)\big] \tag{10}

구조는 visuomotor Transformer(인코더 4층, 디코더 1층), 시각 임베딩은 LVD-1689M으로 사전학습한 DINOv3, 입력 256×256 RGB, 100스텝 action chunk, AdamW 50,000 스텝, 배치 8, 학습률 10^{-5}다. 손실 \ell의 구체 형태(L1인지 L2인지), outer policy의 제어 주기는 적혀 있지 않다. 추론 때는 매 스텝 질의하고 식 (2)로 앙상블한 뒤 팔 명령은 그대로, 손 잠재는 디코더를 거쳐 보낸다.

원문 표기에 관해. Fig. 5에는 사소한 불일치가 두 개 있다. (a)의 복원 블록이 “VAE encoder D_\theta”로 적혀 있는데 같은 그림 (b)와 캡션은 이를 디코더라 부른다. 또 그림의 묶음은 \mathbf{A}^{\text{VAE}}_t=[\mathbf{a}_t,\dots,\mathbf{a}_{t+H-1}]인데 식 (9)는 [\mathbf{a}_{t+1},\dots,\mathbf{a}_{t+H}]다. 디코더 파라미터를 정책과 같은 \theta로 쓴 것도 기호 충돌이다. 방법 이해를 바꾸는 수준은 아니다.

직관: 클러치는 “손 자세”가 아니라 “스킬 시계”를 쥐여 준다

카메라 리타게팅에서 조작자의 손은 로봇 손 20개 관절의 목표를 매 순간 직접 만든다. 손가락 하나의 오차, 가림, 손 크기 차이가 바로 명령 오차가 된다. NestDex에서 조작자가 만드는 손 관련 신호는 스칼라 하나이고, 그 의미도 “이 스킬을 얼마나 진행시킬까”다. 접촉 순간 손가락을 어떻게 오므릴지는 inner policy가 토크 이력을 보고 정한다.

이 설계가 데이터 품질에 주는 효과는 두 가지다. 첫째, 같은 스킬은 매번 비슷한 손 궤적을 만든다. 데모 20개 사이 손 동작의 분산이 사람 손 리타게팅보다 작고, outer policy가 맞춰야 할 손 분포가 단순해진다. 둘째, 실패를 되돌릴 수 있다. 잡기가 어긋나면 클러치를 되감아 손을 펴고 팔 위치를 고친 뒤 다시 진행시킨다. 사람 손 리타게팅에서는 이 복구가 그냥 “손을 다시 움직이는 것”이라 데모에 흔들림으로 남는다.

반대로 이 구조가 데이터에서 지우는 것도 있다. 손 동작은 inner policy가 학습한 스킬들의 조합으로 제한된다. 조작자가 원하는 새 손가락 동작(예: 손 안에서 물체 돌리기)이 라이브러리에 없으면 데모에도 나올 수 없다. outer policy가 쉬워지는 이유와 표현력이 줄어드는 이유가 같은 곳에 있다.

실험 (§V)

평가 질문은 여섯 개다. Q1 데모 수집 비용과 신뢰성, Q2 copilot 데모로 자율 정책을 학습할 수 있는가, Q3 H-VAE의 효과, Q4 온라인 실행과 temporal ensembling, Q5 학습 물체별 행동 차이, Q6 스킬 선택과 재사용.

과제와 평가 규약

과제	모드	내용(Table I)
Tongs Transfer	단일 팔	집게를 꺼내 나무 당근을 집어 팬에 넣는다
Bottle Disposal	단일 팔	쓰레기통 뚜껑을 열고 빈 페트병을 넣는다
Dual-Object Transfer	단일 팔	숫자 블록 두 개를 동시에 잡아 통에 넣는다
Ingredient and Pot Transfer	단일 팔	나무 파를 냄비에 넣고 냄비를 목표 위치로 옮긴다
Toast Preparation	양팔	집게로 토스트를 토스터에 넣고, 버튼을 누르고, 접시를 놓고, 데운 토스트를 접시에 옮긴다
Binder Filing	양팔	거치대에서 종이를 빼 펀치로 뚫고 파란 링 바인더에 끼운 뒤 링을 닫는다

성공은 Table I 설명의 모든 단계를 끝냈을 때만 인정한다. 성공 데모당 시간은 (성공·실패 시도 전체 시간) ÷ (성공 데모 수)이고, NestDex는 여기에 각 과제가 쓰는 inner policy 학습용 시연 10개의 수집 시간을 상각해 더한다. 성공이 0이면 정의되지 않는다(N/A). Q1은 방법마다 20회 시도, Q2는 성공 데모 20개가 모일 때까지 계속 수집해 outer policy를 학습한 뒤 20회 롤아웃한다. 같은 조작자가 두 인터페이스에 익숙해진 뒤 두 조건을 모두 수행했고 시도 사이 물체는 같은 초기 배치로 되돌렸다.

AnyTeleop 베이스라인(Fig. 8). 조작자가 리더 팔을 움직이면서 리더 팔에 달린 관찰 카메라에 손을 보여 주고(왼쪽), AnyTeleop이 그 손 자세를 팔로워 손으로 옮긴다(오른쪽).

베이스라인은 같은 리더-팔로워 장비에서 손 제어만 AnyTeleop 리타게팅으로 바꾼 것이다. 저자들은 이것이 하드웨어·기구학 교란을 없앤다고 강조한다. 이 설계는 공정하지만, 동시에 AnyTeleop을 원래 쓰임(카메라 앞 맨손으로 팔과 손을 모두 조종)이 아닌 “리더 팔 + 팔에 달린 카메라” 형태로 이식한 것이라는 점은 짚어 둘 만하다. 조작자는 리더 팔을 끌면서 동시에 그 팔 위 카메라에 손을 잘 보이게 유지해야 한다.

Q1. 데모 수집: 신뢰성과 효율 (Table II)

과제	Copilot 시간(s)	Copilot 성공률	AnyTeleop 시간(s)	AnyTeleop 성공률	시간 비(필자 계산)
Tongs Transfer	44.33	100% (20/20)	N/A	0% (0/20)	–
Bottle Disposal	41.37	100% (20/20)	88.88	50% (10/20)	2.15×
Dual-Object Transfer	36.19	100% (20/20)	121.63	30% (6/20)	3.36×
Ingredient and Pot Transfer	43.26	100% (20/20)	55.29	75% (15/20)	1.28×
Toast Preparation	327.46	100% (20/20)	N/A	0% (0/20)	–
Binder Filing	221.80	100% (20/20)	N/A	0% (0/20)	–

괄호 안 정수는 20회 시도에서 필자가 되돌린 값이고 마지막 열은 AnyTeleop 시간 ÷ Copilot 시간이다. copilot은 여섯 과제 모두 실패 없이 수집했고, AnyTeleop은 집게를 쓰는 Tongs Transfer와 양팔 과제 두 개에서 성공 데모를 하나도 얻지 못했다. 저자들은 이득을 “팔 원격조작과 손 동작 생성의 분리”로 설명한다.

필자가 덧붙이자면, 시간 비의 크기는 과제 성격과 맞물린다. 손 자세가 단순한 Ingredient and Pot(파 하나 집기, 냄비 손잡이 잡기)은 1.28배이고, 손가락을 두 그룹으로 나눠 블록 두 개를 동시에 쥐어야 하는 Dual-Object는 3.36배다. “손가락 협응이 어려울수록 이득이 크다”는 논지와 맞는 방향이다. 다만 Copilot이 100%라 실패 비용이 없고, AnyTeleop 시간은 실패 시도까지 포함한 값이라 시간 비의 상당 부분은 성공률 차이에서 온다. 성공 시도만의 소요 시간은 따로 보고되지 않았다.

Q2·Q3. Copilot에서 자율로, 그리고 H-VAE (Table III)

데모 출처 / 손 액션	Tongs Transfer	Bottle Disposal	Dual-Object Transfer	Ingredient and Pot Transfer
Copilot, no H-VAE	65% (13/20)	60% (12/20)	80% (16/20)	85% (17/20)
Copilot, H-VAE	100% (20/20)	75% (15/20)	90% (18/20)	100% (20/20)
AnyTeleop, no H-VAE	N/A	40% (8/20)	20% (4/20)	75% (15/20)

각 칸은 20회 롤아웃 성공률이고(괄호는 필자가 되돌린 정수), Tongs의 N/A는 AnyTeleop이 성공 데모를 못 얻었기 때문이다. 데모 출처만 다르고 나머지는 같다고 저자들은 밝힌다.

Q2: 직접 손 관절 액션끼리 비교하면 copilot 데이터 쪽이 세 과제 모두 높다(60 vs 40, 80 vs 20, 85 vs 75).
Q3: H-VAE를 쓰면 네 과제 모두 오른다. 저자들은 손 명령의 강한 협응 구조 때문에 20차원을 직접 예측하면 데모의 국소 변이에 과적합하기 쉽고, 잠재로 압축하면 과제 관련 협응 패턴에 집중할 수 있다고 해석한다.

copilot 데모로 학습한 outer policy의 자율 실행(Fig. 6). (a) Tongs Transfer: 집게를 꺼내 당근을 집고 팬으로 옮긴다. (b) Dual-Object Transfer: 손가락 그룹을 나눠 블록 두 개를 동시에 잡아 통에 넣는다. 숫자는 시간 순서다.

프로젝트 페이지 영상(각 과제 1번 클립). 왼쪽 위 Tongs Transfer 자율 롤아웃(44.8초), 오른쪽 위 Bottle Disposal 자율 롤아웃(26.8초), 왼쪽 아래 Dual-Object Transfer 자율 롤아웃(28.4초), 오른쪽 아래 Binder Filing copilot 수집 데모(150.7초). 프로젝트 페이지는 Tongs 11개, Bottle 2개, Dual-Object 6개 롤아웃을 공개한다. 성공·실패 여부는 표시돼 있지 않다.

수치를 다시 보면. “consistently improves”라는 서술은 방향으로는 맞지만, 20회 롤아웃에서 과제별 차이를 Fisher 정확검정(양측)으로 따져 보면 유의한 것은 Tongs(13/20 → 20/20, p\approx0.008) 하나뿐이다. Bottle(12 → 15, p\approx0.50), Dual-Object(16 → 18, p\approx0.66), Ingredient and Pot(17 → 20, p\approx0.23)은 이 표본으로 구분되지 않는다. 네 과제를 단순 합산하면 58/80 → 73/80(p\approx0.004)이다(모두 필자 계산이고 논문은 Table III에 검정을 붙이지 않았다). Q2의 copilot vs AnyTeleop도 Dual-Object(16 vs 4, p\approx0.0004)만 확실하고, Bottle(12 vs 8)과 Ingredient and Pot(17 vs 15)은 그렇지 않다. H-VAE 효과는 copilot 데이터에서만 측정됐고 AnyTeleop + H-VAE 칸이 없다. 그래서 “copilot 데이터가 좋다”와 “H-VAE가 좋다”가 서로 독립적인 효과인지, 아니면 H-VAE가 AnyTeleop 데이터의 손 잡음도 상당 부분 흡수하는지는 이 표로 판단할 수 없다.

Q4. 온라인 실행과 temporal ensembling (Fig. 7·9·10)

같은 grasp inner policy로 물병 잡기를 세 조건에서 실행한다. 고정 명령 재생은 성공한 롤아웃 하나의 관절 명령 궤적을 그대로 다시 튼다. 폐루프·앙상블 없음은 최신 고유감각 이력으로 질의하되 새 chunk의 첫 액션만 실행한다. 폐루프·temporal ensemble은 식 (2)를 적용한다. 조건마다 “판정이 내려진” 첫 10회, 총 30회를 쓴다. 궤적 분석은 닫힘 자세 쪽으로 명령 공간 변위가 5%에서 95%까지 진행되는 구간만 잘라 100 Hz로 재표본화하고, 3차 Savitzky-Golay 필터(창 0.21 s) 뒤 관절 jerk 절댓값의 95번째 백분위수(P95 jerk)를 명령 제한 전(pre-limit)과 손에 전달된 뒤(executed) 두 지점에서 계산한다.

조건	성공	P95 jerk(정성)	닫힘 후 effort(Fig. 10, 성공 시도 중앙값을 그림에서 읽음)
고정 명령 재생	3/10	중간(Fig. 7a, 제한 전 값은 없음)	약 0.5
폐루프, 앙상블 없음	7/10	가장 높음	약 0.75
폐루프, temporal ensemble	9/10	가장 낮음	약 0.49

temporal ensembling 어블레이션(Fig. 7). (a) 실행 명령, (b) 명령 제한 전의 시도별 P95 jerk(검은 막대가 중앙값, 로그 축). (c) “앙상블 없음 ÷ 앙상블” 중앙값 비율을 필터 창(0.11/0.21/0.31 s)별로 그린 것. 실행 명령 기준 1.94/2.30/2.03배, 제한 전 기준 3.35/3.62/2.84배다.

저자들의 결론은 두 갈래다.

폐루프 재계산이 접촉 변이에 강하다. 고정 재생 3/10 vs 폐루프·앙상블 9/10의 차이는 유의하다(p=0.0198). 이 값은 2×2 Fisher 정확검정(양측)으로 계산하면 정확히 나온다(필자 검산, 논문은 검정 이름을 적지 않았다). 두 폐루프 조건 사이(7/10 vs 9/10)의 성공률 차이는 이 표본으로 확립되지 않는다고 저자들이 직접 밝힌다.
temporal ensembling이 그 폐루프 동작을 크게 매끄럽게 한다. 앙상블이 없으면 실행 명령 P95 jerk가 2.30배(p=1.8\times10^{-4})이고, 명령 제한 전과 모든 필터 창에서 같은 경향이며, 닫히는 시간은 늘지 않았다.

닫힘 시점에 맞춘 손 전체 effort RMS(Fig. 9, PDF에서 크롭). 조건별로 성공(청록)·실패(분홍)를 나눠 그렸다. 굵은 선은 중앙값, 음영은 IQR, 회색 구간은 닫힘 후 0.5~5.5 s. 각 패널 제목의 “within-condition exact p”는 0.117 / 0.017 / 0.400이다.

닫힘 후 0.5~5.5 s의 시도별 effort(Fig. 10, PDF에서 크롭). 점은 시도별 중앙값, 분홍은 실패, 청록은 성공, 검은 표시는 그룹 중앙값.

Fig. 9를 보면 실패 시도는 닫힌 뒤 effort가 0.1 근처로 떨어진다. 물병이 빠져 손에 걸리는 하중이 사라진 것으로 읽힌다. 성공 시도의 effort는 앙상블 없음 조건에서 0.75 근처로 높게 유지되고, 앙상블 조건에서는 0.5 근처다. 저자들은 이를 “앙상블 없음이 더 급격한 접촉 상호작용을 만든다”는 보조 진단으로 쓴다.

여기서 필자가 유보하고 싶은 지점이 두 개 있다. 첫째, 닫힌 뒤 지속되는 effort가 높다는 것은 “더 세게 쥐고 있다”는 뜻이지 “접촉이 급격했다”는 직접 증거는 아니다. 급격함을 말하려면 닫힘 직전·직후의 effort 변화율을 봐야 한다. 둘째, 패널 제목의 “within-condition exact p”가 무엇을 검정한 값인지 본문에 정의가 없다. 성공 vs 실패의 닫힘 후 effort 차이를 순열(정확) 검정한 것으로 짐작되지만 확인되지 않는다. 또 Fig. 7(a)를 보면 고정 재생의 jerk가 폐루프·앙상블 없음보다 낮다. 고정 재생은 성공한 궤적 하나를 그대로 트니 매끄러운 것이 당연하고, 실패 원인은 매끄러움이 아니라 접촉 적응의 부재다. “폐루프는 적응을, 앙상블은 매끄러움을”이라는 저자들의 역할 분담 해석과 맞는 그림이다.

Q5. 물체별 접촉 행동 (Fig. 3)

같은 grasp 정책이 Fig. 3의 네 물체에서 서로 다른 손 형태를 만든다. 정책은 영상도 물체 정체도 받지 않고 관절 위치와 토크 이력만 받으므로, 물체 형상은 접촉을 통해 간접적으로 반영된다. 저자들은 이를 “고정 손가락 궤적의 재생이 아니라 접촉 조건부 손 스킬과 일관된 행동”이라고 부르고, 네 물체가 모두 학습에 있었으므로 이 실험은 학습한 접촉 조건에 대한 적응이지 처음 보는 물체로의 일반화가 아니라고 스스로 범위를 한정한다. 정량 지표는 없다.

Q6. 스킬 선택과 재사용 (Fig. 4·11)

Toast Preparation 중 자동 스킬 전환(Fig. 11). (1) 손목 카메라 입력으로 Button Press를 고른다. (2) 손이 그 스킬의 시작 자세로 이동한다. (3) 클러치 입력으로 버튼을 누른다.

Toast Preparation은 Tongs Grasp → Button Press → Plate Grasp → Tongs Grasp, Binder Filing은 Paper Pinch → Hole-Punch Press → Paper Pinch → Binder Closure 순으로 선택됐다. 앞서 쓴 스킬이 다시 필요할 때 재선택된다는 것이 결론이다. 평가는 대표 데모 두 편에 대한 정성 관찰뿐이고, 선택 정확도·오선택 횟수·선택 지연은 보고되지 않는다.

비판적으로 보면

강점

문제 정의가 정확하다. “다지 데모가 어려운 이유는 정책 용량이 아니라 팔-손 동시 지정”이라는 진단을 장치 설계(클러치 1-DoF)로 직접 반영했다. 조작자 입력을 스칼라 하나로 줄이면서도 되감기를 넣어 실패 복구 경로를 남긴 점이 실용적이다.
비용 회계가 정직하다. 성공 데모당 시간에 inner policy용 시연 10개의 수집 시간을 상각해 넣었다. “스킬을 미리 만드는 비용”을 숨기지 않은 것이다.
같은 장비 비교. 베이스라인을 같은 리더-팔로워 장비에서 손 인터페이스만 바꿔 돌렸다. 손 하드웨어 차이로 결과가 설명되는 경로를 막았다.
Q4 어블레이션 설계가 깔끔하다. “폐루프 재계산”과 “temporal ensembling”의 기여를 세 조건으로 분리하고, 성공률(적응)과 jerk(매끄러움)라는 서로 다른 지표에 각각 대응시켰다. 필터 창 민감도(Fig. 7c)와 명령 제한 전후를 모두 보여 jerk 차이가 후처리 산물이 아님을 확인했다. 두 폐루프 조건의 성공률 차이가 유의하지 않다고 저자들이 직접 쓴 점도 좋다.
자기 범위 한정. Q5에서 “처음 보는 물체로의 일반화가 아니다”라고 먼저 밝혔다.

약점·한계

양팔 과제의 자율 정책 평가가 없다. 6개 과제 중 copilot 수집이 가장 극적으로 이긴 곳(AnyTeleop 0%)은 Toast Preparation과 Binder Filing인데, Table III는 단일 팔 4개 과제만 다룬다. 초록과 결론의 “collection-to-autonomy pipeline”은 양팔에서는 수집 단계까지만 검증됐다. 300초가 넘는 장기 양팔 과제를 20개 데모로 학습할 수 있는지가 이 방법이 가장 필요한 지점인데 비어 있다.
VLM 선택기가 블랙박스다. 어떤 VLM인지, 프롬프트, 질의 지연, 오선택 빈도, 오선택 시 조작자 개입 방법이 모두 없다. 기여 목록 첫 항목(“automatic skill selection”)이 정성 사례 두 개로만 뒷받침된다. 또 선택은 스킬을 r^{\text{in}}=0까지 되감아야만 일어나므로, 물체를 쥔 채로 스킬을 바꾸는 전환(예: 쥐고 있던 것을 손 안에서 고쳐 쥐기)은 구조적으로 불가능하다. 이 제약의 영향이 논의되지 않는다.
데이터의 손 동작이 라이브러리에 묶인다. copilot 데모의 손 궤적은 inner policy가 생성한 것이므로, outer policy가 배우는 손 행동은 inner 스킬의 조합을 넘을 수 없다. Q2·Q3의 높은 성공률은 부분적으로 이 “분포가 좁아진” 효과일 수 있다. 장점이기도 하지만, 그렇다면 비교의 해석도 “copilot이 더 좋은 데이터를 만든다”가 아니라 “더 단순한 손 분포를 만든다”에 가깝다. 손 궤적 분산 같은 데이터 특성 분석이 있었으면 이 해석을 가를 수 있었다.
표본이 작고 검정이 일부에만 있다. Table II·III는 조작자 1명, 칸당 20회이고 검정이 없다. 필자가 계산해 보면 H-VAE의 과제별 개선 중 유의한 것은 Tongs 하나다(위 Q3 절). “consistently improves”는 방향의 일관성으로는 맞지만 효과 크기의 근거로는 약하다. 조작자 숙련 효과(같은 사람이 두 인터페이스를 수행한 순서)도 통제 여부가 적혀 있지 않다.
H-VAE 비교가 반쪽이다. AnyTeleop + H-VAE 조건이 없어 H-VAE 이득이 copilot 데이터에 특화된 것인지 일반적인 것인지 알 수 없다. KL 가중치, 재구성 오차, 잠재 차원(10) 선택 근거도 보고되지 않는다. H-VAE는 과제마다 따로 학습하므로 과제 간 공유 잠재 공간이라는 장점도 쓰지 않는다.
재현 정보가 부족하다. 코드·데이터 비공개에 더해 식 (2)의 m, 식 (3)의 \delta,\alpha,\beta,M, 카메라 대수와 모델, 클러치 하드웨어, outer policy 손실 형태와 제어 주기, 단일 팔 과제별로 어떤 inner policy를 썼는지가 없다. 단일 팔 과제의 스킬 구성이 빠져 있어 Table II의 상각 시간을 검산할 수도 없다.
AnyTeleop 이식 형태. 베이스라인은 리더 팔에 카메라를 단 형태로 이식됐다(Fig. 8). 같은 장비라는 장점과 별개로, 조작자가 팔을 끌면서 손을 카메라에 보여 주는 이 구성 자체가 원래 AnyTeleop보다 불리할 수 있다. 특히 양팔 과제의 0%가 리타게팅 품질 때문인지 이 조작 부담 때문인지 분리되지 않는다.
소소한 표기 문제. Fig. 5의 “VAE encoder D_\theta”(디코더), 그림과 식 (9)의 chunk 인덱스 차이, 정책과 디코더의 \theta 공유, Fig. 3 물체 (c)의 “rounded object”/“radish toy” 이중 표기. 해석을 바꾸지는 않지만 정독하는 독자가 걸린다.

요약

NestDex는 다지 손 데모 수집을 “사람이 팔과 손을 모두 지정하는 일”에서 “사람이 팔과 스킬 진행만 지정하는 일”로 바꾼다. 손가락 동작은 손 관절·토크 이력으로 폐루프 실행되는 inner policy가 만들고, VLM이 단계별로 스킬을 고르며, 조작자는 1-DoF 클러치로 진행과 되감기를 조절한다. 이렇게 모은 데모로 학습한 outer policy는 배포 때 inner policy 없이 혼자 동작하고, H-VAE로 손 액션을 10차원으로 압축하면 성능이 더 오른다.

같은 장비의 AnyTeleop 대비 수집 성공률(6/6 과제 100%)과 시간(1.3~3.4배 단축)의 차이는 분명하다. 반면 자율 정책 평가는 단일 팔 4개 과제와 20회 롤아웃에 그치고, 양팔 과제의 자율 실행과 VLM 선택기의 정량 평가는 비어 있다. 코드가 없어 클러치·선택기·리타게팅의 세부를 재현하기도 어렵다. 그래도 “학습된 손 스킬을 최종 정책의 부품이 아니라 데이터 생성 도구로 쓴다”는 배치는 다지 손 데이터 병목에 대한 깔끔한 답이고, 스킬을 배포까지 들고 가는 MoDE-VLA류와 대조할 기준점으로 쓸 만하다. 양팔 장기 과제에서 같은 결과가 나오는지가 다음 확인 대상이다.