📃ZeroDex 리뷰

ZeroDex: Zero-Shot Long-Horizon Dexterous Manipulation via Multi-View 3D-Grounded VLM Reasoning

• Paper Link

• Project

• Code: Coming Soon (미공개)

• Jisoo Kim, Sangwon Baik, Taeksoo Kim, SungJoo Kim, Junyoung Lee, Mingi Choi, Hanbyul Joo

• Seoul National University · RLWRLD

• Preprint, 2026

1. 💡 로봇 데이터로 정책을 새로 학습하지 않고, VLM의 zero-shot 추론(무엇을·어디를·어떻게)을 다시점(multi-view) 3D 그라운딩으로 물리 실행에 잇는 모듈식 손재주(dexterous) 조작 프레임워크.
2. ⚙️ VLM이 언어 지시를 atomic primitive 시퀀스(grasp·apply_action·waypoint·release·hold)로 분해하고, 각 2D 키포인트를 RANSAC 삼각측량 + reference-view ray voting으로 3D로 올린 뒤, 어포던스 기반 손 grasp와 도구 궤적(Bag of Atomic Actions)을 정렬해 실행한다.
3. 🎯 실로봇 tabletop에서 단일시점 RGB-D 그라운딩을 능가하고(grasp 위치오차 16.43→4.58cm), 태스크당 30개 시연으로 미세조정한 VLA 베이스라인(GR00T·Being-H0)이 0/5로 전멸한 작업도 zero-shot으로 성공하며, 실패 감지·재계획으로 long-horizon까지 수행.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

ZeroDex는 “손재주 조작을 위해 매번 로봇 데이터로 정책을 학습해야 하는가”라는 질문에 “아니오”라고 답한다. 핵심 관찰은, 현대 VLM이 이미 zero-shot으로 조작의 하위 질문 대부분(무엇을 잡을지, 도구의 어느 기능부를 어떻게 쥘지, 어떤 순서로 움직일지)에 답한다는 것이다. 그래서 새 정책을 학습하는 대신, 의미 추론(VLM)과 물리 실행(primitive 컨트롤러)을 분리(modular)한다. 다만 이 모듈식 설계는 2D만으로는 풀 수 없는 기하 요건을 안는다 — 어디를 잡고, 끝점을 어디로 옮기며, 도구를 어떻게 휘두를지는 본질적으로 3D 궤적량이다. ZeroDex의 중심 아이디어는 VLM 그라운딩을 여러 시점에 걸쳐 융합해 view-dependent한 2D 예측을 일관된 3D로 들어올리는 것이다.

ZeroDex 개요(Fig. 1) — 언어 지시와 보정된 다시점 관측을 입력으로, 강건한 삼각측량 + reference-view ray voting으로 task-relevant 3D 그라운딩을 추론하고, 어포던스 기반 손 grasp를 생성해 pick-and-place·tool-use 계획을 재사용 가능한 action primitive로 실행한다.

핵심 방법론:

VLM \Phi는 다시점 이미지 \mathcal{I}=\{I_v\}_{v=1}^{M}와 지시 l로부터 reference view r, 모드 z\in\{\mathrm{pick},\mathrm{tool}\}, 모드별 그라운딩 g_z를 고른다:

(r,z,g_z)=\Phi(\mathcal{I},l).

이어 I_r 위에서 primitive 시퀀스 \mathcal{Q}_r=\{(m_t,\mathcal{P}_r^t)\}_{t=1}^T를 생성한다(m_t\in\{\mathrm{grasp},\mathrm{apply\_action},\mathrm{waypoint},\mathrm{release},\mathrm{hold}\}). 각 2D 키포인트는 두 갈래로 3D로 올린다. ① RANSAC 삼각측량 — 뷰 쌍 (a,b)의 후보 X_{a,b}^{t,j}를 reprojection 합의로 채점하고(S_{\mathrm{tri}}) 최대 합의 후보를 택한다. ② reference-view ray voting — reference 카메라 광선을 따라 깊이 후보 N_\delta개를 샘플해 각 뷰에 번호 마커로 투영하고, VLM이 설명 d_{t,j}에 가장 맞는 인덱스를 투표로 고른다. 최종 3D 키포인트는 삼각측량 합의가 임계 \tau_{\mathrm{tri}} 이상이면 삼각측량값을, 아니면 voting값으로 동적 선택한다:

X_\star^{t,j}=\begin{cases}X_{\mathrm{tri}}^{t,j} & \text{if } \max_{a,b}S_{\mathrm{tri}}(a,b)\geq\tau_{\mathrm{tri}},\\ X_{\mathrm{vote}}^{t,j} & \text{otherwise}.\end{cases}

도구 사용은 Bag of Atomic Actions \mathcal{A}=(c,\mathcal{T},X_s,X_e) — 스킬 범주 c, 6D 도구 궤적 \mathcal{T}, 시작·끝 앵커를 담은 재사용 라이브러리 — 에서 같은 c의 궤적을 꺼내, 저장 앵커 (X_s,X_e)를 현재 장면의 lifted 키포인트 (X_{\mathrm{app}},X_{\mathrm{term}})로 보내는 강체변환 T_{\mathrm{align}}으로 정렬한다(\hat{T}_i=T_{\mathrm{align}}\cdot T_i).

주요 결과: (확인된 수치만)

• 실로봇 tabletop에서 단일시점 RGB-D 베이스라인을 매칭 또는 능가 — “Cluttered Precise Pick-and-Place”에서 2/5 → 4/5.
• 다시점 융합이 grasp 위치오차를 크게 줄임 — Stereo(RGB-D) L_{\mathrm{grasp}} 16.43cm → Ours(2 views) 4.58cm, L_{\mathrm{apply}} 2.72 → 1.35cm(3 views).
• 태스크당 30개 시연으로 미세조정한 VLA 두 종(GR00T, Being-H0)은 평가 작업에서 0/5로 전멸한 반면, ZeroDex는 zero-shot으로 “Throw Away Trash” 10/10, “Broom Clean” 8/10.
• Long-horizon에서 VLM이 실패 상태를 감지해 재계획(closed-loop retry) — “Organize Objects” end-to-end 4/6, “Cooking” 1/3.

결론: ZeroDex는 “VLM 추론 + 다시점 3D 그라운딩 + 재사용 primitive”의 모듈식 조합만으로, 태스크별 데이터 수집·미세조정 없이 손재주 tool-use와 long-horizon 조작을 zero-shot으로 수행할 수 있음을 실증한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

VLM은 이미 조작의 “무엇·어디·어떻게·순서”를 zero-shot으로 답할 줄 안다 — 그렇다면 정책을 새로 학습하지 말고, VLM의 의미 추론을 다시점으로 3D에 묶어 그대로 실행하면 된다. 단, 그 묶음(grounding)이 손재주 조작에 충분히 정밀해야 한다는 것이 ZeroDex가 떠안는 진짜 문제다.

왜 어려운가 — 모듈식 설계의 기하 요건

손재주 조작을 푸는 지배적 접근은 end-to-end다. VLA 모델은 대규모 로봇 데이터로 이미지·지시에서 행동을 직접 예측해 큰 진전을 이뤘지만, 다양한 작업에서 안정적이려면 광범위한 데이터 수집·태스크별 적응·환경별 미세조정이 필요해 개방형 환경의 물체·도구·공간 다양성으로 확장하기 어렵다. 사람 시연 retargeting도 또 다른 길이지만, 사람–로봇 손의 embodiment 격차가 물리적으로 불가능한 접촉이나 불안정한 grasp를 낳아 추가 정제나 RL을 요구한다.

저자들은 모듈식 설계가 더 효율적이라 주장한다. 하나의 end-to-end 정책 대신, 의미 추론(VLM)과 물리 실행(motion primitive·컨트롤러)을 분리한다. 핵심 관찰은 modern VLM이 zero-shot으로 조작의 하위 질문 대부분에 답한다는 것 — 무엇을 잡을지, 기능적 어포던스로서 어디를 잡을지, 어떻게 움직일지, 어떤 순서인지. 그러면 새 정책을 학습할 필요 없이, VLM이 계획을 내면 복잡한 작업을 pick·move 같은 단순 atomic 작업의 시퀀스로 분해해 신뢰할 수 있는 primitive 컨트롤러로 실행하면 된다.

그러나 이 설계는 2D 추론만으로는 충족할 수 없는 기하 요건에 걸린다. 잡을 위치는 2D가 아니라 3D로 지정되어야 하고, 더 중요하게 엔드이펙터를 어떻게 움직이고 물체를 어디로 옮길지는 3D 궤적량이다. 단일 시점은 이런 3D 궤적을 신뢰성 있게 추론할 기하 정보를 거의 담지 못한다. 그래서 ZeroDex의 중심 아이디어는 VLM 그라운딩을 여러 시점에 걸쳐 융합하는 것이다.

방법 상세

ZeroDex는 보정된 다시점 RGB 이미지와 고수준 언어 지시를 받아, 물리적으로 실행 가능한 arm-hand 실행 계획을 낸다. 파이프라인은 네 단계다 — (1) reference-view 의미 그라운딩, (2) 다시점 융합 기반 3D lifting, (3) tool-use를 위한 object-centric atomic action 정렬, (4) 어포던스 기반 손 grasp·motion 생성.

3.1 Reference-Frame Grounding

VLM \Phi는 (r,z,g_z)=\Phi(\mathcal{I},l)로 reference view r, 모드 z\in\{\mathrm{pick},\mathrm{tool}\}, 모드별 그라운딩 g_z를 고른다. pick-and-place면 g_{\mathrm{pick}}=(O_{\mathrm{tar}},\mathbf{p}_{\mathrm{dst}})(대상 물체 + I_r 상의 2D 목적지 픽셀), tool-use면 g_{\mathrm{tool}}=(O_{\mathrm{tool}},c,O_{\mathrm{tar}},\mathbf{p}_{\mathrm{dst}})로 도구 O_{\mathrm{tool}}과 스킬 범주 c(pouring·sweeping 등)까지 식별한다. 이어 planning 프롬프트 l'로 primitive 시퀀스를 생성한다:

\mathcal{Q}_r=\Phi(I_r,l')=\{(m_t,\mathcal{P}_r^t)\}_{t=1}^{T},\quad \mathcal{P}_r^t=\{(\mathbf{p}_r^{t,j},d_{t,j})\}_{j=1}^{N_t},

여기서 m_t\in\{\mathrm{grasp},\mathrm{apply\_action},\mathrm{waypoint},\mathrm{release},\mathrm{hold}\}, 각 2D 키포인트 \mathbf{p}_r^{t,j}는 3D uplifting을 위한 의미 설명 d_{t,j}와 짝지어진다. pick은 (grasp, waypoint, release), tool-use는 (grasp, apply_action, release/hold) 구조다. 키포인트 수는 tool-use의 grasp 단계에서만 N_t=2(쥘 점 + 기능 tip, 예: 빗자루 머리·주전자 주둥이), 나머지는 N_t=1.

3.2 Multi-View Fusion-Based 3D Lifting

단일 시점의 깊이 모호성과 다시점 가림을 동시에 넘기 위해 삼각측량 + reference-view ray voting을 결합한다. 각 키포인트에 대해 모든 뷰에서 view-wise 2D 그라운딩 \mathbf{p}_v^{t,j}=\Phi(I_v,l'')를 얻는다.

먼저 RANSAC 스타일 삼각측량: 뷰 쌍 (a,b)의 후보 X_{a,b}^{t,j}=\operatorname{Triangulate}(\mathbf{p}_a^{t,j},\mathbf{p}_b^{t,j})를, reprojection 오차가 픽셀 임계 \epsilon_{\mathrm{tri}} 이하인 뷰 수로 채점한다:

S_{\mathrm{tri}}(a,b)=\sum_{v=1}^{M}\mathbf{1}\!\left[\left\|\pi_v(X_{a,b}^{t,j})-\mathbf{p}_v^{t,j}\right\|_2\leq\epsilon_{\mathrm{tri}}\right],

최대 합의 후보를 X_{\mathrm{tri}}^{t,j}로 택한다. 보완 추정으로 reference-view ray voting: reference 광선을 따라 깊이 후보 X_n^{t,j}를 N_\delta개 샘플해, 각 비-reference 뷰에 번호 마커로 투영한 \tilde{I}_v^{t,j}를 만들고 VLM이 d_{t,j}에 가장 맞는 인덱스 \mathcal{C}_v^{t,j}를 고른다. 투표를 합산해 X_{\mathrm{vote}}^{t,j}를 얻는다:

S_{\mathrm{vote}}^{t,j}(n)=\sum_{v\neq r}\mathbf{1}[n\in\mathcal{C}_v^{t,j}],\qquad X_{\mathrm{vote}}^{t,j}=X_{\arg\max_n S_{\mathrm{vote}}^{t,j}(n)}^{t,j}.

최종 키포인트 X_\star^{t,j}는 삼각측량 합의가 \tau_{\mathrm{tri}} 이상이면 X_{\mathrm{tri}}, 아니면 robust한 X_{\mathrm{vote}}로 동적 선택한다(Ping의 식). 두 갈래는 같은 다시점 융합의 상보적 부분으로, 가림·시점 모호성 아래에서 신뢰할 만한 3D 그라운딩을 만든다. 모든 키포인트는 보정 외부파라미터로 world frame으로 변환된다.

그라운딩 비교(Fig. S1) — 어수선한 장면에서 단일시점 RGB-D 베이스라인 vs 다시점 그라운딩. 빨강·파랑·초록 구는 각각 예측된 grasp·waypoint·destination.

3.3 Object-Centric Atomic Action Alignment

pick-and-place는 대상 물체의 현재 자세에서 lifted release 키포인트까지의 전송 궤적을 off-the-shelf 모션 생성으로 만들면 된다. 반면 tool-use는 “도구가 대상에 대해 어떻게 움직여야 하는가”라는 추가 motion prior가 필요하다. 이를 위해 Bag of Atomic Actions를 도입한다 — 도구가 대상에 상대적으로 어떻게 움직이는지를 부호화한 재사용 가능한 object-centric primitive 라이브러리:

\mathcal{A}=(c,\mathcal{T},X_s,X_e),\qquad \mathcal{T}=\{T_i\}_{i=0}^{N_a},\ T_i\in SE(3),

c는 사전정의 스킬 범주, \mathcal{T}는 도구의 6D 궤적, X_s,X_e\in\mathbb{R}^3는 저장된 시작·끝 앵커다. 라이브러리는 기록된 시연과 생성 궤적으로 오프라인 구축되며, 구현에서 생성 궤적은 VLMPose로 얻는다. 테스트 시 같은 c의 atomic action을 꺼내, 저장 앵커 (X_s,X_e)를 현재 장면의 lifted apply_action·terminal 키포인트 (X_{\mathrm{app}},X_{\mathrm{term}})로 보내는 강체변환 T_{\mathrm{align}}\in SE(3)를 구해 저장 궤적에 적용한다:

\hat{\mathcal{T}}=\{\hat{T}_i\}_{i=0}^{N_a},\qquad \hat{T}_i=T_{\mathrm{align}}\cdot T_i.

정렬된 \hat{\mathcal{T}}가 다음 단계의 도구 grasp·모션 생성으로 넘어간다.

Bag of Atomic Actions(Fig. S2) — (A) “Pour water from the kettle” 프롬프트로 VLMPose가 생성한 물체 궤적, (B) 실로봇에서 실행된 object-centric atomic action들.

3.4 Dexterous Affordance-Guided Grasp and Motion Generation

lifted grasp 키포인트 X_{\mathrm{grasp}}는 의미 앵커일 뿐, 손재주 grasp에는 작업조건적 접촉 영역이 더 필요하다. 조작 물체 O_m(pick은 O_{\mathrm{tar}}, tool-use는 O_{\mathrm{tool}})에 대해 각 뷰에서 grasp 키포인트를 투영해 어포던스 프롬프트로 2D graspable bounding box B_v=\Phi(I_v,l''')를 예측한다. 이를 3D로 올리기 위해 O_m 메시의 각 정점 q_i를 모든 뷰에 투영한 다시점 inclusion score로 어포던스 영역을 정의한다:

s(q_i)=\frac{1}{M}\sum_{v=1}^{M}\mathbf{1}\!\left[\pi_v(q_i)\in B_v\right],\qquad \mathcal{R}_{\mathrm{aff}}=\{q_i\mid s(q_i)\geq\tau\}.

\mathcal{R}_{\mathrm{aff}}에서 손잡이형엔 cylindrical template sampler, 일반 형상엔 optimization 기반 generator로 손 grasp 후보 G를 만든다. 물리 타당성을 위해, 물체 배치·도구 종단 자세를 정하는 그라운딩 점엔 collision-aware 위치 정제를 적용한다 — 환경 침투 깊이 \phi_m(\cdot)이 0이 되는 가장 가까운 충돌-없는 위치를 국소 수직 격자에서 찾는다:

X_{\mathrm{loc}}^*=\arg\min_{X'\in\mathcal{G}(X_{\mathrm{loc}})}\|X'-X_{\mathrm{loc}}\|_2\quad\text{s.t.}\quad\phi_m(X')=0.

정제된 키포인트로 O_m의 6D 궤적 \mathcal{T}_{\mathrm{obj}}를 구성하고, 각 grasp 후보 g에 대해 off-the-shelf arm-hand 모션 생성기가 \mathcal{T}_{\mathrm{obj}}를 추종하며 기구학·충돌 제약을 푼다: (\mathcal{T}_{\mathrm{robot}},\eta)=f_{\mathrm{motion}}(\mathcal{T}_{\mathrm{obj}},g). 타당성 \eta=1인 쌍을 실로봇 실행으로 선택한다.

어포던스 그라운딩·grasp 생성(Fig. S3) — 다시점의 어포던스 bounding box를 결합해 3D 어포던스 영역을 만들고 손 grasp를 생성한다.

직관 — 왜 다시점 + voting인가

VLM의 2D 그라운딩은 의미적이면서 시점 의존적이다. 뷰마다 보이는 부분이 다르고, 가림이 예측 위치를 흔들며, 모호한 작업 맥락은 카메라마다 다른 예측을 낸다. 삼각측량은 뷰 사이의 강한 기하 제약(특히 wide-baseline 쌍)을 활용해 정확하지만, 일부 뷰의 2D 예측이 어긋나면 합의가 깨진다. 그때 reference-view voting이 reference 광선 위에서 “다른 뷰들과 가장 일관된 깊이 후보”를 골라 추정을 reference에 단단히 고정한다. 둘을 합의 점수로 동적 전환하는 것이 이 방법의 견고함의 핵심이다 — 기하가 충분하면 삼각측량, 부족하면 robust voting.

실험

평가는 실세계 tabletop에서 zero-shot 조작을 다룬다. 네 능력을 본다 — (1) distractor 속 대상 그라운딩 + 충돌 견고성(추론한 쓰레기를 바구니에 넣기), (2) 공간관계 추론(도구를 스토브에 놓기), (3) 어포던스 기반 tool-use(빗자루로 쓸기), (4) long-horizon 시퀀싱(3–4개 물체 요리·정리).

하드웨어. xArm + Inspire 손재주 손, 보정된 다수 RGB 카메라(stereo pair 포함). 깊이는 FoundationStereo, 다물체 6D 자세는 FoundationPose를 쓴다.

베이스라인. ① 단일 시점에서 2D 키포인트를 예측해 정렬 깊이맵으로 3D로 올리는 RGB-D 그라운딩, ② 태스크당 30개 teleoperation 시연으로 미세조정한 VLA 두 종(GR00T, Being-H0). ZeroDex는 가중치 갱신·태스크 시연 없이 전적으로 zero-shot이다.

정성 결과(Fig. 2) — 각 고수준 지시 l에 대해 3D 그라운딩을 추론하고, tool-use는 object-centric atomic action을 현재 장면에 정렬한다. 직접·간접 스타일 지시 모두에서 다양한 환경에 걸쳐 그라운딩 성공.

실로봇 성공률. 단일시점 RGB-D 대비 매칭 또는 향상 — “Throw Away Trash” 4/5 → 5/5, “Place Pot on Stove” 4/5 → 4/5. 강점은 어수선·정밀 배치에서 두드러져 “Cluttered Precise Pick-and-Place”는 2/5 → 4/5(Table 1). 30 시연으로 미세조정한 VLA 두 종은 평가 작업에서 모두 실패(0/5)한 반면, ZeroDex는 zero-shot으로 “Throw Away Trash” 10/10, “Broom Clean” 8/10을 달성(Table 2).

3D 그라운딩 품질(Table 3). 다시점 융합이 grasp 위치오차를 크게 줄인다.

Method	L_{\mathrm{grasp}} (cm) ↓	L_{\mathrm{apply}} (cm) ↓	\phi_m(X_{\mathrm{wp}}) ↓
Stereo (RGB-D)	16.43	2.72	9.91
Ours (2 views)	4.58	1.70	9.81
Ours (3 views)	4.60	1.35	10.95
Ours (5 views)	4.77	1.94	9.78
Ours (w/ refinement)	4.77	1.63	9.60

뷰 수를 늘리면 이 장면들에선 수확 체감이다 — wide-baseline 쌍이 이미 강한 기하 제약을 주기 때문. collision-aware 정제가 침투(penetration) 오차를 최저로 낮춘다.

Long-horizon(Table 4). primitive 수준 형식화가 자연스럽게 closed-loop를 가능케 한다 — 실패가 나면 해당 subtask를 retry budget 안에서 재그라운딩·재계획으로 복구한다. “Organize Objects”는 단계별 6/6·5/6·3/5·3/3, end-to-end 4/6; “Cooking”은 3/3·3/3·1/3, end-to-end 1/3. 실패는 주로 arm 관절 한계·환경 충돌·불안정 grasp에서 온다.

Long-horizon 정성 결과(Fig. 3) — 여러 subtask로 구성된 시나리오. 위 예에서 grasp가 실패하자 VLM이 실패 상태를 감지하고 다음 행동을 재계획한다.

비판적으로 보면

강점

• 데이터 없는 손재주 tool-use. 태스크별 시연·미세조정 없이 zero-shot으로 pouring·sweeping 같은 기능적 tool-use를 수행한다. 30 시연 VLA가 0/5인 작업을 zero-shot으로 푸는 대비는 모듈식 설계 주장에 강한 증거다.
• 다시점 융합이 그라운딩 정밀도를 실제로 끌어올린다. L_{\mathrm{grasp}} 16.43 → 4.58cm는 손재주 grasp의 안정성에 직결되는, 측정으로 분리된 이득이다. 삼각측량↔︎voting 동적 전환이라는 설계도 깔끔하다.
• closed-loop가 형식에서 자연히 나온다. primitive 시퀀스 형식 덕에 VLM이 단계 진행을 검증하고 실패 subtask만 재계획할 수 있다 — long-horizon의 실용적 견고함.
• 재사용 가능한 추상화(BoAA). 도구 운동을 object-centric 6D 궤적 + 앵커로 묶어 장면에 강체정렬하는 방식은 새 장면·물체로의 일반화를 값싸게 만든다.

약점·한계

• 2D VLM 신뢰성에 상한이 묶인다(저자 인정). 다시점 lifting·국소 정제가 기하 일관성을 높여도, 작업 분해·어포던스 선택·2D 의미 그라운딩의 오류는 하류 실행 실패로 전파된다. 시스템의 천장이 곧 VLM의 천장이다.
• off-the-shelf 모션 플래너 의존(저자 인정). 기구학적 특이점·충돌 검사 timeout·불안정 grasp가 여전히 실패를 유발하고 추론→실행 지연(latency)을 키운다.
• in-hand manipulation 미지원(저자 인정). 손 안에서 물체 회전, 가위 조작, 손에 쥔 도구의 버튼 누르기 같은 진짜 dexterous in-hand 능력은 범위 밖이다 — 현 형식은 object-centric 조작·tool-use에 한정된다.
• 평가 규모가 작다. 실로봇 표는 작업당 5–10회 시도, long-horizon은 작업당 3–6회로 표본이 작아 통계적 신뢰구간을 논하기 어렵다. “Cooking” end-to-end 1/3 같은 수치는 표본 변동의 여지가 크다.
• 인프라 가정이 무겁다. 보정된 다시점(+stereo) 카메라, FoundationStereo/FoundationPose, 물체 메시(어포던스 정점 투표용)를 전제한다. “데이터 없이”는 맞지만 장면 셋업·캘리브레이션·물체 모델이라는 다른 비용을 진다.
• 다중 VLM 질의 비용. 뷰마다, 키포인트마다, voting 후보마다 VLM을 부르는 구조라 호출 수·지연·금전 비용이 단일 정책 추론보다 크다(논문은 정량 비용을 본문에서 강조하지 않음).

관련 연구와의 자리매김

ZeroDex는 세 흐름의 교차점에 있다. 첫째, manipulation을 위한 VLA: 대규모 로봇 데이터로 행동을 직접 예측하는 계열은 강하지만 새 물체·도구·embodiment에 추가 데이터/적응을 요구한다 — ZeroDex는 정반대로 가중치 갱신 없이 zero-shot으로 작동한다. 데이터 기반 손재주 파운데이션인 UniDex 리뷰(사람 영상→로봇 데이터로 VLA 사전학습)와는 “데이터로 학습 vs VLM으로 추론”이라는 대척점에서 흥미로운 대비를 이룬다. embodied reasoning을 내재화한 VLA인 MolmoAct2 리뷰와도 “추론을 정책에 학습 vs 사전학습 VLM을 그대로 사용”으로 비교할 만하다. 둘째, foundation model 기반 zero-shot 조작: LLM으로 코드·계획을 생성하거나(code-gen), 이미지에 키포인트·visual mark·어포던스를 찍는(visual-prompting) 계열과 동기를 공유하지만, 많은 기존 방법이 손재주 조작에 필요한 task-relevant 3D 기하(접촉점·배치 목표·도구 궤적)에 취약한 image-space/희소 중간표현에 머문다 — ZeroDex는 이를 직접 3D에 그라운딩한다. 셋째, 3D 그라운딩·손재주 실행: 2D 관측의 multi-view stereo lifting을 VLM 의미 그라운딩과 결합한다. 손재주 grasp 생성을 다루는 GenHand 리뷰와는 grasp 합성의 입력(어포던스 영역)을 어떻게 얻느냐의 관점에서 맞닿는다.

요약

ZeroDex의 기여는 “손재주 조작을 위해 정책을 새로 학습할 필요가 없다 — VLM의 zero-shot 추론을 다시점 3D 그라운딩으로 충분히 정밀하게 묶으면 된다”는 모듈식 관점을 실증한 데 있다. VLM이 지시를 atomic primitive로 분해하고, 각 2D 키포인트를 삼각측량+ray voting으로 3D로 올리며, 어포던스 grasp와 Bag-of-Atomic-Actions 도구 궤적을 장면에 정렬해 실행한다. 결과적으로 단일시점 RGB-D를 grounding 정밀도에서 능가하고(16.43→4.58cm), 30 시연 VLA가 전멸한 작업을 zero-shot으로 풀며, 실패 감지·재계획으로 long-horizon까지 닿는다. 한계도 분명하다 — 2D VLM과 off-the-shelf 플래너에 천장이 묶이고, in-hand manipulation은 못 하며, 평가 표본이 작고, 보정 다시점·물체 메시라는 인프라 비용을 진다. 그럼에도 “추론은 사전학습 VLM에 맡기고, 정밀도는 다시점 기하로 메운다”는 분업은 데이터 비싼 손재주 조작에 대한 설득력 있는 대안 청사진이다. (코드는 추후 공개 예정 — 재현 평가는 공개 후 가능.)