📃Web2Grasp 리뷰

grasp

dexterity

functional

affordance

human-video

reconstruction

retargeting

IsaacGym

dataset

Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions

Published

September 15, 2026

Paper Link (arXiv:2505.05517v3). 이 리뷰는 v3(2026-06-26 개정) 기준이며, 수치·수식은 본문과 Table I~III에서 직접 확인한 값이다.
Project (web2grasp.github.io). 실기 영상과 결과 시각화가 올라와 있다.
Code: 미공개. 프로젝트 페이지에 “Code (Coming Soon)”으로만 표기돼 있고 저장소 링크가 없다(2026-09-15 확인).
저자: Hongyi Chen, Yunchao Yao, Yufei Ye, Zhixuan Xu, Homanga Bharadhwaj, Jiashun Wang, Arthur Jakobsson, Ruihan Zhao, Shubham Tulsiani, Zackory Erickson, Jeffrey Ichnowski
소속: Carnegie Mellon University (주), Nvidia, National University of Singapore, UT Austin
IROS 2026 (프로젝트 페이지 기준)

💡 로봇 시연을 한 건도 모으지 않고, 웹에서 긁은 사람 손-물체 상호작용(HOI) 사진을 3D로 복원해 “물체를 용도대로 쥐는” functional grasp의 학습 데이터로 쓴다.
⚙️ 복원 데이터가 심하게 노이즈다 — 이를 ① 관절각을 직접 예측하지 않고 로봇-물체 점 쌍 거리행렬을 예측하는 interaction-centric 모델(DRO)과 ② 기하 필터링 + 시뮬레이션 검증이라는 2단 데이터 정제로 견딘다.
🎯 웹 데이터 1,000장 중 9.6%(96개)만 살아남았는데, 그 96개로 ShadowHand 시뮬에서 학습 10물체 75.8%, 시뮬 증강 후 19물체 83.4%, 실기에서 LEAP·Inspire hand 12물체 77.5%를 낸다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 손(multi-finger hand) 파지 연구의 대부분은 “물체가 안 떨어지면 성공”이다. 힘 폐쇄(force closure)를 최대화하거나 RL로 흔들림을 버티게 만들면, 드릴이든 컵이든 스프레이든 거의 같은 모양으로 감싸 쥔다. 그런데 사람은 그렇게 쥐지 않는다. 드릴은 방아쇠에 검지를 얹고, 스프레이는 분사 헤드 위에 손가락을 올리고, 칼은 날이 아니라 손잡이를 잡는다. 논문은 이것을 functional grasping — “물체의 의도된 용도를 수행할 수 있게 하는 방식으로 쥐기”로 정의하고, 이 정보를 어디서 공짜로 얻을 것인가를 묻는다.

기존 답은 둘이었다. 하나는 ContactDB·OakInk·GRAB처럼 사람이 직접 모은 고품질 접촉 데이터셋인데 카테고리를 늘릴 때마다 비용이 든다. 다른 하나는 사람 영상/이미지에서 affordance를 직접 학습하는 것인데, 고차원 시각 데이터에서 파지 자세를 바로 배우는 것이 어려워 결국 로봇 시연으로 fine-tuning해야 한다는 것이 선행 연구(VideoDex, Dexterous Functional Grasping)의 경험이었다. Web2Grasp의 제3의 답은 먼저 3D로 복원하고 나서 배운다이다. 이미지를 손-물체 메시로 복원해 두면 접촉 정보가 명시적으로 드러나고, 그 상태에서는 파지 학습이 훨씬 다루기 쉬운 문제가 된다는 것이다.

개요(Fig. 1). 위: 웹 이미지와 그로부터 복원한 HOI 파지. 아래: 시뮬레이션과 실기에서의 기능적으로 타당한 파지.

문제는 복원 품질이다. 가림(occlusion)과 분포 밖 물체 때문에 복원된 손-물체 메시는 관통(penetration)하거나 접촉이 엉뚱하다. 논문이 재는 값으로 전체 웹 데이터셋의 평균 관통 깊이는 1.11 cm(부피 9.79 cm³)로, 사람이 모은 OakInk의 0.11 cm(0.62 cm³)보다 한 자릿수 나쁘다. 이 쓰레기에 가까운 데이터로 어떻게 쓸 만한 모델을 얻는가 — 그것이 이 논문의 실제 내용이다.

전체 파이프라인(Fig. 2). (a) 웹에서 사람이 물체를 쥔 이미지 수집 → (b) HOI 복원으로 functional grasp 데이터셋 생성(관통·비현실적 접촉 포함) → (c) DRO 파지 모델 학습, 목표 관절 구성 예측 → (d) 시뮬레이션으로 물리적으로 가능한 파지를 모아 데이터셋을 확장하고 재학습.

핵심 방법론:

방법은 두 축으로 노이즈를 견딘다.

(1) 알고리즘 — interaction-centric 표현. 로봇 중심 모델(관절각을 직접 회귀)은 정확한 목표 관절값을 요구하고, 물체 중심 모델(contact map)은 정확한 물체 형상을 요구한다. 둘 다 복원 데이터에는 없다. 그래서 저자들은 D(R,O) Grasp(Wei et al. 2024)의 표현을 채택한다. 로봇 점군 \mathbf{P}^{\mathcal{R}}_{\text{init}}\in\mathbb{R}^{N_\mathcal{R}\times3}와 물체 점군 \mathbf{P}^{\mathcal{O}}\in\mathbb{R}^{N_\mathcal{O}\times3}가 주어지면, CVAE로 점 쌍 거리행렬을 예측한다.

\mathcal{D(R,O)}^{\text{Pred}} \in \mathbb{R}^{N_\mathcal{R}\times N_\mathcal{O}}, \qquad \mathcal{L} = \mathcal{L}_{\text{L1}}\!\left(\mathcal{D(R,O)}^{\text{Pred}},\, \mathcal{D(R,O)}^{\text{GT}}\right)

예측된 거리행렬과 물체 점군으로부터 multilateration(삼변측량의 다점 일반화)으로 목표 로봇 점군 \mathbf{P}^{\mathcal{R}}_{\text{target}}을 복원하고, 최적화로 관절 구성 q를 뽑는다.

(2) 데이터 — 2단 정제. ① 기하 필터링: 관통이 낮고, 손-물체 거리가 짧고, 접촉 비율이 높은 것만 남긴다. 1,000개 중 96개(9.6%) 통과. ② 시뮬레이션 검증: 이 96개로 초기 DRO를 학습시키고, 그 모델로 IsaacGym에서 파지를 대량 생성한 뒤 외력 외란을 견딘 것만 채택해 물체당 200개씩 3,800개의 sim data를 만들고 재학습한다. 논문은 이 (3)~(4) 단계가 반복 루프가 아니라 일회성 증강·재학습임을 명시한다.

주요 결과:

HOI 복원 품질(Table I). 웹 전체 1.11 cm(9.79 cm³) 관통 → 필터링 후 0.59 cm(4.85 cm³), 이탈 거리 0.18→0.08 cm, 접촉 비율 11.36→19.32%. 시뮬레이션 데이터는 물리 엔진 덕에 관통이 0.01 cm(0.13 cm³)로 거의 사라진다.
시뮬 성공률(Table II, 물체당 100회). 웹 데이터 학습 모델: 학습 10물체 75.8%, 미지 9물체 포함 19물체 61.8%. 시뮬 증강 후 19물체 83.4%. Sword가 24%→55%, Teapot 12%→99%, Axe 10%→82%로 크게 오른다.
미지 물체 베이스라인 비교(Table III, 9물체). Ours SR 46.3% / FCR 7.91% / Human Eval 47.7. GenDexGrasp 20.6 / 6.81 / 6.4, DexGraspNet 39.6 / 3.58 / 19.6, DRO(원 데이터 학습) 33.4 / 3.53 / 26.3.
실기. LEAP hand 8물체 평균 83.75%, Inspire hand 4물체 65%(Bowl 10/10, Plate 8/10, Knife 3/10, Fork 5/10), 합산 12물체 77.5%(= 93/120, 직접 검산 일치).

결론:

Web2Grasp의 주장은 “웹 이미지에서 복원한 HOI는 품질은 나쁘지만 기능적 의도는 살아 있다”로 요약된다. 관통 1.11 cm짜리 메시라도 “드릴은 방아쇠, 스프레이는 헤드”라는 접촉 패턴은 담고 있고, 그 패턴만 interaction-centric 표현으로 뽑아낸 뒤 물리적 타당성은 시뮬레이터에 맡기면 로봇 시연 없이 functional grasp 모델이 나온다는 것이다. 다만 아키텍처 자체는 신규가 아니라 DRO를 그대로 가져온 것이고(논문도 명시한다), 기여는 데이터 소스와 정제 파이프라인에 있다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“파지 데이터를 모으지 말고, 이미 인터넷에 있는 사람 손 사진을 3D로 펴서 쓰자”는 논문이다. 관건은 그 3D가 형편없다는 것이고, 논문의 실질은 “형편없는 데이터에서 무엇을 취하고 무엇을 버릴지”의 설계다. 취하는 것은 손가락이 물체의 어디에 닿았는가라는 상호작용 패턴이고, 버리는 것은 정확한 기하다. 기하는 텍스트-3D 생성 메시로 갈아 끼우고, 물리적 타당성은 시뮬레이터가 사후에 채운다.

배경: functional grasp이 왜 따로 어려운가

논문의 관련 연구(§II)는 두 갈래로 정리된다.

다지 파지와 functional grasp(§II-A). 고전적 접근은 힘 폐쇄 목적을 최대화하는 최적화이고(DexGraspNet, GenDexGrasp, ContactGrasp), 접촉 정보를 쓰거나 RL로 시뮬에서 전략을 익히는 계열(UniDexGrasp++, DexPoint)이 있다. 저자들의 지적은 간명하다 — 이들 대부분은 물체를 제자리에 붙들어 두는 power grasp을 목표로 삼지, 이후의 in-hand 조작을 가능하게 하는 functional grasp을 목표로 하지 않는다. 그래서 용도가 전혀 다른 물체들에 거의 같은 파지가 나온다. 기능적 파지를 배우려는 쪽은 깨끗한 주석이나 사람이 모은 데이터셋(ContactDB, OakInk, Wei et al. TRO 2024)에 의존하는데 비용이 크고, 사람 이미지·영상에서 affordance를 바로 배우려는 쪽(VideoDex, Bahl et al.)은 파지 품질 확보를 위해 결국 로봇 시연이 필요했다. LLM으로 기능적 접촉점을 추론하는 계열(ShapeGrasp)은 아직 다지 손에서 실증되지 않았다.

이미지·영상에서의 HOI(§II-B). MANO 같은 통계 손 모델과 트랜스포머 기반 회귀로 손 포즈 추정은 크게 발전했고, 물체 쪽은 voxel·mesh·point cloud·neural implicit 등 다양한 표현으로 단일 이미지 복원이 가능해졌다. 이를 결합한 HOI 공동 추론도 실용화 단계에 왔다. 가장 가까운 선행은 Singh et al.(2024)의 “Hand-Object Interaction Pretraining from Videos”인데, 복원 HOI에서 조작 prior를 배우되 downstream fine-tuning을 요구하고 functional grasp를 온전히 활용하지는 않는다는 것이 저자들의 차별화다.

정리하면 Web2Grasp의 빈칸은 “복원 HOI만으로, 추가 로봇 시연 없이, 다지 손의 functional grasp 모델을 끝까지 학습”이다.

방법 1: 웹 이미지에서 로봇 HOI까지 (§III-A)

파이프라인은 네 단계다.

(a) 크롤링. 카테고리 이름으로 “사람이 그 물체를 든 사진”을 무작위로 긁는다. 10개 카테고리 × 100장 = 1,000장.

(b) 손 복원. off-the-shelf FrankMocap으로 MANO 파라미터 (\theta, \beta)를 얻는다.

(c) 물체 복원과 교체. Ye et al.(CVPR 2022, “What’s in your hands?”)의 방법으로 손 포즈에 조건화된 SDF로 물체 형상을 추론한다. 그런데 이 메시는 가림이 심하거나 분포 밖 물체일 때 기하가 부정확하고 외관도 비현실적이다(Fig. 2(b)의 회색 드릴). 그래서 물체 이름을 텍스트로 넣어 MeshyAI·Genie로 생성한 정확한 메시를 ICP로 정렬해 갈아 끼운다. 저자들이 스스로 밝히는 목표는 “픽셀 단위로 정확한 물체 복원이 아니라, 로봇 손이 사람처럼 자연스럽고 기능적으로 상호작용하게 만드는 핵심 상호작용 단서의 보존”이다. 복원 기법 선택에는 agnostic이며 더 좋은 image-to-mesh가 나오면 그대로 이득을 본다고 덧붙인다.

(d) 리타게팅. MANO 손 포즈를 로봇 손 관절 q로 옮긴다. 로봇 링크의 키포인트와 MANO 대응점 사이 3D 위치 오차를 최소화하는 position-based optimization이다(DexPilot 계열). 최종 표현은 원점 중심의 물체 메시 + 손목의 상대 위치·자세와 손가락 관절을 담은 q.

웹 이미지로부터의 HOI 복원(Fig. 3). 좌→우: 원본 웹 이미지, 사람 HOI 메시 오버레이, 사람 HOI 메시 단독, 리타게팅된 로봇 손 + 정렬된 물체. 1~3행은 성공(Power Drill·Pen / Spray Bottle·Wine Glass / Syringe·Tongs), 4행은 실패(Lantern·Scissors).

리타게팅으로 얻은 파지가 물리적으로 말이 안 되는 이유는 세 겹이다 — 사람 손과 로봇 손의 embodiment gap, 손 검출의 부정확성, 웹 이미지의 물체와 갈아 끼운 타깃 메시의 불일치. 여기서 논문의 두 처방이 갈라진다.

방법 2: 왜 거리행렬인가 (§III-B)

첫 처방은 표현이다. 저자들의 논리는 “무엇을 정확히 알아야 하는가”의 문제로 세울 수 있다.

로봇 중심 모델(관절각 회귀)은 정확한 목표 관절 구성을 요구한다 → 리타게팅 오차가 그대로 라벨 노이즈가 된다.
물체 중심 모델(contact map)은 정확한 물체 형상을 요구한다 → 복원 메시가 부정확하면 접촉 맵이 엉뚱한 곳을 가리킨다.
interaction-centric 모델은 로봇 점과 물체 점 사이 상대 거리만 요구한다 → 절대 관절값도, 픽셀 정확한 형상도 필요 없고, “검지 끝이 이 지점에서 이만큼 떨어져 있다”는 관계만 맞으면 된다.

DRO는 이 셋째 자리에 있다. CVAE(Eisner et al.의 설계를 따름)가 다양한 손-물체 상호작용의 특징을 잡아 거리행렬을 예측하고, L1 손실로 학습하며, 추론 시엔 multilateration으로 목표 점군을 세우고 관절을 최적화한다.

이 선택이 노이즈 강건성으로 이어지는 직관은 오차의 국소성이다. 관절각을 직접 맞추면 손목의 작은 자세 오차가 손가락 끝에서 크게 증폭되지만, 거리행렬은 N_\mathcal{R}\times N_\mathcal{O}개의 중복된(over-determined) 제약이라 몇몇 항이 틀려도 multilateration 단계에서 평균적으로 상쇄된다. 다만 이것은 논문이 명시적으로 검증한 주장은 아니다 — DRO를 쓴다는 선택의 근거로 서술될 뿐, “관절 회귀 대비 얼마나 강건한가”의 ablation은 없다(비판 절에서 다시 다룬다).

방법 3: 두 번 거르기 (§III-C)

둘째 처방은 데이터다.

기하 필터링. 손-물체 메시 사이의 ① 낮은 관통 ② 낮은 이탈 거리 ③ 높은 접촉 비율에 임계값을 걸어 불가능한 파지를 버린다. 시뮬레이션을 돌리지 않고 메시 연산만으로 되는 값싼 단계다. 여기서 1,000개 → 96개(9.6%)로 줄어든다.

시뮬레이션 기반 평가. 96개로 학습한 초기 DRO를 IsaacGym에 넣어 파지를 대량 생성하고, 외력 외란을 가해 물체를 놓치는 것을 버린다. 성공 기준은 외란 하에서 물체 변위 2 cm 미만, 외란 크기는 물체 질량의 0.5배, 600 step 동안 \pm x, \pm y, \pm z 여섯 방향으로 순차 인가. 물체당 200개씩 살아남은 것을 모아 19물체 × 200 = 3,800개의 sim data가 된다.

여기서 눈여겨볼 지점이 하나 있다. 시뮬레이션 증강 단계는 웹 이미지 HOI가 존재하지 않는 물체에도 데이터를 만들어 준다. Teapot, Writing Brush처럼 복원 데이터가 없던 물체도, 웹 학습 모델이 몇 개만 성공적인 파지를 뽑아내면 그것을 씨앗으로 200개까지 불릴 수 있다. 웹 데이터는 기능성의 씨앗을, 시뮬레이터는 물리적 타당성과 양을 담당하는 분업이다.

실험: 무엇이 얼마나 개선되는가 (§IV)

평가 축은 세 개다. 복원 품질, 시뮬 파지, 실기.

복원 품질 (§IV-A, Table I)

DRO 원 데이터셋(합성)·OakInk(사람 수집)과 비교한다.

데이터셋	관통 깊이 [cm] (부피 [cm³]) ↓	이탈 거리 평균 [cm] ↓	접촉 비율 [%] ↑
DRO dataset	0.14 (1.44)	0.26	15.81
OakInk dataset	0.11 (0.62)	0.09	10.97
Full web dataset	1.11 (9.79)	0.18	11.36
Filtered web dataset	0.59 (4.85)	0.08	19.32
Sim dataset	0.01 (0.13)	0.14	1.44

읽는 법이 중요하다. 필터링 후 웹 데이터는 접촉 비율이 19.32%로 가장 높지만, 이것은 관통이 여전히 0.59 cm로 크기 때문에 부풀려진 값이다. 논문은 이 점을 인정하며 “관통이 낮을 때에만 높은 접촉 비율이 의미 있다”고 Table I 캡션에 못박는다. 반대로 sim data는 물리 엔진이 관통을 원천 차단하므로 접촉 비율이 1.44%로 떨어지는데, 저자들은 이것이 관통을 제거하고 나서 드러난 현실적인 접촉 비율이라고 해석한다. 전체적으로 균형이 가장 좋은 것은 여전히 사람이 모은 OakInk다 — 논문이 “웹 데이터가 더 좋다”고 주장하지 않는다는 점은 공정하다.

정성적으로는 Fig. 3의 4행이 한계를 보여 준다. 버킷의 얇은 손잡이는 복원에서 누락돼 로봇이 몸통을 쥐게 되고, 가위처럼 손가락을 구멍에 끼우는 상호작용 모드는 아예 복원되지 않는다. (본문은 “buckets”라 쓰고 Fig. 3 캡션은 실패 예로 “Lantern”을 적어 둔 것이 약간 어긋나 보인다.)

시뮬 파지 (§IV-B~C)

셋업은 ShadowHand + IsaacGym, 물체당 100회 시행. 학습 10카테고리(Power Drill, Pen, Microphone, Phone, Spray Bottle, Wine Glass, Tong, Syringe, Mug, Sword)와 기하는 다르되 기능적 파지 패턴이 비슷한 미지 9카테고리(Whip, Teapot, Axe, Remote, Torch, Hammer, Whisk, Soap Bottle, Writing Brush)로 나눈다. 예컨대 Spray Bottle(학습)과 Soap Bottle(테스트)은 “상단 트리거를 누르는” 파지를 공유한다.

기능성 지표는 두 개다. 하나는 FCR(Functional Contact Ratio) — 물체마다 기능 영역(드릴의 방아쇠, 스프레이의 분사 헤드)을 수동 주석하고, 손가락 정점과의 거리가 0.3 cm 미만이면 접촉으로 보아

\text{FCR} = \frac{|V_{\text{contact}} \cap V_{\text{functional}}|}{|V_{\text{functional}}|}

즉 기능 영역 중 실제로 닿은 비율이다(분모가 기능 영역임에 유의). 다른 하나는 인간 평가 — 19~52세 24명이 각자 10쌍의 방법 쌍을 비교해 “용도에 더 적합한 파지”를 고르고, 득표를 정규화해 점수를 낸다(4개 방법 점수의 합이 100이 된다).

전 물체에 대해 생성된 파지(Fig. 4). 1행은 웹 데이터 학습 시 본 물체, 2행은 웹 이미지 기준 미지 물체.

Q1 — 복원 웹 데이터만으로 학습이 되는가? 된다. 웹 데이터 96개로 학습한 모델이 학습 10물체에서 75.8%. 로봇 시연 0건으로 얻은 값이라는 점이 요지다. 다만 Sword가 24%로 유독 낮은데, 저자들의 설명은 “안정화 힘이 부족해 외란에 쉽게 흐트러진다”는 것이다.

Q2 — 미지 물체에서 베이스라인 대비?

방법	SR (%) ↑	FCR (%) ↑	Human Eval ↑
GenDexGrasp	20.6	6.81	6.4
DexGraspNet	39.6	3.58	19.6
DRO	33.4	3.53	26.3
Ours (Web data)	46.3	7.91	47.7

세 지표 모두 우위다. 해석에서 가장 날카로운 사례는 DRO다. 아키텍처가 우리와 완전히 동일한데 자기 원래(합성) 데이터로 학습했을 뿐인 모델이, Soap Bottle을 상단에 손가락을 얹지 않고 옆에서 쥐어 FCR이 낮게 나온다. 즉 성능 차이가 모델 용량이 아니라 데이터의 functional supervision 유무에서 온다는 것을 같은 아키텍처로 분리해 보인 셈이다 — 이 논문에서 가장 설득력 있는 비교다.

반대로 GenDexGrasp는 FCR이 6.81로 두 번째로 높은데 인간 평가는 6.4로 꼴찌다. 저자들의 설명은 “예측 파지가 물체 표면을 자주 관통해 손가락-물체 거리를 인위적으로 줄이고 FCR을 부풀린다”는 것이다. 이는 정성적 진단이며 관통량 수치로 뒷받침되지는 않았다(Table III에 관통 열이 없다). 다만 FCR과 인간 평가가 이렇게 크게 어긋난다는 사실 자체가, FCR이 단독으로는 신뢰할 수 없는 지표임을 논문 스스로 드러내는 셈이다.

주석된 기능 영역과 방법별 접촉 영역(Fig. 5). 첫 열은 Soap Bottle·Remote·Teapot·Writing Brush에 수동 주석한 기능 영역(노랑), 나머지 열은 각 방법의 예측 파지에서 손가락이 기능 영역과 닿은 부분(빨강).

Q3 — 시뮬 증강이 성공률을 올리면서 기능성을 지키는가? 19물체 평균이 61.8% → 83.4%. 개별로는 Teapot 12→99, Whisk 20→100, Axe 10→82, Sword 24→55로 극적이고, 반대로 Power Drill 98→92, Hammer 94→78, Remote 92→89처럼 살짝 떨어지는 물체도 있다(증강 데이터가 원래 잘되던 물체의 분포를 희석한 것으로 보이나, 논문은 이 하락을 따로 논의하지 않는다). 기능성 보존의 근거로는 FCR 8.37% → 7.42%를 든다 — “약간 줄었지만 웹 데이터에서 배운 기능적 파지 행동을 보존한다”는 서술이다. 다만 이 변화가 유의한지에 대한 통계는 없고, 인간 평가도 이 비교에는 적용되지 않았다.

실기 (§IV-D)

LEAP hand(22 DoF 출력: 손가락 16 + end-effector 6)와 Inspire hand(12 DoF: 손가락 6 + EE 6)를 각각 7-DoF 팔에 붙였다. 테스트 물체는 HOI 복원에 쓰인 것과 같은 스케일로 3D 프린트하거나(Tong, Syringe처럼) 크기가 비슷한 실물을 구했고, 따라서 메시를 알고 있는 상태에서 점군을 샘플링해 파지를 예측한다. 물체 자세는 FoundationPose로 추정한다. 팔 궤적은 손을 물체로 데려가도록 설계하고, 손가락을 편 채 접근한 뒤 예측 관절값으로 닫는다. 성공은 들어 올려 중력에 대항해 유지하는 것.

LEAP hand·Inspire hand 실기 파지와 성공률(Fig. 6). 1~2행 LEAP, 3행 Inspire. 물체당 10회 시행.

LEAP 8물체 평균 83.75%로, Power Drill·Microphone처럼 form-closure가 잘 잡히는 물체에서 강하고, Spray Bottle·Mug에서는 분사 헤드와 손잡이에 손가락을 얹는 기능적 파지가 나온다. Inspire는 Bowl 10/10, Plate 8/10인 반면 Knife 3/10, Fork 5/10. 저자들의 진단은 “부드러운 손가락 층 덕에 마찰·접촉 면적이 커서 작은 물체도 잡을 수 있지만, Fork·Knife는 크기가 작아 자세 추정 오차만큼 파지가 빗나가는 실패가 잦다”는 것이다. 즉 실패 원인이 파지 모델이 아니라 지각(FoundationPose) 쪽으로 돌려져 있는데, 이를 분리 검증한 실험은 없다.

합산 12물체 77.5% (= LEAP 67/80 + Inspire 26/40 = 93/120, 직접 검산 일치).

직관: 노이즈를 어디에 떠넘기는가

이 논문을 한 장의 그림으로 이해하면 “오차 예산의 재배치”다.

사람이 모은 데이터셋은 수집 단계에서 정확도를 확보하고 학습은 편하게 간다. Web2Grasp는 수집 단계를 공짜로 만드는 대신 그 오차를 세 곳에 나눠 떠넘긴다.

기하 오차 → 텍스트-3D 생성 메시. 복원 메시의 형상은 어차피 못 믿으니 아예 버리고, 카테고리 이름으로 만든 깨끗한 메시로 대체한다. 남기는 건 손과 물체의 상대 배치뿐이다.
라벨 오차 → 거리행렬 표현. 절대 관절값 대신 중복도 높은 점 쌍 거리를 학습 대상으로 삼아, 개별 오차가 최종 자세에 미치는 영향을 희석한다.
물리 오차 → 시뮬레이터. 관통·불안정은 학습 이전에 기하 필터로 90%를 날리고, 남은 것 중 물리적으로 버티는 것만 시뮬레이터가 인증한다.

그래서 9.6%라는 낮은 통과율은 이 설계에서 실패가 아니라 정상 동작에 가깝다. 웹 이미지는 데이터가 아니라 원광석이고, 파이프라인은 정련 공정이다. 90%를 버려도 원광석이 공짜라면 수지가 맞는다 — 다만 이 논리가 성립하려면 남은 10%가 “충분히 다양”해야 하는데, 96개라는 절대량이 그 조건을 만족하는지는 논문이 답하지 않는다.

비판적으로 보면

강점

아키텍처를 고정한 채 데이터 효과를 분리했다. DRO 베이스라인은 우리 모델과 같은 아키텍처를 쓰고 데이터만 다르다. SR 33.4 → 46.3, 인간 평가 26.3 → 47.7의 차이가 모델이 아니라 데이터의 functional supervision에서 왔다는 것이 이 한 줄로 깔끔하게 성립한다. 데이터 기여를 주장하는 논문이 갖춰야 할 가장 중요한 통제다.
자기 데이터의 약점을 숨기지 않는다. Table I에서 웹 데이터가 OakInk보다 한 자릿수 나쁜 관통을 그대로 보고하고, “필터링 후 접촉 비율이 높은 것은 관통 때문에 부풀려진 값”이라고 스스로 경고한다. 9.6%라는 통과율도 숨기지 않는다.
FCR의 한계를 자기 실험이 드러낸다. GenDexGrasp가 FCR 2위·인간 평가 꼴찌인 결과는, 기능성을 접촉 비율로만 재면 안 된다는 것을 보여 준다. 인간 평가를 병행한 설계가 이를 잡아냈다.
시뮬 증강의 부트스트랩 구조가 영리하다. 웹 HOI가 없는 물체(Teapot, Writing Brush)도 웹 학습 모델이 씨앗 파지를 뽑아내면 데이터로 불어난다. 데이터 소스의 카테고리 커버리지 제약을 우회하는 경로다.
두 개의 다른 손(LEAP 16 DoF, Inspire 6 DoF)에서 실기를 돌렸다. 파이프라인이 특정 손 형상에 묶이지 않는다는 최소한의 증거가 된다.

약점·한계

핵심 모델은 신규가 아니다. DRO(표현·CVAE·multilateration·관절 최적화)를 그대로 채택했고 논문도 “See Wei et al. for details”로 넘긴다. 실질 기여는 데이터 파이프라인이므로, 논문의 무게 중심이 “새 모델”이 아니라 “새 데이터 소스와 정제”임을 감안해 읽어야 한다.
“interaction-centric이 노이즈에 강건하다”는 핵심 전제가 검증되지 않았다. 이 주장이 §III-B 전체의 논거인데, 같은 웹 데이터로 로봇 중심(관절 회귀) 또는 물체 중심(contact map) 모델을 학습시킨 대조군이 없다. Table III의 DRO 비교는 데이터를 바꾼 비교이지 표현을 바꾼 비교가 아니다. 표현 선택에 대한 ablation의 부재가 이 논문의 가장 큰 구멍이다.
필터링 임계값이 공개되지 않았다. 관통·거리·접촉 비율의 임계값 수치가 본문에 없다. 9.6%라는 통과율이 임계값에 얼마나 민감한지, 더 느슨하게 잡아 200개를 남기면 좋아지는지 나빠지는지 알 수 없다. 코드도 비공개라 외부에서 확인할 방법이 없다.
실기 평가 프로토콜이 너그럽다. 테스트 물체의 메시를 이미 알고 있고(3D 프린트 또는 동일 크기 실물), 팔 접근 궤적은 수작업으로 설계하며, 성공 기준은 들어 올려 유지다. 즉 실기 실험은 “functional grasp 자세가 실제 하드웨어에서 성립하는가”를 재지, “기능을 수행할 수 있는가”(방아쇠를 실제로 당기는가, 분사가 되는가)를 재지 않는다. 논문의 정의대로라면 functional grasp의 최종 검증은 후속 조작이어야 하는데 그 실험은 없다.
미지 물체 성공률의 절대값이 낮다. Table III에서 우리 방법도 SR 46.3%다. 베이스라인 중 최고인 DexGraspNet(39.6%)보다는 낫지만, 미지 물체 파지가 절반도 성공하지 못한다는 뜻이다. 실용 수준과는 거리가 있다.
시뮬 증강의 기능성 보존 근거가 얇다. FCR 8.37% → 7.42%는 방향으로는 하락이고, 절대 변화폭도 작다. 시행 간 분산이나 신뢰구간이 없어 “보존됐다”와 “약간 악화됐다”를 구별할 수 없다. 인간 평가는 이 비교에 쓰이지 않았다.
지표의 스케일이 설명되지 않는다. FCR이 한 자릿수 %라는 것은 기능 영역의 대부분이 안 닿는다는 의미인데(분모가 기능 영역 전체이므로), 이 값이 “충분히 기능적”인 수준인지에 대한 기준선이 없다. 사람 파지의 FCR이 얼마인지 같은 상한 참조가 있었으면 해석이 훨씬 쉬웠을 것이다.
저자 스스로 밝히는 한계 3가지(§V): ① 얇은 손잡이(버킷)나 구멍에 손가락을 끼우는 상호작용(가위)에서 복원이 실패한다 — Trellis 같은 최신 image-to-mesh로 개선 여지를 남긴다. ② 물체당 파지 패턴이 거의 획일적이라 과제에 따라 다른 파지를 내지 못한다 — 언어 조건화를 향후 과제로 든다. ③ 실패 복원을 버리기만 하고 ContactOpt류 최적화로 되살리지는 않는다. 90%를 버리는 현 파이프라인에서 ③은 특히 아쉬운 지점이다.
코드·데이터셋이 비공개다. 프로젝트 페이지에 “Code (Coming Soon)”만 있어 정량적 재현 검증이 불가능하다. 공개되면 이 리뷰를 갱신해 필터링 임계값과 표현 ablation을 직접 확인해 볼 수 있다.

요약

Web2Grasp는 로봇 시연 없이 인터넷 사진만으로 functional grasp 모델을 학습시킨다. 핵심은 세 가지 떠넘기기다 — 부정확한 기하는 텍스트-3D 생성 메시로 대체하고, 라벨 노이즈는 interaction-centric 거리행렬 표현으로 희석하고, 물리적 타당성은 기하 필터(1,000→96개, 9.6%)와 IsaacGym 외란 검증(→3,800개)으로 사후 확보한다. 결과는 시뮬 19물체 83.4%, 미지 9물체에서 SR·FCR·인간 평가 전 지표 베이스라인 우위, 실기 12물체 77.5%다.

가장 설득력 있는 결과는 같은 아키텍처(DRO)를 데이터만 바꿔 이겼다는 것이다 — 기여가 데이터에 있다는 주장을 아키텍처 통제로 뒷받침했다. 가장 아쉬운 것은 그 반대편이다. “interaction-centric 표현이 노이즈에 강건하다”는 두 기둥 중 나머지 하나는 대조군 없이 채택 근거로만 서술됐고, 필터링 임계값도 공개되지 않았다. 실기 평가가 물체 메시를 알고 팔 궤적을 수작업한 상태에서 “들어 올리기”만 재는 것도, functional grasp이라는 정의에 비추면 절반의 검증이다.

그럼에도 “웹 이미지는 데이터가 아니라 원광석이며, 90%를 버려도 되는 정련 공정만 있으면 쓸 수 있다”는 이 논문의 태도는 데이터 수집 비용이 병목인 다지 조작 분야에서 충분히 값지다. 코드가 공개되면 필터링 임계값의 민감도와 표현 선택의 ablation부터 확인해 보고 싶다.