📃AutoDex 리뷰

dexterity

grasp

dataset

sim2real

retrieval

AutoDex: An Automated Real-World System for Dexterous Grasping Data Collection

Published

November 12, 2026

Paper Link (arXiv:2606.23689)
Code Link
Project
Dataset (Hugging Face) · Gallery
Mingi Choi, Gunhee Kim, Jisoo Kim, Taeksoo Kim, Taeyun Ha, Jongbin Lim, Hanbyul Joo
Seoul National University · RLWRLD / CoRL 2026 (arXiv v2)

💡 시뮬레이션은 dexterous grasp 후보를 무한히 만들어 내지만 실기에서 정말 들리는지는 보증하지 못하고, 원격조작은 실기 결과를 주지만 사람이 붙어 있어야 한다. AutoDex는 생성된 후보를 로봇이 직접 쥐어 보고, 성공/실패를 스스로 판정하고, 물체를 원하는 자세로 되돌려 놓는 루프 전체를 자동화해 이 둘 사이를 메운다.
⚙️ xArm6 + Allegro/Inspire 손을 20대 동기화 RGB 카메라가 둘러싼 1.5×1.5×2.5 m 셀에 넣고, BODex 후보 → 다시점 6D 자세 추정 → IK·충돌 필터 → 실행(학습된 residual-torque 충돌 감시) → lift-and-hold(5 cm, 3 s) 자동 라벨 → 목표 stable pose로 “집어서 내려놓는” reset을 반복한다. 쌓인 성공 grasp는 새 장면에서 검색(retrieval) 해 그대로 실행한다.
🎯 100개 물체에서 3,593회(성공 1,912 / 실패 1,681)를 모았고, 500회 수집 기준 사람 시간 0.2 h(원격조작 9.3 h), 벽시계 시간 10.3 h(원격조작 28.4 h)다. 실기 검증 DB에서 검색한 grasp는 76%, 시뮬 sanity 필터만 거친 후보는 34% 성공했다. 다만 수집한 데이터로 정책이나 grasp 평가기를 학습한 실험은 없고, 34%의 비교 기준은 저자 스스로 “검증용이 아니다”라고 적은 약한 필터다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 손 grasp 데이터를 모으는 길은 두 갈래다. 원격조작(teleop)은 실제 접촉 결과를 기록하지만 느리고 조작자의 버릇이 데이터에 그대로 묻는다. BODex 같은 최적화·시뮬 기반 생성기는 후보를 싸게 많이 만들지만, 후보가 IK가 풀리고 충돌이 없다는 것까지만 보증할 뿐 마찰·미끄러짐·손가락 패드 변형 같은 실제 접촉 물리를 견디는지는 보증하지 못한다(§1).

AutoDex의 주장은 단순하다. “생성기가 제안하고, 실기가 판정한다.” 그런데 실기 판정이 확장되려면 자세 추정, 실행 중 추적, 후보 선택, 안전 감시, 성공 판정, 장면 reset 중 어느 하나라도 사람이 하면 안 된다. 그래서 이 논문의 기여는 새 알고리즘이 아니라 이 여섯 단계를 끊김 없이 무인으로 돌리는 시스템이다(§1).

AutoDex 파이프라인(Fig. 1). 왼쪽부터 벽·상자·선반 같은 장면 제약 아래 생성된 grasp 후보 → 자동 수집 루프(물체 6D 자세 추정, grasp 검색, planning, 기록·라벨, reset) → 실기 성공/실패가 쌓인 AutoDex DB → 새 장면에서 검색한 grasp 실행.

프로젝트 페이지 첫 영상(페이지 표기 6배속). 셀 안에서 xArm이 물체를 쥐고 들어 올린 뒤 내려놓고, 다음 후보로 넘어가는 루프가 사람 없이 이어진다.

핵심 방법론:

루프의 두 핵심 판정은 식 하나와 규칙 하나다. 첫째, 무인 운전의 안전장치인 residual-torque 충돌 감시. 팔의 공장 충돌 감지기는 쥔 물체의 하중과 손의 관성 때문에 오경보를 내므로, 충돌 없는 동작으로 학습한 MLP가 “지금 자세·속도라면 나와야 할 토크”를 예측하고 실측 모터 토크와의 차이를 본다(§3.2).

\hat{\tau}_{\theta} = \mathrm{MLP}_{\theta}(q,\dot q), \qquad \tau_{\mathrm{res}} = \hat{\tau}_{\theta} - \tau_{\mathrm{motor}}

q,\dot q는 관절 위치·속도, \tau_{\mathrm{motor}}는 모터 전류에서 환산한 토크다. \tau_{\mathrm{res}}가 문턱을 일정 시간 넘으면 예기치 않은 접촉으로 보고 멈춘 뒤 end-effector 높이를 단조 증가시키며 홈 자세로 복귀한다. 둘째, 라벨 규칙. 다시점 영상으로 물체 6D 자세를 추적해 3 s hold 동안 물체가 처음 높이보다 계속 5 cm 이상 떠 있으면 성공, 아니면 실패다(§3.3).

reset은 “현재 stable pose P_i에서 집는 제약”과 “목표 stable pose P_j에 내려놓는 제약”을 하나의 충돌 장면으로 합쳐 두 끝점 모두에서 충돌 없는 grasp를 생성기에서 다시 뽑는 방식이다(§3.4). 물체를 떨어뜨려 운에 맡기는 대신 목표 자세로 직접 놓는다.

주요 결과:

DB 규모(§3.5): 100개 물체, 3,593회 = 성공 1,912 + 실패 1,681. Allegro 2,226회(성공률 39.4%), Inspire 1,367회(75.7%).
원격조작 대비 수집 비용(Fig. 5 왼쪽, 500회): 사람 시간 9.3 h → 0.2 h(추정치), 벽시계 28.4 h → 10.3 h, 개입 31회. 대신 수집 성공률은 원격조작 71.7% vs AutoDex 50.7%.
실기 검증의 효과(Fig. 5 오른쪽, 20개 물체, 515회): 검증 DB에서 검색한 grasp 76% vs 시뮬 sanity 필터만 거친 DB 34%. 장면별 격차는 cluttered에서 가장 크다.
reset(Fig. 6 왼쪽): 수동 낙하로는 거의 일어나지 않는 자세 전이(P(P_j\mid P_i)\approx 0)에서도 높은 reset 성공. Reorient + Passive Release는 5.3%에서 물체를 작업 공간 밖으로 튕겨 낸다.
카메라 수(Fig. 6 오른쪽): 20대 기준 자세와의 평균 ADD-S가 2대 14.3 mm → 16대 0.5 mm.

결론:

AutoDex는 “시뮬 후보 + 실기 판정”이라는 당연해 보이는 조합을 실제로 무인으로 돌아가게 만든 공학을 보여 준다. 충돌 감시와 pose-directed reset이 그 핵심 부품이고, 사람 시간 0.2 h라는 숫자가 그 결과다. 하지만 논문이 정량으로 보인 것은 “수집 비용”과 “한 번 성공한 grasp를 다시 쓰면 잘 된다”까지다. 이 데이터로 무언가를 학습하는 실험은 없고, 자동 라벨의 정확도도 재지 않았으며, 34%라는 비교 기준은 부록(v1)에서 “물리적 성공을 검증하려는 것이 아니다”라고 밝힌 약한 시뮬 필터다. 공개 코드를 읽어 보면 실시간 자동 라벨은 논문의 “3 s 동안 5 cm”가 아니라 “들어 올린 뒤 바닥 ChArUco 보드가 다시 다 보이는가”로 판정한다(아래 코드와 대조).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

다지 grasp 데이터의 병목은 “후보를 만드는 일”이 아니라 “후보가 실제로 되는지 확인하는 일에 사람이 붙어 있어야 한다는 것” 이다. AutoDex는 생성기를 그대로 두고 확인 쪽을 자동화한다. 20대 카메라가 손에 가린 물체를 계속 추적해 성공을 판정하고, 학습된 토크 모델이 사람 대신 비상 정지를 누르고, reset 모듈이 다음 후보를 시험할 수 있는 자세로 물체를 직접 옮겨 놓는다. 이렇게 모은 것은 정책이 아니라 “이 물체를 이 자세로 이렇게 쥐면 들렸다/안 들렸다”는 기록의 표 이고, 쓰는 방법도 학습이 아니라 검색이다. 이 글의 비평은 이 표가 얼마나 믿을 만한지(라벨), 이 표가 무엇을 증명했는지(76% vs 34%), 그리고 이 표로 아직 무엇을 하지 않았는지(학습)에 모인다.

배경: 왜 사람이 병목인가 (§1, §2)

저자들은 기존 수집 방식을 “규모 vs 물리적 타당성”의 trade-off로 정리한다(§1).

원격조작·사람 시연. 실제 접촉 결과가 남지만 느리고 피로에 묶이며, 접근 방향·손가락 배치가 조작자 선택에 편향된다. 관련 연구 절은 원격조작 데이터셋(RealDex, 같은 연구실의 HRDexDB 등), 사람 손 동작 캡처(DexCap 등), 손에 드는 장치(UMI, DexUMI), AR/VR 수집(DART, ARCap)을 묶어 “모두 시연마다 사람이 필요하다”고 정리한다(§2).
최적화·시뮬 생성. BODex, Dexonomy, DexGraspNet 계열은 후보를 싸게 많이 만든다. 관절 한계, IK, 강체 충돌, 경로 계획 가능성은 mesh와 보정이 정확하면 꽤 믿을 만하게 확인된다. 하지만 이것은 “실행 가능하다”까지이고 “쥐고 버틴다”는 아니다. 마찰, 미끄러짐, compliance, 손가락 패드 변형, 액추에이터 거동, 접촉력 분포가 결정하는 부분은 시뮬이 정확히 담기 어렵다(§1).
자율 실기 수집. QT-Opt, MT-Opt, AutoRT, RoboFuME 같은 자율 수집은 있었지만 정책이 만든 경험을 모으는 것이고 대부분 평행 그리퍼다. 시뮬로 생성한 다지 후보를 대량으로 실행·판정하는 일반 메커니즘은 없었고, 그 핵심 난제는 신뢰할 만한 성공 판정과 자세별 reset이라고 저자들은 본다(§2).

그래서 문제 정의는 “grasp 생성”이 아니라 “end-to-end 무인 수집” 이다. 사람이 끼는 지점이 하나라도 남으면 원격조작의 병목이 되살아난다는 것이 서론의 논지다(§1).

방법 ①: 후보 생성 (§3.1)

생성기는 모듈식이다. 물체 모델과 장면 명세를 받아 “물체 좌표계 wrist pose + 손 관절값” 후보 집합을 돌려주면 된다. 생성기는 기하·기구학적으로 실행 가능한 후보를 내는 데까지만 책임지고, 실제 접촉에서의 안정성은 AutoDex의 실기 시행이 판정한다.

이 논문은 BODex를 쓰고, 장면 명세를 벽(wall)·선반(shelf)·상자(box) 세 가지 평면 제약 primitive로 만든다. 한두 방향의 접근을 막되 손이 들어갈 수 없는 완전 밀폐는 뺀다. 물체의 stable tabletop pose 집합을 \mathcal{P}라 할 때, 각 P_i\in\mathcal{P}마다 primitive별 후보를 모아 \mathcal{G}_{\mathrm{cand}}(P_i)를 만든다. 실행 중에는 현재 stable pose의 후보만 고려하고, 시도 안 한 실행 가능 후보가 바닥나면 reset으로 다른 자세로 옮긴다.

프로젝트 페이지 Candidate Generation 영상. 한 물체의 여러 stable pose(와 yaw 변형)를 늘어놓은 뒤, 각 자세에 벽·선반·상자 제약을 씌우고, 그 제약 아래서 생성된 손 후보를 겹쳐 보인다.

v2 본문은 여기서 멈추지만, v1의 Supplementary(v2에서 통째로 빠졌다)에는 재현에 중요한 세부가 있다.

항목	v1 Supplementary의 서술
stable pose 정리	등록된 대칭축이 거의 수직(세계 z 성분 > 0.95)이면 한 자세로 정규화, 아니면 yaw 0·72·144·216·288°의 5개 변형
벽	물체에서 2·4·6·8 cm 떨어진 수직면
선반	옆벽·뒷벽·천장을 같은 간격으로
상자	물체 윗부분 5·8 cm만 테두리 위로 노출
BODex 시드	생성기 기준 유효 후보가 5개 이상 나올 때까지 N\in\{200,1000\}로 늘림
시뮬 sanity 필터	MuJoCo에서 pre-grasp → grasp → squeeze 후 0.1 N을 중력 방향으로 50 step 가해 물체가 5 cm 넘게 움직이면 기각. “physical grasp success를 검증하려는 것이 아니다”라고 명시
open pose	wrist를 고정하고 손가락별 최악 sphere clearance의 합을 최대화: q_{\mathrm{open}}=\arg\max_{q}\sum_f \min_{s\in\mathcal{S}_f} d_s(q;T_w)
squeeze	q_{\mathrm{sqz}} = c\,q_{\mathrm{grasp}}-(c-1)\,q_{\mathrm{pre}}, Allegro c=6, Inspire c=2, 관절 한계로 clip

두 가지가 눈에 띈다. 하나는 squeeze가 pre-grasp에서 grasp 방향으로 선형 외삽해 손가락을 접촉 너머로 더 밀어 넣는 것인데, Allegro는 그 거리를 5배 더 간다(c-1=5). 실기 성공률은 생성기 후보 자체만이 아니라 이 손별 상수에도 달려 있다는 뜻이다(공개 코드의 현행 기본값은 이와 다르다. 코드와 대조). 다른 하나는 sanity 필터의 정의다. 이 필터가 뒤에서 “model-screened” 비교 기준이 되는데, v2 본문은 그 이름만 쓰고 정의는 빠져 있다(실험 ② 절).

방법 ②: workcell과 충돌 감시 (§3.2)

AutoDex workcell과 실행 예(Fig. 2). 왼쪽은 6-DoF xArm과 교체형 다지 손, 20대 동기화 RGB 카메라가 달린 LED 조명 셀. 오른쪽은 벽·선반·상자 제약에서 생성된 후보와 그 실기 실행을 여러 시점에서 나란히 보인 것.

구성	사양(출처)
팔	6-DoF xArm(xArm6, v1 Supp.)
손	16-DoF Allegro Hand 또는 6-DoF Inspire Hand, 표준화된 팔-손 결합부로 교체
셀	1.5 × 1.5 × 2.5 m, LED 조명
카메라	RGB 20대, 2048 × 1536, 30 FPS, sub-millisecond 하드웨어 트리거
보정	내부 파라미터는 ChArUco로 장착 전, 세션별 외부 파라미터는 COLMAP + hand-eye. 재투영 오차 0.2~0.5 px(v1 Supp.)
로봇 제어기	120 Hz로 팔·손의 관절 위치·속도·토크·모터 전류·명령값 스트리밍
시간 정렬	보정된 로봇-카메라 timestamp offset
충돌 감시	residual-torque MLP(아래)

충돌 감시가 왜 필요한가. 무인으로 돌리려면 예기치 않은 접촉에서 스스로 멈춰야 한다. 그런데 팔의 내장 충돌 감지기는 쥔 물체가 지속적인 외부 하중으로 보이고, 손이 end-effector 관성을 바꿔 오경보를 냈다. 그래서 같은 팔-손 조립체의 충돌 없는 동작으로 “정상 토크” MLP를 학습하고 잔차를 본다(위 Ping의 식). 오경보를 줄이려고 감시는 테이블·장면 근처로 내려가는 구간처럼 접촉이 위험한 구간에서만 켠다. 감지되면 멈추고, end-effector 높이를 단조 증가시키며 홈 자세로 복귀하는 경로를 다시 계획한다.

본문은 문턱을 “preset safety threshold”라고만 쓰지만, v1 Supplementary에는 구현이 구체적으로 나와 있다. 학습 데이터는 cuRobo로 미리 충돌을 걸러 낸 정적·동적 궤적, 모델은 100 KB 미만의 작은 MLP, 서보 루프 100 Hz에서 CPU로 약 30 µs, 동작 직전 짧은 정적 baseline을 빼서 drift를 흡수, 어깨 관절 J_1,J_2의 잔차가 30 N·m를 50 sample(약 0.5 s) 넘으면 접촉. 들어 올리는 동작에서는 쥔 물체 하중과 구분이 안 되므로 끈다.

residual-torque 접촉 감지 예(v1 Supplementary). 쥔 물체를 내려놓다가 예상보다 일찍 테이블에 닿은 두 장면. 감시기가 접촉을 잡아 하강을 멈췄다. v2에는 실리지 않은 그림이다.

v1 Supplementary는 이 장치가 실제로 필요했다는 운용 기록도 남겼다. 감시 없이 돌린 초기 1,870회 실행에서 충돌 두 번이 팔-손 결합 어댑터를 망가뜨렸고, 감시를 켠 뒤로는 손상이 없었다. 감시기는 전체 시행의 2.7%(접근 중)와 8.9%(내려놓기 중)에서 팔을 멈췄는데, 눈에 보이는 접촉은 각각 0.3%와 3.1%였다. 나머지는 접촉 없는 보수적 중단이다. 저자들은 “중단은 시행 하나를 건너뛸 뿐이지만 놓친 충돌은 로봇을 망가뜨린다”며 이 보수성을 의도된 것으로 본다. 다만 이 수치는 v1에만 있고 v2 본문에는 없다. 놓친 충돌(false negative)의 비율은 어느 판에도 없다. 공개 코드의 문턱은 v1의 30 N·m와 다르고 구간별로 갈린다(코드와 대조).

방법 ③: 무인 수집 루프 (§3.3)

한 바퀴는 다음과 같다(§3.3).

Perceive: 다시점 영상으로 물체 6D 자세를 추정하고 현재 stable pose P_i를 판별한다.
Filter: \mathcal{G}_{\mathrm{cand}}(P_i)를 로봇 좌표로 옮겨 팔 IK 해가 없거나 충돌하는 후보를 뺀다. 시도 안 한 실행 가능 후보가 없으면 reset으로 간다.
Select: 시도 안 한 실행 가능 후보 하나를 고른다.
Execute: 물체·테이블과의 clearance를 최대화한 open-hand 자세로 wrist pose까지 충돌 없는 경로를 계획해 접근, pre-grasp → grasp(→ squeeze) 후 들어 올려 일정 시간 버틴다.
Label: 기록된 다시점 영상에서 6D 자세를 추적해 “3 s hold 동안 계속 5 cm 이상”이면 성공.
Save & place: 실행 계획, 다시점 영상, 추적한 물체 자세, 카메라 보정, timing, 장면 정보, 라벨을 저장하고, 물체를 테이블에 내려놓은 뒤 루프 처음으로 돌아간다. 실행한 후보는 이 stable pose에서 “시도함”으로 표시한다.

프로젝트 페이지 Perceive 영상. 동기화된 여러 시점에서 물체 mask를 예측하고, 시점별 추정 중 하나를 초기 자세로 골라 silhouette으로 정렬한 뒤 최종 자세를 모든 시점에 겹쳐 그린다.

v1 Supplementary는 이 자세 추정을 SAM3 mask → 시점별 FoundPose 가설 → 전 시점 silhouette-mask IoU로 최선 가설 선택 → 합의에서 벗어난 시점 제거 → silhouette 최적화로 정제한다고 적는다. 그리고 중요한 사실 하나. 성공/실패 라벨은 실시간 루프가 아니라 사후(post hoc)에 기록 영상 위에서 multi-view GoTrack으로 자세 궤적을 추정해 붙인다. 실행 지연을 늘리지 않으려는 설계다. 다만 공개 코드의 실시간 자동 라벨은 이와 다른 기준을 쓴다(코드와 대조).

Select 단계의 서술이 판본마다 다르다. 논문은 “시도 안 한 실행 가능 후보를 고른다”고만 쓴다. 그런데 프로젝트 페이지는 “남은 장면 조건을 가장 많이 덮는 실행 가능 grasp를 고르고, 성공하면 그 grasp가 덮는 조건들을 모두 완료로 표시해 한 번의 실기 시행이 여러 장면의 몫을 하게 한다” 고 설명한다. 아래 영상에도 후보마다 덮는 조건 수가 숫자로 붙어 있다. 이 coverage 기반 선택은 수집 효율을 좌우하는 설계인데 논문 어느 판에도 없다. 공개 코드에는 오프라인 greedy set cover 정렬로 들어 있다(코드와 대조).

프로젝트 페이지 Select(위)와 Execute(아래) 영상. 위: 왼쪽 열의 후보 grasp마다 덮는 장면 조건 수가 붙어 있고, 오른쪽 격자는 벽·선반·상자 조건 중 완료된 칸을 초록 테두리로 표시한다. 아래: 고른 후보를 실행해 들어 올리고, 성공하면 체크 표시와 함께 기록·추적 결과가 쌓인다.

방법 ④: pose-directed reset (§3.4)

후보는 stable pose별로 인덱싱돼 있으므로, 한 자세의 후보가 바닥나면 물체를 특정 다른 자세로 옮겨야 한다. 굴려 떨어뜨리는 것으로는 안 된다. AutoDex는 시도 안 한 후보가 남은 도달 가능한 자세 중 가장 덜 본(least-seen) P_j를 고르고, 다음처럼 reset grasp를 만든다(§3.4).

P_i에서 집는 제약과 P_j에 내려놓는 제약을 하나의 충돌 장면으로 합친다. 이 장면에서 충돌 없는 grasp는 두 끝점 모두와 기하적으로 양립하므로, 같은 손-물체 grasp로 집고, 들어 돌리고, P_j로 내려놓고, 놓고, 빠질 수 있다(direct placement).
접시·쟁반 같은 납작한 물체는 두 제약을 동시에 만족시키면 손이 들어갈 공간이 없다. 그래서 내려놓는 끝점을 완화해 목표 자세보다 높이 h에서 놓게 한다. 이때 놓은 뒤 떨어지는 물체가 손가락에 닿으면 최종 자세가 흐트러지므로, 물체 아래에 가상의 지지 기둥(virtual support pillars) 을 충돌 형상으로 넣어 낙하 영역을 침범하는 grasp를 배제한다.
h=0부터 시도하고 해가 없을 때만 높인다. 실제로 전이에 성공한 reset grasp는 자세 쌍별로 캐시해 재사용한다.

reset 예(Fig. 3 왼쪽). 위: 캔을 눕힌 자세에서 세운 자세로 직접 내려놓기. 아래: 납작한 도넛형 물체는 낙하 영역에 가상 기둥(노란 원기둥)을 세워 손가락이 들어가지 않는 reset grasp를 고르고 높이를 두고 놓는다. 각 행 첫 칸이 합친 충돌 장면에서 생성한 reset grasp다.

프로젝트 페이지 Reset 영상. 현재 자세와 목표 자세의 제약을 합친 장면에서 reset grasp를 만들고, 실기에서 집어 돌린 뒤 목표 자세로 세워 놓는다.

방법 ⑤: DB와 retrieval 기반 실행 (§3.5)

수집 결과는 다음과 같다(§3.5).

항목	값	필자 검산
전체 시행	3,593	1,912 + 1,681 = 3,593 ✓
성공 / 실패	1,912 / 1,681	전체 성공률 53.2%
Allegro	2,226회, 성공률 39.4%	약 877회 성공
Inspire	1,367회, 성공률 75.7%	약 1,035회 성공(합 1,912 ✓)
물체	100개 가정용품, 80% 넘게 IKEA	재질: 플라스틱·금속·나무·실리콘·종이·테이프·세라믹
시행당 기록	실행 계획, 다시점 영상, 추적한 물체 자세, 카메라 보정, timing, 장면 정보, 라벨

100개 물체 라이브러리(v1 Supplementary). v1은 무게 범위를 50 g 미만 용기부터 500 g 넘는 주방 도구까지로 적는다.

배치(deployment)는 학습이 아니라 검색이다. 보정된 RGB 카메라 4대로 목표 물체의 6D 자세와 주변 장애물 형상을 추정한다. SAM3로 mask, FoundationPose(arXiv:2312.08344)로 초기 자세, 다시점 silhouette로 정제, Depth Anything 3로 주변 형상을 복원한다. 그다음 그 물체의 성공 grasp를 DB에서 꺼내 작업 공간 좌표로 옮기고, 장애물과 부딪히지 않는 팔 궤적이 존재하는 첫 번째 grasp를 실행한다. 저자들은 이것이 “정책 학습이나 추가 실기 시행 없이” 새 장면에서 실행하는 방법이라고 강조한다.

retrieval 기반 실행(Fig. 4). 왼쪽: 캔 상자, 그릇 속 사과 같은 목표 장면. 가운데: DB에서 꺼낸 성공 grasp(위, 수집 당시 실기 장면)를 목표 장면에서 충돌·도달성 검사(아래). 빨강은 충돌로 기각, 초록은 실행할 grasp. 오른쪽: 실기 실행.

한 가지 덧붙이면, Fig. 1의 “In-the-wild Execution” 사진은 셀 안의 xArm과 외형이 다른 흰색 7축 팔(Franka 계열로 보인다)이 주방·좌석 장면에서 실행하는 모습이다. 다른 팔에서 실행했다면 “물체 좌표계 wrist pose를 저장하므로 팔에 무관하게 재사용된다”는 흥미로운 주장이 되지만, 본문은 배치 로봇이 무엇인지 쓰지 않는다. 공개 코드에는 FR3(7축) + Inspire 조합을 고르는 선택지가 있어 다른 팔에서 실행했을 가능성과 부합하지만, Fig. 5의 정량 평가가 어느 팔·어느 손에서 이뤄졌는지는 여전히 적혀 있지 않다.

직관: “검증을 학습 대신 필터로 쓴다”

AutoDex의 아이디어는 시뮬 생성기의 출력 분포를 실기 결과로 거르는 rejection sampling으로 보면 가장 잘 이해된다(필자의 해석). 생성기는 기하적으로 그럴듯한 후보를 넓게 뿌리고, 실기가 접촉 물리라는 “진짜 likelihood”로 하나씩 채점한다. 통과한 것만 남기면, 남은 집합은 적어도 그 물체·그 손·그 셀의 조건에서는 실기 분포 안에 있다.

이 관점에서 보면 두 가지가 자연스럽게 따라 나온다.

76% vs 34%는 놀랍지 않은 방향의 결과다. 실기에서 한 번 들린 grasp를 다른 배치에서 다시 쓰면 잘 되는 것이 당연하고, 실험이 재는 것은 “그 당연함이 장면이 바뀌어도 얼마나 유지되는가”다. cluttered 장면에서 검증 DB가 80~90%를 유지한 것이 그 답이다.
이 방식은 일반화를 저장하지 않는다. 표는 물체별·손별이다. 새 물체가 오면 그 물체로 다시 수집해야 한다. 저자들도 결론에서 retrieval은 “DB에 있는 물체와 손의 범위 안에서” 유효하다고 한정한다(§5). 실패 1,681회는 바로 이 한계를 넘는 재료, 즉 실기 라벨로 grasp 평가기나 생성기를 학습하는 재료인데, 논문은 그 단계로 가지 않는다.

reset도 같은 시선으로 보인다. Naive Drop은 “어디로 떨어질지는 물리에 맡긴다”, AutoDex의 reset은 “생성기에게 집기와 놓기를 동시에 만족하는 grasp를 묻는다”. 생성기를 데이터 수집 대상뿐 아니라 수집 인프라의 부품으로도 쓰는 것이 이 시스템의 영리한 지점이다.

실험 ①: 원격조작 대비 수집 비용 (§4.1)

평가는 100개 중 “대표” 20개 물체 부분집합에서 하고, 성공 기준은 수집과 같은 5 cm/3 s다(§4). 500회 수집 비교는 Fig. 5 왼쪽 표다.

	Teleop.	AutoDex
벽시계 시간 (h)	28.4	10.3
로봇 시간 (h)	8.3	10.1
사람 시간 (h)	9.3	0.2
개입	항상	31
성공률	71.7%	50.7%
평균 관절 jerk (rad/s³)	13.7	10.7
접근 방향 다양성	60°	82°

본문 설명은 이렇다. 원격조작의 사람 시간 9.3 h는 연속 조작 8.3 h + 슈트 착용·준비 1.0 h이고, AutoDex의 0.2 h는 물체 배치와 복구에 드는 추정 사람 시간이다. 벽시계 시간은 원격조작에 “표준 8시간 근무일”을 가정한 추정이다. jerk는 속도 smoothing 후 측정, 접근 방향 다양성은 같은 물체의 grasp 쌍 사이 접근축 평균 각도를 34개 공통 물체에서 구한 값이다.

수집 루프 시간 구성(Fig. 3 오른쪽, 500회). 한 바퀴 평균 48.2 s 중 실행 51.5%(24.8 s), retract 24.6%(11.9 s), 인식 16.1%(7.8 s), 경로 계획 7.8%(3.8 s).

몇 가지를 표의 숫자로 직접 계산해 보면 이 비교가 무엇을 말하고 무엇을 말하지 않는지 선명해진다(필자 계산).

시행당 속도는 AutoDex가 더 느리다. 로봇 시간 기준 원격조작 8.3 h/500 = 시행당 약 60 s, AutoDex 10.1 h/500 = 약 73 s다. 벽시계 기준 AutoDex는 10.3 h/500 = 약 74 s/시행이다. 이득은 시행을 빨리 해서가 아니라 사람의 휴식·퇴근 없이 연속으로 돌아서 나온다. v1 본문도 같은 말을 했다(“individual robot executions have comparable duration”).
루프 48.2 s와 시행당 약 73 s 사이에 약 25 s가 비어 있다. 원 그래프는 “fully executed trials”의 grasp 실행 루프만 잰 것이고, 내려놓기·자세 재추정·reset·중단된 시행의 시간은 들어 있지 않은 것으로 보인다(필자 추정). 논문은 이 차이를 설명하지 않는다.
성공 grasp 기준으로 보면 격차가 줄어든다. 성공 수는 원격조작 약 359개, AutoDex 약 254개다. 벽시계 시간당 성공 grasp는 원격조작 약 12.6개, AutoDex 약 24.6개로 약 2배, 사람 시간당은 약 38.5개 vs 약 1,270개다. 벽시계 기준 이득은 “2.8배 빠르다”보다 “성공 grasp 기준 약 2배”가 정확하다. 다만 AutoDex는 실패도 데이터라고 주장하므로 어느 분모가 맞는지는 쓰임새에 달렸다.

v1과 v2 사이에 이 비교의 헤드라인이 바뀌었다. v1(2026-06-22)의 초록과 본문은 “같은 workcell에서 matched 500회 수집, AutoDex 10.3 h vs 원격조작 49.4 h, 4.8배 throughput 향상”이었다. v2(2026-11-04)는 49.4 h를 지우고 “사람 시간 0.2 h vs 9.3 h, 벽시계 10.3 h vs 28.4 h”로 바꿨다. 49.4/10.3 = 4.80이고 28.4/10.3 = 2.76이므로 벽시계 배수가 4.8배에서 약 2.8배로 내려간 셈이다.

v1의 throughput 그림(v1 Fig. 5 왼쪽, v2에서 제거). 원격조작(파랑)은 수집 구간의 기울기가 AutoDex(빨강)와 비슷하고, 큰 계단은 작업 중단 구간이다. v1은 이것을 “operator fatigue and end-of-day stops”로 설명했다.

v1의 49.4 h는 실측 누적 곡선이었고 그 큰 몫이 밤사이 같은 중단이었다. v2의 28.4 h는 “8시간 근무일” 가정으로 다시 계산한 추정치다. 바꾼 이유는 적혀 있지 않다. 그리고 28.4 h가 9.3 h의 사람 시간과 8시간 근무일에서 어떻게 나오는지 산출식도 없다(예: 하루 8 h 일하고 16 h 쉰 뒤 남은 1.3 h를 하면 25.3 h다). 사람 시간이라는 축으로 옮긴 것은 이 시스템의 가치를 더 정확히 짚는 개선이지만, 벽시계 배수는 측정이 아니라 모델링 가정에 의존하는 값이 됐다.

나머지 두 지표에도 주의가 필요하다. 접근 방향 다양성 82° vs 60°는 AutoDex 후보가 벽·선반·상자 제약으로 접근 방향이 강제로 분산되도록 생성된 것이라 어느 정도는 설계의 결과다. 원격조작이 어떤 장면에서 수집됐는지는 적혀 있지 않다. jerk는 “after velocity smoothing”이라고만 쓰여 있어 두 쪽에 같은 smoothing을 적용했는지 알 수 없다. 원격조작 쪽 데이터가 어떻게 수집됐는지(조작자 수, 숙련도, 인터페이스)도 없다. “suit”라는 표현과 같은 연구실의 HRDexDB가 Xsens + MANUS 원격조작으로 같은 규모(100개 물체)의 데이터를 모았다는 점으로 보아 그 체계일 가능성이 있지만(필자 추정), 논문은 밝히지 않는다.

실험 ②: 실기 검증이 DB 품질을 얼마나 바꾸나 (§4.2)

같은 생성기 출력에서 두 DB를 만든다(§4.2).

model-screened DB: “simulation sanity pre-filter”만 거친 생성 후보. 실기 검증 없음.
AutoDex-validated DB: 자동 수집에서 실제로 실행돼 lift-and-hold를 통과한 후보만.

각 시험 물체 자세·장면에서 §3.5의 retrieval 절차(작업 공간 좌표 변환 → 충돌 없는 팔 계획 필터 → 실행)를 똑같이 적용한다. 장면은 tabletop·wall·cluttered 셋, 20개 물체, 총 515회다.

실기 검증의 효과(Fig. 5 오른쪽). 파랑은 실기 검증 없는 DB, 빨강은 AutoDex 검증 DB에서 검색한 grasp의 실기 성공률을 재질·장면·무게 범주별로 보인 것. 전체는 76% vs 34%.

논문은 범주별 막대값을 숫자로 주지 않는다. 그림에서 막대 높이를 읽으면 다음과 같다(그림 판독값, 약 ±1%p).

범주	w/o Real Valid.	w/ Real Valid.
재질: 나무	≈19	≈67
재질: 플라스틱	≈52	≈73
재질: 금속	≈31	≈76
재질: 종이	≈43	≈90
장면: Table	≈37	≈82
장면: Wall	≈13	≈67
장면: Cluttered	≈7	≈87
무게: Light	≈59	≈74
무게: Middle	≈18	≈74
무게: Heavy	≈22	≈84
전체(본문)	34	76

모든 범주에서 검증 DB가 높다는 본문 서술은 그림과 맞는다. “cluttered에서 격차가 가장 크고 검증 DB가 80~90%를 유지한다”도 맞는다. 하지만 표를 놓고 보면 몇 가지가 걸린다.

1. 기준선의 정체. 비교 기준인 “simulation sanity pre-filter”는 v2 어디에도 정의가 없다. v1 Supplementary가 정의를 준다. MuJoCo에서 0.1 N의 외력을 50 step 가해 5 cm 넘게 움직이면 버리는 필터이고, 저자들 스스로 “deliberately weak”, “not intended to validate physical grasp success” 라고 썼다. 즉 34%는 “시뮬에서 검증한 grasp”의 실기 성공률이 아니라 “사실상 거르지 않은 생성기 원출력” 의 실기 성공률에 가깝다. 그런데 v2 초록은 이를 “candidates screened only in simulation” 이라 부른다. 독자는 “시뮬 검증 vs 실기 검증”으로 읽기 쉽다. BODex 자체가 MuJoCo 벤치마크로 grasp를 평가하고, BODex 논문은 그 데이터로 학습한 모델이 Shadow Hand 실기 20개 물체에서 81%라고 보고한다. 이처럼 더 강한 시뮬 검증(외력 시험, 시뮬 lift 시험)이나 학습된 grasp 평가기를 기준선으로 두었어야 “시뮬로는 안 되고 실기 검증이 필요하다”는 sim-vs-real 주장이 성립한다. 지금의 실험이 보인 것은 “실기 검증 > 거의 무검증”이다.

2. 전체 34%와 장면별 막대의 정합성. 장면 막대 셋(≈37, ≈13, ≈7)이 모두 34% 근처이거나 그보다 낮다. 전체 34%가 시행 가중 평균이라면, 기준선 시행의 약 88% 이상이 Table 장면이어야 산술이 맞는다(나머지를 전부 Wall의 13%로 잡아도 (34-13.3)/(36.7-13.3)\approx 0.885, 필자 계산). 장면별 시행 수가 그렇게 치우쳤거나, 범주 막대와 전체 값이 다른 집계에서 나왔을 수 있다. 논문은 515회를 두 DB·세 장면·20개 물체에 어떻게 나눴는지, 어느 손으로 했는지 밝히지 않아 판정할 수 없다.

3. 무엇을 재는 실험인가. 검증 DB의 grasp는 같은 물체 인스턴스, 같은 손, 같은 셀에서 한 번 성공한 것들이다. 그러니 76%는 “실기 검증이 일반적으로 grasp 품질을 높인다”기보다 “한 번 성공한 grasp의 재현성과 새 배치로의 이식성” 을 잰 것이다. 이것도 의미 있는 숫자지만, 새 물체로의 일반화는 이 실험의 범위 밖이다.

4. 수집 성공률과의 관계. 검증 DB는 수집 성공률(500회 기준 50.7%, 전체 53.2%)의 절반가량에서 걸러 낸 결과다. 76%는 “한 번 성공한 grasp가 다시 시도될 때 약 4번 중 3번 성공”한다는 뜻이고, 같은 grasp를 반복 실행했을 때의 성공 분산(라벨 잡음 포함)은 따로 측정되지 않았다.

실험 ③: reset 전략 (§4.3)

세 전략을 비교한다. Naive Drop은 들어 올려 놓아 버린다. Reorient + Passive Release는 손 안에서 목표 자세 쪽으로 돌린 뒤 테이블 위에서 놓는다. Stable Reorient Placement(AutoDex)는 목표 자세로 테이블에 내려놓은 뒤 놓는다. 자세 전이의 난이도는 수동 전이 확률 P(P_j\mid P_i)로 잰다. 물체를 P_i에서 반복해 떨어뜨려 P_j가 나오는 빈도다. reset 성공은 물체가 목표 P_j에 도달한 것으로 정의한다.

reset 전략 비교(Fig. 6 왼쪽). 가로축은 수동 전이 확률, 세로축은 reset 성공률. 회색 원(Naive)은 정의상 y=x 위에 있고, 빨간 사각형(Ours)은 P(P_j\mid P_i)\approx 0인 어려운 전이에서도 높다.

그림에는 전이 9개가 찍혀 있다. 판독값을 표로 옮기면 다음과 같다(그림 판독값, 가로축은 대략값).

P(P_j\mid P_i)	Naive	Reorient+Drop	Ours
≈0	0	0.40	1.00
≈0.02	0	0.25	0.88
0.10	0.10	0.36	1.00
0.22	0.22	0.22	0.82
0.36	0.36	0.14	0.75
≈0.48	0.50	1.00	1.00
≈0.52	0.50	1.00	1.00
0.70	0.70	0.44	1.00
0.80	0.80	0.50	0.92
단순 평균(필자 계산)	0.35	0.48	0.93

AutoDex reset이 전 구간에서 높다는 결론은 그림 그대로다. 그런데 몇 가지는 본문이 다르게 말하거나 말하지 않는다.

Naive Drop은 독립된 비교군이 아니다. 가로축 자체가 “떨어뜨려 나온 빈도”이므로 Naive의 성공률은 정의상 가로축과 같다. 본문도 “by construction”이라 적는다. 실질적 비교군은 Reorient + Passive Release 하나다.
Reorient + Passive Release는 9개 중 3개 전이(0.36, 0.70, 0.80)에서 그냥 떨어뜨리기보다 나쁘다. 본문은 “일부에서 Naive보다 낫지만 수동 기준선에 가깝다”고만 요약한다. 돌려서 놓는 동작이 오히려 원래 잘 나오던 자세를 망가뜨리는 경우가 있다는 뜻이고, 5.3%의 작업 공간 이탈과 함께 “손 안에서 돌리고 놓는” 방식의 불안정성을 보여 준다.
분모가 없다. 전이당 시행 수, 물체 수, 어떤 물체·자세 쌍인지가 보고되지 않았다. 0.875·0.75 같은 값은 전이당 4~8회 안팎의 시행을 시사한다(필자 추정). 9개 점은 3,593회 규모의 수집과 비교하면 작은 평가다.
reset의 실제 운용 통계가 없다. 수집 중 reset이 몇 번 시도됐고 몇 번 실패해 사람이 개입했는지(31회 개입 중 몇 번이 reset 때문인지)는 보고되지 않았다.

실험 ④: 카메라 수와 자세 신뢰도 (§4.4)

20대로 정제한 자세를 기준으로 삼고, 무작위 k대 부분집합으로 다시 정제해 기준과의 평균 ADD-S를 잰다(5개 물체, 51회).

카메라 수에 따른 자세 자기일관성(Fig. 6 오른쪽). 20대 기준 자세와 k대 자세 사이의 평균 ADD-S(로그 축). 본문 수치는 k=2 14.3 mm, k=16 0.5 mm이고, 그림에서 읽으면 k=4 약 1.6 mm, k=8 약 1.1 mm다.

본문은 k=2의 큰 오차가 무늬 없거나 얇은 물체의 가끔 나는 파국적 실패 때문이고, 그 꼬리는 k=8이면 거의 사라진다고 설명한다. 해석할 때 주의할 점이 둘 있다.

정확도가 아니라 자기일관성이다. 캡션 그대로 “pose self-consistency relative to the 20-camera reference”다. ground truth 대비 오차가 아니다. 게다가 k=16 부분집합은 기준을 만든 20대 중 16대를 공유하므로 0.5 mm가 작게 나오는 것은 상당 부분 구조적이다.
결론과 한계 절이 어긋난다. v2 한계 절은 “the collection pipeline also operates with as few as two cameras” 라며 작은 셋업으로도 수집할 수 있다고 쓴다. 그런데 이 실험에서 2대는 평균 14.3 mm에 파국적 실패를 포함하는 설정이고, 2대로 실제 수집해 본 결과(라벨 정확도, 수집 성공률)는 없다. v1 한계 절은 반대로 “가장 높은 throughput 설정은 여전히 다시점 셀에 의존한다”고 썼다.

카메라 수에 따른 물체 표면 가시 비율(v1 Supplementary, v2에서 제거). 24대 후보 리그에서 최적 k대 부분집합 기준이며, 로봇이 있을 때(빨강) 가림 때문에 늘 낮다. 약 8대에서 포화된다.

이 데이터로 무엇을 학습했나

서두에 “Learning robust dexterous grasping requires data…”로 시작하는 논문이지만, 수집한 3,593회로 정책, grasp 생성기, grasp 평가기 중 어느 것도 학습하지 않는다. 하류 활용은 retrieval 하나이고 저자들도 그것을 “without policy training”이라 강조한다. 따라서 아래 질문들은 모두 답이 없다.

실패 1,681회를 포함한 실기 라벨로 grasp 평가기를 학습하면 시뮬 라벨로 학습한 평가기보다 나은가?
이 데이터로 생성기를 fine-tune하면 처음 보는 물체에서 실기 성공률이 오르는가?
동기화된 다시점 영상과 로봇 상태 궤적(이 데이터셋의 차별점)은 어떤 학습에 쓰이는가?

데이터셋 논문으로서 이것이 결함은 아니다. 하지만 서론의 동기(“robust dexterous grasping을 학습하려면”)와 실험의 범위(“한 번 성공한 grasp를 다시 쓰면 된다”) 사이의 거리는 독자가 알고 읽어야 한다.

정량 검증 / 서술만 / 없음

주장·성질	근거의 종류	근거
사람 시간을 한 자릿수 이상 줄인다(9.3 h → 0.2 h)	정량(부분 추정)	Fig. 5 표. 0.2 h는 “estimated”
벽시계 시간 28.4 h → 10.3 h	추정	원격조작 쪽은 8시간 근무일 가정, 산출식 미기재. v1 실측 49.4 h에서 바뀜
수집 루프 시간 구성	정량	Fig. 3 오른쪽(500회). 루프 밖 시간 약 25 s/시행은 미설명
AutoDex grasp가 더 매끄럽고 다양하다	정량(조건 불명)	jerk·접근각. smoothing 조건, 원격조작 장면 미기재
실기 검증 DB가 무검증 DB보다 성공률이 높다	정량	Fig. 5 오른쪽(20개 물체, 515회). 분배·손 미기재
시뮬 검증만으로는 부족하다(sim vs real)	약한 기준선	기준선이 0.1 N 외력의 “의도적으로 약한” 필터(v1 Supp.). 강한 시뮬 검증·학습된 평가기 비교 없음
pose-directed reset이 어려운 전이를 해낸다	정량(소표본)	Fig. 6 왼쪽, 전이 9개. 시행 수·물체 미기재
Reorient + Passive Release는 5.3% 이탈	정량	본문 수치, 분모 미기재
다시점이 자세 신뢰도를 높인다	정량(자기일관성)	Fig. 6 오른쪽. ground truth 대비 아님
2대 카메라로도 수집이 된다	서술만	한계 절. 2대 수집 결과 없음
자동 라벨이 정확하다	측정 없음	사람 라벨과의 일치율·추적 실패율 없음. 공개 코드의 라벨 기준은 논문과 다름
residual-torque 감시가 안전하다	v1에만 정량	중단 2.7%·8.9%, 실제 접촉 0.3%·3.1%(v1 Supp.). 놓친 충돌 비율 없음
coverage 기반 후보 선택	논문에 없음	프로젝트 페이지 서술·영상, 공개 코드의 greedy set cover
다른 팔로의 이식	서술 없음	Fig. 1 사진만, 배치 로봇 미기재
데이터가 학습에 도움이 된다	측정 없음	학습 실험 없음
수집 비용(장비·전력·금액)	측정 없음	카메라 20대 셀의 비용 미보고

코드와 대조

이 절은 공개 저장소(snuvclab/autodex-code, 업스트림 커밋 448732d 기준)의 소스를 읽어서 논문 서술과 맞대 본 정적 확인이다. 코드를 실행하지 않았으므로 아래 어느 것도 논문 수치를 재현하거나 반박한 것이 아니다. 논문 수치는 모두 “논문이 주장한 값”이다. 파일 경로는 업스트림 기준이다.

공개 범위

코드와 데이터가 공개돼 있지만 범위는 부분적이다.

덮는 것: 후보 생성(BODex 포크)과 시뮬 필터, 수집 루프(인식·필터·후보 선택·실행·라벨·reset), 충돌 감시, 카메라 수 실험의 ADD-S 계산. 수집 루프 시간 구성은 로깅 코드만 있다.
덮지 않는 것: 원격조작 비교표(Fig. 5 왼쪽)와 reset 곡선(Fig. 6 왼쪽)의 집계 코드, 그리고 저자 연구실의 비공개 의존성(카메라·로봇 드라이버 계열 서브모듈, 다시점 추적기, 학습 가중치, 물체 mesh, 후보 트리). 저장소만으로는 수집 루프를 다시 돌릴 수 없다.
라이선스가 없다. 저장소 최상위에 LICENSE 파일이 없고 GitHub의 license 필드도 비어 있다. LICENSE는 동봉된 서드파티(FoundationPose, SAM3) 폴더 안에만 있다. Hugging Face 데이터셋 카드에도 license 항목이 없다. 재사용 조건이 정해져 있지 않다.
저장소는 연구 작업 공간에 가깝다. README는 인식(SAM3·YOLOE mask) 파이프라인과 서로 충돌하는 conda 환경 4개를 설명하고, 예시 명령은 저자 로컬 경로를 쓴다. 최상위에 에이전트 작업 메모, scratch_*.py, 학회 일정 HTML, MuJoCo 로그 같은 파일이 섞여 있다. 추적 파일 약 1.2 GB 중 cuRobo 포크 사본이 두 벌 들어 있다(planner 쪽 약 0.68 GB, BODex 쪽 약 0.08 GB).
공개된 시행 수가 논문보다 적다. 데이터셋 카드와 갤러리는 2,610회(Allegro 2,226 + Inspire 384, 약 3.56 TB)를 공개한다. Allegro는 논문의 2,226과 같지만 Inspire는 논문의 1,367회 중 384회다. 저장소 DATASET.md는 자세 품질 검사(silhouette MSE ≤ 0.003)에 떨어진 시행을 별도 폴더로 뺀다고 설명하므로 그 차이일 수 있지만, Inspire의 약 72%가 빠진 이유를 설명하는 문장은 없다. 저장소 DATASET.md의 부분집합 표는 Allegro를 1,656 + 574 = 2,230회로 적어 HF 카드의 2,226회와도 4회 다르다.

논문 서술 vs 공개 코드

항목	논문(판본)	공개 코드	판정
실시간 성공 라벨	다시점 추적으로 3 s hold 동안 5 cm 이상(v2 §3.3), 라벨은 사후 GoTrack(v1 Supp.)	`--auto` 모드는 10 cm lift 직후 사진 한 세트에서 바닥 ChArUco 보드의 코너가 카메라 합집합에서 전부 보이면 성공. 시간 조건 없음. `--auto`가 없으면 사람이 y/n 입력 (`src/execution/label.py`, `src/execution/run_auto.py`)	기준이 다르다
사후 재라벨	위와 같음	물체 추적 궤적에서 “grasp 이후 z 최대 상승 > 50 mm”면 성공, 추적이 없으면 `null`. hold 시간 조건 없음 (`src/dataset/exec_grasp/corl_exec.py`)	5 cm는 같고 3 s는 없다
공개 데이터의 `success`	위와 같음	DATASET.md 정의 “grasp 후 5 cm 넘게 들렸는가, 추적 안 되면 `null`”. 공개 시행 하나를 열어 보면 `"success": null`	3 s 조건 없음, 빈 라벨 존재
후보 생성 상수	벽·선반 간격 2·4·6·8 cm, 상자 노출 5·8 cm, 시드 N\in\{200,1000\}, 유효 후보 5개 이상, yaw 0~288° 5개, 수직 판정 0.95(v1 Supp.)	같은 값들이 스케줄 상수로 그대로 있다 (`src/grasp_generation/adaptive_orchestrator.py`)	일치
시뮬 sanity 필터	0.1 N을 중력 방향으로 50 step, 5 cm(v1 Supp.)	중력 방향 1개만, 0.1 N(질량 0.1 × 배율 1.0), 50 step, 5 cm 또는 15°, 사전에 squeeze 접촉 검사. ±x·±y·±z 6방향 배열은 정의만 있고 쓰이지 않는다. 같은 폴더의 문서는 “6방향 모두 통과”라고 적는다 (`src/grasp_generation/sim_filter/run_sim_filter.py`)	v1 Supp.와 대체로 일치, 폴더 문서와는 불일치
충돌 감시 문턱	J_1,J_2 잔차 30 N·m를 50 sample(~0.5 s)(v1 Supp.). v2에는 부록이 없어 값 자체가 없다(“preset threshold”)	접근 구간 70 N·m / 50 tick(주석: “자유 공간 동작 중 어깨 관성 spike 50~60 N·m 때문에 50→70으로 올림”), 내려놓기 구간 20 N·m / 8 tick, 클래스 기본값 10 N·m / 8 tick, 생성 함수의 docstring은 “15 N·m, 1 s” (`autodex/executor/real.py`)	코드의 어느 값도 30 N·m가 아니고 구간별로 갈린다
감시 주기	상태 스트림 120 Hz(v2), 감시는 100 Hz 서보 루프(v1 Supp.)	감시기·실행기 기본 dt 0.01 s(100 Hz)	100 Hz는 v1 Supp.와 일치. 120 Hz는 비공개 드라이버 쪽이라 확인 불가
squeeze 계수	Allegro c=6, Inspire c=2(v1 Supp.)	실행기는 손 구분 없이 기본 `squeeze_level=2`를 쓰고, 이 값이면 마지막 외삽 계수가 c=2.8이다 (`autodex/executor/real.py`). 수집 당시 쓴 값은 코드로 알 수 없다	현행 기본값은 v1과 다르다
접촉 후 복귀	end-effector 높이를 단조 증가시키며 홈으로(v2 §3.2)	확인한 복귀 함수(`reset_fallback`)는 손을 열고 관절을 정해진 순서로 하나씩 움직인다. 높이 단조성 검사와 복귀 중 접촉 감시는 이 함수에서 찾지 못했다	서술과 다른 구현으로 보임(다른 경로는 미확인)
후보 선택	“시도 안 한 실행 가능 후보”(v2 §3.3)	오프라인 greedy set cover로 후보를 정렬하고, 실행 중엔 남은 장면 조건을 가장 많이 덮는 후보부터 (`src/grasp_generation/order/compute_order.py`, `run_auto.py`)	프로젝트 페이지 서술과 일치, 논문에 없음
“시도함” 표시	실행한 후보는 현재 stable pose에서 “시도함”으로 표시해 반복 평가를 막는다(v2 §3.3)	실행에 들어간 후보는 같은 실행 세션 안에서만 제외되고, 실패로 기록된 후보는 새 세션에서 다시 시도할 수 있다. 영구히 건너뛰는 것은 성공한 장면뿐이다 (`src/execution/run_auto.py`, `autodex/utils/path.py`)	범위가 더 좁다
reset 목표 자세	“가장 덜 본(least-seen)” 도달 가능 자세(v2 §3.4)	“과거 reset 성공 이력이 있는 자세 우선, 그다음 덮지 못한 장면이 많은 자세” 순 정렬 (`autodex/utils/coverage.py`)	기준이 다르다
reset 시점	실행 가능 후보가 없을 때	그 외에 현재 자세가 다 덮이면 미리 reset, reset 전에 제자리 yaw 회전 복구 단계	코드가 더 많다
로봇	6-DoF xArm + Allegro/Inspire	xArm 외에 `--arm franka`(FR3 7축 + Inspire), 왼손 Inspire 선택지	Fig. 1의 다른 팔 사진과 부합, 본문에 없음
카메라	20대	실행 기본 캡처 PC 5대(카메라 PC당 4대면 20대). 공개 시행 하나에는 영상 24개	수집 시기에 따라 다를 수 있다(문서화 안 됨)
수집 중 자세 추정	배치 단계는 SAM3 + FoundationPose(v2), 수집은 FoundPose + GoTrack(v1 Supp.)	현행 수집 경로는 FoundPose 첫 프레임 초기화 + 다시점 GoTrack 추적, FoundationPose는 이전 경로	v1 Supp.와 일치

먼저 짚어 둘 것은, 후보 생성 상수가 v1 Supplementary의 값과 하나하나 일치한다는 점이다. 공개 저장소가 논문 실험을 만든 그 코드 계열이라는 정황 증거다. 그래서 아래의 차이들은 “다른 코드”가 아니라 같은 코드가 논문 서술과 갈라진 지점으로 읽는 것이 맞다. 다만 표의 값은 공개 시점의 기본값이고, 수집 당시 값과 같은지는 코드만으로 알 수 없다.

가장 무거운 것은 라벨이다. 이 시스템의 데이터 가치는 성공/실패 라벨에 있는데, 라벨 정의가 세 가지로 갈린다. 논문은 “3 s 동안 5 cm 이상”이라 쓴다. 실시간 자동 라벨은 “들어 올린 뒤 바닥 보드가 다시 다 보인다”, 즉 물체가 보드를 더 이상 가리지 않는다는 시각적 대리 지표다. 공개 데이터의 라벨은 “추적 궤적에서 한 번이라도 5 cm 넘게 올라갔다”다. 뒤의 두 기준은 들어 올렸다가 hold 중에 미끄러져 떨어지는 grasp를 성공으로 셀 수 있다. 정확히 “실제 접촉 물리에서 버티는가”를 가르려던 논문의 동기와 맞닿은 지점이다. 어느 라벨이 논문의 3,593회·76%를 만들었는지는 코드만으로 알 수 없다.

충돌 문턱이 접근 70 N·m, 내려놓기 20 N·m로 갈리고 그 사이를 가르는 주석(“자유 공간에서도 50~60 N·m spike”)이 있다는 것은, residual 모델의 잔차가 동작 중에 생각보다 크다는 뜻으로 읽힌다(필자의 해석). v1이 보고한 “중단의 대부분이 접촉 없는 보수적 중단”이라는 통계와 같은 방향이다.

비판적으로 보면

강점

“사람이 끼는 지점을 하나도 남기지 않는다”는 문제 설정이 정확하다. 이 논문의 진짜 기여는 알고리즘이 아니라 체크리스트다. 초기 자세 추정, 가림 속 추적, 후보 선택, 안전 감시, 라벨, reset을 각각 자동화해야 사람 시간이 0에 가까워진다는 것을 시스템으로 보였다. 사람 시간 0.2 h/500회는 다지 손 실기 수집에서 의미 있는 숫자다.
reset을 생성 문제로 푼 설계가 영리하다. 집기와 놓기 제약을 한 장면으로 합치고, 납작한 물체엔 가상 기둥으로 낙하 영역을 비우는 방법은 별도 학습 없이 생성기 하나로 reset grasp까지 만든다. P(P_j\mid P_i)\approx 0 전이를 해내는 것이 그 결과이고, 5.3% 이탈이라는 대조군의 실패 모드는 무인 운전에서 왜 이것이 필요한지 정확히 보여 준다.
충돌 감시의 공학적 판단이 구체적이다. 공장 감지기가 왜 실패하는지(쥔 물체의 하중, 손 관성), 어느 관절을 왜 보는지, 왜 들어 올릴 때는 끄는지, 그리고 감시 없이 어댑터 두 개를 망가뜨린 경험까지(v1) 적었다. 다른 연구실이 바로 가져다 쓸 수 있는 종류의 지식이다.
실패를 데이터로 남긴다. 1,681회 실패를 성공과 같은 형식(다시점 영상, 로봇 상태, 물체 궤적)으로 기록한 공개 데이터는 실기 grasp 평가기 연구의 재료로 가치가 크다.
판본을 고치면서 프레이밍이 더 정직해졌다. v2는 “4.8배 throughput”에서 “사람 시간”으로 축을 옮기고 원격조작의 더 높은 성공률(71.7%)을 같은 표에 실었다. 원격조작의 시행당 속도가 오히려 빠르다는 것을 숨기지 않는다.

약점·한계

sim-vs-real 주장의 기준선이 약하다. 34%의 “model-screened” DB는 0.1 N 외력의 의도적으로 약한 MuJoCo 필터만 거쳤다(v1 Supp.). v2는 그 정의조차 본문에서 뺐다. 그런데 초록은 이를 “simulation에서만 걸러진 후보”라 부른다. 강한 시뮬 검증, BODex 벤치마크 기준 통과 grasp, 시뮬 라벨로 학습한 평가기를 기준선으로 두지 않았으므로, “시뮬로는 안 되고 실기 검증이 필요하다”는 결론은 아직 증명되지 않았다. 지금 실험이 보인 것은 “실기에서 한 번 성공한 grasp는 다시 써도 잘 된다”다.
학습 실험이 없다. 서론은 robust grasping의 학습을 동기로 들지만 데이터의 하류 활용은 물체별 retrieval뿐이다. 새 물체로의 일반화, 실패 라벨의 가치, 다시점 영상의 쓸모가 모두 측정되지 않았다. 데이터셋의 가치 주장 대부분이 아직 약속 상태다.
자동 라벨의 정확도를 재지 않았고, 공개 코드의 라벨은 논문과 기준이 다르다. 시스템 전체가 “5 cm/3 s를 추적으로 판정한다”에 기대는데, 사람 라벨과의 일치율도, 추적 실패율도 없다. 공개 코드의 실시간 라벨은 “바닥 보드가 다시 다 보이는가”, 사후 재라벨과 공개 데이터는 “한 번이라도 5 cm 넘게 올라갔는가”이고, 어디에도 3 s hold가 없다. 공개 데이터에는 success: null인 시행도 있다. 손에 가린 얇은 물체에서 2대 카메라가 파국적으로 실패한다는 저자 자신의 관찰은 라벨 오류 가능성을 시사한다.
평가 실험의 분모가 대부분 없다. 515회의 DB·장면·손별 분배, reset 전이당 시행 수와 물체, 5.3%의 분모, 31회 개입의 종류가 모두 보고되지 않았다. 그림 판독으로 계산하면 기준선 34%는 장면 막대 값과 쉽게 맞지 않는다(시행의 약 88% 이상이 Table 장면이어야 한다). 오차 막대·신뢰구간은 어느 그림에도 없다.
throughput 수치가 판본 사이에 바뀌었고 v2 값은 모델링 가정이다. 49.4 h 실측(v1)이 28.4 h 추정(v2)으로 바뀌었고 그 이유와 산출식이 없다. 사람 시간 0.2 h도 추정치다. 시행당 속도는 AutoDex가 더 느리다(약 73 s vs 60 s).
재현에 필요한 세부가 v2에서 사라졌다. v1 Supplementary에 있던 sanity 필터 정의, squeeze 식과 손별 상수, 충돌 문턱(30 N·m, 50 sample), 라벨이 사후 GoTrack으로 붙는다는 사실, 충돌 통계가 v2에는 없다. 그래서 v2만 읽은 독자는 기준선이 무엇인지 알 수 없다.
논문 밖에만 있는 설계가 있고, 코드가 논문과 다른 곳도 있다. coverage 기반 후보 선택(greedy set cover)은 프로젝트 페이지와 코드에만 있다. reset 목표 자세는 논문의 “least-seen”이 아니라 코드에선 “과거 reset 성공 자세 우선”이고, 충돌 문턱은 v1의 30 N·m 대신 구간별 70/20 N·m다. Fig. 1의 다른 팔(코드의 FR3 선택지) 실행도 본문 설명이 없다.
하드웨어 진입 장벽. 20대 하드웨어 동기 카메라와 LED 셀은 대부분의 연구실이 바로 갖추기 어렵다. 저자들은 2대로도 된다고 쓰지만 근거가 없고, 장비 비용은 보고되지 않았다. 공개 코드는 라이선스가 없고 수집 루프를 처음부터 돌리는 안내가 없다.
손별 성공률 차이를 논의하지 않는다. 6-DoF Inspire(75.7%)가 16-DoF Allegro(39.4%)의 거의 두 배다. 생성기 후보 품질, squeeze 상수(v1 기준 c=6 vs 2, 수집 당시 실제 값은 미확인), 물체 집합 차이(공개 데이터 폴더 기준 Allegro 97개, Inspire 46개 물체) 중 무엇 때문인지 알 수 없다. 이 차이는 “실기 검증이 왜 필요한가”를 손별로 보여 줄 좋은 재료였다.

요약

AutoDex는 시뮬 생성기가 제안한 다지 grasp를 실기에서 자동으로 실행·판정·reset하는 시스템이다. 20대 카메라의 가림 속 추적, 학습된 residual-torque 충돌 감시, 집기·놓기 제약을 합친 pose-directed reset이 사람 없는 루프를 가능하게 했고, 그 결과 100개 물체에서 성공·실패 3,593회를 사람 시간 500회당 0.2 h로 모았다. 실기에서 한 번 성공한 grasp를 검색해 새 배치에서 쓰면 76% 성공한다.

이 논문이 확실히 보인 것은 수집의 자동화다. 반면 sim-vs-real 비교의 기준선은 저자 스스로 약하다고 밝힌 필터이고, 자동 라벨의 정확도와 평가 실험의 분모는 보고되지 않았으며, 수집한 데이터로 무언가를 학습하는 실험은 아직 없다. 재현에 필요한 세부의 상당수는 v1 Supplementary에만 남아 있고, 공개 코드는 라벨 기준(보드 가시성, hold 시간 없음)과 충돌 문턱이 논문 서술과 다르다. 공개된 데이터(2,610회)와 코드는 출발점으로 충분하지만 라이선스가 없다. 이 데이터로 실기 라벨 기반 grasp 평가기를 학습해 강한 시뮬 검증과 겨루는 실험이 나온다면 AutoDex의 진짜 가치가 숫자로 드러날 것이다.

프로젝트 페이지 Dataset 영상. 수집된 시행들을 격자로 모아 보인 것.

이 글에 대해

읽은 범위: arXiv v2(2026-11-04, CoRL 2026 camera-ready)의 e-print LaTeX 소스를 정본으로 읽었다. v2에는 부록이 없어, v1(2026-06-22)의 e-print 소스에 있는 Supplementary와 본문을 함께 읽고 v1↔︎v2 차이를 문장 단위로 대조했다. “v1 Supp.”로 표시한 내용은 v1에만 있고 v2에는 없다. 프로젝트 페이지의 논문 PDF는 arXiv v2와 같은 파일이다.
그림과 영상: 그림은 e-print 소스의 원본 그림 파일이다. 그림 번호는 v2 기준이고, v1에만 있는 그림은 캡션에 “v1”이라 밝혔다. 영상은 프로젝트 페이지의 원본 mp4이며 큰 파일은 해상도를 줄였다.
코드·데이터: 공개 저장소(업스트림 커밋 448732d)는 README·DATASET.md와 함께 라벨·시뮬 필터·충돌 감시·후보 정렬·reset 목표 선택에 해당하는 소스를 읽어 논문과 대조했다. 코드는 실행하지 않았으므로 이 글의 모든 수치는 논문이 보고한 값이고, 코드와 대조 절은 정적 확인이다. Hugging Face 데이터셋은 카드와 파일 목록, 공개 시행 하나의 메타데이터까지 확인했다.
표기: “그림 판독값”은 논문 그림의 막대·점 위치에서 읽은 근사치다. “필자 계산·검산·추정”은 논문 수치로 직접 계산하거나 추정한 값이다. “필자의 해석”은 논문이 직접 주장하지 않은 해석이다.