📃RoboTok 리뷰

retrieval

human-video

human-demonstration

dexterity

hand-pose

representation-learning

data-curation

egocentric

dataset

NVIDIA

RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning

Published

September 6, 2026

Paper Link (arXiv:2609.03199v1)
Code (GitHub)
Checkpoints (Hugging Face)
Project Page
저자: Howard Qian, Yiting Chen, Yunfei Xie, Kejia Ren, Podshara Chanrungmaneekul, Gaotian Wang (Rice University), Bowen Wen (NVIDIA), Chen Wei, Kaiyu Hang (Rice University)
arXiv preprint, 2026 (v1, 2026-09-02 제출 · 학회 지면 없음)

💡 로봇 데이터 수집 병목을 “새로 모으기” 대신 “이미 인터넷에 있는 인간 조작 영상에서 골라 오기”로 바꾸려는 시도로, 검색의 기준을 외형·의미가 아니라 몸통 기준 좌표계에서 표현한 3D 손 궤적으로 잡는다.
⚙️ 웹 영상을 4–8초 준정지 카메라 클립으로 거르고 → WiLoR로 5 fps 3D 손 키포인트를 뽑아 metric 깊이로 접지한 뒤 → 손목 궤적만으로 시연자의 토르소 프레임을 추정해 정규화하고 → DTW 유사도를 지도신호로 삼아 경량 인코더를 학습해 코사인 유사도 벡터 검색으로 바꾼다.
🎯 10만 클립 코퍼스에서 mAP@20 0.353 / Recall@20 0.996(최강 베이스라인 STRAP은 0.007 / 0.12)이고, 검색된 시연으로 PPO를 유도하면 난이도를 올린 VTDexManip 3태스크에서 Lever Sliding 79.3%(차순위 HAND 19.5%) 등으로 앞선다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 학습에서 시연 데이터는 늘 부족하고, 새로 모으는 비용은 태스크·물체·환경의 롱테일을 절대 못 따라간다. RoboTok은 여기서 “데이터셋을 만든다”가 아니라 “데이터 엔진을 돌린다”는 쪽으로 문제를 옮긴다. 인터넷 영상은 이미 방대한 인간 조작 행동을 담고 있으니, 필요한 것은 수집이 아니라 그 안에서 지금 태스크와 같은 조작 행동을 하는 클립을 찾아내는 능력이라는 것이다.

핵심 주장은 한 줄이다. 조작의 유사성은 화면이 비슷한 것이 아니라 손이 비슷하게 움직이는 것이며, 그 손의 움직임은 카메라가 아니라 시연자 몸을 기준으로 표현해야 비교 가능해진다. 웹 영상은 시점·배경·가림이 제각각이라 카메라 좌표계의 손 궤적은 같은 동작이라도 전혀 다른 벡터가 된다. RoboTok은 손목 프레임만 입력받아 시연자의 정적 토르소 프레임을 추정하는 경량 모델을 학습시켜, 사람 몸이 화면에 안 보여도 actor-relative 좌표계로 궤적을 정규화한다.

학습된 잠재 모션 공간의 t-SNE(Fig. 1). 의미 라벨을 학습·검색에 전혀 쓰지 않았는데도 “칼질”, “그릇에 섞기”, “코바늘뜨기” 같은 활동이 응집한다. 시각화는 2D 카메라 좌표 손 포즈지만 실제 검색은 3D egocentric 표현 위에서 돈다.

핵심 방법론:

정답 유사도는 학습이 아니라 기하로 정의한다. 21관절 손 포즈 시퀀스 x_i, x_j(길이 L_i, L_j)에 대해 DTW로 정렬 비용을 재고,

\mathrm{DTW}(x_i,x_j)=\min_{\pi\in\Pi}\sum_{(t,u)\in\pi} d(x_i^t, x_j^u), \qquad d(x_i^t,x_j^u)=\|x_i^t-x_j^u\|_2

길이로 정규화한 음의 정렬 비용을 유사도로 쓴다. 식 (1)의 합은 단순 합이 아니라 symmetric2 스텝 패턴의 가중합이다(공개 코드의 DTW 커널 기준 — 대각 이동에만 비용 2배). 이 규약에서는 어떤 정렬 경로든 총 가중치가 항상 L_i+L_j가 되므로, 식 (2)의 분모 \tfrac{1}{2}(L_i+L_j)가 “프레임당 평균 거리”라는 안정된 스케일을 준다. 논문 본문에 이 규약이 적혀 있지 않아 식만 읽으면 정규화의 근거가 보이지 않는다.

s(i,j) = -\frac{\mathrm{DTW}(x_i,x_j)}{\tfrac{1}{2}(L_i+L_j)}

문제는 이 오라클이 인터넷 규모에서 못 쓸 만큼 비싸다는 것(질의마다 전 코퍼스와 DTW). 그래서 DTW를 지도신호로만 쓰고, 그 랭킹을 보존하는 임베딩 \Gamma:\mathcal{X}\rightarrow\mathbb{S}^{d-1}을 학습한다.

s(i,j)>s(i,k)\quad\Longrightarrow\quad \langle\Gamma(x_i),\Gamma(x_j)\rangle>\langle\Gamma(x_i),\Gamma(x_k)\rangle

질의 시점에는 \mathcal{R}_K(q;\mathcal{D})=\operatorname{TopK}_{x_i\in\mathcal{D}}\langle\Gamma(q),\Gamma(x_i)\rangle로 근사한다. 비싼 궤적 비교는 학습 시점으로 밀어 넣고, 새 클립은 순전파 한 번으로 색인에 추가된다 — 이 “재학습 없이 계속 자라는 색인”이 논문이 말하는 data engine의 실체다.

주요 결과:

RoboTok 평가 코퍼스(10만 클립 중 1만 홀드아웃 질의, k=20): mAP@20 0.353 / nDCG 0.584 / CKNNA 0.485 / MRR 0.858 / Kendall \tau 0.487 (Table 2). 최강 베이스라인 STRAP은 각각 0.007 / 0.026 / 0.022 / 0.082 / 0.014.
Recall@20은 RoboTok 0.996, STRAP 0.12 — 사실상 모든 질의가 top-20 안에 진짜 DTW 이웃을 하나는 회수한다.
DTW 정렬 비용 단위로도: RoboTok top-20 평균 1.333 m, 진짜 이웃(오라클) 1.145 m, 무작위 4.776 m → 오라클 대비 16% 초과(직접 검산: 1.333/1.145=1.164).
AssemblyHands(외부 831클립, k=5)에서도 순위가 유지: mAP@5 0.261 vs STRAP 0.133, DTW 비용 1.095 m vs 오라클 0.966 m(13% 초과).
하류 정책: 원래 VTDexManip 6태스크에서 벤치마크 최고 사전학습 베이스라인(VT-JointPretrain) 대비 평균 +7.45 %p(seen) / +5.83 %p(unseen). 난이도를 올린 3태스크에서는 BottleCap 77.3%(차순위 HAND 59.5%), Faucet 44.8%(6.8%), Lever 79.3%(19.5%).

결론:

새로운 것은 모델이 아니라 검색의 좌표계다. “무엇이 비슷한 조작인가”를 외형·언어가 아니라 몸통 기준 3D 손 궤적의 DTW로 정의하고, 그 정의를 벡터 검색 가능한 임베딩으로 증류했다. 그 결과 인터넷 영상이 고정된 데이터셋이 아니라 계속 색인이 자라는 공급원으로 다뤄진다. 다만 아래 Ring에서 보듯, 그 평가의 정답 역시 같은 DTW라는 점과 실기 검증이 하나도 없다는 점은 별개로 따져야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

RoboTok의 통찰은 “인터넷 영상에서 로봇에 쓸 시연을 찾는 문제”를 표현(representation) 문제로 환원한 데 있다. 웹 영상은 시점·배경·가림이 통제되지 않아 픽셀이나 의미 라벨로는 조작 행동을 비교할 수 없다. 그런데 손 자체가 조작의 주체이고, 손의 움직임을 시연자 몸 기준으로 표현하면 카메라가 어디 있든 같은 동작은 같은 궤적이 된다. 문제는 시연 영상 대부분이 손만 보이고 몸통은 프레임 밖이라는 것 — 그래서 저자들은 손목 프레임만으로 토르소 프레임을 회귀하는 모델을 따로 학습시킨다. 이 한 조각이 전체를 성립시킨다. 나머지(DTW 오라클, 랭킹 증류, 벡터 색인)는 그 좌표계 위에서 표준적인 metric learning으로 굴러간다.

배경: 왜 “비슷한 시연 찾기”가 어려운가

로봇 시연 검색(retrieval) 자체는 새롭지 않다. Behavior Retrieval(Du et al., 2023)은 상태-행동 쌍을, STRAP(Memmel et al., ICLR 2025)은 비전 파운데이션 모델 특징을 subsequence DTW로 정렬해 로봇 하위궤적을, FlowRetrieval(Lin et al., CoRL 2024)은 옵티컬 플로우를 쓴다. HAND(Hong et al., ICRA 2026)는 인간 손 경로를 직접 쓰지만 2D 상대 경로이고 대상 코퍼스는 자체 수집한 로봇 play 데이터다.

논문이 Table 1로 정리하는 차이는 세 축이다.

방법	지면	인간영상 질의	데이터 출처	명시적 모션 표현	actor-relative	3D 손 포즈	로봇 형태
FlowRetrieval	CoRL 2024	✗	Robomimic, LIBERO, DROID, BridgeData V2	✓	✗	✗	평행 그리퍼
HAND	ICRA 2026	✓	자체 수집 로봇 play	✓	✗	✗	평행 그리퍼
STRAP	ICLR 2025	✗	LIBERO, DROID, 자체 수집	✗	✗	✗	평행 그리퍼
RoboTok	–	✓	인터넷 영상(Action100M)	✓	✓	✓	다지 손

즉 기존 방법은 (a) 고정된 로봇 코퍼스 안에서 돌거나, (b) 모션을 이미지 공간에서 표현하거나, (c) 의미 유사도에 의존한다. 인터넷 인간 영상을 대상으로 삼는 순간 (a)는 성립하지 않고, 시점이 제멋대로인 영상에서 (b)는 같은 동작을 다른 벡터로 만든다. 그리고 근본적으로 외형이 비슷하다고 조작이 비슷한 것이 아니다 — 논문이 반복해서 거는 전제다.

방법 1: 웹 영상을 궤적으로 만드는 파이프라인

데이터 처리 3단계(Fig. 2). ① 클립 필터링 ② 21관절×2손 3D 손 재구성 + 카메라로부터의 metric 깊이 ③ 토르소 추정과 egocentric 표현.

소스와 클립 선별. Action100M(Chen et al., CVPRW 2026)의 세그먼트에서 출발한다(이미 인간 행동 위주로 사전 필터링됨). 여기에 세 조건을 건다: 길이 4–8초, 준정지 카메라(Lucas–Kanade), 손이 완만하게 보이며 좌·우 각각 최대 1개(WiLoR 검출 기준). 겹치는 세그먼트는 긴 쪽을 우선해 greedy로 제거한다. 학습 코퍼스는 N=100{,}000 클립.

3D 손 포즈와 metric 접지. WiLoR(Potamias et al., CVPR 2025)로 5 fps에 3D 키포인트를 추정하고, 프레임 간 연결로 좌/우 손 일관성을 안정화한다. WiLoR는 weak-perspective 카메라 모델이라 스케일이 없으므로 MoGe-2(Wang et al., 2025)로 metric depth를 추정해 실제 미터 단위 카메라 좌표로 변환한다. 빠진 프레임은 HaWoR(Zhang et al., 2025)로 보간한다. 여기까지의 산출물은 “카메라 좌표계의 가변 길이 metric 3D 손 포즈 시퀀스”이고, 논문 표현대로 이 상태로는 시점 간 비교가 불가능하다.

egocentric 정규화 — 이 논문의 핵심 조각. 그래서 손목 프레임만 입력받아 시연자의 정적 토르소 프레임을 예측하는 경량 모델을 학습한다. 몸이 안 보여도 손만 보이면 되고, 웹 시연 영상 대부분이 정확히 그 상황이다. 학습 절차는 Wang et al.(2026, EgoInfinity)을 따르되 SMPL-H(Romero et al., 2017)에 맞춰 적응시켰다. 이 정규화가 끝나야 비로소 DTW가 “카메라 배치가 아니라 동작”을 재는 값이 된다.

여기서 인과 순서를 놓치기 쉽다. DTW는 방법이 아니라 정규화의 결과물이다. 좌표계가 정리되지 않은 상태에서 DTW를 재면 그냥 카메라 배치 차이를 재게 된다.

방법 2: DTW 랭킹을 벡터 검색으로 증류하기

오프라인 색인과 온라인 질의(Fig. 3). 모든 egocentric 궤적을 한 번씩 인코딩해 내적 색인에 넣고, 질의 클립은 같은 공간에 임베딩해 코사인 유사도 최근접으로 이웃을 뽑는다.

인코더. 입력이 이미 정규화된 3D 손 궤적이라 인코더가 외형·시점 불변성을 배울 필요가 없다. 그래서 의도적으로 가볍다 — 각 프레임을 위치 인코딩하고 경량 cross-attention으로 풀링해 \ell_2 정규화된 d차원 임베딩을 낸다. 인코더의 역할은 표현 학습이 아니라 DTW 오라클이 만든 국소 이웃 구조와 순위를 보존하는 것이다.

배치 구성. N=100{,}000에서 무작위 배치(b=196)를 뽑으면 DTW 오라클 기준으로 서로 가까운 궤적이 거의 안 들어온다. 그래서 anchor 중심 그룹으로 배치를 짠다. anchor a의 r번째 최근접을 \pi_a(r)이라 할 때 관련 집합을 \mathcal{R}(a)=\{\pi_a(r)\}_{r=1}^{K}(K=20)로 정의하고, 여기서 양성 두 개 p_1,p_2와 관련 집합 바로 바깥의 경계 음성 n 하나를 뽑아 \mathcal{G}(a)=\{a,p_1,p_2,n\}을 만든다. 배치당 49그룹 → b=196. 자명하게 다른 무작위 음성 대신 관련성 문턱 근처에서 감독 신호를 주겠다는 설계다.

목적함수. \mathcal{L}=\mathcal{L}_{\mathrm{set}}+\lambda\,\mathcal{L}_{\mathrm{rank}}. set 항은 오라클 top-K 이웃이 경계·음성보다 높은 점수를 받게 해 누가 이웃 집합에 들어오는가를 정하고, rank 항은 샘플된 양성들의 상대 순서가 DTW 순서와 맞게 해 그 안에서의 순서를 정한다. Wang et al.(2019)의 ranked list loss, Cakir et al.(2019)의 deep metric learning to rank 계열에서 착안했다고 밝힌다.

⚠️ 논문은 \mathcal{L}_{\mathrm{set}}·\mathcal{L}_{\mathrm{rank}}의 수식을 주지 않는다. 말로만 서술하고 \lambda 값도 없다. 공개 코드에는 있다 — 아래 재현 노트에서 정리한다.

추론. 모든 궤적을 한 번씩 인코딩해 내적 색인에 저장(오프라인)하고, 질의는 코사인 유사도 검색(온라인)으로 처리한다. 새 클립은 재학습 없이 순전파 한 번으로 색인에 들어간다.

직관: 왜 이게 통하는가

세 층으로 나눠 보면 명확해진다.

① 좌표계가 불변성을 공짜로 준다. 학습으로 시점 불변성을 얻으려면 같은 동작의 다시점 데이터가 있어야 하는데 웹 영상엔 그런 짝이 없다. RoboTok은 학습 대신 기하학적 정규화로 그 축을 제거한다. 인코더가 가벼워도 되는 이유가 여기 있다.

② 정답을 학습으로 만들지 않는다. 대부분의 시연 검색은 “무엇이 관련 있는가”를 라벨이나 사전학습 특징으로 정의한다. RoboTok은 DTW라는 계산 가능한 기하 기준을 정답으로 쓴다. 라벨링이 필요 없고, 코퍼스가 커져도 정답 정의가 흔들리지 않는다. Fig. 1에서 의미 라벨 없이도 활동별 응집이 나타나는 건 이 정의가 실제로 행동 구조를 붙잡고 있다는 정황이다.

③ 비싼 계산을 학습 시점으로 옮긴다. O(N)번의 DTW를 질의마다 하는 대신, 학습 때 한 번 치르고 이후에는 O(1) 순전파 + ANN 검색으로 끝낸다. “data engine”이라는 이름이 붙을 수 있는 이유는 정확히 이 증분 색인 가능성 때문이다.

다만 ②와 ③이 결합되면 평가에서 미묘한 문제가 생긴다 — 정답이 곧 학습 목표라는 점. 아래 비판 절에서 다룬다.

실험 1: 검색 품질

“칼질” 질의에 대한 방법별 top-3(Fig. 4). 각 결과 옆에 손 궤적과 추정된 토르소 프레임이 함께 그려져 있다. RoboTok만 세 개 모두 같은 동작을 회수한다.

평가는 두 코퍼스로 한다. (i) RoboTok 코퍼스: 10만 클립 중 1만을 학습 내내 홀드아웃해 질의로 쓰고, 나머지 N-1이 후보. 정답은 §3의 DTW 오라클을 재계산한 것인데, 센서급 GT 손 포즈가 없으므로 pseudo-GT로 명시한다. 관련 집합 크기 R=20. (ii) AssemblyHands(Ohkawa et al., CVPR 2023): 831개 양손 조립 클립, 센서급 GT 3D 손 주석, R=5.

Table 2 (RoboTok 코퍼스, @20)

방법	mAP@20 ↑	nDCG@20 ↑	CKNNA@20 ↑	MRR@20 ↑	Kendall τ ↑	DTW cost@20 (m) ↓
Random	0.0000	0.0001	0.0000	0.0005	0.0000	4.776
Flow (CoRL 2024)	0.0004	0.0017	0.0007	0.0045	0.0031	6.612
HAND (ICRA 2026)	0.0009	0.0040	0.0024	0.0122	0.0118	4.528
STRAP (ICLR 2025)	0.0071	0.0257	0.0217	0.0824	0.0137	4.044
RoboTok	0.3531	0.5836	0.4853	0.8576	0.4867	1.333
GT (상한)	1.000	1.000	1.000	1.000	1.000	1.145

격차가 두 자릿수 배수다. 다만 이 표에서 가장 눈에 띄는 건 RoboTok의 승리가 아니라 Flow의 DTW 비용 6.612 m가 Random(4.776 m)보다 나쁘다는 사실이다. 옵티컬 플로우 기반 검색이 “무작위보다 못한” 궤적을 가져온다는 건 단순히 약한 게 아니라, 그 방법이 최적화하는 대상과 이 평가 지표가 체계적으로 어긋나 있다는 신호다.

Table 3 (AssemblyHands, @5)

방법	mAP@5 ↑	nDCG@5 ↑	CKNNA@5 ↑	MRR@5 ↑	Kendall τ ↑	DTW cost@5 (m) ↓
Random	0.0025	0.0042	−0.0010	0.0126	0.0062	1.911
Flow	0.0131	0.0263	0.0176	0.0588	0.0897	1.850
HAND	0.0214	0.0427	0.0256	0.0964	0.0799	1.830
STRAP	0.1330	0.2293	0.1812	0.3968	0.1569	1.304
RoboTok	0.2614	0.3868	0.3358	0.6215	0.2679	1.095
GT (상한)	1.000	1.000	1.000	1.000	1.000	0.966

도메인 이동 하에서는 격차가 줄어든다(mAP에서 39배 → 2배). 저자도 “margins are understandably narrower”라고 인정한다. 이 표가 더 신뢰할 만한 이유는 정답이 pseudo-GT가 아니라 센서 측정 손 포즈이고, 코퍼스가 학습에 전혀 안 쓰인 외부 데이터라는 점이다.

per-k 검색 품질(Fig. 5). 왼쪽부터 Recall@k, 평균 DTW 비용@k(↓), CKNNA@k. k=20 국소 이웃만 최적화했는데 k=500까지 순위가 유지된다.

Fig. 5를 직접 읽으면(그림 라벨 판독): Recall@k는 k=1에서 이미 ≈0.77, k=5에서 ≈0.97, k≥20에서 ≈1.0으로 포화한다. 반면 STRAP·HAND는 k=500까지 가야 0.28~0.29에 도달하고 Flow는 0.13에 그친다. CKNNA는 k=1의 0.31에서 k≈250의 ≈0.54까지 올랐다가 k=500에서 0.52로 살짝 꺾인다. 중앙 패널에서 RoboTok의 DTW 비용 곡선은 전 구간에서 GT DTW 점선을 거의 따라 붙어 있고, 나머지는 회색 Random 선 근처나 그 위에 몰려 있다.

실험 2: 검색된 시연이 정책을 개선하는가

난이도를 올린 VTDexManip 3태스크(Fig. 6). RoboTok 검색 시연으로 유도된 PPO가 만든 성공 손 포즈.

평가 대상은 VTDexManip(Liu et al., ICLR 2025) 시뮬레이션 벤치마크다. 저자들은 먼저 원래 포맷이 포화됐다고 진단하고, 세 태스크(BottleCap Turning, Faucet Screwing, Lever Sliding)에 대해 ① 손의 3D 이동 제약을 풀고 ② 수작업 dense reward를 제거한 harder 포맷을 새로 만든다. 방법당 정책 8개(8시드), 물체당 100회 시도로 평가한다.

보상 설계. 로봇 시연도 행동 라벨도 쓰지 않는다. 검색된 클립은 오직 보상을 통해서만 들어온다. \Phi(s)를 현재 손 상태에서 리타게팅된 시연 상태 뱅크까지의 가중 k-NN 거리의 음수로 정의하고, standing reward \beta\Phi(s)로 시연 근처에 머물게 하며, 여기에 potential-based shaping w(\gamma\Phi(s')-\Phi(s))를 더한다. 후자는 Ng et al.(1999) 형태라 원 태스크의 최적 정책을 바꾸지 않는다. 가이던스는 풀링하지 않고 환경 i를 클립 i \bmod K에 고정 배정해, K개 클립이 K개의 서로 다른 목표로 병렬 작동한다. 정책 입력은 proprioception + 지문 힘(fingertip force), 관측 윈도 3스텝.

원래 포맷(Table 4). RoboTok 유도 정책이 벤치마크 최고 사전학습 베이스라인(VT-JointPretrain)을 6태스크 중 5개에서 이긴다. 평균 차이는 seen +7.45 %p, unseen +5.83 %p(둘 다 표에서 직접 검산해 정확히 재현됨). 다만 그 안에는 이런 것들이 들어 있다.

Table Reorientation: seen 82.6 vs 85.0, unseen 76.2 vs 84.6 — 두 split 모두 패배.
Bimanual Hand-over unseen: RoboTok 34.8인데 Random 42.1, HAND 39.3, STRAP 38.5, Flow 36.4가 전부 더 높다. 즉 무작위 검색이 RoboTok을 이긴다. 본문은 “5/6 승”과 평균만 서술하고 이 역전을 언급하지 않는다.
그리고 Table 4 캡션이 밝히듯 Base와 VT-JointPretrain 수치는 Liu et al.(2025)에서 그대로 옮겨 온 값이고, 나머지 방법만 저자들이 직접 학습·평가했다. 즉 이 표의 비교 상대는 재실행된 베이스라인이 아니라 논문에 보고된 숫자다. 원래 포맷의 시드 수·시도 횟수도 표기가 없다(harder 포맷에만 8시드·물체당 100회가 명시돼 있다). 위에서 검산한 +7.45 %p / +5.83 %p는 이 조건에서 읽어야 한다.

Harder 포맷(Table 5). 여기서는 격차가 크게 벌어진다.

태스크	Split	Base	Random	Flow	HAND	STRAP	RoboTok
BottleCap Turning	Seen	0.1±0.1	0.2±0.1	1.9±1.8	59.5±9.0	59.0±7.3	77.3±3.5
	Unseen	0.0±0.0	0.1±0.1	0.0±0.0	27.0±6.0	25.0±5.9	38.1±5.5
Faucet Screwing	Seen	1.0±0.6	5.3±4.8	0.0±0.0	6.8±4.8	0.0±0.0	44.8±4.1
	Unseen	1.7±1.7	1.0±1.0	0.3±0.3	2.6±1.7	0.0±0.0	10.9±2.8
Lever Sliding	Seen	0.8±0.3	17.2±6.8	14.4±7.3	19.5±4.8	8.4±4.1	79.3±5.3
	Unseen	2.1±2.1	18.8±11.9	19.6±12.2	25.2±11.8	6.5±3.4	58.3±7.5

본문의 “17.8% / 38.0% / 59.8% 향상”은 전부 percentage point 차이다(상대 증가율이 아니다). Faucet의 경우 6.8 → 44.8이니 상대로는 6.6배이고, 반대로 Lever의 “59.8%”는 상대로 4.1배다. 인용할 때 섞이기 쉬운 지점이다.

harder 포맷의 학습 곡선(Fig. 7). 성공률뿐 아니라 학습 속도에서도 순서가 유지된다.

곡선을 읽으면 세 태스크의 성격이 다르다. (a) BottleCap은 RoboTok이 ~500 iteration부터 앞서 3000에서 ~75–77%로 안정된다. (b) Faucet은 3000 iteration에서도 여전히 상승 중(≈41%)이라 수렴하지 않았다 — 표의 44.8%는 학습 예산의 함수일 가능성이 있다. (c) Lever는 ~700 iteration에서 이미 ~95%로 포화한다.

📌 (c)에서 곡선 종점(≈95%)과 Table 5의 seen 성공률(79.3%)이 어긋난다. (a)·(b)는 표와 거의 일치하므로 (c)의 간극만 두드러지는데, 논문에 설명이 없다. 곡선이 학습 환경 성공률이고 표가 별도 평가라면 자연스러울 수 있지만, 그렇다면 (a)·(b)가 왜 일치하는지가 다시 설명되지 않는다. 확정하지 않고 관찰로만 남긴다.

비판적으로 보면

강점

문제 재정의가 정확하다. “데이터가 없다”를 “데이터는 있는데 찾을 수가 없다”로 바꾼 진단이 설득력 있고, 그 진단이 방법의 모든 설계 결정(좌표계·오라클·색인)을 일관되게 끌고 간다.
토르소 프레임 추정이 실용적으로 영리하다. “손만 보이는 영상이 대부분”이라는 관찰과 “그러면 손으로 몸을 추정하자”는 해법이 잘 맞물린다. 인터넷 영상이라는 제약을 우회하지 않고 정면으로 다룬 유일한 조각이다.
정답을 학습이 아니라 기하로 정의했다. 라벨링 없이 코퍼스가 커져도 정답 정의가 흔들리지 않고, 사전학습 특징의 편향을 물려받지 않는다.
일반화가 훈련 목표를 넘어선다. k=20 국소 이웃만 최적화했는데 Fig. 5에서 k=500까지 순위가 유지되는 건 우연이라 보기 어렵다. 국소 구조를 잘 맞추면 전역 구조가 따라온다는, 이 논문에서 가장 값진 관찰이다.
AssemblyHands 평가를 넣었다. 자기 pseudo-GT만으로 끝내지 않고 센서급 GT를 가진 외부 코퍼스에서 교차 검증한 건 이 장르에서 흔치 않은 성실함이다. 격차가 줄어드는 것까지 그대로 보고한다.
하류 평가의 통제가 깔끔하다. 검색된 클립이 오직 보상으로만 들어가고 로봇 시연·행동 라벨은 안 쓰므로, 방법 간 차이가 “무엇을 검색했는가”에 귀속된다는 논증이 성립한다. potential-based shaping을 써서 원 태스크의 최적 정책을 보존한 것도 설계상 옳다.

약점·한계

⚠️ ablation이 하나도 없다. 논문 전체(부록 없음, 본문 10쪽)에서 ablation은 0회다. 그래서 이 논문의 어떤 설계 결정도 측정으로 뒷받침되지 않는다 — 토르소 정규화를 빼면(카메라 좌표계) 얼마나 나빠지는지, 3D 대신 2D를 쓰면 어떤지, set+rank 조합 대신 평범한 contrastive를 쓰면 어떤지, 임베딩 차원·T_\text{max}·경계 음성 설계가 얼마나 중요한지 전부 모른다. 논문이 핵심 통찰이라 내세운 actor-relative 표현조차 설계 논증일 뿐 측정치가 아니다. 공개 코드에 input_mode: jepa(frozen V-JEPA 특징) 같은 대안 인코더 경로가 구현돼 있는 걸 보면 내부적으로 비교는 했을 텐데 논문에 없다.
⚠️ 평가의 정답이 곧 학습 목표다. Table 2·3의 GT는 §3의 DTW 오라클이고 RoboTok은 그 랭킹을 재현하도록 학습됐다. Flow·HAND·STRAP은 그 목적함수를 본 적이 없다(각각 옵티컬 플로우·2D 손 경로·비전 특징 유사도를 최적화한다). 그러니 이 표들이 재는 것은 “누가 더 좋은 조작 시연을 찾는가”가 아니라 “누가 3D 토르소상대 손 궤적의 DTW를 더 잘 근사하는가”에 가깝다. Flow의 DTW 비용이 무작위보다 나쁘다는 결과(6.612 vs 4.776)가 이 비대칭의 직접 증거다. 논문은 이 순환을 어디서도 언급하지 않는다. 게다가 그 “오라클”조차 전 코퍼스에 대해서는 정확한 값이 아니다. 공개 코드에서 코퍼스 전체를 후보로 쓰는 경로는 pooling 벡터로 FAISS 후보 1,000개를 추린 뒤 그 안에서만 정확 DTW로 재정렬하는 2단 근사이고, 기본 pooling(stats4)에 대해 코드 자신의 설명이 평균·표준편차는 방향 불변이라 시간적 모양이 다른 궤적이 같은 벡터로 뭉갤 수 있다고 경고한다(전 궤적을 펼치는 flat_full은 정확 DTW 대비 재현율 0.90 이상이라고 적혀 있지만 기본값이 아니다). 그러니 Table 2의 정답표는 “진짜 top-20”이 아니라 후보 필터를 통과한 top-20이고, 그 필터의 재현율은 논문에도 코드 산출물에도 보고되지 않는다. 지표가 조건 입력과 다른 공간(성공률·물체 상태 등)에서 정의됐어도 순위가 유지되는지가 진짜 질문인데, 하류 실험이 그 답이 되어야 했다 — 그런데 다음 항목이 걸린다.
⚠️ 하류 보상도 같은 공간에서 정의된다. 정책 보상 \Phi(s)는 리타게팅된 시연 손 상태 뱅크까지의 k-NN 거리다. 즉 검색 지표와 정책 보상이 둘 다 “3D 손 궤적 근접성”이다. 손 궤적 기준으로 더 가까운 클립을 뽑으면 손 궤적 기준 보상이 더 잘 잡히는 건 상당 부분 정의상 참이다. 이 순환을 끊으려면 검색만 바꾸고 보상은 다른 형태(예: 물체 상태 추적, 언어 조건)로 두는 조건이 필요했다.
⚠️ harder 포맷은 저자가 직접 만들고, 3태스크만 고르고, 그 기준이 “현실에서 손목 움직임을 자연스럽게 쓰는 태스크”다. 손목 궤적을 표현으로 쓰는 방법에 구조적으로 유리한 선택이다. 원래 6태스크 중 나머지 3개(Table Reorientation, In-hand Reorientation, Bimanual Hand-over)에 harder 포맷을 적용한 결과는 없는데, 하필 원래 포맷에서 RoboTok이 약했던 태스크들이다.
불리한 결과가 서술에서 빠진다. 위에서 짚은 Bimanual Hand-over unseen(RoboTok 34.8 < Random 42.1)은 “검색이 무작위보다 못한 가이던스를 줬다”는 뜻이라 방법론적으로 중요한 신호인데, 본문은 “5/6 승”과 평균으로 넘어간다. Table Reorientation의 양 split 패배도 마찬가지다.
원래 포맷의 주 비교 상대가 재실행되지 않았다. Table 4의 Base·VT-JointPretrain은 Liu et al.(2025)에서 인용한 값이고 시드 수·시도 횟수 표기도 없다. 헤드라인인 +7.45 %p / +5.83 %p는 저자들이 직접 돌린 값 vs 논문에 실린 값의 차이라, harder 포맷(8시드·물체당 100회, 전 방법 자체 실행)의 비교만큼 통제돼 있지 않다.
⚠️ 홀드아웃 분할이 영상 단위가 아닌데 논문이 이를 밝히지 않는다. retrieval_training/config.py의 주석은 분할이 원본 영상으로 그룹화되지 않으며, 같은 영상의 클립이 학습/홀드아웃 양쪽에 들어갈 수 있고 후보 풀에 same-video near-duplicate가 존재할 수 있다고 명시한다(기본값 exclude_same_video_positives = False). 논문은 이를 “unseen retrieval quality”(Table 2 캡션·Fig. 5)라 부르면서 한 번도 언급하지 않고, 레포에 cross-video-only CKNNA를 뽑는 함수(dtw_cknna.run_per_video_split_cknna)가 있는데도 그 수치를 싣지 않았다. 다만 이 조건이 성능을 부풀렸다고 말할 근거는 없다 — 직접 재현해 세어 보니(아래 재현 노트) 코퍼스는 10만 클립 / 10,116개 영상(영상당 평균 9.885 클립)이고, 상위 20 이웃 중 같은 영상에서 온 비율은 2.24%, 즉 97.76%가 cross-video다. 같은 영상 이웃을 하나라도 가진 질의는 18.77%에 그친다. 무작위 기대값(0.0089%) 대비 252.6배 농축돼 있으니 검색기가 동일 영상 단서를 잡아내는 것은 분명하지만, 그것만으로 Recall@20 0.996을 설명할 수는 없다. 문제는 성능 과대평가라기보다 분할 특성을 독자에게 알리지 않은 것이고, 그래서 “unseen”이라는 표현과 cross-video 수치의 부재가 남는 지적이다.
⚠️ 실기 검증이 0건이다. 전부 시뮬레이션이고, 프로젝트 페이지의 “Real World Tasks” 절은 “Real-world task videos are coming soon.” 로만 채워져 있다. 인터넷 인간 영상 → 실제 다지 손이라는 이 논문의 서사에서 sim2real 격차는 부수적 문제가 아니라 본체에 가깝다.
손만 본다 — 물체도 접촉도 없다. 표현에 물체 정보가 전혀 없으므로, 손 궤적이 같고 물체가 다른 두 클립은 이웃이 된다. “조작 행동의 유사성 = 손 움직임의 유사성”이라는 전제 자체가 검증되지 않는다. 게다가 공개된 궤적 구성 코드는 한 손이 끝내 검출되지 않으면 그 손의 63개 좌표를 전부 0으로 채운다 — 마스킹이 아니라 몸통 원점에 정지해 있는 유령 손이 된다. 한손 클립끼리는 이 동일한 0 블록을 공유하므로 DTW 거리가 그만큼 줄고, 결국 손 개수 자체가 유사도 축으로 새어 들어간다. 논문에 이 규약이 없고, 손 개수별로 나눈 지표도 없다. Fig. 1의 라벨된 7개 클러스터 중 “Presenting to camera”(카메라를 향해 물건을 들어 보이는 제스처)는 조작이 아니다 — 조작 시연 엔진의 코퍼스에 비조작 손동작이 섞여 있다는 뜻이고, 필터가 잡아내지 못하는 종류의 오염이다.
5 fps와 준정지 카메라 필터가 다루는 조작의 범위를 좁힌다. 4–8초 × 5 fps = 최대 42프레임(HF 모델 카드 기준 T_\text{max}=42)이라 빠른 in-hand 재배치나 finger gaiting은 표현 자체가 안 된다. 그리고 준정지 카메라 조건은 egocentric·1인칭 영상 전체를 배제하는데, 이는 인간 조작 영상의 가장 큰 저수지(Ego4D, EgoExo 계열)를 통째로 빼는 것이다. 저자도 이동 카메라를 향후 과제로 인정한다.
⚠️ 대표 표의 대부분이 공개 코드로는 계산조차 되지 않는다. Table 2·3의 7개 열 중 5개(mAP · nDCG · MRR · Kendall \tau · DTW cost)를 공개된 eval.py가 아예 구현하지 않는다. 지표 키를 전수로 훑으면 존재하는 것은 R@k · cknna_dtw@k · cknna_dtw_global_pool@k · mutual_knn_* 뿐이고 ndcg·mrr·kendall·dtw_cost·average_precision은 0건이다. 재현이 실패하는 게 아니라 구현이 없다 — 공개 자산으로 검증 가능한 것은 Recall과 CKNNA 두 열이 전부다. 논문의 헤드라인 격차(mAP 0.353 vs 0.007)를 제3자가 확인할 방법이 없다는 뜻이다.
⚠️ 정작 핵심 기여인 actor-relative 정규화가 공개된 코드 안에 없다. 두 갈래로 확인된다. ① 체크포인트가 쓰는 궤적 설계(abs_21j_coords)의 변환 함수는 아무 연산도 하지 않고 입력을 그대로 돌려준다 — 주석이 밝히듯 “이미 추정 토르소 프레임으로 변환된” 키포인트를 전제하기 때문이다. 즉 정규화는 학습·평가 코드의 연산이 아니라 비공개 데이터 생성 파이프라인의 산출물 규약이고, 배포된 평가 파일 이름(torso_relative_clip_keypoints.pt)이 그 사실을 그대로 드러낸다. ② 그 정규화를 수행하는 토르소 추정기는 가중치(models/body_pose_est.pt, 9.9 MB)가 레포에 커밋돼 있지만 이를 인스턴스화할 VNAlignmentPolicy 클래스 정의가 이 레포에 없다 — 호출부 세 곳이 모두 RETARGET_DIR(별도 레포 EgoInfinity의 retarget/)를 sys.path에 끼운 뒤 import한다. 논문이 “이 원리를 학습된 모델로 구현했다”고 내세운 그 조각이, 공개 저장소에서는 입력 규약과 외부 의존으로만 존재한다. 앞서 “DTW는 방법이 아니라 정규화의 결과물”이라고 정리했는데, 그 정규화가 정확히 재현 불가능한 지점에 놓여 있다.
⚠️ 재현에 필요한 정보가 논문에 없다. 학습 하드웨어·시간·GPU, 임베딩 차원 d, \lambda, 정책 보상의 \beta·w·\gamma, 가이던스 뱅크 크기 K, 옵티마이저·학습률·에폭, 시뮬레이터 이름, 그리고 인간 손 → 로봇 손 리타게팅 방법이 전부 빠져 있다. 특히 리타게팅은 인간 영상을 로봇 보상으로 바꾸는 핵심 단계인데 “bank of retargeted demonstration states”라는 한 구절이 전부다. 베이스라인(로봇 코퍼스용으로 설계된 Flow·STRAP)을 인터넷 인간 영상에 어떻게 적응시켰는지도 서술이 없어, Table 2에서 그들이 near-chance인 이유를 독자가 판별할 수 없다.
가장 가까운 동시기 연구가 비교에서 빠져 있다. §2.3은 SiMDex(Lin et al., 2026)를 “로봇 시연을 질의로 egocentric 인간 데이터를 마이닝해 cross-embodiment VLA post-training에 쓴다”고 소개하는데, Table 1에도 베이스라인에도 없다. “인터넷 인간 영상을 다지 조작 학습용으로 마이닝한 최초의 검색 프레임워크”라는 주장은 질의가 인간 영상인가 로봇 시연인가라는 축으로만 SiMDex와 갈린다.

🔧 재현 노트

아래는 논문의 주장이 아니라 2026-09-06 기준으로 공개 저장소를 직접 조회하고, 공개 체크포인트와 HF 평가 데이터로 검색 평가를 실제로 돌려 본 결과다. 재현 범위는 검색 인코더 평가에 한정된다 — 학습은 다시 하지 않았고, 논문 후반부의 정책 실험은 코드가 없어 손도 대지 못했다. 환경은 로컬 RTX 4080 16GB.

공개된 것 / 안 된 것

구성요소	상태
검색 인코더 학습·평가 코드	✅ `retrieval_training/` (train.py, losses.py, model.py, eval.py + 테스트 15개) — 단 `eval.py`가 계산하는 지표는 Recall·CKNNA뿐
데이터 구축 파이프라인	⚠️ `build_dataset/`는 있으나 private `db` 모듈을 읽어 그대로는 실행 불가
토르소 추정 학습 코드	⚠️ 있으나 MANO/SMPL-H 필요(MPI-IS 등록, 재배포 불가)
인간→로봇 리타게팅	❌ 별도 레포 EgoInfinity (`RETARGET_DIR`로 연결)
정책(PPO)·VTDexManip 실험 코드	❌ 미공개 — Table 4·5, Fig. 6·7 재현 불가
검색 인코더 체크포인트	✅ `models/best_abs_retrieval_model.pt` (11.5 MB, 레포에 직접 커밋)
토르소 추정기 체크포인트	⚠️ `models/body_pose_est.pt` (9.9 MB)는 있으나 `VNAlignmentPolicy` 클래스 정의가 이 레포에 없음 (EgoInfinity `retarget/`에서 import)
평가용 키포인트 데이터	✅ HF `eval_data/torso_relative_clip_keypoints.pt` — 6.49 GB

📎 GitHub README는 eval_data/torso_relative_clip_keypoints.pt를 “multi-GB and not included” 라고 적고 HF 레포를 링크하지 않는다. 그런데 실제로는 HF에 6,492,815,625 바이트로 올라와 있다. 코드만 보고 “평가 데이터 없음”으로 판단하기 쉬운 구조다.

실제로 돌려 본 결과 — 검색 지표는 재현된다. 공개 체크포인트(best_abs_retrieval_model.pt, epoch 98)와 HF 평가 키포인트로 논문 프로토콜(코퍼스 10만 → 학습 9만 / 평가 1만, relevance = top-20 DTW, 후보 = 전체 코퍼스)을 그대로 돌렸다.

지표	논문	재현
Recall@20	0.996	0.9964
CKNNA@20	0.4853	0.48539
Recall@1	≈0.77 (Fig. 5 판독)	0.7722
Recall@5	≈0.97 (Fig. 5 판독)	0.9689

더 강한 증거는 표 대조가 아니라 체크포인트 자체에 있다. 저자의 학습 루프가 저장해 둔 best_metric = 0.5333579778671265와 이번 재현의 cknna_dtw@10 = 0.5333415269851685가 \Delta = 1.65\times10^{-5}로 일치한다. 논문 표를 옮겨 적은 값이 아니라 저자 코드가 직접 찍은 숫자와 맞은 것이라, 배포된 체크포인트가 논문의 그 모델이라는 점과 평가 경로가 온전하다는 점이 동시에 확인된다.

단 유보가 하나 붙는다. 전체 코퍼스를 후보로 쓰는 이 경로는 정답표 자체가 FAISS 후보 필터를 거친 근사다(위 약점 절 참조). 그러니 위 표가 보이는 것은 “RoboTok이 진짜 DTW 이웃을 회수한다”가 아니라 “논문과 우리가 같은 정답표에 대해 같은 값을 얻었다”까지다 — 논문 수치의 재현으로는 충분하지만, 지표의 절대적 의미까지 보증하지는 않는다.

그럼에도 검색 쪽 핵심 수치는 의심할 이유가 없다. 남는 문제는 정확도가 아니라 범위다 — 위 약점 절에서 짚었듯 Table 2의 7개 열 중 재현 가능한 것은 이 두 개뿐이고(나머지 5개는 eval.py에 구현 자체가 없다), Table 4·5는 코드가 없다.

라이선스가 두 겹이다. GitHub 코드는 MIT지만, HF의 체크포인트와 평가 키포인트는 FAIR Noncommercial Research License v1(Action100M 파생물, Meta FAIR)이다. 이 라이선스는 학습된 가중치를 “Research Materials”로 규정하고 그것으로 얻은 산출물·결과까지 비상업 연구 용도로 제한하며, 결과를 발표할 때 사용 사실을 밝히도록 요구한다. MIT는 소스와 models/best_abs_retrieval_model.yaml만 덮는다. “MIT 레포”로 뭉뚱그리면 틀린다.

논문에 없고 코드/모델 카드에만 있는 값 (전부 공개 파일에서 직접 읽음)

항목	논문	공개 자산의 값
임베딩 차원 d	기호만	256 (`retrieval_dim: 256`)
인코더 구조	“lightweight cross-attention”	입력 `[T,126]`(21관절×3×2손), 256-d 투영, cross-attn 1층 4헤드 + sinusoidal PE, 학습 쿼리 토큰 1개, 2층 MLP
T_\text{max}	없음	42 (= 8.4 s @ 5 fps)
토르소 추정기	“lightweight model”	vector-neuron 회전등변 트랜스포머 4층, rotation/translation 헤드 분리
\lambda (rank 가중)	기호만	0.2 (`rank_loss_weight`)
set loss 하이퍼	없음	margin 0.05, temperature 0.10, hard negative 16개
에폭	없음	100 (`num_epochs`)
학습 하드웨어·시간	없음	공개 자산에도 없음 (Slurm 경로 힌트만)

논문 서술과 공개 설정이 어긋나는 지점 2개 — 재현하려는 사람이 먼저 알아야 한다.

배치 구성. 논문은 b=196 = 49그룹 × \{a, p_1, p_2, n\}(anchor 1 + 양성 2 + 경계음성 1)이라 쓴다. 공개된 configs/default.yaml은 batch_size: 210, positives_per_anchor: 3, boundary_negatives_per_anchor: 2로 35그룹 × 6 = 210이다. 방향은 짐작할 수 있다 — config.py의 positives_per_anchor 옆 주석이 # 49 × 4 = 196으로 논문 값에서 멈춰 있다. 값만 배포본으로 올라가고 주석이 따라오지 않은 것이라, 논문 → 배포본 순으로 바뀐 흔적으로 읽힌다. 어느 설정이 논문 수치를 냈는지는 여전히 명시가 없다.
set loss의 K — 값 차이가 아니라 학습·평가 기준의 불일치다. 논문은 “oracle top-K”(K=20)가 경계·음성보다 높아지게 한다고 쓴다. 공개 설정은 set_loss_top_k: 10 / set_loss_boundary_start: 11 / set_loss_boundary_end: 20이고, 학습 코드가 boundary_start == top_k + 1을 강제한다. 즉 학습은 DTW 1–10위만 양성으로 끌어당기고 11–20위는 경계 음성으로 밀어낸다. 그런데 평가는 RELEVANCE_TOP_N = 20으로, 밀어내도록 학습시킨 바로 그 11–20위를 되찾아 왔는지로 채점한다. 이 어긋남은 Table 2에서 Recall@20이 0.996인데 mAP@20은 0.353에 그치는 간극과도 방향이 맞는다 — 20위 안에 들여놓는 것과 그 안에서 순위를 맞추는 것은 다른 일이고, 후자는 학습이 오히려 반대로 밀어붙인 구간이다. (인과로 단정할 근거는 없다. 논문에 이 설정이 없으니 확인할 방법도 없다.)

정리하면 검색 쪽은 체크포인트·평가 데이터가 다 있어 in-domain 재현이 가능해 보이는 반면, 논문 후반부 절반(정책 실험)은 코드가 없어 재현할 수 없다. 그리고 검색 쪽 재현조차 위 두 불일치 때문에 “논문 설정”과 “공개 설정” 중 무엇을 재현하는지 먼저 정해야 한다.

요약

RoboTok의 기여는 인터넷 인간 영상에 대한 조작-인지 검색을 성립시킨 좌표계와 그 좌표계를 벡터 검색으로 증류한 파이프라인이다. 손목 궤적만으로 토르소 프레임을 추정한다는 조각이 실용적으로 영리하고, DTW를 라벨 대신 기하학적 오라클로 쓴 선택이 코퍼스 확장성과 잘 맞는다. k=20만 최적화했는데 k=500까지 구조가 유지된다는 관찰, 그리고 외부 코퍼스(AssemblyHands)에서 격차가 줄어드는 것까지 정직하게 보고한 점은 이 논문의 미덕이다.

동시에 이 논문은 주장의 폭에 비해 증거가 얇다. ablation이 하나도 없어 핵심 통찰(actor-relative 표현)조차 측정으로 뒷받침되지 않고, 검색 평가의 정답이 곧 학습 목표이며 하류 보상마저 같은 공간에서 정의돼 있어 “더 나은 검색이 더 나은 정책을 만든다”는 인과가 부분적으로 정의상 참이다. 홀드아웃 분할이 영상 단위가 아니라는 사실은 논문이 아니라 공개 코드 주석에서만 확인된다. 실기 검증은 0건이고, 준정지 카메라 필터는 인간 조작 영상의 최대 저수지인 1인칭 영상을 배제한다.

재현 상태(2026-09-06 기준). 한 줄로 요약하면 “검색 지표는 맞았고, 표의 71%와 실험의 절반은 애초에 확인할 수 없다”이다. 공개 체크포인트와 HF 평가 데이터로 직접 돌린 Recall@20 0.9964 / CKNNA@20 0.48539는 논문의 0.996 / 0.4853과 일치하고, 저자 체크포인트에 박힌 best_metric과도 10^{-5} 수준으로 맞는다. 반면 Table 2의 나머지 5개 열(mAP·nDCG·MRR·Kendall \tau·DTW cost)은 공개 eval.py에 구현이 없고, 정책 실험(Table 4·5)은 코드 자체가 없으며, 토르소 추정기는 가중치만 있고 클래스 정의가 다른 레포에 있다. 가중치·데이터는 MIT가 아니라 FAIR Noncommercial Research License v1이고, 논문 서술과 공개 기본 설정이 배치 구성·set loss K 두 곳에서 어긋난다. 상세는 재현 노트 참조.

그래도 문제 설정 자체는 남는다. 로봇 데이터의 롱테일을 수집으로 메울 수 없다는 진단은 옳고, “인터넷에 이미 있는 것을 검색으로 꺼내 쓴다”는 방향은 계속 밀어볼 값어치가 있다. 다음 판본에서 필요한 건 더 큰 코퍼스가 아니라 어블레이션 한 장과 실기 몇 번이다.