📃Robota-Embed 리뷰

vla

manipulation

retrieval

contrastive-learning

in-context-learning

Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution

Published

October 20, 2026

Paper Link (arXiv:2610.19495): v1(2026-10-14) 기준으로 읽었다. 본문 7절 + 부록 A~E, PDF 34쪽, 그림 14장, 표 33개다. 표·그림 번호는 PDF 기준이다(HTML판은 §5.1의 LIBERO 결과 참조가 “Table 4”로 잘못 걸려 있고 PDF는 “Table 3”이다).
Project: “NVIDIA Technical Report”로 표기돼 있다. 30초 소개 영상, Fast-WAM 실기 롤아웃 영상 4개와 사람 참조 영상 2개, DROID 검색 비교 뷰어가 있다.
코드·가중치·벤치마크 미공개(2026-10-20 확인): 프로젝트 페이지 “Project resources” 칸에 Code는 “Coming soon.”, Model & benchmark도 “Coming soon.”으로 적혀 있다. arXiv HTML 본문의 외부 링크는 프로젝트 페이지와 참고문헌 URL(GEN-1.5·S1·GPT-6 Astra 블로그)뿐이고 GitHub·Hugging Face 링크는 없다. 따라서 Robota-Embed-Bench(4,000 쿼리/8,000 갤러리)도 아직 제3자가 쓸 수 없다.
Yunze Liu*, Jing Wang*, Shenrui Wu, Wenkun He, Guanqi Zhan, Xianzheng Ma, Junyu Chen, Wenhang Ge, Haozhan Tang, Yuchao Gu, Zhuoyang Zhang, Zekai Wang, Dantong Niu, Zhen Dong, Yuke Zhu, Trevor Darrell, Linxi “Jim” Fan, Song Han, Han Cai† (* 동등 기여, † 교신저자)
NVIDIA · MIT · UC Berkeley · Oxford · CMU. arXiv preprint 2026, 학회 채택 표기 없음

💡 로봇에게 쓸모 있는 맥락(context)을 찾으려면 같은 과제라는 것만으로는 부족하고 지금 실행의 어느 단계인지, 그 다음에 무엇이 이어져야 하는지까지 맞아야 한다. 그래서 현재 상태(쿼리)와 기록된 미래 4초(후보) 양쪽을 시각·언어·네이티브 액션 3개 모달로 함께 인코딩하는 검색용 임베딩을 학습한다.
⚙️ Cosmos3-Edge 4B를 공유 백본으로 쓰고 쿼리/타깃 끝단에만 별도 어댑터를 둔다. 데이터원별 액션 프로젝터로 이질적인 액션 형식을 받고, “현재 → 바로 다음 4초”를 정답으로 하는 양방향 InfoNCE에 모달 교체 마진, 하드 네거티브, 등방성 정규화를 더해 학습한다. 학습 쌍은 4개 데이터원에서 뽑은 1,695,684개다.
🎯 자체 벤치마크에서 clip R@1 47.33%·episode R@1 81.77%로 Gemini Embedding 2(25.24%/48.30%)를 앞선다. 검색한 경험을 정책 맥락으로 넣으면 DROID-Sim 47.0→56.3%, LIBERO 난제 5개 86.4→92.8%가 되고, 고정된 GPT-6 Astra 주변의 메모리·맥락 레시피를 진화시키는 Embed2Evolve는 ManiSkill 5과제에서 68%(Direct 24%, 같은 절차로 진화시킨 Omni-Embed-Nemotron-3B 33%)를 보고한다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

최근 로봇 정책들은 맥락 안의 경험을 쓴다. 시연 영상을 받아 따라 하는 world action model(WAM)이 있고, LLM 정책은 이전 시도 기록을 프롬프트로 받는다. 그러면 어떤 경험을 골라 넣을지가 제어 문제의 일부가 된다. 저자들의 출발점은 “과제가 비슷한 장면을 찾는 것”과 “지금 필요한 다음 동작을 찾는 것”이 다르다는 관찰이다. 그릇으로 손을 뻗는 순간과 그릇에 놓고 손을 빼는 순간은 물체도 지시문도 같지만 이어져야 할 동작은 정반대다. 언어는 목표를, 시각은 상호작용 상태를, 네이티브 액션은 진행 중인 움직임을 알려 준다. 그래서 검색 키에 액션을 넣어야 한다는 것이 이 논문의 주장이다.

기존 범용 임베딩(CLIP, Gemini Embedding 2, Omni-Embed-Nemotron 등)은 시각과 언어만 정렬한다. 로봇 검색 연구(REGENT, RICL 등)는 액션을 돌려받는 내용으로만 쓰고 키는 액션 없이 만든다. Robota-Embed는 쿼리(현재)와 후보(기록된 미래) 양쪽 키에 액션을 넣은 단일 벡터를 만든다. 그 위에서 두 가지 응용을 보인다. 하나는 검색한 시연을 WAM의 맥락으로 넣는 Embed2ICL이고, 다른 하나는 고정된 LLM 정책 주변의 메모리와 맥락 사용법을 실행 피드백으로 진화시키는 Embed2Evolve다.

개요(Fig. 1). 왼쪽: 사람·로봇·시뮬레이션 경험의 시각, 언어, 네이티브 액션을 하나의 VLA 임베딩으로 묶는다. 아래는 벤치마크 R@1과 추론 시 쿼리 모달을 뺐을 때의 clip R@1(VLA 47.3, VL 20.1, VA 7.1, LA 23.0). 오른쪽: Embed2ICL(DROID-Sim 47.0→56.3%, LIBERO 난제 86.4→92.8%)과 Embed2Evolve(ManiSkill 24→68%, 효율 지표 4종).

핵심 방법론:

샘플 i의 쿼리는 지시문 \ell_i, 상호작용 영역 크롭 이미지 z_{i,t}, 동기화된 현재 액션 a_{i,t}, 데이터원 d_i로 이뤄진다. 짝지어진 타깃은 같은 지시문과 시각 t 이후 4초의 영상 V_i^+·액션 A_i^+다(식 1).

x_i^{q}=(\ell_i,\,z_{i,t},\,a_{i,t},\,d_i),\qquad x_i^{k}=(\ell_i,\,V_i^{+},\,A_i^{+},\,d_i)

두 끝단은 Transformer·비디오 토크나이저·임베딩 헤드를 공유하고 어댑터 A_q, A_k만 다르다. 데이터원별 프로젝터 P_{d_i}가 액션을 백본에 넣는다. 검색은 q_i=f^q_\theta(x^q_i;P_{d_i})와 k_i=f^k_\theta(x^k_i;P_{d_i})의 코사인 유사도로 순위를 매긴다. 학습 목적함수는 세 묶음의 합이다(식 2).

\mathcal{L}=\mathcal{L}_{\mathrm{align}}+\mathcal{L}_{\mathrm{ground}}+\mathcal{L}_{\mathrm{reg}}

\mathcal{L}_{\mathrm{align}}은 정확히 짝지어진 미래 클립만 양성으로 두는 양방향 InfoNCE다. 음성은 과제·물체·액션 충돌이 명시적으로 확인된 후보만 쓰고, 애매한 후보는 분모에서 뺀다. \mathcal{L}_{\mathrm{ground}}는 쿼리의 한 모달을 바꾸면 유사도가 떨어지도록 거는 마진과 하드 네거티브 마진이다. \mathcal{L}_{\mathrm{reg}}는 임베딩이 저분산·저랭크로 무너지지 않게 한다.

주요 결과:

검색(Table 1·10): clip R@1 47.33% / episode R@1 81.77%. 액션 없는 최강 베이스라인은 clip에서 Gemini Embedding 2 25.24%, episode에서 Omni-Embed-Nemotron-3B 48.59%다(각 +22.09 / +33.18 %p, §4.1).
액션의 기여(Table 19): DROID에서 백본·데이터·예산을 맞추고 재학습하면 액션을 뺄 때 78.7→59.8%(−18.9 %p), 시각을 뺄 때 76.8%(−1.9 %p)다.
Embed2ICL(Table 2·3·5): DreamZero-DROID 무학습 맥락 주입으로 DROID-Sim 3과제 47.0→56.3%(무작위 참조는 36.0%). Fast-WAM 학습형 주입으로 LIBERO 난제 5과제 86.4→92.8%. 실기 과제 진행도는 Banana→Bowl 21.67→40.00, Split Cup 66.67→87.50(12회).
Embed2Evolve(Table 6): 고정 GPT-6 Astra에서 ManiSkill 5과제 평균 성공 68%(Direct 24%, Omni 진화 하네스 33%). 롤아웃당 정책 토큰은 0.518M으로 Direct 대비 −43.7%, Omni 하네스(≈2.531M) 대비 −79.5%다.

결론:

검색 키에 액션을 넣는다는 아이디어는 간단하고, DROID 통제 실험이 그 효과를 직접 보여 준다. 다만 헤드라인 격차는 같은 4개 데이터원으로 학습한 모델과 제로샷 범용 임베딩의 비교이고, 데이터원별 수치가 공개된 VLM2Vec-V2 기준으로 보면 격차의 약 79%가 지시문 종류가 39개·5개뿐인 LIBERO·RoboMIND에서 나온다(아래 Ring의 내 계산). 응용 실험은 방향은 일관되지만 표본이 작고 비교 조건이 하나 이상씩 섞여 있다. 코드·모델·벤치마크가 모두 “Coming soon” 상태라 지금은 어느 수치도 외부에서 확인할 수 없다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

로봇 경험 검색의 정답은 “비슷한 장면”이 아니라 “지금 다음에 올 4초”다. 이 논문은 그 정의를 그대로 학습 목표로 삼고, 시각과 언어만으로는 구분되지 않는 실행 단계를 액션으로 가른다. 그렇게 만든 벡터 하나로 두 가지를 한다. WAM에게는 참고 시연을 골라 주고(Embed2ICL), 가중치를 고칠 수 없는 LLM 정책에게는 과제별 기억과 그 기억을 쓰는 방식을 키워 준다(Embed2Evolve). 기여의 중심은 임베딩이고 두 응용은 “검색 지표가 제어로 이어지는가”를 보이는 시연에 가깝다. 이 리뷰도 그 비중에 맞춰 읽는다.

배경: 왜 “과제 유사도”만으로는 부족한가 (§1·§2)

맥락을 쓰는 정책이 늘었다

§1은 GEN-1.5와 S1(감각운동/영상 예시로 하는 로봇 in-context learning), 그리고 관측과 실행 이력으로 액션을 내는 GPT-6 Astra를 예로 든다. 시연 조건부 WAM은 좋은 예시가 필요하고, 반복해서 행동하는 정책은 쌓인 경험을 정리해야 한다. 둘 다 “물리적 경험을 어떤 표현으로 저장해야 과제·단계에 맞게 꺼낼 수 있는가”라는 질문으로 모인다.

쿼리와 후보는 시간상 역할이 다르다

범용 검색은 쿼리와 후보가 같은 종류의 것(이미지-이미지, 텍스트-영상)이라고 가정한다. 여기서는 쿼리가 현재를 묘사하고 후보는 과거 상호작용 뒤에 무슨 일이 있었는지를 기록한다. 같은 에피소드의 바로 옆 4초 창은 물체·지시문·배경이 거의 같아서 시각·언어만 보는 모델은 이들을 구분할 이유가 없다. 이 논문이 벤치마크 갤러리에 같은 에피소드의 인접 클립을 일부러 1,000개씩 넣고, clip 단위와 episode 단위 지표를 따로 재는 이유다.

액션이 검색에 들어가는 자리

§2와 부록 E(Table 33)는 기존 방법을 “액션이 어디에 들어가는가”로 정리한다.

방법	모달	쿼리 → 후보	액션의 역할	교차 데이터원
Deep Multimodal Embedding	3D/L/A	3D+L → 궤적	후보 키	No
CLASP	L/S/A	L → 상태+액션	후보 키	No
VLA-R	V/L/A	장면 V/L → 액션 토큰	후보 키	No
ROSER	P	프로토타입 → 창	없음	No
RAEA	V/L	V/L → V/L 기록	돌려받기만	Yes
REGENT	S	상태 → 시연 상태	돌려받기+블렌딩	No
RICL	V	이미지 → 시연 프레임	돌려받기+블렌딩	No
Zeva	V/A	과제 단계 → 저장 단계	순환 키	No
RADAR	V/L	평가 V/L → 학습 V/L	정책 사전	No
Robota-Embed	V/L/A	현재 VLA → 미래 VLA	쿼리 + 후보	Yes

표의 요지는 마지막 행이다. 기존 방법은 액션을 후보 쪽에만 두거나(쿼리는 액션 없음), 액션 없는 키로 찾은 뒤 액션을 돌려받는다. 양쪽 키에 모두 액션을 두고 여러 데이터원을 한 공간에 넣은 것은 Robota-Embed뿐이라는 것이 저자 주장이다(“to our knowledge”). 이 표는 저자가 만든 분류이므로 각 행의 정확성은 각 원논문으로 확인해야 한다.

방법 상세 (§3, 부록 A)

구조와 목적함수(Fig. 2). 위: 현재 쿼리(프레임 → SAM3 크롭, 지시문, 액션)와 미래 타깃(다음 4초 영상, 같은 지시문, 액션)이 공유 Transformer를 지나 끝단별 어댑터, 시간 평균, LN+Linear, L2 정규화를 거쳐 벡터 q, k가 된다. 아래: 세 목적함수 묶음. 정렬 손실의 행렬은 짝(초록), 충돌 음성(주황), 무시(회색)로 칸을 나눈다.

입력과 백본

쿼리: 지시문 + SAM3로 잘라낸 상호작용 영역 크롭(320×192) + 동기화된 현재 액션.
타깃: 지시문 + 이후 4초 구간의 16프레임 + 원래 샘플링 주기의 액션. 3인칭 시점을 우선하고, EgoDex는 1인칭이다.
백본: Cosmos3-Edge 4B(28층, hidden 2,048). Transformer, 공유 검색 헤드, 끝단 어댑터, 온도를 사전학습 체크포인트에서 초기화한다. 끝단 어댑터는 bias 없는 residual linear이고 비디오 VAE는 고정한다.

끝단 r\in\{q,k\}에서 28층 직후 RMSNorm을 지난 액션 토큰 위치의 은닉 상태 H^r\in\mathbb{R}^{T_r\times 2048}를 꺼낸다. 이 상태들은 백본 안에서 이미 언어·시각·액션이 섞인 값이다. 시간 평균 후 공유 LayerNorm과 투영 W\in\mathbb{R}^{1024\times 2048}, 끝단 어댑터를 지나 정규화한다(식 3).

\bar h^r=\frac{1}{T_r}\sum_{t=1}^{T_r}H^r_t,\qquad z^r=\frac{g_r(\bar h^r)}{\lVert g_r(\bar h^r)\rVert_2}

즉 최종 임베딩은 1,024차원 벡터 하나다. “액션 토큰 위치에서 읽는다”는 설계가 흥미롭다. 별도 [CLS] 토큰을 만들지 않고, 사전학습 모델이 액션 생성을 위해 이미 시각·언어를 모으는 자리를 검색 표현으로 재활용한다.

네이티브 액션 인터페이스

데이터원별로 학습 분할에서 좌표별 1%·99% 분위수를 구해 [-1,1] 근처로 정규화하고(식 4), 클리핑 없이 64차원으로 제로패딩한다. 도메인 ID가 해당 프로젝터를 고른다.

\hat a=2\,\frac{a-q_{01}}{\max(q_{99}-q_{01},\,10^{-8})}-1

데이터원	도메인 ID	액션 차원	주기 (Hz)	학습 행 수	비율
EgoDex (사람 손·몸 자세)	3	57	30	1,345,160	79.3%
DROID	8	10	15	26,563	1.6%
LIBERO	5	10	10	136,671	8.1%
RoboMIND–Franka-dual	12	20	10	187,290	11.0%
합계				1,695,684

(Table 7·9. 비율 열과 합계 검산은 내 계산이며 합계는 논문 값과 일치한다.) 학습은 데이터원을 1:1:1:1로 균등 샘플링한다. 배치 512 × 26,275 스텝 = 약 1,345만 샘플이므로 데이터원당 약 336만 샘플을 뽑는다. 이 값을 행 수로 나누면 EgoDex는 약 2.5회, LIBERO 약 25회, RoboMIND 약 18회, DROID는 약 127회 반복된다(내 계산, 증강·재샘플링 여부는 논문에 없음). 벤치마크에서 DROID 성능이 가장 높다는 사실(clip 74.10%)을 읽을 때 같이 기억해 둘 만하다.

최적화(§A.1): AdamW \beta=(0.9,0.95), gradient clip 1.0, Transformer 학습률 3\times10^{-7}, 헤드·어댑터 10^{-4}, weight decay 0.05. 26,275 스텝(warm-up 1,314 + cosine), 마지막 스텝 체크포인트를 쓴다. GPU 종류·수·학습 시간은 보고되지 않는다.

목적함수 상세 (§A.2, Table 8)

정렬 손실. 양성은 정확히 같은 미래 클립 ID뿐이다. 음성 집합 \mathcal{N}(i)에는 클립 ID가 다르면서 명시적 의미 충돌이 있는 후보만 들어간다(식 5).

\mathcal{L}_{q\to k}=-\frac{1}{|\mathcal{B}|}\sum_{i\in\mathcal{B}}\log\frac{\exp(s(q_i,k_i)/\tau)}{\exp(s(q_i,k_i)/\tau)+\sum_{j\in\mathcal{N}(i)}\exp(s(q_i,k_j)/\tau)},\qquad \mathcal{L}_{\mathrm{align}}=\tfrac12(\mathcal{L}_{q\to k}+\mathcal{L}_{k\to q})

배치 풀은 512개이고 온도 \tau는 [0.01,0.2] 안에서 학습한다. 충돌은 네 종류다. 과제 충돌은 물체 역할은 같고 동작·관계·방향이 다른 경우, 물체 충돌은 과제 관계는 같고 물체 범주가 다른 경우, 액션 충돌은 과제·물체가 같고 현재 액션 원형(primitive)이나 미래 액션 단계가 다른 경우, 결합 충돌은 둘 다 다른 경우다. 충돌 라벨은 Qwen3-VL-8B-Instruct가 지시문을 동작명과 물체 역할로 파싱한 결과에 결정적 규칙을 적용해 만든 약지도이고, 사람 주석이 아니다. 같은 에피소드의 미래 창이 시간 IoU 0.25를 넘으면 거의 중복으로 보고 제외한다.

이 마스킹이 방법에서 가장 신경 쓴 부분이다. 표준 InfoNCE는 배치의 다른 모든 샘플을 음성으로 쓰는데, 같은 과제의 비슷한 단계 클립을 음성으로 밀어내면 “호환되는 경험”까지 멀어진다. 저자 표현으로는 “a different clip ID alone does not establish a valid negative”다.

그라운딩·판별 손실. 가중치와 마진은 다음과 같다.

항목	제약	가중치	마진
클립 검색(정렬)	정확한 미래 클립, 양방향 InfoNCE	1.00	–
텍스트 보조	텍스트만 쿼리 → 과제 일치	0.15	–
이미지 보조	이미지만 쿼리 → 상호작용 물체 일치	0.20	–
액션 보조	비활성	0.00	–
텍스트/이미지/액션 교체	쿼리 모달 하나를 바꾸면 유사도 하락	0.25 / 0.35 / 0.20	0.08 / 0.10 / 0.06
하드 과제/물체/액션	충돌 클래스별 최고 유사도 후보에 마진	0.25 / 0.35 / 0.20	0.08 / 0.10 / 0.06
융합 우위	융합 쿼리가 모든 단일 모달 쿼리보다 우위	0.20	0.02
등방성	분산, participation-ratio 랭크, 중심화	0.05	–
쿼리/타깃 중심화	배치 중심 페널티	0.10 / 0.10	–

모달 교체 손실은 짝 타깃을 고정한 채 쿼리의 한 모달만 바꾼 q'에 대해 코사인 힌지를 건다(식 6).

\ell_{\mathrm{swap}}(q,q',k^+)=\max\{0,\;m-s(q,k^+)+s(q',k^+)\}

액션 교체 공여자는 과제·물체는 같고 현재 액션 원형과 미래 단계가 모두 달라야 하며, 표준화 RMS 거리가 각각 0.75 이상이어야 한다. 액션 단독 보조 정렬을 끈 이유가 명시돼 있다. 현재 액션 하나로는 미래 궤적이 유일하게 정해지지 않으므로 액션만으로 정확한 미래를 맞히라고 하면 무리한 목표가 된다. 대신 액션은 융합 표현 안에서만 학습되고, 교체 손실이 모델이 액션을 무시하지 못하게 막는다.

정규화. 배치 중심을 0 근처로, 차원별 표준편차 하한 약 0.02, participation-ratio 유효 랭크를 쿼리 16·타깃 18 이상으로 유도한다.

학습 데이터 정제 (§3.3, §A.3)

데이터 정제 파이프라인(Fig. 3). 에피소드 단위로 먼저 분할하고, 조밀한 시간 앵커를 잡아 지시문의 물체 구절로 SAM3 검출, 320×192 줌 크롭, Qwen3-VL 품질 게이트(보임·과제 관련·분리 가능·가림 없음)를 거쳐 “현재 쿼리 / 미래 4초 타깃” 쌍을 만든다. 통과 쌍은 1,695,684개다.

에피소드·세션·콘텐츠 ID를 학습/검증/원래 테스트 분할에 먼저 배정한 뒤 앵커를 뽑는다. 같은 에피소드가 학습과 벤치마크에 동시에 들어가는 누설은 이렇게 막는다.
SAM3 제안 임계 0.35, 최종 점수 0.40 이상, 이미지의 0.08% 이상을 덮는 검출만 남기고 줌 비율 1.10 이상을 허용한다.
Qwen3-VL이 크롭을 확인하고, 실패하면 조금 이른 인접 시각으로 재샘플링하며 이미지·액션·앵커를 함께 옮긴다. 선택에는 지시문과 현재 관측만 쓰고 미래 정보는 쓰지 않는다.

직관: 액션은 “같은 장면의 다른 순간”을 가르는 시계다

같은 에피소드의 연속된 4초 창을 떠올려 보자. 카메라도 물체도 지시문도 같다. 크롭 이미지가 조금 달라도, “그릇 위로 가는 중”과 “그릇에서 물러나는 중”은 정지 프레임만으로는 대칭에 가깝다. 반면 현재 액션 벡터(엔드이펙터 속도·그리퍼 명령)는 방향과 부호가 바로 다르다. 그리고 타깃 쪽에도 미래 액션이 들어 있으므로, 쿼리의 “지금 내려가는 중”과 후보의 “그 다음 4초에 그리퍼가 닫힘”이 같은 공간에서 비교된다. 저자의 DROID 재학습 실험에서 액션을 빼면 −18.9 %p, 시각을 빼면 −1.9 %p인 비대칭이 이 그림과 맞다.

같은 그림이 이 방법의 한계도 보여 준다. 액션은 같은 에피소드 안에서 시점을 가르는 데 유리하다. 하지만 서로 다른 로봇·사람 사이에서는 액션 공간 자체가 달라 비교할 수 없다(데이터원별 프로젝터와 “within-source pairs”가 그래서 있다). 교차 신체(cross-embodiment) 검색은 결국 언어와 시각이 떠받쳐야 하는데, 이 논문은 그 능력을 정량 평가하지 않는다(아래 Fig. 8 참고).

실험 1: 검색 (§4, 부록 B)

벤치마크 구성

4개 데이터원 × 1,000 쿼리 = 4,000 쿼리, 3,200 에피소드(데이터원당 800).
공유 갤러리 8,000개 = 데이터원당 2,000개(짝 미래 클립 1,000 + 같은 에피소드의 인접 클립 1,000).
clip 수준: 짝 클립 하나만 정답. episode 수준: 같은 에피소드의 아무 창이나 정답. episode 지표는 에피소드 안에서 먼저 평균한 뒤 에피소드와 데이터원을 동일 가중한다.
데이터원별 고유 지시문 수: EgoDex 591, DROID 800, LIBERO 39, RoboMIND–Franka-dual 5(§B.1).
벤치마크 에피소드는 학습에서 제외되지만 과제·물체·신체 범주는 겹칠 수 있다(저자 명시). 즉 같은 4개 데이터 분포의 홀드아웃 에피소드다.

입력 인터페이스가 다르다 (§B.1)

모델	쿼리	후보
Robota-Embed	지시문 + SAM3 크롭 + 현재 액션	지시문 + 미래 16프레임 + 미래 액션
Gemini Embedding 2, VLM2Vec-V2, Omni-Embed, Qwen3-VL-Emb, WeMM	지시문 + 원본 현재 프레임	지시문 + 미래 16프레임
CLIP, Perception Encoder, InternVideo2	지시문	미래 영상

모든 외부 베이스라인은 제로샷이다. “각 모델이 지원하는 인터페이스로 평가했다”는 것이 저자 설명이다.

주요 결과 (Table 1)

모델	clip R@1	R@5	R@10	MRR	episode R@1	R@5	R@10	MRR
CLIP ViT-L/14	1.2	5.8	9.8	4.06	3.2	7.7	11.6	5.98
Perception Encoder B16	2.0	8.1	12.8	5.52	5.0	10.1	15.2	8.01
InternVideo2	1.6	7.3	11.4	4.82	4.1	9.1	13.2	6.94
Qwen3-VL-Embedding-2B	23.3	51.6	57.3	36.20	45.1	55.9	61.0	50.71
VLM2Vec-V2	24.1	51.9	57.6	36.67	47.3	58.1	63.3	52.88
WeMM-Embedding-2B	24.1	52.2	58.2	36.78	45.1	57.3	63.2	51.08
Omni-Embed-Nemotron-3B	24.5	54.5	60.1	38.10	48.6	59.1	64.4	53.84
Gemini Embedding 2	25.2	52.3	57.5	37.68	48.3	58.2	64.7	53.69
Robota-Embed	47.3	91.9	97.0	67.05	81.8	94.9	98.1	86.96

초록은 Gemini Embedding 2 대비 “+22.09 / +33.47 %p”라고 쓰고, §4.1은 열마다 최강 베이스라인(clip은 Gemini 25.24, episode는 Omni 48.59) 대비 “+22.09 / +33.18 %p”라고 쓴다. 둘 다 산술은 맞다. 다만 episode 열의 최강 베이스라인은 Omni이므로, 초록이 Gemini를 기준으로 고른 쪽이 0.29 %p 더 큰 격차를 보여 준다. 사소하지만 헤드라인은 §4.1 기준으로 읽는 편이 정확하다.

데이터원별로 쪼개면 (Table 10·11)

데이터원	지시문 수	Robota clip R@1	VLM2Vec-V2	WeMM-2B	Robota episode R@1	VLM2Vec-V2 ep.
EgoDex	591	36.70	32.40	30.80	87.06	78.13
DROID	800	74.10	58.70	61.10	99.88	99.19
LIBERO	39	38.50	4.70	4.30	67.62	10.75
RoboMIND-FD	5	40.00	0.40	0.30	72.50	1.19
평균		47.33	24.05	24.13	81.77	47.31

이 표가 헤드라인을 읽는 열쇠다. 데이터원별 수치가 공개된 베이스라인은 VLM2Vec-V2와 WeMM 둘뿐이고, 정작 최강 베이스라인인 Gemini·Omni의 데이터원별 분해는 없다. 위 두 베이스라인 기준으로 계산해 보면(내 계산):

VLM2Vec-V2 대비 평균 격차 23.27 %p 중 RoboMIND-FD가 42.5%, LIBERO가 36.3%, DROID 16.5%, EgoDex 4.6%를 차지한다. 지시문이 39개·5개뿐인 두 데이터원이 격차의 약 79%를 만든다.
지시문이 가장 다양하고 사람 데이터인 EgoDex에서 clip R@1 격차는 +4.3 %p(VLM2Vec-V2), +5.9 %p(WeMM)다.

RoboMIND-FD처럼 지시문이 5종이면 텍스트로는 후보를 거의 못 가르고, 원본 프레임만 보는 베이스라인은 같은 장면의 다른 에피소드·다른 시점을 구분할 단서가 없다. 그 공백을 메우는 것이 액션이라는 해석은 저자 주장과 맞는다. 다만 그 공백을 같은 데이터원으로 학습한 모델이 메운다는 점도 함께 봐야 한다(비판 절에서 다시 다룬다).

episode는 찾지만 시점은 못 맞힌다

검색 진단 예시(Fig. 4). (a) “Write on paper with a pink marker”: 짝 미래 클립이 1위. (b) “Turn off the black kettle, then open its lid”: 같은 에피소드의 인접 클립이 1위이고 짝 클립은 7위. 둘 다 episode 수준 정답이지만 clip 수준 정답은 (a)뿐이다.

EgoDex는 episode R@1 87.06%인데 clip R@1은 36.70%다(DROID는 99.88/74.10%). §4.1의 표현대로 “관련 경험을 찾는 것이 그 짝 연속 구간을 짚는 것보다 쉽다”. 이 격차가 이 논문이 두 지표를 분리한 이유이기도 하다.

벤치마크 타당성 점검 (Table 12·13)

설정	clip R@1	episode R@1
원래 프로토콜	47.33	81.77
후보 텍스트 마스킹	12.78	23.17
같은 지시문 갤러리로 제한	47.62	82.53

후보 지시문을 지우면 clip R@1이 12.78%로 떨어진다(마스킹 전후 후보 임베딩 평균 코사인 0.506). 저자는 이를 “모델이 언어를 쓴다”는 확인으로 읽는다. 같은 지시문 후보로만 제한해도 47.62%로 거의 같다. 다른 지시문 오답이 거의 없었다는 뜻이고, 틀리는 경우는 대부분 같은 지시문 안에서 틀린다는 뜻이기도 하다. 같은 지시문 풀의 무작위 기준선은 다음과 같다.

데이터원	후보 평균	중앙값	모델 R@1	무작위 R@1	모델 R@5	무작위 R@5
EgoDex	4.06	4	37.60	29.76	98.40	95.09
DROID	2.71	2	74.20	54.64	99.20	97.46
LIBERO	54.51	50	38.60	1.90	87.00	9.50
RoboMIND-FD	473.59	342	40.10	0.24	85.20	1.19

저자는 LIBERO·RoboMIND의 무작위 대비 우위(38.60 vs 1.90, 40.10 vs 0.24)를 강조한다. 반대로 읽으면, EgoDex에서는 지시문을 알고 남은 평균 4개 후보 중에서 고를 때 무작위 29.76% 대비 +7.8 %p밖에 안 된다(DROID는 +19.6 %p, 내 계산). 즉 “지시문이 같은 같은 에피소드의 몇 개 창 중에서 정확한 다음 4초 고르기”라는 이 논문의 핵심 능력은, 지시문이 다양한 사람 데이터에서는 아직 약하다. 이 표는 저자 스스로 낸 것이고, 결론을 뒤집지는 않지만 헤드라인을 읽는 범위를 좁힌다.

무엇이 검색을 작동시키나 (§4.2, 부록 B.4·B.5)

실험	설정	clip R@1	근거
적응	Cosmos3-Edge 고정 읽기 (4개 데이터원)	0.65	Table 15
	Robota-Embed (4개 데이터원)	47.33	Table 15
학습 범위 (DROID)	헤드만	13.8	Table 16
	백본 + 헤드	78.7	Table 16
목적함수 (DROID)	\mathcal{L}_{\mathrm{align}}	75.6	Table 17
	+\mathcal{L}_{\mathrm{reg}}	77.0	Table 17
	+\mathcal{L}_{\mathrm{ground}}+\mathcal{L}_{\mathrm{reg}}	78.7	Table 17
시각 입력 (DROID, 재학습)	시각 없음 / 전체 프레임 / SAM3 줌	76.8 / 77.9 / 78.7	Table 18
모달 재학습 (DROID)	VLA / VL / LA / VA	78.7 / 59.8 / 76.8 / 20.2	Table 19
쿼리 마스킹 (DROID 고정 모델)	VLA / VL / LA / VA	78.7 / 50.7 / 60.9 / 1.9	Table 21
쿼리 마스킹 (최종 모델, 4개 데이터원)	VLA / VL / LA / VA	47.33 / 20.08 / 23.00 / 7.13	Table 20
	L / V / A 단독	16.23 / 1.68 / 0.53	Table 20

여기서 읽을 것이 셋이다.

사전학습 특징만으로는 검색이 안 된다. 고정 Cosmos3-Edge 읽기는 0.65%다. 세 모달이 다 들어 있어도 “현재 ↔︎ 미래” 비교는 학습해야 생긴다.
목적함수의 추가 항은 상위 순위를 다듬는다. 정렬 손실만으로 R@10이 이미 100%이고 R@1이 75.6%다. 정규화와 그라운딩이 R@1을 3.1 %p 올린다. 그라운딩 손실 9개 항 각각의 기여는 따로 재지 않았다.
재학습과 마스킹은 다른 질문에 답한다. 시각을 빼고 재학습하면 −1.9 %p뿐이지만, 최종 모델에서 시각을 가리면 −17.8 %p(DROID)·−24.33 %p(4개 데이터원)다. 저자는 이를 “재학습은 남은 모달로 다시 배울 수 있는 양, 마스킹은 학습된 융합의 의존도”로 구분하고, 그래서 모달의 보편적 순위가 아니라 “결합 키가 필요하다”는 결론만 낸다고 명시한다(§6). 해석이 신중하다.

또 하나, 모든 재학습 통제 실험은 DROID에서만 했다. 액션 효과가 가장 클 것으로 보이는 LIBERO·RoboMIND, 가장 약해 보이는 EgoDex에서 “액션 없이 재학습한 같은 모델”은 없다.

인덱스 규모와 지연 (Table 22)

갤러리	Top-10 검색 (ms)	인코딩 + 검색 (ms)	단일 스트림 QPS	추정 GPU 메모리 (GB)
1M	2.66	160.36	6.24	11.29
2M	5.14	162.84	6.14	15.39
5M	12.60	170.30	5.87	27.69
10M	25.04	182.74	5.47	48.19
15M	37.47	195.17	5.12	68.69

A100 1장 기준이고 쿼리 인코딩이 157.70 ms로 지배적이다. SAM3 전처리, 재순위화, 정책 추론은 빠져 있다(§B.6). Fast-WAM 경로는 롤아웃당 첫 검색 후 참조를 고정하므로 이 지연이 제어 루프에 매번 들어가지는 않는다. 15M 규모의 검색 품질은 재지 않았고 품질은 8,000개 갤러리에서만 평가됐다.

교차 신체 정성 예시 (§B.7)

교차 신체 정성 예시(Fig. 8). (a) RoboMIND 쿼리 “Move a gray plate from table to rack” → EgoDex “Move a blue box from table into a bowl”, (b) EgoDex “Take a block from a cabinet” → DROID “Take one packet from a pack”, (c) DROID “Place the white book upright, then move it backward” → LIBERO “Put a book in the rear compartment of a caddy”. 각 쿼리는 그림의 대상 데이터원만 검색했다.

저자 스스로 “별도의 진단 체크포인트”에서 고른 3개 사례이고 “교차 데이터원 정확도·빈도·강건성·데이터원 불변성은 이 분석 범위 밖”이라고 적는다. 즉 교차 신체 검색은 정량적으로 주장되지 않는다. Embed2ICL이 LIBERO 로봇 쿼리로 EgoDex 사람 시연을 찾아 쓰는 설계를 생각하면, 이 공백은 응용 절의 해석에 직접 걸린다.

실험 2: Embed2ICL (§5.1, 부록 C)

Embed2ICL 구조(Fig. 5). 로봇 VLA 쿼리로 검색한 뒤 두 경로로 나뉜다. 무학습 경로는 DROID top-k를 재순위화 에이전트로 골라 DreamZero의 시각 KV 캐시를 데운다. 학습형 경로는 EgoDex top-1의 Context Tokens를 Fast-WAM의 네이티브 cross-attention에 넣는다.

무학습 경로: DreamZero-DROID 캐시 워밍업

무학습 Embed2ICL(Fig. 9). Robota-Embed가 DROID 인덱스에서 후보를 뽑고 재순위화 에이전트가 과제 관련성·완료 증거로 참조 구간을 고른다. 그 영상이 DreamZero-DROID의 6.6초 롤링 KV 캐시(FIFO)를 초기화하고, 이후 실시간 관측이 캐시를 갱신한다.

동결된 DreamZero-DROID의 시각 캐시를 검색한 영상으로 초기화한다. 정책 가중치는 바꾸지 않는다. 참조는 15 Hz 3개 카메라 스트림 4초(뷰당 60프레임)이고, 마지막 그리퍼 해제 프레임 전 45프레임 + 해제 프레임 + 후 14프레임으로 자른다. 두 검색기 모두 같은 GPT-5.6 sol 재순위화 에이전트를 쓴다. 중요한 설계 하나가 있다. 과제마다 참조 영상 하나를 고정하고 100회 평가 내내 같은 참조를 쓴다(§C.1).

과제별 고정 DROID 참조(Fig. 10). 해제 2.0초 전, 해제 프레임, 0.8초 후. Cube→Bowl은 블록→그릇, Can→Mug는 뚜껑→용기, Banana→Bin은 바나나→그릇 예시다. 물체나 수용체가 바뀌어도 “놓기” 관계는 유지된다.

참조 조건	Cube→Bowl	Can→Mug	Banana→Bin	평균
워밍업 없음	61	13	67	47.0
무작위 참조	50 (−11)	7 (−6)	51 (−16)	36.0 (−11.0)
Omni-Embed-Nemotron-3B top-1	57 (−4)	5 (−8)	68 (+1)	43.3 (−3.7)
Omni + 재순위화	62 (+1)	19 (+6)	72 (+5)	51.0 (+4.0)
Robota-Embed top-1	63 (+2)	16 (+3)	72 (+5)	50.3 (+3.3)
Embed2ICL (Robota + 재순위화)	65 (+4)	24 (+11)	80 (+13)	56.3 (+9.3)

(Table 2, 과제당 100회 성공률 %. 평균 6행은 모두 내 검산과 일치한다.) 가장 강한 결과는 무작위 참조가 오히려 해롭다(36.0%)는 점이다. 시연을 넣는 것 자체가 아니라 무엇을 넣느냐가 중요하다는 증거다. 저자도 “adding a demonstration is not sufficient”라고 쓴다.

실기(YAM)에서는 DreamZero-AgiBot을 YAM의 55개 놀이 궤적(약 30분)으로 20 epoch 적응시킨 정책에, DROID-Sim Banana→Bin용으로 골랐던 참조를 그대로 재사용해 Banana→Bowl을 평가했다. 5단계 × 20점 진행도로 21.67 → 40.00, 성공은 0/12 → 2/12다(§C.3).

학습형 경로: Fast-WAM Context Tokens

학습형 Embed2ICL(Fig. 11). 01: EgoDex 사람 기록을 Robota-Embed로 인코딩해 검색 벡터 k와 Context Tokens C(32×1024)·마스크를 캐시한다. 02: 로봇 쿼리(텍스트+이미지+액션 이력)로 코사인 top-1을 찾아 토큰을 불러온다. 03: 폭 어댑터(1024→4096)를 거쳐 Fast-WAM의 텍스트·고유감각 조건에 “Reference”로 이어 붙인다.

Fast-WAM은 매 정책 호출마다 시각 KV 상태를 초기화하므로 캐시 워밍업을 쓸 수 없다(§C.2). 그래서 학습형 인터페이스를 만든다. 타깃 인코더의 액션 슬롯 은닉 상태를 최대 32개 위치로 시간 풀링하고, 같은 LayerNorm·투영·타깃 어댑터를 거쳐 토큰별로 정규화한다(식 7).

\widetilde H_i=\mathrm{Pool}_{32}(H^k_i),\quad u_{i,j}=A_k\!\big(W\,\mathrm{LN}(\widetilde H_{i,j})\big),\quad C_{i,j}=\frac{u_{i,j}}{\lVert u_{i,j}\rVert_2},\quad C_i\in\mathbb{R}^{32\times1024}

검색은 전역 벡터 k_i로 하고, Fast-WAM은 토큰열 C_i를 받는다. 이 토큰은 Fast-WAM 폭으로 투영되고 학습 가능한 타입·위치 임베딩이 더해진다(식 8).

R=\mathrm{Linear}_{1024\to4096}\big(\mathrm{LN}(C)\big)+E_{\mathrm{type}}+E_{\mathrm{pos}},\qquad R\in\mathbb{R}^{32\times4096}

R은 [H_{\mathrm{text}};h_{\mathrm{proprio}}] 뒤에 붙어 비디오 expert 30층·액션 expert 30층의 cross-attention이 모든 denoising 스텝에서 읽는다. 학습은 비디오 expert 약 5.00B, 액션 expert 약 1.02B, 고유감각 인코더, 4.34M 어댑터, 합계 약 6.02B 파라미터를 갱신한다. Robota-Embed 인코더로는 그래디언트가 가지 않는다. LIBERO 학습은 공식 Fast-WAM LIBERO 체크포인트에서 시작해 1,712 궤적(277,713 샘플)으로 5 epoch, 21,700 업데이트, 유효 배치 64, AdamW 10^{-4}이다.

Fast-WAM 계열 자체는 블로그의 Fast-WAM 리뷰에 정리해 두었다. 이 논문이 넣는 Context Tokens는 Fast-WAM이 원래 텍스트·고유감각을 받던 그 cross-attention 경로에 얹힌다. 사람 영상을 WAM 맥락으로 쓰는 다른 접근은 Zero-WAM 리뷰에 있다(이 논문도 §2에서 Zero-WAM을 인용한다).

LIBERO “difficult subset” (Table 3·4·23·25)

독립 파일럿에서 공식 Fast-WAM이 50회 중 46회 이하로 성공한 과제 5개를 골랐다.

Suite / ID	과제	공식 릴리스	Side branch	Embed2ICL
Spatial / S4	Black bowl → plate	46	46 (0)	49 (+6)
Goal / G3	Bowl → top drawer	42	44 (+4)	50 (+16)
Goal / G9	Wine bottle → rack	45	44 (−2)	47 (+4)
LIBERO-10 / L4	Two mugs → plates	43	43 (0)	44 (+2)
LIBERO-10 / L6	Mug–pudding arrangement	40	43 (+6)	42 (+4)
5과제 평균 (%)		86.4	88.0	92.8

(50회 중 성공 수, 괄호는 공식 대비 %p. 평균 검산 216/250 = 86.4, 232/250 = 92.8 일치.) 통제 조건은 셋이다.

비교	5과제 평균 (%)	무엇을 통제하나
공식 릴리스 (ICL 없음)	86.4	–
ICL 없이 같은 21,700 업데이트 추가 학습	86.4	추가 학습량
Embed2ICL 체크포인트 + 무작위 Context Tokens	88.0	참조 선택 (같은 가중치)
Embed2ICL 체크포인트 + 검색 Context Tokens	92.8	–
Side branch(백본 고정, 158.74M 학습) + 무작위 / 검색 토큰	85.6 / 88.0	통합 방식

ICL 없이 같은 양을 더 학습하면 그대로 86.4%라는 대조군이 있는 것은 좋다. “학습을 더 해서 오른 것”이라는 가장 흔한 반론을 막는다. 무작위 토큰 대조는 같은 체크포인트에서 토큰만 바꾼 것이다.

LIBERO G3 예시(Fig. 12). “Open the top drawer and put the bowl inside” 쿼리로 EgoDex top-1(사람이 물체를 그릇 쪽으로 옮기는 장면)을 찾았다. 선택된 최종 상태: 공식 릴리스(42/50)는 그릇이 서랍 밖에 있고, Embed2ICL(50/50)은 서랍 안에 있다.

이 예시의 사람 참조는 “서랍 열고 그릇 넣기”가 아니라 “물체를 그릇 쪽으로 옮기기”다. 저자는 “수용체에 놓기”라는 공통점으로 설명한다. 그럴 수 있다. 다만 LIBERO처럼 지시문 39종의 닫힌 과제 집합에서는, 검색된 토큰이 과제 식별자처럼 작동해 이득을 내는 가능성도 이 실험으로는 배제되지 않는다. 무작위 토큰(88.0%)과 검색 토큰(92.8%)의 차이가 그 둘을 가르지 못한다.

실기 과제 진행도 (Table 5·24)

참조와 실기 실행(Fig. 6). Banana-to-Bowl은 DreamZero/YAM 무학습 경로에 DROID 참조, Pick Fruit·Split Cup은 Fast-WAM 학습형 경로에 사람(EgoDex) 참조를 쓴다. 아래는 로봇 실행 장면이고, 타임스탬프는 각 클립 시작 기준이다.

과제	ICL 없음	Side branch	Embed2ICL
Banana → Bowl (DreamZero, 무학습)	21.67	–	40.00
Pick Fruit (Fast-WAM)	75.00	77.08	79.17
Split Cup (Fast-WAM)	66.67	75.00	87.50

(0–100 과제 진행도, 과제·조건당 12회.) Pick Fruit·Split Cup은 하위 단계 4개 × 0.25점이다. Pick Fruit은 양손이 각각 과일을 잡아 가운데 바구니에 넣는 것이고, Split Cup은 한 손이 컵 더미를 잡고 다른 손이 컵 하나를 떼어 똑바로 세우는 것이다. 부분 점수 방식은 T-Rex 리뷰의 채점 방식을 따랐다고 밝힌다(T-Rex 저자 일부가 이 논문 저자이기도 하다). Fast-WAM 실기 과제의 로봇 플랫폼과, 그 과제에 Fast-WAM을 어떤 실기 데이터로 학습했는지는 논문에 나오지 않는다. 이진 성공률도 Fast-WAM 두 과제에서는 보고되지 않는다.

아래 두 영상은 프로젝트 페이지의 롤아웃을 같은 시간축으로 나란히 붙인 것이다(왼쪽 ICL 없음, 오른쪽 Embed2ICL. 두 롤아웃은 시작 장면이 같다).

Pick Fruit, episode 0009(프로젝트 페이지 영상 좌우 합성). 왼쪽은 왼손이 집은 빨간 과일이 바구니 밖으로 떨어지고 오른손의 노란 과일만 들어간다. 오른쪽은 두 과일이 모두 바구니에 들어간다.

Split Cup, episode 0002(프로젝트 페이지 영상 좌우 합성, 왼쪽은 “baseline archive” 롤아웃). 두 쪽 모두 컵 하나를 떼어 내는데, 마지막 프레임에서 왼쪽은 떼어 낸 컵이 테이블에 쓰러져 있고 오른쪽은 똑바로 서 있다.

두 영상은 프로젝트 페이지가 고른 예시다. 12회 중 어떤 회차인지, 대표성이 있는지는 알 수 없다. 프로젝트 페이지에는 30초 소개 영상(19.5 MB, 슬라이드형 요약)도 있다.

실험 3: Embed2Evolve (§5.2, 부록 D)

Embed2Evolve(Fig. 7). 개발 단계: 성공·실패 롤아웃을 모아 Robota-Embed로 앵커를 색인하고, 메모리 M과 레시피 θ를 진화시키며 성공 → 제어 틱 → 실행 시간 순으로 평가·선택한다. 배포 단계: M와 θ를 고정하고, 현재 RGB·텍스트·액션 쿼리로 과거 맥락을 검색해 GPT-6 Astra에 넣는다. GPT-6 Astra는 EEF 자세와 그리퍼 명령을 내고 고정된 IK/제어기가 실행한다.

설정

정책: GPT-6 Astra(reasoning effort low). 결정 하나마다 모든 현재 RGB 뷰(256×256, 단일 팔 4대, 양팔 5대), 로봇 상태, 실행 피드백, 최근 액션/피드백 이력, 외부 맥락을 받아 최대 8개 프리미티브(EEF 목표 자세 + 그리퍼)를 낸다. 물체 자세·시뮬레이터 내부 상태·과제 코드는 주지 않는다.
환경: ManiSkill 3.0.1 / SAPIEN 3.0.3, 20 Hz, 프리미티브당 2틱. 롤아웃 예산 100 결정·300 프리미티브·600 제어 틱(Table 26). ManiSkill 자체는 ManiSkill3 리뷰에 있다.
메모리: 완료된 개발 에피소드(성공·실패 모두)의 앵커마다 최대 4초의 RGB·명령·상태·피드백을 저장한다. 같은 과제·같은 활성 팔만 찾고, 현재 시드 에피소드는 빼고, 서로 다른 원천 에피소드에서 고른다.
쿼리(중요): Robota-Embed 쿼리는 지시문 + 주 카메라 RGB + “가장 최근에 승인된 활성 팔 명령의 끝점 오차”로 만든 액션 대리값이다. 저자는 “LIBERO 액션 코덱을 ManiSkill에 적용한 것은 분포 밖 적응”이라고 명시한다. Robota-Embed는 ManiSkill 데이터로 학습되지 않았다.
순위 점수(식 9): 코사인에 원천 에피소드 성공 보너스와 효율 보너스를 더한다.

R(q,j)=\cos(q,z_j)+\alpha S_j+\beta S_j\Big(1-\frac{L_j}{600}\Big)

S_j\in\{0,1\}는 원천 에피소드 성공 여부, L_j는 그 에피소드의 총 제어 틱이다. 실패 앵커는 보너스도 벌점도 없이 유사도로만 검색된다.

개발 절차: 무엇이 “진화”하는가

진화 대상은 정책 가중치가 아니라 검색 개수 k, 갱신 주기 \delta, 유지 이력 쌍 H, 보너스 \alpha,\beta와 그 라운드까지 쌓인 메모리다. 매 라운드는 개발 시드 0–9(10회)로 평가한다. 초기 프리셋 3개(A: k=2, \delta=2, H=12 / B: 1, 4, 6 / C: 2, 1, 8)로 시작해, 이후엔 현재 승자를 복사하고 라운드 번호 r \bmod 3에 따라 정해진 국소 변경 하나를 적용한다. 선택은 사전식이다(식 10).

\ell^\star=\arg\min_{\ell\in\mathcal{E}}\big(-N_\ell,\ \overline L_\ell,\ \overline T_\ell,\ \ell\big)

성공 수 최대 → 성공 시행의 평균 제어 틱 최소 → 평균 시간 최소 → 이른 라운드 순이다. 종료는 (성공, −틱, −시간) Pareto 경계에 새 점이 두 라운드 연속 안 생길 때이고, 과제당 최대 8라운드다. 정해진 규칙만 쓰는 결정적 탐색이고 LLM이 레시피를 제안하는 구조는 아니다. 이름은 “evolution”이지만 실제로는 5차원 설정의 국소 탐색이다. ASPIRE 리뷰의 진화 탐색(코딩 에이전트가 프로그램 후보를 생성)과 비교하면 훨씬 단순하다. 두 논문 모두 Yuke Zhu, Linxi Fan이 저자로 참여했다.

하네스 진화 예시(Fig. 13). PullCubeTool의 선택 경로 R4 → R5 → R8에서 메모리는 938 → 1,125 → 1,667 앵커로 늘고 갱신 주기는 1 → 2 → 3, 유지 이력은 8 → 6 → 4로 줄어든다(개발 성공 6/10 → 7/10 → 7/10). 아래: 같은 테스트 초기화에서 Direct는 80결정·962.27초, Embed2Evolve는 26결정·489.55초로 성공했다.

과제	선택 라운드	에피소드	앵커	k	주기	H	\alpha/\beta
Poke Cube	8	80	1,610	2	2	6	.15/.05
Stack Cube	2	20	454	2	2	12	.10/.03
Lift Peg Upright	6	60	1,116	2	1	6	.20/.05
Pull Cube with Tool	8	80	1,667	2	3	4	.15/.05
Two-Robot Stack Cube	5	50	1,126	2	3	6	.10/.03

(Table 28.) 다섯 과제 모두 k=2로 수렴했다.

테스트 결과 (Table 6)

과제	Direct	+ 무작위 이력	Evolve + Omni-Embed	Embed2Evolve
Poke Cube	45	15	45	80
Stack Cube	10	20	20	60
Lift Peg Upright	30	40	55	65
Pull Cube with Tool	10	10	20	50
Two-Robot Stack Cube	25	15	25	85
평균 (%)	24.0	20.0	33.0	68.0
토큰/롤아웃 (M)	0.921	–	≈2.531	0.518

(과제·조건당 20회, 테스트 시드 40–59. 평균 4개와 토큰 감소율 79.5%·43.7%는 내 검산과 일치.) Embed2Evolve는 다섯 과제 모두에서 Omni 하네스보다 높다. 공구 사용(Pull Cube with Tool 20→50%)과 양팔 협응(Two-Robot 25→85%)에서 차이가 가장 크다.

효율: 측정 범위를 나눠 읽어야 한다 (Table 30·31·32)

저자는 지표마다 집계 모집단을 분리해 명시한다. 이 부분의 정직성은 높게 평가할 만하다.

지표	모집단	결과
성공률	과제당 20회 전부	24% → 68%
정책 토큰	실패 포함 20회 전부	0.921M → 0.518M (−43.7%), Omni 대비 −79.5%
참조 API 비용	실패 포함 20회 전부, 입력 $10·출력 $50 /M 고정	$9.9641 → $5.7980 (−41.8%)
정책 결정 수	Direct·Evolve 둘 다 성공한 19개 초기화	−64.1% (과제별 감소율 평균)
실행 시간	같은 19개	−41.4%, 과제별 시간비 평균 1.90×

공유 성공 19개의 과제별 분해(Table 31)는 7/2/5/1/4개다. Pull Cube with Tool은 1쌍이다. 그리고 정책 결정이 줄어도 물리 제어 틱은 늘 수 있다. Poke Cube는 133.0 → 181.4틱(+36.4%), Two-Robot Stack Cube는 206.0 → 312.8틱(+51.8%)이다. 저자는 실행 시간에 대해서도 평가 도중 API 호출 처리 방식이 배치 중간에 바뀌었고, Direct가 배치 시작 후 추가됐으며, 동시성·CPU 배치·API 부하를 통제하지 않았다고 밝힌다. 그래서 시간 비율은 “관측된 실행”이지 “방법이 만든 속도 향상”이 아니라고 스스로 한정한다(§D.5). 본문 Fig. 1의 “−41.4% 실행 시간”은 이 단서와 함께 읽어야 한다.

Omni 하네스 토큰(≈2.531M)은 입력/출력 분리, 과제별 값, 시간 데이터가 없다(§D.6, 프로젝트 페이지도 “Omni per-task token means were not reported”). Direct보다 2.7배 많이 쓴 이유도 논문에 설명이 없다.

개발 성공과 테스트 성공 (Fig. 14)

과제별 개발 궤적(Fig. 14, arXiv HTML의 SVG를 래스터화). 왼쪽: 라운드별 성공률(라운드당 10회), 오른쪽: 성공 에피소드당 정책 결정 수. 속 빈 마름모가 선택된 하네스다.

그림에서 선택 하네스의 개발 성공률을 읽으면 Poke Cube 80, Stack Cube 50, Lift Peg 80, Pull Cube with Tool 70, Two-Robot 100%다(내 판독). 평균 76%가 테스트에서는 68%가 된다. Stack Cube만 올랐고(50→60) 나머지는 같거나 떨어졌다(Lift Peg 80→65, Pull Cube 70→50, Two-Robot 100→85). 10회짜리 라운드 최대 8개 중 최고값을 고르면 운 좋은 라운드가 뽑히는 선택 편향(winner’s curse)이 생기는데, 그 크기와 맞는 하락이다. 테스트 시드를 따로 둔 저자 설계가 이 편향을 드러낸 셈이라 설계 자체는 옳다. 다만 같은 편향이 Omni 하네스 선택에도 있었는지는, Omni의 개발 궤적이 공개되지 않아 비교할 수 없다.

비판적으로 보면

강점

문제 정의가 날카롭다. “검색의 정답은 다음 4초”라는 정의를 학습 목표, 벤치마크 구성(인접 클립 1,000개 삽입), 지표(clip/episode 분리)에 일관되게 적용했다. episode 87% / clip 37%(EgoDex) 같은 간극은 이 분리 없이는 보이지 않는다.
음성 마스킹을 정성 들여 설계했다. “클립 ID가 다르다 ≠ 음성”이라는 원칙을 4종 충돌 규칙, 시간 IoU 0.25 중복 제외, 액션 공여자 RMS 0.75 조건으로 구현했다. 같은 과제의 비슷한 단계 경험이 서로 밀려나지 않게 하는, 실행 경험 검색에 특유한 문제를 정확히 겨냥한다.
액션 효과를 통제 실험으로 분리했다. DROID에서 백본·데이터·예산을 맞춘 재학습(−18.9 vs −1.9 %p)과 고정 모델 마스킹을 둘 다 내고, 둘이 다른 질문이라는 점을 스스로 설명한다. 재학습/마스킹 결과의 불일치(시각 −1.9 vs −17.8)를 숨기지 않고 해석을 “보편적 모달 순위”가 아니라 “결합 키”로 한정했다.
응용 실험에 의미 있는 대조군이 있다. DreamZero의 무작위 참조(무워밍업보다 −11 %p), LIBERO의 “ICL 없이 같은 업데이트 수” 대조(86.4% 그대로), 같은 체크포인트의 무작위 토큰 대조가 “그냥 학습을 더 했다”, “시연을 넣기만 하면 된다”는 반론을 막는다.
지표의 측정 범위를 정직하게 적는다. 토큰은 실패 포함, 시간은 공유 성공만, 시간 비율은 통제 불가 요인에 오염됐다는 단서까지 본문과 부록에 썼다. 결정 수 감소가 제어 틱 증가와 공존한다는 불리한 사실(Table 31)도 그대로 싣는다.
세부가 많다. 손실 가중치·마진, 정규화 식, 학습 스케줄, 하네스 탐색 규칙, 토큰 집계 공식이 모두 있다. 코드가 나오면 대조하기 좋은 상태다.

약점·한계

헤드라인 격차는 “같은 분포로 학습한 모델 vs 제로샷 범용 임베딩”이다. Robota-Embed는 벤치마크와 같은 4개 데이터원의 다른 에피소드로 학습했고, 베이스라인은 전부 제로샷이며 입력도 다르다(원본 프레임 vs SAM3 크롭, 액션 없음 vs 있음). 22 %p 격차에는 ① 도메인 내 학습 ② 액션 ③ 크롭 ④ 백본 차이가 섞여 있다. 이를 가르려면 같은 4개 데이터원에서 액션 없이 학습한 VL 모델(또는 베이스라인 하나를 같은 데이터로 미세조정한 것)이 필요한데, 그 통제는 DROID 하나에서만 했다. 흥미롭게도 DROID에서 액션 없이 재학습한 변형은 59.8%로 제로샷 VLM2Vec-V2의 DROID 값 58.7%와 비슷하다. 다만 통제 실험의 DROID 분할(Full 78.7%)은 벤치마크 DROID(74.10%)와 다른 분할이라 이 둘을 직접 비교할 수는 없다.
격차의 대부분은 지시문이 거의 없는 두 데이터원에서 나온다. VLM2Vec-V2 대비 평균 격차의 약 79%가 LIBERO(지시문 39종)·RoboMIND-FD(5종)에서 나오고, 가장 다양한 사람 데이터 EgoDex에서는 +4.3 %p다(내 계산, Table 10·11). 같은 지시문 풀에서 EgoDex의 R@1은 무작위 29.76% 대비 37.60%다(Table 13). “현재 다음에 올 정확한 4초”를 고르는 능력이 개방형 사람 데이터로 일반화된다는 근거는 아직 약하다. 최강 베이스라인(Gemini·Omni)의 데이터원별 수치가 빠져 있어 이 분해를 그 둘에 대해서는 할 수 없다.
벤치마크·모델·코드가 전부 미공개다. “Robota-Embed-Bench를 도입한다”는 것이 기여 목록에 있지만 2026-10-20 현재 접근할 수 없다. 프로젝트 페이지 데이터 파일과 본문 사이에 작은 불일치도 있다. 프로젝트 페이지의 검색 비교 뷰어 데이터(retrieval-data.js, “retrieval-final-v1 archive”에서 옮겼다고 적힘)는 Gemini가 API 실패 17건으로 유효 갤러리 7,983개·유효 쿼리 3,986개였다고 적는다. 반면 §B.1은 Gemini와 VLM2Vec-V2가 “all 4,000 queries and 8,000 gallery entries”로 평가됐다고 쓴다. 같은 실행인지는 확인할 수 없고, 효과 크기에 비해 영향은 작을 것이다. 그래도 Table 1의 Gemini 행이 어느 쪽 조건인지는 저자가 밝혀야 할 부분이다.

응용 실험의 통계 해상도가 낮고, 검정·신뢰구간·시드 분산이 하나도 없다. 보고된 성공 수로 Fisher 정확 검정(양측)을 다시 계산하면(내 계산, 시행을 독립으로 가정):

비교	성공 수	p
Embed2Evolve vs Omni 하네스 (5과제 합)	68/100 vs 33/100	1.2e-6
Omni 하네스 vs Direct	33/100 vs 24/100	0.21
Embed2Evolve vs Omni, Lift Peg Upright	13/20 vs 11/20	0.75
Embed2Evolve vs Omni, Pull Cube with Tool	10/20 vs 4/20	0.096
DROID-Sim Embed2ICL vs 워밍업 없음	169/300 vs 141/300	0.027
DROID-Sim Embed2ICL vs Omni + 재순위화	169/300 vs 153/300	0.22
DROID-Sim Robota top-1 vs Omni top-1	151/300 vs 130/300	0.10
DROID-Sim Robota top-1 vs 워밍업 없음	151/300 vs 141/300	0.46
LIBERO Embed2ICL vs 공식	232/250 vs 216/250	0.027
LIBERO 검색 토큰 vs 무작위 토큰	232/250 vs 220/250	0.094
YAM Banana→Bowl 성공	2/12 vs 0/12	0.48

Embed2Evolve 대 Omni의 합산 차이는 확실하다. 반면 “임베딩 모델의 차이”를 직접 겨냥한 DROID-Sim 비교(Robota vs Omni)는 같은 재순위화에서 p≈0.22, top-1끼리 p≈0.10이다. 게다가 DROID-Sim은 과제마다 참조 영상 하나를 100회 내내 고정하므로, 실제로 비교되는 것은 검색기가 고른 참조 영상 3개 대 3개다. 100회 반복은 “그 참조가 얼마나 좋은가”의 분산을 줄일 뿐 “그 검색기가 얼마나 좋은 참조를 고르는가”의 분산은 줄이지 못한다. 위 p값은 그 군집 구조를 무시하므로 실제 불확실성은 더 크다. LIBERO의 검색 vs 무작위 토큰(p≈0.094)도 경계선이다. 실기 결과는 12회짜리 진행도 평균이고 신뢰구간이 없다.

Embed2Evolve의 “임베딩만 바꿨다”는 비교는 사실 여러 가지가 같이 바뀐다. 저자도 “고정 하네스 안의 인코더 교체가 아니다”라고 명시한다(§D.4). 구체적으로 ① 쿼리 모달(Omni는 액션 없음) ② 독립 진화로 생긴 메모리 크기(Omni 선택 메모리는 롤아웃 182개, 그중 성공 30개. Robota 선택 메모리는 Table 28 기준 개발 에피소드 290개. 두 수치가 같은 집계 단위인지, Robota 쪽에 Direct 수집분이 포함됐는지는 명시돼 있지 않다) ③ 진화 깊이(Pull Cube with Tool은 Omni 3라운드 진행·1라운드 선택, Robota 8라운드 진행·8라운드 선택. 전체 완료 라운드 32 대 36)가 다르다. 그리고 Robota-Embed 쪽 쿼리는 ManiSkill을 본 적 없는 모델에 LIBERO 액션 코덱을 OOD로 적용한 대리 액션이다. 이 상태에서 68% 대 33%가 “액션 인식 검색 공간”의 효과인지, 진화 경로·메모리 크기의 차이인지는 이 설계로는 분리되지 않는다. 같은 최종 하네스·같은 메모리에서 인코더만 바꾼 비교가 하나만 있었어도 해석이 훨씬 단단했을 것이다.
“GPT-6 Astra + 무작위 이력”은 공정한 대조군이 아니다. 진화된 두 시스템은 검색한 RGB·액션·피드백을 받는데, 무작위 이력 대조군은 RGB 프레임 최대 8장만 받는다(§D.1, §D.5). 무작위 이력이 Direct보다 낮다(20 vs 24%)는 사실은 “무작위 맥락은 해롭다”를 보여 주지만, “검색 품질이 중요하다”를 보여 주려면 액션·피드백까지 포함한 무작위 앵커 대조가 필요하다.
평가 범위가 사전에 좁혀져 있다. ManiSkill 5과제는 “이전 개발 결과에서 선택됐다”(§D.5). 어떤 기준으로 몇 개 중에서 골랐는지, 그 선택에 어떤 임베딩을 쓴 결과가 들어갔는지 적혀 있지 않다. LIBERO도 공식 Fast-WAM이 46/50 이하인 5과제만 평가했다. 블로그의 Fast-WAM 리뷰 기준으로 Fast-WAM은 LIBERO 40과제 평균 97.6%를 보고했으므로, 이 5과제는 40개 중 가장 어려운 쪽이다. 나머지 35과제에서 맥락 주입이 성능을 떨어뜨리지 않는지는 보고되지 않았다. 파인튜닝형 개입이라 이 확인은 특히 필요하다.
사유(proprietary) 모델 의존이 재현을 막는다. Embed2Evolve의 정책은 GPT-6 Astra, DreamZero 경로의 재순위화는 GPT-5.6 sol 에이전트다. 재순위화 에이전트의 프롬프트, 후보 수 k, 판단 기준의 전체는 논문에 없다. 무학습 Embed2ICL의 최고 결과(56.3%)는 Robota-Embed top-1(50.3%)이 아니라 이 에이전트를 거친 결과다. 참조 영상을 “마지막 그리퍼 해제 전후 60프레임”으로 다시 자르는 규칙도 결과에 들어간다. top-1 조건조차 “성공 단계에서 4초를 다시 잘랐다”(§C.1)고 적혀 있어, 순수한 임베딩 검색 결과만 쓴 조건은 사실상 없다. 무작위 참조를 어떻게 뽑았는지(과제별 고정인지)도 명시돼 있지 않다.
보고되지 않은 것들. 학습 GPU·시간, 그라운딩 9개 항의 개별 기여, 교차 신체 검색의 정량 성능(Fig. 8은 “별도 진단 체크포인트”의 정성 사례 3개), Fast-WAM 실기 과제의 플랫폼·학습 데이터·이진 성공률, Omni 하네스의 토큰 분해가 없다. 15M 인덱스는 지연만 쟀고 검색 품질은 재지 않았다.

요약

Robota-Embed의 기여는 로봇 경험 검색의 정답을 “다음 4초”로 정의하고, 그 정의에 맞게 쿼리·후보 양쪽에 액션을 넣은 단일 임베딩과 음성 마스킹 규칙을 설계한 것이다. DROID 통제 실험(액션 제거 −18.9 %p)이 핵심 주장을 직접 뒷받침하고, clip/episode 분리와 같은 지시문 갤러리 점검은 벤치마크를 정직하게 만든다. 응용에서는 무작위 참조가 해롭다는 것, 같은 학습량만으로는 이득이 안 생긴다는 것이 맥락 선택의 중요성을 보여 준다.

한계도 분명하다. 헤드라인 22 %p 격차는 도메인 내 학습 모델과 제로샷 범용 임베딩의 비교이고, 그 대부분이 지시문 5종·39종인 두 데이터원에서 나온다. 응용 실험은 임베딩 모델의 차이를 직접 겨냥한 비교일수록(DROID-Sim에서 Robota vs Omni) 통계적으로 약하다. 가장 큰 차이를 보인 Embed2Evolve는 쿼리 모달·메모리 크기·진화 깊이가 함께 달라진 비교다. 평가 과제는 양쪽 모두 사전 선택됐고, 사유 모델(GPT-6 Astra, GPT-5.6 sol)이 파이프라인 곳곳에 있으며, 코드·모델·벤치마크는 아직 “Coming soon”이다. 벤치마크가 공개되면 가장 먼저 확인할 것은 같은 4개 데이터원으로 미세조정한 액션 없는 베이스라인과의 격차, EgoDex 같은 개방형 데이터에서의 clip 정확도, 그리고 LIBERO 나머지 35과제에서 맥락 주입이 성능을 떨어뜨리지 않는지다.