📃RoboReward 리뷰

manipulation

reward

vlm

benchmark

RoboReward: General-Purpose Vision-Language Reward Models for Robotics

Published

September 30, 2026

Paper Link (arXiv:2601.00675v2): 이 리뷰는 arXiv v2(2026-01-08) 의 HTML 본문과 부록 A·B 전체를 정본으로 읽었다(v1은 2026-01-02).
RoboRewardBench Leaderboard (HELM): 논문의 “evaluation suite”. 모델별·서브셋별 MAE와 함께 프롬프트, 원시 생성문, 인스턴스 라벨이 공개돼 있다. 2026-09-29에 직접 받아 확인했다(리더보드 요약 파일의 날짜 필드는 2026-05-05).
Dataset (teetone/RoboReward) · RoboReward-8B · RoboReward-4B: 모두 CC-BY-4.0. 학습 코드 저장소는 논문과 리더보드 어디에도 링크돼 있지 않다(2026-09-29 확인).
Tony Lee*, Andrew Wagenmaker*, Karl Pertsch*, Percy Liang, Sergey Levine, Chelsea Finn (* core contributors)
Stanford University · UC Berkeley
arXiv preprint, 2026 (cs.RO)

💡 VLM을 실제 로봇 강화학습의 보상 모델로 쓸 수 있는지 재기 위해, 성공 시연 위주인 로봇 데이터셋에 “거꾸로 된 HER” 식 음성 예제(지시문 바꿔치기 + 영상 앞부분 자르기)를 합성해 1~5 진행도 라벨이 붙은 학습·평가 데이터를 만든다.
⚙️ OXE 28개 서브셋과 RoboArena에서 54,135개 (영상, 지시문, 진행도) 쌍을 만들고, 사람이 검증한 2,831개 테스트셋을 RoboRewardBench로 공개하며, Qwen3-VL 4B/8B를 이 데이터로 파인튜닝해 RoboReward 4B/8B를 만든다.
🎯 22개 VLM 중 RoboReward 8B가 MAE 0.665로 1위(GPT-5 mini 0.691, Gemini Robotics-ER 1.5 0.906)이고, WidowX 실로봇 RL에서 보상으로 썼을 때 성공률이 5%→50%, 10%→80%로 올라 Gemini Robotics-ER 1.5(10%, 45%)보다 낫고 사람 보상(75%, 90%)에 근접한다. 단 현재 리더보드에서는 GPT-5.5(0.661)와 GPT-5.5 xhigh reasoning(0.630)이 앞선다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

실제 로봇에서 강화학습을 돌리려면 매 에피소드가 성공했는지, 얼마나 진행했는지 알려 주는 보상이 필요하다. 지금은 사람이 영상을 보고 라벨을 붙이거나, 시행착오로 다듬은 손 설계 보상에 기댄다. 인터넷 규모로 학습한 VLM이 그 역할을 대신해 줄 수 있다면 좋겠지만, 실제 로봇 롤아웃에서 VLM 보상이 얼마나 정확한지 잴 기준이 없었다. 이 논문은 그 기준(RoboRewardBench)과 학습 데이터(RoboReward), 그리고 그 데이터로 학습한 보상 모델(RoboReward 4B/8B)을 한꺼번에 내놓는다.

어려운 점은 데이터다. OXE 같은 대규모 로봇 데이터는 거의 전부 성공한 시연이라, “실패”와 “절반쯤 한 것”을 가르는 보상 모델을 학습시키기에 맞지 않다. 저자들은 영상을 새로 만들지 않고 성공 영상 하나에서 여러 등급의 음성 예제를 뽑아낸다. 같은 영상에 더 어렵거나 다른 지시문을 붙이거나(counterfactual relabeling), 같은 지시문에 영상 앞부분만 잘라 붙인다(negative clipping).

RoboReward 개요(Fig. 1): 대규모 실로봇 데이터에서 균형 잡힌 약 45,000개 학습 예제와 사람이 검증한 약 2,800개 테스트 예제를 만들고, 이것으로 학습한 RoboReward 8B가 리더보드 1위에 오른다(논문 시점). 아래 줄은 지시문(T)과 1~5 진행도 답(A)의 예시다.

핵심 방법론.

보상은 에피소드 단위다. 지시문 t와 롤아웃 영상 v를 받아 끝 상태 기준 진행도 \hat r\in\{1,\dots,5\} 하나를 낸다(1 = 목표 관련 변화 없음, 5 = 모든 요구 충족). 저자들은 이 형식을 먼저 Robomimic 시뮬레이션에서 고른다. 이진 성공 보상보다 진행도 보상이 RL을 더 빨리 수렴시키고, 연속값과 5단계 이산값은 차이가 거의 없으니 사람이 일관되게 매기기 쉬운 이산 5단계를 택한다(Fig. 2). 정확도 지표는 평균 절대 오차다.

\mathrm{MAE}=\frac{1}{N}\sum_{i=1}^{N}\left|\hat r_i-r_i\right|

같은 시뮬레이션에서 보상 모델의 오프라인 MAE와 그 보상으로 학습한 정책 성공률 사이의 상관이 r=0.83이다(Fig. 3). 그러니 오프라인 벤치마크의 MAE를 낮추는 것이 실제 RL 성능의 대리 지표가 된다는 것이 벤치마크 설계의 논리다.

데이터 파이프라인은 성공 에피소드 e=(v,t,r{=}5)에서 두 종류의 삼중항을 만든다.

Counterfactual relabeling: 같은 영상 v에 새 지시문 \tilde t와 라벨 \tilde r\in\{1,2,3,4\}. GPT-5 mini가 영상을 서술하고 점수별 실패 모드를 계획하면, Qwen3-4B가 점수당 지시문 하나를 쓰고, GPT-5 mini가 검증해 탈락시킨다.
Negative clipping: 잘린 영상 \tilde v에 원래 지시문 t와 라벨 \tilde r\in\{1,2,3,4\}.

주요 결과.

RoboRewardBench(22개 VLM, 23개 서브셋, 2,831개): RoboReward 8B 0.665, GPT-5 mini 0.691, GPT-5 0.811, RoboReward 4B 0.845, Gemini 3 Pro 0.851, Gemini Robotics-ER 1.5 0.906(Table 1/7).
같은 크기 비교: 파인튜닝 전 Qwen3-VL 8B 0.892 → 0.665(−0.227), 4B 1.032 → 0.845(−0.187).
실로봇 RL(WidowX, DSRL, 20회 평가): 원숭이 인형 옮기기 5% → 50%(사람 보상 75%, Gemini Robotics-ER 1.5 10%), 서랍 열기 10% → 80%(사람 90%, Gemini 45%)(Table 2).
데이터 어블레이션(4B): 음성 증강을 빼면 전체 MAE 0.845 → 1.450, 클리핑만 빼면 1.075. RoboArena 서브셋에서는 거의 차이가 없다(0.806 / 0.797 / 0.813)(Table 3).
리더보드 갱신(2026-09-29 확인): 25개 모델로 늘었고 GPT-5.5 xhigh reasoning 0.630, GPT-5.5 0.661이 RoboReward 8B(0.665)보다 앞선다. RoboArena 서브셋 1위는 여전히 RoboReward 8B(0.768)다.

결론.

이 논문의 가장 오래 남을 기여는 모델보다 측정 도구다. VLM 보상의 정확도를 실로봇 영상 2,831개로 재는 공개 벤치마크를 만들었고, 그 정확도가 RL 성능과 이어진다는 증거를 시뮬레이션과 실로봇 양쪽에서 댔다. 8B 모델이 최신 상용 VLM을 이긴 결과도 인상적이지만, 그 차이(GPT-5 mini 대비 0.026)는 신뢰구간 없이 보고됐다. 또 벤치마크 라벨의 대부분이 GPT-5 mini가 만들고 검증한 합성 라벨이라는 점, 서브셋 단순 평균이라는 집계 방식을 감안해 읽어야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문은 “성공 시연만 가득한 로봇 데이터에서 실패 라벨을 뽑아내는 법”을 제시하고, 그렇게 만든 데이터로 VLM 보상 모델을 재고(벤치마크) 가르친(4B/8B) 뒤, 가르친 모델이 실제 로봇 RL에서 쓸 만하다는 것을 보인 데이터·평가 논문이다. 방법론적 새로움은 크지 않다. 파인튜닝은 표준적이고 RL 알고리즘(DSRL)도 기존 것이다. 무게는 데이터 합성 절차, 벤치마크 설계, 그리고 “오프라인 보상 정확도 ↔︎ 온라인 RL 성능”이라는 연결 고리의 실증에 있다.

배경: 실로봇 RL은 왜 보상에서 막히는가 (§1)

§1의 문제 제기는 간단하다. 실세계 로봇 RL 알고리즘은 최근 많이 좋아졌지만(SERL, DSRL, ConRFT 등), 그 모든 연구가 사람이 에피소드마다 붙인 라벨 또는 시행착오로 다듬은 손 설계 보상에 기댄다. RL이 “자동으로 개선되는 로봇”을 약속하면서도 보상 설계에 사람이 끼어 있으니, 일반 목적의 정책 개선으로 확장되지 못한다는 것이다.

VLM을 보상으로 쓰자는 시도는 이미 여럿이다(VLM-RM, RoboCLIP, RL-VLM-F 등). 논문이 짚는 빈틈은 실제 로봇 롤아웃에서 그 보상이 얼마나 정확한지 체계적으로 잰 적이 없다는 것이다. 가장 가까운 선행 평가인 OpenGVL 리더보드는 6개 태스크, 14개 VLM을 성공 시연에서만 가치(value) 순서 상관으로 평가한다. RoboRewardBench는 성공과 실패가 섞인 롤아웃에서 보상 자체를 예측하게 한다는 점이 다르다.

보상 형식부터 정한다: Robomimic 예비 실험 (§3)

벤치마크를 만들기 전에 “어떤 보상을 예측하게 할 것인가”를 시뮬레이션에서 먼저 정한다. 이 절차 자체가 이 논문의 좋은 습관이다. 보상 형식은 에피소드 단위(episodic)로 제한한다. 최근 실로봇 RL 연구들이 대부분 에피소드 보상을 쓰기 때문이다.

설정은 Robomimic의 Lift·Can·Square 세 태스크다. 시뮬레이터의 참 보상으로 롤아웃을 자동 라벨링하고, Qwen2.5-VL을 파인튜닝해 전체 에피소드 영상에서 보상을 예측하게 한 뒤, 그 학습된 보상으로 DSRL(시연으로 사전학습한 diffusion policy를 RL로 미세조정)을 돌린다. 비교한 보상 형식은 셋이다.

§3의 보상 형식 세 가지
보상 형식	정의
Binary success	성공 1, 아니면 0
Continuous progress	시뮬레이터가 주는 진행도 [0,1]
Discrete progress	진행도를 5개 구간으로 나눈 \{1,\dots,5\}

보상 형식별 RL 성능(Fig. 2): Robomimic 세 태스크, 시드 3개 평균(음영 ±1 표준편차). Oracle은 참 이진 보상. 학습된 진행도 보상(파랑·주황)은 Oracle에 가깝고, 학습된 이진 보상(초록)은 Can·Square에서 뚜렷이 뒤처진다.

본문 결론은 “학습된 진행도 보상은 참 보상과 거의 같고, 학습된 이진 보상은 크게 나쁘다. 연속·이산은 차이가 미미하다”이다. 그림을 직접 보면 조금 더 섬세하다. Lift에서는 이진 보상이 1,000스텝에 100%로 가장 빨리 포화하고, 오히려 이산 진행도가 3,000스텝에 약 87%로 떨어진다. 이진 보상의 열세는 Can(최고 약 88%, 끝 75%)과 Square(끝 약 83%)에서 나타난다. 이산 진행도도 Square에서 4,000스텝 100% 뒤 약 92%로 내려간다. 세 태스크, 시드 3개로 “이산 진행도가 충분하다”는 결론은 방향으로는 설득력이 있지만, 이산과 연속의 동률 판정은 이 정도 규모에서 가를 수 있는 차이가 아니라는 정도로 읽는 것이 정확하다. 이산 5단계를 택한 결정적 이유도 성능이 아니라 사람이 일관되게 매기기 쉽다는 점이다.

두 번째 질문은 “더 정확한 보상 모델이 더 좋은 정책을 낳는가”다. 이산 진행도 보상 모델의 수렴 단계별 체크포인트(기본 모델, 덜 학습된 것, 학습된 것, 오라클)로 각각 RL을 끝까지 돌려 정책 성공률을 쟀다.

보상 정확도와 RL 성능의 상관(Fig. 3): x축은 “가능한 최대 MAE − 모델 MAE”(클수록 정확, 최대 MAE는 4이므로 x=4가 완벽). 색은 체크포인트 단계(Base/Undertrained/Trained/Oracle). 최적선과 r=0.83.

r=0.83은 강한 상관이지만, 그림을 보면 점은 12개(세 태스크 × 네 단계)이고 상관의 대부분은 Base 군집(x≈1.4~2.4)과 Trained·Oracle 군집(x≥3.0)의 차이에서 나온다. x≈2.9~3.1 구간만 보면 정책 성공률은 25%(Undertrained 두 점)에서 62%(Undertrained), 87%(Trained)까지 퍼져 있다. 즉 MAE가 크게 다를 때는 순위가 RL 성능을 잘 예측하지만, 비슷한 MAE 사이의 미세한 차이가 RL 성능 차이로 이어진다고 보기는 어렵다. 이 관찰은 뒤의 리더보드 해석(0.665 vs 0.691)에 그대로 적용된다. 또한 세 태스크의 점을 한 회귀선에 섞어 넣어서, 태스크 난이도 차이가 상관에 얼마나 기여했는지도 분리되지 않는다.

RoboReward 데이터셋 (§4)

데이터 출처 (§4.1, Table 4)

두 곳에서 모은다.

Open X-Embodiment(OXE): 약 100만 개 실로봇 시연, 22개 embodiment. 서브셋 대부분이 한 장면·한 태스크에서 반복 수집됐으므로 서브셋당 최대 1,200개로 균등 서브샘플링한다. 모두 시연이므로 원래 지시문에는 라벨 5를 준다.
RoboArena: DROID 플랫폼 위의 분산 정책 평가 데이터(RoboArena 리뷰). 평가자가 지시문을 정하고 롤아웃마다 0~100 진행도 점수를 매긴다. 자연스러운 성공과 실패가 섞여 있으니 전량 쓰고, 점수를 1~5로 매핑한다(매핑 구간은 논문에 적혀 있지 않다).

부록 Table 4의 전체 출처를 옮긴다. 합계는 29개 출처, 학습 45,072 / 검증 6,232 / 테스트 2,831 = 54,135이다(학습·검증 합계는 표의 열을 직접 더해 확인했다).

부록 Table 4 — RoboReward 데이터 출처와 분할별 개수(설명·인용 열 생략)
출처	Embodiment	시점	Train	Val	Test
RoboArena	DROID (Franka)	Mix	7,337	1,000	1,000
Berkeley Bridge	WidowX	Exo	3,826	496	100
Freiburg Franka Play	Franka	Ego	2,856	352	91
USC Jaco Play	Jaco 2	Exo	2,428	417	100
Roboturk	Sawyer	Exo	1,463	0	97
NYU VINN	Hello Stretch	Ego	2,369	0	0
Austin VIOLA	Franka	Exo	167	239	60
Berkeley Autolab UR5	UR5	Ego	2,388	430	100
TOTO	Franka	Exo	2,986	0	0
NYU ROT	xArm	Exo	35	8	0
Stanford HYDRA	Franka	Exo	507	203	91
Austin BUDS	Franka	Exo	127	0	0
UCSD Kitchen	xArm	Exo	393	122	95
UCSD Pick Place	xArm	Exo	2,384	0	100
Austin Sirius	Franka	Exo	1,355	0	87
Tokyo PR2 Fridge Opening	PR2	Exo	357	0	0
Tokyo PR2 Tabletop Manipulation	PR2	Exo	293	325	73
UTokyo xArm PickPlace	xArm	Ego	301	0	0
UTokyo xArm Bimanual	Dual xArm	Ego	161	0	71
Berkeley MVP	xArm	Ego	1,218	228	71
Berkeley RPT	Franka	Ego	1,069	364	86
KAIST Nonprehensile Objects	Franka	Exo	406	162	53
LSMO	Cobotta	Exo	97	0	71
CMU Franka Pick-Insert	Franka	Exo	1,193	374	83
Berkeley Fanuc Manipulation	Fanuc	Exo	860	287	91
CMU Play Fusion	Franka	Exo	1,269	358	92
DROID	Franka	Exo	3,071	378	100
RT-1 Robot Action	Google Robot	Exo	3,988	461	100
DLR Wheelchair Shared Control	DLR EDAN	Exo	168	28	19

눈여겨볼 점 두 가지. 첫째, 6개 출처(NYU VINN, TOTO, NYU ROT, Austin BUDS, Tokyo PR2 Fridge, UTokyo xArm PickPlace)는 학습에만 쓰이고 테스트에는 없다. 그래서 벤치마크 서브셋은 23개다. 둘째, 테스트의 14개 embodiment는 모두 학습 데이터에도 있다(Hello Stretch는 학습 전용). 분할은 §4.3에서 설명하듯 태스크 설명 기준이라, RoboRewardBench가 재는 일반화는 본 적 없는 로봇이 아니라 본 적 없는 지시문에 대한 것이다.

정제와 음성 예제 생성 (§4.2, 부록 A.2)

Counterfactual relabeling 개요(Fig. 4): ① 성공 에피소드(“Place pot on yellow cloth”, 5/5) → ② VLM의 상세 서술 → ③ LLM이 가능한 실패 모드 도출 → ④ 반사실 지시문 제안(예: “Put pot below spoon” 3/5, “Put fork on yellow cloth” 1/5) → ⑤ VLM 검증이 잘못된 점수(“Put spoon in pot” 4/5)를 탈락시킨다.

절차는 네 단계다. 부록 A.2에 단계별 프롬프트 전문이 실려 있다.

부록 A.2의 음성 예제 생성 파이프라인
단계	모델	하는 일
지시문 정제	Qwen3-4B-Instruct-2507 (텍스트)	의미는 그대로 두고 철자·문법만 교정(“palce dishes…” → “place the dishes…”)
영상 분석	gpt-5-mini-2025-08-07	1 FPS 프레임(마지막 프레임 포함)으로 장면·물체·로봇 동작·끝 상태를 서술
실패 모드 계획	gpt-5-mini-2025-08-07	점수 1<2<3<4<5가 엄격히 단조가 되도록 점수별 실패 모드와 후보 지시문 설계, 단조성 점검
지시문 생성	Qwen3-4B-Instruct-2507	점수 K 하나씩, 25단어 이하 명령문, 이전 점수 지시문과 중복·모순 금지
검증	gpt-5-mini-2025-08-07	지시문이 영상에 근거하는지, 점수가 루브릭과 맞는지 TRUE/FALSE. 불일치면 재생성

계획 프롬프트의 제약이 흥미롭다. 점수 3·4 지시문은 원래 지시문과 같은 주 대상 물체를 같은 이름으로 가리켜야 하고(예: “cabinet”을 “upper cabinet door”로 바꾸지 말 것), “그리퍼를 놓아라” 같은 제어 동작 문구는 쓰지 말며, 시작 장면에서 이미 참인 목표는 제안하지 말라고 한다. 반사실 지시문이 “쉬운 부분집합”이 되어 영상이 사실상 성공이 되는 경우를 막는 장치다.

라벨 기준인 루브릭은 다음과 같다(§4.2, 부록 A.2.2).

5단계 진행도 루브릭
점수	이름	끝 상태 기준
1	No success	목표와 관련된 변화가 없다(예: 엉뚱한 물체를 다룸)
2	Minimal progress	목표 쪽으로 작지만 부족한 변화
3	Partial completion	진전은 크지만 주요 요구 하나 또는 여러 요구를 어김
4	Near completion	영역과 의도는 맞지만 사소한 요구 하나를 놓침
5	Perfect completion	모든 요구를 충족

3과 4를 가르는 보충 규칙이 따로 있다. 주 대상 물체와 주 공간 관계가 맞고 보조 제약만 놓치면 4다. 보조 제약의 예로 “같은 받침면 위에 남기”, “끝에 그리퍼를 놓거나 쥐고 있기”, 작은 방향·위치 오차가 명시돼 있다. 이 규칙은 뒤에서 다시 문제가 된다.

Negative clipping은 성공 에피소드마다 초반·중반·후반 같은 미리 정한 비율 지점에서 영상을 잘라 작은 “사다리”를 만들고, 같은 방식으로 검증한다. 저자들은 이 파이프라인이 비싸고 느려서 RL 루프 안에서 돌릴 수 없으며, 그 대신 오프라인 교사로 쓰고 한 번의 forward pass로 도는 공개 가중치 모델에 증류하는 것이라고 설명한다. 라벨이 완벽하지 않다는 점도 인정하고, 엄격한 검증 필터와 RoboArena의 사람 라벨이 이를 보완한다고 적는다.

한 영상이 다섯 등급이 되는 모습

공개 테스트셋에서 이 “사다리”를 직접 확인할 수 있다. 아래는 Bridge 서브셋에서 같은 원본 에피소드(bridge_originalsplit_train_index_1811)로부터 나온 5개 벤치마크 인스턴스다. 파일명과 라벨은 데이터셋의 test/metadata.jsonl에서 읽었다.

전체 영상(4.9초), 지시문 3개
“Move pot to upper right edge of yellow cloth.” → 5
“Move pot to the lower-right edge of the yellow cloth.” → 3
“Move the blue-handled scoop to the center of the table.” → 1

잘린 영상(3.6초), 원래 지시문
“Move pot to upper right edge of yellow cloth.” → 4

잘린 영상(1.7초), 원래 지시문
“Move pot to upper right edge of yellow cloth.” → 2

RoboRewardBench Bridge 서브셋의 실제 인스턴스(HF 데이터셋 teetone/RoboReward 원본 mp4, 640×480, 10 FPS). 전체 영상 세 개는 파일 크기까지 같은 동일 영상이다.

영상 하나에 반사실 지시문(1, 3)과 클리핑(2, 4)을 더해 1~5가 모두 채워진다. 파이프라인이 설계대로 동작한다는 좋은 증거다. 동시에 두 가지를 알려 준다. ① 점수 4 클립의 끝 프레임에서 냄비는 아직 그리퍼에 들린 채 천 위 공중에 있다. 루브릭은 “그리퍼를 놓기”를 보조 제약으로 규정하므로 4가 규칙상 맞는 라벨이다. 그런데 같은 논문이 부록 B.3에서 원숭이 인형을 수건 위에 들고 있는 롤아웃에 5점을 준 Gemini Robotics-ER을 “공간 추론 부족”의 사례로 든다. 이 루브릭으로 채점하면 그 롤아웃의 정답은 4이므로 Gemini의 오차는 1점이다. 반면 실로봇 RL에서 사람은 그 롤아웃을 실패(0) 로 본다. 루브릭의 “거의 완료”와 RL의 “성공”은 같은 개념이 아니다. ② 벤치마크 인스턴스는 서로 독립이 아니다. 필자가 테스트 메타데이터의 파일명(…index_N 접두)으로 묶어 보니 OXE 계열 1,831개 인스턴스가 약 1,015개 원본 에피소드에서 나왔다(한 에피소드당 최대 6개). 파일명 기준 추정치다.

학습과 평가 분할 (§4.3)

데이터 출처마다 원래 태스크 설명 기준으로 train/val/test를 나눠 분할 간 태스크 설명이 겹치지 않게 했다. 학습은 Qwen3-VL 4B/8B에서 비전 백본을 얼리고 fusion과 LLM 층만 미세조정한다.

§4.3 RoboReward 4B/8B 학습 설정
하이퍼파라미터	값
기반 모델	Qwen3-VL 4B / 8B (비전 백본 고정)
에폭	3
학습률	4B 3\times10^{-6}, 8B 5\times10^{-6} (cosine decay, warmup ratio 0.05)
weight decay / max grad norm	0.05 / 1.0
유효 배치	32 (gradient accumulation)
체크포인트 선택	검증셋 MAE 최소

테스트셋은 사람이 한 건씩 검증한다(부록 A.3). 주석자 한 명이 영상·지시문·라벨·루브릭, 그리고 GPT-5 mini 검증 단계의 근거문을 보고 수락/거절한다. 거절된 예는 버리고, 남은 것에서 서브샘플링해 RoboRewardBench를 만든다.

사람 검증용 주석 UI(Fig. 6): 주석자는 롤아웃 영상, 지시문, 제시된 라벨, 루브릭, 그리고 “AI-generated reasoning (may be incorrect)”이라는 GPT-5 mini 근거문을 함께 보고 Accept/Reject를 누른다.

직관: 왜 “지시문 바꿔치기”가 보상 모델에 효과적인가

성공 시연만으로 학습하면 모델은 “로봇 영상이면 5”라는 지름길을 배운다. 어블레이션(§5.3)의 “음성 증강 없음” 모델이 전체 MAE 1.450으로 무너지는 것이 정확히 이 현상으로 보인다. 반사실 지시문은 영상은 고정하고 지시문만 바꾼다. 그러면 모델이 점수를 바꾸려면 영상과 지시문을 대조해야만 한다. 영상의 시각적 특징만으로는 답이 갈리지 않도록 데이터가 설계된 것이다. HER가 실패 궤적을 “그 결과를 목표로 했다면 성공”으로 재라벨해 성공을 늘렸다면, 여기서는 성공 궤적을 “다른 목표였다면 실패”로 재라벨해 실패를 늘린다. 저자들의 표현으로 inverse-HER다.

클리핑은 다른 축을 담당한다. 지시문은 같고 시간 축에서 끝 상태만 바뀐다. 반사실 지시문이 “무엇을 해야 했나”를 가르친다면, 클리핑은 “끝 상태가 어디까지 갔나”를 가르친다. 어블레이션에서 클리핑을 빼면 1.075로 나빠지는 것은 두 축이 서로 대체되지 않는다는 뜻이다.

실험 1: 22개 VLM을 RoboRewardBench로 재다 (§5.1)

평가 프로토콜

각 모델은 지시문과 롤아웃 영상을 받아 1~5 중 하나를 낸다. 리더보드에 공개된 실제 요청을 보면 프롬프트는 루브릭 전문과 Task: …, 그리고 출력 형식 ANSWER: <score>로 구성되고, 영상은 mp4 한 개로 들어가며 temperature 0.0, 인스턴스당 한 번 생성이다. 전체 점수는 23개 서브셋별 MAE의 단순 평균(group-wise MAE) 이다. 필자가 Table 10의 서브셋 값으로 재계산해 보니 22개 모델 모두 Overall과 소수 셋째 자리까지 일치했다. 예컨대 RoboReward 8B의 OXE 22개 서브셋 평균은 0.660이고, 여기에 RoboArena 0.768을 1/23 가중으로 더하면 0.665가 된다.

전체 순위 (Table 7)

부록 Table 7 — RoboRewardBench 전체 순위(논문 시점, 22개)
순위	모델	개발사	파라미터	접근	MAE ↓
1	RoboReward (8B)	Ours	8B	Open	0.665
2	GPT-5 mini (2025-08-07)	OpenAI	–	Limited	0.691
3	GPT-5 (2025-08-07)	OpenAI	–	Limited	0.811
4	RoboReward (4B)	Ours	4B	Open	0.845
5	Gemini 3 Pro (Preview)	Google DeepMind	–	Limited	0.851
6	GPT-5.2 (2025-12-11)	OpenAI	–	Limited	0.887
7	Qwen3-VL Instruct (8B)	Alibaba	8B	Open	0.892
8	GPT-5.1 (2025-11-13)	OpenAI	–	Limited	0.901
9	Gemini 2.5 Pro	Google DeepMind	–	Limited	0.902
10	Qwen3-VL Instruct (30B)	Alibaba	30B	Open	0.903
11	Gemini Robotics-ER 1.5	Google DeepMind	–	Limited	0.906
12	Gemini 3 Flash (Preview)	Google DeepMind	–	Limited	0.917
13	Gemini 2.5 Flash	Google DeepMind	–	Limited	0.943
14	Gemini 2.5 Flash-Lite	Google DeepMind	–	Limited	0.990
15	Qwen2.5-VL Instruct (72B)	Alibaba	72B	Open	0.991
16	Qwen3-VL Instruct (4B)	Alibaba	4B	Open	1.032
17	Qwen2.5-VL Instruct (32B)	Alibaba	32B	Open	1.137
18	Qwen2.5-VL Instruct (7B)	Alibaba	7B	Open	1.172
19	Llama 4 Maverick Instruct	Meta	–	Open	1.271
20	GPT-5 nano (2025-08-07)	OpenAI	–	Limited	1.295
21	Llama 4 Scout Instruct	Meta	–	Open	1.485
22	Qwen2.5-VL Instruct (3B)	Alibaba	3B	Open	1.607

본문이 강조하는 두 가지. ① 목표에 맞춘 지도가 같은 아키텍처에서 큰 이득을 준다. 8B는 Qwen3-VL 8B 대비 0.227, 4B는 Qwen3-VL 4B 대비 0.187 낮다. RoboArena 서브셋에서도 8B 0.847 → 0.768, 4B 0.929 → 0.806이다. ② RoboArena(1,000개, 가장 크고 “자연스러운” 서브셋)에서 RoboReward 8B(0.768)와 4B(0.806)가 모든 상용 VLM보다 낫다(GPT-5 mini 0.862, Gemini Robotics-ER 1.5 1.002, GPT-5 1.028, Gemini 3 Pro 1.234).

“22개 VLM”에는 RoboReward 4B/8B 자신이 포함된다. 외부 모델은 20개다. 또 초록의 “4B와 8B가 훨씬 큰 VLM들을 능가한다”는 문장은 8B에는 맞지만, 4B는 GPT-5 mini와 GPT-5 아래 4위다. 4B가 이기는 것은 Gemini 3 Pro 이하 모델들이다.

리더보드 현황 (2026-09-29 확인)

HELM 리더보드는 논문 이후 3개 모델을 추가해 25개가 됐다. 논문에 있던 22개 모델의 값은 23개 서브셋 전부 논문 Table 10과 소수 셋째 자리까지 일치한다(필자 대조).

HELM RoboRewardBench 리더보드(v0.0.1) 발췌. RoboReward 8B의 원시값은 0.66467, GPT-5.5는 0.66077로 차이는 0.004다
리더보드 순위	모델	MAE ↓	RoboArena ↓	비고
1	GPT-5.5 xhigh reasoning	0.630	0.784	논문 이후 추가
2	GPT-5.5 (2026-04-23)	0.661	0.774	논문 이후 추가
3	RoboReward (8B)	0.665	0.768	논문 1위
4	GPT-5 mini (2025-08-07)	0.691	0.862
…	…	…	…
13	Gemini Robotics-ER 1.5	0.906	1.002
15	Gemini Robotics-ER 1.6	0.932	0.964	논문 이후 추가

“RoboReward 8B가 모든 frontier VLM보다 낫다”는 논문의 핵심 주장은 논문 시점에만 성립한다. 반년 뒤의 상용 모델이 제로샷으로 따라잡았다. 다만 RoboArena, 즉 사람이 매긴 자연 실패가 있는 유일한 서브셋에서는 RoboReward 8B가 여전히 1위다. 또 로봇 데이터로 학습했다는 Gemini Robotics-ER의 새 버전 1.6은 1.5보다 전체 MAE가 나빠졌다(0.906 → 0.932). RoboArena에서는 좋아졌다(1.002 → 0.964).

서브셋별로 풀어 보면 (Table 10)

본문은 “일반화 격차가 크고 균일하지 않다”고 요약한다. 대표 모델 6개의 서브셋별 MAE와, 필자가 리더보드 인스턴스 파일에서 센 서브셋별 정답 라벨 분포를 함께 놓는다.

논문 Table 10 발췌(대표 6개 모델, 굵게 = 6개 중 최저) + 필자가 HELM 인스턴스 파일에서 센 라벨 분포
서브셋	n	라벨 분포 (1/2/3/4/5)	RR 8B	RR 4B	GPT-5 mini	Gemini 3 Pro	Gemini R-ER 1.5	Qwen3-VL 8B	최저 MAE 모델 (22개 중)
RoboArena	1000	266/263/174/141/156	0.768	0.806	0.862	1.234	1.002	0.847	RoboReward 8B (0.768)
Austin Sirius	87	20/20/20/7/20	0.701	0.897	0.379	0.379	0.448	0.713	Gemini 3 Flash (0.276)
Berkeley Autolab UR5	100	20/20/20/20/20	0.340	0.700	0.640	0.690	0.730	0.420	RoboReward 8B (0.340)
Berkeley Fanuc	91	20/20/20/11/20	0.538	0.681	0.769	0.824	0.791	0.890	RoboReward 8B (0.538)
Berkeley MVP	71	20/20/7/4/20	0.577	0.887	0.408	1.394	1.394	0.817	GPT-5 mini (0.408)
Berkeley RPT	86	20/20/20/6/20	0.674	0.721	0.581	0.395	0.442	0.919	Gemini 3 Pro (0.395)
Berkeley Bridge	100	20/20/20/20/20	0.770	0.910	0.530	0.750	1.000	0.980	GPT-5 mini (0.530)
CMU Play Fusion	92	20/20/20/12/20	0.587	0.663	1.141	0.630	0.891	1.163	RoboReward 8B (0.587)
DLR Wheelchair	19	8/2/4/1/4	0.474	0.579	0.158	0.316	0.895	0.474	GPT-5 mini (0.158)
DROID	100	20/20/20/20/20	0.670	0.880	0.640	0.820	0.760	0.890	GPT-5 mini (0.640)
RT-1 Robot Action	100	20/20/20/20/20	0.830	0.890	0.630	1.040	0.980	1.050	GPT-5 mini (0.630)
CMU Franka Pick-Insert	83	20/15/20/8/20	0.807	0.843	0.566	0.795	0.506	1.000	GPT-5.2 · Gemini R-ER 1.5 · Gemini 2.5 Flash (0.506)
USC Jaco Play	100	20/20/20/20/20	0.720	0.950	1.090	0.890	0.980	0.950	RoboReward 8B (0.720)
KAIST Nonprehensile	53	18/10/10/3/12	0.396	0.698	0.774	1.491	1.208	0.755	RoboReward 8B (0.396)
Roboturk	97	17/20/20/20/20	0.485	0.969	0.505	0.990	1.165	0.794	RoboReward 8B (0.485)
Stanford HYDRA	91	20/20/20/20/11	0.890	1.176	0.835	0.846	0.846	1.000	Gemini 2.5 Pro (0.495)
Freiburg Franka Play	91	20/20/20/11/20	0.473	0.846	1.077	0.989	1.176	1.385	RoboReward 8B (0.473)
LSMO	71	20/10/16/5/20	0.493	0.535	0.676	0.972	0.521	1.423	Gemini 2.5 Flash (0.465)
UCSD Kitchen	95	20/20/16/19/20	0.947	0.705	0.832	1.242	1.326	0.895	RoboReward 4B (0.705)
UCSD Pick Place	100	20/20/20/20/20	0.100	0.330	0.480	0.370	0.750	0.540	RoboReward 8B (0.100)
Tokyo PR2 Tabletop	73	20/1/20/12/20	0.452	0.562	0.411	0.438	0.658	0.822	GPT-5 mini (0.411)
UTokyo xArm Bimanual	71	20/20/9/18/4	1.394	1.282	1.592	1.789	2.070	1.085	Qwen3-VL 4B (1.000)
Austin VIOLA	60	20/20/20/0/0	1.200	1.933	0.317	0.283	0.300	0.700	Gemini 3 Flash (0.100)

이 표에서 읽히는 것을 정리한다.

RoboReward 8B는 23개 중 9개 서브셋에서 1위다(RoboArena, UR5, Fanuc, Play Fusion, Jaco, KAIST, Roboturk, Freiburg, UCSD Pick Place). GPT-5 mini는 6개(MVP, Bridge, DLR, DROID, RT-1, Tokyo PR2)에서 앞선다. 전체 1위가 “대부분의 서브셋에서 최고”라는 뜻은 아니다.
OXE 서브셋은 라벨별 최대 20개로 층화돼 있다. 반면 RoboArena는 1, 2가 절반 이상이다. 부족한 칸(예: VIOLA의 4·5가 0개, Tokyo PR2의 2가 1개, Bimanual의 5가 4개)은 검증 탈락이나 생성 실패로 비었을 것으로 보이지만, 논문은 이 층화 절차를 설명하지 않는다.
RoboReward 8B의 약점은 체계적 편향으로 보인다. 리더보드의 원시 생성문으로 필자가 혼동 행렬을 만들어 보니, Austin VIOLA(라벨이 1~3뿐)에서 RoboReward 8B는 정답 1의 절반 이상(11/20)을 3으로, 정답 2의 16/20을 3으로, 정답 3의 12/20을 4로 매겼다. 한 칸씩 후하게 준다. 반대로 UTokyo xArm Bimanual에서는 71개 전부를 1이나 2로 답했고, 정답 4인 18개 중 15개를 1로 매겼다. 거의 전부를 실패로 본다. 같은 서브셋에서 Gemini 3 Flash는 정반대로 대부분을 5로 답했다. 두 서브셋 모두 학습 데이터가 적은 편(VIOLA 학습 167개, Bimanual 161개)이다.
UCSD Pick Place의 0.100은 100개 중 대부분을 정확히 맞혔다는 뜻이다. 이 서브셋은 학습 2,384개, 검증 0개로 학습 데이터가 많은 곳이다. 태스크 설명은 분할 간 겹치지 않지만 장면과 물체 분포는 같다. “본 적 없는 태스크”라는 분할의 의미를 이 숫자가 어디까지 보장하는지는 따로 따져 볼 문제다.

실험 2: 실로봇 RL에 보상으로 넣다 (§5.2, 부록 B.4)

실로봇 태스크(Fig. 5): 왼쪽 “Pick up the brown monkey and move it on top of the yellow towel”(Pick-and-place monkey), 오른쪽 “Pull the drawer out”(Open drawer). WidowX 250 6-DoF 팔.

설정은 RL Token 리뷰에서도 비교 대상으로 나온 DSRL을 그대로 쓴다. BridgeData V2로 사전학습한 멀티태스크 diffusion policy(Dasari et al.의 diffusion transformer, 목표 이미지 조건)를 두고, DSRL-SAC로 denoising 입력 노이즈를 조정해 행동을 바꾼다. 기본 정책을 20번 굴려 replay buffer를 채운 뒤 6,000스텝 학습하고, 에피소드는 최대 70스텝이다. 보상은 세 가지를 비교한다.

§5.2의 보상 설정
보상	형태
Human (oracle)	사람이 성공이면 +1, 아니면 0
RoboReward 8B	에피소드 끝에 1~5 진행도, 추가 파인튜닝 없이 제로샷
Gemini Robotics-ER 1.5	에피소드 끝에 1~5 진행도, 제로샷

두 태스크 모두 RoboReward 학습 때 본 적 없는 태스크라고 적는다.

Table 2 — 20회 평가 성공률(괄호는 기본 정책 대비 변화)
보상	Pick-and-place monkey	Open drawer
Base policy	5%	10%
Human	75% (+70)	90% (+80)
RoboReward 8B	50% (+45)	80% (+70)
Gemini Robotics-ER 1.5	10% (+5)	45% (+35)

부록 Table 8·9 — WidowX 실험 하이퍼파라미터(모든 보상 설정이 같은 DSRL 하이퍼파라미터를 쓴다)
기본 diffusion policy (Table 8)	값	DSRL WidowX (Table 9)	값
Batch size	2048	Hidden size	1024
Learning rate	0.0003 (cosine, warmup 2000)	Gradient steps per update	30
Training steps	100,000	Discount factor	0.97
Action chunk	1	Action magnitude	1.5
Denoising steps (train / inference)	100 / 8
Image encoder / hidden / heads / layers / FF	ResNet-34 / 256 / 1 / 3 / 512

결과는 명확한 방향을 보인다. RoboReward 8B는 두 태스크 모두 기본 정책을 크게 끌어올렸고, 서랍 열기에서는 사람 보상과 10%p 차이다. Gemini Robotics-ER 1.5는 원숭이 옮기기에서 사실상 개선이 없다. 그리고 두 VLM 보상의 RL 성능 순서가 RoboRewardBench 순서(0.665 < 0.906)와 같다. 논문은 이를 시뮬레이션의 “정확도 ↔︎ RL 성능” 결론이 실로봇에서도 성립한다는 증거로 제시한다.

Gemini Robotics-ER의 실패 사례 (부록 B.3)

RL 학습 중 Gemini Robotics-ER 1.5의 보상 실수(Fig. 7): 위 — 손잡이 오른쪽으로 쓰러지고 서랍은 닫힌 채인데 5/5(거짓 양성). 가운데 — 서랍을 실제로 열었는데 2/5(거짓 음성). 아래 — 원숭이를 수건 위에 들고만 있는데 5/5.

부록 B.3이 흥미로운 것은 점수에서 멈추지 않고 Gemini에게 “영상을 자세히 묘사하라”고 다시 물어 왜 틀렸는지를 들여다본다는 점이다. 세 사례 모두 장면(나무 상자, 빨간 판, “Green Beans” 캔, 금속 그릇)은 정확히 묘사했다. 틀린 것은 결정적 사건이다. 첫째 사례에서는 “손가락이 손잡이를 감싸 쥐었다”, “상자를 끌어당겼다”라는 일어나지 않은 사건을 지어냈고, 둘째 사례에서는 “잡을 준비가 된 것으로 보인다”에서 서술이 끝나 실제로 일어난 후반부 사건을 놓쳤다. 셋째는 “천 위에 내려놓았다”는 배치를 지어냈다. 저자들은 이를 “전형적인 조작 서사를 부분 증거로부터 보간한다”, “후반부 시간적 사건을 덜 추적한다”로 요약한다. 그리고 RoboReward 8B도 이런 실수를 하며, 그것이 사람 보상과의 남은 격차를 설명한다고 쓴다. RoboReward 8B의 실패 사례 그림은 없다.

실험 3: 데이터 구성 어블레이션 (§5.3)

Table 3 — 데이터 구성 어블레이션
데이터 구성 (4B)	전체 MAE ↓	RoboArena ↓
Full	0.845	0.806
Full − Neg. Aug. (RoboArena + 원래 OXE 성공 시연만)	1.450	0.797
Full − Neg. clipping (반사실 relabeling은 유지)	1.075	0.813

저자들이 뽑는 교훈은 둘이다. ① RoboArena의 자연 실패만으로는 부족하다. 음성 증강 없이 학습하면 RoboArena에서는 거의 같지만(0.797 vs 0.806) 전체는 1.45로 크게 나빠진다. RoboArena는 단일 플랫폼이라 다양한 장면·embodiment의 지시문 조건부 실패를 보여 주지 못한다는 해석이다. ② 클리핑은 RoboArena 성능을 해치지 않으면서(0.813 vs 0.806) 전체를 개선한다(1.075 → 0.845).

필자의 참고 계산을 하나 덧붙인다. 리더보드 라벨 분포로 항상 같은 점수를 내는 상수 예측기의 group-wise MAE를 계산하면, 항상 3이 1.237, 항상 2가 1.333, 항상 5가 2.158이다. “음성 증강 없음” 모델의 1.450은 항상 3이라고 답하는 모델보다 나쁘다. 반대로 말하면 22개 중 네 모델(Llama 4 Maverick 1.271, GPT-5 nano 1.295, Llama 4 Scout 1.485, Qwen2.5-VL 3B 1.607)도 이 상수 기준선보다 나쁘다. RoboArena 서브셋만 보면 항상 2가 1.190으로, Gemini 2.5 Flash(1.190)와 같고 Gemini 3 Pro(1.234)보다 낫다. 논문은 이런 자명한 기준선을 보고하지 않아서, “MAE 0.9”가 얼마나 의미 있는 수치인지 독자가 가늠하기 어렵다.

결론과 저자가 밝힌 한계 (§6)

저자들의 결론은 세 가지다. 목표에 맞춘 보상 지도가 훨씬 큰 범용 VLM을 이길 수 있다. 오프라인 보상 정확도의 향상은 시뮬레이션과 실로봇 양쪽에서 RL 성능 향상으로 이어지므로 벤치마크 진전은 실세계 유용성의 의미 있는 대리 지표다. 보상 모델링은 실세계 RL의 핵심 병목이다. 스스로 밝힌 한계이자 향후 과제는 장기·다단계 태스크로의 확장이다(현재는 단기 태스크의 에피소드 끝 보상만 다룬다).

비판적으로 보면

강점

벤치마크를 만들기 전에 벤치마크의 타당성부터 확인했다. 어떤 보상 형식을 예측하게 할지(§3 Fig. 2), 오프라인 정확도가 RL 성능과 이어지는지(Fig. 3)를 시뮬레이션에서 먼저 보고, 실로봇 RL(Table 2)로 한 번 더 확인했다. 많은 벤치마크 논문이 “이 숫자가 왜 중요한가”를 가정으로 두는데, 이 논문은 증거를 대려 했다.
데이터 합성 아이디어가 싸고 일반적이다. 영상을 생성하지 않고 지시문과 시간 축만 조작하므로, 성공 시연이 많은 어떤 로봇 데이터셋에도 적용할 수 있다. 어블레이션(Table 3)이 두 증강 모두 필요하다는 것을 보여 준다.
공개 수준이 매우 높다. 데이터셋·체크포인트·단계별 프롬프트 전문에 더해, 리더보드에 모델별 원시 생성문과 인스턴스 라벨까지 올렸다. 이 리뷰의 라벨 분포, 상수 기준선, 혼동 행렬은 전부 그 덕분에 계산할 수 있었다. 벤치마크의 약점을 외부에서 검증할 수 있게 열어 둔 것 자체가 기여다.
평가가 정직하다. 1위 모델의 약한 서브셋(UTokyo Bimanual 1.394, HYDRA 0.890)을 본문에 직접 적었고, 서브셋별 전체 표를 부록에 실었다. 태스크 설명 기준 분할과 테스트셋 전수 사람 검증도 오염과 라벨 노이즈를 줄이는 합리적 장치다.
정성 분석이 한 단계 더 들어간다. 부록 B.3은 “틀렸다”에서 멈추지 않고, 영상 서술을 받아 환각(없는 사건 생성)과 후반 사건 누락이라는 두 실패 유형을 구분했다. 보상 모델을 개선하려는 다음 연구가 바로 쓸 수 있는 진단이다.

약점·한계

벤치마크 라벨이 GPT-5 mini의 판단에 묶여 있다. OXE 테스트 인스턴스 1,831개 중 원본 성공(라벨 5)을 뺀 나머지는 GPT-5 mini가 서술·계획·검증한 합성 라벨이다. 사람 검증도 GPT-5 mini의 근거문을 보여 주고 수락/거절만 받는다(Fig. 6). 그리고 리더보드 2위(논문 시점)가 GPT-5 mini, 1위가 GPT-5 mini 라벨로 학습한 RoboReward 8B다. 사람 라벨이 독립적으로 있는 RoboArena에서 GPT-5 mini의 순위가 떨어지는 것(0.862, RoboReward 두 모델과 Qwen3-VL 8B·Qwen2.5-VL 72B 아래)은 이 우려와 어긋나지 않는다. 라벨 생성자와 가까운 모델이 유리할 수 있는 구조인데 논문은 이 가능성을 논의하지 않는다.
사람 검증의 강도가 보고되지 않았다. 주석자는 예제당 한 명이고, 주석자 간 일치도가 없다. 거절률도 없다. 더구나 §4.3과 부록 A.3은 “거절된 예를 버리고 남은 것에서 서브샘플링”했다고 쓰는데, Table 4의 테스트 분할(2,831개)과 최종 RoboRewardBench(2,831개)가 같은 숫자다. Table 4가 이미 검증 후의 수치인지, 검증 전 분할인지 논문에서 알 수 없다.
group-wise 평균이 순위를 좌우한다. RoboArena는 인스턴스의 35%(1,000/2,831)를 차지하지만 전체 점수에서 가중치는 1/23이다. DLR Wheelchair(19개)도 같은 1/23이다. 서브셋 간 편차가 큰 벤치마크에서 이 선택은 순위를 바꿀 수 있다. 1위와 2위의 차이는 0.026인데 부트스트랩 신뢰구간이나 유의성 검정이 없다. 필자가 Fig. 3에서 읽은 대로, 이 정도의 MAE 차이가 RL 성능 차이로 이어진다는 근거도 논문에는 없다.
자명한 기준선이 없다. 위에서 계산했듯 항상 3을 답하는 상수 예측기가 1.237로 네 모델보다 낫고, “음성 증강 없음” 어블레이션(1.450)보다도 낫다. 이 기준선을 표에 넣었다면 결과 해석이 훨씬 쉬웠을 것이다.
“일반화”의 범위가 좁다. 테스트의 모든 embodiment가 학습 데이터에 있고, 분할은 태스크 설명 기준이다. 실로봇 실험도 “학습 때 본 적 없는 태스크”이지만 로봇(WidowX)과 장면 계열(Bridge, 학습 3,826개)은 학습 분포 안이다. 반면 비교 대상인 Gemini Robotics-ER 1.5는 이 분포를 따로 학습하지 않았다. RoboReward가 새로운 로봇이나 새로운 시점에서도 통하는지는 이 논문으로 알 수 없다.
벤치마크 인스턴스가 서로 상관돼 있다. OXE 계열 인스턴스 1,831개가 약 1,015개 원본 에피소드에서 나왔다(필자의 파일명 기준 추정). 같은 영상을 다른 지시문으로 여러 번 채점하므로, 유효 표본 수는 인스턴스 수보다 작다.
루브릭의 “거의 완료”가 RL의 “성공”과 다르다. 루브릭은 그리퍼를 놓는 것을 보조 제약으로 보고 4점을 준다. 위의 냄비 영상이 그 예다. 그런데 실로봇 RL의 사람 보상은 이진 성공이고, 부록 B.3은 들고만 있는 원숭이에 5점을 준 Gemini를 실패 사례로 든다. 벤치마크가 재는 것(루브릭 정합성)과 RL이 필요로 하는 것(성공 판별)이 어긋나는 지점이 있다는 뜻이다.
실로봇 RL 실험의 규모와 명세가 부족하다. 태스크 2개, 평가 20회, 시드 1개(반복 실행 언급 없음), 신뢰구간 없음이다. 20회에서 50%와 75%의 차이는 통계적으로 뚜렷하다고 보기 어렵다. 또 사람 보상은 {0, 1}이고 VLM 보상은 1~5인데, 1~5를 RL 보상값으로 어떻게 변환했는지(정규화, 임계값) 적혀 있지 않다. 보상 스케일이 다르면 같은 DSRL 하이퍼파라미터가 공정한 비교인지도 불분명하다. Gemini Robotics-ER에 준 프롬프트가 벤치마크 프롬프트와 같은지도 명시되지 않았다. 벤치마크 MAE ↔︎ 실로봇 RL 순서의 일치도 보상 모델 두 개로 확인한 것이다.
Fig. 3의 상관은 군집 간 차이에서 나온다. 점 12개, 세 태스크가 한 회귀선에 섞였고, 비슷한 정확도 구간(x≈3) 안에서는 성공률이 25%~87%로 흩어진다. “오프라인 MAE가 RL 성능의 좋은 신호”라는 결론은 큰 차이에 대해서만 뒷받침된다.
서술의 과장이 몇 군데 있다. §1의 “이 파이프라인이 모든 분할에 걸쳐 자동 생성된 예제 54,135개를 낳는다”는 표현은 부정확하다. 54,135는 원래 OXE 성공 시연과 사람 라벨이 붙은 RoboArena까지 포함한 전체 코퍼스 크기다(Table 4 캡션). 초록의 “4B/8B가 훨씬 큰 VLM을 능가”는 4B에는 부분적으로만 맞다. “22개 VLM 평가”에는 자기 모델 두 개가 포함된다. 또 §3의 MAE 해설 문장은 arXiv HTML에서 수식이 깨져 “MAE<1이면 평균적으로 한 단계 이내”라는 뜻이 원문 소스에서만 읽힌다(사소한 조판 문제).
에피소드 끝 보상, 단기 태스크에 한정된다. 저자들도 인정하는 한계다. 스텝 단위의 dense 보상이나 다단계 태스크의 credit assignment는 다루지 않는다. 동시기 연구인 Robo-Dopamine(Tan et al., 2025)의 process reward 모델과 비교하지 못한 것도 그 체크포인트가 공개되지 않았기 때문이라고 적었다.

요약

RoboReward는 “성공 시연만 있는 데이터에서 실패를 만들어 내는” 두 가지 값싼 트릭(지시문 바꿔치기, 영상 자르기)으로 실로봇 보상 데이터를 만들고, 그 테스트셋을 사람이 검증해 VLM 보상 벤치마크로 공개했다. 그 데이터로 학습한 8B 모델은 논문 시점의 모든 상용 VLM을 앞섰고, 실로봇 RL에서 Gemini Robotics-ER 1.5보다 훨씬 쓸모 있는 보상이 됐다. 오프라인 정확도가 RL 성능과 이어진다는 연결 고리를 시뮬레이션과 실로봇 양쪽에서 확인하려 한 태도도 좋다.

다만 이 벤치마크의 정답 대부분은 GPT-5 mini가 만들고 검증한 합성 라벨이다. 전체 점수는 1,000개짜리 RoboArena와 19개짜리 서브셋을 같은 무게로 평균한 값이다. 상수 예측기 같은 자명한 기준선과 신뢰구간이 없고, 실로봇 RL은 태스크 2개·평가 20회 규모다. 반년 뒤 리더보드에서는 GPT-5.5가 제로샷으로 1위를 가져갔다. 그래도 사람이 매긴 자연 실패가 있는 RoboArena 서브셋에서는 여전히 RoboReward 8B가 1위다. “작은 공개 모델도 목표에 맞춘 데이터로 가르치면 실로봇 보상 모델이 될 수 있다”는 메시지는 유효하다. “그 모델이 frontier VLM보다 낫다”는 주장은 논문 시점의, 그리고 GPT-5 mini가 정의한 정답 위에서의 결과로 읽는 것이 정확하다.