📃RDA(Reward Design Agent) 리뷰

reward

Eureka

llm

vlm

Reward Design Agent for Reinforcement Learning

Published

September 29, 2026

Paper Link (arXiv:2606.01672v1): 이 리뷰는 arXiv v1(2026-06-01, cs.LG) 의 PDF와 e-print LaTeX 소스를 정본으로 읽었다. 본문 6절과 부록 7~12절 전체가 대상이다.
Project Page: 영상 2편, 16개 환경별 롤아웃 영상, 그리고 환경별 “best RDA reward” 코드(txt) 가 올라와 있다.
Code: 프레임워크 코드는 공개되지 않았다 (2026-09-29 확인). 논문의 코드 관련 진술은 초록의 한 문장뿐이다: “Videos and generated reward code are available on our project page.” 즉 공개된 것은 생성된 보상 함수 코드이고, RDA 루프 자체(프롬프트 오케스트레이션·학습 파이프라인)의 저장소는 논문 본문·부록·참고문헌·프로젝트 페이지 어디에도 없다. LaTeX 소스를 \url|github|release로 훑어도 나오는 GitHub 링크는 관련 연구 Prompt-to-Policy(krafton-ai/Prompt2Policy)의 것 하나다. 대신 부록 7절에 5단계 프롬프트 전문과 부록 11.2절에 Eureka 베이스라인 프롬프트 전문이 실려 있다.
Hojoon Lee*, Ajay Subramanian*, Ben Abbatematteo, Vijay Veerabadran, Pedro Matias, Karl Ridgeway, Nitin Kamra (* Meta 인턴십 중 수행)
Meta · Holiday Robotics · Boston Dynamics (논문 표기. 프로젝트 페이지는 소속을 Meta · KAIST · NYU로 적는다)
Reinforcement Learning Journal 2026 (PDF 머리글, [accepted] 옵션 조판) / 프로젝트 페이지 BibTeX는 Reinforcement Learning Conference (RLC)

💡 Eureka 류의 LLM 보상 코드 생성은 성공률은 올리지만 지시문(instruction)의 의미는 어기는 정책을 만든다는 문제의식에서 출발해, 보상 개선의 피드백을 “보상 통계 숫자”에서 “롤아웃 영상을 본 VLM의 서브태스크별 진단” 으로 바꾼다.
⚙️ 지시문을 J개 서브태스크로 분해하고, 서브태스크마다 보상 항을 둔 후보 N개를 생성해 SAC로 학습한 뒤, VLM(GPT-5)이 롤아웃 프레임과 보상 로그를 보고 서브태스크별 0/0.5/1 점수와 근거를 쓰면, 평균 점수가 가장 높은 후보를 골라 서브태스크 문구 하나와 보상 코드를 함께 고친다(5회 반복).
🎯 ManiSkill 12개 태스크에서 alignment 0.95 / success 0.90(Eureka 0.87 / 0.87), HumanoidBench 4개 태스크에서 alignment 0.70 vs Eureka 0.47(상대 +49%) 이지만 success는 0.42 vs 0.52로 Eureka가 더 높다. alignment는 GPT-4.1이 영상을 보고 매긴 5점 척도 점수다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

강화학습 보상을 LLM이 코드로 짜 주는 흐름은 Eureka가 열었다. LLM이 보상 후보를 여러 개 쓰고, 각 후보로 정책을 학습시킨 뒤, 보상 항별 통계(평균·최소·최대)와 성공률 을 다시 LLM에 보여 주며 보상을 고친다. 이 논문의 진단은 그 피드백이 너무 거칠다는 것이다. “상자가 목표에 도착했다”는 같은 숫자 뒤에 “손으로 밀었다”와 “발로 차서 날려 보냈다”가 똑같이 숨는다. 숫자만 보는 반성(reflection) 루프는 두 경우를 구분할 수 없고, 따라서 고칠 방향도 알 수 없다.

RDA(Reward Design Agent)는 반성 루프에 눈을 단다. 지시문을 서브태스크로 쪼개 두고, 학습된 정책의 롤아웃을 VLM이 서브태스크 단위로 채점하며 “왜 0.5점인가”를 문장으로 적게 한다. 그 문장이 다음 세대의 보상 코드 수정 지시가 된다.

Human vs Eureka vs RDA(Fig. 1): HumanoidBench Package 태스크, 지시문은 “상자 쪽으로 걸어가 뒤에 서서 접촉을 유지하며 목표까지 밀어라”. 사람이 설계한 보상(위)과 Eureka(가운데)는 상자를 차거나 던지듯 옮기고, RDA(아래)는 상자에 몸을 붙인 채 민다. 단, 정지 프레임만 보면 RDA 쪽도 “서서 두 손으로 민다”기보다 상자 위로 상체를 숙인 자세에 가깝다(아래 비판 절 참조).

프로젝트 페이지의 Eureka vs RDA 비교 영상(원본 1752×1080을 960px H.264로 재인코딩, 6.5초 루프). 왼쪽 Eureka는 상자를 발로 차듯 날려 보내고, 오른쪽 RDA는 상자에 몸을 기댄 채 밀어 간다.

핵심 방법론.

논문은 문제를 먼저 정식화한다(§3). 지시문 I, 환경 E, 학습 알고리즘 L, 정렬 점수 함수 S가 주어지면

R^\star \in \arg\max_{R\in\mathcal{R}} S\big(L(E,R),\, I\big)

즉 보상 자체의 좋고 나쁨이 아니라, 그 보상으로 학습된 정책의 행동이 지시문과 얼마나 맞는가를 목적으로 삼는다. RDA는 L과 S를 고정하고 \mathcal{R} 위에서 진화적 탐색을 한다(§4).

반복 i에서 후보 n의 정책이 낸 k번째 궤적과 서브태스크 j에 대해 VLM이 점수 s^i_{n,k,j}와 근거 문장 \rho^i_{n,k,j}를 낸다. 선택은 그 평균으로 한다.

\bar s^i_n = \mathbb{E}_{k,j}\big[s^i_{n,k,j}\big],\qquad n^\star_i=\arg\max_n \bar s^i_n

선택된 후보의 요약 G^i_{n^\star}(평균 점수 + 서브태스크별 실패 모드 분석)를 보고 VLM이 ① 서브태스크 목록 중 하나를 고쳐 쓰고(subtask reflection) ② 보상 코드를 고친다(reward reflection).

주요 결과.

ManiSkill 12태스크: alignment RDA 0.95 / Eureka 0.87 / 사람 dense 0.68 / sparse 0.28, success RDA 0.90 / Eureka 0.87 / dense 0.74 / sparse 0.17(Fig. 4a). PlugCharger는 RDA만 성공(0.67, 나머지 전부 0.00).
HumanoidBench 4태스크: alignment RDA 0.70 / Eureka 0.47 / dense 0.16 / sparse 0.07, success RDA 0.42 / Eureka 0.52 / dense 0.05 / sparse 0.00(Fig. 4b). 본문 §5.2의 “상대 49% 향상”은 0.70/0.47에서 나온다.
구성요소 어블레이션(PlugCharger·Package): Eureka 0.31/0.50 → +체크포인트 이어 학습 0.35/0.55 → +궤적 분석 0.82/0.83 → +서브태스크(=RDA) 0.84/1.00(alignment/success, Fig. 7a).
후보 수 스케일링: 반복당 후보 1→8개에서 alignment 0.46→0.84, success 0.20→1.00(Fig. 7b).
비용: A100 기준 ManiSkill 태스크 하나에 20~40 GPU-시간, HumanoidBench 태스크 하나에 240~360 GPU-시간(부록 9절).

결론.

RDA의 새로움은 모델이나 학습 알고리즘이 아니라 피드백 채널이다. 보상 탐색 루프의 “왜 실패했나” 단계를 숫자 통계에서 VLM의 서브태스크 단위 행동 서술로 바꿨고, 그것만으로(어블레이션상 가장 큰 도약이 궤적 분석 추가다) 보상 해킹성 행동을 상당 부분 걸러 낸다. 다만 정렬 점수 자체가 또 다른 VLM(GPT-4.1)의 판정이고, 가장 어려운 휴머노이드 영역에서는 success가 Eureka보다 낮으며, 본문 수치와 그림·부록 사이에 어긋나는 곳이 여럿 있다. “VLM으로 보상을 고치고 VLM으로 채점한” 결과로 읽어야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문은 Eureka의 진화적 보상 탐색 루프에서 “선택 기준”과 “반성 입력” 두 곳을 VLM의 영상 판정으로 교체하면, 성공률은 거의 그대로 두면서 VLM이 보기에 지시문에 더 충실한 정책을 얻는다는 것을 보인 실증 논문이다. 논문이 스스로 첫 기여로 꼽는 것도 방법이 아니라 관찰이다: “LLM-based automated reward generation can produce policies that achieve high task success while misaligned with natural-language task instructions, as revealed by vision–language–model–based trajectory evaluation.” 그리고 그 관찰을 드러내는 도구도, 그 관찰을 고치는 도구도 VLM이라는 점이 이 논문의 힘이자 가장 큰 약점이다.

배경: 보상 설계는 왜 “정렬” 문제인가

§1은 보상 설계의 어려움을 하나의 스칼라가 서로 다투는 여러 목표를 담아야 한다는 데서 찾는다(Singh et al., 2009). 무거운 상자를 미는 휴머노이드는 균형을 잡으며 걸어가고, 접촉하고, 부드럽게 밀어야 한다. 어느 한 항을 과하게 주면 행동이 무너지고, “상자가 목표에 도달”만 크게 주면 상자를 던져서 보내는 정책이 나온다. 이것이 논문이 말하는 instruction misalignment다. 성공 판정은 통과하지만 지시문이 요구한 방식은 어긴다.

§2(관련 연구)는 이 문제에 대한 기존 접근을 세 갈래로 정리한다.

논문 §2의 관련 연구 분류와 각 갈래의 한계(논문 서술 요약)
갈래	대표	논문이 지적하는 한계
데이터에서 보상 학습	역강화학습(Ng, Abbeel, Ziebart), GAIL/AMP, 선호 학습(Christiano, PEBBLE), VLM 선호 라벨(RL-VLM-F 등), 진행도 추정(VIP, GVL, RoboReward)	큐레이션된 데이터가 필요하고, 큰 보상 모델은 대규모 병렬 시뮬레이터에서 평가 비용이 크며, 잘못 정렬되면 고치기 어렵다
파운데이션 모델이 직접 스칼라를 줌	RoboCLIP, VLM-RM(CLIP 유사도), VIPER(비디오 모델 우도), LLM 채점	신호가 거칠다. 유사도는 서로 다른 실패 모드를 하나로 뭉갠다
보상 코드 생성	Text2Reward, Eureka, DrEureka, VLM으로 위험 후보 거르기, GROVE(CLIP 정렬 보상 추가), Prompt-to-Policy(동시기)	Eureka의 반성 신호는 순수 수치다. 점수가 비슷한 서로 다른 실패를 구분하지 못해 “왜 실패했고 어떻게 고칠지”를 모른다

RDA는 세 번째 갈래에 속한다. 보상을 실행 가능한 코드로 두는 이점(가볍고, 병렬 시뮬레이터에서 빠르고, 해석 가능)은 그대로 챙기고, Eureka의 약점인 반성 신호만 바꾼다. 논문의 표현으로는 “closing the loop between detecting and correcting misalignment” 다. VLM으로 위험 후보를 거르거나(Ma et al., 2025) CLIP 정렬 보상을 더하는(GROVE) 기존 시도는 오정렬을 탐지는 하지만 무엇을 고칠지 알려 주지 않는다는 것이 차별점 주장이다.

문제 정식화: Reward Design Problem

§3은 Singh et al.(2009)의 보상 설계 문제를 지시문 조건부로 확장한다.

P=\langle \mathcal{I},\mathcal{E},\mathcal{R},\mathcal{L},\mathcal{S}\rangle,\quad \mathcal{L}:\mathcal{E}\times\mathcal{R}\to\Pi,\quad \mathcal{S}:\Pi\times\mathcal{I}\to\mathbb{R}

\mathcal{I}: 지시문 공간(텍스트·영상 등). 이 논문의 실험에서는 텍스트뿐이다.
\mathcal{E}=\langle\mathcal{O},\mathcal{A},\mathcal{T}\rangle: 관측·행동·전이.
\mathcal{L}: 보상을 받아 정책을 내는 학습 알고리즘(여기선 SAC + SimbaV2).
\mathcal{S}: 정책의 행동을 지시문과 비교해 정렬을 재는 점수 함수.

이 정식화에서 눈여겨볼 점은 \mathcal{S}가 성공 판정이 아니라는 것이다. 목적함수가 처음부터 “지시문과의 정렬”로 잡혀 있다. 그리고 실제 실험에서 \mathcal{S}의 구현은 GPT-4.1의 5점 척도 판정이다. 즉 이 논문에서 “좋은 보상”의 정의는 곧 “VLM 심사위원이 좋다고 보는 행동을 낳는 보상”이다. 이 정의가 뒤의 모든 결과 해석을 지배한다.

방법 상세: 진화 루프의 여덟 단계

RDA 개요(Fig. 2): (I) 초기화에서 지시문 I와 환경 E로부터 서브태스크 T^1을 만들고 보상 후보 R^1_{1..N}을 생성한다. (II) 진화 탐색에서 (c) 강화학습 → (d) 롤아웃 → (e) VLM 시각 분석 → (f) 요약 → (g) 보상 선택 → (h) 서브태스크 수정 → (i) 보상 수정이 반복된다. 그림 속 예시는 “던지지 말고 두 손으로 부드럽게 밀어라”로 서브태스크가 바뀌는 과정이다.

초기화 (§4.1)

입력 준비. 지시문 I(예: “with natural motion, walk to the package and push it with both hands”)와 시뮬레이터 환경 E.
서브태스크 생성. VLM이 (I,E)를 보고 J개의 서브태스크 T^1=[t^1_1,\dots,t^1_J]를 쓴다. 부록 7.1의 프롬프트를 보면 VLM에게 주는 것은 지시문 + 환경 코드(성공 조건 포함) + 환경 이미지이고, “단순한 태스크는 약 5개, 복잡하거나 긴 태스크는 약 10개”, “마지막 서브태스크는 성공 조건을 능동적으로 달성하는 문장으로” 같은 규칙이 있다.
보상 생성. (I,E,T^1)을 조건으로 N개의 보상 코드 후보를 쓴다. 보상은 서브태스크별 항의 가중합으로 구조화된다. 부록 7.2의 프롬프트는 각 항을 [0,1]로 정규화한 뒤 명시적 가중치를 곱해 더하고, 성공 시 큰 일회성 보상을 주고, 모든 항을 self.reward_info에 reward_ 접두사로 로깅하라고 지시한다. 이 로깅이 뒤에서 VLM이 “reward_hand_contact=0.14 at step 35” 같은 근거를 댈 수 있게 해 주는 장치다.

진화 탐색 (§4.2)

정책 학습. 각 후보로 \pi^i_n=\mathcal{L}(E,R^i_n)을 학습한다. 비용을 줄이려 이전 반복의 최고 체크포인트에서 이어 학습(warm start)할 수 있다.
롤아웃. 각 정책을 K 에피소드 돌려 영상과 서브태스크별 보상 로그를 남긴다(부록 표 1: 후보당 궤적 3개, VLM 질의당 이미지 20장).
시각 분석. 궤적-서브태스크 쌍마다 VLM이 점수 s\in[0,1]과 근거 \rho를 낸다. 본문은 s\in[0,1]로 쓰지만 부록 7.3의 실제 프롬프트는 1.0 / 0.5 / 0.0의 3단계 척도이고, “서브태스크 하나가 실패하면 뚜렷한 증거가 없는 한 이후 서브태스크도 실패로 간주하라” 는 순차 규칙이 있다. 프롬프트는 행동 서술(behavior)을 먼저 쓰고 점수(score)를 나중에 매기게 하며, “기어가기처럼 의도하지 않은 전략으로 서브태스크를 수행”, “이후 서브태스크를 해치는 행동(균형 상실)”을 점검 항목으로 명시한다.
요약과 선택. K개 궤적, J개 서브태스크에 걸친 평균 \bar s^i_n과 서브태스크별 반복 실패 모드 분석 p^i_{n,j}를 묶어 G^i_n을 만들고, \bar s가 가장 높은 후보를 이번 반복의 최선으로 체크포인트한다.
반성. (a) 서브태스크 반성: VLM이 현재 분해가 지시문을 충분히 담는지 보고, 모호하거나 덜 규정된 서브태스크를 고친다. 부록 7.4 프롬프트는 이를 한 번에 하나의 서브태스크만, 총 개수는 유지, 수치 임계값 금지로 제한한다. (b) 보상 반성: 각 후보 n에 대해 (I,E,T^{i+1},R^i_{n^\star},G^i_{n^\star})를 주고 개선된 보상을 쓰게 한다. 프롬프트는 “핵심 실패를 겨냥한 한 가지 수정”을 요구하되 “모든 서브태스크가 실패하면 전면 재작성해도 된다”고 허용한다.

M회 반복 후 전 후보 중 최고 보상을 반환한다.

프롬프트를 나란히 놓으면 보이는 것

본문은 Eureka와의 차이를 “reflects only on numerical reward statistics rather than on the visual analysis” 한 가지로 요약한다. 그런데 부록 7절(RDA)과 11.2절(Eureka 베이스라인)의 프롬프트 전문을 한 줄씩 대조하면 차이는 그보다 많다.

RDA와 Eureka 베이스라인의 프롬프트·설정 대조(부록 7·11.2절 원문에서 확인. 마지막 두 행의 Eureka 쪽은 필자 해석)
항목	RDA 프롬프트(부록 7)	Eureka 베이스라인 프롬프트(부록 11.2)
VLM 백본	GPT-5, reasoning medium	동일
보상 생성 입력	지시문 + 서브태스크 목록 + 환경 코드	지시문 + 환경 코드
반성 입력	이전 보상 코드 + 성공률 + VLM 궤적 분석(이미지 20장 + 보상 로그 기반)	이전 보상 코드 + 성공률 + 보상 통계 `dict(step_0: value, …, step_N: value)`
`self.task` 내부 상태 사용 허용	있음(“서브태스크 충돌을 피하려면 써도 된다”)	없음
전면 재작성 허용	있음(“모든 서브태스크 실패 시”)	없음
이전 반복 체크포인트 이어 학습	사용(§4.2)	본표 설정에선 미사용으로 보인다(어블레이션이 “+Ckpt”를 Eureka 위에 따로 더한다)
후보 선택 기준	VLM 서브태스크 평균 점수 \bar s	논문에 명시 없음(원 Eureka는 task fitness, 즉 성공 지표로 고른다)

두 가지를 짚어 둔다. 첫째, 본문은 Eureka가 “각 보상 항의 평균·최소·최대”를 반성에 쓴다고 쓰지만(부록 11.2 본문), 같은 절의 프롬프트는 스텝별 값 사전을 준다고 적는다. 둘째, RDA의 “시각 분석”은 순수 시각이 아니다. 부록 7.3 프롬프트는 VLM에게 스텝별 보상 항 값을 함께 주고 “Reference specific reward values at key steps” 를 요구한다. Fig. 5의 진단 문장도 이미지 관찰과 reward_hand_contact=0.14 at step 35라는 로그 수치를 함께 인용한다. 그래서 “시각 피드백이 핵심”이라는 결론은 정확히는 “이미지 + 서브태스크 구조 + 보상 로그를 함께 보는 언어적 진단이 핵심”으로 읽어야 한다.

직관: 왜 “보면” 고칠 수 있는가

Eureka의 반성 입력은 보상 항의 시계열이다. reward_box_to_goal이 오르고 성공률이 1.0이면, LLM 입장에서는 고칠 이유가 없다. 상자가 발에 차여 날아갔는지는 이 숫자에 정의상 들어 있지 않다. 숫자는 보상 설계자가 미리 측정하기로 정한 것만 담고, 오정렬은 대개 설계자가 측정하기로 정하지 않은 축에서 일어난다. 이게 보상 해킹의 정의에 가깝다.

영상은 그 축을 복원한다. 사람 보상 설계자가 실제로 하는 일, 곧 “학습된 정책을 틀어 놓고 이상한 동작을 찾아 그걸 막는 항을 추가”하는 과정을 VLM에게 맡긴 셈이다. 서브태스크 분해는 그 관찰을 어느 보상 항을 고칠지로 연결하는 색인 역할을 한다. 보상 코드가 서브태스크별 항의 합으로 짜여 있으니 “서브태스크 3이 0.5점”이라는 진단은 곧 “reward_hand_contact 항을 손봐라”는 편집 지시로 번역된다. 논문이 어블레이션에서 서브태스크의 효과를 credit assignment 로 해석하는 것도 이 대응 관계 때문이다.

반대로 이 구조가 못 하는 일도 같은 직관에서 나온다. VLM이 이미지 20장에서 보지 못하는 것(예: 1 cm 미만의 삽입 오차, 접촉력의 크기)은 진단할 수 없고, 서브태스크 사이의 보상 충돌(앞 단계 보상이 뒤 단계 탐색을 막는 것)은 서브태스크 문구 하나를 고치는 식으로는 풀리지 않는다. 논문이 결론에서 스스로 인정하는 Basketball 실패가 정확히 이 후자다.

실험 설정 (§5.1)

태스크(Fig. 3): 위 8장과 아래 왼쪽 4장이 ManiSkill3 테이블톱 조작 12개(Franka Panda), 아래 오른쪽 4장이 HumanoidBench의 H1 전신 조작 4개(push, door, package, basketball).

ManiSkill 12태스크: PushCube, PullCube, PokeCube, PickCube, LiftPegUpright, PlaceSphere, StackCube, PegInsertionSide, PushT, RollBall, PullCubeTool, PlugCharger. 지시문은 공식 태스크 설명을 그대로 쓴다.
HumanoidBench 4태스크: h1hand-push, -door, -package, -basketball. 벤치마크에 텍스트 설명이 없어 저자들이 공식 태스크 정의를 바탕으로 지시문을 직접 썼다. 이 점은 뒤에서 다시 문제가 된다. 벤치마크 자체는 Humanoid Bench 리뷰, 시뮬레이터는 ManiSkill3 리뷰 참조.
학습: SAC + SimbaV2. SimbaV2는 이 논문 1저자의 전작 계열 아키텍처로, 블로그의 SimBa 리뷰가 그 전신을 다룬다. 태스크당 시드 3개.
평가: alignment rate와 success rate 두 지표.
베이스라인: Human Sparse(성공 판정 0/1을 보상으로), Human Dense(벤치마크 제공 손설계 보상), Eureka(같은 GPT-5, 같은 지시문, 같은 학습 예산으로 재구현).

RDA 하이퍼파라미터(부록 표 1 + 부록 9절 본문). MS = ManiSkill, HB = HumanoidBench
분류	하이퍼파라미터	값
진화 탐색	반복 수 M	5
	반복당 후보 수 N	4 (MS), 8 (HB)
	후보당 궤적 수 K	3
강화학습	알고리즘 / 아키텍처	SAC / SimbaV2
	환경 스텝	50M (MS), 10M (HB)
	업데이트 스텝	250K (MS), 625K (HB)
	에피소드 최대 길이	태스크별 (MS), 500 (HB)
	학습 환경 수	2000 (MS), 16 (HB)
	할인율 \gamma	0.95 (MS), 0.98 (HB)
에이전트 VLM	모델 / 질의당 이미지 / reasoning	GPT-5 (2025-08-07) / 20장 / Medium
평가 VLM	모델 / 질의당 이미지	GPT-4.1 (2025-04-14) / 50장
연산	GPU / 태스크당 총량	A100 / 20~40 GPU-h (MS), 240~360 GPU-h (HB)

표에서 바로 보이는 불일치가 둘 있다. 본문 §5.1은 ManiSkill 학습 환경 수를 2048로, 부록 표 1은 2000으로 적는다. 또 부록 9절은 “반복당 MS 1~2 GPU-시간, HB 6~8 GPU-시간”이라 쓰고 태스크당 총량을 20~40, 240~360으로 적는데, 총량을 역산하면 이 “반복당”은 후보 하나의 학습 1회를 뜻한다(MS: 5반복 × 4후보 × 1~2 h = 20~40 h, 일치). 같은 계산을 HB에 하면 5 × 8 × 6~8 h = 240~320 h로, 논문의 상한 360과 맞지 않는다. 시드 3개를 곱했는지도 밝혀져 있지 않다.

평가 지표를 정확히 읽기

Alignment rate(부록 10.1). 정책마다 롤아웃 영상 5개를 만들고, 영상 하나를 지시문과 함께 GPT-4.1에 4번씩 물어 정책당 20회, 시드 3개로 태스크당 60회 판정을 모은다. 척도는 1~5 리커트이고 루브릭은 다음과 같다.

GPT-4.1 평가 루브릭
점수	루브릭(부록 10.1 프롬프트 원문 요약)
1	Completely incorrect: 무관하거나 실패한 시도, goal not achieved
2	Mostly incorrect: 제한적이거나 틀린 시도, 주요 단계 누락
3	Partially correct: 일부 올바른 행동, 핵심 오류·누락
4	Mostly correct: 대부분의 단계를 따름, 사소한 실수, goal achieved
5	Fully correct: 모든 행동과 목표를 의도대로 수행

저자들은 생성기(GPT-5)와 평가기를 다른 모델로 둔 이유를 “to mitigate potential bias between the generator and evaluator” 라고 밝힌다. 또 Muslimani et al.(2025)의 쌍대 비교 대신 점별(point-wise) 평가를 쓴 이유를 GPT의 시각 컨텍스트 한계로 든다.

정규화에 관한 주의. 부록 10.1은 평균 점수를 “dividing by 5” 로 [0,1]에 정규화한다고 쓴다. 1~5 척도를 5로 나누면 최솟값은 0.2다. 그런데 Fig. 4의 HumanoidBench sparse는 0.07, 부록 Fig. 10에는 0.00과 0.04가 여러 칸 있다. 적힌 정규화로는 나올 수 없는 값이다. 실제로는 (s-1)/4 같은 다른 정규화를 썼을 가능성이 높지만 논문에서 확인되지 않는다. 결과적으로 “0.70”이 리커트 평균 몇 점인지 독자는 정확히 복원할 수 없다.

Success rate(부록 10.2). ManiSkill은 공식 성공 판정 함수, HumanoidBench는 종료 보상 보너스를 이진 성공 지표로 쓴다. 부록 Fig. 11의 캡션은 이를 “derived from human-coded evaluation” 이라 적는데, 본문 정의(벤치마크의 이진 성공 지표)와 표현이 다르다. 파일명(appendix_per_env_code)으로 보아 “코드로 판정한”의 뜻으로 보이지만 원문 그대로 적어 둔다.

주요 결과 (§5.2)

보상 설계 방법 비교(Fig. 4): (a) ManiSkill 12태스크 평균, (b) HumanoidBench 4태스크 평균. 막대 위 숫자가 평균, 오차 막대는 태스크·시드 간 편차로 보인다(논문이 오차 막대의 정의를 밝히지 않는다).

주요 결과(Fig. 4 막대 라벨. 부록 Fig. 10·11의 태스크별 값을 평균하면 16칸 모두 반올림 오차 내에서 일치함을 필자가 검산했다)
벤치마크	지표	RDA	Eureka	Human Dense	Human Sparse
ManiSkill (12)	Alignment	0.95	0.87	0.68	0.28
	Success	0.90	0.87	0.74	0.17
HumanoidBench (4)	Alignment	0.70	0.47	0.16	0.07
	Success	0.42	0.52	0.05	0.00

ManiSkill. RDA가 근소하게 앞서고, 저자들도 이를 “marginally ahead”라 표현한다. 오히려 강조하는 것은 “for simpler manipulation scenarios, coarse reward statistics provide sufficient feedback” 이라는 점, 즉 짧은 테이블톱 태스크에서는 Eureka로 충분하다는 인정이다. 차이를 만드는 것은 PlugCharger다. RDA만 success 0.67을 내고 Eureka·Dense·Sparse는 모두 0.00이다.

HumanoidBench. alignment 0.70 vs 0.47에서 “상대 49%”가 나온다(0.70/0.47 = 1.489, 검산 일치). 반면 success는 Eureka가 0.52로 더 높다. 본문은 이를 “slightly lower success rate” 라 쓰는데, 절대값으로 0.10, 상대로는 약 19% 낮다.

⚠️ 본문과 그림의 수치 불일치. §5.2 본문은 “Human-designed rewards achieve only 0.25 alignment and 0.08 success” 라고 쓴다. 그런데 Fig. 4(b)의 사람 보상은 Dense 0.16/0.05, Sparse 0.07/0.00이고, 부록 Fig. 10·11의 태스크별 값을 평균해도 같은 값이 나온다. 0.25/0.08은 두 사람 베이스라인의 어느 쪽과도, 그 합이나 평균과도 맞지 않는다. LaTeX 소스에 주석 처리된 이전 문단이 남아 있는데, 거기엔 그림과 같은 값(Dense 0.16/0.05, Sparse 0.07/0.00)이 적혀 있다. 본문 수치가 갱신 과정에서 어긋난 것으로 보인다. 이 리뷰는 그림 값을 따른다.

태스크별로 풀어 보면

평균 두 줄로는 안 보이는 것이 많다. 부록 Fig. 10(alignment)과 Fig. 11(success)의 막대 라벨을 전부 옮겼다.

태스크별 alignment rate(Fig. 10, 부록 12.1).

태스크별 success rate(Fig. 11, 부록 12.2).

태스크별 alignment / success(부록 Fig. 10·11 막대 라벨에서 옮긴 값, 굵게는 RDA↔︎Eureka 중 우세 쪽)
태스크	Align RDA	Align Eureka	Align Dense	Align Sparse	Succ RDA	Succ Eureka	Succ Dense	Succ Sparse
PushCube	1.00	1.00	1.00	1.00	1.00	1.00	1.00	1.00
PullCube	1.00	1.00	1.00	1.00	1.00	1.00	1.00	1.00
PokeCube	1.00	1.00	1.00	0.21	1.00	1.00	1.00	0.00
PickCube	1.00	1.00	1.00	0.12	1.00	1.00	1.00	0.01
LiftPegUpright	1.00	0.46	0.96	0.08	1.00	1.00	1.00	0.00
PlaceSphere	1.00	1.00	0.83	0.17	1.00	1.00	0.93	0.00
StackCube	0.88	0.96	0.79	0.17	0.67	1.00	0.99	0.00
PegInsertionSide	0.50	0.88	0.00	0.17	0.67	0.99	0.15	0.00
PushT	1.00	0.92	0.75	0.04	1.00	0.70	0.83	0.00
RollBall	1.00	1.00	0.04	0.21	0.95	0.97	0.37	0.00
PullCubeTool	1.00	0.88	0.79	0.08	0.84	0.75	0.64	0.00
PlugCharger	1.00	0.33	0.00	0.12	0.67	0.00	0.00	0.00
h1hand-push	0.96	0.79	0.42	0.17	0.67	0.80	0.20	0.00
h1hand-package	0.67	0.29	0.04	0.04	1.00	0.95	0.00	0.00
h1hand-door	0.17	0.29	0.17	0.04	0.00	0.00	0.00	0.00
h1hand-basketball	1.00	0.50	0.00	0.04	0.00	0.33	0.00	0.00

이 표에서 읽히는 것을 정리한다(모두 표에서 필자가 계산).

ManiSkill 12개 중 6개는 RDA와 Eureka의 alignment·success가 모두 1.00 근처로 동률이다(PushCube, PullCube, PokeCube, PickCube, PlaceSphere, RollBall). 평균 격차 0.08은 나머지 6개에서 나온다. 그중 RDA 우세는 LiftPegUpright(+0.54), PlugCharger(+0.67), PushT, PullCubeTool이고, Eureka 우세도 2개(StackCube, PegInsertionSide: alignment와 success 둘 다)다. PegInsertionSide에서 RDA는 alignment 0.50 / success 0.67로 Eureka(0.88 / 0.99)에 크게 뒤진다. 논문 본문은 이 역전을 언급하지 않는다.
HumanoidBench alignment 격차(평균 +0.23)의 구성. 태스크별 차이는 push +0.17, package +0.38, door −0.12, basketball +0.50이다. 합 0.93 중 절반 넘게(0.50)가 Basketball 한 태스크에서 나온다. Basketball을 빼고 세 태스크만 평균하면 RDA 0.60 vs Eureka 0.457로 상대 향상은 약 31% 가 된다.
그 Basketball에서 RDA는 alignment 1.00, success 0.00이다. GPT-4.1이 60회 판정 전부를 5점(또는 그에 해당하는 최고점)으로 줬다는 뜻인데, 정작 공은 한 번도 들어가지 않았다. 루브릭은 4점부터 “goal achieved” 를 요구한다. 루브릭을 문자 그대로 적용하면 성공 0인 정책은 3점을 넘을 수 없다. 반면 Eureka는 success 0.33에 alignment 0.50이다. 이 칸 하나가 평가 VLM의 판정이 성공 여부와 얼마나 따로 노는지를 보여 준다. 저자들은 결론에서 Basketball을 RDA의 한계 사례로 든다(“catching rewards suppresses the exploration for throwing”). 그런데 같은 태스크의 alignment 1.00이 HB 평균 향상의 절반을 만든다는 점은 짚지 않는다.
PlugCharger도 비슷한 모양이다. RDA alignment 1.00, success 0.67이다. 시드 하나 꼴로 삽입에 실패했는데도 정렬은 만점이다. 1 cm 미만 삽입 오차를 50장 프레임에서 판별하기 어렵다는 VLM의 해상도 한계로 읽는 편이 자연스럽다.

프로젝트 페이지의 RDA h1hand-basketball 롤아웃(512×512, 25초). 공을 받아 골대 밑까지 걸어가 두 손으로 림 아래에서 들어 올린 자세로 멈춘다. 공은 들어가지 않는다. 이 태스크의 RDA alignment는 1.00, success는 0.00이다(Fig. 10·11).

위 영상은 3번의 해석을 구체화한다. 이 롤아웃은 “공을 잡아 골대로 가서 올려 넣으려는” 동작처럼 보이고, 저자들이 쓴 layup 지시문의 문장 구조와 대부분 맞는다. VLM 심사위원이 보는 것은 바로 이 “그럴듯함”이다. 이 논문의 alignment 지표가 재는 것은 결과가 아니라 행동 서사와 지시문의 일치이고, 그 서사가 결과 없이도 완성될 수 있다는 것이 이 칸이 주는 교훈이다. (Basketball에 실제로 어떤 지시문을 썼는지는 논문에 없다. 부록 8절은 “3개 태스크 예시”를 제시한다고 쓰지만 실제로 실린 것은 PlugCharger와 Package 2개뿐이다.)

한 반복을 해부하면 (§5.3)

Package 태스크의 RDA 진화 과정(Fig. 5, PDF p.8에서 크롭): (a) 지시문, (b) 7개 서브태스크 중 3·5번, (c) 롤아웃, (d) 서브태스크 3에 대한 시각 분석(0.5점: “상체를 상자에 기대고, 손 접촉은 약하다”), (e) 서브태스크 수정(“양손 접촉을 유지하며”), (f) 보상 수정(bilateral_contact = min(left, right)로 전진 보상을 게이팅).

§5.3은 Package에서 한 번의 개선 반복을 따라간다. 지시문 “Walk towards the package, stand behind it, maintain contact, and push it to the goal location” 은 7개 서브태스크로 분해된다. 이번 반복의 정책은 양손 접촉 없이 몸통을 상자에 기대어 밀었고, 그래도 상자는 목표 쪽으로 갔다. 여기서 나머지 세 단계가 이어진다.

시각 분석(서브태스크 3, 0.5점): “The robot leans its upper body against the rear face of the box … indicating contact without firm or stable placement of both hands.” 이진 성공 판정보다 한 단계 더 들어가 “어떻게” 실패했는지를 쓴다.
서브태스크 반성: 원인을 “torso/forearms without firm bilateral hand contact” 로 지목하고, 서브태스크 3을 “양손 접촉을 유지하며”로 고친다.
보상 반성: bilateral_contact = min(left_contact, right_contact)를 새로 두고, 서브태스크 5의 상자 전진 보상에 곱한다. 양손이 붙어 있지 않으면 전진 보상이 0이 된다.

이 예시는 논문에서 가장 설득력 있는 부분이다. 진단 문장이 곧 코드 편집으로 번역되는 경로가 한눈에 보인다. min으로 양손을 묶는 것은 사람 보상 설계자가 흔히 쓰는 수법이고, VLM이 그 수법을 스스로 골랐다.

프로젝트 페이지의 “RDA Evolution Process” 영상(35초, 1100px로 재인코딩). Fig. 5의 (a)~(f) 패널이 순서대로 나타나며 롤아웃 영상과 함께 재생된다.

RDA 반복에 따른 Package의 alignment·success(Fig. 6). 점선은 Eureka·Dense·Sparse 기준선. success는 2회차에 1.0에 도달하지만 alignment는 약 0.29에서 약 0.67까지 천천히 오른다.

Fig. 6이 이 논문의 논지를 가장 압축적으로 보여 준다. 성공은 반복 2회차에 이미 1.0인데, 정렬은 그 뒤로도 세 번의 반복 동안 계속 오른다. 성공 지표만 보는 탐색이라면 2회차에서 멈췄을 것이다. 그리고 그 정책은 몸통으로 미는 정책이다.

⚠️ Fig. 6 주변의 서술 불일치. 본문은 “full task success (1.0) after the second iteration … alignment steadily improves to 0.68 by iteration 4” 라 쓰고, 캡션은 “full task success after the first iteration … improves alignment to 0.68 at the fifth iteration” 이라 쓴다. 그림을 읽으면 success는 1회차 약 0.70 → 2회차 1.0(본문이 맞음)이고, alignment는 4회차 약 0.64 → 5회차 약 0.67(캡션이 맞음)이다. 초기 alignment도 본문·캡션은 0.30, 그림은 약 0.29, 태스크별 Fig. 10은 Eureka Package를 0.29로 적는데 본문은 Eureka를 0.28로 적는다. 모두 작은 차이지만 한 문단 안에 몰려 있다.

부록 8절 예시의 내부 정합성. 부록 8절은 PlugCharger와 Package에서 한 반복 전체(초기 서브태스크 → 초기 보상 → 궤적 분석 → 서브태스크 반성 → 보상 반성)를 싣는다. 그런데 실린 “초기 보상 코드”와 “궤적 분석”이 서로 다른 보상을 가리킨다. PlugCharger의 초기 보상은 reward_approach_charger_pos, w_success = 8.0 같은 항을 쓰는데, 궤적 분석은 reward_approach, reward_above, reward_lift, reward_goal_pos_post와 “sparse success bonus (10.0)” 을 인용한다. 보상 반성은 “exp(-200·dist)” 를 20으로 낮췄다고 쓰지만, 실린 초기 보상의 목표 거리 스케일은 0.05 m, 즉 exp(-20·dist)다. Package도 마찬가지로 초기 보상의 항 이름(reward_upright_height 등)과 분석이 인용하는 항 이름(reward_upright, reward_approach_box, reward_forward_push 등)이 다르다. 여러 후보 중 다른 후보의 코드를 실었을 가능성이 높다. 그래도 “한 반복의 전 과정”이라는 부록의 전제와는 맞지 않는다. 예시의 질적 흐름은 유효하지만, 수치 단위로 따라가며 재구성할 수는 없다.

공개된 “best reward”와의 대조. 프로젝트 페이지는 환경별로 “best RDA reward” 코드를 공개한다(rewards/rda/h1hand-package-v0-1.txt). 이 파일을 열어 보면 Package 보상의 접촉 항이 왼손만 쓴다(left_hand_pos와 left_hand_vel만 참조, “Left hand near the intended contact point”). Fig. 5가 보여 준 bilateral_contact 게이팅은 이 파일에 없다. 파일명의 -1이 시드나 후보 번호일 수 있어 Fig. 5의 계보와 다른 실행일 수 있다. 다만 “공개된 최고 보상”이 논문의 대표 예시가 도입한 핵심 수정을 담고 있지 않다는 점은 적어 둔다.

어블레이션 (§5.4)

어블레이션(Fig. 7): (a) Eureka에서 출발해 체크포인트 이어 학습(+Ckpt), 궤적 분석(+Traj Analysis), 서브태스크 분해(=RDA)를 차례로 더한다. (b) 반복당 후보 수 n을 1·2·4·8로 바꾼다. PlugCharger(ManiSkill)와 Package(HumanoidBench), 시드 3개.

구성요소 어블레이션(Fig. 7a)
구성	Alignment	Success
Eureka	0.31	0.50
+ Ckpt(이전 최고 체크포인트에서 이어 학습)	0.35	0.55
+ Traj Analysis(서브태스크 없이 궤적 분석)	0.82	0.83
RDA(+ 서브태스크 분해)	0.84	1.00

후보 수 스케일링(Fig. 7b)
후보 수 n	1	2	4	8
Alignment	0.46	0.58	0.74	0.84
Success	0.20	0.51	0.90	1.00

저자의 해석은 명확하다. 정렬을 끌어올리는 것은 궤적 분석(0.35 → 0.82)이고, 서브태스크 분해는 정렬보다 성공을 올린다(0.83 → 1.0, 본문은 PlugCharger의 작은 소켓 삽입에서 credit assignment가 나아진 덕으로 해석). 후보 수는 많을수록 좋다.

이 어블레이션이 없었다면 RDA의 이득을 “프롬프트를 더 정성껏 쓴 효과”와 구분할 수 없었을 것이다. 그런 의미에서 값진 실험이다. 다만 몇 가지를 짚는다.

+Ckpt가 Eureka 위에 따로 더해진다는 사실 자체가 정보다. 본표(Fig. 4)의 Eureka는 체크포인트 이어 학습을 쓰지 않는 설정으로 보이고, 그러면 본표의 RDA vs Eureka 차이에는 이어 학습 효과(+0.04/+0.05)도 섞여 있다. 크지는 않지만 본문은 두 방법의 차이를 “시각 분석”으로만 설명한다.
어블레이션의 수치를 본표와 맞출 수 없다. 어블레이션의 Eureka 0.31/0.50은 본표의 PlugCharger(0.33/0.00)와 Package(0.29/0.95)를 평균한 값(0.31/0.475)과 거의 맞다. 그래서 두 태스크 평균으로 읽힌다. 그런데 같은 방식이면 본표의 RDA는 PlugCharger(1.00/0.67)와 Package(0.67/1.00)의 평균 0.835/0.835가 되어야 하는데, 어블레이션의 RDA는 0.84/1.00이다. success 1.00이면 두 태스크 모두 모든 시드가 성공해야 하고, 본표의 PlugCharger 0.67과 충돌한다. 어블레이션의 RDA 값은 (b)의 n=8 값과 정확히 같다. 그러니 어블레이션은 두 태스크 모두 후보 8개로 돌린 별도 실행일 가능성이 있다(본표의 ManiSkill 설정은 후보 4개). 한편 본문은 “The subtask structure primarily improves success on PlugCharger (0.83 → 1.0)” 라 써서 이 수치가 PlugCharger 단독인 것처럼 읽히게도 한다. 논문은 어블레이션이 평균인지, 후보 수가 몇인지 밝히지 않는다.
Eureka와 RDA의 success 막대에는 오차 막대가 없다(0.50, 1.00). 시드 3개가 모두 같은 값이라는 뜻이다. (b)의 n=4 success 0.90에도 오차 막대가 없어서, 세 시드가 정확히 같은 에피소드 성공률 0.90을 냈다는 뜻이 된다. 가능은 하지만 평가 에피소드 수가 논문에 없어 확인할 수 없다.
후보 수 스케일링은 연산 스케일링이다. n=8은 n=1보다 RL 학습을 8배 돌린다. 같은 GPU-시간에서 “후보를 늘리는 것”과 “후보 하나를 오래 학습하는 것”의 비교가 없어서, “RDA의 진화 탐색이 다양한 출발점의 이득을 본다”는 해석과 “그냥 연산을 더 쓴다”를 가를 수 없다.

결론과 저자가 밝힌 한계 (§6)

저자들이 스스로 적은 한계는 셋이다.

비용. 후보마다 RL 학습 1회가 필요하다. 학습 전에 보상을 자가 진단하는 내부 반성(AI Scientist류, Lu et al., 2024)으로 낭비를 줄일 수 있을 것이라 전망한다.
VLM의 한계. 컨텍스트 길이, 추론 비용, 불완전한 세밀 시각 추론이 진단 능력을 제한한다. 저자들은 “these capabilities will continue to improve as VLMs improve” 라고 낙관한다.
서브태스크 간 보상 충돌. Basketball에서 잡기 보상이 던지기 탐색을 억누르는 현상이 일관되게 관찰됐다. 서브태스크 상태를 정책에 조건으로 주는 방향을 제안한다.

비판적으로 보면

강점

문제 제기 자체가 정확하다. “성공률이 같은 두 정책이 전혀 다른 행동을 한다”는 관찰은 보상 해킹 논의를 LLM 보상 생성 문맥으로 옮긴 것이다. Fig. 6의 “성공은 2회차에 포화, 정렬은 그 뒤로도 상승” 곡선은 성공 지표만으로 보상 탐색을 멈추면 무엇을 놓치는지 보여 준다.
진단이 편집으로 번역되는 경로가 구체적이다. 서브태스크별 보상 항 구조 + reward_ 로깅 + 서브태스크별 VLM 채점이 맞물려 “3번이 0.5점 → 3번 항을 게이팅”이 자연스럽게 나온다. Fig. 5의 bilateral_contact 예시는 이 설계의 가치를 가장 잘 보여 준다.
재현에 필요한 프롬프트를 전부 공개했다. RDA 5단계와 Eureka 베이스라인, 평가 VLM의 시스템·유저 프롬프트 전문이 부록에 있다. 이 덕분에 위의 대조표처럼 “두 방법이 실제로 무엇이 다른가”를 독자가 직접 검증할 수 있다.
공정성 장치를 신경 썼다. Eureka도 같은 GPT-5와 같은 지시문, 같은 학습 예산으로 재구현했다. 평가 VLM을 생성 VLM과 다른 모델로 두어 자기 채점 편향을 줄이려 했다. 불리한 결과(HB success에서 Eureka 우세, ManiSkill에서 Eureka로 충분)도 본문과 기여 요약에 적었다. 기여 요약의 “On some tasks, RDA’s pure task success rate is lower than Eureka’s; our central contribution concerns alignment quality rather than raw success” 는 드문 솔직함이다.
구성요소 어블레이션이 있다. 궤적 분석과 서브태스크 분해의 기여를 따로 떼어 보여 줘서 “프롬프트를 잘 써서”라는 반론에 일정 부분 답한다.

약점·한계

평가 지표가 방법의 선택 기준과 같은 종류의 신호다. RDA는 GPT-5가 매긴 서브태스크 점수로 후보를 고르고, GPT-4.1이 매긴 지시문 정렬 점수로 평가받는다. 모델은 다르지만 둘 다 “VLM이 롤아웃 프레임을 보고 지시문과 맞는지 판단”하는 신호다. 반면 Eureka의 선택 기준은 (논문에 명시는 없지만 원 Eureka를 따른다면) 성공 지표다. 그러면 RDA는 alignment에, Eureka는 success에 구조적으로 유리하고, 결과표가 정확히 그 패턴(HB alignment는 RDA, success는 Eureka)을 보인다. 이 순환을 끊으려면 사람 평가자의 정렬 판정이 최소 일부라도 필요했는데 사람 평가가 하나도 없다. VLM 판정과 사람 판정의 일치도도 보고하지 않는다.
그 VLM 심사위원이 성공과 무관하게 만점을 준다. Basketball에서 RDA는 alignment 1.00 / success 0.00이다. 루브릭은 4점부터 “goal achieved”를 요구하므로 문자 그대로면 불가능한 조합이다. 그리고 이 한 칸이 HB alignment 평균 격차의 절반 이상을 만든다. Basketball을 빼면 상대 향상은 49%에서 약 31%로 줄어든다(필자 계산). PlugCharger의 1.00/0.67도 같은 성격이다. 평가자가 결과보다 행동 서사를 본다는 것이 이 칸들이 주는 증거다. 이는 RDA의 이득 일부가 “VLM 심사위원이 좋아하는 모양의 행동”을 찾는 데서 올 수 있다는 뜻이기도 하다.
HumanoidBench 지시문은 저자들이 썼다. 벤치마크에 텍스트 설명이 없어 저자가 작성했고, 이 지시문이 곧 정렬 채점의 기준이다. 더구나 Package의 지시문은 본문(Fig. 1·5)의 한 문장 버전과 부록 8절의 여섯 문장 버전(“positions its both hands behind it … regulates the applied force”)이 다르고, 어느 쪽을 평가에 썼는지 밝히지 않는다. 지시문이 “양손”을 명시하느냐에 따라 Eureka의 발차기와 RDA의 몸통 밀기가 받는 점수는 크게 달라질 수 있다. 네 지시문 전문이 공개되지 않아 이 효과를 가늠할 수 없다. 덧붙여 RDA 논문 스스로도 §5.1에서 이 태스크를 “moving a package to a target location” 으로만 소개하고, 블로그의 Humanoid Bench 리뷰는 원 벤치마크의 Package를 “패키지를 들어 올리고 이동”하는 태스크로 요약한다. 그렇다면 “뒤에 서서 밀어라”라는 운반 방식은 벤치마크가 정한 것이 아니라 저자들이 지시문에 넣은 의도로 보이고, Eureka의 ’오정렬’도 그 의도를 기준으로 한 판정이다.
본문·캡션·부록 사이의 수치 불일치가 많다. (1) HB 사람 보상 0.25/0.08(본문) vs 0.16/0.05·0.07/0.00(그림). (2) Fig. 6의 success 포화 시점과 alignment 0.68 도달 시점이 본문과 캡션에서 서로 다르다. (3) alignment 정규화 “÷5”로는 나올 수 없는 0.00·0.04·0.07. (4) 학습 환경 2048 vs 2000. (5) 서브태스크 점수 [0,1] 연속(본문) vs 3단계(프롬프트). (6) HB 총 GPU-시간 상한 360 vs 역산 320. (7) 부록 8절의 “3개 태스크 예시”와 실제 2개, 그리고 예시 안에서 초기 보상 코드와 분석 대상 보상이 불일치. (8) Fig. 1 캡션은 사람 보상도 “achieve task success” 라 쓰지만 본문 §1은 사람 보상이 “fails to complete delivery” 라 쓰고, Fig. 11의 Package Dense success도 0.00이다. 결론을 뒤집는 오류는 없지만, 한 편의 짧은 논문에 이 정도가 몰려 있으면 독자는 어느 수치를 믿을지 스스로 대조해야 한다.
어블레이션과 본표를 이을 수 없다. 위에서 계산했듯 어블레이션의 RDA(0.84/1.00)는 본표의 두 태스크 평균(0.835/0.835)과 success가 맞지 않고, 후보 수와 집계 방식이 적혀 있지 않다. “서브태스크가 PlugCharger success를 0.83 → 1.0으로 올린다”는 주장은 본표의 PlugCharger success 0.67과 나란히 놓으면 해석이 어렵다.
“시각 피드백”이라는 이름이 기여를 과장한다. 궤적 분석 프롬프트는 이미지와 스텝별 보상 항 값을 함께 주고 수치 인용을 요구한다. “+Traj Analysis”가 더한 것은 시각 정보만이 아니라 구조화된 언어 진단 단계 전체다. 이미지 없이 같은 형식의 진단을 보상 로그만으로 하게 하는 대조군이 있었다면 “시각이 결정적”이라는 결론을 분리할 수 있었다. 게다가 Eureka 베이스라인 프롬프트에는 self.task 사용 허용과 전면 재작성 허용도 없다(위 대조표).
RDA의 정렬 결과물이 정말 “지시문대로”인가. Fig. 1과 비교 영상에서 RDA 휴머노이드는 상자 뒤에 서서 두 손으로 민다기보다 상자 위로 상체를 숙여 기댄 채 민다. Package의 RDA alignment도 0.67로, 루브릭상 “Mostly correct”에 못 미친다. 논문이 “RDA produces a policy that … follows the intended behavior”라고 쓸 때의 기준은 Eureka보다 낫다는 상대 기준으로 읽는 것이 정확하다. 프로젝트 페이지가 공개한 Package “best reward”가 왼손 접촉만 쓴다는 점도 이 인상을 강화한다.
통계 규모가 작다. 태스크당 시드 3개, HB는 4태스크뿐이다. 0.67·0.33 같은 값은 시드 3개 중 몇 개가 성공했는지를 반영하는 것처럼 보이고, 태스크 간 표준편차가 큰 평균(HB RDA success 0.42의 오차 막대가 약 ±0.25)에서 “comparable”과 “better”를 가르기는 어렵다. 오차 막대의 정의(태스크 간인지 시드 간인지)도 없다.
비용이 크고, 비교는 같은 예산 안에서만 공정하다. HB 태스크 하나에 240~360 A100-시간이다. Eureka도 같은 예산을 썼으니 두 방법 간 비교는 공정하다. 하지만 사람 Dense 보상은 한 번의 학습이고 RDA는 5반복 × 8후보다. “사람 보상보다 낫다”는 비교는 연산 예산이 크게 다르다는 조건을 달고 읽어야 한다. HumanoidBench의 Dense 보상이 이 논문의 SAC + SimbaV2, 10M 스텝 설정에 맞춰 튜닝된 것이 아니라는 점도 같이 본다. Humanoid Bench 리뷰에 정리했듯 원 벤치마크에서도 Door·Package는 당시 RL 기준선이 풀지 못한 태스크였다.
프로젝트 페이지의 주장이 논문보다 강하다. 프로젝트 페이지 초록은 RDA가 “the only method to solve plug-insertion and humanoid package-delivery” 라고 쓴다. 논문 자신의 Fig. 11과 Fig. 6에서 Eureka의 Package success는 0.95다. PlugCharger에 대한 주장만 논문과 일치한다.

요약

RDA는 LLM 보상 코드 생성 루프에 VLM의 눈을 달았다. 지시문을 서브태스크로 쪼개고, 롤아웃을 서브태스크 단위로 채점·서술하게 하고, 그 서술을 서브태스크 문구와 보상 코드 수정으로 번역한다. Package 예시에서 “몸통으로 밀기”를 진단하고 bilateral_contact 게이팅으로 고치는 과정은 이 설계가 사람 보상 설계자의 디버깅을 꽤 충실히 흉내 낸다는 것을 보여 준다. 어블레이션은 그 이득의 대부분이 궤적 분석 단계에서 온다고 말한다.

다만 이 논문의 성과는 VLM이 매긴 정렬 점수로 측정됐고, RDA 스스로도 VLM 점수로 후보를 고른다. 그 심사위원은 공을 한 번도 넣지 못한 Basketball 정책에 만점을 줬고, 그 한 칸이 휴머노이드 정렬 향상의 절반 이상을 만든다. 가장 어려운 영역에서 success는 Eureka가 더 높고, 본문·캡션·부록의 수치가 여러 곳에서 어긋난다. 프레임워크 코드는 공개되지 않았고 생성된 보상 코드만 공개됐다. “보상 해킹을 보고 고치는 루프”라는 방향은 설득력이 있다. 그 루프가 사람이 보기에도 더 나은 정책을 만드는지는 사람 평가가 없는 이 논문으로는 아직 확정되지 않는다.