📃RF-Agent 리뷰

reward

Eureka

llm

mcts

RF-Agent: Automated Reward Function Design via Language Agent Tree Search

Published

August 16, 2026

Paper Link (arXiv:2602.23876v1): 이 리뷰는 arXiv v1의 e-print LaTeX 소스와 HTML을 정본으로 읽었다. 본문 6절과 부록 A~I 전체가 대상이다.
Code Link: 공식 구현. README가 “The code for RF-Agent is based on Eureka” 라고 밝힌다. 레포 루트에 LICENSE 파일이 없다(GitHub API license: null, 2026-09-29 확인). 있는 것은 동봉된 isaacgymenvs/LICENSE.txt와 rl_games/LICENSE뿐이라, RF-Agent 자체 코드의 사용 조건은 명시되지 않은 상태다. 레포의 RF-Agent Instruction.md는 이 버전이 “only for showcasing code and reward functions, not for running” 이라며 실행판을 Google Drive zip으로 안내하지만, 현재 GitHub 판(커밋 7e99ca9)에는 isaacgymenvs/assets(약 300 MB)와 Bi-DexHands 태스크 코드가 들어 있고, 우리 재현에서 Ant가 Drive zip 없이 끝까지 학습됐다. 안내문이 현재 레포 상태와 맞지 않는다(Drive 폴더에는 RFAgent.zip 187 MB가 있으나 받지 않았다).
실험 레포 (curieuxjy/RF-Agent, private): 이 리뷰의 재현 노트가 근거로 삼은 로그와 코드 노트(EXPERIMENTS.md·CODE-NOTES.md·notes/)가 있다. 비공개 레포라 외부 독자는 열 수 없다.
Ning Gao, Xiuhui Zhang, Xingyu Jiang, Mukang You, Mohan Zhang, Yue Deng (Beihang University)
NeurIPS 2025. Spotlight는 저자 README의 표기다(“accepted as a Spotlight at NeurIPS 2025”). arXiv 소스는 [preprint] 옵션으로 조판돼 있어 PDF 자체에는 학회 표기가 없다.

💡 Eureka(탐욕)·Revolve(진화)처럼 LLM으로 보상 코드를 반복 개선하는 방법들이 최근 이력만 쓰고 탐색이 비효율적이라는 진단에서 출발해, 보상 설계 전 과정을 몬테카를로 트리 탐색(MCTS) 으로 관리한다.
⚙️ 트리의 노드 하나가 보상 함수 하나(설계 의도 z, 코드 R, 점수 F, 학습 피드백)이고, UCT(정규화 Q + 방문 보너스 + LLM 자기평가 점수)로 고른 잎 노드를 변이 2종·교차·경로 추론·다른 생각의 5가지 LLM 연산으로 8개 자식으로 확장한 뒤, 각 자식으로 PPO를 학습시켜 점수를 역전파한다.
🎯 IsaacGym 7태스크(보상 80개 예산)에서 human-normalized 평균 1.70(4o-mini) / 2.68(4o) 로 Eureka(0.63 / 2.00)·Revolve(0.67 / 2.03)를 앞서고, Bi-DexHands 10태스크(512개 예산, 4o-mini)에서 탐색 곡선의 최종 평균 성공률이 Expert-Easy 약 0.88, Expert-Hard 약 0.93으로 두 베이스라인(약 0.59~0.71)보다 높다(그림 판독값).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

LLM에게 강화학습 보상 함수를 코드로 짜게 하고, 그 보상으로 정책을 학습시킨 결과를 다시 보여 주며 고치게 하는 루프는 Eureka가 열었다. 이 논문은 그 루프를 순차적 의사결정 문제로 다시 본다. LLM은 에이전트이고, “보상 함수 하나를 쓰는 것”이 행동이며, 학습 결과가 다음 상태가 된다. 그렇게 보면 Eureka는 매 세대 최고 하나만 남기는 탐욕 탐색이고, Revolve는 개체군을 굴리는 진화 탐색이다. 저자들은 두 방식 모두 ① 탐색·활용 균형이 약해 조기 수렴하거나 과탐색하고 ② 지역적인 이력만 남겨서, 낮은 점수의 보상이 나중에 좋은 보상으로 이어지는 경로를 버린다고 진단한다.

RF-Agent의 답은 생성된 모든 보상 함수를 트리에 남기고 MCTS로 어디를 더 팔지 정하는 것이다. 확장할 때는 부모 하나만 고치는 것이 아니라, 엘리트 노드와 섞거나(교차) 조상 경로 전체를 읽고 추론하거나(경로 추론) 일부러 다른 구조를 시도하는(다른 생각) 연산을 함께 쓴다. 제목의 Language Agent Tree Search 는 LLM 추론에 MCTS를 붙인 LATS(Zhou et al., 2023)에서 가져온 이름이다.

Quick view(Fig. 1). (a) LLM을 에이전트로, 보상 함수를 행동으로, 학습 점수·피드백을 다음 상태로 보는 순차 의사결정 관점. (b) 탐욕(Eureka)·진화(Revolve)·트리 탐색(RF-Agent)의 파이프라인 비교. 색은 상대 성능(노랑 낮음 → 초록 높음)이고, RF-Agent 쪽에서는 주황(중간) 노드가 다른 경로의 정보와 합쳐져 초록 노드로 가는 모습이 그려져 있다. (c) Bi-DexHands SwingCup·BottleCap에서 보상 샘플 수에 따른 최대 성공률.

핵심 방법론.

노드 상태는 s=[z, R, F, l_{feedback}](설계 의도, 보상 코드, 평가 점수, 학습 중 보상 항 추적 로그)다. 선택 단계는 루트에서 잎까지 다음 UCT가 가장 큰 자식을 따라 내려간다.

\mathrm{UCT}(s_{c})=\frac{Q(s_{c})-Q_{\min}}{Q_{\max}-Q_{\min}}+\lambda\left(\sqrt{\frac{2\log\big(N(s_{p})+1\big)}{N(s_{c})}}+\sigma\big(v_{self}(s_{c})\big)\right)

Q는 태스크마다 스케일이 다르니 트리 전체의 최소·최대로 정규화하고, v_{self}\in[-1,1]은 LLM이 “전문가 정책이라면 어떻게 움직일지”를 상상한 뒤 이 보상이 그 과정과 얼마나 닮았는지 매긴 자기평가 점수다(\sigma는 softmax). 탐색 가중 \lambda는 0.4에서 선형으로 줄어 초반엔 탐색·자기평가를, 후반엔 실측 점수를 따른다. 역전파는 자식 중 최댓값 쪽으로 Q를 끌어올린다.

Q(s)\leftarrow(1-\eta)\,Q(s)+\eta\max_{s'\in\mathrm{Child}(s)}Q(s'),\qquad N(s)=\sum_{s'\in\mathrm{Child}(s)}N(s'),\qquad \eta=0.7

주요 결과.

IsaacGym 7태스크(보상 샘플 80개, PPO, 평가 시드 5개): human-normalized 평균 RF-Agent 1.70 / Revolve 0.67 / Eureka 0.63(GPT-4o-mini), RF-Agent 2.68 / Revolve 2.03 / Eureka 2.00(GPT-4o). 모든 태스크에서 굵은 글씨(동률 포함)다(Table 1).
Bi-DexHands 10태스크(보상 샘플 512개, GPT-4o-mini): 사람 보상이 잘 되는 Expert-Easy 5개와 안 되는 Expert-Hard 5개로 나눴다. Expert-Hard에서 RF-Agent는 SwingCup·Kettle·DoorCloseOutward의 성공률을 약 0.94~0.99까지 올리고, 같은 태스크의 사람 보상은 약 0.05~0.36이다(Fig. 3, 그림 판독값).
어블레이션(Ant·FrankaCabinet·AllegroHand, 4o-mini): UCT 대신 DFS·BFS·Greedy, 연산 제거, 자기평가·생각 정렬 제거가 모두 성능을 떨어뜨린다. 가장 크게 흔들리는 태스크는 FrankaCabinet(최대 약 −92%)이다(Fig. 6).
비용: RTX 3090 4장 서버에서 태스크당 평균 9시간(IsaacGym) / 40시간(Bi-DexHands). LLM 비용은 Ant·Humanoid에서 Eureka의 약 1.6~1.8배(약 $0.31~0.32 vs $0.18~0.19)다(부록 C·E).

결론.

RF-Agent의 새로움은 LLM이나 RL 학습기가 아니라 탐색 틀이다. Eureka가 “최고 하나”를, Revolve가 “개체군”을 기억했다면, RF-Agent는 트리 전체를 기억하고 UCT로 어디를 다시 볼지 정하며, 부모만 보는 연산(변이)과 여러 노드를 보는 연산(교차·경로 추론·다른 생각)을 섞어 쓴다. 같은 보상 샘플 예산에서 두 베이스라인을 일관되게 이긴다는 결과는 설득력이 있다. 다만 IsaacGym 평균의 절반 이상이 분모가 0.07인 FrankaCabinet 한 칸에서 나오고, 탐색은 태스크당 한 번씩만 돌렸으며, 보고 지표가 “학습 중 최고 체크포인트 점수”라서 학습 곡선과 막대그래프가 꽤 다르게 보인다. “트리 탐색이 이긴다”는 결론은 맞는 방향이지만 그 폭은 표가 보이는 것보다 불확실하다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문은 LLM 보상 설계 루프에서 “무엇을 기억하고 어디서부터 다시 고칠 것인가”를 MCTS에 맡기면, 같은 수의 보상 후보로 더 좋은 보상에 도달한다는 것을 보인다. 바꾸는 것은 LLM도 학습기도 피드백 형식도 아니다. 피드백은 Eureka의 보상 항 추적 로그를 그대로 물려받고(부록 B.2: “This feedback is inherited from Eureka”), 학습기도 Eureka와 같은 rl_games PPO다. 새로 들어온 것은 ① 모든 후보를 담는 트리, ② UCT 선택, ③ 부모 하나를 넘어 트리 여러 곳의 정보를 끌어오는 확장 연산, ④ 설계 의도를 코드에 맞춰 다시 쓰는 생각 정렬과 LLM 자기평가다. 그래서 이 논문을 읽는 핵심 질문은 “MCTS라는 틀 자체가 얼마나 기여했나”와 “확장 연산 중 무엇이 실제로 일했나”다.

배경: LLM 보상 설계를 의사결정 문제로 보면

§1은 보상 설계를 두 흐름으로 정리한다. 역강화학습·선호 기반 RL은 보상 모델을 배우지만 전문가 데이터가 많이 필요하고 해석이 어렵다. L2R·Text2Reward는 LLM이 해석 가능한 밀집 보상 코드를 직접 쓰게 했고, Eureka·Revolve 등은 학습 결과를 피드백으로 되먹여 반복 개선을 붙였다.

저자들은 이 반복 개선 계열을 Fig. 1(a)처럼 순차 의사결정으로 다시 쓴다. 정책과 환경의 상호작용이 “내부 시스템”이고, LLM은 그 시스템과 상호작용하는 언어 에이전트다. LLM의 행동은 보상 함수를 생성하는 것이고, 내부 시스템은 학습 후 결과를 피드백으로 돌려준다. 그 행동과 피드백이 이력 상태에 누적돼 다음 행동에 쓰인다.

이 관점에서 기존 방법의 한계를 저자들은 둘로 짚는다.

탐색 관점. 탐욕·진화 알고리즘은 복잡한 의사결정 문제에서 탐색과 활용의 균형을 잘 못 잡아 지역 최적에 조기 수렴하거나 반대로 과도하게 탐색한다.
정보 이용 관점. 기존 방법은 지역적인 이력만 남긴다. 그래서 “낮은 성능의 보상 함수에서 높은 성능의 보상 함수로 이어질 수 있는 결정 경로” 를 놓친다.

두 번째 진단이 이 논문의 동기를 가장 잘 요약한다. Eureka는 매 반복 16개를 뽑아 최고 하나와 그 반성만 다음 프롬프트에 넣는다. 나머지 15개와 그 이전 세대는 버린다. 저자들은 그 버려진 후보들 안에 쓸 만한 보상 항이 있다고 본다.

문제 정식화: RDP에서 RFDP로 (§3)

§3은 Singh et al.(2009)의 보상 설계 문제(Reward Design Problem)를 먼저 둔다. P=\{M,\mathcal{R},\pi,F\}에서 M=(S,A,T)는 환경, \mathcal{R}은 보상 함수 공간, F:\Pi\to\mathbb{R}은 정책의 실제 과제 성능을 재는 평가 지표이고, 학습 알고리즘 \mathscr{A}_M:\mathcal{R}\to\Pi가 보상을 받아 정책을 낸다. 목표는 F(\mathscr{A}_M(R))을 최대화하는 R을 찾는 것이다.

RFDP(Reward Function Design Problem)는 여기에 두 가지를 얹는다. 보상 R은 파이썬 코드이고, 그 코드를 쓰는 설계자는 사전학습 LLM p_\theta다. 학습이 끝나면 점수 F와 함께 텍스트 피드백 l_{feedback}이 돌아온다. 과제 설명 l_{task}가 주어졌을 때 R\sim p_\theta(l)이 F(\mathscr{A}_M(R))을 최대화하도록 하는 것이 목표다.

§4.1은 이 문제의 어려움을 한 문장으로 짚는다. 상태(프롬프트)와 행동(보상 코드)이 언어로 정의돼 공간이 거대한데, 돌아오는 신호 F와 l_{feedback}은 희소하고 텍스트다. 그러니 p_\theta를 그래디언트로 고치는 것은 비현실적이고, 남는 수단은 맥락 내 학습(in-context learning)뿐이다. 저자들은 기존 방법이 맥락 내 학습을 “basic usage” 로만 썼다고 평가한다. RF-Agent의 모든 장치는 “맥락에 무엇을 넣을지”를 정하는 장치로 읽을 수 있다.

방법 상세: 트리 위의 네 단계 (§4.2)

RF-Agent 개요(Fig. 2). (a) Bi-DexHands SwingCup에서 최종 최고 노드까지의 한 경로. 점수가 R^0_1 0.0014 → R^1_3 0.4342 → R^0_4 0.7870 → R^1_5 0.9490으로 오른다. (b) 트리 성장 과정: 파랑 화살표가 선택, 주황이 확장, 초록이 역전파이고, 점선 화살표가 엘리트 집합·다른 경로의 정보를 끌어오는 “Global Path Message”다. (c) 선택·확장·시뮬레이션·역전파의 한 사이클.

노드와 초기화

루트 n_{root}는 가상 노드이고, 나머지 노드 하나하나가 보상 함수 하나와 그 학습 결과다. 초기화에서 LLM은 과제 설명 l_{task}와 환경 코드 중 관측 부분 l_{obs}만 받는다(Eureka·Revolve와 같은 조건). 생성은 두 단계다.

R\sim p_\theta(x,z),\qquad z\sim p_\theta(x),\qquad x=[l_{task},\,l_{obs},\,l_{action}]

먼저 설계 의도 z를 한 문장으로 쓰게 하고, 그다음 z를 바탕으로 코드를 쓰게 한다(부록 B.3의 초기화 프롬프트: “First, describe the design idea … Next, write a reward function based on this idea”). 생성된 보상으로 정책을 학습해 F와 l_{feedback}을 받으면 첫 층 노드 s=[z,R,F,l_{feedback}]이 완성된다. 초기 노드 수 N_I는 논문에 적혀 있지 않다(공개 코드 기본값은 6, 아래 코드 대조 절).

l_{feedback}의 실체는 부록 B.2의 예시로 보면 이렇다. 학습 중 일정 epoch마다 보상 항별 값의 시계열과 최대·평균·최소, task_score, episode_lengths가 텍스트로 들어간다. 여기에 “값이 거의 변하지 않는 항은 RL이 최적화하지 못한다는 뜻”, “크기가 지나치게 크거나 작은 항은 학습에 불리할 수 있다” 같은 분석 팁 세 줄이 붙는다. Eureka의 reward reflection과 같은 형식이다.

선택: 정규화 Q + 방문 보너스 + 자기평가

선택은 루트에서 시작해 UCT가 가장 큰 자식을 따라 잎까지 내려간다(Ping의 식). 세 항의 의미는 이렇다.

정규화 Q. 노드의 Q는 자기 보상 점수와 자손의 점수를 반영한다. 태스크마다 F의 단위가 다르므로(Ant는 전진 속도, Anymal은 음수 오차, 조작은 성공률) 트리 전체의 최소·최대로 [0,1]에 맞춘다.
방문 보너스. 표준 UCT의 \sqrt{2\log N_p/N_c}에 +1을 붙인 형태다.
자기평가 v_{self}. 복잡한 태스크에서는 초기 보상들의 F가 거의 0이라 Q가 노드의 잠재력을 반영하지 못한다. 그래서 LLM에게 “전문가 수준 정책이 과제를 어떻게 수행할지 계획과 동작 과정을 서술하고, 주어진 보상이 그 과정과 얼마나 닮았는지 [-1,1]로 매겨라”라고 묻는다(부록 B.4). 이 점수에 softmax를 씌워 탐색 항에 더한다. (공개 코드에서는 이 프롬프트에 노드의 코드가 실제로 들어가지 않는다는 점을 아래 코드 대조 절에서 다룬다.)

\lambda는 0.4에서 시작해 선형으로 줄고(부록 G 알고리즘: \lambda\leftarrow\lambda_0\frac{N-t}{N}), 자기평가 항도 \lambda 안에 있으므로 함께 약해진다. 설계 의도는 분명하다. 초반에는 “LLM이 보기에 그럴듯한” 보상에 기회를 주고, 후반에는 실제 학습 점수만 믿는다.

확장: 다섯 가지 LLM 연산

확장은 선택된 잎 노드에 자식을 만든다. 프롬프트 형식은 초기화와 같고 l_{action}만 바뀐다. 이것이 RF-Agent가 말하는 “행동 종류”다. 부록 B.3의 프롬프트 원문에서 각 연산이 LLM에게 실제로 무엇을 요구하는지 옮기면 다음과 같다.

확장 연산 5종(§4.2 + 부록 B.3). k는 [2,4]에서 무작위로 뽑는다(부록 C). 단 공개 코드에서 무작위 k는 교차·다른 생각에만 쓰이고, 경로 추론은 조상을 **최대 4개로 고정**해 쓴다(아래 코드 대조 절). 교차의 엘리트 샘플링은 점수 순위의 역수를 가중치로 쓴다(부록 B.3).
연산	입력 노드	프롬프트의 핵심 지시(부록 B.3)	정보 범위
a_{m1} 변이(구조)	부모	“has a different form but can be a modified version … add or remove some basic reward components”	지역
a_{m2} 변이(파라미터)	부모	“identify the reward function parameters and create a new reward function that has a different parameter settings”	지역
a_{c3} 교차	부모 + 엘리트 집합에서 k개	“list the common ideas in those high score reward functions and combine high-performing reward components”	전역(엘리트)
a_{r4} 경로 추론	부모 + 조상 k개(경로 절단)	“optimization in sequence … reason the optimization path and list some ideas … clearly helpful to a better improvement”	전역(자기 경로)
a_{d5} 다른 생각	부모 + 트리의 다른 경로에서 무작위 노드	“has a totally different form from the given algorithms. Try generating codes with different structures, flows or algorithms”	전역(다양성)

모든 프롬프트는 입력 노드들의 설계 의도·코드·학습 결과를 싣고 “The new reward function should have a higher task score” 로 끝난다. 부록 C에 따르면 한 번의 확장에서 다섯 연산을 모두 쓴다. 병렬 수 8에 맞춰 [a_{m1},a_{m2},a_{c3},a_{r4},a_{d5}]=[2,2,2,1,1]개씩 자식을 만든다. 저자들은 이 배분을 “to make the ratio of nodes that utilize local and global information at 1:1” 이라고 설명한다(변이 4개 : 교차·추론·다른 생각 4개).

여기서 짚어 둘 것이 있다. “어떤 연산을 쓸지”는 에이전트가 고르지 않는다. 매 확장마다 고정 배분으로 전부 쓴다. RF-Agent에서 탐색이 실제로 결정하는 것은 “어느 노드를 확장할지” 하나이고, 연산 종류는 그 노드에서 자식 8개를 어떻게 다양화할지의 레시피다. 논문이 LLM을 “에이전트”, 연산을 “행동”이라 부르지만, 고전적 MCTS의 “행동 선택”에 해당하는 결정은 없다.

시뮬레이션: 한 번의 RL 학습 + 생각 정렬

MCTS의 시뮬레이션(롤아웃)은 여기서 새 자식 노드의 보상으로 정책을 실제로 학습하는 것이다. 무작위 롤아웃으로 가치를 추정하는 게 아니라 그 노드의 실측 점수 F를 얻는다. 코드가 실행 에러를 내면 traceback을 LLM에게 주고 고치게 한다.

이때 문제가 하나 생긴다. 고친 코드 \hat R는 원래 설계 의도 z와 어긋날 수 있고, 고치지 않아도 LLM 환각으로 R과 z가 어긋날 수 있다. 확장 연산은 입력 노드의 z를 맥락으로 쓰므로 이 어긋남은 트리를 따라 전파된다. 그래서 생각 정렬(thought alignment)을 둔다. 확장 때 z를 먼저 쓰고, 시뮬레이션에서 코드가 정상 실행되면 코드를 보고 z_{new}를 4문장 이내로 다시 쓰게 한다(부록 B.4). 트리에 저장되는 설계 의도가 실제 코드를 설명하도록 맞추는 장치다.

역전파

새 자식들의 F가 나오면 자기평가 v_{self}를 생성하고, 선택된 잎에서 루트까지 올라가며 Q와 N을 갱신한다(Ping의 두 번째 식). Q 갱신은 평균이 아니라 자식 최댓값 쪽으로 \eta=0.7만큼 당기는 형태다. 보상 설계에서 중요한 것은 “그 가지의 평균 품질”이 아니라 “그 가지에서 나온 최고 보상”이므로 합리적인 선택이다. 반복은 샘플 예산 N에 닿거나 조기 수렴할 때까지 이어진다.

한 경로를 따라가면 (§4.3)

Fig. 2(a)가 SwingCup의 최고 노드까지 경로를 보여 준다. 초기 R^0_1은 컵과 목표의 거리만 줄이는 보상으로 점수 0.0014다. 변이로 손잡이 근접 보상을 추가한 R^1_3이 0.4342, 이것을 엘리트 노드와 교차해 파라미터를 바꾸고 각속도 안정 보상을 들여온 R^0_4가 0.7870, 경로 추론으로 선속도 안정 보상을 더한 R^1_5가 0.9490이다. 매 단계 코드 주석이 “Keep beneficial reward from parent node (Local Path)”, “Add new Reward from Elite Node (Global Path)”, “Add new reward by reasoning from tree path” 로 출처를 밝힌다.

그림을 자세히 보면 R^1_3으로 가는 간선의 라벨은 a_{m2}(파라미터 변이)인데, 코드 주석은 “Add new reward” 로 새 항을 추가한다. 본문 서술(“using mutation actions to add the handle distance reward”)대로라면 구조 변이 a_{m1}이 맞다. 예시 해석을 바꾸는 오류는 아니지만 연산 이름과 효과가 1:1이라는 논문의 설명과는 어긋난다.

직관: 트리가 주는 것과 주지 않는 것

트리가 주는 것은 “되돌아갈 곳”이다. Eureka의 탐욕 루프에서 한 세대의 최고가 막다른 길이면, 루프는 그 막다른 길의 변형만 계속 만든다. 트리에서는 그 가지의 Q가 낮아지면 UCT가 다른 가지로 돌아간다. 그리고 교차·다른 생각 연산 덕분에 돌아간 가지가 막다른 가지에서 배운 보상 항을 가져올 수도 있다. 부록 F.3의 CatchAbreast 경로(Fig. 11)가 이 모습을 보여 준다. 점수가 0.556 → 0.506 → 0.490 → 0.458로 세 번 연속 떨어진 노드를 거친 뒤 다른 생각 연산 한 번으로 0.67에 도달한다. 탐욕 루프라면 이 경로는 0.556에서 끊겼을 것이다. 저자들의 말로는 “those weak reward functions should not be easily abandoned” 다.

경로 추론은 “최적화 궤적을 맥락으로 쓰는” 연산이다. 한 보상의 코드와 로그만 보는 것과, 그 보상이 어떤 수정을 거쳐 여기까지 왔고 각 수정이 점수를 얼마나 바꿨는지를 보는 것은 다르다. 후자는 사람 보상 설계자가 실험 노트를 넘겨 보며 “이 항을 넣었을 때 올랐고, 이 계수를 바꿨을 때 떨어졌다”를 확인하는 과정과 닮았다. 부록 E의 토큰 표가 이 설계의 대가를 보여 준다. RF-Agent의 입력(prefill) 토큰은 Eureka의 약 3.1~3.2배이고 출력 토큰은 약 1.1~1.3배다. 이력을 많이 읽고, 쓰는 양은 비슷하다.

트리가 주지 않는 것도 있다. 고전적 MCTS가 강한 이유는 싼 롤아웃을 수천·수만 번 돌려 통계를 쌓기 때문이다. RF-Agent의 “롤아웃”은 RL 학습 한 번이고, 예산은 IsaacGym에서 80회다. 확장 한 번에 자식 8개가 생기므로, 초기 노드를 빼면 선택 결정은 IsaacGym에서 10번 안팎, Bi-DexHands에서 60여 번이다(초기 노드 6개를 쓰는 공개 코드 기준 필자 계산). 방문 수 통계가 의미 있게 쌓이기 어려운 규모다. 그래서 이 방법에서 MCTS는 통계적 가치 추정기라기보다 “점수 높은 가지를 우선 파되 가끔 다른 가지도 여는” 최선 우선 탐색 스케줄러에 가깝게 읽는 것이 정확하다. 실제 성능을 좌우하는 것은 트리 자체보다 트리가 가능하게 한 맥락 구성(엘리트·조상·다른 가지를 프롬프트에 넣는 것)일 가능성이 높고, 아래 어블레이션도 그 해석과 맞는다.

실험 설정 (§5.1~5.3, 부록 A·C·D)

태스크 17개

IsaacGym 환경(Fig. 7, 부록 A). 위: Ant, Humanoid, Anymal, Quadcopter. 아래: FrankaCabinet, AllegroHand, ShadowHand.

IsaacGym 7태스크(부록 A 표). 평가 점수의 단위가 태스크마다 다르다는 점이 뒤의 정규화 평균 해석에서 중요하다.
태스크	obs / act	과제	평가 점수 F
Ant	60 / 8	최대한 빠르게 전진	`cur_dist - prev_dist`
Anymal	48 / 12	무작위 x·y·yaw 목표 속도 추종	`-(linvel_error + angvel_error)`
Humanoid	108 / 21	최대한 빠르게 달리기	`cur_dist - prev_dist`
Quadcopter	21 / 12	고정 위치에 도달해 호버링	`-cur_dist`
AllegroHand	88 / 16	물체를 목표 자세로 회전	연속 성공 횟수(`rot_dist < 0.1`)
FrankaCabinet	23 / 9	캐비닛 문 열기	`1[cabinet_pos > 0.39]`
ShadowHand	211 / 20	물체를 목표 자세로 회전	연속 성공 횟수(`rot_dist < 0.1`)

Bi-DexHands 환경(Fig. 8, 부록 A). 두 Shadow Hand로 컵 흔들기, 병뚜껑 열기, 던져 받기, 문 닫기, 들어 올리기, 블록 쌓기, 집어 넣기, 주전자 붓기 등 10개 태스크.

Bi-DexHands 10태스크(부록 A 표). Easy/Hard는 **사람 보상의 성공률**로 나눈 그룹이다(§5.1). 모든 평가 점수가 0/1 성공 판정이다.
그룹	태스크 (obs / act)	평가 점수 F
Expert-Easy	Over (398 / 40)	`1[dist < 0.03]`
	GraspAndPlace (425 / 52)	`1[\|block - bucket\| < 0.2]`
	BottleCap (420 / 52)	`1[dist > 0.03]`
	CatchUnderarm (422 / 52)	`1[dist < 0.03]`
	BlockStack (428 / 52)	두 블록의 목표 거리 < 0.07 그리고 높이 조건
Expert-Hard	SwingCup (417 / 52)	`1[rot_dist < 0.785]`
	LiftUnderarm (417 / 52)	`1[dist < 0.05]`
	Kettle (417 / 52)	`1[\|bucket - kettle_spout\| < 0.05]`
	CatchAbreast (422 / 52)	`1[dist < 0.03]`
	DoorCloseOutward (417 / 52)	`1[door_handle_dist < 0.5]`

17개 태스크, 8개 제어 대상(Ant·Anymal·Humanoid·Quadcopter·Allegro·Franka·ShadowHand·양손 Shadow)이라는 논문의 셈은 표와 맞는다.

베이스라인·학습·평가

실험 설정 요약(논문 원문에서 확인한 값만).
항목	설정	출처
베이스라인	Human(벤치마크의 손설계 밀집 보상), Sparse(F를 그대로 보상으로), Eureka, Revolve auto(사람 피드백을 환경 피드백으로 대체한 저자 재구현)	§5.2, 부록 D
LLM	IsaacGym: GPT-4o-mini-0718 / GPT-4o-0806. Bi-DexHands: GPT-4o-mini만	§5.3
보상 샘플 예산	세 방법 모두 동일. IsaacGym 80개, Bi-DexHands 512개	§5.3
Eureka·Revolve 설정	기본값 유지, 반복당 16개 샘플	부록 D
RF-Agent 설정	병렬 8(연산 배분 [2,2,2,1,1]), \lambda_0=0.4, v_{self}\in[-1,1], k\in[2,4], \eta=0.7	부록 C
정책 학습	rl_games PPO, 벤치마크 기본 하이퍼파라미터	§5.3
최종 평가	최종 보상을 탐색과 다른 시드 5개로 따로 학습, 벤치마크 기본 스텝(예: Bi-DexHands 10^8). 단 공개 코드는 탐색 시드 0, 평가 시드 0~4라 시드 0이 겹친다(아래 코드 대조 절)	§5.3, 부록 C
보고 지표	각 정책 체크포인트에서 달성한 최대 평가 점수의 평균	§5.3
정규화 점수	(\text{Method}-\text{Sparse})/(\text{Human}-\text{Sparse})	Table 1 캡션
하드웨어	RTX 3090 × 4, CPU 128코어, 메모리 256 GiB	부록 C
소요 시간	태스크당 평균 9시간(IsaacGym) / 40시간(Bi-DexHands)	부록 C

두 가지를 먼저 짚어 둔다.

Eureka의 예산이 원 논문보다 작다. Eureka 원 논문은 반복당 16개 × 5반복을 독립 5회(random restart) 돌린다(Eureka 리뷰 참조). 여기서 IsaacGym 80개 = 16 × 5는 한 번의 실행이다. 예산을 맞춘 비교이므로 공정하지만, Table 1의 Eureka 수치는 원 논문의 Eureka 성능과 직접 비교할 수 없다. 원 논문은 GPT-4를 썼고 이 논문은 4o/4o-mini로 다시 돌렸다.
보고 지표는 “최종 성능”이 아니라 “학습 중 최고점”이다. 시드마다 학습 과정의 모든 체크포인트에서 최대 점수를 취하고 시드 5개로 평균한다. Eureka를 따른 관행이지만, 성공률이 들쭉날쭉한 보상일수록 이 지표는 학습 곡선보다 높게 나온다. 아래 Bi-DexHands 절에서 이 차이가 실제로 크게 나타난다.

실험 결과 (§5.4)

IsaacGym: 7태스크 × 2백본

Table 1(평균만 옮김. 표준편차는 원문 참조. 예: 4o의 FrankaCabinet은 RF-Agent 0.79±0.18, Revolve 0.57±0.50, Eureka 0.52±0.21).
방법	Ant	Anymal	Humanoid	Quadcopter	AllegroHand	FrankaCabinet	ShadowHand	Avg norm
Sparse	0.14	−2.05	3.01	−1.35	0.03	0.04	0.04	0
Human	6.75	−0.03	5.89	−0.08	11.41	0.11	8.56	1
Eureka (4o-mini)	4.87	−0.67	3.29	−0.07	13.87	0.01	10.81	0.63
Revolve (4o-mini)	5.16	−0.80	3.12	−0.08	18.40	0.19	10.61	0.67
RF-Agent (4o-mini)	6.22	−0.01	5.91	−0.03	22.52	0.35	13.13	1.70
Eureka (4o)	5.77	−0.01	5.44	−0.03	22.55	0.52	12.27	2.00
Revolve (4o)	5.90	−0.01	4.87	−0.04	23.11	0.57	9.02	2.03
RF-Agent (4o)	7.10	−0.01	6.37	−0.03	24.04	0.79	14.09	2.68

저자들이 뽑는 결론은 셋이다. ① 백본과 무관하게 RF-Agent가 가장 좋다. ② 4o-mini로도 RF-Agent는 거의 모든 태스크에서 사람 보상을 넘는데 Eureka·Revolve는 그렇지 못하다(특히 보행). ③ 4o로 올리면 모든 방법이 좋아지지만, Revolve는 ShadowHand에서 최적화에 실패한다.

표를 태스크 단위로 풀어 보면 다른 그림이 나온다. 정규화 점수를 태스크별로 계산하면(필자 계산) 다음과 같다.

Table 1의 평균값으로 다시 계산한 태스크별 human-normalized 점수(필자 계산). 괄호 안은 논문의 Avg norm score.
방법	Ant	Anymal	Humanoid	Quad	Allegro	Franka	Shadow	평균(논문)	Franka 제외 평균
Eureka (4o-mini)	0.72	0.68	0.10	1.01	1.22	−0.43	1.26	0.65 (0.63)	0.83
Revolve (4o-mini)	0.76	0.62	0.04	1.00	1.61	2.14	1.24	1.06 (0.67)	0.88
RF-Agent (4o-mini)	0.92	1.01	1.01	1.04	1.98	4.43	1.54	1.70 (1.70)	1.25
Eureka (4o)	0.85	1.01	0.84	1.04	1.98	6.86	1.44	2.00 (2.00)	1.19
Revolve (4o)	0.87	1.01	0.65	1.03	2.03	7.57	1.05	2.03 (2.03)	1.11
RF-Agent (4o)	1.05	1.01	1.17	1.04	2.11	10.71	1.65	2.68 (2.68)	1.34

이 표에서 읽히는 것이 셋이다.

평균의 절반 이상이 FrankaCabinet 한 칸이다. Human(0.11)과 Sparse(0.04)의 차이가 0.07뿐이라 분모가 작고, 0.79 같은 값이 10.71로 부풀려진다. RF-Agent(4o)의 정규화 점수 합 18.74 중 10.71(57%)이 이 칸이다. 표 값이 소수 둘째 자리로 반올림돼 있으니 각 값이 ±0.005 범위 어디에 있어도 이 비중은 53~61%이므로, 반올림 때문에 생긴 착시는 아니다. Franka를 빼면 4o 평균은 RF-Agent 1.34 / Eureka 1.19 / Revolve 1.11로 순위는 그대로지만 격차가 크게 줄어든다. 정규화 평균 대신 중앙값을 쓰면 4o에서 RF-Agent 1.17 / Eureka 1.04 / Revolve 1.03이다.
Revolve(4o-mini)의 평균이 표 값과 맞지 않는다. 논문은 0.67이지만 같은 표의 태스크별 값으로 계산하면 1.06이다. 다른 다섯 행은 반올림 오차 안에서 맞는다. 이 행의 셀 값은 LaTeX 소스, arXiv HTML, PDF 세 곳에서 모두 같다(0.19±0.17, Avg 0.67). 반올림 범위를 감안해도 FrankaCabinet 칸의 정규화 값은 약 1.75~2.67이라 평균이 0.67까지 내려갈 수 없다. 그 칸이 0.00 근처였다면 0.67이 나오므로, 셀 값과 평균 중 어느 한쪽의 기재 오류로 보인다. 어느 쪽이 맞든 4o-mini에서 RF-Agent가 1위라는 결론은 바뀌지 않지만, “Revolve ≈ Eureka”라는 인상은 이 한 칸에 달려 있다.
4o에서 세 방법의 차이는 대부분 Franka·Humanoid·ShadowHand에서 나온다. Anymal·Quadcopter는 세 방법이 동률(−0.01, −0.03~−0.04)이고, 표에서 이 동률 칸까지 RF-Agent만 굵게 표시돼 있다. 또 FrankaCabinet에서 Revolve의 표준편차(±0.50)가 평균(0.57)과 비슷해, 시드 5개 평균 차이의 통계적 의미를 따로 말하기 어렵다.

부록 F.4는 LLM 사전학습 데이터에 흔한 보상이 들어 있을 가능성을 의식해 Ant로 새 태스크 2개를 만들었다(4o-mini, 같은 설정). Lie Down(배를 하늘로 뒤집어 눕기)에서 Sparse 0.12 / Eureka 0.64 / Revolve 0.59 / RF-Agent 0.73, Patrol and Return(체크포인트까지 갔다 원점 복귀)에서 0.05 / 0.52 / 0.63 / 0.82다(Table 6). 이런 태스크에는 사람 보상이 없어 Human 열이 없다.

Bi-DexHands: 사람 보상이 약한 곳에서

Bi-DexHands 성공률(Fig. 3). (a) Expert-Easy, (b) Expert-Hard. 막대는 평균, 오차 막대는 표준편차의 위쪽 절반만 그렸다(캡션: “standard deviation upper bar”).

논문은 이 결과의 수치 표를 주지 않는다. 막대를 확대해 읽은 값을 옮긴다(±0.02 정도의 판독 오차).

Fig. 3 막대 판독값(필자 판독, 논문에 표 없음). Human 평균은 Easy 0.82, Hard 0.32로 Fig. 5의 Human 점선(약 0.82 / 0.32)과 맞는다.
그룹	태스크	RF-Agent	Eureka	Revolve	Human	Sparse
Easy	Over	0.94	0.96	0.92	0.93	0.00
	GraspAndPlace	0.92	0.42	0.52	0.93	0.00
	BottleCap	0.97	0.41	0.37	0.94	0.03
	CatchUnderarm	0.75	0.71	0.62	0.63	0.00
	BlockStack	0.69	0.17	0.30	0.66	0.01
Hard	SwingCup	0.94	0.51	0.47	0.05	0.01
	LiftUnderarm	0.92	0.76	0.91	0.50	0.00
	Kettle	0.98	0.65	0.56	0.36	0.02
	CatchAbreast	0.71	0.54	0.56	0.59	0.00
	DoorCloseOutward	0.99	0.73	0.81	0.08	0.06

Expert-Hard에서 RF-Agent의 우위는 뚜렷하다. SwingCup·Kettle·DoorCloseOutward에서 사람 보상은 0.05~0.36에 머무는데 RF-Agent는 0.94~0.99다. Expert-Easy에서는 그림이 다르다. RF-Agent는 사람 보상과 대등하거나 조금 높은 수준이고, Over는 Eureka가, GraspAndPlace는 Human이 근소하게 앞선다. 본문의 “Eureka and Revolve fail to reach half of human performance on tasks like GraspAndPlace, BottleCap, and BlockStack” 은 대체로 맞지만, GraspAndPlace의 Revolve는 약 0.52로 사람(0.93)의 절반을 조금 넘는다(막대 높이 비 약 0.55, 필자 판독).

최종 보상으로 학습한 성공률 곡선(Fig. 4, 본문). Kettle·DoorCloseOutward·CatchAbreast·BottleCap. 부록 Fig. 9가 10개 태스크 전체를 싣는다.

막대그래프와 학습 곡선이 다른 이야기를 한다

Bi-DexHands 10태스크 학습 곡선(Fig. 9, 부록 F.1). 선은 평균, 음영은 편차.

Fig. 3(막대)과 Fig. 9(곡선)는 같은 최종 보상의 평가 결과로 소개된다. 그런데 태스크별로 곡선의 끝과 막대를 대조하면 베이스라인 쪽이 크게 어긋난다(모두 필자 판독).

Fig. 9 학습 곡선과 Fig. 3 막대의 대조(필자 판독).
태스크	방법	Fig. 9 곡선의 후반 수준	Fig. 3 막대
SwingCup	Eureka / Revolve	0.4e8 스텝 이후 거의 0	0.51 / 0.47
Kettle	Eureka / Revolve	대부분 0.2 미만(순간 튀는 구간만 약 0.3)	0.65 / 0.56
BottleCap	Eureka / Revolve	약 0.1 안팎	0.41 / 0.37
GraspAndPlace	Eureka / Revolve	거의 0	0.42 / 0.52
DoorCloseOutward	Eureka / Revolve	약 0.2~0.3 / 끝에서 약 0.4로 급등	0.73 / 0.81
LiftUnderarm	Human	약 0.1~0.25에서 요동	0.50
Kettle	Human	0에 가깝고 초반 약 0.13의 스파이크	0.36
CatchUnderarm	RF-Agent	끝에서 약 0.57	0.75

가장 자연스러운 설명은 보고 지표다. Fig. 3은 “각 시드에서 모든 체크포인트 중 최고점”의 평균이고, Fig. 9는 시점별 평균이다. 성공률이 요동치는 보상은 어느 한 체크포인트에서 우연히 높은 값을 찍을 수 있고, 그 값이 막대가 된다. RF-Agent 곡선은 대체로 안정적으로 수렴해 곡선 끝과 막대가 가깝다. 그러니 이 대조는 두 방향으로 읽힌다.

RF-Agent의 실제 우위는 막대보다 클 수 있다. SwingCup에서 베이스라인의 “0.5”는 초반 스파이크의 흔적이고, 학습이 끝났을 때는 거의 0이다. “최종 정책”을 기준으로 하면 격차는 막대의 두 배 가까이 된다.
동시에 막대 값은 배포 가능한 성능이 아니다. 사람 보상의 LiftUnderarm 0.50, Kettle 0.36도 같은 방식으로 부풀려진 값이다. 논문은 두 그림의 관계를 설명하지 않는다. 최종 체크포인트 성능이나 마지막 N% 구간 평균을 함께 보고했어야 독자가 막대를 올바르게 읽을 수 있다.

탐색 효율: 샘플 수에 따른 최고점

보상 샘플 수에 따른 최고 성공률의 태스크 평균(Fig. 5). (a) Expert-Easy, (b) Expert-Hard. 붉은 점선이 Human, 분홍 점선이 Sparse.

그림에서 읽으면 512개 샘플 시점의 평균 최고점은 Expert-Easy에서 RF-Agent 약 0.88, Eureka·Revolve 약 0.59이고, Expert-Hard에서 RF-Agent 약 0.93, Revolve 약 0.71, Eureka 약 0.65다. RF-Agent는 Easy에서 약 270개 샘플에 사람 보상 평균(약 0.82)을 넘는다. 흥미로운 점이 둘 있다.

Expert-Hard의 첫 점(16개)에서는 RF-Agent가 가장 낮다(약 0.07 vs Eureka 약 0.19). 초기화 품질이 아니라 이후 탐색이 격차를 만든다는 뜻으로, 논문의 주장과 맞는 방향이다.
곡선이 계단형으로 오래 평평하다. Hard에서 RF-Agent는 약 220~290개 구간 내내 0.76에 머물다 약 340개에서 0.92로 뛴다. 샘플이 수십 개 단위로 들어가야 한 번 오른다는 뜻이고, 예산이 80개인 IsaacGym 설정에서는 이런 도약이 몇 번 일어나기 어렵다.

태스크별 최고 성공률 곡선(Fig. 10, 부록 F.2).

태스크별로 보면(Fig. 10) RF-Agent의 도약이 특정 시점에 몰려 있다. BottleCap은 약 200개에서 0.44 → 0.97, SwingCup은 약 290~340개에서 0.51 → 1.0, DoorCloseOutward는 약 330개에서 0.72 → 1.0으로 뛴다. Over에서는 Eureka가 약 280개 이후 RF-Agent보다 높고(약 0.97 vs 0.93), LiftUnderarm·CatchAbreast에서는 Revolve가 한동안 RF-Agent보다 앞선다. 모두 탐색 1회의 궤적이므로, 도약 시점이 운에 얼마나 좌우되는지는 알 수 없다.

어블레이션 (§5.5, 부록 F.5·F.6)

어블레이션(Fig. 6). 완전한 RF-Agent 대비 성능 변화율. (a) 선택 방식을 DFS·BFS·Greedy로 교체, (b) 연산을 “부모만 보고 새 보상을 쓰는” 기본 연산으로 교체, (c) 자기평가·생각 정렬 제거. Ant·FrankaCabinet·AllegroHand, GPT-4o-mini.

Fig. 6 막대 판독값(필자 판독, 원본 확대).
설정	Ant	FrankaCabinet	AllegroHand
DFS	약 −0.53	약 −0.26	약 −0.37
BFS	약 −0.12	약 −0.69	약 −0.62
Greedy	약 −0.06	약 −0.70	약 −0.06
w/o Mutation	약 −0.10	약 −0.27	약 −0.10
w/o Crossover	약 −0.01	약 −0.25	약 −0.29
w/o Reasoning	약 −0.05	약 −0.62	약 −0.19
w/o Differ	약 −0.16	약 −0.25	약 −0.07
w/o all actions	약 −0.18	약 −0.92	약 −0.24
w/o self-verify	약 −0.03	약 −0.40	약 −0.28
w/o thought align	약 −0.20	약 −0.54	약 −0.36

저자들의 해석은 “각 방법이 적어도 한 태스크에서 크게 떨어진다 → 균형이 중요하다”, “각 연산이 제 몫을 한다”, “추론 장치가 환각을 줄인다”다. 부록 표 두 개가 이를 보강한다.

연산 조합 어블레이션(부록 Table 7).
연산 조합	Ant	AllegroHand
변이만	5.13 (−18%)	18.76 (−16%)
변이 + 교차	5.77 (−7%)	21.90 (−3%)
변이 + 경로 추론	5.94 (−4%)	21.26 (−5%)
교차 + 경로 추론	4.85 (−22%)	19.21 (−15%)
변이 + 교차 + 경로 추론	6.08 (−2%)	22.19 (−2%)
전체(다섯 연산)	6.22	22.52

생각 정렬 어블레이션(부록 Table 8). “둘 다 없음”의 −20% / −35%가 Fig. 6(c)의 “w/o thought align”(약 −0.20 / −0.36)과 맞으므로, Fig. 6(c)의 막대는 사후 정렬만이 아니라 **설계 의도 단계까지 뺀** 설정으로 보인다.
설정	Ant	AllegroHand
전체(첫 설계 의도 + 사후 정렬)	6.22	22.52
첫 설계 의도 없음	5.08 (−18%)	18.07 (−19%)
사후 생각 정렬 없음	5.94 (−4%)	18.55 (−17%)
둘 다 없음	4.96 (−20%)	14.64 (−35%)

부록 Table 7의 결론, 즉 “지역 연산(변이)만 쓰거나 전역 연산(교차 + 추론)만 쓰면 크게 떨어지고, 둘을 섞어야 한다”는 표와 잘 맞는다. 하지만 이 표와 Fig. 6(b)를 나란히 놓으면 설명되지 않는 곳이 생긴다.

Fig. 6(b)의 “w/o Differ”(다른 생각만 기본 연산으로 교체)는 Ant 약 −16%인데, Table 7의 “변이 + 교차 + 경로 추론”(다른 생각이 없는 조합)은 Ant −2%다. 명목상 같은 것을 뺐는데 효과가 8배 다르다.
AllegroHand에서는 Fig. 6(b)의 “w/o Crossover”가 약 −29%, “w/o Reasoning”이 약 −19%인데, Table 7에서 교차를 빼고 다른 생각까지 뺀 “변이 + 경로 추론”은 −5%, 추론과 다른 생각을 뺀 “변이 + 교차”는 −3%다. 더 많이 뺐는데 덜 떨어진다.

두 실험의 절차가 다를 수 있다(Fig. 6은 빠진 연산 자리를 기본 연산으로 채우고, Table 7은 채우는 방식이 적혀 있지 않다). 하지만 가장 단순한 설명은 탐색 한 번의 결과가 크게 흔들린다는 것이다. 설정마다 탐색을 1회 돌렸다면 10~20%p의 차이는 설정 효과인지 LLM 샘플링의 운인지 가를 수 없다. 논문은 어블레이션의 반복 횟수를 밝히지 않는다.

FrankaCabinet 막대도 같은 맥락에서 읽어야 한다. 기준값이 0.35±0.15(Table 1, 4o-mini)인 태스크라 −0.70은 0.35 → 약 0.10의 변화다. Greedy는 Ant·Allegro에서 −6% 안팎이고 Franka 한 곳에서만 크게 떨어진다. “각 방법이 적어도 한 태스크에서 크게 떨어진다”는 서술은 사실이지만, Greedy에 대해서는 그 “한 태스크”가 가장 분산이 큰 태스크다.

최고 노드까지의 성장 경로(Fig. 11, 부록 F.3). x축은 해당 노드가 시뮬레이션된 순번. (a) CatchAbreast는 초기 노드에서 8번의 확장을 거치고, 중간에 0.556 → 0.458로 세 번 연속 떨어진 뒤 다른 생각(d5)으로 0.67에 도달한다. (b) DoorCloseOutward는 경로 추론(4r) 직후 약 1.0에 도달한다. 그림의 라벨 “e3”·“5d”·“4r”은 공개 코드의 연산 식별자(3e·4r·5d)를 그대로 쓴 것으로 보인다.

결론과 저자가 밝힌 한계 (§6)

저자들이 적은 한계는 하나다. Eureka·Revolve와 마찬가지로 LLM 호출과 RL 학습을 반복해야 해서 비싸다. RF-Agent는 작은 LLM으로 더 좋은 결과를 내지만 RL 학습 횟수를 줄이지는 못하며, RL 학습 사이클을 줄이는 것을 후속 과제로 든다.

부록 E의 비용 비교는 이 한계를 LLM 쪽에서 정량화한다.

LLM 비용(부록 Table 4·5). 비용은 입력 $0.6 / 출력 $2.4 (1M 토큰당) 단가로 계산돼 있고 검산하면 일치한다. 이 단가가 어느 모델의 것인지는 논문에 적혀 있지 않다.
태스크	방법	Prefill 토큰	Decode 토큰	비용($)
Ant	Eureka	82,458	54,505	0.180
	Revolve	162,348	43,973	0.203
	RF-Agent 전체	257,564	69,704	0.322
	└ 확장 연산	203,282	53,462	-
	└ 그 외(자기평가·생각 정렬)	54,282	16,242	-
Humanoid	Eureka	78,940	60,021	0.191
	Revolve	169,545	44,118	0.208
	RF-Agent 전체	254,555	66,557	0.312

본문은 RF-Agent의 prefill 토큰이 베이스라인의 “2-3 times” 라고 쓴다. 계산하면 Eureka 대비 3.1~3.2배, Revolve 대비 1.5~1.6배다. 절대 비용은 태스크당 수십 센트로, 같은 부록의 GPU 시간(태스크당 9~40시간 × 3090 4장)에 비하면 무시할 수준이다. 부록 E도 세 방법이 같은 수의 보상으로 학습하므로 학습 비용은 거의 같다고 적는다. 즉 RF-Agent는 추가 비용을 거의 전부 LLM 쪽에서 내고, 그 LLM 비용은 작다. 이 점은 이 방법의 실용적 장점이다.

공개 코드와의 대조

🔬 아래는 논문 주장이 아니라 공개 레포(deng-ai-lab/RF-Agent, 커밋 7e99ca9)의 소스를 읽고, 일부는 우리 실험 레포에서 실제로 실행해 확인한 것이다. “실행” 표시가 있는 행은 실험 레포(private)의 notes/ 로그로 확인했다. 탐색 루프 실행은 OpenAI 키 없이 LLM 응답을 스텁으로 대체한 조건이다. 스텁은 저자가 공개한 Ant 보상 함수를 응답으로 돌려준다. 줄 번호는 업스트림 7e99ca9 기준이다. 논문 주장과 코드 위치의 대응 전체는 코드 가이드 덱(실험 레포 docs/CODE-GUIDE.html, private)에 정리돼 있다.

논문 서술 vs 공개 코드(커밋 7e99ca9). “정독”은 파일에서 직접 읽은 값, “실행”은 실험 레포에서 돌려 확인한 값.
항목	논문	공개 코드 (`RF_Agent/rf_agent_algo/rfagent_algo.py`, `cfg/config_rf_agent.yaml`)	확인
초기 노드 수 N_I	적혀 있지 않음	`initial_size = 6` (`:135`)	정독
확장당 자식 / 연산 배분	8, [2,2,2,1,1]	동일(`action_weight_num = [0,2,2,2,1,1]`). 80 예산 스텁 실행에서 연산별 노드 수가 `0i` 6·`1m` 20·`2m` 20·`3e` 20·`4r` 10·`5d` 10이었다	실행
\lambda 스케줄	0.4에서 선형 감소, 알고리즘 1은 \lambda_0\frac{N-t}{N}(0으로 감소)	0.4 → 0.1로 선형 감소(`:116-117`, `:778`)	정독
Q 역전파	(1-\eta)Q+\eta\max_{child}Q, \eta=0.7	같은 항에 자손 평균 항이 더해짐: (1-0.7-0.15d)Q+0.7\max Q_{child}+0.15d\,\bar Q, d는 진행률에 따라 1 → 0 (`:43-44`, `:64-68`)	정독
v_{self} 스케일링	softmax \sigma	형제 노드들 사이의 softmax. 점수 파싱 실패 시 0	정독
엘리트 집합·k	점수 기준 동적 저장, 순위 역수 가중 샘플링. a_{c3}·a_{r4}·a_{d5} 공통 k\in[2,4] 무작위(부록 C)	상위 10개 유지, 가중치 1/(\text{rank}+2). 실패 노드(점수 0)도 들어갈 수 있다. 교차의 엘리트 추출은 `random.choices`(`:204`)라 복원 추출이고, 80 예산 스텁 실행에서 한 교차 프롬프트에 같은 엘리트가 두 번 실린 경우가 관측됐다. 교차·다른 생각은 `randint(2,4)−1`개 + 부모로 k\in[2,4]와 맞지만, 경로 추론은 조상 최대 4개 고정(`tree_reasoning_max_length = 4`, `:131`, `:216-217`)이다	정독 + 실행
트리 최대 깊이 / LLM 온도	적혀 있지 않음	`tree_max_depth: 16` / `temperature: 1.0`	정독
탐색 중 RL 학습 길이	“정해진 스텝 수”로만 서술	README: 최종 평가의 절반 정도. 예: Ant 500 / 500, Humanoid 500 / 1000, AllegroHand 2500 / 5000, ShadowHand 3000 / 6000, FrankaCabinet 750 / 1500, Bi-DexHands 전 태스크 3000 / 6000 (탐색 / 평가 iteration)	정독
예산	총 80개 / 512개. §5.3은 세 방법의 “same total sampling number” 로 공정성을 주장한다	한 번에 8개씩 확장하고 `while sim_times < simulations`로만 멈추므로 80 예산에서 실제로 86개(6 + 8×10)를 학습한다. 깊이별 노드 수는 6 / 24 / 48 / 8이었다. 같은 계산으로 512 예산은 518개다(계산상, 미실행). 알고리즘 1의 `for t ≤ N … t ← t + Σn_a`와는 일치하지만(루프가 확장 단위로 예산을 넘을 수 있다), §5.3의 “동일 샘플 수” 문장과는 어긋난다. Eureka·Revolve 설정은 5반복 × 16 = 80으로 정확히 맞는다	실행(80)
최종 평가 시드	“we tested on 5 seeds different from those during the search” (부록 C)	탐색 `train_seed=0`, 평가 시드 `0..4`로 시드 0이 겹친다. 스텁 실행에서 평가 시드 0의 점수가 탐색 중 같은 노드의 점수와 비트 단위로 같았다(0.35704803)	실행
병렬 노드의 보상 기록	서술 없음	8개 자식이 같은 파일(`isaacgymenvs/tasks/<env>gpt.py`)에 보상을 쓰고 학습을 띄운다. 다음 자식이 기다리는 게이트 `stable_event`를 스레드가 학습 시작뿐 아니라 종료할 때도 set(`:658`, `:672`)하고, 에러 재시도에는 게이트가 없다	실행
자기 검증 v_{self}의 입력	노드의 설계 의도와 보상을 보고 전문가 정책이 나올 가능성을 평가(§4.2, 부록 B.4)	자기 검증 프롬프트는 `node.design_thought`·`node.reward_func`로 포맷되는데(`:345`, 호출 `:592`), 성공 경로에서 이 두 필드가 노드에 기록되는 것은 그 뒤(`:655-656`)다. 첫 시도에 성공한 노드는 `Design Idea: None`, `Code: None` 을 채점하게 된다. 에러 후 재시도로 성공한 노드는 직전에 실패한 코드(`:666`)를 본다	정독 + 실행

리뷰 해석에 영향을 주는 것은 다섯 가지다.

역전파 규칙이 논문 식과 다르다. 코드의 Q는 최댓값 추종에 자손 평균을 섞고, 그 비중을 탐색 진행에 따라 줄인다. 초반에는 “가지 전체가 괜찮은가”를, 후반에는 “가지의 최고가 얼마인가”를 더 본다는 뜻이다.
탐색 중 학습은 평가 학습의 절반 길이다. Fig. 5·10의 “샘플 수에 따른 최고점”은 이 짧은 학습의 점수이고, Fig. 3·Table 1은 긴 학습 + 시드 5개의 점수다. 두 그림의 수치가 직접 맞지 않는 것은 이 때문이다.
“탐색과 다른 시드로 평가”는 코드상 5개 중 1개에서 성립하지 않는다. 평가의 독립성이 5분의 1만큼 약해진다. 탐색에서 고른 최고 노드는 시드 0에서 운 좋게 높았던 노드일 수 있으므로, 이 겹침은 평가를 위로 끌어올리는 방향으로 작용할 수 있다. 크기는 알 수 없다.
자기 검증이 노드의 보상을 보지 못한다. 이것이 코드 대조에서 가장 큰 발견이다. simulation_parallel의 성공 경로는 ① 생각 정렬 → ② 자기 검증 프롬프트 생성(:592, 포맷은 :345) → ③ node.design_thought·node.reward_func 기록(:655-656) 순서로 진행한다. 노드는 두 필드가 None인 채로 만들어지므로, 첫 시도에 성공한 노드의 자기 검증 프롬프트에는 Design Idea: None과 Code: None이 들어간다. 스텁 실행에서 자기 검증 호출 14회 중 11회의 프롬프트가 정확히 3,584자로 같았고, Ant 프롬프트 템플릿에 None 두 개를 넣어 다시 계산하면 정확히 3,584자가 나온다(필자가 레포의 프롬프트 파일로 재계산). 나머지 3회(에러 후 재시도로 성공한 노드)는 :666이 기록해 둔 직전에 실패한 코드를 채점했다.
- 이것은 LLM 응답과 무관한 코드 실행 순서의 문제다. 그러니 저자가 논문 실험에 쓴 코드가 배포본과 같다면, 실제 GPT 탐색에서도 v_{self}는 대부분 보상 내용과 무관한 값, 즉 “과제 설명만 보고 매긴 점수”였을 것이다. 그 경우 UCT의 자기평가 항은 노드마다 LLM 샘플링 잡음을 더하는 항에 가깝다.
- Fig. 6(c)의 “w/o self-verify” 어블레이션(Ant 약 −3%, FrankaCabinet 약 −40%, AllegroHand 약 −28%)과의 관계는 조건부로만 말할 수 있다. 어블레이션을 배포본과 같은 코드로 돌렸다면, 그 차이는 “보상을 보고 매긴 자기평가”의 효과가 아니라 잡음 항 유무의 효과이거나 탐색 1회의 분산일 수 있다. 저자의 실험 코드가 달랐다면 이 해석은 성립하지 않는다. 논문과 레포만으로는 어느 쪽인지 가릴 수 없다.
병렬 노드가 서로의 보상으로 학습될 수 있다. 스텁 조건에서 학습된 14개 중 4개가 노드에 기록된 코드가 아닌 다른 노드의 보상을 학습했다. 학습 로그의 보상 항 이름을 노드 코드의 항 이름과 대조해 확인했다. 예를 들어 root-0i4는 Eureka-4o 보상으로 기록됐지만 실제로는 형제 root-0i5의 보상을 학습해 0.357을 받았다. 그 보상을 단독으로 학습하면 0.317이다. 이 값이 그대로 트리의 Q에 들어갔다. 원인은 8개 자식이 보상을 한 파일(tasks/<env>gpt.py)에 쓰는데, “앞 자식의 학습이 시작될 때까지 다음 자식을 막는” 게이트 stable_event가 여러 경로로 엉뚱하게 풀리기 때문이다. 스텁 로그에서 확인한 경로는 셋이다.
- 라운드 중간, 다른 자식의 종료 신호. 스레드는 학습을 마칠 때도 이벤트를 set한다(:658, :672). 13:26:17.244에 0i0이 학습을 마치며 보낸 set이 기다리던 메인 루프를 깨워 0i2가 확장·기록됐다(17.265). 그 뒤 0i1 재시도의 학습 시작 신호(19.432)에 0i3이 확장되면서, 0i2가 모듈을 import하기 전에 파일을 덮어썼다. 결과적으로 0i2는 0i3의 보상을 학습했다.
- 라운드 경계에 남은 신호. 라운드가 끝날 때 set된 이벤트가 그대로 남아, 다음 라운드의 1m0·1m1이 같은 밀리초(13:36:04.321)에 확장·기록됐다.
- 재시도 쓰기에는 게이트가 없다. 에러 후 재시도는 파일 쓰기(:491)를 게이트 없이 다시 한다. 위의 동시 기록은 반쯤 쓰인 모듈의 import 실패로 이어졌는데, 이것이 bare except에 가려 KeyError: 'AntGPT'로만 보였다. 그 뒤 게이트 없는 재시도가 다시 겹쳐 1m1이 1m0의 보상을 학습했다.
- 같은 초에 시작한 두 학습이 같은 TensorBoard 디렉터리를 공유한 것도 관측됐다. rl_games 로그 이름이 초 단위라서다.
- 이 결함이 논문 수치에 영향을 줬는지는 모른다. 스텁은 LLM이 즉시 응답해 노드들의 파일 쓰기가 몰리는 최악 조건이다. 실제 GPT 호출은 수 초씩 걸려 충돌 빈도가 훨씬 낮을 수 있다. 다만 게이트가 “학습 시작”이 아닌 사건에도 풀리는 것 자체는 LLM 지연과 무관한 구조다. 저자의 탐색 로그가 공개되지 않아 실제 탐색에서 몇 번 일어났는지는 판정할 수 없다.

그 밖에 실행에서 드러난 사소한 결함이 셋 있다. ① 내장 test_mode는 2-튜플을 반환하고 게이트를 set하지 않아 run()이 첫 노드에서 멈춘다(쓸 수 없다). ② isaacgymenvs/utils/rlgames_utils.py가 레포에 없는 eureka 패키지를 import해서, 그대로 설치하면 모든 학습이 import 단계에서 죽는다(호출부는 주석 처리돼 있어 import만 막으면 된다). ③ 태스크 모듈 import 실패가 bare except에 가려 원인이 KeyError로만 보인다.

비판적으로 보면

강점

문제의 재구성이 생산적이다. Eureka를 “탐욕”, Revolve를 “진화”로 부르고 같은 축에 트리 탐색을 놓는 순간, “이력을 얼마나, 어떤 구조로 기억할 것인가”가 설계 변수로 드러난다. Fig. 1(b)의 세 그림은 이 계열의 논문을 읽는 좋은 지도다.
예산을 맞춘 비교다. 세 방법 모두 보상 샘플 수를 같게 두고, LLM도 같은 모델로 다시 돌렸다. Revolve는 사람 피드백을 환경 피드백으로 바꿔 자동화했고, 피드백 형식을 세 방법 모두 Eureka 방식으로 통일했다(부록 B.2·D). LLM 비용까지 부록에 표로 적었다.
사람 보상이 약한 곳에서의 결과가 강하다. Expert-Hard의 SwingCup·Kettle·DoorCloseOutward에서 사람 보상 0.05~0.36 대비 RF-Agent 0.94~0.99는 막대로도 곡선(Fig. 9)으로도 확인된다. 이 셋은 “최고점 지표”의 부풀림을 감안해도 우위가 남는 결과다.
프롬프트와 생성된 보상을 공개했다. 부록 B에 모든 연산·자기평가·생각 정렬 프롬프트 전문이 있고, 레포에는 방법별 최고 보상 함수 파일이 있다. 그 공개 보상으로 Ant를 다시 학습하면 논문의 순위(Human > RF-Agent > Revolve > Eureka)가 그대로 나온다(재현 노트). 공개 자산이 논문 결과의 평가 단계를 제3자가 다시 돌려 볼 수 있을 만큼 갖춰져 있다는 뜻이다.
자기 불리한 사례도 실었다. Fig. 11의 CatchAbreast 경로는 점수가 세 번 연속 떨어지는 구간을 그대로 보여 준다. 이것이 오히려 “약한 노드를 버리지 않는 것”의 가치를 보이는 증거가 된다.

약점·한계

IsaacGym 평균의 절반 이상이 한 칸에서 나온다. FrankaCabinet은 Human − Sparse = 0.07이라 정규화 점수가 10배 가까이 부풀고, RF-Agent(4o) 평균 2.68의 57%(반올림 범위 감안 53~61%)가 이 칸이다. 이 태스크를 빼면 격차는 1.34 vs 1.19 / 1.11로 줄어든다. 게다가 이 칸은 어블레이션에서 가장 크게 흔들리는 칸이기도 하다. 정규화 평균 하나로 결론을 요약하기보다 태스크별 순위나 중앙값을 함께 제시했어야 한다.
표 내부 불일치. Revolve(4o-mini)의 Avg norm 0.67은 같은 행의 값으로 계산한 1.06과 맞지 않는다(다른 다섯 행은 일치, 셀 값은 LaTeX·HTML·PDF에서 동일). 또 Anymal·Quadcopter의 동률 칸까지 RF-Agent만 굵게 표시됐다.
탐색 자체의 분산이 보고되지 않았다. 표준편차는 최종 보상 하나를 시드 5개로 다시 학습한 분산이다. LLM 샘플링과 탐색 경로의 무작위성, 즉 “탐색을 다시 돌리면 같은 품질의 보상이 나오는가”는 재지 않았다. 원 Eureka가 독립 실행 5회를 돌린 것과 대조된다. Fig. 10의 도약(SwingCup 약 300개, DoorCloseOutward 약 330개)이 탐색 1회의 궤적이라는 점, 어블레이션 두 실험의 결과가 서로 모순되는 방향으로 흔들린다는 점(더 많이 빼면 덜 떨어짐)이 이 분산이 작지 않음을 시사한다. 평가 단계의 분산도 작지 않다. 우리 Ant 재현에서 Revolve 보상의 시드별 점수는 1.90~7.31로 퍼졌고, 같은 시드 0도 실행 조건(스레드 수·동시 실행)에 따라 4.91과 5.67로 달랐다(재현 노트).
보고 지표가 “학습 중 최고점”이다. Fig. 3의 베이스라인 막대(SwingCup 약 0.5, Kettle 약 0.6)는 Fig. 9 학습 곡선의 후반 수준(거의 0, 0.2 미만)과 크게 다르다. 이 지표는 RF-Agent의 실제 우위를 오히려 과소평가하는 경우가 있지만, 동시에 모든 막대가 배포 성능보다 높게 나온다. 논문은 두 그림의 차이를 설명하지 않는다.
“에이전트”와 “MCTS”라는 이름이 실제 구조보다 크다. 연산 종류는 에이전트가 고르지 않고 고정 배분으로 매번 전부 쓴다. 탐색이 결정하는 것은 “어느 잎을 확장할지”뿐이고, IsaacGym 예산(80개)에서 그 결정은 10번이다(스텁 실행에서 초기화 1회 + 확장 10회). 방문 수 통계가 쌓이기 어려운 규모이므로, UCT의 이론적 성질(탐색·활용 균형의 보장)을 이 설정에 그대로 옮겨 읽으면 안 된다. 선택 방식 어블레이션에서 Greedy가 Ant·Allegro에서 약 −6%에 그치는 것도 이 해석과 맞는다.
“전역 이력 활용”의 기여와 “맥락 길이 증가”의 기여가 분리되지 않았다. 교차·경로 추론·다른 생각은 모두 프롬프트에 노드를 더 많이 넣는다. prefill 토큰이 Eureka의 3배다. 같은 양의 맥락을 무작위로 고른 노드로 채우는 대조군이 있었다면 “어떤 노드를 넣느냐”(트리 구조의 가치)와 “많이 넣느냐”를 가를 수 있었다.
자기평가의 근거가 약하다. v_{self}는 LLM이 상상한 전문가 동작과의 유사도다. 초기 점수가 0에 가까운 복잡한 태스크에서 도움이 된다는 동기는 설득력이 있지만, v_{self}와 실제 F의 상관을 보고하지 않는다. 어블레이션(−3% / −40% / −28%)은 효과가 있다는 것만 보이고 왜 도움이 되는지는 보이지 않는다. 게다가 공개 코드에서는 자기 검증이 노드의 코드가 기록되기 전에 호출돼, 첫 시도에 성공한 노드는 None을 채점한다(위 코드 대조 절). 저자 실험 코드가 배포본과 같다면 이 항은 설계 의도대로 작동하지 않았고, 어블레이션의 차이도 그 전제에서 다시 읽어야 한다.
논문과 코드가 여러 곳에서 다르고, 코드에는 탐색 결과를 오염시킬 수 있는 병렬 결함이 있다. 역전파 식에 자손 평균 항이 더해져 있고, \lambda의 하한이 0이 아니라 0.1이며, 실제 학습 수는 예산보다 많고(80 → 86), 평가 시드 하나가 탐색 시드와 겹친다. 초기 노드 수·탐색 중 학습 길이·LLM 온도처럼 재현에 필요한 값은 코드에만 있다. 가장 무거운 것은 두 가지다. 자기 검증이 보상을 보지 못하고(스텁 14회 중 11회가 None 채점), 병렬 노드가 한 파일을 공유해 다른 노드의 보상으로 학습된 점수가 트리에 기록될 수 있다는 점이다. 스텁 조건에서 14개 중 4개였다. 앞의 것은 실행 순서 문제라 LLM과 무관하게 재현될 것이고, 뒤의 것은 실제 GPT 지연에서의 빈도를 알 수 없다. 둘 다 논문 수치에 대한 영향은 판정할 수 없다(위 코드 대조 절). 예산도 알고리즘 1과는 맞지만 §5.3의 “동일 샘플 수” 문장과는 어긋난다(80 → 86).
라이선스가 정해져 있지 않다. 레포 루트에 LICENSE가 없어 RF-Agent 코드의 재사용 조건이 명시돼 있지 않다. 레포 안내문은 여전히 실행판을 Google Drive zip으로 안내해 독자를 헷갈리게 하지만, 현재 GitHub 판만으로도 Ant 학습은 끝까지 돈다.

🔧 재현 노트

🔬 이 절은 논문 주장이 아니라 우리가 직접 돌려 본 결과다. 근거 로그는 실험 레포(private) 브랜치 demo/repro-2026-09-29의 EXPERIMENTS.md §3·§5와 notes/15_*에 있다.

무엇을 못 했는가부터. OpenAI API 키가 없어 RF-Agent의 탐색 자체, 즉 GPT-4o-mini로 보상 80개를 생성하고 고르는 과정은 재현하지 않았다. 따라서 “RF-Agent가 Eureka·Revolve보다 더 좋은 보상을 찾아낸다”는 논문의 핵심 주장은 이 절이 확인하지 않는다. 확인한 것은 한 단계 뒤다. 저자가 레포에 공개한 최종 보상 함수(Ant, GPT-4o-mini로 생성)를 논문 프로토콜대로 다시 학습하면 논문이 말한 점수가 나오는가. 탐색 루프는 LLM을 스텁으로 바꿔 실행 경로만 확인했고, 그 결과는 위 코드 대조 절에 반영했다. Bi-DexHands와 다른 IsaacGym 태스크는 돌리지 않았다.

Ant 평가 재현. RF_Agent/test.py로 방법별 공개 보상을 시드 0~4, 500 iteration(4096 env)으로 학습했다. 점수는 시드별 학습 중 최대 평가 점수이고, 표준편차는 코드와 같은 모집단 표준편차(ddof=0)다. 사람 보상은 원래 Ant 태스크 보상으로 같은 시드 5개를 돌렸다. Sparse는 돌리지 않았다.

우리 실측(RTX 5090 머신, CPU torch 파이프라인). 논문 보고값이 아니다.
보상 (Ant, GPT-4o-mini 생성)	시드 0~4	평균 ± 표준편차
RF-Agent	5.67, 6.62, 4.68, 6.17, 5.20	5.67 ± 0.69
Revolve	7.31, 4.45, 4.61, 1.90, 5.33	4.72 ± 1.74
Eureka	5.03, 3.20, 0.59, 1.41, 4.29	2.90 ± 1.68
Human	6.76, 6.66, 6.60, 7.37, 7.33	6.94 ± 0.34

논문 Table 1의 같은 칸(RF-Agent 6.22, Revolve 5.16, Eureka 4.87, Human 6.75)과 비교하면 순위는 같다. RF-Agent·Revolve·Human은 논문 평균에서 논문 표준편차 하나 안에 있고, Eureka만 약 2 낮다. 이 결과가 말하는 것과 말하지 않는 것을 갈라 둔다.

말하는 것. 공개된 RF-Agent Ant 보상은 실제로 공개된 Eureka·Revolve 보상보다 잘 학습되고, 논문이 보고한 수준에 가깝다. 논문 Table 1의 Ant 칸은 평가 단계에서 재현 가능하다.
말하지 않는 것. 이 보상들이 각 방법의 전형적인 탐색 결과인지, 즉 탐색을 다시 돌려도 이 정도 보상이 나오는지는 알 수 없다. 또 RF-Agent와 Revolve의 차이 0.95는 Revolve의 시드 간 편차 1.74 안에 있어서, 이 한 태스크 5시드로는 둘의 우열을 통계적으로 확정할 수 없다.
같은 시드도 조건에 따라 다르다. RF-Agent 보상의 시드 0은 스레드 제한 없이 단독으로 돌렸을 때 4.91, 스레드 4개로 5개 시드를 동시에 돌렸을 때 5.67이었다. 한 조건 안에서는 비트 단위로 같은 값이 나온다. 즉 이 학습은 결정적이지만 실행 환경에 민감하다. 논문의 ±0.9~1.4 같은 표준편차가 이런 환경 차이를 얼마나 포함하는지는 알 수 없다.

재현성 메모. 원 저자 환경은 RTX 3090이다. 우리 머신은 RTX 5090(sm_120)이다. IsaacGym Preview 4에 맞는 Python 3.8용 마지막 torch(2.4.1)의 CUDA 빌드에는 sm_120 커널이 없어 torch는 GPU를 쓸 수 없었다. 반면 IsaacGym의 PhysX GPU 라이브러리에는 sm_86 PTX가 들어 있어 드라이버 JIT로 5090에서 동작했다. 그래서 pipeline=cpu sim_device=cuda:0 rl_device=cpu(PhysX는 GPU, 텐서 파이프라인과 PPO는 CPU torch)로 돌렸고, Ant 500 iteration은 방법당 약 15분(5시드 동시 실행)이 걸렸다. IsaacGym Preview 4 tarball은 NVIDIA 사이트에서 로그인 없이 받아졌다.

세 방법의 비교. Revolve 열은 이 논문의 서술(§1·§5.2·부록 D)에 근거하며, 블로그에 Revolve 리뷰는 없다.
축	Eureka	Revolve	RF-Agent
탐색 틀	탐욕: 반복마다 16개 생성, 최고 1개를 다음 반복의 출발점으로	진화: 개체군을 유지하며 개체들의 정보를 합쳐 새 보상 생성	MCTS: 모든 보상을 트리에 저장, UCT로 확장할 잎 선택
기억하는 이력	직전 최고 보상 + 그 반성	현재 개체군	트리 전체(모든 노드의 z, R, F, 피드백)
새 보상 생성 연산	최고 보상의 반성 기반 수정 1종	진화 연산(이 논문은 구체 연산을 열거하지 않는다)	변이(구조·파라미터), 교차(엘리트), 경로 추론(조상), 다른 생각(다른 가지)
선택 기준	학습 점수 최고	적합도(원 논문은 사람 피드백, 이 논문의 재구현은 환경 점수)	정규화 Q + 방문 보너스 + LLM 자기평가
추가 추론 장치	없음	없음	설계 의도 선생성 + 사후 생각 정렬
저장 비용(부록 E)	거의 없음	개체군	트리 전체(MB 수준 문자열)

요약

RF-Agent는 LLM 보상 설계 루프를 트리 탐색으로 다시 짰다. 생성된 모든 보상을 트리에 남기고, UCT로 확장할 곳을 고르고, 부모만 보는 변이와 트리 여러 곳을 보는 교차·경로 추론·다른 생각을 섞어 새 보상을 만든다. 같은 보상 샘플 예산에서 Eureka·Revolve를 IsaacGym 7태스크와 Bi-DexHands 10태스크 전반에서 앞서고, 특히 사람 보상이 잘 안 되는 양손 조작(SwingCup·Kettle·DoorCloseOutward)에서 차이가 크다. 추가 비용은 LLM 쪽에서만 들고 태스크당 수십 센트 수준이다.

한계도 분명하다. IsaacGym 정규화 평균의 절반 이상이 분모 0.07인 한 태스크에서 나오고, 표 안에 계산이 맞지 않는 칸이 있다. 보고 지표는 학습 중 최고점이라 막대와 학습 곡선이 다르게 보이며, 탐색 자체를 한 번씩만 돌려 탐색의 분산이 보고되지 않았다. 어블레이션 두 개는 서로 모순되는 방향으로 흔들린다. 공개 코드는 논문의 역전파 식과 다르고, 평가 시드 하나가 탐색 시드와 겹치며, 자기 검증이 노드의 보상을 보지 못하며(첫 시도 성공 노드는 None을 채점), 병렬 노드가 한 파일을 공유해 다른 노드의 보상으로 학습될 수 있다. 재현에 필요한 초기 노드 수·탐색 중 학습 길이는 코드에서만 확인된다.

재현 상태(2026-09-29 기준). 공개된 최종 보상으로 Ant를 5시드 재학습하면 논문의 순위가 그대로 나온다(RF-Agent 5.67 / Revolve 4.72 / Eureka 2.90 / Human 6.94, 우리 실측). 탐색 자체는 API 키가 없어 재현하지 않았으므로, “탐색이 더 좋은 보상을 찾는다”는 핵심 주장은 확인 대상이 아니었다. 자기 검증과 병렬 결함은 스텁 LLM 조건에서 관측했다(재현 노트).

“이력을 버리지 말고 구조화해 기억하라”는 방향은 설득력 있고 결과도 그 방향을 가리킨다. 다만 그 이득이 MCTS라는 틀에서 오는지, 프롬프트에 더 많은 이력을 넣는 데서 오는지는 이 논문만으로는 아직 갈리지 않는다.