📃REFINE-DP 리뷰

humanoid

loco-manipulation

locomotion

manipulation

whole-body-control

diffusion

fine-tuning

planning

sim2real

teleop

IsaacLab

REFINE-DP: Diffusion Policy Fine-tuning for Humanoid Loco-manipulation via Reinforcement Learning

Published

August 25, 2026

Paper Link (arXiv:2603.13707) — 이 리뷰는 RA-L 채택본인 v3(2026-07-30, “Accepted July, 2026”) 를 기준으로 읽었다. 프로젝트 페이지가 링크하는 HTML v2는 그림 번호·일부 수치·부록이 v3와 다르다(아래 버전 차이 참조).
Project Page — 실기 영상 중심.
Code Link — 프로젝트 페이지의 “Code” 버튼은 링크가 아니라 비활성 <span>이다. 실제 구현은 GTLIDAR/REFINE-DP에 공개돼 있으나 논문·페이지 어디에서도 가리키지 않고, LICENSE 파일이 없으며(GitHub API로 확인) 마지막 push가 2026-03-30이다. 즉 “형식상 공개, 사실상 미연결” 상태다.
Zhaoyuan Gu*, Yipu Chen*, Zimeng Chai*, Alfred Cueva, Thong Nguyen†, Yifan Wu†, Huishu Xue†, Minji Kim, Isaac Legene, Fukang Liu, KyoungMok Kim, Ayan Barula, Yongxin Chen, Ye Zhao (Georgia Tech, Institute for Robotics and Intelligent Machines)
IEEE Robotics and Automation Letters (RA-L), 2026 채택

💡 휴머노이드 로코마니퓰레이션에서 오프라인으로 학습된 diffusion policy 플래너와 RL 하위 컨트롤러가 서로를 모른 채 붙어 있어 생기는 명령 추종 실패·분포 이동을, 데이터를 늘리는 대신 RL 파인튜닝으로 푼다.
⚙️ DP는 DPPO(denoising 스텝을 MDP에 삽입한 PPO)로 성공률을 올리고, 같은 롤아웃에서 하위 컨트롤러도 PPO로 함께 갱신해 플래너가 만드는 “움직이는 명령 분포”를 추종하게 만든다(Alg. 1의 블록 교대 갱신).
🎯 시뮬레이션 성공률 4개 태스크에서 95~99%(사전학습 DiT 56~73%), 시연 50개 + 파인튜닝이 시연 1,000개 사전학습을 상회(95% vs 91%), 실기 Booster T1에서 태스크별 70% / 50% / 75% (각 N=20).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드가 문을 열고 통과하거나 상자를 들고 계단을 오르려면, “무엇을 할지”(플래너)와 “어떻게 전신을 움직일지”(컨트롤러)가 모두 필요하다. 최근의 흔한 조합은 DP 플래너 + RL 전신 컨트롤러의 계층 구조인데, 여기엔 잘 드러나지 않는 균열이 있다. DP는 사람이 텔레오퍼레이션으로 만든 정지된 데이터셋에서 학습되고, 컨트롤러는 독립적으로 샘플링된 정적 명령으로 학습된다. 배포 시엔 DP가 연속 궤적 위를 움직이는 명령을 뱉고, 컨트롤러는 그런 명령을 본 적이 없다. 추종이 나빠지면 로봇 상태가 데이터 분포를 벗어나고, DP는 다시 더 이상한 명령을 낸다 — 장기 지평 태스크에서 이 되먹임이 실패를 만든다.

REFINE-DP의 처방은 두 층을 같은 롤아웃 위에서 함께 파인튜닝하는 것이다. 위층은 DPPO로 태스크 성공(희소 보상)을 좇고, 아래층은 원래의 추종 보상으로 지금 위층이 내는 명령을 추종하도록 갱신된다. 데이터를 늘려 분포를 넓히는 대신, 분포 자체를 서로에게 맞추는 접근이다.

전체 파이프라인(Fig. 1) — (a) 얼린 컨트롤러로 VR 텔레오퍼레이션·휴리스틱 플래너 시연 수집, (b) 그 데이터로 DP 모션 플래너 사전학습, (c) 타깃 환경에서 DP(PPO 파인튜닝)와 loco-manip 컨트롤러(PPO)를 같은 replay buffer 흐름 위에서 함께 갱신. 왼쪽 아래 곡선이 이 논문의 주장 그 자체다: 성공률↑ + 추종 오차↓.

핵심 방법론:

(1) 계층 인터페이스. DP \bar{\pi}_\theta는 전신 관절이 아니라 Cartesian 액션 청크 — 베이스 속도와 양손 SE(3) 포즈 궤적(+그리퍼) — 을 낸다. 컨트롤러 \pi_{\text{loco\_manip}}는 이를 관절 위치 목표 q_{\text{target}}=q_{\text{def}}+a_t로 바꾸며, 다리 a^{\rm lower}_t\in\mathbb{R}^{12}·팔 a^{\rm upper}_t\in\mathbb{R}^{14}로 상·하체가 분리돼 있다. 하체는 속도 추종이 아니라 발디딤(foot placement) 추종이라 정지·재출발이 잦은 매니퓰레이션에 유리하다.

(2) DP 사전학습. 표준 DDPM 목적:

\mathcal{L}_{\text{diff}}(\theta)=\mathbb{E}_{\mathbf{A}^0_t,\mathbf{S}_t,k,\epsilon}\big[\lVert\epsilon-\epsilon_\theta(\mathbf{A}^k_t,\mathbf{S}_t,k)\rVert^2\big]

(3) DPPO 파인튜닝. DP는 밀도 \bar\pi_\theta(\mathbf{A}^0_t\mid\mathbf{S}_t)가 다루기 어려운 암묵 정책이므로, denoising 과정을 MDP에 끼워 넣어 각 denoising 스텝을 결정 스텝으로 만든다. 통합 시간 인덱스 \bar t(t,k)=tK+(K-1-k) 아래

\bar s_{\bar t(t,k)}=(\mathbf{S}_t,\mathbf{A}^{k+1}_t),\quad \bar a_{\bar t(t,k)}=\mathbf{A}^k_t,\quad \bar P_0=P_0\otimes\mathcal{N}(0,I)

이고, 보상은 마지막 denoising 스텝에만 주어진다:

\bar R_{\bar t(t,k)}=\begin{cases}0, & k>0\\ R_t(\mathbf{S}_t,\mathbf{A}^0_t), & k=0\end{cases}

각 denoising 전이는 가우시안이라 likelihood가 계산 가능하고, GAE + PPO 스타일 정책 경사를 그대로 쓸 수 있다.

(4) 공동 최적화(Alg. 1). 증강 환경은 두 쌍의 상태·보상 (\bar s_t, s_t), (\bar R_t,\hat R_t)를 낸다. \bar R_t(희소 태스크 보상)는 DP를, \hat R_t(컨트롤러 사전학습 때 쓰던 추종·정규화 보상)는 컨트롤러를 갱신한다. 바깥 루프 L회, 안쪽에서 컨트롤러 M회 → DP N회로 블록 교대한다.

주요 결과:

성공률(Fig. 4, 4개 태스크). DiT-FT / Joint = Task1 97/97, Task2 98/97, Task3 95/96, Task4 98/99 (%). 사전학습 DiT는 68/64/73/56, Residual RL은 86/85/91/70.
공동 최적화의 배당금은 SR이 아니라 모션 품질. 100회 롤아웃 평균에서 방향 오차 최대 50% 감소, 엔드이펙터 속도 평균 15% 감소(Fig. 5). 반대로 DP만 파인튜닝하면 추종이 오히려 나빠진다 — Fig. 5에서 DiT-FT의 위치·방향 오차는 4개 태스크 모두 사전학습 DiT보다 크다.
학습 효율. 컨트롤러만 갱신해도 장기 지평 pick-and-place SR이 +18%p, 공동 최적화된 컨트롤러 위에서 DP 파인튜닝은 90% SR 도달에 40 → 20 iteration.
데이터 효율(Fig. 6). 문 태스크: 시연 50→1,000개 사전학습이 69%→91%인데, 50개 + 파인튜닝이 95%. 상자 태스크는 90% vs 97%.
실기(Booster T1 29-DOF, N=20). Task 1 70%, Task 2 50%, Task 3 75%. 실행 시간은 상자 집기 약 10%, 문 열기 약 20% 단축.

결론:

“DP 플래너와 RL 컨트롤러를 각자 학습해 붙이면 접합면에서 손해가 난다”는 진단은 정확하고, 처방(같은 롤아웃에서 둘 다 갱신)도 직관적이다. 다만 아래에서 보듯 비정상(non-stationary) 목표를 추종하는 학습의 안정성은 알고리즘적으로 다뤄졌다기보다 블록 교대·소수 이터레이션이라는 실무적 스케줄로 회피돼 있고, 공동 최적화의 이득을 지지하는 증거는 그림 한 장과 표 없는 문장 두 개다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

DPPO를 휴머노이드 계층 제어에 옮기면서, “환경”의 일부인 하위 컨트롤러까지 같이 학습시켜 플래너-컨트롤러 사이의 분포 불일치를 지운 논문이다.

배경: 계층 구조의 접합면에서 무슨 일이 일어나나

휴머노이드 로코마니퓰레이션은 HLM Survey(이 논문의 ref [8]이자 같은 그룹의 서베이)가 정리한 대로 크게 두 갈래로 접근된다. 하나는 전신 end-to-end RL, 다른 하나는 플래너-컨트롤러 계층 분해다. 계층 분해가 인기 있는 이유는 명확하다: DP·ACT 같은 행동 복제 모델이 29-DOF 관절 궤적을 직접 뱉게 하는 것보다, 베이스 속도 + 손 포즈라는 저차원·해석 가능한 명령을 뱉게 하는 편이 데이터도 적게 들고 사람이 텔레오퍼레이션으로 시연하기도 쉽다.

문제는 두 층이 다른 분포에서 학습된다는 데 있다.

컨트롤러는 사전학습 때 독립적으로 샘플링된 정적 명령(무작위 손 포즈, 무작위 발디딤)을 추종하도록 배운다.
DP는 배포 시 연속 궤적을 따라 움직이는 명령을 낸다. 논문의 표현으로 “moving target along a continuous trajectory”.

즉 컨트롤러 입장에서 배포 시 명령 분포는 OOD다. 추종이 나빠지면 로봇 상태가 DP의 학습 분포를 벗어나고, DP는 다시 더 나쁜 명령을 낸다. 이것이 장기 지평(40초짜리 pick-and-place)에서 누적 오차로 나타난다. 데이터를 늘려 이를 덮는 전략은 휴머노이드에선 특히 비싸다 — 전신 협응을 요구하는 VR 텔레오퍼레이션은 처리량이 낮다(논문도 텔레오퍼레이션 50개 + 휴리스틱 롤아웃으로 1,000개를 채웠다고 밝힌다).

방법 ①: 명령 인터페이스 — 왜 발디딤인가

loco-manip 컨트롤러의 sim-to-real RL(Fig. 2) — 위: 충돌 없는 관절 형상을 샘플링해 만든 손 포즈 명령 g^{\rm upper}으로 \pi_{\rm upper} 학습. 아래: LIPM + 하체 IK로 만든 참조 궤적을 모션 이미테이션해 발디딤 명령 g^{\rm lower}을 따르는 \pi_{\rm lower} 학습. 둘은 학습 중 분리돼 있고 서로의 교란은 domain randomization으로 흡수한다.

컨트롤러는 상·하체 분리 구조다. 상체 \pi_{\rm upper}는 루트 프레임의 양손 SE(3) 목표를 추종하고, 하체 \pi_{\rm lower}는 이산 발디딤 명령(스윙 발 지시자, 정규화된 카운트다운, 지지 발 기준 목표 스윙 발 포즈 (x,y,z,\text{yaw}))을 추종한다. 참조 궤적은 LIPM + 하체 IK로 만들고 DeepMimic류 모션 이미테이션으로 학습하되, 추론 시엔 참조 없이 명령만 받는다.

속도 추종 대신 발디딤 추종을 고른 이유는 부록 B에 실험으로 붙어 있다. 매니퓰레이션은 몸통 위치 정밀도를 요구하는데(손잡이·상자·계단 앞에서 몇 cm가 성패를 가른다), 속도 명령은 위치 오차를 적분으로 누적하고 저속에서 제자리걸음·오버슛·데드존 무반응을 일으킨다. 같은 PD 피드백 명령을 하나는 발디딤으로 변환하고 하나는 속도로 그대로 준 10회 비교에서 발디딤 쪽 몸통 위치·yaw 오차가 낮았다(Fig. 8).

DP는 속도 명령을 내고, velocity-to-footstep 플래너가 이를 발디딤 시퀀스로 바꾼다. 즉 DP의 액션 공간은 여전히 부드러운 연속값이고, 이산화는 인터페이스 층이 맡는다.

방법 ②: DPPO를 그대로 가져오되, 무엇이 달라졌나

DPPO는 denoising 스텝 하나하나를 환경 MDP 안의 결정 스텝으로 승격시켜, 우도가 없는 Diffusion Policy 위에서 평범한 PPO를 돌릴 수 있게 만든 기법이다(Ren et al., ICLR 2025). 유도와 실무 처방(K'만 파인튜닝·DDIM·상태만 보는 가치함수 등)은 원논문 리뷰 DPPO에 정리해 두었다.

DPPO의 핵심 트릭은 그대로다. DP는 \bar\pi_\theta(\mathbf{A}^0_t\mid\mathbf{S}_t)가 계산 불가능한 암묵 정책이지만, denoising 사슬 p_\theta(\mathbf{A}^{k-1}_t\mid\mathbf{A}^k_t,\mathbf{S}_t)의 각 단계는 가우시안이다. 그러니 denoising 과정 전체를 환경 MDP 안에 끼워 넣어 하나의 긴 MDP \mathcal{M}_{\text{DP}}로 만들면, 로그 우도가 계산되는 정책 위에서 PPO를 돌릴 수 있다. 전이는

\bar P(\bar s_{\bar t+1}\mid \bar s_{\bar t},\bar a_{\bar t})= \begin{cases} (\mathbf{S}_t,\mathbf{A}^k_t)\sim\boldsymbol\delta_{\mathbf{S}_t,\mathbf{A}^k_t}, & k>0\\ (\mathbf{S}_{t+1},\mathbf{A}^K_{t+1})\sim P(\mathbf{S}_{t+1}\mid\mathbf{S}_t,\mathbf{A}^0_t)\otimes\mathcal{N}(0,\mathbf{I}), & k=0 \end{cases}

로, k>0 구간은 결정론적 Dirac 전이(환경은 멈춰 있고 노이즈만 걷힌다)이고 k=0에서만 실제 환경이 한 스텝 굴러간다. 보상도 k=0에서만 준다.

그렇다면 DPPO 원논문 대비 새로운 것은 무엇인가? 알고리즘 자체는 새롭지 않다 — 논문도 III-C를 “we adopt DPPO”로 시작하고 유도는 [6]에 위임한다. 새로운 것은 DPPO가 놓이는 자리다.

정책이 플래너다. DPPO 원논문은 Robomimic·Furniture류 벤치마크에서 DP가 곧 최종 제어기인 설정을 다뤘다. 여기서 DP의 액션은 로봇을 직접 움직이지 않고, 학습된 RL 컨트롤러를 통과해서 물리에 도달한다. 즉 P 안에 신경망 정책이 하나 더 들어 있다.
그래서 P가 고정이 아니다. 이 논문은 그 컨트롤러도 같이 갱신한다. DPPO의 증강 MDP는 P가 고정임을 전제로 유도됐지만, 여기서 P는 학습 중 변한다.
보상이 극도로 희소하다. 40초짜리 장기 지평 태스크에서 태스크 성공 신호 하나로 DP를 갱신한다. 논문이 “사전학습이 50–70% SR쯤 나와야 파인튜닝이 먹힌다, 랜덤 초기화(Pure RL)에서는 안 된다”고 못 박는 이유다.

방법 ③: 공동 최적화 — 비정상 목표는 어떻게 다뤄졌나

이 리뷰에서 가장 캐물어야 할 지점이다. 플래너와 컨트롤러를 동시에 갱신하면, 각자 입장에서 상대는 움직이는 표적이다. 컨트롤러에게 명령 분포는 비정상이고, DP에게 환경 동역학은 비정상이다. 두 PPO가 서로의 비정상성을 만드는 구조라 발산·진동을 걱정하는 게 자연스럽다.

논문의 대응은 알고리즘적 장치가 아니라 스케줄이다. Alg. 1은 바깥 루프 안에서

롤아웃 → 버퍼 D 수집 → 컨트롤러를 PPO로 M회 갱신,
다시 롤아웃 → 버퍼 \bar D 수집 → DP를 DPPO로 N회 갱신

을 교대한다. 즉 한 쪽을 갱신할 때 다른 쪽은 그 블록 동안 고정이고, 각 블록마다 데이터를 새로 모아 on-policy성을 유지한다. 그리고 실험 설정에서 밝히듯 바깥 루프는 L=2회뿐이다(블록당 9시간, 컨트롤러/DP에 절반씩). 짧게 두 번 번갈아 미는 것이 사실상의 안정화 장치인 셈이다.

여기에 명시적으로 없는 것들을 적어 두는 편이 정직하다: 두 정책 사이의 KL·trust-region 결합, 컨트롤러 갱신을 DP의 advantage 추정에 반영하는 보정, 학습률·업데이트 비율(M{:}N)의 민감도 분석, 발산 사례 보고. L을 늘리면 어떻게 되는지도 나오지 않는다. “잘 되더라”는 경험적 결과 위에 서 있는 설계다.

그럼에도 왜 되는지에 대한 설명은 설득력 있다. 컨트롤러의 보상 \hat R_t는 파인튜닝 중에도 사전학습 때와 같은 추종·정규화 보상이다. 목적함수 자체는 바뀌지 않고 입력 명령 분포만 사전학습의 i.i.d. 샘플에서 DP가 만드는 궤적으로 갈아끼워지는 것이다. 이것은 정책을 새 태스크로 끌고 가는 게 아니라 같은 태스크의 입력 분포를 옮기는 일에 가깝고, 그래서 파괴적 망각보다는 적응에 가깝게 굴러간다고 볼 수 있다.

직관: 왜 “위만” 고치면 손해가 나는가

Fig. 5가 이 논문에서 가장 말이 많은 그림이다.

엔드이펙터 추종·속도(Fig. 5, 100회 평균) — DiT Planner(진파랑), DiT-FT(진초록), Joint Optimized(연초록). DP만 파인튜닝한 DiT-FT는 4개 태스크 모두에서 위치·방향 오차와 선속도가 사전학습보다 크다. 공동 최적화만이 셋 중 가장 낮은 오차·속도를 낸다.

성공률만 보면 DiT-FT와 Joint는 사실상 동률이다(97/98/95/98 vs 97/97/96/99). 그런데 추종 오차는 정반대로 움직인다. 논문의 해석은 이렇다: 컨트롤러가 얼려 있으면, DP는 “추종이 나쁘다”는 사실 자체를 학습해서 그것을 보상하려고 과도한 명령을 낸다. 성공률은 올라가지만 실제로는 도달 못 할 손 포즈를 계속 지시하는 셈이라 큰 힘이 걸리고, 접촉이 갑자기 바뀔 때 저크가 튄다. 희소한 태스크 보상은 이 부작용에 아무 페널티를 주지 않는다.

공동 최적화는 이 루프를 끊는다. 컨트롤러가 DP의 명령을 실제로 따라올 수 있게 되면 DP가 과잉 명령을 낼 이유가 사라진다. 그래서 “SR은 그대로, 품질만 좋아진다”는 결과가 나온다. 이 관점에서 보면 REFINE-DP의 진짜 기여는 성공률 표가 아니라 이 그림이다 — 그리고 뒤에서 말하겠지만, 그림 한 장에 오차 막대가 없다는 점이 그만큼 아프다.

실험: 무엇이 측정됐나

설정. IsaacLab에서 데이터 수집·RL 학습·파인튜닝을 모두 수행. 학습은 NVIDIA H200 1장 기준으로 컨트롤러 RL 사전학습 10시간(병렬 환경 4,096개), DP 사전학습 18시간(시연 100개 = 3시간 분량), “사전학습부터 완전 파인튜닝까지 22시간”, 공동 최적화는 L=2, 블록당 9시간. 실기는 Booster T1 29-DOF에 AMD 7945HX + RTX 4060 정책 컴퓨터를 붙여 DP는 TensorRT로 10 Hz, 컨트롤러는 50 Hz. DP 관측 지평 8, 액션 청크 12, 간격 0.1초. 물체 포즈는 MoCap(90 Hz) 또는 머리 장착 RealSense D435i + AprilTag(30 Hz) — v3에서 추가된, privileged state 없이 도는 구성이다.

태스크는 4개다: (1) 걸어가 상자 집기, (2) 40초짜리 장기 지평 pick-and-place, (3) 문 열고 통과, (4) 계단 위 플랫폼에 올라 물체 회수. StageACT류와 달리 단계 신호를 주지 않고 물체 위치로부터 단계 전이를 암묵 학습한다는 점을 강조한다.

실기 실행(Fig. 3) — (a) 문 열기: 접근 → 열기 → 통과, (b) 상자 운반: 접근 → 집기 → 놓기. Booster T1, 자율 실행(사람 개입 없음).

베이스라인·어블레이션. 플래너 백본과 파인튜닝 전략을 가로지른다: 사전학습 DiT / LSTM / 결정론적 MLP, RL 파인튜닝한 MLP(MLP-FT), residual RL(얼린 DP 위에 가우시안 잔차 정책), 그리고 DiT-FT·Joint. 모두 같은 얼린 컨트롤러를 쓴다(Joint 제외). MLP는 결정론적이라 PPO 탐색이 안 되므로 OU 과정으로 확률화한다:

\mathbf{A}^{k-1}_t=(1-\lambda_k)\mathbf{A}^k_t+\lambda_k\tilde{\boldsymbol\mu}_\theta(\mathbf{S}_t)+\tilde{\boldsymbol\sigma}_k\boldsymbol\epsilon_k

\lambda_k는 선형 스케줄로 평균 정책 쪽으로 당기고 \tilde\sigma_k는 감소 스케줄이다. 이 설계 덕에 “diffusion이라서 좋은 것”과 “파인튜닝이라서 좋은 것”이 분리된다.

성공률 비교(Fig. 4) — 왼쪽부터 LSTM / DiT / MLP / MLP-FT / Residual RL / DiT-FT(Ours) / Joint(Ours). Task 1에서 LSTM 89%가 DiT 68%를 크게 앞선다는 점, Residual RL이 86/85/91/70으로 만만치 않다는 점에 주목.

읽히는 것들:

파인튜닝의 효과는 크고 일관적이다. DiT 68/64/73/56 → DiT-FT 97/98/95/98. 특히 장기 지평 Task 2에서 64 → 98.
백본 용량이 상한을 만든다. MLP 44/24/18/57 → MLP-FT 81/43/45/64. 파인튜닝이 올리긴 하지만 DiT-FT 근처에 못 간다. 논문 해석은 결정론적 회귀가 다중 모드 시연을 평균 내버려 실행 불가능한 궤적을 만든다는 것.
LSTM은 짧은 태스크에서만 강하다. Task 1 89%로 DiT를 앞서지만 Task 2에서 40%로 급락. 재귀 상태가 장기 액션 분포를 담지 못한다는 설명.
Residual RL은 생각보다 강하다. 얼린 DP + 잔차만으로 86/85/91/70. DiT-FT와의 격차는 Task 1·2·3에서 6~13%p, Task 4에서 28%p.
Pure RL(랜덤 초기화 파인튜닝)은 실패한다. 희소 보상에서 성공이 드물어 학습 신호가 안 잡힌다. 논문은 “사전학습 SR이 대략 50–70%일 때 파인튜닝이 잘 듣는다”는 경험칙을 제시한다. 이 문장은 뒤집으면 REFINE-DP는 이미 절반쯤 되는 정책이 있어야 쓸 수 있다는 적용 조건이기도 하다.

데이터 효율.

데이터 스케일링 vs 파인튜닝(Fig. 6) — 문 태스크 DiT: 50/100/200/500/1000개에서 69/86/87/93/91%, 시연 50개로 사전학습 후 파인튜닝하면 95%. 상자 태스크는 74/76/71/82/90% vs 97%. 단 y축이 55% 부근에서 잘려 있어 막대 길이 차이가 실제 차이보다 커 보인다.

이 그림이 논문의 실용적 셀링 포인트다. 시연을 20배 모으는 것보다 시뮬레이터에서 파인튜닝하는 편이 싸고 결과도 좋다. 다만 스케일링 곡선이 깔끔하지 않다 — 문 태스크는 500개(93%)에서 1,000개(91%)로 오히려 내려가고, 상자 태스크도 100→200에서 76→71%로 꺾인다. 시드 하나의 노이즈로 보이며, 본문이 “90% SR엔 약 1,000개가 필요하다”고 쓴 것과 문 태스크가 500개에서 93%를 낸 것도 완전히 들어맞지는 않는다.

OOD 일반화. 상자 운반 태스크에서 로봇 초기 위치를 반경·극각·헤딩 세 변수로 파라미터화하고, 파인튜닝 시 범위를 사전학습 대비 320% / 125% / 600%로 넓힌다. 그냥 최대 범위에서 시작하면 희소 보상이 잡히지 않으므로, 현재 난이도에서 90% SR을 넘으면 범위를 10%씩 넓히는 커리큘럼을 쓴다. 결과는 사전학습 정책 0% → 커리큘럼 파인튜닝 80% 이상. 부록 C는 커리큘럼 없는 파인튜닝도 SR은 오르지만 상체 관절 저크가 커진다는 것을 보인다(Fig. 10b) — 초기부터 큰 무작위화에 노출되면 PPO가 확률적 액션을 증폭시킨다는 설명.

실기. 안정성을 위해 이동 속도 0.2 m/s, 손 속도 0.05 m/s로 클램프한 상태에서 Task 1 70%, Task 2 50%, Task 3 75% (각 N=20). 실패 모드는 하체 컨트롤러의 넘어짐과 상자·손잡이 파지 실패. 시뮬 90%+에서 떨어지는 이유로는 (i) 물체 포즈 캘리브레이션의 계통 오차와 접촉 국면의 가림, (ii) sim-to-real 동역학 불일치로 인한 떨림·미끄러짐을 든다. 정성적으로는 물체 위치가 바뀌면 계획을 다시 짜고, 손잡이를 놓치면 잔걸음으로 다가가 재시도하는 행동이 파인튜닝 정책에서 일관되게 나타난다고 보고한다(사전학습 정책은 멈춰 버린다).

관측 노이즈 어블레이션(부록 C) 은 특기할 만하다. sim-to-real 간극을 노이즈로 덮으려고 DP 관측에 가우시안 노이즈를 넣어 파인튜닝했더니, 표준편차 1 cm·3 cm에서 실기 Task 1 SR이 70% → 25% / 20%로 무너졌다. 조건 신호를 흐리면 생성 모델이 “노이즈에 강해지는” 게 아니라 일관성 없는 조건 → 액션 사상을 배워 예측이 요동친다는 것. 실무자에게 유용한 음성 결과다.

버전 차이 — 무엇이 바뀌었나

프로젝트 페이지가 링크하는 arXiv HTML v2(2026-03-17)와 이 리뷰가 읽은 PDF v3(RA-L 채택본)는 같은 논문이 아니다. 실제로 대조해 확인한 차이:

그림 번호가 다르다. v2는 Fig. 1~7, v3는 부록이 붙어 Fig. 1~10이다. 예컨대 “데이터 스케일링” 그림은 v2에서 Fig. 7, v3에서 Fig. 6이다. 이 리뷰의 번호는 전부 v3 기준.
OOD 수치가 바뀌었다. v2: 최대 무작위화에서 사전학습 7% → 커리큘럼 파인튜닝 90% 이상, 커리큘럼 없이는 30%. v3: 사전학습 0% → 80% 이상. 같은 실험의 재측정으로 보이며, 방향은 같지만 절대값이 다르다.
실기 수치가 바뀌었다. v2: 문 열기 70% 초과, 상자 운반 50% 초과(시행 수 미기재). v3: Task 1 70% / Task 2 50% / Task 3 75%, N=20 명시.
베이스라인이 늘었다. v3에서 LSTM 플래너가 추가됐고, MLP의 확률화가 “mean-reverting update”에서 OU 과정으로 명시됐다.
v3에서 새로 생긴 것: 카메라(AprilTag) 기반 비-privileged 파이프라인, 부록(발디딤 정책 학습, 발디딤 vs 속도 추종 어블레이션, 관측 노이즈 어블레이션, 보상·관측 표), 학습 시간·하드웨어(H200) 명시.

리뷰나 재현을 하려는 사람은 프로젝트 페이지의 arXiv 버튼을 따라가면 v2로 간다는 점을 알아 둘 필요가 있다.

비판적으로 보면

강점

문제 진단이 정확하고, 처방이 그 진단에서 곧바로 나온다. “플래너의 명령 분포가 컨트롤러에게 OOD”라는 한 문장이 방법 전체를 설명한다. 흔한 계층 프레임워크 논문들이 접합면을 그냥 지나치는 것과 대비된다.
성공률이 아니라 모션 품질로 기여를 정의한 정직함. “공동 최적화는 SR을 더 올리지 않는다”고 논문이 먼저 말한다(Fig. 4). 여기서 억지로 SR 이득을 짜내지 않고 추종 오차·속도로 축을 옮긴 것은 결과 해석의 신뢰를 높인다.
DP만 파인튜닝하면 추종이 나빠진다는 음성 결과를 스스로 보고한다. Fig. 5에서 자기 방법의 절반(DiT-FT)이 베이스라인보다 나쁜 지표를 그대로 실었다. 이 실패 메커니즘(“보상 없는 축으로 정책이 흘러간다”)은 RLFT를 쓰는 누구에게나 이식 가능한 교훈이다.
어블레이션 설계가 축을 잘 분리한다. MLP를 OU로 확률화해 파인튜닝까지 시킨 덕에 “diffusion 때문인가, 파인튜닝 때문인가”가 갈라진다. residual RL이라는 강한 대안을 같은 프레임 안에 넣은 것도 좋다.
적용 조건을 숨기지 않는다. “사전학습 SR 50–70%가 필요하다”, “Pure RL은 실패한다”는 서술은 방법의 한계를 스스로 그린다.
관측 노이즈 음성 결과(70%→20%대)와 발디딤 vs 속도 어블레이션은 실무자용 부록으로서 값이 높다.

약점·한계

통계가 사실상 없다. Fig. 4·5·6 어디에도 오차 막대·신뢰구간·시드 수가 없다. Fig. 5는 100회 롤아웃 평균이라 밝히지만 분산은 없고, Fig. 4의 SR 시행 수는 본문에 없다. 논문의 핵심 주장인 “공동 최적화가 추종을 개선한다”는 막대 높이 차이 하나에 걸려 있다. 실기는 N=20이라 70%의 95% 이항 신뢰구간이 대략 46~88%다 — 태스크 간 70/50/75% 차이를 논할 해상도가 아니다.
공동 최적화를 지지하는 정량 증거가 얇다. “컨트롤러만 갱신해도 +18%p”, “90% SR 도달 40→20 iteration” — 둘 다 표도 그림도 없이 문장으로만 제시되고, 단일 태스크·단일 실행으로 보인다. Fig. 4에는 “컨트롤러만 파인튜닝” 열이 아예 없어서 독자가 대조할 수 없다.
비정상성이 분석되지 않았다. 두 PPO가 서로의 환경을 바꾸는 구조인데, 안정성 논의는 “블록 교대”와 L=2가 전부다. M{:}N 비율, 학습률, L을 늘렸을 때의 거동, 실패·발산 사례가 없다. DPPO의 유도가 전제하는 고정 P가 깨진다는 점도 언급되지 않는다. 논문이 이 문제를 “다뤘다”기보다 “짧게 돌려서 피했다”에 가깝다.
DPPO 적용 자체의 알고리즘적 새로움은 크지 않다. III-C는 원논문의 증강 MDP를 거의 그대로 옮기고 유도는 [6]에 위임한다. 기여는 “어디에 놓았는가”(계층 구조의 상위층 + 하위층 동시 갱신)이지 “무엇을 고쳤는가”가 아니다. 이건 결함이라기보다 성격 규정이지만, RA-L 스코프에서 novelty를 재는 독자는 알고 있어야 한다.
Residual RL과의 격차 해석이 얕다. 얼린 DP + 잔차 정책이 86/85/91/70%를 낸다. DiT-FT가 더 좋지만, residual은 사전학습 가중치를 건드리지 않아 안전하고 가볍다는 실무적 장점이 있다. 학습 비용(residual vs 전체 DP 파인튜닝) 비교가 없어 트레이드오프를 판단할 수 없다.
실기에서 공동 최적화의 이득이 검증되지 않았다. 실기 표는 REFINE-DP 단일 수치이고, DiT-FT vs Joint를 하드웨어에서 나눠 재지 않았다. 논문의 주 기여인 “추종 품질 개선”은 시뮬레이션에서만 측정됐다.
태스크가 여전히 좁고 상태 기반이다. 4개 태스크 모두 태스크별로 사전학습·파인튜닝하며(멀티태스크 정책이 아니다), 플래너는 물체 포즈를 명시적으로 받는다. AprilTag 기반 구성이 privileged state 제거를 보이긴 하지만 마커 의존이고, 논문 스스로 “RGB 조건 end-to-end 플래너”를 미래 과제로 남긴다.
속도 클램프의 대가가 계량되지 않았다. 실기에서 0.2 m/s·0.05 m/s로 묶어야 성공률이 나온다면, 그 성공률은 “이 속도에서의” 값이다. 클램프를 풀었을 때의 성능 저하 곡선이 없어 sim-to-real 간극의 실제 크기를 알기 어렵다.
재현 경로가 사실상 막혀 있다. 프로젝트 페이지의 Code 버튼은 비활성 <span>이고, 실제 레포(GTLIDAR/REFINE-DP)는 논문에서 링크되지 않으며 LICENSE가 없다. 라이선스 없는 코드는 법적으로 “모든 권리 유보”라 재사용이 불가하고, 체크포인트·시연 데이터셋도 보이지 않는다. RA-L 채택본에까지 코드 링크가 없는 것은 아쉽다. 그림·표를 만든 스크립트가 없으니 위에 적은 “통계 없음” 문제도 독자가 보완할 방법이 없다.

요약

REFINE-DP는 “계층 구조의 접합면에서 새는 성능”이라는, 알면서도 대개 넘어가던 문제를 정면으로 잡았다. DP 플래너와 RL 컨트롤러를 같은 롤아웃 위에서 번갈아 갱신하면, 플래너는 환경에 맞춰 성공률을 올리고 컨트롤러는 플래너의 실제 명령 분포에 맞춰 추종을 회복한다. 시연 50개 + 파인튜닝이 시연 1,000개 사전학습을 이긴다는 결과(95% vs 91%)는 휴머노이드처럼 시연이 비싼 도메인에서 실질적인 함의를 갖고, “DP만 파인튜닝하면 추종이 나빠진다”는 자기 보고는 RLFT를 쓰는 사람이라면 기억해 둘 실패 모드다.

동시에 이 논문의 주장은 오차 막대 없는 막대그래프 세 장과 표 없는 문장 두 개에 얹혀 있고, 두 정책을 동시에 미는 데서 오는 비정상성은 L=2라는 짧은 스케줄로 우회돼 있다. 실기 수치는 정량적이지만 N=20이라 태스크 간 비교를 견디지 못하고, 핵심 기여인 추종 품질 개선은 시뮬레이션에서만 측정됐다. 코드가 논문에서 연결되지 않고 라이선스도 없다는 점까지 겹치면, 결과를 믿을지 말지가 상당 부분 저자에 대한 신뢰에 맡겨진다. 아이디어는 옳고 결과의 방향도 일관되지만, 이 방법이 다른 로봇·다른 태스크에서도 같은 이득을 낼지는 아직 열려 있다.