📃DPPO 리뷰

diffusion

fine-tuning

manipulation

sim2real

benchmark

MuJoCo

open-source

Diffusion Policy Policy Optimization

Published

September 21, 2025

Paper Link (arXiv:2409.00588) — 이 리뷰는 v3 (2024-12-09) 를 기준으로 읽었다. arXiv HTML v3와 PDF v3의 그림 번호가 일치함을 확인했다(총 13장 + 부록 A1~A11).
Project Page
Code Link — MIT 라이선스, 공개돼 있고 논문·프로젝트 페이지가 모두 가리킨다.
Allen Z. Ren, Justin Lidard, Lars L. Ankile, Anthony Simeonov, Pulkit Agrawal, Anirudha Majumdar, Benjamin Burchfiel, Hongkai Dai, Max Simchowitz (Princeton / MIT / Toyota Research Institute / CMU)
ICLR 2025

💡 사람 시연으로 사전학습한 Diffusion Policy를 RL로 파인튜닝하고 싶은데, diffusion 정책은 행동의 likelihood \log\pi_\theta(a\mid s)를 닫힌 형태로 주지 않아 정책 경사(PG)를 그대로 먹일 수 없다.
⚙️ denoising 과정 자체를 MDP로 보고 환경 MDP 안에 끼워 넣어 “두 층 MDP”를 만든다 — 각 denoising 전이는 가우시안이라 likelihood가 해석적으로 계산되고, 그 위에서는 평범한 PPO를 그대로 돌릴 수 있다.
🎯 Gym·Franka-Kitchen·Robomimic·D3IL·Furniture-Bench 전반에서 diffusion RL·demo-augmented RL·가우시안/GMM PG 베이스라인을 모두 앞서고, Robomimic Transport를 상태·픽셀 양쪽에서 처음으로 90%대로 풀었으며, 시뮬만으로 학습한 정책이 실기 가구 조립에서 zero-shot 80% (16/20) — 같은 조건의 가우시안 정책은 0%.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

Diffusion Policy는 사람 시연을 모방하는 데 아주 강하다. 다중 모드 행동 분포를 잘 표현하고 학습이 안정적이다. 그런데 시연은 대개 최적이 아니고 커버리지가 좁다 — 그래서 사전학습 후 환경과 상호작용하며 RL로 더 밀어붙이고 싶어진다. 문제는 RL의 가장 표준적인 도구인 정책 경사(PG)가 \nabla_\theta \log \pi_\theta(a\mid s)를 요구한다는 것이다. Diffusion Policy에는 그 값이 없다. 행동 a^0는 순수 노이즈 a^K에서 시작해 K번의 denoising을 거쳐 나온 결과이고, 그 주변확률은 중간 단계를 전부 적분해야 얻어지는 다루기 힘든 양이다. 그래서 이 분야는 그동안 Q-learning이나 가중 회귀(weighted regression) 같은 우회로를 택했고, PG는 “diffusion 정책엔 비효율적”이라고 추측되어 왔다(Psenka et al. 2024는 denoising 스텝이 유효 지평을 늘려 행동 분산이 커진다고 봤다).

DPPO의 답은 우회하지 않는 것이다. 주변확률을 구하려 하지 말고, denoising 사슬을 펼쳐서 그 자체를 MDP의 결정 스텝으로 삼자. 각 denoising 전이 p_\theta(a^{k-1}\mid a^k, s)는 정의상 가우시안이므로 likelihood가 해석적으로 나온다. 환경 MDP의 한 스텝 안에 K개의 denoising 스텝을 중첩시킨 “두 층 MDP” 위에서는, 우리가 아는 그 PPO를 한 글자도 고치지 않고 돌릴 수 있다.

개요(Fig. 1) — 환경 MDP의 각 스텝 안에 “Diffusion MDP”가 들어 있고, 각 denoising 스텝의 가우시안 likelihood \nabla_\theta\log\pi_\theta(a^{k-1}_t\mid a^k_t, s_t)를 통해 태스크 보상이 정책으로 흘러든다. 저자들이 내세우는 세 결과: 구조화된 탐색 · 학습 안정성 · 정책 강건성.

핵심 방법론:

환경 MDP \mathcal{M}_{\rm ENV}=(\mathcal{S},\mathcal{A},P_0,P,R) 위에, 통합 시간 인덱스 \bar t(t,k)=tK+(K-k-1) 로 두 층을 엮은 Diffusion Policy MDP \overline{\mathcal{M}} 를 정의한다. t는 환경 스텝, k=K-1,\dots,0은 denoising 스텝이다.

\bar s_{\bar t(t,k)}=(s_t,\ a^{k+1}_t),\qquad \bar a_{\bar t(t,k)}=a^k_t,\qquad \bar R_{\bar t(t,k)}=\begin{cases}0 & k>0\\ R(s_t,a_t) & k=0\end{cases}

즉 상태는 “환경 상태 + 지금까지 denoise된 행동”, 행동은 “한 번 더 denoise한 결과”, 보상은 최종 행동 a^0_t가 실제로 환경에 적용되는 k=0에서만 준다. 초기 분포는 \bar P_0=P_0\otimes\mathcal{N}(0,I) (환경 초기 상태 × 순수 노이즈). 그러면 정책은

\bar\pi_\theta(\bar a_{\bar t(t,k)}\mid \bar s_{\bar t(t,k)}) =\pi_\theta(a^k_t\mid a^{k+1}_t,s_t) =\mathcal{N}\!\big(a^k_t;\ \mu(a^{k+1}_t,\varepsilon_\theta(a^{k+1}_t,k{+}1,s_t)),\ \sigma^2_{k+1}I\big)

가우시안이다. likelihood가 해석적으로 계산되니 PPO의 클리핑 서로게이트를 그대로 쓴다. 어드밴티지는 두 층 구조를 존중해서 설계한다 — k=0에서만 보상이 있으므로 중간 스텝의 가치를 따로 추정할 필요가 없고, 대신 denoising 할인 \gamma_{\rm DENOISE}^k 로 노이즈가 많은(=k가 큰) 초기 스텝의 기여를 낮춘다:

\hat A^{\bar\pi_{\theta_{\rm old}}}(\bar s_{\bar t},\bar a_{\bar t}) :=\gamma_{\rm DENOISE}^{k}\big(\bar r(\bar s_{\bar t},\bar a_{\bar t})-\hat V^{\bar\pi_{\theta_{\rm old}}}(\bar s_{\bar t(t,0)})\big), \qquad \hat V^{\bar\pi_{\theta_{\rm old}}}(\bar s_{\bar t(t,0)}):=\tilde V^{\bar\pi_{\theta_{\rm old}}}(s_t)

가치함수가 \bar s 전체가 아니라 환경 상태 s_t에만 의존한다는 점이 중요하다(부록 C.2의 절제에서 이 선택이 어려운 태스크의 성패를 갈랐다).

주요 결과:

Robomimic Transport(양팔, 장기 지평, 희소 보상): 상태 입력 DPPO >90% — Fig. 5에서 IDQL·DQL·DIPO·QSM·DRWR·DAWR 등 모든 diffusion RL 베이스라인은 ≲10%. 픽셀 입력에서도 DPPO-ViT-MLP ≈ 0.92, Gaussian-ViT-MLP는 사전학습 0%에서 전혀 개선되지 않음(0%). 저자들 표현으로 “상태·픽셀 어느 쪽에서든 Transport를 >50%로 푼 최초의 RL 알고리즘”.
Sim-to-real (Furniture-Bench One-leg, 20 trials, 10 Hz, zero-shot): 파인튜닝 후 DPPO는 sim 0.87 / real 0.80, 가우시안은 sim 0.88 / real 0.00. BC 보조 손실을 준 가우시안은 sim 0.53 / real 0.50 (Fig. 8 하단 막대). 시뮬 성능은 비슷한데 실기에서만 갈린다는 것이 이 논문에서 가장 인상적인 수치다.
효율: Gym에서 DPPO는 DAWR·DIPO·DQL보다 각각 41%·37%·12% 빠르고, QSM·DRWR·IDQL보다 43%·33%·7% 느리다(Table A1). 반면 가우시안/GMM PG 대비로는 상태 입력에서 평균 21~24% 느리다(Table A3).

결론:

“diffusion 정책엔 PG가 안 맞는다”는 통념은 파인튜닝 세팅에서는 틀렸다. denoising을 MDP로 펼치면 PG가 그대로 통하고, 오히려 denoising 사슬이 탐색을 데이터 매니폴드 근처로 구조화하고 정책 붕괴에 대한 완충을 만들어 준다. 대가는 명확하다 — 롤아웃마다 K배 긴 유효 지평, 그만큼의 메모리·연산, 그리고 on-policy 특유의 낮은 샘플 효율(저자들이 스스로 “main limitation”이라고 적었다).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“likelihood가 없어서 PG를 못 쓴다”는 문제를, likelihood를 계산하는 대신 likelihood가 계산되는 층으로 문제를 옮겨서 푼 논문이다.

이 리뷰는 독자가 PPO까지 알고 있다고 가정한다 — MDP, 정책 경사, advantage, importance ratio, 클리핑 서로게이트, GAE, value function. 반대로 diffusion model과 diffusion policy는 모른다고 가정하고, 필요한 만큼만 짓고 간다. 전개 순서는 다음과 같다.

PPO가 무엇을 요구하는지 다시 확인 → 2. Diffusion Policy가 무엇인지 최소한으로 → 3. 왜 둘이 안 붙는지(이 논문의 출발점) → 4. 안 통하는 우회로들 → 5. 열쇠: 두 층 MDP → 6. 그 위에 PPO 인스턴스화 → 7. PPO와 DPPO 목적함수 대조 → 8. 실무 처방 → 9. 실험 → 10. 왜 잘 되는가 → 11. 비판.

1단계 — PPO가 요구하는 것 (독자가 아는 것)

PPO는 이렇게 생겼다. 이전 정책 \pi_{\theta_{\rm old}}로 롤아웃을 모으고, importance ratio

r_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\rm old}}(a_t\mid s_t)}

를 만들어 클리핑 서로게이트를 최대화한다:

L(\theta)=\mathbb{E}_{(s_t,a_t)\sim\pi_{\theta_{\rm old}}}\Big[\min\big(\hat A_t\, r_t(\theta),\ \hat A_t\,\mathrm{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\big)\Big]

여기서 딱 하나 필요한 것은 \pi_\theta(a_t\mid s_t)의 값이다. 가우시안 정책이면 이건 공짜다 — 신경망이 평균 \mu_\theta(s)를 뱉고 표준편차 \sigma가 있으니 \log\pi_\theta(a\mid s)는 한 줄로 쓰인다. GMM도 마찬가지다. 정책 파라미터화가 “명시적 밀도”를 주는 한 PPO는 항상 돌아간다.

이 문장을 기억해 두자. 이 논문 전체가 이 한 조건을 어떻게 되살리는가에 관한 이야기다.

2단계 — Diffusion Policy를 최소한으로

DDPM. 확산 모델은 데이터 x^0에 가우시안 노이즈를 반복해서 더하는 정방향 과정 q(x^k\mid x^{k-1})의 역과정을 배운다. 신경망 \varepsilon_\theta(x^k,k)는 “x^k에 섞여 있는 노이즈”를 예측하도록 학습되고, 샘플링은 순수 노이즈 x^K\sim\mathcal{N}(0,I)에서 시작해

x^{k-1}\sim p_\theta(x^{k-1}\mid x^k):=\mathcal{N}\big(x^{k-1};\ \mu_k(x^k,\varepsilon_\theta(x^k,k)),\ \sigma_k^2 I\big) \tag{3.3}

를 k=K,\dots,1로 반복한다. 여기서 \mu_k(\cdot)는 \theta와 무관한 고정 함수이고(오직 \varepsilon_\theta를 통해서만 \theta가 들어온다), \sigma_k^2는 고정 스케줄이다. 각 스텝이 가우시안이라는 것 — 이게 나중에 전부다.

Diffusion Policy (DP). Chi et al. (2023)의 DP는 위의 x를 “행동”으로 놓고 상태 s를 조건으로 붙인 것이다: p_\theta(a^{k-1}\mid a^k, s). 시연 데이터로 노이즈 예측 회귀(=행동 복제)를 하면 학습이 끝난다. 관행대로 action chunk를 쓴다 — 앞으로 T_p 스텝의 행동 시퀀스를 한 번에 예측하고 그중 T_a\le T_p 스텝을 실행한 뒤 다시 예측한다. 이 논문에서 a\in\mathcal{A}는 실행되는 청크 전체를 뜻한다.

3단계 — 왜 둘이 안 붙는가 (이 논문의 출발점)

DP가 최종적으로 뱉는 행동의 분포는

p_\theta(a^0\mid s)=\int p_\theta(a^0\mid a^1,s)\,p_\theta(a^1\mid a^2,s)\cdots p_\theta(a^{K-1}\mid a^K,s)\,\mathcal{N}(a^K;0,I)\ da^{1:K}

이다. K차원(사실은 K\times\dim\mathcal{A}차원) 적분이고, 닫힌 형태가 없다. 논문 §3의 표현대로 “DPs do not maintain an explicit likelihood of p_\theta(a^0\mid s)”.

그래서 1단계의 그 한 줄 — \pi_\theta(a_t\mid s_t) — 을 쓸 수 없다. PPO의 importance ratio를 만들 수 없다. 이것이 이 논문의 문제 정의 전부다. 방법론이 복잡해 보여도, 결국 “이 분모·분자를 어떻게 되찾을 것인가”에 대한 답이다.

4단계 — 통하지 않는(또는 덜 통하는) 우회로들

논문이 실제로 비교해 본 우회로들을 보면 DPPO의 선택이 왜 이런 모양인지가 선명해진다.

(a) likelihood를 진짜로 계산해 본다. DDPM은 확률 흐름 ODE(probability flow ODE)를 풀면 정확한 likelihood를 얻을 수 있다(Song et al.). 저자들은 이걸 실제로 구현해 단일 층 MDP에서 PG를 돌렸다(부록 C.6, Fig. A10). 결과: Hopper-v2에서는 사전학습 정책을 개선하지만 DPPO를 넘지 못하고, 더 어려운 Can에서는 성공률이 0으로 떨어진다. 게다가 ODE를 통해 역전파해야 해서 런타임·GPU 메모리가 더 들고, 뒤에 나올 “일부 denoising 스텝만 파인튜닝” 같은 유연성도 잃는다. 정공법이 더 나쁘다는 이 절제 실험이 개인적으로 이 논문에서 가장 설득력 있는 부분이었다.

(b) Q-learning 계열. DQL·IDQL·DIPO·QSM은 likelihood를 피해 가치함수로 정책을 민다. 문제는 연속·고차원 행동 청크의 Q값을 정확히 추정하는 것이 어렵고, 그 부정확한 Q에서 나온 그래디언트가 액터로 흘러 들어간다는 점이다. Fig. 5에서 이들 대부분이 파인튜닝 초반에 성능이 떨어지는 것을 볼 수 있는데, 저자들은 사전학습 정책의 Q를 잘못 추정한 탓으로 본다.

(c) 가중 회귀. RWR/AWR을 diffusion에 옮긴 DRWR·DAWR은 저자들이 직접 만든 베이스라인이다. Robomimic의 쉬운 태스크에서는 DRWR이 의외로 강하지만 Transport에서 무너진다.

5단계 — 열쇠: denoising 과정 자체를 MDP로 본다

여기가 이 논문의 심장이다.

아이디어. p_\theta(a^0\mid s)를 구하려니 적분이 문제였다. 그런데 그 적분 안에 있는 각 항 p_\theta(a^{k-1}\mid a^k,s)는 식 (3.3)에서 보았듯 가우시안이고 likelihood가 공짜다. 그렇다면 “a^0를 한 번에 뽑는 하나의 결정”으로 보지 말고, “K번의 작은 결정”으로 분해하면 어떨까? 각 결정마다 likelihood가 있으니, 각 결정을 MDP의 한 스텝으로 삼으면 된다.

정의 (§4.1). 통합 시간 인덱스를 \bar t(t,k)=tK+(K-k-1)로 둔다. t가 커지면 커지고, diffusion 관례상 k는 K-1에서 0으로 줄어드는 방향이 시간 진행이다. 그러면:

	Diffusion Policy MDP \overline{\mathcal{M}}
상태 \bar s_{\bar t(t,k)}	(s_t,\ a^{k+1}_t) — 환경 상태 + 아직 덜 denoise된 행동
행동 \bar a_{\bar t(t,k)}	a^k_t — 한 스텝 더 denoise한 결과
보상 \bar R_{\bar t(t,k)}	k>0이면 0, k=0이면 환경 보상 R(s_t,a_t)
초기 분포 \bar P_0	P_0\otimes\mathcal{N}(0,I)
전이 \bar P	k>0: (s_t,a^k_t)로 결정적(\delta) 이동 · k=0: (s_{t+1},a^K_{t+1})\sim P(s_{t+1}\mid s_t,a^0_t)\otimes\mathcal{N}(0,I)
정책 \bar\pi_\theta	\mathcal{N}(a^k_t;\mu(a^{k+1}_t,\varepsilon_\theta(a^{k+1}_t,k{+}1,s_t)),\sigma^2_{k+1}I) ← 가우시안!

두 층 MDP(Fig. 3) — 파란 원이 상태 \bar s, 빨간 원이 행동 \bar a. 한 환경 스텝 t 안에서 a^K_t \to a^{K-1}_t \to \cdots \to a^0_t 로 denoising 사슬이 펼쳐지고, a^0_t가 나오는 순간에만 초록색 보상 R_t가 붙는다. 그다음 환경이 t{+}1로 전이하며 새 순수 노이즈 a^K_{t+1}이 주입된다.

“환경 스텝 축 × denoising 스텝 축”으로 보면. 이 MDP는 사실 2차원 격자를 지그재그로 훑는 것이다.

	k=K{-}1	k=K{-}2	\cdots	k=0	보상
t=0	a^{K-1}_0	a^{K-2}_0	\cdots	a^0_0 실행	R_0
t=1	a^{K-1}_1	a^{K-2}_1	\cdots	a^0_1 실행	R_1
\vdots

가로로 한 줄 다 훑어야(K번의 denoising) 세로로 한 칸 내려간다(환경 1스텝). 원래 길이 T였던 에피소드가 \overline{\mathcal{M}}에서는 길이 TK가 된다. Psenka et al.이 “유효 지평이 길어져서 분산이 커진다”고 우려한 게 바로 이 지점이고, 이 논문은 파인튜닝 세팅에서 그 우려가 실현되지 않음을 실험으로 보인다.

왜 이 재구성이 문제를 푸는가 — 직관 세 겹.

형식적으로: 우리가 잃어버린 건 “주변확률”이었지 “조건부확률”이 아니었다. 주변화(적분)를 안 하면 되고, 안 하는 방법은 중간 변수 a^{1:K}를 적분해 없애지 말고 MDP의 상태에 넣어 관측 가능하게 만드는 것이다. 상태에 넣는 순간 조건부만 남고, 조건부는 가우시안이다.
RL의 언어로: 이건 “부분관측을 완전관측으로 바꾸는” 전형적인 수법이다. 숨겨진 잠재변수 때문에 likelihood가 안 나온다면, 잠재변수를 상태로 승격시켜라. 대가는 지평이 K배 길어지는 것 — 적분의 어려움을 지평의 길이로 바꾸는 교환이다.
왜 그 교환이 이득인가: 적분의 어려움은 근본적(닫힌 형태 없음, ODE를 풀어도 비싸고 불안정)인 반면, 지평이 길어지는 어려움은 RL이 원래 다루는 종류의 어려움이다. 게다가 중간 전이가 전부 결정적(\delta)이고 보상이 k=0에만 몰려 있어서, 늘어난 TK 스텝 중 실제로 새 정보가 들어오는 곳은 여전히 T개뿐이다. 뒤에 나올 어드밴티지 설계가 바로 이 구조를 이용한다.

Black et al.(2023, DDPO)이 텍스트-이미지 생성에서 denoising을 MDP로 본 것이 선행이다. DPPO의 추가분은 그것을 환경 MDP 안에 중첩시켜 순차적 의사결정으로 확장한 것이다.

6단계 — 그 위에 PPO를 인스턴스화한다

이제 \overline{\mathcal{M}} 위의 정책 \bar\pi_\theta는 likelihood가 있으므로 정책 경사가 그대로 쓰인다:

\nabla_\theta \bar{\mathcal{J}}(\bar\pi_\theta)=\mathbb{E}\Big[\sum_{\bar t\ge 0}\nabla_\theta\log\bar\pi_\theta(\bar a_{\bar t}\mid\bar s_{\bar t})\,\bar r(\bar s_{\bar t},\bar a_{\bar t})\Big] \tag{4.2}

그리고 이 기댓값을 샘플링하는 “forward pass”는 원래 Diffusion Policy가 행동을 뽑는 그 과정 그대로다. 구현상 새로 만들 것이 없다는 게 이 프레임의 실용적 강점이다.

PPO를 얹을 때 두 층 구조를 존중하는 선택이 두 가지 들어간다.

(i) 어드밴티지를 k=0에서만 계산한다. k>0에서 보상이 0이므로 환경-할인 리턴은

\bar r(\bar s_{\bar t},\bar a_{\bar t})=\sum_{t'\ge t}\gamma_{\rm ENV}^{\,t}\,\bar r(\bar s_{\bar t(t',0)},\bar a_{\bar t(t',0)}),\qquad \bar t=\bar t(t,k)

로 k와 무관해진다. 덕분에 중간 denoising 스텝의 가치를 추정할 필요가 없다. 실제 구현에서는 k=0(=환경 스텝)에 대해서만 GAE를 돌리고(부록 B, 식 A2), 그 결과를 각 k에 뿌린다.

(ii) denoising 할인 \gamma_{\rm DENOISE}^k. 뿌릴 때 그냥 뿌리지 않고 k가 클수록(=노이즈가 많을수록) 가중치를 줄인다:

\hat A^{\bar\pi_{\theta_{\rm old}}}(\bar s_{\bar t},\bar a_{\bar t})=\gamma_{\rm DENOISE}^{k}\big(\bar r(\bar s_{\bar t},\bar a_{\bar t})-\hat V^{\bar\pi_{\theta_{\rm old}}}(\bar s_{\bar t(t,0)})\big)

직관은 이렇다. k가 클 때의 a^k_t는 아직 노이즈 덩어리라 최종 행동과의 인과적 연결이 약하다 — 거기에 큰 크레딧을 주면 노이즈를 학습하는 셈이 된다. \gamma_{\rm DENOISE}는 그 연결이 약한 만큼 크레딧을 깎는 장치다. 실제로 저자들은 이것이 뒤에 나올 “마지막 K' 스텝만 파인튜닝”의 소프트 버전이라고 명시한다(부록 C.2) — 하드하게 자르면 K', 부드럽게 깎으면 \gamma_{\rm DENOISE}.

(iii) 가치함수는 s_t에만 의존. \hat V(\bar s_{\bar t(t,0)}):=\tilde V(s_t). 즉 \bar s_{\bar t(t,0)}=(s_t,a^1_t) 중 행동 부분을 무시한다. 이게 절제에서 가장 크게 갈린 선택이다(Fig. A2): 쉬운 Hopper-v2에서는 행동까지 보는 쪽(사실상 Q함수)이 낫지만, 어려운 Can·Square에서는 s만 보는 쪽이 일관되게 이긴다. 저자들의 해석은 “고차원 연속 행동 청크의 가치를 정확히 추정하는 건 어렵고, diffusion 정책의 높은 확률성이 그걸 더 악화시킨다”는 것 — 이건 4단계 (b)에서 Q-learning 베이스라인이 무너진 이유와 정확히 같은 진단이다.

어드밴티지 추정자 선택(Fig. A2) — 행동에 의존하는 가치 추정은 Hopper-v2 같은 쉬운 과제에선 유리하지만 Can·Square 같은 조작 과제에선 뒤진다. DPPO가 환경 상태만 보는 이유.

7단계 — PPO와 DPPO, 어디가 같고 어디가 다른가

이 대조표가 이 리뷰의 핵심이라고 봐도 좋다.

	표준 PPO (가우시안 정책)	DPPO
MDP	\mathcal{M}_{\rm ENV}, 길이 T	\overline{\mathcal{M}}, 길이 TK
결정 1회	상태 s_t → 행동 a_t	상태 (s_t,a^{k+1}_t) → 행동 a^k_t
likelihood	\log\mathcal{N}(a_t;\mu_\theta(s_t),\sigma^2)	\log\mathcal{N}(a^k_t;\mu(a^{k+1}_t,\varepsilon_\theta(\cdot)),\sigma^2_{k+1})
ratio	\pi_\theta(a_t\mid s_t)/\pi_{\theta_{\rm old}}(\cdot)	\bar\pi_\theta(\bar a_{\bar t}\mid\bar s_{\bar t})/\bar\pi_{\theta_{\rm old}}(\cdot)
서로게이트	\min(\hat A r,\ \hat A\,\mathrm{clip}(r,1\pm\epsilon))	완전히 동일한 형태 (식 A3)
보상 밀도	매 스텝	K스텝마다 1회 (k=0)
어드밴티지	GAE(\gamma, \lambda)	GAE를 k=0에서만 → \gamma_{\rm DENOISE}^k로 각 k에 배분
가치 입력	s_t	s_t (설계상 a^1_t를 버림)
탐색 노이즈	학습되는 \sigma_{\rm Gau}, 최종 행동에 1회	스케줄된 \sigma_k, K번에 걸쳐 주입
클리핑 \epsilon	스칼라	k에 따라 다름: \epsilon_{k=K-1}=0.1\,\epsilon_{k=0}, 사이는 지수 보간
배치 크기	B	대략 B\times K' (denoising 스텝에 대한 기댓값이 추가됨)

정리하면 PPO의 알고리즘 코어는 손대지 않는다. 달라진 것은 (1) 어떤 MDP 위에서 도느냐, (2) 어드밴티지를 두 축에 어떻게 나눠 주느냐, (3) 탐색 노이즈가 어디서 오느냐 세 가지다.

8단계 — 논문이 권장하는 실무 처방 (§4.3)

논문이 실제로 권장한 것만 옮긴다.

① 마지막 K' 스텝만 파인튜닝하라. DP는 흔히 K=100까지 쓴다. 전부 파인튜닝할 필요가 없다 — 사전학습 가중치 \theta는 얼려서 초기 denoising에 쓰고, 복사본 \theta_{\rm FT}를 만들어 마지막 K' 스텝에만 적용하고 DPPO로 갱신한다. 절제(Fig. A5): K'=3처럼 너무 적으면 특히 Can에서 최종 성능·수렴이 나빠지고, K'=10이 벽시계 기준 전반적으로 최적이었다. GPU 메모리는 K'에 선형으로 는다. §5.3 실험의 실제 설정은 “상태 입력: K=20 사전학습 → 마지막 10스텝 파인튜닝”.

파인튜닝할 denoising 스텝 수 K'(Fig. A5) — 가로축이 벽시계 시간이라는 점이 중요하다. 개별 run이 그려져 있다.

② 또는 DDIM으로 갈아타라. DDIM은 샘플링 스텝을 K^{\rm DDIM}\ll K로(논문 표현으로 as few as 5) 줄인다. 다만 DDIM은 보통 \eta=0의 결정적 샘플러인데, 그러면 (a) 탐색 노이즈가 없고 (b) Dirac 분포의 likelihood를 계산해야 해서 곤란하다. 그래서 학습에는 \eta=1(DDPM과 등가), 평가에는 \eta=0을 쓴다. 픽셀 기반 실험과 Furniture-Bench 장기 지평 태스크에 이 경로를 썼다(픽셀: K=100 사전학습 → 5 DDIM 스텝 파인튜닝).

③ 노이즈 스케줄을 두 곳에서 클리핑하라. cosine 스케줄의 \sigma_k는 k=0에서 10^{-4} 수준까지 떨어지는데, DPPO에서 \sigma_k는 곧 탐색 노이즈다. 그래서 - 샘플링용으로 \sigma_k를 최소 \sigma^{\rm exp}_{\min}(예: 0.01~0.1)로 올려 클리핑 → 탐색 확보 - likelihood \log\bar\pi_\theta 계산용으로는 별도로 \sigma^{\rm prob}_{\min}\ge 0.1로 클리핑 → log-likelihood가 폭주하는 것을 막아 학습 안정화

절제(Fig. A4): Can에서는 \sigma^{\rm exp}_{\min} 선택이 영향이 없지만 Square에서는 0.1이어야 정책 붕괴를 막는다. “너무 적은 탐색”과 “너무 큰 행동 노이즈” 사이에 스위트 스팟이 있다는 것이 요약 결론(§5.5)이다.

④ 네트워크: MLP가 기본, UNet은 T_a<T_p가 필요할 때. MLP는 설정이 단순하고 DPPO에서 더 안정적으로 파인튜닝된다. UNet은 a^k_t에만 합성곱을 적용하므로 T_a<T_p(예: T_p=16, T_a=8) 파인튜닝이 가능하다 — 완전연결 MLP로는 T_a<T_p가 학습 불안정을 낳았다(각주 5). 저자들의 권장 조합은 “큰 T_p로 사전학습(예측이 좋아진다) + 작은 T_a로 파인튜닝(PG에 유리하다)”. 대가: UNet은 MLP보다 평균 49% 느리다(Table A3).

⑤ 클리핑 계수는 clipping fraction 10~20%를 목표로 맞춰라. \epsilon\in\{0.1,0.01,0.001\}을 훑어 배치 내 클리핑 비율이 10~20%가 되는 가장 큰 값을 고른다. 추가로 초기 denoising 스텝에 더 큰 \epsilon을 주면 조작 태스크에서 안정성이 좋아진다: \epsilon_{k=K-1}=0.1\,\epsilon_{k=0}에 사이는 지수 스케줄.

⑥ 배치를 키워라. 그래디언트가 환경 스텝과 denoising 스텝 양쪽에 대한 기댓값이므로, 대략 가우시안 학습 배치 × 파인튜닝 스텝 수를 쓴다. 단 Robomimic에서는 가우시안과 비슷한 작은 배치가 오히려 샘플 효율을 크게 올리는 경likelihood 관찰됐다(부록 B).

참고로 REFINE-DP는 이 처방들을 휴머노이드 로코마니퓰레이션으로 옮기면서 K=100 중 마지막 5스텝만 파인튜닝하고 어드밴티지 분위수 클리핑을 추가했다 — DPPO 원논문에는 분위수 클리핑이 없고, ①·⑤의 조합을 그 논문 나름대로 변형한 것이다.

9단계 — 실험

평가 축이 네 개다. (1) diffusion 정책을 파인튜닝하는 다른 RL, (2) 다른 demo-augmented RL, (3) 다른 정책 파라미터화 + PPO, (4) 장기 지평 + 실기. 벤치마크 결과와 실기 결과는 성격이 아주 다르므로 구분해서 읽어야 한다.

환경 요약.

벤치마크	태스크	사전학습 데이터	보상	T_a
OpenAI Gym	Hopper-v2 / Walker2D-v2 / HalfCheetah-v2	D4RL medium 전체	dense	4
Franka-Kitchen	Complete / Partial / Mixed (D4RL)	D4RL 3종	sparse	4
Robomimic	Lift / Can / Square / Transport	MH(주) 또는 PH, 상태 300 / 픽셀 100 데모	sparse (완료 시 1)	4 (Transport 8)
D3IL Avoid	M1 / M2 / M3 (각 2모드)	전문가 시연 부분집합	sparse (최상단 모드로 골 도달)	4
Furniture-Bench	One-leg / Lamp / Round-table, Low·Med 랜덤성	시뮬 내 사람 시연 50개	sparse (단계 완료)	8

장기 지평 태스크(Fig. 4) — 왼쪽 Robomimic Transport(양팔), 오른쪽 Furniture-Bench의 One-leg·Lamp·Round-table.

(1) diffusion 기반 RL과의 비교 (Fig. 5). 상대는 DRWR·DAWR(저자들이 만든 RWR/AWR의 diffusion판), DIPO·IDQL·DQL·QSM(기존 연구). Gym에서는 IDQL과 DIPO가 경쟁력 있고 DPPO는 “가장 잘하는” 쪽이라기보단 가장 흔들리지 않는 쪽이다(Hopper에서는 DQL·IDQL이 더 높은 리턴에 도달한다 — 이건 정직하게 적어 두는 게 맞다). 갈리는 곳은 Robomimic이다: Square에서 DPPO가 1.0에 먼저 도달하고, Transport에서는 DPPO ≈0.94 대 나머지 전부 ≲0.1로 벌어진다.

diffusion 기반 RL 비교(Fig. 5) — 위 Gym(5시드), 아래 Robomimic 상태 입력(3시드). Transport 패널의 격차가 이 논문의 대표 그림이다.

(2) demo-augmented RL과의 비교 (Fig. 6). RLPD·Cal-QL·IBRL은 전문가 데이터를 리플레이 버퍼에 섞는 off-policy 계열이라 샘플 효율이 훨씬 좋다 — HalfCheetah-v2에서 DPPO를 크게 앞선다. 저자들도 이걸 숨기지 않는다. 반면 Franka-Kitchen에서 RLPD·IBRL은 특히 노이즈 많은 Partial·Mixed에서 잘 못 배우고, Cal-QL은 경쟁력 있지만 Complete에서 DPPO가 앞선다. Robomimic(PH/MH)에서는 RLPD·Cal-QL이 아예 학습에 실패하고 IBRL은 낮은 수준에서 포화한다. 다만 이 비교엔 조건이 붙는다 — 베이스라인은 병렬 환경을 잘 활용하지 못해 벽시계가 훨씬 느리고, 그래서 저자들이 Robomimic에서 샘플 수를 1e6에서 잘랐다(성능이 포화했다는 근거를 붙였지만, 잘린 비교라는 점은 알고 읽어야 한다).

또한 저자들은 DPPO가 파인튜닝 중 전문가 데이터를 전혀 쓰지 않기 때문에 사전학습 성능에 민감하다고 스스로 밝힌다 — Kitchen-Partial/Mixed의 불완전한 시연은 diffusion으로도 다중 모드를 다 못 잡아 DPPO가 (거의) 완벽한 파인튜닝에 도달하지 못했다.

(3) 다른 정책 파라미터화와의 비교 (Fig. 7). 같은 PPO 목적함수로 가우시안(대각 공분산)·GMM을 MLP/Transformer 백본으로 파인튜닝한 것과 비교한다. 상태 입력에서 Square·Transport 모두 DPPO(MLP·UNet)가 앞서고 Transport에서 >90%. 픽셀 입력(ViT 인코더 + MLP 헤드)에서는 Square가 DPPO ≈0.88 대 가우시안 ≈0.42, Transport는 DPPO ≈0.92 대 가우시안 0.00(사전학습 0%에서 전혀 못 벗어난다). GMM은 상태에서도 성능이 나빠 픽셀 비교에서 제외됐다.

정책 파라미터화 비교(Fig. 7) — 왼쪽 2패널 상태 입력, 오른쪽 2패널 픽셀 입력. Transport-Pixel에서 가우시안(파랑)은 바닥에 붙어 있다.

(4) Furniture-Bench와 sim-to-real (Fig. 8). 시뮬에서 DPPO-UNet은 6개 설정 전부에서 개선되는 반면 Gaussian-MLP는 Med 랜덤성 3개 태스크 전부와 Round-table Low에서 0으로 붕괴한다(Lamp의 한 시드만 예외). 눈여겨볼 예외: Lamp-Low에서는 가우시안이 DPPO보다 높다 — 저자들은 이를 “on-manifold 탐색이 오히려 방해가 되는 경우”로 §6에서 해석한다.

실기(One-leg, zero-shot, 20 trials, 10 Hz):

정책	Sim	Real
Diffusion, 사전학습만	0.47	0.60
Gaussian, 사전학습만	0.45	0.30
Diffusion + DPPO	0.87	0.80 (16/20)
Gaussian + PPO	0.88	0.00
Gaussian + PPO + BC 보조손실	0.53	0.50

Furniture-Bench(Fig. 8) — 위: 시뮬 학습 곡선(3시드). 아래: One-leg 실기 zero-shot 막대(값은 그림에 인쇄된 라벨을 그대로 옮겼다). “Sim 0.88 / Real 0.00”이 가우시안 파인튜닝의 결말이다.

이 표의 세 번째·네 번째 행이 이 논문에서 가장 강한 주장이다. 시뮬 성능은 사실상 같은데(0.87 vs 0.88) 실기에서 0.80 vs 0.00으로 갈린다. 보충 영상에서 가우시안 정책은 “volatile and jittery” 거동을 보인다고 서술돼 있다. BC 보조 손실로 베이스 정책 근처에 묶어 두면 실기는 살아나지만(0.50) 파인튜닝 자체가 제한돼 시뮬이 0.53으로 주저앉는다 — “실기 안정성”과 “파인튜닝 자유도”를 맞바꾸는 흔한 처방의 한계를 잘 보여주는 대조군이다.

실기 정성 비교(Fig. 9) — (B) 사전학습 정책은 정렬이 안 된 채로 다리를 눌러 넘어뜨린다. (D) DPPO 파인튜닝 정책은 정렬이 어긋나면 놓기 전에 위치를 교정한다. 파인튜닝이 만든 것이 “빠름”이 아니라 “교정 행동”이라는 점이 요지.

10단계 — 왜 DPPO가 잘 되는가 (§6, 이 논문의 재미)

DPPO는 더 긴 MDP를 푸는데 더 잘한다. 이건 그 자체로 설명이 필요한 현상이고, §6이 그 설명을 시도한다. 무대는 D3IL의 Avoid — 장애물을 피해 반대편 골 라인에 닿는 2D 태스크로, 시연 부분집합 M1·M2·M3 각각이 두 개의 모드를 담는다. 모드가 둘뿐이라 가우시안·GMM도 데이터 분포를 꽤 잘 맞출 수 있고, 그래서 공정한 비교가 된다.

D3IL Avoid와 탐색 비교(Fig. 10) — 파인튜닝 첫 이터레이션의 샘플 궤적. DPPO는 시연 매니폴드 주변을 넓게 훑고, 가우시안은 (특히 M2에서) 구조 없는 노이즈를 뿌리며, GMM은 커버리지가 좁다.

이유 1 — 구조화된, 매니폴드 위의 탐색. 가우시안 정책은 최종 행동에만 한 번 노이즈를 더한다. diffusion은 K번에 걸쳐 노이즈를 더하는데, 각 denoising 스텝이 노이즈로 커버리지를 넓히면서 동시에 새로 denoise된 행동을 전문가 데이터 매니폴드 쪽으로 되민다. 게다가 노이즈가 action chunk에 걸리므로 확률성이 행동 차원과 시간 지평 양쪽으로 구조화된다. Fig. 10의 M2 패널이 이 차이를 가장 잘 보여준다. 정량 확인은 두 갈래다 — Fig. A8(충분한 K'를 파인튜닝하면 DPPO가 가우시안·GMM보다 효율이 높다)과 부록 C.7의 절제(Fig. A11: DDIM으로 마지막 스텝에만 노이즈를 주면 궤적이 특히 M3에서 덜 구조적이 되고, Can·Square에서 수렴이 느려진다). 즉 “diffusion이라서” 좋은 게 아니라 “중간 스텝에 노이즈가 들어가서” 좋다는 것이 절제로 분리된다.

저자들은 이 성질의 한계도 같이 적는다: 공격적이고 비구조적인 탐색이 필요한 상황에서는 on-manifold 탐색이 오히려 방해가 될 수 있고, Lamp-Low에서 DPPO가 가우시안에 근소하게 뒤진 것을 그 예로 추측한다. 또 from-scratch에서는 가우시안 대비 딱히 낫지도 나쁘지도 않다(부록 C). 결론: 이 이득은 사전학습이 성공 모드를 충분히 커버할 때 가장 크다 — 그래서 다중 태스크로 사전학습된 큰 DP의 파인튜닝에 특히 어울릴 것이라는 게 저자들의 전망이다.

이유 2 — 다단계 갱신이 만드는 학습 안정성. Fig. 11(왼쪽)은 파인튜닝 도중 실행 행동에 노이즈를 점점 키워 넣는 스트레스 테스트다. 가우시안·GMM은 리워드가 붕괴한 뒤 잘 회복하지 못하는 반면(≈35~47에서 정체), DPPO는 denoising 스텝을 최소 4개만 써도 ≈95까지 회복한다(K=2,3은 회복이 느리다). Fig. 11(오른쪽)은 청크 길이를 키운 것으로, T_a=16까지도 DPPO는 개선되지만 가우시안·GMM은 아예 개선하지 못하는 경우가 생긴다. 이 성질 덕분에 저자들은 불완전한 저수준 컨트롤러를 흉내 내는 큰 행동 노이즈를 학습 중에 주입할 수 있었고, 그것이 §5.4의 sim-to-real 전이로 이어진다.

학습 안정성(Fig. 11) — 왼쪽: 학습 중 행동 노이즈 주입. K\ge4의 DPPO만 회복한다. 오른쪽: 청크 길이 T_a 변화(5시드, 표준편차 미표시).

왜 다단계가 완충이 되는가. Fig. 12가 답을 그림으로 보여준다. 파인튜닝이 진행돼도 행동 분포는 denoising 스텝을 따라 점진적으로 좁아지는 형태를 유지한다 — 첫 파인튜닝 스텝에서 최적 행동으로 “붕괴”하지도, 마지막 스텝에 몰리지도 않는다. 즉 갱신이 K개의 작은 갱신으로 분산되고, 반복적 정련(iterative refinement) 구조 자체가 보존된다. 저자들은 이것을 안정성의 원인으로 추정한다(“we postulate”).

반복적 정련의 보존(Fig. 12) — 분기점에서 뽑은 50개 궤적의 2D 행동. 가로축이 denoising 스텝(k=9\to0), 세로축이 파인튜닝 이터레이션. 오른쪽 끝 가우시안·GMM과 달리 DPPO는 “점점 좁아지는” 사슬 구조를 끝까지 유지한다.

이유 3 — 파인튜닝된 정책이 강건하다. Fig. 13에서는 학습 때는 노이즈를 주지 않고 완성된 정책에 노이즈를 준다. DPPO 정책은 가우시안보다 훨씬 잘 버티고, 더 넓은 초기 상태 분포에서도 (거의) 최적 경로로 수렴한다. 저자들은 Block et al.의 이론 — 복잡한 다중 모드 분포를 표현할 수 있는 DP는 노이즈 낀 상태를 디컨볼루션할 수 있다 — 을 근거로 든다. 이것이 §5.4에서 시뮬 성능이 같은데 실기만 갈린 이유에 대한 저자들의 가설이다.

파인튜닝 후 정책 강건성(Fig. 13) — 초록 점/박스가 초기 상태 영역. 학습 중엔 노이즈를 주지 않았다.

비판적으로 보면

강점

문제 정의가 한 문장이고, 해법이 그 문장에 정확히 대응한다. “likelihood가 없다” → “likelihood가 있는 층으로 옮긴다”. 군더더기가 없고, 그래서 다른 도메인으로 옮기기도 쉽다.
정공법을 직접 구현해서 비교했다. 부록 C.6의 확률 흐름 ODE 기반 정확 likelihood PG는 이 논문이 굳이 안 해도 되는 실험이었다. 그걸 해서 “정확한 likelihood가 오히려 나쁘다”를 보인 것은 프레임 선택의 정당화로서 값이 크다.
절제가 처방으로 이어진다. K', \gamma_{\rm DENOISE}, \sigma^{\rm exp}_{\min}, 가치 입력, 클리핑 스케줄 — 각 절제가 “그래서 이렇게 쓰라”로 끝난다. 재현하는 사람에게 실제로 도움이 되는 형태다. 게다가 K'와 \gamma_{\rm DENOISE}가 같은 축의 하드/소프트 버전이라는 관찰은 하이퍼파라미터 공간을 이해 가능하게 줄여 준다.
약점을 스스로 적었다. off-policy 대비 샘플 효율이 낮다는 것, Kitchen-Partial/Mixed에서 사전학습 품질에 민감하다는 것, Lamp-Low에서 가우시안에 뒤진다는 것, from-scratch에서 딱히 낫지 않다는 것 — 홍보성 서술이 아니다.
sim-to-real 대조가 인상적이다. “sim 0.88 / real 0.00”이라는 대조군은 시뮬 벤치마크 수치만 보고 방법을 고르는 관행에 대한 좋은 반례다.

약점·한계

계산 비용이 구조적이다. 유효 지평이 K'배 늘고 GPU 메모리도 K'에 선형으로 는다. 상태 입력에서 가우시안/GMM PG 대비 평균 21~24% 느리고, UNet을 쓰면 MLP보다 49% 더 느리다. from-scratch에서는 가우시안 대비 약 6× 벽시계가 든다(부록 C.3). K'·DDIM으로 완화하는 것이지 없애는 것이 아니다.
하이퍼파라미터가 늘었고, 일부는 태스크마다 다시 잡아야 한다. 기존 PPO 하이퍼파라미터에 더해 K', \gamma_{\rm DENOISE}, \sigma^{\rm exp}_{\min}, \sigma^{\rm prob}_{\min}, \epsilon_k 지수 스케줄, 큰 배치가 붙는다. 그리고 절제가 보여주듯 좋은 값이 태스크마다 다르다 — \gamma_{\rm DENOISE}는 Hopper/HalfCheetah에서 0.8, Square에서는 0.5가 낫고, \sigma^{\rm exp}_{\min}은 Can에서는 무관하지만 Square에서는 0.1이 아니면 정책이 붕괴한다. “\epsilon은 clipping fraction 10~20%를 보고 고르라”는 처방은 실용적이지만, 뒤집어 말하면 태스크마다 훑어야 한다는 뜻이다.
on-policy라 샘플이 많이 든다. 저자들이 명시한 main limitation. Fig. 5·7의 가로축이 10^7~10^9 환경 스텝이다. 실기 RL에는 그대로 못 쓰고, 이 논문의 실기 결과가 zero-shot sim-to-real인 것도 그래서다(실기 파인튜닝이 아니다). 병렬 시뮬레이터가 없는 문제에는 적용이 어렵다.
안 되는 조건이 실험적으로 확인된다. ① 사전학습이 성공 모드를 못 덮으면(Kitchen-Partial/Mixed) 파인튜닝 상한이 낮다. ② 공격적·비구조적 탐색이 필요하면 on-manifold 탐색이 되레 발목을 잡는다(Lamp-Low). ③ from-scratch면 이점이 없다. ④ 노이즈 클리핑이 낮으면 붕괴한다. 즉 DPPO는 “좋은 사전학습 + 병렬 시뮬 + 희소 보상 조작”이라는 꽤 특정한 조합에서 빛나는 도구다.
§6의 설명은 가설이지 증명이 아니다. 저자들 본인이 “conjecture”·“postulate”·“we believe”를 반복해서 쓴다. 특히 이유 3(강건성)은 Block et al.의 이론을 원용할 뿐 이 세팅에서 유도한 것이 아니다. 매력적인 서사이지만 근거의 강도는 Fig. 10·11·12·13의 관찰 수준이고, 실험 무대도 대부분 2모드 2D 태스크(D3IL Avoid)다.
비교의 공정성에 붙는 조건들. demo-augmented RL 비교에서 베이스라인 샘플 수를 1e6에서 잘랐다(포화 근거는 붙였다). Gym 결과는 명확한 승리가 아니다 — Hopper에서 DQL·IDQL이 더 높이 간다. 대표 그림인 Transport의 격차는 진짜지만, “모든 곳에서 이긴다”로 읽으면 논문이 실제로 주장한 것보다 넓게 읽는 것이다.
평가 프로토콜의 세부가 결과를 만든다. 성공률 곡선은 \sigma^{\rm exp}_{\min}=0.001(=추가 노이즈 없음)로 50 에피소드 평가한 값이다. 학습 시 탐색 노이즈와 평가 시 노이즈가 다르다는 뜻인데, 이 갭이 결과에 얼마나 기여하는지는 따로 분석되지 않았다. 실기는 20 trials뿐이라 0.80과 0.88의 차이는 통계적으로 구분되지 않는다(신뢰구간이 보고되지 않았다).

요약

DPPO의 기여는 새 알고리즘이 아니라 새 좌표계다. PPO는 그대로 쓰고, MDP를 바꿨다. denoising 사슬을 환경 MDP 안에 펼쳐 넣는 순간 “likelihood가 없다”는 장벽이 사라지고, 그 대가로 유효 지평이 K배 길어진다. 논문의 절반은 그 대가를 감당 가능하게 만드는 처방(K'만 파인튜닝, DDIM, 노이즈 클리핑, 상태만 보는 가치함수, k별 클리핑 계수)이고, 나머지 절반은 그 대가를 치를 만한 값어치가 있는지에 대한 답이다.

값어치의 증거는 두 가지 성격으로 나뉜다. 벤치마크 쪽에서는 Robomimic Transport를 상태·픽셀 양쪽에서 90%대로 푼 것이 가장 뚜렷하고, 실기 쪽에서는 시뮬 성능이 사실상 같은 두 정책이 실기에서 0.80 대 0.00으로 갈린 것이 가장 뚜렷하다. 그리고 §6은 그 갈림을 “diffusion 파라미터화가 탐색을 데이터 매니폴드 근처로 구조화하고, 갱신을 K개로 분산시켜 붕괴를 막는다”로 설명한다 — 설득력은 있지만 아직 가설이고, 무대가 2모드 2D 태스크라는 한계가 있다.

PPO만 알고 이 논문을 읽는 독자에게 남길 한 문장은 이것이다. “정책의 likelihood를 못 구하겠으면, likelihood가 구해지는 단위로 결정을 쪼개고 그 쪼갠 것들을 MDP의 스텝으로 승격시켜라.” 이건 diffusion에만 해당하는 트릭이 아니다 — 저자들이 논문 서두에서 언어 모델·분자 설계·다중 턴 이미지 생성을 잠재 응용으로 든 이유이기도 하다.