📃D²PPO 리뷰

D²PPO: Diffusion Policy Policy Optimization with Dispersive Loss

• Paper Link (arXiv:2508.02644) — 이 리뷰는 v1 (2025-08-04) 을 기준으로 읽었다. arXiv에 올라온 판본은 v1 하나뿐이고, 저자 페이지 기준 AAAI 2026 채택본이다.

• Project Page

• Code Link — MIT. DPPO 공식 구현의 포크에 dispersive loss를 얹은 형태다. 이 리뷰의 몇몇 구현 세부는 논문이 아니라 이 레포에서 직접 확인했고, 그럴 때는 파일·라인을 밝혔다.

• Guowei Zou, Weibing Li, Hejun Wu, Yukun Qian, Yuhang Wang, Haitao Wang (Sun Yat-sen University / Guangdong Key Laboratory of Big Data Analysis and Processing)

• AAAI 2026

1. 💡 Diffusion Policy가 복잡한 조작에서 무너지는 원인을 diffusion representation collapse — “의미가 다른데 겉보기가 비슷한 관측들이 은닉층에서 구별 불가능한 특징으로 뭉개지는 현상” — 으로 지목한다.
2. ⚙️ 처방은 사전학습 단계에만 걸리는 한 줄짜리 정규화다: 배치 안의 모든 은닉 표현 쌍을 negative pair로 취급해 서로 밀어내는 dispersive loss \mathcal{L}_{\rm total}=\mathcal{L}_{\rm diff}+\lambda\mathcal{L}_{\rm disp}. 파인튜닝은 DPPO를 그대로 쓴다.
3. 🎯 RoboMimic 4태스크에서 사전학습 평균 +22.7%, 파인튜닝 후 평균 성공률 0.94(Transport 0.60→0.87), 실기 Franka Panda Transport 45%→70% — 다만 아래에서 보듯 이 두 헤드라인 수치는 집계 방식을 알고 봐야 한다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

Diffusion Policy를 RL로 파인튜닝하는 문제는 DPPO가 이미 정리했다. 세 줄 요약: diffusion 정책은 \log\pi_\theta(a\mid s)가 닫힌 형태로 없어 정책 경사를 못 먹인다 → denoising 사슬을 펼쳐 “환경 MDP 안에 diffusion MDP를 중첩한 두 층 MDP”를 만들면 각 denoising 전이가 가우시안이라 likelihood가 해석적으로 나온다 → 그 위에서 평범한 PPO를 한 글자도 안 고치고 돌린다. D²PPO는 이 알고리즘을 전혀 건드리지 않는다. 대신 그 앞 단계, 즉 PPO가 출발하는 사전학습 체크포인트의 품질을 문제 삼는다.

저자들의 관찰은 이렇다. Diffusion Policy의 학습 목적은 노이즈 재구성 손실 \|\epsilon-\epsilon_\theta\|^2 하나뿐이고, 이 손실은 denoising 정확도만 최적화할 뿐 중간 특징의 다양성에는 아무 압력을 주지 않는다. 그 결과 의미상 다른 관측들이 은닉층에서 거의 같은 임베딩으로 눌려 붙고(“diffusion representation collapse”), 정책은 밀리미터 차이가 반대 방향의 행동을 요구하는 정밀 조작에서 평균화된 행동을 뱉으며 실패한다. 처방은 대조학습에서 빌려오되 positive pair를 없앤 버전이다 — 배치 안의 모든 쌍을 negative로 보고 서로 밀어내기만 한다.

문제 정의(Fig. 1) — (a) 비슷해 보이는 관측들이 같은 특징으로 매핑돼 잘못된 파지로 이어진다. (b,d) 은닉 특징 클러스터링, (c,e) Transport 파인튜닝 곡선. 단, (b)와 (d)를 눈으로 비교해 보라 — “collapse”라는 (b)가 오히려 색깔별로 잘 갈린 군집이고, “고쳐진” (d)는 구조 없이 균일하게 흩뿌려진 구름이다. 이 불일치는 Ring의 비판 절에서 다시 다룬다.

핵심 방법론:

출발점은 InfoNCE를 두 항으로 쪼개는 것이다. 온도 \tau, 거리 함수 \mathcal{D}에 대해

\mathcal{L}_{\rm InfoNCE}=\underbrace{\frac{\mathcal{D}(z_i,z_i^{+})}{\tau}}_{\text{정렬(alignment)}}+\underbrace{\log\sum_j\exp\!\Big(-\frac{\mathcal{D}(z_i,z_j)}{\tau}\Big)}_{\text{분산(dispersion)}}

첫 항은 positive pair를 끌어당기고 둘째 항은 모든 샘플을 밀어낸다. positive pair를 만들려면 증강·외부 인코더·추가 사전학습이 필요하다. Dispersive loss(Wang & He, 2025)의 착상은 첫 항을 통째로 버리는 것이다:

\mathcal{L}_{\rm Disp}=\log\mathbb{E}_{i,j}\Big[\exp\Big(-\frac{\mathcal{D}(h_i,h_j)}{\tau}\Big)\Big]

h_i는 denoising MLP의 중간층에서 forward hook으로 뽑은 은닉 표현이고, 기대값은 미니배치 B개 샘플의 모든 쌍 (i,j)에 대해 취한다. 거리 \mathcal{D}를 무엇으로 두느냐에 따라 세 변형이 있다 — 제곱 \ell_2(InfoNCE-L2), 코사인 비유사도 1-\cos(InfoNCE-Cosine), 그리고 마진 \epsilon의 힌지 \mathbb{E}_{i,j}[\max(0,\epsilon-\mathcal{D}(h_i,h_j))^2].

이걸 사전학습 목적에 그냥 더한다. 이게 방법의 전부다:

\mathcal{L}^{\text{pre-train}}_{\rm D^2PPO}=\mathcal{L}_{\rm diff}+\lambda\,\mathcal{L}_{\rm disp},\qquad \lambda=0.5,\ \tau=0.5

2단계(파인튜닝)는 DPPO의 목적함수를 그대로 쓴다. denoising 스텝 부분집합 \mathcal{S}를 중요도 샘플링하는 형태로 적혀 있고, dispersive 항은 여기 없다:

\mathcal{L}^{\rm D^2PPO}(\theta)=\mathbb{E}_t\Big[\sum_{k\in\mathcal{S}}\frac{K}{|\mathcal{S}|p(k)}\min\big(r_t^{(k)}\hat A_t^{(k)},\ \mathrm{clip}(r_t^{(k)},1-\epsilon,1+\epsilon)\hat A_t^{(k)}\big)\Big]

주요 결과:

• 사전학습 (Fig. 3a, DPPO 사전학습 체크포인트 대비): Lift 0.87→0.90(+3.4%), Can 0.612→0.733(+19.8%), Square 0.40→0.525(+31.3%), Transport 0.367→0.50(+36.2%). 이 네 상대개선의 평균이 초록의 22.7%다.
• 파인튜닝 후 (Table 2): D²PPO 1.00 / 1.00 / 0.89 / 0.87 (Lift/Can/Square/Transport), 평균 0.94 — DPPO는 1.00 / 1.00 / 0.83 / 0.60(평균 0.86), DiffusionPolicy-C는 0.97 / 0.96 / 0.82 / 0.46(평균 0.80).
• 실기 (Fig. 10, Franka Emika Panda, Transport): Gaussian 0% → DPPO 45% → D²PPO 70%. 논문이 정량 수치를 제시한 실기 태스크는 Transport 하나뿐이고, 나머지 세 태스크는 Fig. 6의 정성적 롤아웃 스트립뿐이다. 시행 횟수는 어디에도 적혀 있지 않다.
• 층 선택 (Fig. 3d): 쉬운 태스크는 early layer, 어려운 태스크는 late layer가 유리하다는 게 논문의 핵심 경험칙. L2-Late는 Square +31.3% / Transport +36.2%지만 Can에서는 −4.7%다.

결론:

방법론적으로는 아주 작은 논문이다 — 손실 항 하나, 하이퍼파라미터 둘(\lambda,\tau), 그리고 “어느 층에 걸 것인가”라는 선택 하나. DPPO 파이프라인에 코드 몇 줄로 얹히고 추가 파라미터도 외부 데이터도 없다. 그리고 그 작은 변화가 Transport처럼 어려운 태스크에서만 크게 작동한다는 것이 실증적 메시지다. 다만 “representation collapse”라는 진단이 정량적으로 측정된 적이 없고, 헤드라인 수치가 변형 5개에 대한 사후 최댓값 평균이라는 점은 Ring에서 자세히 뜯어볼 필요가 있다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

RL 파인튜닝 알고리즘을 개선하는 대신, 그 알고리즘이 출발하는 사전학습 체크포인트의 “표현 다양성”에 정규화를 걸어 어려운 태스크의 상한을 올린 논문이다.

DPPO가 “likelihood 없는 정책 위에서 PPO를 돌리는 법”이라는 알고리즘 문제를 풀었다면, D²PPO는 그 알고리즘을 그대로 두고 초기화 문제를 건드린다. 논문의 실험 구조 자체가 이 주장을 반영한다 — 사전학습 성능(Fig. 3), 파인튜닝 성능(Fig. 5, Table 2), 실기(Fig. 6, Fig. 10)의 3단 구성이고, 저자들이 반복해서 말하는 것은 “사전학습에서 벌어둔 격차가 파인튜닝에서 증폭된다”는 것이다. Transport에서 사전학습 격차 36.7%→50%(+13.3%p)가 파인튜닝 후 60%→87%(+27%p)로 벌어지는 그림이 그 근거다.

배경 — 왜 재구성 손실만으로는 부족한가

Diffusion Policy(Chi et al., 2023)의 학습은 놀랍도록 단순하다. 깨끗한 행동 a^0에 노이즈를 섞어 a^k=\sqrt{\bar\alpha_k}a^0+\sqrt{1-\bar\alpha_k}\epsilon를 만들고, 네트워크가 그 \epsilon를 맞히게 한다. 목적함수는 \mathcal{L}_{\rm diff}=\|\epsilon-\epsilon_\theta(a^k,s,k)\|_2^2 하나다.

이 손실이 출력에 대해서만 정의된다는 점이 논문의 출발점이다. 중간층 표현 h_i가 어떻게 배치되든, 최종 노이즈 예측만 맞으면 손실은 줄어든다. 저자들의 주장은: 조작 태스크의 관측 분포는 시각적으로 대단히 중복적이라(같은 장면, 몇 mm 차이의 그리퍼 위치) 재구성만 좇으면 네트워크가 그 미세 차이를 표현할 이유가 없고, 결국 은닉층이 그것들을 한 점으로 뭉갠다는 것이다. 그리고 물리적 조작에서는 바로 그 몇 mm가 반대 방향의 행동을 요구한다.

논문 Appendix A는 이를 두 갈래로 설명한다. ① 상호정보 관점 — 복잡한 태스크일수록 관측과 최적 행동 사이의 상호정보가 커야 하니 더 다양한 내부 표현이 필요하다. ② 정밀도 관점 — “end-effector 위치가 겨우 몇 밀리미터 다른 두 구성이 정반대의 운동 방향을 요구할 수 있다.”

⚠️ 논조의 등급을 매겨 두자. 저자들은 이 설명을 정리·정리증명으로 제시하지 않는다. Appendix A의 문장은 전부 “can be understood through…”(두 번), “may require”, “suggests that” 형태이고, 본문의 대응 문장은 “validating our hypothesis that representation quality becomes increasingly critical”이다. 즉 메커니즘 설명은 저자 자신도 가설로 제시하며, 이론적 보증은 없다. 논문에 “theorem”도 “proof”도 없다(Appendix B는 유도가 아니라 DPPO 수식의 재기술과 기호표에 가깝다).

방법 ① — dispersive loss의 정확한 형태

InfoNCE를 다시 보자.

\mathcal{L}_{\rm InfoNCE}=\frac{\mathcal{D}(z_i,z_i^{+})}{\tau}+\log\sum_j\exp\Big(-\frac{\mathcal{D}(z_i,z_j)}{\tau}\Big)

대조학습의 두 힘 — 정렬(alignment) 과 균일성(uniformity) — 이 각각 첫 항, 둘째 항이다(논문은 Wang & Isola 2020을 인용하며 이 프레이밍을 쓴다). positive pair z_i^+를 만들려면 데이터 증강이나 외부 인코더(REPA는 DINOv2를 쓴다)가 필요하고, 그건 diffusion policy 학습에 추가 단계·파라미터·데이터를 강요한다. Dispersive loss는 첫 항을 지운다. 남는 것은 균일성 항뿐이고, 이는 “hyperspherical energy 최소화” 계열의 정규화와 같은 자리에 놓인다.

\mathcal{L}_{\rm disp}^{\text{InfoNCE-L2}}=\log\mathbb{E}_{i,j}\Big[\exp\Big(-\frac{\|h_i-h_j\|_2^2}{\tau}\Big)\Big],\qquad \mathcal{L}_{\rm disp}^{\text{InfoNCE-Cos}}=\log\mathbb{E}_{i,j}\Big[\exp\Big(-\frac{1-\frac{h_i^{\!\top}h_j}{\|h_i\|_2\|h_j\|_2}}{\tau}\Big)\Big]

\mathcal{L}_{\rm disp}^{\text{Hinge}}=\mathbb{E}_{i,j}\big[\max(0,\ \epsilon-\mathcal{D}(h_i,h_j))^2\big]

세 식 모두 i=j인 대각 항을 빼지 않는다(Algorithm 1도, 코드도 \frac{1}{B^2}\sum_{i,j}이다). 자기 자신과의 거리는 0이므로 \exp(0)=1이 항상 섞여 들어가고, 이는 배치 크기가 클수록 상수에 가까워지는 바닥값 역할을 한다. 큰 문제는 아니지만 식이 순수한 “negative pair 평균”은 아니라는 점은 짚어둘 만하다.

어느 층에 거는가. 논문 본문(Appendix D 첫 문단)은 early를 “첫 은닉층”, late를 “최종 출력 직전”이라고 서술하지만, 같은 부록 뒷부분에서는 “첫 1/4 / 마지막 1/4”이라고 쓴다. 공개 코드가 후자를 지지한다 — model/diffusion/diffusion.py에서 hook을 거는 인덱스는 각각 len(layers)//4, len(layers)//2, 3*len(layers)//4이다. 백본은 [768, 768, 768] residual MLP이고, ViT 인코더(patch 8, depth 1, embed dim 128)가 96×96 이미지를 처리한다. 추출된 표현은 global average pooling으로 차원을 맞춘 뒤 쌍거리를 계산한다.

언제 계산되는가. 논문 Eq. 7은 \mathcal{L}_{\rm disp}=\frac{1}{K}\sum_{k=1}^{K}\mathcal{L}_{\rm disp}^{\rm variant}(\mathbf{H}_k) — 모든 denoising 스텝에 대해 평균한다고 적었다. 그런데 Algorithm 1의 7행은 배치의 각 샘플마다 k\sim\mathcal{U}(1,K)를 하나씩 뽑고, 코드도 그렇게 한다(loss()가 단일 t로 get_intermediate_representations를 부른다). 즉 실제로 계산되는 것은 “K개 타임스텝의 평균”이 아니라 서로 다른 k를 가진 샘플들이 섞인 하나의 배치 위에서의 분산 손실이다. 이건 사소한 표기 차이가 아니다 — 밀어내는 쌍 중 상당수가 “다른 관측”이 아니라 “같은 관측의 다른 노이즈 레벨”일 수 있다는 뜻이고, 그렇다면 이 정규화가 실제로 무엇을 분리하고 있는지가 논문의 서사(관측 간 구별)와 어긋난다.

방법 ② — DPPO와의 접합부

프레임워크(Fig. 2) — 왼쪽: ViT 인코더 + denoising MLP의 중간층에 dispersive loss(원 안의 빨간 화살표 = 서로 밀어내는 배치 내 쌍)를 걸고 diffusion loss와 함께 최적화. 오른쪽 위: action diffusion. 오른쪽 아래: DPPO의 두 층 MDP를 그대로 가져온 파인튜닝 — 환경 스텝 t 안에 denoising 스텝 a_t^K\!\to\!\cdots\!\to\!a_t^0이 중첩되고 보상 R_t는 a_t^0에서만 발생한다.

이 그림의 오른쪽 아래는 DPPO 리뷰의 Fig. 1과 사실상 같은 그림이다. 파인튜닝 단계에서 D²PPO가 DPPO에 더한 것은 없다. 확인해 보자.

• 목적함수: Eq. 34는 \sum_{k\in\mathcal{S}}\frac{K}{|\mathcal{S}|p(k)}\min(r^{(k)}_t\hat A^{(k)}_t,\ \mathrm{clip}(\cdot)\hat A^{(k)}_t) — dispersive 항이 없다. 어드밴티지는 GAE, 확률비는 두 가우시안의 비 r_t^{(k)}=\exp\!\big(-\frac{1}{2\sigma_k^2}[\|a^{k-1}_t-\mu_\theta\|^2-\|a^{k-1}_t-\mu_{\theta_{\rm old}}\|^2]\big).
• 알고리즘: Algorithm 2 어디에도 \mathcal{L}_{\rm disp}가 등장하지 않는다.
• 코드: 흥미롭게도 레포에는 use_dispersive_loss_rl(기본 False, 가중치 0.1)이 존재해 PG 손실에 dispersive 항을 더할 수 있다(model/diffusion/diffusion_ppo.py:212). 하지만 공개된 cfg/ 어느 파일에서도 켜지지 않는다. 즉 논문이 보고한 결과는 dispersive 항 없는 파인튜닝이 맞다.

따라서 섹션 제목 “Stage 2: Dispersive loss-augmented diffusion policy optimization”과 방법 이름 “D²PPO”는 다소 오해를 부른다. 정확히 말하면 D²PPO = (dispersive 사전학습) + (그냥 DPPO) 이고, 두 D 중 하나는 파인튜닝에 관여하지 않는다.

한 가지 더. Algorithm 2의 25행은 확률비를 r^{(k)}_t(\theta)=\exp(\log\pi_\theta(a^0_t\mid s_t)-\log\pi_{\rm old}(a^0_t\mid s_t))로 적는다. 이건 주변확률 \pi_\theta(a^0\mid s) 인데, 그 값을 못 구한다는 게 DPPO의 출발점이었다. Eq. 35–36(스텝별 p_\theta(a^{k-1}\mid a^k,s)의 비)이 맞고 의사코드가 틀렸다 — 부주의한 옮겨쓰기로 보이지만, DPPO를 모르고 이 논문만 읽는 독자에게는 치명적인 오해를 심는 대목이다.

하이퍼파라미터와 그 민감도

	Lift	Can	Square	Transport
\lambda (Table 5)	0.5	0.5	0.5	0.5
온도 \tau	0.5	0.5	0.5	0.5
층 배치 (Table 5)	Early	Early	Early	Late
사전학습 iter / batch	8000 / 256	8000 / 256	8000 / 256	8000 / 256
denoising K (사전학습→파인튜닝)	100→10	100→10	100→10	100→10
PPO iter × steps	300×300	300×300	300×300	1000×400
PPO clip	0.01	0.01	0.01	0.001

\lambda 민감도는 Square 하나에서만 스윕했다.

\lambda 스윕(Fig. 4) — Square 사전학습 성공률. 빨간 점선이 dispersive 없는 베이스라인(≈0.40). \lambda=0.5에서 정점, \lambda=0.3에서 베이스라인 아래로 내려간다. 그런데 하늘색 오차 밴드가 다섯 지점 모두에서 베이스라인 선을 포함한다.

논문은 이 그림에서 “비단조 관계”와 “\lambda=0.5가 베이스라인 대비 14.3% 개선”을 읽는다. 나는 세 가지를 덧붙이겠다. ① 오차 밴드가 모든 \lambda에서 베이스라인을 덮는다 — 밴드가 무엇인지(표준편차? 시드 간 범위?)도, 몇 번 반복했는지도 적혀 있지 않다. ② \lambda=0.9(≈0.465)가 \lambda=0.5(≈0.50)에 거의 근접하므로 “\lambda>0.5면 태스크 학습을 방해한다”는 서술은 그림이 잘 지지하지 않는다. ③ 그림에서 내가 눈으로 읽은 값(0.40→약 0.50, 즉 +25% 수준)과 본문의 “14.3%”가 정확히 맞아떨어지지 않는다. 어느 쪽이 맞든, 이 절제 실험이 뒷받침하는 것은 “\lambda가 중요하다”가 아니라 “\lambda 효과가 잡음에 묻힐 수 있다” 쪽에 가깝다.

⚠️ 재현성 주의. 공개 레포의 이미지 관측용 사전학습 config는 Table 5와 어긋난다: can·square는 \lambda=0.9(0.5가 아님), square의 층은 late, transport의 층은 early다 — Table 5는 square=early, transport=late라고 적었다. 논문 수치를 재현하려는 사람은 표와 config 중 어느 쪽을 믿을지부터 결정해야 한다.

실험 — 헤드라인 수치를 분해해 보면

사전학습: 22.7%는 무엇의 평균인가

사전학습 결과(Fig. 3) — (a) 태스크별 DPPO 대비 개선, (b) 5개 변형의 개선율 분포(박스플롯), (c) 로그정규화 난이도 vs 최대개선율 회귀(R^2=0.92), (d) 변형×태스크 히트맵. (d)를 (a)와 대조하는 것이 이 논문을 읽는 핵심이다.

Fig. 3(d)의 20칸 전부를 옮겨 적으면 이렇다(단위 %, 마지막 열은 태스크 평균):

변형	Lift	Can	Square	Transport	Avg
InfoNCE-L2 Early	3.4	19.8	−3.0	−4.6	3.9
InfoNCE-L2 Mid	0.6	−2.0	25.0	−9.3	3.6
InfoNCE-L2 Late	3.4	−4.7	31.3	36.2	16.6
Cosine Early	−5.7	0.2	4.3	22.6	5.4
Hinge Early	3.4	14.4	6.3	9.0	8.3

이제 Fig. 3(a)의 막대 라벨 +3.4% / +19.8% / +31.3% / +36.2%가 어디서 왔는지 보인다 — 각 태스크의 열에서 고른 최댓값이다(굵게 표시한 칸). 그리고 그 넷의 평균이 정확히 (3.4+19.8+31.3+36.2)/4=22.675\approx 22.7%, 즉 초록과 결론의 헤드라인이다.

이건 태스크마다 5개 변형을 다 돌린 뒤 최종 성공률을 보고 승자를 고른 값이다. 검증셋 분리도, 사전 선택 규칙도 없다. 비교 대상으로:

• 하나의 고정된 변형을 모든 태스크에 쓰면 최선이 L2-Late의 16.6%,
• 20칸 전체의 평균은 약 7.6%,
• 그리고 20칸 중 6칸이 음수다(최악 L2-Mid on Transport −9.3%).

즉 “dispersive loss를 켜면 평균 22.7% 오른다”가 아니라 “태스크마다 어느 층·어느 거리함수가 맞는지 알아맞히면 최대 22.7% 오른다”가 정확한 진술이다. Fig. 3(b)의 박스플롯도 같은 이야기를 한다 — Lift·Can·Transport의 박스는 0선을 걸치고, 중앙값(빨간 선)은 대략 0~9% 사이다.

Fig. 3(c)의 R^2=0.92도 같은 이유로 신중히 봐야 한다. 점이 4개인 1차 회귀(파라미터 2개)이고, y축이 방금 본 그 오라클 최댓값이며, x축 “로그정규화 난이도”는 평균 실행 스텝 수(Lift 108 / Can 224 / Square 272 / Transport 529)를 저자가 [0,1]로 재척도한 값이다. 자유도 2짜리 회귀에서 R^2=0.92는 강한 증거가 아니다.

파인튜닝: 격차는 Transport에서만 벌어진다

파인튜닝 곡선(Fig. 5) — 파랑 D²PPO, 초록 DPPO, 빨강 Gaussian. Lift·Can은 셋 다 1.0으로 수렴해 구별이 안 되고, 차이는 Square와 Transport에서만 난다. Transport에서 DPPO(초록)가 4.5M 스텝 부근에서 0.2대로 급락하는 불안정을 보이는 반면 D²PPO는 매끄럽다 — 저자들이 “training stability”라고 부르는 현상이다.

Table 2의 최종 수치:

방법	Lift	Can	Square	Transport	Avg
LSTM-GMM	0.93	0.81	0.59	0.20	0.63
IBC	0.15	0.01	0.00	0.00	0.04
BET	1.00	0.90	0.43	0.06	0.60
DiffusionPolicy-C	0.97	0.96	0.82	0.46	0.80
DiffusionPolicy-T	1.00	0.94	0.81	0.35	0.78
MTIL (Full History)	1.00	0.96	0.83	0.48	0.82
DPPO	1.00	1.00	0.83	0.60	0.86
D²PPO (Ours)	1.00	1.00	0.89	0.87	0.94

DPPO 대비 실질적 차이는 Square +6%p와 Transport +27%p 둘뿐이다(Lift·Can은 둘 다 포화). 그런데 초록은 “파인튜닝 후 평균 26.1% 개선”이라고 말한다. 어느 베이스라인 대비인지 논문이 밝히지 않는다. DPPO 대비 태스크별 상대개선을 평균하면 (0+0+7.2+45.0)/4=13.1\%로 절반밖에 안 된다. 내가 표를 역산해 본 결과 26.1%에 가장 가까운 것은 DiffusionPolicy-C 대비 상대개선의 평균 (3.1+4.2+8.5+89.1)/4=26.2\%다. 이게 맞다면 그 수치는 RL로 파인튜닝한 방법을 순수 행동복제 베이스라인과 비교한 것이고, dispersive loss의 기여와는 거의 무관하다. (이건 내 재구성이지 논문의 진술이 아니다 — 논문은 계산 근거를 적지 않았다.)

🔴 베이스라인 공정성에서 가장 걸리는 대목: Table 2의 DPPO Transport = 0.60이다. 그런데 DPPO 원논문은 Robomimic Transport를 상태 입력에서 >90%, 픽셀 입력(DPPO-ViT-MLP)에서 ≈0.92로 보고했다(DPPO 리뷰 참조). D²PPO의 설정도 픽셀(96×96, ViT)이다. 즉 이 논문의 DPPO 재현치가 DPPO 자신의 발표치보다 32%p 낮고, D²PPO의 자랑스러운 0.87조차 DPPO 원논문의 0.92보다 낮다. 논문은 이 불일치를 언급하지 않는다. 학습 예산 차이(Transport만 1000 iter × 400 steps)나 ViT 백본 규모 차이(depth 1!) 때문일 수 있지만, 어떤 이유든 “DPPO 대비 SOTA”라는 주장의 근거가 크게 약해진다. 나머지 BC 베이스라인(LSTM-GMM·IBC·BET·DiffusionPolicy)은 원 논문에서 옮겨온 값으로 보이며, RL 파인튜닝을 거친 방법과 같은 표에 놓고 순위를 매기는 것 자체가 사과와 오렌지의 비교다.

실기: 정량은 한 태스크뿐

Transport 3단계 비교(Fig. 10) — 사전학습 0% / 36.7% / 50%, 파인튜닝 20% / 60% / 87%, 실기 0% / 45% / 70% (Gaussian / DPPO / D²PPO). 논문이 수치로 제시한 유일한 실기 결과다. 저자들은 sim→real 격차가 D²PPO 17%p vs DPPO 25%p라고 강조한다.
실기 롤아웃(Fig. 6) — (a) Lift, (b) Can, (c) Transport, (d) Square에서 D²PPO 성공 시퀀스, (e) DPPO가 Square 최종 삽입 단계에서 실패. 성공/실패 표시는 있으나 성공률·시행 횟수는 없다.

실기 평가에서 명시되지 않은 것들을 그대로 적어 둔다: ① 시행 횟수(20회? 100회? “45%”·“70%”는 20회면 9/20·14/20, 100회면 다른 이야기다), ② 나머지 세 태스크의 정량 성공률, ③ 초기 조건 무작위화 범위, ④ 시드. 본문은 “Quantitative experimental results are detailed in Appendix D”라고 안내하지만 부록에서 찾을 수 있는 정량치는 Fig. 10의 Transport 막대 셋뿐이다.

시드에 관해서는 부록이 오히려 불리한 정보를 준다 — “reproducible results를 위해 기본 시드 42를 Python·NumPy·PyTorch 전반에 일관되게 설정했다”고 적혀 있다. 시드를 여러 개 돌렸다는 언급이 논문 어디에도 없다. 그렇다면 Fig. 3(a)·Fig. 4·Fig. 5의 오차 막대/밴드는 시드 간 변동이 아니라 평가 에피소드 간 변동이거나 학습 곡선의 이동평균 산포일 가능성이 크다. 논문은 이를 정의하지 않았고, 나도 확인할 수 없었다.

직관 — 왜 “밀어내기”가 통할 수 있는가, 그리고 왜 위험한가

밀어내기 정규화의 작동 원리는 사실 단순하다. 재구성 손실은 표현이 어디에 놓이든 신경 쓰지 않으므로 최적화가 편한 저차원 부분공간으로 표현이 쏠려도 벌점이 없다. 여기에 균일성 항을 더하면 표현이 공간을 채우도록 압력이 생기고, 이는 표현의 유효 차원(effective rank)을 유지하는 효과를 낸다. 뭉개진 채로는 정보가 사라져 하류(=denoising head)가 복구할 수 없지만, 흩어져 있으면 최소한 정보는 남아 있다. RL 파인튜닝의 관점에서 보면 이건 정책이 앞으로 탐색할 수 있는 행동 공간의 넓이와 직결된다 — DPPO는 사전학습된 매니폴드 근처를 탐색하므로, 그 매니폴드가 얇으면 파인튜닝의 상한도 낮다.

이 관점은 Fig. 9의 실패 모드 분석과도 잘 맞는다.

Transport 실패 모드(Fig. 9, dispersive 미적용) — 위에서부터 (1) 접근 중 양팔 충돌, (2) 파지 후 왼팔 경로가 오른팔을 방해, (3) 받는 팔이 잡기 전에 놓아버리는 조기 릴리즈, (4) 물체를 오른쪽 그리퍼 중심에 맞추지 못한 전달 실패. 넷 다 “비슷해 보이는 상태 사이의 미세한 차이”가 성패를 가르는 상황이다.

다만 밀어내기는 방향이 없는 힘이라는 점이 이 방법의 근본적 위험이다. Dispersive loss는 어떤 쌍을 밀어내야 하는지 모른다 — 정말로 다른 행동을 요구하는 두 관측이든, 사실상 같은 상황의 두 샘플이든 똑같이 밀어낸다. 그래서 “의미 있는 구별”이 아니라 단순한 분산을 만들 수 있고, Fig. 1(d)의 균일한 구름이 바로 그 그림처럼 보인다. 히트맵에서 6칸이 음수인 것, \lambda=0.3에서 베이스라인 아래로 떨어지는 것, Cosine이 Lift에서 −5.7%인 것 모두 이 무방향성의 부작용으로 읽는 편이 자연스럽다. 이 방법이 어려운 태스크에서만 이기는 이유도 여기에 있을 것이다 — 잃을 정보가 이미 많은(=붕괴 여지가 큰) 상황에서만 이득이 손해를 넘는다.

비판적으로 보면

강점

• 비용 대비 효과가 확실히 좋다. 추가 파라미터 0, 외부 데이터 0, 추가 사전학습 단계 0. 손실 항 하나와 forward hook 몇 줄이 전부이고, 코드가 MIT로 공개돼 있으며 DPPO 공식 구현 위에 얹혀 있어 누구든 자기 파이프라인에 붙여 볼 수 있다. 방법이 작다는 건 이 논문에서 단점이 아니라 장점이다.
• “층 선택이 태스크 복잡도에 따라 달라진다”는 관찰은 실용적이다. 쉬운 태스크는 early, 어려운 태스크는 late — 히트맵(Fig. 3d)이 이를 상당히 깨끗하게 보여준다(L2-Late가 Square·Transport에서 압도적, L2-Early가 Can에서 최고). 후속 연구가 바로 써먹을 수 있는 형태의 경험칙이다.
• 문제 제기 자체가 옳은 방향이다. Diffusion policy RL 파인튜닝 연구가 대부분 “PG를 어떻게 먹일까”라는 알고리즘 축에 몰려 있는데, 초기화의 표현 품질이라는 직교하는 축을 짚었다. Related Work에서 “these online fine-tuning methods focus primarily on algorithmic design while neglecting pre-trained diffusion policy representations”라고 쓴 것은 정당한 지적이다.
• 불안정성 완화의 그림이 설득력 있다. Fig. 5 Transport에서 DPPO가 학습 후반에 성공률이 0.2대로 붕괴하는 구간이 있는 반면 D²PPO는 매끄럽다. 최종 수치만이 아니라 분산이 줄었다는 관찰은 표현 정규화가 실제로 무언가를 하고 있다는 간접 증거다.
• 실패 모드 분석(Fig. 9)이 성실하다. 자기 베이스라인이 어떻게 깨지는지를 4가지 범주로 나눠 보여준 것은 성공 스트립만 자랑하는 논문들보다 낫다.

약점·한계

• 🔴 핵심 개념인 “diffusion representation collapse”가 한 번도 정량적으로 측정되지 않는다. 제목·초록·기여 목록의 1번을 차지하는 개념인데, 근거는 Fig. 1(b)/(d)의 3D 산점도 하나뿐이고 축 이름도 값도 없다. effective rank, 특이값 스펙트럼, 클러스터 수, uniformity 지표, 배치 내 평균 쌍거리 — 무엇 하나 보고되지 않는다. “우리는 collapse를 발견했다”는 주장과 “우리 정규화가 성공률을 올렸다”는 증거 사이가 비어 있다. 성공률이 오른 이유가 표현 붕괴 완화인지, 그냥 임의의 정규화가 과적합을 줄인 것인지 이 논문으로는 구별할 수 없다.
• 🔴 그리고 그 유일한 진단 그림이 주장과 반대로 보인다. “collapse”라는 Fig. 1(b)는 색깔별로 잘 분리된 군집 구조를, “해결”이라는 Fig. 1(d)는 구조 없는 균일한 구름을 보여준다. 표현학습의 통상적 해석으로는 (b)가 오히려 구별 가능한 표현이고 (d)는 클러스터 구조가 파괴된 상태다. 저자들이 의도한 해석(“(b)의 군집이 서로 너무 가깝다”)이 있을 수 있지만, 그림 어디에도 그것을 읽게 해 주는 척도가 없다.
• 🟠 헤드라인 22.7%는 오라클 선택이다. 위에서 분해했듯 태스크별로 5개 변형 중 최고를 사후에 고른 값이다. 고정 변형 하나로는 16.6%, 전체 평균은 7.6%, 20칸 중 6칸이 음수. 논문 어디에도 “실전에서 어느 변형을 고를지 어떻게 정하는가”에 대한 절차가 없다 — 새 태스크에서는 5번 다 돌려 보라는 말과 다르지 않고, 그렇다면 “추가 비용 없음”이라는 장점도 5배의 사전학습 비용으로 상쇄된다.
• 🟠 DPPO 베이스라인이 DPPO 원논문보다 크게 약하다. Transport 0.60 vs 원논문 ≈0.92(픽셀). 이 격차를 설명하거나 언급하지 않은 채 “새로운 SOTA”를 선언한다. 재현치가 원 발표치에 못 미칠 때는 그 이유를 밝히는 것이 최소한의 예의이고, 밝히지 않으면 개선분이 방법의 기여인지 베이스라인의 약화인지 판별할 수 없다.
• 🟠 통계적 뒷받침이 사실상 없다. 시드는 “기본값 42” 한 개만 언급되고 복수 시드 실험의 흔적이 없다. 오차 막대·밴드의 정의가 없다. 실기 시행 횟수가 없다. 유의성 검정도 없다. \lambda 스윕은 밴드가 베이스라인을 전부 덮는다. Transport +27%p처럼 큰 차이는 잡음으로 설명하기 어렵지만, Square +6%p·Lift +3.4%는 이 정보량으로는 판정 불가다.
• 🟠 실기 실험이 사실상 정성적이다. 정량 수치가 있는 것은 Transport 하나(0/45/70%)뿐이고 시행 수도 없다. 같은 블로그에서 최근 읽은 REFINE-DP가 태스크별로 “70% / 50% / 75% (각 N=20)”처럼 시행 수를 함께 적은 것과 비교하면 차이가 분명하다. 게다가 RoboMimic 태스크를 실기에 그대로 옮겼다면 정책을 어떻게 sim에서 real로 옮겼는지(카메라 정렬, 도메인 무작위화, 재학습 여부)가 서술돼야 하는데 그 절차가 없다.
• 🟡 논문 내부 정합성이 여러 곳에서 흔들린다. ① Eq. 7(모든 K 스텝 평균) vs Algorithm 1·코드(샘플당 k 하나). ② Algorithm 2의 확률비가 주변확률 \pi_\theta(a^0\mid s)로 적힘(Eq. 35–36과 모순, 그리고 DPPO의 전제와 모순). ③ Appendix D 내에서 early/late 층 정의가 “첫 은닉층/출력 직전” vs “첫 1/4·마지막 1/4”로 엇갈림. ④ 공개 config가 Table 5와 다름(\lambda, 층 배치 모두). ⑤ “26.1%”의 계산 근거 미제시. 각각은 작지만 합치면 표에 적힌 수를 액면 그대로 믿기 어렵게 만든다.
• 🟡 이름과 내용이 어긋난다. “Dispersive loss-augmented policy optimization”이라는 2단계 제목과 달리 dispersive 항은 파인튜닝 목적함수에 없다. 코드에 use_dispersive_loss_rl 스위치가 있으나 공개 config 중 켜진 것이 없다 — 가장 궁금한 절제(파인튜닝에도 걸면 어떻게 되는가)가 구현돼 있는데도 보고되지 않았다.
• 🟡 평가 범위가 좁다. RoboMimic 4태스크뿐이다. 레포에는 Gym(halfcheetah/hopper/walker2d)·D3IL·Furniture-Bench용 dispersive config가 이미 들어 있는데, 논문은 그 결과를 싣지 않았다. DPPO 원논문이 5개 도메인에서 평가한 것과 대비된다. “복잡할수록 좋다”는 주장이 4점 회귀에 기대고 있으므로, 더 어려운 도메인(Furniture-Bench)에서의 결과가 있었다면 주장이 훨씬 강해졌을 것이다.
• 🟡 관련 연구 대비 새로움의 크기. Dispersive loss는 Wang & He(2025)의 것이고, 파인튜닝은 DPPO의 것이다. 이 논문의 기여는 “이미지 생성용 정규화를 diffusion policy 사전학습에 옮겨 붙이고, 층 배치의 태스크 의존성을 관측한 것” 이다. 그 자체로 가치가 없진 않지만, 이식(transfer) 논문에 요구되는 것은 왜 이 도메인에서 특별히 통하는가에 대한 깊은 증거이고, 그 자리를 정량적 collapse 측정이 채웠어야 했다.

관련 연구와의 자리 매김

• 부모: DPPO (Ren et al., ICLR 2025). D²PPO는 DPPO의 코드 포크이며 파인튜닝 알고리즘을 그대로 쓴다. DPPO가 “어떻게 파인튜닝할까”를 풀었다면 D²PPO는 “무엇에서 출발해 파인튜닝할까”를 묻는다. 두 축은 직교하므로 원리적으로 결합 가능하고, 실제로 D²PPO는 그 결합 그 자체다.
• 형제: REFINE-DP (RA-L 2026). 역시 DPPO를 그대로 채택하되, D²PPO가 사전학습 손실을 건드린 반면 REFINE-DP는 DPPO가 놓이는 계층 구조(플래너-컨트롤러 공동 파인튜닝)를 건드렸다. 세 논문을 나란히 놓으면 “DPPO 위에 무엇을 더할 수 있는가”의 서로 다른 세 답이 된다: 알고리즘(DPPO) / 초기화(D²PPO) / 시스템 구조(REFINE-DP).
• 정규화의 계보. InfoNCE(van den Oord et al., 2018) → SimCLR(Chen et al., 2020) → alignment/uniformity 분해(Wang & Isola, 2020) → positive pair 제거(Wang & He, 2025). 대안 계열로는 외부 인코더 정렬(REPA + DINOv2)이 있는데, 논문은 그것이 “추가 모델·외부 데이터”를 요구한다는 점을 dispersive loss를 택한 이유로 든다. 실제로 REPA와의 직접 비교 실험은 없다 — 있었다면 “왜 하필 dispersive인가”에 대한 답이 됐을 자리다.
• 동시대의 diffusion policy 최적화. ReinFlow(flow matching + online RL), FDPP(선호 반영), TrajHF(인간 피드백) 등이 Related Work에 나열되지만 실험 비교는 없다.

요약

D²PPO의 주장은 명료하고, 방법은 그보다 더 명료하다 — diffusion policy의 재구성 손실은 은닉 표현의 다양성을 관리하지 않으니, positive pair 없는 대조 항을 하나 더해서 밀어내자. 추가 파라미터도 데이터도 없이 DPPO 파이프라인 위에 얹히고, Transport처럼 어려운 태스크에서는 사전학습 36.7%→50%, 파인튜닝 60%→87%, 실기 45%→70%라는 눈에 띄는 개선을 만든다. Fig. 5의 학습 곡선이 보여주는 안정성 향상도 인상적이다.

그러나 논문이 스스로 세운 서사 — “representation collapse를 발견하고 그것을 고쳤다” — 는 증거로 닫히지 않는다. collapse는 정량화되지 않았고, 유일한 진단 그림은 주장과 반대로 읽히며, 어블레이션(층·거리함수·\lambda)은 “붕괴가 완화되어 성능이 올랐다”는 인과가 아니라 “설정에 따라 −9.3%에서 +36.2%까지 흔들린다”는 사실을 보여준다. 헤드라인 22.7%는 태스크마다 최선의 변형을 사후에 고른 오라클 값이고(고정 변형 최선은 16.6%, 전체 평균 7.6%), 26.1%는 아마도 DPPO가 아니라 BC 베이스라인 대비 수치이며, DPPO 베이스라인 자체가 원논문 발표치보다 크게 낮다. 시드는 하나로 보이고, 실기는 태스크 하나만 정량화됐으며 시행 수가 없다.

그래서 나는 이 논문을 “쓸 만한 도구를 준 논문”이지 “현상을 규명한 논문”은 아니다로 읽는다. Diffusion policy를 RL로 파인튜닝하려는데 어려운 태스크에서 천장이 보인다면, 사전학습에 dispersive 항을 켜 보는 것은 비용이 거의 들지 않는 합리적 시도다 — 다만 층 배치를 몇 가지 돌려 봐야 하고, 태스크가 쉬우면 오히려 손해일 수 있다는 것을 알고 시작해야 한다. 이 방향이 진짜로 여물려면 다음 논문이 답해야 할 질문은 분명하다: 표현 붕괴를 어떤 수로 재는가, 그 수가 dispersive loss로 실제로 움직이는가, 그리고 그 움직임이 성공률 개선과 상관하는가. 세 질문이 채워지면 이 논문의 기여는 “튜닝 트릭”에서 “메커니즘”으로 올라선다.