📃DiPLO 리뷰

DiPLO: Self-distilled Diffusion Planning for Loco-manipulation

• Paper Link (arXiv:2610.24847v1): 이 리뷰는 v1 (2026-10-17) 기준이다. 인용한 표 값은 arXiv HTML과 PDF(20쪽)를 대조해 확인했다. 그림 번호는 논문 Fig. 1~8과 같다. HTML에서 Fig. 4·6·8은 <img>가 아니라 SVG라 헤드리스 Chrome으로 래스터화했고, Fig. 7의 두 서브패널은 논문 배치대로 합성했다.

• Project Page: 시뮬레이션·실기 영상과 3D 플랜 뷰어가 있다. 아래에 쓴 영상 클립은 모두 이 페이지의 static/videos/*.mp4(H.264, 원본 그대로)다.

• Video (YouTube, 3:36)

• 코드 미공개 (2026-10-21 확인): 프로젝트 페이지의 Paper·arXiv·Code 버튼은 모두 “soon”이다. GitHub atarilab 조직에는 diplo-website(프로젝트 페이지)만 있고 DiPLO 구현 레포는 없다. 다만 파이프라인의 두 구성 요소는 같은 연구실이 따로 공개해 두었다: DA:PPO 구현체인 atarilab/DA_MDP_pytorch(DA-MDP 논문 [5]의 코드)와 데이터 증강에 쓴 atarilab/sbto(DynaRetarget [4]의 SBTO). 둘 다 DiPLO 자체의 학습 코드는 아니다.

• Shafeef Omar, Sebastian Sanokowski, Elham Daneshmand, Dian Yu, Daniel Cremers, Cordelia Schmid, Majid Khadiv (TUM · McGill University · Inria · TUM Institute for Advanced Study)

• arXiv preprint, 2026 (cs.RO)

1. 💡 데모가 29개(약 2.7분)뿐인 휴머노이드 loco-manipulation에서 diffusion 플래너는 IK 리타게팅 모션을 조건으로 줘야만 잘 학습되는데, 배포 시엔 그 참조가 없다. DiPLO는 이 강한 조건을 사전학습용 비계로만 쓰고 후학습에서 떼어낸다.
2. ⚙️ 사전학습된 플래너 하나를 “참조를 보는 self-teacher”와 “참조 토큰을 비운 student”로 나눠 쓰고, student가 얼린 tracker와 closed-loop로 굴러가며 만난 상태에서 두 패스의 denoising 예측을 맞춘다(SD:DPO). 그 위에 최대 엔트로피 diffusion RL(DA:PPO)로 과제 성공을 끌어올린다. tracker는 내내 고정이다.
3. 🎯 상태 히스토리와 목표만 보는 플래너의 pick-carry-place 과제 성공률이 45.4% → 98.8%(생존률 57.7% → 99.5%)로 오른다. 반경 5 m 목표 격자에서 성공률 88%, Unitree G1 실기에서 10/10 반복 + 5/5 서로 다른 목표 성공(실기 미세조정 없음, 모션캡처 사용).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드가 상자를 집어 옮겨 내려놓으려면 걷기·균형·물체 조작을 한꺼번에 맞춰야 한다. 처음부터 RL로 배우기엔 너무 어렵고, 사람 시연을 많이 모으기엔 비싸다. DiPLO는 OmniRetarget 데이터셋의 pick-carry-place 모션 29개(약 2.7분) 에서 출발한다. 구조는 계층형이다. Diffusion Transformer 플래너가 로봇 전신과 물체의 미래 1.28 s(64프레임)를 함께 생성하고, RL로 학습한 단일 범용 tracker가 그 모션을 잔차 관절 목표로 따라간다. 플래너는 앞 56프레임이 실행되면 측정된 상태에서 다시 계획한다.

이 논문의 핵심 발견은 데이터가 적을 때 강한 과제 조건이 사전학습을 좌우한다는 점이다. 리타게팅한 로봇·물체 모션을 조건으로 주면 closed-loop 생존률이 96.3%인데, 그 조건을 빼면 45.3%로 떨어진다(Fig. 4). 문제는 사용자가 원하는 것이 “이 상자를 저기에 이 방향으로 놓아라”라는 목표 하나라는 점이다. 새 목표에는 리타게팅 모션이 없다. DiPLO는 두 단계 후학습으로 이 간극을 메운다. SD:DPO는 같은 네트워크의 “참조를 본 예측”을 “참조 없는 예측”으로 증류해 참조 의존을 지우고, DA:PPO는 얼린 tracker가 실제로 실행한 결과의 보상으로 플래너를 미세조정한다.

파이프라인 개요(Fig. 2). (a) IK 리타게팅 모션 s^{IK}를 SBTO로 동역학적으로 가능한 모션 s^{D} 여러 개로 바꾸고 대칭(\mathbb{Z}_2\times C_4)으로 다시 불린다. (b) 플래너 G_\phi(Euclidean × SO(3) diffusion, DiT)와 tracker \pi_\theta를 따로 사전학습한다. (c) SD:DPO: 참조 토큰을 비운 student가 얼린 tracker와 롤아웃하고, 그 플랜을 단계 k까지 노이즈한 뒤 같은 네트워크로 참조 있이/없이 두 번 denoise해 student 예측을 teacher의 stop-gradient 예측에 맞춘다(보상·critic 없음). (d) DA:PPO: 실행 보상 R_{\rm env}를 모든 denoising 단계에 할당하고 단계별 엔트로피 항 -\mathcal{T}\log(p_\phi/q)를 더한다.

공식 영상(3:36). 방법, 시뮬레이션 결과, 실기 배포.

핵심 방법론:

플래너는 상태 히스토리와 목표 c_t=(s_{t-h:t},g_t), 그리고 선택적으로 IK 참조 s^{IK}_\tau를 받아 n프레임 청크를 만든다. 참조가 없으면 null 토큰 \varnothing을 넣는다.

\hat{s}^{D}_{\tau}\sim G_\phi(\cdot\mid c_t,\ s^{IK}_\tau\ \text{or}\ \varnothing),\qquad \tau=t+1:t+n

SD:DPO는 student 자신의 롤아웃에서 모은 플랜 \hat{s}^{D,0}_\tau를 단계 k\sim\mathcal{U}\{1..K\}까지 노이즈한 뒤, 같은 입력에 대한 두 패스의 예측(Euclidean \mathbf{v}-예측과 회전 접공간 노이즈 예측)을 맞춘다. teacher는 student 가중치의 EMA \bar\phi다.

\mathcal{L}_{\rm distill}(\phi)=\mathbb{E}_{\mathcal{B},k,q}\Big[\mathrm{MSE}\big(\hat{\mathbf{v}}^{k,\varnothing}_{\phi},\ \mathrm{sg}(\hat{\mathbf{v}}^{k,IK}_{\bar\phi})\big)+\mathrm{MSE}\big(\hat{\epsilon}^{R,k,\varnothing}_{\phi},\ \mathrm{sg}(\hat{\epsilon}^{R,k,IK}_{\bar\phi})\big)\Big]

DA:PPO는 denoising 단계마다 PPO 비율 \rho_i를 쓰되, 어드밴티지 잔차에 diffusion 정규화 항 \ell_\phi=\log[p_\phi(\tilde a^{k-1}\mid\tilde s_k)/q^k_\phi(\tilde a^k\mid\tilde a^{k-1},z)]를 넣어 최대 엔트로피 목적을 만든다(온도 \mathcal{T}=10^{-4}).

\delta_i=\tilde r_i-\mathcal{T}\ell_i^{\rm old}+\bar\gamma_i V_\psi(\tilde s_{i+1})-V_\psi(\tilde s_i)

주요 결과:

• 참조 없는 플래너(pick-carry-place, Table V): Student 사전학습 생존 57.7% / 성공 45.4% → +SD:DPO 100.0% / 55.1% → +SD:DPO+DA:PPO 99.5% / 98.8%. SD:DPO 없이 DA:PPO만 하면 92.1% / 92.1%, 참조 없이 처음부터 사전학습한 모델에 DA:PPO를 하면 74.1% / 67.0%.
• 참조 조건 사전학습의 중요성(Fig. 4): 생존률이 로봇 모션 조건 96.3%, 사람 모션 87.0%, 물체만 70.6%, 조건 없음 45.3%다.
• SO(3) diffusion(Table II): 회전을 6D Euclidean으로 diffuse하면 생존률 85.9%, SO(3)에서 diffuse하면 96.5%다.
• 모션 수준 vs 행동 수준 diffusion(Table III): 상태 diffusion + tracker 96.5% / 51.9%, PDP식 행동 diffusion 87.5% / 45.3%, BeyondMimic식 state-action diffusion 58.2% / 8.2%.
• 플래너 미세조정 vs tracker 미세조정(Table VI): 플래너 DA:PPO로 성공률 96%대, tracker PPO로는 최대 89.3%.
• 일반화(Fig. 5): 0.5~5 m 극좌표 격자 목표(데모 목표는 최대 1.9 m)에서 생존 약 100%, 성공 88%.
• 실기(Table VII, Unitree G1 29-DoF): 같은 목표 10회 10/10, 서로 다른 목표 5/5. 반복 실행의 최종 물체 위치 오차 1.8 ± 0.8 cm.

결론:

DiPLO가 주장하는 원리는 “비싼 특권 조건은 배포 요구 조건이 아니라 사전학습의 비계로 쓸 때 가장 값지다”이다. 이 원리를 diffusion 플래너에서 self-distillation이라는 깔끔한 장치로 구현했고, 상당히 꼼꼼한 ablation으로 각 설계 선택을 하나씩 떼어 보였다. 다만 아래에서 보듯 학습 단계(SD:DPO의 teacher, DA:PPO의 r_{\rm kin} 보상)는 여전히 리타게팅 참조를 쓰고, pick-place에서 SD:DPO가 최종 성공률에 보탠 몫(92.1 → 98.8%)은 표준오차와 비슷한 크기다. 먼 목표로의 일반화 일부는 목표 표현이 거리를 1 m에서 자르는 설계 덕분이기도 하다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

적은 데이터로 diffusion 플래너를 학습시키려면 “어떻게 풀지”에 대한 강한 힌트(리타게팅 모션)를 조건으로 줘야 하는데, 배포 때는 그 힌트가 없다. DiPLO는 같은 네트워크가 힌트를 본 자기 자신을 스승으로 삼아 힌트 없는 예측을 배우게 하고(SD:DPO), 그다음 실제로 tracker가 실행한 결과로 플랜을 다듬는다(DA:PPO). LLM 쪽의 self-distillation(SDPO)을 denoising 단계 단위로 옮긴 것이 방법론의 새로운 부분이고, 실험의 새로운 부분은 “강한 조건 없이 처음부터 학습한 모델은 후학습으로도 그 격차를 회복하지 못한다”(Table V: 67.0% vs 98.8%)를 보여 준 데 있다.

Unitree G1 실기 실행(Fig. 1). 위: 같은 목표의 반복 실행. (a) 한 번의 pick-carry-place, (b) 나머지 8회의 운반 중 장면. 아래: 서로 다른 목표. (c) 앞으로 운반, (d) 회전하며 운반, (e) 제자리에서 물체 돌리기.
같은 모션의 시뮬레이션(왼쪽, 청록색 홀로그램이 플래너의 플랜)과 실기(오른쪽). 프로젝트 페이지 영상.

배경: 왜 이 문제가 어려운가 (§I, §II)

휴머노이드 loco-manipulation은 두 가지 이유로 어렵다. 첫째, 상자를 든 채 걷는 동작은 균형·접촉·물체 동역학이 서로 얽혀 있어서 순수 RL로 탐색하기 어렵다. 둘째, 사람 시연은 비싸다. 저자들은 OmniRetarget 데이터셋에서 pick-carry-place 모션 29개만 가져온다(약 2.7분 분량).

이 설정에서 자연스러운 선택은 플래너–tracker 계층이다. 저자들의 논거(§III-A, §V-D)는 이렇다. 휴머노이드는 과소구동이라 균형을 잡으며 과제 수준 모션을 따라가야 한다. 그러니 “어떤 모션을 할지”는 데이터에서 배우는 생성 모델에 맡기고, “그 모션을 넘어지지 않고 어떻게 실행할지”는 시뮬레이션에서 RL로 배운 피드백 제어기에 맡기는 편이 낫다.

여기까지는 REFINE-DP와 같은 문제의식이다. 저자들도 REFINE-DP를 가장 가까운 선행 연구로 꼽는다(§II-2). 차이는 세 군데다.

축	REFINE-DP	DiPLO
플래너 출력	베이스 속도 + 양손 SE(3) 포즈(상·하체 컨트롤러 분리)	로봇 전신 + 물체 모션을 함께 생성
하위 제어기	상체·하체 분리 컨트롤러	단일 범용 tracker(잔차 관절 목표)
후학습	DPPO + 컨트롤러 공동 갱신	SD:DPO(참조 의존 제거) → DA:PPO(tracker 고정)
데이터	VR 텔레옵 50개 + 휴리스틱 롤아웃	리타게팅 29개 → SBTO + 대칭 증강

DiPLO가 따로 짚는 한계는 사전학습이 강한 조건에 기대게 된다는 점이다. 이건 REFINE-DP에는 없던 축이다. 데이터가 적으면 플래너는 “상태 + 목표”만으로 모션을 만들기 어렵다. 그래서 IK 리타게팅 모션 s^{IK}_\tau를 조건으로 주면 잘 되지만, 그 참조는 사람이 시연한 목표에 대해서만 존재한다. 새 목표를 주려면 이 의존을 끊어야 한다.

사전 지식: 플래너·tracker·DA-MDP (§III)

플래너와 tracker의 인터페이스 (§III-A)

플래너 G_\phi는 계획 단계 t에서 h스텝 상태 히스토리와 목표를 받아 n프레임 청크를 생성한다.

c_t=(s_{t-h:t},g_t),\qquad \hat{s}^{D}_{\tau}\sim G_\phi(\cdot\mid c_t,s^{IK}_\tau)\quad(\tau=t+1:t+n) \tag{1}

참조가 없으면 s^{IK}_\tau 자리에 null 토큰 \varnothing이 들어간다. 조건 전체를 z_\tau로 묶어 쓴다(참조가 있으면 (c_t,s^{IK}_\tau), 없으면 c_t).

tracker \pi_\theta는 50 Hz로 돌며, 관측 o_j, 직전 행동 a_{j-1}, 그리고 생성된 청크에서 뽑은 미래 참조 특징 \mathcal{R}_j(\hat s^D_\tau)를 받아 참조 관절 위치에 더할 잔차를 낸다.

a_j\sim\pi_\theta(\cdot\mid o_j,a_{j-1},\mathcal{R}_j(\hat{s}^{D}_{\tau})),\qquad q^{\rm PD}_j=q^{\rm ref}_j+a_j \tag{2}

tracker는 청크의 처음 m\le n프레임을 실행하고, 플래너는 그사이 쌓인 실제 측정 히스토리에서 다시 계획한다. 재계획이 추종 오차를 흡수하는 구조다. tracker 학습은 데이터셋 모션 s^D\sim\mathcal{D}를 추종하는 표준 모션 추종 PPO다(식 3).

조건부 diffusion (§III-B)

플래너는 K단계 forward 노이즈 과정을 거꾸로 되돌리는 조건부 diffusion 모델이다. 사전 분포 p(\cdot\mid z_\tau)에서 시작해 학습된 커널 p_\phi(\hat s^{D,k-1}_\tau\mid\hat s^{D,k}_\tau,z_\tau)로 K\to1까지 내려온다(식 4). 이 사슬 전체가 G_\phi다.

DA-MDP와 DA:PPO (§III-C)

플래너를 RL로 개선하려면, tracker가 청크를 실행해 받은 보상이 그 청크를 만든 denoising 결정들에 전달돼야 한다. Diffusion-Augmented MDP(같은 연구실의 선행 연구 [5])는 denoising 단계를 MDP의 결정 단계로 끼워 넣는다. 증강 상태는 조건·현재 노이즈 청크·단계를 묶은 것이고, 행동은 한 단계 덜 노이즈한 청크다.

\tilde{s}_k=(z,\tilde{a}^k,k),\qquad \tilde{a}^{k-1}\sim p_\phi(\cdot\mid\tilde s_k) \tag{5}

전이는 두 경우로 나뉜다. k>1이면 환경은 멈춰 있고 노이즈만 한 단계 걷힌다(Dirac). k=1이면 tracker가 처음 m프레임을 실행하고(P_m), 새 사전 샘플에서 다음 denoising 사슬이 시작된다.

p_{\rm DA}(\tilde s'\mid\tilde s_k,\tilde a^{k-1})=\begin{cases}\delta_z(z')\,\delta_{\tilde a^{k-1}}(a')\,\delta_{k-1}(k'), & k>1\\ P_m(z'\mid z,\tilde a^0)\,p(a'\mid z')\,\delta_K(k'), & k=1\end{cases} \tag{6}

보상과 할인도 k=1에서만 걸린다(\tilde r_k=\mathbf 1_{\{k=1\}}r, \bar\gamma_k=\gamma for k=1, 그 외 1). 여기까지는 DPPO의 증강 MDP와 같다.

DA-MDP가 DPPO와 갈리는 지점은 최대 엔트로피 정식화다. soft Bellman 식에서 보통의 행동 로그우도 자리에 “역방향 커널 / 대응하는 forward 커널”의 로그비를 넣는다.

V_{\rm DA}(\tilde s)=\mathbb{E}_{\tilde a\sim p_\phi}\big[Q_{\rm DA}(\tilde s,\tilde a)-\mathcal{T}\ell_\phi(\tilde s,\tilde a)\big],\qquad \ell_\phi=\log\frac{p_\phi(\tilde a^{k-1}\mid\tilde s_k)}{q^k_\phi(\tilde a^k\mid\tilde a^{k-1},z)} \tag{7}

-\mathcal{T}\ell_\phi는 역방향 과정의 엔트로피를 키우면서도 forward 노이즈 아래 그럴듯한 denoising 경로를 선호하게 만든다. 완성된 청크의 주변 밀도는 계산할 수 없지만, 단계별 가우시안 커널의 밀도는 계산할 수 있어서 이 정규화가 다룰 만해진다.

DA:PPO는 이 목적에 PPO를 씌운다. 어드밴티지는 \delta_i=\tilde r_i-\mathcal{T}\ell_i^{\rm old}+\bar\gamma_iV_\psi(\tilde s_{i+1})-V_\psi(\tilde s_i)로 GAE를 돌려 얻고, 정책이 갱신되면 로그비도 바뀌므로 현재 단계 몫을 교체한다(\widehat A_i(\phi)=\mathrm{sg}[A_i^{\rm old}-\mathcal{T}(\ell_i(\phi)-\ell_i^{\rm old})]). 손실은 다음과 같다.

\mathcal{L}(\phi)=\mathbb{E}_i\Big[-\min\big(\rho_i\widehat A_i,\ \mathrm{clip}(\rho_i,1-\epsilon,1+\epsilon)\widehat A_i\big)-\mathcal{T}\,\mathrm{sg}(\chi_i\rho_i)\log q_i(\phi)\Big] \tag{8}

둘째 항은 forward 밀도의 확산 계수를 학습할 때만 기울기를 낸다. DiPLO는 단계별 분산 배수를 학습하고 forward 커널과 공유한다(Table XII). 마스크 \chi_i는 PPO 항이 클리핑되지 않은 곳에서만 이 보정을 켠다.

방법 ①: 로봇–물체 모션 표현 (§IV-A)

플래너가 보고 만드는 상태는 같은 표현을 쓴다.

s_t=\big(\underbrace{\Delta p^{xy}_t,\ \Delta\psi_t,\ h_t,\ R_t,\ q_t}_{\text{robot}},\ \underbrace{p^o_t,\ R^o_t}_{\text{object}}\big) \tag{9}

평면 루트 변위 \Delta p^{xy}_t\in\mathbb R^2, heading 변화 \Delta\psi_t, 루트 높이 h_t, heading 불변 루트 자세 R_t\in SO(3), 관절 위치 q_t\in\mathbb R^{29}, 물체 위치 p^o_t\in\mathbb R^3·자세 R^o_t\in SO(3)다. 평면 변위와 물체 자세는 현재 로봇 heading 프레임으로 표현하고 높이만 절대값으로 둔다. 그래서 전역 평면 위치·heading에 의존하지 않는다. 네트워크 입력에선 회전을 6D 표현으로 넣어 프레임당 48차원이 된다(2+1+1+6+29+3+6=48).

목표 표현(부록 C) 은 나중에 일반화를 해석할 때 중요하다.

g_t=\big[\hat d_t,\ \varphi(\Delta R_t),\ \min(1.0,\lVert\Delta p_t\rVert)\big]\in\mathbb{R}^{10}

\hat d_t는 물체가 최종 위치로 가야 할 방향의 단위벡터(로봇 베이스 프레임), \varphi(\Delta R_t)는 아직 적용해야 할 상대 회전의 6D 표현, 마지막 항은 1 m에서 잘린 남은 거리다. 저자들은 이 표현이 과제가 끝나면 0으로 줄어드는 잔차라 모션 표현과 같은 상대 좌표 기준에 놓인다고 설명한다.

방법 ②: 사전학습 데이터 (§IV-B1, Fig. 3)

kinematic 리타게팅은 로봇 동역학과 접촉 제약을 지키지 않는다. 저자들은 같은 연구실의 DynaRetarget에서 제안한 샘플링 기반 궤적 최적화(SBTO) 로 각 참조를 동역학적으로 가능한 모션으로 다듬는다. 초기 조건을 흔들고 최적화 시드를 바꾸면 데모 하나에서 조금씩 다른 해가 여러 개 나온다. 여기에 시상면 대칭(로봇·물체 미러링)과 상자의 1/4 회전 대칭을 얹는다.

데이터 증강(Fig. 3). 원점에 정렬한 로봇 평면 궤적. 왼쪽: 원본 29개 모션. 가운데: SBTO 변형 898개. 오른쪽: 대칭 증강 후 7,184개. 모션 수는 그림 안 범례에만 있다(본문에는 없음).

그림의 범례가 실제 규모를 알려 준다. 29 → 898 → 7,184다. SBTO가 데모당 평균 약 31개 변형을 만들고(898/29\approx31.0), 대칭이 정확히 8배를 더한다(7184/898=8, 미러링 2 × 1/4 회전 4 = \mathbb Z_2\times C_4, Fig. 2a 표기와 일치). 각 학습 쌍은 IK 참조 s^{IK}_\tau와 동역학적으로 가능한 목표 모션 s^D_\tau로 이뤄진다. 즉 플래너는 IK 참조를 보고 “실현 가능한 버전”을 생성하도록 배운다.

참고로 SBTO가 바꾸는 것은 “어떻게 걸어가서 집는가”의 국소적 변형이지 목표 위치 자체가 아니다. 그림에서도 끝점(빨간 화살표)은 원본 29개 주변에 모여 있다. 대칭은 끝점을 거울상·회전 위치로 옮기지만, 로봇 평면 경로 기준으로 1/4 회전은 경로를 바꾸지 않는다(프로젝트 페이지 설명). 그래서 “학습 데이터 목표 분포”는 반경 약 1.9 m 이내다. 이 사실은 일반화 실험(Fig. 5)을 읽을 때 기준선이 된다.

방법 ③: 플래너 — Euclidean × SO(3) diffusion (§IV-B2, 부록 A·B)

Denoiser 구조(Fig. 6, 부록 A). 노이즈 청크 토큰(빨강), IK 참조 토큰 s^K_{t+1:t+n}(초록), 히스토리·현재 상태 토큰 s_{t-h:t}(파랑), 목표 토큰 g(노랑)를 한 시퀀스로 이어 붙여 L층 DiT 블록에서 joint self-attention을 한다(cross-attention 없음). denoising 단계 k는 AdaLN-Zero로만 들어간다.

Denoiser는 DiT다. 조건을 cross-attention이 아니라 토큰으로 이어 붙인다: 히스토리 2 + 현재 1 + IK 참조 64 + 목표 1 = 68개 조건 토큰과 64개 타깃 토큰(Table VIII). 사전학습 중 50% 확률로 IK 참조를 null 토큰으로 바꿔, 두 형태의 조건 모두로 denoise하도록 학습한다. 이 마스킹이 나중에 SD:DPO에서 “같은 네트워크로 teacher와 student를 둘 다 돌리는” 것을 가능하게 한다.

항목	값
데이터 rate / 히스토리 / 예측 지평 n	50 Hz / 2 / 64프레임 (1.28 s)
프레임당 특징 / 목표 차원	48 / 10
층 / 헤드 / 폭 / FFN	4 / 4 / 256 / 1024
시퀀스 길이	68(조건) + 64(타깃)
학습 가능 파라미터	5.1M
Denoising 단계 K (학습·추론)	10
Euclidean 스케줄 / 예측 타깃	cosine VP / \mathbf v
회전 forward 커널 / 타깃	\mathcal{IG}_{SO(3)} VP / 접공간 노이즈
\sigma_{\max} (루트 잔차 / 물체 회전)	0.4 rad / 0.2 rad
손실 가중 \lambda_c	관절 20, 루트 변위 10, 높이·물체 위치·자세 5, 루트 잔차 자세 3, heading 2
옵티마이저 / LR / 배치 / 스텝	AdamW / 10^{-4} / 1024 / 150k

표: 플래너 사전학습 설정(Table VIII에서 발췌).

Euclidean 특징

정규화된 Euclidean 특징은 cosine 스케줄의 이산 VP diffusion을 따른다.

q(x^k\mid x^{k-1})=\mathcal N(\sqrt{\alpha_k}x^{k-1},\beta_kI),\qquad x^k=\sqrt{\bar\alpha_k}x^0+\sqrt{1-\bar\alpha_k}\,\epsilon \tag{10}

역방향 커널은 학습된 score u_{\phi,k}로 평균을 정하는 DDPM 커널이다.

p_\phi(\hat x^{k-1}\mid\hat s^{D,k}_\tau)=\mathcal N(\mu^k_\phi,\tilde\beta_kI),\qquad \mu^k_\phi=\frac{\hat x^k+\beta_ku_{\phi,k}}{\sqrt{\alpha_k}} \tag{11}

네트워크는 \mathbf v-예측(\mathbf v^k=\sqrt{\bar\alpha_k}\epsilon-\sqrt{1-\bar\alpha_k}x^0)을 하고, 출력을 score로 바꾼다.

u_{\phi,k}=-\hat x^k-\sqrt{\frac{\bar\alpha_k}{1-\bar\alpha_k}}\,\hat{\mathbf v}^k_\phi \tag{12}

저자들은 제곱오차 회귀라면 이 변환이 정확히 data score를 복원하지만, 실제로는 smooth-L1 손실을 쓰므로 그 score 복원 논증이 성립하지 않는다고 부록 B에 스스로 적어 둔다. 이런 식으로 이론과 실무의 간극을 스스로 짚는 대목이 논문 곳곳에 있다.

회전 특징 — SO(3) 위의 VP diffusion

루트·물체 자세는 SO(3)에 산다. 저자들은 VP diffusion의 SO(3) 버전을 쓴다. 기준 자세 A(루트는 I, 물체는 현재 측정 자세)를 향해 회전을 수축시키면서 회전 노이즈를 키운다. 노이즈는 등방 \mathcal{IG}_{SO(3)} 분포다.

M^k=A\,\mathrm{Exp}\big(\sqrt{\bar\alpha_k}\,\mathrm{Log}(A^\top R^0)\big),\qquad E^k\sim\mathcal{IG}_{SO(3)}(I,\sigma_k^2),\qquad R^k=M^kE^k \tag{13}

\sigma_k^2=\sigma_{\max}^2(1-\bar\alpha_k)다. 첫 줄은 “기준 대비 상대 회전을 축–각으로 바꿔 각도만 \sqrt{\bar\alpha_k}배로 줄인 뒤 되돌린다”는 뜻이다. Euclidean의 \sqrt{\bar\alpha_k}x^0 수축에 대응한다. 둘째 줄은 노이즈 회전을 합성한다. \bar\alpha_k\to0이면 중심은 A로, 노이즈 스케일은 \sigma_{\max}로 간다.

네트워크는 표준화된 각 노이즈 \epsilon^{R,k}=\mathrm{Log}((M^k)^\top R^k)/\sigma_k를 예측하고, 이를 되돌려 수축 중심을 추정한다.

\hat M^k=\hat R^k\,\mathrm{Exp}(-\sigma_k\hat\epsilon^{R,k}_\phi) \tag{14}

역방향 커널의 중심은 Euclidean DDPM 사후 평균의 계수 a_k,b_k를 축–각 좌표에서 그대로 쓴 근사다.

\mu^{R,k}=A\,\mathrm{Exp}\Big(\frac{a_k}{\sqrt{\bar\alpha_k}}\mathrm{Log}(A^\top\hat M^k)+b_k\,\mathrm{Log}(A^\top\hat R^k)\Big),\quad a_k=\frac{\sqrt{\bar\alpha_{k-1}}\beta_k}{1-\bar\alpha_k},\ b_k=\frac{\sqrt{\alpha_k}(1-\bar\alpha_{k-1})}{1-\bar\alpha_k} \tag{15}

배포 시에는 두 특징 군 모두 단계마다 노이즈를 더하지 않고 역방향 평균만 쓴다. 확률성은 초기 사전 샘플에서만 온다. 이 결정은 실기에서 부드러운 플랜을 얻는 데 중요하다고 저자들은 본다(§II-4에서 DPPO의 노이즈 주입이 “jittery motion”을 만든다고 비판하는 것과 같은 맥락이다).

방법 ④: 범용 tracker (§IV-B3, 부록 D·E·F)

tracker 하나가 7,184개 모션 전체를 mjlab에서 PPO로 학습한다(50 Hz, 식 2의 잔차 관절 목표). 참조 관측은 미래 \{1,2,4,8\}프레임(20~160 ms) 오프셋의 관절·몸체 자세·물체 추종 특징이다. critic은 asymmetric이라 물체 속도, 참조 접촉 지시자, 더 넓은 시간 창을 추가로 본다.

리셋 샘플링에 두 장치가 있다. 시작 위상은 처음 25,000 iteration 동안 BeyondMimic식 adaptive reference-state initialization을 쓰고 이후 균일 샘플링으로 바꾼다. 모션 선택은 1000 iteration마다 각 GPU가 자기 shard의 모션을 랜덤화 없이 평가해, 실패한 모션의 가중을 1로 되돌리고 성공한 모션은 \gamma_s배씩 줄인다(바닥값 N_g^{-1}, 식 20~21).

보상(Table X)은 루트·몸체 위치/자세/속도 추종, 관절 추종(가중 2.0), 접촉 일치(1.25), 물체 위치/자세/속도 추종, 그리고 행동 변화율·관절 한계·자기 충돌 정규화로 이뤄진다. 종료 조건(부록 E)은 토르소·손목·발목 높이 오차 0.25 m 초과(넘어짐), 물체 높이 오차 1 m 초과(떨어뜨림), 투영 중력 z 성분 차 0.8 초과, 베이스 각속도 8.73 rad/s 초과다.

방법 ⑤: SD:DPO — 참조 의존을 증류로 지우기 (§IV-C, 부록 J)

왜 필요한가

사전학습에서 50% 마스킹을 했으니, 참조 없이도 어느 정도는 될 것 같다. 하지만 참조를 빼면 closed-loop 생존률이 크게 떨어진다(Table V: Student 57.7% vs Self-Teacher 96.5%). 저자들의 진단은 이렇다. 계획·추종 오차가 쌓이면 시스템은 학습 데이터에 잘 없는 상태로 들어가고, 그런 상태에서는 데이터가 “어떻게 이어 갈지” 거의 알려 주지 않는다. 참조가 있으면 참조가 그 공백을 메워 주지만, 참조가 없으면 메울 것이 없다.

그래서 SD:DPO는 참조를 본 자기 자신이 그 공백을 대신 메우게 한다.

롤아웃과 버퍼

student G_\phi는 c_t와 null 토큰을, teacher G_{\bar\phi}는 여기에 IK 참조까지 받는다. 둘 다 사전학습된 플래너로 초기화한다. 계획 단계마다 둘 다 청크를 생성하고, 1/2 확률로 둘 중 하나를 골라 얼린 tracker로 처음 m프레임을 실행한다. 어느 쪽이 실행됐든 student의 제안·시작 맥락·대응 IK 참조를 버퍼 \mathcal B에 저장한다. 실패한 롤아웃은 리셋되지만 실패 직전까지의 제안은 버퍼에 남는다. 정리하면 tracker는 학습에 쓸 실행 맥락을, teacher는 denoising 타깃을 제공한다.

손실

버퍼에서 student 제안을 하나 꺼내 균일 단계 k까지 직접 노이즈한다.

\hat s^{D,0}_\tau\sim G_{\phi_{\rm old}}(\cdot\mid c_t,\varnothing),\quad k\sim\mathcal U\{1,\ldots,K\},\quad \hat s^{D,k}_\tau\sim q_k\big(\cdot\mid\mathrm{sg}(\hat s^{D,0}_\tau),c_t\big) \tag{16}

teacher와 student는 같은 노이즈 청크, 같은 단계, 같은 저장 맥락을 받고 teacher만 참조를 더 본다. 둘의 Euclidean·회전 예측을 맞추는 것이 식 (17)이다(Ping 참조). 기울기는 student 예측으로만 흐른다. teacher 타깃·버퍼 제안·노이즈 입력은 모두 고정이므로 수집·시뮬레이션·노이즈 샘플링을 미분하지 않는다.

이 손실에 두 가지를 더한다. ① 원래의 데이터 기반 사전학습 손실, ② anchor 손실: student의 참조 조건 예측을 얼린 사전학습 사본의 예측과 비교해, 참조 조건 행동이 변하지 않게 붙잡는다. teacher는 student 가중치의 EMA다.

이 구성이 왜 필요한지는 생각해 보면 분명하다. teacher와 student는 사실상 같은 네트워크의 두 입력 모드다. student를 갱신하면 teacher(EMA)도 따라 움직인다. 아무 제약이 없으면 참조 조건 모드도 같이 표류해서 teacher가 망가질 수 있다. anchor 손실이 그 표류를 막는다.

이론적 근거: KL이 MSE가 되는 조건 (부록 J)

SD:DPO는 SDPO[22]의 목적에서 왔다. SDPO는 LLM이 피드백 f까지 본 자기 자신(self-teacher)의 다음 토큰 분포로 피드백 없는 자기 자신을 증류한다. 대응 관계는 “토큰 → denoising 단계, 접두사 → 노이즈 청크+맥락, 다음 토큰 분포 → 역방향 커널, 피드백 f → IK 참조”다.

\mathcal L_{\rm KL}(\phi)=\mathbb E_{\mathcal B,k,q}\Big[\mathrm{KL}\big(p^\varnothing_\phi\ \|\ \mathrm{sg}(p^{IK}_\phi)\big)\Big] \tag{22}

Euclidean 부분은 두 커널이 공분산 \tilde\beta_kI를 공유하는 가우시안이고 평균만 다르므로 KL이 예측 차의 제곱으로 떨어진다.

\mathrm{KL}(p^\varnothing_\phi\|p^{IK}_\phi)=\frac{a_k^2}{2\tilde\beta_k}\lVert\hat x^{0|k,\varnothing}-\hat x^{0|k,IK}\rVert^2=w_k\lVert\hat{\mathbf v}^{k,\varnothing}-\hat{\mathbf v}^{k,IK}\rVert^2,\quad w_k=\frac{\beta_k}{2}\frac{\bar\alpha_{k-1}}{1-\bar\alpha_{k-1}} \tag{23}

저자들은 w_k=1로 둔다. 이유는 둘이다. \bar\alpha_0=1이라 k=1에서 w_k가 무한대이고(역방향 커널이 결정론적), 나머지 단계에서도 가장 덜 노이즈한 단계에 손실이 몰린다. 또 가중치가 양수이기만 하면 최소점(모든 단계에서 예측이 같음)은 같다. 회전 부분은 접공간 1차 근사로 같은 형태가 된다.

이 정당화는 정확하지만 범위가 좁다는 점은 짚어 둘 만하다. “최소점이 같다”는 student가 teacher를 완벽히 따라잡을 수 있을 때의 이야기다. 용량이 5.1M 파라미터로 작고 student가 teacher보다 정보가 적은(참조가 없는) 이 설정에서는 완벽한 일치가 불가능하다. 그러면 가중치가 어느 단계의 오차를 남길지 정한다. 즉 w_k=1은 결과를 바꿀 수 있는 선택이고, 이에 대한 ablation은 없다.

방법 ⑥: DA:PPO 미세조정 (§IV-D, 부록 G·H)

SD:DPO는 추종 가능한 모션을 만들지만, 물체가 목표에 닿는 것까지 보장하진 않는다(Table V: SD:DPO 후 생존 100%인데 성공 55.1%). 그래서 증류된 플래너를 DA:PPO로 미세조정한다. 플래너는 계속 상태 히스토리와 목표만 받고(참조 토큰은 \varnothing), tracker는 내내 고정이다.

항목	값
청크 지평 n / 실행 프레임 m	64 / 56
미세조정하는 denoising 단계	전부 (K=10)
온도 \mathcal T	10^{-4}
할인 \gamma / GAE \lambda	1.0 / 0.95
단계별 분산 배수	학습(초기값 1), forward 커널과 공유
클리핑 \epsilon / epoch / 미니배치	0.2 / 2 / 1024 denoising 전이
환경당 청크 / iteration / 병렬 환경	16 / 500 / 2048
LR (플래너·분산 / critic)	10^{-6} / 10^{-4}
critic	residual MLP 3×256, Mish, critic 전용 warm-up 10 iter × 4 epoch

표: DA:PPO 후학습 설정(Table XII에서 발췌). DPPO-style 비교군은 같은 설정에 \mathcal T=0·고정 분산.

보상은 두 가지가 있다(Table XI). r_{\rm kin}은 청크 동안의 실현 모션이 IK 리타게팅 모션에 얼마나 가까운지(앵커·몸체·물체 위치/자세, 지수 커널)와 종료 페널티(−5.0)로 이뤄진다. r_{\rm goal}은 물체 목표 자세 근접도(가중 5.0, \sigma_p=7.8 cm, \sigma_\theta=0.244 rad)와 생존 보너스다. 본 실험은 r_{\rm kin}을 쓴다. 저자들은 “IK 참조는 보상 계산에 쓸 수 있지만 플래너 조건으로 쓸 필요는 없다”고 표현한다(§IV-D). 이 구분은 뒤의 비판에서 다시 다룬다.

직관: 비계를 세우고, 거두고, 다듬는다

세 단계를 건축에 비유하면 이해가 쉽다.

1. 비계 세우기(사전학습): 데이터가 7천 개 모션뿐이라 “상태 + 목표”만으로 모션을 지으라고 하면 무너진다(Fig. 4: 조건 없음 생존 45.3%). 그래서 IK 참조라는 비계를 대고 짓게 한다. 플래너가 실제로 배우는 일은 “리타게팅 모션의 물리적으로 가능한 버전 만들기”, 즉 조건부 투영에 가깝다.
2. 비계 거두기(SD:DPO): 비계 없이도 서 있도록, 비계를 댄 자기 자신의 판단을 흉내 낸다. 핵심은 어디서 흉내 내는가다. 데이터셋 상태가 아니라 student가 tracker와 굴러가다 도달한 상태(오차가 누적된 상태 포함)에서 흉내 낸다. DAgger와 같은 발상이다. 다만 전문가가 외부 정책이 아니라 특권 입력을 받은 자기 자신이고, 행동이 아니라 denoising 예측을 맞춘다. 보상도 critic도 필요 없다.
3. 다듬기(DA:PPO): 비계 없이 서 있게 된 건물을 실제 하중(tracker 실행 결과)으로 시험하며 고친다. 엔트로피 항이 플랜의 다양성을 유지해 모드 붕괴를 늦춘다.

왜 2를 건너뛰고 바로 3으로 가면 안 될까? Table V가 답한다. 참조 없이 처음부터 학습한 모델에 DA:PPO를 하면 67.0%에서 멈춘다. 사전학습 Student에 바로 DA:PPO를 하면 92.1%까지 가지만, SD:DPO를 거치면 98.8%다. 저자들 해석으로는, RL은 “이미 대체로 되는 플랜”을 다듬는 데 강하고, 넘어지는 상태가 잦은 초기 분포에서는 신호가 약하다. SD:DPO가 생존률을 100%로 먼저 올려 두면 RL이 과제 성공에만 집중할 수 있다.

모션 수준 diffusion을 고집하는 이유(§V-D) 도 같은 결을 따른다. 생성 학습(최대우도)은 forward-KL이라 분포 전체를 덮으려 하고, 근사가 불완전하면 모드 사이 저밀도 영역에도 확률을 준다. 행동 수준 모델이라면 그런 샘플이 곧 관절 명령이 되어 균형을 깨뜨린다. 반면 최대 엔트로피 RL은 보상 가중 목표에 대한 reverse-KL로 볼 수 있어 저보상 행동에 질량을 덜 준다. 그래서 다양성은 생성 플래너가, 신뢰할 수 있는 실행은 RL tracker가 맡는 분업이 맞다는 논리다. 그럴듯한 논리지만, 이 논증 자체는 정성적이고 Table III의 비교로 간접 지지될 뿐이다.

실험 셋업 (§V)

• 지표: 생존률 = 로봇이 넘어지지도 물체를 떨어뜨리지도 않은 롤아웃 비율. 과제 성공 = 생존한 롤아웃 중 최종 물체 자세가 목표에서 15 cm·30° 이내인 비율. MPKPE = 실행된 로봇 모션과 생성된 모션의 키포인트 평균 오차. Obj. pos./ori. = 물체 궤적 전체의 같은 오차.
• 통계: 모션마다 100회 롤아웃, 서로 다른 참조 모션들에 대한 평균 ± 표준오차(SEM).
• 평가 집합: 별도 언급이 없으면 Single 데이터셋(원본 29개 모션)의 모션들.

실험 ①: 데이터 증강의 효과 (§V-A, Table I)

사전학습 코퍼스	참조 출처	생존(%)	성공(%)	MPKPE(cm)	Obj. pos.(cm)	Obj. ori.(°)
SBTO Aug + Symmetry	사전학습 플래너	96.5 ± 1.5	51.9 ± 4.5	8.5 ± 0.6	12.6 ± 2.4	14.0 ± 1.3
	+ DPPO-style (\mathcal T=0)	99.1 ± 0.1	94.0 ± 3.5	4.9 ± 0.3	5.2 ± 2.1	6.3 ± 1.2
	+ DA:PPO	100.0 ± 0.0	96.4 ± 3.4	4.3 ± 0.2	5.0 ± 2.0	5.8 ± 1.0
SBTO Aug	사전학습 플래너	92.3 ± 4.0	47.5 ± 6.3	8.6 ± 0.7	14.7 ± 3.9	14.9 ± 1.5
	+ DA:PPO	100.0 ± 0.0	92.5 ± 4.7	4.1 ± 0.1	4.9 ± 1.9	5.8 ± 1.1
Single + Symmetry	사전학습 플래너	90.7 ± 4.9	49.1 ± 7.8	8.8 ± 0.8	18.7 ± 5.2	16.4 ± 1.8
	+ DA:PPO	100.0 ± 0.0	89.4 ± 5.0	6.1 ± 0.3	7.2 ± 1.6	9.8 ± 1.3
Single	사전학습 플래너	90.0 ± 5.5	57.1 ± 7.8	9.0 ± 1.3	20.8 ± 6.7	18.3 ± 2.3
	+ DA:PPO	93.3 ± 4.4	72.3 ± 7.5	8.8 ± 1.3	18.0 ± 6.8	15.0 ± 2.2
없음	IK 리타게팅 모션	93.5 ± 4.5	53.0 ± 8.3	8.2 ± 0.7	11.0 ± 3.4	31.4 ± 4.5
	SBTO 해	100.0 ± 0.0	61.6 ± 8.0	6.6 ± 0.4	9.1 ± 2.4	20.3 ± 3.5

표: Table I. 모든 행은 참조 조건 플래너이고, DA:PPO는 각자의 코퍼스에서 500 iter, 2048 병렬 환경. 마지막 두 행은 플래너 없이 같은 tracker에 IK 모션이나 SBTO 해를 직접 추종시킨 결과.

읽을거리는 세 가지다.

1. 증강의 효과는 사전학습보다 후학습에서 더 크게 드러난다. 사전학습 생존률은 90.0 → 96.5%로 차이가 크지 않고, 사전학습 성공률은 오히려 Single(57.1%)이 가장 높다. 그런데 DA:PPO 후에는 Single 72.3% vs 두 증강 96.4%로 24%p가 벌어진다. 동역학적으로 가능한 다양한 모션이 RL이 탐색할 “좋은 출발 분포”를 만든다는 해석이 가능하다. 논문 본문은 “SBTO 변형이 대칭보다 생존률을 더 올린다”는 사전학습 쪽 서술에 무게를 두지만, 표에서 더 극적인 것은 후학습 쪽이다.
2. 미세조정된 플래너는 “정답 모션”보다 낫다. 같은 tracker에 SBTO 해를 직접 주면 생존 100%지만 성공은 61.6%다. 미세조정된 플래너가 주는 참조로는 96.4%다. 즉 데이터셋 모션 자체가 tracker에게 최적의 참조가 아니고, DA:PPO는 tracker가 실제로 잘 따라갈 수 있는 쪽으로 플랜을 옮긴다. 저자들이 말하는 “플랜과 실행의 정렬”이 이것이다. IK 모션을 그대로 따라가면 물체 자세 오차가 31.4°로 가장 크다는 점도 리타게팅만으로는 접촉이 지켜지지 않는다는 서론의 주장을 뒷받침한다.
3. DA:PPO vs DPPO-style(§V-F): 생존 99.1 → 100%, MPKPE 4.9 → 4.3 cm는 표준오차를 넘는 차이다. 반면 성공률 94.0 vs 96.4%, 물체 위치 5.2 vs 5.0 cm는 SEM(약 2~3.5) 안이다. 본문의 “significantly improves all other metrics”는 표가 지지하는 것보다 강한 표현이다.

실험 ②: 사전학습에서 과제 조건의 중요성 (§V-B, Fig. 4)

조건(prior) 종류에 따른 사전학습 플래너의 closed-loop 생존률(Fig. 4). 파란색이 그 prior가 지정하는 부분, 속이 빈 표시는 희소(5프레임마다) 프레임. 막대 위 수치는 그림에만 있다.

일곱 개 플래너를 조건만 바꿔 사전학습했다. 그림에서 읽은 생존률을 정리하면 다음과 같다.

조건	로봇 모션	사람 모션	루트 + EE	EE	희소 EE	물체만	없음
생존(%)	96.3	87.0	89.1	85.4	84.3	70.6	45.3

표: Fig. 4 막대 라벨(그림에서 읽은 값).

• 리타게팅한 로봇 모션이 가장 좋고, 리타게팅 전 OMOMO의 사람 포즈를 그대로 주면 약 9%p 떨어진다. 리타게팅이 “로봇이 따라갈 수 있는 형태”로 문제를 바꿔 주는 몫이 있다는 뜻이다.
• 엔드이펙터를 5프레임마다만 줘도(84.3%) 조밀한 EE(85.4%)와 거의 같다. 희소한 힌트로도 상당 부분이 해결된다.
• 물체 궤적만 주면 70.6%, 아무것도 안 주면 45.3%다. 저자들 결론은 “이 데이터 규모에서는 강한 prior가 사전학습에 필요하다”이다.

작은 불일치가 하나 있다. 그림의 “로봇 모션” 96.3%와 “없음” 45.3%는 같은 모델이라고 소개되는 Table I/II/V의 96.5%, Table V의 No-prior 46.9%와 조금 다르다. 평가 시드가 다른 별도 실행으로 보이지만 논문은 따로 설명하지 않는다. 결론에는 영향이 없다.

실험 ③: SO(3) diffusion (§V-C, Table II)

회전 diffusion	생존(%)	성공(%)	Obj. ori.(°)
SO(3)	96.5 ± 1.5	51.9 ± 4.5	14.0 ± 1.3
Euclidean (6D)	85.9 ± 5.0	46.4 ± 5.7	19.6 ± 2.5

회전 특징만 다르게 diffuse한 두 사전학습 플래너를 비교했다. 생존률이 10.6%p 오른다. 6D 표현을 Euclidean으로 diffuse하면 중간 단계 샘플이 회전 행렬 다양체 밖에 놓이고, 최종 출력도 직교화로 투영해야 한다. 그 과정의 왜곡이 closed-loop 오차로 누적된다고 보면 자연스러운 결과다. 다만 성공률 차이(51.9 vs 46.4)는 SEM 안이다. 이 비교는 사전학습 단계에서만 했고, 후학습 후에도 격차가 유지되는지는 보고되지 않았다.

실험 ④: 모션 수준 vs 행동 수준 diffusion (§V-D, Table III, 부록 K)

모델	생존(%)	성공(%)
상태 diffusion + tracker (DiPLO 사전학습)	96.5 ± 1.5	51.9 ± 4.5
행동 diffusion (PDP식)	87.5 ± 3.7	45.3 ± 4.8
State-action diffusion (BeyondMimic식, 비조건 prior + test-time steering)	58.2 ± 7.1	8.2 ± 3.6

두 베이스라인은 tracker 없이 관절 PD 목표를 직접 낸다. 학습 데이터는 DiPLO의 사전학습 tracker가 증강 코퍼스 전체를 추종한 롤아웃이다. 적용 관절 목표에 Ornstein–Uhlenbeck 노이즈를 섞고 노이즈 없는 tracker 출력을 라벨로 저장해, 이탈 상태와 교정 행동을 짝지었다. 실패한 롤아웃은 버리고 15.4M 프레임(85 h) 을 모았다. 모델은 Diffuse-CLoC/BeyondMimic v1 구조(6층·4헤드·폭 512, 20.2M 파라미터, 20단계)를 따르고 50 Hz로 매 스텝 재계획한다. 조건 모델은 DiPLO와 같은 정보(상태, 목표, IK 참조)를 받는다.

공정성 측면에서 이 비교는 꽤 성실하다. 베이스라인 모델이 DiPLO 플래너(5.1M)보다 4배 크고, 데이터는 DiPLO tracker의 85시간 분량 교정 시연이며, steering lookahead도 5개 값 중 최선(0.32 s)을 골랐다. 그런데도 상태 diffusion + tracker가 이긴다.

그래도 두 가지는 짚어 둔다. 첫째, 베이스라인의 “전문가”가 DiPLO 자신의 tracker라서, 행동 diffusion은 그 tracker를 모방해 근사하는 셈이다. 원본 tracker를 계층에 그대로 두는 쪽이 이기는 것은 어느 정도 예상 가능한 결과다. 둘째, state-action 쪽은 원 논문의 설정(비조건 prior + 가이던스)을 따른 것이라 조건부 학습을 한 다른 두 모델과는 학습 방식부터 다르다. Table III 캡션이 이를 밝히고 있다.

추론 속도도 언급된다. 실기 셋업에서 diffusion 플래너는 tracker와 병렬 프로세스로 약 12.5 Hz다. 행동 diffusion이 이 속도라면 다음 플랜이 올 때까지 행동이 open-loop로 돌아 다리 로봇을 안정시키기 어렵다는 것이 계층 구조를 택한 실무적 근거다.

실험 ⑤: 미세조정 보상 설계 (§V-E, Table IV)

지표	사전학습	+ DA:PPO r_{\rm kin}	+ DA:PPO r_{\rm goal}
생존(%)	96.5 ± 1.5	100.0 ± 0.0	100.0 ± 0.0
성공(%)	51.9 ± 4.5	96.4 ± 3.4	92.9 ± 4.7
MPKPE(cm)	8.5 ± 0.6	4.3 ± 0.2	8.0 ± 0.4
Obj. pos.(cm)	12.6 ± 2.4	5.0 ± 2.0	7.2 ± 2.0
Obj. ori.(°)	14.0 ± 1.3	5.8 ± 1.0	7.5 ± 1.3

목표만 보는 r_{\rm goal}로도 성공률이 92.9%까지 오른다. 다만 MPKPE가 8.0 cm로 사전학습 수준에 머문다. 목표에만 보상을 주면 플래너가 “tracker가 정확히 따라갈 수 있는 플랜”을 낼 유인이 없어, 플랜과 실행이 어긋난 채로도 물체만 목표에 가면 된다. 반대로 r_{\rm kin}은 실현 모션이 IK 모션에 가깝기를 요구하므로, 결과적으로 tracker가 따라가기 쉬운 플랜을 유도한다. 저자들은 데모가 없는 새 목표에선 r_{\rm goal}과 커리큘럼을 쓸 수 있다고 제안하지만 실험은 없다.

실험 ⑥: 강한 과제 조건 없애기 (§V-G, Table V)

과제	생성기	생존(%)	성공(%)
Pick-place	No-prior (사전학습)	46.9 ± 8.3	32.2 ± 6.8
	No-prior + DA:PPO (r_{\rm kin})	74.1 ± 8.0	67.0 ± 8.6
	Self-Teacher (사전학습, 참조 있음)	96.5 ± 1.5	51.9 ± 4.5
	Student (사전학습, 참조 \varnothing)	57.7 ± 9.2	45.4 ± 9.0
	Student + DA:PPO	92.1 ± 4.8	92.1 ± 4.8
	Student + SD:DPO	100.0 ± 0.0	55.1 ± 6.0
	Student + SD:DPO + DA:PPO	99.5 ± 0.5	98.8 ± 1.2
Kick	Self-Teacher (사전학습)	99.9 ± 0.1	34.4 ± 7.2
	Student (사전학습)	100.0 ± 0.0	1.2 ± 0.7
	Student + SD:DPO	100.0 ± 0.0	31.9 ± 7.1
	Student + SD:DPO + DA:PPO	100.0 ± 0.0	68.1 ± 8.3
Push/Pull	Self-Teacher (사전학습)	100.0 ± 0.0	23.3 ± 4.9
	Student (사전학습)	98.7 ± 1.3	12.8 ± 3.9
	Student + SD:DPO	100.0 ± 0.0	21.7 ± 4.8
	Student + SD:DPO + DA:PPO	100.0 ± 0.0	52.7 ± 6.5

이 논문의 중심 표다. 행을 쌍으로 비교하면 각 구성 요소의 몫이 드러난다.

• SD:DPO의 몫(Student → +SD:DPO): pick-place 생존 57.7 → 100%. Kick 성공 1.2 → 31.9%, Push/Pull 12.8 → 21.7%. 세 과제 모두 student가 self-teacher 수준으로 회복한다(pick-place 생존은 오히려 teacher를 넘는다: 100 vs 96.5). 증류가 의도대로 작동한다는 가장 직접적인 증거다.
• DA:PPO의 몫(+SD:DPO → +SD:DPO+DA:PPO): 세 과제 모두 성공률이 크게 오른다(55.1 → 98.8, 31.9 → 68.1, 21.7 → 52.7).
• 강한 조건으로 사전학습한 몫(No-prior+DA:PPO vs Student+SD:DPO+DA:PPO): 67.0% vs 98.8%. 저자들의 핵심 주장, “참조 없이 처음부터 학습하면 후학습으로도 회복하지 못한다”의 근거다.

Kick과 Push/Pull의 생존률이 거의 100%인 것은 물체가 늘 바닥에 있어 “떨어뜨림” 실패가 구조적으로 거의 없기 때문이다. 저자들도 부록 E에서 이를 밝힌다. 그래서 이 두 과제는 성공률만 봐야 한다. 두 과제의 최종 성공률(68.1%, 52.7%)은 pick-place(98.8%)보다 한참 낮다.

다른 스킬: 차기(왼쪽 4개)와 밀기/당기기(오른쪽 4개). Student + SD:DPO + DA:PPO, 각 과제의 모션으로만 학습, 상태 히스토리와 목표만 조건. 청록색 괄호가 목표 자세. 프로젝트 페이지 영상.

실험 ⑦: 본 적 없는 목표로의 일반화 (§V-G, Fig. 5, 부록 M)

목표 격자 평가(Fig. 5), Student + SD:DPO + DA:PPO. 로봇은 중앙에서 오른쪽을 보고 시작한다. 검은 화살촉은 데모 목표 29개(방향 = 목표 yaw), 점선 원은 그중 가장 먼 1.9 m. 각 칸은 0.5~5 m 거리에 0/90/180/270° 목표 회전을 주고 100회씩 롤아웃(물체 초기 자세 최대 5 cm·12° 랜덤화). 왼쪽: 최종 위치 오차(m), 오른쪽: 자세 오차(°).

참조 조건을 없앤 덕분에 데이터셋에 없는 목표도 줄 수 있다. 0.5~5 m 극좌표 격자에서 생존 약 100%, 성공 88%다. 부록 M의 Fig. 7은 같은 에피소드로 앞 단계 체크포인트를 비교한다.

DA:PPO 이전 체크포인트의 목표 격자(Fig. 7). (a) 사전학습 Student, (b) Student + SD:DPO. 색 척도는 Fig. 5와 같다. 물체를 12 cm 넘게 들어 올린 롤아웃만 집계했다(비율 (a) 83%, (b) 78%, 최종 체크포인트 90%). 색 막대 끝 화살표는 범위 밖 값이 있다는 뜻이다(최대 (a) 0.48 m, (b) 46.6°).

세 그림을 나란히 보면 순서가 보인다. 사전학습 Student는 위치 오차가 가장 크고, SD:DPO는 위치 오차를 조금 줄이지만 자세는 여전히 어려워한다((b)의 오른쪽이 가장 어둡다). 최종 DA:PPO가 둘 다 크게 줄인다. 저자들의 표현으로 미세조정이 “성능의 마지막 구간을 연다”. 흥미로운 점은 (b)의 들어 올림 비율(78%)이 (a)(83%)보다 낮다는 것이다. SD:DPO가 생존률은 100%로 올렸지만, 격자 평가에서 물체를 드는 비율은 오히려 줄었다. 논문은 이 부분을 해석하지 않는다.

데모 밖 목표에 대한 로봇 x–y 궤적(Fig. 8), 최종 모델. 두 모션(a·b, c·d) 각각에서 (a,c) 목표를 x·y 방향으로 0.5~1.0 m 옮기고, (b,d) 목표를 제자리에서 z축 ±90° 회전. 색이 목표별 궤적, 회색 상자가 초기 물체 자세.

한 시작점, 2 m 링 위의 목표들(데모에 없음)

사람이 놓은 위치에서 0.5 m·1 m 옮긴 목표

제자리에서 90° 돌린 목표

과제 도중 목표가 움직이는 경우 12종(프로젝트 페이지 전용)

일반화 영상. 프로젝트 페이지 영상이며, 오른쪽 아래(움직이는 목표)와 아래 20 m 목표는 논문 본문에 없는 프로젝트 페이지 전용 데모다.
20 m 떨어진 목표(프로젝트 페이지 전용, 6배속). 페이지는 “데이터셋의 어떤 목표보다 10배 멀다”고 설명한다.

이 일반화를 어떻게 읽을까. 앞의 목표 표현을 다시 보자. 거리 항이 \min(1.0,\lVert\Delta p_t\rVert)로 1 m에서 잘린다. 그러니 물체가 목표에서 1 m보다 멀면 플래너가 보는 목표 입력은 “방향 + 1.0 + 남은 회전”뿐이고, 5 m 목표든 20 m 목표든 1.9 m 데모의 초반 구간과 같은 종류의 입력이다. 데모 목표가 최대 1.9 m이므로 “거리 = 1.0으로 잘린 상태”는 학습 중에도 흔히 나온다. 따라서 먼 목표 일반화는 “본 적 없는 거리를 외삽한다”기보다 “방향을 향해 걸어가다 1 m 안에 들어오면 학습 분포 안의 마무리 동작을 한다” 에 가깝다. 이건 논문의 결과를 깎아내리는 말이 아니다. 오히려 좋은 설계다. 다만 이 설계 덕분에 먼 거리 일반화가 쉬워진다는 점을 저자들이 본문에서 연결해 설명하지 않는 것은 아쉽다. 진짜 어려운 일반화 축은 거리보다 방향과 목표 회전이다. Fig. 5를 보면 오차는 바깥 링으로 갈수록 커지지만, 같은 거리에서도 방향 섹터에 따라 색이 크게 다르다(특히 로봇 뒤쪽인 왼쪽 섹터의 위치 오차가 크다, 그림 판독).

실험 ⑧: 플래너 미세조정 vs tracker 미세조정 (§V-H, Table VI)

모션 생성기	Tracker	생존(%)	성공(%)
사전학습	사전학습	96.8 ± 2.2	51.9 ± 4.5
사전학습	PPO (r_{\rm gen})	99.0 ± 1.0	87.9 ± 4.9
사전학습	PPO (r_{\rm gen}+r_{\rm goal})	99.5 ± 0.3	89.3 ± 5.2
+ DA:PPO (r_{\rm kin})	사전학습	100.0 ± 0.0	96.5 ± 1.5

Zhang et al.15처럼 플래너를 얼리고 tracker를 맞추는 대안과 비교했다. tracker 미세조정은 모든 파라미터를 PPO로 1000 iter 갱신하고, 생성된 참조 추종 보상 r_{\rm gen}을 쓴다. 결과는 tracker 미세조정 최대 89.3%, 플래너 미세조정 96.5%다.

두 가지를 짚어 둔다. 첫째, Table VI의 셀 값이 Table I과 어긋난다. 같은 “사전학습 플래너 + 사전학습 tracker”의 생존률이 Table I·IV에서는 96.5 ± 1.5인데 여기선 96.8 ± 2.2다. “+DA:PPO + 사전학습 tracker”의 성공률은 Table I·IV에서 96.4 ± 3.4인데 여기선 96.5 ± 1.5다. 이 값은 공교롭게도 사전학습 플래너의 생존률(96.5 ± 1.5)과 똑같다. PDF와 HTML이 같으므로 변환 오류는 아니고 원고의 옮겨 적기 실수로 보인다. 결론(플래너 미세조정 > tracker 미세조정)에는 영향이 없지만 인용할 땐 Table I의 값을 쓰는 편이 안전하다. 같은 맥락에서 Table V의 “Student + DA:PPO” 행은 생존과 성공이 둘 다 92.1 ± 4.8로 SEM까지 똑같다. 성공이 생존한 롤아웃 기준이라 우연히 같을 수도 있지만 확인할 길이 없다.

둘째, 이 비교는 tracker 미세조정에 1000 iter, 플래너 미세조정에 500 iter를 썼다. 예산은 tracker 쪽이 더 많다. 그런데도 플래너 쪽이 이겼으니 결론의 방향은 믿을 만하다. 다만 REFINE-DP가 주장하는 플래너·tracker 공동 갱신은 여기서 비교되지 않았다. “플래너만 고치는 게 tracker만 고치는 것보다 낫다”까지가 이 표가 보여 주는 범위다.

실험 ⑨: 실기 배포 (§V-I, Table VII)

모션	성공	MPKPE(cm)	최종 물체 위치(cm)	최종 물체 자세(°)
반복(같은 목표 10회)	10/10	6.5 ± 0.7	1.8 ± 0.8	3.4 ± 1.1
서로 다른 목표(각 1회)	5/5	6.8 ± 1.1	5.7 ± 5.0	12.8 ± 12.5

표: Table VII. ± 는 실행 간 표본 표준편차.

셋업은 다음과 같다. 29-DoF Unitree G1. 플래너는 GPU에서 별도 프로세스로, tracker는 CPU에서 ONNX Runtime으로 돈다. 관절 엔코더·IMU가 고유수용 상태를 주고, 모션캡처가 로봇 베이스와 물체 자세를 준다. tracker 50 Hz, PD 200 Hz. 플래너는 10 denoising 단계로 64프레임(1.28 s)을 만들고, 통신 지연과 샘플링을 합쳐 최대 약 12.5 Hz다. tracker는 새 청크가 올 때까지 현재 청크를 계속 실행한다.

같은 목표 반복 실행 10회(나란히)

집기 → 운반 → 내려놓기

제자리에서 물체 돌리기

실기 영상(프로젝트 페이지). 실내 모션캡처 공간에서 촬영됐다.

시도한 15회가 모두 성공했다. 반복 실행의 최종 물체 위치 오차 1.8 cm는 시뮬레이션의 과제 허용치(15 cm)보다 훨씬 작다. 서로 다른 목표에서는 자세 오차의 편차가 커서(12.8 ± 12.5°) 일부 목표에서 회전 정렬이 덜 정확했음을 시사한다. 표본 수가 작아 실기 성공률이 어디까지인지(실패 경계)는 알 수 없다.

부록 L: 예측 지평 ablation (Table XV)

n / m	20 / 12	32 / 24	48 / 40	64 / 56	100 / 92
생존(%) 랜덤화 없음	97.6 ± 2.3	100.0 ± 0.0	97.4 ± 2.5	100.0 ± 0.0	100.0 ± 0.0
성공(%) 랜덤화 없음	89.7 ± 5.1	92.9 ± 4.7	87.7 ± 5.5	93.1 ± 4.7	91.8 ± 4.7
생존(%) Table IX 랜덤화	99.6 ± 0.3	99.1 ± 0.8	99.6 ± 0.4	100.0 ± 0.0	99.6 ± 0.4
성공(%) Table IX 랜덤화	90.5 ± 4.5	92.0 ± 3.8	89.9 ± 4.9	91.8 ± 4.4	91.4 ± 4.1

표: Table XV(사전학습 플래너, 모션당 16 롤아웃). 저자들은 “절대값을 본 실험과 비교하지 말라”고 명시한다.

n=20_100(0.42.0 s)에서 어느 지표도 뚜렷하게 나빠지지 않는다. 다만 이 표의 사전학습 플래너 성공률(87.7~93.1%)은 본 실험 사전학습 플래너(Table I, 51.9%)보다 40%p 가까이 높다. 저자들은 비교하지 말라고만 하고 무엇이 다른지(평가 집합, 조건, 체크포인트)는 설명하지 않는다. 지평 간 상대 비교로만 읽어야 한다.

비판적으로 보면

강점

1. 문제 정의가 날카롭다. “적은 데이터에선 강한 조건이 필요하지만, 배포에선 그 조건이 없다”는 긴장을 명확히 세우고, 이를 Fig. 4(조건 종류별 생존률 7단계)와 Table V(No-prior + DA:PPO 67.0% vs 98.8%)로 양쪽에서 검증했다. “처음부터 조건 없이 학습해도 RL이 메워 줄 것”이라는 직관을 정면으로 반박하는 데이터다.
2. SD:DPO는 간단하고 비용이 싸다. 별도 teacher 네트워크, 보상, critic이 모두 필요 없다. 같은 네트워크의 두 입력 모드로 teacher·student를 만들고, student가 실제로 도달한 상태에서 예측을 맞춘다. 사전학습에서 50% 마스킹만 해 두면 바로 적용할 수 있어, 특권 조건이 있는 다른 조건부 diffusion 설정(예: 언어·궤적 힌트)에도 옮기기 쉽다. SDPO 목적에서 MSE 목적을 유도하는 부록 J도 깔끔하다.
3. ablation이 설계 선택을 거의 하나씩 떼어 본다. 데이터 증강(Table I), 조건 종류(Fig. 4), 회전 diffusion 기하(Table II), 모션 vs 행동 수준(Table III), 보상(Table IV), 엔트로피 유무(Table I), 증류 유무(Table V), 플래너 vs tracker 미세조정(Table VI), 예측 지평(Table XV)이 각각 있다. 행동 diffusion 베이스라인을 85시간 데이터와 4배 큰 모델로 성실하게 구성한 점도 신뢰를 준다.
4. 이론과 실무의 간극을 스스로 밝힌다. smooth-L1이면 score 복원 논증이 성립하지 않는다는 점, w_k를 1로 둔 이유, 회전 커널이 축–각 좌표 근사라는 점, kick/push의 생존률이 구조적으로 높다는 점을 저자들이 먼저 적어 둔다.
5. 하이퍼파라미터 공개 수준이 높다. 플래너·DA:PPO·tracker 미세조정·베이스라인 설정표(Table VIII, XII, XIII, XIV), 보상 항(Table X, XI), 도메인 랜덤화(Table IX), 종료 조건(부록 E)까지 있다. 코드가 없는 지금도 재구성의 출발점이 된다.

약점·한계

1. “참조 없음”은 배포 시점에만 해당한다. SD:DPO의 teacher는 IK 참조를 받고, 본 실험의 DA:PPO 보상 r_{\rm kin}도 IK 모션과의 거리다. 학습 중에는 여전히 데모 목표 29개와 그 리타게팅 모션이 있어야 한다. 새 스킬을 추가하려면 그 스킬의 리타게팅 데모가 다시 필요하다. 저자들의 “비계” 비유가 정확히 이것을 말하므로 숨긴 것은 아니다. 하지만 초록의 “removing the dependence on strong task conditioning”은 이 구분 없이 읽힐 수 있다. 데모가 전혀 없는 목표로 r_{\rm goal} + 커리큘럼을 쓰는 실험이 있었다면 주장이 훨씬 강해졌을 것이다.
2. SD:DPO가 최종 성능에 보태는 몫이 pick-place에선 작다. Student + DA:PPO 92.1 ± 4.8% vs Student + SD:DPO + DA:PPO 98.8 ± 1.2%. 차이 6.7%p는 앞쪽 SEM과 비슷한 크기다. SD:DPO의 효과가 가장 클 것으로 보이는 kick(사전학습 student 성공 1.2%)과 push/pull에는 “Student + DA:PPO” 행이 없다. 정작 필요한 대조군이 빠진 셈이다. SD:DPO의 가치를 주장하려면 이 두 과제에서 그 행이 있어야 한다.
3. SD:DPO 롤아웃은 엄밀히 on-policy가 아니다. 본문(§IV-C)은 매 단계 teacher와 student 제안 중 1/2 확률로 하나를 실행한다고 쓴다. 따라서 student가 학습하는 상태 분포는 teacher 실행이 섞인 혼합 분포다. 프로젝트 페이지의 “on-policy: states come from the student’s own closed-loop rollouts”는 본문보다 강한 표현이다. 혼합 비율(1/2)에 대한 ablation도 없다. 이 비율은 DAgger의 \beta처럼 student가 자기 실수 상태를 얼마나 보는지 정하므로 결과에 영향을 줄 수 있다.
4. 먼 목표 일반화의 일부는 목표 표현 덕분이다. 위에서 짚었듯 거리 항이 1 m에서 잘리므로, 5 m·20 m 목표는 플래너 입력상 “멀리 있는 방향”으로만 보인다. 그래서 일반화 주장의 핵심은 거리보다 방향·목표 회전 축에 있는데, 논문은 이를 나눠 보고하지 않는다. 격자 결과를 거리별·방향별·회전별로 나눈 표가 있었다면 무엇이 진짜 일반화인지 분명해졌을 것이다.
5. 과제 성공 기준이 느슨하다. 15 cm·30° 이내다. 상자 운반에선 합리적일 수 있지만 “~99% 성공”이라는 헤드라인을 읽을 때 기억해 둘 기준이다. 실기 반복 실행의 최종 위치 오차(1.8 cm)가 훨씬 작아서 실제 정밀도는 이 기준보다 나을 가능성이 있지만, 시뮬레이션의 최종 오차 분포는 따로 보고되지 않았다(Obj. pos.는 궤적 전체 평균이다).
6. 표 사이 수치 불일치. Table VI의 두 셀(96.8 ± 2.2, 96.5 ± 1.5)이 Table I·IV의 같은 설정 값(96.5 ± 1.5, 96.4 ± 3.4)과 다르고, Fig. 4의 96.3%·45.3%도 Table I/V의 96.5%·46.9%와 다르다. Table XV의 사전학습 플래너 성공률(약 90%)과 본 실험(51.9%)의 차이는 설명이 없다. 하나하나는 결론을 뒤집지 않지만, 작은 표본(29개 모션의 SEM)으로 수 %p 차이를 논하는 논문에서는 정리가 필요하다.
7. “significantly”의 근거가 약하다. DA:PPO vs DPPO-style의 성공률(96.4 ± 3.4 vs 94.0 ± 3.5), SO(3) vs Euclidean의 성공률(51.9 ± 4.5 vs 46.4 ± 5.7)은 SEM 안의 차이인데 본문은 “significantly improves”라고 쓴다. 통계 검정은 없다. 게다가 DPPO-style 비교군은 \mathcal T=0에 분산도 고정이라 엔트로피 항과 분산 학습이라는 두 변수가 섞여 있다. 원 DPPO의 탐색 장치(노이즈 주입)는 “불안정해서” 뺐다고 하는데, 그러면 이 비교군은 원 DPPO가 아니라 약화된 DPPO다.
8. 학습–배포 간 재계획 주기가 다르다. 시뮬레이션 학습·평가에선 56프레임(1.12 s)마다 재계획하지만, 실기에선 새 청크가 오는 대로(최대 약 12.5 Hz, 80 ms) 교체한다. tracker 입장에서 참조가 훨씬 자주 바뀌는 셈이다. 이 차이가 실기에서 왜 문제없는지(혹은 오히려 도움이 되는지)를 논문은 다루지 않는다. 실기 결과가 좋으니 실무적으로는 괜찮아 보이지만, 시뮬레이션 평가가 실기 조건을 대표하는지는 별개 문제다.
9. 실기 평가가 좁다. 15회 시도, 같은 상자 하나, 모션캡처가 로봇 베이스와 물체 자세를 제공한다. 실패 사례가 없어 성능 경계를 알 수 없고, 외란(밀기) 실험도 실기에선 없다. 저자들도 결론에서 온보드 인식과 다양한 물체를 향후 과제로 든다.
10. 방법론 신규성은 조합에 있다. DA:PPO는 공저자들의 선행 연구[5]이고, SBTO는 같은 연구실의 DynaRetarget[4], SD:DPO는 SDPO[22]의 이식이다. DiPLO의 새로움은 이 셋을 “강한 조건 사전학습 → 증류로 조건 제거 → 엔트로피 RL로 정렬”이라는 순서로 묶고, 각 단계의 필요성을 실험으로 보인 데 있다. 가치 있는 기여지만, 독립된 알고리즘 기여로는 SD:DPO 하나다.

관련 연구와의 자리 매김

• Diffusion 정책의 RL 미세조정 계열. DPPO가 denoising 단계를 MDP에 끼워 넣어 PPO를 가능하게 했고, ReinFlow는 flow 정책에서 학습되는 노이즈 주입으로 탐색을 확보했다. DiPLO는 DA-MDP의 최대 엔트로피 정식화를 택한다. 탐색을 노이즈 주입이 아니라 단계별 로그비 정규화로 얻기 때문에, 배포 시에는 노이즈 없이 평균만 써서 부드러운 플랜을 낼 수 있다. 실기 휴머노이드에서 이 차이가 의미 있다는 것이 저자들의 주장이다.
• 휴머노이드 계층형 diffusion 플래너. REFINE-DP가 가장 가깝다. REFINE-DP는 상·하체를 나눈 명령 인터페이스에서 플래너와 컨트롤러를 함께 갱신했고, DiPLO는 전신+물체 모션 인터페이스에서 tracker를 고정하고 플래너만 갱신한다. Table VI는 “플래너만 > tracker만”을 보였지만 공동 갱신과의 직접 비교는 없다. 두 논문을 함께 읽으면, 어느 쪽을 고치느냐보다 “플래너 출력 분포와 tracker의 실행 능력을 맞춘다”는 공통 목표가 보인다.
• 모션 추종과 리타게팅. 데이터는 OmniRetarget의 pick-carry-place 모션에서 왔다. OmniRetarget이 “접촉을 보존하는 리타게팅”으로 데이터 품질을 올렸다면, DiPLO는 그 위에 SBTO로 동역학적 실현 가능성을 더하고 변형을 31배로 불린다. tracker는 DeepMimic·BeyondMimic 계열의 범용 모션 추종이다(mjlab 위). 이 흐름의 큰 그림은 HLC Survey에 정리돼 있다.
• 특권 정보 증류. 4족 보행의 teacher–student(Lee et al. 2020), OmniH2O의 특권 관측 증류와 같은 흐름이다. 차이는 증류 대상이 관측이 아니라 과제 명세(참조 궤적) 이고, teacher가 별도 네트워크가 아니라 같은 네트워크의 다른 조건 모드라는 점이다. LLM 쪽의 SDPO(Hübotter et al.)가 직접적인 방법론적 선례다.

요약

DiPLO는 데이터가 적은 휴머노이드 loco-manipulation에서 “강한 과제 조건은 사전학습에 꼭 필요하지만 배포 때 있어선 안 된다”는 긴장을 세우고, 같은 diffusion 네트워크의 참조 조건 모드를 teacher로 삼아 참조 없는 모드를 증류하는 SD:DPO와, 얼린 tracker 위에서 최대 엔트로피 RL로 플랜을 다듬는 DA:PPO로 이를 푼다. 29개 데모에서 출발해 참조 없는 플래너의 pick-carry-place 성공률을 45.4%에서 98.8%로 올렸고, 데모보다 훨씬 먼 목표와 Unitree G1 실기(15/15)까지 보였다. 데이터 증강·회전 기하·모션 수준 계획·보상·엔트로피·플래너 vs tracker 미세조정을 각각 떼어 본 ablation이 이 논문의 큰 장점이다.

한계도 분명하다. 학습은 여전히 리타게팅 참조에 기대고(teacher 조건과 r_{\rm kin} 보상), pick-place에서 SD:DPO가 최종 성능에 보탠 몫은 표준오차 수준이며, 그 효과가 클 kick·push 과제에는 대조군이 없다. 먼 목표 일반화는 거리를 1 m에서 자르는 목표 표현의 도움을 받고, 실기는 모션캡처 환경의 15회 시도다. 코드는 아직 “soon” 상태다. 공개되면 가장 먼저 확인할 것은 kick·push에서의 “Student + DA:PPO” 대조, r_{\rm goal}만으로 데모 없는 목표를 학습할 수 있는지, 그리고 SD:DPO의 teacher 실행 비율(1/2)과 w_k 가중의 영향이다.