📃Whole-Body Loco

Learning Whole-Body Humanoid Locomotion via Motion Generation and Motion Tracking

• Paper Link (arXiv:2604.17335)
• Project Page

1. 🤖 본 논문은 Motion Generation과 Motion Tracking을 결합하여 고차원 제어 및 지형 적응의 어려움이 있는 전신 휴머노이드 로코모션 프레임워크를 제안합니다.
2. ⚙️ 이 프레임워크는 지형 인식 Motion Generation을 위한 Diffusion 모델과 Motion Tracking을 위한 RL 기반 트래커를 사전 학습한 후, 고정된 생성기와 함께 트래커를 Closed-loop로 미세 조정하여 강건성과 일반화 능력을 향상시킵니다.
3. 🚀 Unitree G1 로봇에 배포된 이 시스템은 다양한 복합 지형에서 성공적인 횡단을 시연했으며, 온라인 Motion Generation 및 트래커 미세 조정을 통한 정량적 개선을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 모션 생성(Motion Generation)과 모션 트래킹(Motion Tracking)을 결합하여 전신(Whole-Body) 휴머노이드 로봇의 지각 기반(perceptive) 이동(Locomotion)을 학습하는 프레임워크를 제안합니다. 높은 자유도(Degrees of Freedom)와 형태학적 불안정성(morphological instability)으로 인해 휴머노이드 로봇의 이동은 까다롭습니다. 기존 강화 학습(Reinforcement Learning, RL)은 종종 하체 위주의 동작을 학습하거나, 모방 기반 RL은 레퍼런스 모션(reference motions) 재생에 국한되어 지형에 대한 온라인 적응성(online adaptation)이 부족하다는 한계가 있습니다.

제안하는 방법론은 세 가지 주요 단계로 구성됩니다:

1. 데이터 수집 및 큐레이션 (Data Collection & Curation):
   • 초기 모션 데이터는 자체 촬영된 모션 비디오와 공개 데이터셋([12, 30])에서 수집된 약 5분 분량의 모션 클립으로 구성됩니다. 이는 50cm 상자 등반, 35cm 허들 넘기, 50cm 상자에서 점프, 20cm 계단 오르내리기 등 다양한 지형 스킬을 포함합니다.
   • 비디오에서 추출된 모션은 GVHMR [31]을 사용하여 인간 모션을 재구성(reconstruct)한 후, Drake [32]의 접촉 제약이 있는 역운동학(contact-constrained IK) 솔버를 사용하여 휴머노이드 로봇에 리타겟팅(retarget)됩니다.
   • 이후, 초기 리타겟팅된 궤적(trajectories)을 직접 사용하지 않고, DeepMimic 스타일의 트래킹 정책(tracking policy)으로 Refine하여 물리적으로 타당한 훈련 데이터를 생성합니다.
   • 모션 증강(Motion Augmentation)을 통해 데이터셋을 확장합니다. 장애물 높이 조절(예: 35-75cm 상자, 25-45cm 허들, 15-20cm 계단) 및 무작위로 작은 상자 삽입 등으로 지형 기하학(terrain geometry)을 다양화합니다. 최적화된 궤적 또한 트래킹 정책을 통해 Refine되어 물리적 타당성을 유지합니다.
2. 사전 훈련 (Pre-training Stage):
   • 전신 모션 트래커 (Whole-body Motion Tracker): DeepMimic 스타일의 RL 프레임워크를 사용하여 단일 전신 모션 트래커를 훈련합니다. PPO 알고리즘을 사용하며, IsaacLab [33]에서 진행됩니다.
     • 보상 함수는 모방 보상(imitation reward) r_{mimic}와 정규화 항(regularization terms) r_{reg}로 구성됩니다: R_{pre} = r_{mimic} + r_{reg}.
     • r_{mimic}는 Base Pose Tracking, Base Velocity Tracking, Joint Position Tracking, Joint Velocity Tracking, Body Pos Tracking 등을 포함합니다.
     • r_{reg}는 Action Rate (First-Order, Second-Order), Joint Position Limits, Joint Velocity Limits, Torque Limits, Joint Torques, Body Linear Acceleration 등을 포함합니다.
     • 트래커의 관측(observation)은 레퍼런스 상태(선형/각속도, 관절 위치/속도, 주요 신체 위치), 고유 수용성(proprioceptive) 정보(이전 액션 포함), 지형 높이 스캔(terrain height scans)으로 구성됩니다.
     • 정책은 23차원 타겟 관절 위치(target joint positions)를 액션으로 출력합니다.
   • 확산 기반 모션 생성기 (Diffusion-based Motion Generator): MDM [17, 21] 아키텍처를 기반으로 확산 모델을 사용하여 전신 레퍼런스 모션 시퀀스를 예측합니다.
     • 모델은 0.5초 예측 범위(25프레임)에 걸쳐 미래 모션 특징(root position/orientation, joint positions, body link positions)을 예측합니다.
     • 타겟 헤딩 벡터(target heading vector), 지형 높이 스캔, 과거 두 프레임의 모션 특징을 조건으로 합니다.
     • 훈련 중, 데이터셋에서 무작위로 모션 시퀀스를 샘플링하고, 베이스 포즈(base pose) 차이로부터 헤딩 벡터를 계산하며, 처음 두 프레임을 조건으로 사용하여 나머지 프레임을 예측합니다.
     • 재구성 손실(reconstruction loss) 외에 속도, 관절 일관성, 지형 침투(terrain penetration) 손실과 같은 기하학적 손실(geometric losses)을 포함합니다.
     • 훈련 중 높이 스캔 및 이전 상태 조건에 추가적인 노이즈를 주입하여 강건성(robustness)을 향상시킵니다.
3. RL 미세 조정 (RL Fine-tuning Stage):
   • 사전 훈련된 생성기와 트래커를 직접 결합할 경우, 생성된 모션의 아티팩트(artifacts)와 불완전한 레퍼런스로 인한 트래킹 실패, 훈련 데이터셋을 벗어나는 지형 및 타겟 방향에 대한 일반화 부족 문제가 발생할 수 있습니다.
   • 이를 해결하기 위해, 모션 생성기는 고정(frozen)된 상태로 유지하고 모션 트래커를 RL로 미세 조정합니다.
   • 미세 조정 단계에서 모션 생성기는 로봇 상태의 과거 두 프레임을 조건으로 레퍼런스 프레임을 생성하여 폐쇄 루프(closed-loop) 모션 예측 프로세스를 형성합니다.
   • 온보드 계산 제한 하에 배포 지연 시간(deployment latency)을 줄이기 위해 모션 생성기에서 단 2개의 Denoising 단계를 사용합니다.
   • 실제 환경 교란(real-world disturbances)에 대한 강건성 향상을 위해 모션 생성기 추론 프로세스 및 트래커 관측 모두에 추가 노이즈를 주입합니다.
   • 타겟 헤딩 방향을 무작위화하고, 헤딩 트래킹 보상 r_{task}를 도입하여 시스템이 사전 훈련된 모션 사전(motion priors)을 활용하면서 원하는 방향을 따르도록 장려합니다. 전체 보상 함수는 R_{post} = r_{mimic} + r_{reg} + r_{task}가 됩니다. r_{task}는 목표 방향 벡터 d에 대한 base linear velocity v_b의 정렬을 보상하며 \langle v_b, d \rangle / ||v_b||로 정의됩니다.
   • 훈련 지형을 더욱 다양화하여 15-25cm 스텝 높이의 계단, 25-55cm 높이의 연속적인 허들, 30-85cm 높이의 다양한 너비와 요/피치 각도를 가진 여러 개의 등반 상자 및 피라미드 스텝을 포함합니다.
   • 미세 조정을 통해 트래킹 정책은 모션 필터(motion filter) 역할을 하며, 생성기가 생성한 레퍼런스를 추적하면서 외부 지형 관측을 사용하여 안전하지 않은 동작을 억제합니다.

하드웨어 배포를 위해 전체 파이프라인은 Unitree G1 로봇에 온보드로 배포됩니다. DLIO [34]는 LiDAR와 IMU를 사용하여 로봇 베이스 포즈를 추정하고, 이는 모션 생성에 입력됩니다. 지형 인식을 위해 Elevation Mapping CuPy [35]가 사용됩니다. 모션 생성 가속화를 위해 TensorRT를 사용하여 추론 시간을 약 0.02초로 단축했습니다. 생성기는 Jetson Thor에서, 트래커 및 기타 모듈은 Jetson Orin에서 실행됩니다.

실험 결과는 제안된 시스템이 상자 등반/하강, 계단 오르내리기, 연속 허들 넘기 등 다양한 지형에서 효과적임을 보여줍니다. 특히, 상자 위에서 방향을 바꾸는 등의 다재다능한 등반 동작과, 지형 조합(vaulting, stairs, box climbing)에 따라 동적으로 모션 스타일을 전환하는 능력을 입증합니다. 정량적 분석은 온라인 모션 생성(Online Motion Generation)이 일반화(generalization)에 중요하며, 트래커 미세 조정(Tracker Fine-tuning)이 강건성(robustness) 및 성공률 향상에 필수적임을 보여줍니다. 고정된 레퍼런스 트래킹(Fixed-Reference Tracking) 대비 온라인 모션 생성 기능이 있는 시스템은 지형 변화에 대한 훨씬 높은 성공률을 보였으며, 미세 조정은 특히 도전적인 수직 전환(vertical transitions) 및 더 큰 스텝 높이에서 트래커의 성능을 크게 향상시켰습니다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

사족보행(quadruped)에서는 딥 RL이 험지 주행에 큰 성공을 거뒀지만, 휴머노이드로 옮겨가면 난도가 급격히 올라갑니다. 사람 형태의 로봇은 자유도가 훨씬 많고, 형태적으로 불안정하며, 협응된 전신 동작이 없으면 큰 장애물을 넘을 수 없습니다. 특히 휴머노이드 파쿠르(parkour) 처럼 박스에 기어오르거나 허들을 뛰어넘는 작업은 손·발·몸통이 함께 움직여야 합니다.

문제는 이런 협응 동작을 어떻게 얻느냐입니다.

• 보상 설계만으로 RL을 돌리면, 탐색(exploration)이 비효율적이라 손과 상체를 거의 안 쓰는 단조로운 보행으로 수렴하기 쉽습니다. 명시적인 구조적 가이드가 없으면 복잡한 지형 돌파가 어렵습니다.
• 모션 추적(motion tracking) 은 사람 모션 데이터로 협응된 전신 스킬을 효율적으로 옮겨올 수 있지만, 본질적으로 짜여진 궤적을 재생하는 것이라 비정형·다양한 환경에 대한 적응성과 반응성이 부족합니다.

저자들이 던지는 질문은 이것입니다. “사람 수준의 지각 기반 주행을 하려면, 실시간 지각 입력에 따라 장애물별로 적절한 동작 스타일을 조합·조정하는 상위 메커니즘이 필요하지 않을까?”

기존엔 여러 전문가(teacher) 정책을 따로 학습해 distillation(증류) 으로 합치는 방식이 주류였지만, 이는 전문가 배정·데이터 분포 설계 같은 정교한 파이프라인에 의존합니다. 한편 생성 모델(diffusion 등)은 대규모 모션 데이터로 스케일이 잘 되지만, 생성된 운동학적 궤적을 실제 로봇에 그대로 올리면 발 미끄러짐(foot sliding)·시간적 불연속 같은 아티팩트가 생겨 넘어질 수 있습니다.

이 논문의 한 줄 요약: 사람 모션으로 학습한 diffusion 모션 생성기를 “스킬 조합 모듈”로 쓰고, 그 출력을 RL 모션 추적기가 물리적으로 타당하게 실행하게 하며, 둘을 closed-loop로 미세조정해 실제 휴머노이드의 지각 기반 전신 주행을 달성한다 — 무거운 distillation 엔지니어링 없이.

flowchart LR
    subgraph S1["1 Data Collection & Curation"]
        V[모션 영상<br/>GVHMR 복원] --> R[로봇으로 retarget<br/>contact-constrained IK]
        M[Mocap 데이터] --> R
        R --> AUG["Motion Augmentation<br/>지형 높이 스케일링<br/>+ 랜덤 박스 삽입"]
        AUG --> DS[(Motion Dataset<br/>약 1시간)]
    end
    subgraph S2["2 Pre-training"]
        DS --> GEN["Diffusion<br/>Motion Generator"]
        DS --> TRK["RL Motion Tracker<br/>(DeepMimic + PPO)"]
    end
    subgraph S3["3 RL Fine-tuning"]
        GENf["Generator (frozen)"] --> TRKf["Motion Tracker<br/>(RL 재학습)"]
        TRKf -->|robot states<br/>past 2 frames| GENf
        DIR[Direction Command] --> GENf
        HS[Height Scan] --> TRKf
    end
    GEN --> GENf
    TRK --> TRKf

방법

전체 프레임워크는 3단계입니다. (1) 다양한 지형용 전신 모션 데이터를 모아 물리적으로 타당한 로봇 궤적으로 변환, (2) 이 데이터로 모션 추적기와 diffusion 모션 생성기를 각각 사전학습, (3) 생성기를 고정한 채 추적기를 더 다양한 지형에서 RL로 미세조정하고, 배포 시엔 생성기를 receding-horizon으로 돌립니다.

1단계: 데이터 수집 및 큐레이션

초기 데이터는 약 5분 분량의 모션 클립입니다. 두 출처에서 모읍니다.

• 직접 촬영한 모션 영상: GVHMR 로 raw 영상에서 사람 모션을 복원합니다.
• 공개 mocap 데이터셋.

각 지형 스킬마다 대표 동작 하나씩을 담습니다: 50cm 박스 기어오르기, 35cm 허들 뛰어넘기, 50cm 박스에서 뛰어내리기, 약 20cm 계단 오르내리기, 그리고 직진/회전 같은 전방향 보행입니다.

복원·수집한 모션을 contact-constrained IK 솔버(Drake) 로 휴머노이드에 retarget합니다. 그 뒤 지형 물체를 원래 동작에 맞게 수동 배치해 로봇-환경 상호작용을 보존합니다. 중요한 디테일: raw retarget 궤적을 그대로 쓰지 않습니다. 대신 그 위에 DeepMimic 스타일 추적 정책을 학습시켜, 거기서 나온 물리적으로 타당한 궤적을 데이터로 사용합니다(아티팩트 제거).

Motion Augmentation (모션 증강). 5분으로는 부족하므로 운동학 기반 증강으로 약 1시간 분량까지 키웁니다. 기존 모션의 지형 기하를 바꿔(장애물 높이 스케일링, 동작 경로에 랜덤 박스 삽입) 새 모션을 만들고, 지형 침투(terrain penetration)·모션 부드러움(smoothness) 손실로 최적화해(PARC 방식) 충돌·불연속을 줄입니다. 여기서도 최적화된 궤적을 직접 쓰지 않고 추적 정책을 다시 학습시켜 물리적 타당성을 확보합니다. 결과 데이터셋은 35–75cm 박스 등반/뛰어내리기, 25–45cm 허들 vaulting, 15–20cm 계단, 랜덤 박스가 깔린 전방향 보행을 포함합니다.

2단계: 사전학습

(A) 전신 모션 추적기 (Whole-body Motion Tracker). DeepMimic 스타일 RL 을 PPO(IsaacLab) 로 학습합니다. 모방 보상 r_{\text{mimic}} 과 정규화 항 r_{\text{reg}} 으로 구성됩니다.

R_{\text{pre}} = r_{\text{mimic}} + r_{\text{reg}}

• 관측(observation): 레퍼런스 상태(base frame 기준 선/각속도, 관절 위치/속도, 핵심 신체 위치) + 자기수용(proprioceptive: base 각속도 5프레임, 투영 중력, 관절 위치/속도, 직전 action) + 지형 높이 스캔(height scan).
• 출력(action): 23차원 목표 관절 위치.

모방 보상은 base pose/velocity, 관절 위치/속도, 신체 위치 추적 등을 지수 보상으로 묶고, 정규화 항은 action rate, 관절 한계, 토크, 가속도 등을 페널티로 줍니다(논문 Table II). 흥미로운 점: 시연이 충분히 정확하면 지형 정보가 꼭 필요하진 않지만, 이 단계부터 외수용(exteroceptive) 입력을 넣어두면 이후 미세조정에 유리하다고 합니다.

(B) Diffusion 모션 생성기. MDM 아키텍처(모션 diffusion model) 기반으로, 미래 모션 시퀀스를 예측합니다.

• 예측 대상: 0.5초 지평선(25프레임)에 걸쳐 root 위치 \mathbb{R}^3, root 방향 \mathbb{R}^4, 관절 위치 \mathbb{R}^{23}, 신체 링크 위치 \mathbb{R}^{23\times3}.
• 조건(conditioning): 목표 heading 벡터, 지형 높이 스캔, 직전 2프레임의 모션 특징.
• 손실: 재구성 손실 + 기하 손실(velocity, joint consistency, terrain penetration). 노이즈가 낀 로봇 상태에 강건하도록 height scan과 직전 상태를 학습 중 perturb합니다.

다만 사전학습된 생성기와 추적기를 단순히 합치면, 생성 모션의 아티팩트 때문에 (고품질 레퍼런스로만 학습된) 추적기가 실패할 수 있습니다. 이를 3단계가 해결합니다.

3단계: RL 미세조정 (핵심)

생성기를 고정(frozen) 한 채, 추적기만 더 다양한 지형 + 무작위 목표 방향에서 RL로 다시 학습합니다. 이때 생성기는 직전 2프레임의 로봇 상태를 조건으로 레퍼런스를 만들어 closed-loop 모션 예측을 형성합니다 — 즉 자기 예측을 자가회귀(autoregressive)로 피드백하는 게 아니라, 실제 로봇 상태를 받아 보정합니다.

• 추론 지연 절감: denoising을 단 2 스텝만 수행합니다.
• 강건성: 생성 과정과 추적기 관측에 추가 노이즈를 주입해 실세계 외란에 대비합니다.
• 방향 추종: heading 추적 보상 r_{\text{task}} 을 추가합니다.

R_{\text{post}} = r_{\text{mimic}} + r_{\text{reg}} + r_{\text{task}}

미세조정 지형은 더 넓어집니다: 15–25cm 계단, 25–75cm 허들, 30–85cm 등반 박스·피라미드 계단. 미세조정 후 추적기는 일종의 “모션 필터” 처럼 작동합니다 — 생성기가 만든 레퍼런스를 따라가되, 외수용 지형 관측으로 실행을 조정해 위험한 동작을 억제합니다. denoising을 2스텝으로 줄여 생성 품질이 다소 떨어져도 추적기가 강건하게 따라가, 학습에 없던 행동(박스 모서리 등반, 위에서 방향 전환 후 하강, 연속 vaulting)까지 가능해집니다.

하드웨어 배포

전 파이프라인이 Unitree G1(23-DoF) 에 완전 온보드로 올라갑니다.

구성	장비/방법
Base pose 추정	DLIO + Livox MID360 LiDAR + IMU
지형 인지	Elevation Mapping CuPy (지형 높이 복원)
자세 보정	G1 목 관절이 passive → LiDAR IMU + 몸통 IMU 융합으로 head pitch 보상
생성기 가속	TensorRT로 추론 ≈ 0.02초
갱신 주기	0.5초 예측(2Hz)이지만 배포 시 0.25초마다 receding-horizon 으로 레퍼런스 갱신
연산 분담	생성기 → 등에 얹은 Jetson Thor / 추적기·기타 모듈 → 내장 Jetson Orin

실험

하드웨어 결과 (정성)

실제 G1에서 다양한 지형을 평가했습니다.

• 다재다능한 박스 등반: 75cm 박스에 올라가 세 가지 방식으로 뛰어내림 — (a) 정면 등반·하강, (b) 정면 등반 후 90° 우회전·측면 하강, (c) 박스 모서리에서 등반·하강. 등반 시 무릎·손으로 지지, 하강 시 손으로 충격 흡수(학습 데이터의 스타일과 일치).
• 계단 & Vaulting: 계단 주파, 서로 다른 높이의 허들을 연속으로 — 보통 그 위에 올라타지 않고 곧장 뛰어넘음.
• Local Navigation: 목표 방향대로 가면 장애물 돌파가 어려운 상태일 때, 추적 정책이 레퍼런스를 부분적으로 무시하고 옆으로 우회해 실패를 피하며 목표 도달.
• 복합 지형(Mixed Terrain): vaulting → 계단 → 박스 등반을 한 번의 시퀀스로 연속 수행(지형에 따라 스타일 전환, 예: 점프-다운 후 계단 등반).

정량 결과 ①: 온라인 모션 생성의 효과

고정 레퍼런스 추적(Tracker Only) vs 풀 시스템(Tracker + Gen) 을 비교합니다. 시뮬레이션에서 각 작업당 로봇 500개를 무작위 초기 자세로 스폰하고, 테스트 시점에 지형 높이·yaw를 바꿔 일반화를 측정합니다. 성공 기준은 목표 위치 도달입니다.

작업	Tracker Only	Tracker + Gen
Box Climbing	0.859 ± 0.252	0.987 ± 0.014
Vaulting	0.805 ± 0.231	0.990 ± 0.026
Ascending Stairs	0.845 ± 0.300	0.997 ± 0.005

해석: 고정 레퍼런스 추적기도 명목 조건 근처에선 잘하지만, 장애물 높이·방향이 바뀌면 급격히 취약해집니다(특히 큰 변화에서). 평균이 높아도 표준편차가 크다는 점(±0.25~0.30)이 이를 보여줍니다. 반면 풀 시스템은 모든 설정에서 일관되게 0.99 수준으로 강건합니다. 즉 온라인 생성 모션이 지형에 맞춰 동작 자체(타이밍·스타일)를 바꿔주는 것이 적응의 핵심입니다. 고정 추적기는 height scan을 보긴 하지만, 기껏해야 작은 불일치를 흡수하는 제한적 국소 일반화에 그칩니다.

정량 결과 ②: 추적기 미세조정의 효과

생성기는 동일하게 둔 채, 사전학습 추적기 vs 미세조정 추적기를 비교합니다(5개 작업: 등반 up/down, vaulting, 계단 up/down). 각 작업당 로봇 500개, 장애물 뒤에 목표를 두고 성공률 측정.

결과(Fig. 4): 미세조정이 모든 작업에서 일관되게 성공률을 높이며, 어려운 지형일수록 이득이 큽니다. 예컨대 박스 높이가 커질수록(등반/하강 모두) 격차가 벌어집니다. 이유로 저자들은, 사전학습 추적기는 부드럽게 정제된 고정 오프라인 궤적으로 학습됐지만, 배포 시 생성기는 노이즈 낀 로봇 상태·목표·지형으로 조건화된 (불연속·아티팩트 있는) 레퍼런스를 내놓아 분포 불일치(distribution mismatch) 가 생긴다고 설명합니다. 미세조정은 추적기가 이 생성 분포에 적응하고, 모션 패턴을 작업 완수에 효과적으로 활용하며, 위험 동작을 억제하도록 만듭니다.

비판적 고찰

강점

• 두 패러다임의 깔끔한 결합. “협응은 생성 모델이, 물리적 타당성은 RL 추적기가” 책임지는 역할 분담이 명확합니다. distillation의 정교한 전문가 배정·데이터 설계 부담을 덜면서, 다양한 스킬을 한 시스템에 담았습니다.
• 실제 휴머노이드 온보드 배포. 시뮬레이션에 그치지 않고, G1에 LiDAR·elevation mapping·TensorRT·이중 Jetson까지 올려 완전 온보드로 복합 지형을 주파한 점이 인상적입니다. closed-loop generation을 2 denoising 스텝 + receding-horizon으로 실시간화한 엔지니어링이 핵심 기여입니다.
• 두 설계 요소의 독립적 검증. 온라인 생성(결과 ①)과 추적기 미세조정(결과 ②)을 각각 통제 비교해, “둘 다 필요하다”를 정량적으로 분리해 보였습니다. 특히 표준편차로 강건성을 드러낸 점이 설득력 있습니다.
• 소량 데이터에서 출발. 단 5분의 모션을 운동학 증강으로 1시간까지 늘려 다양한 지형을 커버했습니다. 데이터 효율 측면의 실용적 레시피입니다.

약점과 한계

• 외수용 인지 의존성(저자도 인정). 전체가 LiDAR 기반 elevation mapping 에 크게 의존합니다. 센싱 노이즈로 매핑 품질이 떨어지면 주행 성능이 크게 악화될 수 있습니다. 저자들은 neural mapping이나 belief encoder를 후속 방향으로 제시합니다.
• 하드웨어 평가가 정성 위주. 실로봇 결과는 시연 영상·스냅샷 중심이고, 정량(성공률) 비교는 대부분 시뮬레이션에서 이뤄졌습니다. sim-to-real 갭의 정량적 분석은 제한적입니다. (영상에 안전 끈으로 보이는 줄이 있어, 실패율·낙상 빈도 등 실세계 신뢰성 수치는 더 필요해 보입니다 — 추측.)
• 생성 지연 vs 품질 트레이드오프. 2 denoising 스텝으로 줄이면 생성 품질이 떨어지는데, 추적기가 이를 메운다고 하지만 품질 저하의 정량적 영향(예: 스텝 수에 따른 성공률 곡선)은 충분히 제시되지 않았습니다.
• 단일 임베디먼트. Unitree G1 한 종류에 집중되어, 다른 휴머노이드로의 일반화는 검증되지 않았습니다.
• 순수 locomotion에 한정. 손으로 물체를 다루는 loco-manipulation이나 야외 비정형 환경은 다루지 않았습니다(저자도 후속 과제로 언급).

요약 및 결론

이 논문은 휴머노이드 전신 주행의 오랜 딜레마 — 보상 설계 RL의 협응 부족 vs 모션 추적의 적응 부족 — 를 “생성 + 추적”의 결합으로 공략합니다. 사람 모션으로 학습한 diffusion 모션 생성기가 지형·방향에 맞는 레퍼런스를 실시간 생성하고, RL 모션 추적기가 이를 물리적으로 타당하게 실행하며, 생성기를 고정한 채 추적기를 closed-loop로 미세조정해 불완전한 생성에도 강건하게 만듭니다.

핵심 수치로 정리하면, 풀 시스템은 고정 레퍼런스 추적 대비 박스 등반 0.86 → 0.99, vaulting 0.81 → 0.99, 계단 등반 0.85 → 1.00 으로 성공률을 끌어올렸고(표준편차도 크게 감소), 미세조정은 어려운 지형일수록 큰 이득을 보였습니다. 그리고 이 모든 것이 Unitree G1에 완전 온보드로 올라가 박스·허들·계단·복합 지형을 실제로 주파했습니다.

실무 관점에서 이 연구의 가치는 “무거운 distillation 없이도, 생성 모델을 스킬 조합기로 쓰고 RL 추적기로 물리적 타당성을 보장하면 지각 기반 휴머노이드 주행이 가능하다” 는 청사진을 제시한 데 있습니다. LiDAR 인지 의존, 정성 위주의 실로봇 평가, 단일 임베디먼트라는 한계는 분명하지만, 생성-추적 분리 + closed-loop 미세조정이라는 틀은 향후 휴머노이드 전신 제어의 유력한 방향을 보여줍니다.