📃HLC Survey 리뷰

survey

humanoid

locomotion

loco-manipulation

mpc

optimal-control

whole-body-control

sim2real

curriculum

diffusion

world-model

foundation-model

vla

generative

safety

IsaacLab

MuJoCo

Evolution of Humanoid Locomotion Control

Published

August 29, 2026

Paper Link (Science Robotics, DOI 10.1126/scirobotics.aed3973)
Companion Repo (paper list + figures + getting-started)
Yan Gu*, Guanya Shi*, Fan Shi*, I-Chia Chang, Yen-Jen Wang, Qilong Cheng, Zachary Olkin, Ivan Lopez-Sanchez, Yunchu Feng, Jian Zhang, Aaron D. Ames, Hao Su†, Koushil Sreenath† (*동등기여, †교신저자) — 총 13인
Purdue · CMU · NUS · UC Berkeley · NYU Tandon · Caltech · Meta Platforms
Science Robotics, 2026 (저자 BibTeX 기준 vol. 11, no. 117). 본 리뷰는 저자들이 공개 레포에 올린 2026-08-19자 저자 원고 PDF(총 66쪽, 본문 26쪽 + 그림·표 7쪽, 참고문헌 293편) 를 근거로 한다. science.org 본문은 페이월이라 최종 조판본의 쪽수·게재일은 확인하지 못했다.
공개 코드 없음 — 레포는 코드가 아니라 섹션별 인용 논문 리스트, 그림 원본, getting-started 가이드다.

💡 휴머노이드 보행 제어 60년을 “고전 제어 → RL → 생성모델”의 시간축 진화사로 다시 배열하고, 세 시대가 서로 다른 기술이 아니라 같은 물리 원리의 다른 구현임을 논증하는 서베이다.
⚙️ 논거는 수식 네 개로 압축된다 — 하이브리드 동역학 Eq.(1), 제약 최적제어 Eq.(2), POMDP RL Eq.(3), 생성 정책 Eq.(4). 저자들은 Eq.(3)을 “Eq.(2)의 확률적·정책 파라미터화 판본”으로 읽고, Eq.(4)를 그 위에 물리 사전분포 KL 항을 얹은 형태로 놓는다.
🎯 결론은 “physics-guided generative intelligence로의 수렴”이며, 그 수렴을 떠받치는 세 공통 원리를 물리 기반 모델링 · 제약 하 의사결정 · 불확실성 적응으로 명명한다. Table 2는 6개 난제 × 3개 패러다임 매트릭스로 이 대응을 한 장에 배치한다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드 서베이는 이미 포화 상태다. 저자들도 그걸 알고 서론에서 곧바로 좌표를 찍는다: Ha et al.(13)은 legged RL을 다루되 고전 제어와 잇지 않았고, Wensing et al.(14)은 최적화 기반 제어를 다루되 학습을 뺐으며, Gu et al.(15) — 이 블로그에도 리뷰가 있는 HLM Survey — 는 whole-body loco-manipulation을 다루되 제어 프레임워크의 진화가 아니라 시스템 통합에 방점을 찍었다. 이 논문이 비운 자리는 그래서 “고전과 학습을 공통 물리 원리로 잇고, 그 선을 생성·파운데이션 모델까지 연장하는 것”이다.

1차 분류축이 알고리즘 계열도 아니고 접촉 유형도 아니라 시간(연대) 이라는 점이 이 서베이의 성격을 결정한다. Fig. 1이 그 축 전체다: Classical(1960–) → Learning-based(2015–) → Emerging(2023–). 각 시대마다 (a) 컨트롤러가 무엇을 고려하는가, (b) 어떤 도구를 쓰는가, (c) 어느 분야에서 영감을 얻는가, (d) 어떤 과업을 푸는가를 네 층으로 나란히 놓는다.

서베이의 뼈대(Fig. 1) — 세 시대를 네 층(고려 대상 / 도구 / 영감의 출처 / 과업)으로 갈라 놓은 진화 연표. 과업 층은 “제한된 지형에서의 안정 보행” → “다양한 지형에서의 민첩한 보행” → “개방 세계에서의 멀티태스크 loco-manipulation”으로 이동한다. 도구 층에서 축소차수 모델·제어이론·볼록최적화가 GPU 병렬 시뮬레이션·RL·모방학습으로, 다시 파운데이션 모델·world model·확산모델로 교체된다.

핵심 방법론(서베이가 깔아 두는 네 개의 수식):

먼저 다리 로봇의 본질은 접촉을 만들고 끊는 하이브리드 동역학이다. 상태 x, 입력 u, 도메인 D, 스위칭 표면 S에 대해

\Sigma := \begin{cases} \dot{x} = f(t,x,u), & x \in D \setminus S \\ x^{+} = \Delta(x^{-}), & x^{-} \in S \end{cases}

고전 예측제어는 이 동역학과 허용집합 \mathcal{X},\mathcal{U} 아래 유한 지평선 비용을 최소화한다.

\min_{u,x}\; L(t,x,u) = \int l(t,x,u)\,dt + V(x(T)) \quad \text{s.t.}\quad \dot{x}=f(t,x,u),\;\; x \in \mathcal{X},\; u \in \mathcal{U}

RL은 같은 문제를 POMDP \mathcal{M}=\langle \mathcal{S},\mathcal{A},p,r,\mathcal{O},\gamma\rangle 위에서 정책 파라미터에 대해 푼다.

\max_{\pi}\; J(\pi) = \mathbb{E}_{\tau \sim p_\tau(\cdot|\pi)}\left[\sum_{t=0}^{\infty}\gamma^{t} r(s_t,a_t)\right] \quad \text{s.t.}\quad s_{t+1}\sim p(\cdot|s_t,a_t),\; a_t \sim \pi(\cdot|o_t),\; o_t \sim \mathcal{O}(\cdot|s_t)

그리고 생성 정책은 목적함수를 “보상 최대화”에서 “데이터 분포 정합 + 물리 정합”으로 바꾼다.

\max_{\phi}\; J(\pi_\phi) = \mathbb{E}_{\tau \sim p_\tau(\cdot|\pi_\phi)}\Big[\log p_{\text{data}}(\tau) - \lambda\, D\big(\pi_\phi(\tau)\,\|\,p_{\text{phys}}(\tau)\big)\Big] \quad \text{s.t.}\quad (s_t,a_t) \in \mathcal{C}_{\text{phys}}

p_{\text{phys}}는 물리 사전분포(또는 시뮬레이터 정합 과정), \mathcal{C}_{\text{phys}}는 접촉·마찰·토크·기구학 한계다. 저자들의 주장은 이 네 식이 다른 문제가 아니라 같은 문제의 다른 파라미터화라는 것이다.

주요 결과(서베이가 정리한 사실들):

시대별 착수 연도(Table 1): 선형 피드백 1980s– · 비선형 피드백 2000s– · 궤적 최적화 2010s– · MPC 2010s– · 순수 시뮬 RL 2016– · 실데이터 RL 2018– · 모델 유도 RL 2020– · LLM/VLM 유도 2024– · 확산 모션 사전분포 2025– · world/foundation 모델 2025–.
계산 계층(Fig. 3B): 관절 토크 ∼1000 Hz, 모션 생성 ∼100 Hz, 태스크 계획 ∼1 Hz. 생성 방식은 계산 부담 때문에 대개 더 낮은 배포 주파수에서 돈다.
온라인 MPC의 지평선은 계산·타이밍 제약 때문에 1초 미만으로 제한되는 경향이 있다.
시각 기반 보행 정책은 “blind” 베이스라인 대비 성공률을 두 배로 올릴 수 있다는 실증 연구가 있다(인용 223, 224).
휴머노이드 플랫폼 가격은 액추에이터·경량 설계·양산으로 한 자릿수 이상(over an order of magnitude) 하락했다.
규모: 참고문헌 293편, 그림 5장, 표 2장.

결론:

이 서베이의 최종 명제는 “고전 제어가 학습에 의해 대체된 것이 아니다”이다. 최근의 민첩성 도약은 신경망 정책이나 연산량 하나의 승리가 아니라 고충실도 접촉 시뮬레이션 + 표현력 있는 학습 구조 + 물리 유도 학습 설계 + 비대칭 학습(asymmetric training)의 시너지라는 것. 그래서 물리 원리는 시뮬레이터·보상 설계·시스템 식별·커리큘럼·실시간 제어 인터페이스라는 통로로 여전히 현대 휴머노이드 제어를 관통한다. 저자들이 마지막에 지목하는 병목은 알고리즘이 아니라 데이터다 — 원격조작 데이터도 시뮬 데이터도 각각으로는 희귀 실패·접촉 풍부 상호작용·복구 행동·형태 변이·인간 중심 배포 조건을 덮지 못한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 서베이는 “무엇이 있었는가”의 목록이 아니라 “왜 그것들이 결국 같은 문제였는가”의 논증이다. 저자들은 60년치 방법을 연대순으로 늘어놓되, 각 시대를 하나의 최적화 문제로 다시 써서 세 시대가 목적함수의 형태와 최적화가 일어나는 시점만 다르다는 것을 보인다. 고전 제어는 온라인에서 결정론적 궤적 최적화를 풀고, RL은 오프라인에서 시뮬레이터를 상대로 정책 파라미터 최적화를 풀어 그 해를 신경망에 “인코딩”하며, 생성모델은 그 위에 데이터 분포를 얹는다. 이 관점이 서베이의 값어치 전부다 — 여기에 동의하지 않으면 이 논문은 그냥 잘 정리된 인용 목록이 된다.

배경 — 왜 휴머노이드 보행 제어가 어려운가 (Sec. INTRODUCTION)

저자들의 문제 정의는 짧다: 제어란 하드웨어가 목적 있는 행동을 내게 만드는 메커니즘이고, 휴머노이드에서 그것은 “불확실하고 비선형인 동역학 아래, 수십 개 관절과 간헐적 접촉을 조율하면서 안전·정밀도·에너지 효율·적응성의 균형을 잡는 일”이다. 여기서 간헐적 접촉이 핵심이다. 바퀴 로봇과 달리 다리 로봇은 접촉을 반복해서 만들고 끊으며, 그 순간마다 상태가 불연속으로 점프한다. 그래서 Eq. (1)의 하이브리드 구조가 이 분야의 출발점이 된다.

서베이의 범위 한정도 분명하다. 지각(1, 2), 태스크 계획(3), 상태 추정(4)은 제어 설계와 직결될 때만 다룬다. 즉 이 논문은 휴머노이드 전반의 서베이가 아니라 제어 패러다임의 서베이다.

기여 — 저자들이 스스로 매긴 세 가지

네 패러다임의 강·약점을 한 줄로 대치시킨다: 고전 실시간 피드백은 빠르고 원리적이지만 사전 계획된 행동에 갇히고, 예측제어는 제약을 온라인으로 다루지만 민첩성을 희생하는 경우가 많고, RL은 민첩성·강건성을 얻지만 태스크 특화적이고 불투명하며, 생성 방식은 다재다능하지만 실세계 신뢰성이 없다. 이 네 문장이 논문 전체의 압축이다.
세 공통 조력자(shared enablers) 를 뽑는다 — 물리 기반 모델링, 제약 하 의사결정, 불확실성 적응.
떠오르는 방향으로 생성적 멀티모달 loco-manipulation, test-time adaptation, 인간 중심 휴머노이드 설계를 지목한다.

모델링 — 스펙트럼으로서의 모델 (Sec. MODELING)

서베이가 모델을 다루는 방식이 인상적이다. “고전=해석적 모델, 학습=모델 프리”라는 흔한 이분법 대신 표현력 축과 물리↔︎데이터 축의 2차원 스펙트럼으로 편다(Fig. 2).

모델링 스펙트럼(Fig. 2) — 왼쪽(물리 기반)에서 오른쪽(데이터 기반)으로, 아래(낮은 표현력)에서 위(높은 표현력)로. 축소차수 모델 → 전차수 모델 → 물리 시뮬레이터 → (하이브리드: 물리 모델 + 데이터 기반 잔차 신경망) → 학습된 동역학 → 잠재 동역학 → world model. 초록=고전, 빨강=하이브리드, 노랑=신흥.

축소차수 모델(reduced-order): LIP, SLIP, compass-gait, centroidal, point-mass, single rigid body. 실시간 균형·발 배치·외란 제거를 가능하게 했고 동물 보행의 사지 협응 원리를 드러내기도 했다. 대가는 평지·강체 접촉·일정 CoM 높이 같은 가정이며, 빠르고 접촉이 풍부한 동작에서 무너진다.
전차수 모델(full-order): 완전한 강체 동역학. 더 역동적인 동작이 가능하지만 차원이 높아 계산 비용과 제어 복잡도가 오르고, 모델링 오차·지형 컴플라이언스·마찰 변동에 민감하다.
물리 시뮬레이터: 저자들의 표현으로 “현대 학습 방법 뒤의 보이지 않는 엔진”. 중요한 건 시뮬레이터가 고전 컨트롤러보다 일반적인 접촉 모델(미끄러짐, 비틀림 마찰, 다양한 접촉 쌍)을 수치적으로 푼다는 점이다. 즉 학습 진영은 접촉을 “가정으로 단순화”하는 대신 “수치로 떠넘긴” 것이다.
하이브리드·데이터 기반: 액추에이터 신경망 모델, 잔차 학습(ASAP 계열), 그리고 잠재·world model.

접촉 처리 방식이 세 패러다임을 가르는 지점이라는 정리도 명료하다 — 고전은 명시적(기구학 제약·마찰 원뿔·하이브리드 동역학)으로, 학습은 시뮬레이터에 위임해 수치적으로, 생성은 데이터로부터 암묵적으로 접촉을 표현한다.

고전 제어 — 실시간 피드백에서 예측제어로 (Sec. MODELING AND CLASSICAL CONTROL)

연대기는 Raibert의 동적 호핑(1986), Honda ASIMO의 준정적 보행, 이후 동적 이족·휴머노이드 보행과 달리기로 이어진다. 오프라인 궤적 최적화는 DARPA Robotics Challenge(2013–2015)와 Boston Dynamics Atlas의 파쿠르 데모라는 이정표를 낳았다.

선형 피드백: ZMP(LIP 기반의 준정적 보행), Raibert 제어(컴플라이언트 축소차수 모델 + 발 배치), capture point(어디를 밟아야 멈추는가로 CoM과 발 배치를 잇는다), LQR로의 일반화, 그리고 가장 단순한 PD. 저자들이 놓치지 않는 대목이 하나 있다 — PD 목표값 추종은 오늘날 RL과 실시간 제어를 잇는 가장 대중적인 인터페이스다(Fig. 3B). 학습이 고전을 대체한 게 아니라 그 위에 얹혔다는 증거로 이보다 구체적인 것은 없다.
비선형 피드백: 전차수 모델의 하이브리드·비선형 동역학을 구동/영(zero) 동역학으로 분해하거나, CLF-QP·whole-body QP 같은 최적화 기반으로 푼다. 실시간 추종은 되지만 지평선이 없어 “탐욕적(greedy)”이라는 한계가 남는다.
궤적 최적화: DDP·SQP·혼합정수 볼록최적화로 발 위치와 모션을 (초기에는 2단계로, 나중에는 단일 최적화로) 푼다. HZD는 전차수·비선형·하이브리드·부족구동 동역학을 명시적으로 다루는 계열이며, 인간 움직임 패턴을 최적화에 심어 인간다운 보행을 만든다 — 저자들은 이것이 RL에서 인간 데이터를 쓰는 것과 같은 발상이라고 짚는다.
온라인 MPC: 지평선 1초 미만, 축소차수 모델(SRB·centroidal)로 차원을 줄이고, SQP 프레임 안에서 QP를 한 번만 풀어 실시간성을 확보한다. 강건성을 위해 접촉 위치·타이밍까지 온라인으로 조정하는 contact-implicit MPC(경사 기반)와 sampling-based MPC(경사 없이 접촉을 암묵 선택)가 있다. 다만 저자들은 대부분의 휴머노이드 구현이 시뮬레이션에 머물러 있다고 못 박는다.

고전 제어의 성능 경계는 네 가지로 정리된다: (i) 상태 추정이 정확하다는 전제가 깨질 때의 성능 저하, (ii) 축소차수↔︎전차수 사이 어느 쪽을 골라도 남는 모델링 격차, (iii) 모델 정확도와 계산 속도의 미해결 트레이드오프, (iv) 계산을 가능하게 해 준 구조적 가정이 새 환경에서 깨질 때의 적응성 부족.

학습 기반 제어 — POMDP와 그 주변 도구들 (Sec. LEARNING-BASED CONTROL)

RL 절의 구성은 “알고리즘 나열”이 아니라 무엇이 병목을 풀었는가의 목록이라는 점에서 실용적이다: GPU 병렬 시뮬레이터(Isaac 계열, MuJoCo MJX — CPU 기반 RaiSim·PyBullet에서의 이동), 정책 경사 알고리즘(TRPO·PPO)과 오픈소스 라이브러리, 도메인 랜덤화, 커리큘럼 학습, teacher-student 및 asymmetric actor-critic.

여기서 서베이가 던지는 개념적 한 방이 “암묵적 지각(implicit perception)” 이다. 고전 제어는 접촉 상태·환경 기하를 명시적으로 추정해야 했고 그게 실세계에서 잘 안 됐다. POMDP로 정식화하고 teacher-student·비대칭 critic을 쓰면 정책 신경망이 잡음 섞인 관측에서 필요한 상태를 암묵적으로 추정해 곧바로 행동으로 매핑한다. 상태 추정기를 없앤 게 아니라 정책 안으로 흡수한 것이다.

실데이터 활용은 세 층으로 나뉜다.

인간 모션 데이터: 속도 추종·보행 주파수 같은 단순 보상은 무릎이 곧게 펴지거나 발을 끄는 부자연스러운 걸음을 낳는다. 그래서 모션 캡처 데이터를 리타게팅해 쓰되, 방식은 둘이다 — 간접(적대적): GAIL·AMP 계열이 판별자로 분포를 정렬. 직접(추종): DeepMimic 계열, H2O, HumanPlus, ExBody 등이 참조 모션과의 오차를 보상으로 명시.
시스템 식별·액추에이터 모델 학습: 관성처럼 식별이 어려운 파라미터, 비선형·기계적 불완전성 때문에 모델링이 힘든 액추에이터/전동 계통을 실데이터로 메운다. 보행이 비평활 하이브리드라 샘플링 기반 식별이 선호된다.
로봇 동역학 학습: 위 둘은 “무엇을 추정할지 미리 정해야 한다”는 구조적 한계가 있어, 명목 시뮬레이터 위에 잔차 모델을 얹는 접근(ASAP과 그 변형)이 흔하다.

두 개의 통합 뷰(Fig. 3) — (A) “최적화·학습이 언제 일어나는가”(minor / online / offline) × “모델·데이터 복잡도”로 방법들을 배치. 왼쪽 아래 선형·비선형 피드백에서 오른쪽 위 RL·모션 모방을 지나 신흥 프론티어로 이어진다. (B) 배포 전/배포 중 단계와 제어 루프 주파수(태스크 계획 ∼1 Hz / 모션 생성 ∼100 Hz / 관절 토크 ∼1000 Hz)로 같은 방법들을 다시 배치.

직관 — Eq.(2)와 Eq.(3)은 왜 같은 것인가

이 서베이에서 가장 오래 남는 문장은 이것이다: RL로 학습된 보행 컨트롤러는 사실상 시뮬레이션 안에서 수많은 최적화 문제를 오프라인으로 풀어 그 해를 신경망에 “인코딩”한 것이다.

이 관점에서 Eq. (2)와 Eq. (3)의 차이는 셋뿐이다. (i) Eq. (2)는 명시적 모델과 연속 비용 위의 결정론적 궤적 최적화이고, Eq. (3)은 확률적 궤적 분포 위의 정책 파라미터 최적화다. (ii) Eq. (3)은 종료 보상 같은 이산 보상을 넣기 쉽다. (iii) 계산 시점이 다르다 — 예측제어는 주어진 상태에 대해 온라인으로 풀기 위해 모델을 단순화하고, RL은 방대한 상태·환경에 대해 오프라인으로 풀되 teacher-student·비대칭 critic으로 명시적 상태 추정을 우회한다. Fig. 4가 이 구조적 차이를 나란히 그린다.

고전 vs 학습 구조 비교(Fig. 4) — (A) 고전: 명시적 상태 추정기 + 해석적 모델 + 온라인 컨트롤러. 설계(오프라인)와 배포(온라인) 모두에서 같은 최적화 문제를 푼다. (B) RL: 오프라인 학습 단계에서 물리 시뮬레이터와 상호작용하며 정책을 갱신하고, 온라인에서는 관측 → 행동의 추론만 남는다. 상태 추정기 블록이 사라진 자리가 두 패러다임의 차이를 가장 잘 보여 준다.

그리고 저자들은 여기서 한 발 더 나간다 — 최근 결과들이 시사하는 바는 오프라인 계산과 온라인 계산을 함께 쓰는 것이 최선이라는 것이다(Fig. 3B의 하이브리드 경로).

RL 파이프라인의 구성요소가 사실은 고전 제어 개념의 재발명이라는 대응표도 명료하다.

RL 쪽 기법	고전 제어 쪽 대응
도메인 랜덤화	강건 제어(robust control)
adaptation module / teacher-student	적응 제어(adaptive control)
오토인코더·잠재공간	PCA·SVD·피드백을 통한 동역학 축소
접촉 모드를 명시하는 정책 구조	하이브리드 동역학 시스템 정식화
계층적 학습 프레임워크	계층·캐스케이드 제어 구조

학습 기반 제어의 성능 경계도 솔직하다: (i) 참조 모션이나 잘 짜인 커리큘럼 없이는 부자연스러운 보행으로 수렴하고 어려운 지형에서 실패하는 알고리즘적 취약성, (ii) 태스크·형태 간 정책 전이의 어려움, (iii) 컴플라이언스·구조 진동·접촉 불확실성·액추에이터 효과를 못 담는 시뮬레이터 충실도의 한계(도메인 랜덤화로 완화되지만 제거되지는 않는다). 덧붙여 RL 정책이 대개 위치 setpoint를 내고 관절 PD가 그것을 추종하는 구조라, 컴플라이언트하고 힘에 민감한 상호작용을 어떻게 낼 것인가가 미해결이라는 지적이 나온다. RL 기반 토크 제어도 초기 결과가 고무적인 방향으로 언급된다.

신흥 프론티어 — 네 개의 이동 (Sec. EMERGING FRONTIERS)

저자들은 본문에서 네 개의 축(판별→생성, 단일→다중 모달, 단일→다중 태스크, 보행→loco-manipulation)을 설명하고, Fig. 5에서 오프라인 학습 → test-time adaptation이라는 계산 축을 하나 더 얹어 다섯 차원으로 그린다.

다섯 개의 이동(Fig. 5) — 학습 패러다임(판별적→생성적), 모달리티(고유수용 단일 → 언어·촉각·시각·청각 다중), 태스크 범위(단일→다중), 기능(보행→loco-manipulation), 계산(오프라인 학습→test-time adaptation).

판별→생성: 판별적 정책은 관측→행동의 결정론적 매핑이라 “왼발이냐 오른발이냐” 같은 다봉(multi-modal) 선택과 데이터 분포 변화 적응이 재학습 없이는 어렵다. 생성 정책은 가능한 궤적들의 분포를 모델링해 불확실성 인지와 추론 시점 조건화를 가능하게 한다(Eq. 4). 실용적 설계는 대개 계층적이다 — 생성 플래너가 모션 분포를 제안하고 저수준 컨트롤러가 빠른 안정화를 맡는다.
단일→다중 모달: 대부분의 보행 컨트롤러는 여전히 고유수용 감각만 쓰는 “blind” 구조다. 저자들이 이 누락을 알고리즘의 근본 한계가 아니라 지연·캘리브레이션·연산 부담 같은 시스템 엔지니어링 장벽으로 진단하는 점이 흥미롭다. 시각 융합(LocoTransformer, VB-Com, 어텐션 인코더)과 VLA(RT-2, \pi_0, Gemini Robotics), 휴머노이드 지향 변형(Helix, GR00T N1)이 이 축에 놓인다.
단일→다중 태스크: 보상 충돌·경사 간섭·파국적 망각이라는 대가가 명시된다. 공유 파라미터·모듈러 구조의 멀티태스크 RL, 계층적 모션 프리미티브, 확산 기반 스킬 블렌딩, 이종 데이터셋(BridgeData V2, RT-X) 기반 cross-embodiment, 그리고 행동 파운데이션 모델이 흐름을 이룬다.
보행→loco-manipulation: 로봇·물체·접촉 참조를 함께 추종하는 co-tracking, 확산 기반 인간-물체 상호작용 궤적 합성, TAMP, 계층 시스템, 상·하체를 동기화하는 이중 에이전트 RL 등. 여기서 저자들이 아키텍처 철학의 분기를 명시적으로 지목하는 대목이 이 절의 백미다: 대부분은 안정성·모듈성을 위해 분리된 계층 구조를 택한다(Helix가 저수준 보행 모듈에 명령을 보내는 방식, NVIDIA의 SONIC이 상위 VLA인 GR00T N1.5의 기구학적 의도를 하위 whole-body 추종 정책에 먹이는 방식). 반대편에는 고주파 균형과 접촉 풍부 조작을 하나의 단일 잠재공간에 네이티브로 통합하려는 경쟁 노선이 있고, 저자들은 후자가 이론적으로 더 깊은 교차 모달 추론을 약속하지만 강건성·안전성 검증에서 심각한 난점을 낳는다고 평가한다.

생성모델도 제어이론이라는 주장

이 서베이에서 가장 논쟁적이면서 가장 재미있는 부분이다. 저자들은 파운데이션 모델과 고전 제어의 대응을 다섯 가지로 편다.

LLM = 동적 피드백 시스템: 진화하는 컨텍스트 윈도가 메모리(상태)로 작동하고, 새 관측·토큰이 그것을 갱신하며 잠재공간에서 폐루프를 이룬다(Prompt a Robot to Walk의 정식화).
확산모델 = 확률적 최적제어: 디노이징이 암묵적 에너지 범함수를 최소화하는 확률미분방정식을 푸는 것이며, 이는 HJB 프레임의 불확실성 하 최적제어와 유비다.
표현 학습 = 상태 추정·가관측성: 태스크가 제어·관측 가능해지는 잠재 다양체를 찾는 일.
self-attention = 적응적 게인 스케줄링: 문맥적 관련성으로 토큰 가중치를 동적으로 바꿔 상태 의존 피드백을 구현.
in-context learning = 적응 제어: 파라미터 갱신 없이 입출력 거동으로 온라인 정련.

결론 문장은 이렇다 — 생성모델은 제어이론적 토대를 대체하는 것이 아니라 확장하며, 자기회귀로 피드백을, 컨텍스트 갱신으로 적응을, 어텐션으로 게인 스케줄링을, 확산 가이던스로 최적성을 구현한다.

Table 2는 이 대응을 6개 난제(불안정 동역학 안정화 / 고차원성 / 하이브리드 접촉 동역학 / 제약 / 강건성 / 적응) × 3개 패러다임 매트릭스로 배치한다. 예를 들어 “적응” 행은 적응 제어 → adaptation module → in-context learning·확산 test-time adaptation으로 읽힌다.

다음 세대를 위한 과제

안전·신뢰성: 저자들은 배포의 주된 장벽을 단도직입적으로 넘어짐이라 못 박는다. 필요한 것은 평균 성능 지표가 아니라 복구 능력·낙상률·충격 심각도의 표준화된 시험이다. 컴플라이언트 액추에이션, 에너지 소산 설계, test-time adaptation이 해법으로 제시된다.
접근성: 가격은 한 자릿수 이상 떨어졌지만 저렴함만으로는 부족하고, 내구성·유지보수성·전문가 없이도 되는 경미한 손상 복구가 필요하다.
인지 지능: 반응적 모터 계층과 숙고적 예측 추론 계층의 기능적 위계(Fig. 3B), 그리고 그 둘의 협응.
체화 지능 생태계: 휴머노이드가 개인용 컴퓨터에 비견될 만큼 전환적일 수 있으며, 고립된 기계에서 네트워크화·특화된 체화들(“an internet of humanoids”)로 진화하리라는 전망.

시작하려는 사람을 위한 절 (Sec. GETTING STARTED)

서베이에 이런 절이 붙은 건 드문데, 이 논문에서 실무적 가치가 가장 높은 부분일 수 있다.

하드웨어 — build or buy: 오픈소스(Berkeley Humanoid, Berkeley Humanoid Lite, Stanford ToddlerBot)는 저렴·개조 가능하지만 조립·유지보수 부담이 있고, 상용(Unitree G1·H1, Booster T1·K1, Agility Digit, Apptronik Apollo)은 비싸지만 안전 검증·통합 소프트웨어·벤더 지원으로 재현성을 높인다. 저자들의 한 줄 요약: 오픈소스는 유연성을, 상용은 생산성을 최대화한다.
소프트웨어: 모델 기반은 MIT Cheetah·OpenLoong, 그리고 CasADi·Acados·OCS2·Judo. 학습 기반은 Isaac Lab·MuJoCo Playground·MJLab, 대규모 병렬·미분가능 물리는 Newton·Genesis. 데이터는 AMASS와 BeyondMimic 계열 파이프라인.
RL 착수 순서: Isaac Sim/Isaac Lab 설치 → 시뮬에서 보행 정책 실행 → 균형·보행 컨트롤러 학습 → 명령 속도 조건화 → 인간 모션 추종 → 거친 지형에서 지각 기반 보행 → 하드웨어 배포.
핵심 참고서: Feedback Control of Dynamic Bipedal Robot Locomotion, Robot Modeling and Control, Sutton & Barto, PPO, DreamerV3, Deep Learning, Introduction to VAEs, The Principles of Diffusion Models.

비판적으로 보면

강점

분류축이 하나뿐이고, 그 축을 끝까지 밀어붙인다. 시간축 하나로 전체를 관통시키고 Fig. 1·Fig. 3·Table 1을 모두 같은 3분할(고전/학습/신흥)로 색까지 맞춰 정렬했다. 서베이가 흔히 빠지는 “장마다 분류 기준이 달라지는” 함정을 피했다.
수식으로 논증한다. Eq. (2)↔︎Eq. (3)의 대응은 말로만 하면 헐거운 비유지만, 두 최적화 문제를 나란히 써 놓으면 “무엇이 같고 무엇이 다른가”가 검증 가능한 진술이 된다. 서베이가 원 논문들의 수식을 인용하는 데 그치지 않고 공통 언어를 직접 세운 사례다.
RL 파이프라인 ↔︎ 고전 제어 개념의 대응표(Table 2) 는 실제로 유용하다. 도메인 랜덤화가 왜 강건 제어인지, adaptation module이 왜 적응 제어인지 알고 나면 하이퍼파라미터를 만지는 손끝이 달라진다. 특히 “RL 정책은 오프라인으로 푼 최적화 해를 신경망에 인코딩한 것”이라는 문장은 RL 실무자에게 디버깅 관점을 준다.
자기 한계를 여러 번 명시한다. “대부분의 휴머노이드 MPC 구현은 시뮬레이션에 머문다”, “성능 보고에서 blind 대비 두 배는 인용 논문의 실증”, “지각·계획·상태 추정은 범위 밖” 등 범위 한정이 곳곳에 박혀 있다.
getting-started 절과 companion 레포를 붙여 서베이를 진입 도구로 만들었다. 이 분야에서 “무엇부터 설치할지”를 논문이 알려 주는 경우는 드물다.

약점·한계

정량 비교가 사실상 없다. 293편을 다루면서 방법 간 성능을 맞세우는 표가 한 장도 없다. 등장하는 유일한 정량 진술급 문장이 “시각 정책이 blind 대비 성공률 두 배”인데 이것도 인용 논문의 보고를 옮긴 것이다. 시간축 서베이의 구조적 대가다 — “언제 나왔는가”로 줄을 세우면 “무엇이 더 나은가”를 물을 자리가 없어진다. 같은 성격의 한계를 HLM Survey는 최소한 ordinal 등급표(Table VI)로라도 마주했다.
“수렴하고 있다”는 중심 명제가 반증 불가능한 형태다. 물리 기반 모델링·제약 하 의사결정·불확실성 적응이라는 세 원리는 충분히 추상적이어서 거의 모든 제어 방법에 사후적으로 붙는다. 어떤 관측이 나오면 이 수렴 명제가 틀렸다고 할 수 있는지 논문은 말하지 않는다.
생성모델↔︎고전 제어 유비 중 일부는 은유에 가깝다. “self-attention = 적응적 게인 스케줄링”이나 “LLM 컨텍스트 윈도 = 상태”는 시적이지만, 게인 스케줄링에는 안정성 보장이라는 알맹이가 있고 어텐션에는 없다. 확산↔︎확률적 최적제어 대응은 실제 수학적 연결이 있는 반면 나머지는 강도가 크게 다른데, 서베이는 다섯 개를 같은 무게로 나열한다. 독자가 강도 차이를 스스로 매겨야 한다.
신흥 프론티어 절의 시간 감각이 불안정하다. Table 1은 확산 모션 사전분포와 world model을 2025– 로 적어 두는데, 그 항목들에 대한 서술 분량은 수십 년 된 고전 절과 비슷하다. 아직 실기 검증이 얕은 방향에 서베이의 절반 가까운 지면이 배분되면, 독자는 성숙도 차이를 과소평가하기 쉽다. 저자들이 “생성 방식은 실세계 신뢰성이 없다”고 한 줄로 인정하긴 하지만, 그 인정이 지면 배분에 반영되지는 않았다.
시간축이 가리는 것 — 실패한 가지들. 진화사 서술은 필연적으로 “지금 살아남은 것”에서 거꾸로 선을 긋는다. 왜 어떤 접근이 사라졌는지, 어떤 것이 재평가될 여지가 있는지는 이 축에서 잘 보이지 않는다. 예를 들어 passive dynamic walking이나 근골격/텐던 구동 계열은 이 서베이의 주선에서 거의 자리를 얻지 못한다.
하드웨어·액추에이터의 기여가 얇다. 컴플라이언트 액추에이션이 안전 절에서 한 문장 언급되고, 가격 하락이 접근성 절에 한 문장 나오는 정도다. 지난 10년 휴머노이드 도약에서 준직구동(quasi-direct-drive) 액추에이터가 차지한 몫을 생각하면 “제어 패러다임의 서베이”라는 범위 한정이 다소 편리하게 쓰인 인상이 있다.
레포가 아직 완성되지 않았다. README는 고전 제어·시뮬 기반 학습 섹션의 논문 리스트가 “현재 이용 가능”하고 나머지는 점진적으로 추가 중이라고 밝힌다(주석 처리된 ToDo에는 전 섹션 done으로 표시돼 있어 갱신 시점이 어긋나 있다). getting-started 가이드도 작성 중이다.
작성 과정 공시: 저자들은 초고 완성 후 문장 정련에 ChatGPT를 사용했고 전원이 기술적 정확성을 재검토했다고 Acknowledgments에 명시한다. 투명한 공시라는 점은 평가할 만하지만, 유난히 균질하고 매끄러운 문체(각 절이 “Motivation and limitations” → “Toward …”라는 동일 골격을 반복한다)가 어디서 왔는지는 짐작하게 한다.

요약

Evolution of Humanoid Locomotion Control은 휴머노이드 보행 제어를 연대기라는 하나의 축으로 다시 세우고, 고전·학습·생성 세 시대를 네 개의 최적화 문제(Eq. 1–4)로 번역해 “이들이 서로 다른 기술이 아니라 같은 문제의 다른 파라미터화”임을 논증한다. 기여의 핵심은 목록이 아니라 번역이다 — Eq. (2)와 Eq. (3)을 나란히 놓는 순간, 도메인 랜덤화는 강건 제어가 되고 teacher-student는 적응 제어가 되며 RL 정책은 “오프라인으로 푼 최적화 해의 신경망 인코딩”이 된다. 이 관점은 RL 실무자에게 디버깅 언어를, 고전 제어 연구자에게 학습 진영으로 가는 다리를 준다.

한계는 이 축의 대가다. 시간순 서술은 “무엇이 더 나은가”를 물을 자리를 없애 정량 비교가 부재하고, “물리 유도 생성 지능으로 수렴 중”이라는 중심 명제는 반증 조건이 제시되지 않는다. 생성모델↔︎제어이론 유비 다섯 개는 강도가 제각각인데 같은 무게로 나열되며, 2025년에 등장한 방향들이 수십 년 된 고전과 비슷한 지면을 얻어 성숙도 차이가 흐려진다. 하드웨어·액추에이터의 기여와 사라진 접근들은 이 축에서 잘 보이지 않는다.

그럼에도 값어치는 분명하다. 이 분야에 들어오는 사람에게 계보와 시작 절차를 동시에 주는 문서는 흔치 않고, 이미 안에 있는 사람에게는 자기가 쓰는 기법의 고전적 뿌리를 확인시켜 준다. 저자들이 마지막에 지목한 병목이 알고리즘이 아니라 데이터의 출처와 질(원격조작도 시뮬도 각각으로는 희귀 실패·접촉 풍부 상호작용·복구 행동·형태 변이를 못 덮는다)이라는 점은, 다음 10년의 서베이가 어느 축으로 다시 쓰일지를 예고한다.