📃HLM Survey 리뷰

Humanoid Locomotion and Manipulation: Current Progress and Challenges in Control, Planning, and Learning

• Paper Link (arXiv:2501.02116)

• PDF (v2, 2025-04-19)

• Zhaoyuan Gu, Junheng Li, Wenlan Shen, Wenhao Yu, Zhaoming Xie, Stephen McCrory, Xianyi Cheng, Abdulaziz Shamsah, Robert Griffin, C. Karen Liu, Abderrahmane Kheddar, Xue Bin Peng, Yuke Zhu, Guanya Shi, Quan Nguyen, Gordon Cheng, Huijun Gao*, Ye Zhao* (*교신저자) — 총 18인

• Georgia Tech · USC · TU München · Google DeepMind · The AI Institute · IHMC · Duke · Kuwait University · Stanford · CNRS-LIRMM / CNRS-AIST JRL · Simon Fraser · UT Austin · NVIDIA · CMU · Harbin Institute of Technology

• arXiv 프리프린트 (v1 2025-01-03 → v2 2025-04-19). IEEEtran 2단 조판에 Index Terms까지 갖춘 저널 투고본 형태이나, arXiv에 학회·저널 게재 정보는 표기되지 않았다. 본문 약 30쪽 + 참고문헌 약 9쪽 = 총 39쪽, 참고문헌 424편

• 공개 코드 없음 (서베이)

1. 💡 30년치 휴머노이드 연구를 “loco-manipulation을 실제로 해내는 데 무엇이 필요한가”라는 단 하나의 목적함수로 다시 줄 세운 서베이다 — 이족보행 서베이도 조작 서베이도 아니고, 둘이 동시에 일어날 때 생기는 접촉(contact) 문제를 축으로 잡는다.
2. ⚙️ 큰 갈래는 셋이다: (a) 전통적 planning/control(multi-contact planning → MPC → whole-body control의 3단 파이프라인), (b) 학습 기반(RL / IL / hybrid / 스킬 표현 / foundation model), 그리고 이 둘을 잇는 (c) whole-body tactile sensing — 저자들이 “과소탐구된 모달리티”라며 독립 장으로 승격시킨 부분이다.
3. 🎯 결론부는 두 진영을 Table VI 한 장에 ordinal 등급으로 맞세운다: 로버스트니스는 RL, 다재다능함은 IL, 모션 정확도는 model-based, 일반화는 VLA — 다만 “성능 보고가 일화적(anecdotal)이라 정량 비교가 불가능하다”고 저자들 스스로 단서를 단다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드 서베이는 이미 여럿 있다. 이족보행만 다룬 것, 조작만 다룬 것, 파운데이션 모델만 다룬 것. 이 서베이가 다르게 자른 지점은 제목에 그대로 있다 — Locomotion and Manipulation. 저자들의 관찰은 이렇다. 지금까지 휴머노이드 연구는 상체를 고정하고 다리를 풀거나(보행), 하체를 고정하고 팔을 푸는(테이블탑 조작) 식으로 문제를 갈라서 풀어 왔고, 그 결과 두 문제 각각은 상당히 성숙했지만 “박스를 들고 계단을 오르는” 일은 여전히 어렵다. 갈라 놓으면 상체의 외력은 다리 입장에서 그냥 외란(disturbance)이 되기 때문이다. 반대로 통합하면 모든 접촉이 균형에도 과업에도 동시에 기여하는 하나의 문제가 된다.

그래서 이 서베이의 1차 분류축은 알고리즘 계열이 아니라 “접촉을 어떻게 다루는가”다. 접촉을 계획하는가(Sec. IV multi-contact planning), 접촉을 포함한 동역학을 예측하는가(Sec. V MPC), 접촉 제약 아래 순간 토크를 푸는가(Sec. VI WBC), 접촉을 경험으로 배우는가(Sec. VII 학습), 접촉을 느끼는가(Sec. III 촉각). 아래 로드맵 그림이 그 구조 전체다.

서베이의 뼈대(Fig. 2) — 중앙의 “Humanoid Loco-manipulation”을 둘러싼 6개 허브. 화살표가 파이프라인을 만든다: Tactile ―(Contact Feedback)→ Multi-Contact Planning ―(Contact Plans)→ MPC ―(Motion Plans)→ Whole-body Control ←(Dynamic Tasks)― Skill Learning. Tactile은 (New Modality)로, Skill Learning은 (Multi-skill Policy)로 Foundation Model에 연결된다.

핵심 방법론(서베이가 공통 언어로 깔아 두는 두 수식):

전통 진영 전체는 사실상 하나의 최적제어 문제(OCP)로 통합해 서술된다. 상태·입력·접촉력 궤적을 함께 푸는 것이 요점이다.

\min_{\boldsymbol{x}(\cdot),\,\boldsymbol{u}(\cdot),\,\boldsymbol{\lambda}(\cdot)}\; \mathcal{L}\big(\boldsymbol{x}(\cdot),\boldsymbol{u}(\cdot),\boldsymbol{\lambda}(\cdot)\big) \quad \text{s.t.} \quad \begin{cases} \dot{\boldsymbol{x}}_k = f(\boldsymbol{x}_k,\boldsymbol{u}_k,\boldsymbol{\lambda}_k) \\ h_{\rm task}(\boldsymbol{x}_k,\boldsymbol{\lambda}_k,\boldsymbol{u}_k) = 0 \\ g_{\rm task}(\boldsymbol{x}_k,\boldsymbol{\lambda}_k,\boldsymbol{u}_k) \ge 0 \end{cases}

\boldsymbol{\lambda}가 제약력(접촉력)이고, h_{\rm task}는 엄격히 지켜야 할 홀로노믹 제약, g_{\rm task}는 관절 한계·마찰원뿔 같은 집합형(set-valued) 제약이다. 여기서 f로 무엇을 고르느냐가 Sec. V(MPC) 전체를 가른다 — 단순화 모델(LIPM/SRBM)이냐, 전신 동역학이냐, 둘을 섞느냐.

WBC(Sec. VI)는 같은 문제를 지평선 없이 현재 시점 하나에 대해서만 푼다. 이때는 모델 선택의 여지가 없고 전신 Euler–Lagrange 동역학을 그대로 쓴다.

M\ddot{\boldsymbol{q}} - J^{T}\boldsymbol{\lambda} - S^{T}\boldsymbol{\tau} = -C\dot{\boldsymbol{q}} - G, \qquad J_c\dot{\boldsymbol{q}} = 0 \;\Rightarrow\; J_c\ddot{\boldsymbol{q}} + \dot{J}_c\dot{\boldsymbol{q}} = 0

결정변수를 \boldsymbol{X} = [\ddot{\boldsymbol{q}},\,\boldsymbol{\lambda},\,\boldsymbol{\tau}]^{T}로 잡으면 이 식이 \boldsymbol{X}에 대해 선형이 되고, 그래서 실시간 QP로 풀린다. 그리고 모든 dynamic task는 같은 선형형 e_i = A_i(\boldsymbol{q},\dot{\boldsymbol{q}},t)\,\boldsymbol{X} - \boldsymbol{b}_i(\boldsymbol{q},\dot{\boldsymbol{q}},t) 로 쓸 수 있다 — 이 식이 등식 제약(e_i=0)이면 하드 태스크, 부등식이면 집합 제약, 비용항(|e_i|^2)이면 소프트 태스크다. “이 선형식 하나로 locomotion과 manipulation의 태스크 집합 전체를 기술할 수 있다”는 것이 WBC 장의 핵심 주장이다. 부동 베이스 휴머노이드는 \operatorname{rank}(S) < \dim(\boldsymbol{q}) 라 구조적으로 underactuated이고, 따라서 균형·이동·조작은 전부 접촉을 통해서만 달성된다.

주요 결과(서베이이므로 “정리물의 규모와 판정”으로 읽는다):

• 분류 표 6장 + 그림 17장. Table I(loco-manipulation 정의 3분할), Table II(촉각의 역할·과제), Table III(휴머노이드 loco-manipulation MPC 10편을 모델·주파수·솔버로 표준화), Table IV(모델 선택 3 + NMPC 가속 12기법을 정확도/효율/한계로 정리), Table V(데이터 출처별 스킬 학습 장단점), Table VI(model-based vs RL vs IL vs VLA 정면 비교).
• 절마다 “Key Takeaways” 박스. 총 10개 절에 저자들의 판정이 박스로 명시된다. 서베이가 목록에 그치지 않는 이유가 이 박스들이다.
• 저자들이 직접 내리는 판정 몇 가지: 휴머노이드 loco-manipulation에서 CITO(contact-implicit trajectory optimization)를 실시간으로 돌린 사례는 아직 없다; PPO·SAC는 HumanoidBench(Sferrazza et al. 2024)의 대부분 loco-manipulation 과제에서 실패한다; 파운데이션 모델을 쓴 휴머노이드 loco-manipulation은 시뮬레이션에서만 보여졌다; 학습 기반 loco-manipulation의 sim-to-real 전이 사례는 소수에 불과하다.
• 2차 인용 수치들(모두 서베이가 다른 논문을 인용해 적은 값이다): 학습된 centroidal dynamics 예측으로 접촉 계획을 0.1초 미만에, 최적화 기반 대비 약 300배 빠르게(Lin et al. 2019); GPU QP 솔버 ReLU-QP로 균형 과제 제어 주파수를 206 Hz → 최대 2600 Hz(Bishop et al. 2024); MIT Humanoid는 질량의 약 75%가 몸통에 있다(Chignoli et al. 2021); LLaMA 학습에 992× A100에서 34일(Touvron et al. 2023).

결론:

이 서베이의 값은 “휴머노이드 논문 424편 목록”이 아니라 두 진영을 같은 좌표계 위에 올려놓은 것에 있다. 저자들의 입장은 놀랄 만큼 중립적이다 — 서론에서 아예 못을 박는다. (1) 시뮬레이터의 정확한 동역학에 기대는 sim-to-real RL도 넓은 의미에선 “model-based”이고, (2) 모델 기반 제어와 sim-to-real RL은 상충하지 않으며 오히려 결합될 때 각각보다 낫다. Sec. VII-D(하이브리드)와 Table VI가 이 주장을 뒷받침하는 두 축이다. 반대로 이 서베이가 답하지 않는 질문도 분명하다 — “어떤 방법이 얼마나 잘하는가”는 없다. 벤치마크가 없어서 못 한다는 것이 저자들의 답이고, 그 부재 자체가 Sec. VII-G의 진단이다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“휴머노이드의 어려움은 자유도가 많다는 데 있지 않고, 균형과 과업이 같은 접촉을 공유한다는 데 있다” — 이 서베이 전체를 한 문장으로 줄이면 그렇다.

로봇 팔은 베이스가 볼트로 고정돼 있으니 접촉은 순수하게 과업의 문제다. 사족보행 로봇은 지지다각형이 넓고 무게중심이 낮아 접촉이 대체로 균형의 문제로 남는다. 휴머노이드는 지지 영역이 좁고 무게중심이 높으며 구조적으로 underactuated라, 박스를 미는 손의 접촉력이 곧 넘어지지 않기 위한 접촉력이기도 하다. 그래서 “보행 문제를 풀고 조작 문제를 풀어 합친다”가 성립하지 않는다. 이 서베이는 그 사실을 정의(Sec. II)에서 못 박고, 이후 모든 장을 “접촉을 어느 층위에서 다루는가”로 배열한다. 계획층에서 다루면 multi-contact planning, 예측층이면 MPC, 순간 제어층이면 WBC, 데이터로 다루면 skill learning, 센서로 다루면 tactile sensing이다. 이 배열이 서베이의 실제 contribution이고, 그 위에 얹힌 424편은 배열을 채우는 재료다.

이 서베이의 좌표 — 무엇을 다루고 무엇을 다루지 않는가 (Sec. I)

범위 설정이 꽤 좁고 명시적이다. 세 가지를 배제한다.

• 외형이 사람 같은 로봇이 아니라 형태·기능이 사람에 가까운 로봇. 안드로이드 미학은 관심사가 아니다.
• 이족(bipedal) 휴머노이드로 한정. 바퀴 다리 등은 주 대상이 아니다.
• 다지 손의 dexterous manipulation이 아니라 전신 모션. 즉 in-hand manipulation 서베이가 아니다.

수집 범위도 적어 둔다. 모델 기반 planning/control은 1990년 이후, 학습 기반은 최근 20년 위주로, 각 주제마다 (i) 원리를 세운 기초 연구, (ii) 최신 SOTA, (iii) 더 읽을 서베이 세 부류를 뽑았다고 밝힌다. 실제로 각 절 끝의 Key Takeaways 박스가 “이 주제는 이 서베이를 더 보라”로 끝나는 구조라, 서베이의 서베이(meta-index) 로서의 사용성이 좋다.

Contribution은 세 줄로 선언된다: (1) 신규 진입자에게 포괄적 입문서 + 전문가에게 최신 동향, (2) 이족 휴머노이드 loco-manipulation 문제의 명확한 정의 + SOTA + 남은 과제, (3) 모델 기반 vs 학습 기반의 명확한 비교. 세 번째가 Table VI이고, 뒤에서 보겠지만 이 서베이에서 가장 강하면서 동시에 가장 취약한 부분이다.

배경 — loco-manipulation을 정의하는 세 개의 ✓/✗ (Sec. II)

정의부터 깔끔하다. Table I은 세 용어를 세 개의 이진 속성으로 가른다.

속성	(a) Whole-body Manipulation	(b) Whole-body Loco-manipulation	(c) Loco-manipulation
물체 이동 (Manipulation)	✓	✓	✓
로봇 자신의 이동 (Locomotion)	✗	✓	✓
모든 표면으로 상호작용 (Whole-body)	✓	✓	✗

원문 Table I을 그대로 옮긴 것이다. (b)는 (a)와 (c)의 교집합이고, 서베이가 궁극 목표로 두는 것이 (b)다.

세 개념의 관계(Fig. 3) — (a) 모든 표면으로 물체를 다루지만 제자리(Justin), (c) 이동하며 다루지만 손끝만 쓰는 협업 운반, (b) 둘의 교집합으로 다리와 팔로 무거운 물체를 미는 HRP-4.

여기서 서베이가 던지는 진단이 좋다. 초기 휴머노이드 프레임워크는 보행 과제에서는 상체를 직립으로 구속해 하지만의 이족보행 문제로 축소했고, 테이블탑 조작에서는 하체를 정지시켰다. 그러면 상체에 걸리는 외력은 다리 입장에서 그저 균형을 흔드는 외란이 된다. 반대 극단으로, Samadi et al. (2021)처럼 접촉을 분류하지 않고 모든 접촉이 과업과 균형에 동시에 기여하게 하는 정식화도 있다. 이 대비가 서베이 전체의 긴장 구조다.

대상 과업의 스펙트럼(Fig. 1) — 나무판 닦기(HRP-4), 픽앤플레이스(Digit·Hector·Atlas·H1·TORO·Apollo), 카트 밀기(iCub), 문 열기(Nadia), 상용기(Figure 02·Optimus), 전신 푸시 리커버리(MIT Humanoid).

사족보행과의 대비도 명시적이다. 사족 로봇의 loco-manipulation은 이미 널리 시연됐지만(다리를 매니퓰레이터로 쓰거나 상체에 팔을 얹는 식), 휴머노이드는 지지 영역이 좁고 무게중심이 높아 같은 접근이 그대로 오지 않는다. 이 서베이가 사족 결과를 “참고는 하되 이전 가능성은 낮다”고 반복해 선을 긋는 것은 정직한 태도다.

촉각 — 서베이가 일부러 크게 잡은 장 (Sec. III)

구조적으로 흥미로운 선택이다. 시각·고유수용 센싱은 “이미 충분히 리뷰됐다”며 한 문단으로 넘기고, 촉각을 독립 장으로 승격시킨다. 이유도 밝힌다 — 접촉이 문제의 핵심인데 정작 접촉을 직접 재는 모달리티가 휴머노이드 문헌에서 과소탐구됐다는 것.

휴머노이드 촉각 센싱 개관(Fig. 4) — (a) 전신 인공피부로 덮인 REEM-C, (i) 손(Shadow Hand·Allegro+DIGIT·BioTac), (ii) 발바닥(장애물 인식·지형 분류), (iii) 전신(Punyo-1·iCub·REEM-C).

세 신체 부위로 나눠 정리한다.

• 손: 파지력 조절·미끄러짐 검출, 물체 물성/상태 추정, 접촉 동역학 추정, 그리고 RL/IL/FM의 입력 모달리티. 과제는 고차원 접촉 공간과 촉각 물리 시뮬레이션, sim-to-real. 대응책으로 차원 축소(스펙트럼 클러스터링·PCA·오토인코더), 연속 힘 대신 불리언 접촉 상태로 단순화해 RL에 쓰기(Melnik et al. 2021), 촉각 시뮬레이터(TACTO·Tactile Gym 2.0·TacSL)를 든다.
• 발바닥: 지면반력·지지영역 추정, 지형 물성 인식. 휴머노이드 발은 다리가 둘뿐이라 충격량과 전단력이 크고, 계산·전원 유닛이 발에서 멀다는 시스템 통합 제약이 추가된다. Guadarrama-Olvera et al. (2018)이 발판의 압력 형상을 복원해 실시간 발디딤 재계획까지 간 사례로 꼽힌다.
• 전신: iCub·REEM-C의 전신 컴플라이언스, 사람과 춤추기 수준의 물리적 상호작용, 대형·중량물 파지. 참고로 이 계열의 원조격으로 전신 접촉과 촉각 피드백으로 30 kg 박스를 드는 연구(Ohmura & Kuniyoshi 2007)가 인용된다.

Sec. III-D의 미해결 과제 진단이 이 장의 알맹이다. 저자들의 표현으로 “현재 촉각 기반 조작은 대체로 파지 또는 굴리기·밀기·픽앤플레이스 같은 단순 동작에 머문다.” 그리고 진짜 난제는 센서 성능이 아니라 동적 접촉 추론이라고 못 박는다 — 접촉 상태와 정적 물체 모델을 추정하는 것을 넘어, 접촉의 변화가 로봇과 물체의 균형에 실시간으로 어떤 영향을 주는지 이해해야 하는데 여기가 비어 있다는 것이다. Key Takeaways에서는 설계 지침까지 준다: 손은 고해상도가, 몸통 피부는 저해상도지만 고하중 내성이 필요하다.

촉각 쪽 개별 연구는 이 블로그에 여러 편 있다. 표현 학습 축으로는 UniTouch 리뷰가, 이 서베이가 지적한 “촉각 sim-to-real” 축으로는 Tactile Pushing RL 리뷰와 Sim-to-Real Bilevel Tactile 리뷰가 대응된다. 다만 이들은 모두 손·핑거팁 스케일이고, 이 서베이가 요구하는 전신 스케일의 접촉 추론은 여전히 빈칸이다.

전통 진영 ① — multi-contact planning: 조합 폭발과 CITO (Sec. IV)

계획기가 결정해야 하는 것이 셋이다: 접촉 위치(contact position), 접촉 모드(contact mode), 접촉력(contact force). 여기에 로봇 상태 궤적이 얹힌다. 저자들은 이 문제를 세 계열로 가른다.

Multi-contact planning 지형(Fig. 5) — 박스를 옮기고 카트를 미는 과업 시퀀스에 대해 multi-contact trajectory planning(긴 예측·무거운 계산)과 pose planning(현재 시점·가벼운 계산)을 놓고, sampling / optimization / learning 세 계열의 장단점을 요약한다. 그림 안의 박스 라벨은 “Sampling”·“Static Pose Planning”이지만 본문 절 제목은 “Search-based”·“whole-body pose planning”이다.

• 탐색 기반(IV-A). 접촉을 붙이고 떼는 상태 확장으로 탐색하며, 매 스텝 충돌·기구학 타당성을 검사한다. 결과는 최적 접촉 모드 시퀀스. 전신 모션을 탐색 중에 최적화해 후보 접촉 시퀀스의 동역학 타당성을 검증하거나, 탐색 후에 하는 contact-before-motion 방식으로 나뉜다. 약점은 명확하다 — 제한된 시간 예산 안에서 탐색 공간을 다 덮지 못하고 해의 분산이 크다.
  • 이 계열의 보조 도구로 Pose Optimization(PO)을 따로 다룬다. 접촉 위치·타이밍·방식이 미리 정해진 상황에서 특정 시점의 전신 자세만 최적화하는 것으로, 연속 동역학은 못 다루지만 경사 없는(gradient-free) 다접촉 계획기의 후단 자세 생성기로 쓰면 탐색 중 기구학 계산 부담을 줄여 준다. 무거운 물체 밀기에서 반력 분포를 최적화하거나(Farnioli et al. 2015), 기대는 자세와 몸통 접촉으로 미는 힘을 키우는(Murooka et al. 2015, HRP-4) 사례가 여기 속한다.
• 최적화 기반(IV-B). 접촉 동역학을 궤적 최적화 안에 직접 넣어 모드·힘·위치·전신 모션을 한꺼번에 푸는 것 — CITO(Contact-Implicit Trajectory Optimization) 다.

CITO의 구조(Fig. 6) — 접촉 위치·전신 모션·접촉 모드(무접촉 f=0 / 고착 \mathbf{v}=0 / 미끄러짐 \mathbf{v}\ge 0)와 접촉력을 하나의 최적화로 동시에 결정한다.

CITO는 SQP·DDP·iLQR로 속도가 붙어 사족과 로봇 팔에서는 CI-MPC 형태의 실시간 계획까지 갔다. 그런데 이 서베이가 명시적으로 적는 판정이 있다 — “휴머노이드 로봇에 대해서는, loco-manipulation에 CITO를 적용한 사례가 아직 달성되지 않았다(has yet to be achieved).” 걸림돌로 고차원 결정변수, 미분 불가능한 접촉 동역학, 상호작용 동역학 모델링, 초기값 민감성, 튜닝 부담을 든다. Esteban et al. (2025)이 HLIP 축소모델로 참조 궤적을 주어 손·발 접촉이 자연스럽게 나오게 한 초기 시도로 소개될 뿐이다. - 학습 기반(IV-C). 계산 효율이 최대 강점이다. Lin et al. (2019)은 centroidal dynamics의 전개와 접촉 시퀀스를 학습으로 예측해 0.1초 미만, 최적화 기반 대비 약 300배 빠른 계획을 보고한다(서베이가 인용한 수치다). 또 하나의 쓰임은 접촉 예측인데, 모션 캡처에서 정밀한 접촉을 얻기 어려워 순진한 지도학습은 물체가 접촉 없이 떠다니거나 몸이 물체를 뚫는 결과를 낳는다는 지적이 뒤따른다.

Sec. IV-D의 미해결 과제 셋이 이 장에서 가장 인용할 만한 대목이다.

1. 계산 효율이 근본 병목이다. 접촉 모드 시퀀스의 조합 폭발 → CITO는 지역 최소와 초기값 민감성, 탐색은 온라인 재계획 불가, 학습은 정밀도·적응성 부족. 결론은 “세 계열을 섞어라”.
2. 점 접촉(point contact) 모델의 한계. 실제 전신 접촉은 면 접촉(patch contact) 인데 이걸 모델 기반 틀에서 다루기가 어렵다.
3. 그리고 가장 도발적인 질문 — “정밀한 접촉 계획이 항상 필요한가?” 예기치 않은 접촉은 시각 가림과 전신 촉각 부재 때문에 관측조차 어려우니, 작고 일시적인 접촉 변화에 강건하거나 아예 무관심한(agnostic) 계획·제어·학습 전략을 탐색하자는 제안이다.

전통 진영 ② — MPC: 모델 충실도와 계산량의 거래 (Sec. V)

MPC 장은 앞의 OCP 정식화에서 f를 무엇으로 두느냐로 전개된다.

휴머노이드 MPC의 설계 공간(Fig. 7) — 위: simplified(LIPM·SRBM) / whole-body(CD+WBK, WBD) / mixed-fidelity 세 계열. 가운데: NMPC 가속 4가지(구조 활용·초기화·선형화·샘플링). 아래: 상호작용 동역학 3형태(물체 모델링·외력·환경 상호작용).

• 단순화 모델(V-A). SRBM은 발 위치 시퀀스를 참조로 주면 선형 convex MPC로 떨어진다. LIPM은 보행·다접촉의 고전이지만 접촉 상호작용과 loco-manipulation 동역학을 근본적으로 표현하지 못해 반드시 하위 WBC가 필요하다.
• 전신 모델(V-B). kinodynamic 제약(= centroidal dynamics CD + whole-body kinematics WBK) 또는 관절공간 전신 동역학 WBD를 그대로 쓴다. 정확하지만 비볼록·고비선형이라 실시간이 어렵다.
• 혼합 충실도(V-C). 지평선을 잘라 가까운 미래는 고충실도, 먼 미래는 저충실도 모델로 두는 cascaded-fidelity가 대표적이다. loco-manipulation에는 특히 잘 맞는데, 먼 지평선에서는 물체 동역학을 단순 외력이나 CD의 일부로 흡수해 버릴 수 있기 때문이다.

Table III을 마크다운으로 옮긴다. 이 표가 서베이에서 가장 실용적인 한 장이다 — 같은 축으로 정규화된 10편이 나란히 있어 설계 결정의 지형이 한눈에 보인다.

연구	연도	로봇 모델	상호작용 모델링	L/M 계획	MPC 주파수	솔버
Henze et al.	2014	SRBM	접촉점 외력 렌치 최적화	통합	20 Hz	QP
Li et al. (Hector)	2023	SRBM	외력 사전 정의	통합	300 Hz	QP
Bang et al. (RPC)	2024	SRBM	물체 동역학 무시	분리 (L: MPC / M: 키프레임 보간)	—	QP
Penco et al.	2019	LIPM	물체 동역학 무시	분리 (L: MPC / M: 원격조작·리타깃)	—	QP
Kuindersma et al.	2016	CD	접촉점 외력 렌치 최적화	통합	오프라인	SQP
Agravante et al.	2019	CD	외력 렌치 사전 정의	통합	—	QP
Dai et al.	2014	CD	접촉점 외력 렌치 최적화	통합	5 Hz / 오프라인	SQP
Polverini et al.	2020	CD	접촉점 외력 렌치 최적화	통합	10 Hz	Interior-point
Elobaid et al.	2023	CD	센서로 외력 렌치 추정	통합	5 Hz	Interior-point
Dantec et al.	2021	WBD	접촉점 외력 렌치 최적화	통합	100 Hz	DDP

원문 Table III을 옮기되, 대괄호 인용번호는 저자-연도로 바꿨다(HTML판과 PDF판의 번호가 다를 수 있어 번호 인용은 피한다). 약어: SRBM = single rigid-body model, LIPM = linear inverted pendulum model, CD = centroidal dynamics, WBD = whole-body dynamics.

이 표를 직접 읽으면 서베이 본문의 서사와 어긋나는 지점이 하나 보인다. 본문은 “모델 충실도 ↑ ⇒ 계산량 ↑ ⇒ 주파수 ↓”라는 거래를 반복해 강조하는데, 표에서는 가장 무거운 WBD가 100 Hz(Dantec 2021, DDP)로 중간급 CD의 5–10 Hz보다 10~20배 빠르다. 즉 표에서 실제로 주파수를 가르는 변수는 모델 충실도라기보다 솔버 계열과 연도에 가깝다(interior-point/SQP 계열은 5–10 Hz 또는 오프라인, QP·DDP 계열은 100–300 Hz). 서베이가 Sec. V-D에서 솔버 선택의 중요성을 따로 강조하는 것과는 정합하지만, “모델을 단순화해야 실시간이 된다”는 프레이밍만 읽고 넘어가면 표가 말하는 바를 놓친다.

NMPC 가속(V-D) 은 Table IV에 15개 항목(모델 선택 3 + 가속 기법 12)이 정확도/효율/한계로 정리돼 있다. 네 갈래로만 압축하면 이렇다.

갈래	대표 기법	요지	원문이 적은 한계
i. 동역학 모델링	simplified / whole-body / mixed-fidelity	애초에 무엇을 풀지 정한다	단순화 → 실행 불가능한 궤적 / 전신 → 매우 낮은 효율 / 혼합 → 모델 불일치로 궤적 어긋남
ii. NLP 구조 활용	DDP·iLQR (후방 재귀), Auto-Diff·hypergraph (미분), FATROP·AdaptiveNLP (희소성)	문제 구조를 솔버가 이용하게 한다	iLQR은 제약 처리가 약함, hypergraph는 메모리 과다, FATROP은 특정 구조 요구
iii. 선형화	SQP, successive linearization, condensed QP, ReLU-QP	QP로 내려 실시간에 태운다	선형화 가정이 모델 충실도를 깎음, ReLU-QP는 시불변 상태행렬 전제
iv. Warm start	gait library, memory of motion	오프라인 계산을 온라인으로 흘린다	저장 용량 제약, 대규모 데이터셋 커버리지 요구

여기서 서베이가 인용한 대표 수치가 ReLU-QP(Bishop et al. 2024) 다 — GPU 가속 QP 솔버로 고차원 균형 과제의 linear convex MPC 제어 주파수를 206 Hz에서 최대 2600 Hz까지 끌어올렸다는 보고다.

MPC 가속 자체를 정면으로 다룬 개별 논문 리뷰로는 CA-AC-MPC 리뷰(CUDA 병렬 actor-critic MPC)와 Contact Trust Region 리뷰(접촉 풍부 조작의 신뢰영역)가 이 절의 iii·iv 갈래에 각각 대응한다.

환경·물체 상호작용 모델링(V-E) 은 세 경우로 나뉜다: (1) 정적 환경과의 상호작용, (2) 조작 대상 물체 동역학의 모델링, (3) 동적 환경 또는 변형체. 세 번째로 갈수록 미지수가 되며, 이 서베이 전체에서 “여기는 아직 열려 있다”고 반복되는 지점이다.

전통 진영 ③ — whole-body control: 순간 역동역학 (Sec. VI)

WBC는 MPC와 두 가지가 다르다: (i) receding horizon이 아니라 현재 시점만 푼다, (ii) 모델 선택의 자유 없이 full-order Euler–Lagrange 동역학을 쓴다. 그리고 WBC가 필요한 상황을 셋으로 정리한다 — 축소모델 궤적이라 전 관절 정보가 없을 때, 전차수 계획이 실시간에 못 미칠 때, 환경 불확실성·계획 오차를 보상해야 할 때.

WBC의 두 계열(Fig. 9) — 다중 dynamic task를 받아, closed-form 접근(역동역학 제어·operational-space control)과 최적화 접근(QP)이 각각 태스크 충돌을 해소한다.

Key Takeaways의 판정이 담백하다. closed-form 계열(inverse dynamics control, operational-space control)은 계산이 싸서 전통적으로 우세했고, 최적화 계열(특히 QP)은 태스크 명세의 폭과 해의 신뢰성 때문에 점점 선호된다. 그리고 neural WBC(ExBody2, OmniH2O, HumanPlus 계열)가 뜨고 있다며 다음 장으로 넘긴다 — 이 연결이 서베이 구성상 깔끔하다. loco-manipulation 특화 부분(VI-D)은 상호작용을 외부 렌치로 볼 것인가, 아니면 로봇+물체를 하나의 통합 모델로 볼 것인가 두 갈래로 나뉜다.

모델 기반 방법이 실제로 달성한 것(Fig. 8) — (a) 의자에서 일어서기, (b) 다접촉 균형, (c) 문 통과, (d) 대형 빔 운반, (e) 사람과 협업 운반, (f) 보빈 굴리기, (g) 박스 loco-manipulation.

학습 진영 ① — 스킬 학습: 데이터 출처가 곧 분류축 (Sec. VII)

이 장의 분류 방식이 영리하다. 알고리즘(PPO냐 SAC냐 diffusion이냐)이 아니라 데이터가 어디서 오는가로 자른다. 그리고 데이터 출처를 두 축 위에 배치한다 — data feasibility(그대로 쓸 수 있는 정도)와 data availability(양).

스킬 학습의 조직도(Fig. 10) — RL(참조 없음)은 별도. IL은 로봇 경험(하드웨어 정책 실행 / 원격조작 / 시뮬레이션 정책 실행)과 인간 참조(3D mocap / 인터넷 2D 영상)로 나뉘며, 오른쪽 아래로 갈수록 양은 많고 그대로 쓰기는 어렵다. 형태(morphology) 격차와 sim-to-real 격차가 클수록 학습이 어려워진다는 것이 축의 의미다.

이 축을 표로 바꾼 것이 Table V다.

방법 / 데이터	장점	단점	대표 알고리즘
RL, 참조 없음	새로운 행동 발견	보상 튜닝 부담	PPO, SAC
IL, 로봇 정책 실행	라벨링된 데이터, 동역학적으로 실현 가능	희소함, 다양성 제한	Diffusion Policy, IRL
IL, 원격조작	멀티모달 행동	전신 모션 데이터가 드묾	BC-RNN, ACT
IL, 모션 캡처	정확한 기구학	데이터셋 소규모, 실외 데이터 부족, 고유수용 정보만	RL motion imitation, GAIL, AMP
IL, 인간 영상	다양하고 풍부	물리적으로 비실현적, 고유수용 정보만	RL motion imitation, GAIL, OKAMI

원문 Table V를 옮긴 것이다. ✗ 열(단점)이 성실하게 채워져 있다는 점이 이 표의 미덕이고, 뒤의 비판 절이 기댈 근거이기도 하다.

RL(VII-A). 알고리즘 비교가 실무적으로 유용하다 — PPO/A3C 같은 on-policy는 샘플 비효율적이지만 업데이트가 빠르고 확장성이 좋아 병렬 시뮬레이션(Isaac Gym 등)에서 데이터가 싼 sim-to-real 설정에 맞고, SAC/TD3/DDPG 같은 off-policy는 샘플 효율적이지만 업데이트 비용이 크고 학습된 Q 함수로 기울기를 추정하는 데서 모델 편향이 들어온다. 저자들의 정리는 “현재 휴머노이드 문헌은 시뮬레이션 데이터 중심이라 PPO가 지배적이고, 실세계 RL로 가면 off-policy가 다시 중요해질 것”이다.

여기서 서베이가 인용하는 가장 날 선 수치가 나온다 — PPO와 SAC는 HumanoidBench의 대부분 휴머노이드 loco-manipulation 과제에서 실패한다(Sferrazza et al. 2024). 과제 복잡도, 샘플 비효율, 희소 보상이 이유로 지목된다.

이 판정의 출처가 되는 벤치마크 자체는 Humanoid Bench 리뷰에서 다뤘다. 같은 벤치마크 위에서 네트워크 구조만 바꿔 표준 알고리즘의 실패를 상당 부분 되돌릴 수 있다고 주장하는 후속 흐름이 SimBa 리뷰다 — “PPO/SAC가 실패한다”는 진단이 알고리즘의 한계인지 구현·구조의 한계인지에 대해 이 서베이(v2, 2025-04)는 답하지 않는다.

sim-to-real 대응은 세 갈래(DR / SI / DA)로 정리되는데, 각 갈래의 실패 방식을 적어 둔 것이 좋다. Domain Randomization은 범위가 넓으면 학습이 안 되고 좁으면 전이가 안 되는 양날이고, System Identification은 실세계 데이터가 상태·행동 공간을 다 덮지 못하며, Domain Adaptation은 실기 미세조정 자체가 안전 문제다. 그리고 물리 엔진 수준의 한계까지 내려간다 — MuJoCo의 soft contact 모델은 비물리적 관통(penetration)을 만들고, PhysX는 마찰원뿔을 저충실도 피라미드로 근사해 격차를 벌린다.

IL(VII-B, VII-C). 로봇 경험은 형태 격차가 없지만 희소하고, 인간 데이터는 풍부하지만 형태 격차가 크다는 대칭이 반복된다. 원격조작은 “현재 휴머노이드 로봇 경험을 모으는 가장 흔한 방법”으로 소개되고, 인간 데이터는 mocap(3D)과 인터넷 영상(2D) 두 경로로 나뉘어 리타깃 → 모방 학습으로 이어진다.

인간 데이터 학습 파이프라인(Fig. 12) — mocap 또는 2D 영상 복원으로 3D 인간 모션을 얻고, 로봇으로 리타깃해 imitation learning에 쓴다.

하이브리드(VII-D) 는 이 서베이가 가장 힘주어 미는 부분이고, 서론의 “모델 기반과 학습은 상충하지 않는다”는 선언을 실제로 지탱하는 절이다. 세 가지 형태로 정리된다.

결합 방식 3종(Fig. 14) — 1) RL과 IL의 결합: 특권 관측으로 RL teacher를 학습해 student가 클로닝하는 teacher-student, 또는 IL로 사전학습 후 RL로 미세조정. 2) MPC/TO가 만든 참조 궤적을 정책이 추종. 3) 참조 궤적에 정책이 잔차 \delta a 를 더해 보정.

세 번째(참조 궤적 증강)는 dynamic movement primitives에서 출발해 이족보행으로, 최근에는 TO 기반 참조를 증강하는 loco-manipulation(Opt2Skill, Liu et al. 2024)으로 이어진다. 그리고 저자들이 이 계열의 대가를 분명히 적는다 — 참조 추종이든 증강이든 사전 정의된 궤적에 의존하므로, 창발적이고 다양한 행동을 배울 여지가 제한된다.

스킬 표현(VII-E). 여러 스킬을 하나의 정책에 담기 위한 암묵적 표현 세 가지 — 모션 잠재공간, 목표 잠재공간 + goal-conditioned policy, world model. Key Takeaways의 판정이 냉정하다: “이 방법들 상당수는 여전히 컴퓨터 그래픽스 커뮤니티에 머물러 있고 휴머노이드 하드웨어에서 구현되지 않았다.”

이 절이 가리키는 방향의 실제 하드웨어 구현으로는 BFM-Zero 리뷰(비지도 RL로 프롬프트 가능한 휴머노이드 행동 파운데이션 모델)와 Sonic 리뷰(전신 모션 트래킹의 대규모화), Whole-Body Loco 리뷰(모션 생성 + 트래킹 결합)가 있다. 셋 다 서베이 v2 컷오프 이후이거나 그 즈음의 흐름이라, 이 절의 “아직 하드웨어에 없다”는 판정은 가장 빨리 낡는 부분이다.

loco-manipulation 학습의 현실(VII-F). 여기가 이 장에서 가장 정직한 대목이다. CooHOI 같은 연구가 시뮬레이션에서 휴머노이드 loco-manipulation을 보여 주지만 물리적 상호작용이 과도하게 단순화돼 있고, 결과적으로 sim-to-real 전이를 보인 연구는 소수에 불과하다. 그 소수도 특정 환경·과제에 맞춰 세밀히 튜닝된 복잡한 보상 설계에 의존하며, 접촉 시퀀스를 참조 궤적으로 암묵적으로 주거나 보상으로 명시적으로 넣어야 성공률이 오른다. 물체 질량 불확실성은 대부분 domain randomization으로 때운다.

학습 기반이 실제 하드웨어에서 달성한 것(Fig. 16) — (a) 일어나서 공 쫓기, (b) 신발끈 묶기, (c) 다접촉 박스 조작, (d) 사람과 춤추기. Fig. 8(모델 기반)과 나란히 놓고 보면 두 진영이 실제로 도달한 지점이 대비된다.

두 개의 “Challenge” 절로 장이 닫힌다.

• VII-G 벤치마크 부재. 시뮬레이션 쪽엔 HumanoidBench, Mimicking-Bench, SMPLOlympics가 있지만 “인간 스킬의 일부만 담고 평가 지표가 과제별로 파편화”돼 있다. 하드웨어 쪽으로는 저렴하고 표준화된 오픈소스 플랫폼(Hector, MIT Humanoid, Berkeley Humanoid, Duke Humanoid)과 원격 접근 가능한 실험 환경(Robotarium, TriFinger 같은)을 제안한다. 이상적으로는 시뮬레이터와 실환경이 같은 지표를 공유해야 한다는 요구가 명확하다.
• VII-H 데이터 희소성, 그리고 이 서베이에서 가장 의견이 강한 문단. 저자들은 단순 스케일링에 반대하는 입장을 명시적으로 취한다. 논지는 이렇다 — 현재의 데이터 수집은 인간의 관절 자세만 기록하므로 무엇을(what) 하는지만 배우게 한다. 궤적 수준의 모방은 형태와 환경의 격차 때문에 근본적으로 일반화되지 않는다. 필요한 것은 purposive learning, 즉 어떻게(how) 와 왜(why) 까지 담는 데이터다 — 조작 대상 물체의 운동, 인지적 행위(신뢰·경쟁·협력), 그리고 전신 촉각·에고센트릭 이미지 같은 멀티모달 관측. 그리고 곧바로 자기 제안의 난점도 적는다: 환경과 물체 전체에 힘·촉각 센서를 다는 것은 매우 복잡하고 확장하기 어렵다.

“인간 데이터로 loco-manipulation을 배운다”는 방향의 최근 구현으로는 EgoHumanoid 리뷰(로봇 없이 에고센트릭 시연만으로 in-the-wild loco-manipulation)가 이 절의 직접적 후속이다. 서베이가 요구한 “멀티모달 인간 관측”의 한 갈래를 실제로 밟는다. 브래키에이션은 서베이가 Sec. VII-D에서 “TO가 만든 오프라인 모션을 지도학습으로 모방”하는 예(monkey bars)로 한 줄 언급하는데, 인용된 문헌은 물리 기반 캐릭터 애니메이션 연구(Kwon et al. 2020)다. 같은 과제를 실물 양팔 로봇에서 RL로 푼 예로는 WGRL Brachiation 리뷰를 참고할 만하다.

학습 진영 ② — foundation models (Sec. VIII)

이 장은 솔직하게 시작한다: “휴머노이드에 특화된 FM 연구는 여전히 희박하다(sparse).” 그래서 일반 로보틱스에서의 FM을 먼저 개관하고 휴머노이드로 외삽하는 구조를 취한다. 갈래는 둘이다.

FM 활용의 두 전략(Fig. 17) — (VIII-A) 사전학습 LLM/VLM을 프롬프팅해 과업 관련 중간 표현을 만들고 저수준 정책·제어기가 실행한다. (VIII-B) 로봇 데이터로 multi-skill 정책을 학습하거나 기존 VLM을 미세조정해 직접 행동을 출력한다.

• VIII-A: 사전학습 모델을 그대로 쓰기. 다시 둘로 갈린다. (1) 스킬 선택(task planning) — SayCan처럼 가치함수로 가용 행동을 랭킹하거나, OmniH2O처럼 GPT-4로 자율 스킬을 고르는 식. 한계도 분명히 적는다: 고정된 스킬 집합은 다재다능함을 제한한다. (2) 스킬 작성(authoring) — 코드나 보상 함수를 중간 표현으로 생성하게 하거나, 휴머노이드의 전신 자세와 전신 접촉점을 직접 생성하게 하는 방향(Harmon, Words2Contact 등).
• VIII-B: 로봇 파운데이션 모델(RFM = VLA)을 만들기. 계층형(사전학습 LLM/VLM + 밑바닥부터 학습한 저수준 정책)과 end-to-end(행동을 토큰으로 다루어 VLM을 그대로 미세조정) 두 방식. 휴머노이드 적용은 상체에 한정돼 있다고 명시하고 GR00T N1과 Figure의 Helix를 예로 든다. 그리고 판정: 휴머노이드 loco-manipulation에 대한 VLA는 시뮬레이션에서만 보여졌다(HumanVLA, SuperPADL).

기술적 관찰 중 인용할 만한 것 둘.

• 행동을 문자열 숫자 토큰으로 표현하는 RT-2 방식은 휴머노이드처럼 고자유도인 로봇에서 토큰 비효율적이다.
• 휴머노이드의 입출력 표현은 아직 정해지지 않았고, 저자들의 제안은 RFM은 엔드이펙터·몸통 포즈를 출력하고, 균형·안전은 고주파 저수준 정책이 담당하는 분업이다. 접촉이 풍부한 과업에서는 힘 피드백이 에고센트릭 영상만큼 중요하다는 지적이 따라붙는다(Sec. III과 이어지는 대목).

VIII-C 기회와 과제. 기회는 하나의 관찰로 압축된다 — FM 학습 데이터의 대부분이 인간이 만든 것이므로 거기 담긴 지식은 인간형 몸에 편향돼 있고, 따라서 휴머노이드는 embodiment gap이 작아 FM 지식을 더 잘 쓸 수 있다. 과제는 넷이다: (1) 추론 비용 — 온보드 연산으로 대형 FM을 돌리는 것은 불가능하며, 클라우드에 FM을 두고 저주파 고수준 결정만 받는 분산 계층이 대안이지만 지연이 문제. (2) 학습 비용 — LLaMA 학습에 992× A100에서 34일이 걸렸다는 수치를 인용한다. (3) 스케일링 법칙의 부재 — 휴머노이드 FM에는 “모델·연산·데이터를 어떻게 키워야 하는지”를 알려 줄 법칙이 아직 없다. (4) 안전과 윤리 — 인터넷 데이터로 학습한 모델이 본질적으로 불안정한 물리 로봇을 제어할 때의 위험, 그리고 데이터 편향이 체화된 시스템에서 증폭될 가능성.

FM/VLA 쪽 지형도 자체는 Bridging Language and Action 리뷰(언어 조건 조작 서베이)가 훨씬 촘촘하다. 이 서베이의 Sec. VIII은 그 지형도의 휴머노이드 단면에 해당하고, 반대로 저 서베이에는 없는 “저수준 균형 제어와 어떻게 붙일 것인가”라는 질문이 여기 있다. 두 편을 겹쳐 읽으면 빈칸이 잘 보인다.

두 진영을 한 표에 올리기 (Sec. IX-A)

서베이의 세 번째 contribution이 여기 있다. Table VI를 옮긴다.

	Model-based (MPC, WBC)	RL	IL	VLA
성능 지표
멀티모달 센서 수용 유연성	low	medium	high	very high
로버스트니스	high	very high	low	very low
모션 정확도	very high	medium	medium	very low
실시간 실현 가능성	high	high	high	low
다재다능함(versatility)	high	medium	high	high
일반화(generalizability)	medium	low	low	high
실제 달성한 휴머노이드 스킬
Locomotion	very high	very high	medium	NA
Loco-manipulation (손·발 접촉)	high	medium	low	NA
Whole-body multi-contact	medium	high	NA	NA

원문 Table VI. 아래쪽 “달성한 스킬” 칸에는 근거 논문이 붙어 있다 — locomotion은 Khazoom et al. (2024)·Wensing (2014) / Zhuang et al. (2024, Humanoid Parkour)·Crowley et al. (2023) / Huang et al. (2024, DiffuseLoco), loco-manipulation은 Li et al. (2023, Hector)·Carpentier & Mansard (2018) / Dao et al. (2022)·Zhang et al. (2024, WoCoCo) / Fu et al. (2024, HumanPlus), whole-body multi-contact은 Lengagne et al. (2013) / Zhuang & Zhao (2025) 순이다.

저자들의 한 줄 요약은 “로버스트니스는 RL, 다재다능함은 IL, 모션 정확도는 model-based” 이고, VLA에 대해서는 조심스럽다 — “일반화 향상의 가능성은 있으나, 휴머노이드 스킬을 숙달했다는 점은 아직 설득력 있게 보여지지 않았다.” 표를 설명하는 본문에 스스로 붙인 단서도 중요하다: “보고된 알고리즘 성능 상당수가 일화적(anecdotal)이고 구현에 크게 의존하므로 구체적인 수치 비교는 어렵다.”

하드웨어라는 하한선 (Sec. IX-B)

알고리즘 서베이가 보통 생략하는 절인데, 여기 있는 것이 이 서베이의 색깔이다.

• 액추에이터: 토크를 키우는 전통적 방법은 높은 감속비 + 탄성 요소지만, 지난 10년의 변화는 QDD(quasi-direct drive, 감속비 10:1 미만) 다. 백드라이버빌리티와 높은 힘 제어 대역폭이 장점 — 백래시와 마찰이 줄기 때문. 대가는 고전류 → 전력 전자부 부담과 발열이며, 대응은 방열 소재와 에너지 효율적 제어기다.
• 관성 특성: 체조급 기동을 목표로 하는 설계는 질량을 말단에서 멀리 둔다. MIT Humanoid는 질량의 약 75%가 몸통에 있다(Chignoli et al. 2021). 벨트 구동이나 병렬 기구로 발목·무릎을 원격 구동해 얻는데, 4절 링크는 관절 가동범위를 줄이고 벨트는 추가 모델링·정비를 요구한다.
• 배터리: “지속적·자율적 휴머노이드”의 1차 제약. 고체 전지 상용화로 Apptronik Apollo 4시간, Unitree G1 2시간까지 왔다는 수치를 인용하면서도, 실험실에서 여전히 유선 전원에 의존하는 사례들을 근거로 배터리가 남은 한계라고 결론짓는다.

Sec. IX-C는 사회적 전망(재난 대응·건설·농업 / 물류·조립·검사 / 가정·병원)과 함께, 기술 외적 장벽 — 높은 비용으로 인한 상업적 비현실성과 법·규제의 부재 — 를 적으며 닫힌다.

비판적으로 보면

강점

• 분류축이 실제로 일을 한다. “접촉을 어느 층위에서 다루는가”로 자르니, 보통 서로 인용도 잘 안 하는 두 진영(다접촉 최적화 vs sim-to-real RL)이 같은 지도 위 좌표를 갖는다. Fig. 2의 화살표가 그 좌표계다.
• 중립성이 선언이 아니라 구조다. 서론에서 “sim-to-real RL도 넓게 보면 model-based다 / 둘은 상충하지 않는다”고 못 박고, Sec. VII-D 전체를 하이브리드에 배정한 뒤, Sec. IX-A에서 정면 비교로 닫는다. 어느 진영 저자가 썼는지 읽고도 알기 어렵다는 것은 18인 공저 서베이로서 드문 성취다.
• 부정적 사실을 감추지 않는다. 인용할 만한 판정만 모아도 상당하다 — 휴머노이드 loco-manipulation에 CITO 실시간 적용 사례 없음, PPO·SAC는 HumanoidBench 대부분 과제에서 실패, 스킬 표현 방법 다수는 그래픽스에 머묾, 휴머노이드 loco-manipulation VLA는 시뮬레이션에만, 학습 기반 loco-manipulation의 sim-to-real은 소수.
• 표의 “단점 열”이 성실하다. Table IV의 한계 열, Table V의 ✗ 열은 저자들이 스스로 적어 둔 약점이라, 독자가 그대로 판단 근거로 쓸 수 있다.
• 의견이 있다. Sec. VII-H의 purposive learning 주장 — “궤적 수준의 인간 모방은 형태·환경 격차 때문에 근본적으로 일반화되지 않는다”, “일반화는 데이터 양의 스케일링이 아니라 조작 대상 물체의 운동과 더 다양한 센싱 모달리티를 포함시키는 데서 온다” — 은 지금의 스케일링 정설에 정면으로 맞선다. 동의하든 아니든 서베이가 취할 수 있는 가장 값진 태도다.
• 하드웨어 절과 촉각 장. 소프트웨어만 보는 서베이가 놓치는 물리적 하한선(감속비·관성 분포·배터리)과, 접촉을 실제로 재는 모달리티를 본문에 넣었다.

약점·한계

• 헤드라인 표(Table VI)의 근거가 가장 얇다. 이 표는 contribution #3인데, 셀 36칸 중 위쪽 성능 지표 6행 × 4열 = 24칸에는 근거 인용이 하나도 없다. 아래 “달성한 스킬” 12칸만 논문이 붙어 있고(그중 4칸은 NA), 등급 기준(무엇을 “high”라 부르는지)도 정의되지 않는다. 더 곤란한 것은 자기 진단과의 긴장이다 — 표를 설명하는 바로 그 문단에서 Sec. VII-G(벤치마크 부재)를 근거로 들며 “구체적인 수치 비교는 어렵다”고 적어 놓고, 그 상태에서 4열 × 9행의 ordinal 격자를 제시한다. 단서는 성실하지만, 서베이에서 가장 많이 인용될 그림이 가장 약한 근거 위에 서 있다는 사실은 남는다. 이 표는 “분야의 합의된 인상”으로 읽어야 하고, 인용 가능한 측정치로 옮겨서는 안 된다.
• VLA 열의 구조적 비대칭. VLA는 일반화 항목에서 혼자 최고 등급(high) 을 받고 멀티모달 수용성에서는 유일한 “very high”를 받지만, 실제 달성 스킬 3행이 모두 NA다. 즉 위쪽 절반에서 최고점을 받은 열이 아래쪽 절반에서는 아무것도 달성하지 않은 열이다. 본문은 “아직 설득력 있게 보여지지 않았다”고 정확히 적으므로 모순은 아니지만, 표만 스캔하는 독자는 정반대 인상을 얻는다. 미래 잠재력과 현재 능력을 같은 격자에 섞은 설계의 대가다.
• Table III의 서사와 데이터가 어긋난다. 본문은 “충실도↑ ⇒ 계산량↑ ⇒ 주파수↓”를 반복하는데, 정작 표에서 가장 무거운 WBD가 100 Hz로 중간급 CD의 5–10 Hz보다 훨씬 빠르다. 실제 주파수를 가르는 것은 모델보다 솔버 계열과 연도다. 표를 직접 읽지 않으면 놓치는 지점이고, 서베이가 이 관찰을 명시했으면 Sec. V-D의 중요성이 더 선명해졌을 것이다.
• 상태 추정·지각이 통째로 비어 있다. 서베이는 지각을 명시적으로 범위 밖으로 두지만(“이미 충분히 리뷰됐다”), 실제로 확인해 보면 공백이 크다. 본문 약 24,800단어에서 “state estimation” 2회, “SLAM” 1회, “Kalman”·“odometry”·“LiDAR”·“depth” 각 0회, “camera” 1회다(HTML 추출 텍스트 기준 카운트). 그런데 Sec. VI는 WBC의 존재 이유로 “환경 불확실성과 계획 부정확성이 유발하는 외란”을 들고, 결론부는 “advanced observers (vision and whole-body tactile sensing) and estimators are emerging” 으로 닫는다. 즉 서베이 자신이 중요하다고 말하는 축에 본문 절이 없다. 부동 베이스 상태 추정 오차와 물체 포즈 추정 오차는 다접촉 계획·WBC의 입력이지 외부 사정이 아니다.
• 형식적 안전(formal safety)의 방법론적 정리가 없다. 본문에 “control barrier function”은 0회 등장한다 — CBF-QP 논문(Hsu et al. 2015)이 참고문헌에는 있으나, 본문에서는 “로버스트 WBC” 사례로 번호만 인용될 뿐이다. “safety”는 14회 나오지만 대부분 실기 데이터 수집의 위험, FM의 위험 같은 우려 수준이고, 제약 만족·안전 필터·도달가능성(reachability) 계열의 정리는 빠져 있다. 사람 곁에서 무거운 물체를 다루는 것이 이 서베이의 동기라는 점을 생각하면 아쉬운 공백이다.
• 촉각을 크게 잡았지만 제어·계획 정식화와 연결이 얇다. Sec. III은 센서와 응용을 잘 정리하지만, Sec. IV~VI의 OCP·WBC 정식화에서 촉각이 어떤 변수로 들어가는지는 거의 다루지 않는다. Fig. 2에서도 Tactile → Multi-Contact Planning으로 화살표 하나(Contact Feedback)가 있을 뿐이다. 저자들이 던진 “무엇을 추상화해 제어·계획에 넣을 것인가”라는 질문에 서베이 자신은 답하지 않는다. (그림에서 읽으면) Foundation Model 노드도 들어오는 화살표만 있고 MPC/WBC로 나가는 화살표가 없다 — 인지층과 제어층이 아직 붙지 않았다는 사실이 로드맵에 그대로 encode 돼 있는 셈이다.
• 컷오프(v2, 2025-04-19)로 빠르게 낡는 부분이 뚜렷하다. 검증 가능한 부재 두 개만 들면, 본문에 “Genesis” 0회, “flow matching” 0회다. FM 절의 구체적 목록(GR00T N1, Helix, π0, OpenVLA 세대)과 “휴머노이드 VLA는 시뮬레이션에만”, “스킬 표현은 그래픽스에만”, 배터리 시간 수치는 세대와 함께 낡는다. 반대로 Sec. II의 정의, Sec. IV~VI의 분류축과 트레이드오프, Sec. VII의 데이터 축(feasibility×availability), Sec. VII-G/H의 문제 제기는 오래 견딜 부분이다.
• 작지만 인용 시 주의할 표기 흔들림들. ① π0를 “diffusion head” 로 서술하는데 인용된 원 논문 제목은 “a vision-language-action flow model” 이다(본문에 “flow matching” 0회). 확산과 흐름 정합은 가깝지만 같지 않고, 2024~2025 행동 디코딩의 한 축이 용어 수준에서 누락됐다. ② 배터리 문단은 “Unitree’s G1 (2hrs)” 라 적는데 대응 참고문헌 항목의 제목은 “Unitree h1 robot” 이다. ③ Fig. 5의 박스 라벨(“Sampling”, “Static Pose Planning”)과 본문 절 제목(“Search-based Contact Planning”, whole-body pose planning)이 어긋난다. ④ 시뮬레이터 이름 오타(“IssacLab”), LLaMA GPU 표기(“A100-80B”, 통상 80GB). 결론을 흔들지는 않지만, 이 서베이의 2차 인용 수치를 그대로 옮기기 전에는 원 논문 확인이 필요하다는 신호로 읽는 편이 안전하다.

관련 연구와의 자리 매김

기존 휴머노이드 서베이와의 관계. 저자들은 자기 자리를 두 편에 대비해 잡는다 — Goswami & Vadakkepat의 Humanoid Robotics: A Reference(2018)와 Tong et al.의 종합 리뷰(2024)에 대해, 최신 문헌을 모으고 학습 기반이라는 새 패러다임을 상세히 도입했다는 것이 차별점이라는 주장이다. 실제로 읽어 보면 차이는 최신성보다 범위 설정에 있다. 이 서베이는 “휴머노이드 일반”이 아니라 loco-manipulation이라는 단일 능력을 목적함수로 잡고 모든 장을 거기에 종속시킨다.

서베이의 서베이. 이 논문의 실용적 쓰임 중 하나는 각 절 끝의 포인터다. 촉각(Dahiya et al. 2009), 다접촉 계획(Bouyarmane et al. 2019), 다리·휴머노이드 MPC(Katayama et al. 2023), 최적화 기반 제어(Wensing et al. 2024), 학습 기반 다리 로코모션(Ha et al.), 이족 모방학습(Parra-Moreno et al. 2023), 휴머노이드 원격조작(Goodrich et al. 2013), 로보틱스 FM(Firoozi et al. 2024; Hu et al. 2023) — 각 갈래로 깊이 들어갈 진입점을 한 곳에 모아 놓은 것이 신규 진입자에게는 본문만큼 값지다.

이 블로그의 다른 리뷰와의 관계. 이 서베이는 여러 리뷰를 잇는 허브 노드로 쓰기 좋다.

서베이의 절	대응되는 개별 리뷰	어떤 관계인가
Sec. III 촉각	UniTouch · Tactile Pushing RL · Sim-to-Real Bilevel Tactile	서베이가 요구한 “촉각 sim-to-real”과 “표현 학습”의 구체 사례. 다만 모두 손 스케일이고 전신 스케일은 여전히 빈칸
Sec. V MPC 가속	CA-AC-MPC · Contact Trust Region	Table IV의 “선형화·구조 활용” 갈래에 해당하는 최신 구현
Sec. VII-A RL	Humanoid Bench · SimBa	“PPO/SAC가 실패한다”는 판정의 출처와, 그 판정이 알고리즘 탓인지 구조 탓인지 되묻는 후속
Sec. VII-C/H 인간 데이터	EgoHumanoid	서베이가 요구한 “멀티모달 인간 관측”의 한 갈래를 실제로 밟은 구현
Sec. VII-E 스킬 표현	BFM-Zero · Sonic · Whole-Body Loco	“그래픽스에만 있다”는 판정을 하드웨어로 끌어내리는 흐름
Sec. VIII FM/VLA	Bridging Language and Action · VLA for Embodied AI	FM 지형도는 저쪽이 훨씬 촘촘하고, 이쪽에는 “저수준 균형 제어와 어떻게 붙일 것인가”가 있다

누가, 어떻게 읽으면 좋은가

• 휴머노이드에 처음 들어오는 사람: Sec. I-A(로드맵) → Fig. 2 → Sec. II(정의, Table I) → 각 절의 Key Takeaways 박스 10개만 먼저 훑는다. 본문은 그다음에 관심 가는 절만. 절 끝의 “더 읽을 서베이” 포인터가 다음 목적지다.
• 모델 기반 진영 연구자: Sec. IV-D(다접촉 계획의 미해결 3제)와 Table III·IV가 핵심이다. 특히 “휴머노이드 loco-manipulation에 CITO 실시간 적용 사례 없음”은 곧바로 연구 문제 진술이 된다.
• 학습 진영 연구자: Fig. 10 + Table V(데이터 축) → Sec. VII-D(하이브리드) → Sec. VII-H(purposive learning 주장). 마지막 것은 동의 여부와 무관하게 자기 연구의 데이터 설계를 다시 보게 만든다.
• 시스템·하드웨어 구현자: Sec. III-D(촉각 통합 제약: 해상도 vs 내하중, 발까지의 배선 거리) + Sec. IX-B(QDD·관성 분포·배터리) + Sec. VII-G의 오픈소스 플랫폼 목록.
• 이 서베이가 답하지 않는 것: ① “어떤 방법이 SOTA인가” — 벤치마크 부재로 못 한다는 것이 저자들의 답이다. ② 상태 추정·지각 파이프라인. ③ 형식적 안전 보장. ④ 2025년 4월 이후의 모든 것.

요약

기여. 30년의 휴머노이드 연구를 loco-manipulation을 실제로 해내는 데 무엇이 필요한가 라는 단일 축으로 재배열했다. 접촉을 다루는 층위(센싱 → 접촉 계획 → 예측 제어 → 순간 제어 → 학습 → 인지)로 자르니, 서로 대화가 적던 모델 기반 진영과 학습 진영이 같은 좌표계 위에 놓인다. 424편을 6개 표와 17개 그림, 그리고 절마다의 Key Takeaways 박스로 정리했고, 무엇보다 부정적 사실을 감추지 않는다 — CITO 실시간 미달성, PPO·SAC의 실패, 그래픽스에 머문 스킬 표현, 시뮬레이션에만 있는 휴머노이드 VLA.

한계. 가장 많이 인용될 Table VI가 가장 약한 근거 위에 있다(성능 지표 24칸에 인용 0, 등급 기준 부재). VLA 열은 미래 잠재력과 현재 능력을 한 격자에 섞어 표만 보면 오독된다. Table III을 직접 읽으면 본문의 “충실도 vs 속도” 서사와 어긋나는 지점이 있다. 상태 추정·지각과 형식적 안전은 사실상 비어 있고(본문 기준 “state estimation” 2회, “control barrier function” 0회), 크게 잡은 촉각 장도 정작 제어·계획 정식화와는 연결이 얇다.

전망. 이 서베이가 제시하는 다음 수는 셋으로 압축된다 — (1) 탐색·최적화·학습을 섞어 접촉의 조합 폭발을 실시간에 태우기(그리고 “정밀한 접촉 계획이 항상 필요한가”를 되묻기), (2) 데이터를 양이 아니라 종류로 늘리기(물체 운동 + 전신 촉각 + 에고센트릭 관측을 담는 purposive learning), (3) 파운데이션 모델을 고수준 저주파에 두고 균형·안전은 온보드 고주파 정책이 맡는 분업. 세 갈래 모두 “접촉을 어떻게 다룰 것인가”라는 같은 질문의 다른 얼굴이라는 점이, 이 서베이가 잘 잡은 축의 증거다.

읽는 값이 있는 서베이다. 다만 표의 등급은 인상으로, 2차 인용 수치는 원 논문 확인 후에 쓰는 것이 안전하다.