📃Humanoid Bench 리뷰

Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Code

1. HumanoidBench는 복잡한 전신 제어가 요구되는 휴머노이드 로봇을 위한 시뮬레이션 벤치마크로, 15개의 조작(manipulation) 및 12개의 이동(locomotion) 작업을 포함하여 총 27개의 다양한 Task를 제공합니다.
2. 이 벤치마크에 대한 최신 RL 알고리즘(DreamerV3, TD-MPC2, SAC, PPO)의 벤치마킹 결과는 높은 자유도와 장기 계획이 필요한 대부분의 Task에서 상당한 어려움을 겪는다는 것을 보여주었습니다.
3. 계층적 RL 접근 방식은 견고한 저수준 정책(low-level policies)의 지원을 통해 평면(flat) RL보다 우수한 성능을 달성하여, 휴머노이드 로봇 학습을 위한 구조화된 접근 방식의 잠재력을 시사합니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

HumanoidBench는 휴머노이드 로봇 연구의 병목 현상인 고비용 및 취약한 하드웨어 설정을 해결하기 위해 제안된 고차원 시뮬레이션 로봇 학습 벤치마크입니다. 이 벤치마크는 복잡한 역학, 다양한 신체 부위 간의 정교한 협응, 그리고 긴 호라이즌의 복잡한 작업을 제어하는 데 있어 휴머노이드 로봇 학습의 실제 과제를 드러냅니다.

시뮬레이션 환경 및 로봇 모델:

HumanoidBench는 MuJoCo 물리 엔진을 기반으로 하며, 주 로봇 모델로 Unitree H1 휴머노이드 로봇에 두 개의 Shadow Hand를 부착한 구성을 사용합니다. 다른 로봇 모델(Unitree G1, Agility Robotics Digit, Robotiq 2F-85 그리퍼, Unitree H1 핸드)도 지원하여 다양한 설정을 실험할 수 있습니다. 로봇의 사양은 DoF, 액션 및 관측 공간의 높은 차원을 특징으로 합니다. 예를 들어, Shadow Hand를 포함한 Unitree H1은 61차원 액션 공간과 151차원 관측 공간을 가집니다. 관측(Observation)은 고유수용성 로봇 상태(관절 각도 및 속도), 태스크 관련 환경 관측(객체 자세 및 속도), 그리고 egocentric visual observation (로봇 머리에 장착된 두 대의 카메라)을 포함합니다. 특히, whole-body tactile sensing은 MuJoCo tactile grid sensor를 사용하여 구현되었으며, 448개의 taxel이 몸 전체에 퍼져 3차원 접촉력 판독값을 제공합니다. 이를 위해 CoACD를 활용한 정교한 메시(mesh) 최적화 작업이 이루어져 더 미세한 접촉 해상도를 제공합니다. 현재 벤치마크는 주로 상태 기반(state-based) 입력에 초점을 맞추고 있습니다. 액션(Action)은 주로 위치 제어(position control) 방식을 사용하며, 50Hz로 제어됩니다. 토크 제어(torque control)도 지원됩니다.

태스크 스위트(Task Suite):

HumanoidBench는 12개의 locomotion task와 15개의 whole-body manipulation task를 포함하여 총 27개의 다양한 태스크를 제공합니다. Locomotion tasks는 walk, stand, run, hurdle, crawl, maze, sit, balance, stair, slide, pole, reach와 같이 휴머노이드의 기본적인 이동 및 자세 제어 능력을 평가합니다. Whole-body manipulation tasks는 push, cabinet, highbar, door, truck, cube, bookshelf, basketball, window, spoon, kitchen, package, powerlift, room, insert 등 다양한 상호작용을 포함하며, 전신 협응이 필요한 복잡한 작업을 다룹니다.

벤치마킹 결과 및 핵심 방법론:

이 논문은 DreamerV3, TD-MPC2 (모델 기반 RL), SAC, PPO (모델 프리 RL) 등 최신 RL 알고리즘을 벤치마킹했습니다. 주요 발견은 다음과 같습니다:

• 성능 부진: 최신 RL 알고리즘들은 대부분의 태스크, 특히 긴 호라이즌 계획과 복잡한 전신 협응이 필요한 태스크에서 어려움을 겪었습니다. 높은 상태 및 액션 공간 차원이 탐색을 어렵게 만드는 주요 원인으로 지적됩니다.
• Dexterous Hands의 영향: Shadow Hand의 추가적인 관절과 액추에이터는 locomotion task(walk)에서도 성능을 크게 저하시켰습니다. 액션 공간의 차원을 줄였을 때(손 움직임을 고정) 학습 속도가 현저히 빨라지는 것을 통해, 액션 차원이 성능 저하의 주된 요인임을 확인했습니다.
• 계층적 강화 학습 (Hierarchical Reinforcement Learning, HRL):
  • 필요성: 복잡하고 긴 호라이즌의 태스크를 해결하기 위해, 평면적인(flat) end-to-end RL 방식의 한계를 극복하고자 HRL을 도입했습니다. HRL은 학습 문제에 추가적인 구조를 도입하여 low-level 및 high-level 계획을 분리합니다.
  • 구현: push 태스크(한 손 reaching)와 package 태스크(두 손 reaching)에 HRL을 적용했습니다.
  • Low-level Reaching Policy 사전 학습: low-level reaching policy는 재사용 가능한 견고한 블록으로 간주되어 사전 학습됩니다. PPO 알고리즘을 사용하여 MuJoCo MJX에서 수천 개의 병렬 환경에서 학습함으로써 하드웨어 가속을 활용합니다. 예를 들어, 한 손 reaching policy는 20억 스텝 (36시간), 두 손 reaching policy는 40억 스텝 (60시간) 동안 학습됩니다. 학습 시 힘 교란(force perturbations)을 적용하여 견고성을 높였습니다.
  • High-level Policy 학습: 사전 학습된 low-level policy를 고정시킨 채 DreamerV3 및 TD-MPC2를 사용하여 high-level policy를 학습합니다. 탐색을 용이하게 하기 위해 reaching target의 범위를 로봇 작업 공간으로 제한합니다.
  • 결과: HRL 접근 방식은 push 태스크에서 flat baseline을 크게 능가하며 높은 성공률을 보였습니다. 더 어려운 package 태스크에서는 성능 향상이 덜했지만, 이는 low-level policy가 학습되지 않은 새로운 상황(package를 들어 올리는 상황)에 대한 일반화의 어려움을 시사합니다.
• 일반적인 실패 사례:
  • highbar 태스크에서 로봇은 바에 붙어있는 것은 학습하나, 전신 회전 궤적을 수행하는 데 어려움을 겪어 짧은 호라이즌 계획의 한계를 드러냅니다.
  • door 태스크에서 로봇은 문을 여는 데 필요한 정확한 움직임(팔 당기기 + 몸 전체 움직이기)을 학습하는 데 어려움을 겪어, 여러 신체 부위 간의 협응과 조작/이동 기술 간의 원활한 상호작용이 과제임을 보여줍니다.
  • hurdle 태스크에서 로봇은 허들을 뛰어넘는 대신 장애물에 보수적으로 부딪혀 에피소드 종료를 피하는 conservative pose를 학습하는데, 이는 어려운 탐색 문제에 직면할 때 RL이 local optimum에 빠지는 경향을 보여줍니다.

결론:

HumanoidBench는 휴머노이드 로봇 제어의 복잡성을 해결하기 위한 종합적인 벤치마크를 제공합니다. 최신 RL 알고리즘의 한계를 명확히 보여줌으로써, 전신 알고리즘 개발을 촉진하고 RL 연구의 새로운 방향을 제시합니다. 향후 연구 방향으로는 멀티모달 인식 기능 확장, 보다 사실적인 환경 및 객체 포함, sim-to-real transfer 연구 등이 제안됩니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

1. 서론: 휴머노이드 로봇 연구의 병목 현상

휴머노이드 로봇은 인간과 유사한 형태학(morphology)을 활용하여 다양한 환경과 작업에서 인간을 보조할 수 있는 엄청난 잠재력을 가지고 있습니다. Boston Dynamics의 Atlas, Tesla의 Optimus, Unitree의 H1과 같은 하드웨어 플랫폼들이 빠르게 발전하고 있지만, 이러한 로봇들의 제어기는 여전히 특정 작업에 맞춰 수작업으로 설계되거나 부분적으로만 학습 기반인 경우가 많습니다.

휴머노이드 로봇 연구가 다른 로보틱스 분야에 비해 상대적으로 느리게 발전해온 근본적인 이유가 있습니다. 바로 실험 환경 구축의 어려움입니다.

실제 휴머노이드 로봇을 이용한 연구에는 여러 제약이 따릅니다. 고가의 하드웨어 비용, 로봇의 물리적 취약성으로 인한 실험 중 파손 위험, 안전 문제로 인한 실험 환경 제한, 그리고 실험 재현성 확보의 어려움 등이 그것입니다. 강화학습(RL)과 같은 데이터 기반 접근법은 수백만 번의 시행착오를 필요로 하는데, 이를 실제 로봇으로 수행하는 것은 현실적으로 불가능합니다.

HumanoidBench는 바로 이러한 문제를 해결하기 위해 등장했습니다. 이 논문은 휴머노이드 로봇 연구를 위한 최초의 포괄적인 시뮬레이션 벤치마크를 제시하며, 연구자들이 안전하고, 빠르고, 저렴하게 알고리즘을 테스트할 수 있는 플랫폼을 제공합니다.

---

2. HumanoidBench의 핵심 기여

HumanoidBench가 로보틱스 커뮤니티에 제공하는 핵심 기여를 세 가지로 정리할 수 있습니다.

첫째, 고차원 시뮬레이션 환경입니다. 두 개의 정교한 손(dexterous hands)을 장착한 휴머노이드 로봇을 특징으로 하며, 최대 61개의 액추에이터와 151차원의 관측 공간을 제공합니다.

둘째, 다양한 태스크 스위트입니다. 12개의 이동(locomotion) 태스크와 15개의 조작(manipulation) 태스크를 포함한 총 27개의 도전적인 전신 제어 태스크를 제공합니다.

셋째, 표준화된 벤치마크 프레임워크입니다. 최신 강화학습 알고리즘들의 성능을 체계적으로 평가할 수 있는 일관된 실험 환경을 제공합니다.

---

3. 시뮬레이션 환경 상세 분석

3.1 물리 엔진과 로봇 모델

HumanoidBench는 MuJoCo(Multi-Joint dynamics with Contact) 물리 엔진을 기반으로 합니다. MuJoCo는 Google DeepMind에서 관리하는 오픈소스 물리 시뮬레이터로, 빠르고 정확한 물리 시뮬레이션을 제공하여 로봇 학습 연구에 널리 사용됩니다.

기본 로봇 모델로는 Unitree H1 휴머노이드 로봇을 사용합니다. H1은 실제 상용화된 휴머노이드 로봇으로, 시뮬레이션에서 학습한 정책을 실제 로봇으로 전이(sim-to-real transfer)할 수 있는 가능성을 열어둡니다.

손(end-effector)으로는 Shadow Hand를 채택했습니다. Shadow Hand는 24개의 자유도(DoF)를 가진 정교한 로봇 손으로, 인간의 손과 유사한 수준의 민첩성을 제공합니다. 이 외에도 Robotiq 2F-85 그리퍼나 Unitree 자체 손 모델 등 다양한 옵션을 지원합니다.

또한 Agility Robotics의 Digit 로봇과 Unitree G1 로봇도 지원하여 다양한 하드웨어 구성에서의 알고리즘 평가가 가능합니다.

3.2 관측 공간(Observation Space)

HumanoidBench는 세 가지 유형의 관측을 지원합니다.

첫 번째는 고유수용감각(Proprioception) 관측입니다. 이는 로봇의 관절 각도 및 각속도와 태스크 관련 환경 상태(객체 위치 및 속도 등)를 포함합니다. 로봇 상태만으로 약 151차원의 관측 공간을 형성합니다.

두 번째는 시각적(Visual) 관측입니다. 로봇 머리에 장착된 두 대의 카메라를 통해 얻는 자기중심적(egocentric) 시각 관측을 제공합니다. 이를 통해 비전 기반 정책 학습 연구가 가능합니다.

세 번째는 촉각(Tactile) 관측입니다. MuJoCo의 촉각 그리드 센서를 활용하여 전신 촉각 센싱을 구현합니다. 총 448개의 택셀(taxel)이 로봇 전신에 분포하며, 각 택셀은 3차원 접촉력 정보를 제공합니다. 특히 손 부분은 고해상도로, 다른 신체 부위는 저해상도로 설계하여 인간의 촉각 분포를 모방했습니다.

3.3 행동 공간(Action Space)

행동 공간은 모든 환경에서 일관되게 61차원으로 구성됩니다. 로봇은 기본적으로 위치 제어(position control) 방식으로 동작하며, 목표 관절 위치를 지정하는 방식입니다. 토크 제어(torque control)도 지원되지만, 연구진은 위치 제어가 일반적으로 더 안정적이고 낮은 제어 주파수에서도 잘 동작한다고 밝혔습니다.

행동 공간은 [-1, 1] 범위로 정규화되어 있어 다양한 강화학습 알고리즘과의 호환성을 보장합니다.

3.4 시뮬레이션 성능

HumanoidBench는 복잡한 휴머노이드 모델과 정교한 손을 포함함에도 불구하고 효율적인 시뮬레이션 속도를 달성합니다. 특히 MuJoCo MJX(MuJoCo의 JAX 가속 버전)를 활용하여 대규모 병렬 학습을 지원합니다. 이는 저수준 정책(low-level policy) 학습에 특히 유용합니다.

---

4. 태스크 설계 철학과 상세 분석

4.1 태스크 설계 철학

HumanoidBench의 태스크들은 몇 가지 핵심 원칙에 따라 설계되었습니다.

첫째, 일상 생활 관련성입니다. 휴머노이드 로봇이 실제로 수행할 것으로 예상되는 작업들을 포함합니다.

둘째, 점진적 난이도입니다. 단순한 서기(standing)부터 복잡한 주방 작업까지 다양한 난이도의 태스크를 제공합니다.

셋째, 다양한 기술 요구입니다. 균형 유지, 보행, 도달, 조작 등 다양한 기술의 조합을 요구합니다.

넷째, 장기 계획 필요성입니다. 많은 태스크가 단순한 반응적 제어를 넘어 장기적인 계획을 요구합니다.

4.2 이동(Locomotion) 태스크 (12개)

이동 태스크는 정교한 손 제어를 우회하면서도 흥미로운 휴머노이드 제어 시나리오를 제공합니다.

기본 이동 태스크로는 Stand, Walk, Run이 있습니다. Stand 태스크는 로봇이 직립 자세를 유지하는 가장 기본적인 태스크로, 균형 유지 능력을 평가합니다. Walk 태스크는 약 1m/s의 속도로 안정적인 보행을 수행하며 넘어지지 않아야 합니다. Run 태스크는 약 5m/s의 속도로 빠르게 달리는 것을 요구하며, 더 역동적인 균형 제어가 필요합니다.

장애물 이동 태스크로는 Hurdle, Crawl, Stair, Slide가 있습니다. Hurdle 태스크는 허들을 뛰어넘는 것으로, 점프 동작의 학습이 필요합니다. Crawl 태스크는 낮은 공간을 기어서 통과하는 것으로, 전신 자세 제어가 요구됩니다. Stair 태스크는 계단을 오르내리는 것으로, 지형 적응 능력을 평가합니다. Slide 태스크는 미끄러운 표면에서의 이동으로, 마찰력 변화에 대한 적응이 필요합니다.

균형 및 특수 자세 태스크로는 Balance(Simple/Hard), Sit(Simple/Hard), Pole이 있습니다. Balance 태스크는 불안정한 표면에서 균형을 유지하는 것으로, Simple과 Hard 두 가지 난이도가 있습니다. Sit 태스크는 의자에 앉는 동작으로, 전신 협응이 필요합니다. Pole 태스크는 막대 위에서 균형을 잡는 것으로, 고도의 균형 제어 능력이 요구됩니다.

탐색 태스크로는 Maze가 있습니다. 미로를 탐색하여 목표 지점에 도달하는 것으로, 이동과 계획 능력의 조합이 필요합니다.

4.3 조작(Manipulation) 태스크 (15개)

조작 태스크는 이동과 정교한 손 조작의 결합을 요구하며, HumanoidBench의 핵심 도전 과제들을 포함합니다.

정적(Static) 조작 태스크는 주로 상체와 손의 협응을 요구합니다. Reach 태스크는 3D 공간의 목표 지점에 손을 도달시키는 기본적인 도달 태스크입니다. Cube 태스크는 정육면체를 잡고 조작하는 것입니다. Insert(Normal/Small) 태스크는 페그를 구멍에 삽입하는 정밀 조작으로, Normal과 Small 두 가지 난이도가 있습니다. Spoon 태스크는 숟가락을 이용한 조작입니다. Window 태스크는 창문을 여닫는 것입니다. Cabinet 태스크는 캐비닛 문을 열고 닫는 것입니다. Door 태스크는 문 손잡이를 돌리고 문을 여는 것으로, 전신 협응이 필요합니다.

동적(Dynamic) 조작 태스크는 이동과 조작의 시퀀싱을 요구합니다. Push 태스크는 테이블 위의 상자를 밀어 목표 위치로 이동시키는 것입니다. Basketball 태스크는 농구공을 집어 골대에 넣는 것입니다. Bookshelf(Simple/Hard) 태스크는 책장에서 책을 정리하는 것으로, 두 가지 난이도가 있습니다. Kitchen 태스크는 주방에서 다양한 작업을 수행하는 복합 태스크입니다. Package 태스크는 패키지를 들어 올리고 이동시키는 것입니다. Truck 태스크는 트럭에서 물건을 하역하는 것으로, 장기적인 계획이 필요합니다. Highbar(Simple/Hard) 태스크는 철봉에서 회전하는 것으로, 전신 역학 제어가 필요합니다. Powerlift 태스크는 무거운 물체를 들어올리는 것으로, 전신 힘 제어가 요구됩니다. Room 태스크는 방에서 다양한 물체와 상호작용하는 복합 태스크입니다.

4.4 태스크 난이도 분석

논문의 실험 결과에 따르면, 태스크들의 난이도는 크게 세 가지 범주로 나눌 수 있습니다.

상대적으로 쉬운 태스크로는 Stand, Walk, Reach 등 기본적인 이동 및 도달 태스크가 있습니다. 이들은 단일 기술의 숙달만으로도 어느 정도 해결 가능합니다.

중간 난이도 태스크로는 Run, Sit, Balance, Push 등이 있습니다. 이들은 복합적인 기술 조합이나 더 정밀한 제어를 요구합니다.

매우 어려운 태스크로는 Kitchen, Truck, Highbar, Door 등이 있습니다. 이들은 장기 계획, 다양한 기술의 시퀀싱, 복잡한 전신 협응을 요구합니다. 현재 최신 알고리즘들도 이러한 태스크에서 크게 고전하고 있습니다.

---

5. 강화학습 알고리즘 벤치마킹 결과

5.1 테스트된 알고리즘 상세 분석

연구진은 모델 기반(model-based)과 모델 프리(model-free) 접근법을 모두 포함하는 네 가지 대표적인 강화학습 알고리즘을 평가했습니다. 각 알고리즘의 특성과 HumanoidBench에서의 적용 방식을 상세히 살펴보겠습니다.

5.1.1 DreamerV3

DreamerV3는 Danijar Hafner 등이 개발한 최신 모델 기반 RL 알고리즘입니다. 이 알고리즘의 핵심 특징은 다음과 같습니다.

DreamerV3는 환경의 동역학을 학습하는 월드 모델(World Model)을 구축합니다. 이 월드 모델은 Recurrent State-Space Model(RSSM) 구조를 사용하며, 잠재 상태 공간에서 환경의 전이 동역학을 예측합니다. 학습된 월드 모델 내에서 상상적 롤아웃(imaginary rollout)을 수행하여 정책을 학습합니다. 실제 환경 상호작용 없이도 다양한 시나리오를 “상상”하며 학습할 수 있어 샘플 효율성이 높습니다.

DreamerV3의 주요 기술적 특징으로는 symlog 예측을 통한 다양한 스케일의 보상 처리, 고정 하이퍼파라미터로 다양한 도메인에서 작동하는 범용성, 그리고 actor-critic 구조를 활용한 정책 최적화가 있습니다.

HumanoidBench에서 DreamerV3는 약 10M 환경 스텝을 수행했으며, 월드 모델의 학습에 상당한 계산 자원이 필요했습니다.

5.1.2 TD-MPC2

TD-MPC2는 Nicklas Hansen 등이 개발한 최신 모델 기반 RL 알고리즘으로, 시간차 학습(Temporal Difference Learning)과 모델 예측 제어(Model Predictive Control)를 결합합니다.

TD-MPC2의 핵심 구성 요소는 잠재 공간에서의 동역학 모델, 보상 예측 모델, 가치 함수(value function), 그리고 정책 사전분포(policy prior)입니다. 이 알고리즘은 온라인 계획(online planning)을 수행합니다. 각 시간 스텝에서 학습된 모델을 사용하여 미래 궤적을 시뮬레이션하고, Model Predictive Path Integral(MPPI) 기반의 샘플링을 통해 최적 행동을 선택합니다.

TD-MPC2는 확장성이 뛰어나 다양한 연속 제어 문제에서 우수한 성능을 보이며, 특히 고차원 행동 공간에서도 효과적으로 작동합니다. HumanoidBench의 61차원 행동 공간에서도 상대적으로 좋은 성능을 보였습니다.

5.1.3 SAC (Soft Actor-Critic)

SAC는 Tuomas Haarnoja 등이 개발한 오프-폴리시 모델 프리 RL 알고리즘입니다. 최대 엔트로피 강화학습(Maximum Entropy RL) 프레임워크를 기반으로 합니다.

SAC의 핵심 아이디어는 보상 최대화와 함께 정책의 엔트로피를 최대화하는 것입니다. 이를 통해 탐색(exploration)과 활용(exploitation) 사이의 균형을 자동으로 조절합니다. 목적 함수는 J(\pi) = \sum_t \mathbb{E}_{(s_t, a_t) \sim \rho_\pi}[r(s_t, a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t))]로 표현됩니다. 여기서 \alpha는 온도 파라미터로, 엔트로피의 중요도를 조절합니다.

SAC는 리플레이 버퍼를 사용한 오프-폴리시 학습으로 샘플 효율성이 높고, 두 개의 Q-함수를 사용하여 과대추정(overestimation)을 방지하며, 자동 온도 조절로 하이퍼파라미터 튜닝 부담을 줄입니다.

그러나 HumanoidBench의 고차원 행동 공간에서는 탐색의 어려움으로 인해 성능이 제한되었습니다.

5.1.4 PPO (Proximal Policy Optimization)

PPO는 John Schulman 등이 개발한 온-폴리시 모델 프리 RL 알고리즘입니다. 간단하면서도 안정적인 정책 업데이트를 특징으로 합니다.

PPO의 핵심은 클리핑된 대리 목적 함수(clipped surrogate objective)입니다. 정책 업데이트의 크기를 제한하여 학습의 안정성을 보장합니다. 목적 함수는 L^{CLIP}(\theta) = \mathbb{E}_t[\min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t)]로, 여기서 r_t(\theta)는 새로운 정책과 이전 정책의 확률 비율입니다.

PPO는 구현이 간단하고 안정적이며, 병렬화를 통해 확장 가능합니다. 그러나 온-폴리시 특성으로 인해 샘플 효율성이 낮습니다. HumanoidBench에서는 대규모 병렬화 없이는 성능이 크게 저하되어, 일부 태스크(walk, kitchen, door, package)에서만 테스트되었습니다. 실제로 walk 태스크에서 PPO는 그래프에서 거의 보이지 않을 정도로 낮은 리턴을 달성했습니다.

5.2 실험 설정 상세

5.2.1 학습 환경 및 컴퓨팅 자원

각 알고리즘은 약 48시간 동안 학습되었습니다. 사용된 하드웨어는 논문에서 명시적으로 기술되지 않았지만, 일반적인 GPU 클러스터 환경에서 실험이 수행된 것으로 보입니다.

48시간이라는 동일한 시간 제약 하에서, 각 알고리즘은 다른 수의 환경 스텝을 수행했습니다. DreamerV3는 약 10M 스텝으로, 월드 모델 학습에 추가적인 계산이 필요합니다. TD-MPC2도 유사한 수준의 스텝을 수행했으며, 온라인 계획에 추가 계산이 필요합니다. SAC는 더 많은 환경 스텝을 수행할 수 있었는데, 모델 학습이 없어 상대적으로 빠릅니다. PPO는 온-폴리시 특성으로 인해 효율성이 낮습니다.

5.2.2 평가 메트릭

성능 평가에는 에피소드 리턴(episode return)이 사용되었습니다. 이는 에피소드 전체에 걸친 보상의 합으로 계산됩니다. 또한, 태스크별로 성공 임계값(success threshold)이 정의되어 있어, 알고리즘이 태스크를 “해결”했는지 판단하는 기준이 됩니다. 모든 결과는 세 개의 랜덤 시드로 실험되어 평균과 표준편차로 보고되었습니다.

5.2.3 관측 및 행동 공간 설정

실험에서는 주로 상태 기반 관측(state-based observation)이 사용되었습니다. 이는 로봇의 고유수용감각 정보(관절 각도, 각속도)와 태스크 관련 환경 상태(객체 위치 등)를 포함합니다. 시각적 관측이나 촉각 관측은 기본 벤치마킹에서는 사용되지 않았습니다.

행동 공간은 61차원의 연속 공간으로, [-1, 1] 범위로 정규화되어 있습니다. 위치 제어 모드가 사용되어, 에이전트는 목표 관절 위치를 출력합니다.

5.3 이동 태스크 결과 상세 분석

5.3.1 Walk 태스크

Walk 태스크는 로봇이 약 1m/s의 속도로 안정적으로 보행하는 것을 목표로 합니다.

TD-MPC2가 가장 좋은 성능을 보였습니다. 빠르게 안정적인 보행 패턴을 학습했으며, 학습 곡선이 가장 가파르게 상승했습니다. 온라인 계획 능력이 균형 유지에 도움이 된 것으로 분석됩니다.

DreamerV3도 준수한 성능을 달성했습니다. 초기 학습은 느렸지만 점진적으로 개선되었으며, 월드 모델 학습 후 안정적인 성능을 보였습니다.

SAC는 학습에 성공했지만 수렴이 느렸습니다. 고차원 행동 공간에서의 탐색이 어려웠고, 최종 성능은 TD-MPC2보다 낮았습니다.

PPO는 거의 학습에 실패했습니다. 그래프에서 거의 보이지 않을 정도로 낮은 리턴을 기록했으며, 온-폴리시 학습의 샘플 비효율성이 심각한 문제가 되었습니다.

5.3.2 Stand 태스크

Stand 태스크는 로봇이 직립 자세를 유지하는 가장 기본적인 태스크입니다.

대부분의 알고리즘이 비교적 쉽게 해결했습니다. 이는 Stand가 다른 모든 태스크의 기초가 되는 기본 기술이기 때문입니다. TD-MPC2와 DreamerV3가 가장 빠르게 수렴했고, SAC도 성공적으로 학습했습니다. 이 결과는 알고리즘들이 기본적인 균형 유지는 학습할 수 있음을 보여줍니다.

5.3.3 Run 태스크

Run 태스크는 약 5m/s의 빠른 속도로 달리는 것을 요구합니다.

모든 알고리즘이 Walk보다 더 큰 어려움을 겪었습니다. TD-MPC2가 가장 좋은 성능을 보였지만, 성공 임계값에는 도달하지 못했습니다. 빠른 달리기는 더 역동적인 균형 제어와 에너지 효율적인 보행 패턴을 요구합니다. 고속 이동 시 발생하는 복잡한 동역학이 학습을 어렵게 만들었습니다.

5.3.4 복잡한 이동 태스크 (Hurdle, Crawl, Stair, Maze 등)

Hurdle, Crawl, Stair, Slide, Maze, Pole, Balance 등의 복잡한 이동 태스크에서는 모든 알고리즘이 성공 임계값 이하의 성능을 보였습니다.

Hurdle 태스크에서 로봇은 허들을 인식하고 뛰어넘는 동작을 학습해야 합니다. 점프 동작의 발견이 어려웠고, 타이밍과 높이 조절이 복잡했습니다.

Crawl 태스크에서는 낮은 자세로 전환하고 기어가는 것이 필요합니다. 직립 자세에서 벗어나는 것이 종료 조건과 충돌할 수 있어 학습이 어려웠습니다.

Stair 태스크에서는 계단의 높이에 맞춰 발을 들어올리는 정밀한 제어가 필요합니다. 각 계단에 대한 적응이 복잡한 문제가 되었습니다.

5.4 조작 태스크 결과 상세 분석

조작 태스크는 이동 태스크보다 더욱 도전적인 결과를 보였습니다. 이는 정교한 손 제어와 전신 협응의 조합이 필요하기 때문입니다.

5.4.1 Reach 태스크

Reach 태스크는 3D 공간의 목표 지점에 손을 도달시키는 기본 조작 태스크입니다.

상대적으로 좋은 결과를 보였지만, 완벽한 도달은 어려웠습니다. 목표 위치가 작업 공간의 경계에 있을 때 어려움이 증가했고, 도달하면서 균형을 유지하는 것이 복잡했습니다.

5.4.2 Push 태스크

Push 태스크는 테이블 위의 상자를 밀어 목표 위치로 이동시키는 것입니다.

엔드-투-엔드 알고리즘들은 거의 0%에 가까운 성공률을 보였습니다. 이 태스크가 어려운 이유는 다음과 같습니다. 상자를 밀기 위한 적절한 손 위치를 찾아야 하고, 밀면서 로봇 자체가 이동해야 하며, 상자의 움직임을 예측하고 조절해야 합니다. 다단계 행동의 조합이 필요하여, 무작위 탐색으로는 성공 경험을 얻기 어렵습니다.

5.4.3 Door 태스크

Door 태스크는 문 손잡이를 돌리고 문을 여는 것입니다.

흥미로운 부분적 학습이 관찰되었습니다. 로봇은 문 손잡이에 접근하고 손잡이를 잡아 돌리는 것까지는 학습했습니다. 그러나 문을 당기기 위한 전신 협응에서 실패했습니다. 문을 당기려면 팔을 당기면서 동시에 몸을 뒤로 이동시켜야 하는데, 이 두 동작의 조합이 어려웠습니다. 이는 조작과 이동의 매끄러운 통합이 휴머노이드 제어의 핵심 도전임을 보여줍니다.

5.4.4 Highbar 태스크

Highbar 태스크는 철봉에서 전신 회전을 수행하는 것입니다.

로봇은 바에 매달려 있는 보수적인 행동을 학습했습니다. 회전을 시도하면 바에서 떨어질 위험이 있어, 에피소드 종료를 피하기 위해 단순히 매달려 있는 것을 선택했습니다. Dense reward가 제공됨에도 불구하고, 장기적 목표(회전)보다 단기적 안전(매달리기 유지)을 우선시했습니다. 이는 단기 계획의 한계와 탐색의 어려움을 명확히 보여줍니다.

5.4.5 복합 태스크 (Kitchen, Truck, Package 등)

Kitchen, Truck, Room 등의 복합 태스크는 현재 알고리즘으로는 거의 해결 불가능한 수준입니다.

Kitchen 태스크는 여러 주방 도구와 상호작용해야 합니다. 복수의 하위 태스크가 시퀀싱되어야 하고, 각 도구에 맞는 다른 조작 전략이 필요합니다.

Truck 태스크는 트럭에서 물건을 하역해야 합니다. 물건을 집고, 이동하고, 놓는 일련의 동작이 필요하며, 장기적 계획과 다양한 물건에 대한 적응이 요구됩니다.

Package 태스크에서 로봇은 패키지에 가까이 접근하는 것은 학습했지만, 들어올리는 동작을 발견하지 못했습니다. 학습 중에 “들어올리기” 경험을 거의 얻지 못하여, 이 동작을 학습할 기회가 없었습니다.

5.5 알고리즘 간 비교 분석

5.5.1 모델 기반 vs 모델 프리

전반적으로 모델 기반 알고리즘(TD-MPC2, DreamerV3)이 모델 프리 알고리즘(SAC, PPO)보다 우수한 성능을 보였습니다.

모델 기반 알고리즘의 장점으로는 학습된 모델을 통한 효율적인 계획, 상상적 롤아웃을 통한 추가 학습 신호, 그리고 미래 예측을 통한 장기적 의사결정이 있습니다. 그러나 모델 학습에 추가적인 계산 비용이 필요하고, 모델 오류가 누적될 수 있다는 단점도 있습니다.

5.5.2 TD-MPC2의 상대적 우위

TD-MPC2가 전반적으로 가장 좋은 성능을 보인 이유를 분석하면 다음과 같습니다.

온라인 계획은 각 시간 스텝에서 여러 미래 궤적을 시뮬레이션하여 균형 유지와 같은 즉각적 문제에 효과적으로 대응합니다. 잠재 공간 학습은 고차원 관측을 저차원 표현으로 압축하여 학습 효율성을 높입니다. 정책 사전분포는 MPPI 샘플링의 초기화에 학습된 정책을 사용하여 탐색 효율성을 높입니다.

5.5.3 PPO의 실패 원인

PPO가 특히 저조한 성능을 보인 이유는 다음과 같습니다.

샘플 비효율성의 문제가 있습니다. 온-폴리시 학습은 각 정책 업데이트마다 새로운 데이터를 수집해야 합니다. 61차원 행동 공간에서 의미 있는 경험을 얻기 어렵습니다.

병렬화의 부재도 문제입니다. PPO는 대규모 병렬 환경에서 효과적이지만, 본 벤치마킹에서는 제한된 병렬화만 사용되었습니다. MuJoCo MJX를 사용한 대규모 병렬 PPO는 저수준 정책 학습에서 효과적임이 확인되었습니다.

5.6 결과의 종합적 시사점

벤치마킹 결과는 휴머노이드 로봇 제어에 대한 여러 중요한 시사점을 제공합니다.

5.6.1 고차원 행동 공간의 저주

61차원의 행동 공간은 현재 알고리즘들에게 상당한 도전입니다. 행동 공간의 차원이 증가함에 따라 탐색해야 할 공간이 기하급수적으로 증가합니다. 무작위 탐색으로 의미 있는 행동을 발견할 확률이 극도로 낮아지며, 특히 조작 태스크에서 정교한 손 제어가 어려워집니다.

5.6.2 장기 계획의 필요성

많은 알고리즘이 단기적 보상 최대화에 치중하여 장기적 태스크 완수에 실패합니다. Highbar 태스크에서의 보수적 행동이 대표적 예시입니다. 복잡한 태스크는 다단계 계획을 요구하며, 현재 알고리즘은 이러한 장기 의존성을 포착하는 데 한계가 있습니다.

5.6.3 기술 조합의 어려움

이동과 조작을 동시에 요구하는 태스크에서 특히 성능이 저하됩니다. Door 태스크에서 손잡이 돌리기는 성공하지만 문 당기기는 실패하는 것이 예시입니다. 다양한 신체 부위의 협응된 제어가 핵심 도전입니다.

5.6.4 샘플 효율성의 중요성

복잡한 태스크를 학습하기 위해 필요한 샘플 수가 현실적으로 감당하기 어려운 수준입니다. 실제 로봇으로의 전이를 고려하면 샘플 효율성은 더욱 중요해집니다. 모델 기반 접근법의 상대적 우위가 이를 반영합니다.

---

6. 계층적 강화학습(Hierarchical RL) 접근법

6.1 엔드-투-엔드 학습의 근본적 한계

5장의 벤치마킹 결과에서 확인했듯이, 현재 최신 강화학습 알고리즘들은 HumanoidBench의 많은 태스크에서 고전하고 있습니다. 이러한 한계의 근본적인 원인을 분석해보면 계층적 접근의 필요성이 명확해집니다.

6.1.1 탐색 공간의 폭발

61차원 행동 공간에서 의미 있는 행동 시퀀스를 무작위로 발견할 확률은 극도로 낮습니다. 예를 들어, Push 태스크를 성공하려면 상자를 향해 이동하고, 적절한 손 위치를 잡고, 올바른 방향으로 밀고, 균형을 유지하는 일련의 동작이 필요합니다. 이러한 동작 시퀀스가 무작위 탐색에서 발생할 확률은 사실상 0에 가깝습니다.

6.1.2 신용 할당 문제 (Credit Assignment Problem)

장기 태스크에서는 어떤 행동이 최종 성공에 기여했는지 판단하기 어렵습니다. 수백 스텝에 걸친 에피소드에서, 초기의 좋은 행동이 최종 보상에 어떻게 기여했는지 역전파하기 어렵습니다.

6.1.3 기술의 재사용 불가

엔드-투-엔드 학습에서는 각 태스크를 처음부터 학습합니다. “걷기”라는 기본 기술을 Walk 태스크에서 학습했더라도, Push 태스크에서 이를 재사용하지 못합니다. 이는 학습 효율성을 크게 저하시킵니다.

6.2 계층적 강화학습의 이론적 기반

6.2.1 옵션 프레임워크 (Options Framework)

계층적 RL의 고전적 이론 기반은 Sutton 등이 제안한 옵션(Options) 프레임워크입니다. 옵션은 세 가지 요소로 구성됩니다: 옵션이 시작될 수 있는 상태 집합인 초기화 조건(Initiation Set) \mathcal{I}, 옵션 내에서의 행동 정책인 내부 정책(Intra-option Policy) \pi, 그리고 옵션이 종료될 확률을 정의하는 종료 조건(Termination Condition) \beta입니다.

고수준 정책은 어떤 옵션을 선택할지 결정하고, 선택된 옵션의 내부 정책이 실행됩니다. 이를 통해 시간적 추상화(temporal abstraction)가 가능해집니다.

6.2.2 목표 조건부 정책 (Goal-Conditioned Policies)

HumanoidBench에서 사용된 계층적 접근은 목표 조건부 정책(Goal-Conditioned Policy) 패러다임을 따릅니다.

저수준 정책 \pi_L(a|s, g)는 주어진 목표 g를 달성하기 위한 행동을 출력합니다. 고수준 정책 \pi_H(g|s)는 저수준 정책에게 제공할 목표를 출력합니다. 이 구조에서 고수준 정책의 행동 공간은 목표 공간이 되어, 원래의 61차원 행동 공간보다 훨씬 작아질 수 있습니다.

6.3 저수준 정책 학습 상세

6.3.1 MuJoCo MJX를 활용한 대규모 병렬 학습

연구진은 MuJoCo MJX(MuJoCo의 JAX 가속 버전)를 활용하여 저수준 정책을 학습했습니다. MJX는 GPU에서 수천 개의 환경을 병렬로 시뮬레이션할 수 있어, PPO와 같은 온-폴리시 알고리즘의 샘플 비효율성을 극복할 수 있습니다.

병렬화의 규모는 수천 개의 환경이 동시에 시뮬레이션되며, 각 정책 업데이트마다 대량의 경험이 수집됩니다. 이를 통해 몇 시간 내에 수백만 스텝의 학습이 가능합니다.

6.3.2 한 손 도달 정책 (Single-Hand Reaching)

한 손 도달 정책은 왼손을 3D 공간의 목표 지점으로 이동시킵니다.

입력: 로봇 상태(관절 각도, 각속도) + 목표 위치(3D 좌표) 출력: 전신 관절 명령(61차원)

보상 함수는 손과 목표 사이의 거리에 기반하며, 도달 시 보너스가 주어지고 직립 자세 유지에 대한 보상이 포함됩니다. 또한 에너지 효율성에 대한 패널티가 적용됩니다.

학습된 정책은 다양한 목표 위치에 대해 일반화(generalization) 능력을 보입니다. 학습 중에 본 적 없는 위치에도 합리적으로 도달할 수 있습니다.

6.3.3 양손 도달 정책 (Two-Hand Reaching)

양손 도달 정책은 양손을 각각의 목표 지점으로 동시에 이동시킵니다.

입력: 로봇 상태 + 왼손 목표(3D) + 오른손 목표(3D) 출력: 전신 관절 명령(61차원)

양손 도달은 한 손 도달보다 더 복잡한 균형 제어를 요구합니다. 두 팔의 움직임이 서로 영향을 미치며, 무게중심 이동이 더 크기 때문입니다. 이 정책은 더 복잡한 양손 조작 태스크에서 사용됩니다.

6.3.4 경량화된 모델 사용

저수준 정책 학습의 효율성을 높이기 위해, 발 부분에만 충돌 메쉬가 있는 경량화된 모델이 사용되었습니다.

이 선택의 이유는 도달 태스크에서 손과 물체의 상호작용이 없어, 손의 상세한 충돌 모델이 불필요하기 때문입니다. 충돌 검출 계산이 줄어들어 시뮬레이션 속도가 향상됩니다. 발의 충돌은 균형 유지에 필수적이므로 유지됩니다.

6.4 계층적 아키텍처 상세

6.4.1 아키텍처 구조

HumanoidBench의 계층적 아키텍처는 두 수준으로 구성됩니다.

고수준 정책 (High-Level Policy):

• 입력: 로봇 상태 + 태스크 관련 상태(예: 상자 위치)
• 출력: 저수준 정책에게 전달할 세트포인트(예: 3D 목표 위치)
• 학습: DreamerV3 또는 TD-MPC2 사용
• 행동 공간: 3차원(한 손) 또는 6차원(양손)으로 대폭 축소

저수준 정책 (Low-Level Policy):

• 입력: 로봇 상태 + 고수준 정책이 제공한 목표
• 출력: 실제 관절 명령(61차원)
• 사전 학습됨(frozen): 고수준 학습 중 업데이트되지 않음
• 고정된 주파수로 목표를 추적

6.4.2 시간적 추상화

계층적 구조에서 시간적 추상화가 발생합니다.

고수준 정책은 더 낮은 주파수로 결정을 내립니다. 예를 들어, 매 10 시뮬레이션 스텝마다 새로운 목표를 제공합니다. 저수준 정책은 매 스텝마다 실행되어 목표를 추적합니다. 이를 통해 고수준 정책은 더 추상적인 수준에서 계획할 수 있습니다.

6.4.3 Push 태스크에서의 구체적 적용

Push 태스크에서 계층적 아키텍처의 구체적 작동 방식은 다음과 같습니다.

태스크 목표: 테이블 위의 상자를 목표 위치로 민다.

고수준 정책:

• 입력: 로봇 상태, 상자 현재 위치, 상자 목표 위치
• 출력: 왼손이 도달해야 할 3D 위치
• 행동 공간 제한: 로봇의 작업 공간 내로 목표 범위 제한

저수준 정책:

• 입력: 로봇 상태, 고수준이 제공한 손 목표 위치
• 출력: 61차원 관절 명령
• 동작: 손을 목표 위치로 이동시키면서 균형 유지

상호작용 흐름:

1. 고수준 정책이 상자 근처의 위치를 목표로 출력
2. 저수준 정책이 손을 해당 위치로 이동
3. 손이 상자에 접촉하여 밀기 시작
4. 고수준 정책이 밀기 방향에 따라 목표 위치 조정
5. 상자가 목표 위치에 도달할 때까지 반복

6.5 계층적 학습 결과 상세 분석

6.5.1 Push 태스크 결과

Push 태스크에서 계층적 접근의 효과는 극적이었습니다.

엔드-투-엔드 접근의 성공률이 거의 0%에 가까웠던 반면, 계층적 접근은 매우 높은 성공률을 달성했습니다. DreamerV3 + Hierarchical 조합과 TD-MPC2 + Hierarchical 조합 모두 우수한 성능을 보였습니다.

성공 요인을 분석하면, 행동 공간 축소가 중요한 역할을 했습니다. 61차원에서 3차원으로 대폭 축소되어 탐색이 용이해졌습니다. 또한 안정적인 저수준 기술 덕분에 손을 목표 위치로 이동시키는 것은 이미 학습되어 있어, 고수준은 “어디로” 이동할지만 학습하면 됩니다. 명확한 하위 목표도 성공에 기여했는데, 고수준 정책이 출력하는 목표 위치는 해석 가능한 중간 표현입니다.

6.5.2 Package 태스크 결과

Package 태스크에서도 성능 향상이 있었지만, Push 태스크만큼 극적이지는 않았습니다.

Package 태스크가 더 어려운 이유는 다음과 같습니다. 들어올리기 동작의 부재가 핵심 문제입니다. 도달 정책은 손을 특정 위치로 이동시키는 것을 학습했지만, 물체를 집고 들어올리는 것은 학습하지 않았습니다. 패키지를 잡기 위해서는 두 손의 협응이 필요하며, 이는 단순 도달보다 복잡합니다.

저수준 정책의 한계가 고수준 성능을 제한합니다. 저수준이 “들어올리기”를 수행할 수 없으므로, 고수준이 아무리 좋은 계획을 세워도 실행이 불가능합니다. 이는 저수준 기술 세트의 완전성이 중요함을 시사합니다.

6.5.3 정량적 비교

Push 태스크에서 엔드-투-엔드 DreamerV3는 매우 낮은 리턴을 보였지만, 계층적 DreamerV3는 성공 임계값을 크게 상회하는 리턴을 달성했습니다. 학습 속도 측면에서도 계층적 접근이 훨씬 빠르게 수렴했습니다. 분산도 계층적 접근에서 더 낮아 안정적인 학습을 보였습니다.

6.6 저수준 정책의 재사용성

계층적 접근의 핵심 장점 중 하나는 저수준 정책의 재사용입니다.

한 번 학습된 도달 정책은 여러 태스크에서 사용될 수 있습니다. Push 태스크에서 상자를 미는 데 사용되고, Package 태스크에서 패키지에 접근하는 데 사용되며, 잠재적으로 Door, Cabinet 등 다른 조작 태스크에도 적용 가능합니다.

이러한 재사용성은 새로운 태스크 학습을 가속화하고, 학습된 기술의 축적을 가능하게 하며, 더 복잡한 태스크로의 점진적 확장을 지원합니다.

6.7 계층적 접근의 한계와 도전

6.7.1 저수준 정책 설계의 어려움

어떤 저수준 기술이 필요한지 사전에 결정해야 합니다. 태스크에 적합한 기술 세트를 선택하는 것이 중요하며, 불완전한 기술 세트는 태스크 해결을 불가능하게 할 수 있습니다.

6.7.2 인터페이스 설계

고수준과 저수준 간의 인터페이스(목표 공간)를 설계해야 합니다. 너무 저차원이면 표현력이 부족하고, 너무 고차원이면 탐색이 어려워집니다. 태스크에 따라 적절한 추상화 수준이 다를 수 있습니다.

6.7.3 저수준 정책의 한계

사전 학습된 저수준 정책이 지원하지 않는 행동은 수행할 수 없습니다. 도달 정책은 “잡기”나 “돌리기” 같은 동작을 수행하지 못합니다. 이는 Door 태스크에서 손잡이를 돌리는 것이 어려운 이유 중 하나입니다.

6.7.4 저수준과 고수준의 불일치

저수준 정책이 고수준의 의도를 정확히 실행하지 못할 수 있습니다. 예를 들어, 고수준이 특정 위치를 목표로 제시해도, 저수준이 정확히 그 위치에 도달하지 못할 수 있습니다. 이러한 실행 오류가 누적되면 태스크 실패로 이어질 수 있습니다.

6.8 향후 연구 방향

6.8.1 자동 기술 발견 (Automatic Skill Discovery)

사전 정의된 저수준 정책 대신, 자동으로 유용한 기술을 발견하는 방법이 연구되고 있습니다. 이를 위한 접근법으로는 정보 이론적 목적 함수를 사용한 기술 발견, 태스크 분해를 통한 하위 기술 추출, 그리고 시연 데이터에서 기술 추출 등이 있습니다.

6.8.2 다양한 저수준 기술의 동적 조합

여러 저수준 기술을 상황에 따라 동적으로 선택하고 조합하는 방법이 필요합니다. 걷기, 도달, 잡기 등 다양한 기술을 보유하고, 태스크 요구에 따라 적절한 기술을 선택하며, 기술 간 매끄러운 전환을 구현하는 것이 목표입니다.

6.8.3 저수준 정책의 온라인 적응

사전 학습된 저수준 정책을 태스크에 맞게 미세 조정하는 방법도 있습니다. 고수준 학습 중에 저수준도 함께 업데이트하되, 안정성을 유지하면서 적응하는 것이 도전입니다.

6.8.4 언어 조건부 계층적 제어

자연어 명령을 통해 고수준 목표를 지정하는 방법도 연구되고 있습니다. 예를 들어 “상자를 왼쪽으로 밀어”라는 명령을 고수준 정책의 입력으로 사용하고, 언어 모델을 활용한 계획 생성이 가능합니다.

---

7. 기술적 세부사항 심층 분석

7.1 보상 함수 설계

HumanoidBench의 보상 함수는 태스크별로 세심하게 설계되었습니다. 일반적으로 다음 요소들을 포함합니다.

태스크 성공 보상은 목표 달성 시 주어지는 보상입니다. 진행 보상은 목표에 가까워질수록 증가하는 shaping 보상입니다. 직립 보상은 로봇이 서 있는 자세를 유지하는 것에 대한 보상입니다. 에너지 패널티는 과도한 액추에이터 사용에 대한 페널티입니다.

특히 직립 보상은 매우 높은 가중치를 가지며, 이는 휴머노이드 제어에서 균형 유지가 얼마나 중요한지를 반영합니다.

7.2 에피소드 종료 조건

대부분의 태스크에서 로봇이 넘어지면 에피소드가 종료됩니다. 이는 로봇이 “안전한” 행동을 학습하도록 유도하지만, 동시에 탐색을 제한하는 효과도 있습니다. Highbar 태스크에서 로봇이 회전을 시도하지 않고 단순히 매달려 있는 행동을 학습하는 것이 그 예입니다.

7.3 촉각 센싱 구현

HumanoidBench의 촉각 센싱 구현은 특히 주목할 만합니다. 충돌 메쉬를 세분화하여 접촉점 후보를 증가시키고, MuJoCo 터치 그리드의 공간 해상도를 최대한 활용합니다. 손 부분은 고해상도, 다른 부위는 저해상도로 설계하여 인간의 촉각 분포를 모방합니다. 각 택셀은 3차원 접촉력(법선력 + 전단력)을 제공합니다.

7.4 시각 관측 구현

시각 관측은 로봇 머리에 장착된 두 대의 카메라를 통해 제공됩니다. 양안 시각을 통한 깊이 인식이 가능하며, 자기중심적 시점으로 실제 로봇에서의 구현을 고려합니다. 현재 벤치마킹에서는 주로 상태 기반 관측을 사용했지만, 비전 기반 정책 학습을 위한 기반이 마련되어 있습니다.

---

8. 일반적인 실패 모드 분석

HumanoidBench에서 관찰된 주요 실패 모드들을 분석하면 휴머노이드 제어의 핵심 도전 과제들을 이해할 수 있습니다.

8.1 Highbar 태스크 실패

로봇이 바에서 떨어지지 않기 위해 보수적으로 매달려 있는 행동을 학습합니다. 전신 회전 궤적을 수행하는 데 어려움을 겪습니다. 이는 단기 계획의 한계를 보여주며, dense reward에도 불구하고 장기적 목표 달성이 어렵습니다.

8.2 Door 태스크 실패

문 손잡이를 돌려 잠금을 해제하는 것까지는 잘 학습합니다. 그러나 문을 당기기 위해 필요한 정밀한 동작, 즉 팔을 당기면서 동시에 전신을 뒤로 이동시키는 것에서 실패합니다. 이는 조작과 이동 기술의 매끄러운 상호작용이 필요함을 보여줍니다.

8.3 Package 태스크 실패

패키지에 가까이 접근하는 것은 학습하지만, 들어올리는 데 어려움을 겪습니다. 학습 중에 들어올리는 경험이 없어 이 동작을 발견하기 어렵습니다.

8.4 복합 태스크 실패

Kitchen, Truck 등의 복합 태스크에서는 여러 하위 태스크의 시퀀싱이 필요합니다. 현재 알고리즘은 이러한 장기 계획과 기술 조합에서 근본적인 한계를 보입니다.

---

9. 관련 연구와의 비교

9.1 기존 로봇 학습 벤치마크

OpenAI Gym / Gymnasium은 MuJoCo 기반의 다양한 연속 제어 환경을 제공하지만, 휴머노이드 태스크는 제한적입니다.

DeepMind Control Suite는 고품질 MuJoCo 환경을 제공하지만, 휴머노이드는 단순화된 모델이고 조작 태스크가 없습니다.

RLBench는 로봇 조작을 위한 벤치마크이지만, 고정된 베이스의 로봇 팔에 초점을 맞춥니다.

robosuite는 로봇 조작 시뮬레이션 프레임워크이지만, 역시 고정 베이스 로봇에 초점을 맞춥니다.

FurnitureBench는 장기 horizon 조작을 위한 벤치마크이지만, 이동 로봇이 아닙니다.

9.2 휴머노이드 관련 벤치마크

LocoMuJoCo는 이동 기반 모방 학습 벤치마크입니다. 다양한 이족/사족 로봇을 포함하지만, 조작 태스크가 없습니다.

MyoSuite / MyoDex는 근골격 모터 제어를 위한 벤치마크입니다. 손 조작에 초점을 맞추지만, 전신 휴머노이드가 아닙니다.

Bi-DexHands는 양손 정교 조작을 위한 벤치마크입니다. 손 조작에 특화되어 있지만, 전신 이동이 없습니다.

9.3 HumanoidBench의 차별점

HumanoidBench는 여러 면에서 독특한 위치를 차지합니다. 전신 휴머노이드와 정교한 손의 조합을 특징으로 하며, 이동과 조작 태스크의 통합, 다양한 센싱 모달리티(고유수용, 시각, 촉각) 지원, 실제 로봇 모델(Unitree H1) 기반, 그리고 표준화된 벤치마킹 프레임워크를 제공합니다.

---

10. HumanoidBench 이후의 연구 동향

HumanoidBench 발표 이후, 이를 활용하거나 확장한 연구들이 활발히 진행되고 있습니다.

10.1 알고리즘 개선 연구

TDMPBC(Self-Imitative RL)는 TD-MPC2에 행동 복제 손실을 추가하여 HumanoidBench에서 120% 이상의 성능 향상을 달성했습니다.

TD-M(PC)²는 정책 제약을 통한 시간차 학습 개선으로 고차원 제어에서 성능을 향상시켰습니다.

MuJoCo MPC는 모델 예측 제어를 HumanoidBench에 적용하여 평가하였으며, RL과 다른 접근법의 가능성을 탐색했습니다.

10.2 계층적 학습 연구

SkillBlender는 기본 기술들을 개발한 후 이들을 조합하여 복잡한 태스크를 수행하는 계층적 RL 프레임워크입니다.

Opt2Skill은 모델 기반 궤적 최적화와 RL을 결합하여 전신 로코-조작을 달성합니다.

HWC-Loco는 휴머노이드 전신 제어를 위한 robust 알고리즘입니다.

10.3 Sim-to-Real 전이 연구

HumanoidBench에서 학습한 정책을 실제 로봇으로 전이하는 연구도 진행 중입니다. 도메인 랜덤화, 적응형 제어, 그리고 robust 정책 학습 등의 기법이 탐구되고 있습니다.

---

11. 결론

HumanoidBench는 휴머노이드 로봇 연구를 위한 획기적인 벤치마크입니다. 이 벤치마크가 제공하는 가치를 정리하면 다음과 같습니다.

연구 가속화의 측면에서, 안전하고 저렴한 시뮬레이션 환경을 통해 알고리즘 개발을 가속화합니다.

표준화된 평가의 측면에서, 일관된 벤치마크를 통해 다양한 알고리즘의 공정한 비교가 가능합니다.

도전 과제 명시화의 측면에서, 현재 알고리즘의 한계를 명확히 드러내어 연구 방향을 제시합니다.

실용적 관련성의 측면에서, 일상 생활 태스크에 초점을 맞춰 연구의 실용적 가치를 높입니다.

벤치마킹 결과가 보여주듯이, 현재 최신 강화학습 알고리즘들도 HumanoidBench의 많은 태스크에서 크게 고전하고 있습니다. 이는 휴머노이드 로봇 제어가 여전히 열린 문제임을 보여주며, 동시에 미래 연구를 위한 풍부한 기회를 제공합니다.

계층적 학습 접근법이 보여준 가능성은, 구조화된 학습이 고차원 제어 문제에서 중요한 역할을 할 수 있음을 시사합니다. 향후 자동 기술 발견, 효율적인 기술 조합, 그리고 sim-to-real 전이에 대한 연구가 휴머노이드 로봇의 실제 배치를 앞당길 것으로 기대됩니다.

HumanoidBench는 단순한 벤치마크를 넘어, 휴머노이드 로봇 연구 커뮤니티를 위한 공동의 도전 과제이자 협력의 플랫폼으로 자리잡을 것입니다. 이 벤치마크를 통해 더 많은 연구자들이 휴머노이드 로봇 연구에 참여하고, 궁극적으로 인간과 함께 일할 수 있는 지능적인 휴머노이드 로봇의 실현에 기여하기를 기대합니다.

참고 문헌

• Sferrazza, C., Huang, D.-M., Lin, X., Lee, Y., & Abbeel, P. (2024). HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation. In Robotics: Science and Systems.
• Hansen, N., Su, H., & Wang, X. (2024). TD-MPC2: Scalable, Robust World Models for Continuous Control. In ICLR.
• Hafner, D., et al. (2023). DreamerV3: Mastering Diverse Domains through World Models. arXiv preprint.
• Haarnoja, T., et al. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning. In ICML.
• Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arXiv preprint.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: HumanoidBench의 동기와 의의

휴머노이드 로봇은 일상 환경에서 사람을 도울 수 있는 잠재력을 지녔지만, 실제 하드웨어의 비용과 취약성으로 연구가 지체되는 문제가 있다. 예를 들어 Boston Dynamics의 Atlas나 Tesla Optimus 같은 고성능 로봇도 특정 작업을 위해 수동으로 조정된 제어기 설계가 필요하며, 과제를 바꾸면 다시 많은 엔지니어링이 요구된다. 이러한 문제를 해결하기 위해 고차원 시뮬레이션 환경과 벤치마크가 필요해졌다. HumanoidBench는 전신 이동 및 조작 과제를 갖춘 최초의 휴머노이드 시뮬레이션 벤치마크로, 복잡한 동역학 제어와 장기 과제를 연구할 수 있는 안전하고 비용 효율적인 시험대를 제공한다. 특히 본 벤치마크는 다양한 이동 및 조작 과제를 통해 휴머노이드의 복잡한 동적 거동, 각 부위 간의 정교한 협응, 장기 목표 달성의 도전 과제를 다루며, 이를 통해 학습 알고리즘의 한계를 빠르게 파악하도록 돕는다.

HumanoidBench의 주요 기여는 다음과 같다: - 두 개의 디테일한 손(dexterous hands) 을 갖춘 휴머노이드 로봇 시뮬레이션 환경 제공. - 인간의 일상 과제를 포함하여 이동(locomotion), 조작(manipulation), 전신 제어(whole-body control) 과제를 아우르는 다양한 과제 스위트. - 고차원 휴머노이드 학습의 진척도를 평가할 표준화된 벤치마크 제공. - 최신 강화학습(RL) 알고리즘과 계층적(RL) 접근 방식의 벤치마크 결과 공유.

이로써 HumanoidBench는 로봇 학습 커뮤니티에 고차원 휴머노이드 로봇 제어의 도전 과제를 드러내고, 알고리즘이나 아이디어를 신속히 검증할 수 있는 플랫폼을 제공한다.

시뮬레이션 휴머노이드 환경 및 모델

HumanoidBench 환경은 MuJoCo 물리엔진을 사용하여 시뮬레이션된다. 주 로봇 플랫폼으로는 Unitree H1을 채택했는데, 이는 비교적 저비용이며 정확한 동역학 모델을 제공하는 실물 휴머노이드 모델이다. 이 로봇의 양팔에는 Shadow Robot의 디테일한 5손가락 핸드가 부착되어 있으며, 휴머노이드의 시뮬레이션 모델로 사용된다. (미래의 트렌드를 반영하여 두 Shadow 핸드의 전완부는 슬림하게 수정되었고, Robotiq 2F-85 그리퍼 등 다른 손 모델도 옵션으로 제공된다.) 또한 Unitree H1 이외에도 Agility Robotics의 Digit 모델과 같은 추가 휴머노이드 모델을 제공하여 확장성을 확보한다.

관측(observation) 측면에서 HumanoidBench는 로봇 자신의 내부 상태와 환경 정보를 모두 포함한다. 로봇 관절의 각도·속도와 물체의 위치·속도 등의 자기 고유 상태(proprioceptive state) 를 관측하며, 로봇 머리 위에 장착된 두 개의 카메라에서 얻은 1인칭 시점(egocentric) 비전 정보도 지원한다. 특히 MuJoCo의 촉각 그리드 센서(tactile grid sensor)를 활용하여 전신에 걸친 촉각 감지도 제공한다. 손 부위는 고해상도 촉각 격자를 적용하고, 몸체 다른 부분은 저해상도로 하여 사람과 유사한 분포의 접촉력 데이터를 얻는다.

행동(action) 측면에서는 로봇의 각 관절 목표 위치를 지정하는 위치 제어(position control) 방식을 기본으로 사용한다. 토크 제어도 지원하지만 위치 제어가 더 안정적이며 낮은 제어 주파수에서도 잘 작동한다. 행동 공간은 양 손을 포함하여 총 61차원으로 구성되며, 비교적 낮은 주파수(예: 20Hz 수준)로 제어된다.

HumanoidBench 과제 구성: 이동과 조작

HumanoidBench에는 크게 이동(locomotion) 과 전신 조작(whole-body manipulation) 두 종류의 과제가 포함된다. 이동 과제는 손의 정교한 조작 없이 몸통과 팔다리만으로 로봇을 움직이거나 특정 자세를 유지하는 과제로 구성되어 있으며, 이들은 후술할 복합 조작 과제의 기본 기술로 활용될 수 있다. 반면, 조작 과제는 양 손과 전신을 사용하여 물체를 다루는 복잡한 작업으로, 일상적인 시나리오를 반영한다.

이동 과제

HumanoidBench의 이동 과제는 정지 자세 유지부터 동적인 운동까지 다양하다. 대표적인 과제로는 Walk(넘어지지 않고 일정 속도로 걷기), Stand(주어진 시간 동안 서 있기), Run(빠른 속도로 달리기), Reach(왼손으로 3차원 목표 위치에 도달하기), Hurdle(넘어지지 않고 장애물 뛰어넘기), Crawl(터널을 기어 지나기), Maze(미로 탐색), Sit(의자에 앉기), Balance(불안정한 판에서 균형 잡기), Stair(계단 오르내리기), Slide(미끄럼틀을 오르내리기), Pole(가느다란 기둥 사이로 전진하기) 등이 있다. 예를 들어, Walk 과제는 정해진 속도로 앞으로 걸으면서 넘어지지 않는 것이 목표이고, Stair 과제는 반복적으로 이어진 계단을 오르내리며 넘어지지 않아야 한다.

조작 과제

전신 조작 과제는 로봇이 실제 환경에서 사람과 유사한 작업을 수행할 수 있도록 다양한 상호작용을 포함한다. 대표적으로 Push(상자를 테이블 위의 목표 위치로 밀기), Cabinet(힌지형/슬라이딩/서랍형 등 다양한 캐비닛 도어 열기), HighBar(수평 철봉을 잡고 매달린 채로 몸을 뒤집기), Door(문을 잡아당겨 연 후 통과하기) 등이 있다. 이 밖에도 Truck(트럭에서 물체를 플랫폼으로 내리기), Cube(두 개의 큐브를 집어 회전시켜 목표 자세 맞추기), Bookshelf(선반에 여러 물건을 주어진 순서대로 배치), Basketball(전방에서 오는 농구공을 잡아 농구골로 던지기), Window(창문 닦기 도구를 잡고 수직 방향으로 닦기), Spoon(숟가락으로 국자 안의 액체를 원형으로 섞기), Kitchen(전자레인지 문 열기, 주전자 이동, 스위치 조작 등 주방 일련의 동작), Package(무거운 상자를 들어 지정 위치로 옮기기), Powerlift(바벨 모양 물체 들어올리기), Room(난잡하게 흩어진 물건을 정리하여 분산도 최소화하기), Insert(직사각형 막대의 양 끝을 두 타깃 블록에 밀착 삽입하기) 등 매우 다양한 실생활 시나리오가 포함된다. 예를 들어 Push 과제에서는 바닥에 놓인 상자를 목표 지점까지 민 후 멈춰야 하고, HighBar 과제에서는 철봉에 매달려 몸을 거꾸로 완전히 올려야 성공한다. 이러한 조작 과제는 로봇이 균형을 잡으며 이동하고, 두 손을 협동시켜 물체를 다루며, 도구를 사용하는 등 여러 모드의 복합 행동을 요구한다.

Push 예시 모습

전신 제어의 도전 과제

HumanoidBench는 매우 높은 자유도(DOF)를 지닌 로봇으로 복잡한 과제를 다루기 때문에 강화학습에서 여러 어려움을 야기한다. 저자들은 사전 평가에서 최신 RL 기법들이 대부분의 과제에서 성공 임계치(success threshold) 를 넘지 못함을 발견했다. 특히 장기 계획과 전신 협응을 필요로 하는 어려운 과제일수록 더 학습이 잘 이루어지지 않았다. 이의 주요 원인으로 저자들은 휴머노이드의 상태 및 행동 공간이 61차원으로 매우 높은 데 따른 탐색 공간의 급격한 확장을 지적했다. 예를 들어 다리가 6개 자유도, 두 손에 각 20개 이상의 자유도가 더해지므로 에이전트는 고려해야 할 변수가 많아진다. 흥미로운 점은, 이동 과제에서 로봇이 손을 거의 사용하지 않더라도, RL 알고리즘은 손에 관련된 추가 자유도를 무시하지 못하고 성능이 크게 저하된다는 사실이다. 이는 단순한 최대 엔트로피 방법만으로는 거대한 탐색 공간에서 유의미한 행동을 찾기 어렵다는 것을 의미하며, 고차원 휴머노이드 학습에는 행동 우선순위나 상식과 같은 휴리스틱 도입이 필요함을 시사한다.

조작 과제에서는 이 문제가 더욱 심화된다. 물체를 다루기 이전에 로봇은 안정된 균형을 유지하며 목표 위치로 이동하는 능력을 먼저 학습해야 하는데, 대부분의 에이전트는 이 단계에서 저조한 보상만 얻었고 복잡한 조작 기술은 거의 학습하지 못했다. 예를 들어, 철봉(highbar) 과제에서 로봇은 철봉을 붙잡은 채 자세를 유지하려 시도하지만 뒤집혀 목표 자세에 도달하는 궤적은 학습하지 못했다. 이는 단기적 보상만을 고려하는 RL 기법이 장기적 플래닝을 하지 못한 결과이다. 문을 여는(Door) 과제에서도 비슷한 문제가 관찰된다. 로봇은 문을 잡아당기는 초기 동작은 수행하지만, 문을 연 상태를 유지하며 몸을 뒤로 이동해 통과하기 위한 세밀한 움직임은 학습하지 못했다. 이는 문 당기기와 로봇 전신 이동의 협업이 필요함에도 불구하고 이를 별도로 학습하지 못했기 때문이다. 또한 허들(Hurdle) 과제에서는 로봇이 목표 속도를 유지해 앞으로 달리는 것은 학습했으나, 점프를 통해 허들을 넘어가야 한다는 사실은 탐색하지 못했다. 대부분의 경우 로봇은 허들에 충돌한 뒤 충돌을 피하는 자세만을 찾으며 안정화되는 보수적 행동만 보였다. 이처럼 HumanoidBench의 과제들은 높은 자유도와 접촉이 빈번한 환경에서의 장기 목표 달성을 요구하여, 기존의 평탄한(end-to-end) 강화학습으로 해결하기 어렵다.

정책 학습 프레임워크

HumanoidBench의 실험에서는 다양한 최신 강화학습 알고리즘을 사용하여 벤치마크를 수행하였다. 모델 기반 RL 알고리즘인 DreamerV3와 TD-MPC2, 모델-프리 오프폴리시 알고리즘인 SAC(Soft Actor-Critic), 모델-프리 온폴리시 알고리즘인 PPO(Proximal Policy Optimization) 등을 전 과제에 적용했다. 각 알고리즘은 약 48시간 동안 학습되었으며, PPO는 샘플 효율이 낮아 (병렬화가 필요해) 일부 과제에 한해 실행했다. 학습 결과는 Figure 3,4에 제시된 평균 누적 보상 곡선으로 나타나며, dashed line은 과제 성공 임계치를 나타낸다.

평탄한(end-to-end) 강화학습 접근법은 대부분의 과제에서 성공적이지 못했다. 앞서 언급한 바와 같이 높은 차원과 장기 과제로 인해, 이러한 알고리즘들은 심지어 단순한 걷기 과제조차도 매우 많은 학습 단계가 필요한 것으로 나타났다. (예를 들어 DeepMind Control Suite에서는 2D 휴머노이드 걷기 과제가 비교적 쉽게 학습된 바 있는데도, 이 환경에서는 3D 모델로 학습이 어렵다.) 또한 PPO와 같은 알고리즘은 병렬화된 환경이 풍부할 때는 로컬 샘플 효율이 좋아지지만, 로봇 물리 충돌을 모두 고려한 복잡한 시뮬레이션에서는 GPU 병렬화 이점이 크지 않았다. 이처럼 평탄한 RL로는 휴머노이드의 고차원 제어를 해결하기 어려워, 저자들은 계층적 강화학습(hierarchical RL) 접근을 제안하였다.

계층적 RL 구조에서는 저수준(skill) 정책이 미리 학습되어 고수준 계획자에게 기본 행동을 제공한다. 그림 6에 나타난 것처럼 고수준 정책은 로봇 상태를 입력으로 받아 서브 목표(예: 양손의 목표 위치)로 이루어진 setpoint를 출력하고, 저수준 Reaching Policy가 이를 받아 실제 관절 조작 행동(61차원)을 수행한다. 이때 저수준 정책은 주로 PPO를 이용해 수천 개 병렬 환경에서 수십억 단계로 사전 학습되었으며(1억 단계 이상), 학습 중 토크 간섭(force perturbation) 등을 도입하여 매우 견고하게 훈련되었다. 고수준 정책은 이러한 고정된 저수준 블록을 활용하여 주어진 과제를 달성하기 위해 목표를 생성하도록 DreamerV3나 TD-MPC2로 학습된다.

계층적 접근의 실험 결과, 단순한 RL 베이스라인보다 성능이 크게 향상되는 모습을 보였다. 예를 들어 Push 과제에서, 계층적 구조는 고수준 정책이 저수준 팔 도달 정책에 목표를 보내도록 하여 풀타임(E2E) 학습보다 훨씬 높은 성공률을 달성했다. 이는 Push 과제가 상자를 민다는 비교적 단순한 작업이어서 저수준 도달 스킬만으로 해결할 수 있는 특성도 있기에 가능한 결과다. 하지만 더 어려운 Package 과제에서는 향상 폭이 적었는데, 상자를 들어올리는 동작을 학습한 적 없는 상태에서는 고수준 정책이 상자를 움켜쥐는 동작 이후 리프팅 기술을 수행하지 못했기 때문이다. 이처럼 계층적 RL은 단순 과제에서 유망함을 보였으나, 여전히 복잡한 전신 조작에서는 저수준 기술의 한계(미리 학습된 스킬에 포함되지 않은 동작)가 전체 성능을 제한했다.

평가 지표 및 실험 결과

HumanoidBench에서는 보상 함수를 통해 에피소드 별 누적 보상(return)을 측정하고, 각 과제마다 성공 임계치(success threshold) 를 정의하여 정책의 성능을 평가했다. 학습 곡선(Fig.3,4)에서 점선은 성공 기준을 나타내며, 이는 해당 기준을 넘을 때 과제가 완료된 것으로 간주한다. 각 알고리즘은 DreamerV3와 SAC는 약 1천만 단계까지, TD-MPC2는 2백만 단계 정도까지 학습되었고, PPO는 수천 개의 병렬 환경에서 학습되었다. 테이블 III, IV에는 평균 및 최대 누적 보상이 정리되어 있지만, 대부분의 과제에서 기준치에 미치지 못해 성공률은 매우 낮았다.

실험 결과 전술한 바와 같이 평탄한 RL의 성능은 대체로 기준치 미달로 부진했다. 모든 알고리즘이 단순한 걷기 과제조차도 큰 학습 단계를 거쳐야 했고, 복잡한 과제에서는 거의 학습을 하지 못했다. 반면 계층적 접근은 Push 과제에서는 거의 성공률 100%에 근접하는 결과를 보였지만, Package 과제에서는 여전히 제한적이었다. 이 결과는 HumanoidBench의 과제들이 현존하는 RL 방법의 한계를 극적으로 드러낸다. 즉, 고차원 행동 공간과 장기 계획 필요성은 기존 RL 알고리즘이 잘 처리하지 못하는 도전으로 남아 있으며, 휴머노이드 학습에서는 추가적인 구조나 휴리스틱 도입이 필수적임을 시사한다.

시사점 및 향후 연구 방향

HumanoidBench는 전신 휴머노이드 제어에서의 현존 기법의 한계를 드러내며, 향후 연구 개발에 중요한 시사점을 제공한다. 저자들은 본 벤치마크가 종합적인 휴머노이드 평가 환경의 첫 예임을 강조한다. 즉, 단순 이동 과제에서부터 실제 휴머노이드 응용에 가까운 조작 과제까지 폭넓은 난이도의 과제를 포함함으로써, 커뮤니티가 전신 제어 알고리즘을 개발·검증할 수 있는 토대를 마련했다. 이를 통해 연구자들은 부족한 부분(예: 고차원 계획, 멀티 모달 학습 등)을 정확히 확인하고 개선할 수 있다.

미래 연구의 한 방향으로는 HumanoidBench가 지원하는 멀티모달 관측의 활용이 제안된다. 본 연구에서는 일단 상태기반 학습(state-based learning)에 초점을 맞추었지만, 이미 휴머노이드의 시점 영상과 전신 촉각 센싱을 제공하므로 이들을 이용한 연구(예: 비전·촉각 융합, 사람 동작 모방 등)가 활발히 이뤄질 수 있다. 또한 물체 모델과 시나리오의 현실감을 높여 가구 조립, 스크류 작업 같은 더욱 복합적인 조작 과제를 추가하거나, 실제 환경과 유사한 고품질 물리 렌더링을 도입할 수도 있다. 아울러, 시뮬레이션에서 얻은 학습이 실제 로봇으로 전이되는 Sim-to-Real 연구도 중요한 과제이다. 실제 시뮬레이터 MJX에서 대규모 병렬 학습을 통해 얻은 견고한 정책은 지금까지의 결과만으로도 시뮬-실제 이전의 가능성을 보여주었다.

마지막으로, HumanoidBench는 강화학습 외에도 다른 학습 패러다임을 검토할 수 있는 토대를 제공한다. 예를 들어, 실제 인간의 행동 데이터를 이용한 학습(Demonstration Learning)이나, 인간 시청각 데이터를 모방하는 연구는 휴머노이드와 같이 전문가 데이터를 얻기 어려운 시스템에 유용할 수 있다. 실제로 저자들은 시뮬레이션 환경에서 개발된 강화학습 기법을 기반으로 미래에는 더욱 다양한 학습 기법(딥 모방 학습, 인지 모델 통합 등)을 탐구할 수 있기를 기대하고 있다.

HumanoidBench는 지금까지 부족했던 전신 휴머노이드 학습의 새로운 기준을 제시하였으며, 로봇 제어 연구자들에게 유용한 개발·검증 플랫폼을 제공한다. 이를 통해 휴먼로이드가 사람과 같이 도구를 사용하고 일상 작업을 수행할 수 있도록 하는, 보다 고차원적이고 통합된 제어 알고리즘 연구가 가속화될 것으로 기대된다.