📃VIRAL 리뷰

humanoid

loco-manipulation

Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation

Published

November 24, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

✨ VIRAL은 휴머노이드 로봇의 자율적인 loco-manipulation 기술 부족을 해결하기 위해, 시뮬레이션에서 학습된 정책을 실제 하드웨어에 zero-shot으로 배포하는 visual sim-to-real 프레임워크를 제안합니다.
🧑‍🏫 이 프레임워크는 privileged RL teacher가 장기적인 loco-manipulation을 학습하고, 이를 대규모 시뮬레이션 및 광범위한 시각적 도메인 무작위화를 통해 RGB 기반 student policy로 증류하는 teacher-student 방식을 활용합니다.
🤖 Unitree G1 휴머노이드에 배포된 VIRAL의 RGB 기반 정책은 실제 환경에서 54회 연속 loco-manipulation을 성공적으로 수행하며, 다양한 환경 변화에 대한 높은 일반화 능력과 전문가 수준에 근접하는 성능을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

VIRAL(Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation)은 휴머노이드 로봇의 자율적인 loco-manipulation(이동과 조작) 기술 부족이라는 핵심적인 배포 장벽을 해결하기 위한 visual sim-to-real 프레임워크입니다. 이 프레임워크는 모든 학습 과정을 시뮬레이션에서 진행하며, 학습된 정책을 실제 하드웨어에 zero-shot으로 배포합니다.

VIRAL의 핵심 방법론은 다음과 같은 Teacher-Student 디자인을 따릅니다.

1. Teacher Training (Phase 1: Reinforcement Learning)

Teacher Formulation: Teacher 정책 \pi_{teacher}는 privileged information(완전한 상태 정보)을 활용하여 장기적인 loco-manipulation 작업을 학습하는 goal-conditioned RL 정책으로 구성됩니다.
Action Space: Teacher는 저수준의 Whole-Body Control(WBC) 정책(예: HOMIE)을 위한 고수준 명령을 출력합니다. 구체적으로, a_t = (\Delta v_t, \Delta \omega_{yaw,t}, \Delta q_{arm,t}, \Delta q_{finger,t}) 형태의 delta 명령을 출력하며, 여기서 \Delta v_t는 선형 속도(x, y), \Delta \omega_{yaw,t}는 각속도(yaw), \Delta q_{arm,t}는 팔 관절, \Delta q_{finger,t}는 손가락 모터에 대한 delta joint target을 나타냅니다. 이러한 delta action space는 RL 훈련을 크게 가속화하고 안정화시킵니다.
Privileged Observation: Teacher의 관측 o^{priv}_t = [o^{prop-priv}_t, o^{exte-priv}_t]는 다음을 포함합니다:
- Proprioception (o^{prop-priv}_t): 로봇의 베이스 선형(v_t) 및 각속도(\omega_t), 베이스 투영 중력(g_t), 이전 액션(a_{t-1}), 관절 위치(q_t) 및 속도(\dot{q}_t), 손끝 힘(f_{finger,t}).
- Exteroception (o^{exte-priv}_t): 현재 작업 단계(e_t), 배치 및 리프트 목표(T_t), 로봇에 대한 물체와 테이블의 상대 변환(O_t).
Reward Design: 작업은 걷기(walking), 배치(placing), 잡기(grasping), 회전(turning)의 시퀀스로 분할되며, 각 단계에 대한 보상이 설계됩니다. 예를 들어, 물체를 향해 걷는 보상은 r_{walk} = \exp(-4 (\|p_{robot} - p_{GraspObj}\| - 0.45)^2)와 같이 정의됩니다.
Reference State Initialization (RSI): RL 훈련을 위해 텔레조작 시뮬레이션 데모 200개를 수집하고, 이를 상태 초기화 버퍼로 사용합니다. 에피소드 리셋 시 데모 스냅샷을 샘플링하여 로봇, 물체, 테이블을 초기화함으로써, 정책이 처음부터 도달하기 어려운 다양한 보상 상태에 노출될 수 있도록 하여 탐색을 개선하고 보상 설계의 부담을 줄입니다.

2. Student Training (Phase 2: Supervised Learning)

Visual Distillation: Teacher 정책은 실제 로봇에서 사용 가능한 관측(proprioception 및 RGB 이미지)만을 받는 vision-based Student 정책 \pi_{student}로 증류됩니다.
DAgger & BC Mixture: Student는 온라인 DAgger와 Behavior Cloning(BC)의 혼합을 통해 훈련됩니다. 목표는 Teacher의 액션을 모방하는 것입니다. 손실 함수는 Teacher-induced 및 Student-induced 관측 분포의 혼합에 대해 계산되는 MSE 목적 함수입니다: L_{distill} = E_{o_t \sim \rho_o}[\Vert \pi_{teacher}(o^{teacher}_t) - \pi_{student}(o^{student}_t) \Vert_2^2] 여기서 \rho_o \triangleq \alpha \rho_o^{\pi_{teacher}} + (1 - \alpha) \rho_o^{\pi_{student}}이며, \alpha는 혼합 계수로, \alpha=0.5가 효과적인 것으로 나타났습니다.
Network Backbone: Student의 vision backbone으로는 DINOv3와 같은 최신 이미지 인코더가 사용되어 고품질 RGB 특징을 추출하고, 이를 proprioception과 융합하여 정책 헤드에 전달합니다. 시간적 컨텍스트를 통합하는 history-aware 아키텍처도 평가됩니다.
Distributed Simulation Learning System: 시각적 시뮬레이션 훈련 처리량을 확장하기 위해 Isaac Lab에서 TRL(Transformer Reinforcement Learning)과 Accelerate를 사용하여 최대 64개의 GPU를 활용하는 대규모 분산 학습 시스템을 구현합니다.

3. Sim-to-Real Transfer

SysID for Dexterous Hand: Unitree G1의 고기어비 3-finger 덱스터러스 핸드의 시뮬레이션-실제 불일치를 해결하기 위해, 실제 그립-릴리스 동작을 시뮬레이션에서 재현하고, 손가락 armature, stiffness, damping 매개변수에 대한 시스템 식별(SysID)을 수행하여 시뮬레이션 관절 궤적을 실제 측정값과 일치시킵니다.
FOV Alignment and Randomization: 시뮬레이터의 카메라 내부 매개변수(초점 거리, 초점 거리, 센서 조리개)를 제조업체 사양에 맞추고, 실제-시뮬레이션 외측 매개변수(extrinsics) 보정을 시각적으로 수행합니다. 훈련 중에는 외측 매개변수 무작위화(extrinsics randomization)를 적용하여 하드웨어로 인한 시점 차이에 강건성을 확보합니다.
Visual and Simulation Randomization: sim-to-real 전송을 강화하기 위해 훈련 중 광범위한 시각적 및 물리적 무작위화가 적용됩니다. 여기에는 이미지 품질(밝기, 대비, 색조, 채도, 가우시안 노이즈, 블러), 카메라 외측 매개변수, 센서 지연, 돔 라이트 환경, 바닥, 테이블, 물체, 로봇 구성 요소의 재료 및 색상 속성 무작위화가 포함됩니다.

규모의 중요성

VIRAL은 컴퓨팅 규모가 Teacher 및 Student 훈련 모두에 중요함을 강조합니다. 수십 개의 GPU(최대 64개)로 시뮬레이션을 확장하는 것이 학습의 신뢰성을 보장하며, 낮은 컴퓨팅 환경에서는 종종 실패하는 것으로 나타났습니다.

실험 결과

Unitree G1 휴머노이드에 배포된 RGB 기반 정책은 최대 54회 연속 loco-manipulation 작업을 수행하며, 실제 환경에서 다양한 공간 및 외형 변화에 일반화됩니다. 이 정책은 실제 세계 fine-tuning 없이 인간 전문가 텔레조작 성능에 근접하는 견고함과 효율성을 보였습니다. 광범위한 ablation 연구를 통해 RGB 기반 휴머노이드 loco-manipulation을 실현하는 데 필요한 핵심 설계 선택이 분석되었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

TL;DR: VIRAL은 휴머노이드 로봇의 loco-manipulation을 순수 시뮬레이션에서 학습하고 실제 하드웨어에 zero-shot으로 배포하는 visual sim-to-real 프레임워크입니다. 64개 GPU 규모의 대규모 학습과 광범위한 domain randomization을 통해 Unitree G1 휴머노이드에서 59회 연속 시도 중 54회 성공(91.5%)이라는 전문가 텔레오퍼레이션에 근접하는 성능을 달성했습니다.

1. 서론: 왜 휴머노이드 Loco-Manipulation이 어려운가?

휴머노이드 로봇은 범용 물리적 인공지능의 궁극적인 구현체로 여겨집니다. 인간의 형태를 가진 로봇이 인간이 설계한 환경에서 다양한 물리적 작업을 수행할 수 있다면, 사회의 많은 물리적 노동을 대체할 수 있을 것입니다. 그러나 현재의 휴머노이드 시스템들은 대부분 신중하게 설계된 데모 환경 바깥에서는 제한적인 실용성만을 보여주고 있습니다.

그 핵심적인 missing piece가 바로 autonomous loco-manipulation입니다. 이것은 locomotion(이동)과 manipulation(조작)을 온보드 센서 기반 인식과 함께 긴밀하게 조율하여, 긴 시간 동안 다양한 환경에서 유용한 작업을 수행하는 능력을 의미합니다.

1.1 기존 접근법들의 한계

현재 휴머노이드 연구의 주요 흐름들을 살펴보면:

Blind Locomotion: proprioceptive 정보만으로 걷기에 집중. 환경 인식 없이는 실제 작업 수행 불가.
Tabletop Manipulation: 고정된 base에서의 manipulation. 이동이 필요한 실제 환경에 적용 곤란.
Teleoperation 의존: 인간 조작자의 실시간 개입 필요. 자율성이 없어 확장성에 한계.
외부 센서 의존: motion capture 등 비온보드 센서 필요. 실제 배포 환경에서 사용 불가.

1.2 Real-World Data vs. Simulation

최근 LLM의 성공 패러다임을 로보틱스에 적용하려는 시도들이 있습니다. 대규모 실세계 데이터셋을 수집하고 “robotic foundation model”을 학습하는 접근법입니다. 그러나 mobile manipulation은 고정된 tabletop 설정보다 훨씬 더 많은 variation을 포함하며, 휴머노이드의 경우 데이터 포인트당 비용이 더욱 높습니다. 높은 자유도(DoF), 안전 제약, 텔레오퍼레이션 스택의 엔지니어링 오버헤드 등이 그 이유입니다.

이에 대한 대안으로 시뮬레이션이 있습니다. 현대의 GPU 가속 photorealistic 시뮬레이터들은 인간 텔레오퍼레이션 대비 훨씬 낮은 한계 비용으로 대량의 데이터를 생성할 수 있습니다. Sim-to-real은 이미 legged locomotion에서 de facto 접근법이 되었지만, manipulation 영역은 여전히 실세계 imitation learning이 주류입니다.

핵심 연구 질문: “Can visual sim-to-real enable useful humanoid loco-manipulation with onboard perception?”

2. VIRAL 프레임워크 개요

VIRAL(Visual Sim-to-Real At ScaLe)은 휴머노이드 loco-manipulation을 시뮬레이션에서 완전히 학습하고 실제 하드웨어에 zero-shot으로 배포하는 visual sim-to-real 프레임워크입니다. 이 논문의 목표는 새로운 RL이나 sim-to-real 알고리즘을 제안하는 것이 아니라, RGB 기반 휴머노이드 loco-manipulation을 실제로 작동하게 만드는 전체 스택의 기술적 레시피를 제공하는 것입니다.

2.1 Teacher-Student 아키텍처

VIRAL은 효율적인 visual simulation 학습을 위해 teacher-student privileged learning 패러다임을 채택합니다. 이 2단계 접근법의 핵심 아이디어는 먼저 “쉬운” 문제를 풀고, 그 솔루션을 “어려운” 문제로 전이하는 것입니다.

Stage 1 - Teacher Policy 학습: 16 GPUs(2 nodes × 8 L40S)에서 privileged state 기반 RL teacher 학습. 시뮬레이션에서만 접근 가능한 ground-truth 정보(물체 위치, 테이블 transform 등)를 활용.
Stage 2 - Student Policy 증류: 64 GPUs(8 nodes × 8 L40S)에서 tiled rendering을 활용한 대규모 visual distillation. Teacher의 지식을 RGB 이미지와 proprioception만 관찰하는 student로 전이.

최종적으로 student policy가 실제 로봇에 배포되며, 이 과정에서 어떠한 실세계 fine-tuning도 필요하지 않습니다. 온보드 센서만으로 walking, placing, grasping, object transport를 포함한 연속적인 loco-manipulation을 수행합니다.

3. Teacher Policy 학습: 핵심 설계 요소

Teacher policy는 goal-conditioned RL policy로 formulate됩니다. 매 time step t에서 teacher는 privileged observation을 받아 low-level WBC(Whole-Body Control) policy에 전달할 high-level command를 출력합니다.

3.1 Action Space 설계: Delta vs. Absolute

일반적인 legged locomotion RL에서는 absolute joint targets를 action space로 사용합니다. 그러나 VIRAL에서는 delta action space를 채택합니다. Policy가 절대 위치 대신 증분(increment)을 출력하고, 이것이 WBC command에 누적됩니다.

Action 구성: a = (Δvₓ, Δvᵧ, Δω_yaw, Δq_arm, Δq_finger)
- Δv: delta linear velocity (x, y)
- Δω: delta angular velocity (yaw)
- Δq: delta joint targets for arm and finger motors

실험 결과, delta action space가 RL 학습을 현저히 가속화하고 안정화합니다. Absolute action을 사용한 변형은 높은 성공률에 도달하지 못한 반면, delta action을 사용한 teacher는 안정적으로 과제를 해결했습니다.

3.2 WBC Command as API

VIRAL의 teacher는 low-level motor skills을 처음부터 학습하는 대신, pre-trained WBC policy(HOMIE) 위에서 동작합니다. 이 설계의 핵심 이점은:

Reward Engineering 부담 감소: 기본적인 locomotion과 balance는 WBC가 처리하므로, task-level reward에 집중 가능.
안전하고 신뢰성 있는 배포: Action space가 안전하고 신뢰성 있는 휴머노이드 동작 영역으로 제한됨.
모듈성: 다른 WBC controller(예: TWIST, SONIC)로 대체 가능한 유연한 설계.

WBC의 command interface는 locomotion을 위한 velocity와 height tracking commands, 그리고 upper-body joint commands를 포함합니다. VIRAL은 여기에 finger actions을 추가하여 완전한 loco-manipulation action space를 구성합니다.

3.3 Reference State Initialization (RSI)

고 자유도 휴머노이드에서 긴 시간 동안의 walking-placing-grasping-turning 스킬을 RL로 학습하는 것은 극도로 어렵습니다. Heavy reward engineering이 필요하고, 그럼에도 종종 suboptimal하거나 sim-to-real transfer가 실패하는 policy를 얻게 됩니다.

VIRAL은 이를 해결하기 위해 Reference State Initialization (RSI)를 사용합니다. 200개의 텔레오퍼레이션 시뮬레이션 demonstration을 수집하고, 이를 RL의 state-initialization buffer로 활용합니다.

RSI 동작 원리: 매 episode reset 시, demonstration의 snapshot을 샘플링하여 scene(robot, objects, tables)을 초기화합니다. 이를 통해 policy가 처음부터 모든 것을 발견하기 전에도 다양한 rewarding states를 경험할 수 있습니다.

RSI의 핵심 이점은 두 가지입니다: 1. Brittle reward tuning에 대한 의존도를 크게 줄입니다 2. 인간이 제공한 grasping과 placement poses가 강력한 사전 지식(prior)을 제공하여 sim-to-real transfer를 개선합니다.

Ablation 결과, RSI 없이는 teacher policy가 빠르게 10% 미만의 성공률에서 정체되는 반면, RSI를 사용한 full VIRAL teacher는 거의 95% 성공률에 도달합니다. 이는 RSI가 휴머노이드 loco-manipulation 학습에 필수적임을 보여줍니다.

3.4 Stage-Based Reward Design

휴머노이드 loco-manipulation을 위한 reward 설계를 위해, task를 walking, placing, grasping, turning의 순차적 단계로 분해합니다. 네 가지 핵심 reward가 정의됩니다:

Walking toward objects: r_walk = -d_robot_object (로봇-물체 거리 최소화)
Placing objects: r_place = -d_object_target - f_finger (물체-목표 거리와 손가락 힘)
Grasping objects: r_grasp = f_grasp + d_hand_object (파지력과 손-물체 거리)
Turning: r_turn = -|y - y_target| (목표 yaw 각도로의 회전)

총 reward는 stage-weighted sum으로 계산되며, stage 전환은 stage-specific 조건에 의해 결정됩니다. 완전한 place-pickup cycle은 5단계로 구성됩니다: 1. 물체로 걸어가기 2. 팔과 손을 pre-place pose로 이동 3. 물체 놓기 4. 다음 물체 잡고 들어올리기 5. 회전

이 시퀀스를 반복하여 긴 시간의 loco-manipulation loop를 생성합니다.

4. Student Policy 학습: Visual Distillation

Privileged teacher가 강력한 behavior를 발견한 후, 이를 실제 로봇에서 접근 가능한 관측(proprioception과 RGB 이미지)만 받는 student policy로 증류합니다. 이 과정은 대규모 시뮬레이션에서 tiled rendering과 함께 수행됩니다.

4.1 DAgger + BC Mixture

Student policy는 online DAgger(Dataset Aggregation)와 Behavior Cloning(BC)의 하이브리드를 통해 학습됩니다. 두 방법 모두 동일한 MSE objective를 공유하지만, 관측 분포의 출처가 다릅니다:

L = α·E[||π_s(o) - π_t(o)||²]_teacher + (1-α)·E[||π_s(o) - π_t(o)||²]_student

Teacher rollouts (BC): 깨끗하고 near-optimal한 demonstrations 제공. Student에 강력한 prior를 빠르게 각인.
Student rollouts (DAgger): Teacher의 이상적 분포 바깥의 states 노출. Error-correction 견고성 향상, compounding error 방지.

Ablation 결과, 순수 BC(α=1)는 빠른 loss 감소를 보이지만 자신의 실수를 교정하지 못하는 brittle policy를 생성합니다. Student rollouts를 도입하면(α=0.5) 최적화가 약간 느려지지만, 배포 성공률이 크게 향상됩니다. 저자들은 α=0.5를 기본 DAgger-BC 비율로 채택합니다.

4.2 Vision Backbone 선택

Student의 vision backbone으로 최신 image encoder인 DINOv3를 채택합니다. 640×480 RGB 이미지에서 high-quality visual features를 추출하고, 이를 proprioceptive 정보와 fusion하여 policy head에 전달합니다.

Vision backbone 비교 실험 결과, state-of-the-art backbone(DINOv3)이 더 강력한 visual representations과 더 큰 capacity를 제공하여, 더 빠른 수렴과 더 높은 task 성공률을 가능하게 합니다. 더 좋은 visual features가 곧 더 신뢰성 있는 policy 학습으로 이어집니다.

4.3 History Architecture

Student policy head의 아키텍처로 single-step MLP baseline, feed-forward history model, 그리고 다양한 history length의 LSTM을 비교합니다.

실험 결과, history-aware models이 일관되게 single-step baseline을 능가합니다. 더 긴 temporal windows는 리소스가 허용하는 범위에서 추가적인 성능 향상을 제공합니다. 이는 loco-manipulation과 같은 sequential decision-making task에서 temporal context가 중요함을 시사합니다.

4.4 분산 시뮬레이션 학습 시스템

대규모 visual simulation은 렌더링이 없는 physics simulation보다 최소 한 자릿수 이상 느립니다. Visual simulation training throughput을 확장하기 위해, 저자들은 TRL의 커스터마이즈된 버전을 구현했습니다. Accelerate를 지원하여 여러 GPU와 compute nodes에 걸쳐 효율적으로 확장합니다.

이 구현은 single-GPU 학습의 단순성을 유지하면서, high-throughput visual sim-to-real 학습을 위해 대규모 클러스터로 near-linear scaling을 가능하게 합니다.

5. Sim-to-Real Transfer 전략

Visual sim-to-real transfer를 위해 VIRAL은 두 가지 상보적인 전략을 결합합니다: 시뮬레이션 측의 대규모 domain randomization과 하드웨어 측의 real-to-sim alignment.

5.1 System Identification for Dexterous Hand

현대 휴머노이드들은 점점 더 low-gear ratio motors를 사용하여 motor-level SysID의 필요성을 줄이고 있습니다. 그러나 Unitree G1의 3-finger dexterous hand는 high gear ratio를 사용하여, 상당한 sim-to-real mismatch를 초래합니다.

이를 해결하기 위해, 저자들은 실세계에서 grasp-release primitive를 정의하고 동일한 action sequence를 시뮬레이션에서 replay합니다. 그런 다음 finger armature, stiffness, damping parameters에 대해 SysID를 수행하여, 시뮬레이션된 joint trajectories를 실제 측정값과 정렬합니다.

5.2 Camera FOV Alignment and Randomization

시뮬레이터의 camera intrinsics(focal length, focus distance, sensor apertures)를 제조사 사양에 맞춥니다. 그러나 Unitree G1 로봇의 camera extrinsics는 유닛별로 다르며, 같은 로봇에서도 시간이 지남에 따라 drift할 수 있습니다.

시뮬레이션과 실제 visual observations을 더 잘 정렬하기 위해, 저자들은 렌더링된 이미지와 실제 이미지를 시각적으로 매칭하여 lightweight real-to-sim extrinsics calibration을 수행합니다. 추가로 training 중 extrinsics randomization을 적용하여, student가 하드웨어 유발 viewpoint 차이에 견고하도록 합니다.

5.3 Visual and Simulation Randomization

견고성 향상과 sim-to-real transfer 개선을 위해, training 중 광범위한 visual 및 physical randomization을 적용합니다:

Category	Randomization Parameters
Image Quality	brightness, contrast, hue, saturation, Gaussian noise, blur
Camera Extrinsics	position noise (x, y, z), rotation noise (roll, pitch, yaw)
Camera Latency	transmission delays 모델링
Dome Light	Indoor, Clear, Cloudy, Night, Studio 환경
Material	floors, tables, objects, robot components의 색상/재질 속성
Table Properties	높이, 깊이, 너비, 두께 변화

Ablation 결과, 세 가지 주요 component가 가장 큰 영향을 미칩니다: 1. Material randomization (M) 2. Dome-light randomization (D) 3. Camera-extrinsics randomization (E)

모든 randomization을 끄면 성능이 35.1% 감소하고, 개별 component를 제거해도 성능이 저하됩니다. 이는 randomization들이 상호 보완적이며 견고한 sim-to-real transfer를 위한 핵심 파이프라인을 형성함을 나타냅니다.

6. 실험 결과 및 분석

6.1 실험 설정

실험은 29-DoF Unitree G1 humanoid에서 수행됩니다. 이 로봇은 7-DoF three-finger dexterous hands를 장착하고 있습니다. Perception은 Intel RealSense D435i가 제공하며, 모든 policy inference는 Intel i9-14900K CPU와 NVIDIA RTX 4090 GPU가 장착된 데스크탑 워크스테이션에서 수행됩니다.

6.2 견고성(Robustness) 평가

학습된 student policy의 견고성을 연속적인 loco-manipulation task에서 평가합니다. 휴머노이드가 두 테이블 사이를 반복적으로 걸어다니며, 물체를 놓고, 새 물체를 잡고, 돌아서는 과제입니다.

핵심 결과: 59회 연속 실세계 시도에서 VIRAL은 54회 성공 (91.5% 성공률)을 달성하며, 확장된 배포에서 강력한 신뢰성을 보여줍니다.

인간 텔레오퍼레이터와의 비교

VIRAL을 두 명의 인간 텔레오퍼레이터와 비교합니다: G1 텔레오퍼레이션 경험 1000시간 이상의 전문가와 약 1시간 경험의 비전문가. 모든 조건에서 동일한 HOMIE policy를 사용하여 거의 apple-to-apple 비교가 가능합니다.

조건	성공률	Cycle Time
전문가 (1000+ hrs)	100%	21.4초
VIRAL	91.5%	20.2초
비전문가 (~1 hr)	73%	느림

전문가는 100% 성공률과 21.4초의 cycle time을 달성합니다. VIRAL은 20.2초로 약간 더 빠른 cycle time을 보이면서, 전문가 수준에 근접하는 성공률을 달성합니다. 한편, 비전문가는 73%의 성공률과 현저히 느린 실행 속도를 보입니다.

이 결과는 VIRAL이 전문가 수준의 성공은 아직 어렵지만, 비전문가를 신뢰성과 효율성 모두에서 크게 능가함을 보여줍니다.

6.3 일반화(Generalization) 평가

실세계 일반화를 여러 환경 요인을 체계적으로 변화시켜 평가합니다:

Tray Position: Y축(좌/중앙/우), X축(테이블 안쪽 20cm ~ 가장자리 바깥 15cm)
Cylinder Position: 다양한 위치에서의 원통형 물체 조작
Robot Position: Y축(좌/중앙/우), X축(가까운 거리~먼 거리)
Table Height: 26.5인치 ~ 31.8인치 범위
Lighting Conditions: 밝음/어두움/깜빡임 환경
Table Cloth Color: 회색, 녹색, 노랑, 보라, 청록, 파랑, 주황, 빨강
Table Type: 다양한 재질과 디자인의 테이블
Object Variety: 다양한 형태, 크기, 재질의 물체

이러한 변형들에 걸쳐 VIRAL은 추가 튜닝 없이 일관되게 task를 완수합니다. 저자들은 이 behavior를 시뮬레이션 training 중 사용된 domain randomization과 RL의 견고성에 기인합니다.

6.4 Compute Scaling의 중요성

이 논문의 가장 중요한 발견 중 하나는 compute scale이 신뢰성 있는 loco-manipulation 학습에 critical하다는 것입니다. Low-compute regime에서는 종종 학습이 실패합니다.

Teacher Training Scaling

GPU 리소스를 1개에서 16개로 확장하면서 teacher training을 분석합니다. GPU 수를 늘리면 학습이 상당히 가속화됩니다. 더 큰 batch의 parallel environments가 단위 wall time당 더 넓은 state-space coverage를 제공합니다.

초기 training에서는 better-than-linear speedup을 보입니다. 예를 들어, 4 GPUs로 modest 성공률에 도달하는 시간은 2 GPUs의 절반 미만입니다.

속도를 넘어, scaling은 asymptotic performance에 뚜렷한 영향을 미칩니다: - 불충분한 compute(1-2 GPUs): teacher가 원하는 성능 범위보다 훨씬 아래에서 정체 - 8-16 GPUs: 일관되게 90% 이상의 성공률 도달

Student Training Scaling

Student policy에서도 명확한 scaling 추세가 관찰됩니다. GPU를 1개에서 64개로 늘리면서 distillation loss와 downstream 성공률을 측정합니다.

더 큰 규모의 training이 일관되게 수렴을 가속화
동일한 loss 임계값에 훨씬 빨리 도달
성공률 곡선이 훨씬 가파르게 상승

속도를 넘어, scaling은 training 안정성도 향상합니다. 더 많은 GPUs로 training된 policies는 더 부드러운 loss 곡선과 더 적은 성공률 분산을 보입니다.

핵심 통찰: 상당한 computing은 단순한 편의가 아니라, 신뢰성 있는 visual loco-manipulation distillation을 위한 실질적인 요구사항입니다.

6.5 Object Generalization

두 가지 training regime에서 grasping subtask의 object-level generalization을 연구합니다: 1. 원통형 물체만으로 single-object training 2. 10개의 다른 물체로 multi-object training

Test time에 동일한 10개 물체에서 평가하고 normalized 성공률을 보고합니다.

결과는 여러 물체로 training하면 훨씬 더 나은 generalization을 산출함을 보여줍니다. Multi-object policy는 모든 카테고리에서 cylinder-only baseline보다 높은 성공률을 달성합니다.

7. 한계점과 미래 방향: 네 가지 Coverage Gap

Sim-to-real은 locomotion, geometric perception, rigid-body manipulation과 같은 개별 능력에서 놀라운 성공을 보여왔습니다. 그러나 이러한 방법들을 범용 loco-manipulation으로 확장하면(“어디든 이동, 무엇이든 인식, 무엇이든 조작”), 현재 패러다임이 아직 해결하지 못한 네 가지 critical coverage gaps이 드러납니다.

7.1 Physics Coverage: 물리적 다양성 격차

현대 시뮬레이터들은 이론적으로 fluid-structure interactions과 deformable bodies를 포함한 복잡한 dynamics를 모델링할 수 있습니다. 근본적인 병목은 시뮬레이션 기능의 부족이 아니라, 이러한 기능들을 현실에 기반을 두기 위한 엔지니어링 노력의 확장성입니다.

충분한 노력을 들이면, 쌀 퍼내기, 집게로 국수 집기, 마늘 썰기, 손으로 초밥 만들기, 커피 머신에 콩 넣기 등 특정 환경을 시뮬레이션하도록 엔지니어링할 수 있습니다. 그러나 이러한 각 시나리오는 실세계와 정렬하기 위한 material properties와 boundary conditions의 맞춤형 튜닝이 필요합니다.

도전은 이 노력을 일상생활의 open-ended diversity로 확장하는 데 있습니다. 장벽은 이러한 상호작용을 시뮬레이션할 수 없다는 것이 아니라, 실세계 물리의 long tail에 대해 정확히 인스턴스화하기 위한 엔지니어링 비용이 실세계 데이터 수집의 복잡성을 초과할 수 있다는 것입니다.

7.2 Task Coverage: Task 생성의 Long-Tail

물리가 완벽하게 시뮬레이션될 수 있다 하더라도, tasks의 다양성은 미해결 과제로 남습니다. 단일 task(예: 설거지)를 위한 시뮬레이션 환경 구축에는 object geometries뿐만 아니라 functional affordances, 다양한 states(더러움 vs 깨끗함), interaction logic의 모델링이 필요합니다.

더욱이, 시뮬레이션은 인간의 상상력에 의해 제한됩니다. “unknown unknowns”—실세계 배포 중에만 나타나는 edge cases와 task variants—를 시뮬레이션할 수 없습니다.

7.3 Reward and Policy Coverage: Reward Engineering 병목

탐색을 안내할 만큼 충분히 dense하면서도 specification gaming을 방지할 만큼 충분히 sparse한 “RL-friendly” reward functions을 정의하는 것은 확장되지 않는 섬세한 기술입니다.

실제로, under-exploration과 over-exploration 사이의 긴장이 관찰됩니다: - Dense, shaped rewards → policy를 local optima나 simulator exploits로 편향 - Sparse rewards → high-dimensional spaces에서 학습 부트스트랩 실패

단일 task의 경우, 이러한 rewards를 “Goldilocks” regime을 찾도록 튜닝하는 것이 가능합니다. 그러나 수천 개의 다른 tasks에 대해 robust reward functions을 수동으로 설계하는 것은 다루기 어렵습니다.

이는 중요한 trade-off를 강조합니다: sim-to-real은 확장 가능한 데이터 생성을 제공하지만, 높은 사전 엔지니어링 노력을 요구합니다. 대조적으로, imitation learning은 부담을 데이터 수집으로 이동시킵니다. 현재로서는, 며칠간의 고품질 텔레오퍼레이션 데이터가 종종 특정 tasks에 대해 수개월의 sim-to-real 엔지니어링을 능가할 수 있습니다.

7.4 Hardware Coverage: 하드웨어-시뮬레이션 격차

마지막으로, 시뮬레이션의 이상화된 actuation과 현재 휴머노이드 하드웨어의 현실 사이에 뚜렷한 격차가 남아 있습니다. Locomotion을 위한 quasi-direct drive(QDD) actuators는 상대적으로 잘 모델링되지만, dexterous manipulation hardware는 종종 모델링되지 않은 friction, backlash, thermal throttling, sensor noise로 고통받습니다.

7.5 저자들의 전망

이 네 가지 gaps은 sim-to-real이 로보틱스에서 중요한 역할을 유지할 것이지만—특히 안전하고 안정적인 평가와 bounded state-spaces의 skills 해결에서—범용 loco-manipulation으로 확장하는 것은 가까운 미래에는 도달할 수 없을 가능성이 높음을 시사합니다.

이 분야는 locomotion에서 sim-to-real의 sweet spot을 성공적으로 식별했습니다: 제한된 parameters(terrain, mass)의 aggressive randomization과 신중하게 설계된 reward functions이 잘 일반화하는 robust policies를 생성합니다. 그러나 manipulation의 equivalent sweet spot은 아직 발견되지 않았습니다.

저자들의 제안: 앞으로의 길은 더 넓은 데이터 에코시스템 내에서 시뮬레이션의 역할을 재정의하는 것입니다. 시뮬레이션이 실세계의 전체 분포를 생성하도록 강제하는 대신, 다음 frontier는 sim-to-real을 급속히 성숙해지는 실세계 imitation learning 및 foundation models 스택과 통합하는 데 있습니다. 시뮬레이션이 실세계 학습을 대체하기보다 보완하는 이 시너지를 발견하는 것이 범용 loco-manipulation의 미래를 위한 가장 흥미로운 방향입니다.

8. 결론 및 핵심 교훈

VIRAL은 RGB 기반 휴머노이드 loco-manipulation을 실제로 작동하게 만드는 포괄적인 기술적 레시피를 제공합니다.

8.1 주요 기술적 기여

Teacher-Student Framework: Privileged information으로 학습 후 visual policy로 distillation하는 2단계 접근법
Delta Action Space: Absolute targets 대신 increments를 사용하여 RL 학습 가속화 및 안정화
Reference State Initialization: Teleoperation demonstrations를 state-initialization buffer로 활용
DAgger-BC Mixture: Teacher와 student rollouts의 혼합을 통한 견고한 visual distillation
대규모 Domain Randomization: Visual, physical, camera parameters에 걸친 광범위한 randomization

8.2 로봇공학자들을 위한 실용적 교훈

Compute Scale이 중요합니다: Low-compute regimes에서는 학습이 종종 실패합니다. 64 GPUs 규모의 computing이 신뢰성 있는 학습의 실질적 요구사항입니다.
WBC를 API로 활용하세요: Low-level control을 처음부터 학습하기보다, pre-trained WBC 위에서 high-level policy를 학습하면 reward engineering 부담이 줄고 배포가 안전해집니다.
Demonstrations를 적극 활용하세요: 순수 RL은 long-horizon loco-manipulation에서 실패하기 쉽습니다. RSI와 같은 demonstration-guided 전략이 필수적입니다.
Hardware alignment에 투자하세요: 특히 high gear ratio가 있는 dexterous hands의 SysID와 camera extrinsics calibration이 중요합니다.
Randomization은 상호 보완적입니다: Material, lighting, camera randomization이 함께 sim-to-real transfer의 핵심 파이프라인을 형성합니다.

8.3 남은 과제

VIRAL은 impressive한 결과를 보여주지만, 논문에서 솔직하게 인정하듯이, 범용 loco-manipulation으로 확장하는 것은 여전히 열린 문제입니다. Physics diversity, task coverage, reward engineering, hardware-simulation gap의 네 가지 근본적인 격차가 남아 있습니다.

가장 유망한 방향은 sim-to-real을 실세계 imitation learning 및 foundation models와 통합하는 것입니다. 시뮬레이션이 실세계 학습을 대체하기보다 보완하는 시너지를 찾는 것이 핵심입니다.

Appendix: 주요 하이퍼파라미터

Teacher Policy (PPO)

Parameter	Value
Number of environments	32,768 (2048×8GPUs×2Nodes)
Discount factor (γ)	0.998
Learning rate	0.00002
Entropy coefficient	0.01
Value loss coefficient	1
Init noise std	0.5
MLP size	[512, 256, 128]

Student Policy (DAgger + BC)

Parameter	Value
Number of environments	65,535 (1024×8GPUs×8Nodes)
Steps per environment	1
Learning rate	0.0002
DAgger-BC ratio (α)	0.5

Domain Randomization Ranges

Parameter	Distribution
Brightness	U(-0.2, 0.2)
Contrast	U(0.8, 1.2)
Camera Position X	U(-0.02, 0.02) m
Camera Position Y	U(-0.02, 0.02) m
Camera Position Z	U(-0.02, 0.02) m
Table Height	U(0.68, 0.81) m
Dome Light Intensity	U(500, 2000)

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

VIRAL: 휴머노이드 로코-매니퓰레이션을 위한 대규모 시각 Sim-to-Real 프레임워크

휴머노이드 로봇에게 보행과 조작을 통합한 장기 행동(로코-매니퓰레이션)을 autonomously 수행하게 하는 것은 오랫동안 난제였습니다. 기존의 휴머노이드 로봇들은 이동과 물체 조작을 긴 시간 동안 연계하는 데에 어려움을 겪었고, 대부분 사람의 원격 조작(teleoperation)이나 제한된 환경에 의존했죠. 이에 대한 핵심 장애 요소로 시각 인식에 기반한 장기 제어 정책의 부재와, 시뮬레이션으로 학습한 정책을 실제 로봇에 옮길 때 발생하는 Sim-to-Real(시뮬레이션-현실 간) 격차가 꼽힙니다.

이번 포스팅에서는 이러한 문제에 도전한 최신 연구 “VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation”를 깊이 있게 살펴보겠습니다. VIRAL은 시뮬레이션에서만 학습한 시각 정책을 단 한 번의 실세계 튜닝 없이 실제 휴머노이드(유니트리 G1)에서 연속적인 로코-매니퓰레이션 작업을 수행하도록 만든 흥미로운 프레임워크입니다. 이 글에서는 VIRAL의 방법론(교사-학생 학습 구조, 시스템 구성, 훈련 절차), 시뮬레이션 환경 및 Sim-to-Real 전이 기법을 상세히 설명하고, 논문에 제시된 주요 그림과 표를 통해 내용을 시각적으로 이해하겠습니다. 또한 글의 후반부에는 비판적 관점에서 본 한계와 개선점도 10% 정도 할애하여 다루겠습니다.

VIRAL 개요: 교사-학생 대규모 학습 프레임워크

VIRAL의 핵심 아이디어는 “교사-학생(Teacher-Student)” 형태의 학습 구조를 취하여 문제를 단계적으로 해결하는 것입니다. 교사(policy)는 시뮬레이션에서 풀-스테이트(full-state) 정보를 특권적으로 활용해 RL(강화학습)로 장기 로코-매니퓰레이션 기술을 먼저 익히고, 학생(policy)은 시각 센서 입력만으로 움직이는 정책을 교사로부터 지금까지 배운 내용을 “증류”(distill)하여 학습합니다. 최종적으로 Sim-to-Real 전이 기법을 통해 학생 정책을 실제 로봇에 이식하게 됩니다. 이 과정을 크게 세 단계로 요약하면 다음과 같습니다:

교사 정책 강화학습 – 시뮬레이션에서 특권 센서정보를 가진 RL 교사 정책을 훈련 (전신 상태, 물체 위치 등 모든 정보 활용)
학생 정책 증류 학습 – 대규모 시뮬레이션에서 RGB 카메라 영상과 실제 로봇과 일치하는 제한된 센서정보만으로 학생 정책을 훈련. 이때 학생은 교사의 행동을 모방(DAgger+BC)
Sim-to-Real 전이 – 시각 도메인 랜덤화와 시뮬레이터-실기계 정합 등을 통해, 학습된 학생 정책을 제로샷(Zero-Shot)으로 실세계 로봇에 적용

요컨대, VIRAL은 “시뮬레이션 속에서 크게 배우고, 현실에 바로 투입”하는 전략을 취하고 있습니다. 아래 그림은 VIRAL 프레임워크의 전체 구조를 한눈에 보여줍니다.

그림 1: VIRAL 프레임워크 파이프라인 개요. 왼쪽부터 시뮬레이션 환경과 카메라 렌더링, 교사 정책(특권 센서사용)과 학생 정책(시각 입력 사용)의 구조를 나타낸 그림입니다. 교사 정책 \pi_{\text{teacher}}는 시뮬레이터의 풀-스테이트 정보를 입력으로 받아 높은 수준의 행동 명령을 출력하고, 이는 전신 제어기(WBC)를 통해 세부 관절 제어로 실현됩니다. 학생 정책 \pi_{\text{student}}는 시뮬레이터에서 렌더링된 RGB 영상과 실제 로봇에서도 얻을 수 있는 제한된 관절/IMU 센서 정보만을 기반으로 행동을 출력하며, 훈련 시 교사 행동을 모방하도록 학습됩니다. 최종적으로 학습된 학생 정책은 실제 로봇(오른쪽의 Unitree G1 휴머노이드)에 투입되어, 카메라로부터 입력을 받아 동작하게 됩니다.

교사 정책 학습: 특권 정보 활용 강화학습 (RL)

VIRAL의 1단계는 교사 정책을 훈련하는 것입니다. 교사 정책은 시뮬레이터 상에서만 동작하며, 로봇과 환경의 모든 상태 정보를 특권적으로 접근할 수 있습니다. 예를 들어 로봇의 관절각/속도, 물체와 테이블의 정확한 위치와 상대변환, 현재 작업단계(stage) 등의 정보를 모두 관측으로 사용합니다. 시각적 처리 없이 내부 상태로 학습하므로, 난이도가 크게 낮아지고 효율적인 RL이 가능합니다.

교사 정책은 PPO 알고리즘으로 학습되며, Whole-Body Controller(WBC)로 알려진 저수준 제어기와 연계됩니다. 즉, 교사 정책이 직접 모든 관절 토크를 내는 것이 아니라, HOMIE라는 사전 설계된 강인한 WBC에게 상위 행동 명령을 내려주는 구조입니다. 이러한 액션 공간(action space)은 특히 “델타(Delta) 액션 스페이스”로 정의되는데, 이는 기존 목표치 대비 변화량을 명령하는 방식입니다. 구체적으로 교사 정책의 액션 \mathbf{a}_t는 로봇 바디의 선속도/각속도 변화 (\Delta \mathbf{v}, \Delta \omega)와 두 팔 및 손가락의 목표 관절각 변화 (\Delta \mathbf{q}_{\text{arm}}, \Delta \mathbf{q}_{\text{finger}})로 구성됩니다. 이렇게 델타 형식의 명령을 사용하면, 절대 관절각을 직접 내는 것보다 학습이 안정되고 빠르게 수렴한다고 합니다. 실제 논문 결과에서도 델타 액션을 쓰지 않고 절대 액션을 쓴 실험에서는 학습이 거의 실패하는 반면, 델타 액션을 쓰면 빠르게 보상과 성공률이 올라갔습니다.

또한 교사 RL의 보상(reward)은 작업 단계를 구분하여 설계되었습니다. 로코-매니퓰레이션의 전체 작업을 (1) 걷기, (2) 물체 놓기, (3) 집기, (4) 회전의 네 단계로 구분하고, 각 단계별로 목표 달성에 대한 보상을 줍니다. 예컨대 “걷기” 단계에서는 로봇과 대상 물체 사이 거리를 좁히는 것에 대한 보상 r_{\text{walk}}을, “집기” 단계에서는 손이 테이블 위 물체를 들어올리는 높이에 따른 보상 r_{\text{grasp-z}} 등을 부여하는 식입니다. 이렇게 단계별 세분화된 보상은 장시간에 걸친 행동 학습을 안정화하는데 기여했습니다.

레퍼런스 상태 초기화 (RSI)도 교사 정책 학습의 성패를 가르는 중요한 요소입니다. 장기간의 행동을 처음부터 끝까지 강화학습으로 익히는 것은 탐색 문제 때문에 매우 어렵습니다. VIRAL에서는 이를 완화하기 위해 텔레조작(전문가 시뮬레이터 조종)으로 수집한 200개의 데모 트레이젝터리에서 일부 상태들을 가져와 에피소드 시작 상태로 활용했습니다. 즉, 가끔은 로봇을 사람이 시연한 중간 상태에 놓고 거기서부터 학습을 이어가도록 하는 것이죠. 이렇게 하면 RL 에이전트가 다양한 유망 상태를 직접 경험할 수 있어, 장기 보상을 받기가 훨씬 수월해집니다. 논문의 분석에 따르면 RSI를 사용했을 때 교사 정책의 최종 성공률이 95%에 달한 반면, RSI 없이는 10% 미만에 그쳐 사실상 실패했다고 합니다. 그만큼 RSI 기법은 장기 과제 학습에 필수적인 것으로 나타났습니다.

그림 2: 교사 정책 학습에서 RSI와 델타 액션 스페이스의 효과. 좌측 그래프는 교사 정책의 학습 과정에서 누적 보상의 향상을, 우측은 작업 성공률의 향상을 보여줍니다. 노란색 곡선은 RSI와 델타 액션을 모두 도입한 완전한 설정, 녹색은 RSI 없이 델타 액션만 사용한 경우, 파랑은 델타 액션 없이 절대 관절 명령을 쓴 경우입니다. 보시다시피 델타 액션을 쓰지 않으면 강화학습이 거의 진행되지 못하고 (보상과 성공률 정체), RSI가 없는 경우에도 성공률이 초기 저조한 수준에서 크게 오르지 못합니다. 반면 RSI+델타 액션 조합을 쓰면 짧은 학습 시간 내에 보상이 크게 상승하고 최종 성공률도 95%까지 도달하는 등 우수한 성능을 보였습니다. 이 결과는 안정적 휴머노이드 학습에 델타 액션과 초기화 전략이 얼마나 중요한지를 잘 보여줍니다.

요약하면, 교사 정책은 특권정보 덕분에 시뮬레이터 안에서 비교적 수월하게 “전문가 수준”의 장기 행동을 익혔습니다. 그리고 여기엔 안정적인 액션 표현(델타)과 효과적인 초기화(RSI)가 핵심 역할을 했습니다. 이제 이렇게 훈련된 교사 정책을 기반으로, 실제 로봇에 적용 가능한 학생 정책을 학습시키는 단계로 넘어가겠습니다.

학생 정책 증류: 시각 기반 정책의 대규모 학습

VIRAL의 2단계는 학생 정책(시각 정책)을 학습하는 것입니다. 학생 정책은 오직 실제 로봇에서 사용할 수 있는 정보만을 이용하도록 제한됩니다. 즉, 로봇의 내장 센서 데이터(관절 각/속도, IMU 등)와 로봇 머리에 달린 RGB 카메라 영상만을 관측으로 받아들입니다. 당연히 교사처럼 물체의 좌표나 로봇-물체 간 거리 등의 은밀한 정보는 활용하지 못하므로, 문제가 훨씬 어렵죠. 대신 학생은 교사 정책의 행동을 모방하면서 학습합니다. 이것이 “정책 증류” 단계로, 교사의 결정적 역할은 바로 여기까지입니다.

학생 정책 학습에는 모방학습(IL) 기법인 DAgger(Dataset Aggregation)와 Behavior Cloning(행동 복제)의 혼합 방식이 사용되었습니다. 초기에는 교사 정책의 시연 데이터를 단순 모방(BC)하고, 이후 학생이 자기 행동으로 경험을 쌓으면서 수시로 교사의 정답을 참조해 오류를 교정(online DAgger)하는 방식입니다. 논문에서는 BC 대 DAgger의 비율을 약 50:50(\alpha=0.5)으로 섞는 것이 가장 안정적이었다고 보고합니다. 순수 Behavior Cloning만 했을 때보다는 DAgger 혼합 시 실제 로봇 배치 시 성공률이 향상되었다고 합니다. 이는 학생이 자기 오류를 스스로 경험하고 수정할 기회를 줌으로써, 배운 정책이 초기 데이터 분포에서 벗어나도 강건함을 유지하게 해주기 때문이죠.

학생 정책의 입력 중 가장 까다로운 부분은 고해상도 RGB 이미지 처리입니다. VIRAL은 이를 위해 최신 비전 백본 신경망인 DINOv3를 활용했습니다. DINOv3는 대규모 데이터로 자기지도 학습(self-supervised)된 강력한 비전 트랜스포머 모델로, 이미지의 유용한 특징 표현을 뽑아줍니다. 이 백본 네트워크가 뽑은 이미지 feature를 로봇의 proprioception 센서값과 결합하여, 학생 정책의 최종 결합 입력으로 사용했습니다. 또한 학생 정책이 시간상의 문맥 정보를 활용할 수 있도록, history-aware architecture(예: RNN이나 시계열 스택)도 시도되었으며 이러한 이력 기반 모델이 단발 관측 모델보다 일관되게 성능이 우수했다고 합니다. 요컨대 “좋은 시각 피처 + 과거 상태 활용”이 학생 정책 학습에도 중요했습니다.

학생 정책 훈련은 엄청난 양의 시뮬레이션 데이터를 요구합니다. 특히 시각 입력이 있다 보니, 시뮬레이터에서 실제와 유사한 영상 렌더링을 대량 생성해야 했습니다. 이를 위해 NVIDIA의 Isaac Sim 기반 플랫폼인 Isaac Lab를 활용, 멀티 GPU 분산 시뮬레이션을 돌렸습니다. 이른바 “tiled rendering” 기법으로, 여러 GPU에 걸쳐 병렬 환경에서 동시다발적으로 화면 렌더링과 물리 시뮬을 수행해 데이터를 수집/학습하는 방식입니다. VIRAL 실험에서는 최대 64개의 GPU까지 투입하여 학생 정책을 학습했습니다. 이렇게 연산을 스케일 업(scale up)하자, 장시간 복잡한 과제도 안정적으로 학습할 수 있었는데요, 논문에서는 “이 정도 대규모로 하지 않으면 오히려 학습이 실패하거나 정책이 불안정했다”라고까지 언급합니다. 이후 별도 섹션에서 더 자세히 다루겠지만, 연산 자원의 스케일이 성능에 미치는 영향이 지대했던 것이 이 연구의 중요한 메시지입니다.

시뮬레이션 환경과 대규모 학습의 역할

시뮬레이션 환경은 VIRAL의 학습에 있어서 사실상의 데이터 공장 역할을 합니다. 현실에서 로봇이 데이터 1회를 수집하려면 사람이 시나리오를 준비하고 로봇이 움직이고 센서로 읽어오는 등 많은 시간과 비용이 들지만, 시뮬레이터에서는 시간을 가속하고 병렬로 복제함으로써 현실 대비 10,000배 속도로 경험을 쌓을 수 있었다고 연구팀은 말합니다. 이처럼 물리 가속과 병렬화를 통해 방대한 트레이닝 데이터를 단기간에 확보하는 것이 VIRAL 성과의 한 축입니다.

또한, 앞서 언급한 GPU 64장 규모의 병렬 학습은 이 연구가 강조하는 바와 같이 “선택이 아닌 필수”였다고 합니다. 구체적인 수치를 살펴보면, 교사 정책은 16 GPU 정도로도 충분히 안정적 학습이 가능했지만 (더 적으면 실패 확률 증가), 학생 정책 증류에는 64 GPU까지 활용하여 겨우 원하는 성능에 도달했다고 합니다. 아래 그림들은 GPU 개수에 따른 학습 속도 및 성능 향상을 보여줍니다.

그림 3: 교사 정책 학습에서의 연산 스케일링 효과. 교사 정책을 1, 2, 4, 8, 16개의 GPU로 병렬 학습시킨 결과를 비교한 그래프입니다. 좌측 그래프는 학습 경과 시간에 따른 누적 보상 곡선을, 우측 그래프는 작업 성공률 곡선을 나타냅니다. 일반적으로 GPU 개수가 많을수록 동일 시간 내 더 빠르게 높은 성과에 도달함을 알 수 있습니다. 예컨대 16 GPU(노란색)는 약 10시간 만에 거의 최대 보상과 90% 이상의 성공률을 달성한 반면, 1 GPU(보라색)는 같은 시간에 현저히 낮은 보상과 약 30% 성공률에 그쳤습니다. 이처럼 병렬도 증가가 학습의 신뢰성과 최종 성능을 크게 끌어올렸으며, GPU 자원이 충분치 않을 경우 교사 RL조차 학습 실패에 가까운 결과를 보이기도 했습니다.

그림 4: 학생 정책 학습에서의 연산 스케일링 효과. 학생 정책 증류에도 GPU 병렬 자원의 크기가 결정적입니다. 위 그래프는 1, 2, 4, 8, 16, 32, 64 GPU로 학습시킨 경우의 성능을 비교합니다. 좌측은 교사-학생 행동 차이를 나타내는 증류 손실(distillation loss)의 감소 추이를, 우측은 결과 정책의 성공률을 시간에 따라 보여줍니다. GPU 개수가 많을수록 손실 감소가 가파르고 안정적이며, 최종 성능(성공률)도 더 높습니다. 특히 GPU 1개로 학습한 경우(보라색)는 손실 감소 폭이 작고 성공률이 ~70% 수준에 머무는 반면, 64개 사용한 경우(노란색)는 손실이 빠르게 줄고 성공률도 ~85% 이상으로 향상되었습니다. 연구진은 이러한 실험을 통해 “대규모 시뮬레이션 없이는 장시간 시각 정책 학습이 아예 불가능하거나 매우 불안정하다”는 결론을 얻었고, 스케일 업이 성능을 위한 유일무이한 길임을 강조했습니다.

정리하면, VIRAL 연구는 대규모 시뮬레이션을 통한 학습이 로봇의 복잡한 장기 과제 해결을 가속화하고 가능케 했음을 보여줍니다. 충분한 연산자원이 주어지면 시뮬레이터 상에서 “경험의 폭발적 증가”를 이끌어 낼 수 있고, 이는 곧 정책의 성능 및 일반화 향상으로 이어집니다. 물론, 이렇게 큰 규모의 실험을 수행하려면 상당한 기술 인프라와 비용이 필요하다는 현실적인 제약도 있습니다. 이는 후술할 한계점에서도 논의하겠습니다.

Sim-to-Real 전이 기법: 시각 도메인 랜덤화와 실제-시뮬레이터 정합

이제 시뮬레이션에서 잘 학습된 학생 시각 정책을 실제 로봇에 옮기는 단계, 즉 Sim-to-Real 전이의 과제로 넘어갑니다. 시뮬레이션과 현실의 차이로 인해 발생하는 성능 저하를 흔히 “리얼리티 갭(reality gap)”이라고 부르는데, VIRAL에서는 이를 줄이기 위해 두 갈래 접근을 취했습니다: (a) 시각적 도메인 랜덤화로 학생 정책을 튼튼하게 만들기, (b) 시뮬레이터 자체를 현실에 가깝게 손보기.

시각 도메인 랜덤화(Visual Domain Randomization)는 최근 Sim-to-Real 연구에서 널리 쓰이는 기법으로, 훈련 시 시뮬레이터의 렌더링 스타일을 무작위로 다양화하여 에이전트가 일반화된 시각 인식 능력을 갖추게 합니다. VIRAL에서는 매우 폭넓은 랜덤화를 도입했는데, 조명, 재질, 카메라, 영상 효과 등 다방면에 걸쳤습니다. 구체적으로 살펴보면:

조명 환경(random lighting): 시뮬레이터의 전역 조명(Dome light)을 다양한 밝기, 색온도, 그림자 패턴 등으로 무작위 변경
재질 속성(random materials): 바닥, 테이블, 물체의 색상, 질감, 반사특성 등을 임의로 바꿈 (예: 테이블보 색상이나 패턴을 매 에피소드 다르게)
카메라 외부/내부 파라미터(random camera): 카메라의 위치/방향(Extrinsics)을 약간씩 흔들고, 화각 등 내부 파라미터(Intrinsics)도 제조사 스펙 내에서 변동시킴. 또한 카메라 지연(latency)도 랜덤 지연을 주어 시뮬레이션이 완벽한 실시간 동기화가 아니어도 강인하게 대응하도록 함
이미지 품질(random image effects): 밝기(brightness), 대비(contrast), 채도(saturation), 색조(hue)를 변화시키고, 영상에 가우시안 노이즈나 블러 등을 임의로 추가

그림 5: 학생 정책 훈련 시 적용된 시각 도메인 랜덤화 예시. 여러 가지 무작위 시각 변환을 통해, 학생 네트워크가 다양한 환경 변화에도 견딜 수 있게 훈련합니다. (위부터) 전역 조명을 바꿔 실내/실외 혹은 밝기 변화를 주고, 이미지 색감과 화질을 흔들며, 재질 속성도 변경합니다. 오른쪽 예시에서는 카메라 시점 변동도 볼 수 있는데, 이는 카메라 extrinsics 랜덤화로서 실제와 약간 다른 각도/위치로 렌더링하여도 정책이 일관되게 동작하도록 만든 것입니다. 이렇게 다양한 랜덤화를 동시에 실시하면, 훈련된 정책은 현실에서 마주칠 수 있는 예기치 못한 시각 차이들(예: 조명이 어둡거나, 카메라에 잡음이 낀 경우 등)에 대해서도 민감하지 않게 됩니다. 실제 분석에서도 시각 랜덤화 요소들을 모두 끄면 성능이 35.1%p나 떨어졌다고 하니, 그 효과가 매우 크다고 볼 수 있습니다.

다음으로 Sim-to-Real의 두 번째 축은, 시뮬레이션 자체를 현실과 비슷하게 만들어 격차를 좁히는 노력입니다. 아무리 정책이 강건해도, 시뮬레이터와 실제 로봇 사이에 근본적 모델 차이가 너무 크면 결국 성능 한계가 있기 때문입니다. VIRAL에서는 특히 로봇 손과 카메라에 초점을 맞춰 시스템 식별(System ID)과 보정(calibration)을 수행했습니다.

손가락 시스템 식별: Unitree G1 휴머노이드의 손은 3손가락 덱스터러스 핸드인데, 시뮬레이터상 이 손의 움직임과 실제 손의 움직임이 다르면 물체를 쥐는 행동에 큰 영향이 있습니다. 연구진은 손가락 관절의 모터 모형 파라미터(예: 모터 암추어, 스프링 강성, 감쇠 계수 등)를 실제 측정 데이터에 맞추어 튜닝했습니다. 즉, 로봇 손에 대한 정밀 시스템 동정을 통해 시뮬레이터의 손이 가능하면 실제와 동작 특성이 같게 만들었습니다. 이러한 SysID 적용 전후로 손 동작의 일치도가 크게 향상되었다고 합니다 (가령, SysID 전에는 시뮬레이터에서는 잘 잡던 물체를 실제에선 놓치는 문제가 있었는데 튜닝 후 해결되는 식으로, “천지차이”라고 표현되기도 했습니다).
카메라 FOV 정합 및 캘리브레이션: 로봇 머리의 RGB-D 카메라(Intel RealSense D435i)의 내부 파라미터(초점, 화각 등)를 제조사 제공값으로 시뮬레이터에 설정하고, 외부 위치/각도는 실제 장착된 카메라가 보는 화각과 시뮬레이션 렌더링 화각이 일치하도록 캘리브레이션했습니다. 쉽게 말해, 시뮬레이션 속 카메라가 실제 카메라 “눈”과 최대한 같은 장면을 보도록 맞춘 것이죠. 또한 앞서 랜덤화 부분에서 언급했듯, 훈련 중에는 extrinsics(카메라 위치/각)도 살짝 랜덤 변화를 주어, 캘리브레이션 오차나 흔들림이 있어도 문제없게 만들었습니다.

위의 시각 랜덤화와 실제 정합 작업 덕분에, VIRAL의 최종 학생 정책은 현실 세계로 자연스럽게 전이될 수 있었습니다. 특히 이 연구는 현실 데이터로 미세 조정(fine-tuning)을 전혀 하지 않았음에도 불구하고 성공적인 정책 실행을 보여주었는데요, 이는 대규모 시뮬레이션 학습과 섬세한 Sim-to-Real 기법이 합쳐져 “도메인 간 격차”를 충분히 메웠음을 시사합니다.

실험 결과: 54회 연속 사이클, 전문가 수준 성능 달성

그렇다면 이렇게 학습된 시각 정책을 실제 유니트리 G1 휴머노이드에 투입했을 때 어떤 일이 벌어졌을까요? 논문 결과에 따르면, 단 한 번의 실세계 재학습 없이도 로봇은 연속적인 로코-매니퓰레이션 작업을 안정적으로 수행했습니다. 구체적으로, 로봇은 “걷기-정지-물체 놓기-집기-회전”의 일련의 행동 사이클을 반복하는 실험에서 최대 54회 연속 성공 사이클을 기록했습니다. 총 59회의 반복 중 54번을 완벽히 수행했으니, 성공률 약 91.5%의 매우 높은 안정성을 보인 것입니다.

흥미로운 점은 작업 수행 속도도 사람과 견줄 만했다는 것입니다. 숙련자(논문 저자 등의 휴머노이드 원격 조작 전문가)가 같은 작업을 원격조작으로 수행했을 때 한 사이클 평균 21.4초가 걸렸는데, VIRAL 정책은 평균 20.2초로 약간 더 빨리 작업을 완료했습니다. 비숙련자가 조종하는 것과 비교하면 VIRAL 정책이 압도적으로 우수했다고 하며, 이는 사람 수준 혹은 그 이상의 자동화 성능을 보여준 사례라고 할 수 있습니다.

또한 VIRAL 정책은 일반화 성능에서도 인상적인 결과를 보였습니다. 별도의 실험 세팅 변경 없이도, 다양한 공간적 배치와 시각적 변화에 대응했습니다. 예를 들어, 로봇의 시작 위치를 테이블에 대해 왼쪽/중앙/오른쪽으로 바꿔도, 테이블 위의 트레이(쟁반) 위치를 바깥/안쪽으로 움직여도, 테이블 높이를 66cm에서 81cm 사이 다양한 값으로 바꿔도 로봇은 여전히 물체를 정확히 집어 옮겼습니다. 조명을 환하게 켜거나 깜빡이게 하거나 거의 어둡게 해도, 테이블보 색상을 밝은 파랑/초록/노랑/빨강 등으로 바꿔도, 심지어 테이블의 재질이나 모양을 다른 테이블로 바꿔 놓아도 정책은 성공적으로 동작했습니다. 마지막으로, 훈련에 사용된 물체 외에 새로운 형태의 물체들(예: 물병, 볼링핀, 스프레이 캔, 테니스공 통 등)을 두었을 때도 상당 부분 일반화된 성능을 보였습니다. 이는 VIRAL의 비전 정책이 특정 환경에 과적합되지 않고, 넓은 분포의 상황을 다룰 수 있도록 학습되었음을 증명하는 대목입니다.

물론 모든 변화에 완벽히 대응한 것은 아니어서, 논문에서도 실패 사례를 일부 언급합니다. 예를 들어 시뮬레이터에서는 잡을 수 있었지만 실제로는 미끄러운 재질 때문에 놓친 경우, 손가락이 걸려버린 경우, 특이한 모양의 처음 보는 물체라 실수한 경우 등이 보고되었습니다. 그러나 이러한 실패들은 예외적 사례였으며, 전반적으로 VIRAL의 zero-shot 정책은 현실 환경에서 매우 강인하고 신뢰성 있는 수행을 보였습니다.

지금까지 VIRAL의 방법론과 성능을 살펴보았는데요, 이어서는 이 연구를 조금 비판적인 시각으로 검토해보고, 앞으로의 개선 방향에 대해 논의해보겠습니다.

한계 및 논의: VIRAL의 의의와 향후 도전과제

VIRAL은 “실세계 데이터 0”으로도 휴머노이드 로봇의 장기 스킬을 학습시켜 냈다는 점에서 로봇공학 분야에 큰 인사이트를 주었습니다. 특히 RL+시뮬레이션+대규모 GPU라는 조합으로도 충분히 인간 전문가 수준의 정책을 만들 수 있음을 보여주며, 데이터 부족을 창의적으로 극복한 사례로 평가받고 있습니다. 하지만 동시에, 이 접근이 모든 문제를 해결했다고 보기는 어렵습니다. 논문에서도 한계로 인정한 부분과, 이를 넘어서기 위한 고민들을 정리하면 다음과 같습니다:

물리 특성의 커버리지 한계: 현재 시뮬레이터가 표현할 수 있는 물리 현상에는 한계가 있습니다. VIRAL은 비교적 단단한 물체와 고정된 환경(테이블 위 물체 집기)을 다뤘지만, 만약 유체, 옷감같은 변형체, 모래와 같은 입자재료 등이 등장하면 시뮬레이션으로 정확히 재현하기 어려워집니다. 현실의 물리적 다양성을 모두 시뮬레이션에 담는 것은 엄청난 엔지니어링 노력과 비용이 드는 일입니다. 따라서 이러한 Physical Diversity Gap은 여전히 Sim-to-Real 접근의 커다란 걸림돌입니다.
과제 다양성(Long-tail of Tasks): 이번 실험은 하나의 특정 작업(테이블 위 물체 집었다 옮기기)을 다뤘습니다. 일반적인 가정이나 산업 현장에는 이보다 훨씬 다양한 작업들이 존재합니다. 시뮬레이션으로 그 모든 작업 환경과 시나리오를 사람의 힘으로 설계하려면 상상하기 어려울 정도의 노력이 필요하겠지요. 결국 콘텐츠 제작의 문제가 발생합니다. 인간이 미처 생각지 못한 “미지의 상황”까지 모두 포괄하는 가상 환경을 만드는 것은 현실적으로 불가능에 가깝습니다. 이 점은 Sim-to-Real 한계를 넘어 General-Purpose(범용) 로봇으로 가는 데 숙제로 남습니다.
보상 설계 및 정책 범위: 교사 정책을 훈련할 때도, 개발자들이 손수 보상 함수를 설계했습니다. 이번 과제야 단계가 명확하고 구조화되어 비교적 수월했지만, 만약 로봇이 가정의 모든 가구와 물건을 다루는 수준의 범용성을 원한다면 수천 가지 이상의 보상과 스킬을 일일이 설계해야 할 수도 있습니다. 이는 보상 설계의 병목이며, 자칫하면 설계되지 않은 부분에서 엉뚱한 보상 최적화를 추구해 위험한 행동을 할 가능성도 있습니다. 이런 이유로 오히려 현실 시연 데이터로부터 학습(Imitation Learning)하는 접근이 특정 작업에는 더 현실적일 수 있다는 논의도 있습니다.
하드웨어-시뮬레이터 격차: VIRAL에서도 손가락 SysID, 카메라 보정 등으로 노력했지만, 여전히 현실 하드웨어와 시뮬레이터 간 차이는 남습니다. 예를 들어 시간 지나며 모터 발열로 인한 출력 저하, 기계 마모, 센서 노이즈, 관절 마찰/백래시 등 실제 로봇 고유의 특성은 시간이 흐르며 변동까지 생깁니다. 완벽히 현실과 동일한 시뮬레이터를 만드는 건 불가능하므로, 결국 Sim-to-Real엔 언제나 잔여 오차가 있게 마련입니다. 이로 인해 복잡한 조작일수록 시뮬레이션에서 잘 됐던 것이 현실에선 조금씩 어긋날 위험이 있습니다.

위와 같은 한계들로 인해, VIRAL이 궁극적인 범용 휴머노이드 학습의 완결판은 아닐 것입니다. 대규모 시뮬레이션은 강력하지만, 현실 데이터를 완전히 대체할 수는 없을 것이라는 점도 연구진은 인정하고 있습니다. 오히려 시뮬레이션과 현실 학습의 융합이 향후 방향으로 제시됩니다. 예를 들어, 현실에서 소량의 시연 데이터를 얻어오는 것을 simulation으로 보완하거나, 반대로 시뮬레이션으로 먼저 예비 학습을 한 후 현실에서 파인튜닝을 하는 등 혼합 전략이 필요할 것입니다. 또한 거대 프리트레인 모델(예: 거대 비전-행동 모델)이나 모달리티 간 학습과 결합하여, 시뮬레이터의 역할을 안전성 검증 및 초기 영역 한정 학습 정도로 활용하고, 최종적인 일반화는 현실 세계 데이터와 대규모 모델을 통해 이루어질 수 있습니다.

마지막으로, VIRAL 연구가 보여준 한 가지 분명한 교훈은 “스케일이 답일 때도 있다”는 것입니다. 약 6개월에 걸친 인프라 구축과 수십 대의 GPU를 투입한 대규모 실험 끝에 얻은 성과라는 점에서, 쉽게 따라하기 어려운 부분도 존재합니다. 하지만 로봇 분야에서도 규모의 경제와 데이터 중심 접근이 효과를 발휘함을 보여주었다는 점은 고무적입니다. 향후 시뮬레이션 기술의 발전과 컴퓨팅 자원의 증대로 이러한 연구 방향이 더 많은 곳에서 재현 가능해지고, 나아가 현실 데이터와의 조합으로 진정한 범용 휴머노이드 로봇에 한 걸음 다가갈 수 있기를 기대해봅니다.

참고문헌: 본 글의 내용은 논문 원문과 저자들이 공개한 프로젝트 웹사이트, 그리고 관련 리뷰 자료를 바탕으로 정리되었습니다. VIRAL의 구체적인 알고리즘 구현과 추가 실험 결과에 대한 자세한 내용은 arXiv에 공개된 논문을 통해 확인할 수 있습니다.

Sources:

T. He et al., "VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation," arXiv:2511.15200 (2025)
VIRAL 프로젝트 웹사이트 – Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation
Moonlight Review – VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation (요약 및 해설)