📃Sonic 리뷰

humanoid

whole-body-control

motion-tracking

Supersizing Motion Tracking for Natural Humanoid Whole-Body Control

Published

February 22, 2026

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🤖 SONIC은 대규모 데이터(1억 프레임 이상), 컴퓨팅(9k GPU 시간), 모델 크기(42M 파라미터)를 활용하여 인간형 로봇의 모션 트래킹을 확장함으로써, 자연스럽고 강력한 전신 움직임을 생성하는 범용 제어기를 개발했습니다.
🚀 이 프레임워크는 사용자 명령을 기반으로 하는 실시간 Kinematic Planner와 VR Teleoperation, Human Video, Text, Music, VLA 모델과 같은 다양한 입력 인터페이스를 지원하는 Universal Token Space를 통해 광범위한 실제 응용을 가능하게 합니다.
✨ SONIC은 이전에 본 적 없는 모션에 대한 뛰어난 Generalization과 Unitree G1 로봇에서의 Robust한 Sim-to-Real Deployability를 보여주며, GR00T N1.5 VLA 모델과의 성공적인 통합으로 Foundation Model 기반 로봇 제어의 실용적인 기반을 마련했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 연구는 자연스러운 휴머노이드(humanoid) 전신 제어를 위한 동작 추적(motion tracking)의 규모 확장(supersizing)에 중점을 둔 SONIC(Supersizing mOtion tracking for Natural humanoId Control) 프레임워크를 제시한다. 기존 휴머노이드 제어 방식이 수동적인 보상 설계(reward engineering)와 제한적인 행동에 머무는 반면, 이 연구는 모델 용량, 데이터 양, 컴퓨트(compute)를 확장함으로써 다양한 행동을 처리할 수 있는 일반화된(generalist) 휴머노이드 컨트롤러를 개발한다.

1. 도입 및 동기 (Introduction & Motivation)

최근 수십억 개의 파라미터를 가진 파운데이션 모델(foundation models)이 대규모 데이터와 컴퓨트 자원으로 전례 없는 성능을 보여주었지만, 휴머노이드 제어 분야에서는 유사한 규모 확장이 이루어지지 않았다. 이는 주로 태스크 선택의 문제와 각 태스크에 대한 수동적인 보상 설계에 기인한다. 본 연구는 이 문제를 해결하기 위해 동작 추적을 휴머노이드 제어의 확장 가능한(scalable) foundational task로 제안한다. 동작 추적은 모션 캡처(motion capture) 데이터로부터 조밀한 프레임별 지도 학습(dense, frame-by-frame supervision)을 제공하므로 수동적인 보상 설계가 필요 없으며, 이는 규모 확장에 유리하다.

2. SONIC 프레임워크 개요 (SONIC Framework Overview)

SONIC은 유니트리 G1 휴머노이드(Unitree G1 humanoid) 로봇을 사용하여 다음과 같은 핵심 기능을 구현한다:

규모 확장된 동작 추적 (Supersized Motion Tracking): 1억 프레임 이상의 모션 데이터와 9,000 GPU 시간(최대 128 GPU)을 사용하여 범용적인(universal) 추적 능력을 달성한다.
실시간 키네마틱 모션 플래너 (Real-time Kinematic Motion Planner): 사용자 의도를 단기 모션 레퍼런스(short-horizon reference motions)로 변환하여 자연스럽고 인터랙티브한 제어를 가능하게 한다.
통합 토큰 공간 (Unified Token Space): VR 텔레오퍼레이션(teleoperation) 기기, 인간 비디오, VLA(Vision-Language-Action) 모델 등 다양한 모션 입력 인터페이스를 동일한 정책(policy)으로 지원한다.

3. 핵심 방법론 - 범용 휴머노이드 모션 추적 (Core Methodology - Universal Humanoid Motion Tracking)

3.1. 모션 추적 정형화 (Motion Tracking Formulation)

휴머노이드 모션 추적은 마르코프 의사 결정 프로세스(Markov Decision Process, MDP) \mathcal{M} = \langle\mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma\rangle로 정형화되며, PPO(Proximal Policy Optimization) 알고리즘으로 정책을 학습시킨다.

상태 (States): 로봇의 고유수용성 감각(proprioceptive sensing) s_p^t (관절 위치 q_t, 관절 속도 \dot{q}_t, 루트(root) 각속도 \omega_t, 중력 벡터 g_t, 이전 행동 a_{t-1})와 모션 명령어(motion command) s_g^t로 구성된다. 모션 명령어는 로봇 모션 g_r, 인간 모션 g_h, 또는 하이브리드(hybrid) 모션 g_m (상체 키포인트(keypoints)와 하체 로봇 모션 결합)의 세 가지 유형이 있다. 모든 상태 값은 로봇의 로컬 헤딩 프레임(local heading frame)에서 6D rotation representation (Zhou et al., 2019)을 사용하여 표현된다.
행동 (Actions): 정책 \pi는 각 관절의 PD(Proportional-Derivative) 컨트롤러에 의해 추적되는 목표 관절 위치(target joint positions) a_t를 출력한다.
보상 (Rewards): 보상은 추적 보상(tracking reward)과 페널티(penalty) 항을 결합한 r_t = \mathcal{R}(s_p^t, s_g^t) + \mathcal{P}(s_p^t, a_t)로 정의된다. 추적 보상 \mathcal{R}은 로봇의 상태와 목표 모션 간의 루트 위치, 루트 방향, 신체 링크(body link) 위치 및 방향, 선형 및 각속도 오차를 최소화한다. 페널티 \mathcal{P}는 급작스러운 행동 변화, 관절 제한 위반, 원치 않는 접촉을 방지한다.
도메인 무작위화 (Domain Randomization): 견고성과 일반화 능력을 향상시키기 위해 훈련 중에 물리적 파라미터(마찰 계수, 복원 계수, 기본 관절 위치, 베이스 COM 오프셋), 루트 속도 교란(external pushes), 목표 모션 교란(target motion perturbations) 등을 무작위화한다.

3.2. 범용 제어 정책 (Universal Control Policy)

SONIC의 핵심은 다양한 신체(embodiments)의 모션 명령을 수용할 수 있는 통합 인코더-디코더(encoder-decoder) 아키텍처이다. 이는 인간 및 로봇 신체로부터의 이질적인(heterogeneous) 입력을 공유된 잠재 표현(shared latent representation)으로 처리하는 특수 인코더를 통해 이루어진다. 이 잠재 표현은 양자화(quantization)되어 범용 토큰(universal token)이 되며, 이 토큰이 공통 로봇 제어 디코더(common robot control decoder)를 구동하여 모터 명령을 생성한다.

인코더 (Encoders): 세 가지 특수 인코더가 존재한다.
1. 로봇 모션 인코더 (Robot Motion Encoder) \mathcal{E}_r: 로봇 관절 위치와 속도를 미래 \Delta t_r 간격으로 F_r 프레임 동안 인코딩한다.
2. 인간 모션 인코더 (Human Motion Encoder) \mathcal{E}_h: 3D 인간 관절 위치를 미래 \Delta t_h 간격으로 F_h 프레임 동안 인코딩한다.
3. 하이브리드 모션 인코더 (Hybrid Motion Encoder) \mathcal{E}_m: 현재 프레임의 희소한 상체 키포인트(머리, 손)와 미래 \Delta t_m 간격으로 F_m 프레임 동안의 하체 로봇 모션을 결합하여 인코딩한다. 모든 인코더는 MLP(Multi-Layer Perceptrons)로 구현되며, 다중 프레임 입력은 예측 행동과 정책의 견고성을 향상시킨다.
양자화기 (Quantizer): 인코딩된 잠재 표현은 FSQ(Finite Scalar Quantization) (Mentzer et al., 2023)를 사용하여 D_z 차원의 Lz 양자화 레벨을 가진 범용 토큰 z로 양자화된다.
디코더 (Decoders):
1. 로봇 제어 디코더 (Robot Control Decoder) \mathcal{D}_c: 범용 토큰을 로봇의 관절을 제어하는 모터 명령으로 변환한다.
2. 로봇 모션 디코더 (Robot Motion Decoder) \mathcal{D}_r: 로봇 모션 명령을 재구성하여 잠재 공간을 개선하고 특징 학습(feature learning)을 돕는 보조 지도(auxiliary supervision)를 제공한다.
훈련 (Training): 훈련은 동기화된 모션 데이터를 사용하여 진행되며, 각 모션 유형(g_r, g_h, g_m)은 해당 인코더를 통해 인코딩되고 양자화되어 범용 토큰 z_r, z_h, z_m을 생성한다. 전체 손실 함수는 다음과 같다: \mathcal{L} = \mathcal{L}_{\text{ppo}} + \mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{token}} + \mathcal{L}_{\text{cycle}}
- \mathcal{L}_{\text{ppo}}: 표준 PPO 손실.
- \mathcal{L}_{\text{recon}} = \|\mathcal{D}_r(z_r) - g_r\|^2 + \|\mathcal{D}_r(z_h) - g_r\|^2 + \|\mathcal{D}_r(z_m) - g_r\|^2: 다양한 입력 모달리티(modality)에 대한 로봇 모션 명령 재구성 손실. 특히 g_h가 입력일 때는 인간 모션에서 로봇 모션으로의 리타겟팅(retargeting) 파이프라인 역할을 하며, 크로스-엔바디먼트(cross-embodiment) 전이를 가능하게 한다.
- \mathcal{L}_{\text{token}} = \|z_r - z_h\|^2: 로봇 토큰 z_r과 인간 모션 토큰 z_h 간의 불일치를 측정하여, 인코더 네트워크가 신체 간 정렬된 표현을 생성하도록 장려한다.
- \mathcal{L}_{\text{cycle}} = \|\mathcal{E}_r(\mathcal{D}_r(z_h)) - z_r\|^2: 원본 로봇 토큰 z_r과 인간 토큰으로부터 재구성된 로봇 모션을 다시 인코딩한 토큰 간의 cycle consistency 손실. 적응형 모션 샘플링(adaptive motion sampling)과 분산 훈련(distributed training)이 사용된다.

3.3. 생성 키네마틱 모션 플래너 (Generative Kinematic Motion Planner)

이 플래너는 동작 추적 정책과 동일한 대규모 자연 전신 모션 데이터로 훈련된 대규모 잠재 생성 모델(large-scale latent generative model)이다. 동작 세그먼트를 0.8초에서 2.4초 사이로 생성하며, 5ms(노트북) 또는 12ms(Jetson Orin GPU) 미만의 추론 시간(inference time)을 보인다.

모션 표현 (Motion Representation): 훈련 중에는 펠비스(pelvis)를 기준으로 한 관절 위치와 전역(global) 관절 회전을 사용하여 키네마틱 모션을 표현한다.
잠재 공간에서의 생성 신경망 백본 (Generative Neural Backbone in Latent Space): 계획은 잠재 공간에서 수행되며, 연속적인 모션은 다음과 같은 잠재 토큰 시퀀스로 인코딩된다: \{z_t\}^{T/4}_{t=1} = \text{enc}\{p_t, r_t\}^T_{t=1} 여기서 p_t는 포즈 구성, r_t는 t 시점의 루트 위치이다. 트랜스포머(Transformer) 또는 Conv1D 네트워크가 시간적 일관성(temporal consistency)을 포착한다. 인비트위닝(in-betweening) 과정은 시작 및 목표 키프레임(keyframes)에 의해 안내되며, 마스크된 토큰 예측(masked token prediction) 접근 방식을 사용한다. h = \mathcal{F}(\{p_t, r_t\}^4_{t=1}, \{p_t, r_t\}^T_{t=T-4}, \{z_t\}^{T/4}_{t=1}) \text{Prob}(z_t) = \sigma(h) 여기서 \mathcal{F}(\cdot)는 신경망 백본을 나타내고 h는 각 토큰 위치의 로짓(logits)이다.
루트 경로 스프링 모델 (Root Trajectory Spring Model): 사용자 명령으로부터 키프레임의 루트 위치와 헤딩을 생성하기 위해 직관적인 임계 감쇠 스프링 모델(critically damped spring model)을 사용한다: x(t) = x_T - x_0 + v_0 + \frac{c}{2} (x_T - x_0) t e^{-\frac{c}{2}t} 이는 펠비스의 x축 및 y축 위치와 펠비스의 투영된 헤딩 각도에 적용된다.
키프레임 모듈 및 응용 통합 (Keyframe Module and Application Integration): 탐색 제어(navigation control)에서는 목표 루트 경로에 원하는 스타일의 클립에서 무작위로 선택된 세그먼트를 배치하여 키프레임을 생성한다. 복싱과 같은 엔터테인먼트 태스크에서는 가장 표현적인 세그먼트가 목표 키프레임으로 사용된다. 스쿼팅(squatting)이나 무릎 꿇기(kneeling)와 같은 조작 태스크에서는 모션 클립 라이브러리에서 실시간으로 키프레임을 가져온다.

3.4. 멀티모달 모션 생성 모델 (Multi-modal Motion Generation Model)

GENMO (Li et al., 2025)를 채택하여 하나의 프레임워크 내에서 멀티모달 컨디셔닝(multi-modal conditioning)을 지원한다. 핵심 아이디어는 비디오로부터의 추정(estimation)을 제약된 생성(constrained generation)으로 처리하는 것이다. 즉, 모델은 관찰된 증거(비디오 키포인트)를 충족하는 완전한 모션 경로를 합성하는 동시에, 추상적인 조건(텍스트 또는 오디오)으로부터 다양한 모션을 생성할 수 있다.

컨디셔닝 모달리티 및 시간적 레이아웃 (Conditioning Modalities and Temporal Layout): 텍스트 프롬프트, 오디오 특징, 시각적 관찰 등 혼합되고 시간에 따라 변하는 조건을 수용한다. 각 스트림은 모달리티별 인코더에 의해 인코딩되어 공통 모션 프레임 속도에 맞춰진 특징 시퀀스로 변환된다.
아키텍처 (Architecture): 조건 스트림은 시간적 트랜스포머(temporal transformer)를 사용하여 모션 토큰과 멀티모달 조건 토큰 간의 크로스-어텐션(cross-attention)을 통해 융합된다. 확산 기반 모션 사전(diffusion-based motion prior)이 인간 모션 시퀀스에 작동하며, 가우시안 노이즈(Gaussian noise)를 키네마틱적으로 그럴듯한(kinematically plausible) 경로로 디노이징(denoising)한다.
훈련 목표 (Training Objective): (1) 사용 가능한 모달리티에 조건을 부여하는 표준 확산 손실(diffusion loss)을 사용하는 생성 학습(generative learning)과 (2) 관찰이 존재할 때 재구성 항(reconstruction terms)을 추가하는 추정-유도 학습(estimation-guided learning)이라는 두 가지 상호 보완적인 목표를 혼합한다.
추론 모드 (Inference Modes): 순수 생성(pure generation), 제약된 생성(constrained generation), 하이브리드 제어(hybrid control)를 지원한다. 모든 모드는 동일한 샘플러를 공유하며, 어떤 조건 스트림이 비어 있지 않은지에 따라 달라진다. TensorRT를 사용하여 빠른 추론을 수행한다.
시스템 통합 (Integration with our system): 저지연(low-latency) 모션 생성을 위해 오버랩(overlap)이 있는 슬라이딩 윈도우(sliding windows)를 사용하며, 윈도우 간의 전환을 처리하기 위해 인페인팅(inpainting)을 사용한 확산 디노이징 프로세스를 수정한다.

4. 결과 및 평가 (Results & Evaluation)

모션 추적 (Motion Tracking): SONIC은 1억 프레임의 모션으로 훈련되었으며, GPU 시간, 모델 크기, 데이터셋 크기 등 세 가지 주요 측면에서 규모 확장의 이점을 분석했다 (그림 2). 모든 측면에서 일관된 성능 향상을 보였으며, 특히 모션 데이터셋 크기 증가가 가장 큰 이득을 가져왔다. Any2Track, BeyondMimic, GMT와 같은 최신 추적기들과 비교하여, SONIC은 미지의(unseen) 모션 시퀀스에서 훨씬 높은 성공률과 향상된 추적 정확도를 달성했다. 실세계(real-world) 배포에서도 50가지 다양한 모션 경로에 대해 시뮬레이션 결과와 거의 일치하는 100% 성공률을 보이며 견고성을 입증했다.
인터랙티브 모션 제어 (Interactive Motion Control): SONIC은 내비게이션 제어(0.0m/s ~ 6.0m/s 속도, 0 ~ 360도 방향, 다양한 스타일)와 복싱과 같은 인터랙티브 엔터테인먼트 태스크, 스쿼팅, 무릎 꿇기, 크롤링(crawling)과 같은 동작 기술을 지원한다. 특히, 키네마틱 플래너와 추적 정책이 동일한 대규모 데이터셋으로 훈련되었기 때문에 새로운 응용 프로그램을 위해 재훈련할 필요가 없었다.
비디오 텔레오퍼레이션 및 멀티모달 크로스-엔바디먼트 제어 (Video Teleoperation and Multi-Modal Cross-Embodiment Control): SONIC은 GENMO를 기반으로 비디오, 자연어 텍스트, 음악 오디오로부터 인간 모션을 생성하고 로봇이 이를 모방할 수 있도록 한다. 텍스트 프롬프트(“walk forward”, “act like a monkey”)와 음악 조건부(music-conditioned) 댄스 동작을 포함하며, 모달리티 간의 끊김 없는 전환을 지원한다.
VR 기반 텔레오퍼레이션 및 파운데이션 모델 연결 (VR-Based Teleoperation and Connecting to Foundation Models):
1. PICO 기반 전신 VR 텔레오퍼레이션으로 전체 포즈 제어를, (2) 3포인트 VR 텔레오퍼레이션으로 효율적인 데이터 수집을, (3) VLA 모델 구동 모바일 매니퓰레이션(mobile manipulation)을 시연한다. 특히, GR00T N1.5 VLA 모델을 3포인트 텔레오퍼레이션 데이터로 미세 조정하여 사과를 접시로 옮기는 태스크에서 95%의 성공률을 달성했으며, SONIC이 VLA의 고수준 추론(System 2)을 보완하는 반응형 전신 컨트롤러(System 1) 역할을 할 수 있음을 보여주었다.

5. Deployment

모든 인퍼런스(inference) 및 관리 스택은 유니트리 G1 플랫폼의 온보드(onboard) CPU/GPU에서 실행되어 피드백 지연 시간을 최소화한다. 정책 루프는 50Hz로, 사용자 입력은 100Hz로, 키네마틱 모션 플래너는 10Hz로 작동한다. Jetson Orin GPU에서 TensorRT와 CUDA Graph 가속을 사용하여 1-2ms(정책) 또는 12ms(모션 생성)의 낮은 지연 시간을 달성한다.

6. Discussion & Limitations

본 연구는 동작 추적을 휴머노이드 제어를 위한 핵심 확장 가능 태스크로 설정하고, 대규모 데이터와 컴퓨트 자원을 활용하여 자연스럽고 견고한 전신 행동을 생성하는 단일 정책을 훈련했다. 이는 기존 추적기들을 능가하는 성능과 범용성을 보여주며, 실용적인 시스템으로의 발전을 시사한다. 한계점으로는 안전, 규정 준수, 에너지 효율성, 노이즈 입력 처리에 대한 공식적인 접근이 부족하다는 점이 언급되었다. 향후 연구에서는 더 다양한 데이터셋에 걸친 스케일링 법칙, VLA 지시 전신 로코매니퓰레이션(loco-manipulation) 태스크, 그리고 플래너, 토크나이저(tokenizer), 정책의 공동 훈련을 탐구할 예정이다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

TL;DR — 한눈에 보는 핵심

“휴머노이드 제어에도 스케일링 법칙이 작동한다.”

NVIDIA Research 팀이 발표한 SONIC은 1억 프레임 이상의 모션캡처 데이터, 42M 파라미터 정책 네트워크, 그리고 128 GPU × 3일(약 9,000~32,000 GPU-hours) 의 대규모 학습을 통해 단일 정책(single unified policy)으로 걷기·달리기·춤·기어가기·점프·텔레오퍼레이션까지 커버하는 범용 휴머노이드 전신 제어기를 구현했다. 모션 트래킹이라는 단일 과제를 스케일업함으로써 수작업 보상 설계(reward engineering) 없이 인간 수준의 자연스러운 동작을 학습할 수 있음을 보여준다.

1. 서론: 왜 휴머노이드 제어는 스케일업에 실패했는가?

1.1 AI 스케일링 혁명의 “사각지대”

지난 10년간 AI는 놀라운 스케일링의 시대를 맞이했다. GPT 계열 모델은 수조 개의 토큰으로 수만 대의 GPU 위에서 학습되고, 이미지·비디오 생성 모델도 수천 대의 GPU로 수십억 장의 이미지를 처리한다. 그런데 휴머노이드 로봇 제어 분야는 어떤가?

현실은 좀 다르다. 최첨단 휴머노이드 제어 정책(policy)은 대부분 3층짜리 MLP에 수백만 파라미터, GPU 한 장에서 며칠 학습하는 수준에 머물러 있다. 걷기 따로, 춤추기 따로, 텔레오퍼레이션 따로 — 하나의 행동마다 별도의 보상 함수를 설계하고, 별도의 정책을 학습해야 한다.

이 상황을 비유하자면, 언어 모델의 세계에서 “영어 번역 모델”, “프랑스어 번역 모델”, “요약 모델”을 전부 따로 만드는 것과 같다. GPT가 하나의 모델로 이 모든 것을 해결했듯이, 휴머노이드 제어도 하나의 모델이 다양한 행동을 모두 수행할 수 있어야 하지 않을까?

1.2 왜 스케일링이 안 됐을까? — 과제 선택의 문제

SONIC 저자들의 진단은 명쾌하다: 문제는 “과제 선택(task selection)”에 있다.

걷기를 위한 보상 함수는 춤에 대한 신호를 주지 못한다. 일어서기를 위한 보상은 텔레오퍼레이션에 쓸모가 없다. 각각의 새로운 능력에는 새롭게 설계된 보상과 목표가 필요하니, 스케일업 자체가 구조적으로 불가능했던 것이다. 보상을 너무 오래 학습하면 오히려 성능이 나빠지는(reward hacking) 현상까지 관찰되었다.

1.3 해법: 모션 트래킹을 “범용 과제”로

그렇다면 보상 설계 없이도 다양한 행동을 학습할 수 있는 단일 과제가 있을까?

SONIC의 답은 바로 모션 트래킹(motion tracking) 이다.

모션 트래킹의 장점은 아주 직관적이다:

밀집 감독 신호(dense supervision): 모션캡처 데이터의 매 프레임이 곧 학습 목표다. “이 자세로 이 위치에 있어라”라는 명확한 신호가 프레임마다 주어진다.
풍부한 기존 데이터: 걷기, 달리기, 춤, 스포츠, 물체 상호작용 등을 포함하는 방대한 모션캡처 데이터셋이 이미 수십 년간 축적되어 있다(AMASS, LaFAN 등).
보상 설계 불필요: 참조 동작을 따라하는 것 자체가 목표이므로, 행동마다 별도의 보상을 만들 필요가 없다.

이것이 SONIC의 출발점이다. 모션 트래킹이라는 하나의 확장 가능한 과제 위에서, 데이터·모델·연산을 대규모로 키워보자. 그 결과가 어떤지 보자.

2. 방법론: SONIC의 아키텍처와 핵심 설계

SONIC의 시스템은 크게 세 가지 기둥으로 이루어져 있다:

대규모 모션 트래킹 정책 (Supersized Motion Tracker)
범용 토큰 공간 (Universal Token Space)
실시간 키네마틱 모션 플래너 (Kinematic Motion Planner)

각각을 자세히 살펴보자.

2.1 대규모 모션 트래킹 정책

스케일링의 세 축

SONIC은 세 가지 축을 따라 스케일업한다:

스케일링 축	기존 SOTA	SONIC
모델 크기	~1.2M 파라미터	42M 파라미터
데이터 규모	수만~수십만 프레임	1억+ 프레임 (700시간, 50fps)
연산량	GPU 1장 × 수일	128 GPU × 3일 (9k~32k GPU-hours)

기존 연구들이 LaFAN(약 40만 프레임) 수준의 데이터셋에서 소규모 MLP를 학습했다면, SONIC은 자체 수집한 1억 프레임 이상의 고품질 모션 데이터에서 42M 파라미터의 정책을 학습한다. 이건 자릿수 자체가 다른 이야기다.

강화학습 기반 물리 시뮬레이션 학습

SONIC의 트래커는 Isaac Lab 환경에서 PPO(Proximal Policy Optimization) 기반 강화학습으로 학습된다. 에이전트(Unitree G1 휴머노이드 로봇)는 매 타임스텝마다 참조 모션의 다음 자세를 받아, 관절 위치 명령(target joint positions)을 출력하고, PD 제어기를 통해 토크가 생성된다.

이를 의사코드로 표현하면:

# SONIC 모션 트래킹 RL 학습 루프 (개념적)
for epoch in training:
    for env in parallel_envs(128 GPUs):
        # 1. 참조 모션에서 현재 프레임 타겟 가져오기
        ref_pose = motion_dataset.sample_frame(env.time)

        # 2. 현재 로봇 상태 관측
        obs = env.get_observation()  # 관절 위치, 속도, IMU 등

        # 3. 모션 명령을 범용 토큰으로 인코딩
        token = encoder(ref_pose, obs)
        z = FSQ_quantize(token)

        # 4. 디코더로 관절 명령 생성
        joint_targets = control_decoder(z, obs)

        # 5. PD 제어기로 토크 계산 및 시뮬레이션 스텝
        torques = PD_controller(joint_targets, current_joints)
        env.step(torques)

        # 6. 보상 계산 (모션 추종 + 물리 페널티)
        reward = compute_reward(env.state, ref_pose)

    # 7. PPO 업데이트
    policy.update(observations, actions, rewards)

보상 설계

보상 함수는 BeyondMimic의 설계를 따르며, 모션 추종의 여러 측면을 포괄한다:

r_{\text{total}} = \sum_i w_i \cdot r_i

각 보상 항목은 다음과 같다:

보상 항목	추적 대상	설명
r_{\text{body\_pos}}	관절 위치 (root 기준 상대)	각 링크의 3D 위치 오차
r_{\text{body\_rot}}	관절 방향 (6D 회전)	각 링크의 회전 오차
r_{\text{body\_lin\_vel}}	링크 선속도	물리적 자연스러움
r_{\text{body\_ang\_vel}}	링크 각속도	동적 정합성
패널티 항목들	관절 한계 위반, 불필요한 접촉, 급격한 변화	안전하고 부드러운 동작 유도

핵심 설계 디테일로, 6D 회전 표현(Zhou et al., 2019)을 사용한다. 기존의 오일러 각이나 쿼터니언이 가지는 불연속성이나 이중 커버(double cover) 문제를 피하고, 신경망 학습에 더 친화적인 연속 표현을 채택한 것이다. 이는 요즘 물리 기반 캐릭터 제어 분야에서 사실상 표준처럼 자리잡은 관행이기도 하다.

도메인 랜덤화 (Domain Randomization)

Sim-to-real 전이를 위해 학습 중 다양한 물리 파라미터를 랜덤화한다:

랜덤화 대상	세부 사항
마찰 계수	바닥 마찰의 균일 분포 변동
질량/관성	로봇 링크 질량의 불확실성 모델링
외부 교란	루트에 랜덤 선형·각속도 섭동 인가 (외부 밀침 시뮬레이션)
모션 섭동	참조 모션 명령 자체에 노이즈 추가

이러한 랜덤화가 실제 Unitree G1 로봇에서의 제로샷 전이(zero-shot transfer)를 가능하게 만든 핵심 요소다. “시뮬레이션에서 충분히 다양한 세계를 경험한 정책은, 실제 세계라는 ’또 하나의 변형’에도 적응할 수 있다”는 것이 그 기본 아이디어다.

2.2 범용 토큰 공간 (Universal Token Space)

여기가 SONIC의 가장 영리한 설계라고 할 수 있다.

문제 인식

실제 응용에서 모션 트래커에 들어오는 입력은 천차만별이다:

로봇 모션: 키네마틱 플래너가 생성한 로봇 관절 궤적
인간 모션: VR 장치나 비디오에서 추정된 SMPL 형식의 인체 자세
하이브리드 모션: 상체는 인간(VR 키포인트), 하체는 로봇(플래너 생성)

이 세 가지 전혀 다른 형태의 입력을 하나의 정책이 처리해야 한다. 어떻게?

인코더-양자화기-디코더 구조

SONIC은 다음과 같은 구조를 사용한다:

flowchart LR
    subgraph 입력["다양한 입력 모달리티"]
        A["🤖 로봇 모션<br/>(키네마틱 플래너)"]
        B["🧑 인간 모션<br/>(VR/비디오/SMPL)"]
        C["🔀 하이브리드 모션<br/>(상체 인간 + 하체 로봇)"]
    end

    subgraph 인코더["전용 인코더 (MLP)"]
        EA["로봇 인코더 ℰ_r"]
        EB["인간 인코더 ℰ_h"]
        EC["하이브리드 인코더 ℰ_hyb"]
    end

    subgraph 양자화["FSQ 양자화기"]
        Q["범용 토큰 z"]
    end

    subgraph 디코더["공유 디코더"]
        DC["제어 디코더 𝒟_c<br/>→ 관절 명령"]
        DR["모션 디코더 𝒟_r<br/>→ 로봇 모션 재구성"]
    end

    A --> EA --> Q
    B --> EB --> Q
    C --> EC --> Q
    Q --> DC
    Q --> DR

Figure 1: SONIC의 범용 토큰 공간 아키텍처. 다양한 모달리티의 입력이 전용 인코더를 거쳐 양자화된 범용 토큰으로 변환되고, 동일한 디코더가 로봇 제어 명령을 출력한다.

각 구성 요소를 더 자세히 보면:

전용 인코더: 각 모달리티(로봇/인간/하이브리드)에 맞는 MLP 인코더가 입력을 잠재 표현(latent representation)으로 변환한다. 이때 로봇 상태(proprioception)도 함께 입력으로 들어간다.

FSQ 양자화기: Finite Scalar Quantization(Mentzer et al., 2023)을 사용하여 연속 잠재 벡터를 이산적인 범용 토큰(universal token) \mathbf{z}로 양자화한다. 이 토큰은 차원당 L_z개의 양자화 수준을 가진다. FSQ의 장점은 VQ-VAE의 코드북 붕괴(codebook collapse) 문제 없이 안정적인 이산 표현을 학습할 수 있다는 것이다.

공유 디코더 2종:

제어 디코더 \mathcal{D}_c: 범용 토큰 + 현재 로봇 상태 → 관절 위치 명령 (실제 제어에 사용)
모션 디코더 \mathcal{D}_r: 범용 토큰 → 로봇 모션 명령 재구성 (보조 감독 신호로 잠재 공간 품질 향상)

이 설계의 아름다움은, 입력 인코더만 바꾸면 동일한 정책으로 완전히 다른 인터페이스를 지원할 수 있다는 것이다. VR 텔레오퍼레이션이든, 비디오 기반 모션 추정이든, 텍스트-투-모션이든, 모두 같은 범용 토큰으로 변환되어 같은 디코더를 공유한다.

비유하자면, 범용 토큰 공간은 일종의 “운동 피질의 언어”와 같다. 눈으로 보든, 귀로 듣든, 손으로 느끼든 — 서로 다른 감각 채널의 정보가 결국 운동 피질에서는 하나의 통일된 표현으로 변환되어 근육을 제어하는 것처럼.

교차 신체(Cross-Embodiment) 지원

특히 인간 인코더를 통해 SMPL 형식의 인간 자세를 직접 범용 토큰으로 매핑할 수 있기 때문에, 기존의 리타게팅(retargeting) 과정 없이 인간 모션을 로봇 제어 신호로 변환할 수 있다. 이는 기존 방법들이 인간 → 로봇 관절 매핑이라는 복잡한 중간 단계(예: dex-retargeting, ProtoMotions 등)를 거쳐야 했던 것과 큰 차이점이다.

이는 리타게팅 품질이 정책 성능에 큰 영향을 미친다는 최근 연구(Retargeting Matters, 2025)의 문제를 우회하는 우아한 해법이기도 하다.

2.3 실시간 키네마틱 모션 플래너

모션 트래커가 “참조 동작을 충실히 따라하는 능력”을 제공한다면, 키네마틱 플래너는 “사용자 의도를 참조 동작으로 변환하는 능력” 을 제공한다.

이 구분이 중요하다. 트래커만으로는 “앞으로 걸어가”라는 명령을 처리할 수 없다. 누군가가 구체적인 참조 모션을 제공해야 한다. 플래너가 바로 그 역할을 한다.

작동 방식

플래너는 자기회귀적 인비트위닝(autoregressive in-betweening) 방식으로 동작한다:

사용자 입력(게임패드 조이스틱, 속도·방향 명령)을 받는다
임계 감쇠 스프링(critically damped spring) 모델로 부드러운 루트 위치·방향 궤적을 생성한다
이전 상태(context keyframes)와 목표 상태(target keyframes) 사이를 보간하여 미래 키네마틱 모션을 생성한다
생성된 모션을 범용 토큰 공간을 통해 트래커에 전달한다

flowchart TB
    U["👤 사용자 입력<br/>(게임패드/속도 명령)"] --> S["임계 감쇠 스프링 모델<br/>(루트 궤적 생성)"]
    S --> TF["목표 키프레임 생성"]

    P["이전 상태<br/>(컨텍스트 키프레임)"] --> E["잠재 토큰 인코딩<br/>(다운샘플링 비율: 4)"]
    TF --> E

    E --> M["마스크 토큰 예측<br/>(Transformer / Conv1D)"]
    M --> D["디코딩 → 키네마틱 모션 시퀀스"]
    D --> T["범용 토큰 공간 → 모션 트래커 → 로봇 제어"]

Figure 2: 키네마틱 플래너의 작동 흐름. 사용자 명령이 스프링 모델을 거쳐 목표 키프레임으로 변환되고, 마스크 토큰 예측을 통해 자연스러운 중간 모션이 생성된다.

모션 표현과 잠재 공간 계획

플래너에서 사용하는 모션 표현은 두 가지를 포함한다:

골반 기준 상대 관절 위치 (pelvis-relative joint positions)
글로벌 관절 회전 (global joint rotations)

여기서 중요한 설계 결정이 있다. 로컬(정규화된) 회전 대신 글로벌 회전을 사용한다는 점이다. 이는 쪼그려 앉기(squatting)나 기어가기(crawling)처럼 “정면(heading)”의 정의가 모호한 동작에서 특히 중요하다. 로컬 정규화 방식에서는 이런 자세의 방향 표현이 불안정해지지만, 글로벌 회전은 이 문제를 우회한다.

플래닝은 원시 모션 공간이 아니라 잠재 토큰 공간에서 수행된다. 연속 모션을 인코더가 다운샘플링 비율 4로 압축한 잠재 토큰 시퀀스로 변환하고, Transformer나 Conv1D 백본이 시작 키프레임과 목표 키프레임 사이의 마스크된 토큰을 반복적으로 예측(masked token prediction)하여 채운다.

학습 시에는 모든 초기 방향에서 계획이 가능하도록 학습 샘플을 랜덤 회전시킨다.

지원하는 상호작용 모드

이 플래너 덕분에 다음과 같은 다양한 제어가 가능해진다:

카테고리	구체적 동작
스타일 로코모션	행복하게 걷기, 은밀하게 걷기, 부상당한 걷기, 달리기
자세 변환	쪼그려 앉기, 무릎 꿇기, 손으로 기어가기, 팔꿈치로 기어가기
격투 동작	복싱, 이동하며 복싱
하이브리드 제어	상체 VR 텔레오퍼레이션 + 하체 플래너 자동 생성

2.4 멀티모달 제어와 VLA 연동

SONIC의 범용 토큰 공간은 GENMO라는 멀티모달 모션 생성 모델과 연동된다. GENMO는 텍스트, 오디오, 비디오 등 다양한 입력에 대한 모달리티별 인코더를 갖추고, 시간적 트랜스포머와 교차 어텐션을 통해 정보를 융합한 후, 확산(diffusion) 기반 모션 프라이어로 입력을 운동학적으로 그럴듯한 인간 모션 궤적으로 디노이징한다.

GENMO와 SONIC의 연동은 범용 토큰 공간을 통해 이루어진다. GENMO가 디노이징한 인간 모션을 SONIC의 인간 인코더로 범용 토큰으로 변환하면, 동일한 디코더가 다양한 멀티모달 제어를 실행한다. 슬라이딩 윈도우와 인페인팅 기법으로 실시간 처리를 보장한다.

지원되는 멀티모달 인터페이스

입력 모달리티	경로	응용
비디오	비디오 → GENMO (자세 추정, ≥60fps) → 인간 인코더 → 범용 토큰	비디오 텔레오퍼레이션 (단안 카메라)
텍스트	텍스트 → GENMO (모션 생성) → 인간 인코더 → 범용 토큰	자연어 기반 로봇 제어
음악	음악 → GENMO (안무 생성) → 인간 인코더 → 범용 토큰	음악에 맞춘 댄스
VR (전신)	PICO VR (헤드셋+발목 트래커+컨트롤러) → SMPL 추정 → 인간 인코더 → 범용 토큰	정밀 전신 텔레오퍼레이션
VR (3포인트)	PICO (머리+양손, 발목 트래커 불필요) → 하이브리드 인코더 → 범용 토큰	경량 모바일 매니퓰레이션 텔레오퍼레이션
VLA 모델	GR00T N1.5 → 텔레오퍼레이션 형식 신호 → 플래너 → 범용 토큰	자율 모바일 매니퓰레이션

VR 3포인트 텔레오퍼레이션의 세부

3포인트 모드는 실용적 데이터 수집을 위해 설계되었다. 출력하는 신호는:

3개의 상체 SE(3) 자세 (머리, 왼손목, 오른손목)
손가락 관절 각도
허리 높이
로코모션 모드 (느린 걷기 / 빠른 걷기)
내비게이션 명령 (루트 선속도 + 방향)

이 신호들이 키네마틱 플래너(하체 모션 생성)와 하이브리드 인코더(상체+하체 통합)를 거쳐 범용 정책으로 전달된다.

VLA 연동: System 1 + System 2

특히 인상적인 것은 GR00T N1.5 VLA 모델과의 연동이다. VR 3포인트 텔레오퍼레이션으로 수집한 300개의 궤적 데이터로 GR00T N1.5를 파인튜닝하면, VLA가 상위 수준의 추론(어디에 사과가 있는지, 접시 위에 올려놓아야 하는지)을 수행하고, SONIC이 하위 수준의 반응적 전신 제어를 수행한다.

이를 저자들은 인지과학의 용어를 빌려 설명한다:

SONIC = System 1 (빠르고 반응적인 운동 기술 — 수백 Hz 수준의 제어 주기)
VLA = System 2 (느리지만 숙고적인 추론 — 수 Hz 수준)

이 조합으로 사과-접시 모바일 pick-and-place 과제에서 20회 시도 중 95% 성공률을 달성했다.

3. 전체 시스템 파이프라인

SONIC의 전체 아키텍처를 종합하면 다음과 같다:

flowchart TB
    subgraph 상위["상위 레벨 인터페이스"]
        GP["🎮 게임패드"]
        VR3["🥽 VR 3-포인트"]
        VRF["🥽 VR 전신"]
        VID["📹 비디오"]
        TXT["📝 텍스트"]
        MUS["🎵 음악"]
        VLA["🧠 VLA<br/>(GR00T N1.5)"]
    end

    subgraph 중간["모션 생성 / 변환"]
        KP["키네마틱<br/>플래너"]
        GM["GENMO<br/>(멀티모달 모션 생성)"]
        PICO["PICO VR<br/>(SMPL 추정)"]
    end

    subgraph 핵심["SONIC 핵심"]
        direction TB
        ENC["전용 인코더<br/>(로봇/인간/하이브리드)"]
        UT["범용 토큰 z<br/>(FSQ 양자화)"]
        DEC["공유 디코더<br/>(제어 + 모션 재구성)"]
    end

    subgraph 실행["로봇 실행"]
        PD["PD 제어기"]
        G1["Unitree G1<br/>(Jetson Orin)"]
    end

    GP --> KP --> ENC
    VR3 --> KP
    VR3 --> ENC
    VRF --> PICO --> ENC
    VID --> GM --> ENC
    TXT --> GM
    MUS --> GM
    VLA --> KP

    ENC --> UT --> DEC --> PD --> G1

Figure 3: SONIC 전체 시스템 파이프라인. 다양한 입력 인터페이스가 범용 토큰 공간을 통해 단일 제어 정책으로 통합된다.

온보드 배포 성능

전체 시스템은 Unitree G1 휴머노이드 로봇의 Jetson Orin GPU에서 온보드로 실행된다:

구성 요소	지연 시간
정책 추론 (TensorRT + CUDA Graph)	1~2 ms
키네마틱 플래닝	12 ms
VR 텔레오퍼레이션 전체 파이프라인 평균 지연	121.9 ms
오른쪽 손목 위치 오차 (허리 프레임 기준)	실용적 수준

이 수준의 레이턴시면 실시간 반응적 제어에 충분하다. 특히 정책 추론 1~2ms는 500Hz 이상의 제어 루프가 가능하다는 뜻이다.

4. 실험 결과와 분석

4.1 스케일링의 효과

SONIC 논문에서 가장 인상적인 결과 중 하나는 세 축 모두에서 성능이 지속적으로 향상된다는 발견이다 (논문 Figure 2(a-c)).

데이터 규모의 효과

데이터셋	프레임 수	MPJPE 경향
LaFAN	0.4M	높은 오차
In-house (부분)	7.4M	중간 오차
Full dataset	100M	가장 낮은 오차

데이터 규모 증가가 가장 큰 성능 향상을 가져왔다. 이는 직관적으로도 이해가 된다 — 다양한 인간 동작의 “사전 지식(motion prior)”을 더 풍부하게 학습할수록, 보지 못한 동작에 대한 일반화 능력이 좋아진다. 언어 모델에서 “더 많은 텍스트를 학습할수록 더 좋은 언어 이해”가 되는 것과 같은 원리다.

GPU 시간의 효과

8 GPU, 32 GPU, 128 GPU로 각각 수렴까지 학습한 결과, 더 많은 GPU에서 병렬 학습한 경우가 더 낮은 점근 성능(asymptotic performance) 을 달성했다. 이 결과는 단순히 학습 시간 단축이 아니다. 동일한 수렴 시간을 주더라도, 128 GPU가 8 GPU보다 더 나은 최종 성능에 도달한다.

이는 대규모 배치 사이즈가 RL 학습의 안정성과 탐색 품질에 긍정적 영향을 미친다는 것을 시사한다. PPO의 가치 함수 추정이 더 정확해지고, 정책 그래디언트의 분산이 줄어들면서, 결과적으로 더 좋은 로컬 미니마에 수렴하는 것으로 해석할 수 있다.

모델 크기의 효과

1.2M에서 42M 파라미터로 네트워크를 키우면 성능이 향상된다. 기존 휴머노이드 제어에서는 MLP를 너무 크게 키우면 학습이 불안정해지는 경향이 있었는데(BFM-Zero 논문에서도 residual architecture가 아닌 순수 MLP의 대형화가 불안정하다고 보고), SONIC은 충분한 데이터와 연산을 동시에 투입함으로써 이 한계를 넘어선 것으로 보인다.

4.2 기존 방법과의 비교

SONIC은 AMASS 데이터셋의 미사용 서브셋(9시간, 1,602개 궤적 — TWIST에서 사용된 것과 동일)에서 평가를 수행했다. SONIC은 AMASS 데이터로 학습하지 않았으므로, 이는 완전한 분포 외(out-of-distribution) 평가다. 테스트셋 규모 자체가 기존 연구의 학습 데이터셋과 비슷한 수준이라는 점도 주목할 만하다.

공정한 비교를 위해 모든 평가는 MuJoCo 환경에서 수행되었다 (모든 베이스라인이 지원하는 시뮬레이터).

성공률 비교 (논문 Figure 2(d))

방법	학습 데이터	성공률(Succ, %)
Any2Track	LaFAN	58.3
GMT	AMASS	84.2
BeyondMimic	LaFAN	94.3
SONIC	자체 수집 (100M)	99.6

SONIC의 99.6% 성공률은 압도적이다. 특히 AMASS 데이터로 직접 학습한 GMT(84.2%)보다도 높다는 점이 놀랍다. SONIC은 AMASS를 한 번도 본 적이 없는데도 말이다. 이는 충분히 다양한 모션 데이터로 학습된 정책이 진정한 “모션 프라이어”를 획득했음을 시사한다.

추적 정확도 메트릭 (논문 Figure 2(e-g))

메트릭	설명	SONIC 성능
MPJPE (E_{\text{mpjpe}}, mm)	루트 기준 상대 관절 위치 오차	모든 방법 중 최저
가속도 오차 (E_{\text{acc}}, mm/frame²)	물리적 자연스러움	모든 방법 중 최저
속도 오차 (E_{\text{vel}}, mm/frame)	동적 정합성	모든 방법 중 최저

이 메트릭들은 성공적으로 추적된 궤적에서만 계산된다. 즉, SONIC은 거의 모든 궤적을 성공적으로 추적하면서(99.6%), 그 추적 품질까지 가장 높다.

실패 기준

모션 추종이 실패로 간주되는 조건(논문 기준, 완화된 기준):

로봇 루트 높이가 참조 모션에서 0.25m 이상 벗어남 (= 넘어짐)
또는 루트 방향이 참조에서 1 라디안 이상 벗어남

이 기준 하에서 99.6%를 달성했다는 것은 사실상 1,602개 궤적 중 약 6개만 실패했다는 의미다.

4.3 실세계 전이 (Real-World Transfer)

시뮬레이션 성능만으로는 부족하다. SONIC의 진정한 시험대는 실제 Unitree G1 로봇이다.

제로샷 Sim-to-Real

SONIC은 50개의 다양한 모션 궤적을 실제 로봇에서 단 한 번의 실패 없이 수행했다 (100% 성공률). 이는 다음을 포함하는 복잡한 행동들이다:

춤 동작 (안무 추종)
점프 시퀀스
로코모션-매니퓰레이션 결합 동작
쿵후 동작 (비디오 텔레오퍼레이션)
기어가기

이 결과는 도메인 랜덤화 전략의 효과를 강력히 검증한다. 시뮬레이션에서 충분히 다양한 조건에 노출된 정책이 실제 세계의 물리적 차이에도 견딜 수 있는 강건성을 획득한 것이다. 논문은 실세계 성능이 시뮬레이션 성능에 근접한다고 보고한다.

텔레오퍼레이션 정량 평가

3포인트 VR 텔레오퍼레이션 모드에서 300개 궤적에 걸친 정량적 평가:

평균 지연시간: 121.9 ms
손목 추적: 오른쪽 손목 위치 오차를 허리 프레임 기준으로 측정, 실용적 수준 달성

이는 사과를 집어 접시에 올리는 모바일 매니퓰레이션 같은 실제 과제를 수행하기에 충분한 정밀도다.

5. 비판적 고찰

5.1 강점

① “과제 선택”이라는 근본적 통찰

SONIC의 가장 큰 기여는 기술적 세부사항이 아니라, “왜 지금까지 스케일업이 안 됐는가?”라는 질문에 대한 답이다. 모션 트래킹을 범용 과제로 설정한 것은 단순하지만 깊은 통찰이다. 좋은 과학의 특성 — 단순한 원리에서 복잡한 현상을 설명하는 것 — 을 잘 보여준다. 언어 모델에서 “다음 토큰 예측”이 범용 과제인 것처럼, 모션 트래킹은 로봇 제어에서의 범용 과제가 될 수 있다.

② 범용 토큰 공간의 깔끔한 추상화

FSQ 양자화를 통한 범용 토큰 공간은 매우 우아한 설계다. VR이든 비디오든 텍스트든, 모든 것이 같은 정보 병목(information bottleneck)을 통과하므로, 새로운 입력 모달리티를 추가하는 것이 새 인코더 하나만 학습하면 되는 문제로 축소된다. 또한 리타게팅 없이 교차 신체 전이를 가능하게 한다는 점에서 실용적 가치가 크다.

③ 실용적 시스템 구현

많은 연구 논문이 알고리즘 성능만 보여주지만, SONIC은 온보드 배포, 실시간 플래너, VLA 연동, 다양한 텔레오퍼레이션 인터페이스까지 완결된 시스템을 구축했다. 1~2ms 추론 지연은 TensorRT/CUDA Graph 최적화의 결과이며, 이는 실제 배포를 위한 심층적 엔지니어링이다.

④ 스케일링 법칙의 경험적 검증

데이터·모델·연산 각각의 축에서 성능 향상을 보여준 것은 향후 연구의 방향을 명확히 제시한다. “더 많은 데이터를 모아라, 더 큰 모델을 쓰라, 더 많은 GPU를 써라” — 이 간단한 처방이 실제로 작동한다는 증거는 분야 전체에 큰 임팩트를 준다.

⑤ 완전한 파이프라인: 텔레오퍼레이션 → 데이터 수집 → VLA → 자율 제어

텔레오퍼레이션으로 데이터를 수집하고, 그 데이터로 VLA를 학습하고, VLA가 같은 인터페이스를 통해 자율 제어를 수행하는 완전한 데이터 플라이휠(data flywheel) 을 시연했다. 이는 모션 트래킹이 단순한 모방을 넘어 자율적 과제 수행의 기초가 될 수 있음을 보여준다.

5.2 약점과 한계

① 안전성(Safety)과 컴플라이언스(Compliance)의 부재

저자들 스스로도 인정하듯, 안전성, 컴플라이언스, 에너지 효율에 대한 공식적 처리가 없다. 실제 환경에서 사람과 함께 일하는 휴머노이드에게 이는 필수적인 요소다. 위치 기반 PD 제어는 본질적으로 강성(stiff)하므로, 예상치 못한 접촉 상황에서 사람이나 환경에 위험을 줄 수 있다. 최근 GentleHumanoid 같은 연구가 이 문제를 다루기 시작했지만, SONIC에는 아직 반영되지 않았다.

② 컴퓨팅 자원의 장벽

128 GPU × 3일이라는 학습 비용은 대부분의 연구 그룹에게 현실적이지 않다. NVIDIA 내부에서는 가능하지만, 재현성(reproducibility) 측면에서 큰 한계다. 8 GPU 버전도 학습 가능하지만 성능이 떨어지므로, “최고 성능을 재현하려면 대규모 자원이 필요하다”는 진입 장벽이 존재한다. 이는 소규모 연구 그룹이나 학계의 참여를 제한할 수 있다.

③ 자체 수집 데이터셋의 비공개

1억 프레임의 핵심 학습 데이터가 자체 수집(in-house) 데이터다. 공개 데이터셋인 AMASS나 LaFAN만으로는 동일한 성능을 재현할 수 없으므로, 데이터 자체가 비공개 경쟁 우위가 된다. 이는 공정한 비교를 어렵게 만들고, 연구 공동체의 발전을 저해할 수 있다. 다만 GR00T-WholeBodyControl 저장소에서 모델 체크포인트 공개가 예정되어 있어, 추론(inference) 수준의 재현은 가능해질 전망이다.

④ 노이즈에 대한 강건성 분석 부족

실제 배포에서 모션 추정 파이프라인의 노이즈는 불가피하다. 비디오 기반 자세 추정, VR 트래킹의 떨림, 네트워크 지연 등의 영향을 체계적으로 분석한 결과가 부족하다. 모션 섭동을 도메인 랜덤화에서 다루긴 하지만, Any2Track이나 최근의 Robust and Generalized Humanoid Motion Tracking 연구처럼 노이즈 수준별 정량적 강건성 분석이 있었으면 더 설득력이 있었을 것이다.

⑤ 단일 로봇 플랫폼

모든 실험이 Unitree G1 하나에서 수행되었다. 다른 형태의 휴머노이드(Atlas, H1, Figure, 1X 등)에 대한 일반화 가능성은 입증되지 않았다. 범용 토큰 공간의 교차 신체 능력이 다른 로봇으로의 확장에 도움이 될 수 있지만, 관절 구성, 질량 분포, 액추에이터 특성이 크게 다른 로봇으로의 전이는 추가 검증이 필요하다.

⑥ 물체 상호작용과 접촉 힘 제어의 제한

모션캡처 데이터 기반 학습의 본질적 한계로, 물체와의 정밀한 물리적 상호작용(힘 조절, 접촉 인식, 도구 사용 등)은 충분히 다뤄지지 않는다. 사과-접시 과제가 시연되었지만, 이는 상대적으로 단순한 파지/배치 과제다. 반면 BeyondMimic은 확산 정책을 통한 제로샷 과제 전환을 보여주어 이 방면에서 더 유연할 수 있다.

5.3 열린 질문들

스케일링의 한계는 어디인가? 42M에서 400M, 4B로 가면 어떤 일이 벌어지는가? 수확체감(diminishing returns)이 언제 시작되는가? 이에 대한 본격적인 스케일링 법칙(scaling law) 분석이 아직 없다.
플래너-토크나이저-정책의 공동 학습(joint training) 은 모듈 간 모달리티 갭을 줄일 수 있는가? 현재는 개별적으로 학습되므로, 인코더-디코더 사이의 불일치가 존재할 수 있다.
VLA 지시 전신 로코매니퓰레이션은 300개 궤적을 넘어 수천~수만 개 규모에서 어떤 성능을 보이는가? 과제의 복잡도가 높아지면?
에너지 효율과 배터리 제약 하에서 실제 장시간 배포가 가능한가?
양방향 데이터 플라이휠: 자율 제어 중 실패한 경험을 다시 학습에 활용하는 온라인 학습이 가능한가?

6. 관련 연구와의 비교

6.1 모션 트래킹 계보

timeline
    title 휴머노이드 모션 트래킹의 진화
    section 초기 연구
        DeepMimic (2018) : 물리 기반 캐릭터 모방의 개척
        AMP (2021) : 적대적 모션 프라이어
    section 범용 트래킹
        PHC (2023) : Perpetual Humanoid Control
        MaskedMimic (2024) : 마스크 모션 인페인팅
    section 실세계 배포
        Any2Track (2025) : 2단계 RL (트래커+어댑터)
        GMT (2025) : 범용 모션 트래킹
        BeyondMimic (2025) : 확산 기반 다용도 제어
    section 대규모 스케일링
        SONIC (2025) : 1억 프레임 42M params 128 GPU
        CLOT (2025) : 폐루프 글로벌 트래킹

Figure 4: 휴머노이드 모션 트래킹 연구의 발전 흐름. SONIC은 대규모 데이터와 연산을 통해 기존 연구들의 한계를 돌파한다.

6.2 주요 경쟁 연구 상세 비교

특성	Any2Track	GMT	BeyondMimic	SONIC
학습 데이터	LaFAN (~0.4M)	AMASS	LaFAN	자체 100M+
모델 크기	수 M	수 M	수 M	42M
GPU 학습	수십~수백 GPU-hrs	수백 GPU-hrs	수백 GPU-hrs	9k~32k GPU-hrs
핵심 접근법	트래커+어댑터 (2단계)	PPO + 트랜스포머	확산 정책	PPO + 범용 토큰
Sim-to-Real 전략	히스토리 기반 적응	도메인 랜덤화	도메인 랜덤화	대규모 도메인 랜덤화
다운스트림 과제	제한적	제한적	확산 기반 과제 전환	플래너+VLA 연동
멀티모달 입력	✗	✗	✗	✓ (비디오/텍스트/음악/VR)
OOD 성공률	58.3%	84.2%	94.3%	99.6%
실세계 검증	G1 배포, 강건성 테스트	제한적	G1 배포	G1, 50궤적 100%

SONIC의 차별점은 명확하다. 단순히 트래킹 성능만 좋아진 것이 아니라, 멀티모달 입력 지원, 실시간 플래너, VLA 연동이라는 실용적 시스템까지 완비했다.

다만 각 베이스라인의 설계 철학도 이해할 필요가 있다. Any2Track은 트래커와 어댑터를 분리하여 동역학 적응성을 명시적으로 학습하므로, 노이즈나 지형 변화에 대한 강건성에서 장점이 있다. BeyondMimic은 확산 정책을 통해 보상 없이 제로샷 과제 전환이 가능하므로, 새로운 과제에 대한 유연성에서 장점이 있다. GMT는 트랜스포머 기반으로 장시간 시공간 의존성을 포착하는 데 초점을 맞춘다.

6.3 BFM-Zero와의 비교

BFM-Zero도 “행동 기초 모델(Behavioral Foundation Model)”을 지향하는 연구다. BFM-Zero는 비지도 RL(unsupervised RL) 을 통해 모션캡처 데이터를 정규화 수단으로 사용하며, 보상 추론(reward inference)으로 제로샷 과제 수행을 지향한다.

두 연구의 핵심적 차이:

측면	BFM-Zero	SONIC
학습 패러다임	비지도 RL + 오프 폴리시	지도 모션 트래킹 + 온 폴리시 PPO
과제 전환	보상 추론 (제로샷)	플래너/토큰 공간 (인터페이스 교체)
모션 데이터 역할	정규화 수단	직접적 학습 목표
실세계 배포	초기 단계	완결된 시스템
스케일	중규모	대규모

SONIC이 더 직접적이고 공학적인 접근인 반면, BFM-Zero는 더 원리적이고 범용적인 프레임워크를 제시한다. 실용적 성능에서는 SONIC이 앞서지만, 보상 함수 없이 사전 정의되지 않은 새로운 과제에 적응하는 유연성에서는 BFM-Zero의 접근이 장기적으로 더 유망할 수 있다.

6.4 CLOT과의 비교

최근 발표된 CLOT(Closed-Loop Global Motion Tracking)은 폐루프 글로벌 트래킹을 강조한다. SONIC이 로컬(루트 기준 상대) 트래킹에 주력하는 반면, CLOT은 글로벌 좌표계에서의 위치 추적을 통해 장시간 텔레오퍼레이션의 드리프트 문제를 해결한다. CLOT은 데이터 기반 랜덤화 전략과 적대적 모션 프라이어(AMP)를 사용하며, 트랜스포머 기반 정책이 MLP 대비 장시간 시공간 의존성 처리에서 우수함을 보여준다. 두 연구는 보완적이며, SONIC의 범용 토큰 공간 + CLOT의 글로벌 트래킹을 결합하면 더 강력한 시스템이 될 수 있다.

6.5 GR00T 생태계에서의 위치

SONIC은 NVIDIA의 GR00T 생태계 안에서 Whole-Body Control(WBC) 층을 담당한다:

flowchart TB
    subgraph GROOT["GR00T 생태계"]
        direction TB
        VLA2["GR00T N1.5/N1.6<br/>(System 2: VLA 추론)"]
        SONIC2["SONIC / GEAR-SONIC<br/>(System 1: 전신 모터 기술)"]
        HW["Unitree G1 / 기타 휴머노이드<br/>(하드웨어)"]

        VLA2 -->|"고수준 명령<br/>(SE(3) 자세, 속도)"| SONIC2
        SONIC2 -->|"관절 토크<br/>(PD 제어)"| HW
    end

Figure 5: NVIDIA GR00T 생태계에서 SONIC의 위치. System 2(VLA 추론) 위에 System 1(모터 기술)로서 기능한다.

GitHub에서 공개된 GR00T-WholeBodyControl 저장소에서 Decoupled WBC(상체 IK + 하체 RL)와 GEAR-SONIC 시리즈 모델이 Apache 2.0(코드) + NVIDIA Open Model License(가중치)로 공개되었거나 공개 예정이다.

7. Allegro Hand 관점에서의 시사점

Allegro Hand V4와 같은 다지(dexterous) 매니퓰레이션 연구 관점에서 SONIC이 주는 시사점을 정리해 보자.

모션 트래킹의 확장 가능성: SONIC이 전신 제어에서 보여준 “모션 트래킹 = 범용 과제” 공식을 손가락 제어에도 적용할 수 있을까? 인간 손의 모션캡처 데이터(GRAB, ContactPose, DexYCB, OakInk 등)가 상당량 축적되어 있다. SONIC의 접근을 따라, 대규모 손 모션 트래킹이 dexterous manipulation의 기초 모델이 될 가능성을 탐구해 볼 만하다.

범용 토큰 공간의 매니퓰레이션 적용: SONIC의 FSQ 기반 토큰 공간을 차용하면, 텔레오퍼레이션(데이터 글러브) · 비전 기반 제어(카메라 기반 손 자세 추정) · 촉각 기반 제어 등 다양한 입력을 하나의 손가락 제어 정책으로 통합할 수 있을 것이다. 리타게팅 없이 인간 손 모션을 직접 Allegro Hand 제어로 변환하는 것도 가능할 것이다.

VLA 연동 패턴의 적용: SONIC이 GR00T N1.5와 연동한 “System 1 + System 2” 패턴은 Allegro Hand에서도 유용하다. VLA가 “컵을 들어 올려”라고 지시하면, 손가락 트래커가 적절한 파지 전략을 실행하는 구조를 구현할 수 있다.

데이터 플라이휠의 적용: 텔레오퍼레이션으로 조작 데이터를 수집하고 → 이를 VLA 학습에 사용하고 → VLA가 자율 조작을 수행하는 SONIC의 데이터 플라이휠을 Allegro Hand 생태계에 적용하는 것은 매우 자연스러운 확장이다.

8. 요약 및 결론

SONIC은 “휴머노이드 제어에도 스케일링이 작동한다” 는 것을 경험적으로 입증한 의미 있는 연구다.

핵심 기여 정리

모션 트래킹을 범용 스케일링 과제로 확립: 수작업 보상 설계 없이 다양한 행동을 학습할 수 있는 자연스러운 프레임워크
세 축 스케일링의 경험적 검증: 데이터(100M+ 프레임), 모델(42M params), 연산(128 GPU)이 각각 독립적으로 성능을 향상시킴
범용 토큰 공간: FSQ 양자화로 로봇/인간/하이브리드 모션을 통합하는 깔끔한 추상화, 리타게팅 없는 교차 신체 전이
실시간 키네마틱 플래너: 사용자 의도를 참조 모션으로 변환하여 상호작용적 제어 가능
완결된 시스템: 텔레오퍼레이션 → 데이터 수집 → VLA 학습 → 자율 제어까지의 데이터 플라이휠

남겨진 과제

안전성·컴플라이언스·에너지 효율의 공식적 처리
컴퓨팅 자원 민주화와 데이터 공개
다양한 로봇 플랫폼으로의 일반화
정밀 물체 조작과 접촉 힘 제어
플래너-토크나이저-정책의 엔드투엔드 공동 학습
본격적인 스케일링 법칙 분석

마무리

물리학에서 좋은 이론의 조건은 “단순한 원리에서 복잡한 현상을 설명하는 것” 이다. SONIC의 핵심 원리 — “인간의 동작을 대규모로 잘 따라하면, 인간이 할 수 있는 다양한 것을 하나의 정책으로 수행할 수 있게 된다” — 는 아주 단순하다. 그리고 이 단순한 원리를 끝까지 밀어붙였을 때, 걷기·달리기·춤·기어가기·텔레오퍼레이션·자율 매니퓰레이션이라는 복잡한 현상들이 하나의 정책에서 자연스럽게 발현된다.

복잡한 기교를 부리는 것이 아니라, 올바른 질문을 던지고(“왜 스케일링이 안 되는가?”), 올바른 답을 찾고(“과제 선택이 문제다”), 그 답을 끝까지 밀어붙이는 것(“그러면 1억 프레임으로 해보자”) — SONIC은 이 과정을 충실히 수행한 연구다. 그리고 그 결과는 휴머노이드 제어의 패러다임을 바꿀 만큼 강력하다.

참고 문헌 및 링크

논문: arXiv:2511.07820 (Luo et al., 2025)
프로젝트 페이지: nvlabs.github.io/SONIC
코드/모델: GR00T-WholeBodyControl (Apache 2.0 + NVIDIA Open Model License)
관련 모델: GR00T N1.5
시뮬레이터: Isaac Lab
비교 대상 연구:
- Any2Track — Zhang et al., 2025 (arXiv:2509.13833)
- GMT — Chen et al., 2025
- BeyondMimic — Liao et al., 2025 (프로젝트 페이지)
- BFM-Zero — 2025 (arXiv:2511.04131)
- CLOT — 2025 (arXiv:2602.15060)
휴머노이드 로봇 학습 논문 목록: awesome-humanoid-robot-learning