📃HoloMotion-1 리뷰

HoloMotion-1 Technical Report

• Paper Link (arXiv:2605.15336v2)

• Code Link (HorizonRobotics/HoloMotion) — Apache-2.0. 리타게팅(holoretarget)·SMPL 처리(holosmpl)·학습 환경(environments)·배포(deployment)가 함께 공개돼 있다.

• Project Page (horizonrobotics.github.io/robot_lab/holomotion)

• 저자: Maiyue Chen, Kaihui Wang, Bo Zhang, Xihan Ma, Zhiyuan Yang, Yi Ren, Qijun Huang, Zihao Zhu, Yucheng Wang, Zhizhong Su (Horizon Robotics)

• arXiv 테크니컬 리포트, 2026-05-19 (cs.RO)

1. 💡 휴머노이드 전신 모션 트래킹을 “깨끗한 MoCap 소량”이 아니라 “in-the-wild 영상에서 복원한 모션 2,000시간+”로 스케일업해, 처음 보는 모션·처음 보는 캡처 장비에도 zero-shot으로 따라가는 트래킹 정책을 만든다.
2. ⚙️ 관측을 토큰으로 보는 decoder-only causal Transformer + sparse MoE(전체 400M / 스텝당 활성 7M)를 쓰고, KV-cache로 실시간 추론을, 시퀀스 단위 PPO로 긴 모션 학습을 감당한다.
3. 🎯 out-of-domain 5개 데이터셋 평균 MPKPE 124.57 mm로 가장 강한 베이스라인 Sonic(227.95 mm)보다 약 45%(리포트 표현으로는 “약 40%”) 낮고, 성공률 97.55%, Unitree G1 실기에 파인튜닝 없이 전이된다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드 모션 트래킹은 오랫동안 AMASS 같은 큐레이션된 MoCap 수십 시간 + 크지 않은 MLP 정책이라는 조합으로 굴러왔다. 이 조합은 스튜디오에서 잡은 깔끔한 모션을 잘 따라가지만, 처음 보는 스타일(격투·춤)이나 노이즈 낀 레퍼런스(단안 영상 복원, VR 텔레오퍼레이션)에 부딪히면 무너진다. HoloMotion-1의 문제의식은 단순하다 — 언어 모델이 웹 스케일 데이터로 일반화를 얻었다면, 모션 트래킹도 데이터 다양성과 정책 용량을 같이 키우면 되지 않는가.

그래서 이 리포트는 학습 코퍼스의 주력을 MoCap이 아니라 in-the-wild 영상에서 SMPL로 복원한 모션(MotionMillion, 2,000시간+)으로 바꿨다. 대신 그 대가로 복원 아티팩트·소스 도메인 불일치·품질 편차를 떠안게 되고, 여기에 실시간 제어라는 지연(latency) 제약이 겹친다. HoloMotion-1은 이 둘을 각각 sparse MoE Transformer(용량은 크게, 스텝당 연산은 작게)와 시퀀스 단위 PPO + KV-cache(긴 시퀀스 학습·추론을 싸게)로 받아낸다.

전체 요약(Fig. 1) — (a) MoE-Transformer 정책 구조, (b) 전체 평균 MPKPE 최저 달성, (c) 데이터셋별로도 일관된 우위, (d) 시퀀스 단위 최적화와 KV-cache가 주는 학습·추론 속도 향상.

핵심 방법론:

(1) 문제 설정. 목표 조건부 POMDP P=\langle S,A,p,r,O,\gamma\rangle. 정책은 참조 모션의 미래 H 프레임 룩어헤드 \mathbf{s}^{\mathrm{ref}}_{t:t+H}까지 관측해, 기대 할인 보상 \mathbb{E}\big[\sum_{t\ge0}\gamma^t r(\mathbf{s}_t,\mathbf{a}_t;\mathbf{s}^{\mathrm{ref}}_t)\big]을 최대화한다.

(2) Sparse MoE 레이어. 토큰 표현 \mathbf{u}에 대해 공유 전문가 f_{\mathrm{sh}} 하나와 세분 전문가 \{f_i\}_{i=1}^{E} 중 top-k만 켠다.

\mathrm{MoE}(\mathbf{u}) = f_{\mathrm{sh}}(\mathbf{u}) + \sum_{i \in T_k(\mathbf{u})} \alpha_i(\mathbf{u})\, f_i(\mathbf{u})

기본 설정은 d=512, MoE 레이어 1개, 어텐션 n_h=8 / n_{kv}=4(GQA), 컨텍스트 C=32, 전문가 E=1024 + 공유 1, top-k=2. 결과적으로 총 400M 파라미터 중 스텝당 약 7M만 활성화된다.

(3) 라우터를 참조 모션으로만 조건화. 리포트가 명시적으로 지적하는 실전 함정이다. 고유수용감각(proprioception)을 라우팅 입력에 섞으면 sim-to-real 격차가 라우팅 진동으로 증폭돼 실기에서 심하게 무너진다. 그래서 라우터 입력 경로를 분리해 참조 모션에만 의존하게 했다 — 같은 레퍼런스에 대해 시뮬레이션과 실기의 전문가 배정이 동일해진다.

(4) 시퀀스 단위 PPO. 표준 PPO는 롤아웃을 평탄화해 스텝을 섞어 업데이트하는데, 컨텍스트 C에 의존하는 causal Transformer에선 스텝마다 겹치는 프리픽스를 다시 계산해야 해 O(C) 중복이 생긴다. 대신 길이 T 연속 세그먼트를 보존하고 자기회귀 분해

\pi_\theta(\mathbf{a}_{1:T}\mid\tilde{\mathbf{o}}_{1:T}) = \prod_{t=1}^{T}\pi_\theta(\mathbf{a}_t \mid \tilde{\mathbf{o}}_{1:t})

를 이용하면 한 번의 배치 forward로 BT개 스텝의 log-prob를 전부 얻는다. 롤아웃 수집과 실기 배포에서는 환경별 KV-cache를 길이 C 링 버퍼로 유지해 어텐션 비용을 O(C^2) \to O(C)로 낮춘다.

(5) 보조 손실. MoE 라우팅 앞단(pre-MoE) 표현에 보조 헤드를 붙여 베이스 선속도(가우시안 NLL)·키바디 접촉(BCE)·루트 상대 참조/로봇 키바디 위치(masked MSE)를 지도하고, 여기에 dead-expert margin 정규화를 더한다.

\mathcal{L}_{\mathrm{aux}} = \lambda_{\mathrm{vel}}\mathcal{L}_{\mathrm{vel}} + \lambda_{\mathrm{contact}}\mathcal{L}_{\mathrm{contact}} + \lambda_{\mathrm{ref}}\mathcal{L}_{\mathrm{ref}} + \lambda_{\mathrm{robot}}\mathcal{L}_{\mathrm{robot}} + \lambda_{\mathrm{dead}}\mathcal{L}_{\mathrm{dead}}

공개 설정값은 \lambda_{\mathrm{vel}}=\lambda_{\mathrm{contact}}=10^{-2}, \lambda_{\mathrm{ref}}=\lambda_{\mathrm{robot}}=\lambda_{\mathrm{dead}}=10^{-1}.

주요 결과:

• 정확도(Table 6, MuJoCo·5개 OOD 데이터셋 매크로 평균). MPKPE 124.57 mm / MPJPE 0.0979 rad / 루트 속도 오차 3.9 mm/frame / SR 97.55%. 베이스라인은 GMT 484.05 mm(SR 92.54%), Any2Track 1200.96 mm(SR 25.10%), Sonic 227.95 mm(SR 95.58%).
• 모델 크기. 총 400M / 활성 7M. 비교 대상은 전부 MLP이고 GMT 2M, Any2Track 33M, Sonic 42M(활성=전체).
• 효율. 시퀀스 단위 PPO가 슬라이딩 윈도우 PPO 대비 학습 처리량 약 22×(8,192 병렬 환경, 동일 Dense Transformer로 프로파일링). 임베디드 추론은 sparse MoE + KV-cache로 약 4× 지연 감소.
• 학습 비용. RTX 5090 64장으로 약 6일, 총 약 9,200 GPU-hour. IsaacLab에서 8,192 환경 동시 롤아웃.
• 실기. Unitree G1(29-DoF)에 파인튜닝 없이 배포. 온보드 정책 추론 약 200–300 Hz, 제어 루프는 50 Hz 고정.

결론:

HoloMotion-1은 “새 알고리즘”이라기보다 데이터 레짐 전환 + 그 전환을 감당하는 시스템 설계를 묶은 릴리스다. 핵심 주장은 두 갈래로 읽힌다 — (i) 영상 복원 모션을 주력 소스로 쓰면 zero-shot 커버리지가 크게 넓어진다, (ii) 그 데이터를 받아낼 만한 용량을 sparse MoE로 확보하면서도 임베디드 실시간 제약을 깨지 않을 수 있다. 다만 테크니컬 리포트답게 이 두 요인을 분리하는 ablation이 사실상 없다는 점은 아래에서 따로 짚는다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“모션 트래킹 정책도 데이터·용량을 같이 키우면 일반화한다”를 2,000시간+ 영상 복원 코퍼스와 400M/7M sparse MoE Transformer로 실증하고, 리타게팅부터 ROS2 배포까지의 파이프라인을 통째로 공개한 릴리스 리포트다.

배경: 왜 MoCap만으로는 안 되는가

트래킹 정책 연구의 기본 재료는 AMASS, LAFAN1, OMOMO, HumanAct12 같은 큐레이션 MoCap이었다. 정렬이 깔끔하고 물리적으로 일관돼 imitation·RL 학습이 안정적으로 붙는다는 장점이 명확하다. 문제는 행동 커버리지다. zero-shot 전신 트래킹이 요구하는 스타일·속도·접촉 패턴의 폭에 비해 이들 데이터셋은 작다.

대안은 in-the-wild 영상에서 사람 모션을 복원하는 것이다(리포트는 MotionMillion을 씀). 규모와 다양성은 압도적이지만 복원 아티팩트, 시점에 기인한 오차, 품질 편차가 따라온다. HoloMotion-1의 선택은 하이브리드 — 다양성은 영상 복원이 대고, 충실도와 배포 관련 커버리지는 큐레이션 MoCap과 자체 수집이 댄다.

여기에 두 번째 축이 걸린다. 지금까지 트래킹 정책은 대부분 MLP였다. 계산이 싸서 실시간 제어에 맞지만 명시적 시퀀스 모델링이 없다. Transformer는 그 자리를 메우지만, 용량을 키우면 곧바로 추론 비용이 커져 고주파 폐루프 제어의 지연 예산을 넘긴다. 즉 문제는 “모델링”과 “시스템”이 동시에 걸려 있다. 이 리포트의 구성은 정확히 이 두 축을 따라간다.

방법 상세 1 — 트래킹 문제의 구체화

관측(Table 1). 고유수용감각 피드백과 참조 모션 특징을 이어 붙인다. 참조 쪽은 t{:}t{+}H 룩어헤드 윈도우로 투영 중력 \hat{\mathbf{g}}^{\mathrm{proj}}, 베이스 선/각속도, 관절 타깃 \hat{\mathbf{q}}, 루트 높이 \hat{h}가 들어가고, actor 학습 시엔 각 항목에 균등 노이즈(\mathcal{U}(-0.1,0.1), 관절 타깃은 \mathcal{U}(-0.05,0.05))를 섞는다.

보상(Table 2). r_t=\sum_i w_i r^{(i)}_t 형태의 dense reward인데, 설계에서 눈에 띄는 건 절대 루트 위치·자세 보상을 껐다는 점이다. 대신 루트 상대(root-relative) 키바디 위치/회전(각각 \sigma=0.3, 0.4), 키바디 선/각속도, 루트 속도 비율 보상, 그리고 몸통·양 손목·양 발목의 local five-point 위치 보상(\sigma=0.1, 가중치 2.0)을 쓴다. 페널티는 action rate(-0.2), 관절 가속도(-10^{-6}), 관절 한계(-10.0), 비허용 접촉(-0.1).

절대 루트를 빼고 상대 좌표·속도 비율로 간 것은 영상 복원 모션의 전역 궤적이 신뢰할 수 없다는 현실과 정합적이다(단안 복원의 글로벌 트랜슬레이션은 특히 취약하다). 리포트가 이 인과를 명시적으로 쓰진 않지만, 데이터 레짐과 보상 설계가 맞물린 지점으로 읽힌다.

종료 조건. 참조 대비 투영 중력 거리 >0.8, 골반·양 발목·양 손목의 수직 추적 오차 최대값 >0.25 m, 골반 위치 드리프트 >0.25 m 중 하나면 종료.

도메인 랜덤화(Table 3). 액션 지연 \{0,1,2\} 스텝, 지형 높이 노이즈 U[0,0.04] m, 정지/운동 마찰 U[0.3,1.6]/U[0.3,1.2], 반발계수 U[0,0.5], 골반·몸통 질량 오프셋 U[-1.0,2.0] kg, 몸통 COM 오프셋, PD 게인 스케일 U[0.9,1.1], 초기 상태 섭동, 그리고 U[1,3] 간격의 주기적 외력 푸시 + rough height-field 지형.

액션. \mathbf{q}^{\mathrm{tar}}_t = \mathbf{q}_0 + \mathbf{s}\odot\mathbf{a}_t로 관절 위치 타깃을 만들고 PD가 \boldsymbol{\tau}_t = \mathbf{k}_p\odot(\mathbf{q}^{\mathrm{tar}}_t-\mathbf{q}_t) - \mathbf{k}_d\odot\dot{\mathbf{q}}_t로 토크를 낸다. 흔한 구성이고 새로운 부분은 없다.

방법 상세 2 — Sparse MoE Transformer

백본은 pre-norm + RMSNorm + RoPE의 decoder-only Transformer이고, GQA(n_h=8, n_{kv}=4), QK-Norm, 어텐션 출력에 시그모이드 게이팅(Gated-Attention)이 붙는다. 최근 LLM 레시피를 거의 그대로 가져온 구성이다.

MoE 쪽 선택이 좀 더 특이하다. 선행 dense FFN 없이 reference-routed grouped MoE 블록 하나만 두고, 공유 전문가 1개 + 세분 전문가 1024개 중 top-2를 켠다. 결과적으로 파라미터의 대부분이 전문가 풀에 몰리고(400M) 스텝당 계산은 작게(7M) 유지된다.

라우터 설계가 이 리포트에서 가장 실전적인 통찰이다. 고유수용감각을 라우팅 입력에 넣으면 sim-to-real이 “심하게 저하(severe degradation)”된다고 명시한다. 이유는 라우팅이 정책 거동을 크게 바꾸는 이산적 스위치이기 때문 — 라우터가 저수준 동역학 변화에 민감해지면 피할 수 없는 sim-to-real 불일치가 라우팅 진동으로 증폭돼 실기 실행을 불안정하게 만든다. 그래서 라우터를 참조 모션에만 조건화한다. 같은 레퍼런스면 시뮬과 실기의 전문가 배정이 같아진다는, 아주 단순하고 확인 가능한 불변식이다.

가치 함수는 별도 MLP V_\psi(\mathbf{o}_t, \mathbf{o}^{\mathrm{priv}}_t)로, 노이즈 없는 관측 + 앵커 포즈 차이·정확한 링크 상태 같은 privileged 정보를 받는다(배포엔 불필요).

방법 상세 3 — 시퀀스 단위 최적화와 dead-expert 문제

시퀀스 단위 PPO의 아이디어는 앞서 적은 대로 자기회귀 분해를 이용해 겹치는 프리픽스 재계산을 없애는 것이다. 목적함수 자체는 표준 클리핑 서러게이트

L_{RL}(\theta) = \hat{\mathbb{E}}_t\Big[\min\big(r_t(\theta)\hat{A}_t,\ \mathrm{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t\big)\Big]

로 바뀌지 않는다. 바뀌는 건 배치 구성(스텝 셔플 → 연속 세그먼트 보존)이다. 알고리즘적 새로움보다 엔지니어링 정합성의 문제이고, 리포트도 그렇게 제시한다.

MoE의 고질병인 전문가 붕괴는 dead-expert margin loss로 다룬다. 레이어 \ell에서 이번 배치에 토큰을 하나도 못 받은 전문가 집합 D_\ell, top-k가 유도하는 라우팅 임계값 \tau^\ell_{bt}에 대해

\mathcal{L}^{\ell}_{\mathrm{dead}} = \frac{1}{BT\max(1,|D_\ell|)}\sum_{b,t}\sum_{e\in D_\ell}\big[\tau^{\ell}_{bt} - s^{\ell}_{bte}\big]_{+}

즉 죽은 전문가의 라우터 점수를 현재 라우팅 프론티어까지만 끌어올린다. 표준 load-balancing loss가 분포 전체를 균일화하려 드는 것과 달리, 이쪽은 top-k 희소 구조를 건드리지 않으면서 “쓰이지 않는 전문가”만 국소적으로 되살리는 형태다. 1024개 전문가 중 top-2만 켜는 극단적 희소성에서 자연스러운 선택으로 보인다.

시스템: 모델이 아니라 파이프라인이 결과물이다

리포트의 §4는 통째로 시스템 설명이고, 실은 이게 이 릴리스의 절반이다.

HoloMotion 시스템 파이프라인(Fig. 3) — 환경 구축 → 데이터 준비 → GMR 기반 리타게팅 → 분산 PPO 학습 → 오프라인 평가 → 정책 export → 실기 배포까지의 end-to-end 워크플로.

흐름은 명시적 중간 산출물로 묶여 있다: AMASS 스타일 SMPL/SMPL-X 모션 파일 → GMR 기반 리타게팅으로 로봇 궤적 → HoloMotion NPZ(MuJoCo에서 육안 검수 가능) → 대규모 학습·IsaacLab 평가용 HDF5 데이터베이스 → 학습 체크포인트 → export된 배포 정책 → 배포용 모션 클립. 평가 경로도 두 갈래로 분리돼 있다 — IsaacLab에서 PyTorch 체크포인트로 HDF5 롤아웃, MuJoCo에서 export된 정책으로 sim-to-sim 배치 평가(비디오 렌더·클립별 지표·실패 케이스 검수). 이 분리는 배포 흐름을 그대로 반영한 것이다.

배포 스택은 ROS2 런타임, 로봇 측 관측 구성, 정책 추론, 저수준 제어 인터페이스를 포함하고 dual-policy 실행을 지원한다: 속도 트래킹 정책이 로코모션과 안전 모드 전환을 맡고, 모션 트래킹 정책이 오프라인 NPZ 클립이나 실시간 텔레오퍼레이션 레퍼런스를 실행한다. 논문만 읽고 재현하려는 사람에게는 이 “안전 모드 전환용 별도 정책”의 존재가 중요한 정보다 — 데모 영상의 매끄러움 중 일부는 트래킹 정책 혼자의 성과가 아니다.

실험: 무엇을 재고, 무엇을 안 쟀나

플랫폼. Unitree G1(29-DoF). 학습은 IsaacLab, 평가 롤아웃은 MuJoCo(방법 간 물리 조건 통일 목적).

학습 코퍼스(Table 4). MotionMillion 2,000시간+(영상 복원, 다양성), AMASS 40시간+, LAFAN1 4.6시간, 자체 수집 PICO 4 Ultra VR/MR 헤드셋 10시간+(텔레오퍼레이션 스타일), Noitom PN Link 관성식 MoCap 10시간+. 영상 복원이 압도적 주력이고 나머지는 합쳐도 1/30 수준이다.

평가 스위트(Table 5). OMOMO(광학 MoCap, 물체 상호작용, 9시간), HumanAct12(RGB-D, 일상 동작, 1.6시간), Twist2(VR 헤드셋, 텔레오퍼레이션, 0.28시간), 자체 TikTokDance(RGB 카메라, 댄스, 1시간), 자체 InertialTeleop(관성 MoCap, 텔레오퍼레이션, 0.6시간). 데이터셋 크기 불균형 때문에 지표는 매크로 평균한다.

지표. MPKPE(mm, 주 지표), MPJPE(rad), 루트 속도 오차(mm/frame), SR(루트 높이가 레퍼런스 대비 0.25 m 이내로 롤아웃 전 구간 유지된 클립 비율).

Table 6 재현 — MuJoCo 통일 조건, 5개 OOD 데이터셋 매크로 평균.

Method	코퍼스	시간	구조	활성/전체	MPKPE↓	MPJPE↓	E_{\mathrm{vel}}↓	SR↑
GMT	LAFAN1 & AMASS	30h	MLP	2M / 2M	484.05	0.1097	8.0	92.54%
Any2Track	LAFAN1	10h	MLP	33M / 33M	1200.96	0.1342	13.8	25.10%
Sonic	In-house	700h	MLP	42M / 42M	227.95	0.1069	5.4	95.58%
HoloMotion	영상복원 + MoCap + 자체	2000h+	MoE Transformer	7M / 400M	124.57	0.0979	3.9	97.55%

효율. 8,192 병렬 환경 1회 최적화 이터레이션 기준 시퀀스 단위 PPO가 슬라이딩 윈도우 PPO 대비 약 22× 처리량(공정 비교를 위해 양쪽 모두 동일한 Dense Transformer로 프로파일링). 로봇 측 임베디드 모듈 추론은 sparse MoE + KV-cache로 약 4× 지연 감소.

실기(Fig. 2). 최고 성능 정책을 G1에 파인튜닝 없이 올려 온보드에서 200–300 Hz로 추론(제어 루프 50 Hz). 영상 복원된 고동적 댄스, 기어가기·앉기 같은 접촉 풍부한 동작, 무술 발차기, 그리고 관성 슈트·VR 기반 실시간 텔레오퍼레이션까지 시연한다.

실기 zero-shot 전이(Fig. 2) — 1행: in-the-wild 영상에서 복원한 고동적 댄스. 2행: 접촉이 많고 난도 높은 쿵후 동작. 3–4행: 실시간 텔레오퍼레이션 트래킹.

직관: 왜 7M 활성으로 42M dense를 이기는가

표면적으로 이상해 보이는 대목이다. 스텝당 활성 7M이 Sonic의 dense 42M보다 MPKPE가 절반 이하다. 리포트가 직접 분해하진 않지만, 세 가지가 동시에 작동한다고 읽는 게 자연스럽다.

1. 데이터. 2,000시간+ vs 700시간이고, 무엇보다 평가 스위트가 요구하는 “다양한 캡처 조건”을 학습에서 이미 봤다. 특히 TikTokDance는 in-the-wild 영상 복원이라 학습 소스와 성격이 같다 — OOD라는 라벨이 이 부분집합에서는 느슨하다.
2. 시퀀스 모델링. MLP는 스택된 히스토리를 벡터로 받을 수는 있어도 컨텍스트 C=32에 대한 명시적 어텐션이 없다. 노이즈 낀 레퍼런스에서 “지금 프레임이 튄 것인지 실제 동작인지”를 판단하려면 시간 문맥이 필요하고, 이건 트래킹 정확도에 직결된다.
3. 용량 배분. MoE는 파라미터를 “필요할 때만 꺼내 쓰는 사전”처럼 쓴다. 춤·격투·보행이 서로 다른 전문가 부분집합을 점유할 수 있다면, dense 42M이 하나의 함수로 전부 표현해야 하는 것보다 간섭이 적다. 라우터를 참조 모션으로만 조건화한 설계는 이 해석과도 정합적이다 — “어떤 모션인가”가 전문가를 고르고, “로봇이 지금 어떤 상태인가”는 고른 전문가 안에서 처리된다.

문제는 이 세 요인 중 무엇이 얼마나 기여했는지 리포트가 답하지 않는다는 것이다.

비판적으로 보면

강점

• 데이터 레짐 전환을 실기까지 밀고 갔다. “영상 복원 모션으로 학습해도 된다”는 주장은 시뮬 지표로만 끝나기 쉬운데, 여기서는 파인튜닝 없이 G1에서 댄스·쿵후·텔레오퍼레이션까지 시연한다. 주장과 증거의 거리가 짧다.
• 라우터 조건화 통찰이 구체적이고 재사용 가능하다. “MoE 정책의 라우터에 고유수용감각을 넣지 마라, sim-to-real 불일치가 라우팅 진동으로 증폭된다”는 관찰은 이 논문 밖에서도 바로 쓰이는 종류의 지식이다. MoE를 로봇 제어에 얹으려는 사람이 가장 먼저 밟을 지뢰를 표시해 준다.
• 희소성을 깨지 않는 dead-expert 정규화. top-2/1024라는 극단적 희소 설정에서 표준 load-balancing 대신 “죽은 전문가만 라우팅 프론티어까지” 끌어올리는 마진 손실은 설계 의도가 분명하다.
• 파이프라인 전체 공개. 리타게팅(GMR)·HDF5 패킹·IsaacLab 학습·MuJoCo sim-to-sim·ROS2 배포까지 중간 산출물 단위로 정리돼 Apache-2.0으로 공개된다. 트래킹 논문의 재현을 막는 것은 대개 정책 코드가 아니라 데이터 파이프라인과 배포 스택이라는 점에서 실질적 기여다.
• 정직한 학습 비용 공개. RTX 5090 64장 × 6일 ≈ 9,200 GPU-hour를 그대로 밝힌다. 재현하려는 쪽이 규모를 판단할 수 있다.

약점·한계

• Ablation이 사실상 없다. 이게 가장 큰 문제다. (i) 데이터 규모/구성(영상 복원 vs MoCap 비율), (ii) MoE vs dense, (iii) Transformer vs MLP, (iv) 보조 손실, (v) dead-expert 손실, (vi) 본인들이 강조한 라우터 조건화 — 어느 것에 대해서도 통제된 비교 표가 없다. 특히 라우터 조건화는 “심각한 sim-to-real 저하”라는 강한 주장을 하면서 정량 근거를 제시하지 않는다. 테크니컬 리포트라는 성격을 감안해도, 리포트의 4개 기여 중 3개가 검증되지 않은 채 남는다.
• 베이스라인 비교가 데이터와 구조를 뒤섞는다. Table 6에서 HoloMotion만 2,000시간+ 코퍼스를 쓴다. 40%(실제 계산으로는 45%) 개선이 데이터에서 왔는지 구조에서 왔는지 이 표로는 분리할 수 없다. 같은 코퍼스로 학습한 MLP 베이스라인 한 줄만 있었어도 리포트의 핵심 주장(“용량 스케일링이 필요하다”)이 성립하는지 알 수 있었을 것이다.
• 추론 속도 수치가 본문 안에서 어긋난다. 서론의 기여 목록은 “추론 효율을 최대 11× 개선”이라고 적는데, §5.4 실험은 “임베디드 배포 환경에서 약 4× 지연 감소”라고 적는다. 11×가 어떤 조건(다른 하드웨어? dense MoE 대비? 배치 조건?)에서 나온 값인지 리포트에 설명이 없다. 인용할 때는 실험 절의 4×를 쓰는 편이 안전하다.
• “out-of-domain”의 경계가 느슨하다. 자체 제작한 TikTokDance는 in-the-wild 영상에서 복원한 댄스인데, 학습 코퍼스의 주력 소스(MotionMillion)도 in-the-wild 영상 복원이다. 클립 중복은 없더라도 분포 자체는 in-domain에 가깝다. InertialTeleop 역시 자체 수집이고, 학습 코퍼스에도 Noitom PN Link 관성 MoCap 10시간+가 들어 있다. 즉 5개 중 2개는 캡처 방식 기준으로 학습 소스와 겹친다. 진짜 OOD는 OMOMO·HumanAct12·Twist2 쪽인데, 데이터셋별 수치가 Fig. 1-(c) 막대그래프로만 제시되고 표로 주어지지 않아 부분집합별 검증이 어렵다.
• 평가 규모가 작고 SR 정의가 관대하다. Twist2 0.28시간, InertialTeleop 0.6시간, TikTokDance 1시간이다. 매크로 평균은 크기 불균형을 완화하지만 동시에 작은 데이터셋의 분산을 그대로 반영한다. 신뢰구간·시드 반복이 없다. SR도 “루트 높이가 0.25 m 이내”라는 넘어짐 판정에 가까운 기준이라, 97.55%와 95.58%의 차이가 트래킹 품질 차이를 얼마나 반영하는지는 불분명하다.
• 실기 결과가 전부 정성적이다. 실기 절에는 정량 지표가 하나도 없다 — 실기 MPKPE도, 성공률도, 시도 횟수도, 실패 모드도 없다. “약 200–300 Hz 추론”이라는 숫자만 있고, 어떤 임베디드 모듈인지도 명시되지 않는다(“robot-side embedded compute module”). sim-to-real 전이가 이 리포트의 핵심 주장 중 하나인데 근거는 Fig. 2의 스틸컷과 프로젝트 페이지 영상뿐이다.
• 단일 임베디먼트. 전부 Unitree G1 29-DoF 하나다. “foundation model”이라는 명명에 비해 임베디먼트 일반화는 로드맵의 4번째 단계(Control Any Embodiment)로 미뤄져 있다. 현 시점의 HoloMotion-1은 G1 전용 트래킹 정책 + 범용 파이프라인으로 보는 게 정확하다.
• 스케일링 곡선이 없다. 리포트의 출발점이 “언어 모델처럼 스케일링하면 되지 않나”인데, 데이터 시간 대비 성능이나 전문가 수 대비 성능 같은 스케일링 경향 그래프가 하나도 없다. 2,000시간이 충분한지, 더 늘리면 계속 좋아지는지, 400M이 적정 용량인지에 대해 이 리포트는 아무 말도 하지 않는다. 스케일링을 논거로 삼은 논문에서 가장 아쉬운 공백이다.

관련 연구와의 자리 매김

큰 그림에서 이 작업은 휴머노이드 전신 제어를 “정책 학습” 문제에서 “데이터·시스템 문제”로 옮기려는 흐름의 한 사례다. 휴머노이드 로코-매니퓰레이션 전반에서 제어·계획·학습이 어떻게 나뉘고 어디가 병목인지는 HLM Survey 리뷰에 정리돼 있는데, HoloMotion-1은 그중 “모션 트래킹 계층”을 대규모 데이터로 두껍게 만드는 쪽에 해당한다. 서베이가 지적하는 전신 제어의 데이터 병목에 대한 하나의 답이면서, 동시에 명령 인터페이스·지형·임베디먼트라는 나머지 축을 로드맵으로 미뤄 둔 상태이기도 하다.

모션 생성과 모션 트래킹을 분리해 전신 로코모션을 다루는 Whole-Body Loco 리뷰와 비교하면 대비가 선명하다. 그쪽은 레퍼런스를 어떻게 만들 것인가(생성 모델)에 무게를 두고, HoloMotion-1은 이미 있는 방대한(그러나 지저분한) 레퍼런스를 어떻게 다 따라갈 것인가에 무게를 둔다. 로드맵의 “Follow Any Command” 단계는 결국 이 두 갈래가 만나는 지점이 될 것이다.

정책 용량 스케일링이라는 축에서는 SimBa 리뷰와 나란히 놓고 볼 만하다. SimBa는 단순성 편향(simplicity bias)을 아키텍처에 심어 dense 네트워크의 파라미터를 키워도 RL이 무너지지 않게 하는 접근이고, HoloMotion-1은 희소 활성화(MoE)로 용량과 연산을 분리하는 접근이다. 둘 다 “RL 정책은 왜 크게 못 키우나”라는 같은 질문에 대한 서로 다른 답이며, HoloMotion-1 쪽은 실시간 임베디드 제약이 추가로 걸려 있어 희소성이 더 자연스러운 선택이 된다. 다만 SimBa가 스케일링 곡선을 제시한 반면 HoloMotion-1은 그러지 않는다는 점은 앞서 적은 대로다.

베이스라인으로 등장하는 GMT·Any2Track·Sonic은 모두 최근의 RL 기반 휴머노이드 트래킹 시스템이고, 백본이 전부 MLP다. 아키텍처 축에서 이 리포트가 놓인 자리는 “트래킹 정책에 LLM 레시피(decoder-only, RoPE, GQA, RMSNorm, QK-Norm, sparse MoE)를 통째로 이식한 첫 대규모 릴리스” 정도로 요약할 수 있다.

4-Any 로드맵(Fig. 4) — HoloMotion-1은 첫 단계 Imitate Any Pose에 해당하고, 이후 Follow Any Command · Move on Any Terrain · Control Any Embodiment로 확장할 계획이다.

요약

HoloMotion-1은 휴머노이드 모션 트래킹의 학습 재료를 큐레이션 MoCap에서 in-the-wild 영상 복원 모션으로 갈아탄 릴리스이고, 그 전환이 만드는 두 부담 — 노이즈 낀 이질적 데이터를 소화할 용량, 그리고 실시간 제어의 지연 예산 — 을 sparse MoE Transformer(400M/7M)와 시퀀스 단위 PPO + KV-cache로 나눠 받는다. 5개 OOD 데이터셋 매크로 평균 MPKPE 124.57 mm, SR 97.55%로 MLP 베이스라인들을 뚜렷하게 앞서고, Unitree G1에 파인튜닝 없이 올라간다.

읽는 값어치는 두 군데에 몰려 있다. 하나는 라우터를 참조 모션으로만 조건화하라는 sim-to-real 통찰이고, 다른 하나는 리타게팅부터 ROS2 배포까지 통째로 공개된 파이프라인이다. 반대로, 스케일링을 논거로 내세우면서 스케일링 곡선도 ablation도 내놓지 않았다는 점은 테크니컬 리포트라는 형식을 감안해도 아쉽다. 지금의 Table 6은 “데이터를 3배 늘리고 구조를 바꿨더니 좋아졌다”까지만 말해 주고, 어느 쪽이 얼마나 기여했는지는 코드가 공개돼 있으니 직접 확인해 보라고 독자에게 넘긴 셈이다. 다행히 그 코드는 실제로 공개돼 있다.