📃OmniRetarget 리뷰

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

• Paper Link (arXiv:2509.26633v3)

• Code (GitHub, Apache-2.0) — holosoma 모노레포. 이 논문의 리타게팅 구현은 src/holosoma_retargeting/ 하위다.

• Dataset (HuggingFace, MIT)

• Project Page

• Video (YouTube)

• 저자: Lujie Yang*, Xiaoyu Huang*, Zhen Wu*, Angjoo Kanazawa†, Pieter Abbeel†, Carmelo Sferrazza†, C. Karen Liu†, Rocky Duan†, Guanya Shi† (* 동등 기여, † 팀 co-lead)

• 소속: Amazon FAR(Frontier AI & Robotics), MIT, UC Berkeley, Stanford University, CMU

• ICRA 2026 — 프로젝트 페이지 표기로 Best Conference Paper Award 및 Best Paper Award on Robot Manipulation and Locomotion. 리뷰는 arXiv v3(2026-06-15) 기준.

1. 💡 인간 모션을 로봇으로 옮길 때 기존 리타게팅은 키포인트 위치만 맞춰서 발 미끄러짐·관통을 만들고 물체·지형과의 접촉 관계를 통째로 잃는데, OmniRetarget은 로봇·물체·지형의 점들을 하나의 interaction mesh로 묶어 그 Laplacian 변형을 최소화하는 문제로 바꾼다.
2. ⚙️ 매 프레임 “Laplacian 변형 최소화 + 비관통·관절/속도 한계·지지발 고정을 하드 제약”인 비볼록 계획을 세우고, 신뢰영역이 이차 원뿔인 sequential SOCP로 프레임 단위로 푼다 — 같은 최적화를 물체 자세·크기·지형 높이만 바꿔 다시 풀면 시연 1개가 데이터셋이 된다.
3. 🎯 OMOMO·LAFAN1·자체 MoCap에서 8시간 이상(2.78 h + 4.6 h + 1 h)을 생성했고, 이 데이터로 학습한 고유수용 전용 정책이 보상 5개·도메인 랜덤화 4개만으로 Unitree G1에서 30초 파쿠르·4.6 kg 의자 운반·0.9 m 단 오르기를 zero-shot으로 수행한다(다운스트림 RL 성공률 82.20%/94.73% vs 최고 베이스라인 71.28%/78.94%, Tab. II).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드에 복잡한 전신 스킬을 가르치는 표준 레시피는 “인간 모션을 로봇 관절로 리타게팅해 기준 궤적으로 쓰고, RL로 추종시킨다”이다. 문제는 리타게팅 단계다. PHC·GMR·VideoMimic 같은 공개 파이프라인은 대부분 인간 키포인트와 로봇 키포인트의 거리를 줄이는 것을 목적으로 삼는데, 인간과 로봇의 체형·비율·자유도가 다르므로 위치를 맞추는 순간 발이 미끄러지고 손이 상자 안으로 파고든다. 더 결정적으로, 이 정식화에는 “손이 상자 표면에 닿아 있다”는 관계 자체를 표현하는 항이 없다 — 물체·지형은 최적화 변수에 아예 등장하지 않는다.

OmniRetarget의 답은 목적함수를 바꾸는 것이다. 로봇(또는 인간)의 주요 관절과 물체·환경 표면에서 샘플링한 점들을 한 덩어리로 묶어 Delaunay 사면체화하고, 이 그래프 위에서 정의된 Laplacian 좌표(각 점 − 이웃 평균)가 인간 쪽과 로봇 쪽에서 같아지도록 만든다. 점의 절대 위치가 아니라 점들 사이의 상대 배치를 보존하는 것이고, 물체 점이 같은 메시에 들어 있으므로 “손과 상자 면의 관계”가 목적함수에 직접 들어간다. 여기에 비관통·관절 한계·속도 한계·지지발 고정을 소프트 페널티가 아니라 하드 제약으로 걸어 아티팩트를 정의상 제거한다.

개요(Fig. 1) — OmniRetarget 데이터로 학습한 RL 정책의 실기 결과. (a) 의자를 옮겨 발판으로 쓰고 뛰어내려 구르는 30초 파쿠르, (b) 물체 운반, (c) 경사면 기어가기(crawling on a slope), (d) 빠른 단 오르기와 앉기. 전 태스크가 보상 5개·로봇 도메인 랜덤화 4개·고유수용 전용 관측을 공유한다.

핵심 방법론:

i번째 점의 Laplacian 좌표는 이웃 평균과의 차이다(Eq. 1, 이 논문은 전 실험에서 균등 가중 w_{ij} = 1/|\mathcal{N}(i)|를 쓴다).

L(p_{t,i}) = p_{t,i} - \sum_{j \in \mathcal{N}(i)} w_{ij} \cdot p_{t,j}

변형 에너지는 인간 쪽 메시 P^{\text{source}}_t와 로봇 쪽 메시 P^{\text{target}}_t의 Laplacian 좌표 차이의 제곱합이다(Eq. 2). 로봇 키포인트는 설정 q_t의 정기구학으로 결정되므로, 매 프레임 다음 제약 최적화를 푼다(Eq. 3).

q_t^\star = \arg\min_{q_t} \sum_i \left\| L(p^{\text{source}}_{t,i}) - L(p^{\text{target}}_{t,i}(q_t)) \right\|^2 + \|q_t - q_{t-1}\|_Q^2

\text{s.t.}\quad \phi_j(q_t) \ge 0 \;\;\forall j, \qquad q_{\min} \le q_t \le q_{\max}, \qquad v_{\min} dt \le q_t - q_{t-1} \le v_{\max} dt, \qquad p^F_t = p^F_{t-1} \;\;\forall \text{stance foot}

q_t는 부동 베이스 자세(쿼터니언 + 병진)와 전 관절각, \phi_j는 j번째 충돌 쌍의 signed distance, Q는 시간적 평활을 유도하는 비용 행렬이다. 지지발 판정은 원본 모션의 수평 속도가 1 cm/s 미만인 프레임으로 정의한다. 이 비볼록 문제를 프레임마다 SQP 방식으로 풀되, 각 반복의 부분문제는 목적을 이차 근사하고 제약을 선형화한 뒤 신뢰영역 \|dq_n\|_2 \le \varepsilon(\varepsilon = 0.2)을 얹은 SOCP다(Eq. 15). 이전 프레임 해 q^\star_{t-1}로 warm-start한다.

파이프라인(Fig. 2) — 인간 모션(LAFAN1·OMOMO·자체 MoCap) → interaction mesh 기반 제약 최적화 → (선택) 지형·물체 종류·공간 증강 → 최소 형식 RL 추종 → zero-shot sim2real. 증강은 별개의 모듈이 아니라 P^{\text{source}}를 고정하고 P^{\text{target}}만 바꿔 같은 최적화를 다시 푸는 것이다.

주요 결과:

• 운동학 품질(Tab. II, Unitree G1): 관통 지속시간 0.00±0.01(객체)·0.01±0.02(지형) vs 베이스라인 0.60~0.91. 최대 관통 깊이 1.34±0.34 cm·1.37±0.18 cm vs 5.11~8.50 cm. 발 미끄러짐은 지속시간·최대속도 모두 정확히 0.
• 다운스트림 RL 성공률(Tab. II, 39개 난이도 높은 모션에 BeyondMimic 하이퍼파라미터 그대로): 로봇-물체 82.20%±9.74% (PHC 71.28%, GMR 50.83%, VideoMimic 3.85%), 로봇-지형 94.73%±22.33% (GMR 78.94%, PHC 52.63%, VideoMimic 51.75%).
• 순수 로코모션(LAFAN1): Unitree 공개 리타게팅 데이터셋 대비 관통·미끄러짐이 더 적지만 다운스트림 RL은 양쪽 모두 100% — 품질 격차가 성능 격차로 이어지지 않는 구간이다.
• 증강 데이터: 전체 증강 데이터셋으로 학습·평가 시 79.1%, nominal 모션만 평가 시 82.2% — 커버리지를 크게 늘리면서 성능 저하가 거의 없다(§V-A.b).
• 실기: 30초 파쿠르(4.6 kg 의자 운반 → 발판 삼아 등반 → 뛰어내려 구르기), 0.9 m 단(로봇 키의 70%) 등반, 경사면 기어가기, 그리고 약 0.5초에 완료되고 최대 각속도 15 rad/s·최대 선속도 3.5 m/s에 이르는 wall-flip 5/5 성공(Fig. 6).

결론:

이 논문의 주장은 “보상을 더 정교하게 짜서 나쁜 참조 모션을 땜질하지 말고, 데이터 생성 단계에서 문제를 풀어라”다. 그리고 그 데이터 생성을 키포인트 매칭이 아니라 그래프 변형 최소화 + 하드 제약으로 재정식화한다. 부수 효과가 오히려 더 클 수 있는데, 상호작용을 목적함수에 명시적으로 넣었기 때문에 물체 자세·크기·지형 높이를 바꿔 다시 풀기만 하면 새 시연이 나온다 — 시연 1개 → 데이터셋이라는 증강 경로가 공짜로 열린다. 다만 Tab. II에서 압도적으로 보이는 운동학 지표 중 상당수는 OmniRetarget이 하드 제약으로 정의상 만족시키는 양이라는 점을 감안해서 읽어야 한다(Ring에서 따진다).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

OmniRetarget이 실제로 바꾼 것은 리타게팅의 최적화 변수 집합이 아니라 목적함수가 무엇을 보는가다. 기존 방법은 “이 관절이 저기 있어야 한다”를 본다. OmniRetarget은 “이 손과 저 상자 면과 저 발 사이의 배치가 이래야 한다”를 본다. 전자는 인간→로봇 체형 차이가 그대로 오차로 새어 나오는 정식화고, 후자는 체형이 달라도 관계가 유지되는 한 자유롭게 변형할 수 있는 정식화다. 이 전환이 무료로 딸려 오는 것이 증강이다 — 관계를 보존하는 문제라면, 관계의 한쪽 끝(물체·지형)을 옮겨 놓고 다시 풀면 “옮겨진 세계에서의 같은 동작”이 나온다. 저자들이 파이프라인 그림에서 증강 블록을 “(Optional)”로 표시했지만, 실제로는 이 정식화가 없으면 증강 블록 자체가 성립하지 않는다.

배경: 리타게팅이 상호작용을 잃는 두 가지 방식

인간 모션을 휴머노이드에 옮기는 접근은 크게 둘이다. 온라인 텔레오퍼레이션(HumanPlus, OmniH2O, TWIST 계열)은 사람이 실시간으로 보정하므로 자동 상호작용 리타게팅을 우회할 수 있지만, 사람 노동에 묶여 대규모 데이터 생성으로 확장되지 않는다. 오프라인 리타게팅은 확장되지만, 인간의 동작과 그 동작이 만든 장면 상호작용을 둘 다 로봇 체형에 맞춰 고쳐야 한다.

기존 오프라인 방법이 실패하는 방식이 §II-A와 Tab. I에 정리돼 있다.

Tab. I 재현.

Method	Hard Kinematic Constraints	Interaction w/ Object	Interaction w/ Terrain	Data Augmentation	Optimization
IMMA (Nakaoka & Komura, 2012)	✓	✗	✗	✗	QP
PHC (Luo et al., 2023)	✗	✗	✗	✗	Gradient Descent
GMR (Ze et al., 2025)	✗	✗	✗	✗	Mink
VideoMimic (Allshire et al., 2025)	Soft Penalty	✗	✓	✗	JAX L-M
OmniRetarget	✓	✓	✓	✓	Sequential SOCP

(서지상의 잔가지 하나: 이 논문이 “GMR”로 부르는 항목의 참고문헌 항은 TWIST(Ze et al., CoRL 2025)를 가리킨다. GMR 자체는 Araujo·Ze·Xu·Wu·Liu의 별도 논문 Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking(arXiv:2510.02252, ICRA 2026)으로 나와 있고 TWIST의 리타게터로 쓰인다. OmniRetarget v1 제출 시점(2025-09)에는 GMR이 아직 코드로만 존재했던 것으로 보이며, v3에서도 서지가 갱신되지 않았다.)

두 축으로 읽으면 된다. 첫째, 제약을 어떻게 다루는가. PHC는 전체 궤적에 대한 비제약 경사하강, GMR은 mink 라이브러리로 관절 한계만 건 프레임별 IK, VideoMimic은 접촉·충돌·미끄러짐을 소프트 페널티로 넣는다. 소프트 페널티는 보장이 없고 가중치 튜닝에 민감하다 — 논문은 VideoMimic의 충돌 회피 비용이 키포인트 매칭 비용과 충돌하면서 상호작용 보존이 가장 나빠진다고 진단한다(§V-B, Fig. 7c).

둘째, 물체·지형이 최적화에 들어오는가. PHC·GMR은 들어오지 않는다. 그래서 인간 손 키포인트를 로봇 크기로 스케일하면 손이 상자 안으로 들어가고, 그게 Tab. II에서 GMR의 접촉 보존 점수(0.99)가 가장 높으면서 동시에 최대 관통 깊이도 8.50 cm로 가장 나쁜 이유다. 접촉 지표만 보면 최고인데 실제로는 물체를 관통하고 있는 것이다(Fig. 7b).

가장 가까운 선행 연구는 IMMA다 — 같은 interaction mesh를 쓰지만 (i) 오픈소스가 아니고 (ii) 관절·속도 한계를 무시하며 (iii) 환경·물체와의 상호작용을 다루지 않는다. IMMA는 중간 키포인트 위치를 먼저 최적화하고(Eq. 12) 그걸 맞추는 IK를 따로 푸는(Eq. 13) 다단 파이프라인인데, OmniRetarget은 이를 하나의 제약 최적화로 합친다.

방법 1 — interaction mesh: 무엇을 보존하는가

메시 구성은 단순하다. 사용자가 지정한 주요 관절 위치 + 물체·환경 표면에서 무작위 샘플링한 점들에 Delaunay 사면체화를 적용해 이웃 관계 \mathcal{N}(i)를 만든다. 중요한 설계 선택 하나: 물체·환경 표면을 신체 관절보다 조밀하게 샘플링한다(§III-A). 접촉 관계를 더 정확히 유지하기 위해서다.

실제 사용된 interaction mesh(Fig. 9) — 왼쪽이 target(로봇 + 상자), 오른쪽이 source. 파란 점이 신체 관절, 초록 점이 물체 표면 샘플이다. 초록 점이 훨씬 조밀한 것이 위 설계 선택의 시각적 확인이다.

Laplacian 좌표는 “이 점이 이웃들의 무게중심에서 얼마나 벗어나 있는가”이므로, 이를 보존한다는 것은 국소 형상을 보존한다는 뜻이다. 절대 위치를 맞추지 않기 때문에 인간→로봇의 전역 스케일 차이는 자연스럽게 흡수되고, 손-상자처럼 이웃으로 묶인 쌍의 상대 배치는 유지된다. 저자들은 키포인트 배치에 민감하지 않다고 말한다 — “손↔︎손”처럼 의미적으로 일관된 대응만 있으면 된다(§III-A).

전처리 쪽 구분도 짚어둘 만하다(부록 A). PHC·VideoMimic은 SMPL 모델 자체를 로봇 형상에 맞추는 model fitting 계열이고(PHC는 T-pose에서 링크 길이를 맞추는 스케일 \alpha와 shape \beta를 최적화, Alg. 1), GMR·OmniRetarget은 시연자의 원래 \beta^{\text{demo}}로 키포인트를 뽑은 뒤 로봇/인간 키 비율 \alpha = h_{\text{robot}}/h_{\text{demo}}로 스케일하는 direct scaling 계열이다(Eq. 7). 이 차이의 실질적 귀결은 데이터 호환성이다 — PHC·VideoMimic은 사실상 SMPL 전용이고, GMR·OmniRetarget은 SMPL과 BVH 스켈레톤을 모두 받는다(Tab. III). 이 논문이 자체 MoCap(BVH)과 LAFAN1(BVH)과 OMOMO(SMPL)를 한 파이프라인에 넣을 수 있는 이유다.

방법 2 — 하드 제약과 sequential SOCP

Eq. 3의 네 제약이 각각 무엇을 막는지가 이 논문의 실질이다.

• \phi_j(q_t) \ge 0 — j번째 충돌 쌍(로봇↔︎물체·지형)의 비관통. Fig. 7a/b의 손이 상자를 뚫는 아티팩트를 겨냥한다.
• q_{\min} \le q_t \le q_{\max} — 관절 한계. IMMA가 무시한다고 지적한 바로 그 항목.
• v_{\min} dt \le q_t - q_{t-1} \le v_{\max} dt — 속도 한계. 프레임 간 점프를 막는다.
• p^F_t = p^F_{t-1} (지지발) — 발 미끄러짐을 등식으로 금지.

이 비볼록 문제를 매 프레임 풀되, 각 SQP 반복에서 목적을 이차 근사하고 제약을 선형화한 뒤 신뢰영역 \|dq_n\|_2 \le \varepsilon를 이차 원뿔 제약으로 얹는다(Eq. 15g, \varepsilon = 0.2). 즉 부분문제가 QP가 아니라 SOCP다 — 본문 §III-A는 “SQP-style solver”라고 부르고 Tab. I과 부록 D는 “Sequential SOCP”라고 부르는데, 서로 다른 방법을 가리키는 게 아니라 SQP 골격 + SOCP 부분문제를 양쪽에서 다르게 호명한 것으로 읽힌다.

구현상 까다로운 지점으로 저자들이 지목하는 것은 쿼터니언 부동 베이스의 미분이다 — S^3 다양체 위 회전의 미분기하를 올바로 다루기 위해 Drake의 자동미분을 쓴다고 밝힌다(§III-A). (공개된 구현은 이 부분이 다르다 — 아래 코드·데이터 공개 상태 절 참고.)

방법 3 — 물체 프레임에서 Laplacian을 계산해야 하는 이유

증강을 가능하게 하는 결정적 디테일이 부록 C-2에 있다. Laplacian 좌표를 월드 프레임이 아니라 물체의 로컬 프레임에서 계산해야 한다.

물체 프레임의 필요성(Fig. 8) — 물체가 180° 회전하면 월드 프레임 Laplacian 좌표 L_W는 (0,1) \to (0,-1)로 뒤집히지만, 물체 프레임 좌표 L_O는 불변이다.

직관은 명확하다. “손이 상자의 이 면 위에 있다”는 관계는 상자가 어디로 옮겨지든 상자 기준으로는 같은 관계다. 월드 좌표로 Laplacian을 재면 물체를 회전시키는 순간 목적함수가 “다른 관계”를 요구하게 되고, 로봇이 원래 접촉점이 아닌 곳으로 손을 뻗는다. 물체 프레임에서 재면 로봇의 상호작용 신체부가 물체의 변환을 자연스럽게 따라간다.

방법 4 — 증강: 같은 문제를 다시 푸는 것

증강의 정식화는 놀랄 만큼 단순하다. P^{\text{source}}_t를 고정하고 P_t(물체·지형 쪽 점)만 바꾼 뒤 Eq. 3을 다시 푼다.

로봇-물체. 물체 초기 자세에 병진·회전 오프셋을 주고(Fig. 4b), 원 물체 궤적과는 지수 감쇠 스케줄로 섞는다(Eq. 14) — 물체가 움직이기 시작하는 시각 t_m 이전에는 오프셋이 그대로 유지되고, 이후에는 \Delta p_{\text{obj}} e^{-(t-t_m)/\tau_p}로 사라지며 원 궤적에 합류한다. 물체 3축 스케일도 바꾼다(Fig. 4c).

여기서 중요한 함정 하나를 저자들이 스스로 지적한다. 이것만 하면 로봇 전체가 물체와 함께 강체 변환돼 버리는 자명한 해가 나온다(물체를 왼쪽으로 30 cm 옮기면 로봇도 통째로 30 cm 옆으로 선다). 그래서 신체 일부를 원 궤적 \{\bar{q}^\star_t\}에 묶는 비용·제약을 추가한다.

\|q_t - \bar{q}^\star_t\|_W, \qquad p^F_0 = \bar{p}^{F\star}_0 \;\;\text{(좌·우 발)}

W가 하반신 항목에 큰 페널티를 주므로, 발은 원래 자리에 두고 상체 협응으로 새 물체 자세에 대응하라는 요구가 된다. 이것이 “새로운 상호작용”과 “같은 동작의 평행이동”을 가르는 지점이다.

로봇-지형. 단의 높이·깊이 등 환경 특징을 스케일하고(Fig. 4a: 0.56 m / 0.70 m 원본 / 0.84 m), 지면 위에 격자 점들을 균일 샘플링해 메시에 넣어 안정적 접지를 유도한다.

체계적 증강(Fig. 4) — 시연 하나에서 (a) 지형 높이, (b) 물체 초기 자세, (c) 물체 크기를 바꾼 변형을 생성한다. 위가 시뮬레이션 참조, 아래가 그 참조로 학습한 정책의 하드웨어 실행.

임베디먼트. 키포인트 대응과 충돌 모델만 바꾸면 Unitree G1 외에 H1, Booster T1로도 같은 파이프라인이 돈다(Fig. 3). 단, 이 부분은 시뮬레이션 정성 결과까지이고 H1/T1 실기 결과나 정량 지표는 없다.

교차 임베디먼트(Fig. 3) — 같은 상호작용을 H1·T1로 리타게팅한 결과. 키포인트 대응과 충돌 모델만 교체한다.

RL: “최소 형식”이 무엇을 뜻하는가

§IV는 짧지만 이 논문의 주장을 지탱하는 절이다. 저자들의 논리는 “참조가 깨끗하면 보상을 정교하게 짤 필요가 없다”(BeyondMimic의 관찰)이고, 그래서 BeyondMimic의 가중치·하이퍼파라미터를 손대지 않고 그대로 쓴다.

• 관측(고유수용 전용): 참조 관절 위치/속도, 참조 골반 위치/방향 오차, 골반 선/각속도, 관절 위치/속도, 직전 행동. 장면·물체 정보에 대해 정책은 눈이 멀어 있다. 상태 추정이 불안정한 민첩 동작에서는 골반 선위치 오차와 속도를 마스킹한다.
• 보상 5개: 신체 추종(DeepMimic 스타일, 위치·방향·선/각속도), 물체 추종(해당 시), 행동 변화율, 소프트 관절 한계, 자기충돌(충돌력 1 N 초과 시 이진 페널티).
• 종료: 신체 추종 편차가 크면 종료. 물체 로코마니퓰레이션은 물체가 참조 대비 1.0 m·45° 이상 벗어나면 종료하되, 정책이 어느 정도 신체 추종을 달성한 뒤에만 이 기준을 적용한다. (공개된 학습 설정은 위치 임계가 0.25 m이고 단계적 적용 로직도 없다 — 공개 상태 절 참조.)
• 도메인 랜덤화 4개(로봇): 몸통 COM 위치(x ±0.025 m, y ±0.05 m, z ±0.075 m), 관절 기본 위치 ±0.01 rad, 랜덤 푸시(0.3 m/s, 0.78 rad/s, 1–3초), 관측 노이즈(Rot6D 방향 ±0.05, 선속도 ±0.5 m/s, 각속도 ±0.2 rad/s, 관절 위치 ±0.01 rad, 관절 속도 ±0.5 rad/s). 물체 쪽은 별도로 질량 0.1–2 kg, COM ±0.08 m, 관성 50–150%, 형상 ±10%.
• 정책 구성: 모든 상자 이동 모션은 하나의 멀티태스크 정책을 공유하고, 단 오르기는 참조마다 정책 하나다.

작은 수치 하나가 걸린다. 물체 질량 랜덤화 범위는 0.1–2 kg인데, 이 논문의 얼굴인 파쿠르 시퀀스에서 로봇이 옮기는 의자는 4.6 kg으로 범위 밖이다. 논문은 이 랜덤화가 “단일 참조 모션에 대해 물체 속성 일반화를 높이기 위한 것”이라고만 적고 어느 태스크에 적용했는지 구분하지 않으므로, 의자 태스크에 다른 범위를 썼는지 같은 범위를 썼는지는 원문에서 확인되지 않는다.

여기서 가장 눈에 띄는 것은 없는 것들이다. 랜덤 힘 주입(RFI), 모터 PD 랜덤화, 행동 지연 — 선행 연구가 sim2real의 표준 장비로 쓰는 항목이 전부 빠져 있다. 15 rad/s로 벽을 차고 도는 동작을 실기로 옮기면서 액추에이터 모델 랜덤화를 하나도 쓰지 않았다는 것은, 사실이라면 참조 품질이 sim2real 갭의 상당 부분을 흡수했다는 강한 주장이다. 다만 이를 검증하는 절제 실험은 논문에 없다.

직관: 왜 이 정식화가 통하는가

세 가지로 나눠 보면 선명하다.

① 오차를 어디로 보낼지 정하는 문제. 인간과 로봇의 체형이 다르면 모든 것을 동시에 맞출 수 없고, 오차는 반드시 어딘가로 간다. 키포인트 매칭은 오차를 접촉면으로 보낸다(위치를 맞추려다 손이 상자를 뚫는다). Laplacian 변형 최소화 + 하드 제약은 오차를 전역 자세로 보낸다(접촉은 유지하고 몸 전체가 조금 다르게 선다). 로봇 제어의 관점에서 후자가 압도적으로 낫다 — 전역 자세 차이는 RL이 흡수하지만, 관통한 참조는 물리적으로 재현 불가능한 목표를 주는 것이기 때문이다.

② 하드 제약이 튜닝을 없앤다. VideoMimic은 같은 목표(현실적 접촉)를 소프트 페널티로 추구하는데, 논문은 그 페널티가 키포인트 매칭 비용과 경쟁하면서 상호작용 보존이 가장 나빠졌다고 본다. 게다가 VideoMimic의 충돌 모델은 원래 heightmap용으로 설계된 것이라 정밀한 로코마니퓰레이션에는 조악하다. 하드 제약은 가중치 균형 문제 자체를 없앤다 — 이 논문이 “튜닝 민감도를 원천적으로 회피한다”고 말하는 지점이다.

③ 증강이 물리적으로 의미 있는 이유. 흔한 증강은 시뮬레이션에서 물체 자세를 랜덤화하고 정책이 알아서 적응하기를 기대한다(도메인 랜덤화). 논문은 이 방식이 자기들의 최소 RL 형식에서는 잘 안 된다고 보고한다 — 정책이 nominal 참조에서 멀리 탐색하지 못하기 때문이다. OmniRetarget의 증강은 정책이 아니라 참조 자체를 새 상황에 맞게 다시 푼다. 즉 “다른 곳에 놓인 상자를 집는 동작”을 정책에 추측시키는 대신 기구학적으로 타당한 답을 미리 계산해 준다. 다만 이 DR 대비 비교는 정량 수치 없이 “영상으로 비교하라”로 처리된다(§V-A.b) — 논문의 서술 중 근거가 가장 약한 대목이다.

실험 1 — 운동학 품질(Tab. II)

평가 지표는 셋이다. 관통(궤적 길이로 정규화한 지속시간 + 최대 깊이), 발 미끄러짐(원하는 접지 길이로 정규화한 지속시간 + 최대 미끄러짐 속도), 접촉 보존(원하는 접촉 길이로 정규화한 지속시간; 로봇-물체는 손-물체, 로봇-지형은 손·발끝·뒤꿈치-지면).

Tab. II 재현.

Method	Penet. Dur. ↓	Penet. Max Depth (cm) ↓	Skate Dur. ↓	Skate Max Vel. (cm/s) ↓	Contact Dur. ↑	RL Success ↑
Robot-Object (OMOMO)
PHC	0.68 ± 0.21	5.11 ± 3.09	0.05 ± 0.05	1.40 ± 0.80	0.96 ± 0.09	71.28% ± 22.55%
GMR	0.83 ± 0.14	8.50 ± 3.94	0.02 ± 0.01	1.46 ± 0.45	0.99 ± 0.04	50.83% ± 23.89%
VideoMimic	0.60 ± 0.27	7.48 ± 4.95	0.12 ± 0.07	1.50 ± 0.70	0.77 ± 0.25	3.85% ± 8.41%
OmniRetarget	0.00 ± 0.01	1.34 ± 0.34	0	0	0.96 ± 0.09	82.20% ± 9.74%
Robot-Terrain (In-House MoCap)
PHC	0.66 ± 0.36	7.74 ± 4.53	0.15 ± 0.04	2.03 ± 1.83	0.45 ± 0.28	52.63% ± 49.93%
GMR	0.91 ± 0.16	5.72 ± 3.84	0.04 ± 0.05	1.75 ± 3.01	0.67 ± 0.26	78.94% ± 40.77%
VideoMimic	0.83 ± 0.11	5.97 ± 3.58	0.14 ± 0.05	1.85 ± 1.38	0.47 ± 0.25	51.75% ± 49.23%
OmniRetarget	0.01 ± 0.02	1.37 ± 0.18	0	0	0.72 ± 0.19	94.73% ± 22.33%
Robot-Only (LAFAN1)
Unitree 공개 데이터셋	0.09 ± 0.13	3.22 ± 2.64	0.06 ± 0.03	1.46 ± 0.01	N/A	100%
OmniRetarget	0.00 ± 0.00	1.07 ± 0.00	0	0	N/A	100%

읽을 때 반드시 분리해야 할 것이 있다. 발 미끄러짐의 0/0은 측정 결과가 아니라 제약 (3e)의 정의다. 지지발을 등식으로 고정했으니 미끄러짐이 0인 것은 동어반복에 가깝다. 관통도 마찬가지로 하드 제약 (3b)의 대상이고, 1.34 cm의 잔여는 저자들이 솔직하게 밝히듯 sequential SOCP에서 제약을 선형화한 탓이다. (공개된 평가 코드를 보면 이 동어반복이 여유 폭까지 계산된다 — 제약 상한은 프레임당 1 mm인데 지표의 판정 문턱은 10 mm다. 아래 공개 상태 절과 약점 절에서 따진다.)

그래서 정말로 정보가 있는 열은 접촉 보존과 다운스트림 RL 성공률 둘이다. 그리고 접촉 보존은 하드 제약이 아니라 Laplacian 목적에서 창발하는 양인데, 여기서 OmniRetarget은 로봇-물체에서 PHC와 동률(0.96)이고 GMR(0.99)보다 낮다. 저자들의 설명은 타당하다 — GMR의 높은 점수는 손을 물체 안에 밀어 넣어서 얻은 것이라 관통 8.50 cm와 짝을 이룬다. 하지만 “접촉 보존 지표 자체가 관통을 구분하지 못한다”는 뜻이기도 하므로, 이 표에서 OmniRetarget의 우위를 순수하게 지지하는 열은 사실상 마지막 하나다.

LAFAN1 행도 같은 맥락에서 읽을 만하다. 운동학 지표는 모두 개선되지만 다운스트림 RL은 양쪽 모두 100%다. 즉 “관통 0.09 → 0.00”은 순수 로코모션에서는 정책 성능에 아무 차이를 만들지 않는다. 품질 개선이 성능으로 환산되는 것은 접촉이 태스크의 본질인 구간에서다. 이건 논문의 주장을 약화시키는 게 아니라 범위를 정확히 한정하는 결과인데, 본문은 이 대비를 짚지 않는다. (부수적으로, OmniRetarget의 LAFAN1 최대 관통 깊이가 1.07 ± 0.00으로 표준편차가 정확히 0인 점은 설명되지 않는다 — 여러 모션을 집계한 값에서 나오기 어려운 형태다.)

베이스라인 아티팩트(Fig. 7) — 그림 안 라벨 그대로: (a) PHC “관통(1 & 3) / 접촉 아님(2)”, (b) GMR “관통(1 & 2)”, (c) VideoMimic “상호작용 비보존”, (d) OmniRetarget “주요 아티팩트 없음 / 접촉 보존”.

실험 2 — 다운스트림 RL과 그 성공률의 정체

39개 난이도 높은 모션에 대해 BeyondMimic의 하이퍼파라미터를 그대로 써서 정책을 학습하고, 시뮬레이션에서 평가한다. 논문은 39개의 내역을 적지 않지만 나눌 수 있다 — 지형 과제의 성공률 52.63%·78.94%·94.73%가 각각 10/19·15/19·18/19와 자릿수까지 일치하므로 지형 19개, 따라서 물체 20개다. 성공은 “학습 종료 기준을 넘지 않는 것”으로 정의된다 — 즉 태스크 완료가 아니라 참조 추종이 임계 안에 머무는 것이다. 그래서 임계값이 곧 성공의 정의인데, 공개된 학습 설정의 물체 위치 임계는 논문이 적은 1.0 m가 아니라 0.25 m이고 논문이 말한 “신체 추종을 달성한 뒤에만 적용” 게이팅도 없다(공개 상태 절) — Tab. II의 물체 과제 수치를 재현할 때 먼저 확인해야 할 지점이다.

다운스트림 RL 평가 분포(Fig. 10) — 위: 로봇-물체(모션 20개), 아래: 로봇-지형(모션 19개). 지형 과제는 사실상 0% 아니면 100%의 이봉 분포이고, 물체 과제는 물체 속성 랜덤화 때문에 연속적으로 퍼진다.

이 그림이 표의 거대한 표준편차(예: PHC 지형 52.63% ± 49.93%)의 정체를 밝혀 준다. 지형 과제의 성공률은 모션 단위로 거의 이진이다 — 히스토그램의 막대가 0%와 100% 양 끝에만 서 있고, 위에서 본 대로 평균이 10/19·15/19·18/19로 정확히 떨어진다. 즉 ±49.93%는 “시드 간 분산”이 아니라 “어떤 모션은 아예 학습이 안 되고 어떤 모션은 완전히 된다”는 이봉성의 표현이다. 부록 E의 서술도 같다 — “PHC와 VideoMimic은 거의 절반의 모션이 통째로 실패하고, GMR은 4개에서 실패하며, OmniRetarget은 하나에서만 실패한다.”

그러면 “베이스라인 대비 10% 이상 우위”는 무엇을 뜻하는가. 지형에서는 19개 중 3개 모션을 더 살린 것(GMR 15 → OmniRetarget 18)이다. 작다는 뜻이 아니라 — 오히려 “실패하는 모션을 실패하지 않게 만든다”는 것이 평균 성능 향상보다 실용적으로 중요한 종류의 개선이다 — 표본 크기와 개선의 구조를 알고 읽어야 한다는 뜻이다. 물체 과제는 물체 속성이 크게 랜덤화돼 연속 분포가 나오고(부록 E: “동작 자체는 온건한데 물체 속성이 크게 랜덤화된 조건이라 이 과제는 정확도가 아니라 강건성을 잰다”), 여기서 VideoMimic의 3.85%는 대부분의 모션이 0% 근처에 몰린 결과다.

접촉 보존과 성공률의 관계에 대한 논문의 서술(“지형 상호작용에서 접촉 보존은 성공률에 정비례한다”)도 확인해 볼 만하다. 네 방법의 (접촉, 성공률)은 (0.45, 52.63), (0.67, 78.94), (0.47, 51.75), (0.72, 94.73)으로, 비 성공률/접촉이 117·118·110·132로 실제로 상당히 일정하다. 다만 점이 넷뿐이라 “정비례”는 관찰이지 검정이 아니다. 더 큰 유보가 하나 붙는다 — 이 관찰이 기대는 지형 접촉 보존 열 자체가 공개된 평가 코드로는 재현되지 않는다(로봇 자세를 반영하지 않는 구현, 약점 절 참조).

실험 3 — 하드웨어

추가 하드웨어 결과(Fig. 5) — (a) 물체 운반, (b)(c) 단 오르기 두 종, (d) 경사 기어 내려가기. 모두 Unitree G1.

실기 결과의 스펙트럼은 넓다. 30초 파쿠르(Boston Dynamics Atlas 도구 사용 데모에서 영감을 받은 시퀀스), 4.6 kg 의자 운반, 0.9 m 단 오르기, 경사면 기어가기. 그리고 wall-flip이 있다.

wall-flip(Fig. 6) — 약 0.5초에 완료되는 고동역학 동작. 최대 선속도 3.5 m/s, 최대 각속도 15 rad/s.

wall-flip 절은 이 논문에서 가장 정직한 부분이자 가장 조심스럽게 읽어야 할 부분이다. 정직한 이유: 인간의 발은 아치에서 굽어 접촉면과 마찰을 만들지만 로봇 발은 강체라 벽에 더 바짝 정렬해야 한다는 물리적 차이를 인정하고, 그에 맞춰 학습 설정을 완화했다고 명시한다 — 말단 위치 오차 종료 임계를 0.25 m에서 0.5 m로 늘리고, 보상에서 발 관절 방향 추종 항을 제거했다. 조심할 이유: 그 완화는 “모든 태스크가 5개 보상과 동일한 설정을 공유한다”는 Fig. 1 캡션의 주장에 대한 예외이고, 게다가 이 모션의 출처는 인간 MoCap이 아니라 상용 3D 애니메이션 에셋(ActorCore의 parkour tic-tac backflip)이다. 또 각주는 이 동작을 재현하려면 15 rad/s 이상을 측정할 수 있는 IMU가 필요하다고 밝힌다 — 하드웨어 전제 조건이다.

그리고 실기 성공률이 숫자로 제시되는 것은 wall-flip의 5/5가 유일하다. 30초 파쿠르도, 의자 운반도, 단 오르기도 시행 횟수와 성공률이 없다. 정성 시연이다.

비판적으로 보면

강점

• 문제를 올바른 층에서 푼다. “나쁜 참조를 보상으로 땜질하기”에서 “참조를 제대로 만들기”로 옮긴 것은 단순하지만 강력한 재배치다. 그 결과가 보상 5개·DR 4개·고유수용 전용이라는 놀랄 만큼 마른 RL 형식이고, 이 형식이 30초 다단계 태스크까지 간다는 것 자체가 논거다.
• 정식화가 증강을 필연적으로 만든다. 상호작용을 목적함수에 넣었기 때문에 “물체를 옮기고 다시 풀기”가 성립한다. 이것이 이 논문에서 가장 이식 가능한 아이디어다 — 이미 Regrind 리뷰가 같은 interaction mesh를 손 조작으로 가져갔다.
• 자명한 해를 스스로 찾아내 막았다. 증강이 로봇 전체의 강체 변환으로 붕괴하는 실패 모드를 인지하고 Eq. 4–5의 앵커링으로 처리한 것은, 정식화를 실제로 돌려 본 사람의 흔적이다.
• 하드 제약이라는 선택의 비용을 숨기지 않는다. 선형화 때문에 1.34 cm의 잔여 관통이 남는다는 것을 표에 그대로 싣고 원인까지 적는다.
• 부록이 베이스라인을 공정하게 서술한다. PHC·GMR·VideoMimic·IMMA의 정식화를 알고리즘 의사코드(Alg. 1–5)와 수식(Eq. 6–13)으로 각각 적어 둔 부록 A–B는, 이 분야에 들어오는 사람에게 논문 본문보다 유용할 수 있다.
• 공개 범위가 넓다. 코드(Apache-2.0)와 데이터셋(MIT)이 실제로 나와 있다 — 아래 공개 상태 절.

약점·한계

• 절제 실험이 하나도 없다. 논문 전체에서 “ablation”이라는 단어가 등장하지 않는다. 핵심 주장은 “interaction mesh + 하드 제약”인데, (i) Laplacian 목적 vs 키포인트 매칭, (ii) 하드 제약 vs 소프트 페널티, (iii) 메시에 물체·환경 점을 넣는 것의 효과 — 이 셋 중 어느 것도 분리 측정되지 않았다. 비교는 전부 여러 축이 동시에 다른 외부 베이스라인과의 비교다. 예를 들어 “PHC를 그대로 두고 하드 제약만 추가”했을 때 얼마가 회복되는지는 알 수 없다.
• Tab. II의 상당수 열이 정의상 이긴다 — 그리고 공개된 평가 코드가 이를 산수로 확정한다. 발 미끄러짐 0/0과 관통 ≈0은 각각 제약 (3e)·(3b)의 직접적 귀결이다. 지표가 방법의 제약과 같은 공간에서 정의돼 있으면 그 승리는 부분적으로 동어반복인데, 이 논문은 여유 폭까지 계산할 수 있다: 최적화가 지지발에 거는 상한은 프레임당 1 mm(foot_sticking_tolerance = 1e-3)인데 평가가 미끄러짐으로 판정하는 문턱은 프레임당 10 mm(sliding_threshold = 0.01)다 — 10배 여유다. 게다가 “어느 프레임이 지지 상태인가”를 정하는 함수와 임계값이 제약 쪽과 평가 쪽에서 완전히 동일하다(§공개 상태). 즉 제약을 만족하는 해는 이 지표에서 0을 못 받을 수가 없다.
• 접촉 보존 지표는 표면 거리가 아니라 반지름 0.28 m 공이다. 물체 과제의 접촉 보존은 양 손목이 물체 로컬 원점에서 0.28 m 이내인지로 판정하고, 사람 쪽이 접촉인데 로봇 쪽이 아닌 프레임의 비율을 뺀다(evaluate_contact_precision). 관통은 이 지표에 전혀 보이지 않는다 — GMR이 상자를 8.50 cm 뚫으면서도 0.99를 받는 이유가 지표 정의에 그대로 있다. 본문이 “GMR의 높은 점수는 키포인트 매칭 목적의 반영”이라고 설명하는 것은 맞지만, 더 정확히는 지표가 손목이 공 안에 있기만 하면 되는 느슨한 정의라서다.
• 🚩 지형 접촉 보존 지표는 로봇 자세를 반영하지 않는다(공개 평가 코드 기준). evaluate_terrain_contact_precision은 for _q, demo_joints in zip(q_trajectory, human_joints_motion)로 프레임을 돌지만 _q를 한 번도 쓰지 않는다 — 루프 안에서 robot_data에 자세를 넣지도, mj_forward를 부르지도 않은 채 mj_geomDistance를 호출한다. 따라서 거리 계산은 직전에 실행된 evaluate_penetration이 남긴 마지막 프레임 자세에 고정된다(물체 과제 쪽 evaluate_contact_precision은 프레임마다 _get_robot_link_positions로 qpos를 갱신하므로 이 문제가 없다). 이 리뷰의 재현 단계에서도 climbing 시퀀스 5개가 전부 1.000 ± 0.000이 나왔다 — 논문의 0.72±0.19와 어긋난다. Tab. II의 로봇-지형 접촉 보존 열은 현재 공개된 코드로는 재현되지 않으며, 그 열에 기댄 “지형에서 접촉 보존이 성공률에 정비례한다”는 §V-B의 관찰도 함께 유보해야 한다. (논문 수치를 만든 내부 평가 코드가 이와 달랐을 가능성은 배제할 수 없다.)
• 증강 vs 도메인 랜덤화 비교에 수치가 없다. §V-A.b의 “DR만으로는 성능이 나쁘다”는 주장은 이 논문에서 증강의 가치를 지지하는 유일한 대조인데 표도 그림도 없이 “영상으로 비교하라”로 처리된다. 저자들이 “추가 보상 설계가 도움이 될 수 있음은 인정하지만 최소 설계 목표에 반한다”고 덧붙이는 것은 정직하지만, 그 인정이 대조의 부재를 메우지는 않는다.
• 같은 논리가 베이스라인 비교에도 적용된다(필자 판단). 다운스트림 RL 비교는 깨끗한 참조를 전제로 설계된 BeyondMimic의 최소 보상 형식을 모든 방법에 동일하게 적용한다. 공정한 통제이긴 하지만, 아티팩트를 가정한 보상(접촉·체공 시간 정규화 등)을 쓰는 것이 관례인 베이스라인들에게는 불리한 통제이기도 하다. 논문 스스로 §II-B에서 “실무자들은 아티팩트를 보상 공학으로 보상한다”고 적고 있으므로, 그 보상 공학을 허용한 조건의 비교가 한 줄이라도 있었다면 주장이 훨씬 강해졌을 것이다.
• 실기 정량화가 wall-flip 5/5 하나뿐이다. 30초 파쿠르는 이 논문의 얼굴인데 시행 횟수가 없다. n=5인 wall-flip조차 95% 이항 신뢰구간이 대략 48~100%라 “견고하다”는 형용을 지탱하기엔 표본이 작다.
• “모든 태스크가 동일한 설정을 공유한다”에 명시된 예외가 있다. wall-flip은 종료 임계를 2배로 늘리고 보상 항 하나를 제거했다. 논문 본문은 이를 투명하게 적지만, Fig. 1 캡션과 초록의 “shared by all tasks”는 그 예외를 담지 않는다.
• 시스템·계산 정보가 거의 없다. 어떤 시뮬레이터를 썼는지, GPU가 무엇인지, 정책 학습에 얼마나 걸리는지, 정책 네트워크가 무엇인지, 리타게팅 최적화가 프레임당 몇 ms인지 — 논문 어디에도 없다. RL 쪽은 전적으로 BeyondMimic 참조로 위임된다. 데이터 생성 엔진을 표방하는 논문에서 생성 처리량(throughput)이 보고되지 않는 것은 특히 아쉽다. “8시간 분량 생성”이 몇 GPU·시간인지 알 수 없다.
• 순수 기구학이다. 궤적은 기구학적으로 타당할 뿐 동역학적으로 타당하지 않다(토크 한계·중심 동역학·ZMP 제약 없음). RL이 그 간극을 메운다는 설계이고 실제로 작동하지만, 흥미롭게도 논문 스스로 IMMA는 “동역학적으로 일관된 모션”을 만든다고 §B-4에서 적는다 — 즉 이 축에서는 IMMA가 앞선다.
• 가장 가까운 선행 연구(IMMA)와의 정량 비교가 없다. 오픈소스가 아니라는 이유는 납득 가능하지만, 결과적으로 “interaction mesh를 쓴 다른 방법 대비 무엇이 나아졌는가”는 Tab. I의 정성 체크표로만 남는다.
• 프레임 단위 최적화의 한계를 저자들이 인정한다. 결론에서 전체 궤적 동시 최적화가 “비디오 같은 노이즈가 큰 모션 소스에 대한 견고성”을 높일 것이라고 적는다. 즉 현재 파이프라인은 깨끗한 MoCap/SMPL 입력을 전제한다. 비디오에서 모션을 복원하는 VideoMimic 계열이 상대적으로 잘하는 영역이 정확히 거기다.
• 초록의 데이터 규모와 공개 규모가 다르다. 논문은 8시간 이상을 생성했다고 하지만(2.78 + 4.6 + 1), LAFAN1 리타게팅분 4.6시간은 라이선스 때문에 배포되지 않는다 — 실제 공개는 4.0시간이다. 프로젝트 페이지는 “9시간 이상”으로 적고 있어 arXiv v3 본문(8시간)과도 어긋난다.

🔧 코드·데이터 공개 상태 (2026-09-11 확인)

이 절은 논문의 주장이 아니라 필자가 공개 저장소를 직접 확인한 사실이다. 논문은 “will be publicly released”라고만 적고 GitHub 링크를 포함하지 않으며, 저장소 링크는 프로젝트 페이지의 “Code” 버튼에서 확인된다.

• 코드: amazon-far/holosoma, Apache-2.0, Python. 2026-09-09에도 푸시가 있는 활성 저장소다. 이 논문의 구현은 모노레포의 한 축인 src/holosoma_retargeting/이고, 나머지 두 축은 학습(holosoma)과 배포(holosoma_inference)다. 논문이 명시하지 않은 시뮬레이터는 저장소 기준으로 IsaacGym / IsaacSim / MuJoCo Warp(학습)와 MuJoCo(추론)를 지원한다. demo_scripts/demo_omomo_wb_tracking.sh·demo_lafan_wb_tracking.sh가 리타게팅→변환→전신 추종 학습을 한 번에 도는 데모로 제공된다.
• 데이터셋: HuggingFace omniretarget/OmniRetarget_Dataset, MIT. robot-object/(OMOMO, 3.0 h) + robot-terrain/(자체 MoCap, 0.5 h) + robot-object-terrain/(자체 MoCap, 0.5 h) = 4.0시간. 각 .npz는 fps와 qpos를 담고, qpos는 로봇 36D(부동 베이스 7 + 관절 29)에 물체가 있으면 7D를 더해 43D다. LAFAN1 리타게팅분은 라이선스 문제로 배포하지 않고, 대신 코드로 직접 리타게팅하라고 안내한다.

논문에 없고 코드에만 있는 값. 재현하려는 사람에게 실질적인 항목들이다(리타게터는 src/holosoma_retargeting/holosoma_retargeting/src/interaction_mesh_retargeter.py, 설정 배선은 examples/robot_retarget.py·config_types/retargeter.py, 평가 지표는 evaluation/eval_retargeting.py에서 직접 읽음).

2026-09-11 확인, upstream main. 리타게팅 관련 행은 src/holosoma_retargeting/, RL 종료 행은 src/holosoma/holosoma/config_values/wbt/g1/termination.py.

항목	코드 값	논문
신뢰영역 반경 \varepsilon	step_size = 0.2	\varepsilon = 0.2 (Eq. 15g) — 일치
SQP 반복 수	첫 프레임 50, 이후 10	“up to 10 iterations”(부록 D) — 첫 프레임 예외는 미기재
지지발 고정 허용오차	foot_sticking_tolerance = 1e-3 (±1 mm 상자)	등식 p^F_t = p^F_{t-1} (Eq. 3e)
비관통 허용오차	penetration_tolerance = 1e-3	미기재
Laplacian 가중 / 평활 가중	10 / 0.2	미기재
nominal 추종 가중	w_nominal_tracking_init = 5.0	Eq. 4의 가중 W — 값 미기재
nominal 추종 감쇠 \tau	태스크마다 다르다 — 물체·robot-only는 10(프레임), climbing은 1e6(사실상 감쇠 없음)	감쇠 자체가 미기재
지지발 판정 임계	velocity_threshold = 0.01 — 단 프레임 간 변위(m)를 비교(dt로 나누지 않음)	“수평 속도 1 cm/s 미만”(§III-A)
충돌 검출 임계	0.1 m	미기재
볼록 솔버	cvxpy + CLARABEL	“customized SQP-style solver” / “Sequential SOCP”
기구학·충돌 백엔드	MuJoCo(mj_jac, mj_geomDistance)	“Drake의 자동미분”(§III-A)
평가: 미끄러짐 판정	sliding_threshold = 0.01 — 프레임당 변위 10 mm 초과 시 미끄러짐	Tab. II “Foot Skating”
평가: 접촉 보존(물체)	양 손목이 물체 로컬 원점 기준 반지름 0.28 m 공 안인지	Tab. II “Contact Preservation”
RL 종료: 말단 위치	bad_motion_body_pos_threshold = 0.25 (양 발목·양 손목)	“0.25 m”(§V-A.a) — 일치
RL 종료: 물체 위치	bad_object_pos_threshold = 0.25	“1.0 m”(§IV) — 코드가 1/4
RL 종료: 물체 방향	bad_object_ori_threshold = 0.8 rad ≈ 45.8°	“45°”(§IV) — 사실상 일치

백엔드·솔버 두 행이 논문 서술과 갈린다. 논문은 쿼터니언 부동 베이스 미분을 위해 Drake를 쓴다고 적지만, 공개된 리타게터는 MuJoCo로 자코비안·충돌 거리를 계산하고 cvxpy/CLARABEL로 SOCP를 푼다(drake import 0건, 의존성 목록에도 없다). 어느 쪽이 틀렸다기보다 논문이 기술한 구현과 배포된 구현이 다른 것으로 보이며, 재현 시에는 후자가 기준이다.

\tau 행은 풀어 쓸 필요가 있다. build_retargeter_kwargs_from_config는 nominal_tracking_tau를 task_type == "climbing"일 때만 리타게터에 넘기고, 그때 넘어가는 RetargeterConfig의 기본값이 1e6이다. 반대로 물체 상호작용·robot-only는 이 kwarg가 아예 안 넘어가 InteractionMeshRetargeter.__init__의 클래스 기본값 10.0이 쓰인다. 결과적으로 증강 시 원 궤적 앵커링(Eq. 4)의 가중이 e^{-i/\tau}로 감쇠하는데, 물체 태스크에서는 10프레임 만에 사실상 사라지고(데이터가 30 fps이므로 약 0.33초 — fps는 데이터셋 카드 기준 필자 환산) climbing에서는 전 구간 유지된다. 논문 §III-B는 이 앵커링을 “증강이 단순 강체 변환으로 붕괴하는 것을 막는 장치”로만 설명하고 감쇠도, 태스크별 차이도 언급하지 않는다.

지지발 임계도 논문과 어긋난다. 논문은 “원본 모션의 수평 속도 1 cm/s 미만”이라고 적는데, 코드의 extract_foot_sticking_sequence_velocity는 이름과 달리 프레임 간 변위(m)를 dt로 나누지 않고 0.01과 비교한다. 두 값이 같아지려면 프레임 간격이 1초여야 하므로, 30 fps 기준 실효 임계는 약 0.3 m/s다(필자 환산). 같은 함수·같은 기본값이 리타게팅의 제약 마스크와 평가 지표 양쪽에서 그대로 쓰인다(robot_retarget.py와 eval_retargeting.py 모두 동일 호출) — 앞 절의 동어반복 논점과 직결된다.

RL 종료 조건 세 행은 Tab. II의 “성공”이 무엇인지를 바꾼다. 이 논문에서 다운스트림 성공은 “학습 종료 기준을 넘지 않는 것”으로 정의되므로, 종료 임계가 곧 성공의 정의다. 좋은 소식부터: 말단 위치 임계 0.25가 §V-A.a의 “다른 모션에서 쓰는 0.25 m”와 정확히 일치해, wall-flip에서 이를 0.5로 늘렸다는 서술의 대응물이 코드에서 확인된다(대상 링크도 양 발목·양 손목으로 “end-effector”와 부합). 물체 방향 임계 0.8 rad ≈ 45.8°도 논문의 45°와 사실상 같다. 그런데 물체 위치 임계는 코드가 0.25로, 논문이 적은 1.0 m의 1/4이다. 물체 임계 두 개가 각각 신체 쪽 임계(bad_motion_body_pos_threshold = 0.25, bad_ref_ori_threshold = 0.8)와 정확히 같은 값인 것을 보면 오타라기보다 신체 기준을 물체에 그대로 재사용한 결과로 보이는데, 어느 쪽이든 공개 설정으로 재현하면 논문보다 4배 엄격한 기준으로 채점된다.

더 눈에 띄는 것은 논문 §IV의 유보 문구다 — “이 기준은 정책이 어느 정도 합리적인 신체 추종을 달성한 뒤에만 적용한다”. 공개된 BadTracking.__call__에는 그런 게이팅이 없다: if motion_command.motion.has_object:이면 물체 위치·방향 위반을 무조건 bad_tracking에 OR로 합친다. 신체 추종 품질을 보는 조건도, 스텝 수 기반 지연도 없고, WBT 커리큘럼 설정(config_values/wbt/g1/curriculum.py)의 reset_terms·step_terms는 비어 있다(에피소드 길이 추적기만 등록돼 있으며, 이는 초록의 “without any learning curriculum”과도 일관된다). 즉 논문이 서술한 단계적 적용은 공개 기본 설정에 구현돼 있지 않다. 저자들이 학습을 수동으로 2단계로 돌렸다면 단일 config에는 남지 않았을 수 있으므로 단정하지는 않는다 — 다만 재현자가 “설정만 그대로 쓰면 논문과 같은 조건”이라고 가정하면 안 된다는 뜻이다.

관련 연구와의 자리 매김

리타게팅 계보. 그래픽스에서 출발한 흐름(Gleicher 1998의 하드 제약 스케일링, Ho et al. 2010의 interaction mesh, 변형 에너지 최소화 계열)이 로보틱스로 넘어오면서 물리 제약이 필수가 됐다. PHC는 그래픽스 방법을 로보틱스가 채택한 대표 사례이고, GMR은 거기에 방향 매칭을 더했지만 같은 아티팩트를 겪는다. VideoMimic은 소프트 접촉·충돌 페널티로 현실성을 높였으나 보장이 없다. OmniRetarget은 이 계보에서 Ho et al.의 interaction mesh를 로봇의 하드 제약과 처음으로 하나의 최적화에 통합한 자리다. 손 조작 쪽 리타게팅 문제는 결이 다르다 — Retargeting Survey 리뷰와 Kinematic Motion Retargeting 리뷰가 그쪽 지형을 다루는데, 접촉을 보존하려는 동기는 공유하면서도 전신 부동 베이스·지형 상호작용이라는 축이 빠져 있다.

전신 모션 추종 계보. OmniRetarget은 추종기를 새로 만들지 않는다. BeyondMimic의 최소 보상 형식을 그대로 쓰고, 자기 기여를 그 형식이 작동하기 위한 전제(깨끗한 참조)를 공급하는 것으로 규정한다. 이 분업은 명확하고 정직하다. 추종 쪽을 대규모로 밀어붙이는 방향은 Sonic 리뷰가, 리타게팅+추종을 하나의 파운데이션 모델 스택으로 묶는 방향은 HoloMotion-1 리뷰가 다룬다. 전체 지형은 HLC Survey를 참고하면 좋다.

같은 팀의 인접 작업. TWIST2 리뷰가 같은 Amazon FAR 라인에서 나온 데이터 수집 인프라 논문이다. 두 논문을 나란히 놓으면 데이터 확보 전략의 두 갈래가 보인다 — TWIST2는 사람을 더 효율적으로 갈아 넣어 시연을 모으고(VR 텔레옵 + 저가 목), OmniRetarget은 시연 하나를 최적화로 불려서 데이터를 만든다. TWIST2가 리타게팅에 GMR을 쓰고 있다는 점을 떠올리면, 이 논문의 파이프라인을 그쪽에 꽂았을 때 무엇이 달라지는지가 자연스러운 후속 질문이다.

데이터 증강 계보. 조작 쪽에서는 MimicGen·DexMimicGen·SkillMimicGen 같은 개루프 기구학 리플레이, 생성 모델 기반 시각·의미 증강, 궤적 최적화 기반 증강(Yang et al. RSS 2025, 이 논문 1저자의 선행 작업)이 이미 자리를 잡았다. 전신 로코마니퓰레이션에서는 이 축이 비어 있었고, 가장 가까운 Starke et al. 2019는 키포인트 보간으로 물체 형상만 다룰 수 있었다. OmniRetarget이 메우는 구멍이 정확히 여기다.

손 조작으로의 이식. 이미 후속 사례가 있다 — Regrind는 손 키포인트와 물체 키포인트를 한 점 집합으로 놓고 Delaunay 사면체화하는 방식을 OmniRetarget에서 직접 차용해, 단일 시연 기반 접촉 풍부 조작 RL 레시피를 만든다. 정식화가 스케일(전신 ↔︎ 손)을 건너 이식된 사례로 이 논문의 일반성을 보여 준다.

요약

OmniRetarget의 기여는 “interaction mesh를 휴머노이드 리타게팅에 하드 제약과 함께 통합했다”는 한 문장으로 요약되지만, 그 한 문장이 데이터 증강이라는 두 번째 기여를 자동으로 끌고 온다는 점이 이 논문의 설계적 아름다움이다. 관계를 보존하는 문제로 바꾸면 관계의 한쪽 끝을 흔들어 새 데이터를 만들 수 있고, 그렇게 만든 데이터가 보상 5개·DR 4개·고유수용 전용이라는 마른 RL 형식으로 30초 파쿠르까지 간다. ICRA 2026 최우수 논문상은 이 사슬 전체의 완결성에 대한 평가로 읽힌다.

동시에 이 리뷰가 반복해서 짚은 두 가지를 기억해 두는 것이 좋다. 첫째, Tab. II의 압도적 숫자 중 상당수는 하드 제약의 동어반복이고 — 공개된 평가 코드에서 제약 상한(프레임당 1 mm)과 지표 문턱(10 mm)이 10배 차이라는 것까지 확인된다 — 실제 정보는 다운스트림 RL 성공률 열에 있다. 그리고 그 열은 지형 과제에서 19개 중 3개 모션의 차이다. 둘째, 절제 실험이 전무하다. interaction mesh가 이기는 것인지, 하드 제약이 이기는 것인지, 물체 점을 메시에 넣은 것이 이기는 것인지 논문으로는 분리할 수 없다.

그럼에도 이 논문의 수명을 결정할 것은 논문 자체가 아니라 공개된 자산일 가능성이 높다. Apache-2.0 코드(리타게팅 + 학습 + 배포)와 MIT 데이터셋 4.0시간이 실제로 나와 있고, 데모 스크립트가 OMOMO·LAFAN 두 경로를 끝까지 돌게 준비돼 있다. 논문이 명시하지 않은 시뮬레이터·솔버·허용오차가 전부 저장소에서 읽히는 상태라는 것은, 이 파이프라인이 다른 연구실의 데이터 생성 기본값이 될 조건을 갖췄다는 뜻이다. 남은 검증은 “저자들의 손을 떠난 모션에서도 같은 품질이 나오는가”인데, 저자들 스스로 결론에서 프레임 단위 최적화가 노이즈 큰 소스(비디오)에 취약할 수 있다고 적어 두었다.