📃LATENT 리뷰

humanoid

sim2real

latent-action

motion-tracking

Learning Athletic Humanoid Tennis Skills from Imperfect Human Motion Data

Published

October 14, 2026

Paper Link (arXiv:2603.12686v1)
Code (GitHub): 2026-10-14 확인 시점(커밋 a931da5) 기준 1단계 모션 트래커 학습 코드와 모션 데이터 일부만 공개돼 있다. 온라인 증류·잠재 행동 모델·상위 정책·공 환경·sim-to-real 설계·체크포인트는 README TODO로 남아 있고, 1저자는 issue #6(2026-06-11)에서 회사 정책상 당분간 추가 공개가 없다고 답했다. 루트 LICENSE 파일은 없다. 공개된 트래커를 이 블로그에서 직접 학습·평가한 범위는 재현 노트에 있다.
Project
Zhikai Zhang*, Haofei Lu*, Yunrui Lian*, Ziqing Chen, Yun Liu, Chenghuai Lin, Han Xue, Zicheng Zeng, Zekun Qi, Shaolin Zheng, Qing Luan, Jingbo Wang, Junliang Xing, He Wang, Li Yi (* 동등 기여)
Tsinghua University · Peking University · Galbot · Shanghai Qi Zhi Institute · Shanghai AI Laboratory
arXiv preprint, 2026 (v1 2026-03-13. 논문에 학회 채택 표기는 없다)

💡 테니스 경기 전체를 모캡으로 찍는 대신 포핸드·백핸드·사이드 스텝 같은 기본 동작 조각만 3 m × 5 m 공간에서 5시간 모아, 그 “불완전한” 데이터를 잠재 행동 공간으로 압축한 뒤 RL 상위 정책이 교정하고 조합하게 해서 휴머노이드 테니스를 배운다.
⚙️ 오른손목 3관절을 뺀 채 교란을 견디도록 트래커를 학습하고 학습 가능한 조건부 사전분포를 가진 잠재 모델로 증류한다. 상위 정책은 손목을 직접 교정하는 행동과, 사전분포 평균 주위 \lambda\sigma^p\tanh(\cdot) 범위로 묶인 잔차 잠재 행동(Latent Action Barrier)을 함께 낸다.
🎯 시뮬레이션 포핸드 반환 성공률 96.52%(PULSE 71.85%, AMP 41.32%, PPO·MotionVAE는 수렴 실패)를 보고하고, Unitree G1 실기에서 반환 공 20개 중 17개(85%, Table 5 비율에서 역산)를 상대 코트 안에 넣으며 사람과 다구 랠리를 이어 간다.

📌 2026-10-14 갱신. 거칠게 찍은 사람 동작이 G1의 테니스 상황(공에 반응, 손목 보정, 코트 이동)에 어떻게 맞춰지는지를 단계별로 따라가는 절 적응 파이프라인 상세를 추가했다. 공개 코드의 전처리·트래커 구현을 파일:라인으로 대조했고, 저자가 DAgger 참고처로 지목한 OpenTrack도 읽었다. 기존 서술 중 틀린 것은 없었고 수치도 바꾸지 않았다. 상세는 맨 끝 갱신 노트 참조.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

테니스를 치는 휴머노이드를 학습시키려면 참고할 동작 데이터가 필요하다. 텔레오퍼레이션으로는 6 m/s 넘는 질주와 15~30 m/s 공에 대한 수 ms 단위 타격을 시연할 수 없고, 실제 경기를 모캡으로 찍으려면 코트 절반을 덮는 이동 범위·여러 번 이어지는 랠리·라켓을 쥔 손목의 미세 동작을 한꺼번에 잡아야 한다. 방송 영상에서 동작을 뽑는 Vid2Player3D(Zhang et al., 2023) 같은 우회로는 검출·카메라 추정·2D/3D 자세 추정을 엮은 복잡한 파이프라인과, 물리적으로 불가능한 잔차 힘을 필요로 했다.

LATENT는 질문을 바꾼다. 완전한 테니스 데이터가 아니라 기본기 조각만 있으면 되지 않을까. 아마추어 5명이 3 m × 5 m 모캡 공간에서 포핸드·백핸드·사이드 셔플·크로스오버 스텝 등을 편집·라벨링 없이 5시간 녹화한다. 이 데이터는 두 가지 의미에서 불완전하다. 손목 동작이 부정확하고(Imprecise), 이 기술들을 언제 어떻게 써서 공을 돌려보내는지에 대한 정보가 전혀 없다(Incomplete). 논문의 주장은 이 준현실적 데이터도 기본 운동 기술에 대한 사전지식으로는 충분하고, 교정과 조합은 RL이 맡으면 된다는 것이다.

실기 결과 요약(Fig. 1). (a) 사람과의 다구 랠리에서 코트 여러 위치를 오가며 포핸드·백핸드를 쓰는 장면의 합성, (b) 최고 속도 15 m/s를 넘는 공을 치는 순간들.

프로젝트 페이지의 "Multi-shot Rallies" 영상 1(20초, 재인코딩). 화면 오른쪽 숫자는 이어진 타구 수로, 이 클립에서는 6까지 올라간다. 로봇은 네트 건너편(화면 위쪽)에 있다.

핵심 방법론:

세 단계로 쌓는다(Fig. 2). (a) Any2Track(Zhang et al., 2025) 프레임워크로 모션 트래커 \pi_\text{tracker}(\hat a^\text{body}_t\mid s_t,\tilde s_{t+1})를 학습하되 오른손목 3관절(roll·pitch·yaw)의 제어 신호를 빼고 그 관절에 무작위 교란을 건다. (b) 트래커를 DAgger 방식 온라인 증류로 인코더-디코더 잠재 모델에 옮기는데, 사전분포를 고정된 \mathcal N(0,I)가 아니라 상태 조건부 학습 가능 분포 \mathcal P(z^p_t\mid s_t)=\mathcal N(\mu^p(s_t),\sigma^p(s_t))로 둔다.

\mathcal L=\lambda_1\,\mathbb E\big[\lVert\hat a^\text{body}_t-a^\text{body}_t\rVert^2\big]+\lambda_2\,D_\text{KL}\big(\mathcal E(z^q_t\mid s_t,\tilde s_{t+1})\,\Vert\,\mathcal P(z^p_t\mid s_t)\big)

상위 정책은 잠재 행동과 손목 교정 행동을 함께 출력하고, 잠재 행동은 사전분포 평균 주위의 마할라노비스 형태 상자 안으로 묶인다(Eq. 4).

a^\text{full}_t=\Big[\,\mathcal D\big(s_t,\ \mu^p_t+\lambda\,\sigma^p_t\cdot\tanh(a^\text{latent}_t)\big),\ a^\text{correct}_t\,\Big]

\tanh가 잔차를 (-1,1)로 자르고 상태별·차원별 표준편차 \sigma^p_t가 그 폭을 정하므로, 사전분포가 넓게 퍼진 상태에서는 멀리, 좁은 상태에서는 가까이만 탐색한다. 저자는 이것을 Latent Action Barrier(LAB)라 부른다.

주요 결과:

시뮬레이션(Table 3, 1만 회 평균): 포핸드 성공률 96.52%, 낙구 거리 오차 1.32. PULSE 71.85%/3.01, ASE 63.47%/3.62, AMP 41.32%/4.71이고 PPO와 MotionVAE는 수렴하지 못했다. 관절 가속도(Smth)와 토크도 가장 낮다.
어블레이션(Table 4): 손목 교정을 빼면 포핸드 성공률이 82.36%로, LAB를 빼면 93.12%로 떨어진다. LAB 제거의 주된 손해는 성공률보다 동작 품질 쪽이다(Smth 25.61 → 37.64, 토크 7.40 → 12.53).
실기(Table 5): 포핸드 90.90%, 백핸드 77.78%, 앞코트 88.89%, 뒤코트 81.82%. 공의 도메인 랜덤화를 빼면 14~29%, 공 관측 노이즈를 빼면 백핸드 0%까지 떨어진다.
자가 대전(Fig. 6): 시뮬레이션에서 두 로봇이 최대 25구까지 랠리를 이어 간다(50경기 중 최댓값).

결론:

새로운 것은 개별 부품보다 조합의 설계 의도다. 데이터 수집의 어려움을 “덜 완전한 데이터 + 그 결함을 정확히 겨냥한 두 장치”로 맞바꿨다. 데이터가 손목을 못 믿게 만들면 손목을 잠재 공간에서 빼서 상위 정책에 넘기고, 데이터가 “언제 무엇을 쓸지”를 안 알려 주면 RL이 그것을 배우되 사전분포가 허용하는 범위 안에서만 배우게 한다. 결과 영상은 인상적이다. 다만 실기 평가는 공 20개 규모이고, 시뮬레이션 코트가 표준 코트보다 작게 축척된 것으로 보이며(논문에 치수 없음, 그림 축에서 판독), 실기 배치에 대형 모캡 시설이 필요하다는 점은 아래 Ring에서 따로 짚는다. 공개 코드는 1단계 트래커뿐이라 논문의 테니스 수치는 제3자가 재현할 수 없다. 이 블로그가 그 트래커만 축소 학습해 본 결과는 재현 노트에 따로 정리했다. 결론만 말하면 “손목을 비운 트래커” 설계는 실측과 맞았고, 테니스 성능 주장은 확인 대상조차 공개돼 있지 않다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

데이터가 불완전하면 그 불완전함이 어디에 있는지를 구조에 새겨 넣으면 된다. LATENT의 두 장치는 각각 데이터의 두 결함에 1:1로 대응한다. 손목이 부정확하다는 결함은 “잠재 공간이 손목을 모르게 하고 상위 정책이 손목을 직접 조종하게” 하는 것으로, 과제 지식이 없다는 결함은 “RL이 기술을 조합하되 사전분포의 분산이 허락하는 범위 밖으로는 못 나가게” 하는 것으로 처리한다. 그래서 이 논문은 테니스 논문이면서 동시에 “부분적으로만 믿을 수 있는 사람 동작 데이터를 어떻게 쓰는가”에 대한 하나의 답이다.

배경: 왜 테니스 데이터는 비싼가

논문 §1이 정리하는 난점은 세 가지다. 선수는 코트 절반을 가로지르며 움직이고(대규모 이동), 여러 번 이어지는 랠리를 하며(연속 상호작용), 타격 순간의 손목 동작은 아주 정밀하다. 모캡으로 이 셋을 동시에 잡으려면 넓은 촬영 공간과 많은 카메라가 필요하다. 텔레오퍼레이션은 반응 속도 면에서 애초에 불가능하다. 인트로가 드는 수치는 질주 6 m/s 이상, 공 15~30 m/s, 공-라켓 접촉 수 ms다.

기존 흐름은 두 갈래였다.

방송 영상 경로: Vid2Player3D는 방송 영상에서 동작을 뽑아 시뮬레이션 캐릭터가 공을 목표 지점으로 돌려보내게 했다. 그러나 관절 토크 무제한, 루트에 거는 잔차 힘(Yuan & Kitani, 2020) 같은 물리적으로 불가능한 가정에 기대고 sim-to-real은 고려하지 않았다.
잠재 행동 공간 경로: 사람 동작으로 재사용 가능한 기술 공간을 만들고 상위 정책이 그 안에서 샘플링하게 하는 접근(ASE, CALM, ControlVAE, PULSE 등). 운동학 잠재 공간 + 별도 트래커 방식은 생성된 동작이 물리적으로 불가능할 때 트래커가 무너지고, 관절 행동 잠재 공간 방식(PULSE, R²S²)은 그 문제를 피하지만 데이터가 깨끗하고 과제에 맞는다는 전제를 깔고 있다.

LATENT는 두 번째 경로를 택하면서 그 전제를 버린다. 운동학 생성기와 트래커를 분리한 구조가 실제로 얼마나 취약한지는 이 논문의 MotionVAE 베이스라인이 수렴조차 못 했다는 결과(Table 3)가 보여 준다. 같은 “생성기 + 트래커” 구조를 지형 보행에 쓴 Whole-Body Loco 리뷰는 이 문제를 생성기를 고정한 채 트래커를 폐루프로 미세조정해 완화했는데, 테니스처럼 매 순간 공에 반응해야 하는 과제에서는 생성기 쪽 오차가 더 빨리 누적된다는 것이 저자의 설명이다.

방법 상세

전체 구조는 Fig. 2의 네 블록이다. 상위 정책과 하위 제어기는 50 Hz, 시뮬레이션은 공-라켓·공-지면 접촉을 정확히 모델링하기 위해 2000 Hz로 돌리고, MuJoCo의 JAX 구현(MuJoCo Playground)에서 PPO로 8 GPU 병렬 학습한다.

LATENT 개요(Fig. 2). (a) 불완전한 사람 동작으로 트래커 사전학습, (b) 온라인 증류로 교정 가능한 잠재 공간 구성(오른손목 roll·pitch·yaw에 교란), (c) 상위 정책이 손목 교정 a^\text{correct}_t와 LAB로 묶인 잠재 행동 a^\text{latent}_t를 출력하고 디코더는 고정, (d) 로봇·공 동역학 랜덤화와 관측 노이즈.

1) 불완전한 데이터 수집 (§3.1)

아마추어 테니스 선수 5명을 광학 모캡 공간에 불러 포핸드·백핸드·사이드 셔플·크로스오버 스텝 “등”을 녹화했다. 경기를 통째로 찍는 것이 아니므로 유효 촬영 영역은 3 m × 5 m면 충분했고, 저자는 이것이 “정식 테니스 코트보다 17배 이상 작다”고 쓴다(복식 코트 23.77 m × 10.97 m = 260.8 m² ÷ 15 m² ≈ 17.4로 산술은 맞다). 총 5시간을 편집·라벨링 없이 모았고 LocoMuJoCo로 G1에 리타게팅했다. 기술 종류별 분량이나 정확한 기술 목록(“and so on”)은 논문에 없다.

2) 손목을 비운 트래커 (§3.2.1)

트래커 입력은 현재 고유수용 상태 s_t(각속도·투영 중력·관절 위치·속도·직전 행동)와 다음 프레임 목표 \tilde s_{t+1}이고, 출력은 PD 목표 \hat a^\text{body}_t다. 핵심은 출력에서 오른손목(라켓 쥔 손) 제어 신호를 뺀 것이다. 리타게팅을 거치며 손목 오차가 더 커지므로 손목은 어차피 상위 정책이 고쳐야 한다. 그렇다면 트래커는 손목이 어디로 가든 나머지 몸의 균형을 지키는 법을 배워야 하므로, 학습 중 오른손목 관절에 무작위 교란을 건다.

🔎 공개 트래커 코드(커밋 a931da5, 실행 검증 아님)에서 이 “교란”은 오른손목 3관절의 PD 목표를 관절 가동 범위 전체에서 균등 추출한 값으로 0.5~2.0초마다 바꾸는 방식으로 구현돼 있고, 이 3관절은 트래킹 보상에서도 빠진다. 논문의 “random perturbations”보다 상당히 공격적인 설정이다. 이 교란 덕에 상위 정책이 손목을 어떻게 움직여도 하체가 버틸 수 있다는 논리가 성립한다.

3) 학습 가능한 사전분포를 가진 잠재 공간 (§3.2.2)

트래커를 학생 네트워크로 온라인 증류한다. 학생은 사후 인코더 \mathcal E(z^q_t\mid s_t,\tilde s_{t+1}), 상태 조건부 사전분포 \mathcal P(z^p_t\mid s_t), 디코더 \mathcal D(a^\text{body}_t\mid s_t,z^q_t)로 이뤄진 조건부 변분 정보 병목이다. 손실은 위 Ping의 식, 즉 DAgger 버퍼에서 교사 행동을 재구성하는 항(Eq. 2)과 사후-사전 KL 항(Eq. 3)의 가중합(Eq. 1)이다. 증류 중에도 손목 교란을 유지해 잠재 공간 자체가 손목 섭동에 강건해지게 한다.

사전분포를 학습 가능하게 둔 이유를 저자는 “로봇 상태마다 행동 분포가 크게 다르기 때문”이라고 쓴다(예: 사이드 셔플 중일 때와 라켓을 휘두를 때). 이 선택은 PULSE에서 왔고, LATENT가 새로 더한 것은 다음 단계에서 이 사전분포의 분산까지 쓴다는 점이다. \lambda_1,\lambda_2 값과 잠재 차원은 논문에 없다.

4) 상위 정책: 과제 설정과 보상 (§3.3.1)

상위 정책의 입력은 로봇 상태 s_t, 루트 전역 자세 g_t, 공 상태 b_t다. 에피소드마다 로봇을 코트 위 무작위 위치에 준비 자세로 놓고, 2초 간격으로 발사되는 공 8개를 연속으로 목표 지점에 돌려보내게 한다. 공의 궤적 분포는 Fig. 3과 같다.

학습용 공 궤적(Fig. 3). (a) 3D 궤적, (b) 서브 지점(◆)과 낙구 지점(×)의 평면도. 서브는 상대 코트 뒤쪽(x ≈ +4.5~+7.5 m)에서 출발해 로봇 쪽 코트(x ≈ −6~−2 m)에 떨어진다.

보상은 22개 항이다(Table 1). 과제 항은 공에 다가가기·타격 성공·낙구 세 개뿐이고 나머지는 정규화와 종료 벌점이다.

구분	항	가중치	항	가중치
Task	Approach to ball	10.0	Ball landing	30.0
Task	Hit success	200.0
Regularization	High-level action	-5\cdot10^{-3}	Torque penalty	-2\cdot10^{-5}
Regularization	Lower body action rate	-1.0	Whole body action rate	-0.5
Regularization	Racket acceleration	-1\cdot10^{-6}	Joint smoothness	-2\cdot10^{-6}
Regularization	Correction action	-5.0	Correction action rate	-1.0
Regularization	Wrist torque	-4\cdot10^{-5}	Wrist joint smoothness	-4\cdot10^{-6}
Regularization	Joint position limit	-10.0	Joint velocity limit	-5.0
Regularization	Self-collision	-10.0	Net clearance	100.0
Regularization	Ball velocity constraint	50.0	Racket velocity constraint	50.0
Regularization	Pelvis facing forward	1.0
Termination	Fall	-200.0	Miss ball	-200.0
Termination	Ball-net collision	-50.0	Ball out of bounds	-50.0
Termination	Stroke style violation	-50.0

(Table 1 그대로 옮김. 각 항의 수식 정의는 논문에 없다.)

표를 읽을 때 눈여겨볼 점이 둘 있다. 첫째, “Regularization”으로 분류된 항 중 Net clearance(100)·Ball velocity constraint(50)·Racket velocity constraint(50)는 양의 가중치이고 크기도 과제 항(낙구 30)보다 크다. 이름으로 보면 사실상 과제 성형(shaping) 보상인데, 무엇을 재는지 정의가 없다. 둘째, 종료 항 “Stroke style violation”(−50)은 무엇을 스타일 위반으로 판정하는지 논문에 없다. 동작의 자연스러움을 LAB가 보장한다는 서사와 별개로, 보상 쪽에도 스타일 규칙이 하나 숨어 있는 셈이다.

5) 손목 교정: 하이브리드 제어 (§3.3.2)

상위 정책 출력은 a^\text{planner}_t=[a^\text{latent}_t,\,a^\text{correct}_t]다. 잠재 행동은 디코더를 거쳐 손목을 제외한 몸 전체의 PD 목표가 되고, a^\text{correct}_t는 오른손목 관절 명령으로 곧장 들어간다. 이 하이브리드 방식은 Vid2Player3D에서 가져온 것이라고 저자가 밝힌다. 잠재 공간이 이미 손목 섭동에 강건하게 학습됐으므로, 상위 정책은 하체 안정성을 해치지 않고 손목을 마음대로 조정할 수 있다는 것이 설계 논리다. 보상 쪽에서는 교정 행동의 크기(−5.0)와 변화율(−1.0)에 벌점을 줘 손목이 필요 이상으로 움직이지 않게 한다.

6) Latent Action Barrier (§3.3.3)

잠재 공간에는 좋은 기술이 많지만, 제약 없이 RL을 돌리면 상위 정책이 그 공간을 착취한다. 저자가 드는 예가 구체적이다. 공을 향해 달려가는 동안 서로 다른 보행 기술 사이를 오락가락하며 전환해, 과제는 성공하지만 동작은 떨리고 부자연스러워진다.

LAB의 동기(Fig. 4). 회색 원은 잠재 공간, 녹색은 기술 다양체, 파란 선은 탐색 영역, 노란 선은 수렴 영역이다. (a) PPO는 다양체 밖을 착취(Hacking), (b) 반경을 고정한 잔차 사전분포는 다양체 밖으로 새고(OOD), (c) AMP는 다양체 일부로 쏠리며(Mode Collapse), (d) LAB는 탐색 영역이 다양체 모양을 따른다(Fit).

출발점은 PULSE·R²S²의 잔차 잠재 행동, 즉 사전분포 평균 \mu^p_t를 기준으로 한 잔차다. 그러나 기술 다양체의 모양은 평균만이 아니라 분산이 함께 정한다. 잔차의 폭을 제한하지 않으면 평균에서 멀리 떨어진 잠재 코드를 뽑아 이상한 행동으로 디코딩할 수 있다. 저자는 \sigma^p_t가 상태마다, 그리고 잠재 차원마다 크게 다르다는 관찰에서 출발해, 유클리드 거리가 아니라 분산으로 정규화한 거리로 장벽을 만든다. Eq. 4의 \mu^p_t+\lambda\sigma^p_t\tanh(a^\text{latent}_t)가 그것이다. 각 차원 i에서 잔차는 |z_i-\mu^p_{t,i}|<\lambda\sigma^p_{t,i}를 만족하므로, 탐색 영역은 사전분포 평균을 중심으로 한 축 정렬 상자이고 상자의 변 길이는 상태별 표준편차에 비례한다.

⚠️ 엄밀히 말하면 Eq. 4가 만드는 영역은 차원별 독립 상자, 즉 표준화 좌표의 L_\infty 공이다. 마할라노비스 거리의 등고선은 타원체(L_2 공)이므로 “Mahalanobis distance 기반”이라는 본문 서술은 “분산으로 각 축을 정규화했다”는 뜻으로 읽는 것이 정확하다. 대각 공분산이라 축 방향 스케일링이라는 핵심 성질은 같다. \lambda 값은 논문에 없다.

적응 파이프라인 상세: 사람 동작 조각이 G1의 테니스 행동이 되기까지

📌 이 절은 2026-10-14 갱신에서 추가했다. 위 “방법 상세”가 단계별 무엇을 하는가를 정리했다면, 이 절은 거칠게 찍은 사람 동작이 어떤 결함을 어느 단계에서 어떻게 메우며 G1의 테니스 상황(공에 반응, 손목 보정, 코트 이동)에 맞춰지는지를 따라간다.

근거의 종류를 문장마다 구분한다. [논문] arXiv v1 본문·e-print 소스에서 확인한 것. [코드] 공개 레포(업스트림 GalaxyGeneralRobotics/LATENT @a931da5)를 열어 확인한 것이고, 파일:라인은 이 커밋 기준이다(실행 검증은 아래 재현 노트의 범위만). [OpenTrack] 저자가 issue #6에서 “DAgger는 이걸 참고하라”고 한 GalaxyGeneralRobotics/OpenTrack @cb9b751을 읽기만 한 것. [해석] 위 근거들로부터 필자가 추론한 것.

데이터의 결함: 논문이 말한 둘, 그리고 그 안에 숨은 둘

[논문] 서론은 불완전함을 두 가지로 정의한다.

Imprecise(부정확): 모캡의 한계와 사람-로봇 체형 차이 때문에 라켓을 휘두르는 손목 동작이 부정확하고, 리타게팅을 거치며 오차가 더 커진다(§1, §3.2.1).
Incomplete(불완전): 데이터는 자연스러운 운동 기술에 대한 사전지식만 줄 뿐, 그 기술을 테니스 과제에 어떻게 쓰는지는 전혀 담지 않는다(§1).

이 둘 외에 원문이 다른 표현으로 언급하는 결함이 하나 더 있고, Incomplete 안에 묻혀 있는 측면이 하나 더 있다. 둘을 따로 떼어 보면 단계별 역할이 더 선명해진다.

물리적 실행 불가능성: [논문] §3.2.1은 트래커의 목적을 “노이즈가 있는 휴머노이드 동작 데이터를 실행 가능한 휴머노이드 기본 기술로 바꾸는 것”이라고 쓴다. 리타게팅된 운동학 궤적이 G1의 질량·토크 한계·접촉 아래서 그대로 재현된다는 보장이 없다는 뜻이다. [해석] 이것을 독립 결함으로 분리한 것은 필자다.
조각 사이의 연결과 코트 규모 이동의 부재: [논문] 데이터는 “motion fragments”이고 촬영 영역은 3 m × 5 m다. [해석] 따라서 데이터에는 조각과 조각을 잇는 전이 동작도, 코트를 가로지르는 이동도, 공도 없다. 컨트롤러 위임문은 이를 “커버리지 부족”이라고 불렀는데, 논문은 이 이름을 쓰지 않는다. 논문 서술로는 Incomplete의 일부로 읽는 것이 정확하다.

결함 → 보정 단계 대응표

결함	보정하는 단계	장치	근거
손목 부정확	1 트래커, 2 증류	오른손목 3관절을 행동·보상에서 빼고 무작위 목표로 흔들어, 손목과 무관하게 몸을 추종하게 함	[논문] §3.2.1·§3.2.2 / [코드] 아래
손목 부정확	3 상위 정책	손목 직접 명령 a^\text{correct}_t(하이브리드 제어)	[논문] §3.3.2
물리적 실행 불가능성	1 트래커	참조 기준 잔차 PD 목표를 RL로 학습해 G1 동역학 위에서 실행 가능한 동작으로 바꿈	[논문] §3.2.1 / [코드] 아래
과제 맥락 부재	3 상위 정책	공 상태 b_t·전역 자세 g_t를 보고 잠재 기술을 고르는 RL, 과제 보상(Table 1)	[논문] §3.3
과제 맥락 부재(착취 방지)	2 증류 + 3 상위 정책	상태 조건부 사전분포 \mathcal P(z\mid s) + LAB가 RL의 기술 조합을 데이터 분포 안으로 묶음	[논문] §3.2.2·§3.3.3
조각 간 연결·코트 이동 부재	2 증류 + 3 상위 정책	참조 없이 현재 상태만으로 행동을 내는 잠재 공간 위에서 상위 정책이 기술을 이어 붙임. 코트 위치 정보는 상위 단계에서만 들어감	[해석] (아래 근거)

flowchart TD
  A["사람 모캡 조각<br/>5명·5h·3×5 m<br/>(편집·라벨 없음)"] -->|"LocoMuJoCo 리타게팅<br/>[논문, 코드 비공개]"| B["G1 운동학 궤적<br/>(손목 부정확·물리 미보장)"]
  B -->|"50 Hz 보간·FK 확장·속도 재계산<br/>[코드]"| C["참조 동작 클립"]
  C -->|"1 트래커 PPO<br/>참조 기준 잔차, 손목 제외+무작위 목표"| D["교사 π_tracker<br/>(참조 필요)"]
  D -->|"2 DAgger 증류<br/>E(z∣s,s̃) · P(z∣s) · D(a∣s,z)<br/>[논문, 코드 비공개]"| E["잠재 기술 공간<br/>(참조 불필요, 상태 조건부)"]
  E -->|"3 상위 PPO<br/>b_t, g_t 관측 + LAB + 손목 교정"| F["G1 테니스 정책"]

(필자가 논문 Fig. 2와 공개 코드를 바탕으로 그린 도식이다. 논문 그림이 아니다.)

단계 0. 수집과 리타게팅: 논문은 한 문장, 코드는 리타게팅 이후만

[논문] 아마추어 5명이 포핸드·백핸드·사이드 셔플·크로스오버 스텝 “등”을 녹화했고, 총 5시간을 편집·라벨링 없이 모았으며, LocoMuJoCo로 리타게팅했다(§3.1). 리타게팅 설정(체형 스케일링, 대응 관절, 손목 처리, 발 접촉 보정)은 한 줄도 없다.

[코드] 공개 레포에는 리타게팅 코드가 없다(retarget·loco_mujoco를 레포 전체에서 검색해도 .py에 해당 구현이 없다). 배포된 클립은 이미 G1의 qpos·qvel·바디 위치 등을 담은 50 Hz 궤적이다. 코드에 있는 것은 리타게팅 이후의 전처리다(커밋 7441a3a “Add motion preprocessing”로 추가).

시간 정렬: 원 궤적 주파수가 제어 주기(50 Hz)와 다르면 interpolate_trajectories로 재표본화한다(g1_env_tracking_tennis.py:838, 로더 쪽도 traj_handler.py:109).
시작 전이 합성(선택): --smooth_start_end True면 기본 자세를 1초 유지한 뒤, 첫 프레임과의 발 위치 차가 0.1 m를 넘으면 두 걸음 아니면 한 걸음을 OSQP 기반 IK로 만들어 넣고, 0.3초 보간으로 원 동작에 잇는다(traj_process.py:158-160,176, start_end_transition_handler.py:181). 이름은 “StartEnd”지만 구현된 것은 시작 전이뿐이고, IK의 무게중심 항은 루트 xy로 근사한다(start_end_transition_handler.py:173,256). 학습용 로더는 이 옵션을 끈 채 호출한다(g1_env_tracking_tennis.py:741).
운동학 확장: 궤적을 MuJoCo로 재생하며 바디·사이트 위치를 채운다(ExtendTrajData, g1_env_tracking_tennis.py:859).
속도 재계산: 각·선·관절 속도를 50 Hz 유한차분으로 다시 계산한다(g1_env_tracking_tennis.py:747-749).

[해석] 여기에 물리 보정은 없다. 발 미끄러짐·관통·토크 한계 위반 같은 결함은 이 단계에서 걸러지지 않고 그대로 트래커로 넘어간다. 손목 오차도 마찬가지다. 즉 “불완전한 데이터를 받아들인다”는 논문의 태도는 전처리에서부터 일관된다. 또 README의 전처리 명령은 --task G1TrackingGeneral을 쓰는데, 레포에 등록된 태스크는 G1TrackingTennis·G1TrackingTennisDR 둘뿐이라 그대로는 돌지 않는다.

단계 1. 트래커: 참조를 “따라가되 손목은 버리는” 정책

[논문] 입력은 고유수용 상태 s_t와 다음 목표 \tilde s_{t+1}, 출력은 PD 목표 \hat a^\text{body}_t이고, 오른손목 제어 신호를 빼고 무작위 교란을 건다(§3.2.1).

[코드] 실제 구현은 논문 서술보다 구체적이고, 몇 군데는 논문이 말하지 않은 선택을 담고 있다.

항목	구현	위치	결함과의 관계
행동 정의	PD 목표 = 참조 관절각 + 정책 출력(잔차, scale 1.0)	`g1_env_tracking_tennis.py:596,636`	참조가 물리적으로 안 맞으면 잔차가 메운다(실행 불가능성)
손목 제외	오른손목 roll·pitch·yaw를 정책 행동에서 뺌 → 행동 26차원	`g1_tracking_constants_tennis.py:310-320`	손목 부정확
손목 교란	제외 관절의 PD 목표를 관절 가동범위 전체에서 균등 추출, 0.5~2.0초마다 교체	`g1_env_tracking_tennis.py:61-63,613,642`	손목이 무엇을 하든 몸이 버티게 함
보상에서 손목 제외	관절 추종·토크·행동 변화율은 활성 관절만, 바디 추종은 손목 3링크를 뺀 `valid_body_ids`만	`g1_env_tracking_tennis.py:469,1199`	부정확한 손목 참조를 학습 신호에서 차단
관측의 참조 표현	액터는 `dif_joint_pos`·`dif_joint_vel`(참조 − 현재, 29관절 전체)을 본다. 바디 위치 차 등은 비평가 전용 특권 관측	`g1_env_tracking_tennis.py:148-180,1050,1060`	논문의 \tilde s_{t+1}이 코드에선 “참조와의 관절 차”로 들어간다
루트 위치	관측에 루트 xy 위치가 없고, 보상도 루트 높이·속도만 추종	`g1_env_tracking_tennis.py:148-156`	코트 위치는 트래커의 일이 아님(아래 해석)
시작 상태	클립을 균등 선택 후 시작 프레임 균등 추출(RSI), 루트 xy ±0.1 m·yaw ±0.27 rad 노이즈	`traj_handler.py:323-324`, `g1_env_tracking_tennis.py:79-80,506-522`	짧은 조각의 모든 구간을 고르게 학습
클립 경계	참조가 다음 클립으로 넘어가면 에피소드를 잘라 리셋	`g1_env_tracking_tennis.py:689-690`	트래커는 조각 사이 전이를 배우지 않는다
종료	루트 높이 차 > 0.3 m 또는 어떤 바디든 루트 기준 위치 차 > 0.5 m	`g1_env_tracking_tennis.py:58-59,974-979`
외란	밀기(5~10초 간격, 0.1~1.0 m/s 수평 속도)와 토크 노이즈(RFI)는 DR 변형에만 적용	`g1_env_tracking_tennis_dr.py:270,406-417`	기본 변형은 config에 밀기 설정만 있고 쓰이지 않는다

[해석] 이 표에서 테니스 적응에 가장 중요한 줄은 셋이다.

“참조 + 잔차” 행동이 물리 보정의 실체다. 전처리가 물리를 고치지 않으므로, G1이 넘어지지 않으면서 참조에 가깝게 움직이는 방법은 PPO가 잔차로 찾는다. 사람 동작이 G1에 맞춰지는 첫 번째 지점이 여기다.
손목은 행동·보상 양쪽에서 빠지지만 관측에는 남는다. 정책은 손목 오차(참조 손목 − 실제 손목)를 볼 수는 있지만 고칠 수는 없다. 그래서 “손목이 이상한 곳에 가 있을 때 몸의 나머지를 어떻게 버틸지”를 상태에 따라 조정하는 법을 배울 수 있다. 이 설계가 의도대로 작동한다는 관측은 재현 노트의 손목 교란 on/off 차이 0.6 mm다.
클립 경계에서 에피소드가 잘리고 루트 위치를 보지 않는다. 트래커는 조각 하나하나를 제자리 기준으로 재현하는 법만 배운다. 조각을 잇는 일과 코트 위 위치를 잡는 일은 트래커의 몫이 아니다. 재현에서 관측된 전역 위치 드리프트(첫 20초 평균 1.87 m)가 이 설계의 직접적인 결과다.

논문은 “a motion tracker”라는 단수 표현을 쓴다. [OpenTrack] OpenTrack의 DAgger는 동작 군집마다 다른 교사를 둘 수 있게 짜여 있지만(dagger_horizon.py의 motion_clusters), LATENT가 교사를 몇 개 썼는지는 논문에 없다.

단계 2. 증류: 참조가 필요한 교사를 참조 없는 기술 공간으로

[논문] 학생은 사후 인코더·조건부 사전분포·디코더로 이뤄진 조건부 변분 정보 병목이고, 손실은 다음과 같다(Eq. 1~3, 원문 그대로).

\mathcal L=\lambda_1\mathcal L_\text{action}+\lambda_2\mathcal L_\text{KL},\qquad \mathcal L_\text{action}=\mathbb E_{(s_t,\hat a^\text{body}_t)\sim\mathcal D_\text{agg}}\big[\lVert\hat a^\text{body}_t-a^\text{body}_t\rVert^2\big], \mathcal L_\text{KL}=D_\text{KL}\big(\mathcal E(z^q_t\mid s_t,\tilde s_{t+1})\,\Vert\,\mathcal P(z^p_t\mid s_t)\big)

\mathcal D_\text{agg}는 학생의 현재 상태와 교사 행동으로 이뤄진 DAgger 버퍼다. 학생과 교사 행동 모두 오른손목 신호를 담지 않고, 증류 중에도 손목 교란을 유지한다. 사전분포를 고정된 단위 가우시안이 아니라 \mathcal P(z^p_t\mid s_t)=\mathcal N(\mu^p(s_t),\sigma^p(s_t))로 학습하는 이유는 “상태마다 행동 분포가 크게 다르기 때문”(예: 사이드 셔플 대 타격 스윙)이다.

[코드] LATENT 레포에는 이 단계의 코드가 없다. [OpenTrack] 저자가 가리킨 OpenTrack에는 DAgger 루프가 있다. 다음은 읽어서 확인한 것이다.

환경은 학생 행동으로 진행하고(dagger_horizon.py:496), 교사 행동은 같은 상태의 특권 관측으로 매 스텝 계산해 라벨로 쓴다(dagger_horizon.py:229). 논문의 “학생 상태 + 교사 행동” 버퍼 정의와 맞는다.
교사는 항상 참조 기준 잔차를 내고, 학생이 잔차가 아닌 절대 PD 목표를 내도록 하는 옵션이 있다(dagger_horizon.py:482, policy_args.py:16).
손실 로그에 kl_loss·mu_reg_loss 자리가 있지만(dagger_horizon.py:550-551), 공개된 학생 모델 클래스는 MLP 하나뿐이다(policy.py:10). 행동 손실은 MSE/MAE 중에서 고른다(policy_args.py:22).

[해석] 그래서 “LATENT의 증류 = OpenTrack DAgger”라고 단정할 근거는 없다. 확인되는 것은 DAgger 골격이 같은 계열이라는 점까지이고, LATENT의 핵심인 인코더·학습 가능 사전분포·KL 항은 OpenTrack 공개 코드에도 구현이 없다. mu_reg_loss는 논문에 없는 정규화 항의 흔적일 수 있지만, 무엇에 거는 항인지 코드로 확인되지 않으므로 해석하지 않는다.

[해석] 이 단계가 적응에서 하는 일은 조건을 바꾸는 것이다. 교사는 “참조 동작의 다음 프레임”이 있어야 움직인다. 학생의 디코더 \mathcal D(a\mid s_t,z)는 현재 상태와 잠재 코드만 있으면 움직인다. 사전분포 \mathcal P(z\mid s_t)는 “지금 이 자세에서 데이터가 그럴듯하다고 보는 다음 기술들”의 분포를 상태별로 기억한다. 덕분에 상위 정책은 참조 없이도, 그리고 데이터에서 한 번도 이어진 적 없는 두 조각 사이로도, 현재 상태에서 그럴듯한 기술을 골라 이어 갈 수 있다. 조각 간 연결이라는 결함은 이 “참조 → 상태 조건” 전환으로 메워진다. 단, 데이터에 없던 전이가 실제로 매끄럽게 나오는지는 논문이 따로 측정하지 않았다.

논문이 비워 둔 결정적인 한 가지: 디코더 출력 a^\text{body}_t가 무엇인지다. 트래커는 “참조 + 잔차”를 내지만, 상위 단계에는 참조 동작이 없다. 그러니 디코더는 절대 PD 목표를 내거나 다른 기준점에 대한 잔차를 내야 정합적이다. OpenTrack에 바로 이 전환 옵션(위 :482)이 있다는 점이 정황 증거지만, LATENT가 그 옵션을 썼는지는 논문에도 코드에도 없다. 같은 이유로 증류 때 인코더가 보는 \tilde s_{t+1}이 트래커처럼 “참조와의 관절 차”인지, 참조 프레임 자체인지도 확인되지 않는다.

단계 3. 상위 정책: 공과 코트를 처음 보는 곳

[논문] 상위 정책은 s_t, 루트 전역 자세 g_t, 공 상태 b_t를 보고 a^\text{planner}_t=[a^\text{latent}_t,a^\text{correct}_t]를 낸다. 최종 PD 목표는 다음과 같다(Eq. 4, 원문 그대로).

a^\text{full}_t=\big[\mathcal D(s_t,\ \mu^p_t+\lambda\sigma^p_t\cdot\tanh(a^\text{latent}_t)),\ a^\text{correct}_t\big]

[해석] 단계별로 쌓아 온 분업이 여기서 닫힌다.

코트 이동: 전역 정보 g_t와 공 상태 b_t는 이 단계에서 처음 들어온다. 트래커와 잠재 공간은 루트 위치를 모르므로, “공이 떨어질 곳으로 간다”는 결정은 전적으로 상위 정책이 사이드 셔플·크로스오버 같은 이동 기술의 잠재 코드를 골라 내리는 것이다. 보상의 Approach to ball(10.0)이 그 신호다. 3 m × 5 m에서 찍은 짧은 스텝 조각이 코트 규모 이동이 되는 지점이 여기다.
손목: 데이터에서 믿지 않기로 한 손목은 여기서 RL이 처음부터 배운다. 잠재 공간이 손목 교란에 강건하게 만들어졌으므로 이 자유가 하체를 흔들지 않는다는 것이 설계 논리이고, 앞의 “직관” 절 2×2 표대로 손목 교정은 성공률의 주된 원천이다.
데이터 분포 안에 머물기: 과제 보상만 쫓으면 상위 정책은 데이터에 없던 이상한 조합으로 새어 나간다. LAB는 상태별 사전분포 폭 안에서만 잔차를 허락해, “테니스에 맞게 고르되 사람이 하던 동작의 범위 안에서”라는 적응의 한계선을 긋는다.

논문이 말하지 않은 것: 등급별 정리

항목	논문	공개 코드	등급
리타게팅 세부(스케일링·관절 대응·손목·접촉 보정)	“LocoMuJoCo로” 한 문장	없음	미공개
데이터 편집·필터링·증강	“편집·라벨링 없이”	물리 보정·필터 없음. 증강은 RSI 노이즈뿐	논문과 코드 일치
시간 정렬	언급 없음	50 Hz 보간 + 속도 재계산	코드로만 확인
시작 전이 합성	언급 없음	옵션 존재(시작만), 학습 로더는 끔	코드로만 확인. 저자가 배포 데이터에 적용했는지는 모름
클립 선택 가중	언급 없음	클립 균등(길이 무관)	코드로만 확인
트래커 외란(밀기·RFI)	언급 없음	DR 변형에만	논문 파이프라인이 어느 변형을 썼는지 모름
교사 개수	“a motion tracker”(단수)	해당 없음	논문 서술
인코더 입력 \tilde s_{t+1}의 표현	기호만	비공개	미공개
디코더 출력(절대 목표 vs 잔차)	언급 없음	비공개(OpenTrack에 전환 옵션)	미공개, 정황만
잠재 차원, \lambda_1,\lambda_2,\lambda	없음	비공개	미공개
데이터에 없던 조각 간 전이의 품질	측정 없음	해당 없음	검증 공백

정리하면 사람 동작이 G1 테니스 행동으로 바뀌는 과정은 네 번의 위임이다. 리타게팅은 물리를 고치지 않고 트래커에 넘기고, 트래커는 손목과 위치를 고치지 않고 상위 정책에 넘기며, 잠재 공간은 참조를 상태 조건으로 바꿔 조합의 자유를 상위 정책에 넘기고, 상위 정책은 그 자유를 LAB 안에서만 쓴다. 공개된 것은 이 중 두 번째 위임(트래커)뿐이고, 나머지 셋은 논문 서술로만 따라갈 수 있다.

직관: 왜 이 두 장치는 서로가 필요한가

두 장치를 따로 보면 각자 익숙한 아이디어다. 하이브리드 제어는 Vid2Player3D에 있었고, 사전분포 기준 잔차는 PULSE에 있었다. 흥미로운 것은 둘이 서로의 부작용을 막는 구조라는 점이다. 이 관계는 논문이 직접 말하지 않지만 Table 3의 PULSE 행과 Table 4를 함께 놓으면 보인다.

PULSE 베이스라인은 “원 논문 절차대로 잠재 공간을 만들고 샘플링하며 손목 교정은 하지 않는다”고 설명된다. 즉 손목 교정도 LAB도 없는 구성이다. 그러면 네 행이 대략 2×2 요인 배치가 된다(필자의 재배열이다. PULSE 행은 원 논문 절차를 따랐으므로 두 요인 외의 차이가 섞여 있을 수 있다).

포핸드 열	손목 교정 없음	손목 교정 있음
LAB 없음	PULSE: SR 71.85 / DE 3.01 / Smth 32.44 / Torque 9.76	w/o LAB: 93.12 / 2.17 / 37.64 / 12.53
LAB 있음	w/o Corr: 82.36 / 3.41 / 26.72 / 8.85	Ours: 96.52 / 1.32 / 25.61 / 7.40

읽히는 것은 세 가지다.

성공률은 주로 손목 교정이 올린다. 교정을 넣으면 LAB 없이 +21.3%p(71.85 → 93.12), LAB 있을 때 +14.2%p(82.36 → 96.52). LAB의 성공률 기여는 +10.5%p(교정 없음)와 +3.4%p(교정 있음)로 더 작다.
손목 교정만 넣으면 동작이 오히려 거칠어진다. w/o LAB는 네 구성 중 Smth와 Torque가 가장 나쁘다. 교정 없는 PULSE보다도 나쁘다(Smth 32.44 → 37.64). 상위 정책이 손목이라는 강력한 레버를 얻자 하체 잠재 행동을 더 공격적으로 착취하게 된 것으로 해석할 수 있다.
LAB는 그 부작용을 정확히 걷어낸다. w/o LAB → Ours에서 Smth 37.64 → 25.61, 토크 12.53 → 7.40. 성공률보다 동작 품질 지표가 훨씬 크게 움직인다.

즉 LAB의 본업은 “더 잘 치게” 하는 것이 아니라 “손목 교정이라는 자유를 줘도 몸 전체가 망가지지 않게” 하는 것이다. 논문 §5.2.3의 설명(“LAB가 없으면 잠재 공간을 착취해 떨리는 동작이 나오고 결국 성능을 깎는다”)은 방향은 맞지만, 포핸드 기준 성공률 손실이 3.4%p에 그친다는 점에서 효과의 무게중심은 동작 품질 쪽이다.

실험 1: 시뮬레이션 비교 (Table 3)

평가는 §3.3의 무작위 초기화를 그대로 쓰고 1만 회 시행을 평균한다. 성공은 목표 지점 2.5 m 이내로 돌려보낸 경우, DE는 실제 낙구 지점과 목표의 평균 거리다. 동작 품질은 관절 가속도 평균(Smth)과 관절 토크 평균(Torque)으로 잰다. 베이스라인은 순수 PPO, Vid2Player3D의 MotionVAE(운동학 VAE + 분리된 트래커), AMP, ASE, PULSE다.

방법	포핸드 SR↑	DE↓	Smth↓	Torque↓	백핸드 SR↑	DE↓	Smth↓	Torque↓
PPO	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A
MotionVAE	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A
AMP	41.32	4.71	46.52	13.79	36.81	5.22	37.68	15.74
ASE	63.47	3.62	38.91	11.84	55.22	4.01	31.75	12.92
PULSE	71.85	3.01	32.44	9.76	63.38	3.15	29.60	10.83
Ours	96.52	1.32	25.61	7.40	82.10	1.89	27.76	7.71

방법	앞코트 SR↑	DE↓	Smth↓	Torque↓	뒤코트 SR↑	DE↓	Smth↓	Torque↓
PPO	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A
MotionVAE	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A
AMP	49.48	4.20	36.16	18.26	41.73	4.85	41.77	19.20
ASE	71.36	3.28	30.84	14.05	68.59	3.90	35.12	15.27
PULSE	74.52	2.97	28.11	12.01	72.94	3.02	31.27	13.44
Ours	86.35	1.73	25.51	7.47	89.80	1.55	27.20	7.60

(Table 3을 두 표로 나눠 옮김. N/A는 “수렴 실패”. DE·Smth·Torque의 단위는 논문에 없다.)

저자의 해석은 이렇다. PPO는 동작 사전지식 없이 테니스를 처음부터 배우기가 극히 어렵다. MotionVAE는 생성기와 트래커가 서로의 오차를 증폭하는데, Vid2Player3D가 이를 잔차 힘으로 덮었던 것을 실기 배포를 위해 쓸 수 없었다. AMP·ASE 같은 적대적 방법은 과제 달성과 사전지식 준수 사이 균형을 못 잡는다. PULSE는 잠재 공간 구성·활용 방식 때문에 샘플된 행동의 질이 낮고 손목 교정이 없다.

백핸드가 모든 방법에서 포핸드보다 어렵다는 점도 일관된다(Ours 96.52 vs 82.10). 한 손에 라켓을 고정한 로봇이 몸 반대쪽으로 오는 공을 처리해야 하기 때문으로 보이지만, 논문은 이 격차를 따로 논의하지 않는다.

실험 2: 어블레이션 (Table 4)

방법	포핸드 SR↑	DE↓	Smth↓	Torque↓	백핸드 SR↑	DE↓	Smth↓	Torque↓
w/o Corr.	82.36	3.41	26.72	8.85	68.94	3.03	29.55	8.92
w/o LAB	93.12	2.17	37.64	12.53	76.96	2.21	31.77	12.11
Ours	96.52	1.32	25.61	7.40	82.10	1.89	27.76	7.71

방법	앞코트 SR↑	DE↓	Smth↓	Torque↓	뒤코트 SR↑	DE↓	Smth↓	Torque↓
w/o Corr.	74.21	3.18	26.86	9.64	79.05	3.52	29.94	9.38
w/o LAB	84.73	1.96	30.59	10.94	87.44	2.05	32.08	13.62
Ours	86.35	1.73	25.51	7.47	89.80	1.55	27.20	7.60

w/o Corr.는 손목까지 포함한 전신 트래커를 학습하고 전 관절 잠재 공간으로 증류한 뒤, 상위 정책이 손목을 교정하지 못하게 한 구성이다. w/o LAB는 장벽을 없애고 잔차 잠재 행동을 제한 없이 내게 한 구성이다. 앞 절의 2×2 재배열에서 본 것처럼, 손목 교정은 성공률과 DE를, LAB는 Smth·Torque를 주로 움직인다. 앞코트에서 LAB의 성공률 기여는 1.6%p(84.73 → 86.35)에 불과하다.

실험 3: 실기 (Table 5)

셋업과 하드웨어

29자유도 Unitree G1의 오른손을 떼고 3D 프린팅 커넥터로 표준 라켓을 붙였다(Fig. 2, 부록 B.2). 부록에 따르면 모캡 안정성을 위해 로봇 몸체에 빛 확산 표면을 덧대 불필요한 반사를 없앴고, 동적 동작 중 구조 안정성을 위해 말단 관절 커넥터를 재설계했다. 로봇과 공의 전역 상태는 광학 모캡으로 얻는다. 로봇 베이스에 반사 마커 여러 개를 붙여 강체로 6D 자세를 추정하고, 공은 반사 테이프로 감싸 수동 마커로 추적한다.

실기 랠리 근접 장면(Fig. 8). 포핸드·백핸드, 한 발을 든 채 치는 자세, 깊게 낮춘 런지 등 다양한 타격 자세가 나온다. 오른손 자리에 라켓이 어댑터로 고정돼 있다.

지표와 결과

실기에서는 낙구 정확도가 낮아 성공 기준을 상대 코트 경계 안에만 들어가면 성공으로 완화했다. 사람과의 연속 랠리 20회에서 공의 초기 위치·속도는 무작위이고, 반환된 공마다 낙구 위치·앞/뒤코트·포핸드/백핸드를 기록했다. 베이스라인은 로봇 자체의 sim-to-real이 아니라 공 쪽 설계를 검증하도록 짰다. w/o DR은 공의 동역학 랜덤화를, w/o ON은 공의 관측 노이즈를 모두 뺀 것이다.

방법	포핸드 SR↑	DE↓	백핸드 SR↑	DE↓	앞코트 SR↑	DE↓	뒤코트 SR↑	DE↓
w/o DR	16.67%	5.60	25.00%	4.57	28.57%	3.59	14.29%	6.23
w/o ON	50.00%	3.28	0.00%	N/A	28.57%	3.69	37.50%	3.97
Ours	90.90%	3.15	77.78%	3.89	88.89%	3.57	81.82%	3.80

이 퍼센트를 작은 분모의 분수로 되돌려 보면 실험 규모가 드러난다(필자 역산, 가장 작은 분모 기준).

방법	포핸드	백핸드	앞코트	뒤코트	합계
Ours	10/11	7/9	8/9	9/11	17/20 (85%)
w/o DR	1/6	2/8	2/7	1/7	3/14 (21%)
w/o ON	5/10	0/5	2/7	3/8	5/15 (33%)

두 분할(타법·코트 위치)의 합계가 세 행 모두 서로 맞으므로 이 재구성은 내부적으로 일관된다. Ours의 “90.90%”는 10/11 = 90.909…를 반올림하지 않고 잘라 쓴 값으로 보인다. 읽을 것은 둘이다. 첫째, 본문의 “20회 연속 랠리”는 Ours에만 해당하고 어블레이션은 14·15구로 시행 수가 다르다. 둘째, 85%의 95% 이항 신뢰구간(Wilson)은 약 64~95%다. w/o DR·w/o ON과의 격차는 이 구간을 넘어서므로 공 쪽 설계의 효과는 실기에서도 분명하지만, 타법별·코트별 칸(분모 5~11)끼리의 순위 비교는 통계적 의미가 없다.

프로젝트 페이지 영상(재인코딩). 왼쪽·가운데는 "Reactive footwork" 1·2로, 공 방향으로 스텝을 옮긴 뒤 치는 장면이다. 오른쪽은 "Try to beat different human players"의 1번으로, 로봇 뒤에서 찍어 네트 건너편 사람과 주고받는 장면이다.

공 쪽 sim-to-real 설계 (§4)

로봇 쪽 랜덤화(마찰·아마추어·질량·무게중심)는 일반적이다. 공 쪽 설계가 이 논문의 실기 성능을 만든 부분이고, 저자는 정밀한 시스템 식별이나 복잡한 공기역학 모델 없이 충분한 동역학 랜덤화만으로 전이가 됐다고 주장한다. 공기 저항은 f_\text{air}=-k\,m\,v\,\lVert v\rVert의 이차 항력 하나로 모델링한다.

대상	항	값
로봇	Feet friction	\mathcal U(1.0,2.5)
로봇	Joint friction	\times\,\mathcal U(0.75,1.25)
로봇	Armature	\times\,\mathcal U(1.0,1.05)
로봇	Body mass	\times\,\mathcal U(0.75,1.25)
로봇	Body CoM	\mathcal U(-0.05,0.05)
로봇	Racket CoM	\mathcal U(-0.1,0.1)
로봇	Racket mass	\times\,\mathcal U(0.8,1.2)
테니스공	Ball mass	\times\,\mathcal U(0.95,1.05)
테니스공	Ball-ground restitution	\mathcal U(0.71,0.79)
테니스공	Ball-ground tangential damping	\mathcal U(0.4,0.7)
테니스공	Ball air-drag coefficient k	\mathcal U(0.01,0.04)

(Table 2 그대로. 단위는 논문에 없다.)

이 범위가 물리적으로 그럴듯한지 간단히 검산할 수 있다(이하 필자 계산이며 논문에 없는 내용이다).

반발계수: 국제테니스연맹 규격은 254 cm에서 떨어뜨린 공이 135~147 cm 사이로 튀어야 한다고 정한다. 반발계수로 바꾸면 \sqrt{135/254}\approx0.73에서 \sqrt{147/254}\approx0.76이다. 논문의 0.71~0.79는 이 규격 구간을 양쪽으로 조금씩 넓게 덮는다.
항력 계수: 이차 항력 \tfrac12\rho C_dAv^2를 질량으로 나누면 k=\rho C_dA/(2m)다. 공기밀도 1.2 kg/m³, C_d\approx0.55, 지름 6.7 cm, 질량 57 g을 넣으면 k\approx0.020 m⁻¹이 나온다. 논문 범위 0.01~0.04의 안쪽이다. 15 m/s에서 항력 가속도는 0.02\times15^2\approx4.5 m/s²로 중력의 절반에 가깝다. 공기 저항을 빼고는 궤적이 맞지 않는 영역이다.

관측 쪽에서는 균등 노이즈·프레임 단위 드롭아웃·지연을 넣는다(크기는 논문에 없다). 실용적으로 가장 쓸모 있는 디테일은 공 속도 추정이다. 모캡 위치를 유한차분하면 작은 위치 노이즈도 속도에서 크게 증폭되므로, 시뮬레이션과 실기 양쪽에서 똑같이 4프레임 슬라이딩 창 평균 속도를 관측으로 쓴다. 필터를 실기에서만 쓰지 않고 학습 환경에도 넣어 정책이 그 지연·평활 특성에 적응하게 한 점이 핵심이다. w/o ON에서 백핸드가 0/5로 무너진 것이 이 설계의 무게를 보여 준다.

부록: 코트 커버리지와 자가 대전

연속 반환 중 로봇 골반 위치의 밀도(Fig. 5). 8·16·80·400구를 누적할수록 커버리지가 넓어지지만, 밀도의 대부분은 서비스 라인(x = −3.5 m) 바로 뒤 x ≈ −4 m의 세로 띠에 모인다.

Fig. 5는 연속 반환 수(8, 16, 80, 400)를 늘려 가며 골반 궤적을 누적한 밀도 지도다. 저자는 “넓은 코트 영역을 탐색하면서 안정적인 이동 구조를 유지한다”고 해석한다. 그림을 보면 400구 누적에서도 밀도의 대부분은 서비스 라인 바로 뒤 x ≈ −4 m의 세로 띠에 있다. 네트 쪽(x > −2 m)으로는 거의 나오지 않고, 베이스라인(x = −6.5 m) 쪽 밀도도 낮다. 일정한 깊이를 지키며 주로 좌우로 움직이는 전략이다. Fig. 3의 낙구 분포(x ≈ −6~−2 m)와 맞물린 결과로 보인다.

시뮬레이션 자가 대전(Fig. 6). (a) 같은 정책 두 개가 양쪽 코트에서 주고받는 장면, (b) 50경기의 연속 타구 수 분포.

프로젝트 페이지 "Self play (simulation)" 영상의 앞 12초(재인코딩).

본문은 “최대 25구까지 랠리를 유지한다”고 쓴다. Fig. 6(b)의 막대 라벨을 읽어 합하면 확률 총합이 1.00이고, 평균은 약 7.8구, 중앙값은 6~7구 사이다(누적 확률이 6구에서 정확히 0.50). 25구는 50경기 중 1경기(0.02)의 값이다. “최대 25구”는 사실이지만 전형적인 랠리 길이는 그 4분의 1 수준이다. 또 두 정책 모두 상대를 이기도록 학습된 것이 아니라 공을 목표 지점으로 돌려보내도록 학습된 같은 정책이다. 저자도 경쟁적 자가 대전 학습(NFSP 등)은 향후 과제로 남긴다.

시뮬레이션 타격 장면(Fig. 7). 빨간 곡선은 들어오는 공, 초록 곡선은 반환 궤적이고 로봇 자세는 접촉 순간이다.

비판적으로 보면

강점

데이터 결함과 구조 설계가 1:1로 맞물린다. “손목이 부정확하다 → 손목을 잠재 공간에서 빼고 상위 정책에 넘긴다”, “과제 지식이 없다 → RL이 조합하되 사전분포 분산 안에서만” 이라는 대응이 깔끔하다. 다른 스포츠·도구 사용 과제에도 “데이터가 못 믿을 부위를 잠재 공간 밖으로 빼라”는 형태로 옮길 수 있는 설계 원칙이다. 공개된 1단계만 놓고 보면 이 설계의 전제(손목에 무엇이 들어와도 나머지 몸 추종은 거의 흔들리지 않는다)는 이 블로그의 축소 재현에서도 관측됐다(재현 노트). 다만 이것은 트래커 단계의 근거일 뿐 테니스 성능의 근거는 아니다.
2×2로 읽히는 어블레이션이 각 장치의 역할을 분리해 준다. 저자가 2×2로 제시하지는 않았지만, PULSE 행과 Table 4를 합치면 손목 교정은 성공률을, LAB는 동작 품질을 맡는다는 분업이 수치로 드러난다. 특히 “교정만 넣으면 오히려 더 떨린다”는 w/o LAB 결과는 두 장치가 함께 있어야 하는 이유를 보여 준다.
실기에서 공 쪽 설계를 따로 검증했다. 휴머노이드 스포츠 논문은 실기 어블레이션을 생략하는 경우가 많은데, 이 논문은 공 랜덤화·공 관측 노이즈를 뺀 두 구성을 실기로 돌렸고 격차(85% vs 21%, 33%)가 신뢰구간을 넘어선다. 시스템 식별 없이 항력·반발계수 랜덤화로 버틸 수 있다는 주장에 실증 근거가 붙었다.
랜덤화 범위가 물리적으로 그럴듯하다. 위 검산대로 반발계수 0.71~0.79는 국제 규격 구간을, 항력 계수 0.01~0.04는 표준 공의 추정치 약 0.02를 덮는다. “넓게 잡았다”가 아니라 “실제 값 주변을 적당히” 잡았다.
실무 디테일이 재현에 쓸모 있다. 시뮬레이션과 실기 양쪽에 같은 4프레임 속도 평균을 쓴 것, 2000 Hz 시뮬레이션으로 접촉을 해상한 것, 빛 확산 표면으로 로봇의 반사를 죽인 것 등은 다른 고속 상호작용 과제에도 그대로 쓸 수 있다.

약점·한계

데이터 비용을 줄인 대신 배포 비용이 커졌다. 논문은 데이터 수집에 3 m × 5 m 모캡이면 된다는 점을 기여로 내세우지만, 실기 정책은 로봇 자세와 공 위치를 모두 광학 모캡에서 받는다. 공개 레포 README에 따르면 실기 실험에 모캡 카메라 50대 이상(2048 × 2048, 120 Hz), 19 m × 15 m 촬영 영역이 쓰였고, 제3자 모캡 업체 시설을 약 3주 빌리는 데 약 35만 위안(약 5만 달러)이 들었다. 이 영역(285 m²)은 저자가 데이터 쪽 비교 기준으로 쓴 복식 코트 면적(260.8 m²)보다 넓다. 저자도 결론에서 모캡 의존을 첫 번째 한계로 꼽고 능동 시각을 대안으로 든다. 다만 “데이터 수집의 어려움을 크게 줄였다”는 서사를 읽을 때는 시스템 전체의 인프라 부담은 줄지 않았다는 점을 같이 봐야 한다.
코트 크기가 논문에 없고, 그림으로 보면 표준보다 작다. 본문에는 코트 치수가 한 번도 나오지 않는다. Fig. 3(b)·Fig. 5의 축을 읽으면 시뮬레이션 코트 경계는 x ∈ [−6.5, 6.5] m, y ∈ [−3, 3] m, 즉 13 m × 6 m이다. 안쪽 선은 y = ±2.25 m, x = ±3.5 m에 있다. 표준 복식 코트(23.77 m × 10.97 m)를 가로세로 같은 비율 약 0.547배로 줄이면 정확히 이 값들이 나온다(단식 사이드라인 4.115 m → 2.25 m, 서비스 라인 6.40 m → 3.50 m). 비율·안쪽 선 위치가 모두 맞으므로 우연이 아니라 표준 코트를 약 0.55배로 축척한 코트로 보인다(필자 판독). 실기 코트 치수는 그림만으로 판단할 수 없지만, README의 모캡 영역 길이 19 m로는 길이 23.77 m의 표준 코트 전체를 덮을 수 없다. 코트가 작으면 로봇이 커버할 거리·공의 비행 거리·반응 시간 요구가 모두 줄어드는데, 논문이 서론에서 강조하는 “코트 절반을 가로지르는 이동”과 “15~30 m/s 공”은 표준 코트 기준의 묘사다. 실기에서 보고된 공 속도는 Fig. 1 캡션의 “최고 15 m/s 초과”가 전부이고, 이는 서론이 든 범위의 하한이다.
시뮬레이션 성공 기준이 관대하다. 성공은 목표 지점 2.5 m 이내 낙구다. 바로 위의 코트 판독대로 상대 코트 절반이 6.5 m × 6 m(39 m²)라면, 반경 2.5 m 원(19.6 m²)은 원이 코트 안에 다 들어올 때 그 면적의 절반을 덮는다. 96.52%는 “상대 코트 절반에서 최대 절반 넓이의 원 안에 넣었다”는 뜻이다. DE(1.32~1.89)가 보조로 정밀도를 보여 주지만 단위가 적혀 있지 않다. 실기 기준은 더 느슨한 “상대 코트 안”이다.
Table 3·4의 네 열이 무엇인지 정의돼 있지 않고, 분할로 읽으면 베이스라인 수치가 성립하지 않는다. 실기 절은 각 공을 타법과 코트 위치로 분류한다고 적어서 네 열이 같은 시행의 두 가지 분할로 읽힌다. 시뮬레이션 절은 “타법별·코트 영역별로 평가했고 총 1만 회를 평균했다”고만 쓴다. 만약 시뮬레이션에서도 같은 1만 회를 두 방식으로 나눈 것이라면, 전체 성공률은 포핸드·백핸드 값 사이에 있으면서 동시에 앞코트·뒤코트 값 사이에도 있어야 한다. Ours·w/o Corr·w/o LAB는 이 조건을 만족한다(예: Ours는 86.35~89.80 구간이 82.10~96.52 안에 들어간다). 그러나 AMP·ASE·PULSE는 세 행 모두 두 구간이 겹치지 않는다(AMP 36.81~41.32 vs 41.73~49.48, ASE 55.22~63.47 vs 68.59~71.36, PULSE 63.38~71.85 vs 72.94~74.52). 따라서 시뮬레이션의 네 열은 같은 시행의 분할이 아니라 별도로 구성한 평가 조건이거나(그렇다면 그 조건 정의가 없다), 아니면 베이스라인 행에 기재 오류가 있다. 어느 쪽인지 논문만으로는 알 수 없다. 결론을 뒤집는 문제는 아니지만, 표를 해석하는 데 필요한 정의가 빠져 있다.
시드·분산·하이퍼파라미터가 보고되지 않았다. 시뮬레이션 수치는 1만 회 시행 평균 하나뿐이고, 학습 시드 수나 표준편차는 없다. LAB의 \lambda, 손실 가중치 \lambda_1,\lambda_2, 잠재 차원, 네트워크 크기, 학습 시간, 관측 노이즈·지연 크기, 목표 지점 분포가 모두 없다. 보상 22개 항 중 어느 것도 정의식이 없고 어블레이션도 없다. 베이스라인 AMP·ASE·PULSE를 얼마나 튜닝했는지, PPO·MotionVAE의 “수렴 실패”가 몇 번의 시도 끝의 판정인지도 없다.
“자연스러움”은 관절 가속도와 토크로만 잰다. 논문의 핵심 동기 하나가 “자연스러운 동작 스타일 보존”인데, 정량 지표는 Smth(관절 가속도 평균)와 Torque뿐이다. 둘 다 “부드러움”과 “물리적 부담”이지 “사람다움”은 아니다. 가만히 서서 손목만 휘두르는 정책도 Smth는 낮을 수 있다. 판별기 점수나 원 데이터와의 분포 거리 같은 사람다움 지표가 있었다면 LAB의 기여를 더 직접 보였을 것이다. 손목 동작은 RL이 사실상 처음부터 배우므로 그 부분의 사람다움은 애초에 보장되지 않는다.
LAB의 새로움은 제한적이다. 사전분포 평균 기준 잔차는 PULSE·R²S²에 이미 있고, LAB가 더한 것은 차원별 \sigma^p 스케일과 \tanh 클리핑이다. 위 “직관” 절의 표대로 성공률 기여도 손목 교정보다 작다. 기여를 과장하는 것은 아니지만, 독자가 “새로운 잠재 공간 이론”으로 읽을 필요는 없다. 또 본문이 이를 마할라노비스 거리 기반이라 부르지만 Eq. 4가 만드는 영역은 타원체가 아니라 상자다(앞의 ⚠️ 참조).
실기 평가는 작은 표본이고 분할 칸은 더 작다. Ours 20구, w/o DR 14구, w/o ON 15구(역산). 타법은 정책이 고르는 것이므로 포핸드/백핸드 분할은 실험자가 통제한 조건이 아니고, 각 칸의 분모는 5~11이다. 랠리 지속 시간이나 최장 연속 랠리 같은 랠리 수준 지표도 실기에서는 보고되지 않았다(위 랠리 영상의 화면 카운터는 6까지 올라간다).
코드는 첫 단계만 공개됐고, 나머지는 당분간 공개되지 않는다. 2026-10-14 확인 시점 공개 레포에는 모션 트래커 학습·평가 코드와 모션 데이터 일부(Google Drive)만 있다. DAgger 증류, 잠재 행동 모델, 상위 정책, 공·라켓 상호작용 환경(공개 MJCF는 ..._racket_wo_ball.xml뿐), sim-to-real 설계, 학습된 체크포인트는 README의 TODO다. 공개 일정을 묻는 issue #6에 1저자(zzk273)는 “I’m afraid we won’t be able to open-source any further in the near term, as company policy does not allow it. For the DAgger part, you may refer to the OpenTrack repository.”라고 답했다(2026-06-11). 같은 저자 측이 3월 issue #3에서는 “TODO에 따라 점진적으로 공개”하겠다고 했으니 방침이 바뀐 것이다. 공개 데이터도 논문의 5명·5시간이 아니라 1명(p1)의 클립 4개, 11,121프레임@50 Hz(약 3.7분)다. 따라서 이 리뷰가 다룬 두 핵심 기여(교정 가능한 잠재 공간의 증류, LAB)와 Table 3~5는 공개 자산으로 검증할 수 없다. 공개된 트래커 코드의 정적 확인 사항은 아래 접힘 블록에, 실제로 학습·평가해 본 결과는 재현 노트에 적었다.

🔎 공개 코드 확인 메모 (커밋 a931da5, 2026-10-14)

논문 주장이 아니라 공개 레포에서 확인한 사실이다. 표는 코드를 읽어 확인한 것이고, 표 아래 “부딪힌 문제” 목록만 실제 실행에서 나온 것이다.

항목	공개 코드(트래커 단계)	논문
공개 범위	트래커 학습·평가, 전처리, 모션 일부	3단계 전체 + sim-to-real
손목 처리	오른손목 roll·pitch·yaw 3관절을 행동·트래킹 보상에서 제외, PD 목표를 관절 가동범위 전체 균등 추출로 0.5~2.0초마다 교체	“제어 신호 제거 + random perturbations”
트래커 행동	참조 동작 관절각 + 정책 출력(잔차, scale 1.0)	명시 없음
트래커 시뮬레이션 주기	`sim_dt=0.002`(500 Hz), `ctrl_dt=0.02`(50 Hz)	2000 Hz는 공 접촉 때문이라 서술(상위 정책 단계로 보임)
트래커 단계 DR	발 마찰 \mathcal U(0.4,1.5), 질량 \times\mathcal U(0.75,1.25), 몸통 질량 +\mathcal U(-1,1), 몸통 CoM \pm0.15, 관절 오프셋 \pm0.05, PD 게인 K_p,K_d \times\mathcal U(0.75,1.25)	Table 2는 발 마찰 \mathcal U(1.0,2.5), CoM \pm0.05이고 PD 게인 랜덤화 항목은 없다(단계 구분 없음)
라켓 충돌 모델	반지름 0.12, 두께 0.005의 원판(cylinder)	명시 없음
라이선스	루트 LICENSE 없음(G1 에셋 폴더에만 존재)	해당 없음

Table 2와 트래커 DR의 관계. 논문 원문을 다시 확인하면, Table 2는 §4.1(Sim-to-Real Transfer)에서 “휴머노이드와 테니스공의 동역학 랜덤화”로만 소개되고 어느 학습 단계에 적용하는지는 적혀 있지 않다. §3.2.1의 트래커 서술에는 DR 언급이 아예 없다. 표에 라켓·공 항목이 들어 있으므로 적어도 공이 있는 상위 정책 단계의 값으로 읽는 것이 자연스럽지만, 트래커도 같은 값을 썼는지는 논문으로 확정되지 않는다. 그래서 공개 트래커 DR과의 차이를 모순으로 단정하지 않는다. 덧붙여 공개 레포는 트래커를 DR 없는 변형(G1TrackingTennis)과 DR 변형(G1TrackingTennisDR) 두 가지로 제공하는데, 어느 쪽이 논문 파이프라인에 쓰였는지도 적혀 있지 않다. 코드 주석과 값이 어긋난 곳도 있다(CoM 주석 ±0.05 vs 값 ±0.15, 질량 주석 0.9~1.1 vs 값 0.75~1.25).

실제로 돌려 보며 부딪힌 문제(demo 단계 기록, 자세한 내용은 재현 노트):

README의 학습 명령이 가리키는 latent_mj/learning/train/train_ppo_track_tennis.py는 최신 커밋 a931da5(“align with OpenTrack”)에서 삭제돼 있다. 직전 커밋 8a016b0에서 원문 그대로 복원하면 HEAD의 환경 코드와 호환되고 학습이 끝까지 돈다.
트레이너가 wandb.init(mode="online")을 하드코딩해 WANDB_MODE 환경변수가 무시된다. 자격증명이 없으면 학습 시작 직후 종료된다.
기본 설정 num_evals=0이면 체크포인트가 학습 맨 끝에 한 번만 저장된다. 중간에 끊으면 남는 것이 없다.
ONNX 변환은 핀된 TensorFlow 2.19에 Blackwell(sm_120) 커널이 없어 GPU에서 실패하고, TF만 CPU로 돌리면 통과한다.
원본 평가 스크립트는 재생·영상만 하고 수치를 내지 않으며, 기본 태스크 이름(G1Tracking)이 등록돼 있지 않다.
README의 예시 파일명(High-Hit02_Tennis 001.npz)과 실제 배포 파일명(Random_00{1..4}_Tennis 001.npz)이 다르다.

🔧 재현 노트

🔬 이 절은 논문의 주장이 아니라 이 블로그가 공개 코드를 직접 돌려 본 결과다(2026-10-14). 재현한 것은 공개된 1단계 모션 트래커뿐이다. 논문의 테니스 결과(Table 3~5)는 증류·잠재 모델·상위 정책·공 환경·체크포인트가 모두 비공개라 재현을 시도할 대상 자체가 없다. 또 논문은 트래커 자체의 정량 지표(추종 오차·성공률)를 하나도 보고하지 않으므로, 아래 수치를 맞대 볼 논문 값도 없다. 아래 숫자는 “재현 성공”의 증거가 아니라 “공개된 부분이 설계대로 작동하는가”에 대한 관측이다.

무엇을, 얼마나 돌렸나

공개 데이터 전부(1명, 클립 4개, 11,121프레임 = 약 3.7분)로, 원본의 PPO·보상·관측을 그대로 두고 규모만 줄여 DR 없는 변형(G1TrackingTennis)을 학습했다.

항목	원본 코드 기본값	이번 실행
GPU	8장 분산(`max_devices_per_host=8`)	RTX 5090 1장(다른 작업과 공유)
병렬 환경	32,768	4,096(원본의 GPU당 부하와 같다)
총 env step	3×10⁹	3.003×10⁸(약 1/10)
학습 시간	논문 미기재	학습 5,194초 + JIT 271초, 약 57.8k env-step/s
학습 데이터	논문 5명·5시간	공개분 1명·3.7분

이번 축소 학습의 곡선(자체 실측, 논문 그림이 아니다). 평균 에피소드 길이(최대 1000 제어 스텝)는 6.6에서 시작해 약 40M step 부근에서 급상승한 뒤, 60M 이후 약 690~790 사이에서 평탄해져 300M에서 747이다. 에피소드 보상은 −6.0에서 104.1로 오른다.

추종 오차: 학습량과 손목 교란

평가는 원본 play 환경(CPU MuJoCo, 물리 500 Hz·제어 50 Hz, 밀기·DR 없음)에서 4개 클립 전체(추종 샘플 11,113 스텝, 약 222초)를 이어서 재생하며 쟀다. MPJPE-local은 루트 기준 좌표에서 바디 위치 오차의 평균이고, 학습과 똑같이 오른손목 3링크는 뺐다. “넘어짐”은 학습 종료 규칙(루트 높이 차 0.3 m 초과 또는 어떤 바디든 0.5 m 초과)과 같다. 오른손목 PD 목표는 학습처럼 0.5~2.0초마다 가동범위 안에서 무작위로 바뀐다. 평가 클립은 학습 데이터 그 자체이고 held-out이 아니다.

정책	MPJPE-local [mm]	관절각 오차 [rad]	넘어진 클립
제로 액션(PD 목표 = 참조 관절각)	48.0	0.112	4/4(모두 1.46초에)
50M	32.0	0.140	0/4
100M	24.3	0.113	0/4
150M	24.7	0.107	1/4(한 클립의 2,086번째 스텝에서)
200M	21.7	0.093	0/4
250M	21.0	0.091	0/4
300M	19.8(평가 시드 1·2: 20.1·20.0)	0.097	0/4(시드 0·1·2 모두)
300M, 손목 고정	19.2	0.093	0/4

(자체 실측. 시드는 평가 시 손목 무작위 목표의 시드이고, 학습은 1회만 했다.)

읽을 것은 넷이다.

손목을 비운 설계는 의도대로 작동한다. 300M에서 손목에 무작위 목표를 넣은 경우와 고정한 경우의 차이는 0.6 mm(19.8 vs 19.2)이고, 50M에서도 0.8 mm(32.0 vs 31.2)다. 같은 프로토콜에서 학습량 50M → 300M이 만든 차이는 12.2 mm다. 라켓을 쥔 손목에 무엇이 들어와도 나머지 몸의 추종은 거의 흔들리지 않는다. Ring의 “손목을 비운 트래커” 절에서 설명한 설계 논리가 공개 부분에서는 관측으로 뒷받침된다. 다만 이것은 상위 정책이 손목을 마음대로 교정해도 된다는 전제를 확인한 것이지, 그 교정으로 공을 잘 친다는 논문 주장을 확인한 것이 아니다.
학습량에 따라 단조롭게 좋아지지는 않는다. 150M 체크포인트는 100M보다 오차가 조금 크고 한 클립에서 넘어졌다. 학습은 1회, 평가는 학습 데이터 위에서만 했으므로 이 요동의 원인은 알 수 없다.
관절각 오차만으로는 넘어짐을 못 잡는다. 제로 액션 대조군은 네 클립 모두 1.46초 만에 넘어지는데도 관절각 오차(0.112 rad)가 50M 정책(0.140 rad)보다 작다. PD 목표가 참조 관절각 그대로라 넘어진 뒤에도 관절각은 참조를 따라가기 때문이다. 트래커를 평가할 때 바디 위치 오차와 넘어짐을 같이 봐야 하는 이유다.
전역 위치는 추종하지 않는다. 정책의 관측에는 루트 xy 위치가 없고 보상도 루트 속도만 추종하므로, 월드 좌표 오차는 시간이 갈수록 누적된다. 클립 1의 처음부터 평균을 내면 첫 1초 18.1 mm, 첫 5초 329 mm, 첫 20초 1.87 m다(300M 체크포인트, 이 리뷰 작성 중 같은 평가 스크립트로 다시 잰 값). demo 단계 기록에는 200M 체크포인트로 18 mm, 439 mm, 2.4 m로 적혀 있는데 그 원시 출력은 남아 있지 않다. 어느 쪽이든 경향은 같다. 버그가 아니라 설계이고, 공을 향해 위치를 잡는 일은 비공개 상위 정책의 몫이다. 거꾸로 말하면, 공개된 부분만으로는 “로봇이 코트 위 원하는 지점으로 간다”는 능력을 전혀 확인할 수 없다.

300M 트래커의 클립 1 재생 프레임(자체 실측). 각 행에 시뮬레이션과 참조 동작이 좌우로 짝지어 있다. 라켓 방향이 참조와 다른 것은 평가에서도 손목에 무작위 목표를 넣었기 때문이다(의도된 교란).

300M 트래커가 공개 클립 1의 처음 12초를 따라가는 장면(자체 실측, 왼쪽 시뮬레이션·오른쪽 참조). 오른손목은 무작위 목표를 받으므로 라켓 방향이 참조와 다르다.

무엇이 남았나

논문 결과	이번 재현에서	막는 것
트래커가 손목 교란 아래서 나머지 몸을 추종	✅ 관측(위 표, 학습 데이터 위에서만)	논문 수치 없음
5명·5시간 데이터로 학습한 트래커	⚠️ 1명·3.7분 공개분으로만	데이터 비공개
교정 가능한 잠재 공간(DAgger + 조건부 사전분포)	❌	코드·체크포인트 비공개
LAB, 상위 정책, Table 3·4	❌	코드·공 환경 비공개
실기 Table 5	❌	위 전부 + 대형 모캡 시설

요약

LATENT는 “완전한 데이터가 없다”는 조건을 피하지 않고 설계 변수로 바꾼 논문이다. 기본기 조각 5시간으로 잠재 행동 공간을 만들고, 데이터가 틀린 부위(손목)는 잠재 공간에서 빼서 상위 정책이 직접 조종하게 하고, 데이터가 모르는 부분(언제 무엇을 쓸지)은 RL이 배우되 사전분포 분산 안에서만 배우게 했다. 표를 2×2로 재배열하면 손목 교정은 성공률을, LAB는 동작 품질을 맡는 분업이 보이고, 실기에서는 공 동역학 랜덤화와 관측 노이즈가 결정적이라는 것이 21~33% vs 85%의 격차로 확인된다.

한계는 평가와 인프라 쪽에 몰려 있다. 시뮬레이션 코트는 그림으로 보면 표준의 약 0.55배이고, 성공 기준은 2.5 m 반경이며, 실기는 20구 규모다. 데이터 수집을 가볍게 한 대신 실기 배치는 19 m × 15 m 모캡 시설에 기대고, 핵심 기여를 담은 단계의 코드는 공개되지 않았고 당분간 공개 계획도 없다. 그래도 “못 믿을 부위를 잠재 공간 밖으로 빼고, 남은 부분의 탐색 폭을 사전분포 분산으로 묶는다”는 처방은 테니스 밖에서도 쓸 만하다. 저자들이 결론에서 든 다음 걸음, 즉 능동 시각으로 모캡을 대체하고 다중 에이전트 학습으로 실제 경기에 다가가는 것이 이 처방의 실효성을 가늠할 시험대가 될 것이다.

재현 상태(2026-10-14 기준). 공개된 것은 1단계 트래커와 3.7분 분량의 데이터뿐이고, 저자는 회사 정책상 당분간 추가 공개가 없다고 밝혔다. 이 블로그가 그 트래커를 RTX 5090 1장에서 원본의 1/10 규모(3억 step)로 학습해 보니, 학습 데이터 위에서 바디 추종 오차 19.8 mm·넘어짐 0/4였고 손목 교란을 켜고 끈 차이는 0.6 mm에 불과했다. “손목을 비운 트래커”라는 전제는 관측과 맞지만, 논문의 테니스 수치는 재현할 대상이 공개돼 있지 않다. 범위와 한계는 재현 노트에 있다.

갱신 노트 — 적응 파이프라인 상세 추가 (2026-10-14)

독자 요청(“대략적인 사람 모션 데이터를 로봇의 특정 상황에 맞게 어떻게 적응시켰는가”)에 답하려고 Ring의 “방법 상세” 뒤에 절 하나를 덧붙였다.

추가

적응 파이프라인 상세: 데이터 결함(논문의 Imprecise·Incomplete + 필자가 분리한 물리적 실행 불가능성·조각 간 연결 부재) → 보정 단계 대응표 → 도식 → 단계 0~3 상세 → “논문이 말하지 않은 것” 등급표. 근거는 [논문]/[코드]/[OpenTrack]/[해석]으로 문장마다 구분했다.
공개 코드(a931da5)에서 새로 확인한 사실: 레포에는 리타게팅 코드가 없고 전처리는 50 Hz 보간·시작 전이(옵션)·운동학 확장·속도 재계산뿐이며 물리 보정이 없다. 트래커 행동은 참조 기준 잔차이고, 손목은 행동·보상에서 빠지지만 관측에는 남으며, 클립 경계에서 에피소드가 잘리고 루트 위치를 관측하지 않는다. 밀기·RFI 외란은 DR 변형에만 있다. README 전처리 명령의 태스크 이름(G1TrackingGeneral)은 등록돼 있지 않다.
OpenTrack(cb9b751)에서 확인한 사실: DAgger 골격(학생 행동으로 진행, 특권 관측의 교사가 라벨)은 논문 서술과 맞지만, 공개 학생 모델은 MLP뿐이라 LATENT의 인코더·학습 가능 사전분포·KL 항 구현은 없다.

정정: 없음. 기존 본문 수치·서술은 바꾸지 않았다.

변경하지 않은 것: 날짜·슬러그, 재현 노트의 실측 수치, 비판 절의 항목.