📃EgoHumanoid 리뷰

humanoid

loco-manipulation

vla

egocentric

human-robot-transfer

cross-embodiment

co-training

teleop

Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration

Published

July 26, 2026

Paper Link
Code Link
Dataset (HuggingFace)
Modi Shi, Shijia Peng, Jin Chen, Haoran Jiang, Tianyu Li, Di Huang, Ping Luo, Hongyang Li, Li Chen (OpenDriveLab / HKU / Kinetix AI)
arXiv:2602.10106v2 [cs.RO], 2026-06-04 (코드 레포 표기 기준 RSS 2026)

💡 휴머노이드 loco-manipulation은 데이터가 필요한데 텔레옵은 실험실을 못 벗어난다 — 로봇 없이 사람이 1인칭으로 시연한 데이터를 소량의 로봇 데이터와 함께 co-training해 이 병목을 우회한다.
⚙️ 사람↔︎로봇의 간극을 view alignment(깊이 재투영으로 카메라를 0.25 m 낮추고 뚫린 곳은 diffusion inpainting)와 action alignment(상체=6-DoF delta end-effector, 하체=이산 속도 커맨드, 손=이진 개폐)로 메워 두 데이터의 관측·행동 공간을 일치시킨 뒤 π₀.₅를 파인튜닝한다.
🎯 Unitree G1로 4개 실세계 태스크에서, 로봇 데이터만 쓴 정책 대비 in-domain 58.8→78.4점, 로봇 데이터가 한 번도 못 본 환경에서 30.9→82.2점(+51%p)을 얻고, 사람 시연은 로봇 텔레옵보다 에피소드당 약 2배 빠르게(62.1 s → 39.7 s) 모을 수 있다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드가 집·가게·야외에서 일하려면 걸어가서 조작하는 loco-manipulation을 해야 하고, 그러려면 그런 환경의 시연 데이터가 필요하다. 그런데 지금 방식(VR·모캡 슈트 텔레옵)은 로봇과 장비를 통째로 옮겨야 해서 사실상 실험실 밖으로 못 나간다. EgoHumanoid의 출발점은 단순하다 — 사람은 이미 매일 그 환경들에서 걸어가 물건을 다룬다. 머리에 카메라와 VR 트래커만 달면 로봇 없이(robot-free) 그 행동을 1인칭으로 기록할 수 있다.

문제는 그 데이터를 그대로 쓸 수 없다는 것이다. 사람(1.6–1.8 m)과 중형 G1(약 1.3 m)은 눈높이가 다르고, 팔 길이와 관절 한계가 다르며, 걸음걸이의 흔들림도 다르다. 기존 egocentric co-training 연구들이 고정 베이스 조작에 머물렀던 이유다. 이 논문은 휴머노이드 whole-body loco-manipulation에 사람→로봇 co-training을 처음으로 적용하고, 그 간극을 데이터 수집 하드웨어부터 전처리까지 관통하는 정렬(alignment) 파이프라인으로 메운다.

전체 그림(Fig. 1) — 왼쪽: in-the-wild 사람 데이터가 객체·시점·환경·조명 다양성을 제공. 오른쪽: 로봇 텔레옵 데이터는 실험실에 묶임. 가운데: view/action alignment로 두 소스를 VLA co-training에 함께 투입하고, 야생 로봇 데이터 없이 일반화(+51%)를 얻는다.

핵심 방법론:

학습 데이터는 \mathcal{D}=\mathcal{D}_{\text{robot}}\cup\mathcal{D}_{\text{human}} 두 소스의 합이고, 이 둘을 같은 관측·행동 공간으로 밀어 넣는 것이 전부다.

View alignment: 사람 1인칭 이미지 I_h에 MoGe로 per-pixel 3D 포인트맵을 얻고, 카메라를 아래로 \Delta z = 0.25\,\mathrm{m} 평행이동시킨 로봇 카메라 프레임 T_{r\leftarrow h}로 재투영한다.

I_r(\pi(T_{r \leftarrow h}\,P_h)) \;=\; I_h(\pi(P_h)), \qquad P_h = \text{MoGe}(I_h)

재투영은 필연적으로 구멍(무효 깊이 + disocclusion)을 남기므로, 마스크와 주변 문맥을 조건으로 Stable Diffusion 2.0 Inpainting(20 denoising step, CFG 7.5)이 채워 완전한 RGB를 만든다. 학습 시 \Delta z에 \pm 0.05 m 균등 노이즈를 넣어 시점 변화에 강건하게 만든다.

Action alignment: 사람과 로봇이 같은 18차원 행동 벡터를 쓰도록 정의한다.

a_t = \underbrace{[\,\Delta T^{L}_{t},\ \Delta T^{R}_{t}\,]}_{12\text{-D, 6-DoF}\times 2} \;\oplus\; \underbrace{[\,c^{x}_{t}, c^{y}_{t}, c^{\psi}_{t}\,]}_{3\text{-D 이산 locomotion}} \;\oplus\; \underbrace{[\,g^{L}_{t}, g^{R}_{t}\,]}_{2\text{-D 이진 그리퍼}} \;\oplus\; \underbrace{\Delta h_t}_{1\text{-D 높이}}

상체는 절대 자세가 아니라 delta EE 자세를 쓴다(사람과 로봇은 몸통 대비 팔 길이가 달라 절대 분포가 어긋나므로). 하체는 사람 골반 궤적을 로봇 텔레옵과 동일한 이산 속도 프리미티브(전후/좌우/좌우회전 각 3 bin, stand/squat)로 양자화한다. 손은 손가락 관절 폴리라인에 2차 다항식을 맞춘 곡률 \kappa_f를 평균해 임계값으로 이진화한다.

정렬이 끝나면 관측 포맷과 행동 차원이 같아지므로, \pi_{0.5}(openpi)를 두 소스로 한 번에 파인튜닝한다. 미니배치 내 로봇:사람 샘플링 비율은 하이퍼파라미터로 둔다.

주요 결과:

In-domain(실험실): 평균 점수 58.8 → 78.4 (robot-only → co-training, Fig. 5).
Generalization(로봇 데이터에 없는 장면): 30.9 → 82.2, 즉 +51%p. Pillow Placement는 robot-only가 0.0점으로 완전히 무너지는 반면 co-training은 97.5점.
어떤 스킬이 전이되는가: 사람 데이터만 쓴 정책(Human-only)이 내비게이션 서브스텝에서 100%를 찍는 반면 robot-only는 0에 가깝다. 반대로 정밀 조작(Cart Stowing s2)은 Human-only 5% < Robot-only 15% ≪ Co-training 60% (Table I).
View alignment ablation: 일반화 평균 55.3 → 65.3, 물체 높이가 변하는 Toy Transfer에서 25.0 → 41.3으로 가장 크게 오른다(Fig. 8).
장면 다양성: 데이터 양(로봇 100 + 사람 300)을 고정한 채 사람 시연의 장면 수만 0→3으로 늘리면 미지 장면 점수가 57.5 → 82.5로 단조 상승(Table II).
수집 효율: 에피소드당 로봇 텔레옵 62.1 s vs 사람 시연 39.7 s (약 2\times, Table III).

결론:

“고정 베이스 조작에서만 통하던 human-robot co-training이 휴머노이드 whole-body loco-manipulation에서도 통한다”는 것을 실기로 보인 첫 논문이다. 새로운 모델 구조는 없다 — 기여는 두 데이터를 같은 공간으로 밀어 넣는 정렬 레시피와, 그 결과 “실험실에서 로봇 데이터를 조금 모으고 야생에서 사람 데이터를 왕창 모으면 야생 배치가 된다”는 확장 가능한 recipe의 실증이다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문의 통찰은 “저수준 행동은 몸에 종속적이지만, 고수준 행동 구조는 그렇지 않다”는 것이다. 어디로 걸어갈지, 어떤 각도로 물체에 접근할지, 태스크를 어떤 순서로 쪼갤지 — 이런 것들은 사람이든 1.3 m G1이든 본질적으로 같다. 반면 관절 궤적이나 절대 손 위치는 몸이 다르면 그대로 옮길 수 없다. 그렇다면 관측과 행동을 몸에 덜 종속적인 형태로 다시 쓰면(시점을 로봇 눈높이로 내리고, 행동을 delta EE + 이산 걸음 커맨드로 바꾸면) 사람 데이터가 로봇 정책의 학습 신호가 될 수 있다. EgoHumanoid는 이 가설을 4개 실세계 loco-manipulation 태스크에서 검증하고, 예상대로 내비게이션은 잘 전이되고 정밀 조작은 덜 전이된다는 비대칭을 정량화한다.

배경: 왜 휴머노이드 loco-manipulation의 데이터가 특히 어려운가

고정 베이스 조작과 비교하면 세 겹의 추가 난이도가 있다.

(1) 수집 자체가 실험실에 묶인다. 텔레옵으로 로봇 데이터를 모으려면 로봇 + 모캡/VR 장비 + 안전 인력을 현장에 옮겨야 한다. 집·공원·가게로 그걸 들고 가는 건 비현실적이다. 결과적으로 \mathcal{D}_{\text{robot}}은 항상 검은 커튼 친 실험실 한 곳의 데이터가 되고, 정책은 그 장면에 과적합된다.

(2) 시점 분산이 폭발한다. 논문이 Discussion에서 짚는 부분인데, loco-manipulation은 “걸어가서 멈추고 조작”이라 매 시행마다 정지 위치가 다르다. 그래서 조작 단계의 관측 시점이 매번 달라지고, 같은 난이도의 고정 베이스 태스크 대비 약 2–3배 많은 시연이 필요하다고 보고한다. 게다가 내비게이션 정확도가 조작 성공률의 상한을 정한다 — 어정쩡한 위치에 서면 뒤의 조작은 아예 불가능하다.

(3) 사람↔︎로봇 간극이 증폭된다. 상체만 쓰는 태스크라면 손 위치 정렬만 하면 되지만, 걸어 다니면 시점이 통째로 흔들린다. 사람 걸음의 몸통 흔들림(body sway)은 휴머노이드의 걸음과 다르고, 눈높이도 30–50 cm 다르다. 즉 loco-manipulation은 embodiment gap이 시각·행동 양쪽에서 동시에 커지는 최악의 조건이다.

데이터 수집 시스템: 사람과 로봇이 같은 카메라를 쓴다

수집 하드웨어(Fig. 2) — 사람(1.6–1.8 m)은 PICO 4 Ultra 헤드셋 + 5개 PICO Motion Tracker로 전신 자세와 손 자세를, 로봇(약 1.3 m)은 같은 VR 컨트롤러로 팔 자세·파지·이동 커맨드를 받는다. 양쪽 모두 머리에 동일한 ZED X Mini를 달아 1인칭 영상을 기록한다.

설계의 핵심은 “같은 카메라, 같은 인터페이스”다.

사람 측: PICO 4 Ultra 헤드셋 + 5개 Motion Tracker로 24개 신체 키포인트와 손당 26개 관절을 실시간 기록(PICO XRoboToolkit). 머리에 ZED X Mini를 달아 1인칭 RGB를 동기화 수집. 로봇 하드웨어가 전혀 필요 없으므로 집·정원·편의점 어디서든 찍을 수 있다.
로봇 측: 같은 PICO 헤드셋을 쓰되 핸드헬드 컨트롤러로 텔레옵한다. 컨트롤러-헤드셋 상대 자세 → 손목 자세 커맨드(IK로 관절 목표 변환), 방향키류 입력 → 이동 커맨드, 트리거 → Dex3 파지. 하위 whole-body controller는 GR00T-WholeBodyControl을 쓴다.
의도적으로 뺀 것: 손목 카메라가 없다. 저자들은 손목 뷰가 사람↔︎로봇 손 형상 차이 때문에 오히려 간극을 키운다고 보고, egocentric-only가 더 보편적인 셋업이라 판단했다(Appendix Q4). 마찬가지로 사람 손을 로봇 그리퍼로 inpaint하는 것도 하지 않는다 — 검출·렌더링 오차가 들어오고 특정 embodiment에 묶이기 때문이다.

이 “빼기”는 나중에 대가를 치른다(→ 약점 절).

방법 상세 (1): View alignment — 카메라를 25 cm 내리고 구멍을 메운다

정렬 파이프라인(Fig. 3) — (a) View Alignment: 깊이 추정 → 포인트클라우드 변환 → 로봇 카메라 프레임으로 재투영 → inpainting. (b) Action Alignment: 상체는 6-DoF delta end-effector, 하체는 이산 속도 커맨드, 손은 이진 개폐로 통일한다.

세 단계다.

① 깊이 추정. 720\times1280 해상도로 MoGe를 돌려 affine-invariant per-pixel 3D 포인트맵을 얻는다. MoGe는 자체 reprojection 기반 focal/shift 복원으로 scale-invariant depth를 뽑아 주므로, 별도 캘리브레이션 없이 in-the-wild 이미지에 쓸 수 있다. 결과는 bilinear upsample로 입력 해상도에 맞춘다.

② 재투영. 복원된 3D 점 P_h를 목표(로봇) 카메라 프레임으로 rigid transform한 뒤 이미지 평면에 투영한다. 이 rigid transform은 아래쪽으로 0.25 m 평행이동하는 것 하나다. 학습 시에는 이 거리에 \pm 0.05 m 균등 노이즈를 섞어 시점 섭동(perturbation) 증강을 준다 — 배치 시 로봇이 매번 다른 위치에 서기 때문에, 정책이 하나의 고정 시점이 아니라 시점 분포에 노출되게 하려는 것이다.

③ Inpainting. 재투영은 두 가지 이유로 빈 픽셀을 만든다: MoGe의 validity mask가 무효로 표시한 영역, 그리고 시점 변화로 새로 드러난 disocclusion. 이 구멍을 Stable Diffusion 2.0 Inpainting(20 step, CFG 7.5)이 관측 문맥과 마스크를 조건으로 환각(hallucinate)해 채운다.

View alignment 정성 결과(Fig. 9) — 네 태스크 각각 원본 1인칭 → MoGe 깊이 → 재투영(검은 띠 = disocclusion/무효 깊이) → inpainting 결과. 시점이 일관되게 아래로 내려가 로봇 눈높이를 근사하고, 검은 영역이 자연스럽게 메워진다. 다만 최종 이미지에서 손은 여전히 사람 손이다.

방법 상세 (2): Action alignment — 상체·하체·손을 각각 다른 방식으로 통일

상체: 왜 절대 자세가 아니라 delta인가

이 논문에서 가장 근거가 명확한 설계 선택이다. 후보는 둘이었다 — (a) 카메라 프레임 기준 절대 EE 자세, (b) delta EE 자세. 저자들의 논거: 사람은 몸통 높이 대비 팔이 상대적으로 길어서, 기능적으로 동일한 자세라도 손-카메라 거리 분포가 계통적으로 다르다. 절대 자세를 쓰면 이 분포 차이가 그대로 라벨 불일치가 된다. 반면 delta는 “이 프레임에서 다음 프레임으로 손을 얼마나 움직였나”만 담으므로, 전역 정렬된 베이스 프레임이 없어도 두 몸체 사이에서 직접 비교 가능하다.

관절 수준 retargeting을 안 쓰는 이유도 명시적이다 — 아티팩트가 생기고 상호작용에 중요한 손-물체 기하를 흐트러뜨린다.

처리 순서는 다음과 같다.

사람 손목 자세를 골반 중심(pelvis-centric) 프레임으로 표현한다.
병진 성분은 Savitzky–Golay 필터(윈도우 11, 다항식 차수 3)로 평활화.
회전 성분은 \mathrm{SO}(3) tangent space에서 log/exp 사상을 써서 필터링한다. 쿼터니언을 직접 보간하면 부호/최단경로 모호성이 생기기 때문이다. 즉 회전 R_t를 국소적으로 \xi_t = \log(R_{\text{ref}}^{\top} R_t) \in \mathfrak{so}(3)로 올려 평활화한 뒤 R_t \leftarrow R_{\text{ref}}\exp(\xi_t)로 되돌린다.
100 Hz → 20 Hz로 다운샘플(로봇 제어 주기에 맞춤).
연속 프레임 간 상대 변환을 행동으로 출력: \Delta T_t = T_{t}^{-1} T_{t+1} \in SE(3), 6-DoF.

하체: 연속 걸음을 3×3×3 이산 커맨드로 양자화

로봇 쪽 인터페이스가 이미 이산이다 — 텔레옵 조작자가 상수 속도 프리미티브(전/후, 좌/우, 좌회전/우회전, 서기/앉기)를 누른다. 그러니 사람의 연속적인 걸음을 같은 이산 집합으로 사영하면 된다.

골반 궤적에 Savitzky–Golay 평활화(지터 억제).
중심 차분(centered difference)으로 순간 헤딩을 추정하되, 연속성 제약을 걸어 방향이 갑자기 뒤집히는 것(direction flip)을 막는다.
세계 좌표계 변위를 국소 프레임에 사영해 전진·측면 속도를 얻는다: v^{\text{fwd}}_t, v^{\text{lat}}_t.
프레임 간 헤딩 변화로 yaw rate \omega_t를 계산한다.
제어 윈도우 내 평균으로 20 Hz로 다운샘플한 뒤 각 축을 3개 bin으로 양자화한다(전후 3, 측면 3, yaw 3).
stand/squat는 프레임 간 골반 높이 변화를 임계값 처리해 얻는다.

즉 하체 행동은 c_t \in \{-1,0,+1\}^3 수준의 거친 커맨드로 압축된다. 표현력은 낮지만, 로봇 하위 컨트롤러가 실제로 받을 수 있는 유일한 형태라는 점에서 실용적 선택이다.

손: 곡률로 파지 상태를 읽는다

그리퍼 행동은 이진 a_t\in\{0,1\}이다. 로봇 쪽은 트리거 신호가 그대로 라벨이지만, 사람 쪽은 26개 손 관절에서 “쥐었나/폈나”를 추론해야 한다. 방법은 다음과 같다.

원시 관절 궤적에 저역통과 필터 + Savitzky–Golay 평활화.
각 손가락의 관절 폴리라인에 2차 다항식을 맞추고, 중점에서의 곡률 \kappa_f를 계산.
전체 손가락에 대해 평균 \bar{\kappa} = \frac{1}{F}\sum_f \kappa_f를 구하고 임계값으로 이진화.

곡률을 쓰는 이유는 관절각 자체보다 노이즈에 강하고, 손 크기·비율에 덜 민감하기 때문이다.

방법 상세 (3): Co-training — π₀.₅에 18차원 행동을 붙인다

정렬이 끝나면 두 데이터의 관측 포맷(224\times224 RGB + 언어)과 행동 차원(18-D)이 동일해지므로, 하나의 정책을 두 소스로 동시에 학습할 수 있다. 베이스는 \pi_{0.5}(openpi)이고 파인튜닝한다.

행동 벡터 18차원의 내역:

구성	차원	비고
delta EE 자세	12	6-DoF × 양팔
이산 locomotion	3	x, y, yaw
이진 그리퍼	2	손당 1
delta height	1	stand/squat

Action chunk = 50 step.
Proprioception을 일부러 넣지 않는다. 사람과 휴머노이드는 관절 구성이 달라 고유수용 분포가 호환되지 않고, 넣으면 co-training을 오염시킨다는 판단이다. (이 선택은 뒤에서 회전 모호성이라는 대가로 돌아온다.)
Multi-source sampling: 사람 데이터가 훨씬 많아 불균형하므로, 미니배치 내 로봇:사람 비율을 명시적으로 조절해 로봇 시연 노출을 충분히 유지한다.

학습 설정: 8 × NVIDIA A100, GPU당 배치 32(유효 배치 256), AdamW(lr 5\times10^{-5}, weight decay 1\times10^{-10} — 사실상 무시 가능, grad clip 1.0), cosine decay + warmup 10,000 step, 총 20,000 step, bf16 혼합정밀도.

추론: RTX 4090에서 forward 1회 약 130 ms. 50-step chunk를 생성하고, 추론 지연 동안 실행된 앞의 k개를 버린 뒤 이전 chunk와 겹치는 구간을 선형 블렌딩한다.

a_i \;=\; w_{\text{old}}(i)\,a^{\text{prev}}_i + w_{\text{new}}(i)\,a^{\text{new}}_i, \qquad w_{\text{old}}(i)=1-\tfrac{i}{m-1},\;\; w_{\text{new}}(i)=\tfrac{i}{m-1},\;\; i\in[0,m)

m은 겹침 길이. chunk 경계에서 행동이 튀는 것을 막는 표준적인 처리다.

직관: 왜 이게 통하는가 (그리고 어디까지만 통하는가)

정렬이 하는 일을 한 문장으로 줄이면 “embodiment에 의존하는 성분을 행동 표현에서 최대한 빼는 것”이다.

절대 EE 자세 → delta EE: 몸통 대비 팔 길이라는 embodiment 성분 제거.
연속 걸음 → 이산 커맨드: 보행 동역학·무게 분포라는 embodiment 성분 제거.
손 관절각 → 곡률 임계 → 이진: 손 형상·자유도라는 embodiment 성분 제거.
사람 눈높이 → 로봇 눈높이 재투영: 키라는 embodiment 성분 제거.

각 단계는 정보를 버리는 압축이다. 그리고 이 압축이 어떤 정보를 버리느냐가 곧 전이의 비대칭을 결정한다. 내비게이션은 “어느 방향으로 얼마나 갈지”만 알면 되니 이산 3-bin 커맨드로도 거의 손실이 없다 — 그래서 Human-only가 내비게이션 서브스텝에서 100%를 찍는다. 반대로 정밀 조작은 손목 회전 몇 도, 손가락 힘 얼마가 성패를 가르는데, delta EE + 이진 개폐는 바로 그 정보를 버린다 — 그래서 Cart Stowing 정밀 단계에서 Human-only가 5%로 무너진다.

Co-training의 역할이 여기서 명확해진다. 사람 데이터는 “어디로 가서 무엇을 어떻게 접근할지”라는 거친 사전지식(prior)을 대량의 다양한 장면과 함께 제공하고, 로봇 데이터는 “그 자세에서 실제로 어떻게 쥐어야 하는지”라는 정밀한 접지(grounding)를 제공한다. Cart Stowing s2에서 Human-only 5%, Robot-only 15%, Co-training 60%라는 숫자는 이 상보성을 가장 선명하게 보여주는 지점이다 — 둘 다 개별로는 못 하는 걸 합치면 한다.

실험: 셋업과 채점 기준

평가 태스크(Fig. 4) — 4개 태스크 × 3계층. 위: 실험실에서 텔레옵으로 모은 로봇 데이터(source domain). 가운데: 사람 데이터에만 존재하는 인간 중심 장면. 아래: 그 장면에서의 실제 배치(generalization 평가).

로봇: 중형 Unitree G1(약 1.3 m, 3지 Dex3 포함 29 DoF). 머리의 ZED X Mini가 960\times540 / 20 Hz로 촬영, 모델 입력은 224\times224. 로봇 데이터는 100 Hz 수집 → 20 Hz 다운샘플(1/5).
태스크 4종(모두 1–5 m의 비자명한 이동 포함):
1. Pillow Placement — 베개를 들고 침대까지 걸어가 앉으며 머리맡에 놓기. 부피 큰 물체를 든 채 안정적 보행 + 변형 표면 위 배치.
2. Trash Disposal — 쓰레기를 들고 뚜껑 있는 쓰레기통까지 가서 위에서 떨어뜨리지 않고 구멍에 수평으로 삽입. 정밀한 위치 추정과 EE 제어 요구.
3. Toy Transfer — 인형에 접근 → 양손 파지 → 방향 전환 → 먼 테이블까지 이동 → 내려놓기. 4단계 순차 협응.
4. Cart Stowing — 카트를 밀어 진열대 옆에 대고 → 인형을 왼손으로 집어 → 카트 바구니에 넣고 → 카트를 밀고 나가기. 접촉을 유지한 채 이동하는 유일한 태스크.
데이터량: robot-only는 태스크당 로봇 100 에피소드, co-training은 여기에 사람 시연 300 에피소드를 추가.
평가: 설정당 20 trial, 시작 위치를 섭동. 각 태스크를 순서 있는 K개 스테이지로 나누고 스테이지별 이진 성공 s_k로 채점한다.

\text{Score} = \frac{1}{K}\sum_{k=1}^{K} s_k

논문의 Fig. 5/7/8에 나오는 Average Score는 이 값을 trial에 대해 평균한 것, 즉 스테이지 성공률의 평균이다. (엄밀한 성공은 모든 스테이지를 순서대로 통과해야 하지만, 리포트되는 주 지표는 이 부분점수다 — 해석 시 주의할 점.)

실험 1: 사람 데이터가 실제로 도움이 되는가 (Q1)

주 결과(Fig. 5) — 좌: in-domain(실험실). 우: generalization(로봇 데이터에 없는 장면). robot-only(붉은색) vs co-training(초록색).

설정	Pillow	Trash	Toy	Cart	평균
In-domain, Robot-only	60.0	85.0	47.5	42.5	58.8
In-domain, Co-training	85.0	97.5	61.3	70.0	78.4
Generalization, Robot-only	0.0	55.0	37.5	31.3	30.9
Generalization, Co-training	97.5	87.5	78.8	65.0	82.2

두 가지가 눈에 띈다.

일반화 격차가 압도적이다: +51.3%p. in-domain 개선(+19.6%p)의 2.6배다. 즉 사람 데이터의 값어치는 “잘하게 만드는 것”보다 “못 보던 데서도 하게 만드는 것”에 있다.
일반화 점수(82.2)가 in-domain 점수(78.4)보다 높다. 저자들은 이를 “사람 데이터가 도메인 갭을 효과적으로 메운다”고 해석하는데, 나는 이 해석을 그대로 받아들이기 어렵다(→ 약점 절).

실험 2: 어떤 서브스킬이 전이되는가 (Q2)

Table I은 태스크를 locomotion 지배 단계와 manipulation 지배 단계로 쪼개 연속 성공률을 보여준다.

Training Data	Pillow s1	s2	Trash s1	s2	Toy s1	s2	s3	s4	Cart s1	s2	s3	s4
Robot-only	0	0	65	45	100	50	0	0	100	15	5	5
Human-only	100	95	100	80	100	100	45	35	100	5	0	0
Co-training	100	95	100	75	100	100	60	55	100	60	50	50

관찰 1 — 내비게이션은 사람 데이터만으로 전이된다. Human-only가 내비게이션 지배 서브스텝(Pillow s1, Trash s1, Toy s1, Cart s1)에서 모두 100%. 두 번 연속 회전이 필요한 Toy Transfer s3에서도 45%로, Co-training(60%)과 15%p밖에 차이 나지 않는다. 반면 Robot-only는 이 단계들에서 거의 0에 가깝다(Pillow s1 = 0, Toy s3 = 0).

관찰 2 — 조작은 전이되지만 정밀도 요구에 반비례한다. 대략적 접촉으로 충분한 단계(Pillow s2, Trash s2, Toy s2/s4)에서는 Human-only가 Robot-only를 이긴다. 그러나 정밀이 필요한 Cart Stowing s2에서는 Human-only 5% < Robot-only 15%로 역전되고, Co-training이 60%로 둘을 크게 앞선다.

실패 모드 분석(Fig. 6) — 세 설정의 전체 실패 에피소드를 locomotion/manipulation과 세부 원인으로 분해한 Sankey. (a) Robot-only 70건, (b) Human-only 49건, (c) Co-training 25건.

Sankey가 위 해석을 뒷받침한다.

Robot-only(총 70 실패): locomotion 37 vs manipulation 33 — 균형. locomotion 실패의 대부분이 “Early Stop 30”(너무 일찍 멈춤)이다. 실험실 한 장면에만 노출된 정책이 낯선 배경에서 멈춰 서는 전형적 패턴.
Human-only(총 49): locomotion 11 vs manipulation 38 — 조작 실패가 약 3.5배. locomotion 실패는 전부 Early Stop 11이고, 조작 실패는 Poor Grasping Pose 19 / Early Gripper Open 11 / Poor Placing Pose 8로 흩어진다.
Co-training(총 25): locomotion 8 vs manipulation 17. 특히 Early Gripper Open이 1건으로 급감했다 — 로봇 데이터가 파지 타이밍을 접지해 준 흔적으로 읽힌다.

실험 3: 사람 데이터를 늘리면 계속 좋아지는가 (Q3)

스케일링(Fig. 7) — 사람 시연 0→300개(로봇 데이터의 3배)까지, 미니배치 샘플링 비율 Robot:Human = 1:2 / 1:1 / 2:1을 바꿔가며 일반화 성능을 측정.

핵심은 최적 샘플링 비율이 태스크 성격에 따라 갈린다는 것이다.

대략적 파지로 충분한 태스크(Pillow)는 사람 비중이 높은 1:2를 선호.
정밀 조작이 필요한 태스크(Toy Transfer, Cart Stowing)는 로봇 비중이 높은 2:1을 선호.

이는 Sec. IV-C의 서브스킬 분석과 정확히 맞물린다 — embodiment gap이 정밀 조작에 불균형하게 타격을 주므로, 그런 태스크일수록 로봇 데이터로 더 자주 접지해 줘야 한다. 저자들은 “모든 샘플링 비율에서 사람 데이터가 쌓일수록 일관되게 좋아진다”고 요약하는데, 그림을 실제로 보면 개별 곡선은 그렇게 깔끔하지 않다(→ 약점 절).

실험 4: View alignment 절제 & 장면 다양성

View alignment 절제(Fig. 8) — 일반화 환경에서 view alignment 유무 비교. 물체 높이가 달라지는 Toy Transfer·Cart Stowing에서 이득이 가장 크다.

태스크	w/o view alignment	ours	차이
Pillow Placement	77.5	82.5	+5.0
Trash Disposal	80.0	87.5	+7.5
Toy Transfer	25.0	41.3	+16.3
Cart Stowing	38.8	50.0	+11.2
평균	55.3	65.3	+10.0

저자들의 해석이 설득력 있다: Toy Transfer와 Cart Stowing은 물체가 다양한 높이에 놓이는 태스크라, 배치 시점이 사람 데이터(높은 카메라)와도 로봇 데이터(특정 높이 물체)와도 다르다. View alignment는 사람 관측을 로봇 카메라 높이로 재투영하고 거기에 자세 섭동까지 더해, 정책이 더 넓은 시점 분포를 보게 만든다. 반면 물체 높이가 거의 고정인 Pillow/Trash에서는 이득이 작다.

장면 다양성(Table II) 실험도 흥미롭다. 데이터 양을 고정(로봇 100 + 사람 300)한 채, 사람 시연이 찍힌 서로 다른 장면 수만 늘리며 학습 때 본 적 없는 새 장면에서 zero-shot 평가한 Trash Disposal 결과다.

Training Data	# Human Scenes	s1 (locomotion)	s2 (manipulation)	Average Score
Robot-only	0	70	45	57.5
Co-training	1	90	60	75.0
Co-training	2	100	50	75.0
Co-training	3	100	65	82.5

같은 데이터 양이라도 장면 수가 늘면 미지 장면 성능이 오른다(57.5 → 82.5). 이 논문에서 유일하게 “학습에 없던 장면”을 명시적으로 평가한 실험이라는 점에서 가장 무게 있는 결과다. 다만 장면 수 1→2에서 평균이 정체(75.0 → 75.0)하고 s2가 오히려 60→50으로 떨어진 것을 보면, 20 trial 규모에서의 노이즈가 작지 않다.

실험 5: 수집 효율

Method	Pillow	Trash	Toy	Cart	평균
Robot teleop	35.7	43.1	66.2	103.5	62.1 s
Human demo	16.2	18.3	34.5	89.9	39.7 s

에피소드당 약 2\times 빠르다. 다만 태스크마다 이득 폭이 크게 다르다 — Trash Disposal은 2.4배(43.1→18.3)인 반면 Cart Stowing은 1.15배(103.5→89.9)에 그친다. 카트를 미는 물리적 시간이 사람이나 로봇이나 비슷하기 때문으로 보인다. 그리고 이 표는 순수 실행 시간만 재는 것이라, 로봇 텔레옵의 진짜 비용(장비 설치, 리셋, 실패 재시도, 안전 인력)은 빠져 있다. 그 점에서 2배는 오히려 과소평가일 가능성이 크다.

비판적으로 보면

강점

문제 선택이 정확하다. “휴머노이드 loco-manipulation 데이터가 실험실에 갇혀 있다”는 병목은 실재하고, “사람이 이미 그 환경에서 그 행동을 한다”는 우회로는 명백하지만 whole-body에는 아무도 안 해봤다. 첫 실증이라는 위치가 분명하다.
정렬 설계가 원리적이다. delta EE를 고르는 논거(몸통 대비 팔 길이 차이로 절대 분포가 어긋남), 관절 retargeting을 피하는 논거(손-물체 기하 훼손), 회전을 \mathrm{SO}(3) tangent space에서 필터링하는 논거(쿼터니언 보간 모호성), proprioception을 빼는 논거(분포 비호환) — 각 선택마다 “왜”가 있고 임의적이지 않다.
전이의 비대칭을 정량화했다. “사람 데이터는 만능”이 아니라 내비게이션은 잘 전이되고 정밀 조작은 안 된다는 결론을 서브스텝 성공률(Table I)과 실패 모드 Sankey(Fig. 6)로 이중 검증했다. Cart Stowing s2의 5/15/60 삼각형은 상보성의 교과서적 증거다.
장면 다양성 실험(Table II)이 인과를 분리한다. 데이터 양을 고정하고 장면 수만 바꿈으로써, “사람 데이터가 좋은 건 그냥 양이 많아서”라는 대안 설명을 배제한다. 작지만 가장 잘 설계된 실험이다.
재현 가능성이 실질적이다. 코드(Apache 2.0)와 HuggingFace 데이터셋이 공개되고, 부록에 하이퍼파라미터가 거의 전부 적혀 있다(필터 윈도우 11/차수 3, 재투영 0.25 m, inpainting 20 step/CFG 7.5, 3 bin 양자화, lr·warmup·step 수까지). 논문의 재현성 문화 면에서 모범적이다.

약점·한계

“Generalization > In-domain”은 저자 해석대로 읽으면 안 된다. 일반화 평균(82.2)이 in-domain(78.4)보다 높은데, 저자는 “사람 데이터가 도메인 갭을 메운 증거”라고 쓴다. 그러나 여기서 말하는 “generalization” 장면은 사람 데이터가 커버하는 장면이다(문제 설정 §III-A에 명시). 즉 co-training 정책 입장에서 그 장면은 미지가 아니라 학습 분포 안이다. 오히려 자연스러운 해석은 “그 장면들이 실험실보다 쉬웠거나(예: 가정용 침대가 캠핑용 간이침대보다 넓다), 사람 데이터가 그 장면에 특화됐다”는 쪽이다. 진짜 zero-shot 증거는 Table II 하나뿐이고, 그건 태스크 1종·평균 82.5점이다.
+51%p라는 헤드라인 수치가 단일 붕괴에 크게 의존한다. Generalization에서 robot-only의 Pillow Placement는 0.0점이다. 이 한 항목을 빼고 나머지 3태스크로 평균 내면 robot-only 41.3 vs co-training 77.1로 +35.8%p가 된다. 여전히 큰 격차지만, 51%p는 “베이스라인이 한 태스크에서 완전히 무너진” 효과가 상당 부분 만든 숫자다. robot-only가 왜 새 침대 앞에서 0점이 되는지(Early Stop 30건과 관련 있어 보이지만) 태스크별 분석이 없다.
핵심 기여인 action alignment가 절제되지 않았다. 논문은 view alignment는 절제했지만(Fig. 8), action alignment의 설계 선택 — 절대 vs delta EE, 이산 vs 연속 locomotion, 곡률 기반 vs 임계 기반 파지 — 은 하나도 실험으로 검증하지 않는다. 논거는 서술적이고 그럴듯하지만(§V), “절대 EE를 썼으면 얼마나 나빠지는가”라는 가장 직접적인 질문에 숫자가 없다. 두 축이 동등한 기여로 제시되는 것에 비하면 검증의 비대칭이 크다.
Fig. 5와 Fig. 8의 co-training 일반화 점수가 서로 안 맞는다. Fig. 5의 co-training 일반화 평균은 82.2인데, Fig. 8의 “ours”(= view alignment 있는 co-training)의 일반화 평균은 65.3이다. 태스크별로도 Toy Transfer가 78.8 vs 41.3으로 크게 벌어진다. 데이터 양이나 샘플링 비율이 다른 설정으로 보이지만 논문에 설명이 없다. 두 그림의 절대값을 섞어 인용하면 안 되고, 각 그림 안에서의 상대 비교로만 읽는 게 안전하다.
스케일링 주장이 그림보다 강하다. §IV-D는 “모든 샘플링 비율에서 사람 데이터가 늘수록 일관되게 좋아진다”고 쓰지만, Fig. 7의 개별 곡선은 비단조적이다 — 예컨대 Toy Transfer의 1:2 곡선은 200개에서 정점을 찍고 300개에서 내려오고, Cart Stowing에서도 중간 지점의 등락이 뚜렷하다. 단조 상승은 대체로 Average 패널과 최선의 비율에서만 성립한다. 게다가 최대 규모가 300 에피소드/태스크라, 로그-선형 스케일링 법칙을 논할 범위는 아니다. 저자들도 “스케일링 법칙”을 향후 과제로 남긴다.
View alignment가 “높이”만 고친다. 재투영은 아래쪽 평행이동 0.25 m 하나다. 회전(로봇의 head pitch), 내부 파라미터(FOV) 차이, 걸음 중 흔들림의 통계 차이는 다루지 않는다. 사람 1.6–1.8 m 대 로봇 1.3 m라면 실제 카메라 높이 차이는 0.3–0.5 m대인데, 0.25 m는 재투영 구멍을 줄이기 위한 타협으로 보인다(논문에 근거 서술 없음). 더 결정적으로, Fig. 9의 최종 이미지에는 여전히 사람 손이 그대로 있다 — 저자들이 Q4에서 hand inpainting을 의도적으로 뺐다고 밝힌 대로다. 즉 시각 정렬은 시점만 맞추고 외형 간극은 그대로 둔 채 VLA의 강건성에 기댄다.
행동 표현이 태스크 범위를 좁힌다. 하체가 3-bin 상수 속도 프리미티브라, 계단·페달·좁은 틈처럼 정밀한 발 배치가 필요한 행동은 원천적으로 불가능하다(저자도 Q3에서 인정). 회전 모호성도 구조적이다 — delta EE + proprioception 없음 조합에서는 정책이 1인칭 이미지만 보고 의도한 EE 방향을 복원할 수 없다. Fig. 6의 Co-training “Wrong Orientation 4건”이 그 흔적이다.
수집 프로토콜이 “in-the-wild”의 자연스러움을 갉아먹는다. 부록 -B의 가이드라인은 시연자에게 손목 자세를 일관되게 유지하고, 몸통 흔들림을 억제하고, 손이 가려지지 않게 접근 각도를 조정하라고 요구한다 — “가장 자연스러운 인간 행동에서 벗어나더라도”라고 명시한다. 저자들은 이것이 장면 다양성이나 효율을 해치지 않는다고 주장하지만, 결과적으로 이 데이터는 “일상 영상”이 아니라 훈련된 시연자의 제약된 시연이다. 인터넷 규모 egocentric 영상(Ego4D 등)으로 확장하려면 이 제약이 그대로 걸림돌이 된다.
통계적 근거가 얇다. 설정당 20 trial이고, 2-스테이지 태스크의 점수 해상도는 trial당 0/50/100이다. Fig. 5·8에 오차 막대가 있지만 정의(표준편차/표준오차/seed 수)가 명시되지 않고, 유의성 검정이나 다중 시드 결과도 없다. 55.3 vs 65.3 같은 10점 차이가 재현되는지 판단할 재료가 부족하다.
비교 대상이 사실상 없다. 베이스라인은 robot-only와 human-only, 두 개의 자기 절제뿐이다. 다른 사람→로봇 전이 방식(사전학습-후 파인튜닝, latent action, UMI류 하드웨어)과의 비교가 없어, “co-training이 이 문제에서 최선인가”는 열린 질문으로 남는다. 저자들도 Q1에서 사전학습과 co-training이 상보적이라고만 말한다.

재현 관점 코멘트

(별도로 진행 중인 코드 재현 결과가 나오면 이 절을 갱신할 예정이다. 아래는 논문 기재 사항만으로 판단한 사전 평가.)

학습 재현은 단일 워크스테이션 범위를 넘는다. 8 × A100 / 유효 배치 256 / 20,000 step 설정이고 베이스가 \pi_{0.5}다. 단일 GPU로는 배치를 줄이고 step을 늘리는 우회가 필요하며, 그 경우 보고된 수치와의 동일성은 보장되지 않는다.
전처리 비용이 논문에 없다. View alignment는 프레임마다 MoGe 추론 + SD 2.0 inpainting 20 step을 돌린다. 태스크당 사람 시연 300 에피소드 × 평균 39.7 s × 20 Hz ≈ 24만 프레임 규모이고, 태스크 4종이면 100만 프레임에 가깝다. 정렬 전처리가 학습보다 무거울 수 있는데 그 시간/비용이 보고되지 않았다.
추론은 접근 가능한 편이다. RTX 4090에서 forward 약 130 ms, 20 Hz 제어에 50-step chunk + 선형 블렌딩. 정책 실행만 놓고 보면 소비자용 GPU 한 장으로 가능하다.
실기 재현의 진짜 장벽은 하드웨어다. Unitree G1 + Dex3 + ZED X Mini + PICO 4 Ultra + 트래커 5개가 있어야 하고, 하위 컨트롤러인 GR00T-WholeBodyControl은 NVIDIA 비상업 라이선스다(코드 본체는 Apache 2.0). 실물 없이 검증 가능한 것은 정렬 파이프라인(깊이 재투영·inpainting·행동 변환)의 오프라인 재현 — 공개 데이터셋으로 Fig. 9류 정성 결과를 재현하는 것 — 까지가 현실적인 범위로 보인다.

요약

EgoHumanoid는 로봇 없이 모은 1인칭 인간 시연으로 휴머노이드 whole-body loco-manipulation 정책을 co-training한 첫 사례다. 기여는 새 모델이 아니라 정렬 레시피다 — 깊이 재투영 + diffusion inpainting으로 사람 시점을 로봇 눈높이(0.25 m 아래)로 내리고, 상체는 delta EE, 하체는 3-bin 이산 속도 커맨드, 손은 곡률 기반 이진 개폐로 행동 공간을 통일한 뒤 \pi_{0.5}를 파인튜닝한다. 결과는 명확하다: 로봇 데이터가 없는 환경에서 30.9 → 82.2점, in-domain에서도 58.8 → 78.4점. 그리고 내비게이션은 사람 데이터만으로 거의 완전히 전이되지만 정밀 조작은 로봇 데이터의 접지가 반드시 필요하다는 비대칭을 서브스텝 단위로 정량화했다.

한계도 그만큼 분명하다. “일반화” 장면이 사람 데이터가 커버하는 장면이라 진짜 zero-shot 증거는 Table II 하나로 얇고, +51%p라는 숫자는 베이스라인의 단일 붕괴에 상당히 기댄다. 핵심 기여의 절반인 action alignment는 절제 실험이 없고, Fig. 5와 Fig. 8의 절대값이 설명 없이 어긋난다. delta EE의 회전 모호성과 이산 하체 커맨드는 구조적 천장이며, 수집 프로토콜은 “자연스러운 인간 행동”에서 이미 한 발 물러나 있다.

그럼에도 이 논문이 제시하는 recipe — 실험실에서 로봇 데이터를 조금, 야생에서 사람 데이터를 많이 — 는 휴머노이드 데이터 병목에 대한 가장 현실적인 답 중 하나다. 다음 단계는 저자들이 예고한 대로 스케일(300 → 수천 에피소드), 표현력(이산 커맨드 → 표현적 whole-body 제어), 그리고 회전 모호성을 풀 행동 표현일 것이다. 코드와 데이터셋이 모두 공개되었으니, 검증도 반박도 커뮤니티가 할 수 있다.