📃Human2Robot VLA 리뷰

Emergence of Human to Robot Transfer in Vision-Language-Action Models

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Blog

1. 이 연구는 Vision-Language-Action (VLA) 모델에서 인간-로봇 스킬 전이가 사전 훈련 데이터의 규모와 다양성이 증가함에 따라 나타나는 emergent property임을 밝혔습니다.
2. 이러한 능력은 다양한 사전 훈련이 인간과 로봇 데이터에 대한 embodiment-agnostic representation을 형성하여, 명시적인 정렬 없이도 자연스러운 도메인 정렬을 가능하게 하기 때문입니다.
3. 제안된 간단한 co-training 방식을 통해, 인간 데이터에만 존재하는 새로운 generalization 시나리오에서 VLA 모델의 성능이 크게 향상되었음을 확인했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 연구는 Vision-Language-Action (VLA) 모델에서 인간 데이터를 로봇 정책으로 전이하는 능력(human-to-robot transfer)이 모델의 pre-training scale과 다양성과 함께 emergence 현상으로 나타남을 밝힙니다. 방대한 양의 human video는 다양한 실제 상황을 포함하고 수집이 용이하지만, 이를 VLA 학습에 통합하는 것은 인간과 로봇 간의 embodiment gap으로 인해 어려운 연구 과제였습니다. 기존 접근 방식은 수동적인 엔지니어링과 명시적인 alignment 기법에 의존하여 전이의 일반성을 제한했습니다. 이 논문은 Large Language Models(LLMs)에서 다양한 supervision을 학습하는 능력이 scale과 함께 emerge하는 현상에 영감을 받아, VLA에서도 유사한 현상이 발생하는지 탐구합니다.

핵심 가설 및 방법론 (Core Hypothesis and Methodology)

연구의 핵심 가설은 인간-로봇 전이가 다양하고 충분한 VLA pre-training을 통해 emergent property로 나타난다는 것입니다. 이는 다양한 pre-training이 인간과 로봇 데이터에 대해 embodiment-agnostic representations(embodiment에 구애받지 않는 표현)을 형성하게 하여, 시각적 및 운동학적 Domain Shift에도 불구하고 데이터를 정렬시킨다는 개념에 기반합니다.

이를 위해 연구진은 simple co-training recipe인 π0.5 + ego를 도입합니다. 이 방법론은 human video를 robot data와 동일한 objective를 가진 추가적인 embodiment로 간주하며, 명시적인 alignment 단계를 수행하지 않습니다.

1. Model Architecture: 이 모델은 기존의 강력한 VLA 모델인 π0.5를 기반으로 합니다. π0.5는 행동(action)을 이산적인 FAST [35] action tokens과 연속적인 값 [8]으로 모두 예측하도록 훈련됩니다. 또한, 시각적 관찰(o_t)과 상위 수준 언어 명령(l_t)을 통해 subtask string(l_{subtask_t})을 예측하는 subtask prediction objective를 포함하며, 이 예측된 subtask는 행동 생성(\pi_\theta(a_{t:t+H} | o_t, l_{subtask_t}))을 조건화하는 데 사용됩니다.
2. Human Data Collection Pipeline:
   • 데이터 수집 장치: 사용자는 머리 장착 카메라를 착용하며, 로봇 팔의 손목 카메라를 모방하기 위해 추가적으로 손목 장착 카메라를 실험합니다.
   • 데이터 수집 프로토콜: 로봇 teleoperation data와 유사하게, 에피소드 방식으로 반복적인 시연을 수집하며, 운영자는 손이 카메라 시야에 있도록 지시받습니다.
   • 데이터 처리 및 주석 (Processing & Annotation):
     • Visual SLAM을 사용하여 머리 장착 카메라의 6D 움직임(e_t \in R^6)을 재구성합니다.
     • 두 손의 17개 3D keypoint(h_{e,t_t} \in R^{3 \times 17}) 위치를 머리 카메라 프레임에서 재구성합니다.
     • 각 팔의 행동을 설명하는 text-based subtask로 주석을 답니다.
3. Action Space Alignment: 인간과 로봇 데이터의 액션 표현을 대략적으로 정렬하는 것이 중요합니다.
   • 로봇 액션: 6-DoF end-effector trajectory (left/right arm) + gripper, 2D base actions으로 구성되며, 총 액션 청크는 a \in R^{H \times 16}입니다.
   • 인간 액션: 각 손의 손바닥(palm), 가운데 손가락(middle finger), 약손가락(ring finger)의 3D keypoint를 사용하여 “end-effector” pose를 정의합니다. 로봇과 유사하게 현재 6-DoF 상태로부터의 상대적 변환으로 end-effector actions을 계산합니다. 로봇 base actions은 인간 비디오의 base camera poses를 청크의 첫 번째 timestep base camera pose 프레임으로 투영하여 근사화합니다. 인간 비디오에 대한 gripper actions은 명시적으로 근사화하지 않습니다. 결과적으로 인간 액션은 2개의 손(각 6 DoF)과 6 DoF의 base action 근사치를 포함하여 총 18차원입니다.
4. Training Objectives:
   • Low-level action prediction: 연속적인 액션에 대한 flow-based prediction과 이산적인 FAST 토큰에 대한 next-token prediction을 통해 action chunk prediction을 감독합니다.
   • High-level subtask prediction: Subtask language tokens에 대한 next-token prediction을 훈련합니다.
   • 이 두 objective는 인간 데이터와 로봇 데이터 모두에 동일하게 적용됩니다.
5. Fine-tuning Mixture: Fine-tuning 시, 모델의 원래 능력을 유지하면서 human data로부터 새로운 개념을 도입하여 일반화 능력을 향상시키는 것이 중요합니다. 따라서, human data for generalization tasks와 nearest neighbor robot task를 50-50 비율로 co-train합니다.

실험 및 주요 결과 (Experiments and Key Findings)

연구는 새로운 장면, 객체, 그리고 작업을 포함하는 4가지 generalization 시나리오로 구성된 benchmark suite를 구축하여 π0.5 + ego의 효과를 평가합니다.

1. Human to robot transfer benchmark:
   • Scene transfer: 로봇 데이터에서 커버리지가 제한적인 미지의 공간(예: spice rack 정리, 옷장 정리)에 대한 인간 데이터 수집 후 π0.5 + ego를 벤치마킹합니다.
   • Object transfer: 로봇 데이터가 다루지 않는 새로운 객체(예: 주방 도구)를 포함한 인간 데이터를 수집하여 bussing task에 대해 벤치마킹합니다.
   • Task transfer: 로봇 데이터에 없는 새로운 작업(예: 계란 색깔별 분류)에 대한 인간 데이터를 수집하여 벤치마킹합니다. 모든 시나리오에서 π0.5 + ego는 기존 로봇 데이터만으로 훈련된 정책에 비해 성능이 크게 향상되었음을 보였습니다 (예: Spice task 32% → 71%, Egg sorting 57% → 78%).
2. Emergence of Transfer: 가장 중요한 발견은 인간-로봇 전이가 VLA pre-training의 다양성(장면, 작업, embodiment)에 따라 emerge한다는 것입니다.
   • 다양한 pre-training 수준에서 성능 평가: 0%(기본 VLM 초기화), 25%, 50%, 75%, 100%(점점 더 다양한 로봇 데이터), 100% + X-emb(π0.5의 전체 VLA pre-training mix)의 초기화로 실험합니다.
   • 결과적으로, pre-training 다양성이 적거나 없을 때는 human data co-training으로부터 이점을 얻지 못하지만(0%, 25%), 75%, 100%와 같이 데이터가 충분히 다양하게 pre-training된 VLA는 human data co-training으로부터 상당한 이득을 얻습니다. 특히 cross-embodiment 데이터 믹스로 pre-training할 때 전이가 더욱 향상됩니다.
   • Embodiment-agnostic representations: TSNE 분석을 통해, pre-training 다양성이 증가함에 따라 인간과 로봇 데이터의 latent representation이 일치하여(converge), 모델이 두 embodiment에 대한 통합된 표현을 구축함을 보여줍니다. 이는 충분히 다양한 pre-training이 명시적인 alignment 없이도 alignment된 표현을 가능하게 함을 시사합니다.
3. Comparison with other robot data:
   • Sort Eggs와 Dresser task의 경우, human data를 사용하여 fine-tuning한 결과는 target robot data로 fine-tuning한 것과 거의 동일한 성능을 보였습니다.
   • Bussing task의 경우, target robot data가 human data보다 더 효과적이었지만, human data 전이와 cross-embodiment robot 전이(다른 UR5 로봇 데이터에서 ARX 로봇으로의 전이)는 유사한 특성을 보였습니다. 이는 human data가 로봇 믹스에서 또 다른 robot embodiment로 활용될 수 있음을 시사합니다.
4. Level of Transfer: 인간 데이터가 high-level semantic concepts뿐만 아니라 low-level action prediction도 전이할 수 있음을 확인했습니다. 모바일 task (Spice 및 Dresser)에서 high-level subtask prediction과 low-level action prediction을 공동으로 co-train할 때 가장 효과적인 전이가 발생했으며, 이는 두 수준 모두에서 전이가 일어남을 나타냅니다.
5. Importance of Wrist Cameras: 인간 착용 손목 카메라를 활용하면 Bussing 및 Dresser와 같은 특정 task에서 전이가 향상됩니다. 이는 일부 task가 손목 카메라의 추가적인 관찰 가능성으로부터 이점을 얻는다는 직관과 일치합니다.

결론적으로, 이 연구는 human-to-robot transfer가 충분히 다양하게 pre-training된 VLA에서 발생하는 emergent property임을 강력하게 시사합니다. 이는 로봇 파운데이션 모델이 미래에 더 광범위하고 다양한 데이터 소스, 특히 풍부한 human video 데이터로부터 학습하여 새로운 능력을 얻을 수 있는 가능성을 제시합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 우리는 왜 인간의 영상을 로봇에게 보여주려 하는가?

자, 여기 흥미로운 질문이 있습니다. 어린아이가 부모가 요리하는 것을 보고 스스로 요리를 배울 수 있다면, 로봇은 왜 그렇게 할 수 없을까요?

로봇 학습 분야에서 가장 골치 아픈 문제 중 하나는 데이터 수집의 비용입니다. 로봇 원격조종(teleoperation)으로 데이터를 모으려면 값비싼 장비와 숙련된 조종사가 필요하고, 다양한 환경에서 수천, 수만 개의 시연을 수집해야 합니다. 반면 인간이 일상적인 작업을 수행하는 영상은? 유튜브에만 해도 수십억 시간 분량이 있죠.

그런데 문제가 있습니다. 인간의 손과 로봇의 그리퍼(gripper)는 완전히 다르게 생겼습니다. 인간이 보는 시점과 로봇의 카메라 시점도 다릅니다. 마치 외국어를 모국어로 번역하려는데, 두 언어가 완전히 다른 문자 체계를 사용하는 것과 같죠.

본 논문은 이 문제에 대해 놀라운 발견을 보고합니다: 충분히 다양한 사전학습을 거친 VLA(Vision-Language-Action) 모델은 별도의 정렬(alignment) 없이도 인간 영상에서 로봇 정책으로의 지식 전이가 “창발(emerge)”한다는 것입니다.

이것은 마치 충분히 많은 언어를 배운 사람이 새로운 언어를 접했을 때 문법책 없이도 패턴을 찾아낼 수 있는 것과 같습니다.

---

핵심 기여: 이 논문이 말하고자 하는 것

1. 핵심 발견 (Key Finding)

“Human-to-robot transfer is an emergent property of diverse VLA pretraining.”
(인간-로봇 전이는 다양한 VLA 사전학습의 창발적 속성이다)

논문의 핵심 메시지를 한 문장으로 요약하면 이렇습니다:

사전학습 데이터의 다양성(장면, 태스크, 로봇 종류)이 임계점을 넘으면, VLA 모델은 인간 영상과 로봇 데이터 사이의 “embodiment-agnostic(신체 불가지론적)” 표현을 자연스럽게 학습하게 되고, 이를 통해 인간 영상에서 로봇으로의 기술 전이가 가능해진다.

2. 방법론적 기여

• π0.5 + ego 레시피: 인간을 “또 다른 로봇 종류(embodiment)”로 취급하여 동일한 학습 목표로 공동 학습
• 명시적 정렬 불필요: 기존 연구들이 필요로 했던 수동 정렬 단계 없이 전이 달성
• 다양성-전이 상관관계 입증: 사전학습 다양성과 전이 능력 간의 명확한 스케일링 관계 규명

3. 실험적 검증

• 장면(Scene), 객체(Object), 태스크(Task) 일반화 벤치마크에서 인간 데이터 활용 시 성능 약 2배 향상
• 잠재 표현(latent representation) 분석을 통한 메커니즘 설명

---

기술적 배경: VLA 모델이란 무엇인가?

본론에 들어가기 전에, VLA 모델이 무엇인지 직관적으로 이해해 봅시다.

VLA의 기본 구조

VLA(Vision-Language-Action) 모델은 이름 그대로 세 가지를 연결합니다:

   시각(Vision)     →  ┌─────────────────┐  →    행동(Action)
   관찰 이미지          │   VLA 모델      │       로봇 제어 명령
                       │  (Transformer)   │
   언어(Language)   →  └─────────────────┘
   "컵을 집어서 
    테이블에 놔"

수학적으로 표현하면:

\pi_\theta(a_{t:t+H} | o_t, l_t)

여기서:

• o_t: 시간 t에서의 관찰(observation) - 카메라 이미지
• l_t: 언어 명령(language command) - “달걀을 집어”
• a_{t:t+H}: 미래 H 스텝 동안의 행동 청크(action chunk)
• \theta: 모델 파라미터

π0.5 모델의 특징

본 논문은 Physical Intelligence의 π0.5 모델을 기반으로 합니다. π0.5의 주요 특징:

1. 이중 행동 표현:
   • FAST 토큰: 이산적(discrete) 행동 토큰으로 표현, 다음 토큰 예측으로 학습
   • Flow Matching: 연속적(continuous) 행동을 작은 전문가 네트워크로 디코딩
2. 계층적 정책 구조:
   • 고수준(High-Level): 서브태스크 예측 p(l^{subtask}_t | o_t, l_t)
   • 저수준(Low-Level): 행동 예측 \pi_\theta(a_{t:t+H} | o_t, l^{subtask})

이 구조는 Chain-of-Thought와 유사하게 작동합니다. “달걀을 정리해”라는 상위 명령을 받으면, 먼저 “흰 달걀을 집어”라는 서브태스크를 생성하고, 이를 바탕으로 구체적인 행동을 출력합니다.

---

방법론: π0.5 + ego 레시피 상세 분석

1. 인간 데이터 수집 파이프라인

하드웨어 구성

논문에서 사용한 데이터 수집 장치는 의외로 단순합니다:

┌─────────────────────────────────────────────────┐
│           인간 데이터 수집 장치                    │
├─────────────────────────────────────────────────┤
│                                                 │
│    ┌─────────┐                                  │
│    │ 머리 카메라│  ← 고해상도, 메인 뷰             │
│    └────┬────┘                                  │
│         │                                       │
│    ┌────┴────┐                                  │
│    │   사람   │                                  │
│    └────┬────┘                                  │
│    ┌────┴────┬────────┐                         │
│    │         │        │                         │
│ ┌──┴──┐   ┌──┴──┐                              │
│ │왼손  │   │오른손│                              │
│ │카메라│   │카메라│  ← 손목 장착, 동기화           │
│ └─────┘   └─────┘                              │
│                                                 │
└─────────────────────────────────────────────────┘

왜 손목 카메라가 중요한가?

로봇 학습에서 손목 카메라(wrist camera)가 유용한 이유는 엔드이펙터와 물체 간의 상호작용을 더 자세히 볼 수 있기 때문입니다. 따라서 인간 데이터 수집 시에도 이를 모방하여 손목에 카메라를 장착했습니다. 실험 결과, 일부 태스크(Bussing, Dresser)에서는 손목 카메라가 성능 향상에 기여했고, 다른 태스크에서는 큰 차이가 없었습니다.

데이터 처리 과정

원시 인간 영상으로부터 로봇 학습에 사용할 수 있는 데이터를 추출하는 과정:

┌──────────────┐     ┌──────────────┐     ┌──────────────┐
│  원시 영상    │ ──► │ Visual SLAM  │ ──► │ 6D 카메라 궤적 │
│              │     │              │     │    e_t ∈ R^6 │
└──────────────┘     └──────────────┘     └──────────────┘
        │
        ▼
┌──────────────┐     ┌──────────────┐
│  3D 핸드      │ ──► │ 17개 키포인트 │
│  트래킹       │     │ per 손       │
│              │     │  ĥ_t ∈ R^(3×17)│
└──────────────┘     └──────────────┘
        │
        ▼
┌──────────────┐
│ 서브태스크    │ ──► "흰 달걀을 집어"
│ 언어 주석     │     "왼쪽 카톤에 놔"
└──────────────┘

2. 행동 공간 정의 (Action Space)

핵심 아이디어: 인간 손의 행동을 로봇 엔드이펙터와 “대략적으로” 정렬

로봇 행동 표현

로봇의 경우, 행동 청크는 다음과 같이 구성됩니다:

a \in \mathbb{R}^{H \times 16}

• 왼팔 엔드이펙터: 6 DoF + 그리퍼 1 = 7
• 오른팔 엔드이펙터: 6 DoF + 그리퍼 1 = 7
  
• 베이스(이동 로봇): 2차원

인간 행동 표현

인간의 경우, 손의 3D 키포인트에서 “가상의 엔드이펙터”를 정의합니다:

손 키포인트 17개 중 선택:
- 손바닥(palm)
- 중지(middle finger)
- 약지(ring finger)

이 3점으로 손의 6 DoF 포즈 추정

a_{human} \in \mathbb{R}^{H \times 18}

• 왼손: 6 DoF (포즈)
• 오른손: 6 DoF (포즈)
• 머리 카메라 이동: 6 DoF (베이스 대용)

주목할 점: 그리퍼 행동은 인간 데이터에서 명시적으로 추정하지 않습니다. 손의 “열림/닫힘” 정도를 정확히 추정하기 어렵기 때문에, 그리퍼 제어는 로봇 데이터에서만 학습합니다.

3. 학습 목표 (Training Objectives)

π0.5 + ego는 인간과 로봇 데이터 모두에 대해 동일한 학습 목표를 적용합니다:

고수준: 서브태스크 예측

\mathcal{L}_{subtask} = -\log p_\theta(l^{subtask}_t | o_t, l_t)

다음 토큰 예측(next token prediction)으로 학습. 예를 들어:

• 입력: 이미지 + “테이블을 정리해”
• 출력: “컵을 집어”

저수준: 행동 예측

1) FAST 토큰 예측: \mathcal{L}_{FAST} = -\log p_\theta(a^{token}_{t:t+H} | o_t, l^{subtask}_t)

2) Flow Matching 손실:

Flow matching은 연속적인 행동을 생성하기 위한 방법입니다. 직관적으로 설명하면:

“랜덤한 노이즈에서 시작해서, 목표 행동으로 흐르는(flow) 궤적을 학습한다”

\mathcal{L}_{flow} = \mathbb{E}_{t, \epsilon} \left[ \| v_\theta(a^{noisy}_t, t) - (a_{target} - a^{noisy}_t) \|^2 \right]

여기서 v_\theta는 “속도장(velocity field)”을 예측하는 작은 전문가 네트워크입니다.

4. 학습 혼합 비율 (Training Mixture)

파인튜닝 시의 데이터 혼합 전략:

┌─────────────────────────────────────────────────┐
│              파인튜닝 데이터 믹스                  │
├─────────────────────────────────────────────────┤
│                                                 │
│   ┌─────────────────┐   ┌─────────────────┐    │
│   │   인간 데이터     │   │   로봇 데이터    │    │
│   │   (일반화 태스크)  │   │ (가장 유사 태스크)│    │
│   │                 │   │                 │    │
│   │      50%        │   │      50%        │    │
│   └─────────────────┘   └─────────────────┘    │
│                                                 │
│   예시:                                         │
│   - 달걀 정렬(인간) ↔ 달걀 놓기(로봇)              │
│   - 새 아파트 정리(인간) ↔ 기존 환경 정리(로봇)      │
│                                                 │
└─────────────────────────────────────────────────┘

핵심 포인트: 인간 데이터는 로봇 데이터에 없는 “새로운 개념”(새로운 장면, 객체, 태스크 의미)을 담고 있고, 로봇 데이터는 기본적인 조작 능력을 제공합니다.

---

핵심 실험: 다양성이 전이를 낳는다

실험 벤치마크 구성

논문은 세 가지 일반화 축을 테스트합니다:

graph TD
    A[일반화 벤치마크] --> B["Scene (장면 전이)"]
    A --> C["Object (객체 전이)"]
    A --> D["Task (태스크 전이)"]

    B --> B1["Spice: 새 주방에서 양념 정리"]
    B --> B2["Dresser: 새 침실에서 서랍장 정리"]

    C --> C1["Bussing: 새로운 주방 도구들 치우기"]

    D --> D1["Sort Eggs: 색깔별로 달걀 분류하기"]

태스크	로봇 데이터	인간 데이터	테스트
Spice	여러 집에서 양념 정리	새로운 주방	새 주방에서 수행
Dresser	여러 집에서 서랍장 정리	새로운 침실	새 침실에서 수행
Bussing	쓰레기, 식기 치우기	새로운 주방 도구들	새 객체들 치우기
Sort Eggs	달걀 집어서 카톤에 넣기	색깔별 달걀 분류	색깔별 분류 수행

핵심 결과 1: 인간 데이터는 성능을 거의 2배로 향상시킨다

태스크	Robot Only	Robot + Human	향상
Spice	32%	71%	+39%p
Dresser	25%	50%	+25%p
Bussing	53점	63점	+10점
Sort Eggs	57% 정확도	78% 정확도	+21%p

Sort Eggs가 특히 인상적인 이유:

로봇 데이터만으로 학습한 모델은 달걀을 “집어서 카톤에 넣는” 기본 조작은 할 수 있지만, “색깔별로 분류”라는 개념 자체가 없습니다. 그래서 그냥 무작위로 넣어서 57% 정확도(거의 우연)가 나옵니다.

하지만 인간 영상에서 색깔별 분류 패턴을 “보고” 나면, 로봇은 이 새로운 태스크 구조를 이해하고 78%의 정확도로 분류할 수 있게 됩니다.

핵심 결과 2: 전이 능력은 사전학습 다양성과 함께 “창발”한다

이것이 논문의 가장 중요한 발견입니다.

성능 향상
(Human+Robot - Robot Only)
    ▲
    │                                    ★ 100% + X-emb
    │                              ◆ 100%
    │                        ●
    │                  ●    75%
    │            ●
    │      ●    50%
    │ ●   25%
    │0%
    └──────────────────────────────────► 사전학습 다양성
       없음  적음              많음     최대

관찰 1: 임계점 존재

• 사전학습 다양성이 0~25%일 때: 인간 데이터 추가해도 효과 없음 (때로는 오히려 성능 저하)
• 50~75%부터: 인간 데이터가 점진적으로 도움
• 100% + Cross-embodiment: 명확한 성능 향상

관찰 2: 다양성의 구성 요소

• Scene 다양성: 다양한 환경(집, 주방 등)
• Task 다양성: 다양한 조작 태스크
• Embodiment 다양성: 다양한 로봇 종류 (ARX, UR5 등)

특히 Cross-embodiment 데이터(타겟 로봇이 아닌 다른 로봇들의 데이터)가 추가되었을 때 전이 능력이 급격히 향상되는 것이 흥미롭습니다.

핵심 결과 3: Embodiment-Agnostic 표현의 창발

왜 다양한 사전학습이 전이를 가능하게 할까요? 논문은 t-SNE 분석을 통해 답을 제시합니다.

사전학습 없음                    다양한 사전학습
┌─────────────────┐         ┌─────────────────┐
│  ● ● ●          │         │     ◐ ◐ ◐       │
│   ● ●           │         │   ◐ ◐ ◐ ◐      │
│                 │  ───►   │  ◐ ◐ ◐ ◐ ◐     │
│         ○ ○     │         │   ◐ ◐ ◐ ◐      │
│        ○ ○ ○    │         │     ◐ ◐ ◐       │
└─────────────────┘         └─────────────────┘
 ● 로봇 데이터 (분리됨)          ◐ 통합된 표현 공간
 ○ 인간 데이터 (분리됨)

해석:

• 사전학습이 부족하면: 모델이 인간과 로봇을 완전히 다른 분포로 취급
• 다양한 사전학습 후: 인간과 로봇 데이터가 동일한 표현 공간에 매핑

이것은 마치 다양한 언어를 배운 사람의 뇌에서 “의미”와 “언어”가 분리되는 것과 같습니다. 충분히 많은 로봇 종류와 환경을 경험하면, 모델은 “이 행동은 무엇을 의미하는가”와 “이 몸체는 어떻게 생겼는가”를 분리해서 이해하게 됩니다.

---

세부 분석: 어디서 전이가 일어나는가?

고수준 vs 저수준 전이

논문은 인간 데이터가 고수준(서브태스크 예측)과 저수준(행동 예측) 중 어디서 도움이 되는지 분석했습니다.

구성	성능
Robot HL + Robot LL	기준선
Human HL + Robot LL	개선되지만 불완전
Robot HL + Human LL	개선되지만 불완전
Human HL + Human LL	최고 성능

발견: 전이는 양쪽 수준 모두에서 일어납니다.

고수준만 인간 데이터 사용 시 문제점:

• “양념병을 집어”라고 예측했는데, 저수준 정책이 이미 트레이에 있는 병을 집으려 함

저수준만 인간 데이터 사용 시 문제점:

• 고수준 정책이 “양념병을 집어”를 계속 반복 출력 (병을 이미 집었는데도)

이것은 π0.5의 계층적 구조가 서브태스크의 “의미”와 그에 해당하는 “행동” 모두가 정렬되어야 함을 보여줍니다.

인간 데이터 vs 다른 로봇 데이터

인간 데이터가 얼마나 효과적인지 비교하기 위해, 논문은 “타겟 로봇 데이터”와 “다른 로봇(UR5) 데이터”와 비교했습니다.

데이터 소스	Bussing 성능
기준선 (Robot Only)	낮음
+ UR5 로봇 데이터	중간
+ 인간 데이터	중간
+ 타겟 로봇 데이터	높음

흥미로운 발견:

• 인간 데이터와 다른 로봇(UR5) 데이터의 효과가 비슷
• 둘 다 타겟 로봇 데이터보다는 못함
• 하지만 둘 다 확실히 기준선보다 나음

이것은 인간 데이터가 cross-embodiment 전이의 일종으로 작동함을 시사합니다. 인간을 “매우 다른 로봇”으로 볼 수 있다는 것이죠.

---

수식과 알고리즘: 핵심 요소 정리

Flow Matching의 직관적 이해

Flow matching은 최근 VLA 모델에서 많이 사용되는 생성 모델 기법입니다. Diffusion과 유사하지만 더 효율적입니다.

핵심 아이디어:

1. 데이터 a (목표 행동)와 노이즈 \epsilon 사이의 “흐름”을 정의
2. 시간 t \in [0, 1]에서의 중간 상태: a_t = (1-t) \cdot \epsilon + t \cdot a
3. 모델은 각 시점에서의 “속도” v = a - \epsilon를 예측하도록 학습

\mathcal{L}_{flow} = \mathbb{E}_{a, \epsilon, t} \left[ \| v_\theta(a_t, t) - (a - \epsilon) \|^2 \right]

추론 시:

def generate_action(model, observation, language):
    a = sample_noise()  # 랜덤 시작점
    for t in [0, 0.1, 0.2, ..., 1.0]:
        v = model.predict_velocity(a, t, observation, language)
        a = a + dt * v  # 속도 방향으로 이동
    return a

행동 청크의 상대 좌표 표현

로봇과 인간 모두에게 일관된 행동 표현을 사용하기 위해, 상대 좌표를 사용합니다:

a_i = T_{current}^{-1} \cdot T_i

• T_{current}: 현재 엔드이펙터의 6 DoF 포즈
• T_i: i번째 미래 스텝에서의 포즈
• a_i: 상대 변환 (현재 기준)

이렇게 하면 절대 좌표에 의존하지 않고, “앞으로 이동”, “왼쪽으로 회전” 같은 상대적 행동으로 표현됩니다.

---

전체 파이프라인 다이어그램

flowchart TD
    subgraph DataCollection["데이터 수집"]
        H1[인간 영상] --> H2["Visual SLAM + 핸드 트래킹"]
        H2 --> H3[6D 손 궤적 + 서브태스크 언어]
        R1[로봇 원격조종] --> R2["엔드이펙터 궤적 + 서브태스크 언어"]
    end

    subgraph Pretraining["사전학습 (Diverse)"]
        P1[다양한 장면]
        P2[다양한 태스크]
        P3[다양한 로봇]
        P1 & P2 & P3 --> P4[π0.5 Base Model]
    end

    subgraph Finetuning["파인튜닝 (Co-training)"]
        F1[인간 데이터 50%] --> F3["동일한 학습 목표: Flow Matching, 서브태스크 예측"]
        F2[로봇 데이터 50%] --> F3
        F3 --> F4[π0.5 + ego]
    end

    subgraph Inference["추론"]
        I1[새로운 환경/객체/태스크] --> I2[π0.5 + ego]
        I2 --> I3[로봇 행동 출력]
    end

    DataCollection --> Finetuning
    Pretraining --> Finetuning
    Finetuning --> Inference

---

비판적 고찰: 장점, 한계, 열린 질문들

👍 강점

1. 단순함과 우아함
   • 복잡한 정렬 메커니즘 없이 “그냥 같이 학습”하는 접근
   • 기존 VLA 학습 파이프라인에 쉽게 통합 가능
2. 설득력 있는 실험 설계
   • 다양성 스케일링 실험으로 인과관계 입증
   • t-SNE 분석으로 메커니즘 설명
3. 실용적 함의
   • 10~15시간의 인간 데이터만으로 의미 있는 향상
   • 에피소드 형식이 아닌 “자연스러운” 인간 영상 활용 가능성 시사
4. Cross-embodiment 관점의 통합
   • 인간-로봇 전이를 새로운 관점(다른 로봇과의 전이의 극단적 사례)으로 재해석

👎 한계와 열린 질문

1. 사전학습 데이터의 비용
   • “충분히 다양한 사전학습”이 전제조건
   • 작은 연구 그룹에서는 재현하기 어려움
   • π0.5 수준의 사전학습에는 막대한 자원 필요
2. 그리퍼 행동의 불완전한 전이
   • 인간 손의 “열림/닫힘”을 추정하지 않음
   • 그리퍼 제어는 여전히 로봇 데이터에 의존
   • 섬세한 그래스핑 기술의 전이는 제한적일 수 있음
3. 에피소드 형식의 제약
   • 인간 데이터도 “에피소드” 형식으로 수집 (시작-끝이 명확한 시연)
   • YouTube 같은 “자연적인” 인간 영상 활용은 아직 미해결
4. 정량적 임계점 불명확
   • “충분한 다양성”의 구체적 정의 부재
   • 새로운 도메인에 적용할 때 얼마나 다양해야 하는지 불명확
5. 인간 데이터 수집의 여전한 부담
   • 머리/손목 카메라 착용 필요
   • 완전히 “자연스러운” 행동은 아님

🔬 후속 연구 방향 제안

1. Passive 인간 데이터 활용
   • 에피소드가 아닌 연속적인 일상 영상에서 학습
   • Ego4D 같은 대규모 자아중심 비디오 데이터셋 활용
2. 손 상태 추정 개선
   • 손의 열림/닫힘, 힘 등을 추정하여 그리퍼 행동 전이
   • 최신 핸드 포즈 추정 모델 (MANO 등) 활용
3. 적은 사전학습으로 전이 가능하게
   • 작은 VLA에서도 전이가 창발하도록 하는 방법
   • 사전학습 효율성 개선
4. 다양한 조작 유형으로 확장
   • 도구 사용, 섬세한 조작, 이중 팔 협응 등
   • 현재 벤치마크는 상대적으로 단순한 pick-and-place 위주

---

관련 연구와의 비교

접근법	방법	장점	단점
R3M, VIP	인간 영상으로 비전 인코더만 학습	범용적 시각 표현	행동 정보 활용 못함
Track2Act	키포인트 트래킹으로 중간 표현	행동 정보 일부 포착	수동 설계 필요
AR2-D2	AR/VR로 인간-로봇 명시적 정렬	정확한 정렬 가능	특수 장비 필요, 확장성 제한
EgoMimic	인간 영상 + 로봇 공동 학습	간단한 파이프라인	작은 스케일에서 불안정
π0.5 + ego (본 논문)	다양한 사전학습 + 공동 파인튜닝	명시적 정렬 불필요	대규모 사전학습 필요

본 논문의 차별점:

• 기존 연구들은 인간-로봇 “정렬”을 위한 별도 메커니즘 필요
• 본 논문은 충분한 다양성이 정렬을 자연스럽게 창발시킨다고 주장

---

실무자를 위한 시사점

🛠️ 언제 이 방법을 고려할까?

1. 대규모 사전학습 모델에 접근 가능할 때
   • π0.5 또는 유사한 다양성을 가진 VLA 필요
   • API나 오픈소스 체크포인트 활용 가능
2. 새로운 환경/객체/태스크로 확장할 때
   • 로봇 데이터 수집이 어려운 환경
   • 인간 시연이 더 자연스러운 태스크
3. 빠른 프로토타이핑
   • 새 태스크 컨셉을 빠르게 테스트
   • 인간 데이터로 먼저 검증 후 로봇 데이터 수집

⚠️ 주의사항

1. 사전학습 품질 확인
   • 사용하는 VLA가 충분히 다양한 사전학습을 거쳤는지 확인
   • 다양성 부족 시 오히려 성능 저하 가능
2. 인간 데이터 품질
   • 에피소드 형식으로 명확하게 구분
   • 일관된 시점과 조명 유지
   • 서브태스크 주석의 정확성 중요
3. 그리퍼 의존 태스크 주의
   • 섬세한 그래스핑이 핵심인 태스크는 제한적
   • 로봇 데이터로 그리퍼 기술 보완 필요

---

요약 및 결론

핵심 메시지

1. 창발적 전이: 인간-로봇 전이는 다양한 VLA 사전학습의 창발적 속성
2. 다양성이 핵심: 장면, 태스크, 로봇 종류의 다양성이 임계점을 넘으면 전이 가능
3. Embodiment-Agnostic 표현: 다양한 학습은 신체 형태에 독립적인 표현을 만듦
4. 실용적 효과: 적은 양의 인간 데이터(10~15시간)로 성능 거의 2배 향상

로봇공학에 주는 시사점

이 연구는 로봇 학습의 “데이터 병목”을 해결하는 새로운 방향을 제시합니다. 전통적으로:

“더 많은 로봇 데이터 = 더 나은 로봇”

하지만 이 논문은 다음을 시사합니다:

“충분히 다양하게 학습한 로봇 = 인간에게서도 배울 수 있는 로봇”

이것은 마치 언어 모델이 충분히 커지면 zero-shot으로 새로운 태스크를 수행할 수 있게 되는 것처럼, 로봇 모델도 스케일의 마법이 작동할 수 있음을 보여줍니다.

물론 아직 갈 길이 멉니다. YouTube에 있는 수십억 시간의 인간 영상을 정말로 활용하려면, 에피소드 형식이 아닌 연속적인 영상, 다양한 시점, 불완전한 관찰 등의 문제를 해결해야 합니다. 하지만 이 논문은 그 방향으로의 첫걸음을 내딛었습니다.

“충분히 많은 것을 본 로봇은 인간을 관찰하는 것만으로도 새로운 것을 배울 수 있다. 마치 아이가 부모를 보고 배우듯이.”

참고 문헌 (선별)

• [8] Black et al. “π0: A vision-language-action flow model for general robot control.” 2024.
• [20] Physical Intelligence et al. “π0.5: a vision-language-action model with open-world generalization.” 2025.
• [22] Kareer et al. “EgoMimic: Scaling imitation learning via egocentric video.” 2024.
• [33] Open X-Embodiment Collaboration. “Open X-Embodiment: Robotic learning datasets and RT-X models.” 2023.
• [47] Wei et al. “Emergent abilities of large language models.” 2022.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 문제 정의 및 연구 배경

최신 시각-언어-행동(Vision-Language-Action, VLA) 모델은 텍스트, 이미지, 행동 데이터를 통합하여 다양한 작업을 학습할 수 있는 범용적인 로봇 정책을 가능하게 한다. 이러한 모델들은 풍부한 시각-언어 정보를 로봇 경험과 결합하여 광범위한 일반화 성능을 발휘할 수 있지만, 그 대가로 매우 방대한 양의 다양하고 풍부한 데이터가 필요하다. 특히, 인간이 수행하는 다양한 실제 상황을 담은 비디오는 얻기 쉽고 풍부한 정보를 포함하기 때문에 로봇 훈련에 활용할 가능성이 매우 크다. 그러나 전통적으로 인간 비디오 데이터를 곧바로 로봇 행동으로 연결하는 것은 어려운 문제였다. 사람과 로봇은 체형(embodiment)뿐 아니라 시점과 동작 방식에서도 큰 차이가 있어, 이들 간 대응(mapping)에는 수동적인 설계나 복잡한 조정이 필요했다.

이 논문에서는 대형 언어 모델(LLM) 연구에서 발견된 유사한 현상에 영감을 얻어, “충분히 크고 다양한 사전학습(pre-training)”이 가능하다면 인간 비디오로부터 로봇 정책이 자연스럽게 전이(transfer)되는 능력이 출현할 수 있는지를 탐구한다. 즉, 기존에는 별도 알고리즘이나 정렬 기법 없이는 배울 수 없을 것 같았던 인간-로봇 지식 전이가, 모델 규모나 데이터 다양성이 일정 수준을 넘으면 암묵적으로 학습되기 시작할 것이라는 가설이다. 저자들은 이를 확인하기 위해 간단한 코-트레이닝(co-training) 방법을 제안한다. 구체적으로, 거대한 로봇 행동 데이터로 사전학습된 VLA에 인간 행동 비디오 데이터를 추가로 미세조정(fine-tuning)하여, 인간 비디오에만 존재하는 새로운 장면(Scene), 객체(Object), 작업(Task)에서 로봇이 성공적으로 일반화할 수 있는지를 살펴본다.

주요 발견은 다음과 같다. 충분히 다양하고 많은 로봇 데이터로 사전학습된 VLA는, 특별한 정렬 없이 인간 비디오 데이터를 그대로 학습해도 새로운 개념을 학습할 수 있는 능력이 출현(emergent) 한다. 실제로 실험 결과, 네 가지 일반화 시나리오(새로운 부엌과 방, 새로운 식기 및 소품, 색깔별 계란 분류)에서, 인간 비디오 데이터를 포함해 미세조정하면 로봇 정책 성능이 대체로 2배 가까이 증가하는 것으로 나타났다. 본 리뷰에서는 이 논문의 핵심 아이디어와 기여, 제안된 모델 및 학습 방법, 실험 결과와 해석, 한계와 미래 방향을 상세히 살펴보고, 관련 연구와 비교해 본다.

제안 방법: 모델 및 알고리즘 상세 분석

모델 개요 – Vision-Language-Action (VLA) 모델. 이 연구에서 사용하는 VLA는 거대한 사전 학습된 비전-언어 모델(예: RT-1의 후속 모델 기반)에 기반하며, 입력으로 카메라 영상과 자연어 명령어를 받아 로봇의 연속적 동작을 예측한다. 일반적으로 VLA는 텔레오퍼레이션(원격 조종)으로 수집한 로봇 조작 데이터, 웹 스케일의 이미지/비디오-언어 데이터, 작업을 설명하는 언어 주석 등을 결합해 훈련된다. 본 논문에서도 먼저 다양한 로봇 작업·장면 데이터(서로 다른 환경, 다양한 로봇 기구 포함)로 VLA를 사전학습하고, 이후 인간 데이터를 추가로 학습시킨다.

사전학습(Pre-training). 사전학습 단계에서는 오직 로봇 원격 조종 데이터만 사용된다. 여러 종류의 정밀조작(eg. 식탁 서빙, 물건 정리, 나사 체결 등) 및 다양한 환경(가정, 작업장 등)이 포함된 대규모 데이터셋으로, 모델이 일반적인 로봇 조작과 시각 정보를 충분히 학습한다. 이때 모델 아키텍처는 거대한 언어-비전 백본(transformer) 위에 행동 예측 헤드를 추가한 형태로, 연속 동작을 예측하기 위해 FAST [35] 토큰(discrete 행동 코드)과 flow-matching 네트워크를 함께 사용한다. 즉, 모델은 일정 길이의 행동 청크(a chunk of actions)를 예측하도록 학습되며, 이는 연속적인 말단위치/자세를 포함한다. 또한 하위과제(subtask) 예측을 위한 언어 모듈도 도입된다. 예를 들어, 모델은 고수준 명령(예: “계란을 정리해라”)을 받으면 먼저 “계란을 든다 → 색깔에 따라 분류한다 → 상자에 넣는다”와 같은 중간의 하위과제 시퀀스를 언어로 예측하고, 이를 다시 행동 생성에 활용한다(말하자면 일종의 “사고 과정(chain-of-thought)”처럼 동작). 이 모든 학습은 로봇 데이터에 대해 이루어지며, 네러티브 토큰(next-token prediction)과 flow-matching 손실을 동시에 최적화한다.

인간 데이터 수집 및 표현. 인간 데이터를 활용하기 위해, 저자들은 역방향 텔레오퍼레이션 스타일(human teleop)으로 인간이 작업을 수행하는 영상을 수집했다. 수집 장비는 머리에 착용한 고해상도 카메라와 경우에 따라 양쪽 손목 카메라를 동기화하여, 인간 작업자의 동작을 다양한 관점에서 기록할 수 있도록 설계되었다(그림 참조). 이렇게 획득한 영상은 SLAM 기법을 이용해 카메라의 6자유도 이동 궤적을 계산하고, 최신 3D 키포인트 추정 모델로 양손 17개 관절의 3D 위치를 추출한다. 또한 작업 흐름을 세분화한 텍스트 기반 하위과제(subtask) 레이블을 추가로 달아, 예를 들어 “향신료통을 들어 올리기”, “물건을 상자에 넣기” 등의 설명을 붙인다.

인간-로봇 행동 정렬(Alignment). 수집된 인간 데이터를 로봇 행동과 같은 형식으로 만들기 위해, 저자들은 인간 손 모션을 로봇 말단효과기(end-effector) 움직임으로 대응시켰다. 구체적으로, 인간 손의 손바닥과 손가락(중지, 약지)의 3D 키포인트들을 합쳐 하나의 “가상 말단효과기 포즈”로 정의한다(그림 6 참조). 각 시간 구간마다 인간 손의 말단효과기 자세를 계산하고, 이를 로봇 말단효과기 자세와 비슷한 형태의 상대 변환(relative transform)으로 변환한다. 그 결과, 인간 데이터는 두 손의 6자유도 말단효과기 궤적(총 12자유도) + 기본 베이스 움직임(6자유도)으로 표현된다. 단, 인간의 손목 결합부는 그리퍼 대신 6자유도만 고려하여 총 행동 차원은 로봇(16차원)보다 약간 적은 18차원(H×18) 이 된다. 이 과정을 통해 인간의 영상이 로봇이 이해할 수 있는 행동 레이블로 변환되며, 별도의 수동 정렬 없이 인간-로봇 행동 간 의미적 연결이 가능해진다.

graph LR
    A["사전학습: 다양한 로봇 데이터"] --> B["기저 모델 π0.5"]
    B --> C["인간 비디오 수집 및 처리"]
    C --> D["로봇 데이터와 50:50 혼합 미세조정"]
    D --> E["새로운 개념 일반화"]

그림 1: 제안된 VLA 훈련 및 미세조정 파이프라인. 다양한 로봇 데이터로 사전학습된 VLA(π0.5)에 인간 비디오를 추가로 학습함으로써, 인간 데이터에만 존재하는 새로운 작업 개념을 로봇이 익힐 수 있도록 한다.

Co-Training 방법. 모델 세부 설정은 다음과 같다. 먼저, 레벨-0에서 훈련된 기저 VLA(π0.5)를 초기화한다. 그런 다음 인간 비디오 데이터와 가장 유사한 로봇 작업 데이터를 매칭하여 1:1 비율로 50:50 혼합해 미세조정한다. 예를 들어, 인간 데이터가 계란 색상별 분류 작업을 포함한다면, 로봇 데이터로는 “계란을 상자에 넣기”와 같은 가장 근접한 작업을 선택한다. 이때 학습 목표(Objectives)는 로봇 데이터와 전혀 동일하게 유지된다: 언어 명령과 시각 관찰을 입력으로 받아 하위과제 레이블(subtask) 및 연속 행동을 예측한다. 모델은 인간 데이터와 로봇 데이터를 구분 없이 함께 처리하며, 특별한 도메인 어댑터나 정렬 손실 없이 통합된 하나의 모델로 학습한다. 이렇게 하면 인간 비디오는 그저 또 다른 “임베디드 형태(인간 형태)”의 데이터로 모델에 제공되며, 대규모 모델의 표현 능력이 이들 간의 시맨틱한 격차를 메우기를 기대한다.

실험: 설정, 결과 및 해석

저자들은 제안된 코-트레이닝 방법의 효과를 검증하기 위해, 인간 데이터에서만 새로운 개념이 등장하는 일반화(generalization) 시나리오들로 구성된 벤치마크를 제안했다(그림 3 참조). 주요 테스트 시나리오는 다음 세 가지 범주에 속한다:

• 장면(Scene) 일반화: 예를 들어, 다양한 가정에서 향신료 선반(spice rack)을 정리한 로봇 데이터가 있다면, 인간 데이터는 새로운 부엌을 배경으로 같은 작업을 수행한다. 마찬가지로 화장대(dresser) 정리 작업을 많은 집에서 학습시켰다면, 인간 데이터는 아직 학습되지 않은 특정 침실에서 정리하는 영상을 제공한다.
• 물체(Object) 일반화: 예를 들어 쓰레기와 식기가 어질러진 식탁(table) 청소 작업을 로봇이 학습했다면, 인간 데이터는 새로운 종류의 부엌 도구나 소품(플라스틱 통, 키친타월 등)을 포함하여 같은 테이블을 치우도록 한다.
• 작업(Task) 일반화: 예를 들어 로봇 데이터로는 계란을 상자에 담는 단순 작업만 학습했다면, 인간 데이터는 계란 색깔별 분류(빨간 계란은 왼쪽 상자, 파란 계란은 오른쪽 상자)와 같은 새로운 개념을 포함한다.

각 시나리오에 대해 로봇은 π0.5 모델(로봇 데이터만 학습)과 π0.5+ego 모델(로봇+인간 데이터 코트레이닝)을 비교한다. 평가는 해당 일반화 과제의 성공률이나 배치된 객체 수 등으로 이루어진다(예: 계란 분류의 경우 색상별로 올바르게 넣은 계란 수).

실험 결과는 다음과 같다. 먼저 인간 데이터를 추가로 학습한 π0.5+ego 모델이 모든 시나리오에서 기준(로봇만 학습)보다 뚜렷하게 우수한 성능을 보였다(그림 7, 표 1). 예를 들어, 향신료 정리(Spice) 작업에서는 정확도가 32%에서 71%로, 화장대 정리(Dresser)는 25%에서 50%로 크게 향상되었다. 테이블 청소(Bussing) 작업도 53%에서 63%로 상승했다. 특히 계란 분류(Eggs) 작업에서는 π0.5가 분류 개념을 알지 못해 랜덤 수준(57% 정확도)에 머물렀지만, π0.5+ego는 색깔별 분류법을 학습해 78% 정확도를 기록하였으며 평균적으로 4개의 계란을 더 올바르게 분류했다. 이처럼 다양한 일반화 축(scene, object, task)에서 모두 인간 영상 데이터를 활용함으로써 실질적인 성능 향상이 확인되었다는 점이 핵심이다.

태스크 (작업)	일반화 유형	π0.5 (로봇 데이터만)	π0.5+Ego (로봇+인간)
향신료 정리 (Spice)	장면 (새 부엌)	32%	71%
화장대 정리 (Dresser)	장면 (새 방)	25%	50%
테이블 청소 (Bussing)	물체 (새 물체)	53%	63%
계란 분류 (Eggs)	작업 (색상별 분류)	57% (정확도)	78% (정확도)

표 1. 주요 실험 결과. 각 행의 값은 π0.5 모델(로봇 데이터만 훈련)과 π0.5+ego 모델(로봇+인간 데이터) 각각의 일반화 성능(%)을 나타낸다.

사전학습 다양성과 전이 능력의 관계

다음으로 핵심 가설인 사전학습 데이터 다양성의 중요성을 검증했다. 연구진은 사전학습으로 사용하는 로봇 데이터의 다양성 비율을 0% (사전학습 없음), 25%, 50%, 75%, 100%까지 점진적으로 늘려가며 실험을 반복했다. 0%는 단순히 비전-언어 백본 초기화만 한 상태이고, 100%는 모든 로봇 작업·환경을 다 사용한 상태, 100%+Xemb는 다른 로봇 임베디먼트를 더 포함한 최대치다. 각 경우에서 π0.5 모델을 초기화한 후에는, 항상 두 가지 조건(로봇 데이터만 사용 vs. 로봇+인간 데이터)으로 파인튜닝해 같은 일반화 작업을 평가했다.

그 결과, 사전학습 데이터 다양성이 낮을 때(0~50%)는 인간 데이터를 추가해도 전이 효과가 거의 없거나 오히려 부정적이었다. 반면, 다양성이 충분히 커지면(75% 이상) 인간 데이터의 활용 효과가 급증하였다. 즉, 로봇 데이터가 충분히 다양한 범위를 커버해야만 모델이 인간의 행동 예시를 학습하여 새로운 작업 개념을 익힐 수 있게 된다는 것이다. 예를 들어 계란 분류 실험(Fig. 8 참조)에서 사전학습 다양성이 75% 이상일 때부터 π0.5+ego의 성능이 크게 상승하는 반면, 다양성이 낮을 때는 로봇만 학습한 정책은 계란 분류 과제를 거의 수행하지 못했다. 이는 충분한 크기와 다양성의 사전학습이 “인간-로봇 정렬” 능력을 emergent하게 활성화함을 강하게 시사한다.

표현 공간 분석: 임베디먼트 비편향성

전이 현상이 왜 나타나는지 이해하기 위해, 학습된 모델의 잠재 표현(latent representation)을 분석했다. 인간과 로봇 입력의 특징을 추출하여 2D TSNE로 시각화한 결과, 사전학습 다양성이 낮을 때는 두 데이터 군집이 명확히 분리되어 있었다. 그러나 다양성이 커질수록 인간-로봇 데이터의 특징 점들이 점점 겹치기 시작하였다. 즉, 충분한 다양성으로 사전학습된 모델에서는 인간과 로봇의 비주얼·운동적 차이가 표현 공간에서 완화되어 구현 형상(embodiment)에 의존하지 않는 추상화된 표현이 형성되는 것이다. 이를 통해, 고차원 모델은 인간 행위와 로봇 행위를 “같은 종류의 정보”로 처리할 수 있게 되어 결과적으로 인간 비디오에서 배운 지식이 로봇 동작으로 자연스럽게 전이될 수 있게 된다.

인간 데이터 vs. 로봇 데이터 비교

한편, 인간 데이터를 다른 로봇 데이터와 비교하여 그 효용을 평가했다. 먼저, 실제로 목표로 하는 로봇(ARX)에서 해당 작업 데이터를 수집한 “상한선(upper bound)” 시나리오와 비교했다. 흥미롭게도, 계란 분류와 화장대 작업에서는 인간 데이터로도 목표 로봇 데이터만큼의 성능을 얻을 수 있었다. 반면, 테이블 청소(Bussing) 작업에서는 로봇 데이터가 인간 데이터보다 훨씬 효과적(목표 로봇: 65% vs 인간: 25%)임을 보여주었다. 이는 테이블 위의 물체를 치우는 정교한 동작에서는 인간-로봇 차이가 더 크게 작용했음을 의미한다.

또한 다른 로봇 간 전이(cross-embodiment transfer)과 비교하기 위해, UR5 로봇에서 수집한 데이터를 사용하여 ARX로 전이하는 실험도 수행했다. 결과는 인간->로봇 전이와 유사한 경향을 보였다: 둘 다 기준보다 개선되지만, 목표 로봇 데이터만큼은 아니었다. 즉 인간 데이터로 인한 전이 효과는 다른 로봇 데이터 간 전이와 비슷한 수준으로, “인간도 하나의 또 다른 로봇”으로 취급할 수 있음을 시사한다.

고수준 vs 저수준 전이

인간 데이터에서 전이가 주로 “고수준 의미”를 통해 발생하는지, 아니면 “저수준 행동 예측”까지 학습되는지를 조사했다. Spice와 Dresser 작업은 하위과제+행동 모델(High-level + Low-level)을 모두 평가할 수 있는 구조이고, Bussing과 Eggs는 저수준만으로 실험했다. 실험 결과, 고수준(subtask) 정보와 저수준(action) 정보 모두 전이에 기여하지만 특히 어려운 작업에서는 두 정보를 함께 학습했을 때 성능이 최고였다. 예를 들어, Dresser와 Spice에서는 고수준 예측만으로도 어느 정도 성능 향상을 얻었으나, Eggs와 같이 구조가 복잡한 작업에서는 저수준 행동 정보가 결합되어야 비로소 크게 개선되었다(그림 11). 요약하면, 인간 데이터는 “계란을 상자에 차곡차곡 넣는다”라는 과정을 문장으로 전달하고, 동시에 구체적인 팔 동작 예시를 제공하여 둘 다 도움이 되는 것이다.

손목 카메라의 영향 분석

마지막으로, 인간 착용 손목 카메라의 유용성을 분석했다. 실험 결과, 일부 작업(예: Bussing, Dresser)에서는 손목 카메라가 제공하는 추가적인 시야 정보가 전이 성능 향상에 기여했다. 반면, 향신료 정리나 계란 분류 작업처럼 중앙 상향 시점만으로도 충분한 작업에서는 손목 카메라가 없어도 큰 차이가 없었다. 이는 작업마다 관측해야 할 부분이 다르기 때문이다. 실제로 손목 카메라를 활용하면 인간의 손과 객체 상호작용을 더 밀착해서 볼 수 있어 복잡한 씬에서 유리하다. 향후 대규모 인간 데이터 수집 시에는 가능하면 여러 카메라로 촬영하는 것이 유리할 것으로 보인다.

비판적 고찰: 장단점 및 한계

강점: 이 연구의 가장 큰 장점은 단순한 방법으로 놀라운 성능 향상을 보여주었다는 점이다. 특별한 도메인 어댑터나 복잡한 행동 정렬 알고리즘 없이, 그저 대규모 사전학습된 모델에 인간 비디오를 동등하게 섞어 학습했을 뿐인데, 새로운 지식이 emergent하게 전이되었다. 이는 대규모 언어 모델에서 발견된 “스케일링의 힘”(이른바 emergent phenomena)을 로봇공학에도 적용한 좋은 예로 볼 수 있다. 또한, 인간 데이터를 이용해 로봇이 하지 못하던 새로운 작업 개념(예: 색깔별 분류)을 배우는 데 성공했다는 점이 주목할 만하다. 실험적으로도 장면, 물체, 작업의 세 가지 축에서 일관되게 성능 개선이 나타났으며, 이는 코-트레이닝 방식의 일반성을 뒷받침한다.

약점 및 한계: 반면에, 이 접근에는 한계도 존재한다. 첫째, 사전학습 데이터 규모가 아직은 매우 크다. 사전학습 다양성이 낮으면 전이 효과가 거의 없어져, 결국 대규모 로봇 데이터와 계산 자원이 필요하다. 즉, 소규모 연구실 규모에서는 따라하기 힘들 수 있다. 둘째, 인간 데이터의 수집과 가공 비용이 적지 않다. 본 연구에서조차 SLAM과 3D 포즈 추정, 수동 주석 등 많은 후처리 과정이 필요했다. 상용 수준으로 활용하려면 더 자동화된 데이터 파이프라인(예: 실시간 3D 포즈 추정과 언어 생성)이 요구된다. 셋째, 테스트된 작업의 범위가 상대적으로 한정되어 있다. 주로 가정용 작업과 단순 조작에 초점이 맞춰져 있는데, 복잡한 다단계 조립이나 사회적 상호작용 등에서는 효과가 다를 수 있다. 넷째, 인간과 로봇 간 동작 차이를 완벽히 메우지는 못했다. 예를 들어 그리퍼(손끝) 동작을 추정하지 않아 휴대-비휴대 상태만 이산으로 고려했는데, 로봇 그리퍼의 미세한 조작과 정확히 대응시키기에는 정보 손실이 있다. 향후 인체 역학적 격차를 더 정교히 모델링할 필요가 있다. 마지막으로, 현 방식은 거의 지도학습적(imitation-style) 접근이므로, 주어진 비디오 시퀀스 외의 상상된 행동 생성에는 한계가 있다. 예를 들어, 인간이 명시적으로 보여주지 않은 방식(예: 다른 순서의 물체 배치)으로 일반화하기 어렵다.

응용 가능성 및 후속 연구 방향

이 연구는 실세계 로봇의 범용성 확장에 대한 희망적인 시사점을 제공한다. 실제 가정이나 공장 등에서 로봇이 새로운 작업을 배울 때, 이미 수행되는 사람의 작업 영상을 대규모로 수집하여 활용할 수 있는 가능성을 보여주었다. 예를 들어, 주방에서 사람이 식기를 정리하는 모습이나 공장에서 사람이 기기를 조립하는 영상을 로봇이 학습함으로써, 로봇이 직접 시연하지 않은 변형된 작업도 이해할 수 있게 된다. 특히, 대중이 가진 스마트폰이나 AR/VR 기기를 통해 일상적인 인간 조작 데이터를 손쉽게 모은다면, 로봇 학습의 적용 범위는 획기적으로 커질 수 있다.

후속 연구로는 다음과 같은 방향이 기대된다:

• 사전학습에 인간 데이터 포함: 이 연구에서는 인간 데이터는 미세조정 단계에서만 사용했다. 향후 대규모 사전학습 단계에 방대한 인간 비디오(예: Ego4D, 유튜브 동영상 등)까지 통합하면, 모델이 시초부터 인간 행동 패턴을 익혀 더 효율적인 전이가 가능해질 수 있다.
• 다양한 임베디먼트 실험: 본 연구에서는 주요 로봇 형태(ARX 등)와 인간 데이터로만 실험했지만, 다른 로봇(예: 휴머노이드), VR/AR에서 얻은 데이터, 또는 애니메이션 캐릭터 데이터 등을 혼합 학습하면 더 일반화된 모델을 만들 수 있을 것이다.
• 자율 데이터 수집: 현재는 사람이 직접 영상 수집을 지시했지만, 로봇이 스스로 온라인 동영상을 분석하거나 고안적 시뮬레이션을 통해 인간-로봇 대응을 학습하는 방법도 연구할 수 있다.
• 안전성과 견고성 평가: 인간 데이터를 활용한 정책이 실제 로봇에 적용될 때의 안전성과 신뢰성을 평가해야 한다. 새로운 도메인에 대한 전이는 유용하지만, 예기치 못한 행동을 만들어낼 위험도 있으므로, 윤리적/안전적 틀을 마련해야 한다.
• 결합 모델 및 멀티태스크 학습: 이 접근법은 자연어 명령과 행동 예측을 함께 다루므로, 향후 대형 멀티모달 모델(예: 언어-비전-액션 통합)과도 자연스럽게 결합될 수 있다. LLM과 시뮬레이션 인공지능(예: Gato) 같은 범용 모델들과 연계하여 더 뛰어난 일반화 모델을 개발할 수 있다.

요약 및 결론

요약하자면, 이 논문은 대규모 사전학습된 시각-언어-행동(VLA) 모델이 인간 비디오 데이터에서 학습된 새로운 작업 개념을 별도 설계 없이도 흡수할 수 있음을 보여주었다. 저자들은 인간 데이터를 로봇 데이터와 동일한 방식으로 코-트레이닝함으로써, 인간-로봇 전이(human-to-robot transfer)가 사전학습 데이터의 다양성과 규모에 비례하여 강력하게 발현함을 발견했다. 특히 충분한 다양성의 로봇 데이터로 사전학습된 모델에서는, 인간과 로봇 입력에 대한 잠재 표현이 정렬(aligned)되어 구현 체형(embodiment)에 무관하게 유사한 행동 패턴을 인식하게 된다.

이러한 결과는 LLM에서의 emergent behavior 사례와 마찬가지로, 규모의 확장(scale-up)이 새로운 학습 능력을 가능케 할 수 있다는 점을 시사한다. 미래에 로봇 공학 분야에서 사물인터넷, 스마트 기기 등을 통한 방대한 인간 행동 데이터를 활용한다면, 본 연구에서 제시한 인사이트에 따라 로봇 모델의 일반화 능력은 더욱 향상될 것이다. 결론적으로, 로봇용 재단(foundation) 모델의 다음 세대는 더 많은 데이터를 흡수할수록 로봇에게 이전에는 불가능했던 새로운 능력을 부여할 것으로 기대된다. 인간 비디오는 그 중 하나의 예일 뿐이며, 이 외에도 새로운 데이터 소스와 학습 기법이 결합되면 로봇이 우리의 일상 세상을 이해하는 범위가 크게 넓어질 것이다.