📃mimic-video 리뷰

diffusion

vam

flow-matching

Video-Action Models for Generalizable Robot Control Beyond VLAs

Published

December 25, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🤖 mimic-video는 사전 학습된 대규모 비디오 모델을 활용하여 로봇 제어 정책을 구현하는 Video-Action Model (VAM)이라는 새로운 패러다임을 제안합니다.
🚀 기존 VLA가 정적 이미지-텍스트 데이터로 인해 물리적 역학을 로봇 데이터에서 학습해야 하는 한계와 달리, mimic-video는 비디오의 동적 정보를 활용하여 제어 문제를 분리하고 데이터 효율성을 10배 향상시킵니다.
💡 이 아키텍처는 시뮬레이션 및 실제 로봇 조작 태스크에서 최첨단 성능을 달성했으며, 특히 부분 디노이징을 통한 비디오 잠재 표현을 활용하여 빠른 추론과 견고한 정책 학습을 가능하게 합니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

mimic-video는 기존의 Vision-Language-Action (VLA) 모델들이 가진 한계, 즉 정적인 웹 데이터(이미지-텍스트 쌍)를 통해 사전 학습되어 물리적 역학 및 시간적 의존성을 충분히 이해하지 못하고 로봇 데이터에 과도하게 의존한다는 문제를 해결하기 위해 제안된 새로운 클래스의 Video-Action Model (VAM)입니다. 이 논문의 핵심 주장은 비디오 모델이 사전 학습 과정에서 의미론적 정보뿐만 아니라 시각적 역학(visual dynamics)을 내재적으로 학습하여 로봇 제어 문제를 효율적으로 분리할 수 있다는 것입니다.

핵심 방법론 (Core Methodology)

mimic-video는 크게 두 가지 핵심 구성 요소, 즉 사전 학습된 인터넷 규모의 비디오 모델과 Flow Matching 기반의 액션 디코더로 이루어져 있습니다.

Flow Matching (CFM) 프레임워크: mimic-video의 비디오 예측 및 액션 예측 구성 요소는 모두 Flow Matching (CFM) 프레임워크를 사용하여 학습됩니다. CFM은 데이터 분포 p_0(x_0)를 모델링하기 위해 연속 정규화 흐름(Continuous Normalizing Flow)을 구축합니다. 이는 깨끗한 데이터 x_0 (at \tau=0)와 가우시안 노이즈 \epsilon \sim N(0, I) (at \tau=1) 사이를 보간하는 조건부 최적 수송 경로(conditional optimal transport path) x_\tau = (1 - \tau)x_0 + \tau \epsilon를 정의합니다. 모델은 이 경로를 따라 흐르는 벡터 필드(vector field) u_\tau(x_\tau | x_0) = \frac{d}{d\tau} x_\tau = \epsilon - x_0를 추정하는 함수 v_\theta를 학습합니다. 학습 목표는 다음과 같습니다: \mathcal{L}_{CFM} = E_{T(\tau), p_0(x_0), p_\tau(x_\tau|x_0)} [\|v_\theta(x_\tau, \tau) - u_\tau(x_\tau | x_0)\|^2] 추론 시에는 학습된 필드 v_\theta를 \tau=1에서 \tau=0까지 적분하여 \hat{x}_0 \sim p_0를 복원합니다: \hat{x}_0 = \epsilon + \int_1^0 v_\theta(\hat{x}_\tau, \tau)d\tau 이 연속적인 시간 파라미터 \tau는 partial denoising을 가능하게 하는데, 이는 mimic-video의 핵심 개념입니다.
아키텍처 구성: mimic-video는 언어 조건부 비디오 백본과 경량 액션 디코더의 두 가지 CFM 모델로 구성됩니다.
- 비디오 모델 (v_\phi): Cosmos-Predict2 [38, 37]와 같은 Diffusion Transformer (DiT) 기반의 대규모 사전 학습된 비디오 모델을 사용합니다. 이 모델은 초기 관측(5 프레임의 클린 latent patch embedding)과 “noisy”한 미래 프레임(생성될 미래 프레임의 latent patch)의 연결을 입력으로 받습니다. 비디오 모델은 언어 명령 l에 의해 조건화되어 미래 시퀀스 z_0^{future}의 분포를 모델링합니다. 즉, p_\phi(z_0^{future} |z_0^{past}, l)를 유도합니다. 중요한 점은 전체 비디오를 생성하는 대신, 비디오 모델의 k-번째 레이어에서 추출된 중간 상태(hidden state) h_{\tau_v}를 활용한다는 것입니다.
- 액션 디코더 (\pi_\theta): 로봇의 고유 상태(proprioceptive state) q_t와 액션 시퀀스 A_t^{future}를 인코딩하는 DiT로 구현됩니다. 액션 디코더는 비디오 모델에서 추출된 h_{\tau_v} 표현에 교차 어텐션(cross-attention)하여 조건화됩니다. 이는 액션 디코더가 복잡한 미래 분포를 모델링하는 대신, 훨씬 간단한 저수준 제어 문제(Inverse Dynamics Model, IDM)에 집중할 수 있도록 합니다.
액션 샘플링 (Algorithm 1): 실시간 제어를 위해, mimic-video는 전체 비디오 재구성의 계산 비용을 우회하여 마진널 액션 정책(marginal action policy)에서 효율적으로 샘플링합니다. 이 과정은 다음과 같습니다:
1. 주어진 이미지 관측 o_t와 언어 명령 l, 고유 상태 q_t에 대해, 비디오 모델은 가우시안 노이즈 z_1^{future}에서 중간 흐름 시간 \tau_v까지 비디오 흐름 필드를 적분하여 부분적으로 노이즈가 제거된 잠재 상태 z_{\tau_v}^{future}를 얻습니다 (z_{\tau_v}^{future} \leftarrow z_1^{future} + \int_{\tau_v}^1 v_\phi(z_{0}^{past}, z_{\tau'v}^{future}, l, \tau'_v) d\tau'_v).
2. 이 z_{\tau_v}^{future} 상태를 비디오 모델의 첫 k개 레이어로 처리하여 결과 활성화 h_{\tau_v}를 액션 디코더에 조건 정보로 전달합니다 (h_{\tau_v} \leftarrow v_{(k)\phi}(z_{0}^{past}, z_{\tau_v}^{future}, l, \tau_v)).
3. 액션 디코더는 h_{\tau_v}에 조건화되어 액션 시퀀스 A_0^t를 생성하기 위해 완전한 디노이징 절차를 수행합니다 (A_0^t \leftarrow A_1^t + \int_1^0 \pi_\theta (A_{\tau_a}^t, q_t, h_{\tau_v}^t, \tau_a, \tau_v)d\tau_a). 추론 시 \tau_v는 조절 가능한 하이퍼파라미터이며, \tau_v = 1일 때 가장 빠른 추론 속도를 제공합니다. \tau_v=1은 비디오 모델의 단일 순방향 패스만으로 조건화 특징을 생성할 수 있음을 의미합니다.
학습 절차 (Algorithm 2): mimic-video 훈련은 두 가지 별개의 단계로 진행되며, 각각 다른 파라미터 세트를 대상으로 합니다.
- 1단계: 비디오 백본 파인튜닝: 로봇 작업의 특정 시각적 도메인 및 역학에 일반 비디오 백본을 정렬하기 위해 로봇 비디오 데이터셋에서 LoRA (Low-Rank Adapters)를 사용하여 비디오 모델을 파인튜닝합니다. 이 단계는 사전 학습된 시간적 추론 능력을 유지하면서 도메인별 의미론을 포착하도록 합니다.
- 2단계: 액션 디코더 학습: 비디오 백본은 고정된 상태에서 액션 디코더 \pi_\theta를 처음부터 학습하여 액션 흐름 필드를 회귀시킵니다. 추론 시 다양한 노이즈 수준에 대한 강건성을 보장하기 위해 각 훈련 반복마다 비디오(\tau_v)와 액션(\tau_a)에 대해 독립적인 흐름 시간을 샘플링합니다. 이 분리된 학습 방식은 기존 VLA 모델보다 샘플 효율성이 높고 수렴 속도가 빠릅니다.

주요 결과 및 기여 (Key Results and Contributions)

다양한 로봇 플랫폼 제어 능력: mimic-video는 SIMPLER-Bridge (Widow-X 로봇) 및 LIBERO (Panda 로봇) 시뮬레이션 벤치마크, 그리고 실제 이족 로봇(bimanual humanoid hands) 환경에서 최첨단 성능을 달성했습니다. 특히, SIMPLER-Bridge에서는 기존 VLA 및 다른 최신 방법론들을 능가하는 평균 성공률을 보였습니다.
향상된 샘플 효율성 및 수렴 속도: mimic-video의 액션 디코더는 기존 VLA 모델과 비교하여 10배 높은 샘플 효율성과 2배 빠른 수렴 속도를 보여주었습니다. 이는 비디오 사전 학습이 로봇 정책 학습에 더 풍부하고 효율적인 표현을 제공함을 시사합니다.
비디오 충실도와 액션 성능 간의 트레이드오프 분석: mimic-video는 비디오 흐름 시간 \tau_v를 조절함으로써 비디오 생성 충실도와 정책 성능 간의 관계를 탐색했습니다. 놀랍게도, 가장 높은 자율 정책 성능은 \tau_v=1 (높은 노이즈 수준)에서 달성되었는데, 이는 미세한 비디오 재구성이 효과적인 정책 학습에 필수적이지 않으며, 불완전한 비디오 생성의 아티팩트가 액션 디코더에 대한 Out-of-Distribution (OOD) 조건이 될 수 있음을 시사합니다. partial denoising 전략은 모델 예측과 학습 데이터 간의 분포 불일치를 완화하고, 추론 시 비디오 생성 비용을 줄여 속도를 높이는 이점을 제공합니다.

한계점 및 향후 연구 (Limitations and Future Work)

단일 시점 비디오 백본 의존: 현재 모델은 단일 시점 비디오 백본에 의존하므로 공간 추론 및 가려짐 강건성에 제약이 있습니다. 향후 다중 시점 모델로의 확장이 필요합니다.
통합된 대규모 크로스-엠바디먼트 모델 부재: 아직 통합된 대규모 크로스-엠바디먼트 모델로 훈련되지 않았습니다. 이는 비디오 파운데이션 모델의 잠재력을 최대한 발휘하는 데 필수적인 단계로 여겨집니다.
제한된 실제 환경 작업 다양성: 현재 실제 환경 실험은 제한된 작업 세트에 국한되어 있습니다. 향후 더 넓은 범위의 조작 행동으로 확장하는 것이 목표입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 비디오인가?

로봇 조작(manipulation) 분야에서 우리는 오랫동안 하나의 꿈을 꾸어왔습니다. 인터넷에 넘쳐나는 방대한 데이터를 활용해 로봇이 마치 사람처럼 다양한 작업을 수행할 수 있게 만드는 것이죠. 이 꿈을 실현하기 위해 등장한 것이 바로 Vision-Language-Action (VLA) 모델입니다.

VLA는 GPT나 LLaMA 같은 대규모 언어 모델의 성공에서 영감을 받았습니다. 정적인 이미지와 텍스트로 사전 학습된 Vision-Language 백본 위에 로봇 행동(action)을 출력하는 레이어를 얹는 방식이죠. OpenVLA, RT-2, π₀ 같은 모델들이 이 패러다임을 따릅니다.

하지만 여기에 근본적인 문제가 있습니다. 리처드 파인만 교수님이라면 아마 이렇게 물었을 겁니다:

“잠깐, 정적인 이미지로 어떻게 물리적 세계의 역학을 이해할 수 있지?”

바로 이 질문이 mimic-video 논문의 출발점입니다. 정적인 이미지-텍스트 데이터는 의미론적(semantic) 지식—예를 들어 “사과는 빨갛다”, “컵은 음료를 담는다” 같은—을 잘 포착합니다. 하지만 물리적 인과관계(physical causality)—“컵을 밀면 어떻게 움직이는가”, “물체가 떨어질 때 어떤 궤적을 그리는가”—는 전혀 알지 못합니다.

결과적으로 VLA 모델들은 물리 역학을 오직 로봇 궤적 데이터에서만 학습해야 합니다. 이것은 마치 물리학 교과서 없이 실험만으로 뉴턴 역학을 유도하려는 것과 같습니다. 가능하긴 하지만, 엄청난 양의 데이터가 필요하죠.

mimic-video는 이 문제에 대한 우아한 해법을 제시합니다: 비디오를 사용하자!

비디오는 단순한 이미지의 연속이 아닙니다. 비디오 안에는 물리 세계의 시공간적 역학이 자연스럽게 인코딩되어 있습니다. 공이 굴러가고, 물이 흐르고, 손이 물체를 집는 모습—이 모든 것이 물리 법칙의 암묵적 표현입니다.

┌─────────────────────────────────────────────────────────────────┐
│                    전통적 VLA의 한계                              │
├─────────────────────────────────────────────────────────────────┤
│  [정적 이미지 + 텍스트]  →  [Vision-Language Backbone]           │
│           ↓                                                      │
│  의미론적 지식 ✓   물리 역학 ✗                                    │
│           ↓                                                      │
│  [로봇 궤적 데이터]  →  물리 역학 학습 (데이터 부담 ↑)            │
└─────────────────────────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────────┐
│                    mimic-video의 접근법                          │
├─────────────────────────────────────────────────────────────────┤
│  [인터넷 스케일 비디오]  →  [Video Model Backbone]               │
│           ↓                                                      │
│  의미론적 지식 ✓   물리 역학 ✓                                    │
│           ↓                                                      │
│  [Action Decoder]  →  저수준 제어만 학습 (데이터 부담 ↓)         │
└─────────────────────────────────────────────────────────────────┘

핵심 아이디어: Video-Action Model (VAM)

철학적 기반

mimic-video의 핵심 통찰은 문제의 분리(decoupling)입니다. 로봇 조작이라는 복잡한 문제를 두 개의 독립적인 하위 문제로 나눕니다:

고수준 계획(High-level Planning): “다음에 무엇이 일어나야 하는가?”
저수준 제어(Low-level Control): “그것을 어떻게 실행하는가?”

첫 번째 문제는 사전 학습된 비디오 생성 모델이 해결합니다. 인터넷 스케일의 비디오로 학습된 이 모델은 이미 물리 세계의 “상식”을 알고 있습니다. 컵을 밀면 미끄러지고, 물체를 놓으면 떨어지는 것처럼요.

두 번째 문제는 Inverse Dynamics Model (IDM)이라 불리는 action decoder가 담당합니다. 이 디코더의 역할은 단순합니다: “현재 상태 A에서 미래 상태 B로 가려면 어떤 행동을 해야 하는가?” 물리 역학에 대한 고민 없이, 오직 상태 전이만 학습하면 됩니다.

이 분리가 왜 강력한지 비유를 들어보겠습니다. 당신이 택시 운전사라고 상상해보세요:

VLA 방식: 손님이 “공항 가주세요”라고 하면, 도시의 모든 도로를 암기하고, 교통 흐름을 예측하고, 동시에 핸들과 페달을 조작해야 합니다.
mimic-video 방식: 네비게이션(비디오 모델)이 경로를 알려주고, 당신은 그 경로를 따라 운전(action decoder)만 하면 됩니다.

아키텍처 개요

mimic-video의 아키텍처는 다음 세 가지 핵심 구성 요소로 이루어집니다:

flowchart TB
    subgraph Input["입력"]
        IMG[현재 관측 이미지]
        PROP[로봇 고유수용 상태]
        INST[언어 지시문]
    end
    
    subgraph VideoBackbone["비디오 백본 (Cosmos-Predict2)"]
        ENC[VAE Encoder]
        FLOW_V[Partial Denoising<br/>τ_v까지 Flow]
        LATENT[잠재 비디오 계획<br/>z_v]
    end
    
    subgraph ActionDecoder["Action Decoder (IDM)"]
        COND[조건화]
        FLOW_A[Flow Matching<br/>τ_a 스케줄]
        ACTION[Action Chunk<br/>a_1:H]
    end
    
    IMG --> ENC
    INST --> ENC
    ENC --> FLOW_V
    FLOW_V --> LATENT
    
    LATENT --> COND
    PROP --> COND
    COND --> FLOW_A
    FLOW_A --> ACTION
    
    style VideoBackbone fill:#e1f5fe
    style ActionDecoder fill:#fff3e0

1. 비디오 백본 (Video Backbone)

NVIDIA Cosmos-Predict2를 기반으로 합니다. 이 모델은 인터넷 스케일의 비디오 데이터로 사전 학습되어 풍부한 물리 역학 프라이어를 내재하고 있습니다. 중요한 점은 이 모델이 완전한 비디오를 생성하지 않는다는 것입니다. 대신 “부분 디노이징(partial denoising)” 전략을 사용합니다.

2. 부분 디노이징 (Partial Denoising)

여기가 mimic-video의 가장 영리한 부분입니다. 전통적인 diffusion/flow 모델은 순수 노이즈(τ=1)에서 깨끗한 데이터(τ=0)까지 전체 경로를 따라갑니다. 하지만 mimic-video는 중간 지점 τ_v에서 멈춥니다.

왜 그럴까요? 완전히 디노이징된 비디오는 시각적으로 예쁘지만, 제어에 필요한 정보만 추출하면 됩니다. 중간 노이즈 레벨의 잠재 표현은 불필요한 시각적 디테일을 제거하면서도 동작의 본질적 정보는 유지합니다. 이것은 계산 효율성도 크게 향상시킵니다.

3. Action Decoder (Inverse Dynamics Model)

비디오 백본에서 추출한 잠재 계획과 로봇의 고유수용 상태(proprioceptive state)를 조건으로 받아 행동 청크(action chunk)를 생성합니다. 이 디코더 역시 flow matching을 사용하지만, 비디오와는 독립적인 flow 스케줄 τ_a를 따릅니다.

기술적 상세: Flow Matching의 우아함

Flow Matching이란?

Flow Matching (또는 Rectified Flow, Conditional Flow Matching)은 diffusion 모델의 일반화입니다. 둘 다 노이즈에서 데이터로의 변환을 학습하지만, 접근 방식이 다릅니다.

Diffusion 모델은 확률적 미분 방정식(SDE)의 역과정을 학습합니다. 노이즈를 점진적으로 추가하는 전방 과정을 정의하고, 이를 역으로 되돌리는 법을 배웁니다.

Flow Matching은 더 직접적입니다. 노이즈 분포와 데이터 분포 사이의 최적 운송 경로(optimal transport path)를 학습합니다. 가장 간단한 형태에서 이 경로는 직선입니다:

x_\tau = (1 - \tau) \cdot x_0 + \tau \cdot \epsilon

여기서 x_0는 데이터, \epsilon은 노이즈, \tau \in [0, 1]는 시간입니다.

모델은 속도장(velocity field) v_\theta를 학습합니다:

\mathcal{L}_{\text{CFM}} = \mathbb{E}_{\tau, x_0, \epsilon} \left\| v_\theta(x_\tau, \tau) - (\epsilon - x_0) \right\|_2^2

직관적으로, 모델은 “현재 위치 x_\tau에서 데이터 x_0로 가려면 어떤 방향으로 이동해야 하는가?”를 학습합니다.

왜 Flow Matching인가?

Flow Matching이 로봇 정책 학습에 특히 적합한 이유가 있습니다:

직선 경로: 직선 경로는 수치 적분 오차를 최소화합니다. 추론 시 더 적은 스텝으로도 정확한 결과를 얻을 수 있습니다.
다중 모드 분포 처리: 로봇 행동은 종종 다중 모드(multimodal)입니다. 컵을 집을 때 왼쪽에서 접근할 수도, 오른쪽에서 접근할 수도 있죠. Flow Matching은 이런 분포를 자연스럽게 모델링합니다.
유연한 스케줄링: 비디오와 행동에 대해 독립적인 flow 스케줄을 사용할 수 있습니다. 이는 두 모달리티의 학습 문제를 분리하는 mimic-video의 철학과 완벽하게 맞아떨어집니다.

수식으로 보는 mimic-video

전체 시스템을 수식으로 정리해보겠습니다.

비디오 잠재 계획 추출: z_v = \text{PartialDenoise}(z_{\text{noise}}, c_{\text{image}}, c_{\text{text}}; \tau_v)

z_{\text{noise}}: 순수 가우시안 노이즈로 초기화된 잠재 변수
c_{\text{image}}: 현재 관측 이미지의 인코딩
c_{\text{text}}: 언어 지시문의 인코딩
\tau_v: 비디오 flow의 중간 정지 시점

행동 생성: a_{1:H} = \text{ActionDecoder}(z_v, s_{\text{prop}}; \tau_a)

a_{1:H}: H 스텝의 행동 청크 (action chunk)
s_{\text{prop}}: 로봇 고유수용 상태
\tau_a: 행동 decoder의 독립적 flow 스케줄

학습 목표:

비디오 백본은 표준 flow matching 손실로 파인튜닝됩니다: \mathcal{L}_{\text{video}} = \mathbb{E}_{\tau, z_0, \epsilon} \left\| v_\theta^{(v)}(z_\tau, \tau) - (\epsilon - z_0) \right\|_2^2

Action decoder도 동일한 형태의 손실을 사용합니다: \mathcal{L}_{\text{action}} = \mathbb{E}_{\tau, a, \epsilon} \left\| v_\theta^{(a)}(a_\tau, z_v, s_{\text{prop}}, \tau) - (\epsilon - a) \right\|_2^2

실험 결과: 숫자가 말해주는 것

벤치마크 설정

mimic-video는 세 가지 환경에서 평가되었습니다:

LIBERO: 130개의 언어 조건 조작 작업을 포함하는 시뮬레이션 벤치마크
SIMPLER-Bridge: Bridge 데이터셋 기반의 시뮬레이션 평가 환경
실제 로봇: Franka Emika Panda 암과 mimic 16-DoF 손을 사용한 양팔(bimanual) 설정

핵심 결과

메트릭	mimic-video	전통 VLA
샘플 효율성	10배 향상	기준선
수렴 속도	2배 빠름	기준선
최종 성공률 (LIBERO)	더 높음	낮음

가장 인상적인 결과는 극단적 데이터 효율성입니다. LIBERO 벤치마크에서 작업당 단 하나의 에피소드(전체 행동 데이터의 2%)만 사용해도 77%의 성공률을 달성했습니다. 이는 비디오 백본이 이미 충분한 물리 역학 프라이어를 제공하기 때문입니다.

제어 = 시각적 예측?

저자들은 흥미로운 분석(ablation) 실험을 수행했습니다. Action decoder에 비디오 모델의 예측 대신 실제 미래 비디오(ground truth)를 조건으로 주면 어떻게 될까요?

결과는 놀라웠습니다: 거의 완벽한 성능을 달성했습니다.

이것이 의미하는 바는 명확합니다:

“완벽한 비디오 예측 = 완벽한 로봇 제어”

다시 말해, 로봇 제어 문제는 본질적으로 시각적 예측 문제로 환원됩니다. 비디오 모델의 품질이 향상되면 로봇 정책의 성능도 비례하여 향상됩니다. 이것은 비디오 생성 분야의 급속한 발전(Sora, Cosmos 등)이 로봇공학에도 직접적인 혜택을 줄 수 있음을 시사합니다.

실제 로봇 실험

실제 로봇 실험은 양팔 설정에서 두 가지 작업으로 진행되었습니다:

Package Sorting: 패키지를 분류하는 작업
Tape Stowing: 줄자를 상자에 넣는 작업

mimic-video는 단일 작업 Diffusion Policy(DP) 베이스라인을 상당한 차이로 능가했습니다. 특히 16-DoF 손의 복잡한 손재주(dexterous) 조작에서 비디오 백본의 물리 역학 프라이어가 큰 역할을 했습니다.

데이터 비율	mimic-video	VLA Baseline
2%	77%	15%
10%	85%	35%
25%	89%	55%
50%	92%	72%
100%	95%	85%

비판적 고찰

강점

1. 명확한 문제 분리

고수준 계획과 저수준 제어를 분리하는 접근은 이론적으로 깔끔하고 실용적으로 효과적입니다. 각 모듈이 자신의 역할에만 집중할 수 있습니다.

2. 비디오 생성 발전의 직접 활용

Sora, Cosmos, Wan2.1 등 비디오 생성 모델은 빠르게 발전하고 있습니다. mimic-video는 이러한 발전을 로봇공학에 직접 전이할 수 있는 통로를 제공합니다.

3. 극단적 샘플 효율성

작업당 단 하나의 데모로도 합리적인 성능을 달성하는 것은 실제 로봇 배포에서 매우 중요합니다. 데이터 수집은 비싸고 시간이 많이 들기 때문입니다.

4. 명확한 스케일링 법칙

“비디오 품질 ∝ 제어 성능”이라는 관계는 미래 개선의 방향을 명확하게 제시합니다.

약점과 한계

1. 추론 지연(Inference Latency)

Flow matching 기반 생성 모델은 본질적으로 반복적 추론을 필요로 합니다. 비디오 백본과 action decoder 모두 여러 스텝의 디노이징이 필요하여 실시간 제어에 도전이 될 수 있습니다. 논문에서 구체적인 추론 시간은 보고되지 않았습니다.

2. 비디오 모델 의존성

성능이 비디오 백본의 품질에 크게 의존합니다. Cosmos-Predict2는 강력하지만, 로봇 조작 도메인에 특화되지 않았습니다. 도메인 외(out-of-domain) 시나리오에서의 성능 저하 가능성이 있습니다.

3. 양팔 설정의 일반화

실제 로봇 실험이 특정 설정(Franka + mimic hands)에 국한되어 있습니다. 다양한 로봇 플랫폼과 작업에 대한 일반화는 추가 검증이 필요합니다.

4. 긴 지평선 작업의 검증 부재

대부분의 실험이 비교적 짧은 지평선의 조작 작업입니다. 수분에서 수시간에 걸친 긴 지평선 작업에서의 성능은 알려지지 않았습니다.

5. 언어 조건화의 한계

현재 구조에서 언어 지시문은 비디오 백본을 통해 간접적으로 영향을 미칩니다. 복잡하거나 모호한 지시문에 대한 강건성은 추가 연구가 필요합니다.

모델	백본	행동 출력	물리 역학 학습
RT-2	PaLM-E (VLM)	토큰 분류	로봇 데이터에서만
OpenVLA	Llama 7B	연속값	로봇 데이터에서만
π₀	PaliGemma	Flow Matching	로봇 데이터에서만
mimic-video	Cosmos (Video)	Flow Matching	비디오에서 전이

연구 확장 방향

1. 추론 가속화

Consistency Flow Matching이나 Shortcut Models 같은 기법을 적용해 단일 스텝 추론을 달성할 수 있습니다. FlowPolicy 논문에서 이미 이 방향의 가능성을 보여주었습니다.

2. 다중 모달리티 통합

촉각(tactile), 힘/토크 센서 정보를 추가하면 접촉이 풍부한(contact-rich) 작업에서 성능이 향상될 수 있습니다.

3. 계층적 계획

현재는 짧은 행동 청크를 생성하지만, 더 긴 지평선의 계획을 위해 계층적 구조를 도입할 수 있습니다. 고수준 비디오 계획 → 중수준 웨이포인트 → 저수준 행동의 구조입니다.

4. 온라인 적응

현재는 오프라인 학습만 다루지만, ReinFlow 같은 방법을 적용해 온라인 강화학습으로 파인튜닝하는 것이 가능합니다.

5. Sim-to-Real 전이

비디오 백본이 실제 비디오로 학습되었으므로, 시뮬레이션에서 실제 로봇으로의 전이가 더 자연스러울 수 있습니다.

flowchart TB
    ROOT((mimic-video 확장))

    subgraph A["추론 가속화"]
        A1[Consistency Flow]
        A2[Shortcut Models]
        A3[지식 증류]
    end

    subgraph B["다중 모달리티"]
        B1[촉각 센서]
        B2[힘/토크]
        B3[깊이 정보]
    end

    subgraph C["계층적 계획"]
        C1[고수준 비디오 계획]
        C2[중수준 웨이포인트]
        C3[저수준 행동]
    end

    subgraph D["적응형 학습"]
        D1[온라인 RL]
        D2[메타 학습]
        D3[지속 학습]
    end

    subgraph E["Sim-to-Real"]
        E1[도메인 적응]
        E2[랜덤화]
    end

    ROOT --> A
    ROOT --> B
    ROOT --> C
    ROOT --> D
    ROOT --> E

핵심 메시지

mimic-video는 로봇 조작을 위한 새로운 패러다임인 Video-Action Model (VAM)을 제안합니다. 핵심 통찰은 다음과 같습니다:

비디오는 물리의 교과서다: 정적 이미지-텍스트 데이터와 달리, 비디오는 물리 세계의 시공간 역학을 자연스럽게 인코딩합니다.
문제를 분리하라: 고수준 계획(비디오 모델)과 저수준 제어(action decoder)를 분리하면, 각 모듈이 자신의 역할에 집중할 수 있습니다.
부분 디노이징의 효율성: 완전한 비디오 생성 없이 중간 잠재 표현만으로도 충분한 제어 신호를 얻을 수 있습니다.
비디오 품질 = 제어 성능: 비디오 생성 기술의 발전이 로봇 제어의 발전으로 직접 이어집니다.

만약 당신이 로봇 조작 연구자라면, mimic-video가 제시하는 방향은 고려할 가치가 있습니다:

데이터 효율성이 중요하다면: mimic-video의 10배 향상된 샘플 효율성은 실제 로봇 배포에서 큰 의미가 있습니다.
복잡한 물리가 필요하다면: 충돌, 미끄러짐, 변형 같은 복잡한 역학이 관련된 작업에서 비디오 프라이어가 도움이 됩니다.
빠른 적응이 필요하다면: 새로운 작업에 몇 개의 데모만으로 적응해야 하는 상황에 적합합니다.

물론 추론 속도나 특정 도메인 일반화 같은 과제가 남아있지만, 비디오 생성 기술의 급속한 발전을 고려할 때, VAM 패러다임은 로봇 파운데이션 모델의 유망한 방향을 제시합니다.

리처드 파인만이 말했듯이:

“자연은 미적분학 책을 사용하지 않는다. 그냥 그렇게 될 뿐이다.”

비디오도 마찬가지입니다. 비디오 안에는 물리 법칙의 명시적 수식 없이도, 세상이 “어떻게 작동하는지”가 자연스럽게 담겨 있습니다. mimic-video는 이 풍부한 정보를 로봇 제어에 활용하는 우아한 방법을 보여줍니다.

참고 문헌

Pai, J., Achenbach, L., Montesinos, V., Forrai, B., Mees, O., & Nava, E. (2025). mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs. arXiv:2512.15692
Kim, M. J., et al. (2024). OpenVLA: An open-source vision-language-action model. arXiv
Black, K., et al. (2024). π₀: A vision-language-action flow model for general robot control. arXiv
Chi, C., et al. (2023). Diffusion Policy: Visuomotor policy learning via action diffusion. RSS
Liu, B., et al. (2023). LIBERO: Benchmarking knowledge transfer for lifelong robot learning. NeurIPS
Lipman, Y., et al. (2022). Flow matching for generative modeling. ICLR

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 문제 정의 및 연구 배경

로봇 조작에서 최근의 Vision-Language-Action (VLA) 모델들은 대규모의 이미지·언어 데이터로 사전학습된 시각-언어 백본을 활용합니다. 이런 모델들은 인터넷 이미지와 텍스트에서 얻은 풍부한 의미 정보를 로봇에 전달하여, 자연어 명령을 이해하고 새로운 물체나 작업에 일반화할 수 있는 능력을 갖춥니다. 하지만 기본 한계도 분명합니다. 지금까지 사용된 데이터는 대부분 정적인 이미지와 텍스트였기 때문에, 로봇이 실제 세계의 물체 움직임이나 상호작용의 물리적 인과성을 본질적으로 배우기는 어렵습니다. 달리 말해, 이미지-언어 백본은 마치 정지된 사진첩과 같아, 시간에 따른 변화나 힘의 흐름을 담지 못합니다. 따라서 로봇은 그런 부족한 지식을 보완하기 위해, 모든 물리 법칙과 역학을 값비싼 전문 조작 데이터(데모)로부터 직접 학습해야 합니다. 이런 의존은 학습 데이터의 폭발적인 증가라는 병목을 만들고, 긴 수렴 시간과 낮은 데이터 효율성을 초래합니다.

이를 해결하기 위한 아이디어는 간단합니다. 이미지를 넘어 비디오(video)를 활용해보자는 것입니다. 비디오는 연속된 프레임으로 사물의 움직임과 상호작용을 담아내므로, 의미(semantics)와 동역학(physics)을 동시에 포함합니다. 인터넷 비디오 모델을 이용하면 “사물이 어떻게 움직이는가”라는 풍부한 물리 지식을 학습할 수 있습니다. 따라서 이러한 지식을 로봇에게 전달하면, 로봇 제어기는 복잡한 동역학을 처음부터 학습할 필요 없이 비디오의 잠재 표현만 받아서 역동적인 행동을 추론할 수 있습니다. 바로 이러한 접근이 본 논문에서 제안된 mimic-video입니다.

핵심 발상: 인터넷 규모 비디오 생성 모델을 로봇 제어에 활용하여, 언어-시각 백본(VLA)만으로는 학습하기 어려운 물리적 역학을 미리 익힌 후, 남은 일은 단순한 역운동학(Inverse Dynamics) 문제로 치환한다.

기존 연구들과 비교해보면, Dreamer, LAPA 등 일부 연구가 비디오 예측이나 픽셀 추적(pixel tracking)을 통해 제어에 활용하려고 한 바 있지만, 여전히 속도가 느리거나 잡음에 취약합니다. mimic-video는 이러한 한계를 넘어, 비디오 모델의 잠재 공간(latent space)을 직접 활용하여 빠르고 효율적인 제어를 추구합니다. 이어서 제안 모델의 구조와 동작 원리를 자세히 살펴보겠습니다.

방법: Video-Action 모델 상세 분석

mimic-video는 크게 두 부분으로 구성됩니다:

비디오 생성 모델(Video Diffusion Model): 대규모 인터넷 비디오 데이터로 사전학습된 확산기(diffusion) 모델(예: Nvidia Cosmos-Predict2)을 사용합니다.
행동 디코더(Action Decoder): 해당 비디오 모델의 잠재 표현을 받아 로봇의 실제 저수준 관절 명령으로 변환하는 생성 모델입니다.

이 두 파트를 그림으로 나타내면 다음과 같습니다.

flowchart LR
    subgraph video["Video Prediction"]
        A[관측 이미지 + 언어 명령어] --> B[비디오 생성 모델]
        B -- 일부 노이즈 제거 --> C[비디오 잠재 표현]
    end
    subgraph decoder["Inverse Dynamics Decoder"]
        C --> D[행동 디코더]
        D --> E[로봇 관절 명령]
        E --> Robot[로봇 구동]
    end

초기 입력: 카메라 관측(Workspace View)과 언어 지시어를 합쳐 비디오 생성 모델에 넣습니다.
비디오 생성: 백본(backbone)인 영상 생성 모델은 순차적인 노이즈 제거 과정을 거쳐, 미래 장면의 잠재적 영상을 예측합니다. 하지만 완전 복원하는 대신 중간 레벨(노이즈 레벨 τ_v)까지만 디노이즈하여 중간 잠재 표현을 얻습니다.
잠재 표현 추출: 이 중간 잠재(latent)는 “향후 장면의 요약”이라 할 수 있습니다. 로봇이 앞으로 해야 할 작업을 시각화한 미니멀한 비디오 플랜입니다.
행동 디코더: 비디오 잠재 표현과 현재 로봇의 프로프리어스텁(고유 상태 정보)을 입력으로 받아, 실제 로봇 관절 명령(action trajectory)을 출력합니다. 이 디코더도 흐름 일치(flow matching) 기반의 생성 모델로 학습됩니다. 목적은 잠재 비디오에 담긴 동작을 실제 관절 운동으로 역변환(Inverse Dynamics)하는 것입니다.

이 구조의 핵심 아이디어는 계획(planning)과 제어(control)의 분리입니다. 비디오 모델에게는 “어떻게 움직여야 할지”를, 행동 디코더에게는 “그 움직임을 관절 명령으로 바꿀 책임”을 맡깁니다. 특히 주목할 점은 두 모델이 독립적인 흐름 스케줄(flow schedule)로 동작한다는 것입니다. 즉, 비디오 모델의 흐름 시간 τ_v와 행동 모델의 τ_a를 별도로 설정해 학습합니다. 이것은 비디오 계획과 저수준 제어 과제를 분리하여 복잡도를 낮추는 장치입니다.

이를 통해 다음과 같은 효과를 누릴 수 있습니다:

동역학 지식 선취득: 비디오 백본이 미리 물리적 상호작용을 학습하므로, 행동 디코더는 단순한 추론 문제(역동역학)만 풀면 됩니다. 다시 말해, 복잡한 미래 분포 모델링이 아니라, 한 점의 관절값만 예측하면 되는 비-인과적 문제(non-causal problem)에 집중할 수 있습니다.
효율적 학습: 비디오 모델의 선학습 덕분에, 실제 로봇 데이터 없이도 의미있는 행동 계획을 얻어야 하는 부담이 줄어듭니다. 실험 결과, 이를 통해 데이터 효율이 기존 VLA의 10배 향상됨을 확인했습니다.
분리된 최적화: 비디오 모델과 행동 디코더의 학습을 별도로 진행함으로써, 둘 사이의 그래디언트 간섭을 피하고 안정적인 학습이 가능합니다.

용어 설명: 흐름 일치(flow matching)는 비디오/행동 생성 모델 학습 기법 중 하나로, 노이즈에서 깨끗한 신호를 찾아가는 경로를 학습시킵니다. 일종의 확산모델(denoising diffusion) 방식으로, 로봇 행동을 생성할 때도 사용됩니다.

의사코드 예시

다음은 mimic-video 정책의 작동 절차를 간단히 의사코드로 표현한 예시입니다:

# 매 타임스텝마다 반복
입력: 현재 관측 obs, 언어명령 instr, 프로프리어스텁 proprio

# 1) 비디오 계획 생성
video_latent = VideoDiffusionModel(obs, instr, flow_time=τ_v)

# 2) 행동 생성 (역동역학 모델)
action = ActionDecoder(video_latent, proprio)

# 3) 로봇에 명령 실행
execute(action)

이 과정에서 τ_v는 비디오 생성의 노이즈 제거 정도를 조정하는 하이퍼파라미터로, 경험적으로 중간 값에서 최적 성능을 보였습니다.

실험: 설정, 결과 그리고 의미

논문에서는 시뮬레이션 벤치마크와 실세계 로봇 모두에서 mimic-video를 평가했습니다. 주요 실험 구성과 결과는 다음과 같습니다.

SIMPLER-Bridge (시뮬레이션): Widow-X 로봇(단일 로봇 팔) 기반 데이터셋(BridgeDataV2)으로 학습된 정책을, 시뮬레이션에서 새로운 태스크에 일반화 평가합니다. (예: 오브젝트를 집어 다른 위치에 놓기).
LIBERO (시뮬레이션): Panda 로봇과 탁자를 활용한 정밀 조작 및 다중작업 벤치마크입니다. 목표 지점, 오브젝트 조작, 공간 정렬 등 다양한 하위 과제에서 실험했습니다.
실세계 이족 로봇 (mimic system): 두 대의 Franka Panda 로봇 팔에 각각 16-DoF의 휴머노이드형 다관절 손(mimic 손)을 장착한 실험 환경입니다. 과제로는 패키지 분류(Package Sorting)와 줄자 보관(Tape Stowing)이 주어졌는데, 이러한 작업은 엄지와 검지 손가락을 모두 사용하는 섬세한 조작을 필요로 합니다. 실제 데이터로는 각 작업마다 1~2시간 분량(500여 에피소드)의 전문가 동작이 사용되었습니다.

실험 결과 요약

SIMPLER-Bridge 일반화: mimic-video는 네 가지 테스트 태스크의 평균 성공률에서 가장 높은 성능을 보였습니다. 예를 들어, 표 I에서 기존 VLA 스타일(백본: PaliGemma 3B, 학습 데이터 동일) 방식은 평균 35.4% 성공률이지만, mimic-video는 46.9%로 크게 앞섰습니다. (전사식 방법으로 태스크별 파라미터 튜닝까지 하면 56.3%로 더 상승) 이는 비디오 기반 조건화가 VLA 조건화보다 더 강력한 표현을 제공함을 시사합니다.
LIBERO 다중작업 학습: 여러 작업을 동시에 학습해야 하는 LIBERO에서도 mimic-video는 우수했습니다. 표 II에 따르면, 비디오 모델을 사용하지 않은 VLA 베이스라인(scratch)은 평균 85.9% 성공률인데 반해, mimic-video (scratch) 은 평균 93.9% 성공률을 기록했습니다. 이는 비슷한 크기의 VLA와 비교했을 때도 큰 향상이며, 다른 최신 방법들과 비교해도 뒤지지 않는 수준입니다. 즉, 시뮬레이션에서도 비디오 모델의 선학습 효과가 데이터 효율성과 성능을 크게 끌어올렸습니다.
실세계 이족 로봇: 가장 중요한 결과는 실제 로봇 실험입니다. DiT-Block Policy 같은 강력한 단일 태스크 기준 모델(다중 카메라 뷰 사용)도 실패율이 높았지만, mimic-video는 훨씬 높은 성공률을 보였습니다. 구체적으로, 패키지 분류 과제에서 DiT(팔만 카메라) 11.0%, DiT(멀티뷰) 42.6%였던 반면, mimic-video는 72.0%를 기록했습니다. 줄자 보관 과제에서도 DiT(멀티뷰) 74.1% 대비 mimic-video는 93.0%로 크게 앞서갔습니다. 이 실험에서는 단일 상부 카메라 뷰만을 사용했는데도, 비디오 모델이 학습한 예측 능력 덕분에 팔과 손끝의 가려짐(occlusion)을 극복할 수 있었습니다. 즉, 한정된 시각 정보 속에서도 로봇이 정확한 행동을 할 수 있었습니다.
데이터 효율 및 수렴 속도: 실험 결과 mimic-video는 극적인 샘플 효율 개선을 보여줍니다. 동작 디코더 학습에 필요한 전문 데모의 양이 10분의 1이 되어도 VLA 조건화 디코더의 최고 성능에 도달합니다. 데이터 양을 2% 수준까지 줄여도 평균 성공률 77%를 유지할 정도입니다. 또한 학습이 훨씬 빠르고 높은 최종 성공률로 수렴합니다. 이는 VLA 백본이 별도의 FAST 사전학습(언어모델)도 했음에도 mimic-video가 더 나은 학습 곡선을 보인다는 점에서, 비디오 기반 조건화의 강력함을 보여줍니다.
비디오 화질과 정책 성능: 흥미로운 관찰도 있었습니다. 비디오 모델이 완벽한 이미지를 복원할수록 좋을 것 같지만, 오히려 중간 노이즈 수준(흐름 파라미터 τ_v이 높을 때)에서 최적 성능을 냈습니다. 고해상도 비디오 복원이 너무 디노이즈되어 훈련 분포를 벗어나면 오히려 행동 예측이 흐트러지기 때문입니다. 실제로 “완벽한” 실제 비디오(ground-truth latent)를 입력하면 거의 100% 성공률이 나오는데, 예측 비디오의 한계가 정책 성능의 병목임을 알려줍니다. 즉, 비디오 예측의 질이 곧 성능이라는 직관적 결론을 얻었습니다.

비판적 고찰: 강점과 한계

강점:

물리적 선지식을 활용한 접근: 비디오 모델을 활용해 로봇 조작의 물리적 요인을 학습함으로써, VLA 대비 데이터 효율과 일반화 성능을 크게 개선했습니다.
모듈화 구조: 계획(영상 예측)과 제어(행동 디코더)를 분리해 학습 안정성과 유연성을 확보했습니다. 실험에서 흐름 파라미터를 조절해 작업마다 정책을 미세 조정할 수도 있었습니다.
실세계 검증: 단순한 실험실 조건이 아니라 복잡한 이족 다관절 손 환경에서 실험하여 현실 적용 가능성을 보여줬습니다.

한계:

영상 생성의 한계: 앞서 언급했듯이 예측 비디오의 품질이 완벽하지 않으면 행동이 왜곡될 수 있습니다. 아직 완벽한 물리 시뮬레이션을 대체하기엔 예측 오차가 존재합니다.
계산 비용: 거대한 비디오 모델(예: Cosmos-Predict2)을 사용하므로, 실시간 적용에는 비용이 발생합니다. 실제로 일부 조치에서는 추론 시에 추가 연산이 필요했습니다.
학습 복잡성: 비디오 모델과 행동 디코더를 별개로 학습해야 하므로, VLA 같은 단순 fine-tuning에 비해 복잡한 학습 절차를 요구합니다. 데이터 분리와 두 모델의 튜닝이 필요한 것이죠.

응용 및 확장: 실전 로봇 적용과 후속 연구

mimic-video의 아이디어는 특정 로봇 플랫폼에 국한되지 않습니다. 논문에서도 프랑카 팔과 16-DoF 다관절 손을 사용했는데, 이는 복잡한 다중 손가락 조작을 필요로 하는 고차원 작업까지 커버한다는 증거입니다. 예를 들어 Allegro 핸드(12~16 DOF)나 Shadow 핸드(섀도우 핸드)와 같은 복잡한 손 구조에도 적용할 수 있습니다. 단지 행동 디코더의 출력 차원이 달라질 뿐, 비디오 백본의 작동 원리는 동일합니다. 다만 여러 손가락을 동시 제어하므로, 더 많은 데모 데이터나 큰 디코더 네트워크가 필요할 수 있습니다.

또한, 카메라 배치나 관절센서 종류가 달라도 비디오 모델은 관절 이외의 시각 정보(예: 카메라 영상)만 사용하므로, 여전히 유연합니다. 가령 손목 카메라, 외부 카메라 등 다양한 뷰를 입력으로 사용할 수 있고, 행동 디코더는 해당 로봇의 관절 데이터를 받아 학습하면 됩니다. 중요한 점은 비디오 잠재 표현이 플랫폼에 무관한 물리적 계통도라는 것입니다. 즉, 산업용 로봇 팔, 서비스 로봇 핸드, 드론 조작 등 여러 응용 영역에서 활용 가능할 전망입니다.

미래 연구 방향으로는, 완전한 비디오 예측 대신 부분적 시각-문맥 예측과 행동 학습을 통합하는 기법, 예를 들어 V-JEPA 2나 UWM처럼 추론 속도를 높이는 방법이 있을 수 있습니다. 또 한가지 과제는 고해상도 예측의 비용을 줄이는 것입니다. 예측 오차를 보완하기 위해 실제 감지된 피드백을 반영하는 온라인 학습 또는 적응 제어(adaptive control) 기법도 검토해볼 수 있습니다.

요약 및 결론

이 논문은 mimic-video라는 새로운 클래스의 Video-Action 모델을 제시했습니다. 핵심은 인터넷 대용량 비디오 생성 모델을 활용해, 로봇 제어에 필요한 물리적 지식을 사전학습하고, 이를 통해 로봇의 조작 정책 학습 부담을 크게 줄인 것입니다. 실험 결과 mimic-video는 종래의 VLA 대비 샘플 효율 10배 향상, 수렴 속도 2배 개선을 달성했고, Simpler 및 Libero 벤치마크에서 최고 성능을 보였습니다. 특히 실제 이족 다관절 로봇에서도 강력한 성능을 확인하며 현장 적용 가능성을 입증했습니다.

비디오 기반 학습은 로봇 제어의 패러다임 전환을 예고합니다. 마치 철도와 비슷한 선로 위를 달리기만 하던 로봇이, 비디오를 타고 하늘로 날아오르는 것처럼 느껴집니다. 앞으로 더 많은 연구가 이 방향을 탐구하여, 로봇이 “세상의 변화를 이해하며 스스로 학습하는 수준”에 다가가길 기대합니다.