📃MoDE-VLA 리뷰

vla

teleop

dexterity

multi-modal

Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

Published

March 17, 2026

🤖 본 논문은 Vision-Language-Action (VLA) 모델이 데이터 수집, 다중 스킬 학습 및 멀티모달 센서 융합에서 겪는 어려움을 해결하여 인간과 유사한 양손 숙련 조작을 가능하게 하는 통합 프레임워크를 제안합니다.
🤝 이 프레임워크는 텔레오퍼레이션을 돕고 VLA의 호출 가능한 저수준 기본 기능으로 작동하는 RL 훈련 기반의 In-hand Manipulation Copilot(IMCopilot)과, 전용 경로 및 잔여 주입을 통해 힘 및 촉각 피드백을 VLA 백본에 통합하는 Mixture-of-Dexterous-Experts VLA(MoDE-VLA)로 구성됩니다.
🍎 기어 조립, 충전기 연결, 튜브 재배치, 사과 껍질 벗기기를 포함한 4가지 접촉이 많은 작업에 대한 실험적 검증은 제안된 접근 방식이 기존 베이스라인 대비 성공률을 크게 향상시켰음을 보여줍니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 Vision-Language-Action (VLA) 모델을 활용하여 고자유도(high-DoF), 양손(bi-manual), 정교한(dexterous) 접촉 기반(contact-rich) 인-핸드(in-hand) 조작(manipulation) 능력을 인간과 유사한 수준으로 확장하기 위한 통합 프레임워크를 제안합니다. 기존 VLA 모델은 주로 저자유도 엔드-이펙터(end-effector)와 시각 기반의 단순한 픽-앤-플레이스(pick-and-place) 작업에 국한되어 있었으며, 고차원 데이터 획득, 다중 스킬(multi-skill) 학습, 이종(heterogeneous) 모달리티(modality) 센서 융합 측면에서 어려움을 겪었습니다.

이러한 병목 현상을 해결하기 위해, 본 연구는 두 가지 핵심 구성 요소를 도입합니다.

IMCopilot (In-hand Manipulation Copilot):

강화 학습(Reinforcement Learning, RL)으로 훈련된 원자적(atomic) 인-핸드 조작 스킬(skill) 스위트입니다. 이 IMCopilot은 두 가지 역할을 수행합니다. 첫째, 데이터 수집 시 인간 조작자의 공유 자율(shared-autonomy) 보조자(assistant) 역할을 하여, 복잡한 인-핸드 조작 단계를 IMCopilot에 위임함으로써 고품질의 데모 데이터를 효율적으로 획득할 수 있도록 돕습니다. 둘째, 자율 실행 시 VLA 모델이 호출할 수 있는 저수준(low-level) 실행 기본 요소(primitive)로 작동하여 계층적(hierarchical) 조작 아키텍처를 형성합니다. IMCopilot의 스킬은 IsaacLab 시뮬레이션 환경에서 근위 정책 최적화(Proximal Policy Optimization, PPO)를 사용하여 훈련되며, 비대칭 액터-크리틱(asymmetric actor-critic) 아키텍처와 교사-학생 증류(teacher-student distillation)를 포함합니다. 관측값(o_t)은 고유수용성 감각(proprioception), 손가락 끝 접촉 힘(fingertip contact forces), 목표 회전 축의 3단계 이력으로 구성됩니다. 정책은 상대 관절 위치 오프셋(\Delta\theta_t)을 출력하며, 이는 저수준 PD 제어기(controller)에 의해 추적됩니다. 실제 환경으로의 제로-샷(zero-shot) 전이를 위해 도메인 무작위화(domain randomization)가 적용됩니다. 보상 함수 r = \lambda_{rot}r_{rot} + \lambda_{vel}r_{vel} + \lambda_{work}r_{work} + \lambda_{torq}r_{torq} + \lambda_{diff}r_{diff}는 목표 축 주위의 각속도(r_{rot})를 장려하는 동시에 불필요한 선형 속도(r_{vel}), 과도한 관절 작업량(r_{work}), 토크(r_{torq}), 관절 편차(r_{diff})에 페널티를 부과하여 작업 진행의 안정성을 보장합니다.

MoDE-VLA (Mixture-of-Dexterous-Experts VLA):

이 아키텍처는 사전 훈련된 VLA 백본(backbone)에 이종의 힘(force) 및 촉각(tactile) 모달리티를 매끄럽게 통합합니다. MoDE-VLA는 힘/촉각 정보에 대한 전용 처리 경로를 통해 모달리티 이질성 문제를 해결합니다. 힘 신호(f \in \mathbb{R}^{d_f})는 로봇 팔의 관절 토크(joint torque)에서 오며 팔 수준의 접촉력을 반영하고, 촉각 신호(g \in \mathbb{R}^{d_g})는 10개 손가락 끝의 촉각 센서에서 6-자유도 힘 및 렌치(wrench) 측정을 집계하여 손가락 끝 수준의 접촉 패턴을 포착합니다. 각 모달리티는 학습된 선형 레이어(linear layer)를 통해 PaliGemma 임베딩(embedding) 공간으로 투영됩니다(z_f = W_f f + b_f, z_g = W_g g + b_g). 각 임베딩은 액션 예측 시퀀스 길이 H만큼 복제되고 정현파(sinusoidal) 위치 인코딩(positional encoding)이 추가되어 시간적으로 색인된 토큰(token) 시퀀스 \tilde{Z}_f, \tilde{Z}_g \in \mathbb{R}^{H \times d_{pali}}를 생성합니다.

MoDE 모듈은 백본의 컨텍스트(contextual) 출력, 현재 디노이징(denoising) 상태, 힘/촉각 토큰의 세 가지 정보 스트림을 받아들입니다. 이들은 하나의 시퀀스 Z_{in} = [Z_{prefix} \| Z_{suffix} \| \tilde{Z}_f \| \tilde{Z}_g]로 연결된 후 자기-어텐션(self-attention) 레이어를 통과합니다. 그 후, 처리된 힘 및 촉각 토큰은 E개의 전문가 MLP(Expert MLP)로 구성된 희소 혼합 전문가(sparse Mixture-of-Experts, MoE) 레이어를 통과하며, 상위-k 스캐터 라우팅(top-k scatter routing) 메커니즘을 사용합니다. 이는 접촉 기반 조작의 다양한 정성적(qualitative) 레짐(regime)에 따라 다른 전문가가 특화될 수 있도록 합니다. MoE 레이어는 정제된 힘 토큰 Z'_f와 촉각 토큰 Z'_g를 출력하며, 이들은 모달리티별 투영 헤드(projection head)를 통해 백본의 액션 예측에 잔차(residual) 보정으로 주입됩니다. 특히, 힘 보정은 주로 팔 액션에, 촉각 보정은 주로 손 액션에 영향을 미치도록 설계되었습니다. 이 잔차 구조는 MoDE가 기본 VLA 예측에 대한 정제(refinement) 역할만 수행하도록 보장하여, 모달리티 신호가 적을 때 백본의 강건한(robust) 사전 훈련된 동작을 보존합니다.

본 연구는 샤르파노스1(SharpaNorth1) 로봇 플랫폼(두 개의 7-DoF 로봇 팔과 22-DoF 샤르파웨이브2(SharpaWave2) 정교한 손을 포함, 총 63 DoF)과 상체 외골격(upper-body exoskeleton), 외골격 장갑(exoskeleton gloves), VR 헤드셋(VR headset)을 포함하는 데이터 획득 시스템을 활용했습니다. 특히, 발 페달(foot pedals)을 통해 IMCopilot을 트리거하는 공유 자율 메커니즘은 기존 원격 조작으로는 거의 불가능했던 애플 껍질 벗기기(apple peeling)와 같은 복잡한 작업에 대한 고품질 데모 획득을 가능하게 했습니다.

실험은 사과 껍질 벗기기, 튜브 재배치(tube rearranging), 기어 조립(gear assembling), 충전기 꽂기(charger plugging)의 네 가지 복잡한 접촉 기반 작업에서 수행되었습니다. 결과는 MoDE-VLA가 기준선 \pi_0 모델을 능가함을 보여주었습니다. 특히, 삽입(insertion) 작업에서 두 배 이상의 성공률 향상을 보였으며, IMCopilot은 사과 껍질 벗기기에서 중요한 인-핸드 회전을 가능하게 하여 PCR(Peel Completion Ratio) 73%를 달성하는 데 핵심적인 역할을 했습니다. 제거 연구(ablation study)는 힘 및 촉각 센서의 중요성과 IMCopilot의 기여도를 명확히 보여주었습니다. 힘 센서의 제거는 평균 SR을 11% 감소시켰고, 촉각 센서의 제거는 8% 감소시켰으며, IMCopilot의 부재는 사과 껍질 벗기기 작업의 PCR을 73%에서 25%로 크게 떨어뜨렸습니다.

결론적으로, 본 논문은 IMCopilot과 MoDE-VLA를 통합하여 고자유도 양손 정교한 조작을 위한 포괄적인 계층적 프레임워크를 성공적으로 구축했습니다. 이 접근 방식은 데이터 획득 병목 현상을 해결하고, 복잡한 다중 스킬 작업을 처리하며, 이종 모달리티 센서 정보를 효과적으로 융합하여 로봇이 인간과 유사한 수준의 정교한 조작을 수행할 수 있음을 입증했습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

왜 이 논문인가 — 문제 정의와 연구 배경

사과를 껍질 채로 벗기는 작업을 생각해보자. 인간에게는 너무도 자연스러운 이 동작은 실상 놀라운 다중 감각의 협연이다. 눈으로 칼날의 위치를 확인하고, 손의 힘으로 사과를 쥐되 으스러지지 않을 만큼만 누르고, 피부의 촉각으로 미끄러짐을 감지해 손가락 각도를 실시간으로 조정한다. 이 모든 것이 수십 밀리초 단위로 일어난다.

Vision-Language-Action (VLA) 모델은 최근 수년간 로봇 조작 분야에서 눈부신 성과를 냈다. \pi_0, OpenVLA, RoboFlamingo 같은 모델들이 언어 명령을 받아 다양한 물체를 집고, 분류하고, 배치하는 능력을 보여주었다. 그러나 이들 모델의 “손”은 대부분 2-자유도(DoF)의 병렬 그리퍼(parallel gripper)였다. 이진 제어(열림/닫힘)만으로도 충분한 단순한 픽앤플레이스(pick-and-place) 수준에 머물렀던 것이다.

Sharpa Robotics의 Tutian Tang 연구팀은 이 논문에서 근본적인 질문을 던진다:

“VLA 모델을 인간 수준의 양손 정교 조작(bimanual dexterous manipulation)으로 확장할 수 있는가?”

이들이 다루는 플랫폼은 SharpaNorth 로봇이다. 양팔 각각 7-DoF, 각 손(SharpaWave) 22-DoF, 합계 63-DoF의 고차원 시스템이다. 여기에서 세 가지 핵심 병목이 등장한다.

세 가지 병목

병목 1 — 고품질 데이터 수집의 어려움

63-DoF 시스템을 텔레오퍼레이션으로 제어하는 것은 전문 오퍼레이터에게도 극도로 높은 인지 부하를 가한다. 단순 그리퍼 시스템은 30분 연속 조작도 가능하지만, 다지형(multi-finger) 손의 고차원 제어는 몇 분 안에 오퍼레이터를 지치게 만든다. 데이터 품질도 보장하기 어렵다. 사과 껍질 벗기기처럼 정교한 인핸드(in-hand) 회전이 필요한 작업은 아예 직접 텔레오퍼레이션으로 수행 자체가 불가능하다.

병목 2 — 멀티스킬 학습의 어려움

사과 껍질 벗기기 같은 복잡한 작업은 단일 균일 정책으로는 통달하기 어렵다. 시야 기반 접근(approach), 힘 기반 절삭(cutting), 촉각 기반 회전(rotation) 등이 서로 다른 관측 모달리티와 제어 전략을 요구한다. 63-DoF의 액션 공간에서 단일 정책이 이 모든 단계를 마스터하는 것은 탐색 공간이 천문학적으로 커져 현실적이지 않다.

병목 3 — 모달리티 이질성(Modality Heterogeneity)

힘(force)과 촉각(tactile) 데이터를 기존 VLA 백본에 단순히 연접(concatenate)하면 오히려 성능이 저하된다는 것은 선행 연구에서도 보고된 바 있다. 힘 신호와 촉각 신호는 시간 동역학(temporal dynamics)이 다르고, 물리적 의미론(physical semantics)도 다르다. 이를 구분하지 않은 채 모두 하나의 토큰 스트림으로 처리하면 사전학습된 VLM 백본의 표현력을 오염시키게 된다.

이 세 병목 각각에 대해 논문이 제시하는 해답이 IMCopilot과 MoDE-VLA라는 두 핵심 컴포넌트이다.

방법론 — 두 기둥의 구조

시스템 개요

flowchart TB
    subgraph DataCollection ["Data Collection Phase"]
        HO["Human Operator\n(Exoskeleton)"] -->|"Gross Arm Motions"| RB["SharpaNorth Robot\n(63 DoF)"]
        HO -->|"Foot Pedal Trigger"| IMP["IMCopilot\n(RL Primitives)"]
        IMP -->|"In-hand Rotation\nGrasp Maintenance"| RB
    end

    subgraph Autonomy ["Autonomous Execution Phase"]
        VLA["OpenPI-0 Backbone\n(Vision + Language + Proprioception)"] --> MoDE["MoDE Module\n(Force-Tactile Fusion)"]
        MoDE -->|"Residual Correction"| ArmAct["Arm Actions"]
        MoDE -->|"Option 1: Tactile Refined\nHand Actions"| HandAct["Hand Actions"]
        MoDE -->|"Option 2: Dispatch"| IMP2["IMCopilot\n(RL Low-level Primitive)"]
        IMP2 --> HandAct
    end

    DataCollection -->|"Demonstrations"| Train["VLA Fine-tuning"]
    Train --> Autonomy

Figure 1: IMCopilot과 MoDE-VLA의 이중 역할 구조

이 구조의 핵심 통찰은 이중 역할(dual role)이다. IMCopilot은 데이터 수집 단계에서는 공동 자율 보조자로, 자율 실행 단계에서는 호출 가능한 저수준 프리미티브로 동작한다. 즉, 훈련과 추론 양쪽에서 일관된 역할을 하는 단일 RL 정책이다.

IMCopilot — RL 기반 원자적 인핸드 스킬

개념과 구조

IMCopilot은 소수의 원자적 인핸드 조작 프리미티브(atomic in-hand manipulation primitives)로 구성된다. 논문에서 언급하는 핵심 프리미티브는 두 가지다:

안정적 파지 유지(stable grasp maintenance) — 외부 교란 하에서도 물체를 확실히 쥐고 있는 것.
인핸드 회전(in-hand rotation) — 파지 상태를 유지하면서 물체를 손 안에서 회전시키는 것.

이 스킬들은 심층 강화학습(deep RL)으로 훈련된다. 핵심은 시뮬레이션에서 명시적 보상(reward)을 설계하여 학습하고, 이를 실물 로봇에서 sim-to-real 전이한다는 것이다.

공동 자율(Shared Autonomy) 텔레오퍼레이션

인핸드 조작의 데이터 수집 문제를 해결하는 방식이 독창적이다. 기존의 풀텔레오퍼레이션(full teleoperation) 패러다임은 오퍼레이터에게 모든 DoF를 동시에 제어하도록 요구한다.

이 논문의 접근법은 다음과 같다:

Operator (via exoskeleton): Gross arm motions (7 DoF x 2)
IMCopilot (via RL skill):   In-hand finger motions (22 DoF x 2)
Interface: Foot pedal trigger to delegate to IMCopilot

사과 껍질 벗기기 시나리오에서, 오퍼레이터는 팔의 접근 경로와 칼날의 전진 방향만 제어하면 된다. 사과를 다음 위치로 회전시키는 고난도 인핸드 조작은 발 페달을 누르는 순간 IMCopilot이 담당한다. “어려운 부분은 AI에게 위임하고, 전체적인 계획은 사람이 잡는다”는 인지 분업이다.

이것이 왜 중요한가? 사람이 사과 회전을 직접 텔레오퍼레이션으로 시도할 때, 실험에서 회전 성공률(rotation success rate)은 낮았다. 같은 구조적 어려움이 텔레오퍼레이션 수준에서도, 그리고 나중에 VLA 정책 수준에서도 동일하게 나타난다는 뜻이다. IMCopilot은 이 공통적인 어려움을 한 번에 해결하는 단일 메커니즘이다.

MoDE-VLA — 감각 이질성을 넘는 아키텍처

MoDE-VLA는 세 가지 서브모듈의 시너지로 작동한다: (1) OpenPI-0 백본, (2) Mixture-of-Dexterous-Experts(MoDE) 모듈, (3) 계층적 결정 메커니즘.

기반 백본: OpenPI-0

논문은 \pi_0의 공개 버전인 OpenPI-0를 VLA 백본으로 사용한다. 이 모델은 시각 토큰, 언어 토큰, 고유감각(proprioception) 토큰, 그리고 노이즈 액션 토큰을 입력으로 받아 플로우 매칭(flow matching)을 통해 액션 청크(action chunk)를 출력한다. \pi_0의 핵심 구조는 언어 모델 백본 + 분리된 액션 전문가(action expert)로 구성되며, MoDE는 이 액션 전문가 부분에 삽입된다.

MoDE 모듈의 작동 원리

MoDE의 핵심 아이디어는 힘-촉각 데이터를 위한 전용 경로(dedicated pathway)를 만들어 잔차 보정(residual correction) 형태로 주입하는 것이다. 수식으로 표현하면:

a_t^{\text{final}} = a_t^{\text{VLA}} + \Delta a_t^{\text{MoDE}}

여기서 a_t^{\text{VLA}}는 VLA 백본이 생성한 기본 액션이고, \Delta a_t^{\text{MoDE}}는 MoDE 모듈이 힘/촉각 신호로부터 계산한 잔차 보정값이다.

MoDE 모듈의 내부 처리 파이프라인은 다음과 같다:

flowchart LR
    F["Force Sensor\n(6-axis F/T)"] --> FT["Force Tokens"]
    T["Tactile Sensor\n(SharpaWave\ninternal camera)"] --> TT["Tactile Tokens"]

    FT --> SA["Self-Attention\nwith Backbone\nRepresentations"]
    TT --> SA

    SA --> MoE["Sparse MoE Router\n(per-timestep\nexpert specialization)"]

    MoE -->|"Force Experts"| FC["Force Residual\n(Arm Action Correction)"]
    MoE -->|"Tactile Experts"| TC["Tactile Residual\n(Hand Action Correction)"]

    FC -->|"Add"| ARM["Final Arm Actions"]
    TC -->|"Option 1: Add"| HAND["Final Hand Actions"]
    TC -->|"Option 2: Trigger"| IMP["IMCopilot\nDispatch"]
    IMP --> HAND

Figure 2: MoDE 모듈의 내부 처리 흐름

구체적으로 세 단계로 분해할 수 있다:

Step 1 — 교차 어텐션 (Self-Attention with Backbone)

힘-촉각 토큰이 VLA 백본의 표현과 상호작용한다. 이를 통해 “현재 시각-언어 맥락에서 이 촉각 신호가 의미하는 바는 무엇인가”를 모델이 파악할 수 있게 된다. 사과를 잡고 칼로 껍질을 벗기는 중에 감지된 미끄러짐 신호와, 기어를 조립하는 중에 감지된 미끄러짐 신호는 서로 다른 의미와 대응 전략을 가진다.

Step 2 — Sparse MoE 라우팅

어텐션을 거친 토큰은 희소 전문가 라우터(sparse expert router)를 통과한다. 라우터는 각 타임스텝마다 적절한 전문가 네트워크를 동적으로 선택한다. 예를 들어, 칼날이 사과 표면에 최초로 닿는 “접촉 개시(contact onset)” 순간에는 접촉 전문가가 활성화되고, 안정적인 절삭 단계에서는 다른 전문가가 처리한다.

MoE 라우팅 방정식:

\mathbf{y}(\mathbf{x}) = \sum_{i \in \text{TopK}(\mathbf{G}(\mathbf{x}))} g_i(\mathbf{x}) \cdot \mathbf{E}_i(\mathbf{x})

여기서 \mathbf{G}(\mathbf{x})는 게이팅 네트워크, g_i(\mathbf{x})는 게이팅 가중치, \mathbf{E}_i(\mathbf{x})는 i번째 전문가 네트워크의 출력이다.

Step 3 — 잔차 주입 (Residual Injection)

MoE의 출력은 기본 VLA 액션에 덧셈(addition) 형태로 주입된다. 이것이 논문의 가장 중요한 엔지니어링 선택이다. 직접 출력을 대체하는 대신 보정값을 더하는 방식으로, 사전학습된 지식의 파괴(catastrophic forgetting)를 방지한다.

이 접근법은 사람의 운동 제어와 좋은 유비를 이룬다. 숙련된 조각가가 새로운 재료를 다룰 때, 기존에 익힌 손놀림의 기반 위에 새로운 재료의 물성(촉감, 저항력)에 맞는 미세 조정을 더하는 것과 같다. 기초 기술 자체를 버리는 것이 아니라, 맥락에 맞는 보정을 겹치는 것이다.

왜 단순 연접(Concat)은 실패하는가

힘 신호와 촉각 신호를 단순히 VLA 입력 토큰에 연접하면 왜 성능이 저하되는가?

가장 직관적인 설명은 분포 충격(distribution shock)이다. VLA 모델은 시각-언어 데이터로 방대하게 사전학습되어 있다. 이 모델의 입력 임베딩 공간에 물리 신호를 그대로 집어넣으면, 모델이 이전에 본 적 없는 이상한 토큰이 갑자기 나타나는 것이다. 이것은 마치 오랫동안 시각 정보만으로 작업하던 사람에게 갑자기 손에 전기충격 감지기를 붙여두는 것과 같다 — 처음에는 오히려 방해가 된다.

MoDE의 잔차 주입은 이 문제를 우아하게 해결한다. VLA 백본은 원래 하던 대로 시각-언어 기반 액션을 생성하고, MoDE는 “내가 추가로 조정할 부분”만 계산해서 더한다.

계층적 결정 메커니즘

매 타임스텝마다 시스템은 두 가지 옵션 중 하나를 선택한다:

Option 1: 손 액션을 VLA + MoDE 촉각 잔차로 생성 (플로우 매칭)
Option 2: IMCopilot이 손 액션을 직접 생성 (RL 정책)

양쪽 옵션 모두에서 팔 액션은 VLA + MoDE 힘 잔차로 생성된다. Option 2로의 전환은 사과 껍질 한 바퀴 벗기기가 완료된 후 다음 바퀴를 위한 회전이 필요한 시점처럼, VLA가 스스로 IMCopilot을 호출해야 한다고 판단할 때 발동된다.

이 계층적 구조는 인간의 운동 제어 이론, 특히 계층적 운동 제어(Hierarchical Motor Control) 모델과 매우 유사하다. 대뇌 피질이 목표와 전략을 결정하고, 소뇌와 척수의 저수준 회로가 반사와 근세밀조정을 담당하는 것처럼.

하드웨어 플랫폼: SharpaNorth + SharpaWave

논문이 선택한 하드웨어는 이 연구의 성격을 잘 보여준다.

구성 요소	사양
플랫폼	SharpaNorth 양팔 로봇
팔	7-DoF x 2 = 14 DoF
손	SharpaWave 22-DoF x 2 = 44 DoF
총 DoF	63 DoF
촉각 센서	손가락 끝 변형을 감지하는 내부 카메라 (visuotactile)
힘 센서	6축 F/T 센서
텔레오퍼레이션	외골격(exoskeleton) + VR 피드백

SharpaWave 손의 촉각 센서가 흥미롭다. 외부에 별도의 압력 센서 배열을 붙이는 방식이 아니라, 손가락 끝 내부에 소형 카메라를 내장하여 손가락 패드의 탄성 변형을 광학적으로 측정한다. 이 방식은 DIGIT, GelSight 계열 비주오-촉각(visuotactile) 센서와 개념적으로 유사하다.

실험 — 네 과제의 계단식 도전

과제 구성

논문은 접촉 복잡도(contact complexity)가 점층적으로 높아지는 네 가지 과제로 시스템을 검증한다:

graph LR
    T1["Task 1\nGear Assembling\nsingle arm, vision+force"]
    T2["Task 2\nCharger Plugging\nsingle arm, precision insert"]
    T3["Task 3\nTest Tube Rearranging\nbimanual coordination"]
    T4["Task 4\nApple Peeling\nbimanual + in-hand rotation\n+ tactile feedback"]

    T1 -->|"complexity up"| T2 --> T3 --> T4

    style T4 fill:#e74c3c,color:#fff

Figure 3: 네 실험 과제의 난이도 계단

Gear Assembling: 정밀 위치 정렬과 힘 제어가 필요한 기어 조립. 단일 팔, 힘 센서 피드백이 핵심.
Charger Plugging: 커넥터 삽입. 좁은 공차(tolerance) 조건에서 VLA의 시각 인식과 힘 피드백의 결합.
Test Tube Rearranging: 양팔 협력(bimanual coordination). 두 팔이 시각-언어 맥락을 공유하면서 시험관을 재배치.
Apple Peeling: 최고 난이도. 시각 기반 대략 접근 → 힘 기반 절삭 → 촉각 기반 인핸드 회전의 순환 반복. 이 논문에서 세계 최초의 자율 양손 사과 껍질 벗기기를 달성했다고 주장한다.

결과 요약

아래는 논문의 주요 정량적 결과다:

과제	Baseline SR	MoDE-VLA SR	개선
Gear Assembling	~17%	~40%	+135%
Charger Plugging	~20%	~45%	+125%
Test Tube Rearranging	~15%	~30%	+100%
Apple Peeling (SR)	-	30%	-
Apple Peeling (PCR)	~25%	73%	+192%

전체 평균 성공률: 34% (베이스라인 대비 2배 이상)

SR: Success Rate (완전 성공률)
PCR: Peel Completion Ratio (한 바퀴 껍질 완성 비율) — 사과 껍질 벗기기에만 적용되는 특수 지표

PCR 지표의 의미

사과 껍질 벗기기에서 SR 30%는 낮아 보일 수 있다. 그러나 PCR 73%라는 수치가 이 시스템의 실질적 능력을 더 잘 보여준다. 베이스라인 모델은 종종 첫 번째 페일 스트로크(peel stroke)를 시작하지만, 사과가 미끄러지거나 회전이 실패하면서 루프를 완성하지 못했다. MoDE-VLA는 IMCopilot의 RL 회전 전문가를 적절한 순간에 발동시켜 페일 루프를 닫는 데 성공했다.

가장 인상적인 수치는 IMCopilot 제거 시 PCR 25% 하락이다. IMCopilot 없이 VLA가 직접 손 액션 전체를 생성할 경우, PCR이 73%에서 25%로 급락한다. 이는 직접 텔레오퍼레이션에서 회전 성공률이 낮다는 관찰과 정확히 일치한다. 같은 구조적 어려움이 텔레오퍼레이션 단계와 VLA 정책 단계에서 동일하게 나타나고, IMCopilot이 이 공통 실패 모드를 해결하는 메커니즘임을 보여준다.

Ablation Study 요약

논문의 ablation은 다음 질문들에 답한다:

Q1. IMCopilot 없이 순수 텔레오퍼레이션으로 사과 회전이 가능한가? 전문 오퍼레이터도 직접 회전은 어렵고 성공률이 매우 낮다.
Q2. MoDE 모듈 없이 힘/촉각을 단순 연접하면? 성능이 저하된다. 특히 고접촉(high-contact) 과제에서 두드러진다.
Q3. IMCopilot 없이 MoDE-VLA만 사용하면? 사과 껍질 벗기기에서 PCR 73% → 25%로 급락. 시각+힘+촉각 융합만으로는 인핸드 회전을 안정적으로 처리할 수 없음.

접근법	방식	한계
순수 비전 기반 텔레오퍼레이션	카메라로 손 자세 추적	폐색, 깊이 불확실성, 접촉 인식 부재
글러브 기반 (MANUS 등)	손 키네마틱 직접 매핑	접촉력 정보 부재, 손가락 비대응 문제
외골격 기반	고충실도 역동학 전달	고비용, 높은 인지부하
IMCopilot (본 논문)	공동자율 + 발 페달 위임	초기 단계, 제한적 스킬 집합

모델	접촉 감각 통합 방식	비고
pi0 / OpenPI-0	미포함	기본 백본
ForceVLA	FVLMoE (4 experts, k=1)	단일 팔, 6D F/T만 처리
TA-VLA	토크 신호 통합	접촉 조작 개선
MoDE-VLA (본 논문)	힘+촉각 이중 잔차 경로, MoE	양손, IMCopilot 계층 통합

비판적 고찰 — 강점, 한계, 그리고 미래

강점

1. 통일된 이중 역할 설계의 우아함

IMCopilot이 훈련(데이터 수집)과 추론(자율 실행)에서 동일한 RL 정책을 사용한다는 점은 시스템 설계의 일관성을 보장한다. 훈련 분포(training distribution)와 실행 분포(execution distribution) 사이의 불일치를 최소화하는 효과가 있다.

2. 잔차 주입의 보수적 안전성

사전학습 지식을 파괴하지 않는 잔차 주입 방식은 실용적으로도, 이론적으로도 타당하다. 고품질 VLA 기반 모델이 점점 증가하는 현재 생태계에서, 기존 모델 위에 새로운 감각 모달리티를 “꽂을 수 있는(pluggable)” 형태로 확장하는 아키텍처는 재사용성(reusability) 관점에서 가치가 크다.

3. 세계 최초 자율 양손 사과 껍질 벗기기

사과 껍질 벗기기는 연속적 페일 스트로크와 인핸드 회전의 반복 루프, 사과 표면의 불균일한 곡률, 칼날과 사과 표면 간의 복잡한 접촉 역학이 결합된 벤치마크급 과제다.

4. PCR이라는 세밀한 평가 지표 도입

단순 SR(성공/실패)만으로는 복잡한 조작 과제의 부분적 성공을 측정하기 어렵다. PCR처럼 과제 구조에 맞춘 세밀한 지표를 제안한 것은 커뮤니티에 기여하는 방법론적 제안이기도 하다.

한계 및 약점

1. 제한적인 IMCopilot 스킬 집합

현재 IMCopilot은 안정적 파지 유지와 인핸드 회전이라는 소수의 원자적 프리미티브만 갖추고 있다. 실제 산업 환경에서는 훨씬 더 다양한 인핸드 동작이 필요하다. 스킬을 확장하는 과정에서 각 스킬마다 별도의 RL 훈련 사이클이 필요하다는 점은 확장성(scalability)의 병목이 될 수 있다.

2. 사과 껍질 벗기기 성공률 30%의 한계

70%는 아직도 실패한다. PCR 73%가 보여주는 것처럼, 개별 단계에서의 능력은 있으나 전체 시퀀스의 조합적 실패가 SR을 끌어내린다. 이는 긴 시퀀스의 복합적 오류 전파(error propagation) 문제로, 계층적 정책 구조의 고유한 취약점이다.

3. 시뮬레이션-실물 갭 평가 부재

RL 스킬(IMCopilot)의 시뮬레이션 훈련에서 실물 전이까지의 과정이 논문에서 상세히 다뤄지지 않는다. 정교한 접촉 역학을 요구하는 인핸드 조작에서 sim-to-real 갭은 큰 도전이며, 이 부분의 투명한 보고가 아쉽다.

4. 고유 하드웨어 의존성

SharpaWave 손의 내장 비주오-촉각 센서는 이 연구의 핵심 모달리티 중 하나다. 다른 플랫폼(Allegro Hand, Shadow Hand, LEAP Hand 등)으로의 직접 이전에는 상당한 재설계가 필요하다. 아키텍처의 일반성과 플랫폼 의존성 사이의 간극이 존재한다.

5. 실시간 제어 레이턴시 분석 부재

플로우 매칭 기반 VLA의 추론 레이턴시와 IMCopilot의 반응형 저레벨 제어 레이턴시가 어떻게 맞물리는지가 명확하지 않다. 접촉 이벤트는 수십 밀리초 단위로 발생하는데, Option 2 전환 결정의 지연이 미치는 영향에 대한 분석이 필요하다.

6. 일반화 평가의 부재

실험이 특정 사과 종류, 칼 형태, 기어 규격에 한정된 것으로 보인다. 다양한 객체, 형상, 재질에 대한 일반화 능력 평가가 미흡하다.

요약 및 결론

“Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA”는 고차원 양손 정교 조작이라는 극도로 어려운 문제에 정면으로 도전한 논문이다.

mindmap
  root((IMCopilot + MoDE-VLA))
    IMCopilot
      Dual Role
        Data Collection Copilot
        Autonomous Execution Primitive
      RL-trained Atomic Skills
        Stable Grasp
        In-hand Rotation
      Foot Pedal Interface
        Human arm control
        AI hand control
    MoDE-VLA
      OpenPI-0 Backbone
      Modality Pathway
        Force Tokens
        Tactile Tokens
        Cross-Attention
        Sparse MoE Router
      Residual Injection
        Arm Force Correction
        Hand Tactile Correction
      Hierarchical Decision
        Option 1 VLA + MoDE
        Option 2 IMCopilot
    Results
      4 Tasks escalating
      34pct avg SR
      2x Baseline
      World First Apple Peeling

Figure 4: 논문의 핵심 기여 구조 요약

이 논문이 특히 가치 있는 이유는 문제를 구성 요소로 정확히 분해하는 방식 때문이다. 세 가지 병목을 정의하고, 각 병목에 대응하는 컴포넌트를 설계하고, 각 컴포넌트의 기여를 ablation으로 검증한다.

한편 이 논문이 여는 미래 질문들은 적지 않다. IMCopilot 스킬 집합은 어떻게 체계적으로 확장할 수 있는가? PCR 73%를 달성했지만 SR 30%에 그치는 장기 시퀀스 실패를 어떻게 극복하는가? 다른 플랫폼으로 이전할 때 촉각 센서 모달리티의 차이를 어떻게 처리하는가? MoDE의 MoE 전문가들이 각각 어떤 물리적 위상을 특화하는지 해석 가능성(interpretability)은 어떻게 분석할 수 있는가?

이 논문의 가장 큰 메시지는 명확하다: VLA의 미래는 고차원 계획과 반응형 저수준 제어의 계층적 분업에 있다. 그리고 그 분업을 훈련 단계부터 실행 단계까지 일관되게 유지하는 것이 핵심이다. 이 원칙은 63-DoF의 SharpaNorth에만 해당하는 것이 아니다. 16-DoF Allegro Hand부터 미래의 더 복잡한 손 시스템까지, 접촉이 풍부한 정교 조작 전반에 적용 가능한 설계 철학이다.

참고 자료

Tutian Tang et al., Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA, arXiv:2603.08122, 2026.
Black et al., pi0: A Vision-Language-Action Flow Model for General Robot Control, 2024.
Shi et al., HACTS: a Human-As-Copilot Teleoperation System for Robot Learning, 2025.
Yin et al., ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation, NeurIPS 2025.
Wen et al., GR-Dexter Technical Report (ByteDance), 2025.
Qi et al., HORA: Dexterous In-Hand Object Rotation via RGB-D, CoRL 2023.