📃Sharpa Fruit

teleop

tactile

vla

Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

Published

May 8, 2026

Paper Link

🤖 본 논문은 Vision-Language-Action (VLA) 모델이 데이터 수집, 다중 스킬 학습 및 멀티모달 센서 융합에서 겪는 어려움을 해결하여 인간과 유사한 양손 숙련 조작을 가능하게 하는 통합 프레임워크를 제안합니다.
🤝 이 프레임워크는 텔레오퍼레이션을 돕고 VLA의 호출 가능한 저수준 기본 기능으로 작동하는 RL 훈련 기반의 In-hand Manipulation Copilot(IMCopilot)과, 전용 경로 및 잔여 주입을 통해 힘 및 촉각 피드백을 VLA 백본에 통합하는 Mixture-of-Dexterous-Experts VLA(MoDE-VLA)로 구성됩니다.
🍎 기어 조립, 충전기 연결, 튜브 재배치, 사과 껍질 벗기기를 포함한 4가지 접촉이 많은 작업에 대한 실험적 검증은 제안된 접근 방식이 기존 베이스라인 대비 성공률을 크게 향상시켰음을 보여줍니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 Vision-Language-Action (VLA) 모델을 활용하여 고자유도(high-DoF), 양손(bi-manual), 정교한(dexterous) 접촉 기반(contact-rich) 인-핸드(in-hand) 조작(manipulation) 능력을 인간과 유사한 수준으로 확장하기 위한 통합 프레임워크를 제안합니다. 기존 VLA 모델은 주로 저자유도 엔드-이펙터(end-effector)와 시각 기반의 단순한 픽-앤-플레이스(pick-and-place) 작업에 국한되어 있었으며, 고차원 데이터 획득, 다중 스킬(multi-skill) 학습, 이종(heterogeneous) 모달리티(modality) 센서 융합 측면에서 어려움을 겪었습니다.

이러한 병목 현상을 해결하기 위해, 본 연구는 두 가지 핵심 구성 요소를 도입합니다.

IMCopilot (In-hand Manipulation Copilot): 강화 학습(Reinforcement Learning, RL)으로 훈련된 원자적(atomic) 인-핸드 조작 스킬(skill) 스위트입니다. 이 IMCopilot은 두 가지 역할을 수행합니다. 첫째, 데이터 수집 시 인간 조작자의 공유 자율(shared-autonomy) 보조자(assistant) 역할을 하여, 복잡한 인-핸드 조작 단계를 IMCopilot에 위임함으로써 고품질의 데모 데이터를 효율적으로 획득할 수 있도록 돕습니다. 둘째, 자율 실행 시 VLA 모델이 호출할 수 있는 저수준(low-level) 실행 기본 요소(primitive)로 작동하여 계층적(hierarchical) 조작 아키텍처를 형성합니다. IMCopilot의 스킬은 IsaacLab 시뮬레이션 환경에서 근위 정책 최적화(Proximal Policy Optimization, PPO)를 사용하여 훈련되며, 비대칭 액터-크리틱(asymmetric actor-critic) 아키텍처와 교사-학생 증류(teacher-student distillation)를 포함합니다. 관측값(o_t)은 고유수용성 감각(proprioception), 손가락 끝 접촉 힘(fingertip contact forces), 목표 회전 축의 3단계 이력으로 구성됩니다. 정책은 상대 관절 위치 오프셋(\Delta\theta_t)을 출력하며, 이는 저수준 PD 제어기(controller)에 의해 추적됩니다. 실제 환경으로의 제로-샷(zero-shot) 전이를 위해 도메인 무작위화(domain randomization)가 적용됩니다. 보상 함수 r = \lambda_{rot}r_{rot} + \lambda_{vel}r_{vel} + \lambda_{work}r_{work} + \lambda_{torq}r_{torq} + \lambda_{diff}r_{diff}는 목표 축 주위의 각속도(r_{rot})를 장려하는 동시에 불필요한 선형 속도(r_{vel}), 과도한 관절 작업량(r_{work}), 토크(r_{torq}), 관절 편차(r_{diff})에 페널티를 부과하여 작업 진행의 안정성을 보장합니다.
MoDE-VLA (Mixture-of-Dexterous-Experts VLA): 이 아키텍처는 사전 훈련된 VLA 백본(backbone)에 이종의 힘(force) 및 촉각(tactile) 모달리티를 매끄럽게 통합합니다. MoDE-VLA는 힘/촉각 정보에 대한 전용 처리 경로를 통해 모달리티 이질성 문제를 해결합니다. 힘 신호(f \in \mathbb{R}^{d_f})는 로봇 팔의 관절 토크(joint torque)에서 오며 팔 수준의 접촉력을 반영하고, 촉각 신호(g \in \mathbb{R}^{d_g})는 10개 손가락 끝의 촉각 센서에서 6-자유도 힘 및 렌치(wrench) 측정을 집계하여 손가락 끝 수준의 접촉 패턴을 포착합니다. 각 모달리티는 학습된 선형 레이어(linear layer)를 통해 PaliGemma 임베딩(embedding) 공간으로 투영됩니다(z_f = W_f f + b_f, z_g = W_g g + b_g). 각 임베딩은 액션 예측 시퀀스 길이 H만큼 복제되고 정현파(sinusoidal) 위치 인코딩(positional encoding)이 추가되어 시간적으로 색인된 토큰(token) 시퀀스 \tilde{Z}_f, \tilde{Z}_g \in \mathbb{R}^{H \times d_{pali}}를 생성합니다. MoDE 모듈은 백본의 컨텍스트(contextual) 출력, 현재 디노이징(denoising) 상태, 힘/촉각 토큰의 세 가지 정보 스트림을 받아들입니다. 이들은 하나의 시퀀스 Z_{in} = [Z_{prefix} \| Z_{suffix} \| \tilde{Z}_f \| \tilde{Z}_g]로 연결된 후 자기-어텐션(self-attention) 레이어를 통과합니다. 그 후, 처리된 힘 및 촉각 토큰은 E개의 전문가 MLP(Expert MLP)로 구성된 희소 혼합 전문가(sparse Mixture-of-Experts, MoE) 레이어를 통과하며, 상위-k 스캐터 라우팅(top-k scatter routing) 메커니즘을 사용합니다. 이는 접촉 기반 조작의 다양한 정성적(qualitative) 레짐(regime)에 따라 다른 전문가가 특화될 수 있도록 합니다. MoE 레이어는 정제된 힘 토큰 Z'_f와 촉각 토큰 Z'_g를 출력하며, 이들은 모달리티별 투영 헤드(projection head)를 통해 백본의 액션 예측에 잔차(residual) 보정으로 주입됩니다. 특히, 힘 보정은 주로 팔 액션에, 촉각 보정은 주로 손 액션에 영향을 미치도록 설계되었습니다. 이 잔차 구조는 MoDE가 기본 VLA 예측에 대한 정제(refinement) 역할만 수행하도록 보장하여, 모달리티 신호가 적을 때 백본의 강건한(robust) 사전 훈련된 동작을 보존합니다.

본 연구는 샤르파노스1(SharpaNorth1) 로봇 플랫폼(두 개의 7-DoF 로봇 팔과 22-DoF 샤르파웨이브2(SharpaWave2) 정교한 손을 포함, 총 63 DoF)과 상체 외골격(upper-body exoskeleton), 외골격 장갑(exoskeleton gloves), VR 헤드셋(VR headset)을 포함하는 데이터 획득 시스템을 활용했습니다. 특히, 발 페달(foot pedals)을 통해 IMCopilot을 트리거하는 공유 자율 메커니즘은 기존 원격 조작으로는 거의 불가능했던 애플 껍질 벗기기(apple peeling)와 같은 복잡한 작업에 대한 고품질 데모 획득을 가능하게 했습니다.

실험은 사과 껍질 벗기기, 튜브 재배치(tube rearranging), 기어 조립(gear assembling), 충전기 꽂기(charger plugging)의 네 가지 복잡한 접촉 기반 작업에서 수행되었습니다. 결과는 MoDE-VLA가 기준선 \pi_0 모델을 능가함을 보여주었습니다. 특히, 삽입(insertion) 작업에서 두 배 이상의 성공률 향상을 보였으며, IMCopilot은 사과 껍질 벗기기에서 중요한 인-핸드 회전을 가능하게 하여 PCR(Peel Completion Ratio) 73%를 달성하는 데 핵심적인 역할을 했습니다. 제거 연구(ablation study)는 힘 및 촉각 센서의 중요성과 IMCopilot의 기여도를 명확히 보여주었습니다. 힘 센서의 제거는 평균 SR을 11% 감소시켰고, 촉각 센서의 제거는 8% 감소시켰으며, IMCopilot의 부재는 사과 껍질 벗기기 작업의 PCR을 73%에서 25%로 크게 떨어뜨렸습니다.

결론적으로, 본 논문은 IMCopilot과 MoDE-VLA를 통합하여 고자유도 양손 정교한 조작을 위한 포괄적인 계층적 프레임워크를 성공적으로 구축했습니다. 이 접근 방식은 데이터 획득 병목 현상을 해결하고, 복잡한 다중 스킬 작업을 처리하며, 이종 모달리티 센서 정보를 효과적으로 융합하여 로봇이 인간과 유사한 수준의 정교한 조작을 수행할 수 있음을 입증했습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 우리는 아직 VLA로 사과를 깎지 못하는가

VLA(Vision-Language-Action) 모델이 로봇 조작 분야에 등장한 이후, “Pick the red block and place it on the blue plate” 같은 자연어 명령으로 로봇을 움직이는 것은 어느덧 익숙한 풍경이 되었다. 그런데 이런 VLA들이 정말 잘 하는 일을 가만히 들여다보면, 거의 대부분 2-finger 평행 그리퍼로 무언가를 집어서 다른 곳에 놓는 일에 머물러 있다. 즉 ’pick-and-place’다.

여기에는 작지 않은 함정이 있다. 사람의 손이 하는 일을 떠올려 보자. 사과 껍질을 깎을 때 우리는 양손을 동시에 쓴다. 한 손은 칼날의 위치를 시각으로 가이드하면서 누르는 힘을 조절하고, 다른 손은 사과를 쥔 채로 손 안에서 회전시킨다. 손가락 끝에서는 미세한 미끄러짐이 느껴지면 즉각 쥐는 힘을 키운다. 시각, 힘, 촉각, 그리고 손 안 조작(in-hand manipulation) 기술이 한꺼번에, 그리고 위계적으로 협력하고 있다.

VLA를 이런 영역으로 끌어올리려는 순간, 세 가지 병목이 한꺼번에 등장한다. 이 논문(arXiv:2603.08122v1)은 그 세 가지를 정직하게 마주보고, 두 개의 핵심 모듈로 풀어낸다.

병목	무엇이 문제인가	이 논문의 해법
데이터 획득	63-DoF 양손 시스템을 사람이 직접 텔레오퍼레이션하기 어렵다	IMCopilot이 텔레오퍼레이션 중 어려운 손 안 조작을 대신 수행
다중 스킬 학습	한 정책이 grasping, 정밀 삽입, in-hand rotation을 모두 마스터하기 힘들다	VLA가 IMCopilot을 호출하는 위계적 구조
모달리티 이질성	사전학습된 VLA에 force/tactile을 단순 concat하면 오히려 성능이 떨어진다	MoDE 모듈 + 잔차(residual) 주입

이 글에서는 위 두 모듈—IMCopilot과 MoDE-VLA—이 어떻게 설계되었고, 왜 그 설계가 합리적인지, 그리고 실험이 무엇을 말해주는지를 따라가 본다. 이미 IsaacLab, PPO, 사전학습 VLA에 익숙한 독자라면, 새로운 트릭이 아니라 조합의 통찰을 음미하기에 좋은 논문이다.

한 장으로 보는 시스템 전체 그림

논문의 Figure 2와 Figure 3을 한 번에 흡수하기 위해, 먼저 데이터 흐름과 추론 시 결정 흐름을 분리해서 그려보자.

flowchart TB
    subgraph DataCollection["Data Collection (training data path)"]
        Op[Human operator]
        Exo[Exoskeleton + VR + foot pedals]
        Robot[SharpaNorth: 2x 7-DoF arms + 2x 22-DoF hands]
        IM1[IMCopilot RL skills]
        Op --> Exo
        Exo -- arm + hand kinematics --> Robot
        Op -- pedal trigger --> IM1
        IM1 -- in-hand rotation only --> Robot
        Robot -- vision + force + tactile + actions --> Dataset[(Demonstration dataset)]
    end

    subgraph Inference["Autonomous inference (deployment path)"]
        Cam[Cameras: head x2, wrists x2]
        Lang[Language instruction]
        Prop[Proprioception]
        FT[Force + Tactile]
        Backbone[VLA backbone: SigLIP + PaliGemma + Action Expert]
        MoDE[MoDE module: self-attn + sparse MoE + residual]
        Decision{c &gt; 0.5 ?}
        IM2[IMCopilot rotation skill]
        Action[Final action]

        Cam --> Backbone
        Lang --> Backbone
        Prop --> Backbone
        Backbone --> MoDE
        FT --> MoDE
        MoDE --> Decision
        Decision -- No --> Action
        Decision -- Yes (hand only) --> IM2
        IM2 --> Action
    end

    Dataset -. supervises .-> Backbone
    Dataset -. supervises .-> MoDE

핵심은 IMCopilot이 학습 시(텔레오퍼레이션 부조종사)와 추론 시(VLA의 저수준 호출 가능 프리미티브) 양쪽에서 같은 역할로 재사용된다는 점이다. 데이터 분포의 일관성과 추론 시 동작의 일관성이 자연스럽게 맞춰진다. 이는 단순히 엔지니어링 디테일이 아니라, “사람이 만든 데이터로 학습한 정책이 사람이 못 하던 동작까지 일반화하길 기대하지 말자”는 현실적 인정이기도 하다.

방법 1: IMCopilot — 사람과 VLA가 공유하는 손가락 부조종사

왜 손 안 조작만 따로 떼어내는가

23 DoF를 동시에 조정하면서 손바닥 안의 사과를 정확히 한 바퀴 회전시키는 일은, 솔직히 말해 숙련된 사람도 텔레오퍼레이션으로는 거의 못 한다. 논문 Table I이 이 점을 정량적으로 보여준다. 탁구공처럼 작고 미끄러운 물체에 대해 사람이 텔레오퍼레이션으로 in-hand rotation을 시도했을 때 성공률은 10% 수준이다. 사과는 27%다. 데이터 수집의 출발점부터 무너지고 있다는 뜻이다.

저자들의 진단은 명료하다. 이 동작은 사람이 잘하지 못하므로, 사람의 시범으로부터 학습할 수 있다는 가정 자체가 성립하지 않는다. 그렇다면 시뮬레이션 안에서 RL로 따로 학습시켜 두고, 사람은 그 스킬을 “버튼처럼 호출”하면 된다. 이것이 IMCopilot이다.

스킬 구성과 RL 학습

IMCopilot은 두 가지 atomic 스킬로 구성된다.

Stable grasp maintenance — 외부 교란 하에서 물체를 안정적으로 잡고 있기
In-hand object rotation — 지정된 축 주위로 손 안에서 회전

학습 설정은 in-hand manipulation RL의 정석을 충실히 따른다. IsaacLab 위에서 PPO, asymmetric actor-critic with teacher-student distillation, sim-to-real을 위한 domain randomization. teacher-student 구조는 OpenAI/IRobot의 in-hand cube reorientation 계보와 같은 패턴이다.

Teacher (\mathbf{e}_t + \mathbf{o}_t): 물체 pose, 속도, 질량, 마찰계수 같은 privileged 정보를 받는다.
Student (\mathbf{o}_t only): 3-step proprioception history, fingertip contact force, 목표 회전축만 받는다.

action은 관절 위치 변위 \mathbf{a}_t = \Delta\theta_t이고, 이를 적분해서 PD 제어기로 추적한다.

\mathbf{q}_t = \mathbf{q}_{t-1} + \lambda_{\text{scale}} \Delta\theta_t

보상 함수는 다음과 같이 다섯 항의 가중합이다.

r = \lambda_{\text{rot}} r_{\text{rot}} + \lambda_{\text{vel}} r_{\text{vel}} + \lambda_{\text{work}} r_{\text{work}} + \lambda_{\text{torq}} r_{\text{torq}} + \lambda_{\text{diff}} r_{\text{diff}}

항	의미	직관
r_{\text{rot}}	목표 축 주위 angular velocity	“올바른 방향으로 돌리고 있는가?”
r_{\text{vel}}	원치 않는 linear velocity 페널티	“물체가 손에서 빠져나가고 있지는 않은가?”
r_{\text{work}}	관절 일(work) 페널티	“쓸데없이 힘을 쓰고 있지는 않은가?”
r_{\text{torq}}	관절 토크 페널티	“관절을 무리하게 쓰고 있지는 않은가?”
r_{\text{diff}}	기본 자세로부터의 편차 페널티	“이상한 자세로 빠지지 않았는가?”

여기서 흥미로운 포인트는 보상 설계가 goal achievement(회전)와 stability(에너지·자세)의 균형으로 설계되어 있다는 것이다. 기존 in-hand reorientation 연구에서 흔히 보이는 “goal pose에 도달했는가” 형태의 sparse reward 대신, “꾸준히 도는 행위” 자체에 보상을 주는 angular-velocity 기반 dense reward를 쓴다. 사과 껍질 깎기처럼 주기적으로 회전을 반복하는 task에 자연스럽게 맞아떨어지는 선택이다.

Dual role: 같은 정책, 두 개의 호출자

학습이 끝난 IMCopilot은 두 단계 모두에서 동일하게 작동한다.

flowchart LR
    subgraph DataPhase["Data collection"]
        H[Human]
        Pedal[Foot pedal]
        H -- press --> Pedal --> IM[IMCopilot policy]
    end
    subgraph InferPhase["Autonomous inference"]
        VLA[VLA action head]
        Trigger[Scalar c in 0..1]
        VLA -- predicts --> Trigger
        Trigger -- c &gt; 0.5 --> IM
    end
    IM --> Hand[Hand joint commands]

학습 데이터에서 손 동작이 두 가지 출처(사람 시범 + IMCopilot 출력)로부터 나오기 때문에, VLA는 단순히 손가락 trajectory를 흉내 내는 것이 아니라 “언제 IMCopilot을 호출할지”를 학습해야 한다. 이를 위해 action 벡터에 trigger 스칼라 c \in [0, 1]을 추가하고, c > 0.5이면 hand action을 IMCopilot 출력으로 덮어쓴다. 일종의 soft mode-switch다.

이 설계는 두 가지 면에서 영리하다. 첫째, action chunk 안에서 일관된 mode 전환이 가능하다. 둘째, hand action 자체는 demonstration에서 IMCopilot이 만들어낸 것을 그대로 쓰므로, VLA는 hand의 미세 trajectory를 학습하지 않아도 된다. 고차원 손가락 좌표 회귀라는 가장 어려운 부분을 RL specialist에게 외주 준 셈이다.

방법 2: MoDE-VLA — 사전학습된 지식을 깨뜨리지 않는 접촉 인식

왜 그냥 concat하면 안 되는가

여기가 이 논문의 진짜 기술적 기여다. force와 tactile을 사전학습 VLA에 먹이는 가장 단순한 방법은 proprioception 벡터에 그냥 이어붙이는 것이다. 그러나 ForceVLA, RDP 같은 선행 연구에서 이미 “단순 concat은 오히려 성능을 깎아 먹는다”는 점이 보고되어 있다. 이유는 두 가지로 정리할 수 있다.

물리적 의미가 다르다. 팔의 joint torque(7-DoF × 2)는 거시적 wrench이고, fingertip 6-DoF wrench(5 × 6 × 2)는 미세 접촉 패턴이다. 같은 토큰 공간에서 균질하게 다루면 학습 신호가 희석된다.
시간 스케일이 다르다. 비전·언어 토큰은 비교적 천천히 변하지만, 접촉 신호는 ms 단위로 급변한다. 단일 attention pool 안에서 같이 쓰면 dominant modality의 gradient에 묻혀버린다.

저자들의 처방은 세 가지 디자인 원칙으로 정리된다.

dedicated pathway — force/tactile은 backbone과 분리된 경로로 처리

modality-aware routing — sparse MoE로 토큰별 expert 분화

residual injection — backbone 출력 위에 잔차로 더해 기존 지식 보존

백본: \pi_0 flow-matching VLA

기반 모델은 Physical Intelligence의 \pi_0다. 구성 요소는 다음과 같다.

모듈	역할	크기
SigLIP (So400m/14)	vision tokenizer	—
PaliGemma (Gemma-3B)	vision-language transformer	3B
Action Expert (Gemma-300M)	flow-matching action head	300M

학습 목표는 flow matching loss다. \pi_0를 익히 아는 독자라면 익숙하겠지만, 직관적으로 보면 이렇다. clean action \mathbf{x}_0와 가우시안 노이즈 \boldsymbol{\epsilon} 사이를 시간 t로 선형 보간한 \mathbf{x}_t = t \cdot \boldsymbol{\epsilon} + (1-t) \cdot \mathbf{x}_0를 만들고, 그 지점에서 노이즈에서 clean으로 가는 속도장 \mathbf{v}_\theta(\mathbf{x}_t, t)을 회귀시킨다.

\mathcal{L}_{\text{FM}} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \| \mathbf{v}_\theta(\mathbf{x}_t, t) - (\boldsymbol{\epsilon} - \mathbf{x}_0) \|^2 \right]

추론 시에는 노이즈에서 출발해 Euler 방법으로 N=10 스텝 적분하면 action chunk가 나온다. 이 결과의 핵심은 “\mathbf{v}_\theta를 예측하는 문제”라는 점이다. MoDE의 잔차 주입이 바로 이 속도장 예측에 더해지는 보정이라는 사실을 이후에 다시 짚게 된다.

action 벡터 자체는 세 부분으로 나뉜다.

\mathbf{a} = [\mathbf{a}_{\text{arm}};\; \mathbf{a}_{\text{hand}};\; \mathbf{a}_{\text{other}}]

여기서 \mathbf{a}_{\text{other}}는 허리 동작과 IMCopilot trigger c를 포함한다.

Force/Tactile 토큰: 시간축으로 펼치기

raw 신호 차원은 다음과 같다.

Force \mathbf{f} \in \mathbb{R}^{14} — 양팔 joint torque (7 × 2)
Tactile \mathbf{g} \in \mathbb{R}^{60} — 양손 fingertip 6-DoF wrench (5 × 6 × 2)

각각을 PaliGemma embedding 차원 d_{\text{pali}}로 linear projection한 뒤, action horizon H만큼 복제하고 sinusoidal positional encoding을 더한다.

\tilde{\mathbf{z}}_f^{(h)} = \mathbf{z}_f + \text{PE}_{\text{sin}}(h), \quad \tilde{\mathbf{z}}_g^{(h)} = \mathbf{z}_g + \text{PE}_{\text{sin}}(h), \quad h = 1, \ldots, H

여기에 작지만 중요한 통찰이 있다. 현재 시점의 force/tactile 한 프레임을 미래 H 스텝에 그대로 복제해서 토큰열을 만든다. 왜? 이렇게 하면 후속 MoE router가 “horizon의 시점별로 다른 expert를 라우팅”할 수 있기 때문이다. 즉 t=1에서는 contact-onset 전문가, t=H에서는 steady-state force-tracking 전문가가 활성화될 수 있는 구조적 여지를 만들어 둔 것이다.

MoDE 모듈: 자가 주의 후 sparse MoE 라우팅

전체 토큰열은 네 부분으로 concat된다.

\mathbf{Z}_{\text{in}} = [\mathbf{Z}_{\text{prefix}} \;\|\; \mathbf{Z}_{\text{suffix}} \;\|\; \tilde{\mathbf{Z}}_f \;\|\; \tilde{\mathbf{Z}}_g] \in \mathbb{R}^{(S_p + 3H) \times d_{\text{pali}}}

토큰 그룹	정체	길이
\mathbf{Z}_{\text{prefix}}	PaliGemma 출력 (vision + language + state)	S_p
\mathbf{Z}_{\text{suffix}}	action expert의 noisy action 토큰	H
\tilde{\mathbf{Z}}_f	force tokens	H
\tilde{\mathbf{Z}}_g	tactile tokens	H

self-attention 한 층을 통과시키면 force/tactile 토큰이 시각·언어·denoising 컨텍스트에 모두 attend 한다. 그런 다음 force/tactile 토큰들은 token-level top-k sparse MoE (E=8, k=1)로 라우팅된다.

for each token z in [Zf_tokens, Zg_tokens]:
    gate_logits = router(z)           # shape: [E]
    expert_id   = argmax(gate_logits)  # top-1
    z_out       = expert[expert_id](z)

왜 단일 공유 MLP 대신 sparse MoE인가? 접촉 풍부 조작에는 질적으로 다른 regime들이 섞여 있다.

자유공간 도달
초기 접촉
안정 그립 유지
동적 in-hand rotation

각 regime은 force-to-action 매핑이 다르다. sparse routing은 expert를 regime별·관절 그룹별로 전문화시키면서도 토큰당 연산량은 늘리지 않는다. 한마디로, modality-aware하면서 phase-aware한 dynamic capacity allocation이다.

잔차 주입: 사전학습 지식을 깨뜨리지 않는 트릭

MoE를 통과한 force tokens \mathbf{Z}_f, tactile tokens \mathbf{Z}_g \in \mathbb{R}^{H \times d_{\text{pali}}}는 backbone의 suffix 출력 \mathbf{Z}_{\text{suffix}}와 합쳐져서, modality-specific projection head를 거쳐 속도장 예측에 들어간다.

\mathbf{v}_\theta(\mathbf{x}_t, t) = [W_1(\mathbf{Z}_f + \mathbf{Z}_{\text{suffix}}) \;\|\; W_2(\mathbf{Z}_g + \mathbf{Z}_{\text{suffix}})]

여기서 두 가지 핵심 디자인이 있다.

핵심 1: 잔차 형태

\mathbf{Z}_f, \mathbf{Z}_g는 backbone 출력에 더해진다. 자유공간 동작처럼 force/tactile 신호가 정보를 거의 담고 있지 않을 때, MoDE의 출력은 자연스럽게 0에 가까워진다. 즉 신호가 의미 있을 때만 보정이 들어가고, 그렇지 않을 때는 사전학습 동작이 그대로 보존된다. 이는 LoRA나 Adapter Tuning이 base model을 보호하는 메커니즘과 정신이 같다.

핵심 2: 모달리티 분리 라우팅

W_1은 arm action, W_2는 hand action을 담당한다. 즉 arm-level torque(force)는 arm action에, fingertip wrench(tactile)는 hand action에 영향을 주도록 물리적 의미를 따라 경로가 분리된다. 이 분리는 단순한 인덕티브 바이어스가 아니라, “팔의 토크 정보가 손가락 제어를 오염시키지 않게 하라”는 명시적 설계다.

두 옵션의 위계적 결정

마지막으로 추론 시에 두 갈래의 결정이 있음을 다시 정리하자.

옵션	조건	hand action 출처	arm action 출처
Option 1	c \le 0.5	VLA + tactile residual	VLA + force residual
Option 2	c > 0.5	IMCopilot (직접 제어)	VLA + force residual

즉 arm은 항상 VLA가 잡고 있고, 손은 상황에 따라 RL specialist에게 양보하는 구조다. 사람의 운동 제어에서 cortex가 거시적 reaching plan을 짜고, 척수와 cerebellum이 미세한 손가락 reflex를 처리하는 것과 직관적으로 비슷한 분업이다.

실험: 무엇이 입증되었는가

평가 태스크

논문은 접촉 복잡도를 단계적으로 올린 4개 태스크를 사용한다.

Gear Assembling (한 팔) — 기어 3개를 순차적으로 축에 끼움. 삽입 force 조절이 핵심.
Charger Plugging (한 팔) — 충전기를 멀티탭에 꽂음. 마지막 mm 단위 정밀 제어.
Tube Rearranging (양 팔) — 시험관을 한 손으로 집어 다른 손으로 옮긴 뒤 다시 꽂음. 양손 협응.
Apple Peeling (양 팔) — 사과 껍질 한 줄 깎기. 시각·force·tactile·in-hand rotation 모두 필요.

평가 지표는 두 가지다.

SR(Success Rate): 태스크 전체 성공률
PCR(Peel Completion Ratio): Apple Peeling 전용. 표적 표면의 몇 %를 깎았는지를 25% 단위로 이산화.

각 태스크당 20회 trial.

Q1: 데이터 수집의 실질적 개선

Force/Tactile VR 피드백의 효과 — Gear Assembling 기준으로 피드백 없을 때 75분에 100 trial / 85 성공, 피드백 있을 때 65분에 100 trial / 93 성공. 작은 차이 같지만, 사람 운영자의 인지 부하가 줄어들면 demonstration 품질의 분산도 줄어든다는 점이 더 본질적이다.

IMCopilot의 진가는 Table I에 있다.

Object	Teleoperation SR	IMCopilot SR
Ping-pong ball	10%	83%
Tennis ball	67%	93%
Apple	27%	90%
Overall	34%	89%

작고 미끄러운 물체일수록 격차가 극단적이다. 사과의 27% → 90%는 단순한 향상이 아니라 “수집 가능 vs 불가능”의 경계를 넘는 차이다. 즉 Apple Peeling 같은 태스크는 IMCopilot 없이는 의미 있는 demonstration을 모을 수조차 없다는 뜻이다.

Q2: MoDE-VLA의 정책 성능

Method	Apple SR	Apple PCR	Tube	Gear	Charger	Avg SR
\pi_0 baseline	0%	8%	15%	40%	5%	15%
MoDE-VLA (Ours)	30%	73%	30%	60%	15%	34%

평균 SR이 15% → 34%로 두 배 이상 뛴다. 흥미로운 관찰들:

Gear Assembling +20%, Charger Plugging +10% — 단일 팔 삽입에서 force가 결정적이다. 마지막 몇 mm에서의 contact onset detection은 비전만으로는 어렵다.
Apple Peeling은 baseline이 0% SR / 8% PCR — 깎기 시작은 하지만 한 바퀴를 못 돈다. 사과가 미끄러지거나 회전이 부족하기 때문이다. MoDE-VLA가 IMCopilot rotation expert를 적시에 호출하므로 closed-loop ring completion이 가능해진다.

여기서 PCR 지표의 통찰을 짚어보자. 단순 SR로 보면 0% → 30%지만, PCR로 보면 8% → 73%다. 즉 부분 진행을 정량화하지 않으면 baseline이 “전혀 못 한다”는 binary 결론에 묶여서 어디까지 잘하고 어디서 무너지는지 안 보인다. 주기적인 task일수록 이런 sub-metric 설계가 중요하다는 교훈이다.

Q3: Ablation — 어느 컴포넌트가 무엇을 책임지는가

Variant	Avg SR	변화
Full MoDE-VLA	34%	—
w/o Force	23%	−11%
w/o Tactile	26%	−8%
w/o IMCopilot (Apple Peeling only)	PCR 25%	PCR −48%

해석은 다음과 같다.

Force 제거 (-11%) — 가장 큰 단일 컴포넌트 손실. 삽입 태스크에서 contact onset detection의 일차 신호가 사라지기 때문이다. 흥미롭게도 Apple Peeling에서도 “아예 칼이 사과에 닿지 않은 채 허공에서 깎는 시늉만 하는” 실패 모드가 늘어났다. 시각만으로 contact 여부를 추정하기에는 부족하다는 직접 증거다.

Tactile 제거 (-8%) — 주로 grasp-intensive phase에서 slip 증가. 손가락 끝의 변형/접촉 상태 cue는 wrist F/T sensor나 RGB로는 잡히지 않는다. 이는 ForceVLA가 wrist F/T만 쓰는 것과 비교해 손끝 tactile을 별도 modality로 두는 본 논문 디자인의 정당성을 보여준다.

Tactile 제거가 Apple Peeling SR/PCR에는 큰 영향이 없다는 것도 재미있다. 저자들의 해석: 칼은 power grasp으로 고정되어 있고, 사과 손은 IMCopilot이 직접 다루는데, IMCopilot 자체가 입력으로 이미 tactile을 쓰기 때문이다. 즉 IMCopilot이 tactile feedback을 자기 안에서 흡수해 버려서, 상위 VLA에는 tactile이 덜 결정적이게 된다. 위계 분업의 좋은 부수효과다.

IMCopilot 제거 (Apple Peeling PCR 73% → 25%) — VLA에게 IMCopilot demonstration의 hand trajectory를 그대로 imitate하라고 시켰을 때의 결과다. PCR이 거의 1/3 수준으로 폭락한다. 이유는 명확하다. 22-DoF 손가락 trajectory는 imitation learning만으로 안정적으로 재현되지 않는다. 한 번 깎고 회전시키려는 순간 사과가 떨어지거나 회전이 일어나지 않는다. 결국 in-hand rotation은 task-specific RL specialist의 영역이라는 결론을 정량적으로 뒷받침한다.

비판적 고찰

강점

1. 위계적 분업의 깔끔한 구현. “VLA가 plan을 짜고, RL specialist가 reactive skill을 담당한다”는 분업은 종종 추상적으로만 회자되었지만, 이 논문은 그것을 (a) 동일 specialist를 데이터 수집과 추론 양쪽에서 재사용, (b) action 벡터에 trigger 스칼라를 넣어 soft mode-switch라는 두 가지 구체적 메커니즘으로 성공적으로 풀어냈다.

2. 잔차 주입의 보수성. \mathbf{v}_\theta = W(\mathbf{Z}_{\text{modality}} + \mathbf{Z}_{\text{suffix}}) 형태는 새로운 modality를 추가하는 가장 안전한 방법 중 하나다. 신호가 무의미할 때 자동으로 0으로 수렴하도록 하는 inductive bias는, 사전학습 backbone이 비싸게 학습한 prior를 망가뜨리지 않는다. 이는 어떤 사전학습 VLA에든 force/tactile을 추가로 붙이고 싶을 때 일반화 가능한 패턴이다.

3. modality-specific output head. W_1 for arm, W_2 for hand의 분리는 사소해 보이지만 매우 중요하다. arm-level torque와 fingertip wrench가 cross-contaminate되지 않도록 하는 것은 단순한 inductive bias 이상이다. 물리적 의미를 따라간 architectural separation이다.

4. Sub-metric의 중요성을 보여준 PCR. 주기적 task에서 binary SR만 쓰면 baseline은 “0%”로 묶여 디테일을 잃는다. 25% 단위 이산화는 거칠지만 충분히 informative하다. 다른 cyclic dexterous task(예: 유사한 reorientation, 회전 가공)에도 차용할 만한 평가 패턴이다.

5. Apple Peeling이라는 demanding task의 자율 시연. “양손 협응 + force-guided cutting + tactile-guided in-hand rotation”이 모두 필요한 태스크가 partial이라도 자율로 완성된 사례는 이전에 거의 없다.

약점과 한계

1. 절대 성능은 여전히 낮다. SR 30~60%대다. 산업 적용 관점에서는 멀다. 이 수치는 “VLA 기반 dexterous manipulation 분야가 아직 초기”라는 사실을 정직하게 드러낸다. baseline (\pi_0)도 하드웨어 매치가 완벽하지 않으니 직접 비교만으로 결론짓기는 신중해야 한다.

2. IMCopilot의 스킬 종류가 매우 제한적이다. 안정 그립 유지 + 한 축 회전, 둘뿐이다. 일반화하려면 axis-conditioned, object-conditioned 등 더 다양한 in-hand 스킬이 필요하고, 이는 RL 학습 비용과 sim-to-real gap을 폭발시킬 수 있다. RotateIt, AnyRotate 같은 후속 흐름을 통합하는 것이 자연스러운 다음 단계로 보인다.

3. trigger 스칼라 c의 학습 신호. 현재 trigger는 demonstration에서의 사람 페달 입력으로 supervise된다. 그러나 실제 추론 시에는 사람이 모르던 시점에서 IMCopilot을 호출해야 더 효과적일 수 있다. trigger를 RL로 미세조정하거나 self-supervision으로 보강하는 여지가 있다.

4. force와 tactile의 시간 단일성. 토큰화 시 한 프레임을 H번 복제한다는 점은 영리하지만, 빠르게 변하는 접촉 transient를 onboard하지 못한다. 멀티프레임 history를 입력으로 넣고 temporal MoE를 적용하는 확장이 자연스럽다.

5. 시뮬레이션→실제 gap의 평가 부재. IMCopilot은 IsaacLab에서만 학습되고 zero-shot 배포된다. domain randomization 범위가 정확히 어떤지, 실제 사과의 다양한 크기·중심·마찰에 대한 robustness 통계가 있으면 더 설득력 있을 것이다(이는 이미 Allegro Hand 기반 RL 연구자에게는 익숙한 갈증이기도 하다).

6. 일반 VLA 사전학습 분포와의 정합성. \pi_0는 주로 평행 그리퍼 데이터로 사전학습되었다. 22-DoF 손에 대한 fine-tuning이 backbone 표현을 어떻게 바꾸는지에 대한 분석이 빠져 있다. residual injection이 보호한다는 주장은 정성적이며, 정량적 representation drift 분석이 있으면 더 강해진다.

연구	force	tactile	융합 방식	손 형태	in-hand 스킬
RDP	wrist F/T	—	fast-slow conditional	평행 그리퍼	없음
TA-VLA	joint torque	—	architectural exploration	평행 그리퍼	없음
ForceVLA	wrist F/T	—	force-aware MoE	평행 그리퍼	없음
Tactile-VLA	—	tactile	hybrid pos/force ctrl	평행 그리퍼	없음
MoDE-VLA (본 논문)	joint torque	fingertip 6-DoF	dedicated path + sparse MoE + residual	22-DoF dexterous hand	RL specialist (IMCopilot)

시사점: 실무 로봇공학자에게 전하는 메시지

이 논문을 코드 리뷰처럼 읽고 나면, 다음 다섯 가지 실무 교훈이 남는다.

사람도 못 하는 동작을 imitation으로 학습시키려 하지 말자. 그 영역은 RL specialist에 외주를 주고, demonstration 자체에 그 specialist의 출력을 섞어라. 이러면 학습 분포와 추론 분포가 자연스럽게 맞춰진다.
modality 추가는 주 경로(main path)가 아니라 잔차(residual)로. 사전학습된 backbone의 representation을 깨지 않으면서 새로운 sensor를 붙이는 가장 안전한 방법이다. 자유 공간에서는 자동으로 0이 되도록.
physical semantics에 따라 경로를 분리하라. arm torque와 fingertip wrench를 같은 토큰 풀에 넣지 마라. arm action과 hand action 출력 head를 분리하는 작은 결정이 큰 차이를 만든다.
action horizon만큼 modality 토큰을 복제하면 sparse MoE에게 phase별 specialization 여지를 준다. “한 프레임 신호를 H번 펴서 시간 슬롯을 만든다”는 trick은 다른 비전·언어·행동 융합 구조에도 그대로 차용 가능하다.
주기적 태스크는 binary SR만으로 평가하지 마라. 부분 진행을 이산화한 sub-metric(여기서는 PCR)이 baseline의 실패 모드와 method의 진짜 기여를 분리해 보여준다.

결론: VLA 시대의 dexterity는 위계와 분업으로

이 논문은 새로운 단일 트릭을 제시하기보다는, 이미 알려진 좋은 구성요소들(π0, flow matching, sparse MoE, asymmetric PPO, residual adaptation)을 dexterous manipulation의 실제 병목에 정확히 배치한 작품이다. 그 배치의 결과로, 전에는 데이터조차 모을 수 없던 양손 사과 깎기 같은 task가 자율로 부분 성공한다.

핵심을 한 문장으로 줄이면 이렇다.

“VLA에게 plan을 맡기고, RL specialist에게 손가락 reflex를 맡기고, force와 tactile은 사전학습 지식을 깨뜨리지 않는 잔차 보정으로 밀어 넣어라.”

이 메시지는 22-DoF SharpaWave에서만 통하는 이야기가 아니다. 16-DoF Allegro Hand 같은 다른 dexterous platform, 다른 사전학습 VLA 백본(OpenVLA, \pi_{0.5}, RT-2 등), 다른 modality(temperature, audio, proximity)에도 그대로 옮겨 적용할 수 있는 아키텍처 패턴이다. 그래서 이 논문은 한 시스템의 결과 보고서라기보다, VLA + dexterous manipulation의 후속 연구 설계서로 읽는 편이 더 풍성하다.

빠른 참조 카드

Paper: Towards Human-Like Manipulation through RL-Augmented
       Teleoperation and Mixture-of-Dexterous-Experts VLA
ArXiv: 2603.08122v1

Hardware: SharpaNorth (2x 7-DoF arm + 2x 22-DoF hand = 63 DoF)
          fingertip 6-DoF tactile + arm joint torque

Key modules:
  IMCopilot   = PPO + IsaacLab + teacher-student RL
                 dual role: teleop copilot + VLA primitive
  MoDE-VLA    = pi0 backbone
                 + force/tactile token path (replicate H times)
                 + self-attn over [prefix | suffix | Zf | Zg]
                 + sparse MoE (E=8, top-1)
                 + modality-split residual head (W1 arm, W2 hand)

Action: a = [a_arm ; a_hand ; a_other(c, waist)]
        if c > 0.5: a_hand <- IMCopilot output

Best results:
  Avg SR  : 15% (pi0)  ->  34% (ours)
  Apple   : 0% / 8%    ->  30% / 73% (SR/PCR)
  In-hand rotation: 34% (teleop) -> 89% (IMCopilot)