🧩Dexterous VLAs

Survey of the latest VLA models using dexterous hands

1 VLA 기반 최신 Dexterous Manipulation 모델

2023-2025

1.1 RT-2 (2023, DeepMind)

RT-2는 구글 딥마인드에서 제안한 최초의 Vision-Language-Action(VLA) 모델로, 인터넷 규모의 비전-언어 데이터를 로봇 제어에 직접 통합한 방법론을 제시합니다. PaLI-X, PaLM-E 등 대규모 사전학습된 비전-언어 모델을 기반으로, 로봇의 영상 관찰과 자연어 입력을 받아 행동을 텍스트 토큰 형태로 생성하도록 공동 학습했습니다[1]. 이 과정에서 로봇 궤적 데이터와 VQA, 영상대화 등 인터넷 비전-언어 태스크를 함께 학습함으로써, 별도의 구조 변경 없이도 제3자 지시 명령(예: “가장 작은 물체를 집어 올려라”)이나 추론적 행동(예: “테이블 가장자리에 놓인 가방을 집어라”)을 수행하는 능력이 나타났습니다. 주요 실험에서 RT-2는 6천 회 이상의 평가 실험을 통해 다양한 조작 작업에서 높은 성공률과 우수한 일반화 능력을 보였으며, 새로운 객체나 목표에도 강건함을 확인했습니다[1]. (코드 공개: 비공개)

1.2 Octo (2024, UC Berkeley et al.)

Octo는 범용 로봇 정책을 위한 공개형 대형 모델로, 다양한 로봇과 작업에 대응할 수 있는 Transformer 기반 확산정책(diffusion policy)입니다. Open X-Embodiment 데이터셋으로부터 수집된 800천 개 이상의 로봇 시연 데이터를 사용해 사전학습되었으며[2], 9종의 실제 로봇 플랫폼(예: WidowX, UR5, Dexterous Hand 등)과 다양한 센서 구성을 지원합니다. 언어 명령 또는 목표 이미지(goal image)를 입력으로 받아 행동 분포를 생성하며, 미세조정(fine-tuning)도 표준 소비자용 GPU에서 효율적으로 수행됩니다. 실험 결과, Octo는 “BridgeV2”, “Stanford Coffee”, “Peg Insert” 등 6개 벤치마크 작업에서 RT-1-X 대비 평균 성공률을 52% 이상 개선하고, 55B 파라미터의 RT-2-X(언어모드)와 유사한 성능을 달성했습니다[3][4]. 특히, 목표 이미지 지시(goal-image conditioning)를 활용할 때 더욱 높은 성공률을 보였고(기존 언어 지시 대비 +25% 성능), 새로운 관측(예: 힘 토크 센서)이나 새로운 동작 공간(예: 관절 위치 제어)에도 빠르게 적응함을 확인했습니다[3][4]. (코드·모델 공개: 예[2])

1.3 OpenVLA (2024, Stanford et al.)

OpenVLA는 7억 파라미터 규모의 오픈소스 VLA 모델로, Llama 2 언어모델에 DINOv2와 SigLIP로부터 추출한 시각 특징을 결합한 비전 인코더를 통합합니다[5]. 총 97만 개의 실제 로봇 조작 데이터(방대한 로봇 시연)로 사전학습되었으며[5], 29개 작업과 다양한 로봇 손임페던스(이종 구조)에 걸쳐 일반화되는 범용 조작 능력을 보여줍니다. 학습된 정책은 RT-2-X(55B 파라미터)보다 절대 성공률 기준으로 +16.5% 포인트 이상 높은 성능을 달성했으며[6], 다수 객체 혼합 작업이나 복잡한 언어 지시를 다룰 때 특히 우수했습니다. 또한, 일반화 환경(다중 객체, 복잡 언어)에서 기존 비확장적 학습 기법 대비 월등히 높은 성공률을 보였고, LoRA 등의 저순위 적응 기법을 이용하여 GPU 한 대에서도 손쉽게 미세조정할 수 있음을 보고했습니다[7]. 모델, 파인튜닝 코드 및 Open X-Embodiment 지원 코드가 공개되어 연구 확산에 기여하고 있습니다[8]. (코드·모델 공개: 예[9])

1.4 RoboMamba (2024, CMU et al.)

RoboMamba는 Mamba 상태공간모델(SSM)을 활용하여 로봇의 인지(visual)와 추론 능력에 효율성을 더한 VLA 모델입니다[10]. 이미지 인코더를 Mamba 모델과 결합시켜 시각적 토큰과 언어 임베딩을 사전 학습함으로써, 일반적인 시각 상식과 로봇 관련 추론 능력을 강화했습니다. 이후 로봇의 SE(3) 자세 예측을 위한 간단한 정책 헤드를 추가하여, 전체 모델의 0.1% 정도만 미세조정해도 복잡한 조작 기술을 학습할 수 있음을 보여주었습니다[10]. 실험 결과, RoboMamba는 일반/로봇 관련 추론 벤치마크에서 높은 성능을 달성했으며, 복잡한 연속 행동(포즈) 예측에서도 우수한 성능을 보였습니다. 특히, 기존 VLA 모델 대비 추론 속도가 약 3배 빠른 것으로 보고되었고[10], 단일 상자 조립, 테이블 정리 등 다양한 물리적 작업 수행에 성공했습니다. (코드 공개: 비공개)

1.5 π₀ (2024, UC Berkeley et al.)

π₀는 풍부한 사전학습된 비전-언어 모델(PaliGemma)을 활용한 VLA 정책으로, 하나의 Transformer에 여러 로봇 플랫폼의 데이터를 통합하여 범용 제어 능력을 학습합니다[11]. 사전학습에는 단일 암, 이중 암, 모바일 매니퓰레이터를 포함한 다양한 로봇에서 얻은 대규모 궤적 데이터가 사용되었으며[11], 가사일(세탁물 개기), 테이블 청소, 박스 조립 등 긴 시퀀스의 복합 조작 작업들을 다룹니다. 모델 구조는 비전-언어 입력을 받아 동작 출력을 예측하는 흐름 매칭(flow matching) 아키텍처로, 연속 행동 분포를 정확히 모델링하도록 설계되었습니다. π₀는 로봇에게 언어 명령을 그대로 따라 수행하도록 학습된 제로샷 제어 능력을 보유하며, 사전학습 후 소량의 데이터로 새로운 기술을 빠르게 습득할 수 있습니다[11]. (코드 공개: 비공개)

1.6 Being-H0 (2025, Tsinghua et al.)

Being-H0는 사람 손 시퀀스 비디오로부터 학습된 최초의 대규모 VLA 기반 기민 조작 모델로, 유니폼한 움직임 표현을 통해 인간 동작과 로봇 제어를 연결합니다[12][13]. 주요 기술로는 (1) Physical Instruction Tuning: 사람 시퀀스에 자연어 지시를 부여한 뒤 이를 사전학습 데이터로 삼아, 인간 동작 예시로부터 의도(intent)를 추론하도록 학습하고, (2) Part-Level Motion Tokenization: 로봇 관절 데이터와 3D 손관절을 같은 표현 공간으로 양자화하여, 보다 세밀한 움직임을 언어-비전 모델에 통합합니다. 또한 150M 샘플 규모의 UniHand 데이터셋(실시간 모션캡처, VR, RGB 영상 등)으로 대규모 사전학습을 수행했습니다[12][13]. 이러한 구조를 통해 Being-H0는 실제 인간-로봇 시뮬레이션(Shadow Hand 등)에서 손가락 조작, 물체 재배치 등의 다양한 조작 작업을 수행하며, 언어-시각 컨텍스트를 손 동작으로 변환하는 능력을 갖췄습니다. (논문 링크 포함: arXiv[12]) (코드 공개: 비공개)

1.7 DexVLG (2025, CMU et al.)

DexVLG는 dexterous grasping을 위한 대규모 VLA 모델로, 한 뷰의 RGB-D 영상과 자연어 지시를 입력받아 로봇의 다지절 손으로 물체의 파트에 정렬된 잡기 동작을 예측합니다[14]. 약 170M개의 시뮬레이션 기반 다지절 그립 포즈(174K개 객체, 파트별 설명 캡션 포함)를 담은 DexGraspNet 3.0 데이터셋으로 학습했으며[15], 흐름매칭(flow matching) 헤드를 통해 연속적 손 자세를 생성합니다. 시뮬레이션 벤치마크와 실제 로봇 실험 결과, DexVLG는 제로샷 일반화에 강력한 성능을 보였는데, 시뮬에서 76% 이상의 성공률과 최첨단 수준의 파트-정렬 정확도를 달성했고[16], 실제 환경에서도 로봇 핸드를 사용해 물체의 특정 파트를 정확히 잡는 실험에 성공했습니다. (코드 공개: 미발표)

1.8 METIS (2025, Peking Univ.)

METIS는 다중 출처 주관적 영상(egocentric video)으로 학습된 VLA 모델로, 사람과 로봇의 조작 데이터를 통합한 EgoAtlas를 활용합니다[17]. EgoAtlas는 인터넷상의 대규모 인간 시연(예: EgoDex, H2O)과 로봇 시연(예: ActionNet 등)을 동일한 행동 공간으로 통합한 데이터셋입니다. METIS는 이 데이터를 바탕으로 motion-aware dynamics라는 이산화된 동작 표현을 도입하여, 시각-운동 정보를 함께 학습했습니다[17]. 그 결과 다양한 실제 dexterous 조작 작업에서 뛰어난 성능을 보였으며, 6개 실제 작업에서 평균 성공률이 가장 높게 나타났습니다[17]. 또한, 환경 변화나 새로운 물체에도 강인한 일반화 능력을 확인해, 기민 조작을 위한 범용 VLA 모델로서 가능성을 보여주었습니다. (코드 공개: 예정)

1.9 Shake-VLA (2025, NRC 등의 HRI 2025)

Shake-VLA는 바텐더 로봇 시스템을 목표로 한 VLA 기반 응용 시스템입니다[18]. 두 대의 로봇 팔(양팔)을 사용해 칵테일을 제조하도록 설계되었으며, 비전 모듈(칵테일 재료 병 인식 및 라벨 읽기), 음성-텍스트 모듈(사용자 음성 명령 인식), 언어 모델(맞춤형 조작 명령 생성) 등을 통합합니다. 특히 RAG(Retrieval-Augmented Generation)를 이용해 레시피 지식을 검색하고, 재료 불일치(anomaly detection) 기능으로 누락된 재료를 판별합니다. Force-torque 센서를 활용해 액체 계량의 정확도를 높였으며, 실험에서 음성 인식(93%), 비전 인식(91%) 등의 높은 성능을 보이고, 전체적으로 100%의 칵테일 제조 성공률을 달성했습니다[18][19]. 이처럼 Shake-VLA는 실제 환경에서 복합적인 시각·언어 정보를 통합하여 양팔 조작을 수행하는 초기 사례입니다. (논문 링크: arXiv[18]) (코드 공개: 비공개)

1.10 Scaffolding (2025, Stanford et al.)

Scaffolding은 단계적 조작 학습을 위해 VLM을 활용하는 방법론입니다. 언어 지시에 따라 영상에서 핵심 2D 키포인트(예: 물체 손잡이, 버튼 등)를 추출하고, 이를 3D 궤적으로 변환하여 고수준 계획을 생성합니다[20][21]. 생성된 3D 키포인트 경로(손목과 객체 움직임)를 저수준 제어(RL)가 추적하도록 학습함으로써, 장기간의 복합 작업(예: 망치질, 문의 손잡이를 돌리는 작업 등)을 수행합니다. 즉, VLM이 언어와 영상을 바탕으로 거친 경로를 제시하고, 강화학습 에이전트가 이를 세밀히 수행하는 하이브리드 정책 구조를 제안합니다[20][21]. 초기 실험에서 이 방법은 VLM으로부터 얻은 계획을 따라 효과적인 조작을 학습하며, 인간 수준의 추가 언어 지시 없이도 다양한 dexterous 과제를 해결할 수 있음을 보였습니다. (논문 링크: arXiv[20][21]) (코드 공개: 미공개)

1.11 모델별 특성 비교표

모델	Vision/언어 모델	학습 데이터	지원 플랫폼/조작 유형	벤치마크	성능 지표 (성공률 등)	코드·데모 공개 여부
RT-2 (2023)	대규모 VLM (Google PaLI-X/PaLM-E 기반)	로봇 궤적 데이터 + 인터넷 비전-언어 태스크[1]	단일/이중 팔 로봇 (Franka, WidowX 등), 다양한 픽&플레이스 작업	RT-1 작업 벤치마크 등	제로샷 일반화 능력 우수, Emergent reasoning 획득[1]	비공개
Octo (2024)	Transformer (diffusion) w/언어+비전 입력	Open X-Embod (800k 에피소드)[2]	9대 로봇 (WidowX, UR5 등), 단일/이중 팔, 다양한 작업 (브릿지, 커피 제조 등)	6개 로봇 작업 벤치마크	RT-1-X 대비 평균 성공률 +52% (평균 0.72), RT-2-X와 유사 성능[3][4]	공개 (GitHub/HF)[2]
OpenVLA (2024)	Llama2 (언어) + DINOv2/SigLIP (비전)	실제 로봇 조작 970k 시연 데이터[5]	다양한 로봇(29 작업, 복수 엔바디먼트)	29개 작업 (Open X-Embod)	RT-2-X 대비 성공률 +16.5% (SOTA 달성)[6]	공개 (GitHub)[8]
RoboMamba (2024)	Vision encoder + Mamba SSM	비공개 (일반 로봇 데이터)	일반 로봇 조작 (포즈 예측), 표준 시뮬/실험	로봇 추론 벤치 + 포즈 예측	기존 VLA 대비 3배 빠른 추론 속도[10], 0.1% 파라미터 미세조정으로 조작 학습	비공개
π₀ (2024)	PaliGemma VLM (Vision+언어)	다수 로봇 데이터 (7종 로봇 68개 작업 + OXE 22로봇)[22]	다양한 로봇(싱글암, 듀얼암, 모바일), 장기/다단계 작업 (세탁, 청소 등)	세탁물 개기, 테이블 정리 등	긴 호라이즌 작업(수십 분) 수행 가능, 제로샷/미세조정에서 우수한 유연성[11]	비공개
Being-H0 (2025)	Vision-Lang Transformer (자체 모델)	인간 손 관련 대규모 영상·모션 (UniHand 150M+ 데이터)[12][13]	휴먼 핸드 기반 다지절 손 (Shadow Hand 등), 물체 조작·재배치	DexGraspNet3.0 파트 잡기	세밀한 손동작 인지·생성, 언어-비전 통합 제어 능력 획득[12][13]	비공개
DexVLG (2025)	비전-언어 모델 + Flow-Matching(출력)	DexGraspNet 3.0 (170M 그립 포즈, 174K 물체)[15]	휴머노이드 손(hand) 기반 dexterous 그립 (테이블top 객체 파트)	파트-얼라인 잡기 (시뮬/실제)	제로샷 성공률 76%↑, 시뮬 SOTA 파트-그립 정확도[16]	비공개
METIS (2025)	Vision-Language Transformer	EgoAtlas (다중 출처 Egocentric 데이터)[17]	SharpaWave 22-DoF dexterous hand, 단축·장축 작업 (픽&플레이스, 상자포장 등)	6개 실제 dexterous 과제	6개 작업 최고 평균 성공률 기록, 강인한 OOD 일반화[17]	공개 준비 중
Shake-VLA (2025)	Object Detector + 음성인식 + LLM	조리 레시피 DB + 실시간 이미지/음성 데이터	양팔 바텐더 로봇, 액체 혼합 (칵테일 제조)	칵테일 제조 파이프라인	음성인식 93%, 비전 91% 정확도, 전체 시스템 100% 성공률[18][19]	비공개
Scaffolding (2025)	Off-the-shelf VLM (예: GPT-4)	사전 학습된 VLM + RL 시뮬데이터	Dexterous 손 로봇 (망치질, 도어 핸들 조작, Semantic 픽&플레이스)	사용자 정의 조작 과제	VLM 기반 3D 경로 계획과 RL의 결합으로 어려운 dexterous 과제 해결	비공개

각 모델의 언어-비전 통합 및 제어 정책 학습 혁신 요약:

• RT-2: 로봇 동작을 언어 토큰으로 표현하고, 인터넷 비전-언어 태스크와 통합 학습함으로써 언어 이해와 제로샷 제어를 동시에 구현했습니다. (예: 연쇄추론(chain-of-thought) 기법을 도입해 복합 지시 수행)[1].
• Octo: 확산 모델(diffusion policy)과 다양한 입력(언어+목표 영상)을 도입하여 다목적 로봇 제어기를 제안했습니다. 언어와 시각적 목표를 함께 처리하고 새로운 관측·동작 공간에도 빠르게 적응하는 설계가 핵심입니다[3][4].
• OpenVLA: 대규모 언어모델(Llama2)과 시각 인코더(SigLIP+DINOv2)를 결합해 범용 조작 정책을 학습했습니다. 풍부한 로봇 시연 데이터로 파인튜닝하여 고수준 언어 지시를 구체적 행동으로 변환하는 능력을 갖췄습니다[5].
• RoboMamba: 효율적인 Mamba SSM을 적용하여 추론능력 향상과 추론-추론(reasoning-action) 통합을 실현했습니다. 시각-언어 입력을 단일 SSM으로 처리하고, 정책 헤드만 소량 미세조정해도 조작 성능을 끌어올리는 것이 특징입니다[10].
• π₀: 대규모 VLM(PaliGemma)에 흐름매칭 기반 행동 생성을 결합하여, 장기간 복합 조작과 크로스-로봇 일반화를 지원했습니다. 다양한 로봇 데이터를 한 모델에 통합하여 제로샷 및 소량 데이터 파인튜닝으로 새로운 업무를 빠르게 학습할 수 있습니다[11].
• Being-H0: 사람 손 시퀀스를 이용한 동작-의도 통합 프리트레이닝을 수행했습니다. 자연어 지시를 모션 데이터에 결합하고 세부 손관절을 양자화하여, VLM이 인간 손 움직임을 언어-지시와 연결할 수 있도록 했습니다[12][13].
• DexVLG: 유연한 그립 정책을 위해 언어-조건부 그립 모델을 제안했습니다. 물체의 부위 설명과 결합해 그립 포즈를 예측하며, 연속 동작을 흐름매칭으로 모델링하여 제로샷 그립 능력을 구현했습니다[14].
• METIS: 다양한 인간 영상과 로봇 데이터를 일관된 행동 공간으로 통합해 넓은 범위의 조작 지식을 학습했습니다. motion-aware dynamics로 시각-운동 정보를 압축 학습하고, 인간 데이터의 풍부함을 조작 정책에 전달하는 것이 핵심입니다[17].
• Shake-VLA: 음성, 시각, 언어모델을 결합한 종합 시스템으로 실시간 명령 처리와 조작 제어를 통합했습니다. Retrieval-Augmented Generation으로 배경지식을 활용하고, 센서를 통한 피드백(loop closing)을 활용해 로봇 두 팔의 협동조작을 수행했습니다[18][19].
• Scaffolding: VLM의 추론 능력과 강화학습을 결합하여 계층적 조작 학습을 시도했습니다. VLM이 생성한 3D 궤적으로 계획을 제공하고, 저수준 RL이 세밀한 실행을 담당함으로써 복잡한 dexterous 작업을 효과적으로 학습합니다[20][21].

각 모델의 설계는 언어와 비전 정보를 통합하여 로봇 정책을 학습하는 새로운 방향을 제시하였고, 특히 미세 조작(dexterous manipulation) 분야에서 복잡한 물체 조작과 추론 능력을 향상시키는 데 기여했습니다.

참고문헌: 상기 인용은 해당 모델 논문의 핵심 내용을 반영하며, 각 모델별 요약에 인용된 페이지를 통해 상세 정보를 확인할 수 있습니다[1][5][10][11][12][14][17][18][20].

[1] [2307.15818] RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

https://arxiv.org/abs/2307.15818

[2] [3] [4] Octo: An Open-Source Generalist Robot Policy

https://octo-models.github.io

[5] [6] [7] [8] [9] [2406.09246] OpenVLA: An Open-Source Vision-Language-Action Model

https://arxiv.org/abs/2406.09246

[10] [2406.04339] RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation

https://arxiv.org/abs/2406.04339

[11] [2410.24164] $π_0$: A Vision-Language-Action Flow Model for General Robot Control

https://arxiv.org/abs/2410.24164

[12] [13] Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos

https://arxiv.org/html/2507.15597v1

[14] [15] [16] [2507.02747] DexVLG: Dexterous Vision-Language-Grasp Model at Scale

https://arxiv.org/abs/2507.02747

[17] METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model

https://arxiv.org/html/2511.17366v1

[18] [19] [2501.06919] Shake-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Manipulations and Liquid Mixing

https://arxiv.org/abs/2501.06919

[20] [21] Scaffolding Dexterous Manipulation with Vision-Language Models

https://arxiv.org/html/2506.19212v1

[22] physicalintelligence.company

https://www.physicalintelligence.company/download/pi0.pdf