📃ADAPT VLA 리뷰

Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Project

1. 💡 본 논문은 VLA (Vision-Language-Action) 모델과 diffusion 모델을 결합한 하이브리드 제어 방법을 제안하여, 언어 명령을 통한 높은 수준의 계획과 정밀한 조작을 동시에 달성합니다.
2. ⚙️ 이 시스템은 훈련 데이터에 포함된 이벤트 신호(event signal)를 활용하여 VLA가 객체에 접근하면 diffusion 모델로 전환하며, 13DoF ADAPT Hand 2와 같은 다지 로봇 핸드에 적용되었습니다.
3. 📈 결합된 VLA-diffusion 모델은 VLA 단독 사용 시 40% 미만의 성공률에 비해 80% 이상의 성공률을 보여, 정밀한 조작과 오류 복구 능력을 통해 괄목할 만한 성능 향상을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 인류형 손을 이용한 자율적인 정교한 조작(dexterous manipulation)을 발전시키기 위해, 미세 조정된 Vision-Language-Action (VLA) 모델과 Diffusion 모델의 장점을 결합한 하이브리드 제어 방식을 제안한다. VLA 모델은 언어 명령을 통해 고수준 계획을 제공하며, 이는 높은 일반화 가능성을 가진다. 반면 Diffusion 모델은 특정 객체 및 환경에 필요한 정밀도와 견고성을 제공하는 저수준 상호작용을 처리한다. 훈련 데이터에 전환 신호(switching signal)를 통합함으로써, 언어로 명령된 목표 객체 및 배치 위치에 대한 pick-and-place 작업에서 두 모델 간의 이벤트 기반 전환을 가능하게 한다.

핵심 방법론 (Core Methodology)

이 프레임워크는 VLA와 Diffusion 모델을 상황에 따라 전환하여 각 모델의 강점을 활용한다. 두 모델의 구조적 차이와 한계로 인해 이러한 통합은 쉽지 않다.

1. VLA 모델의 역할:
   • 고수준의 text to robot arm motion 생성을 위해 openVLA 모델을 사용한다. openVLA는 본래 pinch grippers를 가진 로봇 팔에 대해 사전 훈련되어 있다.
   • 입력: 언어 명령(예: “tape를 노란 접시에 놓아라”)과 시각적 피드백. 시각적 피드백은 두 대의 카메라(월드 고정 cam1과 손에 부착된 cam2)에서 얻은 이미지를 수직으로 연결(vertically concatenated)하여 사용한다. cam1 이미지는 224x144, cam2 이미지는 224x80으로 크기가 조정된 후 결합된다.
   • 출력: 로봇 팔 end-effector의 포즈를 나타내는 6개의 값과 grasp percentage를 제어하는 하나의 스칼라 신호 \sigma를 출력한다. 이 \sigma는 후술할 이벤트 신호로 재활용된다.
   • 역할: 손을 객체 근처로 이동시키는 고수준 계획 및 팔 동작을 생성한다. 이 모델은 조작 전반의 광범위한 이동을 담당한다.
2. Diffusion 모델의 역할:
   • 정교한 파지(grasping) 제어를 위해 Diffusion Policy 모델([12]의 CNN 기반 Diffusion Policy)을 사용한다.
   • 입력: 임의의 센서 데이터(여기서는 cam1과 cam2의 이미지). 이미지는 320x240으로 크기가 조정된다.
   • 출력: 임의의 수의 출력 명령, 즉 13 자유도(DoF) ADAPT Hand 2의 모터 제어 신호.
   • 역할: 객체 상호작용을 위한 정밀하고 견고한 저수준 제어를 담당한다. 여기에는 다중 모드 파지(multi-modal grasping, 예: slide & pick 또는 direct pick) 및 실패 복구(failure recovery) 기능이 포함된다. 이 모델은 특정 객체에 대해 훈련되므로, 각 객체마다 고유한 Diffusion Policy가 필요하다. 이 논문에서는 언어 입력에 따라 적절한 Diffusion Policy를 선택하기 위해 lookup table을 사용한다.
3. 모델 전환 메커니즘 (Event Signal \sigma):
   • 두 모델 간의 전환은 event signal \sigma라는 스칼라 파라미터의 진화를 추적함으로써 자동적으로 이루어진다.
   • VLA \rightarrow Diffusion 전환: VLA 모델이 손을 객체 근처로 이동시킨다. VLA의 출력 중 grasp percentage 신호로 사용된 \sigma가 특정 임계값(예: 1)에 도달하면, 이는 손이 객체에 충분히 가까워졌음을 나타내며 Diffusion 모델로 제어권이 전환된다. 이때 VLA 모델은 미리 프로그램된 일반적인 파워 그립(power grasp) 모션 시퀀스를 1 DoF gripper의 프록시(proxy)로 사용한다.
   • Diffusion \rightarrow VLA 전환: Diffusion 모델은 객체 파지 및 들어 올리기를 담당한다. Diffusion 모델 훈련 시, 성공적인 파지의 끝을 나타내는 추가 신호가 기록된다. 파지가 성공하면 \sigma가 1로 증가하여 VLA로 제어권이 다시 전환된다. 만약 파지 시도가 실패하면 \sigma는 0을 유지하며, 이는 Diffusion 모델이 복구 동작을 시도하거나 재시도하도록 한다.
   • 객체 배치 후 VLA \rightarrow 제어 종료: VLA가 객체를 목표 배치 위치(예: 접시 위)로 이동시킨 후, 객체를 놓기 위해 \sigma가 다시 0으로 돌아오면서 작업이 완료된다.
4. 하드웨어 및 데이터 수집:
   • 로봇 시스템: 13 DoF의 인류형 로봇 손인 ADAPT Hand 2 ([17], [18])가 Universal Robot 5 (UR5) 로봇 팔에 장착된다. ADAPT Hand 2는 series elastic actuation을 통한 유연성(compliance)을 통합하여 환경과의 안전하고 견고한 상호작용을 가능하게 한다.
   • 데이터 수집: 모든 데이터는 실제 로봇으로 수집된다.
     • VLA 훈련 데이터: pick-and-place 작업 전체를 원격 조작(teleoperation)으로 수행한다. 작업자가 PS4 게임 컨트롤러의 버튼을 눌러 이벤트 신호를 수동으로 기록한다. 파지 동작 직전과 직후의 동작만 VLA 훈련에 사용된다. 훈련 시 손이 객체 근처에 있을 때 의도적으로 손을 닫는 동작을 포함시킨다.
     • Diffusion Policy 훈련 데이터: 파지 동작에만 집중하여 수집된다. 손이 객체 위 약 5cm에 위치한 상태에서 시작하여 다양한 파지 전략(예: 테이블에서 미끄러뜨리거나 직접 파지)과 오류 복구 동작이 원격 조작으로 시연된다. 성공적인 파지 시 \sigma가 마지막 10단계에서 1로 설정된다.
   • 카메라: cam1 (정적, 월드 고정), cam2 (핸드캠)를 사용하여 시각 데이터를 수집한다.
   • 객체: 빨간 피망(red pepper), 테이프(tape), 종이 조각(piece of paper). 배치 위치: 노란색 또는 보라색 접시.

실험 및 결과 (Experimental Setup & Results)

개별 VLA와 Diffusion Policy의 성능을 평가한 후, 두 모델을 결합한 자율 동작을 평가한다.

• VLA 성능 평가:
  • VLA 단독으로는 전체 파지 시퀀스를 성공적으로 수행하기 어렵다. 특히 정교한 조작이 필요한 테이프 파지 성공률이 매우 낮다.
  • 그러나 cam1과 cam2의 이미지를 결합하여 훈련된 VLA는 객체까지의 reaching 정밀도가 크게 향상된다. 평균 offset이 12cm에서 3cm로 감소하여 6cm 이내의 오차로 손을 객체 근처로 이동시킬 수 있음을 보여준다. 두 카메라 사용은 단일 카메라에서 부족한 깊이 정보를 보완한다.
• Diffusion 모델 성능 평가:
  • Diffusion 모델은 다중 모드 파지 동작을 학습할 수 있음을 보여준다. 예를 들어, 테이블 가장자리에 가까운 객체는 slide & pick 방식(객체를 테이블 가장자리로 밀어 파지)을, 중앙에 있는 객체는 direct pick 방식을 선호한다.
  • Diffusion 모델은 정밀한 제어가 가능하지만, 손이 객체 근처에 위치해야만 유효하다는 한계가 있다. 손과 객체 중심 간의 offset이 15cm를 초과하면 파지 성공률이 50% 미만으로 떨어진다. 이는 VLA가 손을 객체에 충분히 가깝게 이동시키는 것이 필수적임을 강조한다 (VLA의 6cm 오차는 Diffusion 모델의 허용 오차 범위 내).
  • Diffusion 모델은 파지 실패 시 복구 동작을 수행할 수 있다. 첫 번째 시도에서 파지가 실패하면 이벤트 신호가 0으로 유지되어 재시도를 유도하고, 성공할 때까지 반복한다.
• 결합된 VLA & Diffusion 모델 성능:
  • 결합된 파이프라인은 VLA가 객체에 가까워지고 이벤트 신호가 VLA에서 1에 도달하면 VLA에서 Diffusion 모델로 전환된다. 이후 파지가 완료되면 Diffusion 모델에서 VLA로 다시 전환된다. 객체를 놓을 위치에 도착하면 이벤트 신호가 0으로 돌아오며 객체를 놓는다.
  • Pick-and-place 작업에서 각 객체-배치 조합에 대해 0.8 이상의 성공률을 달성했다. 이는 VLA 단독 사용 시(0.43 또는 0.20)와 비교하여 현저한 개선을 보여준다. 이는 두 모델을 결합하여 pick-and-place 작업의 특정 기술을 목표로 하는 전략의 이점을 명확히 보여준다.

결론 (Discussion & Conclusion)

이 연구는 언어 입력 기반의 고수준 계획을 위한 VLA의 강점과, 문맥적이고 정밀한 모터 신호 생성을 위한 Diffusion Policy 모델의 강점을 결합한 정교한 조작 프레임워크를 제안한다. 제한된 객체 세트에 초점을 맞춰 두 모델의 필요성과 효과적인 통합 방법을 시연했으며, 유연한 인류형 손에 이 프레임워크를 적용했다.

제한 사항 및 향후 연구 (Limitations & Future Outlook)

• Diffusion 모델의 일반화: 새로운 객체가 추가될 때마다 Diffusion 모델을 훈련해야 하는 한계가 있다. 기존 데이터셋을 활용하거나 보다 일반화된 Diffusion 모델 접근 방식이 필요하다.
• VLA 모델의 손가락 다양성: openVLA 모델이 1자유도 pinch gripper에만 사전 훈련되어 있어 다중 손가락 손에 대한 활용이 제한적이다. 다양한 로봇 손에 대한 대규모 데이터 수집 또는 모델 자체의 근본적인 변화가 필요하다.
• 하드웨어 및 센서 개선: 본 연구에서 손의 유연성은 충돌 복원력과 파지 작업의 견고성을 높였다. 미래에는 가변 강성(variable stiffness)을 제어 입력으로 통합하여 학습 기반 제어기의 견고성을 더욱 향상시키거나, 기존 카메라 외에 손가락에 촉각 피드백(tactile feedback)을 통합하여 상호작용 힘에 대한 제어를 개선할 수 있다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 이 연구가 중요한가?

로봇 매니퓰레이션 분야에서 가장 도전적인 과제 중 하나는 인간 수준의 정교한 손 동작을 구현하는 것입니다. 우리 인간은 아침에 일어나 커피잔을 집고, 문고리를 돌리고, 키보드를 두드리는 등 무수히 많은 손 동작을 무의식적으로 수행합니다. 하지만 로봇에게 이러한 동작을 가르치는 것은 극도로 어려운 일입니다.

최근 Vision-Language-Action(VLA) 모델의 등장은 로봇공학계에 새로운 가능성을 열어주었습니다. 자연어 명령을 이해하고 이를 로봇 동작으로 변환하는 능력은 혁신적이었지만, 여기에는 근본적인 한계가 있었습니다. 기존 VLA 모델들은 주로 1자유도(DoF)의 간단한 그리퍼에서만 검증되었으며, 인간의 손처럼 복잡한 다지(multi-fingered) 매니퓰레이터에서의 적용 가능성은 미지수였습니다.

EPFL CREATE Lab의 Cheng Pan, Kai Junge, Josie Hughes 연구팀은 이 논문에서 매우 흥미로운 해결책을 제시합니다. VLA 모델의 언어 기반 고수준 계획 능력과 Diffusion Policy의 정밀한 저수준 제어 능력을 결합한 하이브리드 제어 프레임워크를 통해, 13자유도의 인간형 로봇 핸드인 ADAPT Hand 2에서 80% 이상의 작업 성공률을 달성했습니다. 이는 VLA 모델만 사용했을 때의 40% 미만 성공률과 비교하면 획기적인 개선입니다.

이 리뷰에서는 논문의 핵심 기여와 기술적 세부사항을 심층적으로 분석하고, 로봇공학자의 관점에서 이 연구의 의의와 한계, 그리고 향후 발전 방향에 대해 논의하겠습니다.

---

1. 연구 배경: VLA 모델과 Diffusion Policy의 만남

1.1 Vision-Language-Action (VLA) 모델의 발전

VLA 모델은 대규모 언어 모델(LLM)의 성공에서 영감을 받아 탄생한 로봇 제어 패러다임입니다. 핵심 아이디어는 시각 정보(Vision), 자연어 명령(Language), 그리고 로봇 동작(Action)을 하나의 통합된 프레임워크에서 처리하는 것입니다.

이 분야의 발전은 다음과 같은 궤적을 따랐습니다.

2022년에 Google의 RT-1(Robotics Transformer 1)이 등장하면서 트랜스포머 기반 로봇 정책의 가능성이 입증되었습니다. 2023년에는 RT-2가 550억 개의 파라미터로 확장되어 더욱 강력한 일반화 능력을 보여주었습니다. 같은 해 Octo 모델이 9,300만 개의 파라미터로 효율적인 일반화 매니퓰레이션을 구현했습니다.

그리고 2024년, 본 논문이 사용한 OpenVLA가 등장했습니다. OpenVLA는 다음과 같은 특징을 가진 오픈소스 VLA 모델입니다.

OpenVLA의 구조적 특징:

OpenVLA는 70억 개의 파라미터를 가진 대규모 모델로, 세 가지 핵심 구성요소로 이루어져 있습니다. 첫째, 융합 비전 인코더(Fused Visual Encoder)는 SigLIP과 DINOv2 백본을 결합하여 이미지 입력을 이미지 패치 임베딩으로 변환합니다. 둘째, 프로젝터(Projector)는 비전 인코더의 출력 임베딩을 대규모 언어 모델의 입력 공간으로 매핑합니다. 셋째, Llama 2 7B 언어 모델 백본이 토큰화된 출력 동작을 예측합니다.

훈련 데이터 측면에서 OpenVLA는 Open X-Embodiment 데이터셋에서 97만 개의 실제 로봇 매니퓰레이션 궤적을 사용하여 훈련되었습니다. 이 데이터셋은 다양한 작업, 환경, 로봇 형태를 포괄합니다.

VLA 모델의 근본적 한계:

그러나 OpenVLA를 포함한 기존 VLA 모델들은 중요한 한계를 가지고 있습니다. 가장 결정적인 것은 훈련 데이터의 편향입니다. Open X-Embodiment 데이터셋의 대부분이 1자유도 핀치 그리퍼에서 수집되었기 때문에, 다지 핸드와 같은 복잡한 엔드 이펙터에 대한 학습이 부족합니다.

이로 인해 발생하는 구체적인 문제들은 다음과 같습니다.

첫째, 파지 동작의 부정확성 문제입니다. VLA 모델은 물체 근처까지의 팔 움직임은 잘 생성하지만, 실제 손가락 움직임의 정밀도가 떨어집니다. 둘째, 다중 모드(Multi-modal) 동작 생성의 어려움입니다. 같은 물체를 잡는 데도 여러 가지 유효한 파지 방법이 존재하지만, VLA 모델은 이러한 다양성을 표현하는 데 한계가 있습니다. 셋째, 에러 복구 능력의 부재입니다. 파지 시도가 실패했을 때 적응적으로 복구하는 행동을 생성하기 어렵습니다.

1.2 Diffusion Policy: 로봇 학습의 새로운 패러다임

Diffusion Policy는 2023년 Columbia University의 연구팀이 제안한 혁신적인 로봇 정책 학습 방법입니다. 이미지 생성 분야에서 큰 성공을 거둔 확산 모델(Diffusion Model)의 아이디어를 로봇 제어에 적용한 것입니다.

핵심 원리:

Diffusion Policy의 작동 원리를 단계별로 살펴보면 다음과 같습니다.

순방향 과정(Forward Process)에서는 깨끗한 동작 데이터에 점진적으로 노이즈를 추가하여 완전한 노이즈로 변환합니다. 역방향 과정(Reverse Process)에서는 노이즈로부터 시작하여 학습된 스코어 함수를 따라 점진적으로 노이즈를 제거하고 유효한 동작 시퀀스를 생성합니다.

수학적으로 표현하면, Diffusion Policy는 동작 분포의 스코어 함수(score function)의 기울기를 학습하고, 추론 시 일련의 확률적 랑주뱅 동역학(stochastic Langevin dynamics) 단계를 통해 이 기울기 필드에 대해 반복적으로 최적화합니다.

로봇 정책으로서의 장점:

Diffusion Policy가 로봇 제어에 특히 적합한 이유는 여러 가지가 있습니다.

첫째, 다중 모드 동작 분포 처리 능력입니다. 같은 상황에서 여러 가지 유효한 동작이 가능할 때, 이를 자연스럽게 모델링할 수 있습니다. 예를 들어, 컵을 잡을 때 옆에서 잡는 방법과 위에서 잡는 방법 모두를 표현할 수 있습니다.

둘째, 고차원 동작 공간 처리 능력입니다. 다지 핸드와 같이 많은 자유도를 가진 시스템에서도 부드럽고 일관된 동작을 생성합니다.

셋째, 뛰어난 훈련 안정성입니다. 다른 생성 모델들에 비해 훈련이 안정적이고 재현성이 높습니다.

넷째, 시간적 일관성입니다. 동작 청킹(action chunking)을 자연스럽게 지원하여, 연속적이고 부드러운 움직임을 생성합니다.

1.3 두 접근법의 상보성

본 논문의 핵심 통찰은 VLA 모델과 Diffusion Policy가 서로의 약점을 보완하는 상보적인 관계에 있다는 것입니다.

특성	VLA 모델	Diffusion Policy
강점	언어 이해, 고수준 계획, 일반화	정밀 제어, 다중 모드 동작, 복구 행동
약점	저수준 정밀도, 특정 객체 적응	언어 명령 처리, 새로운 객체 일반화
적합한 단계	접근(Approach)	파지(Grasp)
데이터 요구량	대규모 사전훈련 필요	소규모 태스크 특화 데이터

이러한 분석을 바탕으로, 연구팀은 두 모델 사이를 전환하는 하이브리드 접근법을 제안했습니다.

---

2. 하드웨어 플랫폼: ADAPT Hand 2

2.1 설계 철학: 인간 손의 패시브 컴플라이언스 모방

본 연구에서 사용된 ADAPT Hand 2는 EPFL CREATE Lab에서 개발한 인간형 로봇 핸드입니다. 이 핸드의 설계 철학은 단순히 인간 손의 기구학적 구조를 모방하는 것을 넘어, 인간 손의 패시브(수동적) 컴플라이언스 특성까지 재현하는 것입니다.

인간 손의 컴플라이언스가 중요한 이유:

인간이 물체를 집을 때, 우리는 물체의 정확한 위치나 형상을 완벽하게 알지 못해도 성공적으로 파지할 수 있습니다. 이것이 가능한 이유는 손의 피부, 관절, 힘줄에 분포된 컴플라이언스(유연성) 덕분입니다. 이 컴플라이언스는 불확실성에 대한 자연스러운 적응을 가능하게 합니다.

반면, 전통적인 강체(rigid) 로봇 핸드는 환경에 대한 정확한 정보 없이는 안전하게 상호작용하기 어렵습니다. 작은 위치 오차도 과도한 접촉력이나 물체 손상으로 이어질 수 있기 때문입니다.

2.2 기계적 구조와 특징

ADAPT Hand 2의 상세 사양을 살펴보겠습니다.

전체 구조: - 자유도(DoF): 13 (핸드 전용), 손목 포함 시 15 - 관절 수: 20개 - 액추에이터: Dynamixel XM430-W210-R 서보 모터 15개 - 구동 방식: 텐던(tendon) 구동 - 재질: 3D 프린팅된 PLA 및 TPU(열가소성 폴리우레탄)

손가락 메커니즘:

각 손가락은 공통된 설계를 공유하면서도 인간 손의 해부학적 구조를 충실히 반영합니다.

MCP(중수지절) 관절의 경우, 길항근(antagonistic) 텐던에 의해 굴곡/신전이 제어됩니다. 특히 시리즈 탄성 액추에이션(Series Elastic Actuation)이 적용되어, 외력에 대한 컴플라이언트한 반응이 가능합니다. 익스텐션 스프링에 연결된 풀리 주변으로 굴곡 텐던이 경유하여 탄성 특성을 제공합니다.

PIP/DIP(근위/원위 지절간) 관절은 단일 굴곡 텐던에 의해 커플링되어 동시에 작동합니다. TPU 소재의 플렉셔 조인트가 신전력을 제공하고, 손가락 뒤쪽의 탄성 실이 추가적인 복원력을 제공합니다.

외전/내전(Abduction/Adduction)은 시리즈 탄성 링키지 메커니즘을 통해 제어됩니다. TPU 소재로 MCP 핀 조인트에 연결되어 2축 컴플라이언스를 제공합니다.

엄지의 경우, 4개의 액추에이터가 4개의 관절을 독립적으로 제어합니다. CMC(수근중수) 관절은 90도 회전된 길항근 구조로 2자유도를 제공합니다. 정교한 조작에서 엄지의 중요성을 반영한 설계입니다.

컴플라이언스 분포:

ADAPT Hand 2의 컴플라이언스는 세 가지 레벨에서 분포됩니다.

피부 레벨에서는 연속적인 실리콘 스킨이 전체 손을 감싸며, 접촉 시 변형을 통해 적응적 파지를 가능하게 합니다.

손가락 레벨에서는 MCP 관절의 시리즈 탄성 메커니즘이 센티미터 스케일의 자세 적응을 가능하게 합니다. 외력이 가해지면 손가락 전체가 환경에 순응적으로 반응합니다.

손목 레벨에서는 통합된 손목 관절이 추가적인 컴플라이언스를 제공하고, 불완전한 위치 추정에도 강건한 조작을 가능하게 합니다.

2.3 VLA 제어에서의 이점

ADAPT Hand 2의 컴플라이언스 특성은 VLA 모델 기반 제어에서 특히 유용합니다.

첫째, 노이즈 신호 필터링 효과입니다. 트랜스포머 기반 VLA 모델이 생성하는 액추에이션 신호에는 어느 정도의 노이즈가 포함될 수 있습니다. 시리즈 탄성 액추에이션은 이러한 노이즈를 물리적으로 필터링하여 부드러운 움직임을 구현합니다.

둘째, 에러 관용(Error Tolerance)입니다. VLA 모델의 동작 예측이 완벽하지 않더라도, 컴플라이언스가 위치 오차를 흡수하여 성공적인 파지를 가능하게 합니다.

셋째, 안전한 상호작용입니다. 불확실한 환경에서의 접촉 시에도 과도한 힘이 발생하지 않아, 물체 손상이나 시스템 고장을 방지합니다.

2.4 해부학적 정확성

ADAPT Hand 2는 인간 손의 해부학적 구조를 높은 정확도로 재현합니다.

기구학적 유사성 측면에서, 상대적 관절 위치가 성인 인간 손의 해부학적 모델에서 직접 도출되었습니다. 33가지 파지 분류법(grasp taxonomy)의 모든 자세를 생성할 수 있고, Kapandji 테스트의 10가지 자세를 모두 수행 가능합니다.

스케일 측면에서, 손 크기가 성인 인간 손과 유사하여 인간용으로 설계된 도구와 환경에서 사용하기 적합합니다.

피부 기하학 측면에서, 연속적인 실리콘 스킨의 표면 형상이 인간 손의 외형을 모방합니다.

---

3. 제안 방법론: VLA-Diffusion 스위칭 프레임워크

3.1 전체 시스템 아키텍처

본 논문이 제안하는 프레임워크의 핵심은 이벤트 신호(event signal) σ를 사용하여 VLA 모델과 Diffusion Policy 사이를 전환하는 것입니다.

파이프라인 흐름:

시스템의 전체 흐름은 다음과 같이 진행됩니다.

먼저 언어 명령 입력 단계에서, 사용자가 “Put Red Pepper on Yellow Plate”와 같은 자연어 명령을 입력합니다.

VLA 모델 활성화 단계(σ = 0)에서, fine-tuned OpenVLA 모델이 활성화됩니다. 두 대의 카메라에서 캡처된 이미지와 언어 명령을 입력으로 받아, 팔과 손의 관절 위치 명령을 출력하고, 로봇 팔이 목표 물체 근처로 이동합니다.

전환 조건 감지 단계에서, 로봇이 물체에 충분히 가까워지면(사전 정의된 위치 임계값 도달) 전환 신호 σ가 0에서 1로 변경됩니다.

Diffusion Policy 활성화 단계(σ = 1)에서, 사전 훈련된 Diffusion Policy가 활성화됩니다. 현재 관절 상태와 이미지를 입력으로 받아, 정밀한 파지 동작 시퀀스를 생성합니다.

파지 및 배치 단계에서, Diffusion Policy가 파지를 완료하면, 다시 VLA 모델로 전환(σ = 0)하여 언어로 지정된 목표 위치(예: Yellow Plate)로 이동합니다. 배치 위치에 도달하면 다시 Diffusion Policy(σ = 1)로 전환하여 놓기 동작을 수행합니다.

3.2 VLA 모델: OpenVLA Fine-tuning

Fine-tuning 전략:

본 연구에서는 사전 훈련된 OpenVLA 7B 모델을 기반으로 fine-tuning을 수행했습니다. 주요 특징은 다음과 같습니다.

훈련 데이터 측면에서, 파지 기간(grasping period)을 제외한 데이터셋을 사용했습니다. 이는 VLA 모델에게 파지 동작을 학습시키지 않음으로써, 이 역할을 Diffusion Policy에 전담시키는 전략입니다.

이미지 처리 방식에서는 원본 OpenVLA가 단일 카메라 이미지를 사용하는 것과 달리, 본 연구에서는 두 대의 카메라(cam1, cam2) 이미지를 결합했습니다. cam1 이미지를 224×144로, cam2 이미지를 224×80으로 리사이즈한 후, 수직으로 연결(concatenate)하여 단일 이미지로 만듭니다.

훈련 수렴 조건으로, 훈련 동작 정확도가 95%를 초과하고 수렴할 때까지 fine-tuning을 계속했습니다.

하드웨어 측면에서, A100-80GB GPU가 장착된 클러스터 가상 머신에서 훈련을 수행했습니다.

출력 형식:

Fine-tuned VLA 모델은 다음과 같은 출력을 생성합니다.

7차원 팔 관절 위치가 있는데, 이는 6개의 팔 관절 각도와 1개의 추가 자유도로 구성됩니다.

13차원 손 관절 위치로는, 4개의 손가락 각각에 대해 MCP와 PIP/DIP 제어를 위한 2개씩 총 8차원, 엄지에 대해 4차원, 그리고 외전/내전을 위한 1차원이 있습니다.

3.3 Diffusion Policy 모델

모델 구성:

본 연구의 Diffusion Policy는 Columbia University의 원본 Diffusion Policy 구현을 기반으로 합니다.

입력으로는 현재 관절 상태(proprioception)와 카메라 이미지를 받습니다.

출력으로는 손과 손목의 관절 위치 시퀀스를 생성합니다.

훈련 조건으로, 1500 에폭 동안 커스텀 GPU에서 훈련했습니다.

훈련 데이터:

Diffusion Policy의 훈련 데이터는 오직 파지 동작(grasping demonstration)만을 포함합니다. 이는 VLA 모델의 훈련 데이터와 상호 배타적으로 설계되어, 각 모델이 자신의 역할에 특화되도록 합니다.

Diffusion Policy의 특수 능력:

본 연구에서 Diffusion Policy는 세 가지 핵심 능력을 발휘합니다.

다중 모드(Multi-modal) 행동에서, 같은 물체에 대해서도 상황에 따라 다양한 파지 전략을 생성합니다. 예를 들어, 테이프를 집을 때 옆에서 접근하거나 위에서 접근하는 등 다양한 방법을 선택할 수 있습니다.

복구(Recovery) 행동에서, 첫 번째 파지 시도가 실패하면, 적응적으로 손가락 자세를 조정하여 재시도합니다. 이러한 복구 행동은 명시적으로 프로그래밍된 것이 아니라, 데이터에서 학습된 것입니다.

정밀하고 부드러운 제어에서, 확산 과정의 특성상 생성되는 동작 시퀀스가 시간적으로 부드럽고 일관성이 있습니다.

3.4 이벤트 신호(Event Signal) 메커니즘

신호 설계:

이벤트 신호 σ는 두 모델 간의 전환을 관리하는 이진(binary) 신호입니다.

σ = 0일 때는 VLA 모델이 활성화되어 고수준 계획 및 접근 동작을 담당합니다. σ = 1일 때는 Diffusion Policy가 활성화되어 저수준 파지/놓기 동작을 담당합니다.

신호의 학습:

이벤트 신호는 훈련 데이터에 직접 포함됩니다. 중요한 점은, 이 신호가 런타임에 별도의 분류기나 휴리스틱으로 결정되는 것이 아니라, 각 모델이 적절한 시점에 전환되도록 데이터 자체에 레이블링되어 있다는 것입니다.

전환 시점:

Pick-and-place 작업에서의 전환 시점은 다음과 같습니다.

물체 접근 시에는 VLA(σ=0)에서 시작하여, 손이 물체에 가까워지면 Diffusion(σ=1)으로 전환합니다.

물체 운반 시에는 파지가 완료되면 VLA(σ=0)로 전환하여 목표 위치로 이동합니다.

물체 배치 시에는 배치 위치에 도달하면 Diffusion(σ=1)으로 전환하여 놓기 동작을 수행합니다.

---

4. 데이터 수집: Apple Vision Pro 기반 텔레오퍼레이션

4.1 텔레오퍼레이션 시스템

고품질 데모 데이터 수집을 위해, 연구팀은 Apple Vision Pro를 활용한 직관적인 텔레오퍼레이션 시스템을 구축했습니다.

시스템 구성:

VR 헤드셋으로 Apple Vision Pro가 운용자의 손 움직임을 실시간으로 추적합니다.

리타겟팅 시스템은 인간 손의 관절 각도를 ADAPT Hand 2의 관절 각도로 매핑합니다. ADAPT Hand 2의 인간 매칭 기구학 덕분에 직접적인 관절-관절 매핑이 가능합니다.

카메라 설정으로는 두 대의 RGB 카메라(cam1, cam2)가 작업 공간의 다른 각도에서 촬영합니다.

4.2 데이터 수집 프로토콜

작업 정의:

연구팀은 Pick-and-place 작업에 집중했습니다. 테스트 객체로는 Red Pepper, Blue Block, Tape, Blue Paper 등 다양한 형상과 크기의 물체들이 사용되었습니다. 목표 위치로는 Yellow Plate, Purple Plate 등 색상으로 구분된 플레이트가 설정되었습니다.

데이터 레이블링:

각 데모 궤적에는 다음 정보가 포함됩니다.

시간별 관절 각도 시퀀스로는 팔 관절 7차원과 손 관절 13차원이 기록됩니다.

카메라 이미지로는 cam1과 cam2의 동기화된 프레임이 저장됩니다.

언어 명령으로는 “Put [object] on [location]” 형식이 사용됩니다.

이벤트 신호(σ)로는 각 시점에서의 VLA/Diffusion 구분이 기록됩니다.

4.3 데이터 분할 전략

수집된 데이터는 두 모델의 훈련을 위해 분할됩니다.

VLA 훈련 데이터는 파지 기간 제외한 전체 궤적을 포함합니다. 접근 동작(물체로 이동)과 운반 동작(목표 위치로 이동)이 포함됩니다. 언어 명령과 쌍을 이루어 언어-동작 연관성을 학습합니다.

Diffusion Policy 훈련 데이터는 파지 기간만 포함합니다. 손가락 움직임에 초점을 맞춘 정밀 제어를 학습합니다. 언어 명령은 포함되지 않습니다.

---

5. 실험 결과 분석

5.1 정량적 평가

주요 성능 지표:

방법	성공률
VLA 모델 단독	< 40%
VLA + Diffusion 하이브리드	> 80%
개선율	+40%p 이상

이 결과는 하이브리드 접근법의 효과를 명확히 보여줍니다. 성공률이 2배 이상 향상되었습니다.

실패 원인 분석 (VLA 단독 사용 시):

VLA 모델만 사용했을 때의 실패 원인을 분석하면 다음과 같습니다.

부정확한 손가락 위치 결정이 주요 원인입니다. VLA 모델이 생성하는 손가락 자세가 물체를 안정적으로 파지하기에 충분히 정확하지 않습니다.

적응 능력 부족도 문제입니다. 첫 번째 시도가 실패했을 때 복구 동작을 생성하지 못합니다.

단일 모드 동작 생성의 한계도 있습니다. 다양한 파지 전략 중 최적의 것을 선택하지 못하고, 종종 부적절한 접근 방향을 선택합니다.

5.2 VLA 모델의 성능 (물체 접근 단계)

VLA 모델은 물체 근처까지의 팔 움직임에서는 우수한 성능을 보였습니다.

언어 조건부 목표 선택에서, “Red Pepper”나 “Tape” 등 언어로 지정된 물체를 정확히 식별하고 해당 물체 방향으로 이동합니다.

정확한 근접 위치 결정에서, 물체 근처의 적절한 위치까지 팔을 이동시키는 데 성공합니다.

목표 위치 일반화에서, “Yellow Plate”나 “Purple Plate” 등 다양한 목표 위치로의 이동을 언어 명령에 따라 수행합니다.

5.3 Diffusion Policy의 성능 (파지 단계)

다중 모드 행동 시연:

Diffusion Policy는 같은 물체에 대해서도 상황에 따라 다양한 파지 전략을 생성했습니다.

Blue Block의 경우, 측면 접근과 상단 접근이 모두 가능합니다. 물체의 현재 자세와 손의 접근 각도에 따라 적절한 전략을 선택합니다.

Tape의 경우, 원통형 형상을 감안한 감싸기(wrap) 파지를 선택하거나, 핀치 파지를 선택할 수 있습니다.

복구 행동 시연:

Blue Paper 파지 실험에서, 첫 번째 파지 시도 실패 시 손가락 자세를 재조정하고, 다른 각도에서 재접근하여 성공적으로 파지하는 복구 행동이 관찰되었습니다. 이러한 복구 행동은 명시적으로 프로그래밍된 것이 아니라, 데모 데이터에서 자연스럽게 학습된 것입니다.

---

6. 기술적 심층 분석

6.1 왜 VLA 모델은 정밀 파지에 실패하는가?

VLA 모델이 정밀한 파지 동작을 생성하지 못하는 근본적인 이유를 분석해보겠습니다.

훈련 데이터의 편향:

Open X-Embodiment 데이터셋의 구성을 살펴보면, 대부분의 데이터가 1DoF 핀치 그리퍼에서 수집되었습니다. 핀치 그리퍼의 파지는 단순히 열기/닫기의 이진 동작에 가깝습니다. 따라서 모델은 복잡한 다지 협응 동작을 학습할 기회가 없었습니다.

동작 표현의 한계:

OpenVLA는 동작을 이산적인 토큰으로 표현합니다. 원본 OpenVLA는 타임스텝당 7개의 이산 토큰을 예측합니다. 각 토큰은 256개의 빈(bin) 중 하나를 선택합니다. 이러한 이산화는 다지 핸드의 연속적이고 미세한 동작을 표현하는 데 한계가 있습니다.

자기회귀(Autoregressive) 생성의 문제:

VLA 모델은 동작 토큰을 순차적으로 생성합니다. 이전 토큰의 오차가 후속 토큰에 누적됩니다. 긴 동작 시퀀스에서 오차 축적이 심해집니다.

6.2 Diffusion Policy가 다중 모드 동작을 생성하는 원리

확산 과정의 본질:

Diffusion Policy는 동작의 확률 분포 자체를 모델링합니다. 이는 결정론적인 단일 출력이 아닌, 다양한 유효 동작을 샘플링할 수 있음을 의미합니다.

역방향 확산 과정에서, 노이즈로부터 시작하여 점진적으로 유효한 동작으로 변환됩니다. 초기 노이즈의 차이에 따라 다른 모드(mode)의 동작으로 수렴할 수 있습니다.

모드 커버리지:

데모 데이터에 다양한 파지 전략이 포함되어 있으면, Diffusion Policy는 이 모든 전략을 포괄하는 분포를 학습합니다. 추론 시 상황에 맞는 적절한 모드를 샘플링합니다.

6.3 이벤트 신호 전환의 최적화

전환 타이밍의 중요성:

너무 이른 전환의 경우, VLA 모델이 아직 물체에 충분히 가까워지지 않았을 때 Diffusion Policy로 전환하면, Diffusion Policy가 학습한 동작 범위를 벗어나 실패할 수 있습니다.

너무 늦은 전환의 경우, VLA 모델이 파지를 시도하다 실패하면, 복구가 어렵습니다.

현재 구현의 접근법:

본 논문에서는 전환 시점을 훈련 데이터에 직접 레이블링하는 방식을 사용합니다. 이는 휴리스틱 기반 접근보다 학습된 전환 시점을 사용하는 것입니다. 더 정교한 방법으로는 전환 시점 자체를 학습하는 메타 컨트롤러를 둘 수 있을 것입니다.

6.4 두 카메라 이미지 융합의 효과

단일 vs 이중 카메라:

원본 OpenVLA는 단일 카메라 이미지를 사용하도록 설계되었습니다. 본 연구에서 두 카메라를 사용한 이유는 다음과 같습니다.

깊이 정보의 암묵적 획득으로, 서로 다른 각도에서 촬영된 두 이미지를 통해 3D 공간 정보를 더 잘 추론할 수 있습니다.

가려짐(occlusion) 문제 완화로, 한 카메라에서 손이나 팔에 의해 가려진 영역이 다른 카메라에서는 보일 수 있습니다.

이미지 연결 전략:

224×144와 224×80의 두 이미지를 수직으로 연결하여 224×224 단일 이미지를 생성합니다. 이 크기는 OpenVLA의 원본 입력 크기와 동일하므로, 모델 아키텍처 변경 없이 적용 가능합니다.

---

7. 한계점과 향후 연구 방향

7.1 현재 접근법의 한계

객체별 Diffusion 모델 훈련 필요:

현재 시스템의 가장 큰 한계는 새로운 객체마다 별도의 Diffusion Policy를 훈련해야 한다는 것입니다. 이는 실용적 배포에 있어 큰 장벽이 됩니다.

확장성 문제가 발생합니다. N개의 객체를 다루려면 N개의 Diffusion 모델이 필요합니다. 데이터 수집 비용도 문제입니다. 각 객체에 대해 충분한 데모 데이터를 수집해야 합니다. 저장 공간 문제도 있습니다. 여러 모델을 저장하고 로드하는 오버헤드가 발생합니다.

OpenVLA의 사전훈련 데이터 편향:

OpenVLA가 1DoF 그리퍼 데이터로만 사전훈련되어 있어, 다지 핸드에 대한 fine-tuning 효과가 제한적일 수 있습니다.

전이 학습의 한계가 있습니다. 그리퍼와 다지 핸드의 동작 공간이 근본적으로 다릅니다. 언어-동작 매핑의 불완전성 문제도 있습니다. 핸드 특화 명령(예: “pinch with thumb and index”)에 대한 이해가 부족할 수 있습니다.

제한된 작업 범위:

본 연구는 Pick-and-place 작업에 집중했습니다. 더 복잡한 인핸드(in-hand) 매니퓰레이션이나 양손(bimanual) 조작은 다루지 않았습니다.

7.2 향후 연구 방향

일반화된 Diffusion Policy:

가장 시급한 연구 방향은 다양한 객체에 일반화 가능한 Diffusion Policy를 개발하는 것입니다.

객체 카테고리 조건부 모델로, 객체의 카테고리나 속성을 조건으로 받아 적응적 파지를 생성합니다. 대규모 파지 데이터셋 활용 방안으로, 기존의 로봇 파지 데이터셋(예: DexNet, ContactGrasp)을 활용하여 사전훈련합니다. 시뮬레이션-실제 전이(Sim-to-Real) 방법으로, 시뮬레이션에서 대규모 데이터를 생성하고 실제로 전이하는 방법을 개발합니다.

다지 핸드 특화 VLA 모델:

다지 핸드 데이터를 포함한 VLA 모델 사전훈련이 필요합니다.

새로운 데이터셋 구축으로, ADAPT Hand 2와 같은 다지 핸드에서 대규모 데모 데이터를 수집합니다. 동작 표현 개선으로, 이산 토큰 대신 연속 동작 표현을 사용하거나, 더 세밀한 이산화를 적용합니다. 손가락 협응 학습으로, 다지 간의 시너지(synergy)나 협응 패턴을 명시적으로 모델링합니다.

통합 엔드-투-엔드 학습:

현재의 모듈형 접근을 넘어, 전체 시스템을 엔드-투-엔드로 학습하는 방법을 탐구할 수 있습니다.

전환 시점 학습으로, 이벤트 신호 σ의 최적 전환 시점을 자동으로 학습합니다. 계층적 정책(Hierarchical Policy)으로, VLA와 Diffusion을 하나의 계층적 정책으로 통합합니다. 강화학습 미세조정으로, 데모 학습 후 강화학습으로 추가 개선합니다.

감각 피드백 통합:

ADAPT Hand 2의 컴플라이언스가 많은 불확실성을 흡수하지만, 감각 피드백을 통합하면 더 정밀한 제어가 가능합니다.

촉각 센서 통합으로, 실리콘 스킨에 압력 센서를 추가하여 접촉 정보를 활용합니다. 힘/토크 피드백으로, 시리즈 탄성 요소에서 힘 정보를 추출하여 폐루프 제어에 활용합니다. 시각-촉각 융합으로, 시각과 촉각 정보를 동시에 처리하는 멀티모달 정책을 개발합니다.

---

8. 로봇공학적 의의와 시사점

8.1 VLA 모델의 다지 핸드 적용 가능성 검증

본 논문은 VLA 모델을 다지 로봇 핸드에 적용한 최초의 연구입니다. 이는 중요한 마일스톤으로, VLA 모델이 단순한 그리퍼를 넘어 복잡한 매니퓰레이터로 확장될 수 있음을 보여줍니다.

긍정적 함의:

언어 기반 로봇 제어의 범위가 확장됩니다. 자연어 명령으로 정교한 손 동작을 제어하는 것이 가능해집니다.

인간-로봇 상호작용이 개선됩니다. 비전문가도 언어 명령으로 로봇 핸드를 조작할 수 있습니다.

사전훈련 모델의 가치가 확인됩니다. 대규모 사전훈련의 이점이 다지 핸드에서도 유효합니다.

8.2 하이브리드 접근법의 실용성

VLA + Diffusion Policy의 하이브리드 접근법은 현재 기술의 한계를 우회하는 실용적인 해결책입니다.

장점:

각 모델의 강점 활용이 가능합니다. VLA의 언어 이해와 Diffusion의 정밀 제어를 결합합니다.

점진적 개선이 용이합니다. 각 모듈을 독립적으로 업그레이드할 수 있습니다.

실패 원인 파악이 용이합니다. 어느 단계에서 실패했는지 쉽게 진단할 수 있습니다.

단점:

시스템 복잡성이 증가합니다. 두 모델을 관리하고 전환을 조율해야 합니다.

추론 오버헤드가 발생합니다. 전환 시점에 모델 로딩이 필요할 수 있습니다.

통합 최적화의 어려움이 있습니다. 전체 시스템의 엔드-투-엔드 최적화가 어렵습니다.

8.3 컴플라이언트 하드웨어의 중요성

ADAPT Hand 2의 성공은 하드웨어 설계의 중요성을 상기시킵니다.

소프트웨어-하드웨어 공동 설계:

ADAPT Hand 2의 시리즈 탄성 액추에이션은 VLA 모델의 부정확한 출력을 물리적으로 필터링합니다. 이는 학습 기반 제어와 컴플라이언트 하드웨어의 시너지를 보여주는 좋은 예입니다.

설계 철학의 전환:

전통적 접근에서는 정확한 센싱과 제어로 불확실성을 제거하고자 합니다. 새로운 접근에서는 컴플라이언스로 불확실성을 흡수하고 적응합니다.

이 철학의 전환은 특히 학습 기반 제어가 아직 완벽하지 않은 현 상황에서 매우 유효합니다.

8.4 텔레오퍼레이션 데이터 수집의 발전

Apple Vision Pro를 활용한 텔레오퍼레이션은 고품질 데모 데이터 수집의 새로운 가능성을 보여줍니다.

장점:

직관적 인터페이스로, 인간 손 움직임을 직접 매핑하여 자연스러운 조작이 가능합니다.

실시간 피드백으로, VR 환경에서 로봇의 상태를 실시간으로 확인할 수 있습니다.

확장성 측면에서, 소비자 기기를 활용하여 대규모 데이터 수집이 가능합니다.

한계:

ADAPT Hand 2의 인간 매칭 기구학이 있어 직접 매핑이 가능했지만, 다른 로봇 핸드에서는 더 복잡한 리타겟팅이 필요할 수 있습니다.

---

9. 관련 연구와의 비교

9.1 다른 VLA 모델들

RT-1 / RT-2 (Google):

RT-1/RT-2는 대규모 트랜스포머 기반 로봇 정책의 선구자입니다. 그러나 주로 간단한 그리퍼에서 검증되었으며, 다지 핸드 적용에 대한 연구는 없었습니다. 본 논문은 VLA의 다지 핸드 확장을 최초로 시도했습니다.

Octo:

Octo는 93M 파라미터의 경량 일반화 모델입니다. 다양한 로봇 형태에 대한 일반화를 목표로 하지만, 역시 복잡한 핸드에서의 검증은 제한적입니다.

π0 (Physical Intelligence):

π0는 VLA와 Diffusion을 결합한 Flow 기반 모델입니다. 본 논문과 유사하게 하이브리드 접근을 취하지만, 아키텍처 레벨에서의 통합을 시도합니다. 반면 본 논문은 런타임 전환 방식을 사용합니다.

9.2 다른 다지 핸드 조작 연구

DexGrasp-Diffusion:

Diffusion 모델을 활용한 다지 파지 생성 연구입니다. 언어 조건은 포함하지 않으며, 파지 자세 생성에 집중합니다. 본 논문은 언어 기반 전체 작업 수행까지 확장했습니다.

Learning Dexterous In-Hand Manipulation:

Allegro Hand에서 visuomotor diffusion policy를 사용합니다. 인핸드 매니퓰레이션에 특화되어 있으며, 본 논문의 pick-and-place와는 작업 범위가 다릅니다.

9.3 계층적 로봇 제어

LoHoVLA:

계층적 폐루프 제어를 통한 장기 작업 수행에 초점을 맞춥니다. 본 논문의 VLA-Diffusion 전환과 유사한 철학을 공유하지만, 전환 메커니즘이 다릅니다.

HAMSTER:

고수준 플래너와 저수준 컨트롤러를 분리하는 계층적 VLA입니다. 크로스 엠보디먼트 일반화에서 강점을 보입니다.

---

10. 실무적 적용 고려사항

10.1 시스템 구현 시 고려사항

하드웨어 요구사항:

실시간 추론을 위해서는 OpenVLA fine-tuned 모델에 약 8GB 이상의 GPU 메모리가 필요합니다. Diffusion Policy에는 별도의 GPU 리소스가 필요합니다. 두 모델을 동시에 로드하거나 빠른 전환이 필요합니다.

지연 시간(Latency):

VLA 모델의 추론 지연은 약 100-300ms 수준입니다. Diffusion Policy의 확산 과정에도 시간이 소요됩니다. 실시간 제어에서는 지연 시간 최적화가 중요합니다.

권장 최적화:

양자화(Quantization)를 통해 8비트 또는 4비트 양자화로 메모리와 속도를 개선합니다. 배칭(Batching)으로 여러 타임스텝의 동작을 한 번에 생성합니다. 동작 청킹(Action Chunking)으로 한 번의 추론으로 여러 스텝의 동작을 생성하여 추론 빈도를 줄입니다.

10.2 데이터 수집 가이드라인

필요 데모 수량:

본 논문에서 정확한 데모 수량은 명시되지 않았지만, 일반적으로 VLA fine-tuning에는 약 100-1000개의 궤적이 권장됩니다. Diffusion Policy에는 객체당 수십-수백 개의 파지 데모가 권장됩니다.

데이터 품질:

일관된 작업 수행으로, 데모 시 일관된 전략을 사용하는 것이 좋습니다. 다양성 확보로, 다양한 초기 조건에서 데모를 수집합니다. 실패 복구 포함으로, 의도적으로 실패 상황과 복구를 포함시켜 복구 행동을 학습시킵니다.

10.3 다른 로봇 핸드로의 이식

고려사항:

기구학 차이 문제가 있습니다. ADAPT Hand 2와 다른 기구학을 가진 핸드에서는 동작 공간 매핑이 필요합니다. 컴플라이언스 차이도 있습니다. 강체 핸드에서는 VLA의 노이즈에 더 민감할 수 있습니다. 센서 구성 차이로, 카메라 위치나 수가 다르면 VLA fine-tuning 전략 조정이 필요합니다.

권장 단계:

먼저 텔레오퍼레이션 시스템을 구축합니다. 대상 핸드에 맞는 리타겟팅 개발이 필요합니다. 그 다음 데이터 수집 및 레이블링을 진행합니다. 전환 시점을 적절히 결정해야 합니다. Fine-tuning 및 훈련 단계에서, 필요시 이미지 처리 전략을 조정합니다. 마지막으로 통합 테스트에서 전환 타이밍을 미세 조정합니다.

---

11. 결론

EPFL CREATE Lab의 이 연구는 VLA 모델과 Diffusion Policy의 상보적 결합을 통해 다지 로봇 핸드 제어의 새로운 가능성을 제시했습니다.

핵심 기여

첫째, 최초의 다지 핸드 VLA 적용으로, VLA 모델이 13DoF 인간형 핸드에서도 유효함을 입증했습니다.

둘째, 실용적 하이브리드 프레임워크를 제안했습니다. 이벤트 신호 기반 전환으로 두 모델의 장점을 결합했습니다.

셋째, 80% 이상의 성공률 달성으로, VLA 단독(40% 미만) 대비 획기적인 개선을 보여주었습니다.

넷째, 컴플라이언트 하드웨어의 가치를 입증했습니다. ADAPT Hand 2의 시리즈 탄성 액추에이션이 학습 기반 제어와 시너지를 발휘했습니다.

남은 과제

일반화된 Diffusion Policy 개발, 다지 핸드 특화 VLA 사전훈련, 엔드-투-엔드 통합 학습 등의 과제가 남아 있습니다.

전망

이 연구는 언어로 제어되는 정교한 로봇 손의 미래를 향한 중요한 한 걸음입니다. VLA 모델의 급속한 발전과 Diffusion 기반 정책의 성숙, 그리고 컴플라이언트 하드웨어 설계의 진보가 결합되면, 인간 수준의 손재주를 가진 로봇은 더 이상 먼 미래의 이야기가 아닐 것입니다.

로봇공학자로서 우리는 이러한 하이브리드 접근법에서 영감을 받아, 각자의 연구에서 모듈간 시너지를 찾고 하드웨어-소프트웨어 공동 설계의 중요성을 인식해야 할 것입니다. 본 논문은 그 방향에서 훌륭한 사례 연구를 제공합니다.

참고문헌

본 리뷰에서 언급된 주요 연구들입니다.

• Pan, C., Junge, K., & Hughes, J. (2024). Vision-Language-Action Model and Diffusion Policy Switching Enables Dexterous Control of an Anthropomorphic Hand. arXiv:2410.14022.
• Kim, M. J., et al. (2024). OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246.
• Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS 2023.
• Junge, K., & Hughes, J. (2025). ADAPT-Teleop: Robotic Hand with Human Matched Embodiment Enables Dexterous Teleoperated Manipulation. npj Robotics.
• Junge, K., & Hughes, J. (2025). Spatially Distributed Biomimetic Compliance Enables Robust Anthropomorphic Robotic Manipulation. Communications Engineering.
• Brohan, A., et al. (2022). RT-1: Robotics Transformer for Real-World Control at Scale.
• Brohan, A., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control.
• Team, O., et al. (2024). Octo: An Open-Source Generalist Robot Policy.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

개요 및 배경

최근 로봇 조작 분야에서는 시각과 언어를 결합하여 로봇 행동을 생성하는 Vision-Language-Action (VLA) 모델이 주목받고 있습니다. VLA 모델은 카메라 영상과 텍스트 지시를 입력받아 로봇의 저수준 동작 명령을 바로 출력하는 거대 멀티모달 모델로, Google DeepMind의 RT-2 등을 시작으로 발전해왔습니다. 그러나 기존 VLA 모델은 주로 1자유도 그리퍼(집게 형태 집게발)에 대해서만 학습되어 왔기 때문에, 인간 손과 유사한 다자유도 로봇 손에 그대로 적용하기에는 한계가 있습니다. 예컨대 여러 손가락을 정밀하게 조작해야 하는 섬세한 조작 작업에서, 거대 VLA 모델만으로는 충분한 정밀 제어 신호를 생성하기 어려운 문제가 있습니다.

한편, Diffusion Policy로 대표되는 확산 모델 기반 로봇 정책은 연속적인 로봇 제어 명령을 생성하는 새로운 접근법으로 부상했습니다. 이는 확률적 확산 모형(denoising diffusion)을 통해 다중 모달 분포의 행동을 학습함으로써, 안정적이면서도 정교한 로봇 동작 생성을 가능하게 합니다. 확산 정책은 고차원 제어 공간(예: 다관절 로봇 손의 모든 관절 각도)에서도 학습 안정성과 부드러운 제어를 달성하고자 최근 여러 로봇 조작 작업에 적용되었으며, 다중 모드 행동(multimodal behavior)을 자연스럽게 처리할 수 있다는 강점이 보고되었습니다. 다만 이러한 확산 기반 정책 모델은 특정 환경과 작업에 대해 별도로 학습되어야 하는 경향이 있어, 범용성이 떨어진다는 단점이 있습니다.

이에 본 리뷰에서 다룰 「Vision-Language-Action Model and Diffusion Policy Switching Enables Dexterous Control of an Anthropomorphic Hand」 논문은, VLA 모델과 확산 정책 모델의 상보적 장점을 결합하여 13자유도 인간형 로봇 손의 자율 조작을 실현한 최신 연구입니다. 저자들은 대규모 사전학습 VLA 모델(OpenVLA)을 미세조정하여 고수준 언어 지시 기반 팔 움직임을 담당시키고, 별도로 학습된 확산 정책 모델을 통해 저수준 섬세한 손동작 제어를 수행하도록 하는 하이브리드 프레임워크를 제안했습니다. 이 두 가지 정책을 상황에 따라 이벤트 신호로 전환함으로써, 텍스트로 명령된 픽 앤 플레이스(pick-and-place) 작업을 완수하는데 성공하였습니다. 결과적으로 본 접근법은 VLA만 단독으로 사용했을 때 40% 미만이던 작업 성공률을 80% 이상으로 향상시켰으며, 이는 VLA 모델의 일반화된 고차원 계획 능력과 확산 모델의 정밀 제어 및 오류 복원 능력을 결합한 덕분이라고 보고되었습니다. 본 포스트에서는 해당 논문의 기술적 구현 세부사항(모델 구조, 학습 방식, 시스템 구성, 알고리즘 흐름)을 중립적 시각에서 심층 분석하고, 실험 결과와 기존 기술 대비 차별점 및 응용 가능성까지 살펴보겠습니다.

시스템 구성: 인간형 로봇 손 ADAPT Hand 2 및 테레오퍼레이션

리뷰 대상 연구는 EPFL에서 개발한 ADAPT Hand 2라는 인간형 로봇 손 플랫폼을 사용하였습니다. ADAPT Hand 2는 13개의 자유도(DoF)를 가지며, 손목 2자유도, 손가락 4자유도 엄지 포함의 인체 유사 관절 구조를 갖춘 다지 관절 손입니다. 이 손은 주요 관절부에 직렬 탄성 액추에이터(series elastic actuator) 기반의 유연 요소(스프링)를 포함하고 있어, 외부 환경과 접촉 시 충격을 흡수하고 안전한 상호작용을 할 수 있도록 기계적 유순성(compliance)을 제공합니다. 손가락에는 연속적인 소프트 스킨(continuous soft skin)이 씌워져 있어 물체를 잡을 때 마찰과 그립 감지에 유리하며, 전반적인 설계가 해부학적 구조를 참고하여 인간 손의 동작 범위를 재현하도록 만들어졌습니다. 이러한 고도화된 로봇 손 하드웨어는 거친 충돌이나 작은 오차에도 견디며 안정적으로 조작을 수행할 수 있는 기반이 되었습니다.

로봇 손은 Universal Robots사의 UR5 6자유도 로봇 팔 끝에 장착되어, 팔-손 일체형으로 작동합니다. 연구팀은 이 플랫폼 상에서 사람이 직접 로봇을 원격 조종하여 시연 데이터를 모으는 테레오퍼레이션(teleoperation) 방식을 채택했습니다. 특히 Apple Vision Pro 헤드셋의 손 추적 기능을 활용한 맞춤형 원격조작 시스템을 개발하여, 사용자의 실제 손 동작을 로봇 팔과 손에 관절 대 관절로 매핑하는 방식으로 데이터를 수집했습니다. 인간 조종자가 Vision Pro를 착용하면, 헤드셋이 인식한 손가락 관절 움직임이 로봇 손의 각 관절 모터 명령으로 변환되고, 팔 움직임도 사용자의 팔 제스처대로 UR5 로봇에 전달됩니다. ADAPT Hand 2의 인간형 기구 설계 덕분에 이러한 직접 모방 조종이 가능했다고 합니다.

그림 1. ADAPT Hand 2 기반 로봇 시스템 및 데이터 수집 환경. (좌) Apple Vision Pro의 핸드 트래킹을 이용한 테레오퍼레이션 시연: 사용자가 헤드셋을 통해 자신의 손동작으로 로봇 팔/손을 조종하며, 외부 고정 카메라(cam1)와 손목 장착 카메라(cam2)가 동기적으로 영상을 수집한다. (우) 픽 앤 플레이스 실험에 사용된 다양한 물체와 목표 위치: 빨간 피망, 테이프 롤, 종이 조각 등의 물체를 노란색 또는 보라색 접시 위에 놓는 작업 구성.

데이터 수집을 위한 시각 센서 구성도 눈여겨볼 만합니다. 로봇 주변 고정된 시점의 카메라(cam1)와 로봇 손목에 장착된 카메라(cam2) 두 대의 RGB 카메라 영상이 동시에 기록되어, 이후 학습 시 멀티뷰 시각 정보로 활용되었습니다. cam1은 작업대를 비추는 외부 시야를 제공하고, cam2는 로봇 손의 관점에서 본 1인칭 시야 영상을 제공합니다. 이를 통해 하나의 카메라만으로는 얻기 어려운 깊이 감각과 물체 주변 상황을 보다 풍부하게 포착할 수 있습니다. 연구팀은 이러한 다각도의 영상을 정책 학습에 사용함으로써, 로봇 손이 물체와 거리 및 위치를 정확히 파악하도록 도왔다고 설명합니다. (실제로 실험에서 기본 카메라 하나만 쓴 경우보다 두 카메라 영상을 결합한 경우 물체 접근 위치 오차가 유의미하게 감소하여, 테이프 같은 얇은 물체에 대한 팔 이동 정밀도가 향상되었다고 보고되었습니다.)

훈련 및 평가에 사용된 작업(Task)은 물체 집어 목표 위치에 놓기라는 Pick-and-Place 과제로, 다양한 형상의 3가지 물체(빨간 피망, 원형 테이프 롤, 얇은 종이 조각)를 2가지 색상의 접시(노란색/보라색)에 옮겨 놓는 시나리오로 구성되었습니다. 이 작은 물체 셋은 잡는 방식(grasp type)이 각기 달라야 하는 대표적 사례들로 선택되었습니다. 예를 들어, 피망은 불규칙한 곡면을 가져 손가락으로 감싸쥐는 파지가 필요하고, 테이프 롤은 가운데 구멍이 있는 링 형태로 살짝 쥐어야 하며, 종이 조각은 매우 얇아 책상 위에서 미끄러뜨리거나 아래에 손가락을 넣어 들어올려야 하는 등 다양한 조작 모달리티가 요구됩니다. 각 물체는 임의의 초기 위치에 놓이고, 접시 두 곳 중 하나를 목표로 지정하여, 로봇이 해당 물체를 들어 목표 접시 위에 내려놓는 것이 한 에피소드입니다. 이러한 물체-목표 조합에 대해 충분한 시연 데이터를 수집하기 위해, 연구진은 각 조합별 20회의 테레오퍼레이션 시연을 수행하였습니다. 원격 조종자는 VR 헤드셋을 보며 로봇을 움직여 물체 집기부터 접시 위에 놓기까지 전 과정을 실행하고, 이때 특정 순간에 버튼을 눌러 이벤트 발생 시점을 기록하였습니다. 이렇게 모은 데이터는 이후 VLA 모델과 확산 모델의 학습에 각각 활용됩니다 (다음 섹션에서 상세 설명).

마지막으로, 수집된 데이터를 활용하고 실시간 제어를 실행하기 위해 연구팀은 NVIDIA RTX 4090 GPU가 장착된 시스템에서 두 모델을 구동했습니다. 실험 시 VLA 모델과 확산 정책 모델 모두 약 5Hz 주기로 추론하여 로봇 제어 명령을 출력했다고 하며, 이는 주로 고성능 GPU가 필요한 딥러닝 기반 정책 모델의 실시간 처리 부담에 따른 것으로 보입니다.

모델 구성 및 역할 분담

본 연구의 핵심은 사전학습 VLA 모델과 확산 정책 모델을 하나의 프레임워크에서 상호 보완적으로 동작시키는 것입니다. 두 모델은 입력과 출력 구조, 잘하는 능력이 서로 다르기 때문에, 이를 적절히 분할 정복 형태로 활용합니다. 먼저 각 모델의 구조와 역할을 살펴보겠습니다.

• Vision-Language-Action (VLA) 모델 – 연구에서는 OpenVLA라는 공개된 VLA 모델을 기반으로 하여 로봇의 고수준 움직임 계획을 담당시켰습니다. VLA 모델은 거대 시각-언어 모델(Vision-Language Model)에 액션 디코더를 결합한 형태로, 언어 명령과 카메라 이미지들을 입력받으면 곧바로 로봇이 취해야 할 다음 저수준 행동을 출력합니다. 구체적으로 이 VLA 모델은 사전학습된 거대 언어모델 (Llama2 7B)에 시각 인코더를 붙여 로봇 데이터에 파인튜닝된 구조이며, 출력은 연속적인 로봇 제어값을 토큰 시퀀스 형태로 내놓습니다. OpenVLA의 액션 출력 공간은 로봇 말단장치(end-effector)의 6자유도 변위(Δx, Δy, Δz 위치 변화와 Δyaw, Δpitch, Δroll 방향 변화) 및 그리퍼 개폐 정도(예: 0~100%로 정규화된 값)를 포함하며, 한 번 추론 시 이러한 7개의 값을 내놓도록 설계되어 있습니다. 다시 말해, 이 VLA 모델은 언어로 명시된 목표 위치나 물체에 따라 로봇의 팔 끝 포즈를 어림잡아 이동시키고, 만약 단순 그리퍼였다면 언제 물체를 집을지까지 결정하는 고차원 정책을 구현합니다. VLA 모델의 강점은 텍스트 조건에 따른 높은 범용성으로, 다양한 물체와 명령 조합에 대해 학습 데이터 분포를 벗어나도 비교적 그럴듯한 행동을 산출하는 일반화 능력에 있습니다. 그러나 본 연구진도 지적하듯 OpenVLA는 원래 1 DoF 그리퍼 로봇들(핀치 그립 로봇팔)에 대해 학습된 터라, 다수 손가락의 복잡한 제어 신호를 내는 데에는 구조적 한계가 있습니다. 예를 들어 그리퍼 개폐값 하나로는 여러 관절로 이루어진 손가락들의 세부 움직임을 지시할 수 없고, 또한 VLA 모델 자체가 고정 주기 단일-step 예측자이므로 미세한 실시간 조정이나 물체 접촉 후의 대응 행동을 학습하기 어렵습니다.

• Diffusion Policy (확산 정책) 모델 – 이에 연구팀은 VLA가 감당하지 못하는 정교한 다지 손가락 제어를 확산 모델 기반 정책에 맡겼습니다. 확산 정책 모델은 Columbia 대학 등에서 개발된 Diffusion Policy 알고리즘을 토대로 한 것으로 보이며, 이 접근은 임의 형태의 센서 입력을 받아 임의 차원의 연속 제어 명령을 출력하는 조건부 생성모델입니다. 일반적으로 확산 모델은 노이즈가 추가된 데이터를 점진적으로 복원해내는 과정을 통해 데이터 분포를 학습하는데, 로봇 정책에 이를 응용하면 주어진 관측(시각, 상태 등) 조건에서 잠재적 행동들의 분포를 모델링할 수 있습니다. Diffusion Policy 기법은 확률적 샘플링으로 다중 모달 행동 생성이 가능하고, Langevin Dynamics 등을 통해 얻은 행동 시퀀스가 부드럽게 이어지며 안정적이라는 장점이 있습니다. 본 논문의 확산 정책 모델은 학습 단계에서 주어진 시각/상태 입력 시 사람 시연이 취한 행동 시퀀스를 맞추도록 훈련되며, 추론 단계에서는 현재 관측조건에서 행동을 한 스텝씩 생성하거나 혹은 전체 시퀀스를 생성 후 순차 실행하게 됩니다 (구현상 매 시간스텝 5Hz마다 다음 행동을 샘플링하는 폐루프 정책으로 운용되었습니다). 연구에서는 이 모델의 입력으로 앞서 언급한 두 카메라 영상 (cam1+cam2)과 로봇의 관절 상태(Proprioception) 등을 활용하였고, 출력으로는 UR5 로봇팔의 6개 관절 각속도와 로봇 손 13개 관절의 모터 명령을 모두 포함하는 고차원 벡터를 내놓도록 구성했습니다. 요컨대 확산 모델 정책은 VLA가 목표로 지정해준 지점 부근에서 물체를 집기 위한 세밀한 손동작 일련을 생성하는 역할을 합니다. 특히 학습된 확산 정책은 다양한 grasping 전략과 실패 시 재시도 동작까지 내재적으로 익히도록 설계되었는데, 이는 다중 시나리오의 시演 데이터로 모델을 훈련함으로써 특정 상황에 최적화된 저수준 제어사례들을 모두 포괄하려 한 것입니다. 반면 확산 모델은 기본적으로 훈련 데이터 분포를 크게 벗어난 상황에서는 성능이 담보되지 않으며, 새로운 물체 종류마다 별도 정책을 다시 학습해야 할 수 있다는 전문화 모델의 한계가 존재합니다. 실제로 논문에서도 각 물체 유형별로 개별 확산 정책을 훈련하여, 언어 지시에 따라 해당 물체에 맞는 정책을 불러오는 방식(룩업 테이블)을 사용했다고 밝히고 있습니다. 이 부분은 후술할 기존 기술 대비 한계에서도 다뤄집니다.

위의 두 모델의 역할 분담을 요약하면, VLA 모델은 “어떤 물체를 어디로 옮길지”라는 고수준 계획을 언어 조건 하에 수행하고, 확산 정책은 “실제로 어떻게 손가락을 움직여 집고 놓을지”라는 저수준 제어를 담당합니다. VLA는 언어 명령을 해석해 팔을 목표 물체 근처까지 옮기는 전반적 경로를 결정하며, 확산 모델은 물체와의 접촉부터 파지(grasp) 및 내려놓기까지의 미세동작을 해결합니다. 이러한 이원화된 제어 전략은 기존에 단일 정책으로 전과정을 학습시키는 것보다 각 부분에 특화된 모델의 장점을 극대화하고 단점을 보완하는 효과가 있습니다. VLA가 확보해주는 대략적인 목표 정합성(예: 팔을 알맞은 위치까지 이동) 덕분에 확산 정책은 국소 영역의 섬세한 작업에 집중할 수 있고, 반대로 확산 정책이 제공하는 정밀동작 실행 능력 덕분에 VLA가 미처 다루지 못한 부분까지 완수할 수 있게 됩니다. 다음으로는 이 두 모델이 어떻게 자동으로 전환(switching)되어 하나의 연속된 작업을 수행하는지 그 메커니즘을 살펴보겠습니다.

정책 전환 메커니즘: 이벤트 신호 σ를 활용한 자동 스위칭

두 개의 다른 정책 모델(VLA vs Diffusion)을 하나의 작업 흐름에서 유기적으로 연결하려면, 언제 VLA의 출력을 멈추고 확산 정책으로 넘어갈지, 그리고 다시 언제 확산 정책을 종료하고 VLA로 복귀할지를 결정하는 자동 전환 장치가 필요합니다. 논문에서는 이 목적으로 이벤트 신호(event signal)라 불리는 실수 스칼라 σ 값을 도입했습니다. 간단히 말해, σ가 특정 임계값에 도달하는 순간 정책을 스위칭하도록 약속한 것입니다. 특히 VLA와 Diffusion 모델 모두 이 공통 이벤트 신호 σ를 출력 채널 중 하나로 활용하도록 설계하여, 시간축을 따라 변화하는 σ 값이 두 정책 간 전환 시점을 나타내도록 했습니다.

VLA 모델 측에서는 원래 출력의 하나였던 그리퍼 개폐 신호(0~1 범위의 스칼라)를 이 이벤트 트리거 σ로 재해석했습니다. VLA 모델은 학습 데이터에 따라 특정 순간에 그리퍼를 닫으라는 신호(예: σ=1에 가깝게 상승)를 내도록 훈련되는데, 연구진은 이를 “목표 물체에 충분히 근접했다”는 이벤트로 보았습니다. 즉, VLA가 팔을 뻗어 물체 가까이 도달하면 그 시점에 원래는 그리퍼를 잡으라고 높이는 출력을 내는데, 실제로는 로봇 손가락이 아직 열려 있어야 하므로 대신 “이제 전환할 때다”라는 신호로 활용한 것입니다. 이러한 설계를 위해 데이터 수집 시에도 사람이 로봇을 조종하다 팔이 물체 근처에 온 순간에 게임패드 버튼을 눌러 이벤트 신호를 기록했다고 합니다. 또한 VLA 데이터를 만들 때는 실제로 손가락으로 잡지는 않지만 공중에서 손을 쥐는 동작을 의도적으로 해 보임으로써, VLA 모델이 σ 신호를 올리는 타이밍에 로봇 손이 닫히려는 제스처를 취하도록 학습시켰습니다. 이는 VLA의 사전학습 특성상 손닫힘 신호(σ)를 물체 근처에서 발생시키는 게 최적임을 이해시키기 위한 트릭입니다. 이렇게 학습된 VLA 정책은 실행 시 언어 명령과 현재 카메라 영상을 보고, 목표 물체까지 팔을 가져가는 연속 동작을 출력하다가 σ 값이 1에 가까워지면 그 순간을 감지하여 확산 정책으로 제어권을 넘기도록 시스템이 구성되었습니다.

Diffusion 정책 측에서도 마찬가지로 σ 출력을 사용했습니다. 사람이 시연 데이터를 모을 때 성공적으로 물체를 움켜쥐고 들어올린 순간에 버튼을 눌러 이벤트 신호를 기록해 두었고, 그 신호가 Diffusion 모델의 출력으로 포함되도록 하였습니다. 시연상 확산 정책 데이터는 오로지 그립 동작 부분만을 다루므로, 대부분 기간 동안 σ=0을 유지하다가 시연 종료 직전 마지막 몇 프레임 동안 σ가 1이 되도록 레이블링했습니다. Diffusion 모델은 이를 학습하여, 자신이 생성한 파지 동작이 성공적으로 완료되었다고 판단되는 시점에 σ를 1로 출력하도록 합니다. 따라서 실행 단계에서는 Diffusion 정책이 매 시각 step마다 손가락/팔 제어 명령과 함께 σ를 내는데, 이 값이 1이 되면 “물체 파지 완료” 이벤트로 간주하여 제어를 VLA에게 다시 넘깁니다】. 이후 VLA 모델은 다시 팔 동작을 이어받아 물체를 목표 위치(접시 위)까지 이동시키며, 목표 지점에 도달하면 자신의 σ 출력을 또 한 번 상승시켜 물체 내려놓기 이벤트를 알립니다. 최종적으로 로봇이 접시 위에 도달하고 VLA의 σ=1 신호가 발생하면, 그 순간 로봇 손가락을 펴서 물체를 놓고 임무를 종료하게 됩니다. (논문 설명에 따르면 마지막에 접시 위에 도달했을 때 σ 신호를 0으로 되돌림으로써 물체를 놓는 것으로 표현되어 있는데, 아마 실제 구현에서는 VLA 모델이 그리퍼 개방 신호를 다시 내리는 것을 이용해 모든 손가락을 펴는 프로그래밍된 동작**으로 물체를 떨구도록 했을 것입니다.)

이러한 과정을 타임라인으로 정리하면,

VLA 정책이 언어 명령을 받아 팔을 뻗는 동작을 실행 →

물체 근처에서 VLA의 σ=1 발생 →

확산 정책으로 전환하여 손가락 제어로 물체 집기 실행 →

물체를 잡아 들어올려 성공시 Diffusion의 σ=1 발생 →

VLA로 다시 전환하여 팔을 목표 지점으로 이동 →

접시 위 도달 시 VLA의 σ 신호로 손 놓기 및 종료 순서가 됩니다.

이러한 이벤트 기반 전환 전략을 통하여 두 모델은 한 에피소드 내에서 끊김 없이 협응할 수 있었습니다. 아래 그림은 이러한 VLA-확산 정책 혼합 제어 프레임워크를 시각적으로 보여줍니다.

그림 2. VLA-확산 정책 하이브리드 제어 프레임워크 개요. (a) 언어로 지시된 작업에 대해 OpenVLA 모델이 고수준 팔 이동 및 손목 자세 제어 명령을 생성하고, 동시에 그리퍼 명령 출력을 이벤트 신호 σ로 활용하여 두 정책 간 전환 시점을 결정한다. σ 신호가 트리거되면 확산 정책 모델로 넘어가 다자유도 손가락 제어를 통한 섬세한 파지 동작을 수행한다. (b) 픽 앤 플레이스 작업의 시간 진행에 따라 공통 이벤트 신호 σ가 어떻게 변하며 VLA와 Diffusion 정책 사이를 전환하는지 개념적으로 나타낸 도식. σ는 팔이 물체 근처에 도달한 순간(VLA→Diffusion 전환)과 물체를 성공적으로 잡은 순간(Diffusion→VLA 전환)을 각각 표시하여, 정책들이 자동으로 이어질 수 있게 한다.

이와 같은 자동 스위칭 메커니즘은 본 연구의 핵심 기여 중 하나입니다. 특히 기존 VLA 모델의 한계(다양한 손가락 제어 불가)를 극복하고, 확산 정책의 한계(출발 상태가 엉뚱하면 실패)를 보완하는 데 효과적입니다. 논문에서도 이벤트 신호 기반 통합이 없다면, 확산 정책은 출발 위치가 너무 벗어나면 성공 확률이 급격히 떨어지므로 실용적이지 않음을 강조합니다. 예를 들어 Diffusion 모델 단독으로는 손이 물체에서 15cm 이상 떨어져 시작하면 성공률이 50% 이하로 하락하지만, VLA가 평균 6cm 정도 오차 내로 손을 가져다주므로 Diffusion이 이를 충분히 커버할 수 있다는 것입니다. 또한 이벤트 신호를 활용하면 실패 시 자동 재시도도 가능해집니다. 만약 Diffusion 모델이 첫 시도에 물체를 제대로 못 집었다면 (예: 종이를 집다 미끄러뜨림), σ가 0인 상태가 지속되므로 VLA로 복귀하지 않고 Diffusion 정책이 그 상태에서 두 번째 시도를 이어가게 됩니다. 성공할 때까지 σ=1이 안 나오므로 계속 Diffusion 제어 단계에 머무르다가, 잡기에 성공하는 순간에만 σ=1로 세팅되어 비로소 다음 단계로 넘어갑니다. 연구진은 이 과정을 통해 Diffusion 정책의 “failure recovery” 능력과, 그리고 σ 이벤트 신호의 신뢰도를 확인할 수 있었다고 설명합니다.

학습 과정: OpenVLA 미세조정 및 Diffusion Policy 훈련

VLA와 Diffusion 두 모델을 원하는 대로 동작시키려면, 앞서 수집한 시연 데이터를 활용하여 각 모델을 적절히 학습(fine-tuning)해야 합니다. 논문에서는 VLA 모델과 Diffusion 모델을 별도로 학습하며, 각기 다른 데이터셋과 방법을 사용했습니다. 또한 학습 시 이벤트 신호 σ를 활용하기 위해 몇 가지 주의점을 적용하였습니다.

• VLA 모델 학습: OpenVLA 사전학습 모델을 본 실험 환경에 맞춰 미세조정(fine-tune)하였습니다. 원래 OpenVLA는 150만 개에 달하는 거대한 로봇 시연 데이터로 학습된 범용 모델이지만, 이를 바로 우리 ADAPT Hand 2 환경에 쓰기엔 도메인 차이가 큽니다. 따라서 수집한 테레오퍼레이션 시연 데이터 중 “물체를 잡기 전후의 구간”만을 사용하여 OpenVLA를 추가 훈련했습니다. 다시 말해 물체를 실제로 잡는 과정은 제외하고, 팔을 물체까지 뻗는 구간과 잡은 후 목표 지점까지 이동하는 구간에 해당하는 데이터만 가지고 학습시킨 것입니다. 이렇게 하는 이유는 VLA 모델에게 물체 파지 자체는 시키지 않을 계획이므로, 그 구간의 데이터를 굳이 학습시켜 오버피팅될 필요가 없기 때문입니다 (어차피 그 부분은 Diffusion 모델이 담당). 오히려 VLA가 팔 이동에 집중하고 σ 이벤트 트리거를 제대로 내도록 하는 것이 학습의 초점이 됩니다. 이를 위해 앞서 언급했듯 시연 시 공중에서 손을 쥐는 동작과 함께 이벤트 버튼을 눌러 데이터에 σ 라벨을 달아두었고, 학습 시 VLA의 그리퍼 출력 채널이 바로 이 σ를 예측하도록 지도하였습니다. 또한 VLA 입력으로는 두 대의 카메라 영상(cam1+cam2)을 모두 활용하기 위해, 각 영상을 지정 크기(224×144, 224×80)로 리사이즈한 후 세로로 이어붙인(concatenate) 합성 이미지를 사용했습니다. 두 시야를 결합함으로써 단일 카메라보다 깊이 및 맥락 정보가 풍부해져, 학습된 VLA가 물체 위치를 더 정확히 추론할 수 있었습니다 (실제로 두 카메라로 학습한 VLA는 하나로 학습한 경우보다 물체 접근 오차가 훨씬 작았습니다). Fine-tuning은 OpenVLA 공개모델의 기본 하이퍼파라미터를 따르되, batch size=22, 이미지 증강 비활성화(데이터 수집 시 카메라 위치와 조명이 고정이므로 필요 없음) 등의 설정을 적용했고, 단일 A100 GPU(80GB 메모리)에서 수행되었습니다. 학습은 훈련 데이터에 대한 행동 예측 정확도가 95%를 넘길 때까지 진행되었으며, 약 5만 스텝 정도 학습한 후 수렴했다고 합니다. 이렇게 얻은 맞춤형 VLA 모델은 우리 로봇 팔과 환경에 특화되어, 언어 지시에 따라 팔을 물체 근처까지 가져가고, 적절한 시점에 σ 신호를 낼 수 있도록 준비되었습니다.

• Diffusion 정책 모델 학습: Diffusion 모델은 물체를 잡는 동작 부분의 데이터만으로 훈련되었습니다. 앞서 테레오퍼레이션으로 수집한 데이터에서 팔이 물체 위 5cm 정도 위치한 상태부터 물체를 잡아 들어올리는 순간까지의 구간들만 모아, 각 물체 종류에 대해 별도의 정책을 학습시켰습니다. 물체별로 시연 횟수가 달랐는데, 테이프와 종이는 난이도가 높아 각각 40회씩, 피망은 30회가량 시연 데이터를 확보했습니다. Diffusion 모델이 이러한 시연 궤적들을 통해 물체 파지 정책을 학습하게 되는데, 이때 여러 가지 잡기 전략과 오류 복구 사례를 포함시키는 것이 중요했습니다. 그래서 시연 데이터에는 물체를 바로 집어올리는 동작뿐만 아니라 한 손가락으로 밀어 가장자리로 슬라이드 시킨 후 집는 동작 등 다양한 모드의 행동이 담기도록 했습니다. 예를 들어 얇은 종이나 테이프 같은 물체는 책상 가장자리로 밀어내면 밑으로 손가락을 넣기 쉬워지는데, 이러한 “미끄러뜨려 집기(slide pick)” 전략과 “그대로 집기(direct pick)” 전략을 모두 시연해 모델이 둘 다 배우게 했습니다. 또한 일부러 첫 시도에 실패하고 두 번째에 성공하는 복구 동작도 2~3차례 포함시켜, 모델이 실패 상황에서 재시도하는 패턴도 익히도록 했습니다. Diffusion 정책 모델의 입력은 두 카메라 영상(320×240 해상도로 리사이즈)과 로봇 상태이며, 학습 중에 무작위 이미지 크롭 등의 증강으로 288×216 크기의 입력을 얻어 훈련에 사용했습니다. 모델 구조는 CNN 기반 Diffusion Policy의 기본 설정을 따랐고, 최종 모델은 약 1500 epoch 학습 후 얻어졌습니다. 학습에는 별도의 커스텀 GPU 머신이 사용되었다고 하며, 추론 시에는 RTX 4090 GPU 상에서 5Hz 제어를 충분히 감당할 수 있는 수준의 모델로서 동작했습니다.

이처럼 각기 학습된 VLA 모델과 Diffusion 모델이 준비되면, 앞서 설명한 이벤트 신호 기반 스위칭 로직과 결합하여 하나의 통합 제어 시스템을 구성하게 됩니다. 다음으로, 이러한 통합 시스템의 실험 평가 결과를 살펴보겠습니다.

실험 및 결과

연구진은 제안한 VLA-Diffusion 하이브리드 프레임워크의 효과를 검증하기 위해 일련의 실험을 수행했습니다. 평가는 세 단계로 나눠 진행되었는데, 먼저 VLA 모델 단독 성능, Diffusion 모델 단독 성능을 개별적으로 측정하고, 최종적으로 두 모델을 결합한 전체 시스템 성능을 측정하는 방식입니다. 또한 각 실험에서 세부 지표와 성공 기준을 설정하여 정량적으로 분석했습니다.

VLA 모델 단독 성능: 고수준 팔 이동 평가

먼저 VLA만으로 전체 픽앤플레이스 작업을 수행시켜 본 결과가 보고되었습니다. 여기서는 VLA 모델이 팔 움직임 + (프록시)그리퍼 제어를 모두 책임지며, 확산 정책은 사용하지 않습니다. 앞서 언급했듯 VLA 모델은 다자유도 손가락을 제대로 제어할 수 없으므로, 대신 손을 쥐는 동작을 미리 녹화된 1-DoF 그리퍼 닫힘 시퀀스로 대체하여 사용했습니다. (이는 학습 때 VLA 데이터 수집 시 사용했던 제네릭 파워 그립 모션을 그대로 이용한 것입니다.) 연구진은 피망, 테이프, 종이 3개 물체 중 종이는 아예 VLA 학습에 넣지 않은 모델로 평가했다고 하는데, 이는 종이까지 포함하면 VLA가 끝까지 학습 수렴을 못 했기 때문이라고 합니다 (실제로 종이를 포함해 fine-tuning을 시도하면 행동 예측 정확도가 80% 선에서 정체되어 모델 성능이 불안정했다고 언급합니다). 따라서 이 평가는 피망과 테이프 두 물체에 대해서만 각각 5회씩 VLA 단독 시도를 해본 결과로 요약됩니다.

Table I에 해당하는 VLA 단독 성공률을 보면, 피망을 집어 옮기는 작업은 약 40~45% 정도 성공을 보인 반면 테이프는 20~25% 수준으로 대부분 실패했습니다. (종이는 앞서 말한 대로 시도하지 않았습니다.) 여기서 성공은 물체를 올바른 접시에 잘 놓았는지를 기준으로 5점 척도로 평가되었는데, 1.0은 완전 성공, 0.75는 물체를 잘 잡았으나 잘못된 접시에 놓은 경우, 0.5는 잘못된 접시 + 물체도 덜 안정적으로 놓음, 0.25는 물체를 제대로 못 잡음, 0.0은 아예 엉뚱한 물체로 접근함을 의미합니다. VLA 단독의 낮은 점수는 주로 테이프를 전혀 집지 못한 것과 관련 있는데, 테이프처럼 섬세한 파지가 필요한 물체에 대해서 VLA가 전혀 대응하지 못했기 때문입니다. 피망의 경우 그나마 몇 차례 집어올리기에 성공했지만, 전체적인 작업 성공률은 절반 이하로 신뢰하기 어려운 수준입니다. VLA 단독이 이처럼 부진한 이유는, σ 출력 하나로 복잡한 손동작을 커버할 수 없기 때문입니다. VLA는 물체까지 팔을 움직이는 능력은 보였지만, 잡기 동작에서 반복적으로 실패하였고, 성공 점수에서도 대부분 팔만 정확히 뻗었을 뿐 물체는 놓친 경우(0.25 수준)에 머물렀습니다. 요약하면, 다자유도 섬세 조작 작업을 VLA 모델 단독으로 수행하기에는 현 기술 수준으로 부족하다는 점을 실험으로 확인한 셈입니다.

흥미로운 추가 분석으로, VLA가 물체에 얼마나 정확히 접근하는지를 수치화한 결과도 제시되었습니다. VLA 실행 종료(이벤트 스위치 시점) 시점에 로봇 손 중심과 물체 중심의 평면상 거리(offset)를 측정한 것인데, 듀얼 카메라를 쓴 VLA 모델의 경우 평균 6cm 이내 오차로 손이 물체 근처까지 도달한 것으로 나타났습니다. 반면 단일 카메라로 학습한 VLA는 이 오차가 더 컸고 특히 테이프의 경우 평균 오차가 유의하게 컸습니다. 이는 2개의 시점 정보 사용이 물체 위치를 파악하는 정밀도를 높여준다는 점을 실험적으로 뒷받침하며, 결국 VLA+카메라 구성의 최적화가 확산 정책과 연계될 때 필요 충분한 정확도(약 6cm 오차)를 제공함을 보여줍니다. (6cm 정도면 Diffusion 정책이 충분히 커버 가능한 범위로, 앞서 언급했듯 15cm 이내 접근이 중요합니다.)

Diffusion 정책 모델 단독 성능: 저수준 파지 및 복원 평가

다음으로 확산 정책 모델만으로 물체 grasping을 수행하는 실험이 진행되었습니다. 이는 VLA 도움 없이 Diffusion 모델이 초기 손 위치가 물체 근처에 주어진 상황에서 물체를 들어올릴 수 있는지, 그리고 다양한 파지 전략과 실패 복구를 보여주는지 확인하는 테스트입니다. 두 가지 소주제가 있는데, 하나는 다중 모달 전략 학습 평가, 다른 하나는 초기 위치 오차 허용 범위 평가입니다.

먼저 다중 모달 grasp 전략에 대해, 연구진은 테이프와 앞서 언급된 얇은 푸른 사각 블록(blue block)을 대상으로 실험했습니다. 이 두 가지 객체는 얇은 형태라 미끄러뜨려 잡기 vs 바로 집기의 두 전략을 모두 적용할 수 있는 사례입니다. Diffusion 정책은 학습 단계에서 슬라이드 잡기와 직접 잡기 시나리오를 동일 개수로 훈련받았고, 실험 시 물체를 테이블 가장자리로부터 다양한 거리(가까움 ~ 멀리)로 배치하면서 어떤 방식으로 잡는지 관찰했습니다. 그림 7의 결과에 따르면, 물체가 테이블 가장자리와 가까울수록 슬라이드 픽(slide pick) 방식으로 잡을 확률이 높아졌고, 반대로 테이블 중간쯤에 있을 땐 바로 들어올리는 direct pick을 더 자주 사용했다고 합니다. 이는 마치 사람도 탁자 끝에 있는 물건은 밀어서 잡고, 가운데 있는 물건은 그대로 집듯이 상황에 따라 전략을 달리하는 것과 유사한 행동입니다. 더욱 주목할 점은, 테스트한 모든 거리 조건에서 5회씩 시도한 결과 테이프와 블록 모두 한 번도 실패 없이 성공했다는 것입니다. 즉, Diffusion 정책 모델은 학습한 범위 내에서는 어떤 상황이 오더라도 유연하게 전략을 선택해 100% 성공적으로 물체를 잡아냈다고 볼 수 있습니다. 이로써 확산 정책의 컨텍스트 기반 다중모드 제어 능력과 정확한 손가락 동작 생성 능력이 입증되었습니다.

다음으로 초기 위치 오차 허용도에 대한 테스트에서는, Diffusion 모델이 얼마나 물체와 떨어진 상태까지는 성공적으로 집을 수 있는지를 측정했습니다. 이를 위해 피망과 테이프를 대상으로, 로봇 손을 이상적인 시작 위치에서 가로방향으로 5cm, 10cm, 15cm씩 일부러 어긋난 위치에 두고 grasp 시도를 여러 번 해보았습니다. 그 결과를 도식화한 그림 8에서, 손-물체 중심 간 오프셋이 15cm를 넘어가면 성공률이 급격히 50% 밑으로 떨어지는 것이 확인되었습니다. 반면 15cm 이내에서는 비교적 높은 성공률을 보였으며, 특히 6cm 정도 오차까지는 Diffusion 정책이 큰 문제 없이 보정하여 잡기를 수행할 수 있었습니다. 이 실험은 확산 모델의 한계와 동시에 VLA 모델의 필요성을 명확히 보여줍니다. Diffusion 정책은 가까운 범위에서는 정밀 제어로 잡아낼 수 있으나, 초기 정렬이 크게 빗나가면 역량 범위를 벗어나 실패합니다. 따라서 VLA가 사전에 손을 물체 근처(오차 수 cm 수준)까지 데려다주는 것이 필수임을 알 수 있습니다. 다행히 VLA의 평균 접근 오차 6cm는 Diffusion 정책의 허용 범위 내이므로, 두 모델의 결합 논리가 유효함이 데이터로 뒷받침되었습니다.

끝으로, 확산 정책의 실패 복구 능력도 질적으로 평가되었습니다. 그림 9는 Diffusion 모델이 첫 시도 실패 시 자동으로 두 번째 시도를 수행하는 장면과 이벤트 신호 변화를 보여주는 그래프입니다. 예시로, 로봇이 종이를 집으려다 처음엔 놓쳤지만 재시도하여 결국 성공하는 과정이 묘사되었습니다. 이때 로봇 손가락 관절 각도의 변화를 보면, 인덱스 손가락 관절 각도가 두 번 튀는 것이 포착되는데, 이는 두 차례 잡기 시도를 의미합니다. 주목할 부분은, 첫 시도에서 실패한 경우 이벤트 신호 σ가 0 상태를 유지하며, 시스템이 이를 감지해 Diffusion 정책을 종료하지 않고 계속 동작하도록 한 점입니다. 그러다 두 번째 시도에서 물체를 제대로 쥐자 비로소 σ가 1로 상승하며 성공 이벤트를 알리고 다음 단계로 넘어갔다는 것입니다. 이로써 Diffusion 정책이 실패해도 포기하지 않고 반복 시도할 수 있으며, 제안된 이벤트 신호 방식이 실패를 안정적으로 구분해주는 것을 확인할 수 있었습니다.

VLA + Diffusion 통합 성능: 전체 작업 성공률

마지막으로, 제안된 VLA-확산 정책 결합 시스템을 실제로 구동하여 전체 픽 앤 플레이스 작업 성공률을 측정한 결과입니다. 각 물체(피망, 테이프, 종이)와 각 목표 접시 조합 (총 3×2 = 6가지)에 대해 5회씩 테스트를 수행하여 성공률을 계산했습니다. 평가 기준은 앞서 VLA 단독 실험과 동일하게 5단계 성공 점수(0.0~1.0)를 사용했습니다.

결과는 매우 고무적이었는데, 모든 조합에 대해 0.8 이상의 평균 성공 점수를 기록했습니다. 이는 대부분의 시도가 완전 성공 또는 약간의 실수(접시 혼동 등)만 있었음을 의미합니다. 특히 피망과 테이프의 경우 VLA 단독 점수(각각 0.43, 0.20) 대비 통합 시스템 점수(각각 >0.8)로 크게 향상되었음을 알 수 있습니다. 종이의 경우 VLA 단독 비교치는 없지만, 통합 시스템이 이 어려운 물체까지 성공적으로 처리했음을 고려하면 VLA 단독으로는 불가능했던 작업을 달성한 셈입니다. 그림 10의 (D) 부분은 이러한 성공률 비교를 한눈에 보여주는데, VLA+Diffusion 막대는 모두 높이 올라가 있고 VLA-only 막대는 매우 낮은 것을 볼 수 있습니다. (앞서 언급했듯 VLA-only는 종이를 포함하지 않고도 저조한 성과였기에, 종이를 포함하면 더욱 극명한 차이가 났을 것입니다.)

또한 그림 10의 (A), (B), (C) 부분에는 실제 로봇이 작업을 수행하는 연속 사진, 수직 방향 손목 높이 및 이벤트 신호 그래프, 평면 상 팔 끝 궤적 등이 그려져 있습니다. 이를 통해 VLA와 Diffusion 간 전환 지점을 시각적으로 확인할 수 있는데, 예를 들면 (B)의 그래프에서 보라색 선(σ)이 중간에 두 번 피크를 찍는 부분이 VLA→Diffusion 및 Diffusion→VLA 전환 순간임을 보여줍니다. (C)의 XY 궤적에서도 색깔이 보라색(VLA)에서 초록색(Diffusion)으로 바뀌는 지점이 나타나 두 정책이 순차적으로 동작했음을 알 수 있습니다. 이처럼 두 모델 간 경계 구분이 명확하고 조화롭게 이루어져 최종 임무가 성공적으로 완수되었음을 다양한 방식으로 검증하였습니다.

종합하면, 본 연구의 실험 결과는 언어-시각 기반의 범용 고차원 정책(VLA)과 정교한 저차원 제어 정책(Diffusion)을 결합함으로써 복잡한 로봇 손 조작 작업에서 기존 대비 크게 향상된 성능을 낼 수 있음을 보여줍니다. VLA 단독으로는 어려웠던 다양한 물체 파지가 가능해지고, Diffusion 단독으로는 한계가 있던 언어 조건 다변화와 초기 위치 보정 문제가 해결되었습니다. 또한 다중 모달 전략 구사, 실패 시 재시도, 충돌 견딤 등 강인한 조작 행동이 관찰되어, 이러한 하이브리드 접근의 유효성을 입증했습니다.

기존 기술 대비 차별성 및 향후 응용

이번 연구는 대규모 VLA 모델을 인간형 로봇 손에 적용하고, 확산 정책과의 결합으로 실용적 성능을 끌어냈다는 점에서 의의가 큽니다. 몇 가지 중요한 차별화 포인트와 한계점, 그리고 향후 개선 방향을 정리하면 다음과 같습니다.

• 다관절 로봇 손에서 VLA 모델 첫 적용: 이전까지 공개된 VLA 모델 (RT-1, RT-2, OpenVLA 등)은 주로 1DoF 그리퍼 로봇에 한정되어 있었습니다. 본 연구는 복잡한 인간형 손에서도 VLA의 고차원 계획 능력이 통할 수 있음을 처음으로 보여주었습니다. 이를 위해 기계적 설계(유연 손), 데이터 수집(인간 테레오퍼레이션), 출력 인터페이스 수정(σ 이벤트 활용) 등 다방면에서 보완을 가한 점이 차별화 요소입니다.

• 하이브리드 AI 제어의 실증: 로봇 제어에서 하나의 거대 모델 대신 두 가지 모델의 장점을 조합하는 전략을 실험적으로 검증한 사례입니다. 논문은 “VLA의 언어인지 및 고수준 계획 능력 + Diffusion의 맥락적 정밀 제어 능력”이라는 구도를 제시했는데, 이는 전통적 모션 플래닝 + 서보 제어를 학습기반으로 재해석한 것이라 볼 수도 있습니다. 특히 이벤트 신호 σ라는 간결한 인터페이스로 두 거동을 연결한 점은, 향후 다양한 모델 통합에도 응용될 수 있는 아이디어입니다 (예: 힘제어 정책과 비전 정책 결합 등에 활용). 또한 최근 등장한 다른 접근으로 DiffusionVLA 등 autoregressive VLA와 diffusion을 통합하려는 시도들이 있는데, 본 연구는 실제 물리 로봇 실험으로 이러한 개념을 입증했다는 가치가 있습니다.

• 한계점 - 확장성: 아직 범용 로봇 지능으로 가기엔 몇 가지 제한이 존재합니다. 첫째, 물체별로 확산 정책을 별도 훈련해야 하는 점입니다. 논문에서도 이점을 주요 한계로 지적하며, 새로운 객체가 추가될 때마다 데이터를 모으고 모델을 학습해야 하는 건 실용성을 떨어뜨린다고 언급합니다. 이를 보완하려면 사전학습된 거대 확산 정책이나 여러 객체에 대한 통합 정책 연구가 필요합니다. 예를 들어, 미리 방대한 다물체 조작 데이터로 학습된 Diffusion 모델을 활용하거나, 언어 조건에 따라 다양한 객체에 일반화할 수 있는 확산 정책이 개발될 수 있습니다. 둘째, VLA 모델 자체도 훈련 데이터 편향이 문제입니다. 현재 OpenVLA가 다양한 로봇 팔+그리퍼 위주로 학습되었기에, 다양한 형태의 손에 대해서는 충분한 경험을 못 했습니다. 향후에는 여러 형태의 손이나 도구를 포함한 시연 데이터셋을 구축하거나, 모델 구조를 손가락 제어까지 직접 출력 가능하도록 개선하는 연구가 필요할 것입니다.

• 하드웨어 활용 및 센서 융합 기회: 연구진은 이번에 로봇 손의 기계적 유연성이 성능 향상에 기여했음을 강조합니다. 부드러운 스킨과 탄성 관절 덕분에 약간의 충돌이나 미끄러짐에도 로봇이 안정적으로 대응했고, 이는 학습기반 정책의 오차를 물리적으로 흡수해준 셈입니다. 나아가 능동적으로 강성을 조절하는 기능(variable stiffness control)을 손에 부여한다면, 학습 정책의 한계를 보완하며 파지 성공률을 높일 수 있을 것이라 제안합니다. 예를 들어, 초기엔 손가락을 유연하게 움직이다 물체를 잡을 땐 단단하게 고정하는 등의 제어를 학습에 통합하는 방식입니다. 또한 현재 시각 정보에만 의존한 것을 넘어, 촉각 센서를 손가락에 장착해 손끝 힘 피드백까지 활용하면 더욱 안정적인 조작이 가능할 것으로 전망합니다. 촉각은 물체를 쥐는 힘 조절이나 미끄럼 감지 등에 필수적인데, 이를 학습 프레임워크에 포함하면 미세 조작 정밀도와 신뢰성이 한층 개선될 것입니다.

• 응용 가능성: 본 연구의 성과는 복잡한 일상 물체 조작을 로봇에게 가르치는 방향으로 유용하게 쓰일 수 있습니다. 언어로 지시하고 다자유도 로봇 손으로 수행하는 조작은, 궁극적으로 가정용 서비스 로봇이나 산업용 다기능 조작 로봇의 핵심 역량입니다. 예컨대 “컵을 집어 설거지통에 넣어라”와 같은 명령을 이해하고 실행하는 데에는 정확한 손동작이 필요한데, 이런 시스템을 통해 언어 명령 -> 로봇 행동의 자연스러운 연결을 기대할 수 있습니다. 또한 재활 로봇 손이나 원격 조작 분야에서도, 사람의 모호한 지시를 해석해 필요한 섬세한 동작을 알아서 해주는 보조장치로 활용할 수 있을 것입니다. 다만 앞서 지적한 대로 현재는 물체 종류 등 범용성이 제한되어 있으므로, 이를 극복하기 위한 대규모 데이터 학습, 시뮬레이션을 통한 자율학습, 모듈 추가 등이 앞으로의 과제가 될 것입니다.

결론

Vision-Language-Action Model and Diffusion Policy Switching Enables Dexterous Control of an Anthropomorphic Hand 논문은 언어-시각 기반 거대 모델과 확산 기반 정책 모델의 결합을 통해 인간형 로봇 손의 자율 조작이라는 도전적 문제에 한 걸음 다가선 연구입니다. VLA 모델의 장점(범용적 고차원 계획)과 Diffusion 정책의 장점(정밀하고 다변량의 제어)을 통합함으로써, 개별 모델만으로는 어려웠던 텍스트 명령에 따른 복잡한 물체 다루기를 실현했습니다. 13자유도 로봇 핸드인 ADAPT Hand 2 플랫폼에서 이루어진 이번 실험은, 거대 멀티모달 모델을 실제 로봇 하드웨어에 적용하는 데 수반되는 문제들(데이터 수집, 모델 인터페이스 차이, 안정성 등)을 창의적으로 해결한 사례입니다. 물론 여전히 개별 객체별 학습 필요성, 모델의 한계적인 범용성 등의 제약이 있지만, 이러한 하이브리드 접근법은 향후 로봇 학습 분야에서 새로운 패러다임으로 자리잡을 잠재력이 있어 보입니다. 향후 더 다양한 손 동작 데이터와 센서 정보를 통합하고, 모델들을 한층 일반화함으로써, 사람처럼 손재주 좋게 여러 작업을 척척 해내는 로봇을 기대해볼 수 있겠습니다. 이번 연구는 그 가능성을 중립적인 시각에서 검증했다는 점에서 로봇공학 연구자들에게 시사하는 바가 크며, 앞으로 관련 분야 발전에 중요한 발판이 될 것으로 보입니다.