📃DexGrasp-VLA 리뷰

End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy - VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link + Supplementary
• Project

1. 🤖 기존 데이터 수집의 한계를 극복하기 위해, 본 논문은 인간이 팔을 VR 텔레오퍼레이션으로 조작하고 자율적인 DexGrasp-VLA 정책이 손을 제어하는 Shared Autonomy 프레임워크를 제안하여 효율적인 고품질 데이터 수집을 가능하게 합니다.
2. 🦾 수집된 데이터를 활용하여, 제안된 Arm-Hand Feature Enhancement module은 팔과 손의 움직임에 대한 고유한 특징과 공유된 표현을 명시적으로 학습하여 더 부드럽고 견고한 암-핸드 조정을 제공하는 VLA 정책을 훈련합니다.
3. ♻️ 또한, Corrective Teleoperation 시스템을 통해 인간의 개입으로 실패 사례를 복구하고 데이터를 보강하여 정책을 지속적으로 개선할 수 있으며, 실험 결과 50개 이상의 다양한 객체에 대해 약 90%의 성공률을 달성하며 프레임워크의 효과를 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 일반적인 로봇의 dexterous manipulation (정교한 조작)이 여전히 어려운 과제임을 지적하며, 특히 로봇 팔과 손의 seamless한 coordination (원활한 조율) 학습이 중요하다고 강조합니다. 기존 VLA (Vision-Language-Action) 모델이 유망하지만, 고품질 데이터 부족이 확장성을 제한합니다. 완전 수동 teleoperation은 인간 작업자에게 과도한 인지 부하를 주어 세션 지속 시간을 단축하고, 자동화된 planning은 부자연스러운 움직임을 생성하고 기술적인 조작 학습에 suboptimal한 데이터 분포를 야기합니다.

이러한 한계를 극복하기 위해, 본 논문은 Shared Autonomy framework를 제안합니다. 이 프레임워크는 macro motion (로봇 팔)과 micro motion (로봇 손) 영역에 따라 제어 권한을 분할합니다. 인간 작업자는 VR (Virtual Reality) teleoperation을 통해 로봇 end-effector (말단 장치)의 움직임을 직관적으로 안내하고, 자율적인 DexGrasp-VLA 정책은 실시간 촉각 및 로컬 시각 피드백을 사용하여 fine-grained (미세하고 정교한)하고 force-adaptive (힘 조절이 가능한) 손 제어를 Copilot으로서 보조합니다. 이러한 역할 분담은 인간의 인지 부하를 크게 줄이고, 정신적 피로를 최소화하면서 고품질의 coordinated arm-hand demonstration (조율된 팔-손 시연) 데이터를 효율적으로 수집할 수 있게 합니다.

수집된 demonstration 데이터를 사용하여, 본 논문은 Arm-Hand Feature Enhancement module로 강화된 end-to-end VLA 정책을 학습시킵니다. 이 아키텍처는 macro (팔) 및 micro (손) 움직임의 뚜렷한 잠재 특징과 공유된 표현을 명시적으로 포착하여, 더욱 부드럽고 견고한 팔-손 조율을 가능하게 합니다. 또한, Corrective Teleoperation system은 human-in-the-loop (인간 개입형) 실패 복구 및 데이터 증강을 통해 지속적인 정책 개선을 지원합니다.

핵심 방법론은 다음과 같습니다:

1. DexGrasp-VLA: Autonomous Dexterous Grasping Policy (자율적인 정교한 잡기 정책)
   • Force-Adaptive Grasping Policy Learned by LSTM: 먼저 “blind” (시각 정보 없이) LSTM 기반 정책을 학습시켜 촉각 및 고유 수용성 피드백만을 사용하여 견고한 힘 조절 잡기를 수행합니다.
     • 데이터 수집은 두 가지 보완적인 방법을 통해 이루어집니다:
       • Force-Adaptive Position Control: 파라미터 기반의 rule-based 컨트롤러를 사용하여 50Hz로 compliant grasping (순응적인 잡기)을 생성합니다. 각 단계 i에서 명령어 q_c(i)는 q_c(i) = q_m(i) + q(0) \cdot e^{-k \cdot f_z(i)}로 계산됩니다. 여기서 q_m(i)는 측정된 joint position, q(0)는 초기 position, k는 잡는 힘을 조절하는 gain, f_z(i)는 fingertip의 resultant normal force (합력 수직력)입니다.
       • Human Teleoperation via Retargeting: Leap Motion 센서로 인간 손 움직임을 캡처하여 12-DoF Xhand에 retargeting하여 전체 잡기 시퀀스를 50Hz로 샘플링합니다.
     • LSTM 기반 정책 학습: Behavior Cloning을 통해 LSTM 정책을 학습시킵니다. 입력은 각 시간 단계 t에서 x_t = [s_{hand}^t, f_{hand}^t] \in R^{39}이며, s_t = [q_{hand}^t, \tau_{hand}^t] \in R^{24}는 고유 수용성 상태, f_{hand}^t \in R^{15}는 fingertip tactile array에서 측정된 신호입니다. 길이 T의 sliding window가 시퀀스 입력 X = [x_{t-T+1}, \dots, x_t] \in R^{T \times 39}를 형성합니다. 손실 함수는 예측된 행동과 시연된 행동 간의 MSE (Mean Squared Error)와 L2 regularization의 합입니다: L = \frac{1}{N} \sum_{i=1}^N \left\| a_t^{(i)} - \hat{a}_t^{(i)} \right\|_2^2 + \lambda \left\| \Theta \right\|_2^2.
   • Tactile-based DexGrasp-VLA \pi_{hand}: LSTM 정책의 시각 인식 부족을 보완하기 위해, LSTM 정책이 자율적으로 수집한 데이터를 사용하여 시각 및 촉각 센싱을 통합하는 multimodal VLA 정책을 학습시킵니다.
     • Tactile Feature Extraction: raw tactile reading인 F_{raw} \in R^{10 \times 12 \times 3} (fingertip당)를 직접 사용하는 대신, 두 가지 보완적인 촉각 특징을 추출합니다:
       • Resultant force vector (f_{tac-ft} \in R^{5 \times 3}): 각 fingertip 센서 배열의 힘 구성요소를 합산하여 얻습니다.
       • Spatial tactile embedding (f_{tac-st} \in R^{5 \times 128}): Convolutional Autoencoder (CAE)를 사용하여 각 fingertip의 공간-힘 관계를 압축된 잠재 표현으로 인코딩합니다. CAE는 재구성 손실 L_{recon} = \frac{1}{3HW} \sum_{c \in \{x,y,z\}} \sum_{i=1}^H \sum_{j=1}^W \left( F_{c,ij} - \hat{F}_{c,ij} \right)^2을 최소화하도록 학습됩니다.
     • Grasping VLA Policy Learning: 추출된 촉각 특징을 VLA 프레임워크에 통합합니다. f_{tac-ft}와 f_{tac-st}를 MLP를 통해 임베딩 벡터 z_{tac-ft}와 z_{tac-st}로 변환합니다. 이 촉각 임베딩은 in-hand 카메라 이미지 I_{hand}^t, 언어 명령 l^t, 고유 수용성 손 상태 q_{hand}^t를 포함한 다른 감각 양식의 임베딩과 융합됩니다. 전체 관측 공간은 o_{hand}^t = \langle I_{hand}^t, l^t, q_{hand}^t, z_{tac-ft}, z_{tac-st} \rangle로 정식화됩니다. 정책 \pi_{hand}(A_{hand}^t | o_{hand}^t)는 이러한 multimodal 관측을 사용하여 손 동작 시퀀스 A_{hand}^t를 예측합니다.
2. Shared Autonomy for Data Collection (데이터 수집을 위한 공유 자율성)
   • 인간 작업자는 VR 인터페이스를 통해 로봇 팔의 end-effector를 teleoperate하여 obstacle-avoidant (장애물 회피) 도달 및 포지셔닝을 담당하고, 사전 학습된 DexGrasp-VLA 정책은 자율적으로 dexterous hand를 제어하여 미세한 잡기를 수행합니다.
   • VR-Based Arm Teleoperation System: XRoboToolkit 프레임워크를 기반으로 relative motion mapping (상대 운동 매핑) 제어 패러다임을 구현합니다. 로봇 팔의 end-effector 추적은 VR 컨트롤러의 grip button으로 시작됩니다. 로봇의 타겟 포즈는 T_{robot,t} = T_{robot,0} \cdot (T_{VR,0}^{-1} \cdot T_{VR,t})로 계산됩니다. Inverse Kinematics (IK) solver (속도 수준 Quadratic Program (QP)으로 정식화)는 이 타겟 포즈로부터 타겟 joint angle을 계산합니다. joint velocity \dot{q}를 최적화 변수로 사용하여 \min_{\dot{q}} \sum_{i=1}^N w_i \|J_i(q)\dot{q} + e_i(q)\|_2를 만족하는 해를 찾습니다.
   • Coordinated Arm-Hand Data Collection: 인간 teleoperation (90Hz)과 자율 정책 실행 (30Hz)을 원활하게 통합하는 multi-thread 제어 아키텍처를 사용합니다. 수집된 데이터셋 D_{uni} = \{ (o_{uni}^t, a_{arm}^t, a_{hand}^t) \}_{t=1}^T는 시간 동기화된 관측 및 행동을 포함합니다. 여기서 o_{uni}^t = [I^t, l^t, q_{arm}^t, q_{hand}^t]입니다.
3. Learning End-to-End Arm-Hand VLA Policy \pi_{uni} (End-to-End 팔-손 VLA 정책 학습)
   • Shared Autonomy를 통해 수집된 arm-hand demonstration 데이터를 기반으로, 사전 학습된 VLA 모델의 SFT (Supervised Fine-Tuning)를 수행하여 arm-hand coordinated (팔-손 조율된) dexterous grasping 정책 \pi_{uni}(A_{uni}^t | o_{uni}^t)를 학습시킵니다.
   • Arm-Hand Feature Enhancement: 기존 \pi_0 모델은 multi-modal 관측을 공유된 작업 표현 z_{share}^t \in R^{d_s}로 인코딩하지만, 팔과 손 움직임의 뚜렷한 운동학 및 동역학을 설명하지 못합니다. 이를 위해 z_{share}^t를 두 개의 전용 MLP (E_{arm} 및 E_{hand})를 통해 limb-specific (사지별) 잠재 특징 z_{arm}^t \in R^{d_a} 및 z_{hand}^t \in R^{d_h}를 생성합니다. 보조 예측 헤드 (H_{arm} 및 H_{hand})는 해당 특징으로부터 sub-action \hat{A}_{arm}^t 및 \hat{A}_{hand}^t를 직접 예측하도록 학습됩니다. 최종 행동 예측을 위해, 주 행동 헤드 H_{main}는 융합된 표현 z_{fused}^t = [z_{share}^t, z_{arm}^t, z_{hand}^t]를 입력으로 받아 통합된 행동 \hat{A}_{uni} = [\hat{A}_{arm}^t, \hat{A}_{hand}^t]을 출력합니다.
   • Learning Objective: 주 조율 손실과 두 개의 보조 손실을 결합한 복합 손실 함수를 사용합니다.
     • Main Loss: 조건부 flow matching에서 파생되며, 전체 행동 시퀀스 A_{uni} = (A_{arm}^t, A_{hand}^t)에 적용됩니다: L_{\tau}^{main}(\theta) = E \left[ \left\| H_{main}(z_{fused}^t) - u(A_{\tau,uni} | A_{uni}) \right\|^2 \right].
     • Auxiliary Expert Losses: 팔과 손의 disentanglement (분리) 및 specialization (특화)를 강화합니다: L_{\tau}^{hand}(\theta) = E \left[ \left\| H_{hand}(z_{hand}^t) - u_{hand}(A_{\tau,hand}^t | A_{hand}^t) \right\|^2 \right] 및 L_{\tau}^{arm}(\theta) = E \left[ \left\| H_{arm}(z_{arm}^t) - u_{arm}(A_{\tau,arm}^t | A_{arm}^t) \right\|^2 \right].
     • Total Loss: 전체 학습 목표는 가중합입니다: L_{total} = L_{main} + \lambda (L_{hand} + L_{arm}).
4. Corrective Human-in-the-Loop Teleoperation System (교정적 인간 개입형 Teleoperation 시스템)
   • 배포 중 \pi_{uni}가 실패할 경우, 시스템은 공유 자율성 모드로 전환되어 인간 작업자가 teleoperation을 통해 개입하여 실패를 복구합니다. 성공적인 궤적은 긍정적인 시연으로 기록되고, 실패 에피소드 및 복구 궤적은 교정 시연으로 큐레이션됩니다.
   • 학습 데이터셋 D^{(k)}는 성공적인 자율 정책 실행 데이터 D_{success}^{(k)}와 인간 안내 실패 복구 데이터 D_{corrective}^{(k)}로 구성됩니다: D^{(k)} = \{ (o_t, a_t) \}_{D_{success}^{(k)}} \cup \{ \langle o_{(fail)}^t, a_{(fail)}^t, o_{(rec)}^t, a_{(rec)}^t \rangle \}_{D_{corrective}^{(k)}}.
   • 정책은 이 증강된 데이터셋 D_{uni} \cup D^{(k)}를 사용하여 지속적으로 재학습됩니다: \pi_{uni}^{(k+1)} = \text{SFT}(\pi_0; D_{uni} \cup D^{(k)}). 이 반복적인 과정은 정책이 점진적으로 더욱 도전적인 시나리오를 처리하도록 학습하는 self-improving cycle을 생성합니다.

실험 결과는 제안된 프레임워크의 효과를 입증합니다. 이 프레임워크는 고품질의 arm-hand demonstration 데이터를 효율적으로 수집할 수 있게 하며, 이는 50개 이상의 다양한 물체(미확인 인스턴스 포함)에 대해 약 90%의 성공률을 달성하는 end-to-end VLA 정책 학습의 기반이 됩니다. DexGrasp-VLA 모델, Arm-Hand Feature Enhancement module, Corrective Teleoperation system의 핵심 구성 요소들이 모두 필수적이며 정책 성능, 성공률 및 견고성을 크게 향상시킴을 종합적인 ablation study (절제 연구)를 통해 확인했습니다. 이러한 결과는 더 큰 모델로 확장하기 전에 광범위한 알고리즘 전략을 탐색하기 위한 필수적인 테스트베드를 제공합니다.

이 연구는 dexterous manipulation에 초점을 맞춘 embodied intelligence (체화된 지능)를 위한 견고한 foundation model 개발이라는 더 넓은 과제 내에서 전략적으로 위치합니다. 본 논문은 효과적인 대규모 사전 학습의 필수적인 전제는 motion trajectories, visual streams 및 high-frequency tactile-force signals과 같은 이질적인 sensorimotor pathways (감각운동 경로)를 알고리즘적으로 통합하는 방법에 대한 기본적인 이해라고 주장합니다. SFT를 통해, 연구자들은 Arm-Hand Feature Enhancement module 및 효과적인 촉각 통합 전략과 같은 핵심 구성 요소를 통제된 환경에서 신속하게 분리하고 검증할 수 있었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

1. 서론: 왜 이 연구가 중요한가?

로봇 공학의 궁극적 목표 중 하나는 인간 수준의 민첩한 조작(dexterous manipulation) 능력을 갖춘 범용 로봇을 개발하는 것입니다. 최근 Vision-Language-Action(VLA) 모델이 로봇 제어 분야에서 괄목할 만한 성과를 보여주고 있지만, 이러한 데이터 기반 접근법은 본질적으로 대규모 고품질 시연 데이터에 의존합니다. 특히 다지(multi-finger) 민첩 손을 포함한 고자유도(high-DoF) 시스템의 경우, 데이터 수집은 심각한 병목 현상을 야기합니다.

ByteDance Seed 연구팀이 2025년 10월에 발표한 이 논문은 바로 이 핵심적인 문제를 해결하기 위한 혁신적인 프레임워크를 제안합니다. 저자들은 Shared Autonomy(공유 자율성) 패러다임을 통해 인간 조작자와 AI 정책 간의 역할 분담을 구현하여, 데이터 수집의 효율성을 극대화하면서도 고품질의 팔-손 협응 시연 데이터를 확보하는 방법을 제시합니다.

---

2. 연구 배경 및 문제 정의

2.1 기존 데이터 수집 방법의 한계

현재 민첩 조작을 위한 VLA 학습에서 데이터 수집 방법은 크게 세 가지로 나뉩니다:

첫째, 완전 수동 텔레오퍼레이션(Full Manual Teleoperation)

기존의 leader-follower 설정이나 VR 기반 텔레오퍼레이션은 조작자가 로봇 팔의 6 자유도와 민첩 손의 12~21 자유도를 동시에 제어해야 합니다. 저자들의 실제 경험에 따르면:

• 숙련된 조작자도 정신적 피로 없이 연속 작업할 수 있는 시간은 약 30분에 불과
• 비숙련자의 경우 20분의 연속 텔레오퍼레이션도 상당한 피로를 유발
• 높은 인지 부하로 인해 데이터 품질 저하 및 확장성 제한

둘째, 강화학습 기반 자율 학습

로봇이 스스로 조작 기술을 학습하는 방식은 대규모 데이터 생성이 가능하지만:

• 다지 민첩 작업을 위한 좋은 컨트롤러 설계가 비자명(non-trivial)
• 학습된 정책이 종종 부자연스러운 파지(grasping) 자세를 생성

셋째, 모션 플래닝 기반 자동화

CuRobo 등의 궤적 최적화 방법은 체계적인 데이터 생성이 가능하지만 두 가지 치명적 단점이 있습니다:

1. 동작의 부자연스러움: 생성된 로봇 궤적이 뻣뻣하고 속도 면에서 비효율적
2. 분포 불일치(Distribution Mismatch): 자동화된 데이터 분포가 특정 작업에 필요한 목표 분포와 질적으로 불일치하며, 인간 전문가가 평생에 걸쳐 학습한 미묘한 작업 관련 “트릭”을 포착하지 못함

2.2 핵심 통찰: 팔과 손의 근본적 차이

저자들은 팔-손 시스템 제어의 제1원리(First Principle)에서 출발합니다:

구분	팔(Arm)	손(Hand)
역할	매크로 동작 (Macro-movement)	마이크로 조작 (Micro-manipulation)
특성	장거리 포지셔닝, 부드러운 장기 제어	세밀하고 접촉이 풍부한 다지 상호작용
제어 목표	End-effector 자세의 부드러운 제어	컴플라이언트하고 접촉이 많은 손-물체 상호작용
인지 부하	공간 추론, 시맨틱 이해, 어포던스	고차원 관절 협응, 힘 조절

이러한 근본적 차이를 무시하고 팔-손을 단일 모놀리식 컨트롤러로 처리하면: 1. 팔과 손 각각의 고유한 운동학적/동역학적 특성을 포착하지 못함 2. 협응 및 강건성이 제한됨 3. 시각적 방해(카메라 가림 등)에 취약

---

3. 제안 방법론: Shared Autonomy 프레임워크

3.1 전체 파이프라인 개요

저자들의 프레임워크는 4단계로 구성됩니다:

flowchart TD
    subgraph Pipeline["Training Pipeline"]
        S1["Stage 1: DexGrasp-VLA 학습<br/>(자율 파지를 위한 손 전용 VLA Copilot)"]
        S2["Stage 2: Shared Autonomy 데이터 수집<br/>(인간: 팔 VR 텔레오퍼레이션 + AI: 손 자율 제어)"]
        S3["Stage 3: End-to-End VLA 학습<br/>(Arm-Hand Feature Enhancement 모듈 포함)"]
        S4["Stage 4: Corrective Teleoperation<br/>(Human-in-the-loop 지속적 개선)"]

        S1 --> S2
        S2 --> S3
        S3 --> S4
    end

    style S1 fill:#e1f5fe
    style S2 fill:#f3e5f5
    style S3 fill:#e8f5e9
    style S4 fill:#fff3e0

3.2 DexGrasp-VLA: 촉각 기반 자율 파지 정책

DexGrasp-VLA는 이 프레임워크의 핵심 구성 요소로, 두 단계로 학습됩니다:

3.2.1 1단계: LSTM 기반 힘-적응형 파지 정책 (Blind Policy)

시각 정보 없이 촉각과 고유수용감각만으로 파지를 수행하는 “블라인드” 정책을 먼저 학습합니다.

데이터 수집 방법:

(1) 힘-적응형 위치 제어 (68개 시연)

50Hz로 작동하는 규칙 기반 컨트롤러가 컴플라이언트 파지를 생성합니다:

q_c(i) = q_m(i) + q(0) \cdot e^{-k \cdot f_z(i)}

여기서:

• q_m(i): 측정된 관절 위치
• q(0): 초기 위치
• k: 파지력 조절 게인
• f_z(i): 손가락 끝 법선 방향 합력

이 제어 법칙의 물리적 의미:

• 접촉이 감지되지 않으면 손을 빠르게 닫음
• 접촉 시 점진적으로 파지력을 증가시켜 안정적 파지 달성
• 어드미턴스 제어 방식으로 암묵적 힘 조절 학습

(2) 인간 텔레오퍼레이션 (150개 시연)

Leap Motion 센서를 사용해 인간 손 동작을 12-DoF Xhand로 리타겟팅합니다. 각 시연은 손 열림부터 안정적 파지까지 전체 시퀀스를 포함합니다.

LSTM 네트워크 구조:

flowchart TD
    subgraph Input["입력"]
        X["x_t = [s_t^hand, f_t^hand] ∈ ℝ³⁹"]
        S["s_t = [q_t^hand, τ_t^hand] ∈ ℝ²⁴<br/>(고유수용감각)"]
        F["f_t^hand ∈ ℝ¹⁵<br/>(촉각 신호)"]
    end

    SW["슬라이딩 윈도우<br/>X = [x_{t-T+1}, ..., x_t] ∈ ℝ^{T×39}"]

    subgraph Encoders["병렬 인코더"]
        MLP1["MLP (3층)<br/>ReLU + BatchNorm<br/>(고유수용감각)"]
        MLP2["MLP (3층)<br/>ReLU + BatchNorm<br/>(촉각)"]
    end

    CONCAT["Concatenate<br/>H ∈ ℝ^{T×256}"]
    LSTM["LSTM<br/>(hidden=256)"]
    FC["FC Layer"]
    OUT["출력: a_t ∈ ℝ¹²<br/>(손 동작)"]

    X --> SW
    S --> MLP1
    F --> MLP2
    MLP1 --> CONCAT
    MLP2 --> CONCAT
    CONCAT --> LSTM
    LSTM --> FC
    FC --> OUT

    style Input fill:#e3f2fd
    style Encoders fill:#f1f8e9
    style LSTM fill:#fff9c4
    style OUT fill:#ffccbc

학습 목표: \mathcal{L} = \frac{1}{N}\sum_{i=1}^{N}\|a_t^{(i)} - \hat{a}_t^{(i)}\|_2^2 + \lambda\|\Theta\|_2^2

이 LSTM 정책의 핵심 가치: 1. 실시간 온보드 배포를 위한 계산 효율성 2. 촉각-고유수용감각 이력의 시간적 의존성 포착으로 다양한 객체 및 접촉 조건에 대한 일반화 3. 지속적인 인간 감독 없이 대규모 자율 데이터 생성 가능

3.2.2 2단계: 촉각 기반 DexGrasp-VLA

LSTM 정책은 강건한 저수준 힘 적응을 제공하지만 시각적 인지와 장면 이해가 부족합니다. 이를 보완하기 위해 LSTM 정책으로 자율 수집한 데이터를 활용해 멀티모달 VLA 정책을 학습합니다.

촉각 특징 추출:

원시 촉각 데이터 F_{raw} \in \mathbb{R}^{10 \times 12 \times 3}에서 두 가지 상보적 특징을 추출합니다:

flowchart TD
    RAW["원시 촉각 데이터<br/>F_raw ∈ ℝ^{10×12×3}<br/>(손가락 끝 당)"]

    subgraph Path1["경로 1: 합력 벡터"]
        SUM["센서 어레이<br/>힘 성분 합산"]
        FORCE["f_t^tac-f ∈ ℝ^{5×3}<br/>순 접촉력 (크기+방향)"]
    end

    subgraph Path2["경로 2: 공간 촉각 임베딩"]
        CAE["컨볼루션<br/>오토인코더"]
        SPATIAL["f_t^tac-s ∈ ℝ^{5×128}<br/>공간 접촉 패턴"]
    end

    RAW --> SUM --> FORCE
    RAW --> CAE --> SPATIAL

    style RAW fill:#ffecb3
    style Path1 fill:#e3f2fd
    style Path2 fill:#f3e5f5

(1) 합력 벡터 (Resultant Force Vector)

f_t^{tac-f} \in \mathbb{R}^{5 \times 3}

각 손가락 끝 센서 어레이에서 힘 성분을 합산하여 얻은 순 접촉력의 크기와 방향을 제공합니다.

(2) 공간 촉각 임베딩 (Spatial Tactile Embedding)

f_t^{tac-s} \in \mathbb{R}^{5 \times 128}

컨볼루션 오토인코더(CAE)를 사용해 공간-힘 관계를 압축된 잠재 표현으로 인코딩합니다:

flowchart LR
    RAW["원시 촉각<br/>F_raw"]
    NORM["정규화 &<br/>제로패딩"]
    IMG["16×16×3<br/>촉각 이미지"]

    subgraph Encoder["인코더"]
        CONV["Conv(3×3, stride=2) × 3<br/>[32 → 64 → 128 필터]<br/>BatchNorm + ReLU"]
    end

    FEAT["2×2×128<br/>특징 맵"]
    LATENT["128차원<br/>잠재 벡터"]

    RAW --> NORM --> IMG --> CONV --> FEAT --> LATENT

    style RAW fill:#ffecb3
    style Encoder fill:#e8eaf6
    style LATENT fill:#c8e6c9

재구성 손실로 학습: \mathcal{L}_{recon} = \frac{1}{3HW}\sum_{c \in \{x,y,z\}}\sum_{i=1}^{H}\sum_{j=1}^{W}(F_{c,ij} - \hat{F}_{c,ij})^2

VLA 정책 관측 공간:

flowchart LR
    subgraph Inputs["입력 모달리티"]
        IMG["I_t^hand<br/>Eye-in-hand 이미지"]
        LANG["l_t<br/>언어 명령"]
        PROP["q_t^hand<br/>손 관절 상태"]
        TACF["z_t^tac-f<br/>합력 임베딩"]
        TACS["z_t^tac-s<br/>공간 촉각 임베딩"]
    end

    subgraph VLA["DexGrasp-VLA"]
        FUSION["멀티모달<br/>융합"]
        ACTION["동작 전문가"]
    end

    OUTPUT["A_t^hand<br/>손 동작 시퀀스"]

    IMG --> FUSION
    LANG --> FUSION
    PROP --> FUSION
    TACF --> FUSION
    TACS --> FUSION

    FUSION --> ACTION --> OUTPUT

    style Inputs fill:#e8eaf6
    style VLA fill:#fff9c4
    style OUTPUT fill:#c8e6c9

o_t^{hand} = [I_t^{hand}, l_t, q_t^{hand}, z_t^{tac-f}, z_t^{tac-s}]

• I_t^{hand}: Eye-in-hand 카메라 이미지
• l_t: 언어 명령
• q_t^{hand}: 손 관절 상태
• z_t^{tac-f}, z_t^{tac-s}: 촉각 임베딩

결과 정책: \pi_{hand}(A_t^{hand} | o_t^{hand})

3.3 Shared Autonomy 데이터 수집

Shared Autonomy의 핵심 개념을 다이어그램으로 표현하면 다음과 같습니다:

flowchart TB
    subgraph Human["👤 인간 조작자"]
        VR["VR 인터페이스"]
        COGNITION["고수준 인지<br/>• 공간 추론<br/>• 시맨틱 이해<br/>• 어포던스"]
    end

    subgraph Robot["🤖 로봇 시스템"]
        ARM["팔 (6-DoF)<br/>매크로 동작"]
        HAND["손 (12-DoF)<br/>마이크로 조작"]
    end

    subgraph AI["🧠 DexGrasp-VLA Copilot"]
        TACTILE["촉각 피드백"]
        VISION["Eye-in-hand 비전"]
        POLICY["자율 파지 정책"]
    end

    VR -->|"End-effector<br/>자세 제어"| ARM
    COGNITION --> VR

    TACTILE --> POLICY
    VISION --> POLICY
    POLICY -->|"관절 명령"| HAND

    ARM <-->|"협응"| HAND

    style Human fill:#e3f2fd
    style Robot fill:#fff3e0
    style AI fill:#e8f5e9

3.3.1 VR 기반 팔 텔레오퍼레이션 시스템

XRoboToolkit 프레임워크를 기반으로 상대 운동 매핑 제어 패러다임을 구현합니다:

클러치 메커니즘: 1. 조작자가 컨트롤러의 그립 버튼을 눌러 추적 시작 2. VR 컨트롤러와 로봇 팔 end-effector의 초기 자세 동시 기록 3. VR 컨트롤러의 델타 변환을 로봇 팔의 목표 자세로 변환:

T_{robot,t} = T_{robot,0} \cdot (T_{VR,0}^{-1} \cdot T_{VR,t})

역운동학 해석:

QP(Quadratic Program)로 정식화된 속도 수준 역운동학을 PlaCo 라이브러리로 해결:

\min_{\dot{q}} \sum_{i=1}^{N} w_i \|J_i(q)\dot{q} + e_i(q)\|^2 \text{s.t.} \quad l \leq C(q)\dot{q} \leq u

관절 구성 업데이트: q_{t+1} = q_t + \dot{q}^* \Delta t

시스템 사양:

• OpenXR 지원: 90fps, <100ms 지연시간
• 데이터 수집 주파수: 30Hz

3.3.2 협응 팔-손 데이터 수집

멀티스레드 제어 아키텍처로 인간 텔레오퍼레이션(90Hz)과 자율 정책 실행(30Hz), 시간 동기화된 데이터 저장(30Hz)을 원활하게 통합합니다.

수집 데이터셋 형식: \mathcal{D}_{uni} = \{(o_t^{uni}, a_t^{arm}, a_t^{hand})\}_{t=1}^{T}

여기서:

• a_t^{arm} \sim p_{teleop} (인간 텔레오퍼레이션)
• a_t^{hand} \sim \pi_{hand}(\cdot | o_t^{hand}) (DexGrasp-VLA)
• o_t^{uni} = [I_t, l_t, q_t^{arm}, q_t^{hand}]

이 데이터 구조의 핵심 장점: 1. 인간 시연에서 특징적인 자연스러운 팔-손 협응 시너지 유지 2. 시연된 궤적에서 암묵적 협응 전략 발견 가능 3. 풍부한 멀티모달 관측으로 강건한 시각운동 정책 학습 지원

3.4 End-to-End 팔-손 VLA 정책 학습

3.4.1 Arm-Hand Feature Enhancement 모듈

기존 VLA 모델(π₀ 등)은 멀티모달 관측을 공유 작업 표현 z_t^{share} \in \mathbb{R}^{d_s}로 인코딩합니다. 그러나 이 공유 표현만으로는 팔과 손의 구별되는 운동학 및 동역학을 설명하지 못합니다.

제안 아키텍처:

flowchart TD
    subgraph Input["입력 관측"]
        RGB["RGB 이미지"]
        LANG["언어 명령"]
        PROP["고유수용감각 상태"]
    end

    VLM["PaliGemma + Gemma<br/>Expert Encoder"]

    ZSHARE["z_t^share ∈ ℝ^{d_s}<br/>(공유 표현)"]

    subgraph Branches["특징 분기"]
        direction LR
        EARM["E_arm<br/>(MLP)"]
        KEEP["유지"]
        EHAND["E_hand<br/>(MLP)"]
    end

    subgraph Features["특화 특징"]
        direction LR
        ZARM["z_t^arm<br/>∈ ℝ^{d_a}"]
        ZSHARE2["z_t^share<br/>∈ ℝ^{d_s}"]
        ZHAND["z_t^hand<br/>∈ ℝ^{d_h}"]
    end

    subgraph AuxHeads["보조 헤드"]
        direction LR
        HARM["H_arm<br/>(보조헤드)"]
        HHAND["H_hand<br/>(보조헤드)"]
    end

    subgraph AuxPred["보조 예측"]
        direction LR
        AARM["Â_t^arm"]
        AHAND["Â_t^hand"]
    end

    FUSED["z_t^fused = [z_t^share, z_t^arm, z_t^hand]"]
    HMAIN["H_main<br/>(메인 헤드)"]
    OUTPUT["Â_t^uni = [Â_t^arm, Â_t^hand]<br/>(통합 동작 예측)"]

    RGB --> VLM
    LANG --> VLM
    PROP --> VLM
    VLM --> ZSHARE

    ZSHARE --> EARM
    ZSHARE --> KEEP
    ZSHARE --> EHAND

    EARM --> ZARM
    KEEP --> ZSHARE2
    EHAND --> ZHAND

    ZARM --> HARM --> AARM
    ZHAND --> HHAND --> AHAND

    ZARM --> FUSED
    ZSHARE2 --> FUSED
    ZHAND --> FUSED

    FUSED --> HMAIN --> OUTPUT

    style Input fill:#e3f2fd
    style VLM fill:#f3e5f5
    style ZSHARE fill:#fff9c4
    style Branches fill:#e8f5e9
    style Features fill:#ffe0b2
    style AuxHeads fill:#f5f5f5
    style HMAIN fill:#ffccbc
    style OUTPUT fill:#c8e6c9

이 설계의 핵심 통찰:

• z_t^{share}: 전역 작업 컨텍스트 보존
• z_t^{arm}: 장기 도달 궤적 등 팔 특화 역학
• z_t^{hand}: 접촉이 풍부하고 컴플라이언트한 손 특화 동작

보조 예측 헤드 H_{arm}과 H_{hand}는 각 특징이 해당 사지의 관련 기저 역학을 포착하도록 보장합니다.

3.4.2 학습 목표

메인 손실 (Conditional Flow Matching):

\mathcal{L}_{main}^{\tau}(\theta) = \mathbb{E}\left[\|\mathcal{H}_{main}(z_t^{fused}) - u(\mathcal{A}_t^{\tau,uni} | \mathcal{A}_t^{uni})\|^2\right]

• \mathcal{A}_t^{\tau} = \tau \mathcal{A}_t + (1-\tau)\epsilon: 노이즈가 추가된 동작 청크
• u(\mathcal{A}_t^{\tau} | \mathcal{A}_t) = \epsilon - \mathcal{A}_t: 목표 벡터 필드

보조 손실 (Auxiliary Expert Losses):

손 전용: \mathcal{L}_{hand}^{\tau}(\theta) = \mathbb{E}\left[\|\mathcal{H}_{hand}(z_t^{hand}) - u_{hand}(\mathcal{A}_t^{\tau,hand} | \mathcal{A}_t^{hand})\|^2\right]

팔 전용: \mathcal{L}_{arm}^{\tau}(\theta) = \mathbb{E}\left[\|\mathcal{H}_{arm}(z_t^{arm}) - u_{arm}(\mathcal{A}_t^{\tau,arm} | \mathcal{A}_t^{arm})\|^2\right]

총 손실: \mathcal{L}_{total} = \mathcal{L}_{main} + \lambda(\mathcal{L}_{hand} + \mathcal{L}_{arm})

\lambda는 전역 협응과 사지 특화 전문화 간의 균형을 조절하는 하이퍼파라미터입니다.

3.5 Corrective Human-in-the-Loop Teleoperation

배포 단계에서 분포 이동과 롱테일 시나리오에 대응하기 위한 지속적 정책 개선 시스템입니다.

flowchart TD
    subgraph Deployment["배포 단계"]
        POLICY["π_uni 자율 실행"]

        SUCCESS["✅ 성공"]
        FAIL["❌ 실패"]

        POLICY --> SUCCESS
        POLICY --> FAIL
    end

    subgraph DataCollection["데이터 수집"]
        D_SUCCESS["D_success<br/>성공 궤적"]
        D_CORRECTIVE["D_corrective<br/>교정 시연"]
    end

    subgraph Intervention["인간 개입"]
        TAKEOVER["Shared Autonomy<br/>모드 전환"]
        RECOVER["실패 복구<br/>작업 완료"]
    end

    subgraph Retraining["재학습"]
        AGGREGATE["데이터 통합<br/>D_uni ∪ D^(k)"]
        SFT["SFT(π₀)"]
        NEWPOLICY["π_uni^(k+1)<br/>개선된 정책"]
    end

    SUCCESS --> D_SUCCESS
    FAIL --> TAKEOVER --> RECOVER --> D_CORRECTIVE

    D_SUCCESS --> AGGREGATE
    D_CORRECTIVE --> AGGREGATE
    AGGREGATE --> SFT --> NEWPOLICY
    NEWPOLICY -.->|"반복"| POLICY

    style SUCCESS fill:#c8e6c9
    style FAIL fill:#ffcdd2
    style NEWPOLICY fill:#bbdefb

작동 방식:

1. 자율 실행 단계: 통합 정책 \pi_{uni}가 자율적으로 작동
2. 성공 궤적: 긍정적 시연으로 자동 기록
3. 실패 발생 시: Shared Autonomy 모드로 전환, 인간이 개입하여 실패 복구
4. 데이터 통합: 실패 에피소드와 복구 궤적을 교정 시연으로 수집

데이터셋 구성:

각 반복 k에서: \mathcal{D}^{(k)} = \underbrace{\{(o_t, a_t)\}}_{\mathcal{D}_{success}^{(k)}} \cup \underbrace{\{(o_t^{(fail)}, a_t^{(fail)}, o_t^{(rec)}, a_t^{(rec)})\}}_{\mathcal{D}_{corrective}^{(k)}}

정책 업데이트: \pi_{uni}^{(k+1)} = \text{SFT}(\pi_0; \mathcal{D}_{uni} \cup \mathcal{D}^{(k)})

핵심: 새 모델은 항상 원본 기초 모델 \pi_0에서 직접 파생되며, 데이터셋이 \mathcal{D}_{uni} \cup \mathcal{D}^{(k)}로 지속적으로 큐레이션됩니다.

이 접근법의 핵심 장점:

• 실패 케이스에만 인간 개입을 집중하여 데이터 수집 효율성 극대화
• 다운스트림 작업에 대한 정책 커버리지 보장
• 자기 개선 사이클 형성

---

4. 실험 설정 및 결과 분석

4.1 하드웨어 플랫폼

로봇 시스템:

• UR3e 협동 로봇 팔 (6-DoF)
• Xhand 5지 손 (12-DoF)
• 각 손가락 끝에 120개의 3축 힘 센서 어레이

인지 시스템:

• Intel RealSense D435i × 2 (고정, 전역 관측)
• Intel RealSense D405 × 1 (손목 장착, Eye-in-hand)

4.2 데이터셋 구성

데이터셋	목적	규모	특징
LSTM 사전학습	Blind grasping policy 학습	218개 시연	150 텔레오퍼레이션 + 68 자동 생성
\mathcal{D}_{hand}	DexGrasp-VLA 학습	180개 궤적	60개 객체, 혼잡 장면
\mathcal{D}_{uni}	End-to-end VLA 학습	100개 시연	20개 가정용 객체
\mathcal{D}_{orient}	방향 특화 실패 복구	50개 궤적	교정 텔레오퍼레이션
\mathcal{D}_{corner}	코너 케이스 대응	50개 궤적	교정 텔레오퍼레이션

4.3 주요 실험 결과

4.3.1 DexGrasp-VLA 손 정책 (\pi_{hand}) 성능

핸드헬드 설정에서 혼잡한 탁상 시나리오 평가:

• 테스트 조건: 5개 장면, 50개 이상 객체 (다양한 크기, 색상, 형태, 재질)
• 성공률: 95.5%

이 결과는 손 수준 VLA 정책이 혼잡 환경을 강건하게 처리하고 다양한 객체 속성에 일반화됨을 확인합니다.

4.3.2 End-to-End 팔-손 VLA 정책 (\pi_{uni}) 성능

객체 유형	성공률
본 객체 (20개)	91.7%
미본 객체 (30+개)	85.6%
평균	88.7%

테스트 조건:

• 각 객체당 3회 시행
• 40cm × 40cm 작업 공간 내 무작위 위치/방향
• 파지 후 목표 바구니에 배치

4.4 Ablation Study 결과

4.4.1 촉각 센싱의 효과 (\pi_{hand}에서)

테스트 프로토콜:

• Phase 1: 성공적 파지 후 3초간 완전 시각 유지
• Phase 2: 10초간 완전 시각 차단 상태에서 물체 유지
• 성공 조건: 두 단계 모두 물체를 놓치지 않아야 함

촉각 구성	평균 성공률
촉각 없음 (\pi_{hand-origin})	21%
합력만 (\pi_{hand-tacf})	70%
합력 + 공간 임베딩 (\pi_{hand-tacf-tacs})	90%

핵심 발견:

• 촉각 피드백 없이는 시각 차단 시 급격한 성능 저하
• 합력 특징만으로도 상당한 개선 (21% → 70%)
• 공간 촉각 특징 추가 시 추가 20%p 개선
• 공간 촉각 특징이 국소 접촉 미끄러짐 감지 및 보상 가능

물리적 해석:

• 공간 촉각 특징: 접촉 미끄러짐과 이동 감지/보상
• 힘 크기 특징: 적절한 파지력 유지

4.4.2 Arm-Hand Feature Enhancement의 효과

제한된 인지 조건(카메라 하나 차단)에서 테스트:

flowchart LR
    subgraph Baseline["Feature Enhancement 없이<br/>(Baseline VLA)"]
        B1["단일 undifferentiated 표현"]
        B2["시각 방해에 취약"]
        B3["팔-손 협응 불안정"]
        B1 --> B2 --> B3
    end

    subgraph Enhanced["Feature Enhancement 적용"]
        E1["팔: 도달 특화 표현<br/>손: 파지 특화 표현"]
        E2["더 안정적인 실행"]
        E3["높은 파지 성공률"]
        E1 --> E2 --> E3
    end

    Baseline -.->|"개선"| Enhanced

    style Baseline fill:#ffcdd2
    style Enhanced fill:#c8e6c9

4.4.3 Corrective Teleoperation의 효과

반복적 개선 벤치마크:

정책 버전	방향 실패	코너 케이스	전체 성공률
\pi_{uni-enhance} (초기)	다수	다수	낮음
\pi_{uni-orient} (방향 튜닝)	감소	일부	개선
\pi_{uni-final} (최종)	최소	최소	~90%

---

5. 기술적 기여 및 혁신점 분석

5.1 핵심 기여 요약

1. 멀티모달 VLA Copilot for Dexterous Grasping

DexGrasp-VLA는 시각, 촉각, 언어, 고유수용감각을 강건하게 융합하는 최초의 VLA Copilot입니다. 반응적이고 컴플라이언트한 세밀 파지 능력은 접촉 처리와 힘 적응성이 부족했던 기존 데이터 수집 접근법 대비 주요 진전입니다.

2. Shared Autonomy for Efficient Data Collection

인간 조작자와 VLA Copilot 간의 제어를 전략적으로 분할하여 민첩 조작의 데이터 병목을 극복합니다:

• 직관적인 VR 텔레오퍼레이션: 고수준 팔 안내
• 촉각 강화 DexGrasp-VLA: 자율 세밀 파지

이를 통해 조작자 인지 부하를 대폭 감소시키고 고품질 시연 데이터의 효율적 수집을 가능케 합니다.

3. End-to-End VLA with Arm-Hand Feature Enhancement

매크로(팔)와 마이크로(손) 동작의 제어를 전용 특징 경로를 통해 명시적으로 분리하면서 공유 전역 작업 표현을 보존합니다. 이 아키텍처 혁신은 팔과 손의 구별되는 운동학/동역학을 포착하지 못하는 모놀리식 컨트롤러 문제를 직접 해결하여:

• 상당히 더 강건하고 일반화 가능한 팔-손 협응
• 시각적 차단에 대한 향상된 회복력

4. Corrective Human-in-the-Loop Teleoperation

배포된 정책 실행을 중단하지 않고 작동하는 교정 인간 개입을 도입하여, 실제 배포 중 롱테일 실패 케이스로부터 의도적 데이터 수집을 가능케 합니다. 이 접근법은:

• 사전 스크립트 시연과 현장 배포 데이터 통합
• 사전에 예측하기 어려운 코너 케이스의 타겟 커버리지 제공
• 자기 개선 데이터 플라이휠 구축

5.2 설계 철학 관점에서의 분석

저자들의 설계 철학은 협력적 인간-AI 프레임워크 원칙에서 출발합니다. 이는 기관지 이물질 제거를 위한 AI-Copilot 로봇 연구와 유사한 시너지를 추구합니다:

• AI가 단순한 탐색 작업 수행 → 효율적 탐색
• 인간 전문가가 섬세한 제거 수행 → 정밀성과 안전성 향상

마찬가지로 파지 작업에서:

• 시각-촉각 기반 파지는 VLA 기반 손 제어로 자율 실행
• 인간은 다양한 사전 파지 상호작용과 포지셔닝 안내 수행

5.3 확장성에 대한 고찰

저자들은 이 연구를 대규모 사전학습의 필수 전제조건으로 위치시킵니다:

“대규모 사전학습의 효과적 전제는 이러한 구별되는 감각운동 경로를 알고리즘적으로 어떻게 통합할지에 대한 근본적 이해입니다.”

SFT를 활용한 민첩한 연구 반복의 장점: 1. 핵심 구성요소(Feature Enhancement, 촉각 통합 등)를 통제된 환경에서 신속히 격리 및 검증 2. 사전학습 모델의 시맨틱 및 일반화 능력 효율적 활용 3. 유용한 멀티모달 융합의 근본적 물리 원리에 집중

소규모에서 개발되고 검증된 효과적 알고리즘이:

• 대규모 고품질 데이터셋 수집을 위한 청사진 제공
• 진정한 인간 수준 물리적 지능을 갖춘 대규모 로봇 기초 모델 사전학습의 성공 가능성 강화

---

6. 한계점 및 향후 연구 방향

6.1 현재 한계

1. 데이터 규모

초기 개념 증명 단계로:

• End-to-end VLA: 100개 시연
• 교정 데이터셋: 각 50개 궤적

더 다양한 작업과 환경에 대한 확장 필요합니다.

2. 작업 범위

현재 주로 pick-and-place 파지 작업에 초점:

• 도구 사용
• 양손 조작
• 장기 작업

등으로의 확장이 필요합니다.

3. 하드웨어 의존성

특정 하드웨어 구성(UR3e + Xhand)에 최적화:

• 다른 로봇 플랫폼으로의 전이 검증 필요
• 다양한 촉각 센서 모달리티에 대한 적응

4. 힘 제어의 암묵적 학습

현재 힘 제어가 어드미턴스 방식의 행동 복제로 암묵적 학습: > “고급 힘 제어가 가능한 미래 민첩 손은 다른 객체에 대한 참조 접촉력을 직접 제어하여 더 높은 성능 달성 가능”

6.2 향후 연구 방향

1. 대규모 데이터 수집 및 사전학습

Shared Autonomy 프레임워크를 활용한:

• 대규모 고품질 데이터셋 구축
• 대규모 로봇 기초 모델 사전학습

2. 태스크 일반화 확장

• 더 복잡한 조작 작업으로 확장
• 양손 협응 조작
• 도구 활용 작업

3. Sim-to-Real Transfer 통합

시뮬레이션 데이터와 실제 데이터의 공동 학습: > “시뮬레이션이 기초 모델 사전학습을 위한 확장 가능한 대안을 제공하지만, 실제 데이터는 sim-to-real 전이, 미세 조정, 공동 학습에 필수적입니다.”

4. 산업 적용

저자들의 예측: > “하드웨어와 소프트웨어 최적화에 더 많은 투자를 하면 시스템 수준 성능이 95% 이상 성공률에 도달할 수 있으며, 이는 산업 표준 운영 절차(SOP)에서 채택 가능합니다.”

---

7. 관련 연구와의 비교 분석

7.1 기존 VLA 모델과의 차별점

측면	기존 VLA	본 연구
End-effector	주로 2핑거 그리퍼	12-DoF 5지 민첩 손
팔-손 처리	모놀리식 컨트롤러	명시적 특징 분리
촉각 통합	전체 재학습 또는 복잡한 구조	모듈식, 동작 전문가에만 주입
데이터 수집	완전 수동 또는 완전 자동	Shared Autonomy

7.2 촉각 VLA 연구와의 차별점

VLA-Touch: 사전학습된 촉각-언어 모델 + 확산 컨트롤러 Tactile-VLA: 하이브리드 위치-힘 제어 + 상식 추론 OmniVTLA: 대규모 3모달 데이터셋 + 시맨틱 정렬

본 연구의 차별점:

• 모듈식 설계: 촉각 피드백을 동작 전문가에만 국소 주입
• Vision-language 백본 완전 보존
• 전체 재학습 없이 효율적 학습 및 배포
• 실행 중 유용한 촉각 접지 유지

---

8. 결론

이 논문은 민첩 조작을 위한 VLA 학습의 핵심 병목인 데이터 수집 문제를 해결하기 위한 체계적이고 실용적인 프레임워크를 제시합니다.

핵심 메시지:

1. 제1원리에서 출발: 팔과 손의 근본적 운동학/동역학 차이를 인정하고 이를 아키텍처와 학습 프로세스에 명시적으로 반영

2. 인간-AI 시너지: 인간의 고수준 인지 능력(공간 추론, 시맨틱 이해)과 AI의 세밀한 반응적 제어를 결합하여 두 가지 장점을 모두 활용

3. 실용적 시스템 관점: 이론적 우아함보다 실제 배포 가능성에 초점을 맞춘 설계 철학

4. 반복적 개선: 정적인 단일 학습이 아닌 지속적인 human-in-the-loop 개선을 통한 롱테일 문제 해결

로봇공학자에게 주는 시사점:

• VLA 모델의 확장성은 단순히 모델 크기나 데이터 양이 아닌 데이터 품질과 분포에 크게 의존
• 고자유도 시스템의 경우 모놀리식 접근보다 기능적 분해가 더 효과적
• 촉각 센싱은 시각의 보조가 아닌 필수적 모달리티로 인식해야 함
• 실제 배포에서는 완벽한 정책보다 지속적 개선 가능한 시스템이 더 중요

이 연구는 민첩 조작을 위한 대규모 기초 모델 개발의 중요한 디딤돌을 제공하며, 특히 효율적인 데이터 수집과 효과적인 멀티모달 융합이라는 두 가지 핵심 과제에 대한 실용적 해법을 제시합니다.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

요약: 인간 수준의 손 재주(dexterity)를 로봇에 부여하는 것은 로봇공학의 난제입니다. 최근 Vision-Language-Action (VLA) 모델 등의 발전으로 시각, 언어, 동작을 통합한 정책 학습이 주목받지만, 고품질 시연 데이터 부족이 걸림돌입니다. 이번 리뷰에서는 2025년 12월 공개된 논문 “End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection”의 내용을 심층 해설합니다. 이 논문은 VR 기반 텔레오퍼레이션과 공유 자율제어(Shared Autonomy)를 접목하여 사람 팔(Arm) 움직임은 사람이 제어하고, 섬세한 손(Hand) 동작은 AI 정책이 보조하는 새로운 데이터 수집 및 학습 프레임워크를 제안합니다. 이를 통해 사람의 인지 부하를 줄이고 짧은 시간에 효과적으로 로봇 팔-손 협조 시연 데이터를 수집하며, 이렇게 모은 데이터로 Arm-Hand 특징 강화 모듈을 갖춘 End-to-End VLA 정책을 학습해 다양한 물체에 90%의 높은 조작 성공률을 달성합니다. 또한 교정 텔레오퍼레이션(Corrective Teleoperation)을 도입하여, 배치 환경에서 사람이 실패 상황을 실시간 개입·수정하며 정책을 계속 개선하는 휴먼 인 더 루프 학습 전략을 선보입니다. 본문에서는 VR 텔레옵 제어와 VLA 모델, Shared Autonomy 개념을 먼저 설명하고, 논문의 방법론(모듈 구성, 학습 절차, 공유자율 구조)을 상세히 분석합니다. 나아가 실험 환경과 결과 (정량적 성능, 질적 사례, ablation 실험)를 살펴보고, 논문에 제시된 주요 그림과 표를 인용하여 각각의 의미를 자세히 해설하겠습니다.

1. 기술 배경

섬세한 물체 조작 능력을 지닌 만능 로봇은 오랜 로봇공학의 목표입니다. 인간처럼 다양한 도구와 물체를 조작하려면 사람의 팔과 손이 이루는 복잡한 협조 운동을 로봇이 학습해야 합니다. 최근 인공지능 학습 기법으로 이러한 고차원 제어를 익히려는 접근이 활발한데, 특히 Vision-Language-Action (VLA) 모델 등의 다중모달 정책 학습이 주목받고 있습니다. 그러나 이러한 데이터 중심 접근에는 대량의 고품질 시연 데이터가 필요하며, 현재 데이터 수집의 어려움이 큰 제약입니다. 본 절에서는 본 논문이 다루는 핵심 배경 기술인 VR 기반 텔레오퍼레이션, VLA 정책, Shared Autonomy 개념을 하나씩 설명합니다.

1.1 VR 기반 텔레오퍼레이션

텔레오퍼레이션(Teleoperation)은 원격 조작을 의미하며, 로봇공학에서는 사람이 멀리 떨어진 로봇을 직접 조종하는 것을 가리킵니다. 특히 VR(Virtual Reality, 가상현실) 기술의 발달로, 사람은 VR 헤드셋과 모션 컨트롤러 등의 입출력 장치를 통해 마치 로봇의 눈과 손이 된 것처럼 몰입감 있게 로봇을 조작할 수 있습니다. 예를 들어, 사용자가 VR 장비를 착용하면 로봇의 시점 카메라 영상이 실시간으로 VR 화면에 나타나고, 사용자의 손 동작이나 컨트롤러 움직임이 로봇 팔과 손의 움직임으로 매핑되어 직관적인 제어가 가능해집니다.

이러한 VR 텔레오퍼레이션은 기존의 키보드/마우스 또는 팬던트 조작보다 자연스러운 사람-로봇 상호작용을 제공합니다. 복잡한 6자유도 로봇 팔의 위치/자세 제어도 사용자가 손을 뻗는 동작으로 쉽게 입력할 수 있고, 여러 카메라 뷰를 VR로 통합하여 원격 현장감을 높일 수 있습니다. 또한 햅틱 피드백 장치가 있다면 원격 환경의 촉감이나 힘 느낌까지 전달되어, 사람이 섬세한 작업을 수행하는 데 도움을 줍니다. 이러한 장점 덕에 VR 텔레오퍼레이션은 우주 로봇, 원자력 플랜트, 의료 수술 로봇 등 위험하거나 인간이 직접 접근하기 어려운 분야에서 원격 조작 솔루션으로 연구되어 왔습니다.

하지만 VR 텔레오퍼레이션에도 한계와 부담이 존재합니다. 고자유도 로봇(예: 6-DoF 팔 + 다(다)자유도 손)을 온전히 인간이 제어하려면 사람은 동시에 매우 많은 관절을 다뤄야 합니다. 예컨대 로봇의 팔 관절 6개, 손가락 관절 10여 개를 한 사람이 한꺼번에 실시간 조종하는 것은 인지 부하(cognitive load)가 막대합니다. 실제로 논문 저자들은 완전 수동으로 팔-손 모든 관절을 조작할 경우, 훈련된 사람도 20~30분 정도가 지나면 심각한 피로를 느끼고 지속 조작이 어렵다고 보고합니다. 이는 한계 이상의 뇌의 정보 처리와 신체 피로를 유발하기 때문입니다. 따라서 장시간, 대규모의 시연 데이터를 수집하는 데 완전 VR 수동 조작은 비효율적입니다.

또한 VR 텔레오퍼레이션은 사람의 숙련도에 성능이 좌우되고, 일관성 있는 데이터 확보도 어려울 수 있습니다. 사람은 시간이 지날수록 집중력이 떨어지고, 주관적 전략 차이로 편차가 생길 수 있습니다. 결국 학습용 시연 데이터 품질에도 영향을 주죠. 이러한 이유로 완전 수동 텔레오퍼레이션만으로 방대한 고품질 데이터셋을 구축하기엔 현실적인 제약이 있습니다.

요약하면, VR 기반 원격조작은 인간의 직관과 판단력을 활용해 로봇을 정교하게 제어할 수 있는 강력한 수단이지만, 사람의 과부하와 피로로 지속성이 떨어지며 모든 자유도를 동시에 제어하기 어렵다는 한계를 갖습니다. 본 논문은 이러한 부분을 AI의 보조 제어로 완화하는 접근을 제시합니다.

1.2 Vision-Language-Action (VLA) 정책

Vision-Language-Action(VLA) 모델은 최근 각광받는 로봇 제어 인공지능 패러다임으로, 시각, 언어, 행동 정보를 통합하여 일반적이고 유연한 로봇 제어를 목표로 합니다. 간단히 말해, VLA 모델은 카메라 영상(vision)과 언어 명령 또는 설명(language)을 입력으로 받아, 로봇의 행동(action) 출력을 산출하는 종단간(end-to-end) 정책입니다. 이는 사람의 인지와 유사하게, 로봇이 시각적으로 주변 환경을 이해하고 언어적 지시나 임무 설명을 해석하여 알맞은 물리적 행동을 결정하도록 하는 것입니다.

VLA 접근은 거대 사전학습된 비전-언어 모델(VLM)의 표현력과 추론력을 로봇 제어에 활용한다는 특징이 있습니다. 예를 들어 거대한 이미지-텍스트 데이터로 학습된 CLIP, ViLD, PaLM-E 등의 모델을 로봇의 “뇌”로 사용하고, 추가로 가벼운 행동 결정 모듈(action head)을 붙여 학습 데이터로 미세조정(fine-tuning)하면, 로봇이 복잡한 시각 환경과 다양한 언어 지시를 이해하고 동작할 수 있다는 아이디어입니다. 구글의 SayCan, RT-2, BEHAVIOR, PaLM-E, Stanford의 VIMA 등 여러 VLA 기반 시도가 최근 보고되었습니다. 이들 대부분은 픽앤플레이스처럼 짧은 과제나 간단한 그리퍼를 사용한 사례가 많았지만, 범용 로봇을 지향해 다자유도 손으로 확장하려는 연구도 증가하고 있습니다.

본 논문에서도 VLA라는 용어를 사용하고 있는데, 특히 DexGrasp-VLA라 명명한 정책과 arm-hand VLA 정책을 소개합니다. 혼동 주의: 여기서 VLA는 ’Virtual Lagrangian Augmentation’이 아닌 Vision-Language-Action의 약자입니다. 즉 시각+언어+행동 정책을 의미하며, 멀티모달 인공지능 정책을 가리킵니다. 따라서 VLA 정책이라 하면, 하나의 신경망이 시각 입력(카메라 영상), 언어 입력(명령), 상태 입력(로봇 관절 등)을 받아 로봇의 모든 관절 명령을 출력하는 종단간 정책을 뜻합니다. 이 정책은 사람 시연 데이터로 학습되며, 학습 후에는 언어로 특정 동작을 지시하거나 시각에 따라 적절히 대처하는 일반화된 로봇 컨트롤러로 활용될 수 있습니다.

하지만 VLA 모델의 성능과 일반화 능력은 훈련 데이터에 크게 좌우됩니다. 특히 다자유도 손 조작의 경우, 사람의 미세한 손동작 데이터가 많이 필요합니다. 기존 연구들은 인간 영상에서 모션 추출하거나, 분리된 계획기+실행기 구조로 접근하기도 했습니다. 그러나 여전히 실제 로봇 시연 데이터를 많이 확보하는 것이 과제입니다. 본 논문이 제안하는 방법은 Shared Autonomy로 데이터 수집 효율을 높여 이 문제를 풀고, 동시에 손-팔 협조 특징을 잘 학습하도록 특별한 네트워크 구조(Arm-Hand Feature Enhancement)를 도입한 점이 특징입니다.

정리하면, VLA 정책은 시각과 언어의 풍부한 표현력을 활용해 로봇 행동을 학습하는 최첨단 기법이며, 본 연구는 이 개념을 섬세한 손-팔 조작에 적용하기 위해 고품질 데이터 수집 기법과 전용 모델 구조를 개발한 것입니다.

1.3 Shared Autonomy (공유 자율제어)

Shared Autonomy(공유 자율제어)는 인간 조작과 로봇 자율제어를 동시에 활용하여 시스템을 운용하는 개념입니다. 말 그대로 자율성(autonomy)을 공유한다는 뜻으로, 사람과 AI/로봇이 각각 잘하는 부분을 맡아 협력적으로 하나의 작업을 수행합니다.

이 아이디어는 특히 원격 로봇 제어나 보조공학(assistive tech) 분야에서 발전해왔습니다. 예를 들어, 전동 휠체어나 로봇팔을 사용자가 조종할 때 Shared Control 기법으로 사용자의 의도만 입력하면 세부 경로나 안전 충돌회피 등은 로봇이 자동 보조하여 편의와 안전을 높이는 연구들이 있었습니다. 마찬가지로 수술 로봇에서는 의사가 큰 움직임을 조종하고 세밀한 떨림 보정이나 안전제어는 로봇이 보정하는 식으로 협력 제어가 활용됩니다.

본 논문에서의 Shared Autonomy는, “큰 동작(macro)”과 “미세 동작(micro)”을 인간과 AI가 분담하는 형태로 구현되었습니다. 즉 사람은 로봇의 팔 끝(end-effector) 위치/자세 같은 고수준 공간 조작을 VR로 직관적으로 제어하고, AI 코파일럿은 로봇 손가락들의 세밀한 움직임을 실시간 자율 제어합니다. 사람은 전체 장면에 대한 이해와 의사결정, 공간적 사고에 강하므로 어떤 물체를 어떻게 잡을지 팔을 움직여 적절한 위치까지 가져오는 것을 맡습니다. 반면 AI는 빠르고 정확한 센서 처리와 반사적 제어에 유리하므로, 물체를 잡는 순간의 손가락 힘 조절, 미끄럼 방지 등을 담당합니다. 이렇게 하면 사람은 팔 움직임에 집중할 수 있어 인지 부담이 크게 줄고, 손 동작은 AI가 도와주므로 더 안정적이고 자연스러운 협조가 이뤄집니다. 결국 적은 피로로 더 많은 시연 데이터를 모을 수 있게 됩니다.

Shared Autonomy의 핵심은 역할 분담의 최적화입니다. 사람의 뛰어난 직관적 판단력 vs. 기계의 빠르고 정확한 반응을 결합하여, 개별로 할 때보다 효율적 시너지를 내는 것입니다. 본 연구에서는 “팔은 사람, 손은 AI”라는 분업으로 이 원칙을 구현했습니다. Fig. 1은 이 차이를 개념적으로 보여줍니다.

Figure 1: 완전 수동 텔레오퍼레이션(왼쪽)과 공유 자율 텔레오퍼레이션(오른쪽)의 개념 비교 그림입니다. 기존 방식에서는 사람이 VR 인터페이스와 각종 장치를 사용해 팔의 움직임과 손가락 동작 모두를 원격 조작합니다 (“Reach & Grasp”) . 반면 본 논문이 제안한 Shared Autonomy 체계에서는 사람이 VR로 팔 움직임(Reach)만 조종하고, 손 동작(Grasp)은 AI 코파일럿이 자율적으로 수행합니다. 이렇게 인간 운영자와 AI 보조가 협력하여 목표 물체를 잡는 작업을 분담하면, 사람은 고수준 전략에 집중할 수 있고 AI는 저수준 물리 제어를 담당하여 효율적인 조작이 가능합니다.

Shared Autonomy는 또한 단순 데이터 수집을 넘어 실시간 운영에서도 이점이 있습니다. 예컨대 로봇이 자율적으로 수행하다 어려운 상황이 오면 사람이 대신 조작하거나, 사람의 명령이 모호하면 로봇이 제어권을 쥐고 조정하는 등 유동적 제어 권한 공유가 가능합니다. 본 논문에서도 학습된 정책을 로봇이 실행하다가 실패 시 즉각 사람이 개입하여 문제를 바로잡는 교정 모드를 도입했는데, 이것도 일종의 Shared Autonomy 연장선입니다.

정리: Shared Autonomy는 사람과 AI의 협력 제어로, 각자 잘하는 부분을 맡겨 효율성과 안정성을 향상시키는 개념입니다. 본 연구에서는 이 원리를 활용해 데이터 수집 단계에서 사람의 부담을 덜고 질 좋은 시연을 얻는 것에 초점을 맞추었습니다.

2. 논문 제안 방법론

이제 본 논문에서 제안한 End-to-End 손-팔 VLA 정책 학습 프레임워크를 살펴보겠습니다. 이 방법론은 크게 네 가지 단계로 구성되며 Fig. 2에 전체 흐름이 요약되어 있습니다:

Figure 2: 논문에서 제시한 데이터 수집 및 학습 파이프라인 개요. 각 단계는 (a)-(d)로 표시되어 있습니다: (a) 먼저 DexGrasp AI 코파일럿을 훈련합니다. 이는 LSTM 기반의 힘-적응 그립 (force-adaptive grasping) 정책을 시작으로, 촉각+시각 피드백을 사용하는 자율 손 제어 정책을 완성하는 과정입니다. 이렇게 얻은 DexGrasp-VLA 정책이 이후 Shared Autonomy에서 로봇 손을 자동 제어하는 모듈이 됩니다. (b) 훈련된 DexGrasp-VLA를 활용하여 Shared Autonomy 데이터 수집을 수행합니다. 인간 운영자는 VR로 팔을 텔레오퍼레이션하고, 손은 AI 코파일럿이 잡도록 하여, 팔-손 동작이 동기화된 시연 데이터를 효율적으로 모읍니다. (c) 수집된 데이터를 활용해 Arm-Hand Feature Enhancement 모듈이 포함된 End-to-End VLA 정책을 학습합니다. 이 정책은 시각/언어/상태 입력으로부터 팔과 손의 모든 관절 명령을 한꺼번에 예측하는 모델이며, 별도의 팔/손 특징 경로를 두어 매크로-마이크로 협조를 향상시킨 것이 핵심입니다. (d) 마지막으로, 배치 시 교정 텔레오퍼레이션 시스템을 가동하여 지속적으로 정책을 개선합니다. 학습된 정책이 자율 실행되다가 실패하면 사람이 개입해 수정하고, 그 교정 데이터를 다시 정책에 반영(fine-tuning)하여 강건성을 높입니다.

이 전체 시스템의 목표는 효율적인 데이터 수집과 지속적 학습 고도화를 통해, 로봇이 사람 수준의 섬세한 조작 기술을 익히도록 하는 것입니다. 이제 각 구성 요소와 단계를 세부적으로 살펴보겠습니다.

2.1 전체 시스템 개요

본 프레임워크를 한 문장으로 요약하면: “사람-로봇 협업을 통해 섬세한 손-팔 시연을 빠르게 모으고, 이를 다중모달 정책으로 학습하여, 필요 시 사람 개입으로 계속 향상시킨다.” 입니다.

보다 공식적으로 문제를 정의하면, 로봇이 시각 관찰 I, 언어 명령 L, 그리고 로봇의 자기 상태 S를 입력받아 일련의 미래 행동 \hat{A}_{0:T}을 예측하는 정책 \pi(\hat{A}_{0:T} \mid I, L, S)를 학습하고자 합니다. 이 정책은 팔의 관절과 손가락 관절 모두를 포함한 전체 동작 시퀀스를 출력해야 하므로, 팔-손의 협조 제어를 단일 네트워크로 모델링하는 도전이 따릅니다. 이를 효과적으로 학습하기 위해, 저자들은 사람의 도움과 특화된 신경망 구조 두 가지를 활용했습니다.

먼저 데이터 수집 단계에서, Shared Autonomy 개념을 활용해 사람과 AI 코파일럿이 협력하여 시연을 만듭니다. 사람은 VR로 로봇 팔을 움직여 물체를 잡는 전과정을 수행하되, 잡는 순간의 손 동작은 AI가 자동으로 실행합니다. 예를 들어, 사람은 로봇 팔 끝에 달린 카메라 영상을 보며 물체에 손이 닿도록 위치를 잡고 “잡기” 행동을 트리거하면, 로봇 손은 바로 DexGrasp-VLA 정책에 의해 스스로 물체를 쥐고 힘을 조절합니다. 이렇게 하면 사람은 물체까지 팔을 가져가는 데 집중하고, 손가락 세부 조작은 신경 쓰지 않아도 되므로 훨씬 수월하게 시연을 만들 수 있습니다. 그 결과 이전보다 더 많은 시연을 더 빠르게 모을 수 있고, 팔 동작과 손 동작이 잘 조화된 데이터가 확보됩니다.

수집된 데이터는 크게 두 종류로 나눌 수 있습니다.

(1) 팔-손 동시 제어 시연 데이터: Shared Autonomy로 얻은 로봇 팔+손의 전체 시퀀스 데이터입니다. 사람의 VR 조작 궤적(팔 움직임)과 DexGrasp-VLA의 손 움직임이 시간적으로 동기화되어 있으며, 시각/촉각 센서 정보와 언어 지시도 포함됩니다.

(2) 순수 손 조작 데이터: DexGrasp-VLA 정책 자체를 훈련할 때 사용된 다양한 그립 동작 데이터입니다. 이에는 자동 제어기로 생성한 힘제어 시연과 사람이 손만 직접 조종하여 모은 시연이 모두 포함됩니다.

(2)에 해당하는 데이터는 DexGrasp-VLA라는 하위 정책을 형성하고, (1)의 데이터는 최종 end-to-end 정책을 학습하는 데 활용됩니다.

2.2 DexGrasp-VLA: 자율 손 동작 AI 코파일럿

DexGrasp-VLA는 논문의 핵심 모듈 중 하나로, Shared Autonomy 프레임워크에서 로봇 손의 자율 제어를 담당하는 AI 코파일럿(AI Copilot)입니다. 쉽게 말해 “잡는 행위(grasp)”를 사람 대신 수행해주는 똑똑한 로봇 손 정책입니다. 이 정책이 없다면 Shared Autonomy에서 사람이 손가락까지 모두 조작해야 하므로, DexGrasp-VLA는 사람의 부담을 줄이고자 설계된 자동 그리퍼 컨트롤러라 볼 수 있습니다.

DexGrasp-VLA의 특징은 풍부한 멀티모달 센싱을 활용한다는 점입니다. 실시간 촉각(tactile) 센서와 시각(카메라) 피드백을 모두 사용하여, 다양한 물체를 적응적(force-adaptive)으로 확실히 쥘 수 있는 정책을 목표로 합니다. 구체적으로 DexGrasp-VLA는 내장 카메라 영상, 손가락 각도 등 손 관절 상태(proprioception), 그리고 두 가지 형태의 촉각 피처를 입력으로 받습니다:

• 피처1: 합력 벡터 (resultant force vector) : 각 손가락의 끝에 달린 힘센서로부터 접촉 힘의 크기와 방향을 추출한 값들입니다. 이는 손가락마다 물체를 누르는 순수 힘을 나타내, 전체 그립 강도를 파악하게 합니다. (벡터 크기로 힘의 세기, 방향으로 힘의 향하는 방향)
• 피처2: 촉각 분포 임베딩 (spatial tactile embedding) : 손가락 표면의 촉지 분포 지도를 CNN으로 임베딩한 공간 패턴 표현입니다. 이는 물체가 손가락 어디에 어떻게 닿았는지, 즉 접촉 면적과 분포를 알려주는 정보입니다.

이 두 촉각 피드를 함께 사용하면, 얼마나 세게 쥐고 있는지와 어디서 접촉하고 미끄러짐이 있는지를 정확히 감지할 수 있습니다. 덕분에 DexGrasp-VLA는 시각적으로 보이지 않거나 물체가 미끄러지려는 순간에도 즉각적으로 손 힘을 조절하여 안정적인 파지를 유지합니다. 다시 말해, “눈+촉각으로 느끼며 잡는” 똑똑한 손인 셈입니다.

학습 방식: DexGrasp-VLA 정책은 한 번에 완성된 것이 아니라, 두 단계 학습을 통해 개발되었습니다. (1) 우선 시각에 의존하지 않는 LSTM 기반 그립 정책을 학습합니다. 초기에는 “눈먼(blind) 정책”으로 불리는데, 손의 관절 상태와 촉각 정보만 가지고 그립 동작을 익히도록 합니다. 이렇게 하는 이유는 시각인식의 복잡성을 배제하고 우선 순수 촉각 기반의 견고한 그립 동작을 얻기 위함입니다. 이 LSTM 정책은 과거 일정 시간의 촉각/관절 피드백 시퀀스를 입력받아 다음 손가락 동작을 내보내는 방식으로, 연속적인 힘 조절을 학습합니다. 학습 데이터로는 두 종류 시연을 혼합 사용했는데:

• 자동 힘제어 시연(68개): 저자들이 설계한 force-control을 통해 생성한 데이터입니다. 이는 간단히 말해, “센서 힘이 없으면 빨리 쥐고, 닿기 시작하면 힘을 점진적으로 높여 멈춘다”는 규칙으로 움직이는 포스-컨트롤러입니다. 이 방식으로 50Hz 제어로 손을 쥐게 하면, 초반엔 빠르게 닫다가 접촉되면 서서히 조이는 사람 같은 그립이 연출됩니다. 이러한 힘-적응 제어의 감각을 정책에 주입하기 위해 활용되었습니다.
• 인간 텔레옵 시연(150개): 사람에게 Leap Motion 등 장치를 써서 손 동작을 캡처하고 로봇 손 (XHand, 12자유도)에 기술(tracking)하여 재현하도록 한 데이터입니다. 사람이 실제 물체를 잡는 손 동작을 로봇 손으로 따라하게 함으로써, 보다 자연스러운 손가락 협응과 형태 파지 전략 등이 포함된 시연을 얻었습니다.

이 두 가지 데이터를 LSTM 정책에 Behavior Cloning (모방학습)으로 학습시켜, 촉각에 반응하여 힘을 조절하는 기본 정책을 얻었습니다. 이 정책은 아직 카메라 입력이 없지만, 접촉 감지 후 꽉 쥐기까지의 힘 조절 등 핵심 그립 반응을 익혔기 때문에, 실제 물체에 대해 빠르게 쥐고 안정화하는 동작을 보여줍니다. Fig. 3은 이 LSTM 기반 초기 정책 학습 과정을 나타냅니다.

이후 (2) 단계로, 위에서 얻은 LSTM 정책을 포함하여 시각까지 통합한 VLA 손 정책을 완성합니다. 즉, LSTM 정책을 하위 제어기 또는 초기화로 삼고, 카메라 비전을 추가 입력으로 넣어 강화된 정책을 학습하는 것입니다. 이렇게 함으로써 손이 물체의 모양과 위치를 시각적으로 파악하면서, 여전히 촉각 정보를 적극 활용해 컨텍스트-센시티브한(grasping that is context-aware) 자율 그립이 가능해집니다. 최종 DexGrasp-VLA는 시각+촉각 기반의 멀티모달 정책으로서, 언어 명령도 일부 통합되어 향후 언어로 "이 물체 집어" 같은 지시를 이해할 수 있도록 설계되어 있습니다. (다만 본 연구의 실험에서 언어 명령은 주로 pick-and-place 기본 지시로 동일하여 큰 구분이 없었습니다.)

정리하면, DexGrasp-VLA는 로봇 손을 위한 고성능 자동 그립 컨트롤러로, 촉각과 시각센서를 활용해 사람 없이도 섬세한 그립 동작을 수행합니다. Shared Autonomy 단계에서 이 모듈이 사람을 도와 손가락 자동 제어를 맡으며, 나아가 최종 end-to-end 정책 학습 시 일부 시연 데이터 생성에도 활용됩니다.

2.3 VR 텔레오퍼레이션을 활용한 데이터 수집 (Shared Autonomy)

위에서 설명한 DexGrasp-VLA 코파일럿이 준비되면, 이를 활용하여 본격적인 팔-손 시연 데이터 수집을 시작합니다. 이 부분이 바로 Shared Autonomy의 구현이며, 논문에서 “semi-autonomous teleoperation (반자율 텔레조작)”이라고도 부릅니다. 사람은 VR 인터페이스로 로봇 팔을 조종하고, 손가락은 AI가 자동으로 제어하는 방식이죠. 이 절에서는 구체적으로 VR 조작 시스템과 데이터 수집 방법을 살펴보겠습니다.

VR 조작 시스템: 사람 운영자는 HTC Vive와 같은 VR 헤드셋을 착용하고, 양손 컨트롤러를 사용하여 로봇 팔을 제어합니다.

논문 Fig. 5에 해당 시스템이 묘사되어 있는데, 상대적 움직임 매핑(relative motion mapping) 전략을 활용했다고 합니다.

이는 아마도 사용자의 손 움직임 변화량을 로봇 팔의 속도 명령으로 변환하거나, 기준점 대비 상대 이동으로 매핑하여 작업 영역 내에서 유연하게 팔을 움직이게 한 것으로 추측됩니다 (일반적으로 VR teleop에서 absolute mapping은 한계가 있으므로, 기준점을 갱신하며 상대적으로 움직이는 기법이 쓰입니다). 또한 VR 환경에는 로봇의 카메라 시점 영상과 가상 모델 등이 나타나서, 사용자가 마치 로봇 앞에 있는듯 상황을 볼 수 있게 구성했습니다. 손가락 제어 입력은 사람이 하지 않으므로, 굳이 데이터글러브를 끼지 않아도 되며, 컨트롤러 버튼으로 “잡기/놓기” 트리거 정도만 누르면 DexGrasp-VLA가 동작하도록 인터페이스가 만들어졌을 것입니다.

Shared Autonomy 데이터 수집 절차: 운영자는 VR로 임무 환경을 관찰하며, 예컨대 테이블 위의 물체를 집어 옮기는 작업을 시연합니다. 임무의 언어 지시(L)는 사전에 "이 물체를 집어 바구니에 넣어" 등으로 주어지며, 로봇은 그 명령과 시각 정보를 알고 있는 상태입니다. 사람은 우선 로봇 팔을 뻗어 물체 쪽으로 다가가 엔드이펙터(손)를 적절한 자세로 위치시킵니다 (필요하다면 책상 표면을 쓸어 물체를 잡기 쉽게 하는 등의 사전 동작(pre-grasp interactions)도 할 수 있습니다 – Shared Autonomy이기에 사람은 그런 고수준 전략을 수동으로 수행 가능). 물체를 잡을 준비가 되면, 사람이 그립을 지시하는 입력(버튼)을 주고 DexGrasp-VLA 정책이 활성화되어 로봇 손가락이 닫히기 시작합니다. 이때 DexGrasp-VLA는 앞서 설명한대로 촉각과 비전으로 물체를 파악하면서 알맞은 힘으로 꽉 쥐고 미끄럼 없도록 조정합니다. 사람은 손이 잘 잡았는지 확인한 후, 로봇 팔을 들어올려 목표 지점(예: 바구니)으로 가져갑니다. 마지막으로 놓기(release) 명령을 트리거하면 손가락이 열리고 물체를 내려놓습니다. 이렇게 Pick & Place 시연 하나가 완료됩니다.

이 과정에서 사람과 AI의 협업 덕분에 얻는 이점은 명확합니다:

• 사람은 팔 이동 궤적과 물체/환경과의 상호작용에 집중하므로, 보다 다양하고 창의적인 시연 전략을 구사할 수 있습니다. 예를 들어 어떤 물체는 밀어서 잡고, 어떤 것은 돌려 잡는 등 사전 동작이 필요한데, 그런 부분을 사람의 판단으로 수행 가능. 반면 기존 완전 자동 데이터 생성은 이런 다양성이 부족했습니다.
• DexGrasp-VLA가 손을 잘 제어해주니, 매 시연마다 손가락 실수로 물체를 놓치거나 이상한 자세로 잡히는 경우가 줄어듭니다. 이는 데이터 품질 향상으로 이어집니다. 실제 플래너로 생성한 데이터는 부자연스런 그립 자세가 흔했는데, 여기선 사람의 지식과 AI의 촉각제어 결합으로 안정적 파지가 보장됩니다.
• 전반적으로 사람은 전두엽(계획) 역할, AI는 소뇌(반사) 역할을 하며, 인지 피로가 낮아 사람 조작 세션을 길게 가져갈 수 있습니다. 앞서 말했듯 20분이 한계였다면, 이제는 같은 사람이 훨씬 많은 데이터를 수집할 수 있는 것이죠.

논문에서는 이 Shared Autonomy 데이터 수집으로 높은 성공률의 시연들을 최소 인력으로 만들 수 있었다고 보고합니다. 특히 DexGrasp-VLA의 95% 이상 그립 성공률 덕분에, 사람은 실패 복구에 시간 뺏기지 않고 연속적으로 작업을 수행할 수 있었습니다.

결과적으로 저자들은 50개 이상의 다양한 물체에 대한 전신(팔+손) 조작 시연을 확보하였고, 각 물체마다 여러 번의 반복을 통해 약 수백 개의 데모를 얻은 것으로 보입니다. 이 데이터셋에는 사람의 팔 운동과 AI의 손 운동이 결합된 독특한 모션들이 담겨 있으며, 이는 이후 학습에 귀중한 자산이 됩니다.

2.4 Arm-Hand Feature Enhancement 모듈과 End-to-End VLA 학습

Shared Autonomy로 모은 데이터를 바탕으로, 이제 팔-손 종단간 정책을 학습할 차례입니다. 본 논문의 핵심 기여 중 하나는, 이러한 End-to-End VLA 정책에 Arm-Hand Feature Enhancement라는 새로운 신경망 모듈을 도입한 점입니다. 이 모듈은 팔(Arm)과 손(Hand) 동작의 특징 표현(feature representation)을 분리하면서도 공유하게 만들어, 더 자연스럽고 강인한 협조 제어를 가능케 합니다.

왜 필요한가? 일반적인 End-to-End 정책(예: 하나의 거대한 신경망으로 카메라 영상과 언어를 입력받아 모든 관절값을 출력)은 팔과 손의 역할 차이를 구분 없이 다루게 됩니다. 그러나 팔 동작과 손 동작은 운동학적/기능적으로 매우 다르다는 점에 착안했습니다: - 팔은 물체까지 이동(reaching)하는 거시적(macro) 움직임이고, 경로 최적화와 장애물 회피, 종단 위치 정확도 등이 중요합니다. - 손은 물체를 잡는(grasping) 미시적(micro) 움직임이며, 국지적인 접촉력 조절, 손가락 간 협응, 물체 형태 적응 등이 핵심입니다.

즉, 필요한 정보와 제어 패턴이 다르죠. 팔 움직임은 시각적으로 물체와 공간을 파악해 부드러운 경로를 그리는 게 중요하고, 손 움직임은 촉각/근접시각으로 접촉 이벤트에 반응하는 게 중요합니다. 그런데 하나의 통합 네트워크는 이 두 요구사항을 뒤섞어 표현하다 보니, 특정 모달리티 정보(예: 시각)가 지배적이 되어 균형 잡힌 제어 전략을 학습하지 못할 수 있습니다. 실제로 저자들이 실험한 바에 따르면, 단일 표현에 모든 정보를 넣은 베이스라인은 카메라 시야가 가려지는 상황 등에서 손-팔 협응이 망가져 성능이 급락했다고 합니다.

Arm-Hand Feature Enhancement 모듈 설계: 이를 해결하기 위해, 저자들은 정책 네트워크 내부를 공유+분기 구조로 만들었습니다. 우선 기본 VLA 모델 (사전학습 VLM + 액션 헤드)은 그대로 쓰되, 추가로 다음 두 가지 경로를 병렬로 둡니다:

1. Arm 전용 경로 : 팔 동작에 특화된 특징을 추출하는 부분
2. Hand 전용 경로 : 손 동작에 특화된 특징을 추출하는 부분

구체적으로, Fig. 6에 이 구조가 나타나 있습니다.

Figure 3: Arm-Hand Feature Enhancement 모듈의 개략도. 상단의 파란색 블록은 기존 사전학습된 VLM(시각-언어 백본)에서 나온 공유 임베딩 z_t^{share}이며, 이는 비전, 언어, 로봇 상태를 통합한 전역(task-level) 표현입니다. 이 shared 표현은 로봇이 무엇을 해야 하는지에 대한 전체 맥락을 담고 있습니다. 이제 왼쪽 초록 경로 E_{arm}은 팔 움직임에 중요한 특징을 추출하는 Arm 인코더이고, 오른쪽 초록 경로 E_{hand}는 손에 중요한 특징을 추출하는 Hand 인코더입니다. 두 경로 모두 shared 임베딩 z_t^{share}를 입력으로 받거나, 혹은 별도로 카메라/촉각 등의 모달 정보를 해당 경로에 추가 투입할 수도 있을 것입니다 (논문 언급으로는 “각 경로에 보조 입력을 넣고, 보조 loss로 최적화”한 것으로 보입니다).

Arm 인코더 E_{arm}은 팔의 위치/경로에 민감한 특징 z_t^{arm}을 뽑고, Hand 인코더 E_{hand}는 손의 접촉/그립에 민감한 특징 z_t^{hand}을 뽑습니다. 각 경로 끝에는 주황색 블록 H_{arm}, H_{hand}로 표시된 모듈이 있는데, 이는 아마 팔/손 별로 정의한 보조 학습 헤드로 추측됩니다. 예컨대 H_{arm}은 팔 관련 예측 (팔만의 미래 궤적 등)을 하고, H_{hand}는 손 관련 예측 (손가락 힘 패턴 등)을 해서 auxiliary loss를 계산함으로써, 각각의 인코더가 전문화되도록 유도했을 것입니다. 즉 E_{arm}은 reach 동작에 최적화, E_{hand}는 grasp 동작에 최적화되도록 학습합니다.

그런 다음, 최종적으로 이 둘과 원래 공유 표현을 결합합니다. Fig. 6 하단에 파란 점선으로 [z_t^{arm}, z_t^{share}, z_t^{hand}] 세 벡터를 붙여 만든 전체 표현 H_{full}이 보입니다. 이 H_{full}이야말로 팔과 손의 분리된 정보가 다시 합쳐진 통합 표현이며, 여기에는 글로벌 맥락(z^{share})과 팔 특유의 상태(z^{arm}), 손 특유의 상태(z^{hand})가 모두 들어있습니다. 최종적으로 이 H_{full}을 주황색 통합 헤드에 넣어 \hat{A}_{t}^{uni}, 즉 모든 관절 명령 출력을 얻습니다. \hat{A}_{t}^{arm}, \hat{A}_{t}^{hand}는 아마 보조 헤드의 출력을 의미하고, 최종 정책은 \hat{A}_{t}^{uni}

핵심은, shared 표현은 그대로 활용하면서도 arm/hand 개별 표현을 얹어 균형 잡힌 출력을 만든다는 것입니다. 이렇게 하면 카메라 시각 정보 등이 전체 공유 표현에 강하게 영향을 주더라도, arm/hand 경로가 고유 정보를 추가로 보강해 줍니다. 특히 팔 움직임은 시각이 좀 가려져도 고유의 팔 kinematics 정보(팔 관절각 변화를 통해 추정된 진행 방향 등)로 보완되고, 손 움직임은 촉각 정보 위주로 표현이 남아 있어, 시각 의존도가 낮아집니다. 저자들은 이 구조 덕분에 부분적인 카메라 차단 상황에서도 정책이 안정적으로 물체를 잡는 등 강인함이 크게 늘었다고 보고합니다.

또한 arm/hand 분리 표현은 학습 효율도 높였습니다. 하나의 모노리틱한 표현으로 모든 것을 학습하면 팔-손 간 간섭이 생길 수 있는데, 분리하여 전문화 + 통합하는 방식은 협응 패턴을 더 빨리 학습하게 해주었다고 합니다. 결과적으로 더 자연스러운 협응 동작도 나타났는데, 예를 들어 팔을 움직이며 손이 미리 적절히 열고 닫는 사람스러운 행동이 관찰되었다고 합니다 (monolithic 모델은 이런 부분이 미흡했다고 함).

학습 과정: Arm-Hand Feature Enhancement 모듈을 장착한 최종 VLA 정책은, Shared Autonomy로 수집한 시연 데이터로 Supervised Fine-Tuning (SFT)을 통해 학습되었습니다. 저자들은 OpenAI 등에서 공개한 LeRobot 프레임워크를 사용하여, 사전학습 VLM 기반의 VLA 모델을 파인튜닝했다고 밝힙니다. 여기서 사전학습 VLM은 아마 거대 비전-언어 모델 (예: CLIP 기반)일 가능성이 높습니다. 그 위에 액션 예측 헤드를 붙여 베이스라인 정책 \pi_{uni}를 만들고, 이걸 본 논문 데이터로 fine-tune하여 \pi_{uni-enhance} (feature enhancement 적용 정책)을 얻는 구조로 보입니다.

Loss 구성은 기본적으로 imitation learning (behavior cloning) 손실로, 시연의 다음 행동을 예측하도록 한 것 같습니다. 여기에 arm, hand 보조 loss가 추가되어 joint training을 했을 것으로 추정됩니다. 데이터는 시연이 몇백 개지만, 시각/언어 백본이 사전학습 덕에 강력해서 금방 수렴했다고 합니다.

최종 얻은 End-to-End 정책은 하나의 네트워크로 통합되어, 시각+언어 입력만 주면 바로 팔과 손 움직임 일련을 생성할 수 있습니다. 이는 로봇의 실시간 제어에 사용되며, 논문 실험에서 90%에 육박하는 성공률을 보였습니다. 해당 성능 분석은 뒤의 실험장에서 자세히 다룹니다.

2.5 교정 텔레오퍼레이션을 통한 정책 개선

학습된 정책을 바로 현장에 투입하면 끝일까요? 그렇지 않습니다. 아무리 많은 시연을 모았어도, 실제 배치 환경에서는 예측하지 못한 새로운 상황이나 코너 케이스가 나오기 마련입니다. 논문 저자들은 이를 효과적으로 대응하기 위해 교정 텔레오퍼레이션(Corrective Teleoperation)이라는 휴먼 인 더 루프 개선 전략을 제시했습니다.

개념: 교정 텔레오퍼레이션은 말 그대로 정책 실행 중 사람이 교정에 개입하는 것입니다. 구체적으로, 학습된 정책 \pi가 로봇을 제어하다가 실패 조짐 또는 실패 상황이 발생하면, 즉시 사람 운영자에게 제어권을 넘겨 그 상황을 수습하게 합니다. Shared Autonomy 인터페이스가 그대로 활용되어, 사람이 VR로 로봇을 조종해 실패한 작업을 마무리합니다. 예를 들어 로봇이 어떤 새로운 모양의 물체를 잡다 놓쳤다면, 사람이 바로 개입해 그 물체를 주워 담거나, 위치를 조정해 다시 시도하게 합니다. 이렇게 사람이 한 번 도와서 작업을 완수하면, 그 교정 과정의 데이터 (상태-센서-행동 시퀀스)도 기록해 남깁니다.

지속 학습: 중요한 점은, 이렇게 얻은 성공+교정 시연 데이터를 활용해 정책을 재학습(fine-tuning)한다는 것입니다. 처음 학습 시에는 없었던 상황들에 대한 시연이 추가되므로, 모델이 그 부분을 배워 다음번엔 스스로 잘 처리하게 됩니다. 이를 반복하면 정책이 점점 현장 상황을 커버하면서 성능이 향상되는 것입니다. 요컨대, 배포(deployment) 단계에서 끊임없이 데이터 수집 & 학습을 이어가는 라이프사이클을 구성한 것입니다. 논문에서는 이를 incremental SFT (점진적 지도 미세조정) 프레임워크라고도 부릅니다.

교정 전략의 효과: 저자들은 간단한 벤치마크 테스트를 설계해 이 과정의 효과를 검증했습니다. 40×40cm 영역에 3×3 격자로 물체를 놓고 (일부는 뒤집힌 상태 등 어려운 조건), 초기 정책을 시험한 결과 특정 방향의 물체나 구석에 있는 물체에서 실패했다고 합니다. 이에 대해 사람 개입 시연 50개를 모아 orientation 실패를 개선하도록 1차 미세조정한 정책(π_uni-orient)을 만들었더니, 방향 변화에는 잘 대응하게 되었습니다. 하지만 여전히 코너 케이스 (완전히 새로운 위치 등)는 실패하여, 추가로 그 부분 교정 시연 50개를 모아 2차 미세조정한 최종 정책(π_uni-final)을 얻었습니다. 최종적으로 모든 테스트 조건을 성공적으로 다루게 되었으며, 작은 테스트에서 성공률을 40%대에서 80~90%대로 향상시켰습니다.

Fig. 15는 이러한 정책 성능 향상을 객체별 성공률로 보여줍니다.

Figure 4: 교정 텔레오퍼레이션으로 정책을 개선한 결과. 예시로 5가지 물체(Bottle, Apple, Nail(못), Chips, Bowl)에 대해 초기 정책(회색)은 일부 30~60% 성공률에 그쳤으나, 1차 개선(하늘색) 후 방향-관련 실패가 줄어 성능이 상승하고, 2차 최종 개선(파란색) 후에는 대부분 90%까지 성공률이 높아진 모습입니다 (오른쪽 Average 막대도 40%에서 88%로 향상). 이런 2단계 개선으로 모든 케이스가 양호한 성공률에 도달했습니다. 작은 규모 실험이지만, 성공률 약 20%→50%p 향상이라는 뚜렷한 개선 효과를 확인할 수 있습니다.

흥미로운 점은, 이 교정 데이터는 굳이 사람일 필요도 없다는 것입니다. 사람 대신 전통적 모션 플래너가 실패 상황을 해소하는 데이터를 만들어줘도 활용 가능하고, 다른 형태의 로봇 (예: 2핑거 그리퍼) 시연을 추가해도 정책에 통합 가능했습니다. 이는 이 프레임워크가 상당히 일반적으로 응용될 수 있음을 시사합니다. 결국 목표는 최종 사용자 현장에서 발생하는 온갖 예외 상황에 대해, 사람이 조금씩 개입해 도와주면 로봇이 점차 배워나가 완전히 자율적으로 진화해가는 그림입니다.

3. 실험 및 결과 분석

이제 논문의 실험 설정과 결과를 종합적으로 살펴보겠습니다. 실험은 주로 로봇 실환경에서 다양한 물체를 대상으로 수행되었으며, 제안한 프레임워크의 효율성(데이터 수집량), 성능(성공률), 일반화(새로운 물체/상황 대응)를 입증하는 데 초점을 맞추었습니다. 또한 앞서 언급한 각 구성 요소의 유효성을 검증하기 위한 ablation(요인 분석) 실험도 포함됩니다.

3.1 실험 환경 및 설정

로봇 플랫폼: 실험에는 6자유도(6-DoF) UR3e 로봇 팔에 5-손가락 12-DoF XHand를 결합한 로봇 매니퓰레이터가 사용되었습니다.

하드웨어 모습이 나와 있는데, (1)이라고 표시된 부분이 UR3e+XHand 조합입니다. 또한 (2)라고 표시된 인지 센서 모듈로, 3대의 RGB-D 카메라가 환경을 다양한 각도에서 촬영해 로봇에게 시각 정보를 제공합니다. 그 중 2대는 정적 설치, 1대는 손목(wrist)에 장착되어, 전역 시야와 접근 시야를 모두 확보했습니다.

XHand는 사람이 쓰는 장갑 정도 크기의 소형 다지 로봇 손으로, 각 손가락에 촉각 센서가 장착되어 있습니다.

작업(Task) 환경: 기본 과제는 다양한 물체의 피킹 및 배치입니다. 저자들은 일상 물체 50가지를 준비하여, 그 중 20가지는 학습(시연 데이터 수집)에 사용하고, 나머지 30+는 한 번도 본 적 없는(unseen) 물체로 테스트에 활용했습니다. 물체 종류는 장난감, 음료수 캔, 공, 컵, 과일 모형 등 크기, 모양, 재질이 다양한 것으로 구성하여 일반화 성능을 확인했습니다.

Pick-and-place 작업의 조건은: 각 에피소드마다 물체 하나가 무작위 위치와 방향으로 40×40cm 작업 구역에 놓입니다. 로봇은 그 물체를 집어 인근 바구니에 놓는 것을 시도하며, 이를 3회 반복하여 성공률을 측정합니다. 성공 기준은 물체를 놓치지 않고 정확히 바구니에 넣는 것입니다. 만약 중간에 물체를 떨어뜨리거나 바구니 밖에 떨어뜨리면 실패로 간주됩니다.

데이터 수집: Shared Autonomy 방식으로 학습용 시연을 얼마나 모았는지 구체적 수치는 언급되지 않았지만, 사람 1인이 큰 피로 없이 여러 세션 수행할 수 있었다고 합니다. DexGrasp-VLA 손 정책 학습에는 앞서 말한 68+150 = 218개의 손 시연이 사용되었고, end-to-end 정책 학습에는 50개 물체 × N회 시연 (N은 물체마다 몇 차례씩 했을 테니 수백 개) 정도로 추정됩니다. 또한 교정 텔레오퍼레이션에는 50+50 = 100개의 추가 교정 시연이 활용되었습니다. 이처럼 수백 개 수준의 시연으로 달성한 성능이 어떠한지 살펴보겠습니다.

3.2 종합 성능 평가 (성공률 및 일반화)

먼저 최종 학습된 End-to-End VLA 정책의 성능입니다. Table 1은 50개 물체에 대한 종합 성공률을 요약한 결과입니다:

Table 1. End-to-End Arm-Hand VLA 정책의 물체 잡기 성공률

데이터셋	성공률 (잡아 바구니에 놓기)
학습에 사용한 Seen 20개 물체	91.7%
새로 본 Unseen 30여 개 물체	85.6%
전체 50개 평균	88.7%

해설: 제안한 정책 \pi_{uni-enhance}는 훈련에 쓰인 물체들은 대부분 안정적으로 다루었고(91.7%), 처음 보는 물체들도 85.6%의 높은 성공률로 수행했습니다. 전체 평균 성공률은 88.7%로, 10번 중 거의 9번 성공하는 수준입니다. 특히 저자들은 특별한 하드웨어 튜닝 없이 초기 버전으로 달성한 결과라며, 추가 개선을 통해 95% 이상도 가능할 것이라고 언급합니다. 이는 본 기법이 실제 응용에 충분히 현실적인 신뢰도를 갖출 수 있음을 보여줍니다. 참고로, 이 작업은 사람에게도 쉬운 편은 아니며 (일부 물체는 미끄럽거나 특이한 형상), 더욱이 로봇 팔+다지 손의 제어 난이도를 고려하면 90% 근접 성능은 상당히 고무적입니다.

또한 이 정책은 상황 변화에 대한 적응력도 입증되었습니다. Fig. 11에 여러 가지 다양한 물체를 잡아 옮기는 시연 사진들이 나와 있는데, 긴 막대나 작은 공 같은 극단적인 모양도 모두 일관되게 성공하는 모습을 볼 수 있습니다. 논문 본문에서도 물체의 크기, 형태, 무게가 달라도 안정적으로 파지하고 놓는다고 설명합니다. 특히 기존 학습 데이터에 없던 새로운 객체라도, VLA 모델의 시각-언어 일반화 능력과 촉각 피드백 덕분에 로봇이 대응 전략을 내재화한 것으로 풀이됩니다.

종합하면, 효율적으로 모은 데이터와 뛰어난 정책 구조를 통해 본 연구는 높은 성공률과 일반화 성능을 달성했습니다. 이는 향후 로봇의 범용성 확보에 중요한 성과입니다.

3.3 정성적 결과: 예시와 시각화

정량적 수치 외에, 논문에는 여러 정성적 실험 시나리오와 시각화 결과가 제시되어 있습니다. 몇 가지 흥미로운 사례를 소개합니다:

• 탁자 위 물체 치우기(Table bussing) 작업: DexGrasp-VLA 손 정책의 성능을 검증하기 위해, 어수선한 테이블에서 물체들을 하나씩 집어 바구니에 옮기는 실험을 수행했습니다. 이때 로봇 팔은 사람이 아닌 사람 손이 들고 있는 형태로 설정하고 (즉 손만 로봇, 팔은 인간이 들고 다님), 순전히 손 정책의 자율 그립 능력을 평가했습니다. 결과 DexGrasp-VLA는 95.5%의 높은 성공률로 테이블 위 수십 개 물건을 모두 치웠고, 장애물로 일부 물체가 가려져 시야가 안 보여도 촉각으로 찾아 집는 행동을 보여주었습니다. 이는 손 정책이 복잡한 잡동사니(clutter) 환경에서도 강인함을 입증한 예입니다.
• 촉각 접촉 분포 시각화: Fig. 13에는 둥근 공과 원통형 물체를 잡을 때 손가락들에 분포한 촉각 센서 접촉패턴을 컬러로 표시한 그림이 나옵니다. 이를 통해 정책이 어떤 손가락으로 어느 부위를 눌러 잡았는지를 보여주는데, 예컨대 공을 잡을 때는 거의 모든 손가락 끝에 고르게 접촉되지만, 원통을 잡을 때는 양쪽 두 손가락에 주로 힘이 실리는 식입니다. 이러한 접촉 분포를 시각화하면, 로봇이 인간과 비슷하게 물체 형태에 따라 접촉 전략을 조절하고 있음을 확인할 수 있습니다.
• 긴 시퀀스 작업: 부록에는 Fig. 20~22로 여러 단계로 구성된 조작 작업 시연이 있습니다. 예를 들어, 먼 곳에 놓인 펜을 집기 위해 먼저 책상을 기울여 펜을 굴린 뒤 잡는 2단계 작업, 봉투에 물건 넣고 봉투를 닫아 운반하는 작업, 바닥에 눕힌 병을 뚜껑 잡아 세운 후 들어올려 상자에 넣는 작업 등이 시연되었습니다. 이런 긴 작업은 원래 RL로 일일이 설계해야 했던 것들인데, 본 논문의 VLA 학습 접근으로도 데모만 있으면 학습이 가능함을 보여주는 사례입니다. 이는 장기적 연속 조작에도 본 기법이 통할 수 있음을 시사합니다.
• Peg-in-hole 조립 작업: Fig. 23-24에는 산업용 끼워맞추기(peg-in-hole) 작업 사례가 보입니다. mm 단위의 정밀도가 필요한 작업으로, 4가지 초기 자세에 대해 로봇이 부품을 집어 구멍에 끼우는 전 과정을 시연했습니다. 일부러 오차가 나게 해서 삐끗한 경우 (misalignment) 사람 개입으로 수정하는 장면도 담았습니다. 이것은 본 교정 메커니즘이 정밀 제조 시나리오에도 적용될 수 있음을 보여주는 데모입니다.

요약하면, 정성적 결과들은 제안한 정책의 유연성과 적응성을 잘 보여줍니다. 사람처럼 주변 상황에 대응하며, 복잡한 조작도 단계별 시연으로 학습 가능하고, 촉각으로 섬세하게 물체를 다룰 수 있음을 사례로 나타냈습니다.

3.4 요인 분석: Ablation 실험

마지막으로, 논문은 제안한 시스템의 핵심 요소들이 각각 얼마나 효과를 발휘했는지를 검증하기 위해 ablation study(요인 제거 실험)를 수행했습니다. 구체적으로 (1) 촉각 센싱의 유무, (2) Arm-Hand Feature Enhancement 모듈의 유무, (3) 교정 텔레오퍼레이션 활용 여부에 따른 성능 차이를 실험했습니다.

3.4.1 촉각 센싱의 효과

먼저 DexGrasp-VLA 손 정책에서 촉각 정보를 빼거나 일부만 넣었을 때 성능 변화를 보았습니다. Table 2는 10가지 일상 물건을 대상으로, 세 가지 경우의 성공률을 비교합니다:

조건	설명	성공률
No Tactile (시각 Only)	촉각 입력 없음, 카메라/관절 정보만으로 그립	21%
Force-Only Tactile	합력 벡터만 촉각 피드백 사용	70%
Force + Spatial Tactile	합력 + 분포 임베딩 모두 사용 (본 논문 방식)	90%

이 결과는 촉각이 필수적임을 명확히 보여줍니다. 카메라에 의존하면 조금만 가려져도 금방 물체를 놓쳐 실패하지만, 촉각센서로 힘을 느끼면 70%까지 올라가고, 여기에 접촉 분포까지 알면 90%로 크게 향상됩니다. Fig. 13에 그 비교 장면이 있는데, (a) 카메라만으로 잡은 경우 시야를 가리자 물체가 미끄러져 떨어지는 반면, (b) 촉각이 있는 경우 시야가 가려져도 꽉 잡고 유지하고, 심지어 탁자에 치거나 흔들어도 안 놓치는 모습입니다.

이는 시각 정보에 잡히지 않는 미세 움직임이나 미끄러짐도 촉각이 감지해 보완해준다는 것을 의미합니다. 따라서 다지 로봇 손의 안정적 조작에는 촉각 피드백 통합이 거의 필수임을 증명합니다.

3.4.2 Arm-Hand 특징 분리 모듈의 효과

다음으로, Arm-Hand Feature Enhancement 모듈이 정말 효용이 있는지 확인했습니다. Table 3은 모듈 적용 전후의 성능 차이를 보여줍니다:

조건	Baseline (모듈 없음)	Enhanced (모듈 적용)
XHand 로봇손 (주 환경)	88%	95%
RY-H2 로봇손 (타 기종)	71%	81%
XHand + 카메라 차단	19%	58%

해설: 기본 XHand 플랫폼에서 모듈 적용시 성공률이 88→95%로 증가하여, 거의 모든 물체를 확실히 다루는 수준이 되었습니다. 또한 다른 형태의 로봇손(RY-H2)으로 정책을 이식할 경우에도, 모듈 적용이 71→81%로 +10%p 향상되어 기종 변화에 대한 적응력도 높였습니다. 가장 극적인 차이는 카메라 한 대를 가려 시각 정보를 제한한 시험에서 나타났는데, 모듈 미적용 시엔 19%로 거의 실패했지만, 모듈 적용 정책은 58%를 유지해 약 3배 성능을 보였습니다. 완벽하진 않아도 절반 이상은 성공한 것이죠. 이는 앞서 설명한 대로, 팔-손 분리 표현이 시각 의존도를 낮춰 부분적으로 보이지 않아도 proprioception과 촉각으로 대응한 결과입니다.

이 실험은 해당 모듈이 매크로-마이크로 협응 학습에 실질적인 이득을 준다는 것을 뒷받침합니다. 또한 새 하드웨어에의 일반화와 센서 이상 상황에 대한 강인함도 개선되는 부가 효과가 있음을 보여줍니다. 요컨대, 이 모듈은 단순 성능 수치뿐 아니라 로봇 운영상의 안정성 측면에서도 큰 가치가 있습니다.

3.4.3 교정 텔레옵 개입의 효과

마지막으로 교정 텔레오퍼레이션 전략의 효과를 정량화한 결과는 앞서 Fig. 4에서 설명했습니다. 초기 모델 대비 최종 모델의 평균 성공률이 약 2배 이상 향상되었고, 특히 초기 모델이 전혀 못하던 케이스 (0~40% 성공)들을 최종 모델은 거의 대부분 해결 (80~90%)하게 되었습니다 . 이는 인간 시연 추가 데이터가 특정 약점을 메우는 데 확실히 기여했음을 의미합니다. 또한 이 과정에서 나타난 중간 모델(orient 전용 개선)이 특정 문제만 부분 해결한 것도 관찰되었는데, 이는 어떤 데이터로 어떻게 개선되었는지를 분석하는 재미있는 포인트입니다. 궁극적으로, 본 논문이 보여준 지속 학습 루프는 실제 응용에서 유용할 것으로 보이며, 사용자가 조금씩 피드백을 주어 로봇을 맞춤형으로 진화시킬 수 있는 그림을 제시했습니다.

4. 결론 및 향후 과제

요약: 본 리뷰에서는 Shared Autonomy 개념을 활용한 VR 텔레오퍼레이션 + 자율 보조제어 프레임워크로 다자유도 로봇 팔-손 조작 정책을 효율적으로 학습한 논문을 살펴봤습니다. 사람은 VR로 팔 동작을, AI는 손가락 동작을 맡아 협력함으로써 고품질 시연 데이터를 신속히 수집하였고, 이를 토대로 Vision-Language-Action(VLA) 기반의 end-to-end 정책을 학습하여 90% 성공률의 섬세한 조작을 실현했습니다. 또한 Arm-Hand Feature Enhancement라는 독창적 모델로 팔/손 협조를 향상시켜 자연스러운 모션과 강인한 성능을 얻었으며, 교정 텔레오퍼레이션을 통해 현장 배치 후에도 지속적으로 학습 개선이 가능한 틀을 만들었습니다. 전반적인 실험 결과, 사람 개입 최소화로 데이터 효율을 높이고, 학습된 정책은 다양한 물체와 상황에 일반화됨을 확인했습니다.

의의: 이 연구는 로봇공학자와 AI 연구자 모두에게 의미 있는 메시지를 줍니다. 데이터 수집 측면에서, “인간과 AI의 협업”이 얼마나 효과적으로 학습용 데이터 한계를 극복할 수 있는지 보여주었습니다. 완전 자율 수집은 품질 문제, 완전 수동 수집은 양적 문제를 가졌지만, 그 중간 지대를 개척함으로써 양질의 데이터를 실용적으로 확보하는 방법을 제시했습니다. 또한 VLA와 같은 거대 멀티모달 모델을 섬세한 제어에 적용하면서 생길 수 있는 모델 구조상의 문제 (팔과 손의 역할 분리 등)를 날카롭게 짚고 해결책을 내놓았습니다. 이는 향후 고차원 로봇 제어 학습 연구에 참고가 될 만한 전략입니다.

한계 및 향후 연구: 논문에서도 한계를 일부 언급했듯이, 현재 시스템은 주로 단일 단계 grasping 작업에 집중했습니다. 아직 도구 활용, 손 내에서의 재배열(in-hand manipulation) 등 복잡한 장기 행동은 다루지 않았습니다. 또한 촉각 센싱 통합은 성능 향상에 큰 도움이 되었지만, 잡기 직전 팔을 움직일 때는 촉각 정보가 없으므로 약간의 모달리티 불일치가 있습니다. 이 부분은 향후 촉각과 시각 정보의 alignment 문제나 잡기 전 탐색 동작 등의 연구로 개선될 여지가 있습니다. 교정 학습도 인간 개입이 필요하므로, 장기적으로는 실패를 자동으로 탐지/교정하거나 아예 초기 학습 데이터를 더 포괄적으로 수집하는 방향도 고민됩니다.

그럼에도 불구하고, 본 연구가 보여준 인간-로봇 협력 학습과 모듈식 정책 설계는 향후 범용 로봇비서나 산업용 다기능 로봇 개발에 중요한 한 걸음이 될 것입니다. 로봇공학의 궁극적인 목표인 “사람처럼 유연하고 똑똑한 로봇”을 실현하기 위해, 효과적인 데이터 수집과 학습법이 얼마나 중요한지 다시금 확인할 수 있었습니다. 앞으로 이 방향의 연구가 더욱 발전하여, 사람과 로봇이 함께 배우고 성장하는 파트너로서 복잡한 세상에서 협력해나가길 기대합니다.