📃DexGraspVLA(AAAI 2026) 리뷰

A Vision-Language-Action Framework Towards General Dexterous Grasping

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Project
• Code

1. 🤖 이 논문은 언어 기반의 일반적인 Dexterous Grasping을 위한 계층적 Vision-Language-Action (VLA) 프레임워크인 DexGraspVLA를 제안합니다.
2. 💡 DexGraspVLA는 pre-trained VLM을 고수준 플래너로, Diffusion-based low-level Action controller에서 foundation model을 활용하여 다양한 입력으로부터 domain-invariant representation을 추출, Imitation Learning을 효과적으로 적용하여 뛰어난 일반화를 달성합니다.
3. 🚀 DexGraspVLA는 수천 개의 보지 못한 cluttered scene에서 90% 이상의 grasping 성공률을 기록했으며, long-horizon task 및 nonprehensile grasping 등 다양한 응용 분야에서 견고한 일반화 성능을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 로봇 공학 분야의 근본적이면서도 어려운 문제인 일반적인 dexterous grasping(능숙한 잡기)을 목표로 하는 계층적 VLA(Vision-Language-Action) 프레임워크인 DexGraspVLA를 제안합니다. 기존 연구들은 단일 객체 설정이나 제한된 환경과 같은 제약적인 가정에 의존하여 일반화 능력이 제한적이라는 한계가 있습니다. DexGraspVLA는 다양한 언어 및 시각적 입력들을 파운데이션 모델(foundation model)을 통해 도메인 불변(domain-invariant) 표현으로 반복적으로 변환하고, 이 표현들을 기반으로 모방 학습(imitation learning)을 효과적으로 적용하여 도메인 이동(domain shift) 문제를 완화함으로써 강력한 일반화 성능을 달성합니다.

핵심 방법론 (Core Methodology)

DexGraspVLA는 고수준 계획기(high-level planner)와 저수준 제어기(low-level controller)로 구성된 계층적이고 모듈화된 아키텍처를 채택합니다.

1. 고수준 계획기 (High-level Planner):
   • 사전 학습된 Qwen VLM(Vision-Language Model)을 활용하여 사용자 프롬프트 p (예: “식탁을 치워라”)를 이해하고, 개별 객체 수준의 잡기 지시 l (예: “쿠키를 잡아라”)로 분해합니다.
   • 이 과정에서 VLM은 현재 장면의 이미지(I_h^t)를 분석하여 타겟 객체의 바운딩 박스 (x_1, y_1, x_2, y_2)를 태스크 어포던스(task affordance) 신호로 제공합니다. 다양한 언어와 시각적 입력은 도메인 가변적(domain-variant)일 수 있지만, 바운딩 박스는 객체 위치 파악에 있어 도메인 불변적인 일관된 형식으로, 저수준 제어기의 학습 난이도를 경감시킵니다.
   • 계획기는 제어기의 실행을 모니터링하고, 각 잡기 시도 후 로봇을 초기 상태로 재설정하며, 프롬프트 p가 완전히 완료될 때까지 업데이트된 지시 l을 계속 제안합니다.
2. 저수준 제어기 (Low-level Controller):
   • 계획기가 제공한 바운딩 박스 (x_1, y_1, x_2, y_2)를 입력으로 받습니다.
   • 마스크 추적 (Mask Tracking): 바운딩 박스를 SAM (Segment Anything Model)에 입력하여 타겟 객체의 초기 이진 마스크 m_0 \in \{0,1\}^{H \times W \times 1}를 얻습니다. 이후 Cutie 모델을 사용하여 매 타임스텝 t마다 마스크 m_t를 지속적으로 추적하여 복잡한 장면에서도 정확한 객체 식별을 보장합니다.
   • 도메인 불변 특징 추출 (Domain-Invariant Feature Extraction): raw visual input I_w^t, I_h^t의 높은 가변성을 해결하기 위해, 파운데이션 모델인 DINOv2 (ViT-B/14 for head camera, ViT-L/14 for wrist camera)를 특징 추출기 \phi로 사용합니다. 이를 통해 head camera 이미지 특징 z_h^t = \phi_h(I_h^t) \in \mathbb{R}^{L_h \times D_h} 와 wrist camera 이미지 특징 z_w^t = \phi_w(I_w^t) \in \mathbb{R}^{L_w \times D_w}를 얻습니다. 이 추출된 특징들은 교란적인 시각적 요소에 비교적 불변성을 유지합니다.
   • 특징 융합 및 임베딩 (Feature Fusion and Embedding): 마스크 m_t는 무작위로 초기화된 ViT를 통해 head 이미지 특징 공간으로 투영되어 z_m^t \in \mathbb{R}^{L_h \times D_h}를 생성합니다. z_h^t와 z_m^t를 패치 단위로 연결하여 \bar{z}_h^t \in \mathbb{R}^{L_h \times 2D_h}를 얻습니다. 이어서 \bar{z}_h^t, wrist-camera 특징 z_w^t, 그리고 로봇 고유수용감각(proprioception) s_t를 각각 별도의 MLP를 사용하여 공통 임베딩 공간으로 투영하여 \tilde{z}_h^t, \tilde{z}_w^t, \tilde{z}_s^t를 생성합니다. 이 임베딩들을 연결하여 전체 관측 특징 시퀀스 \tilde{z}_{obs}^t \in \mathbb{R}^{(1+L_h+L_w) \times D}를 형성합니다.
   • 액션 예측 (Action Prediction): DiT (Diffusion Transformer) 모델을 사용하여 다음 H개 액션을 포함하는 액션 덩어리(action chunk) A_t = a_{t:t+H}를 예측합니다.
     • 학습 시: 임의의 확산 스텝(diffusion step) k가 샘플링되고, A_t에 가우시안 노이즈 \epsilon이 추가되어 노이즈가 추가된 액션 토큰 x_k = \alpha_k A_t + \sigma_k \epsilon가 생성됩니다. 여기서 \alpha_k와 \sigma_k는 DDPM (Denoising Diffusion Probabilistic Models) 계수입니다.
     • x_k는 관측 특징 시퀀스 \tilde{z}_{obs}^t와 함께 DiT에 입력됩니다. 각 DiT 레이어는 액션 토큰에 대한 양방향 셀프-어텐션, \tilde{z}_{obs}^t에 대한 크로스-어텐션, 그리고 MLP 변환을 수행하며, 최종적으로 원래 노이즈 \epsilon을 예측합니다. 노이즈 예측 오차를 최소화함으로써 모델은 실제 액션 덩어리 A_t를 재구성하는 방법을 학습합니다.
     • 추론 시: 반복적인 denoising 스텝을 통해 학습된 분포로부터 의도된 다단계 액션 시퀀스를 복구합니다. Receding horizon control 전략을 사용하여 예측된 액션 덩어리 중 첫 H_a개의 액션만 실행한 후 새로운 액션 덩어리 예측을 생성하여 반응성을 향상시킵니다.

DexGraspVLA는 2,094개의 성공적인 데모로 구성된 데이터셋(36개 가정용 객체, 복잡한 장면)으로 훈련되었으며, 각 에피소드는 원본 카메라 이미지, 로봇 고유수용감각, 객체 마스크, 액션을 기록합니다.

DexGraspVLA의 네 가지 대표 능력: 1,200개 이상의 보지 못한 장면에서 90% 이상 성공, 방해·적대적 객체에 대한 강건성, 자유 형식 long-horizon 작업 완수, nonprehensile grasping으로의 확장 (Fig 1)

실험 결과:

• 대규모 일반화: 수천 개의 보지 못한(unseen) 물체, 조명, 배경 조합의 혼잡한 장면에서 90.8%의 뛰어난 잡기 성공률을 달성했습니다. 이는 “zero-shot” 환경에서 달성되었으며, 기존 VLA 모델들을 크게 능가합니다.
• 강력한 내성: 적대적 객체(adversarial objects), 인간의 방해, 실패 복구에 대한 강력한 내성을 보여줍니다.
• 내부 모델 동작 분석: 환경 변화에도 불구하고 DINOv2 특징과 DiT 어텐션 맵이 일관성을 유지함을 시각적으로 입증하여, 도메인 불변 표현이 일반화에 기여함을 확인했습니다.
• 장기 시퀀스 태스크: “테이블 치우기”와 같은 자유 형식의 장기 시퀀스 지시를 89.6%의 성공률로 수행하며, 계획기와 제어기 모듈 간의 시너지를 입증했습니다.
• 비파지형 잡기(Nonprehensile Grasping) 확장: 능숙한 조작이 필요한 비파지형 잡기 태스크에도 아키텍처 변경 없이 성공적으로 확장되어, 84.7%의 집계된 일반화 성능을 달성했습니다.

이 연구는 DexGraspVLA가 제한된 데모로부터 학습하여 실제 환경에서 신뢰할 수 있는 일반화 능력을 갖춘, 지시 기반 프레임워크임을 입증하며, 일반적인 능숙한 잡기 및 그 이상의 로봇 조작을 향한 유망한 진전을 보여줍니다. 향후 연구에서는 기능적 잡기 및 후속 조작, 촉각 센싱 통합으로 확장하는 것을 목표로 합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 이 논문이 중요한가?

DexGraspVLA라는 이름의 이 프레임워크는 2025년 AAAI에서 Oral 발표로 선정된 논문인데요, 솔직히 말해서 이 분야에서 일하는 우리 모두가 오랫동안 꿈꿔왔던 것을 실현했다고 봐도 무방합니다.

자, 문제를 한번 정의해 봅시다. 로봇이 물건을 집는 것. 얼마나 간단해 보입니까? 여러분은 지금 커피잔을 집기 위해 몇 초의 고민을 합니까? 거의 0초에 가깝죠. 하지만 로봇에게 이건 완전히 다른 이야기입니다.

기존 덱스터러스 그래스핑 연구들의 문제점을 한번 짚어봅시다:

• 단일 객체 환경에서만 작동 (현실 세계는 어지럽습니다!)
• 특정 조명 조건에서만 작동 (실험실 밖으로 나가면 망합니다)
• 학습한 객체만 잡을 수 있음 (새로운 물건? 안녕히 가세요)
• 캘리브레이션 오차에 취약 (완벽한 캘리브레이션은 환상입니다)

DexGraspVLA는 이 모든 문제를 하나의 우아한 통찰로 해결합니다: “Foundation Model을 사용해서 다양한 입력을 도메인 불변(domain-invariant) 표현으로 변환하면, 모방 학습이 효과적으로 작동한다.”

---

1. 핵심 통찰: 왜 Domain-Invariant Representation인가?

1.1 일반화의 적: 도메인 시프트

자, 여러분이 로봇에게 사과를 집는 법을 가르쳤다고 합시다. 빨간 사과를 흰색 테이블 위에서, 형광등 아래서 집는 법을요. 그런데 갑자기 초록 사과가 나타납니다. 나무 테이블 위에. 창문으로 들어오는 자연광 아래서. 로봇은 완전히 혼란에 빠집니다.

왜일까요? 로봇이 학습한 것은 “사과를 집는 법”이 아니라 “빨간 색 + 흰 테이블 + 형광등 = 이렇게 손을 움직여라”를 학습한 겁니다. 이것이 바로 도메인 시프트(domain shift) 문제입니다.

DexGraspVLA의 저자들은 여기서 정말 영리한 질문을 던집니다:

“만약 로봇이 보는 모든 장면을 동일한 ’언어’로 번역할 수 있다면 어떨까?”

1.2 Foundation Model: 범용 번역기

여기서 Foundation Model이 등장합니다. DINOv2, SAM, VLM 같은 모델들은 인터넷 규모의 데이터에서 학습되었습니다. 수십억 개의 이미지를 봤죠. 이 모델들은 “사과”가 빨간색이든 초록색이든, 햇빛 아래든 형광등 아래든, “그것이 사과임”을 알아봅니다.

비유를 들어보죠. 여러분이 프랑스어, 독일어, 일본어로 “안녕하세요”를 듣는다고 합시다:

• “Bonjour”
• “Guten Tag”
  
• “こんにちは”

표면적으로는 완전히 다르지만, 번역기를 통과하면 모두 동일한 의미 — “인사”로 변환됩니다. Foundation Model이 하는 일이 바로 이겁니다. 시각적으로 완전히 다른 장면들을 동일한 의미론적 공간으로 매핑하는 것이죠.

1.3 반복적 변환(Iterative Transformation)의 힘

DexGraspVLA의 또 다른 핵심은 이 변환을 한 번이 아니라 반복적으로 수행한다는 것입니다:

flowchart LR
    A["Raw Image"] --> B["VLM: Object ID<br/>+ Bounding Box"]
    B --> C["SAM: Mask<br/>Generation"]
    C --> D["Cutie: Video<br/>Mask Tracking"]
    D --> E["DINOv2: Visual<br/>Feature Extraction"]
    E --> F["Domain-Invariant<br/>Representation"]

    style A fill:#ffecb3
    style F fill:#c8e6c9

각 단계에서 도메인 특정적인 정보(조명, 배경 색상, 텍스처)는 걸러지고, 본질적인 정보(객체 위치, 형태, 손과의 상대적 관계)만 남습니다.

이것이 바로 “1,287개의 보지 못한 객체, 조명, 배경 조합에서 90.8% 성공률”을 가능하게 한 비밀입니다.

---

2. 아키텍처 심층 분석

2.1 계층적 구조: High-Level Planner + Low-Level Controller

DexGraspVLA는 계층적 구조를 채택합니다. 이건 우연이 아닙니다. 인간의 운동 제어 시스템과 놀라울 정도로 유사하죠.

여러분이 책상 위의 컵을 집으려 할 때 뇌에서 일어나는 일을 생각해 봅시다:

1. 전두엽(High-Level): “저 파란 컵을 집어야지”라고 계획
2. 운동 피질(Low-Level): 손가락 각도, 팔 궤적, 힘 조절 실행

DexGraspVLA도 정확히 이 구조를 따릅니다:

High-Level Planner (VLM 기반)

flowchart LR
    subgraph Input["Input"]
        I1["Scene Image"]
        I2["User Command:<br/>'Clear the table'"]
    end

    subgraph VLM["VLM Planner"]
        P["Qwen-VL-Chat<br/>(long-horizon:<br/>Qwen2.5-VL-72B)"]
    end

    subgraph Output["Output"]
        O1["Grasp Commands:<br/>['Pick cookie',<br/>'Pick milk',<br/>'Pick pen']"]
        O2["Target Bounding<br/>Boxes"]
    end

    Input --> VLM --> Output

    style VLM fill:#e8eaf6

여기서 사용된 VLM은 논문 원문 기준으로 작업에 따라 다릅니다. 일반 dexterous grasping 실험(단일·클러터 장면)에서는 Qwen-VL-Chat을, 자유 형식 long-horizon 작업(§5.6)에서는 더 큰 Qwen2.5-VL-72B-Instruct를 플래너로 사용합니다(논문 §5.1). 즉 플래너 VLM은 프레임워크에 고정 결합된 것이 아니라 교체 가능한 모듈입니다. 하지만 중요한 건 파라미터 수가 아닙니다. 이 모델이 “테이블을 치운다”라는 추상적 명령을 “구체적인 개별 객체 집기 시퀀스”로 분해할 수 있다는 것입니다.

더 인상적인 것은 이 Planner가 실행 모니터링까지 담당한다는 점입니다:

• 그래스핑 성공 판단
• 실패 시 재시도 트리거
• 전체 작업 완료 확인

Low-Level Controller (Diffusion 기반)

이제 진짜 재미있는 부분입니다. Low-Level Controller의 구조를 살펴봅시다:

flowchart TB
    subgraph Controller["Low-Level Controller"]
        direction TB

        subgraph Input["Input Modules"]
            direction LR
            SEG["Segmentation Models<br/>• SAM: Initial Mask<br/>• Cutie: Mask Tracking"]
            VIS["Vision Encoder (×3)<br/>• DINOv2 (frozen): Head cam<br/>• DINOv2 (frozen): Wrist cam<br/>• ViT (trainable): Mask"]
            PROJ["Projector (MLP ×3)<br/>• Visual → Feature<br/>• State → Feature"]
        end

        Input --> FUSE["Feature Fusion"]
        FUSE --> DIT["DiT Action Head<br/>(Diffusion Transformer)<br/>Action Chunk Prediction<br/>a_t → a_{t+H-1}"]
    end

    style SEG fill:#e3f2fd
    style VIS fill:#e3f2fd
    style PROJ fill:#e3f2fd
    style DIT fill:#fff3e0

2.2 각 컴포넌트 상세 분석

(1) 세그멘테이션 모듈: SAM + Cutie

왜 두 개의 세그멘테이션 모델이 필요할까요?

SAM (Segment Anything Model)은 정적 이미지에서 뛰어난 세그멘테이션 성능을 보입니다. 바운딩 박스만 주면 거의 모든 객체를 정확하게 분리해냅니다. 하지만 SAM은 프레임 간 일관성을 보장하지 않습니다.

Cutie는 비디오 세그멘테이션 모델입니다. 첫 프레임의 마스크를 받아서 이후 프레임에서 동일한 객체를 추적합니다. 이것이 왜 중요할까요?

그래스핑 과정에서 손이 객체에 접근하면서 객체는 가려지고, 조명이 바뀌고, 각도가 변합니다. Cutie는 이 모든 변화 속에서도 “지금 추적하는 것이 처음에 지정한 바로 그 객체”임을 보장합니다.

flowchart LR
    subgraph t0["t=0"]
        SAM["SAM(image, bbox)"] --> M0["initial_mask"]
    end

    subgraph t1["t=1"]
        M0 --> C1["Cutie(image_t1)"] --> M1["tracked_mask_t1"]
    end

    subgraph t2["t=2"]
        M1 --> C2["Cutie(image_t2)"] --> M2["tracked_mask_t2"]
    end

    M2 -.->|"..."| MORE["Continue tracking"]

    style M0 fill:#bbdefb
    style M1 fill:#bbdefb
    style M2 fill:#bbdefb

(2) Vision Encoder: DINOv2 + Trainable ViT

DINOv2는 Meta AI의 자기지도 학습(Self-Supervised Learning) 모델입니다. 수십억 개의 이미지에서 레이블 없이 학습했습니다. 그 결과로 얻은 것은 범용 시각적 표현입니다.

여기서 핵심적인 설계 결정이 있습니다:

• DINOv2: Frozen (학습 X) — Foundation Model의 일반화 능력을 보존
• Mask ViT: Trainable (학습 O) — 마스크 정보를 효과적으로 인코딩하도록 미세 조정

왜 이렇게 했을까요? DINOv2를 학습시키면 데모 데이터에 과적합(overfit)될 위험이 있습니다. 그러면 “새로운 환경에서도 작동하는 범용 표현”이라는 장점을 잃어버리죠. 반면 마스크 인코더는 로봇 특화 정보(어떤 객체를 잡을 것인가)를 학습해야 하므로 학습 가능하게 둡니다.

두 개의 카메라를 사용하는 것도 주목할 만합니다:

• Head Camera (3인칭 시점): 전체 장면 파악, 객체 위치 추정
• Wrist Camera (1인칭 시점): 정밀한 손-객체 상호작용, 세밀한 조작

이것도 인간과 유사합니다. 우리는 멀리서 대상을 보고 손을 뻗다가, 손이 가까워지면 손 주변을 집중해서 봅니다.

(3) DiT Action Head: Diffusion Transformer

여기가 “마법”이 일어나는 곳입니다. DiT (Diffusion Transformer)는 액션 청크(action chunk)를 예측합니다.

먼저 Diffusion Model에 대해 간단히 설명하겠습니다. Diffusion은 본질적으로 노이즈 제거 과정입니다:

flowchart LR
    subgraph Forward["Forward (Training)"]
        direction LR
        A1["Clean Action"] --> A2["Add Noise"] --> A3["Pure Noise"]
    end

    subgraph Reverse["Reverse (Inference)"]
        direction LR
        B1["Pure Noise"] --> B2["Denoise"] --> B3["Clean Action"]
    end

    style A1 fill:#c8e6c9
    style A3 fill:#ffcdd2
    style B1 fill:#ffcdd2
    style B3 fill:#c8e6c9

왜 Diffusion을 썼을까요? 로봇 조작에서 다중 모달리티(Multi-Modality) 문제가 있기 때문입니다.

컵을 집는 방법이 한 가지만 있을까요? 아닙니다. 손잡이를 잡을 수도 있고, 옆면을 감쌀 수도 있고, 위에서 집을 수도 있습니다. 전통적인 회귀(regression) 방식은 이 모든 방법의 평균을 출력합니다 — 어느 것도 아닌, 이상한 동작이 나오죠.

Diffusion Model은 이 분포에서 하나의 유효한 모드(mode)를 샘플링할 수 있습니다. 이것이 자연스럽고 다양한 그래스핑 행동을 가능하게 합니다.

Action Chunk이란 무엇일까요? 단일 시점의 액션이 아니라 H 스텝의 액션 시퀀스를 한 번에 예측하는 것입니다:

Prediction: [a_t, a_{t+1}, a_{t+2}, ..., a_{t+H-1}]

이것의 장점: 1. 시간적 일관성: 떨림 없는 부드러운 동작 2. 계획 능력: 미래 동작을 고려한 현재 결정 3. 추론 효율성: 매 프레임 추론 불필요

---

3. 학습 파이프라인: 단 2시간의 데모로?

여기서 제가 정말 놀란 부분입니다. 이 모든 복잡한 시스템이 약 2시간 분량의 인간 시연 데이터만으로 학습되었습니다.

3.1 데이터 수집 상세

Item	Value
Total Episodes	2,094
Avg. Episode Duration	~3.5 sec
Total Duration	~2 hours
Environment	Complex cluttered scenes (multiple mixed objects)

생각해 보세요. 기존 강화학습 기반 방법들은 수백만 에피소드의 시뮬레이션 데이터가 필요했습니다. End-to-End VLA 모델들은 수만 시간의 로봇 데이터를 사용합니다.

2,094개 에피소드라니요. 이게 어떻게 가능할까요?

3.2 비밀: Foundation Model이 이미 학습해 둔 것

답은 간단합니다. 로봇은 “보는 법”을 처음부터 배울 필요가 없습니다.

DINOv2는 이미 수십억 개의 이미지에서 “물체란 무엇인가”, “손이란 무엇인가”, “공간 관계”를 학습해 두었습니다. 로봇이 배워야 하는 것은 “이 도메인 불변 표현에서 어떻게 손을 움직일 것인가”뿐입니다.

이것은 마치 여러분이 새로운 언어를 배울 때, “언어가 무엇인지”, “의사소통이 무엇인지”를 배우지 않아도 되는 것과 같습니다. 이미 모국어로 그 개념들을 알고 있으니까요.

3.3 학습 설정

# 학습 하이퍼파라미터 (논문 Table 2 / §A.1, controller)
optimizer: FusedAdamW
learning_rate: 0.0001
batch_size: 48 per GPU
epochs: 84
mixed_precision: bfloat16
hardware: 8 × A800  # 학습에 하루가 채 안 걸림

주목할 점은 멀티-GPU 학습과 bfloat16 혼합 정밀도, 그리고 fused kernel을 쓰는 FusedAdamW 옵티마이저를 사용한다는 것입니다. Diffusion 모델의 반복적 denoising은 계산량이 많기 때문에 이런 최적화가 필수적입니다. 저자들은 8×A800 서버에서 controller를 84 epoch 학습했고, 하루가 채 걸리지 않았다고 밝힙니다(§A.1).

---

4. 실험 결과: 숫자가 말해주는 것

4.1 대규모 일반화 평가

이 논문에서 가장 인상적인 것은 실험의 규모와 엄격함입니다.

Test Conditions:

Category	Details
Unseen Objects	360개 (학습에 쓰지 않은 물체)
Unseen Lighting	3종
Unseen Backgrounds	6종
Total Combinations	1,287 (Abstract / §5.2)

(좌) 일반화 평가에 쓰인 360개 unseen 물체의 일부. (우) 길이·너비·높이·질량(마커 크기)·거칠기(마커 종류)·형태(색)로 본 t-SNE 투영 — 평가 물체가 물리적 속성 공간을 폭넓게 덮고 있음을 보인다 (Fig 7)

Results (Table 1c — Ours@k):

Attempts	Aggr. Success Rate
Single try (Ours@1)	90.8%
Up to 2 tries (Ours@2)	94.7%
Up to 3 tries (Ours@3)	96.9%

세부적으로 단일 시도(Ours@1) 성공률은 unseen objects 91.1%, unseen backgrounds 90.5%, unseen lightings 90.9%로, 조건별 편차 없이 고르게 90%대를 유지합니다(Table 1c). Zero-Shot 환경이라는 점을 기억하세요. 테스트는 학습 데이터를 수집한 방과 다른 방에서 진행되었고, 어떤 테스트 데이터로도 fine-tuning하지 않았습니다(§5.1). 같은 조명도, 같은 테이블도, 같은 객체도 없습니다.

4.2 베이스라인 비교

논문(Table 1a, §5.3)은 동일 데이터로 fine-tuning한 최신 VLA 모델들과 클러터 장면 dexterous grasping을 직접 비교합니다. 아래는 seen/unseen 조건 전체를 집계(Aggr.)한 성공률입니다:

방법	Aggr. 성공률
DexGraspVLA (Ours)	91.7%
π₀ (Full FT)	30.3%
π₀ (LoRA)	22.7%
RDT (Full FT)	31.1%
OpenVLA-OFT (LoRA)	30.3%
OpenVLA (LoRA)	12.9%

여기서 중요한 점 두 가지. ① 이 Table 1a는 소규모(조건당 48 테스트) 통제 비교라 Ours가 91.7%로 나오며, 앞의 90.8%(Table 1c)는 1,287개 조합을 다룬 별도의 대규모 일반화 평가 수치입니다 — 둘은 다른 실험입니다. ② π₀·RDT·OpenVLA 같은 강력한 end-to-end VLA들도 같은 데모로 학습시켰을 때 unseen 조건에서 30% 안팎으로 급락합니다. raw 픽셀에서 직접 정책을 배우면 도메인 시프트에 그만큼 취약하다는 것이고, DexGraspVLA의 도메인 불변 표현이 그 격차를 만든다는 것이 저자들의 핵심 논거입니다.

4.3 Ablation Study: 무엇이 중요한가?

논문의 ablation(§5.4)은 비전 인코더 설계 하나에 초점을 맞춰, DexGraspVLA와 아키텍처가 동일하되 인코더만 바꾼 두 변형을 비교합니다(단일 물체 grasping, Table 1d):

변형	Seen	Unseen	Aggr.
DexGraspVLA (Ours)	98.5%	98.8%	98.6%
ViT-small (frozen DINOv2 → 작은 trainable ViT)	60.0%	35.0%	50.5%
DINOv2-train (DINOv2를 trainable로)	30.0%	43.5%	34.8%

(1) DINOv2를 얼리는가(frozen) vs 학습시키는가(trainable)

• DINOv2-train은 DINOv2 인코더를 학습 가능하게 둔 것뿐인데 성공률이 98.6% → 34.8%로 무너집니다.
• 데모 데이터에 과적합되면서 foundation model이 갖고 있던 도메인 불변성이 파괴되기 때문입니다. “얼려서 쓴다”는 설계 결정이 결정적임을 보여줍니다.

(2) DINOv2 vs 작은 ViT (≈ Diffusion Policy)

• ViT-small은 DINOv2를 작은 trainable ViT(R26-S-32 hybrid)로 대체한 것으로, 저자들은 이를 SOTA 모방학습 베이스라인 Diffusion Policy의 강화판으로 간주합니다.
• 이 변형은 50.5%에 그쳐, DexGraspVLA가 최소 48%p 앞섭니다(98.6 − 50.5, Abstract에 명시된 “at least 48%”). 즉 raw 픽셀에서 정책을 직접 배우는 방식과 도메인 불변 표현 위에서 배우는 방식의 격차가 이 실험의 핵심입니다.

동일한 경향이 nonprehensile grasping(Table 1e)에서도 반복됩니다: Ours 84.7% vs DINOv2-train 66.0% vs ViT-small 39.6%.

참고: 원 논문의 정량 ablation은 위 두 변형(인코더) 뿐입니다. 마스크 추적(Cutie)이나 듀얼 카메라의 개별 기여도를 수치로 분리한 ablation은 논문에 없으므로, 본 리뷰에서는 이를 설계 근거(§2.2)로만 설명합니다.

4.4 메커니즘 분석: Attention Map 시각화

논문의 가장 아름다운 부분 중 하나입니다. 저자들은 같은 물체 배치를 네 가지 시각적으로 다른 환경(흰 배경 / 모자이크 / 식탁보 / 식탁보+디스코 조명)에 놓고, 각 단계의 내부 표현이 얼마나 유지되는지를 나란히 시각화했습니다.

같은 클러터 장면(1행)을 4가지 환경(열)에 배치했을 때, DINOv2 특징(2행)·마스크(3행)·DiT 어텐션 맵(4행)이 환경 변화에도 거의 일관되게 유지된다. 5행은 모델이 실제로 올바른 타깃 객체에 집중하고 있음을 확인한다 (Fig 4)

결과는 놀라웠습니다:

• 다른 조명 조건에서도 Attention 패턴이 동일
• 다른 배경에서도 타겟 객체에 정확히 집중
• 다른 객체 배치에서도 일관된 행동

이것이 “Domain-Invariant Representation”의 증거입니다. 시각적 입력은 완전히 다르지만, 내부 표현은 동일하게 작동합니다.

flowchart TB
    subgraph Pipeline["Visualization Pipeline"]
        direction TB
        S1["1. Collect Cross-Attention<br/>from all DiT layers"]
        S2["2. Average & Normalize<br/>Attention for head image"]
        S3["3. Overlay on<br/>original image"]
        S1 --> S2 --> S3
    end

    subgraph Observations["Key Observations"]
        direction TB
        O1["Background change → Attention pattern invariant"]
        O2["Lighting change → Attention pattern invariant"]
        O3["Object change → Target accurately captured"]
    end

    Pipeline --> Observations

    style Observations fill:#e8f5e9

---

5. 확장 능력: 그래스핑을 넘어서

5.1 비-프리헨실(Nonprehensile) 그래스핑

DexGraspVLA의 진정한 힘은 아키텍처 변경 없이 새로운 작업으로 확장된다는 것입니다.

비-프리헨실 그래스핑이란 무엇일까요? 어떤 물체들은 테이블 위에 평평하게 놓여 있어서 직접 집을 수 없습니다. 얇은 책, 넓은 접시, 납작한 포장지 같은 것들이죠.

해결책:

1. 물체를 테이블 가장자리로 밀기
2. 가장자리에서 돌출된 부분 잡기

DexGraspVLA는 1,029개의 추가 시연(수집용 물체 32개)만으로 이 작업을 학습하고, 처음 보는 18개 물체로 평가했습니다:

• Aggr. 성공률: 84.7% (Table 1e; unseen objects 88.9%, unseen bgs 86.1%, unseen lights 77.8%)
• 상자·책·봉지·흰 물체·핸드백 등 형태가 제각각인 unseen 물체에서 강건함 확인

Nonprehensile grasping 성능 평가에 쓰인 18개 unseen 물체 — 상자(Boxes)·책(Books)·봉지(Packages)·흰 물체(White Object)·핸드백(Handbag)으로, 모두 직접 집기 어려워 밀어서 가장자리로 옮겨야 하는 대상들이다 (Fig 8b)

이것이 왜 인상적일까요? 같은 프레임워크, 같은 아키텍처입니다. High-Level Planner는 “이 객체는 직접 집을 수 없으니 밀어서 집어야 함”을 이해하고, Low-Level Controller는 밀기 + 집기 동작을 실행합니다.

5.2 Long-Horizon 작업

“테이블을 치워줘”라는 명령은 단일 그래스핑이 아닙니다. 수십 개의 객체를 순차적으로 처리해야 합니다. 이 실험에서는 더 큰 플래너 Qwen2.5-VL-72B-Instruct를 사용하며(§5.6), 집계 성공률 89.6%를 기록합니다(Table 1b).

“먹을 수 있는 것(음식·음료)을 모두 잡아라” long-horizon 작업에서 플래너가 관측한 head-camera 영상과 생성된 마스크의 진행 순서 — 한 물체를 집을 때마다 장면을 다시 보고 다음 타깃을 정한다 (Fig 10)

DexGraspVLA의 Long-Horizon 능력:

• 자유 형식 프롬프트 이해: “음료수만 치워줘”, “책은 놔두고 나머지 치워줘”
• 실패 복구: 한 번 실패하면 다시 시도
• 동적 재계획: 환경 변화에 적응

VLM Planner가 지속적으로 장면을 모니터링하면서 다음 행동을 결정합니다. 이것은 전통적인 Task and Motion Planning (TAMP)과는 완전히 다른 접근입니다. TAMP는 사전에 전체 계획을 세우고 실행하지만, DexGraspVLA는 반응적(reactive)이고 적응적(adaptive)입니다.

5.3 적대적 상황 및 인간 방해

논문에서 인상적인 데모:

• 적대적 객체: 미끄러운 표면, 비정상적 무게 분포
• 인간 방해: 사람이 물건을 치우거나 이동시킴

DexGraspVLA는 이런 상황에서도 robustness를 보여줍니다. VLM이 “물체가 이동했음”을 감지하고, Controller가 새로운 위치에 적응합니다. 이 강건함의 출발점은 플래너의 언어 그라운딩입니다 — 아래 그림처럼 디스코 조명처럼 극단적으로 어지러운 환경에서도 “the red bag in the middle” 같은 지시를 정확한 바운딩 박스로 연결합니다.

다양한 조명·배경 조건에서 플래너가 언어 지시(“the red bag in the middle”)를 클러터 장면 속 타깃 객체에 그라운딩해 바운딩 박스를 그린다. 디스코 조명 아래에서도 정확히 지목한다 (Fig 11)

---

6. 하드웨어 셋업: 실제 시스템

6.1 로봇 플랫폼

Configuration (§5.1):

Component	Specification
Robot Arm	7-DoF RealMan RM75-6F
Dexterous Hand	6-DoF PsiBot G0-R
Total Control DoF	13 (Arm 7 + Hand 6)
Control Frequency	20 Hz

Cameras:

Camera	Model / Position	Purpose
Head Camera	RealSense D435, 고정(3인칭)	Full scene observation
Wrist Camera	RealSense D405C, 손목 장착(1인칭)	Precise manipulation observation

6.2 Compute 요구사항

Inference:

Resource	Specification
VLM Planner	온라인 API 또는 자체 호스팅 8 × A800 (vLLM)
Acceleration	Speculative Decoding (72B 호스팅 시 Qwen2.5-VL-7B로 가속)
Controller	단일 GPU에서 DiT 추론 (논문에 구체 GPU 명시 없음)

Training (§A.1):

Resource	Specification
GPUs	8 × A800 (하루 미만 소요)
Epochs	84
Precision	bfloat16 Mixed Precision
Optimizer	FusedAdamW

VLM 추론이 가장 큰 병목입니다. 72B 파라미터 모델을 실시간으로 쿼리해야 하기 때문이죠. 저자들은 자체 호스팅 시 Speculative Decoding을 사용해서 이를 완화했습니다. 작은 모델(Qwen2.5-VL-7B)이 먼저 토큰을 예측하고, 큰 모델(72B)이 검증하는 방식입니다. (참고: controller가 어떤 GPU에서 추론되는지는 논문에 명시돼 있지 않아, 위 표에서 특정 소비자용 GPU를 단정하지 않았습니다.)

---

7. 비판적 분석: 한계와 미래 방향

7.1 현재 한계점

솔직하게 이야기해봅시다. DexGraspVLA도 완벽하지 않습니다:

(1) Compute 비용

• 72B VLM을 실시간으로 운영하려면 막대한 GPU 자원 필요
• 에지 디바이스 배포는 아직 어려움
• 해결 방향: 모델 경량화, 지식 증류, on-device 최적화

(2) 조작 속도

• 인간 속도로 데모 수집 (~3.5초/에피소드)
• 산업 응용에서는 더 빠른 속도 요구될 수 있음
• 해결 방향: 가속화된 시연, 데이터 증강

(3) 힘 제어 부재

• 순수 위치/속도 제어
• 섬세한 물체(과일, 유리) 조작 시 한계
• 해결 방향: 촉각 피드백 통합, 힘-토크 제어

(4) 양손 조작

• 현재 단일 팔-핸드 시스템
• 복잡한 작업(상자 열기 + 물건 꺼내기)은 어려움
• 해결 방향: 양손 확장, 계층적 조정

7.2 질문들

몇 가지 열린 질문들:

1. 다른 Foundation Model도 작동할까?
   • CLIP 대신 SigLIP?
   • DINOv2 대신 SAM2의 인코더?
   • 더 작은 VLM(7B)으로 충분할까?
2. 시뮬레이션 데이터는 효과적일까?
   • 현재는 순수 실제 데이터
   • Sim-to-Real 파이프라인과 결합하면?
   • Domain Randomization + Foundation Model = ?
3. 다른 로봇 플랫폼으로 전이 가능할까?
   • 핸드 형태가 다르면?
   • 암 DOF가 다르면?
   • Cross-Embodiment 학습 가능성?

7.3 미래 연구 방향

(1) 멀티모달 Foundation Model 통합

• 현재: Vision + Language
• 미래: Vision + Language + Tactile + Audio

(2) 자기개선 학습

• 성공/실패에서 자동 학습
• Human-in-the-loop 최소화

(3) 범용 조작 확장

• 그래스핑을 넘어 삽입, 회전, 던지기
• Tool Use까지 확장

---

8. 실무 관점: 이 연구를 어떻게 활용할 것인가?

8.1 코드 시작하기

GitHub 저장소가 공개되어 있습니다:

conda create -n dexgraspvla python=3.9
conda activate dexgraspvla
git clone https://github.com/Psi-Robot/DexGraspVLA.git
cd DexGraspVLA
pip install -r requirements.txt

추가로 SAM과 Cutie를 설치해야 합니다.

8.2 핵심 코드 구조

DexGraspVLA/
├── controller/          # Low-level Diffusion Controller
│   ├── config/          # Training configuration
│   └── ...
├── planner/             # High-level VLM Planner
├── inference_utils/     # Deployment utilities
├── train.py             # Training script
├── inference.py         # Inference script
└── attention_map_visualizer.py  # Analysis tools

8.3 자신의 로봇에 적용하기

다른 하드웨어를 사용한다면:

1. 데이터 포맷 맞추기: Zarr 형식으로 action, state, image 저장
2. DoF 수정: Controller 설정에서 액션 차원 변경
3. 카메라 설정: Head/Wrist 카메라 위치 조정
4. VLM 프롬프트 수정: 로봇 특성에 맞게 지시어 조정

8.4 비용 추정

논문 기준 실제 환경:

• Controller 학습: 8 × A800, 84 epoch, 하루 미만(§A.1)
• 추론: Controller는 단일 GPU + VLM은 온라인 API 또는 8×A800 자체 호스팅(vLLM)

대규모 배포:

• VLM 서버: 4-8 × A100/H100
• Controller: GPU per robot
• 월 비용: 수천~수만 달러 (규모에 따라)

---

9. 결론: 우리는 어디로 가고 있는가?

DexGraspVLA를 한마디로 요약하면: “Foundation Model의 힘을 빌려 최소한의 실제 데이터로 최대한의 일반화를 달성한 덱스터러스 그래스핑 시스템”입니다.

이 연구가 보여주는 더 큰 그림이 있습니다. 우리는 “스크래치에서 학습” 패러다임에서 “Foundation Model 활용” 패러다임으로 이동하고 있습니다.

생각해 보세요:

• 2020년: 수백만 에피소드의 시뮬레이션 필요
• 2023년: 수만 시간의 실제 로봇 데이터 필요
• 2025년: 2시간의 시연으로 90%+ 성공률

이 추세가 계속된다면, 우리는 곧 거의 제로샷으로 새로운 조작 작업을 수행하는 로봇을 보게 될 것입니다.

물론 아직 갈 길이 멉니다. 완벽한 범용 조작은 여전히 “열린 문제”입니다. 하지만 DexGraspVLA는 확실히 그 방향으로 나아가는 중요한 이정표입니다.

파인만이 말했듯이, “자연은 단순합니다. 단지 우리가 복잡하게 만들 뿐입니다.” DexGraspVLA의 핵심 아이디어 — Domain-Invariant Representation — 는 놀라울 정도로 단순합니다. 그리고 그것이 바로 그 힘의 원천입니다.

참고 문헌 및 관련 자료

핵심 참고 자료

• 논문: arXiv:2502.20900
• 프로젝트 웹사이트: https://dexgraspvla.github.io/
• GitHub 코드: https://github.com/Psi-Robot/DexGraspVLA
• 영상 데모: YouTube

관련 Foundation Model

• DINOv2: Meta AI의 자기지도 학습 Vision Transformer
• SAM (Segment Anything Model): Meta AI의 범용 세그멘테이션 모델
• Cutie: 비디오 세그멘테이션/추적 모델
• Qwen2.5-VL: Alibaba의 Vision-Language Model

관련 로봇 학습 연구

• Diffusion Policy: Stanford의 Diffusion 기반 로봇 정책 학습 (본 논문의 ViT-small ablation이 그 강화판에 해당)
• DiT (Diffusion Transformer): Facebook의 이미지 생성 Transformer
• RDT (Robotics Diffusion Transformer): Tsinghua의 로봇 Diffusion 모델 (본 논문 Table 1a 베이스라인)
• π₀ (Pi-Zero): Physical Intelligence의 VLA 모델 (본 논문 Table 1a 베이스라인)

블로그 내 관련 리뷰

• DextrAH-G 리뷰 — 기하 인지 sim-to-real dexterous grasping
• DeXtreme 리뷰 — 도메인 랜덤화 기반 RL dexterous 조작
• Dex Imitation Learning 리뷰 — 다관절 손 모방학습 개관

---

부록: 용어 정리

용어	설명
Domain-Invariant Representation	입력의 표면적 차이(조명, 배경)에 관계없이 동일하게 유지되는 내부 표현
Diffusion Model	노이즈 제거 과정으로 데이터를 생성하는 생성 모델
DiT (Diffusion Transformer)	Transformer 아키텍처를 사용한 Diffusion 모델
Action Chunk	단일 시점이 아닌 여러 시점의 액션을 한 번에 예측
VLM (Vision-Language Model)	이미지와 텍스트를 함께 이해하는 멀티모달 모델
Zero-Shot	학습 시 보지 못한 상황에서 바로 테스트
Nonprehensile Grasping	직접 잡지 않고 밀거나 기울여서 잡는 방식
Speculative Decoding	작은 모델로 예측하고 큰 모델로 검증하는 추론 가속 기법

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

DexGraspVLA: 비전-언어-액션 통합으로 범용 섬세한 파지 달성하기

소개: 범용 섬세한 파지의 도전과 필요성

로봇공학에서 섬세한 파지(dexterous grasping)는 여전히 풀기 어려운 근본 과제입니다. 사람 손처럼 여러 관절로 다양한 물체를 잡는 일은, 가정이나 공장처럼 예측 불가능한 환경에서 특히 까다롭습니다. 기존의 많은 연구들은 실험 조건을 단순화하곤 했습니다. 예를 들어 한 번에 하나의 물체만 다루거나, 조명이 일정한 제한된 환경을 가정하는 등 제약된 조건에서만 성능을 보장했습니다. 이런 제한된 가정들은 실제 환경에서 일반화의 한계로 나타났습니다. 로봇이 수많은 모양과 재질의 새로운 물체를, 엉망으로 섞여 있는 상황에서, 사람 방해나 예기치 못한 변수에도 굴하지 않고 잡아낼 수 있으려면 무엇이 필요할까요?

한편, 최근 강화학습과 모방학습으로 다관절 손 조작 기술이 발전했지만, 훈련 데이터 분포에 과적합되어 다른 상황으로 넘어가면 성능이 크게 떨어지는 문제가 자주 드러났습니다. 시뮬레이션에서 수백만 번 학습시켜 현실에 옮기는 시뮬레이션-현실 전이(sim-to-real) 기법도 시도되었지만, 여전히 현실 세계의 복잡성을 완벽히 대응하긴 어렵습니다. 예컨대 OpenAI의 Dactyl 프로젝트는 다관절 손에 루빅스 큐브를 쥐어주는 어려운 작업을 순전히 시뮬레이션으로 학습해 풀었지만, 이를 위해 도메인 랜덤화(Domain Randomization)라 불리는 기법으로 수많은 가상환경 변수를 무작위로 바꾸며 훈련해야 했습니다. 이렇게 하면 현실에 보다 튼튼한 정책을 얻을 수 있지만, 엄청난 연산과 시간이 들고 주어진 과제 이외의 일반화에는 한계가 있습니다. 또한 새로운 상황마다 일일이 거대한 데이터를 모아 학습시키는 것은 실용적이지 않습니다.

DexGraspVLA는 이러한 난제들에 정면으로 도전하는 신작 연구입니다. 2025년 AAAI에서 발표된 이 방법은, 마치 리처드 파인만의 설명처럼, 복잡한 문제를 놀랍도록 똑똑한 방식으로 간결하게 풀어냈습니다. 이 글에서는 DexGraspVLA의 기술적 구성과 핵심 기여를 찬찬히 풀어보고, 이전의 접근들과 무엇이 다르고 왜 특별한지 비교해보겠습니다. 로봇공학자의 시각에서, 그리고 약간은 친근한 비유를 곁들여, 범용 다관절 로봇 손 파지를 향한 이 혁신적인 발걸음을 이해해 보겠습니다.

DexGraspVLA란 무엇인가? – 비전-언어-액션의 계층적 협업

DexGraspVLA 개요(Fig 2). 사전학습 VLM 기반 고수준 플래너(보라색)가 프롬프트를 바운딩 박스가 붙은 객체 단위 파지 지시로 분해하고, diffusion 기반 저수준 컨트롤러(분홍색)가 타깃 마스크를 추적하며 멀티모달 관측(RGB·마스크·proprioception)을 인코딩해 DiT로 액션 청크를 예측한다. 플래너는 실행을 모니터링하며 장면이 갱신될 때마다 새 지시를 제안한다.

DexGraspVLA 프레임워크의 개략도. 고수준 비전-언어 모델이 “책상을 치워라 (clear the table)” 같은 사용자의 자연어 지시를 해석하고 여러 개별 파지 단계로 분할합니다. 예를 들어 “쿠키를 집어라”처럼 다음에 잡을 물체를 정해 순차적인 지시를 생성하고, 해당 물체의 위치를 카메라 영상에서 2D 바운딩 박스로 표시해줍니다. 그런 다음 저수준 액션 제어기가 이 바운딩 박스를 활용해 목표 물체의 마스크를 얻고, 로봇 손가락의 카메라 이미지와 상태 정보를 바탕으로 확산 모델(DiT)이 향후 실행할 동작 시퀀스를 예측합니다. 계획-실행이 반복되며, 한 물체를 성공적으로 집어내면 다음 지시로 넘어가 사용자의 최종 지시(테이블 치우기)를 완수합니다.

DexGraspVLA의 핵심 아이디어는 “나눠서 정복”하는 계층적 구조에 있습니다. 마치 인간이 복잡한 작업을 할 때 머리로 큰 계획을 세우고 손으로 섬세한 동작을 수행하는 것처럼, 이 시스템도 두 개의 두뇌를 가집니다. 첫 번째 두뇌는 고수준 플래너, 두 번째 두뇌는 저수준 제어기입니다. 흥미롭게도, 첫 번째 두뇌는 인간이 만든 거대한 비전-언어 모델(VLM)을 빌려 씁니다.

• 고수준 플래너 (Vision-Language Planner): 미리 학습된 거대 비전-언어 모델을 사용합니다. 연구에서는 일반 파지 실험에 Qwen-VL-Chat을(그리고 자유 형식 long-horizon 작업에는 더 큰 Qwen2.5-VL-72B-Instruct를) 플래너로 활용했는데, 이를 통해 로봇은 카메라 영상을 보고 사용자의 자연어 지시를 이해합니다. 쉽게 말해, 로봇에게 “장난감 자동차를 집어서 상자에 넣어”라고 하면, 플래너는 문장을 이해하고 현재 시야에 있는 여러 물체들 중에서 장난감 자동차가 어디에 있는지 찾아냅니다. 그리고 그 물체에 네모 박스(바운딩 박스)를 그려 표시하죠. 이 바운딩 박스는 도메인-불변 표현의 시작점인데, 어떤 배경이든 조명이든 간에 “이 자리의 이 물체”라는 공통된 표시를 제공하므로, 이후 단계에 환경 변화가 있어도 영향을 덜 받습니다. 플래너는 또한 긴 작업을 여러 단계로 쪼개는 역할도 합니다. “책상을 치워라” 같은 긴 요청을 받으면, 사람이 그렇듯이 “먼저 쿠키 통을 치우고, 그 다음 컵을 치우자” 식으로 한 번에 하나씩 순서를 정해주는 것입니다. 이때 무엇부터 집는 게 좋을지 주변 물건 배치나 접근 용이성을 따져 결정하는 점도 흥미로운데, 이는 마치 어수선한 책상을 치울 때 우리 머리가 판단하는 방식과 유사합니다.

• 저수준 액션 제어기 (Action Controller): 두 번째 두뇌는 실제 로봇 팔과 손가락을 움직이는 숙련된 손 역할입니다. 이 제어기는 플래너가 준 바운딩 박스, 즉 목표 물체의 대략적 위치 정보를 입력으로 받아 동작을 만들어냅니다. 우선 Segmentation 모듈이 등장합니다. SAM(Segment Anything Model)이라는 강력한 세그멘테이션 모델을 이용해, 바운딩 박스 안의 목표 물체의 픽셀 영역(마스크)을 얻어냅니다. 한 번 집기 시작하면 물체가 움직이거나 손이나 다른 물체에 가려질 수 있는데, 이를 위해 Cutie라는 비디오 세그멘테이션 모델이 마스크를 계속 추적하여 물체를 놓치지 않고 따라가는 역할을 합니다. 동시에 로봇에는 두 개의 카메라가 있습니다. 하나는 로봇의 머리 격인 높은 위치(third-view 카메라), 다른 하나는 손목에 가까이 달린 일인칭 카메라입니다. 제어기는 이 두 시점의 영상과, 추적한 물체 마스크, 그리고 로봇 손의 관절 각도 등 상태 정보를 모두 입력으로 받습니다.

• 여기서 핵심 트릭이 하나 더 등장합니다. 제어기는 이러한 다양한 입력을 바로 사용하지 않고, 미리 학습된 비전 모델들을 이용해 각각 의미 있는 피처(특징)로 변환합니다. 예를 들어, DINOv2라는 강력한 시각 인코더를 두 개 사용하여 머리 카메라 영상과 손목 카메라 영상에서 각각 특징 벡터들을 뽑아냅니다. DINOv2는 거대한 데이터로 학습된 덕분에 조명이나 배경이 달라져도 물체의 본질적인 모습(모양, 질감 등)을 잘 표현해주는 특징을 내놓습니다. 즉, 원시 픽셀 대신 추상화된 시각 정보로 변환하여 환경 차이에 강인해지도록 한 것이죠. 한편, 물체 마스크는 별도의 Vision Transformer(ViT)로 처리하여 물체의 형태 정보를 추출하고, 로봇 관절 상태는 간단한 다층퍼셉트론(MLP)으로 임베딩합니다. 마지막으로 이 모든 정보는 공유된 표현 공간에서 하나의 피처 시퀀스로 통합됩니다.

• Diffusion 액션 생성기: 제어기의 하이라이트는 바로 확산 모델 기반 동작 생성입니다. 통합된 피처 시퀀스를 입력으로, DiT(Diffusion Transformer)라고 불리는 모델이 미래의 일련의 행동 시퀀스를 예측합니다. 확산 모델은 원래 이미지 생성 등에서 잡음(noise)을 점차 제거하며 원하는 출력을 얻는 방식을 쓰는데, 여기서는 비슷하게 무작위한 초기 동작 추측을 점진적으로 세련된 로봇 동작 계획으로 다듬는 역할을 합니다. 이는 마치 조각가가 처음에는 대리석을 대충 깎아 형태를 만들고, 반복해서 섬세하게 다듬어 최종 작품을 만들어내는 과정과 유사합니다. 이렇게 함으로써 복잡하고 다봉Modal한(multi-modal) 동작 분포도 효과적으로 학습할 수 있었다고 합니다. 예를 들어 한 물체를 집는 동작도 여러 경로와 손가락 움직임이 있을 수 있는데, 확산 정책은 이런 다양한 가능성을 확률적으로 포용하며 학습합니다.

정리하자면, DexGraspVLA는 “똑똑한 눈과 머리” + “노련한 손”의 이원화된 구조입니다. 고수준 플래너는 시각과 언어의 힘을 빌려 무엇을 어떻게 잡을지 전략을 세우고, 저수준 제어기는 풍부한 센서 정보를 활용해 그 전략을 실행합니다. 이 둘은 끊임없이 상호작용하며 폐쇄 루프 제어를 이룹니다. 플래너는 제어기가 동작을 수행하는 동안도 모니터링을 계속합니다. 중간에 제대로 집었는지 판단하고 실패하면 바로 재시도 지시를 내립니다. 하나의 물체 치우기가 끝나면 로봇을 원위치로 리셋하고 다음 물체 지시로 넘어가며, 최종적으로 사용자의 높은 수준 목표(예: 테이블 치우기)가 달성될 때까지 이 과정이 이어집니다. 이러한 계층적 분리 덕분에, 로봇은 높은 수준 이해력과 낮은 수준 조작 기술을 동시에 가져가면서도 각각을 전문화하여 안정성을 높였습니다. 바로 이것이 DexGraspVLA의 뼈대입니다.

DexGraspVLA의 기술적 기여와 혁신 포인트

이제 이 프레임워크가 기술적으로 무엇을 새롭게 시도했고, 왜 중요한지 하나씩 짚어보겠습니다. DexGraspVLA는 단순히 기존 방법들을 조합한 것에 그치지 않고, 여러 혁신적 아이디어를 통해 범용적인 성능 향상을 이루었습니다. 주요 기여를 정리하면 다음과 같습니다:

• 1. 비전-언어-액션 통합을 통한 계층적 학습: DexGraspVLA는 처음으로 고수준 비전-언어 모델과 저수준 로봇 제어기를 한 틀 안에서 계층적으로 통합한 파지 프레임워크입니다. 이전까지 다관절 손 파지 연구에서는 대개 시각 인식과 제어를 분리하더라도, 언어로부터 일반적인 목표를 이해하는 수준까지 통합한 예는 없었습니다. 이를 통해 사용자가 자유롭게 서술한 프리폼 자연어 지시를 직접 받아들여 실행까지 옮길 수 있게 되었습니다. 예컨대 “이 불규칙한 모양의 파란 물체를 집어 상자에 넣어줘”라고 말해도, 로봇은 그 물체가 무엇인지 파악하고 잡는 일련의 행동을 스스로 계획합니다. 기존에는 정해진 객체 범주나 사전에 프로그램된 동작 시퀀스에 의존했다면, DexGraspVLA는 한층 사람과 소통하듯 유연한 과제 수행이 가능해졌습니다.
• 2. 사전학습 거대 모델로부터 얻은 도메인-불변 표현 활용: DexGraspVLA의 핵심 혁신 중 하나는, 다양한 언어 입력과 시각 입력을 거대 모델들을 통해 일관된 표현 공간으로 변환하는 점입니다. “foundation model”이라 불리는 대규모 사전학습 모델들이 담고 있는 광범위한 세계 지식과 시각적 특성을 로봇이 적극 활용하도록 설계되었습니다. 구체적으로, Qwen-VL-Chat, DINOv2, SAM 등의 강력한 모델들을 freeze(동결)된 채로 사용하여, 로봇이 보거나 듣는 정보의 노이즈를 걸러내고 본질만 추출합니다. 그 결과, 조명이 어둡든 벽지가 알록달록하든 상관없이 로봇 내부에서는 항상 비슷한 형태의 특징 벡터로 상황이 표현됩니다. 연구진의 실험을 보면, 같은 물체 더미를 흰 탁자 위, 체커보드 무늬 천 위, 디스코 조명이 반짝이는 환경 등으로 바꿔가며 보여줘도, DINOv2로 추출한 특징들은 거의 변함없이 일관된 것을 확인했습니다. 아래 단계의 정책망(DiT) 역시 이런 안정된 피처 위에서 주로 학습하니, 훈련 때 보지 못한 새로운 환경이나 물체조합에서도 성능이 뚝 떨어지지 않고 유지될 수 있었습니다. 이는 기존 방법들과 차별되는 중요한 성질로, 모델 내부 동작의 일관성이 높은 범용성을 뒷받침한다는 사실까지 실험으로 입증되었습니다. 정리하면, DexGraspVLA는 거대 사전학습 모델들을 지능형 특성 추출기와 플래너로 활용함으로써, 적은 로봇 경험 데이터로도 많은 상황에 적용가능한 지능형 로봇을 만든 셈입니다.
• 3. 확산 기반 정책을 통한 복잡한 다관절 동작 학습: 저수준 제어기에 도입된 확산 모델 기반 정책(DiT)도 중요한 기술적 기여입니다. 전통적으로 로봇의 동작 정책은 지도학습이라면 즉시 출력 뉴럴넷이나, 강화학습이라면 확률적 정책 망을 통해 한 스텝씩 액션을 샘플링하는 방식이 주로 사용되었습니다. 이에 비해 확산 모델은 일정 시간 H 단계의 행동 시퀀스 전체를 한꺼번에 예측하며, 이를 노이즈 제거 과정을 통해 얻습니다. 이것의 장점은 다관절 손처럼 고차원 연속 제어에서 나타나는 다양한 해법들을 효과적으로 학습하는데 있습니다. 예를 들어 어떤 컵을 잡는 동작도 손가락을 약간 다르게 움직여 여러 경로로 성공할 수 있는데, 확산 모델은 이런 여러 가능성의 분포를 풍부하게 표현하면서 학습합니다. 결과적으로 DexGraspVLA의 제어기는 단 2시간 남짓 (2094 에피소드)의 인간 시연 데이터로 훈련되었음에도, 매우 안정적이고 부드러운 다관절 동작을 익힐 수 있었습니다. 이런 데이터 효율 또한 확산 모델 기반 학습의 이점으로 볼 수 있습니다.
• 4. 90%+ 성공률과 최초의 다중능력 시현: 위의 새 요소들을 결합한 DexGraspVLA는 실험적으로 눈에 띄는 성과를 거두었습니다. 무엇보다 특筆할 점은, 완전히 새로운 물체와 환경 조합 수천 개로 시험했는데도 90% 이상의 파지 성공률을 보였다는 것입니다. 여기서 성공이란 단순히 들어올렸다 내려놓는 수준이 아니라, 집은 물체를 테이블 위 10cm 높이로 20초간 들고 있기까지 포함하는 엄격한 기준이었습니다. 일반적인 모방학습 방법들은 훈련 환경을 조금만 벗어나도 성능이 급격히 떨어지지만, DexGraspVLA는 추가 튜닝 없이도 새로운 조명, 새로운 배경, 처음 보는 360개의 물체들 조합에서도 거의 동일한 성공률을 냈습니다. 이는 모방학습 기반 로봇으로서는 전례 없는 일반화 성능이라 할 수 있습니다. 게다가 한 번 시도해서 실패한 경우 자동으로 재시도하게 했더니 최대 세 번 시도 내 성공률이 96.9%까지 올라가는 등, 실패 복구 능력도 뛰어났습니다. 단일 물체를 집는 쉬운 상황에서는 성공률이 98.6%에 달했는데, 이는 기존 기법들을 최소 48% 이상 능가하는 결과였습니다. 요컨대 안정성과 신뢰성 측면에서도 크게 진일보한 셈입니다.

또 DexGraspVLA는 다양한 고난도 상황에 대한 대응을 한 프레임워크 안에 처음으로 모두 구현해 보였습니다. 예를 들어, 사람처럼 긴 연속 작업을 언어로 지시하고 수행하는 모습(예: “방을 치워”라 하면 일일이 알아서 여러 물건들을 순차로 치움), 방해물이나 교란에 대한 견고함(로봇이 집으려는 순간 일부러 물체를 치거나 흔들어도 다시 잡도록 조정함), 심지어 로봇 손으로 사람과 악수를 하는 시연까지 동일한 제어기로 확장해 보였습니다. 비파지(non-prehensile) 조작의 확장도 흥미로운데, 집을 수 없는 큰 물체는 탁구채로 공 쳐서 모서리로 떨어뜨리듯 살짝 밀어 가장자리에서 집는 전략을 동일 프레임워크로 학습시켜 성공했습니다. 요컨대 DexGraspVLA는 “섬세한 파지와 그 너머”를 겨냥해, 하나의 체계로 다방면의 능력을 선보인 최초의 사례라 할 수 있습니다.

이전 접근법들과의 비교: 무엇이 어떻게 다를까?

DexGraspVLA의 가치가 더욱 두드러지는 부분은, 기존의 섬세한 파지 연구들과 얼마나 다른 길을 걸었는가입니다. 이제까지 로봇 다관절 손으로 물체를 잡는 문제를 다룬 접근들은 대략 몇 갈래로 나뉘었습니다:

• (A) 분석적/전통적 기법: 초기 로봇 파지 연구들은 물체의 3D 모델이나 위치를 알고 있다는 전제 하에, 물리적 분석으로 손가락의 접촉점을 찾고 제어하는 방식을 취하곤 했습니다. 하지만 이런 계획 기반 접근은 새로운 물체 모델이 나오면 처음부터 설정해야 하고, 환경 변화에 실시간 대처하기 어려웠습니다. 예를 들어, 물체를 공중에서 한 바퀴 돌려가며 스캔해야 제어가 가능한 경우도 있었는데, 이는 현실에서 일일이 그런 정보를 얻기 힘들죠. 또한 물체가 살짝 움직이거나 사람 손이 방해하면 거의 대응이 불가능했습니다. DexGraspVLA는 이런 방식과 대척점에 있습니다. 미리 물체를 알려주지 않아도 시각적으로 인식하고, 학습된 정책이 연속적인 센서 피드백을 활용해 잡는 중간에도 실시간 적응하기 때문입니다. 게다가 사람의 언어 지시를 이해해 목표를 정하는 등, 전통 기법으로는 상상하기 어려운 유연한 대처가 가능합니다.
• (B) 모방학습 기반 접근: 인간이나 알고리즘이 만든 시연 데이터를 활용해 로봇 파지 정책을 학습시키는 방법입니다. 여기에는 Behavior Cloning, DAGGER 등 지도학습 방식이나, 촬영된 동영상을 모방하는 방법 등이 포함됩니다. 이러한 접근은 비교적 현실 환경에서 데이터 수집이 용이하고 안전하다는 장점이 있지만, 훈련 데이터 분포를 벗어나면 성능이 급락하는 약점이 있습니다. 특히 다관절 손처럼 복잡한 경우, 충분히 다양한 상황을 시연으로 모두 포괄하기 어렵기 때문에 일반화 한계가 있었죠. 예를 들어 사람 시연을 배운 어느 정책이 특정 밝기의 조명, 특정 탁자 위에서만 잘 동작하고, 조명이 바뀌면 실패한다면 쓸모가 제한됩니다. 다관절 손에 특화된 모방학습의 최근 흐름은 Dex Imitation Learning 리뷰에 정리돼 있습니다. DexGraspVLA는 모방학습의 기본 틀은 유지하되, 거대 모델의 힘으로 이 문제를 돌파했습니다. 앞서 설명했듯, DINOv2 같은 모델이 조명/배경 변화에 둔감한 특징을 주니, 시연 데이터 2시간치로도 수많은 새로운 상황을 커버할 수 있게 되었습니다. 실제로 DexGraspVLA는 훈련에 쓰지 않은 환경에서 전혀 성능 저하 없이 동작함으로써, “모방학습은 범용성이 떨어진다”는 통념을 깬 셈입니다. 또한 모방학습 방법들은 일반적으로 한 번의 시연대로만 행동해서 실패 시 복구가 어려운데, DexGraspVLA는 플래너-컨트롤러 구조 덕에 잘못 잡았으면 놓고 다시 시도하는 재귀적 전략까지 포함합니다. 이는 단순 모방학습형 정책이 갖기 힘든 유연성입니다.
• (C) 강화학습 기반 접근: 강력한 컴퓨팅을 활용해 시뮬레이터 안에서 로봇 손을 수십억 번 움직이며 최적의 정책을 찾는 방법론입니다. OpenAI의 Dactyl이나 DeXtreme 리뷰에서 다룬 것처럼 도메인 랜덤화로 방대한 가상 변수를 무작위화하며 학습하면 현실로도 어느 정도 일반화된 정책을 얻을 수 있고, 최근에는 시뮬레이션에서 수십만 개 규모의 가상 물체를 학습시켜 처음 보는 실물도 높은 성공률로 잡아내는 대규모 연구들도 등장했습니다(이 수치들은 DexGraspVLA 논문 본문의 주장이 아니라 외부 선행연구를 가리키는 배경 설명입니다). 이러한 RL 기반 접근은 데이터 다양성과 적응력 측면에 강점이 있지만, 현실 적용까지 과정이 매우 복잡하고 비용이 큽니다. 시뮬레이터를 잘 만들어야 하고, 학습에도 엄청난 시간과 튜닝이 필요하며, 여전히 시뮬레이터와 현실의 미묘한 차이를 완전히 극복하지는 못하는 경우가 많습니다. 또한 지금까지의 강화학습 연구들은 대개 단일 과제에 초점을 맞춰왔습니다. 특정 모양 물체를 잡는 정책을 얻으면 그거 하나는 잘하지만, 새로운 목표(예: 다른 모양 물체 또는 여러 개 순차 집기 등)에는 다시 훈련해야 했습니다. 반면 DexGraspVLA는 애초에 현실 세계 데이터(인간 데모)로 학습되었고, 시뮬레이션 전이를 하지 않아도 바로 실제 로봇에 적용되었습니다. 그리고 하나의 정책/구조로 여러 가지 작업을 수행할 수 있게 디자인되었습니다. 예컨대 이전까지는 “공을 집어 상자에 넣기”를 풀고 나면 “컵을 집어 쟁반에 올리기”는 별개의 학습을 요하는 식이었지만, DexGraspVLA는 언어 지시만 다르게 주면 비슷한 원리로 실행해냅니다. 이것은 강화학습 접근과 대비되는 범용성의 획득이라고 볼 수 있습니다.
• (D) 비전 기반 파지 파이프라인: 한편 학계와 산업계에서는 학습보다는 검출 + 계획 조합으로 파지를 구현하는 실용적 파이프라인도 많았습니다. 예를 들어 물체 인식 알고리즘으로 목표 물체를 찾아내고, 경로 계획으로 로봇 팔을 움직여 사전 정의된 그립 포즈로 잡는 방식입니다. 이런 방식은 산업용 로봇에 흔히 쓰이는데, 다만 사전에 모델링된 물체나 정해진 그립 방식에 의존하는 경우가 많아 새로운 물체나 복잡한 손재주에는 적용하기 어렵습니다. 또 다관절 손처럼 복잡한 그립에는 단순 경로계획으로는 한계가 있습니다. DexGraspVLA는 겉보기에 “물체 탐지 + 잡기”로 보일 수 있지만, 차이는 탐지부터 제어까지 모두 학습된 모듈로 이뤄졌다는 것입니다. 특히 오픈-셋 물체 인식을 비전-언어 모델로 구현한 점이 다릅니다. 기존 파이프라인은 인식할 물체 종류를 미리 정해야 했다면, DexGraspVLA는 어떤 물체든 사용자 지시에 나온 단어로 찾을 수 있습니다. 예를 들어 “쿠키 통을 잡아”라고 하면 쿠키 그림이 있는 원통형 상자를, “책을 집어”라면 사각형 책을 인식하는 식입니다. 이는 범용 물체 인식 능력을 갖춘 비전-언어 모델 덕분이며, 전통적 방법과 큰 차별점입니다.

위의 비교를 요약하면, DexGraspVLA = (기존 방법들이 풀지 못한 일반화 문제) – 특히 다양한 물체·환경 + 자연어 지시 + 다단계 작업 –를 해결하기 위해 거대 사전지식 모델 + 계층적 학습 구조라는 새로운 조합을 선보인 것입니다. 그 결과는 매우 인상적입니다. 수천 가지의 새로운 상황에 대한 제로샷 일반화, 한자리 수 시간의 시연 데이터로 달성한 고성능, 그리고 이질적인 기능들을 하나의 시스템으로 통합한 융합성이죠. 특히 로봇공학 엔지니어의 관점에서, DexGraspVLA는 “대학습된 AI 모델의 지식을 실제 로봇 기술에 투입하면 어떤 일이 벌어지는가”에 대한 하나의 해답을 제시합니다. 이 접근은 단순히 성능 숫자를 높인 것이 아니라, 로봇에게 필요한 지능의 구조를 재고하게 합니다. 고수준의 인지와 계획은 인간이 만든 AI모델에게 partly 맡기고, 로봇은 이를 기반으로 부족한 부분만 학습하면 되는 식입니다. 이는 마치 신입 엔지니어가 방대한 백과사전과 선배들의 팁을 참고하여 문제를 푸는 것과도 같습니다. 덕분에 적은 경험으로도 풍부한 문제를 풀 수 있게 된 것이죠.

결론: 섬세한 그립의 미래를 향하여

DexGraspVLA는 범용 로봇 파지를 향한 여정에서 의미심장한 이정표를 세웠습니다. 요약하자면, 이 프레임워크는 계층적 비전-언어-액션 설계, 거대 모델 활용을 통한 일반화, 확산 모델 기반의 정교한 제어, 그리고 종합적인 견고성 실증을 통해 현재까지 보고된 것 중 가장 종합적으로 강인한 다관절 파지 시스템을 구현했습니다. 파인만이 그랬듯 복잡한 개념도 쉽게 풀어 말해본다면, DexGraspVLA는 “로봇에게 눈과 귀(비전-언어 모델)를 달아주고, 그 눈과 귀로부터 지혜를 얻어 손가락을 놀리는 방법”을 터득하게 한 셈입니다.

물론 이 연구가 끝은 아닙니다. 앞으로 남은 도전들도 있습니다. 예컨대 실시간 대화 상호작용을 통해 사람과 협업하면서 물체를 주고받는다거나, 더욱 다양한 비정형 조작(비틀기, 도구 사용 등)으로 확장하는 과제 등이 있겠지요. 하지만 DexGraspVLA가 보여준 90%대의 견고한 성능과 유연한 문제해결 능력은, 로봇공학자들에게 새로운 영감을 줍니다. 이제 우리는 “거대 AI와 로봇의 만남”이 얼마나 강력한 시너지를 낼 수 있는지 목격했습니다. 이 글을 읽는 독자 여러분도, 아마 가까운 미래엔 이런 원리가 적용된 로봇 손이 일상 속에서 능숙하게 물건을 집고 다루는 모습을 보게 될 것입니다. 복잡한 것을 단순하고 명쾌하게 풀어내는 지혜, 그리고 그를 통한 기술의 도약 – DexGraspVLA가 바로 그런 Feynman-esque 혁신의 한 사례라 할 수 있습니다. 앞으로의 연구들이 이 방향으로 계속 발전해, 더욱 똑똑하고 믿음직한 로봇 손이 탄생하길 기대해봅니다.