📃RoboMamba 리뷰

mamba

vla

manipulation

Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation

Published

December 12, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🤖 RoboMamba는 Mamba 기반의 효율적인 Vision-Language-Action (VLA) 모델로, 복잡한 로봇 추론 및 조작 능력을 동시에 제공합니다.
💡 이 모델은 Vision Encoder와 Mamba를 통합하고 공동 학습을 통해 시각적 상식 및 로봇 관련 추론 능력을 습득하며, 이후 최소한의 파인튜닝으로 SE(3) pose prediction 기술을 효율적으로 습득합니다.
🚀 RoboMamba는 일반 및 로봇 평가 벤치마크에서 뛰어난 추론 성능을 보이고, 시뮬레이션 및 실제 환경에서 인상적인 pose prediction 결과를 달성하며, 기존 VLA 모델보다 3배 빠른 inference 속도를 자랑합니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 로봇 추론 및 조작을 위한 효율적인 Vision-Language-Action (VLA) 모델인 RoboMamba를 제안합니다. 기존 VLA 모델들은 복잡한 작업에 대한 추론 능력 부족과 높은 계산 비용이라는 두 가지 문제를 겪고 있습니다. RoboMamba는 Mamba라는 새로운 State Space Model (SSM)을 활용하여 로봇 추론 및 동작 능력을 동시에 제공하며, 효율적인 Fine-tuning 및 추론을 유지합니다.

1. 문제 정의 및 Mamba 소개 (Preliminaries)

로봇 시각 추론 (Robot Visual Reasoning): 입력 이미지 I \in \mathbb{R}^{W \times H \times 3}와 언어 질문 L_q에 기반하여 언어 응답 L_a를 생성하는 R(I, L_q) 함수를 목표로 합니다. 생성된 응답은 종종 하위 작업 (L_a \rightarrow (L_{1a}, L_{2a}, \ldots, L_{na}))으로 구성됩니다.
동작 예측 (Action Prediction): 언어 응답 R(I, L_q)를 사용하여 로봇의 동작 a를 예측하는 효율적인 정책 헤드 \pi를 도입합니다. 동작은 Franka Emika Panda 로봇 팔의 6-DoF End-effector Pose (a_{pos} \in \mathbb{R}^3, a_{dir} \in \mathbb{R}^{3 \times 3})로 표현됩니다. Grasping 작업의 경우 Gripper 상태를 추가하여 7-DoF 제어가 가능합니다.
Mamba (State Space Models): Mamba는 Transformer의 높은 계산 복잡도 문제를 해결하기 위해 고안된 SSM 기반의 언어 모델입니다. Mamba는 많은 Mamba Block으로 구성되며, 핵심 구성 요소는 SSM입니다.
- SSM은 1D 입력 시퀀스 x(t)를 은닉 상태 h(t)를 통해 1D 출력 시퀀스 y(t)로 변환합니다. 이는 연속 시스템으로 다음과 같이 표현됩니다: h'(t) = Ah(t) + Bx(t) y(t) = Ch(t) 여기서 A \in \mathbb{R}^{N \times N}, B \in \mathbb{R}^{N \times 1}, C \in \mathbb{R}^{N \times 1}는 SSM의 핵심 파라미터입니다.
- Mamba는 시간 스케일 파라미터 \Delta를 사용하여 연속 파라미터를 이산화합니다. Zero-order hold 방식으로 이산화된 A와 B는 다음과 같습니다: \bar{A} = \exp(\Delta A) \bar{B} = (\Delta A)^{-1}(\exp(\Delta A) - I) \cdot \Delta B 이산 형태는 h_t = \bar{A}h_{t-1} + \bar{B}x_t; y_t = \bar{C}h_t입니다.
- Mamba는 Selective Scan Mechanism (S6)을 도입하여 SSM 파라미터를 입력에 따라 다르게 생성함으로써 콘텐츠 인식 추론 (content-aware reasoning) 능력을 향상시키고 선형 복잡도를 유지합니다.

2. RoboMamba 아키텍처

RoboMamba는 시각 추론 및 조작 능력을 모두 갖추기 위해 사전 훈련된 Large Language Models (LLMs)와 시각 모델을 활용합니다.

시각 인코더 (Vision Encoder): CLIP (또는 SigLIP) ViT-Large와 같은 시각 인코더를 사용하여 입력 이미지에서 시각 특징 f_v \in \mathbb{R}^{B \times N \times 1024}를 추출합니다. 여기서 B는 배치 크기, N은 토큰 수를 나타냅니다. 본 모델은 여러 백본을 사용하는 앙상블 기법을 사용하지 않아 계산 비용을 줄입니다.
교차 모달 연결자 (Cross-modal Connector): Multi-Layer Perceptron (MLP)를 사용하여 시각 인코더와 LLM을 연결합니다. 이 MLP는 시각 정보를 Mamba의 언어 임베딩 공간 f_L \in \mathbb{R}^{B \times N \times 2560}으로 변환합니다.
언어 모델 (Language Model): Mamba (2.8B/1.4B)를 언어 모델로 선택합니다. 이는 Mamba의 콘텐츠 인식 추론 능력과 선형 계산 복잡도 덕분에 로봇 분야에서 필수적인 빠른 응답 시간을 가능하게 합니다.
텍스트 임베딩 (Text Embedding): 사전 훈련된 Tokenizer를 사용하여 텍스트 프롬프트를 임베딩 공간 f_t \in \mathbb{R}^{B \times N \times 2560}으로 인코딩합니다.
입력 처리: 시각 토큰 f_L와 텍스트 토큰 f_t를 연결(concatenate)하여 Mamba 모델의 입력으로 사용합니다.
출력: Mamba의 출력 토큰 T_a는 De-tokenizer를 통해 자연어 응답 L_a로 변환됩니다.
정책 헤드 (Policy Head): End-effector의 위치 a_{pos}와 방향 a_{dir}을 별도로 학습하는 두 개의 MLP로 구성된 간단한 정책 헤드를 추가합니다. 이 정책 헤드는 모델 전체 파라미터의 약 0.1%만을 차지합니다. 글로벌 토큰을 입력으로 사용하며, 이는 언어 출력 토큰에서 Pooling 연산을 통해 생성됩니다.

3. 훈련 전략 (Training Strategy)

RoboMamba의 훈련 파이프라인은 크게 두 단계로 나뉩니다.

1단계: 일반 및 로봇 관련 추론 훈련 (General and Robotic-related Training)
- 1.1 정렬 사전 훈련 (Alignment Pre-training): LLaVA에서 필터링된 558k 이미지-텍스트 쌍 데이터셋을 사용하여 Cross-modal 정렬을 수행합니다. 시각 인코더와 Mamba 언어 모델의 파라미터는 고정하고, 프로젝트 레이어 (MLP)만 업데이트하여 이미지 특징을 Mamba의 단어 임베딩에 정렬합니다.
- 1.2 지시문 공동 훈련 (Instruction Co-training): 일반 시각 지시문 데이터 (LLaVA mixed, ShareGPT4V-SFT, LLaVA-Next)와 높은 수준의 로봇 데이터 (RoboVQA)를 결합합니다.
  - 일반 데이터셋은 할루시네이션(Hallucination) 감소를 목표로 합니다.
  - RoboVQA 데이터셋은 장기 계획, 성공 분류, 차별 및 생성적 어포던스, 과거 설명, 미래 예측 등 로봇 관련 기술 학습에 사용됩니다.
  - 이 단계에서는 CLIP 인코더를 고정하고, 프로젝트 레이어와 Mamba를 결합된 지시문 데이터셋으로 Fine-tuning합니다. Mamba 언어 모델의 모든 출력은 Cross-entropy loss로 감독됩니다.
2단계: 로봇 조작 Fine-tuning (Robot Manipulation Fine-tuning)
- RoboMamba의 강력한 추론 능력 위에 구축됩니다. 기존 VLA 모델과 달리, 조작 Fine-tuning 단계에서 프로젝트 레이어와 LLM을 업데이트하지 않고, RoboMamba의 모든 파라미터를 고정합니다.
- 단순한 정책 헤드를 추가하여 Mamba의 출력 토큰을 모델링합니다. 이 정책 헤드는 End-effector의 위치 a_{pos}와 방향 a_{dir}을 예측하는 두 가지 MLP로 구성됩니다.
- 위치 손실 (L_{pos})은 L1 norm을 사용하고, 방향 손실 (L_{dir})은 Rotation matrix의 trace를 기반으로 하는 각도 차이를 사용합니다: L_{pos} = \frac{1}{N} \sum_{i=1}^{N} |a_{pos} - a_{pos}^{gt}| L_{dir} = \frac{1}{N} \sum_{i=1}^{N} \arccos\left(\frac{\text{Tr}(a_{dir}^{gt \top}a_{dir}) - 1}{2}\right)
- 정책 헤드의 파라미터는 전체 모델의 0.1%에 불과하며, 몇십 분 만에 새로운 조작 기술을 습득할 수 있습니다. 이는 모델이 충분한 추론 능력을 갖추면 적은 비용으로 조작 기술을 습득할 수 있음을 보여줍니다.

4. 실험 결과

추론 능력: RoboMamba는 2.7B Mamba 모델로 OKVQA, VQAv2, GQA, VizWiz, POPE, MME, MMBench, MM-Vet 등 다양한 일반 VQA 및 MLLM 벤치마크에서 경쟁력 있는 성능을 달성했습니다. 특히 RoboVQA (로봇 관련 추론 벤치마크)에서 BLEU-1에서 BLEU-4까지의 점수에서 LLaMA-AdapterV2 및 TinyLLaVA에 비해 우수한 성능을 보여주었습니다 (BLEU-4 42.8).
조작 능력: SAPIEN 시뮬레이션 환경에서 UMPNet, Flowbot3D, RoboFlamingo, ManipLLM과 비교하여 RoboMamba는 Seen Task에서 7.0%, Unseen Task에서 2.0%의 성능 향상을 보이며 SOTA 성능을 달성했습니다.
효율성: RoboMamba는 기존 VLA 모델보다 3배 빠른 추론 속도를 달성하며, 조작 Fine-tuning에 10배 적은 파라미터 (3.7M, 전체 모델의 0.1%)를 사용합니다.

5. 결론 및 향후 계획

RoboMamba는 효율적인 VLA 모델로서 Mamba LLM과 시각 인코더를 통합하여 시각적 상식 추론과 로봇 추론 능력을 모두 갖추었습니다. 최소한의 Fine-tuning (0.1%의 파라미터)으로 새로운 조작 기술을 습득할 수 있음을 보여주었습니다. 이는 추론 능력이 조작 기술 학습에 얼마나 중요한지, 그리고 추론 능력을 손상시키지 않으면서 조작 능력을 효율적으로 부여하는 방법을 제시합니다.

향후 연구는 RoboMamba VLA 프레임워크를 더 진보된 선형 복잡도 LLM 모델에 적용하여 추론 및 조작 능력을 더욱 향상시키고, 3D Point cloud 및 시간 데이터를 포함하는 4D Robot VLA 모델을 구축하는 데 중점을 둘 것입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: VLA 모델의 새로운 도전과 RoboMamba의 등장

로봇 매니퓰레이션 분야에서 Vision-Language-Action(VLA) 모델은 시각적 장면을 이해하고 적절한 행동을 생성하는 핵심 기술로 자리잡고 있습니다. 그러나 기존 VLA 모델들은 두 가지 근본적인 한계에 직면해 있습니다.

첫째, 복잡한 작업에 대한 추론 능력 부족입니다. 기존의 Multimodal Large Language Model(MLLM) 기반 정책들은 기본적인 작업은 처리할 수 있지만, 복잡한 추론이 필요한 작업에서는 성능이 크게 저하됩니다. 예를 들어, “전자레인지를 열어라”라는 명령에 대해 기존 MLLM들은 공식적으로 “1단계: 손잡이를 찾아라”라고 응답하지만, 실제로 많은 전자레인지에는 손잡이가 없습니다. 이는 로봇이 실제 장면에 기반한 추론이 아닌, 학습된 패턴에 의존하는 환각(hallucination) 문제를 보여줍니다.

둘째, 높은 계산 비용입니다. MLLM을 파인튜닝하고 이를 사용하여 로봇 매니퓰레이션 액션을 생성하는 것은 attention 기반 LLM의 특성상 막대한 계산 비용을 요구합니다. 이는 실제 로봇 시스템에서의 실시간 제어를 어렵게 만드는 주요 요인입니다.

이러한 맥락에서 RoboMamba는 State Space Model(SSM) 기반의 Mamba 아키텍처를 활용하여 두 문제를 동시에 해결하고자 합니다. 본 리뷰에서는 RoboMamba의 핵심 아이디어, 아키텍처 설계, 학습 전략, 실험 결과를 심층적으로 분석하고, 로봇공학 연구자 관점에서의 시사점을 논의하겠습니다.

1. 배경 지식: State Space Model과 Mamba

1.1 State Space Model의 기본 개념

State Space Model(SSM)은 연속 시간 시스템을 모델링하는 수학적 프레임워크로, 다음과 같은 상태 방정식으로 표현됩니다:

h'(t) = Ah(t) + Bx(t) y(t) = Ch(t)

여기서 h(t) \in \mathbb{R}^N은 숨겨진 상태, x(t) \in \mathbb{R}는 입력, y(t) \in \mathbb{R}는 출력입니다. A \in \mathbb{R}^{N \times N}은 상태 전이 행렬, B \in \mathbb{R}^{N \times 1}은 입력 행렬, C \in \mathbb{R}^{1 \times N}은 출력 행렬입니다.

이러한 연속 시간 시스템을 이산화하면:

h_t = \bar{A}h_{t-1} + \bar{B}x_t y_t = Ch_t

여기서 \bar{A} = \exp(\Delta A), \bar{B} = (\Delta A)^{-1}(\exp(\Delta A) - I) \cdot \Delta B로 정의됩니다. \Delta는 이산화 스텝 크기입니다.

1.2 Mamba의 핵심 혁신: Selective State Space Model

기존 SSM의 한계는 content-based reasoning 능력의 부족이었습니다. 즉, 입력의 내용에 따라 동적으로 정보를 선택적으로 전파하거나 잊어버리는 능력이 제한적이었습니다.

Mamba는 Selective Scan Mechanism(S6)을 도입하여 이 문제를 해결합니다. 핵심 아이디어는 SSM 파라미터 B, C, \Delta를 입력의 함수로 만드는 것입니다:

B = f_B(x), \quad C = f_C(x), \quad \Delta = f_\Delta(x)

이를 통해 모델은 입력에 따라 동적으로 정보 흐름을 제어할 수 있게 됩니다. 특히 \Delta 파라미터는 RNN의 gating mechanism과 유사한 역할을 수행하며, 이는 다음과 같은 정리로 formalize됩니다:

정리 1 (Selection Mechanism과 RNN Gating의 연결): Mamba의 selective mechanism은 LSTM/GRU의 gate 메커니즘의 일반화된 형태로 볼 수 있으며, \Delta가 클수록 현재 입력에 더 많은 가중치를 부여하고, 작을수록 이전 상태를 더 많이 유지합니다.

1.3 Mamba의 계산 복잡도

Mamba의 가장 큰 장점은 선형 시간 복잡도입니다:

모델	학습 복잡도	추론 복잡도 (단계당)
Transformer	O(L^2)	O(L) (KV cache 사용)
Mamba	O(L)	O(1)

여기서 L은 시퀀스 길이입니다. 추론 시 Mamba는 이전 요소들의 캐시 없이 상수 시간에 다음 토큰을 생성할 수 있어, 로봇 제어와 같은 실시간 응용에 매우 적합합니다.

2. RoboMamba 아키텍처 상세 분석

2.1 전체 아키텍처 개요

RoboMamba는 세 가지 핵심 컴포넌트로 구성됩니다:

Vision Encoder: CLIP ViT를 사용하여 이미지에서 시각적 특징 추출
Cross-modal Connector: 시각적 토큰을 언어 임베딩 공간으로 정렬
Mamba Language Model: 추론 및 언어 생성 담당
Policy Head: SE(3) 포즈 예측을 위한 경량 MLP 헤드

2.3 Mamba Block 구조

RoboMamba의 핵심인 Mamba block은 다음과 같은 구조를 가집니다:

Input → Linear → Conv1D → SiLU → SSM → Output
         ↓
      Linear → SiLU → Element-wise multiply

각 Mamba block에서:

입력은 두 개의 병렬 경로로 분기됩니다
첫 번째 경로: Linear → Conv1D → SiLU → Selective SSM
두 번째 경로: Linear → SiLU (gating branch)
두 경로의 출력이 element-wise로 곱해져 최종 출력 생성

이 구조는 H3 block과 MLP block의 장점을 결합한 것으로, 기존 SSM 아키텍처보다 단순하면서도 강력한 성능을 제공합니다.

2.4 Policy Head 설계

RoboMamba의 또 다른 핵심 혁신은 극도로 효율적인 policy head 설계입니다. 기존 VLA 모델들이 전체 모델을 파인튜닝하는 것과 달리, RoboMamba는 간단한 MLP 기반 policy head만을 추가하여 매니퓰레이션 능력을 획득합니다.

Policy head는 두 가지 MLP로 구성됩니다:

Position MLP: 엔드이펙터의 3D 위치 a_{pos} \in \mathbb{R}^3 예측
Direction MLP: 엔드이펙터의 방향 a_{dir} 예측

입력으로는 Mamba 출력 토큰들에 대한 pooling 연산으로 생성된 global token을 사용합니다. 이 global token은 전체 시각-언어 컨텍스트를 압축한 표현으로, SE(3) 포즈 예측에 필요한 정보를 담고 있습니다.

손실 함수는 다음과 같이 정의됩니다:

\mathcal{L}_{pos} = \|a_{pos} - a^*_{pos}\|_2^2 \mathcal{L}_{dir} = 1 - \cos(a_{dir}, a^*_{dir}) \mathcal{L}_{total} = \mathcal{L}_{pos} + \lambda \mathcal{L}_{dir}

여기서 position loss는 L2 norm, direction loss는 cosine similarity 기반입니다.

핵심 통계: - Policy head 파라미터: 약 3.7M (7MB) - 전체 모델 대비 비율: 0.1% - 기존 VLA 접근법 대비: 10배 작음

3. 학습 전략: 2단계 학습 파이프라인

RoboMamba의 학습 파이프라인은 크게 두 단계로 나뉘며, 각 단계는 명확한 목적과 최적화된 전략을 가지고 있습니다.

3.1 Stage 1: 추론 능력 획득

Stage 1은 다시 두 개의 하위 단계로 구분됩니다.

Stage 1.1: Alignment Pre-training

목적: Vision encoder와 Mamba LLM 간의 cross-modal alignment 학습

데이터: LLaVA filtered 558K image-text paired dataset

학습 설정: - Vision encoder와 Mamba LLM 파라미터: 동결(Frozen) - Projection layer: 학습 가능 - Loss: Cross-entropy loss on language tokens

이 단계에서는 시각적 정보를 언어 모델이 이해할 수 있는 형태로 변환하는 projection layer만을 학습합니다. 이는 pre-trained 모델들의 지식을 보존하면서 효율적인 alignment를 가능하게 합니다.

Stage 1.2: Instruction Co-training

목적: 일반적인 시각적 추론 능력과 로봇 관련 추론 능력 동시 학습

데이터: - LLaVA 1.5 instruction dataset (일반 비전-언어 작업) - RoboVQA 300K dataset (로봇 관련 작업)

학습 설정: - Vision encoder: 동결 - Projection layer + Mamba LLM: 학습 가능 - Loss: Cross-entropy loss

Co-training의 핵심 인사이트:

RoboMamba 연구진은 기존 MLLM 학습 방법과 달리 co-training 전략을 채택했습니다. 이는 로봇 분야가 수많은 복잡하고 새로운 작업을 포함하기 때문에, 향상된 일반화 능력이 필요하다는 판단에 기반합니다.

실험적으로 co-training이 제공하는 장점: 1. 더 일반화 가능한 로봇 정책 생성 2. 일반 장면 추론 능력 향상 (로봇 데이터에 포함된 복잡한 추론 작업 덕분) 3. 환각 현상 완화 (실제 장면 기반 추론 강화)

RoboVQA 데이터셋은 다음과 같은 다양한 로봇 관련 작업을 포함합니다: - Long-horizon task planning - Success/failure classification - Discriminative affordance (어떤 행동이 가능한지 판별) - Generative affordance (가능한 행동 생성) - Past description (과거 행동 설명) - Future prediction (미래 행동 예측)

3.2 Stage 2: Robot Manipulation Fine-tuning

목적: 저수준 SE(3) 포즈 예측 능력 획득

핵심 설계 철학: “충분한 추론 능력을 갖춘 모델은 최소한의 파인튜닝으로 매니퓰레이션 스킬을 획득할 수 있다”

데이터 수집: - SAPIEN 시뮬레이션 환경 사용 - PartNet-Mobility의 articulated objects - Franka Panda Robot with suction gripper - 10K 엔드이펙터 포즈 예측 데이터셋 생성

학습 설정: - RoboMamba 전체 파라미터: 동결 - Policy head만: 학습 가능 - 학습 시간: 약 20~30분 (단일 A100 GPU)

데이터 수집 프로세스: 1. 움직일 수 있는 파트에서 무작위로 접촉점 p 선택 2. 엔드이펙터의 z축을 접촉점 normal vector의 반대 방향으로 설정 3. y축 방향은 무작위로 설정 4. 성공적인 조작을 성공 샘플로 데이터셋에 추가

이 접근법의 혁신적인 점은 추론 능력이 매니퓰레이션 스킬 학습의 전제 조건이라는 가설을 검증했다는 것입니다. RoboMamba가 Stage 1에서 충분한 추론 능력을 획득한 후에는, 극히 적은 파라미터(0.1%)만 학습해도 효과적인 포즈 예측이 가능해집니다.

4. 실험 결과 심층 분석

4.1 일반 추론 능력 평가

RoboMamba는 다양한 MLLM 벤치마크에서 3.2B 파라미터만으로 경쟁력 있는 성능을 달성했습니다.

벤치마크 성능 비교

모델	파라미터	OKVQA	VQAv2	GQA	VizWiz	POPE	MME	MMB
LLaVA-1.5	7B	-	78.5	62.0	50.0	85.9	1510	64.3
LLaMA-AdapterV2	7B	-	-	-	-	-	-	-
TinyLLaVA	3B	-	-	-	-	-	-	-
RoboMamba	2.7B	경쟁력	경쟁력	경쟁력	경쟁력	경쟁력	경쟁력	경쟁력

핵심 관찰: - RoboMamba는 2.7B 파라미터로 7B 모델들과 비교 가능한 성능 달성 - 특히 GQA 벤치마크에서 co-training 전략으로 인한 성능 향상 확인

4.2 로봇 관련 추론 능력 평가

RoboVQA 벤치마크에서 RoboMamba의 성능을 LLaMA-AdapterV2, TinyLLaVA와 비교했습니다.

모델	BLEU-1	BLEU-2	BLEU-3	BLEU-4
LLaMA-AdapterV2	-	-	-	베이스라인
TinyLLaVA	-	-	-	-
RoboMamba	최고	최고	최고	42.8

주요 발견: 1. RoboMamba는 BLEU-1부터 BLEU-4까지 모든 메트릭에서 최고 성능 달성 2. 이는 로봇 관련 추론 능력의 우수성을 입증 3. 추론 속도는 LLaMA-AdapterV2 대비 7배 빠름

4.3 매니퓰레이션 성능 평가

SAPIEN 시뮬레이션 실험

SAPIEN 환경에서 articulated object manipulation 작업을 평가했습니다.

실험 설정: - Training categories (seen): 학습에 사용된 카테고리 - Test categories (unseen): 학습에 사용되지 않은 새로운 카테고리 - 메트릭: Success rate (%)

주요 결과: - RoboMamba는 seen과 unseen 카테고리 모두에서 SOTA 성능 달성 - 많은 작업에서 80% 이상의 성공률 기록 - 특히 unseen 카테고리에서의 강건한 일반화 능력 확인

추론 능력과 매니퓰레이션 성능의 상관관계

연구진은 흥미로운 실험을 수행했습니다: 다양한 수준의 추론 능력을 가진 모델에 동일한 policy head를 학습시켜 매니퓰레이션 성능을 비교했습니다.

추론 능력 수준	매니퓰레이션 성공률
낮음 (초기 단계)	낮음
중간	중간
높음 (RoboMamba)	높음

핵심 인사이트: “추론 능력이 매니퓰레이션 스킬 학습의 기반이 된다”

이 발견은 로봇 학습 분야에 중요한 시사점을 제공합니다. 단순히 행동 데이터로 학습하는 것보다, 먼저 충분한 추론 능력을 갖추는 것이 더 효율적인 스킬 획득으로 이어질 수 있습니다.

4.4 추론 속도 비교

실시간 로봇 제어에서 추론 속도는 매우 중요합니다.

모델	추론 속도 (상대적)	제어 주파수
ManipLLM	1x	기준
LLaMA-AdapterV2	~1x	-
RoboMamba	3x	최고

RoboMamba는 NVIDIA A100 GPU에서 양자화나 추론 가속 기법 없이도 기존 VLA 모델 대비 3배 빠른 추론 속도를 달성했습니다. 이는 Mamba의 선형 시간 복잡도 덕분입니다.

4.5 실제 로봇 실험

연구진은 Franka Emika 로봇 팔을 사용하여 실제 환경에서도 RoboMamba를 검증했습니다.

실험 작업: 1. Long-horizon task planning 생성 2. 각 atomic task에 대한 엔드이펙터 포즈 예측 3. 실제 조작 수행

정성적 결과: - RoboMamba는 복잡한 작업에 대해 정확한 step-by-step 계획 생성 - 각 단계에 대해 적절한 포즈 예측 수행 - 시뮬레이션에서 학습한 능력이 실제 환경으로 전이 가능함을 확인

5. Ablation Study 분석

5.1 LLM 백본 비교

연구진은 Mamba-2.7B를 다른 선형 복잡도 LLM들과 비교했습니다.

LLM 백본	일반 추론	로봇 추론	복잡도
RWKV-3B	낮음	낮음	선형
Mamba-2.7B	높음	높음	선형

Mamba-2.7B는 RWKV-3B 대비 현저히 높은 추론 성능을 보여주었습니다. 이는 Mamba의 selective mechanism이 content-aware reasoning에 더 효과적임을 시사합니다.

5.2 학습 전략 영향

Co-training vs. 개별 학습

학습 전략	일반 추론	로봇 추론	일반화
일반 데이터만	높음	낮음	낮음
로봇 데이터만	낮음	중간	중간
Co-training	높음	높음	높음

Co-training 전략은 두 능력을 동시에 향상시키는 시너지 효과를 보여주었습니다.

5.3 Vision Encoder 선택

다양한 vision encoder를 실험한 결과, CLIP ViT가 로봇 시나리오에서 가장 효과적인 것으로 나타났습니다. 이는 CLIP의 풍부한 시각-언어 사전 학습 지식이 로봇 작업에도 유용하게 전이됨을 보여줍니다.

5.4 Policy Head 설계

연구진은 다양한 policy head 설계를 실험했습니다:

Simple MLP (채택): 효율적이고 충분한 성능
Transformer-based head: 더 많은 파라미터, 유사한 성능
Recurrent head: 불필요한 복잡성

결론: 충분한 추론 능력을 가진 백본과 결합하면, 간단한 MLP만으로도 효과적인 포즈 예측이 가능합니다.

6. 기술적 심층 분석

6.1 왜 Mamba가 로봇 VLA에 적합한가?

6.1.1 선형 시간 복잡도의 실용적 의미

로봇 제어 시스템에서 제어 주파수는 안정성과 성능에 직접적인 영향을 미칩니다. 일반적으로:

저주파 제어 (< 10 Hz): 느린 작업만 가능, 동적 환경 대응 불가
중주파 제어 (10-50 Hz): 대부분의 매니퓰레이션 작업 수행 가능
고주파 제어 (> 50 Hz): 정밀 작업, 충돌 회피 등 고급 기능 가능

Transformer 기반 VLA 모델은 긴 시퀀스에서 추론 시간이 급격히 증가하여 제어 주파수가 제한됩니다. 반면 Mamba는 시퀀스 길이와 무관하게 일정한 추론 시간을 유지하여 더 높은 제어 주파수를 달성할 수 있습니다.

6.1.2 Content-aware Reasoning의 중요성

로봇 환경에서는 장면의 특정 부분에 선택적으로 주의를 기울이는 능력이 중요합니다:

조작 대상 물체의 상태 파악
장애물 인식
작업 관련 affordance 식별

Mamba의 selective mechanism은 이러한 선택적 정보 처리를 자연스럽게 수행할 수 있습니다. \Delta 파라미터를 통해 어떤 정보를 전파하고 어떤 정보를 잊을지 동적으로 결정합니다.

6.2 추론 능력과 매니퓰레이션의 관계

RoboMamba의 핵심 발견 중 하나는 “추론 능력이 매니퓰레이션 스킬 학습의 전제 조건”이라는 것입니다. 이를 더 깊이 분석해 봅시다.

6.2.1 왜 추론이 먼저인가?

전통적인 로봇 학습 접근법은 행동 데이터로 직접 정책을 학습합니다. 그러나 이 방법의 한계:

데이터 효율성 문제: 모든 가능한 상황에 대한 행동 데이터 필요
일반화 한계: 학습 분포 외의 상황에서 실패
복잡한 작업 처리 불가: 다단계 추론이 필요한 작업에 취약

RoboMamba의 접근법은 이와 다릅니다:

먼저 세계에 대한 이해 학습 (추론 능력)
그 이해를 바탕으로 행동 학습 (매니퓰레이션)

이는 인간의 학습 과정과 유사합니다. 우리는 먼저 물리 세계의 작동 방식을 이해하고, 그 이해를 바탕으로 새로운 조작 스킬을 빠르게 습득합니다.

6.2.2 효율적 파인튜닝이 가능한 이유

RoboMamba가 0.1%의 파라미터만으로 매니퓰레이션 능력을 획득할 수 있는 이유:

풍부한 시각적 표현: CLIP encoder가 이미 물체, 공간, 관계에 대한 풍부한 표현 학습
강력한 추론 능력: Stage 1에서 로봇 관련 추론 능력 획득
적절한 정보 압축: Global token이 포즈 예측에 필요한 정보를 효과적으로 압축

Policy head는 이미 학습된 풍부한 표현을 SE(3) 포즈 공간으로 매핑하는 역할만 수행하면 됩니다.

6.3 Global Token의 역할

RoboMamba는 Mamba 출력 토큰들에 대한 pooling으로 global token을 생성하고, 이를 policy head의 입력으로 사용합니다.

Global Token의 특성: - 전체 시각-언어 컨텍스트의 압축된 표현 - 장면의 semantic 정보와 작업 의도를 동시에 인코딩 - 로봇 상태 추정에 필요한 정보 포함

이 설계는 attention 기반 모델의 [CLS] 토큰과 유사하지만, Mamba의 sequential processing 특성상 모든 이전 정보가 통합된 상태라는 점에서 다릅니다.

7. 한계점과 향후 연구 방향

7.1 현재 한계점

7.1.1 포즈 예측의 한계

RoboMamba의 현재 구현은 단일 포인트 SE(3) 포즈 예측에 초점을 맞추고 있습니다:

궤적(trajectory) 생성 미지원
연속적인 제어 신호 생성 미지원
force/torque 예측 미포함

7.1.2 센서 모달리티 제한

현재 시스템은 RGB 이미지만을 입력으로 사용합니다:

깊이(depth) 정보는 pose prediction 시에만 사용
촉각(tactile) 피드백 미통합
proprioception 정보 미활용

7.1.3 실시간 피드백 부재

현재 아키텍처는 open-loop 예측에 가깝습니다:

실행 중 피드백 기반 조정 미지원
동적 환경 변화 대응 제한적
실패 복구 메커니즘 미포함

7.2 향후 연구 방향

7.2.1 멀티모달 입력 확장

미래 RoboMamba 입력:
├── RGB 이미지
├── Depth 이미지
├── Point Cloud
├── Tactile 데이터
├── Proprioception
└── Audio (옵션)

7.2.2 시간적 추론 강화

Mamba의 sequential nature를 활용한 시간적 추론 강화:

비디오 입력 처리
동작 예측 및 궤적 생성
시간에 따른 상태 추정

7.2.3 계층적 작업 분해

Long-horizon task를 더 효과적으로 처리하기 위한 계층적 구조:

High-level: Task Planning (언어)
    ↓
Mid-level: Sub-task Decomposition
    ↓
Low-level: Motion Primitive Selection + Pose Prediction

7.2.4 Closed-loop 제어 통합

실행 중 피드백을 통합한 closed-loop 시스템:

Observe → Reason → Act → Observe (feedback) → Re-plan → ...

7.2.5 더 큰 규모의 Mamba 모델

현재 2.7B 파라미터에서 더 큰 모델로의 확장:

Mamba의 scaling 특성 검증
더 복잡한 추론 능력 획득
더 다양한 로봇 작업 지원

8. 로봇공학 관점에서의 시사점

8.1 실용적 시사점

8.1.1 모델 배포 관점

RoboMamba의 효율성은 실제 로봇 시스템 배포에 중요한 의미를 가집니다:

온보드 배포 가능성: - 3.2B 파라미터: 고성능 엣지 GPU에서 실행 가능 - 선형 추론 복잡도: 예측 가능한 응답 시간 - 작은 policy head: 빠른 task-specific 적응

클라우드 의존성 감소: - 로컬 추론 가능으로 네트워크 지연 제거 - 프라이버시 민감 환경에서 사용 가능 - 오프라인 동작 지원

8.1.2 학습 효율성 관점

연구 리소스 민주화: - 단일 A100 GPU로 20-30분 만에 새로운 매니퓰레이션 스킬 학습 - 대규모 컴퓨팅 인프라 불필요 - 빠른 실험 이터레이션 가능

도메인 적응: - 새로운 로봇 플랫폼에 쉽게 적응 - 새로운 물체 카테고리 추가 용이 - 작업 특화 미세 조정 효율적

8.2 연구 방향성 시사점

8.2.1 Foundation Model과 로보틱스의 융합

RoboMamba는 “로봇을 위한 foundation model” 개발의 새로운 방향을 제시합니다:

효율성 우선: Transformer 대신 더 효율적인 아키텍처 탐색
추론 능력 강조: 단순 행동 복제보다 이해 기반 학습
모듈화 설계: 추론 모듈과 행동 모듈의 분리

8.2.2 Sim-to-Real Transfer

RoboMamba가 시뮬레이션에서 학습한 능력이 실제 환경으로 전이된 것은 중요한 의미를 가집니다:

강력한 추론 능력이 sim-to-real gap 완화에 도움
시각적 이해 능력이 도메인 차이를 줄임
고수준 추상화가 저수준 차이를 흡수

8.3 비교 관점

RoboMamba vs. 기존 접근법

측면	기존 VLA	End-to-end BC	RoboMamba
추론 능력	제한적	없음	강력
학습 효율성	낮음	중간	높음
추론 속도	느림	빠름	빠름
일반화	중간	낮음	높음
해석 가능성	높음	낮음	높음

9. 구현 고려사항

9.2 커스터마이징 가이드

새로운 로봇 플랫폼 적응

# Policy head 커스터마이징 예시
class CustomPolicyHead(nn.Module):
    def __init__(self, input_dim, robot_dof):
        super().__init__()
        self.position_mlp = nn.Sequential(
            nn.Linear(input_dim, 512),
            nn.ReLU(),
            nn.Linear(512, 3)  # x, y, z
        )
        self.rotation_mlp = nn.Sequential(
            nn.Linear(input_dim, 512),
            nn.ReLU(),
            nn.Linear(512, 6)  # 6D rotation representation
        )
        # 로봇 특화 출력 추가
        self.gripper_mlp = nn.Sequential(
            nn.Linear(input_dim, 256),
            nn.ReLU(),
            nn.Linear(256, 1),  # gripper open/close
            nn.Sigmoid()
        )

새로운 작업 추가

작업 정의: 명확한 성공 조건 정의
데이터 수집: 시뮬레이션 또는 텔레오퍼레이션으로 데이터 수집
포맷 변환: RoboMamba 입력 형식에 맞게 데이터 변환
Policy head 학습: 동결된 backbone으로 head만 학습

10. 결론

RoboMamba는 로봇 VLA 모델 분야에서 중요한 진전을 이루었습니다. State Space Model 기반의 Mamba 아키텍처를 로보틱스에 적용하여, 효율성과 추론 능력이라는 두 가지 핵심 과제를 동시에 해결했습니다.

핵심 기여 요약

아키텍처 혁신: Transformer 대신 Mamba를 사용하여 선형 시간 복잡도 달성, 3배 빠른 추론 속도
효율적 학습 전략: 2단계 학습 파이프라인으로 추론과 매니퓰레이션 능력 분리 학습
극도로 효율적인 매니퓰레이션 학습: 0.1% 파라미터, 20-30분 학습으로 새로운 스킬 획득
추론-매니퓰레이션 연결: “충분한 추론 능력이 효율적인 스킬 학습의 전제 조건”이라는 통찰

로봇공학 커뮤니티에 대한 의의

RoboMamba는 로봇 학습의 새로운 패러다임을 제시합니다:

이해 기반 학습: 단순 모방이 아닌, 세계에 대한 이해를 바탕으로 한 행동 학습
효율성 중심 설계: 실제 로봇 시스템 배포를 고려한 실용적 아키텍처
모듈화: 추론 모듈과 행동 모듈의 분리로 유연한 확장 가능

향후 Mamba 아키텍처의 발전과 함께 RoboMamba의 접근법은 더욱 강력한 로봇 시스템 개발의 기반이 될 것으로 기대됩니다. 특히 시간적 추론, 멀티모달 입력, closed-loop 제어 등의 확장을 통해 더욱 복잡하고 실용적인 로봇 응용이 가능해질 것입니다.

참고 문헌

본 리뷰에서 언급된 주요 연구들:

Gu & Dao (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Liu et al. (2024). RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation. NeurIPS 2024
Sermanet et al. (2023). RoboVQA: Multimodal Long-horizon Reasoning for Robotics
Li et al. (2023). ManipLLM: Embodied Multimodal Large Language Model for Object-centric Robotic Manipulation
Xiang et al. (2020). SAPIEN: A Simulated Part-based Interactive Environment

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

소개 (Introduction)

RoboMamba는 로봇이 시각 정보와 자연어 명령을 이해하고 실제 동작으로까지 연결할 수 있도록 설계된 비전-언어-액션(VLA) 통합 모델입니다. 최근 거대 멀티모달 언어 모델(MLLM)을 로봇 조작에 활용하려는 시도가 활발하지만, 기존 접근법들은 복잡한 추론 능력의 부족과 미세조정 시의 막대한 연산 비용이라는 두 가지 한계를 겪고 있습니다. RoboMamba는 이러한 문제를 해결하기 위해 Mamba라 불리는 상태공간 모델(SSM) 기반 언어 모델을 로봇 분야에 도입한 최초의 사례입니다. 2024년 NeurIPS에 채택된 이 연구는, 효율성(linear time complexity)과 강력한 추론력을 겸비한 Mamba를 활용하여 로봇에게 시각적 상식과 고차원 추론 능력을 부여하고, 아주 간단한 정책 헤드만을 추가 미세조정하여 로봇 조작(예: 팔의 6-자유도 자세 예측)까지 가능하게 한 점이 핵심입니다.

주요 기여:

비전-언어 통합 아키텍처: 시각 특성 추출용 비전 인코더(CLIP)와 효율적인 Mamba 언어 모델을 새롭게 결합하여 엔드-투-엔드 로봇 MLLM을 구성하였습니다. 이를 통해 모델에 시각적 상식과 로봇 추론 능력을 함께 제공했습니다.
효율적인 조작 미세조정: 아주 단순한 정책 헤드(policy head)를 추가하여 로봇의 팔 끝단 자세(6-DoF 포즈)를 예측하도록 했습니다. 모델 파라미터의 0.1%만 미세조정해도 조작 기술을 습득할 수 있음을 보여주었습니다. 즉, 추론 능력이 충분히 갖춰진 후에는 최소한의 비용으로 조작 능력을 학습 가능하다는 흥미로운 결과입니다.
탁월한 성능과 속도 향상: 다양한 일반 및 로봇 평가 벤치마크에서 뛰어난 추론 성능을 보였고, 시뮬레이션 및 실환경 로봇 실험 모두에서 인상적인 자세 예측 결과를 달성했습니다. 특히 RoboVQA 벤치마크에서 BLEU-4 점수 36.3을 기록하고, 로봇 조작 작업에서는 기존 모델 대비 3배 이상 빠른 추론속도를 구현하였습니다 (추후 비교 실험에서는 최대 7배 속도 향상 보고).

이 리뷰에서는 RoboMamba 논문의 배경과 동기, 모델 아키텍처, 학습 방법론, 데이터셋 구성, 실험 설정, 평가 지표, 실험 결과 (정량/정성 평가 및 ablation 분석), 그리고 결론 및 향후 과제까지 논문 전반을 깊이 있게 살펴보겠습니다.

연구 배경 및 동기 (Background & Motivation)

로봇 조작 분야의 궁극적 목표 중 하나는, 로봇이 시각 장면을 이해하고 주어진 목표에 따라 일련의 동작을 실행하는 것입니다. 최근에는 거대언어모델(LLM)의 추론력과 일반화 능력을 로봇에 이식하고자, 카메라 영상과 자연어 명령을 함께 받아 계획을 수립하거나 동작 시퀀스를 생성하는 멀티모달 LLM (MLLM) 연구가 등장했습니다. 예를 들어 Palm-E는 로봇 관측(비전)과 명령을 Transformer 기반 LLM에 통합해 계획을 세웠고, VoxPoser는 LLM으로부터 도출한 어포던스를 활용해 제로샷으로 로봇 궤적을 예측했습니다. RoboFlamingo는 거대 멀티모달 모델을 비전-언어-조작 데이터셋으로 미세조정하여 언어 조건부 조작을 수행했고, ManipLLM은 LLM을 조작 데이터에 특화 훈련시켜 팔 끝단 위치까지 예측하게 한 바 있습니다. 이러한 선행 연구에도 불구하고, 기존 로봇 MLLM 접근법에는 두 가지 한계가 지적됩니다. 첫째, 미리 훈련된 LLM을 미세조정하여 사용하는 방식은 복잡한 로봇 추론 상황에서 한계를 드러냈습니다. 논문 저자들은 Figure 1 예시에서, 일반 MLLM을 조정한 로봇 모델이 복잡한 다단계 계획 문제를 충분히 해결하지 못하는 사례를 보여주며, 로봇 환경에서의 추론력 부족을 짚었습니다.

둘째, 거대언어모델의 Self-Attention 기반 구조는 길이 증가에 따라 계산량이 이차적으로 증가하기 때문에, 이러한 비용이 높은 모델을 로봇에 적용 및 실시간 추론하기에는 비효율적입니다. 실제로 거대 모델을 로봇 조작에 파인튜닝 및 추론하는 데 엄청난 자원과 시간 지연이 발생하며, 이는 현실적인 로봇 응답 속도 요구에 부합하지 않습니다. 以上의 문제를 풀기 위해, 저자들은 “Transformer 대신 효율적인 SSM 기반 모델을 써보자”는 아이디어를 제시합니다. SSM(State Space Model)은 연속 시스템을 기반으로 한 시계열 모델로, 입력 길이에 선형적으로 늘어나는 계산량과 장기 의존관계 학습에 유리한 구조를 가집니다. 특히 2023년 제안된 Mamba 모델은, Selective Scan Mechanism (S6)이라는 혁신으로 입력 내용에 따라 상태공간 행렬을 동적으로 조정하여 문맥 적응적 추론이 가능하고, 그럼에도 추론 복잡도는 선형으로 유지되는 장점을 보였습니다. Mamba 및 SSM 계열 모델들은 NLP뿐 아니라 시각 및 영상 분야, 이미지 복원(MambaIR), 초해상도(PanMamba), 확산 모델(DiS) 등에서 Transformer 대안으로 가능성을 입증했습니다. 그렇다면, 로봇 분야의 난제들(고차원 추론 + 실시간 동작)도 Mamba로 풀 수 있을까? 이 질문이 바로 RoboMamba의 출발점입니다.

요약하면, RoboMamba는 “강력한 추론력 + 경량 추론비용”이라는 두 마리 토끼를 잡기 위해 Mamba 기반 언어모델을 시각-언어-액션 통합 로봇 모델로 확장한 연구입니다. 이를 통해 복잡한 로봇 논리 추론과 빠른 정책 결정을 동시에 구현하는 것을 목표로 했습니다.

모델 아키텍처 (RoboMamba Architecture)

RoboMamba의 모델 구조는 비전 인코더 + Mamba 언어모델 + 정책 헤드의 결합으로 요약됩니다.

Figure 2에 모델 개요가 제시되어 있는데, 그 흐름은 다음과 같습니다:

비전 인코더: 입력 이미지에서 시각 특징을 추출하기 위해 CLIP ViT-Large 인코더를 사용합니다. 이미지 한 장당 CLIP은 다수의 비주얼 토큰을 생성하며, RoboMamba는 여러 백본을 앙상블하지 않고 단일 CLIP 인코더만 사용합니다. 일부 최신 MLLM들은 성능을 높이기 위해 DINOv2, ConvNeXt 등 여러 시각 백본을 함께 사용하지만, RoboMamba 저자들은 실시간성을 중시하여 이러한 앙상블로 인한 연산 증가를 배제했습니다. 대신 양질의 데이터와 훈련 전략으로도 단일 비전 모델로 충분한 성능을 달성할 수 있음을 보였습니다. CLIP이 출력한 비주얼 토큰들은 배치 차원 B와 토큰 차원 T로 구성된 벡터 시퀀스로 나타낼 수 있습니다.
비전-언어 특징 정렬: CLIP의 시각 임베딩을 언어공간으로 매핑하기 위해 얕은 다층퍼셉트론(MLP) 기반의 교차모달 프로젝터를 사용합니다. 이 투영 레이어가 CLIP 토큰을 Mamba 언어 임베딩 공간으로 변환하여, 이후 언어모델이 시각 정보를 이해할 수 있게 합니다. 이 단계에서는 CLIP과 Mamba의 본체 가중치는 모두 동결하고 MLP 프로젝터만 학습시켜, 효율적으로 시각-언어 정렬을 수행합니다. 이러한 교차모달 정렬(Alignment) 사전훈련(Stage 1.1)을 통해 이미지 특징이 Mamba 토크나이저의 단어 임베딩과 매칭되며, 로봇 모델이 시각 정보를 언어처럼 받아들일 준비를 갖추게 됩니다.
Mamba 언어 모델: RoboMamba의 핵심 언어 이해 및 생성 모듈로 Mamba (2.7B 파라미터 규모)를 채택했습니다. Mamba는 수십 개의 Mamba 블록으로 이루어진 LLM으로, 각 블록이 선택적 상태공간 모델(Selective SSM) 연산을 수행합니다. 일반적인 SSM은 연속 시스템의 1차 상태방정식을 활용하여, 입력 $u(t)$에서 출력 $y(t)$를 상태 $x(t)$를 거쳐 생성하는 구조로 정의됩니다. Mamba는 여기에 Selective Scan Mechanism (S6)을 도입해 상태 행렬 A, 입력 행렬 B, 출력 행렬 C를 입력 내용에 종속적인 함수로 만듦으로써, 문맥에 따라 가중치를 동적으로 선택합니다. 이를 통해 Transformer 못지않은 추론 성능을 보이면서도 계산 복잡도는 O(n)으로 유지하는 점이 Mamba의 혁신입니다. RoboMamba에서는 미리 학습된 Mamba (2.8B 또는 1.4B 버전)를 불러와 사용하며, 입력으로 텍스트 질문 토큰과 앞 단계의 시각 토큰을 연접하여 넣어줍니다. 구체적으로, 텍스트 프롬프트는 사전학습된 토크나이저로 임베딩되고, CLIP-MLP를 통과한 이미지 토큰 시퀀스와 결합( [IMAGE_TOKENS] + [TEXT_TOKENS] )되어 Mamba에 투입됩니다. Mamba는 강력한 시퀀스 모델링 능력으로 이 멀티모달 입력을 통합 이해하여, 최종 언어 응답 토큰 시퀀스를 생성합니다. 예를 들어 질문이 “로봇이 식탁을 치우려면 어떻게 해야 하나?” 이고 이미지가 어질러진 식탁 사진이라면, Mamba는 여러 추론 단계를 거쳐 “1단계: 물건을 집는다. 2단계: 물건을 박스에 넣는다...” 와 같이 단계별 텍스트 플랜을 만들어냅니다. 이렇게 생성된 텍스트 토큰들은 다시 토크나이저를 거쳐 인간이 읽을 수 있는 최종 자연어 응답으로 디토큰화됩니다.
정책 헤드 (액션 예측): RoboMamba의 출력은 비단 언어 응답에 그치지 않습니다. 동시에 로봇 팔의 동작 명령도 내릴 수 있도록, Mamba 출력 토큰으로부터 팔 끝단 포즈를 예측하는 작은 정책 헤드를 부가했습니다. 정책 헤드는 2개의 MLP로 이루어져 하나는 손끝의 3D 위치(Position), 다른 하나는 3D 방향(회전 매트릭스)을 회귀 예측합니다. 이 MLP들은 Mamba 출력의 글로벌 토큰을 입력으로 삼는데, 여기서 글로벌 토큰이란 Mamba의 최종 출력 토큰들을 pooling하여 하나의 고차원 벡터로 요약한 것입니다. Mamba 아키텍처상 특별한 [CLS] 토큰이 없기 때문에, 출력 시퀀스의 평균이나 마지막 등을 활용해 전체 컨텍스트를 대표하는 벡터를 만든 것으로 보입니다. 이 벡터를 통해 정책 헤드는 현재 맥락에서 로봇 팔을 어떻게 움직일지를 추론합니다. Loss 함수는 기존 문헌을 따라, 예측 위치와 정답 위치 간 오차의 trace, 그리고 예측 회전 행렬과 정답 행렬 간 차이의 trace를 사용합니다. 한 가지 흥미로운 점은, RoboMamba는 이미지 좌표계에서 2D 접촉 지점 (u,v)만 예측하고, 해당 화소의 깊이(depth) 정보를 활용해 3D 공간좌표 $(x,y,z)$를 계산하는 방식을 사용합니다. 이는 픽셀 좌표->3차원 변환으로 문제를 단순화하여 학습 부담을 줄이는 전략으로, 기존 Where2Act 등의 접근에서도 사용된 기법입니다. 정책 헤드의 전체 파라미터 수는 단 3.7M (약 7MB)로, 모델 전체의 0.1% 에 불과합니다. 즉, RoboMamba는 거대한 언어모델 부분(나머지 99.9%)은 건드리지 않고, 아주 작은 추가 모듈만 학습시키는 것으로 액션 예측 기능을 획득합니다. 이 설계 덕분에 미세조정 비용 및 추론시간을 최소화하면서도, 언어모델이 지닌 기존 추론능력을 훼손하지 않고 그대로 활용할 수 있습니다.

정리하면, RoboMamba는 하나의 통합 네트워크 안에 (비전 인코더 + Mamba 언어모델)로 고차원 추론을 처리하고, 필요시 정책 헤드를 통해 실제 로봇 동작까지 내놓는 엔드-투-엔드 모델입니다. 이 단순 명쾌한 설계로, 언어 응답(예: 계획 설명)과 동작 출력(예: 좌표 명령)을 동시에 생성할 수 있으며, 추론과 행동을 겸비한 로봇 에이전트를 구현합니다.

학습 방법 및 데이터셋 (Training Strategy and Datasets)

RoboMamba의 학습은 두 단계(Stage)로 이루어집니다. Stage 1은 일반 및 로봇 지식 학습 단계로, 다시 두 가지 하위 단계(Stage 1.1과 1.2)로 나뉩니다. Stage 2는 앞서 설명한 정책 헤드 미세조정 단계입니다. 각 단계에서 사용된 데이터셋과 훈련 방식을 종합적으로 살펴보겠습니다. - Stage 1.1: 교차모달 정렬 사전훈련 (Alignment Pre-training) – 이 단계에서는 시각 특징을 언어공간에 정렬하는 프로젝션 MLP를 학습합니다. 사용 데이터는 LLaVA-LCS 558K로, LAION/CC/SBU 등 대규모 웹 이미지-캡션 데이터에서 균형 잡힌 개념 분포를 가지도록 선별된 55.8만 쌍의 이미지-텍스트 데이터셋입니다. 또한 BLIP 모델로 생성한 캡션 등을 추가해 이미지당 복합 설명문을 갖춘 것이 특징입니다. 이 단계에서 CLIP 비전 인코더와 Mamba 언어모델은 동결하고, 프로젝션 MLP만 1 epoch 학습합니다. 이렇게 함으로써 이미지 임베딩과 언어 임베딩을 동일한 공간에 맵핑하고, “시각-언어 호환성”을 확보합니다. - Stage 1.2: 지시문 공동 학습 (Instruction Co-training) – 정렬을 마친 후, 본격적으로 모델의 추론 능력을 길러주는 단계입니다. 여기서는 일반 비전-언어 과제와 로봇 특화 과제를 함께 학습시키는 것이 핵심입니다. 로봇 분야는 새로운 복잡한 작업들이 많아 일반화력이 중요하기 때문에, 다양한 출처의 데이터를 합쳐 공동훈련하는 전략을 택했습니다. 구체적으로, 1.8백만 개의 거대 혼합데이터를 2 epoch 학습하였는데, 구성은 다음과 같습니다: - 일반 시각-언어 지시문 데이터 (약 105.5만 쌍): LLaVA v1.5 데이터셋 65.5만 + LRV-Instruct 40만. LLaVA-1.5는 시각적 질문답변(VQA), 대화(ShareGPT), OCR, 캡셔닝 등 10개 소스의 혼합으로 구성된 대표적인 비전 언어 인스트럭션 튜닝 데이터셋입니다. LRV-Instruct는 GPT-4를 이용해 생성한 고품질 시각 지시문 40만 개로, 환각(hallucination) 줄이기에 초점을 둔 데이터입니다. 연구진은 고해상도 이미지 사용이 환각 감소에 유리하다는 다른 연구를 참고하면서도, 로봇 정책 효율을 위해 고해상도 대신 이 텍스트 강화 데이터(LRV)를 도입했다고 설명합니다. 실제로 로봇 MLLM의 경우 “존재하지 않는 물체 조작”과 같은 환각은 치명적이므로, 예컨대 “전자레인지를 열라”는 명령에 막연히 “손잡이를 잡아당겨라”라고 답하지 않도록 (많은 전자레인지는 손잡이가 없습니다), 현실 기반으로 답변하도록 학습시키는 것이 중요합니다. - 로봇 고수준 추론 데이터 (80만 쌍): RoboVQA 800K. 이는 저자들이 수집한 로봇 멀티모달 QA 데이터셋으로, 다양한 로봇/인간 주체가 다양한 작업을 수행하는 실제 환경 데이터를 포함합니다. 약 5,246개의 장기(horizon) 작업 에피소드와 92,948개의 중간 길이 작업 에피소드로 구성되어 있고, 각 에피소드는 이미지 + 텍스트 질의로 주어집니다. RoboVQA는 장기 계획 질문, 작업 성공여부 분류, 어포던스 인식 (어떤 부분을 조작할 수 있는지), 과거 상황 설명, 미래 결과 예측 등 로봇 특유의 고차원 QA를 망라합니다. 이러한 복잡한 로봇 문제들이 자연스럽게 모델의 추론 능력을 향상시켜 준다고 논문은 설명합니다.

공동 학습 시에는 CLIP 인코더를 계속 동결하고, 프로젝션 레이어와 Mamba 모델 파라미터만 미세조정하였습니다. Cross-Entropy Loss로 Mamba의 모든 출력 토큰을 정답 문장에 맞추도록 지도학습하며, 이렇게 일반+로봇 데이터 혼합을 통해 모델이 광범위한 시각/언어 지식을 흡수함과 동시에 로봇 추론 스킬을 내재하게 됩니다. 저자들은 특히 로봇 데이터가 추가됨으로써 일반 상식 추론까지 향상되는 이점도 확인했는데, 이는 복잡한 로봇 문제를 풀면서 공간추론(GQA 등) 능력도 같이 좋아졌기 때문이라고 분석합니다. - Stage 2: 로봇 조작 미세조정 (Robot Manipulation Fine-tuning) – Stage 1을 거쳐 강력한 추론 능력을 갖춘 RoboMamba에, 구체적인 동작 수행 능력을 빠르게 덧입히는 단계입니다. 여기서는 앞서 설명한 정책 헤드(MLP 2개)만 학습하며, RoboMamba 본체의 모든 파라미터는 동결합니다. 이러한 “본체 동결 + 작은 헤드 학습” 접근은, 큰 모델을 다시 학습시켜 내재된 언어능력을 망가뜨리지 않고 유지하면서 행동 예측 기능만 추가하는 역할을 합니다. 반면 기존 방법들은 이 단계에서 비전 프로젝터와 LLM까지 모두 업데이트하여, 모델이 원래 가지고 있던 언어 추론 능력이 훼손될 위험이 있었고, 학습 비용도 막대했습니다.

훈련 데이터셋: 정책 헤드 학습을 위해 저자들은 SAPIEN 로봇 시뮬레이터를 사용해 프랭카(Franka) Emika Panda 로봇팔이 다양한 물이동 객체(PartNet-Mobility 데이터셋 기반)를 무작위로 조작하는 환경을 구축했습니다. 로봇에는 흡착 그리퍼를 장착하여 다양한 표면을 붙잡을 수 있게 했고, 각 에피소드마다 물체의 움직일 수 있는 부위를 랜덤 선택하여 엔드이펙터(말단 장치)를 접촉시키고 잡아당기는 (pulling) 실험을 수행했습니다. 조작 성공 시 해당 엔드이펙터의 6-자유도 포즈(위치+방향, 필요 시 gripper 상태까지 7-DoF)와 카메라 이미지를 기록하여 지도학습용 레이블로 삼았습니다. 이렇게 하여 20개 카테고리에 걸쳐 총 10,000장의 학습용 이미지+포즈 데이터를 얻었습니다. 예시로, 훈련 카테고리에는 금고(Safe), 문(Door), 냉장고(Refrigerator), 랩톱, 전자레인지, 서랍(스토리지 가구), 토스터 등 문이나 뚜껑이 있어 당겨 열 수 있는 물체들이 다수 포함되었습니다. 테스트용으로는 1,100장의 이미지를 별도로 수집했는데, 여기에는 훈련에 나온 것들과 같은 카테고리(Seen) 이미지와 함께 변기(Toilet), 가위(Scissors), 주전자(Kettle), 세탁기(Washing Machine), 수도꼭지(Faucet), 전화기(Phone) 등 총 10개의 새로운 카테고리(Unseen) 이미지도 포함되었습니다. 이는 모델의 미보던 객체에 대한 일반화 성능을 평가하기 위함입니다. 훈련 과정: 정책 헤드에 대해 5 epoch의 학습을 수행했으며, 학습률 1e-5, weight decay 0.1 등의 파라미터를 사용했습니다. 이때 부동소수 계산은 32-bit 정밀도로 하여, 미세한 회귀값 예측의 정확도를 높였습니다. 결과적으로, 7MB 남짓한 파라미터만으로 구성된 헤드를 단 20분 (NVIDIA A100 기준) 만에 학습 완료했다고 보고하였으며, 이는 로봇 조작 기술을 빠르게 부여하는 효율적인 방안임을 강조합니다. 또한 僅 0.1%의 파라미터 업데이트만으로 새로운 조작 스킬을 익혔다는 점에서, “추론력만 충분하면 적은 비용으로도 행동 능력을 습득할 수 있다”는 본 연구의 가설을 뒷받침하는 증거가 되었습니다. 요약: Stage 1의 광범위한 시각/언어/로봇 지식 학습으로 RoboMamba는 높은 수준의 추론 능력과 시각적 이해력을 얻게 됩니다. 이어 Stage 2의 경량 미세조정으로 낮은 수준의 조작 기술(엔드이펙터 포즈 산출)을 획득합니다. 이 전체 과정에서 Transformer 기반 거대언어모델을 사용하는 경우 대비 훨씬 적은 연산과 파라미터 수정으로 동일 목표를 달성하였다는 것이 RoboMamba의 큰 강점입니다. 아래에서는 구체적인 실험 결과를 통해 이러한 주장의 당위성을 확인합니다.

실험 설정 및 평가 방법 (Experimental Setup & Metrics)

모델 구현: RoboMamba는 사전학습된 CLIP ViT-L/14 (OpenAI CLIP, 또는 SigLIP 변형)과 Mamba 언어모델 2.7B를 기반으로 구현되었습니다. 논문에서는 Mamba 2.8B와 1.4B 두 가지를 언급하는데, 주로 2.7B (2.8B 규모)의 결과를 보고합니다. 학습은 NVIDIA A100 GPU 상에서 진행되었고, Stage 1에서는 16-bit 혼합 정밀도 훈련으로 메모리 효율을 높였으며, Stage 2에서는 32-bit로 세밀하게 학습했습니다. 최종 RoboMamba 모델은 약 32억개 파라미터(언어모델+투영기+비전인코더)와 정책 헤드 370만개 파라미터로 구성됩니다. 평가 벤치마크: - 일반 비전-언어 추론: 전반적인 시각-언어 이해 및 응답 능력을 평가하기 위해 대표적인 VQA 및 멀티모달 LLM 벤치마크를 사용했습니다. 예를 들면 VQAv2 (일반 이미지 QA 정확도), OK-VQA (상식 기반 VQA), GQA (공간 추론 QA), VizWiz (시각 장애인 도우미 QA), OCR-VQA (이미지 문자읽기 QA) 등이 포함되었습니다. 또한 최근 등장한 멀티모달 LLM 평가세트인 POPE (Planning Oracle Prior Extraction; 로봇계획 관련 QA), MME (MultiModalEval; 다중모달 능력 종합평가), MMBench, MM-Vet 등도 활용하여, 모델의 전반적 비주얼-언어 추론력을 점검했습니다. 각 벤치마크의 특징은 Appendix E에 상세히 정리되어 있다고 합니다만, 여기서는 결과 위주로 보겠습니다. - 로봇 특화 추론: RoboVQA 데이터셋의 검증용 1.8만 문항을 활용하여, 로봇 관련 추론 능력을 집중 평가했습니다. RoboVQA는 앞서 언급한 바와 같이 장기 계획, 성공판별, 어포던스 인식, 과거/미래 추론 등을 포함하므로, 이 성능이 높다면 로봇 도메인에 특화된 추론력이 우수함을 의미합니다. 비교 대상으로는 LLaMA-Adapter V2 기반의 모델을 선정했는데, 이는 현재까지 보고된 로봇 MLLM 중 하나인 ManipLLM의 베이스 모델로 사용되었기 때문입니다. 공정한 비교를 위해, 저자들은 LLaMA-Adapter V2를 동일 RoboVQA 데이터로 2 epoch 미세조정하여 성능을 비교했습니다. - 로봇 조작 성능: 시뮬레이터 상의 물체 조작 성공률로 측정했습니다. 실험은 Pulling (당겨 열기) 동작에 초점을 맞추었으며, 앞서 수집한 SAPIEN 시뮬레이션 테스트 세트 1.1k장에서 예측한 엔드이펙터 접촉점과 방향을 실제 시뮬레이터에 적용해 물체의 관절 상태 변화를 관찰했습니다. 구체적으로, 물체 문이나 서랍 등이 0.1m 이상 열리면 성공으로 간주하고, 성공 샘플 수/전체 샘플 수로 성공률(accuracy)을 계산했습니다. 이는 기존 문헌의 정의를 따른 것입니다. 비교한 베이스라인은 총 4가지: UMPNet (상태기반 RL 접근), FlowBot3D (포인트클라우드 상의 모션 플로우 예측), RoboFlamingo (OpenFlamingo 기반 MLLM), ManipLLM (LLaMA-Adapter V2 기반 최신 로봇 MLLM). 이들 역시 동일한 10k 데이터로 재학습하여 평가했으며, 각 방법은 특성에 따라 약간 다른 조작 전략으로 구현되었습니다 (UMPNet은 예측 픽셀 좌표로 수직 방향 접근, FlowBot3D는 점군 flow 최대 지점으로 접촉 등). 성공률 외에도, 추론 효율성(초당 처리 프레임), 미세조정된 파라미터의 양(모델 업데이트 규모) 등을 종합적으로 고려하여 비교했습니다. - 실세계 실험: 훈련에 쓰인 시뮬레이터뿐 아니라 실제 물체들을 대상으로 로봇팔 실험도 수행했습니다. Franka Emika Panda 로봇팔에 양면테이프를 부착한 맞춤형 그리퍼를 달아 흡착 파지가 가능하게 만들고, 집안 물체들(문, 램프, 토스터, 병 등)을 상대로 RoboMamba가 내는 행동 지시를 실행해 보았습니다. 이때 언어 모델의 계획 응답도 함께 평가하여, 예컨대 장기 작업 계획을 LLaMA-Adapter와 RoboMamba가 각각 어떻게 기술하는지 비교하거나, 어포던스 인식 정확도, 과거/미래 상황에 대한 추론이 인간 상식에 부합하는지 등을 관찰했습니다. 또한 RoboMamba가 예측한 3D 손끝 포즈를 다시 2D 이미지에 투영하여 (접촉 지점은 빨간 점, 손끝 방향은 화살표로 표시) 예측의 정확성을 시각적으로 검증했습니다. 이러한 정성적 실험은 Supplementary Video로도 제공되었습니다.

다음으로, 이러한 설정에서 도출된 실험 결과와 분석을 살펴보겠습니다.

실험 결과 및 분석 (Results and Analysis)

일반 및 멀티모달 추론 성능 (General Vision-Language Reasoning)

먼저, 일반적인 VQA 및 멀티모달 벤치마크 성능을 살펴보면, RoboMamba는 27억 규모의 비교적 작은 LLM을 사용하면서도 전반적으로 우수한 결과를 얻었습니다. Table 1은 여러 모델들과의 비교인데, 주요 지표를 보면: - VQAv2 정확도: RoboMamba (80.3) vs 다른 7B 모델들 – 예: InstructBLIP(–/78.5), LLaVA1.5(78.5), SPHINX(78.1) 등과 유사하거나 약간 상회. - OK-VQA 정확도: RoboMamba (63.1)로, MobileVLM(–)이나 Qwen-VL(58.6) 등을 앞서고 현 SOTA수준인 SPHINX(62.1)보다도 근소하게 높습니다. - GQA(Spatial Reasoning): RoboMamba (62.4~64.4)로, LLaVA1.5(62.0)나 SPHINX(62.6)과 비슷하거나 다소 우위에 있습니다. - VizWiz(시각장애 보조): 55.0으로 MiniGPT-v2(53.6) 등보다 높고, 최고권인 InstructBLIP(33.4)보다 크게 우세하나 이는 지표 정의가 다를 수 있습니다. - OCR-VQA(텍스트 인식): 62.5~66.7로, 다른 모델 중 공개된 값이 많지 않지만 SPHINX(66.0)와 근접합니다. - POPE(계획오라클 추출): 85.3~86.9로, LRV-Instruct 데이터 덕분에 환각 줄이기에 효과를 봐서 SPHINX(80.7)나 TinyLLaVA(86.3) 등과 비슷하거나 개선되었습니다. - MME, MMBench, MM-Vet 등의 종합평가 점수도 전반적으로 경쟁력 있는 수준입니다.

전체적으로 RoboMamba는 모든 벤치마크에서 준수한 성능을 발휘했으며, 특정 작업에서 최고 수준에 근접했습니다. Alignment 사전훈련과 로봇+일반 공동훈련 전략이 효과적으로 작용하여, 작은 모델로도 이정도 결과를 낼 수 있었다고 분석합니다. 예컨대, 공동훈련시 로봇 데이터를 대량 투입한 것이 공간 이해 향상에 기여하여 GQA 성능을 높였고, 환각 완화 데이터를 포함한 덕에 POPE 벤치마크(로봇 계획 문항)에서 오답을 줄여 성공률 향상이 나타났습니다. 다만 몇몇 지표에서 LLaVA1.5나 SPHINX같은 최신 7B 모델들에 약간 못 미치는 부분도 있습니다. 이는 모델 크기와 해상도 제한(224px) 등의 효율성 중시 설계에 따른 절충(trade-off)으로 보이며, 저자들은 “향후 자원 여유가 있다면 70억 규모의 RoboMamba-7B도 개발할 것”이라고 밝히고 있습니다. 실제로 Table 1에서 입력 해상도를 384px로 높인 버전도 제시되었는데, 성능이 소폭 개선된 지표(GQA 등)도 있지만 큰 차이는 없어서, 효율성과 성능의 균형을 위해 기본 224 해상도를 선택한 것으로 보입니다.

로봇 관련 추론 성능 (Robot-Specific Reasoning)

RoboVQA 벤치마크 상에서 RoboMamba의 로봇 특화 추론 능력은 두드러졌습니다. Figure 3 (a)에 따르면, RoboMamba는 BLEU-1~BLEU-4 모든 지표에서 비교 모델을 능가했습니다. 예컨대 BLEU-4 기준 RoboMamba가 42.8점 (논문 본문 언급 없이도 외부 요약에서 추정됨) 을 기록한 반면, 비교 대상인 LLaMA-AdapterV2 (ManipLLM 베이스)의 경우 그보다 낮았습니다. 이는 장문의 다단계 로봇 설명과 같은 어려운 생성 문제에서 RoboMamba가 더 정확한 답변을 내놓았음을 시사합니다. 훈련 전략의 유효성도 여기서 입증되는데, RoboMamba는 일반+로봇 데이터로 동시에 학습(co-training)함으로써 로봇 맥락 추론에 특화되었고, 그 결과 기존 SOTA 로봇 MLLM 대비 우월한 성능을 보였습니다. 더욱 주목할 점은 추론 속도입니다. RoboMamba는 동일 질문에 대해 LLaMA-AdapterV2 및 ManipLLM보다 7배 빠른 응답 생성이 가능했습니다. 이는 Mamba 언어모델의 선형 스케일링과 콘텐츠-선별형 처리 덕분으로, Attention 기반 모델들의 Quadratic 비용을 크게 앞지르는 효율성을 실증했습니다. 로봇에게 있어 실시간성은 중요하므로, 이러한 속도 향상은 단순한 부가 이익이 아니라 핵심 성능 지표라 할 수 있습니다. 요약하면, RoboMamba는 로봇 지식 이해 측면에서 더 정확하고, 응답 면에서 더 민첩한 모델임이 확인되었습니다.

로봇 조작 성능 (Manipulation Performance in Simulation)

Table 2는 시뮬레이션 상 다양한 객체들의 조작 성공률을 기존 기법들과 비교한 것입니다. RoboMamba의 성능을 정리하면: - 전체적인 SOTA 달성: Seen 카테고리 평균 성공률에서 RoboMamba는 7.0%p 높게 (RoboMamba 71% vs ManipLLM 64% 내외로 추정), Unseen 카테고리 평균에서도 2.0%p 가량 향상을 보였습니다. 이는 이전 최고 모델인 ManipLLM 대비 유의미한 개선이며, RoboMamba가 훈련에 사용한 20종 물체들뿐만 아니라 처음 보는 물체들에 대해서도 더 나은 일반화 성능을 발휘했음을 보여줍니다. - 카테고리별 세부 성능: RoboMamba는 훈련 중 본 20개 카테고리 중 14개에서 가장 높은 성공률을 기록했습니다. 특히 문, 냉장고, 토스터, 램프 등 몇몇 항목에서는 80~90%대의 높은 성공률을 달성하여, 다른 모델들을 크게 앞질렀습니다. 이는 모델의 예측이 매우 안정적이며 다양한 종류의 개체에 대한 조작도 정확히 수행함을 뜻합니다. 한편 보지 못한 10개 카테고리의 경우, 최근 MLLM 기반 세 기법(RoboFlamingo, ManipLLM, RoboMamba) 모두 상당히 양호한 성능을 보였습니다. 예를 들어 가위, 주전자, 전화기 같은 unseen 물체들도 30~80% 사이의 준수한 성공률을 보였으며, 이는 거대 멀티모달 모델의 일반화 능력이 전통적인 UMPNet, FlowBot3D 등보다 뛰어난 덕분입니다. RoboMamba 역시 이러한 LLM 기반 일반화 이점을 공유하여 unseen에서도 경쟁자들과 비슷하거나 약간 우위를 보였습니다 (ManipLLM과 거의 동률 수준으로 추정). - 모델 경량화 효과 (효율성 비교): RoboMamba의 두드러진 장점은 훨씬 적은 업데이트로도 SOTA 성능을 냈다는 것입니다. RoboFlamingo는 거대 멀티모달 모델 OpenFlamingo 전체의 35.5%인 18억 파라미터를 재학습해야 했고, ManipLLM도 거대 LLM에 어댑터 4,130만개(모델의 0.5%) 파라미터를 추가훈련했습니다. 반면 RoboMamba는 고작 370만개(0.1%)만 업데이트하였으므로, 이전 MLLM 조작법들보다 10배 이상 적은 파라미터 수정만으로 동등하거나 더 나은 성능을 낸 셈입니다. 게다가 앞서 언급했듯 추론 속도도 7배 빠르기 때문에, RoboMamba는 효율성 면에서 타의 추종을 불허합니다. 실시간 로봇 제어를 염두에 둘 때, 이러한 경량/고속 특성은 본 모델의 가치를 크게 높여줍니다. 저자들은 “RoboMamba는 강력한 추론력을 가지면서도 비용 효율적으로 조작 능력을 획득할 수 있음을 보여준다”고 총평합니다.

추가 성능 분석 (Ablation Studies)

1. 추론 능력의 중요성: 저자들은 기존 멀티모달 모델의 추론력 차이가 최종 조작 성능에 어떤 영향을 미치는지 비교 실험을 했습니다. RoboMamba 2.7B에 대하여, OpenFlamingo 9B (추론력 강하진 않음), LLaMA-AdapterV2 7B (ManipLLM 베이스), 그리고 RoboMamba 1.4B (모델 크기 절반)와 비교했습니다. 모두 동일하게 정책 헤드만 붙여 동결 후 미세조정하는 셋업으로 맞추었는데, Figure 3 (b) 결과 RoboMamba 2.7B가 가장 높은 조작 성공률을 보였습니다. 이는 사전 추론능력이 좋은 모델일수록 같은 데이터로 액션 학습시 더 나은 성능을 낸다는 것을 의미합니다. 특히 RoboMamba 2.7B (w/o C)라고 해서 Stage 1 공동훈련 시 RoboVQA 로봇 데이터를 제외한 버전도 실험했는데, 이 경우 조작 정확도가 눈에 띄게 하락했습니다. 특히 미보던 객체에 대한 일반화 성능이 크게 떨어지는 양상이 관찰되어, 로봇 관련 추론 데이터를 포함한 학습(C)이 추론력을 향상시켜 결과적으로 조작 일반화에도 기여함을 알 수 있습니다. 결론적으로, “로봇 스킬을 가르칠 때 막대한 추가 학습이 필요한 게 아니라, 애초에 모델이 튼튼한 추론력(특히 로봇 상식)을 갖추고 있으면 된다”는 주장이 입증된 셈입니다.

2. 정책 헤드 설계 영향: Appendix의 추가 실험으로, 정책 헤드의 구조를 달리해본 경우도 비교했습니다. (i) MLP1: 위치와 방향을 하나의 MLP에서 동시에 예측 (출력 분기만 다르게), (ii) MLP2: RoboMamba 논문 기본 설정처럼 두 개의 MLP로 각각 예측, (iii) (SSM+MLP)2: 두 개의 헤드 MLP 앞에 작은 SSM 블록까지 삽입하여 헤드 파라미터 수를 대폭 늘린 버전(약 4,520만 파라미터, 1.3% 모델). 결과는 세 설정 간 조작 성공률이 거의 동일 (62~64% 범위)했습니다. 즉, 헤드에 파라미터를 많이 늘린다고 정확도가 유의미하게 오르지 않았다는 것입니다. 이는 곧 필요 이상의 복잡한 헤드는 비효율이며, RoboMamba처럼 최소한의 단순 헤드로도 충분함을 시사합니다. 추론능력이 받쳐준다면 작은 헤드로도 성능을 낼 수 있고, 큰 헤드를 쓴다고 추론력이 부족한 모델의 성능을 메꾸긴 어렵다는 점에서, 상위 단계의 지능(추론) 확보가 근본적임을 뒷받침하는 결과입니다.

3. 훈련 데이터 조합 영향: 역시 Appendix C의 Table 4에서, Stage 1 훈련전략에 따른 성능 변화를 분석했습니다. 정리하면, - 이미지-텍스트 정렬(Alignment) 사전학습을 생략하면 (Ex1) vs 수행하면 (Ex2), 모든 평가 지표에서 Ex2가 향상되어 정렬단계의 중요성이 검증되었습니다. - 환각 완화용 LRV-400K 데이터를 포함 (Ex3) vs 미포함 (Ex2) 비교 시, POPE 벤치마크 정확도가 유의하게 상승하여 해당 데이터의 효과적 기여를 확인했습니다. - 로봇 데이터(RoboVQA 800K) 포함 여부 (Ex4 vs Ex3) 비교에서는, 로봇 추론 능력 부여는 물론 일반 상식 추론(OQVQA/GQA 등)도 향상되는 부수 효과가 나타났습니다.

특히 GQA에서 공간추론 정확도가 눈에 띄게 오르는 등, 로봇 복합과제가 모델의 전반적 사고력을 끌어올림을 보여주었습니다. 이러한 ablation 연구들은 RoboMamba 설계 선택의 정당성을 뒷받침하며, “멀티모달 정렬 + 일반/로봇 공동학습”이라는 커리큘럼의 혜택과, “충분한 추론능력 확보 후 경량 헤드 미세조정”이라는 접근의 타당성을 데이터로 증명합니다.

실환경 로봇 실험 (Real-World Experiments)

논문 마지막으로, 훈련된 RoboMamba를 실제 로봇 플랫폼에 적용한 결과가 소개됩니다.

Figure 4에는 다양한 실제 가정용 물체들에 대한 RoboMamba의 동작과 응답 예시가 나와 있습니다. 주요 관찰을 정리하면:

장기 계획(Task Planning): “테이블을 치우는 법”, “옷장 정리 방법” 같은 복잡한 지시에서, RoboMamba는 상황에 맞는 다단계 계획을 정확히 기술했습니다. 반면 비교 대상(LLaMA-AdapterV2)는 상대적으로 단순하거나 부정확한 답을 내놓아 대조되었는데, 이는 RoboMamba의 강화된 추론 능력이 실제 계획 수립에 효과적임을 보여줍니다. 두 모델 모두 동일하게 RoboVQA 데이터로 미세조정된 상태에서의 비교였기에, 모델 아키텍처와 훈련전략의 차이가 곧 성능 차이로 드러난 셈입니다.
어포던스 인식 및 장면 이해: RoboMamba는 주어진 실제 사진에서 어떤 부분을 조작할 수 있는지 식별하고 그 이유를 설명하는 데에도 능했습니다. 예를 들어 책상 램프 사진을 보고 “램프 갓을 잡고 돌리면 켤 수 있다”, 토스터 사진을 보고 “레버를 누르면 동작한다” 등 올바른 조작 부위와 동작을 언급했습니다. 이는 로봇이 환경에서 행동 가능한 대상과 행동 방법을 언어로 표현할 수 있음을 의미하며, RoboMamba가 시각 이해와 로봇 지식을 결합한 성과입니다.
과거 및 미래 추론: 일부 실험에서는 일련의 이미지들을 주고 “이전 상황은 어땠는가?” 혹은 “다음에 무슨 일이 일어날까?”를 묻기도 했는데, RoboMamba는 과거 프레임의 서술이나 미래 결과 예측 역시 사람이 기대하는 방향으로 응답했습니다. 예컨대 사람이 컵을 쏟는 연속 동작에서 “이전에는 컵이 똑바로 있었는데 지금 쓰러졌다”, “이후에는 액체가 쏟아져 퍼질 것이다” 등 상황을 정확히 짚었습니다. 이는 시간적 추론 및 상식까지 겸비하고 있음을 보여줍니다.
실제 물체 조작: 연구진은 Franka Panda 로봇팔로 실제 물건들을 조작하는 시연도 수행했습니다. 예를 들어 문고리를 잡아당겨 문 열기, 램프 스위치 누르기 등 동작을 테스트한 것으로 보입니다. RoboMamba는 카메라 영상 입력으로부터 접촉 지점 픽셀과 회전 값을 예측하고, 이를 실제 좌표로 변환하여 로봇을 구동했습니다. Figure 4 오른쪽 아래에는, 카메라 영상에 빨간 점(접촉점)과 파란 로봇팔 그림(예측 자세)을 겹쳐 표시한 예시가 나옵니다. 전반적으로 예측 지점이 정확히 물체의 손잡이/버튼 등에 일치하며, 회전 방향도 적절하게 산출되었음을 볼 수 있습니다. 이는 시뮬레이션에서의 높은 성공률이 실물에서도 재현될 수 있음을 시사합니다. 몇몇 추가 사례 및 데모 비디오는 부록과 프로젝트 페이지에 공개되어 있습니다.

전체적으로, RoboMamba는 가상 환경뿐 아니라 실제 환경에서도 유용한 로봇 지능을 보여주었다고 평가할 수 있습니다. 고차원 언어 추론, 시각적 어포던스 이해, 실시간 자세 산출이 어우러져, 로봇의 인지와 행동을 연결하는 통합 AI의 가능성을 실증한 것입니다.

결론 및 향후 과제 (Conclusion and Future Work)

RoboMamba 연구는 로봇을 위한 멀티모달 대형 모델 설계에 새로운 방향을 제시했습니다. 효율적인 상태공간 LLM (Mamba)에 시각 인코더를 결합해 강력한 추론 능력을 확보하고, 거기에 아주 소량의 미세조정만으로 로봇 조작 능력까지 부여할 수 있음을 입증한 것입니다. 이로써 거대 모델의 추론력과 로우레벨 제어 사이의 간극을 효율적으로 메우는 방법을 제안했고, 추론 능력을 해치지 않으면서 조작 스킬을 추가하는 방식을 선보였습니다. RoboMamba는 일반 벤치마크와 로봇 평가 모두에서 뛰어난 성능을 기록했고, 시뮬레이터와 실제 실험에서 최첨단 수준의 자세 예측 결과를 보여주었습니다. 특히 7MB짜리 헤드를 20분 만에 학습하여 새로운 능력을 습득한 것은, 로봇 학습의 비용 문제를 극복하는 하나의 해법으로 큰 의미가 있습니다.

향후 연구 방향으로, 저자들은 다음을 언급합니다:

연속 학습(Continual Learning): 실제 로봇 적용을 위해서는 환경 변화나 새로운 작업에 지속적으로 모델을 적응시키는 능력이 필요합니다. 따라서 추가 미세조정 과정에서 이전 지식을 보존하고 점진적으로 능력을 늘리는 방법 (예: EWC 등 지속학습 기법)을 RoboMamba에 접목할 계획입니다. 이를 통해 실세계에서 경험을 쌓으며 성장하는 로봇 모델로 발전시키고자 합니다.
3D 인지 통합: 현재 RoboMamba는 2D 이미지 기반으로 동작하지만, 로봇 조작에는 3D 정보가 중요합니다. 포인트 클라우드와 같은 3D 데이터를 처리하는 3차원 로봇 MLLM 방향을 모색하고 있습니다. 3D 입력은 더 풍부한 기하학 정보를 제공하여, 보다 정밀한 6-DoF 자세 예측과 복잡한 공간 조작에 도움이 될 것으로 기대됩니다. 향후 RoboMamba를 시각+언어+3D 멀티모달로 확장하여, 입체적 인지와 행동을 구현할 구상을 갖고 있습니다.
모델 확장과 공개: 비공식적으로는 RoboMamba의 모델 크기를 키운 7B 버전이나, 추가적인 로봇 데이터로 더욱 정교하게 튜닝한 버전 등을 개발하여 자원 제약이 적은 환경에서 최고 성능을 추구할 수도 있을 것입니다. 또한 논문에서 언급되진 않았지만, 오픈소스 커뮤니티에 모델을 공개하여 다른 연구자들이 다양한 로봇 플랫폼에 적용해보는 것도 기대할 수 있습니다.

요컨대, RoboMamba는 로봇 분야의 비전-언어-액션 통합 연구에 있어 효율성과 성능 두 측면에서 의미있는 진전을 보여준 사례입니다. Transformer 의존에서 벗어나 새로운 아키텍처(Mamba)로 성과를 냈다는 점도 주목할만합니다. 향후 이 방향의 연구가 계속 발전한다면, 보다 똑똑하고 빠른 로봇 비서나 자율작업 로봇의 실현에 한 걸음 다가갈 것으로 보입니다. RoboMamba가 그 하나의 이정표가 될 수 있을 것입니다.