📃RoboBrain 리뷰

mllm

qwen

Segmentation-Driven Actor-Critic for Visual Reinforcement Learning

Published

February 21, 2026

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

CVPR 2025

🧠 로봇 조작을 위한 기존 Multimodal Large Language Models (MLLMs)의 한계를 해결하고자, RoboBrain은 계획, affordance 인식, trajectory 예측 능력을 통합한 통일된 뇌 모델을 제안합니다.
📚 이 모델은 추상적인 지시를 구체적인 행동으로 변환하기 위해 task planning, object affordance, end-effector trajectory를 포함하는 고품질의 다차원 ShareRobot 데이터셋을 활용합니다.
🚀 다단계 훈련 전략과 고해상도 이미지 및 긴 비디오를 통합하여 RoboBrain은 다양한 로봇 벤치마크에서 SOTA 성능을 달성하며 로봇 인공지능 발전의 잠재력을 보여주었습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

“RoboBrain: A Unified Brain Model for Robotic Manipulation” 논문은 로봇 조작, 특히 장기적(long-horizon) 조작 작업에서 다중 모달 대규모 언어 모델(MLLM)의 현재 한계를 극복하기 위한 로보브레인(RoboBrain)이라는 통합 뇌 모델을 제안합니다. 기존 MLLM은 계획 능력(Planning Capability), 어포던스 인식(Affordance Perception), 궤적 예측(Trajectory Prediction)이라는 세 가지 핵심 로봇 두뇌 능력이 부족합니다.

핵심 기여:

로보브레인(RoboBrain) 제안: 로봇 조작을 위한 통합 MLLM으로, 추상적인 명령을 구체적인 행동으로 전환하여 효율적인 작업 실행을 가능하게 합니다.
쉐어로봇(ShareRobot) 데이터셋 구축: 작업 계획, 객체 어포던스, 엔드 이펙터(end-effector) 궤적과 같은 다차원 정보를 레이블링한 고품질의 이기종 데이터셋으로, 다양한 로봇 능력을 효과적으로 향상시킵니다.
다단계 학습 전략: 로봇 데이터와 일반 다중 모달 데이터를 결합하고, 장기 비디오와 고해상도 이미지를 통합하여 로봇 조작 능력을 강화합니다.
최첨단(SOTA) 성능 달성: 다양한 로봇 벤치마크에서 기존 모델들을 능가하는 성능을 입증하여 실제 로봇 응용 분야에서의 잠재력을 강조합니다.

쉐어로봇(ShareRobot) 데이터셋:

쉐어로봇은 로봇 조작 작업을 위해 특별히 설계된 대규모의 정밀 데이터셋입니다.

정밀성(Fine-grained): Open X-Embodiment 데이터셋과 달리, 각 데이터 포인트는 개별 프레임에 연결된 상세한 저수준 계획 명령을 포함합니다.
다차원성(Multi-dimensional): 작업 계획, 객체 어포던스, 엔드 이펙터 궤적을 레이블링하여 로보브레인의 능력을 강화합니다. 어포던스는 물체와 상호작용하는 영역을 바운딩 박스 \{l(x), l(y), r(x), r(y)\}로 표현합니다. 궤적은 엔드 이펙터의 움직임을 나타내는 2D 웨이포인트 시퀀스 \{(x_i, y_i)\}로 정의됩니다.
고품질(High quality): Open X-Embodiment 데이터셋에서 이미지 해상도, 설명 정확도, 성공적인 작업 실행, 명확한 어포던스 및 궤적과 같은 엄격한 기준을 적용하여 51,403개의 인스턴스를 선별했습니다.
대규모(Large scale): 1,027,990개의 질의-응답(QA) 쌍을 포함하여, 로봇 작업 계획, 어포던스 인식 및 궤적 예측을 위한 최대 규모의 오픈소스 데이터셋입니다.
풍부한 다양성(Rich diversity): 102개의 다양한 장면(침실, 실험실, 주방, 사무실 등), 12개의 로봇 엔드 이펙터, 107가지 유형의 원자 작업을 포함합니다. 데이터 라벨링은 제미니(Gemini) 모델을 사용하여 고수준 설명을 저수준 계획 명령으로 분해하고, 인간 주석자가 이를 검토 및 정제하여 10가지 질문 유형에 대한 질의-응답 쌍을 생성하는 방식으로 이루어졌습니다.

로보브레인(RoboBrain) 모델:

로보브레인은 추상적인 명령을 이해하고 객체 어포던스 영역 및 잠재적인 작동 궤적을 명시적으로 출력하도록 설계되었습니다.

모델 아키텍처: LLaVA 아키텍처를 기반으로 합니다.
- 시각 인코더(Vision Encoder): SigLIP 모델(siglip-so400m-patch14-384)을 사용하며, 입력 이미지를 시각적 특징 Z_v = g(X_v)로 인코딩합니다.
- 프로젝터(Projector): 2계층 MLP(Multi-Layer Perceptron) h(\cdot)로, Z_v를 LLM의 의미 공간으로 매핑하여 시각 토큰 H_v = h(Z_v)를 생성합니다.
- 대규모 언어 모델(LLM): Qwen2.5-7B-Instruct를 사용하며, 텍스트 명령 X_t와 시각 토큰 H_v를 기반으로 텍스트 응답을 자기회귀(autoregressive) 방식으로 생성합니다.
- A-LoRA 모듈: 어포던스 인식을 위해 사용됩니다.
- T-LoRA 모듈: 궤적 예측을 위해 사용됩니다.
학습 전략 (다단계):
- Phase 1: 일반 OV 학습 (기반 MLLM 개발)
  - Stage 1 (정렬 및 일반 지식 학습): LCS-558K 데이터셋을 사용하여 시각적 특징과 LLM 의미 공간을 정렬합니다.
  - Stage 1.5 (다중 모달 일반 이해 강화): 4M 고품질 이미지-텍스트 데이터로 전체 모델을 학습합니다.
  - Stage 2 (시각 명령 튜닝): LLaVA-OneVision-Data의 3.2M 단일 이미지 및 1.6M 이미지/비디오 데이터로 고해상도 이미지 및 비디오 이해를 향상시킵니다.
- Phase 2: 로봇 학습 (핵심 능력 강화)
  - Stage 3 (로봇 지식 학습): RoboVQA-800K, ScanView-318K, 쉐어로봇-200K를 포함한 1.3M 로봇 데이터와 Phase 1의 1.7M 이미지-텍스트 데이터를 혼합하여 모델의 조작 계획 능력을 향상시킵니다. 파국적 망각(catastrophic forgetting) 문제 완화를 위해 데이터 혼합이 이루어집니다.
  - Stage 4 (로봇 다중 작업 학습): 쉐어로봇 및 기타 오픈소스의 어포던스 및 궤적 데이터를 활용하여 LoRA 모듈을 통해 구체적인 조작 능력을 강화합니다.

실험 결과:

계획 작업: 로보브레인은 RoboVQA, OpenEQA, 쉐어로봇 벤치마크에서 기존 MLLM(GPT-4V, LLaVA-1.5, LLaVA-OneVision-7b, Qwen2-VL-7b) 및 로봇 모델(RoboMamba)을 모두 능가하는 최첨단 성능을 달성했습니다. 특히 RoboVQA에서 BLEU-4 점수에서 2위 모델보다 18.75% 높은 성능을 보였습니다.
어포던스 예측: 평균 정밀도(AP) 지표에서 Qwen2-VL-7B(12.5% AP) 및 LLaVA-NeXT-7B(9.8% AP)보다 훨씬 우수한 27.1% AP를 달성하여 객체의 물리적 속성 이해 및 정확한 어포던스 제공 능력을 입증했습니다.
궤적 예측: 이산 프레셰 거리(DFD), 하우스도르프 거리(HD), 평균 제곱근 오차(RMSE) 지표를 사용했습니다. 웨이포인트, 시작점 및 특수 토큰을 통합한 모델은 DFD, HD, RMSE에서 기준선 대비 각각 42.9%, 94.2%, 31.6%의 감소를 보여 궤적 예측 정확도를 크게 향상시켰습니다. 시작점 추가는 생성된 궤적과 엔드 이펙터 간의 병진 오프셋을 교정하는 데 효과적이었습니다.
일반 벤치마크: OCR, 시각적 인식, 다중 도메인 추론, 실제 환경 이해 등 다양한 일반 벤치마크에서도 강력한 성능을 보여 로봇 작업에 최적화되었음에도 불구하고 전반적인 지식 기반과 일반화 능력을 입증했습니다.
어블레이션 연구: 쉐어로봇 데이터셋의 포함과 로봇 데이터 비율(특히 4:6 비율)이 모델 성능에 긍정적인 영향을 미침을 확인했습니다. 다단계 학습 전략이 모델의 계획 및 조작 능력을 점진적으로 향상시킴을 입증했습니다.

결론 및 향후 연구:

로보브레인은 로봇 조작을 위한 통일된 MLLM으로, 쉐어로봇 데이터셋과 다단계 학습 전략을 통해 추상적인 명령을 구체적인 로봇 행동으로 전환하는 데 큰 진전을 이루었습니다. 향후 연구는 공간 이해, 구체화된 추론, 도구 활용, 장문 텍스트 이해와 같은 로보브레인의 다양한 능력을 향상시키고, 효율성과 안전 문제를 고려하여 실제 시나리오에 적용하는 것을 목표로 합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 로봇에게 “생각하는 뇌”를 줄 수 있을까?

로봇에게 “찻주전자를 들어서 컵에 물을 따라줘”라고 말한다고 상상해 보자. 우리 인간은 이 문장을 듣는 순간 머릿속에서 무의식적으로 엄청난 연쇄 작업을 수행한다. 먼저 “찻주전자에 접근 → 손잡이를 잡아 → 들어올려 → 컵 위로 이동 → 기울여 따르기”라는 계획(Planning) 을 세우고, 찻주전자의 어디를 잡아야 하는지 조작 가능 영역(Affordance) 을 파악하며, 손을 현재 위치에서 손잡이까지 어떤 경로로 움직여야 하는지 궤적(Trajectory) 을 암묵적으로 계산한다.

현재의 멀티모달 대형 언어 모델(MLLM)은 이미지를 보고 질문에 답하거나, 장면을 묘사하는 데는 뛰어나다. 그런데 위와 같은 로봇 조작의 핵심 세 가지 능력 — 계획, 어포던스 인지, 궤적 예측 — 을 동시에 해내는 것에는 여전히 서투르다. 이 논문은 바로 이 간극을 메우려는 시도다.

핵심 질문을 명확히 하면 이렇다:

“추상적인 자연어 지시를 받아서, 구체적인 조작 행동(어디를 잡고, 어떤 경로로 움직일지)으로 변환하는 통합 모델을 만들 수 있는가?”

RoboBrain은 이 질문에 대한 하나의 답을 제시한다. “Abstract to Concrete”라는 부제가 말하듯, 추상적 지시에서 구체적 행동까지의 전 과정을 하나의 MLLM 안에서 처리하겠다는 것이 이 연구의 야심이다.

왜 이 연구가 중요한가?

기존 로봇 조작 연구의 흐름을 크게 보면, 두 갈래로 나뉜다:

고수준 계획 (High-level Planning): LLM/VLM을 이용해 태스크를 서브태스크로 분해하는 연구 (예: SayCan, Inner Monologue, RT-H)
저수준 제어 (Low-level Control): VLA 모델이 직접 end-effector 액션을 출력하는 연구 (예: RT-2, OpenVLA, π₀)

문제는 이 두 세계가 잘 연결되지 않는다는 점이다. 계획은 세우는데 실제로 어디를 잡을지 모르거나, 궤적을 예측하는데 왜 그 궤적이어야 하는지 맥락이 없거나. RoboBrain은 이 둘 사이의 “빠진 고리(missing link)” — 어포던스와 궤적 예측 — 을 통합함으로써, 하나의 모델 안에서 “왜 → 무엇을 → 어떻게”의 전체 스펙트럼을 다루고자 한다.

핵심 기여: 데이터 + 모델 + 학습 전략의 삼위일체

이 논문의 기여는 크게 세 축으로 정리할 수 있다:

기여	내용	핵심 가치
ShareRobot 데이터셋	계획·어포던스·궤적의 다차원 레이블이 포함된 100만+ QA쌍	기존에 없던 세밀한 로봇 조작 학습 데이터
RoboBrain 모델	LLaVA 기반 MLLM에 A-LoRA/T-LoRA를 결합한 통합 아키텍처	하나의 모델에서 계획→어포던스→궤적을 모두 처리
다단계 학습 전략	일반 멀티모달 학습(Phase 1) → 로봇 특화 학습(Phase 2)의 4+2 스테이지	Catastrophic forgetting 방지와 능력 점진적 확장

방법론 상세 분석

ShareRobot: “좋은 데이터가 좋은 모델을 만든다”

모든 딥러닝 연구에서 반복되는 진리가 있다면, 그것은 데이터의 질이 모델의 질을 결정한다는 것이다. RoboBrain의 저자들은 이 원칙에 충실하게, 먼저 고품질 데이터셋을 설계하는 데 상당한 공을 들였다.

데이터 수집 철학

ShareRobot는 Open X-Embodiment(OXE) 데이터셋에서 출발한다. OXE는 60개 이상의 데이터셋, 22종의 로봇 형태를 아우르는 거대한 데이터 레포지토리인데, 문제는 양은 많지만 질이 고르지 않다는 것이다. 저자들은 다음 기준으로 엄격한 필터링을 수행했다:

해상도: 128px 미만 영상 제거
설명 정확성: 모호하거나 누락된 설명 제거
성공 여부: 실패한 태스크 시연 제거
영상 길이: 30프레임 미만 제거 (atomic task가 너무 적음)
객체 가려짐: 대상 물체나 end-effector가 가려진 경우 제거
궤적 명확성: 불분명한 궤적 제거

이 필터링을 통해 23개 원본 데이터셋에서 51,403개 인스턴스를 선별했다. 비유하자면, 거대한 광산에서 불순물을 걸러내고 고순도 원석만 추출한 것과 같다.

다차원 레이블링

ShareRobot의 진정한 차별점은 하나의 데이터에 세 가지 차원의 레이블을 동시에 부여한다는 점이다:

1. 계획(Planning) 레이블링

각 로봇 시연에서 30프레임을 추출하고, 고수준 설명과 함께 Gemini를 활용하여 저수준 계획 지시(atomic task)로 분해한다. 예를 들어:

고수준: "컵을 접시 위에 놓아라"
→ 저수준: 1. 컵을 향해 이동  2. 컵을 잡기  3. 컵을 들어올리기
          4. 컵을 접시 쪽으로 이동  5. 컵을 접시 위에 내리기  6. 컵을 놓기

3명의 annotator가 이 결과를 검수·정제한 후, RoboVQA의 10개 질문 유형에 대해 각각 5개 템플릿을 설계하여 QA 쌍을 생성했다. 인스턴스당 2개 템플릿을 랜덤 선택하므로, 51,403개 인스턴스가 1,027,990개 QA 쌍으로 증폭된다. 데이터 증강의 교과서적인 접근이다.

질문 유형의 예시를 보면:

질문 유형	예시
다음 단계 예측	“목표가 〈사과 집기〉일 때, 다음 단계는?”
문맥 기반 계획	“1단계~(n-1)단계를 완료한 뒤, 다음 즉각적 과제는?”
잔여 단계 예측	“〈장기 과제〉에 가까워지기 위한 다음 5단계는?”
성공 판단 (긍정)	“〈태스크 n〉 수행에 성공했는가?” → “예”
성공 판단 (부정)	“〈태스크 n〉이 완전히 수행되었는가?” → “아니오”
과거 설명	“직전에 무슨 일이 일어났는가?”
미래 예측	“〈태스크 n-1〉 다음에 가장 가능성 높은 사건은?”
어포던스 (긍정)	“지금 〈태스크 n〉을 수행할 수 있는가?” → “예”
어포던스 (부정)	“지금 〈랜덤 태스크〉를 수행하고 있는가?” → “아니오”
생성적 어포던스	“지금 무엇을 할 수 있는가?”

2. 어포던스(Affordance) 레이블링

6,522장의 이미지에 대해, 각 이미지에서 지시에 맞는 접촉 영역을 바운딩 박스 \{l^{(x)}, l^{(y)}, r^{(x)}, r^{(y)}\}로 표기했다. 여기서 (l^{(x)}, l^{(y)})는 좌상단, (r^{(x)}, r^{(y)})는 우하단 좌표다.

같은 물체라도 태스크에 따라 어포던스가 달라진다는 점이 흥미롭다. 예를 들어 커피 포트의 경우:

“커피를 포트에 넣어라” → 뚜껑 영역이 어포던스
“커피를 포트에서 따라라” → 손잡이 영역이 어포던스

이것은 어포던스가 물체의 고정된 속성이 아니라, 태스크와 맥락에 의존하는 관계적 속성이라는 Gibson의 원래 정의에 충실한 설계다.

3. 궤적(Trajectory) 레이블링

6,870장의 이미지에 대해, end-effector(그리퍼 등)의 2D 움직임 경로를 최소 3개의 (x, y) 좌표로 표기했다. RT-Trajectory에서 소개된 “visual trace” 개념을 차용한 것으로, 시간 단계 t에서의 궤적 웨이포인트는 다음과 같이 표현된다:

P_{t:N} = \{(x_i, y_i) \mid i = t, t+1, \ldots, N\}

여기서 (x_i, y_i)는 이미지 좌표계에서의 i번째 위치이고, N은 에피소드의 총 시간 단계 수다.

데이터 규모와 다양성

최종 데이터셋의 규모를 정리하면:

데이터 유형	학습 세트	테스트 세트	총 규모
계획 QA 쌍	1,000,000	2,050	1,027,990
어포던스 이미지	6,000	522	6,522
궤적 이미지	6,000	870	6,870

12종의 로봇 embodiment, 102개의 다양한 장면(침실, 실험실, 주방, 사무실 등), 107가지 atomic task 유형을 포함한다. 가장 빈도가 높은 atomic task는 “pick”, “move”, “reach”, “lift”, “place” 순으로, 실제 로봇 조작 시나리오의 분포와 잘 일치한다.

RoboBrain 모델 아키텍처: “하나의 뇌, 세 가지 능력”

RoboBrain의 아키텍처를 이해하는 가장 좋은 비유는 인간의 대뇌 피질이다. 대뇌에는 언어를 담당하는 영역, 시각을 처리하는 영역, 운동을 계획하는 영역이 있지만, 이들이 서로 긴밀히 연결되어 하나의 통합된 인지를 만들어낸다. RoboBrain도 마찬가지로, 하나의 기반 모델 위에 특화된 모듈들이 협력하는 구조다.

기반 모델 (Foundation Model for Planning)

LLaVA-OneVision 아키텍처를 기반으로 세 모듈로 구성된다:

Vision Encoder (ViT): SigLIP — 시각 입력을 특징 벡터로 인코딩
Projector: 2-layer MLP — 시각 특징을 LLM의 의미 공간으로 매핑
LLM: Qwen2.5-7B-Instruct — 최종 텍스트 응답 생성

수학적으로 표현하면:

Z_v = g(X_v) \quad \text{(시각 인코딩)}

H_v = h(Z_v) \quad \text{(의미 공간 매핑)}

Y = f(H_v, X_t) \quad \text{(언어 지시 } X_t \text{에 기반한 자기회귀 생성)}

여기서 g(\cdot)는 SigLIP ViT, h(\cdot)는 2-layer MLP Projector, f(\cdot)는 Qwen2.5 LLM이다.

이 기반 모델이 계획(Planning) 능력을 담당한다. 이미지나 비디오를 보고, 자연어 지시를 받아, 다단계 계획을 텍스트로 출력한다.

A-LoRA: 어포던스 인지 모듈

어포던스 예측을 위한 전용 LoRA(Low-Rank Adaptation) 모듈이다. 여기서 “어포던스”란 인간의 손이 물체와 접촉하는 영역을 의미한다. 하나의 물체에 여러 어포던스가 존재할 수 있으며, 이를 형식적으로 표현하면:

O_i = \{A_i^0, A_i^1, \ldots, A_i^N\}

각 어포던스 A_i^k는 바운딩 박스 좌표 \{l^{(x)}, l^{(y)}, r^{(x)}, r^{(y)}\}로 표현된다.

A-LoRA를 별도로 분리한 이유가 흥미로운데, 어포던스 예측은 기반 모델의 일반적인 언어 생성과는 다른 종류의 능력 — 공간적 위치 추론 — 을 요구하기 때문이다. LoRA를 사용하면 기반 모델의 가중치를 건드리지 않고도 이 특화된 능력을 추가할 수 있다.

T-LoRA: 궤적 예측 모듈

궤적 예측을 위한 또 다른 전용 LoRA 모듈이다. 시간 단계 t에서의 궤적 웨이포인트를 다음처럼 예측한다:

P_{t:N} = \{(x_i, y_i) \mid i = t, t+1, \ldots, N\}

좌표는 [0, 1000) 범위로 정규화되며(Qwen2-VL의 방식을 따름), 모델은 이 좌표 시퀀스를 텍스트 토큰으로 자기회귀적으로 생성한다.

실제 운용 파이프라인

실제 운용 시의 흐름을 정리하면:

입력: 고수준 지시 + 시각 관찰 (이미지/비디오)
   ↓
[기반 모델] → 다단계 계획 생성
   ↓
각 서브태스크에 대해:
   ├── [A-LoRA] → 어포던스 영역 (바운딩 박스) 출력
   └── [T-LoRA] → 궤적 웨이포인트 (2D 좌표열) 출력
   ↓
출력: 계획 + 어포던스 + 궤적의 통합 결과

다음은 이 파이프라인을 Mermaid 다이어그램으로 표현한 것이다:

flowchart TD
    A["🗣️ 고수준 지시\n'컵을 접시 위에 놓아라'"] --> B["👁️ 시각 입력\n(이미지/비디오)"]
    B --> C["🧠 SigLIP Vision Encoder\nZv = g(Xv)"]
    C --> D["🔗 2-Layer MLP Projector\nHv = h(Zv)"]
    D --> E["📝 Qwen2.5-7B LLM\n(기반 모델)"]
    
    E --> F["📋 다단계 계획 생성\n1. 컵에 접근\n2. 컵을 잡기\n3. 컵 들어올리기\n..."]
    
    F --> G["서브태스크별 분기"]
    G --> H["🎯 A-LoRA\n어포던스 예측"]
    G --> I["📍 T-LoRA\n궤적 예측"]
    
    H --> J["바운딩 박스 좌표\n{l_x, l_y, r_x, r_y}"]
    I --> K["웨이포인트 시퀀스\n{(x₁,y₁), (x₂,y₂), ...}"]
    
    J --> L["🤖 통합 출력\n계획 + 어포던스 + 궤적"]
    K --> L

    style A fill:#E8F4FD,stroke:#2196F3
    style E fill:#FFF3E0,stroke:#FF9800
    style H fill:#E8F5E9,stroke:#4CAF50
    style I fill:#F3E5F5,stroke:#9C27B0
    style L fill:#FFEBEE,stroke:#F44336

학습 전략: “갑자기 모든 것을 배우지 마라”

RoboBrain의 학습 전략은 인간의 발달 과정과 유사한 점진적 능력 획득 방식이다. 아이가 먼저 세상을 관찰하고(시각 학습), 말을 배우고(언어 학습), 그 후에 도구를 사용하는 법을 익히듯(기능 학습), RoboBrain도 단계별로 능력을 쌓아간다.

Phase 1: 일반 멀티모달 학습 (General OneVision Training)

LLaVA-OneVision의 학습 데이터와 전략을 활용하여 기초 체력을 키우는 단계다.

Stage 1 — 시각-언어 정렬 (Alignment)

데이터: LCS-558K (이미지-텍스트 쌍)
학습 대상: Projector만 학습 (17M 파라미터)
목적: 시각 특징과 LLM 의미 공간의 정렬
비유: “눈(시각)과 뇌(언어)가 같은 언어를 쓰도록 통역사를 훈련”

Stage 1.5 — 일반 지식 학습

데이터: 4M 고품질 이미지-텍스트 데이터
학습 대상: 전체 모델 (8B 파라미터)
목적: 멀티모달 일반 지식 이해
비유: “세상에 대한 광범위한 상식을 습득”

Stage 2 — 지시 따르기 학습 (Visual Instruction Tuning)

데이터: 3.2M 단일 이미지 + 1.6M 이미지/비디오 데이터
학습 대상: 전체 모델
목적: 고해상도 이미지·비디오 이해 및 지시 수행
비유: “복잡한 지시를 이해하고 따를 수 있는 능력 학습”

Phase 2: 로봇 특화 학습 (Robotic Training)

Phase 1에서 갖춰진 강력한 멀티모달 기반 위에 로봇 특화 능력을 쌓는 단계다.

Stage 3 — 로봇 지식 학습 (Robotic Knowledge Learning)

데이터: 총 3M (RoboVQA-800K + ScanView-318K + ShareRobot-200K + Phase 1 고품질 서브셋 1.7M)
학습 대상: 전체 모델
목적: 로봇 조작 계획, 환경 인지, 장면 이해
핵심 설계: Phase 1 데이터 1.7M을 혼합한 이유는 catastrophic forgetting 방지다. 로봇 데이터만으로 학습하면 이전에 배운 일반 멀티모달 능력이 급격히 손상되므로, 일반 데이터를 적절히 섞어 균형을 유지한다.

Stage 4 — 로봇 멀티태스크 학습 (Robotic Multi-Task Learning)

어포던스 데이터: ~10K (ShareRobot + 외부 오픈소스)
궤적 데이터: ~400K
학습 대상: A-LoRA와 T-LoRA만 학습 (각 28M 파라미터)
목적: 구체적인 어포던스 인지와 궤적 예측

Stage 4에서 LoRA만 학습하고 기반 모델을 동결한 것은 매우 실용적인 선택이다. 어포던스(6,522장)와 궤적(6,870장) 데이터는 계획 데이터(100만+)에 비해 크게 적으므로, 전체 모델을 미세조정하면 오히려 과적합의 위험이 있다. LoRA로 소규모 파라미터만 조정하면 이 문제를 효과적으로 우회할 수 있다.

학습 설정 요약

단계	데이터 규모	학습 대상	학습 파라미터	해상도
Stage 1	558K	Projector	17M	384px
Stage 1.5	4M	Full Model	8B	Max 384×(2×2)
Stage 2	4.8M	Full Model	8B	Max 384×(6×6)
Stage 3	3M	Full Model	8B	Max 384×(6×6)
Stage 4 (A-LoRA)	10K	A-LoRA	28M	Max 384×(6×6)
Stage 4 (T-LoRA)	400K	T-LoRA	28M	Max 384×(6×6)

모든 단계에서 학습률은 ViT에 2 \times 10^{-6}, Projector/LLM/LoRA에 1 \times 10^{-5}, epoch는 1로 통일되었다. 학습은 8×A800 GPU 클러스터에서 DeepSpeed Zero3를 사용하여 수행되었다.

flowchart LR
    subgraph Phase1["Phase 1: 일반 멀티모달 학습"]
        S1["Stage 1\n시각-언어 정렬\n558K 이미지-텍스트\nProjector만 학습"]
        S15["Stage 1.5\n일반 지식 학습\n4M 데이터\n전체 모델"]
        S2["Stage 2\n지시 따르기 학습\n4.8M 이미지+비디오\n전체 모델"]
    end
    
    subgraph Phase2["Phase 2: 로봇 특화 학습"]
        S3["Stage 3\n로봇 지식 학습\n3M 로봇+일반 혼합\n전체 모델"]
        S4A["Stage 4\nA-LoRA (어포던스)\n10K 데이터"]
        S4T["Stage 4\nT-LoRA (궤적)\n400K 데이터"]
    end
    
    S1 --> S15 --> S2 --> S3 --> S4A
    S3 --> S4T

    style Phase1 fill:#E3F2FD,stroke:#1565C0
    style Phase2 fill:#FFF8E1,stroke:#F57F17

실험: 결과는 설득력이 있는가?

실험 설정

평가 벤치마크

세 가지 핵심 능력에 대해 각각 적절한 벤치마크로 평가한다:

능력	벤치마크	메트릭
계획 (Planning)	RoboVQA, OpenEQA, ShareRobot test set	BLEU-1~4, GPT-4o 평가 점수
어포던스	AGD20K test set	Average Precision (AP)
궤적	ShareRobot trajectory test set	DFD, Hausdorff Distance, RMSE

비교 대상

계획 태스크에서는 GPT-4V, Claude3, LLaVA-1.5, LLaVA-OneVision-7B, Qwen2-VL-7B, RoboMamba를 포함한 6개 MLLM과 비교한다.

계획 능력 평가 결과

논문의 Figure 5가 보여주는 결과를 요약하면:

OpenEQA 벤치마크: RoboBrain이 모든 베이스라인을 상회하여 SOTA 달성. 이 벤치마크는 3D 공간 내 embodied question answering을 평가하므로, RoboBrain의 로봇 환경 이해력이 뛰어남을 의미한다.

ShareRobot 벤치마크: 역시 모든 베이스라인 대비 최고 성능. 자체 데이터셋 테스트이므로 다소 유리할 수 있지만, 학습-테스트 분리가 명확하므로 과적합이 아닌 진정한 일반화 능력을 반영한다.

RoboVQA 벤치마크: 가장 인상적인 결과로, BLEU-4 점수에서 2위 모델을 18.75점 차이로 앞섰다. BLEU-4는 4-gram 정밀도를 측정하므로, RoboBrain이 단순히 관련 단어를 나열하는 수준이 아니라 정확한 순서와 구문으로 계획을 생성함을 보여준다.

특히 RoboBrain이 GPT-4V나 Claude3 같은 거대 상용 모델도 능가한다는 점이 눈에 띄는데, 이는 범용 MLLM보다 도메인 특화 학습의 힘이 로봇 태스크에서는 더 크다는 것을 시사한다.

어포던스 예측 결과

모델	AP (↑)
LLaVA-NeXT-7B	9.8%
Qwen2-VL-7B	12.5%
RoboBrain	27.1% (+14.6)

RoboBrain이 Qwen2-VL 대비 AP에서 14.6% 포인트, LLaVA-NeXT 대비 17.3% 포인트 향상을 달성했다. 절대값으로 보면 27.1%가 그리 높아 보이지 않을 수 있는데, 어포던스 예측은 물체의 물리적 속성과 태스크 맥락을 동시에 이해해야 하는 매우 어려운 과제임을 감안해야 한다. 기존 범용 VLM들의 한 자릿수 AP와 비교하면, 상당한 도약이다.

궤적 예측 결과

궤적 예측에서는 RoboBrain 자체의 여러 변형(variant) 간 비교가 이루어졌다:

방법	DFD (↓)	HD (↓)	RMSE (↓)
Baseline	0.191	0.171	0.133
+ Start Points	0.176	0.157	0.117
+ Max Points	0.185	0.163	0.125
+ Spec Token & End Points	0.109 (-42.9%)	0.010 (-94.2%)	0.091 (-31.6%)

각 변형의 의미를 풀어보면:

Start Points: end-effector의 현재 2D 시작 좌표를 입력에 추가. 이것만으로 DFD가 0.015 감소했는데, 이는 모델이 “지금 어디에 있는지”를 알아야 정확한 궤적을 예측한다는 직관적인 결과다.
Max Points: 웨이포인트를 최대 10개로 제한(균일 샘플링). 예상 외로 약간의 성능 저하가 있었는데, 웨이포인트 수 제한이 때로 중요한 경유점을 누락시킬 수 있음을 시사한다.
Spec Token & End Points: 특수 토큰으로 웨이포인트를 강조하고, 도착점 정보를 추가. Hausdorff Distance가 94.2% 감소라는 극적인 개선을 보였는데, 이는 최대 편차(outlier) 문제가 거의 해결되었음을 의미한다. 도착점을 알려주면 모델이 “어디로 가야 하는지”가 명확해지므로, 궤적이 엉뚱한 방향으로 빠지는 것을 효과적으로 방지한다.

시각화 분석

논문의 Figure 6은 RoboBrain의 실제 작동을 보여주는 중요한 시각화다. “컨테이너에서 물체를 꺼내 다른 물체 근처에 놓아라”라는 지시에 대해:

1턴: 이미지를 보고 “컨테이너를 향해 이동” 계획 생성
2턴: 다음 이미지에서 “브로콜리를 냄비에서 집기” 생성
3턴: “브로콜리를 빨간 숟가락 쪽으로 이동” 생성
4턴: “브로콜리를 빨간 숟가락 옆에 놓기” 생성
5턴: “완료(Done)” 출력

각 단계에서 어포던스(바운딩 박스)와 궤적(화살표 경로)도 함께 출력된다. 이것이 RoboBrain의 진정한 가치다 — 다중 턴 상호작용에서 실시간 시각 피드백을 기반으로 계획을 점진적으로 실행하는 모습.

비판적 고찰

강점

1. 명확한 문제 정의와 체계적 접근

“Abstract to Concrete”라는 프레이밍이 매우 효과적이다. 계획(추상) → 어포던스(중간) → 궤적(구체)이라는 자연스러운 추상화 계층을 정의하고, 이를 하나의 모델에서 처리하겠다는 비전이 명확하다. 이 프레임워크는 향후 연구의 좋은 청사진이 된다.

2. 데이터셋 기여의 실질적 가치

ShareRobot은 이 논문에서 제안된 모델만을 위한 것이 아니라, 커뮤니티 전체가 활용할 수 있는 자원이다. 특히 OXE 데이터에서 고품질 서브셋을 선별하고, 3명의 annotator가 검수한 세밀한 레이블을 추가한 점은 높이 평가할 만하다. 오픈소스로 공개된 점도 큰 장점이다.

3. 실용적인 아키텍처 설계

LoRA를 활용한 모듈 분리는 매우 현명한 선택이다. 어포던스와 궤적이라는 서로 다른 능력을 독립적인 LoRA로 분리함으로써, 각 모듈을 독립적으로 업그레이드하거나 교체할 수 있다. 예를 들어 나중에 더 좋은 궤적 데이터가 나오면, T-LoRA만 재학습하면 된다.

4. 포괄적인 실험

세 가지 핵심 능력 모두에 대해 정량적 평가를 수행했고, 궤적 예측에서는 ablation study를 통해 각 설계 선택의 기여를 분리한 점이 좋다.

약점과 한계

1. 2D 궤적의 근본적 한계

궤적 예측이 2D 이미지 좌표로만 이루어진다는 점은 실제 로봇 제어에 적용할 때 심각한 병목이 된다. 실제 로봇은 3D 공간에서 움직이며, 깊이 정보 없이는 동일한 2D 궤적이 무한히 많은 3D 경로에 대응할 수 있다. 흥미롭게도, 후속 연구인 RoboBrain 2.5에서는 depth-aware 3D 궤적 예측으로 이 한계를 정확히 극복하고 있어, 저자들도 이 문제를 인지하고 있었음을 알 수 있다.

2. 실제 로봇 실험의 부재

이것이 가장 크리티컬한 약점이다. 논문의 모든 평가가 오프라인 벤치마크에서 이루어졌다. “로봇 두뇌”를 표방하면서 실제 로봇에서의 closed-loop 실험이 없다는 것은, 마치 자동차 엔진을 설계하고 시뮬레이션만 했지 실제 차에 장착해보지 않은 것과 같다. RoboBrain의 출력(계획 + 어포던스 + 궤적)이 실제 로봇 컨트롤러로 어떻게 변환되고, 어떤 성공률을 보이는지에 대한 실증이 빠져 있다.

3. 어포던스 데이터의 스케일 문제

어포던스 학습 데이터가 6,000장이라는 것은 상당히 적다. 물체의 종류, 자세, 조명, 태스크의 다양성을 고려하면, 이 규모로는 일반화에 한계가 있을 수밖에 없다. AP 27.1%라는 결과도, 향상폭은 크지만 절대 성능은 아직 실용 수준에 미치지 못한다.

4. 계획에서 행동으로의 변환(Plan-to-Action Gap)

RoboBrain은 “계획 텍스트 + 어포던스 박스 + 2D 궤적”을 출력하지만, 이를 실제 로봇의 joint 명령이나 end-effector pose 명령으로 변환하는 과정이 논문에서 다루어지지 않는다. 이 “마지막 1마일” 문제는 RoboBrain의 범위 밖이라 할 수 있지만, 통합 솔루션을 표방하는 만큼 이에 대한 논의라도 있었으면 좋았을 것이다.

5. 단일 이미지 기반 어포던스/궤적의 한계

어포던스와 궤적 예측이 단일 프레임 이미지에서 수행된다는 점도 한계다. 동적 환경에서 물체가 움직이거나, 장애물이 등장하는 경우를 처리하기 어렵다. 비디오 기반의 시간적 추론이 어포던스/궤적에도 확장될 필요가 있다.

6. 평가 메트릭의 신뢰성 문제

계획 평가에서 GPT-4o를 평가자로 사용하는 “LLM-as-a-judge” 방식은 편리하지만, 그 자체로 편향과 노이즈가 존재한다. 특히 로봇 조작의 물리적 실현 가능성(물리적으로 가능한 계획인지)을 LLM이 정확히 평가할 수 있는지는 의문이다.

모델	계획	어포던스	궤적	실제 로봇 실험	기반 아키텍처
RoboBrain	✅	✅	✅ (2D)	❌	LLaVA + Qwen2.5-7B
RT-2	△ (암묵적)	❌	❌	✅	PaLI-X / PaLM-E
RT-H	✅	❌	❌	✅	RT-2 기반
PaLM-E	△	❌	❌	✅	PaLM + ViT
SayCan	✅	❌	❌	✅	PaLM
OpenVLA	❌	❌	❌	✅	Prismatic + Llama-2-7B
RoboMamba	✅	❌	❌	△	Mamba 기반
LLaRVA	❌	△	✅ (2D)	❌	LLaVA 기반
RT-Trajectory	❌	❌	✅ (2D)	✅	RT-2 기반

Allegro Hand 연구와의 접점

Dexterous manipulation 연구의 관점에서, RoboBrain의 어포던스 예측 모듈은 손 수준의 접촉 영역 추론에 직접적으로 연결될 수 있다. 예를 들어 Allegro Hand와 같은 다지 로봇 핸드의 경우:

RoboBrain의 어포던스 출력(바운딩 박스)을 → 핸드의 개별 손가락 배치 계획으로 변환
2D 궤적을 → 손목 경로 계획으로 활용
다단계 계획을 → 그래스프 전략의 시퀀싱으로 활용

다만 현재 RoboBrain의 어포던스는 단일 바운딩 박스 수준이어서, 다지 핸드에 필요한 개별 접촉점 수준의 세밀한 어포던스까지는 직접 제공하지 못한다. 이를 확장하면 dexterous manipulation에 더 직접적인 기여가 가능할 것이다. 특히 RoboBrain의 VLA 프레임워크를 RL 기반 핸드 제어와 결합하면, 고수준 의미 이해(무엇을 잡을지)와 저수준 제어(어떻게 잡을지)의 통합이 가능해진다.

요약 및 결론

한 줄 요약

RoboBrain은 MLLM을 로봇 조작의 “통합 두뇌”로 만들기 위해, 계획·어포던스·궤적이라는 세 가지 핵심 능력을 하나의 모델에 통합하고, 이를 가능케 하는 고품질 데이터셋(ShareRobot)과 점진적 학습 전략을 제안한 연구다.

핵심 교훈

데이터가 왕이다. ShareRobot의 엄격한 필터링과 다차원 레이블링은 모든 성능 향상의 기반이 된다. 로봇 학습에서 양보다 질의 중요성을 재확인.
점진적 학습이 효과적이다. 일반 멀티모달 → 로봇 특화의 단계적 전이는 catastrophic forgetting을 방지하면서 도메인 특화 능력을 키우는 효과적 전략이다.
모듈성은 확장성이다. A-LoRA/T-LoRA를 통한 능력 분리는 향후 개별 모듈의 독립적 업그레이드를 가능케 하며, 이는 연구 커뮤니티에서의 협업 발전에도 유리하다.
“Abstract to Concrete” 프레임은 강력하다. 이 추상화 계층 구조는 로봇 조작의 복잡성을 체계적으로 분해하는 유용한 사고 도구다.
벤치마크에서 실세계로의 간극은 여전하다. 오프라인 성능이 아무리 좋아도, closed-loop 로봇 실험 없이는 완전한 검증이라 할 수 없다.

마치며

RoboBrain은 완벽한 솔루션이 아니다. 2D 궤적의 한계, 실제 로봇 검증의 부재, 어포던스 데이터의 규모 부족 등 분명한 약점이 있다. 하지만 “추상적 언어 지시에서 구체적 조작 행동까지”라는 비전을 명확히 제시하고, 이를 데이터-모델-학습의 삼위일체로 체계적으로 구현한 점에서 의미 있는 이정표다.

특히 CVPR 2025에서 발표된 후 불과 몇 개월 만에 2.0, 2.5로 빠르게 진화하고 있다는 사실은, 이 연구 방향의 생명력과 발전 가능성을 보여준다. 로봇공학 연구자라면, RoboBrain 1.0이 제시한 프레임워크를 이해하고, 후속 버전의 발전을 주시하며, 자신의 연구에 어떻게 접목할 수 있을지 고민해 볼 가치가 충분하다.

결국 로봇에게 진정한 “두뇌”를 주는 일은, 하나의 논문으로 완성되는 것이 아니라 커뮤니티 전체의 점진적 축적을 통해 이루어질 것이다. RoboBrain은 그 여정에서 중요한 방향타 역할을 하고 있다.

참고 문헌

Ji, Y., et al. (2025). RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete. CVPR 2025.
BAAI RoboBrain Team. (2025). RoboBrain 2.0 Technical Report. arXiv:2507.02029.
Tan, H., et al. (2026). RoboBrain 2.5: Depth in Sight, Time in Mind. arXiv:2601.14352.
Li, B., et al. (2024). LLaVA-OneVision: Easy Visual Task Transfer. arXiv:2408.03326.
Gu, J., et al. (2023). RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches. arXiv:2311.01977.
O’Neill, A., et al. (2024). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. ICRA 2024.
Sermanet, P., et al. (2024). RoboVQA: Multimodal Long-Horizon Reasoning for Robotics. ICRA 2024.