🧩Qwen2.5-VL과 Qwen3-VL 아키텍처 심층 분석

cosmos

qwen

vlm

NVIDIA Cosmos Reason의 두뇌

Published

January 16, 2026

들어가며: Physical AI를 위한 “생각하는 눈”

로봇이 세상을 이해하려면 무엇이 필요할까요? 단순히 카메라로 이미지를 “보는 것”만으로는 부족합니다. 물체가 어디에 있는지, 어떻게 움직이고 있는지, 그리고 내가 어떤 행동을 취해야 하는지까지 “추론”할 수 있어야 합니다.

NVIDIA의 Cosmos Reason은 바로 이 문제를 해결하기 위해 설계된 Vision-Language Model(VLM)입니다. GR00T 휴머노이드 로봇 플랫폼의 “지능 두뇌” 역할을 담당하며, 실세계의 물리 법칙을 이해하고 행동을 계획하는 능력을 제공합니다.

흥미로운 점은 이 강력한 추론 엔진의 기반이 Alibaba의 오픈소스 멀티모달 LLM인 Qwen VL 시리즈라는 것입니다:

Cosmos Reason 1 → Qwen2.5-VL 기반
Cosmos Reason 2 → Qwen3-VL 기반

이 포스팅에서는 두 기반 모델의 아키텍처를 깊이 있게 분석하고, NVIDIA가 이를 어떻게 Physical AI용으로 특화시켰는지 살펴보겠습니다.

1. Qwen2.5-VL: Cosmos Reason 1의 기반

1.1 핵심 아키텍처 개요

Qwen2.5-VL은 Vision Transformer(ViT) + 대형 언어 모델(LLM) 디코더를 통합한 멀티모달 아키텍처입니다. 2025년 1월 공개되었으며, Qwen 팀이 “샌드위치 쿠키의 중간층”이라고 표현한 기존 LVLM의 한계를 극복하기 위해 설계되었습니다.

[이미지/비디오 입력] → [Vision Transformer] → [Projector] → [LLM Decoder] → [텍스트 출력]

1.2 핵심 혁신 #1: Native Dynamic Resolution

기존 비전 모델들은 모든 이미지를 고정된 해상도(예: 224×224)로 리사이즈했습니다. 이는 정보 손실을 야기하고 인간의 시각 인지와 동떨어진 방식이었습니다.

Qwen2.5-VL은 “Naive Dynamic Resolution” 접근법을 도입합니다:

입력 이미지의 원본 해상도를 그대로 유지
이미지 크기에 비례하는 가변 개수의 시각 토큰 생성
Window Attention을 통해 계산 효율성 확보

이를 통해 작은 문서의 세부 글자부터 고해상도 산업 이미지까지 원본 품질 그대로 처리할 수 있습니다.

Window Attention 메커니즘

Vision Encoder는 3D Convolution을 사용하여 입력 시각 데이터를 14×14 패치 시리즈로 분할합니다. Window Attention은 이미지를 윈도우 단위로 나누어 각 윈도우 내 패치들 사이에서만 어텐션을 계산합니다.

┌─────────────────────────────────────────┐
│  이미지 입력                              │
│       ↓                                 │
│  3D Conv → 14×14 패치 분할               │
│       ↓                                 │
│  Window Attention (윈도우 내 어텐션)       │
│       ↓                                 │
│  MLP Layer → 2×2 패치 병합               │
│       ↓                                 │
│  LLM 입력 토큰                           │
└─────────────────────────────────────────┘

이 설계의 핵심 장점:

특징	설명
선형 스케일링	이미지 패치 수에 대해 계산량이 선형으로 증가
토큰 압축	출력 단계에서 2×2 패치를 하나로 병합하여 토큰 수 감소
효율성	전체 이미지 어텐션 대비 메모리/계산 자원 절약

1.3 핵심 혁신 #2: M-RoPE (Multimodal Rotary Position Embedding)

LLM에서 널리 쓰이는 RoPE(Rotary Position Embedding)는 1차원 시퀀스용으로 설계되었습니다. 하지만 이미지와 비디오는 공간(2D) + 시간(temporal) 정보를 모두 포함합니다.

M-RoPE는 위치 임베딩을 세 가지 독립적인 구성요소로 분해합니다:

구성요소	역할	적용 대상
Temporal	시간적 순서	비디오 프레임 순서
Height	수직 위치	이미지 내 Y좌표
Width	수평 위치	이미지 내 X좌표

텍스트 입력의 경우 세 구성요소가 동일한 Position ID를 사용해 기존 1D-RoPE와 동일하게 작동합니다. 비디오의 경우 프레임마다 Temporal ID가 증가하여 시간 흐름을 인코딩합니다.

ViT와 LLM에서의 RoPE 차이

구성 요소	사용 RoPE	이유
ViT (Vision Encoder)	2D RoPE	단일 이미지/프레임의 특징 추출에 집중, 시간(T) 차원 불필요
LLM Decoder	3D M-RoPE	텍스트와 시각 데이터의 통합 처리, 시공간 정보 모두 필요

RoPE 구현에서 head_dim의 절반은 높이(h) 축 기반, 나머지 절반은 너비(w) 축 기반으로 적용되며, 두 부분이 동일한 θ(각도 파라미터) 세트를 공유합니다.

1.4 Dynamic FPS Sampling과 Absolute Time Encoding

비디오 이해에서 또 다른 혁신은 동적 FPS 샘플링입니다. 고정된 프레임 레이트 대신 비디오의 특성에 맞게 샘플링 레이트를 조절하고, 절대 시간(Absolute Time)을 인코딩합니다.

예를 들어, “영상 1분 23초에서 무슨 일이 일어났나요?”라는 질문에 정확히 해당 시점의 이벤트를 찾아 답변할 수 있습니다.

1.5 파라미터 및 모델 변형

모델	파라미터	특징
Qwen2.5-VL-3B	30억	경량 배포용
Qwen2.5-VL-7B	70억	균형잡힌 성능/효율
Qwen2.5-VL-32B	320억	고성능 추론
Qwen2.5-VL-72B	720억	SOTA급 벤치마크 성능

훈련 데이터는 약 4.1조 토큰 규모의 멀티모달 코퍼스를 사용했습니다.

1.6 벤치마크 성능

Qwen2.5-VL은 다양한 멀티모달 벤치마크에서 우수한 성능을 보입니다:

벤치마크	Qwen2.5-VL-72B	Qwen2.5-VL-32B	비고
MathVista	70.5~74.8	74.7	수학적 시각 추론
MMMU	64.5	70.0	대학 수준 멀티모달 이해
MMBench-EN	88.6	-	종합 멀티모달 벤치마크

비디오 이해 능력

Qwen2.5-VL은 1시간 이상의 비디오를 이해하고, 비디오 내 특정 이벤트가 발생한 시간 구간을 정확히 찾아내는 능력을 갖추고 있습니다. Dynamic Resolution을 시간 차원으로 확장한 Dynamic FPS 샘플링 덕분입니다.

2. Qwen3-VL: Cosmos Reason 2의 기반

2025년 9월 공개된 Qwen3-VL은 Qwen 시리즈 VLM의 가장 강력한 버전입니다. 단순한 점진적 개선이 아니라, 아키텍처 수준에서 근본적인 업그레이드가 이루어졌습니다.

2.1 세 가지 핵심 기둥 (Three Core Pillars)

강화된 순수 텍스트 이해: 비전 모델임에도 텍스트 전용 백본을 능가하는 언어 능력
장문맥 이해 (256K 토큰): 긴 문서와 장시간 비디오의 정보를 연결하여 추론
고급 멀티모달 추론: MMMU, MathVista 등 복잡한 벤치마크에서 선도적 성능

2.2 아키텍처 혁신 #1: Interleaved-MRoPE

Qwen2.5-VL의 M-RoPE가 가진 문제점이 있었습니다: 주파수 스펙트럼 불균형(Spectral Imbalance). 시간, 높이, 너비에 할당된 주파수 대역이 불균등하여 장시간 비디오에서 위치 정보가 손실되었습니다.

Interleaved-MRoPE는 주파수를 세 차원에 균등하게 인터리빙하여 배분합니다:

시간, 너비, 높이 모두 전체 주파수 스펙트럼 활용
긴 비디오에서도 위치 정보 보존
Position ID 증가 속도가 기존 RoPE보다 느려 더 긴 문맥 처리 가능

M-RoPE vs Interleaved-MRoPE

항목	M-RoPE (Qwen2.5-VL)	Interleaved-MRoPE (Qwen3-VL)
주파수 할당	T, H, W에 불균등 배분	세 차원에 균등 인터리빙
문제점	장시간 비디오에서 위치 정보 손실	해결됨
스펙트럼	일부 대역만 활용	전체 대역 활용
효과	~32K 토큰	256K 토큰 네이티브 지원

2.3 아키텍처 혁신 #2: DeepStack Integration

기존 VLM들은 ViT의 최종 레이어 출력만 사용했습니다. 이는 고수준 의미 정보만 전달하고 저수준 시각적 세부사항을 잃어버리는 문제가 있었습니다.

DeepStack은 ViT의 여러 레이어에서 특징을 추출하여 LLM에 주입합니다:

ViT Layer 1  → 저수준 특징 (엣지, 텍스처)     ─┐
ViT Layer 6  → 중간수준 특징 (패턴, 형태)      ├→ LLM Hidden States에 주입
ViT Layer 12 → 고수준 특징 (객체, 장면)       ─┘

논문 DeepStack (arXiv:2406.04334)에서 제안된 이 방식은 세밀한 시각적 디테일과 추상적 의미 정보를 동시에 보존합니다.

DeepStack의 핵심

Qwen3-VL의 텍스트 처리 부분은 순수 텍스트 전용 모델이 아닙니다. DeepStack이 시각적 특징을 LLM의 초기 hidden states에 주입하기 때문입니다. 특징 형태는 (num_layers, visual_seqlen, embed_dim)이며, 비전 인코더의 여러 레이어에서 추출되어 디코더 hidden states에 공급됩니다.

2.4 아키텍처 혁신 #3: Text-Timestamp Alignment

Qwen2.5-VL은 T-RoPE를 통해 비디오의 시간 정보를 암묵적으로 인코딩했습니다. Qwen3-VL은 이를 명시적인 텍스트 타임스탬프 정렬로 발전시켰습니다.

생성된 텍스트가 비디오의 특정 타임스탬프와 직접 연결되어, “00:01:23에 빨간 자동차가 좌회전합니다”와 같은 정밀한 시간적 그라운딩이 가능합니다.

2.5 파라미터 및 모델 변형

Qwen3-VL은 Dense와 MoE(Mixture of Experts) 두 가지 아키텍처로 제공됩니다:

모델	총 파라미터	활성 파라미터	특징
Qwen3-VL-2B	20억	20억	엣지 배포용
Qwen3-VL-4B	40억	40억	모바일/임베디드
Qwen3-VL-8B	87.7억	87.7억	균형잡힌 성능
Qwen3-VL-32B	320억	320억	고성능 워크로드
Qwen3-VL-30B-A3B	300억	30억	MoE 효율성
Qwen3-VL-235B-A22B	2350억	220억	최고 성능 MoE

MoE 모델은 총 파라미터는 크지만 추론 시 일부 전문가만 활성화되어 효율성을 확보합니다. 훈련 데이터는 36조+ 토큰, 119개 언어를 포함합니다.

2.6 아키텍처 구성 요소

Qwen3-VL은 다음과 같은 현대적 아키텍처 구성 요소를 통합합니다:

구성 요소	설명
Grouped Query Attention (GQA)	메모리 효율적인 어텐션
SwiGLU 활성화	향상된 비선형 표현력
RoPE + 고급 주파수 스케일링	Interleaved-MRoPE
RMSNorm 사전 정규화	학습 안정성

MoE 개선점

Qwen3-MoE는 이전 Qwen2.5-MoE와 달리 공유 전문가(shared experts)를 제거하고 글로벌 배치 로드 밸런싱을 사용하여 전문가들의 특화된 행동을 장려합니다.

2.7 벤치마크 성능

Qwen3-VL-235B-A22B는 여러 벤치마크에서 SOTA 성능을 달성했습니다:

벤치마크	Qwen3-VL-235B	GPT-5	Gemini 2.5 Pro
MathVista	85.8%	81.3%	-
MathVision	74.6%	65.8%	73.3%
AIME’24	85.7	-	-
LiveCodeBench v5	70.7	-	-
CodeForces ELO	2,056	-	-

2시간 비디오 분석

Qwen3-VL은 2시간 분량의 비디오를 스캔하여 거의 모든 세부사항을 정확히 찾아낼 수 있습니다. 256K 토큰 컨텍스트 윈도우와 Interleaved-MRoPE 덕분입니다.

3. NVIDIA Cosmos Reason: Physical AI로의 특화

3.1 Cosmos Reason 1 (Qwen2.5-VL 기반)

NVIDIA는 Qwen2.5-VL-7B를 기반으로 Cosmos-Reason1-7B를 개발했습니다. 추가로 56B 버전도 제공됩니다.

학습 파이프라인 (2단계):

Physical AI SFT: 물리적 상식(Physical Common Sense) 데이터로 Supervised Fine-tuning
Physical AI RL: 물리 법칙에 맞는 추론을 강화학습으로 최적화

주요 특징:

Chain-of-Thought: <think> 태그를 통한 단계별 추론 과정 명시
Embodied Reasoning: 단순한 이해를 넘어 행동 계획까지 추론

# 추론 프롬프트 예시
system: "You are a helpful assistant. Answer the question in the following format:
<think>
your reasoning
</think>

<answer>
your answer
</answer>"

3.2 Cosmos Reason 2 (Qwen3-VL 기반)

2025년 12월 공개된 Cosmos Reason 2는 Qwen3-VL 기반으로 대폭 강화되었습니다. CES 2026에서 NVIDIA는 이를 Physical AI의 핵심 구성 요소로 발표했습니다.

개선 사항	상세
긴 문맥	16K → 256K 토큰
공간 인지	2D/3D 좌표, 바운딩 박스, 궤적(trajectory) 출력
시간 정밀도	타임스탬프 기반 이벤트 로컬라이제이션
OCR 지원	텍스트 인식 및 추출
모델 크기	2B, 8B 옵션으로 엣지부터 클라우드까지 배포

함께 출시된 모델들 (CES 2026)

Cosmos Reason 2와 함께 Cosmos Predict 2.5, Cosmos Transfer 2.5, Isaac GR00T N1.6 로봇 파운데이션 모델이 공개되어 로보틱스 개발 및 배포를 가속화합니다.

3.3 Physical AI 특화 기능

일반 VLM과 Cosmos Reason의 차별점:

물리적 상식 추론: 뉴턴 역학, 중력, 충돌 예측 등 물리 법칙 기반 추론
Embodied Reasoning: “로봇 그리퍼가 테이프를 집어 바구니에 넣으려면?” 같은 행동 계획
궤적 좌표 출력: 단순 텍스트가 아닌 JSON 형식의 trajectory 데이터 생성

Physical AI vs 일반 AI 추론

Physical AI는 동적이고 불확실한 실세계 환경에서 작동합니다. 수학이나 프로그래밍의 추상적 추론과 달리, embodied reasoning은 AI 시스템이 물리 세계와 상호작용하고 학습해야 합니다. 현재 관측뿐 아니라 미래의 불확실한 환경에서 지능적인 행동을 계획하는 능력이 필요합니다.

// Cosmos Reason 2 출력 예시
{
  "steps": ["접근", "집기", "이동", "놓기"],
  "trajectory": [
    {"x": 0.2, "y": 0.5, "z": 0.1},
    {"x": 0.3, "y": 0.4, "z": 0.15},
    ...
  ]
}

3.4 주요 활용 사례

로봇 계획 및 추론:

Cosmos Reason은 로봇 VLA(Vision-Language-Action) 모델에서 신중하고 체계적인 의사결정을 위한 두뇌 역할을 합니다. GR00T는 Cosmos Reason을 두뇌로 사용하여 휴머노이드의 전신 제어를 가능하게 합니다.

데이터 어노테이션:

대규모의 다양한 훈련 데이터셋에 대해 자동으로 고품질 어노테이션과 비평을 생성합니다. 실제 또는 합성 생성된 훈련 비디오에 대해 타임스탬프와 상세한 설명을 제공합니다.

산업 채택 현황:

기업	활용 사례
Uber	자율주행 훈련 데이터의 정확하고 검색 가능한 비디오 캡션 생성
Salesforce	Cobalt 로봇 영상 분석을 통한 작업장 안전 및 규정 준수
Milestone	교통 AI 에이전트
Hitachi	작업장 생산성 AI 에이전트

4. 비교 분석: 한눈에 보기

4.1 기반 모델 비교 (Qwen2.5-VL vs Qwen3-VL)

항목	Qwen2.5-VL	Qwen3-VL
출시	2025년 1월	2025년 9월
문맥 길이	~32K 토큰	256K 토큰 (YaRN으로 1M까지)
위치 인코딩	M-RoPE	Interleaved-MRoPE
비전-언어 융합	단일 레이어	DeepStack (다층 융합)
시간 인코딩	T-RoPE	Text-Timestamp Alignment
아키텍처	Dense만	Dense + MoE
최대 모델	72B	235B (A22B 활성)
훈련 데이터	4.1T 토큰	36T+ 토큰
언어 지원	다국어	119개 언어
비디오 처리	1시간+	2시간+

4.2 Cosmos Reason 비교 (Reason 1 vs Reason 2)

항목	Cosmos Reason 1	Cosmos Reason 2
기반	Qwen2.5-VL-7B	Qwen3-VL (2B/8B)
출시	2025년 3월	2025년 12월
문맥	16K 토큰	256K 토큰
출력	텍스트 추론	텍스트 + 궤적 좌표
공간 인지	제한적	2D/3D 좌표, 바운딩 박스, 궤적
배포 크기	7B, 56B	2B, 8B
GPU 요구	~16GB (7B)	24GB (2B), 32GB (8B)
라이선스	NVIDIA Open Model License	NVIDIA Open Model License

5. 로보틱스 연구자를 위한 시사점

5.1 왜 Qwen VL 기반인가?

NVIDIA가 자체 개발 대신 Qwen을 기반으로 선택한 이유:

오픈소스 생태계: Apache 2.0 / 연구 라이선스로 커스터마이징 용이
검증된 성능: 멀티모달 벤치마크에서 상위권 유지
효율적인 아키텍처: Dynamic Resolution, M-RoPE 등 혁신적 설계
활발한 업데이트: 빠른 개발 사이클 (6개월 내 2.5→3 업그레이드)

5.2 Allegro Hand 연구에의 적용 가능성

Cosmos Reason을 손 로봇 연구에 활용할 수 있는 시나리오:

비디오 기반 시연 학습: 사람의 조작 영상을 분석하여 grasp 계획 생성
물리적 추론: “이 물체를 집으려면 어떤 손가락 배치가 필요한가?”
실패 분석: 조작 실패 영상에서 원인 추론
데이터 어노테이션: 대규모 조작 데이터셋 자동 라벨링

5.3 실용적 배포 고려사항

모델	GPU 메모리	추천 용도
Cosmos-Reason2-2B	24GB	엣지 디바이스, 실시간 추론
Cosmos-Reason2-8B	32GB	연구 워크스테이션, 고품질 추론

vLLM을 통한 배포 예시:

vllm serve nvidia/Cosmos-Reason2-8B \
  --max-model-len 16384 \
  --media-io-kwargs '{"video": {"num_frames": -1}}' \
  --reasoning-parser qwen3 \
  --port 8000

6. 결론 및 전망

NVIDIA Cosmos Reason은 순수 언어 모델의 추론 능력을 물리 세계로 확장하는 중요한 이정표입니다. Qwen VL 시리즈라는 강력한 오픈소스 기반 위에 Physical AI 특화 훈련을 더해, 로봇이 “보고 생각하고 행동하는” 능력을 획득하게 됩니다.

핵심 테이크어웨이:

Qwen2.5-VL의 M-RoPE와 Dynamic Resolution은 이미지/비디오 이해의 기반
Qwen3-VL의 Interleaved-MRoPE, DeepStack, Text-Timestamp는 장시간 비디오와 정밀한 시공간 추론을 위한 진화
Cosmos Reason은 이 기반 위에 물리적 상식, 행동 계획, 궤적 출력 능력을 추가

로보틱스 분야에서 VLA(Vision-Language-Action) 모델이 주목받는 지금, Cosmos Reason과 같은 추론 VLM은 perception과 action 사이의 “thinking” 레이어로서 핵심적인 역할을 할 것입니다.

참고 자료

논문 및 기술 보고서

모델 저장소

NVIDIA 공식 자료

기술 분석 자료