📃SWM 리뷰

Semantic World Models

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Project

1. ✨ 이 논문은 미래 프레임의 픽셀을 재구성하는 대신, 미래 결과에 대한 시각 질문 응답(VQA) 문제로 세계 모델링을 재정의하는 Semantic World Models (SWM)를 제안합니다.
2. 🤖 SWM은 사전 학습된 Vision-Language Models (VLMs)를 이미지-액션-텍스트 데이터로 미세 조정하여 액션의 의미론적 효과를 예측하며, 정의된 QA 세트와 샘플링 또는 gradient-based 플래닝 방법을 통해 정책 최적화를 가능하게 합니다.
3. 🚀 실험 결과, SWM은 LangTable 및 OGBench 환경에서 픽셀 기반 world model과 offline RL baseline을 크게 능가하며, novel 및 out-of-distribution 장면에서 강력한 generalization 능력을 보여줍니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 로봇 제어를 위한 월드 모델링의 새로운 패러다임인 Semantic World Models (SWM)을 제안합니다. 기존 월드 모델들은 미래 프레임을 픽셀 단위로 예측하는 데 중점을 두었지만, 이는 종종 실제 계획(planning) 목표와 상충하며, 픽셀 재구성이 계획 의사결정에 필요한 핵심적인 의미론적 세부사항을 놓칠 수 있습니다.

핵심 아이디어 및 방법론:

본 논문은 월드 모델이 미래 프레임을 픽셀로 재구성할 필요 없이, 오직 태스크와 관련된 의미론적 정보를 예측하기만 하면 된다는 가설을 세웁니다. 이를 위해 월드 모델링 문제를 미래 프레임에 대한 시각 질의 응답(Visual Question Answering, VQA) 문제로 재정의합니다. 즉, “팔이 물체에 가까워졌는가?”, “빨간 큐브가 넘어졌는가?”와 같은 질문에 “예” 또는 “아니오”로 답하는 형태로 미래의 결과를 예측하는 것입니다.

이러한 관점은 Vision-Language Models (VLMs)의 강력한 사전 학습(pretraining) 지식과 일반화 능력을 활용할 수 있게 합니다. SWM은 기본적으로 기존 VLM(예: PaliGemma)을 기반으로 하며, 행동(action) 조건을 추가하여 미래 사건에 대한 질문에 답하도록 미세 조정(fine-tuning)됩니다.

SWM 아키텍처 및 학습:

SWM은 다음과 같은 구조를 가집니다:

1. VLM 백본: PaliGemma와 같은 사전 학습된 VLM을 사용하여 이미지 인코더(v_\phi)와 언어 모델(LLM)을 포함합니다. 이미지 인코더의 특징은 LLM의 임베딩 공간으로 투영하는 행렬 W \in \mathbb{R}^{d_{tok} \times d_{img}}를 통해 연결됩니다.
2. 액션 컨디셔닝: 액션 시퀀스 a_{i:j}를 모델 입력에 통합하기 위해, 새로운 선형 투영 행렬 P \in \mathbb{R}^{d_{tok} \times d_{act}}를 도입하여 각 액션 a \in \mathbb{R}^{d_{act}}을 LLM 임베딩 공간으로 투영합니다.
3. 입력 구성: 현재 관측값 S_i (RGB 프레임), 제안된 액션 시퀀스 a_{i:j}, 그리고 미래에 대한 자연어 질의 QS_j가 모델의 입력으로 주어집니다. 이를 연결된 임베딩 시퀀스로 구성합니다: \text{concat}(\text{W}^\top v_\phi(S_i), \text{P}^\top a_i, \text{P}^\top a_{i+1}, \dots, \text{P}^\top a_j, QS_j)
4. 학습 목표: 모델은 주어진 입력에 대해 타겟 답변 AS_j를 예측하도록 종단간(end-to-end)으로 미세 조정됩니다. 학습 목표는 표준 교차 엔트로피 손실입니다: L = -\log p(AS_j | S_i, a_{i:j}, QS_j) 이러한 학습 절차를 통해 SWM은 픽셀 수준의 표현을 명시적으로 생성하지 않고도 언어 공간에서 환경의 역학을 파악하여 미래 상태에 대한 질문에 답할 수 있습니다.

데이터셋 생성 (SAQA):

SWM을 학습시키기 위해 state-action-question-answer (SAQA) 데이터셋이 생성됩니다. D_{SAQA} = \{(S_i, a_{i:j}, QS_j, AS_j), \dots \} 여기서 S_i는 현재 상태(RGB 프레임), h는 예측 시점(horizon), a_{i:j}는 S_i에서 취해진 액션 시퀀스, QS_j와 AS_j는 미래 상태 S_j에 대한 질문-답변 쌍입니다. 이 데이터는 궤적(trajectories) 데이터에서 생성되며, 객체 위치와 같은 특권 정보(privileged information)를 활용하여 질문을 프로그램적으로 생성합니다.

SWM을 이용한 계획:

SWM은 다음 두 가지 계획 방법과 함께 사용될 수 있습니다:

1. 샘플링 기반 계획 (Sampling-Based Planning): Model Predictive Path Integral (MPPI)과 같은 방법을 사용하여 액션 시퀀스 분포를 유지하고 반복적으로 개선합니다. 각 샘플링된 궤적(a^{(k)})의 가치는 SWM이 원하는 답변을 생성할 가능성을 기반으로 계산됩니다. 태스크 T는 질문, 답변, 가중치 집합으로 정의됩니다: T := \{(Q_i, A^*_i, W_i)\}_{i=1}^k 관측값 S와 액션 시퀀스 a_{1:n}에 대한 가치 함수는 다음과 같이 계산됩니다: V_T(S, a_{1:n}) = \sum_{i=0}^k W_i \cdot p_{\text{wm}}(A^*_i | S, a_{1:n}, Q_i) 또한, 액션 시퀀스를 길이가 c인 서브 청크로 나누어 조기 보상(early reward)을 제공하는 방법도 사용됩니다: V_{T,c}(S, a_{1:n}) = \sum_{i=0}^k \sum_{j=c, j+=c}^n W_i \cdot p_{\text{wm}}(A^*_i | S, a_{1:j}, Q_i)
2. 그래디언트 기반 계획 (Gradient-Based Planning): 대규모 모델에서 샘플링 기반 계획의 계산 비용을 줄이기 위해 제안됩니다. 베이스 정책(\pi_b)에서 생성된 후보 궤적(a \sim \pi_b(S))을 SWM과 그래디언트 기반 최적화를 사용하여 정제합니다. 목표는 가치 함수 V_{T,c}(S, a)를 최대화하는 액션 시퀀스 a를 찾는 것입니다. J_T(a) = V_{T,c}(S, a)

실험 결과:

LangTable 및 OGBench 시뮬레이션 환경에서 평가된 SWM은 기존 픽셀 기반 월드 모델 및 오프라인 RL(IDQL, AVD) 대비 상당한 성능 향상을 보였습니다.

• SWM은 미래 QA 질문에 정확하게 답변하며 새로운 장면에도 일반화되었습니다.
• 베이스 정책 대비 LangTable에서 평균 14.4%에서 81.6%로, OGBench에서 45.33%에서 76%로 평균 성능이 크게 향상되었습니다.
• 준최적 데이터(suboptimal data)를 훈련에 혼합하면 모델 성능이 향상되며, SWM은 준최적 데이터만으로도 합리적인 수준의 성능을 달성했습니다.
• 사전 학습된 VLM의 일반화 능력(예: 구성적 일반화, 배경 변화에 대한 강건성)을 유지하며 OOD(Out-of-Distribution) 환경에서도 강력한 성능을 보였습니다.
• 모델의 어텐션 맵(attention maps) 시각화를 통해, SWM이 언어 프롬프트에 따라 이미지의 태스크 관련 영역에 정확하게 주의를 기울이는 것을 확인했습니다.

결론 및 한계:

SWM은 미래 결과를 질의 응답 형태로 명시적으로 모델링하는 새로운 접근 방식을 제시하며, 픽셀 수준 정보 재구성의 필요성을 없앱니다. 이는 기존 픽셀 기반 월드 모델링 및 오프라인 RL 방식보다 뛰어난 성능을 보였지만, 대규모 VLM의 높은 파라미터 수로 인해 단일 GPU에서 샘플 기반 계획의 계산 비용이 높다는 한계가 있습니다. 그래디언트 기반 계획은 더 효율적이지만, 초기 궤적을 제안할 베이스 정책이 필요합니다. 또한, SAQA 데이터셋 구축을 위해 시뮬레이션의 접지 진실(ground truth) 정보가 필요하다는 점은 실제 로봇 환경 적용에 있어 도전 과제입니다. 향후 연구는 더 작은 VLM 사용 및 오라클 생성 QA 대신 VLM 자체에서 QA 쌍을 생성하는 방향을 제안합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: “미래의 픽셀이 아니라, 미래의 의미를 예측하라”

로봇공학에서 우리가 정말로 원하는 것은 무엇일까요? 로봇이 컵을 집으려 할 때, 우리는 로봇이 1초 후의 카메라 이미지를 완벽하게 예측하길 원하는 걸까요? 아닙니다. 우리가 진정으로 알고 싶은 것은 단 하나입니다: “이 동작을 수행하면 컵을 잡게 될까?”

이것이 바로 Semantic World Models(SWM) 논문의 핵심 통찰입니다. 리처드 파인만이 양자역학을 설명할 때 본질을 꿰뚫었듯이, 이 논문은 World Model의 본질을 꿰뚫습니다. 픽셀 재구성이라는 어려운 문제를 풀지 말고, 정말 필요한 의미론적 정보만 예측하자는 것이죠.

문제의 핵심: 픽셀 예측의 한계

기존의 World Model들은 마치 시험 범위 전체를 외우려는 학생과 같습니다. “현재 프레임 + 액션 → 미래 프레임”을 예측하려고 하죠. 이 접근법의 문제점은 명확합니다:

1. 계산 비용이 막대합니다: 고해상도 비디오를 생성하려면 엄청난 연산이 필요합니다.
2. 정작 중요한 것을 놓칩니다: 아무리 사실적인 이미지를 생성해도, “물체가 접촉했는지”같은 핵심 정보를 정확히 캡처하지 못할 수 있습니다.
3. 계획(Planning)과 목적이 불일치합니다: 픽셀 재구성 품질과 좋은 결정을 내리는 능력 사이에는 직접적인 상관관계가 없습니다.

┌─────────────────────────────────────────────────────────────────┐
│                    기존 World Model의 딜레마                      │
├─────────────────────────────────────────────────────────────────┤
│  입력: 현재 이미지 + 액션 시퀀스                                   │
│  출력: 미래 이미지 (수백만 픽셀)                                   │
│                                                                 │
│  문제: 픽셀 하나하나를 예측하느라 정작 "블록이 넘어졌나?"            │
│       같은 핵심 질문에 답하지 못함                                 │
└─────────────────────────────────────────────────────────────────┘

논문의 핵심 아이디어: VQA로서의 World Modeling

SWM의 핵심 아이디어를 한 문장으로 요약하면 이렇습니다:

“World Modeling을 미래에 대한 Visual Question Answering(VQA) 문제로 재정의하자”

이것은 마치 시험에서 전체 교과서를 외우는 대신, 중요한 개념만 이해하는 것과 같습니다. 로봇에게 필요한 것은 “미래의 모든 픽셀”이 아니라 “미래에 대한 핵심 질문들의 답”입니다.

graph LR
    subgraph G1["기존 Video World Model"]
        A1[현재 이미지] --> B1[Video Prediction Model]
        C1[액션 시퀀스] --> B1
        B1 --> D1["미래 이미지 (수백만 픽셀)"]
    end

    subgraph G2["Semantic World Model"]
        A2[현재 이미지] --> B2["SWM (VLM 기반)"]
        C2[액션 시퀀스] --> B2
        E2["질문: 블록이 접촉했나?"] --> B2
        B2 --> D2["Yes 또는 No"]
    end

---

방법론: VLM을 World Model로 변환하기

데이터셋 구성: SAQA (State-Action-Question-Answer)

SWM을 훈련시키기 위해 저자들은 독특한 데이터셋 형식을 제안합니다. 전통적인 (상태, 액션, 다음 상태) 형식 대신, SAQA 형식을 사용합니다:

\mathcal{D}_{SAQA} = \{(S_i, a_{i:j}, Q_{S_j}, A_{S_j}), \ldots\} \quad \text{where } j = i + h

여기서 각 요소의 의미는:

기호	의미	예시
S_i	현재 상태 (RGB 이미지)	테이블 위 블록들의 이미지
a_{i:j}	액션 시퀀스	로봇 팔의 xy 이동 명령들
h	예측 horizon	0~20 스텝
Q_{S_j}	미래 상태에 대한 질문	“빨간 별이 파란 큐브에 닿았나?”
A_{S_j}	해당 질문의 정답	“Yes” 또는 “No”

이 데이터셋의 아름다운 점은 시뮬레이터의 특권 정보(privileged information)를 활용한다는 것입니다. 시뮬레이터는 모든 물체의 위치를 정확히 알고 있으므로, 프로그래밍 방식으로 질문-답변 쌍을 자동 생성할 수 있습니다.

질문 유형의 다양성

논문에서 사용한 질문 유형들을 살펴보면:

LangTable 환경:

• 블록 접촉 여부: “Is the red star touching the blue cube?”
• 로봇-블록 거리: “Is the green cube next to the peg?”
• 위치 관계: “Is the red star in the center of the board?”
• 상대적 방향: “Is the peg above the red cube?”
• 이동 방향: “Did the red cube move left?”
• 근접 변화: “Are the red star and blue cube closer together?”

OGBench 환경:

• 파지 여부: “Is the red cube grasped by the robot?”
• 접촉 확인: “Is the blue cube touching the robot gripper?”
• 적층 상태: “Is the red cube on top of the blue cube?”

모델 아키텍처: PaliGemma에 액션 조건화 추가하기

SWM은 기존 VLM인 PaliGemma (3B 파라미터)를 기반으로 합니다. PaliGemma의 구성 요소는:

1. Gemma LLM: 트랜스포머 기반 언어 모델 (토큰 임베딩 차원: d_{tok})
2. SigLIP 비전 인코더 (v_\phi): 이미지를 특징 벡터로 변환 (특징 차원: d_{img})
3. 프로젝션 행렬 (W \in \mathbb{R}^{d_{tok} \times d_{img}}): 이미지 특징을 언어 모델 공간으로 투영

여기서 핵심적인 추가 요소는 액션 프로젝션 행렬입니다:

P \in \mathbb{R}^{d_{tok} \times d_{act}}

이 행렬은 각 액션 a \in \mathbb{R}^{d_{act}}를 언어 모델의 토큰 임베딩 공간으로 투영합니다. 마치 이미지 토큰이 언어 모델에 들어가듯이, 액션도 동일한 방식으로 주입됩니다.

graph TB
    subgraph Input["입력 처리"]
        IMG["현재 이미지 S_i"] --> VE["SigLIP Vision Encoder"]
        VE --> IMGF["이미지 특징 v_φ(S_i)"]
        IMGF --> WPROJ["W 프로젝션"]

        ACT["액션 시퀀스 a_i...a_j"] --> APROJ["P 프로젝션"]

        Q["질문 Q_Sj"] --> TOK[토큰화]
    end

    subgraph TokenSeq["토큰 시퀀스 구성"]
        WPROJ --> CONCAT[Concatenate]
        APROJ --> CONCAT
        TOK --> CONCAT
        CONCAT --> SEQ["이미지/액션/질문 토큰들"]
    end

    subgraph LM["언어 모델"]
        SEQ --> GEMMA[Gemma LLM]
        GEMMA --> ANS["답변 A_Sj"]
    end

최종 입력 시퀀스 구성

주어진 데이터 튜플 (S_i, a_{i:j}, Q_{S_j}, A_{S_j})에 대해, 모델의 입력 시퀀스는 다음과 같이 구성됩니다:

\text{concat}\left(W^\top V_{sc}(S_i), P^\top a_i, P^\top a_{i+1}, \ldots, P^\top a_j, Q_{S_j}\right)

훈련은 표준 cross-entropy 손실을 사용합니다:

\mathcal{L} = -\log p(A_{S_j} | S_i, a_{i:j}, Q_{S_j})

이 구조의 우아함은 기존 VLM의 사전학습 지식을 그대로 보존한다는 점입니다. 픽셀 재구성 대신 언어 공간에서 동역학을 모델링함으로써, VLM이 인터넷 규모 데이터에서 학습한 세계 지식을 로봇 제어에 전이할 수 있습니다.

---

플래닝: Semantic World Model로 행동 결정하기

SWM이 미래에 대한 질문에 답할 수 있다면, 이를 어떻게 로봇 제어에 활용할까요?

가치 함수 정의

각 태스크는 질문-답변-가중치의 집합으로 정의됩니다:

T := \{(Q_i, A_i^*, W_i)\}_{i=1}^k

예를 들어, “빨간 블록을 파란 블록으로 밀기” 태스크는:

질문	원하는 답	가중치
“빨간 블록이 파란 블록에 닿았나?”	Yes	0.8
“빨간 블록이 파란 블록에 더 가까워졌나?”	Yes	0.2

주어진 상태 S와 액션 시퀀스 a_{1:n}에 대해, 가치 함수는:

V^T(S, a_{1:n}) = \sum_{i=0}^{k} W_i \cdot p_{wm}(A_i^* | S, a_{1:n}, Q_i)

Early Reward: 더 빠른 목표 달성을 장려

저자들은 흥미로운 발견을 합니다: 목표를 더 일찍 달성하도록 보상하면 성능이 향상됩니다. 이를 위해 액션 시퀀스를 청크로 나누어 점진적으로 평가합니다:

V^{T,c}(S, a_{1:n}) = \sum_{i=0}^{k} \sum_{\substack{j=c \\ j \mathrel{+}= c}}^{n} W_i \cdot p_{wm}(A_i^* | S, a_{1:j}, Q_i)

여기서 c는 청크 크기입니다. c=1이면 매 액션마다 평가하고, c=n이면 전체 시퀀스에 대해 한 번만 평가합니다.

방법 1: 샘플 기반 플래닝 (MPPI)

Model Predictive Path Integral (MPPI) 알고리즘을 사용합니다:

# MPPI 알고리즘 의사코드
def mppi_planning(swm_model, current_state, task_spec, num_iterations=10):
    # 1. 액션 분포 초기화
    action_dist = Uniform(a_min, a_max)
    
    for iteration in range(num_iterations):
        # 2. K개의 액션 시퀀스 샘플링
        action_sequences = [sample(action_dist) for _ in range(K)]
        
        # 3. 각 시퀀스의 가치 계산 (SWM 사용)
        values = [compute_value(swm_model, current_state, 
                               actions, task_spec) 
                 for actions in action_sequences]
        
        # 4. 소프트맥스 가중 평균으로 분포 업데이트
        weights = softmax(values / temperature)
        mean = weighted_average(action_sequences, weights)
        var = weighted_variance(action_sequences, weights, mean)
        
        action_dist = Normal(mean, var)
    
    return mean  # 최종 액션 시퀀스

가중치 계산:

\mu_t = \sum_{k=1}^{K} \frac{\exp(V_k/\lambda)}{\sum_{j=1}^{K}\exp(V_j/\lambda)} a_t^{(k)}

\sigma_t^2 = \sum_{k=1}^{K} \omega_k (a_t^{(k)} - \mu_t)^2

방법 2: 그래디언트 기반 플래닝

MPPI는 대규모 모델에서 계산 비용이 높습니다. 더 효율적인 방법으로 그래디언트 기반 최적화를 제안합니다:

1. 기본 정책 \pi_b에서 후보 궤적 샘플링: a \sim \pi_b(S)
2. 목적 함수에 대해 그래디언트 상승:

J^T(a) = V^{T,c}(S, a)

# 그래디언트 기반 플래닝 의사코드
def gradient_planning(swm_model, base_policy, current_state, 
                      task_spec, num_iterations=10, lr=0.02):
    # 1. 기본 정책에서 초기 궤적 샘플링
    actions = base_policy(current_state)
    actions.requires_grad = True
    
    for iteration in range(num_iterations):
        # 2. 가치 함수 계산
        value = compute_value(swm_model, current_state, 
                             actions, task_spec)
        
        # 3. 그래디언트 계산 및 업데이트
        grad = torch.autograd.grad(value, actions)
        grad = clip_grad_norm(grad, max_norm=1.0)
        actions = actions + lr * grad
    
    return actions

이 방법의 장점:

• 방향성 있는 최적화: 무작위 샘플링 대신 그래디언트 방향으로 직접 이동
• 빠른 수렴: 샘플 기반 방법보다 훨씬 적은 반복으로 수렴
• 효율성: 단일 궤적만 최적화하므로 메모리 효율적

graph LR
    subgraph MPPI["샘플 기반 (MPPI)"]
        A1[K개 궤적 샘플링] --> B1[모든 궤적 평가]
        B1 --> C1[가중 평균]
        C1 --> D1[분포 업데이트]
        D1 --> A1
    end

    subgraph Gradient["그래디언트 기반"]
        A2[단일 궤적 초기화] --> B2[가치 함수 계산]
        B2 --> C2[그래디언트 계산]
        C2 --> D2[액션 업데이트]
        D2 --> B2
    end

플래닝 속도 비교

방법	액션 청크당 시간
AVD (Action-conditioned Video Diffusion)	676.41초
MPPI	4.48초
그래디언트 기반	1.56초

그래디언트 기반 방법이 AVD 대비 430배 빠릅니다!

다단계 태스크: 서브골 체이닝

장기 horizon 태스크를 위해 서브골 체이닝을 사용합니다:

1. 서브골 시퀀스 정의: g_1, g_2, \ldots, g_T
2. 각 서브골에 질문-답변 쌍 할당
3. 순차적으로 서브골 실행, SWM으로 완료 여부 확인
4. 완료되면 다음 서브골로 전환

예를 들어, “큐브 쌓기” 태스크:

• 서브골 1: “로봇이 첫 번째 큐브를 잡았나?” → Yes
• 서브골 2: “첫 번째 큐브가 두 번째 큐브 위에 있나?” → Yes

---

실험 및 결과

실험 환경

1. LangTable

• 테이블 위에서 로봇 팔로 블록을 조작
• 180×320 RGB 이미지 관측
• xy 델타 포즈 액션 (범위: -0.03 ~ 0.03)
• 제어 주파수: 10Hz

2. OGBench

• 로봇 그리퍼로 큐브 조작
• 224×224 RGB 이미지 관측
• 5차원 액션 (xyz 델타, 방향, 그리퍼)
• 제어 주파수: 10Hz

베이스라인

1. IDQL: Implicit Q-Learning 기반 오프라인 RL
2. AVD (Action-conditioned Video Diffusion): 픽셀 기반 World Model. 미래 프레임을 예측한 후 SWM으로 VQA 수행

핵심 결과 1: 플래닝 성능

샘플 기반 플래닝 (MPPI):

태스크	성공률
LT Reaching	100%
LT Block Separation	100%
OG Reaching	97%

그래디언트 기반 정책 개선:

태스크	Base Policy	IDQL	AVD	SWM
Green Cube → Blue Moon	6%	8%	48%	78%
Red Moon → Green Star	18%	8%	44%	80%
Red Pentagon → Blue Moon	14%	12%	38%	80%
Yellow Pentagon → Red Moon	18%	8%	34%	86%
Yellow Star → Blue Cube	16%	10%	62%	84%
Blue Cube on Yellow Cube	52%	8%	50%	82%
Blue Cube on Green Cube	44%	16%	46%	84%
Yellow Cube on Red Cube	40%	24%	44%	62%

평균 성능 향상:

• LangTable: 14.4% → 81.6% (5.7배 향상)
• OGBench: 45.3% → 76.0% (1.7배 향상)

핵심 결과 2: 다단계 태스크

태스크	Base Policy	AVD	SWM
MS1: Red pentagon → Blue moon, Yellow pentagon → Red moon	6%	8%	50%
MS2: Yellow star → Blue cube, Yellow pentagon → Red moon	4%	2%	66%
MS3: Yellow star → Blue cube, Red pentagon → Blue moon	4%	2%	54%
MS4: Green cube → Blue moon, Yellow pentagon → Red moon	2%	4%	54%

평균 52%의 정책 개선을 보여줍니다.

핵심 결과 3: 서브옵티멀 데이터의 가치

World Model의 핵심 장점 중 하나는 서브옵티멀(비전문가) 데이터에서도 학습할 수 있다는 것입니다:

데이터셋 유형	LangTable (ID)	LangTable (OOD)	OGBench (ID)	OGBench (OOD)
서브옵티멀만	85.98%	81.99%	90.83%	85.56%
전문가만	91.27%	86.49%	96.53%	87.33%
혼합	92.92%	88.32%	96.86%	88.16%

흥미로운 점: 서브옵티멀 데이터를 혼합하면 전문가 데이터만 사용할 때보다 성능이 향상됩니다!

이는 서브옵티멀 데이터가 다양한 상황(실패 사례 포함)을 제공하여 모델이 더 강건한 예측을 학습하기 때문입니다.

핵심 결과 4: 일반화 성능

구성적 일반화 (Compositional Generalization):

• 훈련 시 보지 못한 색상-형태 조합 (예: 보라색 오각형)
• 평균 20% 성능 향상 (Base Policy 대비)

배경 강건성 (Background Robustness):

• OGBench의 배경 색상을 새로운 조합으로 변경
• 평균 15-20% 성능 향상 (Base Policy 대비)

이는 SWM이 VLM의 사전학습 지식을 효과적으로 보존하고 활용함을 보여줍니다.

Attention Map 시각화

┌────────────────────────────────────────────────────────────┐
│  질문: "Is the red moon touching the blue cube?"           │
├────────────────────────────────────────────────────────────┤
│                                                            │
│  Layer 4, 6: 빨간 달과 파란 큐브에 집중                      │
│  Layer 8+: 로봇 팔(peg)도 함께 attention                   │
│                                                            │
│  → 모델이 질문의 의미를 이해하고 관련 객체에 attention        │
│  → 훈련 중 본 적 없는 3개 객체 질문에도 올바르게 attention    │
└────────────────────────────────────────────────────────────┘

---

비판적 고찰: 강점과 한계

강점

1. 개념적 우아함

• 픽셀 예측이라는 어려운 문제를 우회
• “필요한 것만 예측하자”는 원칙이 명확
• VLM의 사전학습 지식을 자연스럽게 활용

2. 계산 효율성

• 그래디언트 기반 플래닝이 비디오 기반 대비 430배 빠름
• 언어 공간에서의 예측이 픽셀 생성보다 훨씬 가벼움

3. 데이터 효율성

• 서브옵티멀 데이터도 효과적으로 활용 가능
• 시뮬레이터의 특권 정보로 데이터 자동 생성

4. 일반화 능력

• 구성적 일반화 (새로운 색상-형태 조합)
• 배경 변화에 강건
• VLM의 세계 지식 전이

5. 유연한 태스크 정의

• 자연어 질문으로 태스크 정의
• 복잡한 리워드 엔지니어링 불필요

한계

1. 시뮬레이터 의존성

• SAQA 데이터셋 생성에 시뮬레이터의 특권 정보 필요
• 실제 로봇 환경에서 QA 쌍 획득이 어려움

2. 기본 정책 필요

• 그래디언트 기반 플래닝은 기본 정책이 필수
• 기본 정책의 품질이 최적화 시작점을 결정

3. 모델 크기

• 3B 파라미터로 실시간 제어 주파수 달성이 어려움
• 샘플 기반 플래닝은 단일 GPU에서 비실용적

4. Yes/No 질문의 한계

• 현재는 이진 질문만 지원
• 연속적인 값 (거리, 각도 등) 예측에 제한

5. Long-horizon 태스크의 복잡성

• 서브골 수동 정의 필요
• 자동 서브골 발견 메커니즘 부재

미해결 질문들

1. 스케일링 법칙: 더 큰 VLM이 더 나은 SWM이 될까?
2. 실세계 전이: 시뮬레이션에서 학습한 SWM이 실제 로봇에서 작동할까?
3. 연속 출력: Yes/No 대신 연속적인 값을 예측할 수 있을까?
4. 멀티모달 입력: 힘/토크 센서 등 다른 모달리티를 통합할 수 있을까?

---

관련 연구와의 비교

Vision-Language-Action (VLA) 모델과의 비교

특성	VLA (예: OpenVLA)	SWM
입력	이미지 + 언어 지시	이미지 + 액션 + 질문
출력	액션	언어 (Yes/No)
목적	직접적인 행동 생성	행동 결과 예측
사전학습 보존	액션 토큰으로 변환 시 손실 가능	언어 출력으로 더 잘 보존

SWM은 VLA의 “역전된” 버전으로 볼 수 있습니다. 액션이 출력이 아닌 입력이 되고, 언어가 입력이 아닌 출력이 됩니다.

기존 World Model과의 비교

특성	DreamerV3	TD-MPC2	UniPi	SWM
예측 대상	잠재 상태	잠재 상태	비디오	의미론적 정보
리워드 필요	Yes	Yes	No	No
VLM 활용	No	No	No	Yes
일반화	제한적	제한적	제한적	높음

UniPi와의 비교

UniPi는 비디오 예측 World Model을 고수준 플래너로 사용합니다. SWM과의 차이:

• UniPi: 픽셀 공간에서 예측 → 저수준 정책 조건화
• SWM: 의미 공간에서 예측 → 직접적인 플래닝 신호

---

응용 가능성 및 확장 방향

실제 로봇 적용을 위한 로드맵

graph TD
    subgraph Current["현재 상태"]
        A[시뮬레이션에서 검증됨]
    end

    subgraph ShortTerm["단기 과제"]
        B["더 작은 VLM 사용 (FastVLM, SmolVLM)"]
        C[실시간 제어 주파수 달성]
        D[Sim-to-Real 전이 검증]
    end

    subgraph MidTerm["중기 과제"]
        E[VLM으로 QA 쌍 자동 생성]
        F[실제 데이터 통합]
        G[멀티모달 입력 확장]
    end

    subgraph LongTerm["장기 비전"]
        H[범용 로봇 World Model]
        I[자동 서브골 발견]
        J[Language-conditioned 조작]
    end

    A --> B
    A --> D
    B --> C
    C --> F
    D --> F
    E --> F
    F --> H
    G --> H
    H --> I
    H --> J

Allegro Hand와 같은 다지 매니퓰레이션에의 적용

SWM의 접근법은 다지 손(dexterous hand) 조작에 특히 유망합니다:

1. 접촉 상태 예측: “엄지가 물체에 닿았나?”, “물체가 안정적으로 파지되었나?”
2. 힘 분포 추론: “적절한 파지력이 가해졌나?”
3. 조작 전략 평가: “이 동작으로 물체가 회전할까?”

적용 시 고려사항:

• 고차원 액션 공간 (20+ DoF)에 대한 스케일링
• 촉각 정보의 언어적 표현
• 빠른 제어 루프 요구사항 (>100Hz)

강화학습과의 통합

SWM은 Model-based RL의 새로운 패러다임을 열 수 있습니다:

1. Reward Shaping: SWM의 예측을 리워드 신호로 활용
2. Curiosity-driven Exploration: “예상과 다른 결과”를 탐험 신호로 활용
3. Hindsight Experience Replay: 실패 경험에서 “무엇을 달성했는가?” 자동 레이블링

---

구현 세부사항 (실무자를 위한)

모델 훈련

# 핵심 하이퍼파라미터
config = {
    "base_model": "PaliGemma-3B",
    "learning_rate": 1e-5,  # 선형 감쇠
    "batch_size": 96,  # 효과적 배치 크기
    "training_steps": 24000,  # LangTable
    # "training_steps": 64000,  # OGBench
    "action_projection_dim": "act_dim × 2048",
    "optimizer": "AdamW",
    "full_weight_finetuning": True,
}

데이터셋 구성

# SAQA 데이터셋 생성 로직
def generate_saqa_dataset(trajectories):
    dataset = []
    for trajectory in trajectories:
        for i, (state, action) in enumerate(trajectory):
            # 여러 horizon 샘플링
            for h in sample_horizons(0, 20, num_samples=4):
                future_state = trajectory[i + h].state
                
                # 질문-답변 쌍 생성 (시뮬레이터 정보 활용)
                qa_pairs = generate_qa_pairs(future_state)
                
                for question, answer in qa_pairs:
                    dataset.append({
                        "current_state": state.image,
                        "actions": trajectory[i:i+h].actions,
                        "question": question,
                        "answer": answer,
                    })
    
    # 질문 유형 및 답변 분포 균형 맞추기
    return balance_dataset(dataset)

플래닝 설정

# LangTable 플래닝 설정
langtable_config = {
    "action_chunk_size": 8,
    "gradient_lr": 0.02,
    "planning_iterations": 10,
    "execute_actions": 4,  # 16개 중 4개 실행 후 리플래닝
    "gradient_clip": 1.0,
}

# OGBench 플래닝 설정
ogbench_config = {
    "action_chunk_size": 8,
    "gradient_lr": 0.2,
    "planning_iterations": 20,
    "execute_actions": 4,
    "gradient_clip": 10.0,
}

---

요약 및 결론

핵심 통찰 정리

1. 패러다임 전환: World Modeling을 “픽셀 예측”에서 “의미론적 질문 응답”으로 재정의
2. VLM의 새로운 활용: 사전학습된 VLM을 World Model로 적응시키는 방법론 제시
3. 효율적 플래닝: 그래디언트 기반 최적화로 비디오 기반 대비 430배 빠른 플래닝
4. 강건한 일반화: VLM의 세계 지식을 활용한 구성적 일반화 및 배경 강건성

로봇공학 연구자에게 주는 시사점

1. “무엇을 예측할 것인가”를 먼저 고민하라: 모든 정보가 필요하지 않다
2. Foundation Model을 적극 활용하라: 인터넷 규모의 사전학습 지식은 강력한 자산
3. 언어는 강력한 인터페이스다: 태스크 정의, 상태 표현, 목표 지정에 자연어 활용
4. 서브옵티멀 데이터도 가치 있다: 다양한 경험이 강건한 모델을 만든다

SWM은 로봇 World Model의 새로운 방향을 제시합니다. 픽셀을 재구성하는 대신 의미를 이해하는 모델, 비디오를 생성하는 대신 질문에 답하는 모델. 이러한 패러다임은 더 효율적이고, 더 일반화 가능하며, 더 해석 가능한 로봇 제어 시스템으로 이어질 수 있습니다.

파인만이 말했듯이, “복잡한 것을 단순하게 설명할 수 없다면, 충분히 이해하지 못한 것이다.” SWM은 World Modeling의 본질을 단순화함으로써, 우리가 정말 필요한 것이 무엇인지 다시 생각하게 합니다.

참고 문헌

• Berg, J., Zhu, C., Bao, Y., Durugkar, I., & Gupta, A. (2025). Semantic World Models. arXiv:2510.19818.
• Beyer, L., et al. (2024). PaliGemma: A versatile 3B VLM for transfer. arXiv:2407.07726.
• Hafner, D., et al. (2019). Learning Latent Dynamics for Planning from Pixels. ICML.
• Williams, G., et al. (2016). Aggressive Driving with Model Predictive Path Integral Control. ICRA.
• Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS.
• Zhu, C., et al. (2025). Unified World Models: Coupling Video and Action Diffusion. RSS.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

로봇 제어에서 월드 모델은 미래를 예측하여 계획에 활용하는 강력한 도구입니다. 전통적으로 월드 모델은 픽셀 단위의 영상 예측을 목표로 학습되었습니다. 그러나 픽셀 재구성 능력이 계획의 성능을 보장하지는 않습니다. 예를 들어, 로봇이 물체를 집어 올리는 작업에서는 물체의 정확한 모양 변화보다 “물체를 집었는지(yes/no)”와 같은 의미적 정보가 더 중요할 수 있습니다. 이런 문제 의식에서 저자들은 미래의 픽셀을 예측하는 대신, 작업에 필요한 의미적 정보만 예측하면 충분하다고 주장합니다. 즉, 월드 모델이 해야 할 일은 “팔이 물체에 가까워졌는가?”, “빨간 블록이 넘어졌는가?”, “파란 큐브가 집혔는가?” 등의 미래 결과에 대한 질문(Q&A)을 예측하는 것입니다.

그림 1: 전통적 영상 모델 vs. VLM vs. 의미 기반 월드 모델의 개념 비교. 전통적 VLM은 정적 관찰에 대한 질문에 답하고, 비디오 월드 모델은 미래 프레임을 생성하는 반면, 의미 기반 월드 모델(SWM)은 현재 관찰과 행동 시퀀스를 입력으로 미래 결과에 대한 질문의 답을 바로 예측한다.

본 논문은 이러한 의미 기반 월드 모델(SWM) 패러다임을 소개합니다. SWM은 로봇의 현재 영상 관찰(image)과 행동 시퀀스(action sequence), 그리고 미래 결과에 관한 자연어 질문을 입력으로 받아, 그 결과에 대한 답변(예: yes/no 확률 분포)을 출력하는 모델입니다. 다시 말해, SWM은 행동에 의해 유발될 미래 상태를 언어적 질문-응답 형태로 모델링하는 것입니다. 이렇게 하면 세계 모델의 학습 목표(질문에 대한 정답 예측)와 실제 계획 목표(작업 성공 여부)가 일치하게 됩니다. 저자들은 SWM을 훈련된 비전-언어 모델(VLM)을 기반으로 구현함으로써, VLM이 가진 대규모 사전학습 지식과 일반화 능력을 로봇 제어에 적극 활용합니다.

방법

SWM의 핵심은 비전-언어 모델에 행동 정보와 질문을 결합하는 아키텍처입니다.

구체적으로, 저자들은 Google의 오픈소스 VLM인 PaliGemma(3B) 모델을 사용합니다. PaliGemma는 SigLIP 비전 인코더(시각)와 Gemma 언어 모델(자연어)로 구성되어 있으며, 이미지와 텍스트를 동시에 처리할 수 있습니다. 여기에 행동(action) 임베딩을 추가하여 모델을 확장합니다. 즉, 이미지 관측은 SigLIP 인코더로 처리하고, 행동 시퀀스는 새로운 투영 행렬(projection matrix)을 통해 언어 모델의 토큰 공간으로 맵핑합니다. 질문(question)은 기존 VLM처럼 토크나이징(tokenizing)하여 언어 모델로 입력됩니다. 결과적으로 모델은 (이미지, 행동, 질문)을 함께 인풋으로 받아, 미래의 의미적 속성에 대한 답변을 출력합니다.

graph LR
    S(["현재 이미지 (State)"]) --> E[비전 인코더]
    A(["행동 시퀀스"]) --> P[행동 임베딩]
    E --> LM["언어 모델 (Gemma)"]
    P --> LM
    Q(["질문"]) --> LM
    LM --> Ans(["답변 (Yes/No 확률)"])

위 다이어그램은 SWM의 입력-출력 흐름을 보여줍니다. 현재 상태의 이미지(S)와 행동 시퀀스(A), 그리고 질문(Q)을 모델에 넣으면, 언어 모델이 미래 상태에 대한 답변(Ans)을 생성합니다. 이렇게 행동과 관찰을 언어 모델에 결합함으로써, SWM은 언어 공간(language space)에서 환경 동역학을 이해하게 됩니다.

학습 데이터 (SAQA 데이터셋)

SWM은 관찰-행동-질문-응답(state-action-question-answer, SAQA) 튜플로 이루어진 데이터로 지도학습됩니다. 시뮬레이터에서 수집한 궤적(trajectory) 데이터에서 임의의 시간 간격(horizon)을 정하여 행동을 샘플링하고, 그 결과로 도달한 미래 상태로부터 질문과 정답을 생성합니다. 예를 들어, 일정 시간 후 물체가 집혔는지 묻는 질문에 대해 오라클 정보로부터 “yes” 또는 “no” 응답을 얻어 훈련 데이터로 삼습니다. 여러 형태의 질문으로 발화법(paraphrasing)을 다양화하여, 질문-답변 쌍을 풍부하게 만듭니다. 이렇게 생성된 데이터로 (이미지, 행동, 질문, 정답) 쌍을 학습시켜 SWM이 미래 결과를 예측하도록 합니다.

계획(Planning)

학습된 SWM을 사용하여 로봇의 동작 계획을 수행할 수 있습니다. 우선 샘플링 기반 계획부터 살펴보겠습니다. 현재 상태 S에서 N개의 행동 시퀀스 a를 무작위 또는 베이스 정책으로 샘플링합니다. 각 a에 대해 SWM에 원하는 질문을 입력하여 답변 확률을 계산합니다. 목표 답변(예: “yes”)의 확률이 높은 행동 시퀀스를 선택함으로써, 목표 달성 확률이 최대화되는 방향으로 행동을 결정합니다. 예를 들어 Model Predictive Path Integral(MPPI)와 같은 최적화 알고리즘을 이용할 수 있습니다. 실험 결과, SWM에 MPPI를 적용하면 LangTable의 “도달”과 “블록 분리” 과제에서 거의 100% 성공률을 달성했습니다.

그러나 복잡한 과제에서는 샘플링만으로는 효율이 떨어질 수 있습니다. 이에 저자들은 그래디언트 기반 최적화 방법을 제안합니다. 우선 베이스 정책 π_b로 초기 행동 시퀀스를 뽑고, 이를 SWM에 입력해 예측 결과를 얻습니다. 그런 다음 목표 질문의 “yes” 확률을 높이도록 행동을 직접 미분하여 업데이트합니다. 수식으로 나타내면 다음과 같습니다:

J_{T}(a)\mspace{6mu} = \mspace{6mu} V_{T,c}(S,a)

여기서 S는 현재 상태, a는 최적화할 행동 시퀀스, T = \{\left( Q_{i},A_{i}^{*},W_{i} \right)\}는 질문 Q_{i}, 원하는 답변 A_{i}^{*}, 가중치 W_{i}의 집합입니다. V_{T,c}(S,a)는 SWM이 예측한 답변 확률에 기반한 목표 함수로, 이 값을 그래디언트 상향(gradient ascent) 방식으로 최대화합니다. 이 과정에서 행동에 대한 그래디언트를 계산하기 위해 SWM 내부를 미분 가능하게 사용하며, 안정적 학습을 위해 그래디언트 노름 클리핑 등을 적용합니다.

다단계 계획 (Multi-Step Tasks)

장기 작업을 다루기 위해, SWM 기반 계획을 연속적인 서브골(subgoal) 방식으로 확장할 수 있습니다. 예를 들어 블록 쌓기 과제에서는 다음과 같은 단계적 서브골을 정의합니다:

1단계: “블록을 로봇이 집었는가?” (답변: “yes”) 2단계: “블록이 다른 블록 위에 쌓였는가?” (답변: “yes”)

각 단계가 완료되었는지는 SWM에 “동일한” 질문을 묻는 것으로 검증합니다. 예를 들어 첫 단계의 질문이 “yes”로 확인되면 다음 단계 질문으로 넘어갑니다. 이처럼 각 서브골 완료 여부를 SWM 자체가 판단하므로, 별도의 종료 판정기 없이 자동으로 다단계 계획이 가능합니다.

그림 2: 예시 다단계 계획. (좌) 초기 상태, (중) 중간 상태, (우) 완료 상태. 각 단계마다 SWM에 질문을 던져 조건을 확인한다. 예: 빨간 달과 노란 오각형을 옮기는 작업에서는 “빨간 달이 노란 오각형에 닿았는가?”를 묻고, “yes”일 때 다음 단계로 진행한다.

실험 및 결과

SWM의 효과를 검증하기 위해 두 가지 시뮬레이터 환경을 사용했습니다. LangTable (Lynch et al., 2022)에서는 다양한 색과 모양의 블록들이 놓인 탁자 위에서 목표 블록으로 이동, 분리, 블록 밀기 등의 작업을 수행합니다. OGBench (Park et al., 2025)는 오프라인 목표조건 강화학습 벤치마크로, 큐브 집기와 쌓기 등의 복잡한 조작 작업을 포함합니다. 각 환경에서는 전문가(스크립트) 데모와 무작위 플레이 데모를 혼합하여 SWM을 학습했습니다. 평가 시에는 새로운 블록 색상 조합이나 배경 조건에서의 일반화 성능도 측정했습니다.

SWM의 성능은 다음과 같은 관점에서 평가되었습니다:

• QA 예측 성능: SWM이 미래 질문에 대한 정답을 얼마나 잘 예측하는지 평가했습니다. 전문가 데이터만 학습할 때와 서브옵티멀 데이터를 혼합한 경우를 비교한 결과, 혼합 학습이 가장 높은 정확도를 보였습니다. 실제로 LangTable의 OOD 설정에서, 전문가만 학습한 모델보다 무작위 데이터가 섞인 모델이 더 좋은 QA 성능을 냈습니다. 이는 서브옵티멀 데이터가 일반화 능력을 높이는 데 기여함을 의미합니다.
• 샘플링 계획 결과 (MPPI): SWM 모델에 MPPI를 적용하여 LangTable과 OGBench 작업을 해결했습니다. 표 [2]에서 보는 바와 같이, LangTable의 “도달(Reaching)” 및 “블록 분리(Separate Blocks)” 과제에서 SWM은 100% 성공률을 달성했고, OGBench의 “큐브 집기(Reach Cube)” 과제에서도 97% 성공률을 기록했습니다. 이는 의미 공간 상에서 직접 계획하는 것이 복잡한 픽셀 예측 없이도 작업을 효과적으로 수행할 수 있음을 보여줍니다.
• 베이스 정책 향상 (Policy Improvement): 보다 까다로운 과제에서는, 먼저 베이스 정책(예: 확산 정책)을 사용해 행동 궤적을 생성한 다음, SWM과 그래디언트 기반 최적화로 이를 개선했습니다. 결과를 그림 [15]에 요약했습니다. SWM으로 정제한 궤적은 기본 정책 대비 현저한 성능 향상을 보여주었고, 두 가지 비교 대상인 IDQL(오프라인 RL)과 AVD(액션 조건 영상 디퓨전) 모두를 능가했습니다. 예를 들어 LangTable과 OGBench의 평균 성공률은 각각 크게 상승했으며, 특히 AVD와 IDQL은 모든 과제에서 SWM에 비해 낮은 성능을 보였습니다.

그림 3: LangTable과 OGBench의 과제에서 베이스 정책 대비 성능 향상. 파란색은 베이스 정책, 주황색은 SWM(Graident) 기반 결과를 나타낸다. SWM 기반 최적화가 큰 향상을 보이며, 기존 AVD/IDQL 대비 우수함을 알 수 있다.

• 다단계 과제 성능: 다중 서브골 작업에서도 SWM의 장점이 확인되었습니다. 예를 들어 “빨간 오각형→파란 달, 노란 오각형→파란 큐브” 등 2-3단계 복합 과제에서, SWM은 성공률 50–66%를 기록하여 베이스 정책(2–4%)이나 AVD(3–8%)에 비해 월등히 높았습니다. 이처럼 SWM은 각 단계마다 적절한 질문을 던져 과제를 단계별로 해결할 수 있음을 보여주었습니다.
• 일반화 (Out-of-Distribution): SWM은 훈련에 없는 새로운 색상 조합이나 배경에서도 성능을 높였습니다. 예를 들어 LangTable에서 훈련에 없던 보라색 오각형을 도입한 조합 일반화 실험에서, SWM은 베이스 정책 대비 성공률이 약 +28%포인트 증가했고, OGBench의 새로운 배경 색상에서도 +15%포인트 개선을 보였습니다. 이는 SWM이 사전학습된 VLM의 일반화 능력을 계승함을 시사합니다.

• 비교 대상 대비: SWM은 두 가지 주요 베이스라인을 앞섰습니다. 하나는 IDQL(Implicit Q-Learning 기반 오프라인 RL)이며, 다른 하나는 AVD(액션-조건 영상 디퓨전)입니다. AVD는 먼저 행동으로부터 미래 영상을 생성한 뒤, SWM으로 질문을 던져 보상으로 사용하는 방식입니다. 실험 결과 SWM은 모든 과제에서 IDQL과 AVD보다 높은 성공률을 보였습니다.

비판적 고찰

의미 기반 월드 모델 SWM의 강점은 목표와 일치하는 정보를 직접 예측한다는 점입니다. 픽셀 전체를 맞추는 대신, 실제 작업에 필요한 의미적인 속성(예: 물체 간 접촉 여부)을 예측하므로, 계획 성능이 중요한 정보에 집중됩니다. 또한, VLM의 대규모 인터넷 학습 덕분에 SWM은 제한된 데이터로도 복잡한 장면과 새로운 조합을 잘 일반화할 수 있습니다. 실제로, SWM은 종전의 월드 모델들보다 적은 전제 조건으로 다중작업에 적용할 수 있습니다.

그러나 단점도 분명합니다. 현재 SWM은 이진 질문(yes/no) 형식에 최적화되어 있어, 수치적 계산이나 연속 공간의 미묘한 상태 예측에는 한계가 있을 수 있습니다. 또한 PaliGemma 3B와 같은 대형 VLM을 사용하기 때문에 계산 비용이 큽니다. 특히 계획 단계에서 수많은 샘플링이나 그래디언트 업데이트가 필요하여 실시간 제어에는 부담이 될 수 있습니다. 예를 들어 MPPI 같은 샘플링 기반 방법은 대형 모델에 대해 비효율적일 수 있습니다. 또한 현재 연구는 시뮬레이터 기반 결과에 초점을 맞추었으므로, 실제 로봇에 적용할 때는 시뮬-리얼 갭(domain gap) 문제를 고려해야 합니다.

관련 연구로는 비전-언어-행동(VLA) 모델이 있습니다. 예를 들어, Google의 PaLM-E나 SayCan은 언어 모델을 사용해 로봇 명령을 처리합니다. VLA는 주로 자연어 지시(language)→행동(token)으로 매핑하는 반면, SWM은 행동→언어 형식으로 동작합니다. 즉 SWM은 일반적인 VLA 접근법을 “뒤집은(inverted)” 형태라고 볼 수 있습니다. 이런 차이로 SWM은 언어적 출력을 통해 사전학습 지식을 유지할 수 있습니다. 기존의 잠재(latent) 또는 영상 예측 기반 월드 모델(예: Dreamer, PlaNet 등)과 달리, SWM은 언어적 추론 공간에서 미래를 예측하여, 사전학습된 비전-언어 지식을 활용하는 점에서 차별화됩니다.

응용 및 확장

SWM은 다목적 로봇과 인간-로봇 상호작용 분야에서 특히 유용할 수 있습니다. 작업 목표를 자연어 질문 세트로 표현하면, 사용자가 쉽게 의도를 지정하거나, 고수준 언어 명령을 단계별 질문으로 분해할 수 있습니다. 예를 들어 “빨간 블록이 파란 블록 위에 있는가?” 같은 질문으로 목표를 정의하고 계획할 수 있습니다. 또한, SWM은 오프라인 데이터만으로 학습 가능하므로, 실제 로봇의 경험 데이터나 시뮬레이터를 통해 다양한 환경으로 확장할 수 있습니다.

향후 연구 방향으로는 실제 로봇 적용이 있습니다. 실제 카메라 영상과 연속적 행동을 다루기 위해 SWM을 보완해야 합니다. 또한 질문 형식을 이진 응답뿐 아니라 수치 추정이나 복수 선택 문제로 확장하거나, 질문 생성을 자동화하는 연구도 흥미롭습니다. 병렬화된 대화형 계획, 시뮬-리얼 도메인 적응, 더 큰 언어-비전 모델 활용 등으로 SWM의 적용 범위가 넓어질 수 있습니다.

요약 및 결론

본 논문은 Semantic World Model (SWM)이라는 새로운 세계 모델 패러다임을 제안합니다. SWM은 전통적인 영상 예측 대신, 행동 시퀀스에 대한 미래 결과를 언어적 질문-응답 형식으로 모델링합니다. 이를 위해 저자들은 대형 VLM(PaliGemma) 아키텍처를 기반으로 행동 임베딩을 결합하여 SWM을 구축하고, 시뮬레이션 데이터로 학습하였습니다. 실험 결과 SWM은 LangTable과 OGBench 과제에서 기존의 픽셀 기반 모델이나 오프라인 RL보다 훨씬 우수한 일반화 능력을 보였습니다. 핵심 기여는 (1) SWM 개념 및 VLM 기반 아키텍처, (2) 행동-언어 결합을 통한 의미 예측, (3) 샘플링 및 그래디언트 기반 계획 기법 설계, (4) 다수의 과제에서 입증된 강력한 성능입니다. 요컨대, SWM은 언어적 사고로 미래를 예측하는 세계 모델로서, 비전-언어 학습과 로봇 제어를 잇는 다리를 놓았습니다. 향후 SWM은 물리적 로봇, 멀티모달 학습, 대화형 계획 등 다양한 응용 분야에서 중요한 통찰을 제공할 것입니다.