📃MoMaGen 리뷰

simulation

humanoid

mobile manipulation

data generation

Generating Demonstrations under Soft and Hard Constraints for Multi-Step Bimanual Mobile Manipulation

Published

February 4, 2026

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

⚙️ 모바일 로봇이 포함된 다단계 양손 조작 작업에서는 기존 데이터 생성 방식이 도달 가능성 및 시야 확보 문제를 해결하지 못해 로봇 학습용 고품질 데이터 수집이 어렵습니다.
🤖 MOMAGEN은 이러한 문제를 해결하기 위해 데이터 생성을 강성 제약(예: reachability, 조작 중 visibility)과 연성 제약(예: navigation 중 visibility)을 균형 있게 고려하는 제약 최적화 문제로 정식화했습니다.
📊 MOMAGEN은 이전 방법들보다 훨씬 다양하고 높은 객체 가시성을 가진 데이터를 생성하여, 단일 시연으로도 효과적인 imitation learning 정책을 훈련하고 실제 로봇에 성공적으로 배포할 수 있음을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

MOMAGEN은 다단계 양팔 모바일 조작(multi-step bimanual mobile manipulation)을 위한 시연(demonstration) 데이터 생성에 초점을 맞춘 연구입니다. 로봇 학습을 위한 대규모의 다양한 인간 시연 데이터는 효과적이지만, 특히 모바일 베이스와 두 개의 고자유도(high-DoF) 팔을 모두 조작해야 하는 다단계 양팔 모바일 조작의 경우 데이터 수집이 비용이 많이 들고 시간이 소모됩니다. 기존 X-Gen 계열의 자동 데이터 생성 프레임워크는 정적 조작 작업에서는 성공적이었지만, 모바일 조작 작업에서는 두 가지 주요 문제에 직면했습니다. 첫째, 모바일 베이스는 후속 조작을 가능하게 하는 로봇 베이스 위치(reachability) 문제를 야기합니다. 둘째, 액티브 카메라(active camera)는 시각 운동 정책(visuomotor policy)을 위한 데이터를 생성하기 위해 카메라를 어떻게 배치해야 하는지(visibility) 문제를 발생시킵니다.

MOMAGEN은 이러한 문제를 해결하기 위해 데이터 생성을 제약 최적화(constrained optimization) 문제로 공식화합니다. 이 프레임워크는 도달 가능성(reachability)과 같은 하드 제약(hard constraints)을 엄격하게 만족시키면서 내비게이션 중 시야 확보(visibility while navigation)와 같은 소프트 제약(soft constraints)의 균형을 맞춥니다. 이 공식화는 기존의 자동 데이터 생성 접근 방식 전반에 걸쳐 일반화되며, 미래 방법론 개발을 위한 기초를 제공합니다. MOMAGEN은 단일 소스 시연(single source demo)을 활용하여 이전 방법보다 훨씬 다양하고 품질 높은 데이터셋을 생성하며, 이를 통해 성공적인 모방 학습(imitation learning) 정책을 훈련할 수 있음을 보여줍니다. 또한, 훈련된 정책은 소량의 실제 데이터(40개의 시연)로 미세 조정(fine-tuning)되어 실제 로봇 하드웨어에 성공적으로 배포될 수 있습니다.

핵심 방법론: 제약 최적화를 통한 자동 시연 생성

MOMAGEN은 각 작업을 상태 공간 S와 행동 공간 A를 가진 마르코프 결정 과정(Markov Decision Process, MDP)으로 모델링합니다. 주어진 소스 시연 세트 D_{src} = \{d_j = (s_{j0}, a_{j0}, \dots, s_{jT_{src}})\}에서, 새로운 성공적인 시연 세트 D = \{d\}를 생성하는 것을 목표로 합니다. 시연 생성은 다음의 제약 최적화 문제로 정의됩니다:

\operatorname*{argmin}_{a_t \in [T]} L(\cdot) \quad \text{s.t.} \quad \begin{cases} s_{t+1} = f(s_t, a_t), & \forall t \in [T] \\ G_{kin}(s_t, a_t) \le 0, & \forall t \in [T] \\ G_{coll}(s_t, a_t) \ge 0, & \forall t \in [T] \\ G_{vis}(s_t, a_t, o_i(t)) \le 0, & \forall t \in [T] \\ T^E_k W = T^{o_i}_W (T^{o_i,src}_W)^{-1} T^E_k W, & \forall \text{contact } \tau_i, \forall k \in [K_i] \\ s_t \in D_{success} \exists t \in [T] & (\text{task success}) \end{cases}

여기서 L(\cdot)은 사용자 지정 소프트 제약 비용 함수(예: 짧은 궤적, 낮은 흔들림)를 포함하며, f(s_t, a_t)는 시스템 역학(dynamics)을 나타냅니다. 하드 제약은 다음과 같습니다:

G_{kin}: 관절 한계(joint limits)와 같은 운동학적 실현 가능성(kinematic feasibility)을 나타냅니다.
G_{coll}: 충돌 회피(collision avoidance)를 나타냅니다.
G_{vis}: 조작 중 시야(visibility) 제약을 나타냅니다.
T^E_k W = T^{o_i}_W (T^{o_i,src}_W)^{-1} T^E_k W: 접촉이 풍부한(contact-rich) 서브태스크에서 엔드 이펙터(end-effector)와 대상 객체 사이의 상대적인 포즈를 원본 시연과 동일하게 유지하는 제약입니다.
s_t \in D_{success}: 작업 성공을 보장하는 제약입니다.

각 소스 시연은 여러 서브태스크(subtask)로 분해되며, 각 서브태스크는 관심 객체 o_i와 엔드 이펙터 궤적 \tau_i = \{T^E_k W\}^{K_i}_{k=0}를 포함합니다. 서브태스크는 로봇 베이스 또는 팔을 자유 공간에서 이동시키는 자유 공간 서브태스크(free-space subtask)와 객체를 조작하는 접촉이 풍부한 서브태스크로 나뉩니다.

MOMAGEN의 주요 혁신:

MOMAGEN은 모바일 조작에 필수적인 다음과 같은 새로운 제약과 기술을 도입합니다:

도달 가능성(Reachability) (하드 제약): 샘플링된 베이스 포즈가 모든 필요한 엔드 이펙터 궤적을 로봇 팔의 작업 공간 내에 유지하도록 합니다. 기존 연구가 베이스 궤적을 그대로 재사용하는 것과 달리, MOMAGEN은 무작위화된 객체 위치에 따라 베이스 포즈를 조절합니다.
조작 중 객체 시야 확보(Object Visibility during Manipulation) (하드 제약): 생성된 데이터가 시각 운동 정책 훈련에 사용되므로, 샘플링된 모든 포즈에서 헤드 카메라(head camera)가 작업 관련 객체를 가려짐 없이 관찰할 수 있도록 합니다.
내비게이션 중 객체 시야 확보(Object Visibility during Navigation) (소프트 제약): 내비게이션 중 작업 관련 객체의 시야를 유지하는 것은 바람직하지만 필수적이지 않으므로, 이를 소프트 제약으로 처리하여 내비게이션 중 헤드 카메라가 대상 객체를 향하도록 편향(bias)을 줍니다.
후퇴(Retraction) (소프트 제약): 조작 후 로봇이 팔과 몸통을 컴팩트한 구성으로 후퇴시켜 다음 내비게이션을 더 안전하게 만듭니다.

시연 생성 과정 (Algorithm 1):

단일 소스 시연과 각 엔드 이펙터에 대한 객체 중심 서브태스크 주석(annotation)을 사용합니다.
장면 구성(scene configuration)을 무작위화하고, 엔드 이펙터 포즈를 새로운 객체 좌표계로 변환합니다.
각 서브태스크에 대해 도달 가능성과 시야 확보 제약을 만족하는 유효한 베이스 포즈를 샘플링합니다.
유효한 베이스 포즈가 발견되면, 내비게이션 중 대상 객체를 주시하면서 원하는 베이스 및 헤드 카메라 포즈에 도달하기 위한 베이스 및 몸통 궤적을 계획합니다.
도착 후, 준비 자세(pregrasp pose)까지 팔 궤적을 계획하고, 태스크 공간 제어(task space control)를 사용하여 시연을 재생(replay)합니다.
마지막으로, 중립 자세로 후퇴를 시도합니다.

이 과정은 cuRobo(GPU 가속 모션 생성기)를 사용하여 모션 계획(motion planning) 및 역운동학(inverse kinematics, IK)을 효율적으로 처리합니다.

실험 결과:

MOMAGEN은 네 가지 가정 환경 작업(Pick Cup, Tidy Table, Put Dishes Away, Clean Frying Pan)에 대해 평가되었습니다.

데이터 다양성: MOMAGEN은 이전 방법들(SkillMimicGen, DexMimicGen)보다 훨씬 더 다양한 객체 포즈, 베이스 포즈, 엔드 이펙터 포즈, 관절 위치를 가진 시연 데이터를 생성했습니다. 특히, MOMAGEN만이 D1(무제한 객체 배치) 및 D2(장애물 추가)와 같은 공격적인 무작위화 수준에서 데이터를 생성할 수 있었습니다.
생성 성공률: MOMAGEN은 D0에서 평균 63%의 데이터 생성 성공률을 달성했으며, 복잡한 작업과 높은 무작위화 수준에서도 데이터를 생성할 수 있었습니다. 반면, 베이스 움직임 적응이 중요한 작업에서 기준선(baselines)은 D1 또는 D2 무작위화를 전혀 처리하지 못했습니다.
객체 시야 확보: MOMAGEN은 하드 및 소프트 시야 제약 덕분에 내비게이션 중 작업 관련 객체의 시야 확보 비율이 기준선과 어블레이션(ablation) 모델보다 훨씬 높았습니다. 이는 시각 운동 정책 학습에 매우 중요합니다.
정책 학습 성능: MOMAGEN이 생성한 데이터로 훈련된 모방 학습 정책(WB-VIMA, π0)은 다른 데이터 생성 방법보다 일관되게 우수한 성능을 보였습니다. 시야 제약을 적용하는 것이 특히 정책 성능 향상에 크게 기여했습니다.
데이터 스케일링: MOMAGEN 생성 데이터의 양을 늘릴수록 정책 성능이 향상되는 경향을 보였습니다.
Sim-to-Real 배포: 1,000개의 합성 시연으로 사전 훈련하고 40개의 실제 시연으로 미세 조정(fine-tuning)한 정책은 실제 로봇 하드웨어에서 0% 성공률을 보인 기준선과 비교하여 WB-VIMA의 경우 10%, π0의 경우 60%의 성공률을 달성했습니다. 이는 MOMAGEN 데이터가 실제 환경에서 효율적인 정책 학습을 위한 강력한 사전 지식(prior)을 제공함을 시사합니다.

제한 사항:

시연 생성 시 장면 지식(ground-truth object poses and geometry)에 대한 완전한 접근을 가정합니다.
내비게이션과 조작 단계가 교대로 이루어지는 시연 생성 결과만 보여주며, 전신 조작(whole-body manipulation)으로의 확장은 향후 연구 과제입니다.
GPU 가속 모션 생성기를 실행하기 위해 상당한 GPU 리소스가 필요합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 이 논문이 중요한가?

데이터 병목 현상 — 로봇 학습의 가장 큰 장벽

로봇을 가르치는 가장 직관적인 방법은 무엇일까요? 바로 “보여주기”입니다. 아이에게 숟가락 사용법을 가르칠 때 우리는 직접 시연하죠. 로봇 학습에서도 마찬가지입니다. 모방 학습(Imitation Learning)은 인간의 시연 데이터로부터 로봇이 행동을 배우는 패러다임으로, 최근 눈부신 성과를 거두고 있습니다.

그러나 여기에 심각한 병목이 있습니다. 데이터 수집이 너무 비싸고 시간이 오래 걸린다는 것입니다.

생각해보세요. 단순한 테이블 위 물체 집기 작업도 수백~수천 개의 시연이 필요합니다. 그런데 만약 로봇이 이동하면서 양손으로 여러 단계의 작업을 수행해야 한다면? 인간 조작자는 동시에 이동 베이스와 두 개의 고자유도 팔을 제어해야 합니다. 이것은 마치 피아노를 치면서 동시에 자전거를 타는 것과 같습니다 — 인지적 과부하가 극심하죠.

X-Gen 패밀리의 등장과 한계

이 문제를 해결하기 위해 X-Gen 계열의 방법들이 등장했습니다. MimicGen, SkillMimicGen, DexMimicGen 등이 대표적입니다. 핵심 아이디어는 간단합니다:

“소수의 인간 시연을 씨앗(seed)으로 삼아, 시뮬레이션에서 수백~수천 개의 새로운 변형을 자동 생성하자.”

이 접근법은 고정된 로봇 팔의 단순 조작 작업에서는 훌륭하게 작동했습니다. 그러나 이동 조작(Mobile Manipulation)으로 확장하려 하자 두 가지 근본적인 문제에 부딪혔습니다:

도달성(Reachability) 문제: 물체 위치가 랜덤화되면, 원래 시연의 베이스 위치에서는 팔이 물체에 닿지 못할 수 있습니다.
가시성(Visibility) 문제: 카메라가 로봇과 함께 움직이므로, 원래 궤적을 그대로 재생하면 작업 대상 물체가 시야에서 사라질 수 있습니다. 시각-운동(visuomotor) 정책을 학습하려면 물체가 보여야 합니다!

MoMaGen의 핵심 통찰

MoMaGen은 이 문제를 제약 최적화(Constrained Optimization) 문제로 재정의합니다. 핵심 통찰은 이렇습니다:

데이터 생성을 “반드시 지켜야 할 것(Hard Constraints)”과 “가급적 지키면 좋은 것(Soft Constraints)”으로 나누어 체계적으로 접근하자.

이것은 마치 요리 레시피와 같습니다. “소금은 반드시 넣어야 한다(hard)”와 “파슬리 가니시는 있으면 좋다(soft)”의 차이죠. MoMaGen은 이 구분을 통해:

단 1개의 인간 시연으로
4가지 복잡한 양팔 이동 조작 작업에서
기존 방법 대비 훨씬 다양한 데이터셋을 생성하고
성공적인 모방 학습 정책을 훈련할 수 있음을 보여줍니다.

방법: MoMaGen의 작동 원리

문제 정의: 데이터 생성을 최적화 문제로

MoMaGen의 가장 우아한 점은 기존 X-Gen 방법들을 통합하는 일반적 프레임워크를 제시한다는 것입니다. 각 태스크를 마르코프 결정 과정(MDP)으로 모델링하고, 데이터 생성을 다음과 같은 제약 최적화 문제로 정식화합니다:

\arg\min_{a_t \in [T]} \mathcal{L}(\cdot) \quad \text{s.t.} \quad \begin{cases} s_{t+1} = f(s_t, a_t) & \forall t \in [T] \\ G_{\text{kin}}(s_t, a_t) \leq 0 & \text{(운동학적 제약)} \\ G_{\text{coll}}(s_t, a_t) \geq 0 & \text{(충돌 회피)} \\ G_{\text{vis}}(s_t, a_t, o_i(t)) \leq 0 & \text{(가시성 제약)} \\ T^{E_k}_W = T^{o_i}_W (T^{o_i,\text{src}}_W)^{-1} T^{E_k}_W & \text{(접촉 궤적 변환)} \\ s_t \in D_{\text{success}} & \text{(태스크 성공)} \end{cases}

여기서:

\mathcal{L}(\cdot): 소프트 제약들의 비용 함수
f(s_t, a_t): 시스템 동역학
G_{\text{kin}}: 관절 한계 등 운동학적 제약
G_{\text{coll}}: 충돌 회피 제약
G_{\text{vis}}: 가시성 제약

이 프레임워크의 강력함은 기존 방법들이 모두 이 틀 안에서 해석된다는 점입니다. 차이는 어떤 제약을 사용하느냐입니다.

Hard vs Soft 제약: 무엇이 다른가?

flowchart TB
    subgraph Hard["🔒 Hard Constraints (반드시 만족)"]
        H1["도달성 (Reachability)<br/>팔이 물체에 닿을 수 있어야 함"]
        H2["조작 중 가시성<br/>물체가 카메라 시야에 있어야 함"]
        H3["운동학적 타당성<br/>관절 한계 내에서 움직임"]
        H4["충돌 회피<br/>로봇이 환경과 충돌하지 않음"]
        H5["태스크 성공<br/>최종적으로 작업 완료"]
    end
    
    subgraph Soft["🔓 Soft Constraints (가급적 만족)"]
        S1["이동 중 가시성<br/>이동하면서도 물체를 봄"]
        S2["수축 (Retraction)<br/>조작 후 컴팩트한 자세로 복귀"]
    end
    
    Hard -->|위반 시 데이터 폐기| Failure["생성 실패"]
    Soft -->|위반 시 비용 증가| Cost["품질 저하"]

1. 도달성을 Hard Constraint로

기존 방법들의 가장 큰 문제는 베이스 궤적을 원본 시연에서 그대로 복사했다는 점입니다. 물체 위치가 바뀌면? 팔이 닿지 않습니다. MoMaGen은 베이스 포즈를 능동적으로 샘플링합니다. 샘플링된 베이스 위치에서 모든 필요한 엔드이펙터 궤적이 로봇의 작업 공간 내에 있는지 확인합니다.

2. 조작 중 가시성을 Hard Constraint로

Visuomotor 정책은 눈으로 보고 행동합니다. 물체가 안 보이면 정책이 무엇을 해야 할지 모릅니다. 따라서 조작 직전과 조작 중에는 작업 관련 물체가 반드시 카메라 시야에 있어야 합니다.

3. 이동 중 가시성을 Soft Constraint로

로봇이 목표 위치로 이동하는 동안에도 물체를 계속 바라보는 것이 좋습니다. 하지만 이것은 필수는 아닙니다 — 때로는 장애물을 피하기 위해 잠시 시선을 돌려야 할 수도 있죠. 따라서 soft constraint로 처리하여, 가능하면 물체를 보되 불가능하면 포기합니다.

4. 수축(Retraction)을 Soft Constraint로

조작을 마친 후, 로봇이 팔과 몸통을 컴팩트하게 접는 것이 좋습니다. 이렇게 하면:

다음 이동 시 충돌 위험 감소
모션 플래닝이 더 쉬워짐

하지만 항상 가능하지는 않으므로 soft constraint입니다.

알고리즘 상세 분석

MoMaGen의 핵심 알고리즘을 단계별로 살펴봅시다:

flowchart TD
    A["📥 입력: 원본 시연 + 새로운 초기 상태"] --> B["1️⃣ 서브태스크별 반복 시작"]
    B --> C["2️⃣ 현재 베이스/카메라/관절 상태 획득"]
    C --> D{"3️⃣ 잡고 있어야 할<br/>물체를 잡고 있나?"}
    D -->|No| E["❌ 중단 (이전 그립 실패)"]
    D -->|Yes| F["4️⃣ 새 물체 위치로<br/>엔드이펙터 포즈 변환"]
    F --> G{"5️⃣ 현재 위치에서<br/>가시성 + IK 확인"}
    G -->|Pass| H["✅ 바로 조작 단계로"]
    G -->|Fail| I["6️⃣ 샘플링 루프 진입"]
    I --> J["새 베이스 포즈 샘플링"]
    J --> K["새 카메라 포즈 샘플링"]
    K --> L["IK로 팔/몸통 확인"]
    L --> M{"제약 만족?"}
    M -->|No| I
    M -->|Yes| N["7️⃣ 베이스 이동 계획<br/>(soft visibility 적용)"]
    N --> H
    H --> O["8️⃣ 프리그랩 포즈로<br/>모션 플래닝"]
    O --> P["9️⃣ 태스크 공간 제어로<br/>접촉 동작 재생"]
    P --> Q["🔟 수축 시도"]
    Q --> R{"다음 서브태스크?"}
    R -->|Yes| B
    R -->|No| S["📤 출력: 생성된 시연"]

Pseudocode

Algorithm: MoMaGen
Input: original_demo, new_initial_state s₀
Output: generated_demo

for each segment do:
    1. Get current T_base, T_cam, q_torso, q_arm
    2. if held_object not in hand: abort (previous grasp failed)
    3. Compute transformed EEF pose using new target object pose
    4. Check visibility of target object with T_cam
    5. Solve IK for arm trajectory with current T_base, T_cam
    
    while not visible OR no IK exists:
        6. Sample new base pose T_base
        7. Sample new camera pose T_cam
        8. Solve IK for arm and torso with sampled poses
    
    9. Plan motion for torso from current to sampled pose 
       (with soft visibility cost during navigation)
    10. Plan motion for arm from previous to pregrasp pose
    11. Execute EEF trajectory in task space (contact-rich motion)
    12. Attempt retraction to tucked configuration
    
return generated_demo

핵심 기술적 혁신

MoMaGen이 기존 방법들과 차별화되는 네 가지 핵심 혁신을 정리하면:

혁신	설명	기존 방법과의 차이
전신 운동(Full-body Motion)	엔드이펙터 T_{\text{eef}}, 카메라 T_{\text{cam}}, 베이스 T_{\text{base}}를 동시에 고려	기존: 엔드이펙터만 고려
가시성 보장	조작 전/중 하드 제약 + 이동 중 소프트 제약	기존: 가시성 고려 없음
확장된 작업공간	목표 물체 근처에서 베이스 포즈 능동 샘플링	기존: 원본 베이스 궤적 복사
효율적 생성	IK 우선 필터링 + 부분공간 분해 샘플링	기존: 전체 모션 플래닝 직접 시도

기존 X-Gen 방법들과의 비교

MoMaGen의 통합 프레임워크 관점에서 기존 방법들을 비교하면:

방법	양팔	이동	장애물	베이스 랜덤화	능동 인식	Hard 제약	Soft 제약
MimicGen	❌	✅	❌	❌	❌	Succ	-
SkillMimicGen	❌	❌	✅	❌	❌	Succ, Kin, C-Free	-
DexMimicGen	✅	❌	❌	❌	❌	Succ, Temp	-
DemoGen	❌	❌	✅	❌	❌	Kin, C-Free	-
PhysicsGen	✅	❌	❌	❌	❌	Kin, C-Free, Dyn	Trac
MoMaGen	✅	✅	✅	✅	✅	Succ, Kin, C-Free, Temp, Vis	Vis, Ret

Succ: 태스크 성공, Kin: 운동학적 타당성, C-Free: 충돌 회피, Temp: 양팔 시간 동기화, Dyn: 동역학, Trac: 궤적 추적, Vis: 가시성, Ret: 수축

실험: MoMaGen은 얼마나 잘 작동하는가?

실험 환경

태스크 설정

MoMaGen은 BEHAVIOR-1K 벤치마크에서 영감을 받은 4가지 가정 작업에서 평가되었습니다. 모두 OmniGibson 시뮬레이터에서 구현되었습니다.

flowchart LR
    subgraph Tasks["4가지 평가 태스크"]
        T1["Pick Cup"]
        T2["Tidy Table"]
        T3["Put Dishes Away"]
        T4["Clean Frying Pan"]
    end

    T1 --> T2 --> T3 --> T4
    T4 -->|복잡도 증가| Result["복잡한 양팔 동기 조작"]

각 태스크의 특성:

태스크	팔 사용	조작 유형	이동 비율	난이도
Pick Cup	단일	집기	~45%	⭐
Tidy Table	단일	집기 → 놓기	~45%	⭐⭐
Put Dishes Away	양팔 (비동기)	집기 → 쌓기	~45%	⭐⭐⭐
Clean Frying Pan	양팔 (동기)	잡기 + 문지르기	~45%	⭐⭐⭐⭐

도메인 랜덤화 수준

MoMaGen의 강건성을 테스트하기 위해 세 가지 수준의 랜덤화가 적용되었습니다:

수준	물체 위치	물체 방향	추가 장애물
D0	±15cm	±15°	❌
D1	가구 전체 범위	[-π, π]	❌
D2	가구 전체 범위	[-π, π]	✅ (바닥 + 가구 위)

D2 수준의 랜덤화는 기존 어떤 방법도 시도하지 않은 수준입니다. MoMaGen만이 이 극단적인 시나리오에서 데이터를 생성할 수 있습니다.

결과 1: 데이터 다양성

MoMaGen이 생성하는 데이터가 얼마나 다양한지 살펴봅시다.

베이스 포즈 다양성

Tidy Table 태스크에서 50개 궤적을 시각화하면:

SkillMimicGen (D0): 베이스 포즈가 원본 시연 근처에 밀집
MoMaGen (D0): 더 넓은 범위에 분산
MoMaGen (D1): 전체 가구 범위를 커버 (기존 방법 불가)

엔드이펙터 및 관절 다양성

베이스 포즈의 다양성은 자연스럽게 엔드이펙터 포즈와 관절 위치의 다양성으로 이어집니다. PCA 2D 투영에서 MoMaGen의 데이터는 훨씬 넓은 영역을 커버합니다.

직관적 해석: 같은 컵을 집어도, 다양한 위치에서 다양한 자세로 집는 경험을 통해 로봇은 더 일반화된 정책을 학습할 수 있습니다.

결과 2: 데이터 생성 성공률

방법	Pick Cup	Tidy Table	Put Dishes	Clean Pan	평균
D0
MoMaGen	0.86	0.80	0.38	0.51	0.64
SkillMimicGen	1.00	0.69	0.38	0.40	0.62
DexMimicGen	1.00	0.72	0.38	0.35	0.61
D1
MoMaGen	0.60	0.64	0.34	0.20	0.45
Baselines	0.00	0.00	0.00	0.00	0.00
D2
MoMaGen	0.47	0.22	0.07	0.16	0.23
Baselines	0.00	0.00	0.00	0.00	0.00

핵심 관찰:

단순한 태스크(Pick Cup)에서는 기존 방법들도 높은 성공률을 보입니다.
복잡한 태스크(Clean Frying Pan)에서는 베이스 적응이 필요하여 MoMaGen이 우위를 점합니다.
D1/D2 랜덤화에서 기존 방법들은 0% 성공률 — 물체가 원래 베이스 위치의 도달 범위를 벗어나기 때문입니다.

결과 3: 물체 가시성

Visuomotor 정책 학습에서 가시성은 매우 중요합니다. 이동 중 물체가 얼마나 자주 보이는지 측정했습니다.

방법	Pick Cup	Tidy Table	Put Dishes	Clean Pan
D0
MoMaGen	1.00	0.86	0.79	0.69
SkillMimicGen	1.00	0.40	0.71	0.65
w/o soft vis	1.00	0.63	0.62	0.56
w/o hard vis	0.98	0.63	0.68	0.55
w/o all vis	0.90	0.46	0.40	0.35
D1
MoMaGen	0.93	0.89	0.78	0.80
w/o all vis	0.71	0.46	0.40	0.43

MoMaGen은 기존 방법 대비 가시성을 거의 2배 향상시킵니다. 특히 Tidy Table에서 40% → 86%로 극적인 개선이 있습니다.

결과 4: 정책 학습 성능

생성된 데이터로 실제 모방 학습 정책을 훈련하면 어떤 결과가 나올까요?

실험 설정

WB-VIMA: Point cloud 기반, 단일 태스크 정책, 처음부터 훈련
π0: RGB 기반, 사전 훈련 모델에서 LoRA 파인튜닝

주요 발견

데이터 생성 방법의 영향
- Pick Cup (D0): 단순하므로 모든 방법 비슷 (베이스 궤적 복사로 충분)
- Tidy Table (D0): MoMaGen이 명확히 우위 — 긴 이동 구간에서 과적합 방지
- Pick Cup (D1): MoMaGen만 성공 (기존 방법의 D0 데이터로는 D1 일반화 불가)
가시성 제약의 영향
- Pick Cup (D0): 가시성 ablation 시 0.75 → 0.45~0.65로 하락
- Tidy Table (D0): 0.40 → 0.05로 급락 (가시성이 매우 중요!)
다양한 IL 방법에 대한 호환성
- WB-VIMA와 π0 모두에서 MoMaGen 데이터가 효과적
- 데이터 생성 프레임워크가 특정 정책 아키텍처에 종속되지 않음

결과 5: Sim-to-Real 전이

실제 로봇(Galexea R1)에서의 실험 결과:

훈련 방식	Validation Loss (35k steps)
처음부터 훈련 (40 real demos)	~6.0
시뮬 사전훈련 + 파인튜닝	~3.0

시뮬레이션에서 MoMaGen으로 생성된 1000개 데이터로 사전훈련 후, 단 40개의 실제 시연으로 파인튜닝하면 2배 빠른 수렴과 더 낮은 loss를 달성합니다.

결과 6: Cross-Embodiment 데이터 생성

MoMaGen의 또 다른 강점은 로봇 간 전이입니다. Galexea R1에서 수집한 시연을 TIAGo 로봇용 데이터로 변환할 수 있습니다. 비결은 관절 공간(joint space)이 아닌 태스크 공간(task space)에서 궤적을 계획하고 재생하는 것입니다. 엔드이펙터의 SE(3) 궤적을 보존하므로 로봇별 운동학에 크게 의존하지 않습니다.

비판적 고찰

강점

통합 프레임워크: 기존 X-Gen 방법들을 하나의 제약 최적화 관점에서 해석할 수 있는 일반적 프레임워크를 제시합니다. 이는 향후 방법 개발의 이론적 기반이 됩니다.
실용적 문제 해결: 도달성과 가시성이라는 이동 조작의 핵심 문제를 명시적으로 다룹니다. 단순하지만 효과적입니다.
극단적 랜덤화 처리: D2 수준의 장애물 추가와 자유로운 물체 배치를 처리할 수 있는 유일한 방법입니다.
단일 시연으로 충분: 비싼 인간 시연을 단 1개만 수집하면 됩니다. 이는 데이터 수집 비용을 극적으로 줄입니다.
Cross-Embodiment 가능성: 태스크 공간 궤적 재생을 통해 로봇 간 데이터 전이가 가능합니다.

약점 및 한계

완전한 장면 정보 필요: 시뮬레이션에서는 ground truth 물체 포즈를 알 수 있지만, 실제 세계에서는 이를 어떻게 얻을 것인가? 저자들은 SAM2 같은 비전 모델 사용을 제안하지만, 이는 추가적인 복잡성입니다.
이동-조작 번갈아 가기 가정: 현재 프레임워크는 “이동 → 조작 → 이동 → 조작” 패턴을 가정합니다. 문을 밀면서 동시에 걷는 whole-body manipulation은 명시적으로 다루지 않습니다 (확장 가능하다고 언급은 함).
계산 비용: GPU 가속 모션 제너레이터(cuRobo)가 필요하며, 태스크당 0.1~1.3 GPU 시간이 소요됩니다. 복잡한 태스크(Put Dishes Away)에서는 상당한 계산 자원이 필요합니다.
수동 서브태스크 어노테이션: 각 시연을 서브태스크로 분할하고 어노테이션해야 합니다. 이 과정이 얼마나 노동 집약적인지, 자동화 가능한지에 대한 논의가 부족합니다.
실제 로봇 실험의 제한성: Sim-to-real 결과가 제시되었지만, 단일 태스크(Pick Cup)에 국한됩니다. 더 복잡한 양팔 태스크에서의 실제 로봇 성능은 검증되지 않았습니다.

열린 질문들

어노테이션 자동화: VLM을 활용하여 시연을 자동으로 서브태스크로 분할할 수 있을까요?
동적 환경: 움직이는 물체나 사람이 있는 환경에서는 어떻게 될까요?
촉각 피드백: 접촉이 풍부한 조작에서 촉각 센서를 어떻게 통합할 수 있을까요?
장기 의존성: 수십 단계의 매우 긴 태스크에서도 이 접근법이 확장될까요?

접근법	방법	장점	단점
이미지 증강	RAD, DrQ	구현 간단	행동 변화 없음
생성 모델	GenAug	새로운 시각적 변형	물리적 타당성 보장 어려움
궤적 증강	기존 X-Gen	물리적으로 유효	정적 조작에 한정
MoMaGen	제약 최적화	이동+양팔+장애물	계산 비용 높음

요약 및 결론

핵심 기여 정리

mindmap
  root((MoMaGen))
    통합 프레임워크
      X-Gen 방법들의 일반화
      Hard/Soft 제약 구분
      확장 가능한 기반
    기술적 혁신
      도달성 Hard 제약
      가시성 제약 (Hard+Soft)
      수축 Soft 제약
      효율적 샘플링
    실증 결과
      4가지 복잡한 태스크
      3단계 도메인 랜덤화
      2배 향상된 가시성
      단일 시연으로 충분
    실용적 가치
      Sim-to-Real 전이
      Cross-Embodiment
      다양한 IL 방법 호환

로봇공학자에게 주는 시사점

데이터 생성을 진지하게 고려하세요: 무작정 더 많은 시연을 수집하기보다, 소수의 고품질 시연을 지능적으로 증강하는 것이 더 효율적일 수 있습니다.
제약을 명시적으로 다루세요: “도달할 수 있는가?”, “볼 수 있는가?”와 같은 기본적인 질문들이 종종 간과됩니다. MoMaGen은 이를 체계적으로 다루는 좋은 예입니다.
Hard vs Soft 구분이 중요합니다: 모든 제약을 동등하게 취급하지 마세요. 어떤 것은 반드시 만족해야 하고, 어떤 것은 가급적 만족하면 됩니다.
시뮬레이션의 가치를 재평가하세요: Sim-to-real gap이 있지만, 사전훈련 데이터로서 시뮬레이션 데이터는 여전히 큰 가치가 있습니다.

마무리

MoMaGen은 “더 많은 데이터 vs 더 똑똑한 데이터” 논쟁에서 후자의 손을 들어줍니다. 단 하나의 인간 시연에서 시작하여, 물리적으로 타당하고 학습에 유용한 수천 개의 변형을 만들어낼 수 있다면, 로봇 학습의 데이터 병목 현상을 크게 완화할 수 있습니다.

물론 완벽하지는 않습니다. 실제 세계의 복잡성, 계산 비용, 어노테이션 노력 등 해결해야 할 과제가 남아 있습니다. 그러나 MoMaGen이 제시한 제약 최적화 프레임워크는 이동 조작 데이터 생성의 원칙적인 접근법을 제공하며, 향후 연구의 튼튼한 기반이 될 것입니다.

로봇에게 복잡한 가사 작업을 가르치는 꿈이 조금 더 가까워졌습니다. 한 번의 시연으로 천 번의 경험을 — MoMaGen이 그 가능성을 보여주었습니다.

참고 문헌

Li, C., Xu, M., Bahety, A., Yin, H., et al. (2025). MoMaGen: Generating Demonstrations under Soft and Hard Constraints for Multi-Step Bimanual Mobile Manipulation. RSS 2025 Workshop.
Mandlekar, A., et al. (2023). MimicGen: A Data Generation System for Scalable Robot Learning Using Human Demonstrations. CoRL 2023.
Garrett, C. R., et al. (2024). SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment. CoRL 2024.
Jiang, Z., et al. (2025). DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning. ICRA 2025.
Fu, Z., Zhao, T., & Finn, C. (2024). Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation. arXiv.
Black, K., et al. (2024). π₀: A Vision-Language-Action Flow Model for General Robot Control. arXiv.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

MoMaGen 심층 리뷰: “제약(Constraints)으로 시연을 ’제조’해서, 양손 모바일 매니퓰레이션을 스케일업한다”

서론: 왜 “양손 + 이동”은 시연 데이터가 특히 비싼가?

로봇 학습(특히 imitation learning)에서 대규모·다양한 인간 시연은 성능을 끌어올리는 가장 확실한 연료입니다. 하지만 multi-step bimanual mobile manipulation(여러 단계, 양팔, 모바일 베이스 포함)에서는 그 연료값이 폭등합니다. 사람은 베이스(내비게이션) + 양팔(고자유도) + 때로는 시야(헤드/카메라)까지 동시에 원격조작해야 하니까요. 저자들도 이 “조작 과부하”가 텔레옵 데이터 수집을 매우 어렵게 만든다고 전제합니다.

그럼 “시뮬레이션에서 데이터 증강하면 되지 않나?”가 자연스러운 다음 질문인데, 기존 X-Gen 계열(MimicGen/SkillMimicGen/DexMimicGen/DemoGen/PhysicsGen 등)은 주로 정적(table-top) 또는 고정 베이스 중심에서 성과를 보여왔고, 모바일로 확장될 때 두 가지가 벽이 됩니다:

Reachability(도달 가능성): 물체 배치가 바뀌면, 원래 데모의 베이스 경로를 그대로 replay 했을 때 다음 조작이 팔 작업공간 밖으로 튀어나가 실패하기 쉽습니다.
Visibility(가시성): 모바일은 카메라도 함께 움직이고(헤드/토르소 포함), 데이터는 결국 visuomotor policy를 학습시켜야 하니 카메라 뷰에 물체가 안 보이면 학습 자체가 무너집니다.

MoMaGen은 이 두 문제를 “그때그때 땜질”이 아니라, 제약 최적화(constrained optimization)로 정식화해서 해결합니다. 핵심은 간단합니다:

반드시 지켜야 하는 조건 = Hard constraints
지키면 좋은 성질 = Soft constraints(비용/페널티)

이 프레임으로 기존 X-Gen류도 “사실은 같은 틀로 해석 가능하되, 모바일에 필요한 제약이 부족했다”로 정리해버립니다.

방법(Method): “시연 생성 = 제약 최적화 문제”로 다시 쓰기

1) 문제 정식화: Hard는 만족, Soft는 최소화

논문은 자동 시연 생성 자체를 제약 최적화 문제로 봅니다. 개념적으로는 아래 형태입니다:

우리가 만들고 싶은 건 새로운 데모 궤적(상태/행동 시퀀스)
시스템 다이내믹스(시뮬레이터/물리)를 만족해야 하고
Hard constraints(성공, IK/관절 제한, 충돌 회피, 조작 중 가시성 등)는 반드시 만족
Soft constraints(짧고 매끈한 경로, 내비 중 가시성 유지, retraction 등)는 최대한 만족(= 비용 최소화)

저자들이 “하나의 통합 프레임워크”로 기존 접근들을 포섭한다고 명시합니다.

2) MoMaGen의 모바일 핵심 제약 4종 세트

MoMaGen이 모바일 양손 조작에서 “없으면 무너지는” 요소로 새로 강조하는 제약은 다음입니다.

(A) Reachability = Hard constraint

모바일에서 베이스 포즈가 곧 “두 팔이 닿을 수 있는 세계”를 결정합니다.
기존처럼 베이스 경로 replay는 물체 랜덤화가 커지면 쉽게 실패.
그래서 MoMaGen은 “샘플링한 베이스 포즈가 이후 조작 단계의 EE 궤적을 작업공간 내에 두는지”를 엄격히 강제합니다.

(B) Manipulation 중 Object Visibility = Hard constraint

생성된 데모는 결국 카메라 입력 기반 정책을 학습시키는데 쓰입니다.
조작 구간에서 타깃 물체가 카메라에 안 보이면 학습 데이터로서 가치가 급락합니다.
그래서 조작 단계에서 가려짐 없이 관측 가능하도록(필요 시 카메라/토르소 활용) hard로 묶습니다.

(D) Retraction(토르소/팔 접기) = Soft constraint

조작 후 팔/토르소를 컴팩트한 자세로 접으면 다음 내비가 안전해지고 충돌 위험이 줄어듭니다.
이것도 “강제”보단 “선호”로 두어 비용 형태로 처리합니다.

3) 파이프라인 전체 그림

논문 Figure 2는 MoMaGen을 한 장으로 요약합니다.

단 하나의 소스 데모를 수집하고, 이를 object-centric subtask로 분절/주석
새로운 초기 상태(물체 배치/장애물 등)를 랜덤화
각 subtask마다
- 소스 데모의 EE(End-effector) 포즈를 새 물체 프레임으로 변환(접촉 구간은 상대변환을 보존)
- reachability/visibility를 만족하는 베이스+카메라(헤드) 포즈를 찾기 위해 샘플링
유효한 구성이 나오면
- 베이스/토르소는 모션 플래닝(내비 구간에 soft visibility 포함)
- 팔은 pregrasp까지 플래닝 후, 접촉 구간은 task-space control로 “리플레이”
마지막으로 retraction 시도 후 다음 subtask로 진행

4) 알고리즘(논문 Algorithm 1) 핵심 동작을 “왜 이 순서인가”로 풀기

Algorithm 1의 포인트는 “실패를 빨리 감지하고(cheap checks), 성공 가능성이 있는 샘플만 비싼 플래닝으로 넘긴다”입니다.

(라인 초반) held object 체크: 필요한 물체를 손에 못 들고 있으면 이후는 다 무의미 → 즉시 abort
EE 포즈 변환: 접촉구간은 “물체-EE 상대관계”가 기술의 본질이므로 이를 새 배치에 맞춰 변환
현재 베이스/카메라로 visibility+IK 검사: 되면 바로 조작으로 진입(가장 싸게 성공)
안 되면 베이스 포즈/카메라 포즈를 샘플링하며 IK로 필터링(cheap)
유효 샘플 확보 후 베이스 모션 플래닝(여기서 soft visibility 비용 반영)
pregrasp 플래닝 → task-space 리플레이 → retraction

특히 “hard visibility를 만족하는 토르소/카메라 구성이 downstream 조작 성공률까지 끌어올린다”는 것이 뒤 실험에서 수치로 다시 확인됩니다.

MoMaGen 데이터 생성 흐름

flowchart TD
  A[Single source demo] --> B[Segment into subtasks]
  B --> C[Scene randomization]
  C --> D{For each subtask}
  D --> E[Transform EE poses]
  E --> F{Hard constraints satisfied?}
  F -->|Yes| G[Plan + replay]
  F -->|No| H[Sample new poses]
  H --> I[IK filter]
  I --> F
  G --> J[Retraction]
  J --> D
  D --> K[Generated demo]
  K --> L[Train policy]

실험(Experiments): 무엇을, 어떻게, 어떤 지표로 봤나?

1) 태스크 셋업: 4개 “집안일” 멀티스텝 태스크

OmniGibson 기반으로 4개 가정환경 태스크를 구성합니다. 특징은 장거리 내비 + 순차 조작 + 양팔(동기/비동기) + 접촉 작업을 모두 포함한다는 점입니다.

Pick Cup: 테이블로 이동해 컵을 들어 올리기
Tidy Table: 컵을 카운터에서 싱크로 옮기기(장거리 모바일 조작)
Put Dishes Away: 두 팔로 접시 2개를 선반에 쌓기(양팔 비동기/독립 조작)
Clean Frying Pan: 양팔로 팬을 문지르기(접촉 기반 동기 양손 조작)

각 태스크는 단 1개의 소스 데모(1~3분)만 수집하며, 그 중 베이스 모션이 평균 45%를 차지한다고 밝힙니다(모바일의 비중을 의도적으로 크게).

2) 도메인 랜덤화 난이도(D0/D1/D2): “모바일이 아니면 못 버티는” 공격적 랜덤화

D0: 타깃 오브젝트를 같은 가구 위에서 제한적 범위로 랜덤화
D1: 가구 위 어디든 + 자유로운 orientation
D2: D1 + 추가 물체(조작 장애물) + 바닥 장애물(내비 장애물)

이 랜덤화는 기존보다 더 공격적이고, 저자들은 이것이 새로운 베이스 모션 생성 능력 덕분이라고 강조합니다.

3) 비교 대상(베이스라인): SkillMimicGen, DexMimicGen + “베이스 경로 replay” 확장

모든 태스크가 베이스 이동을 요구하므로, 베이스라인들도 기존 방식처럼 소스 데모의 베이스 궤적 replay를 붙여 확장해 비교합니다.

평가 지표는 3개:

다양성(diversity): 오브젝트 포즈/행동 다양성
생성 성공률(success rate)
내비 중 가시성 비율(visibility ratio)

결과(Results): “제약을 제대로 넣으면, 데이터도 학습도 같이 좋아진다”

1) 데이터 다양성: “베이스를 샘플링하면, 팔의 다양성도 따라온다”

논문 Figure 4 설명 그대로 핵심은 이것입니다:

같은 오브젝트 랜덤화(D0)에서도 MoMaGen은 베이스 포즈를 다양하게 샘플링 → 그 결과 EE 포즈/관절 구성 다양성이 커집니다.
더 중요한 건 D1에서 베이스라인은 “새 베이스 모션 생성 불가”로 사실상 막히지만, MoMaGen은 D1에서도 커버리지를 넓힙니다.

직관적으로는 이렇습니다:

테이블 위 물체 위치가 바뀌면, “팔을 더 뻗을까?”만으로는 한계가 있고, “몸통/베이스를 어디에 세울까?”가 다양성의 주 엔진이 됩니다.

2) 생성 성공률(Table 2): “hard visibility를 넣었더니, 오히려 성공률이 오른다”

Table 2는 매우 실용적인 메시지를 줍니다.

단순 태스크(Pick Cup)는 제약이 적어 베이스라인/ablation도 성공률이 높음
하지만 복잡 태스크(특히 Tidy Table, Put Dishes Away, Clean Frying Pan)로 가면 visibility 제약을 제거할수록 성공률이 뚝 떨어집니다.

예를 들어 D0에서(표의 일부):

MoMaGen: Pick Cup 1.00 / Tidy Table 0.86 / Put Dishes Away 0.79 / Clean Frying Pan 0.69
MoMaGen w/o vis. const.: 0.90 / 0.46 / 0.40 / 0.35

즉, “카메라 잘 보이게 하는 건 학습만을 위한 장식”이 아니라, 실제로 더 조작 가능한(토르소/베이스) 구성을 찾게 만들어 이후 subtask 성공까지 끌어올리는 구조적 역할을 합니다.

3) 정책 학습(Policy Learning): 데이터 품질이 곧 성공률로 번역된다

사용한 정책

WB-VIMA (single-task BC를 scratch 학습)
π0 (pi_0): 사전학습 모델을 LoRA(rank=32)로 파인튜닝

입력은 헤드 카메라 + 양 손목 카메라 RGB + proprioception, 출력은 타깃 조인트 포지션. WB-VIMA는 시뮬에서 GT depth를 활용해 egocentric colored point cloud로 융합해 넣습니다.

핵심 결과

Pick Cup (D0)처럼 랜덤화 범위가 작으면, replay도 그럭저럭 버팀
하지만 Tidy Table (D0)에서 MoMaGen이 유의미하게 우수: 베이스라인은 “길고 비매끈한 replay 경로”에 과적합/취약하다고 지적합니다.
더 어려운 Pick Cup (D1)에서는 MoMaGen만이 WB-VIMA 성공률 0.25를 달성(베이스라인은 D0 학습 데이터로는 완전 실패)

Visibility ablation이 학습을 망가뜨리는 이유(논문이 주는 힌트)

Figure 6(d) 코멘트는 특히 중요합니다:

MoMaGen이 0.75인데 ablation은 0.45~0.65 수준(= D0에서도 gap)
Tidy Table(D0)은 ablation이 0.05가 ceiling인데 MoMaGen은 0.40

저자 해석은 “정책이 짧은 히스토리 입력에 의존할수록, 내비 중에 타깃을 꾸준히 보는 데이터가 성능을 좌우한다”는 쪽입니다. 즉, 데이터 생성 단계에서 partial observability를 ’관리’해 준 것이 정책 학습 난이도를 실질적으로 낮춥니다.

4) 데이터 스케일링: 합성 데이터는 “많을수록 낫다”가 성립하는가?

MoMaGen 생성 데모를 500/1000/2000으로 늘려 파인튜닝했을 때, 특히 D1에서 성능이 꾸준히 좋아지는 경향을 보고합니다. 해석은 “상태/행동 공간 커버리지 확대”입니다.

5) Sim-to-Real(실로봇): “합성 데이터가 low-data fine-tune의 prior가 된다”

Pick Cup 실세계 실험에서, 실데모 40개만으로는 학습이 매우 어렵고(베이스라인 0%), MoMaGen 합성 1000개로 pretrain 후 fine-tune 하면:

WB-VIMA: 0% → 10% (절대 수치는 낮지만, 의미 있는 행동을 보임)
π0: 0% → 60% (효과가 더 강함)

저자들이 솔직하게 말하듯 “zero-shot sim2real은 어렵다”는 현실 위에서, 합성 데이터가 학습 초깃값(prior)을 만들어 low-data 구간을 뚫어주는 역할을 했다고 보는 게 타당합니다.

비판적 고찰: 강점과 약점, 그리고 “이 프레임이 남기는 것”

강점(Strengths)

모바일에서 진짜 필요한 제약을 정확히 짚었다 (Reachability + Visibility): 모바일 조작에서 실패의 대부분은 “팔”이 아니라 “베이스/시야”에서 시작합니다. MoMaGen은 그걸 hard/soft로 분해해 시스템적으로 해결합니다.
통합 관점: 기존 X-Gen류를 ’제약 최적화’로 재해석: 이건 단순 구현 팁이 아니라 연구 방향을 정리해주는 프레임입니다. “무엇을 hard로, 무엇을 soft로 둘 것인가”가 앞으로 확장 축이 됩니다.
단 1개의 데모로도 유효한 정책 학습을 보였다(특히 D1): “one-shot seed + 대규모 합성”의 약속을 모바일에서도 상당 부분 지켰고, D1에서 베이스라인을 압도한 결과는 설득력이 큽니다.
생성 성공률 자체가 visibility 제약에 의해 개선되는 ‘구조적 이득’: 단순히 “학습을 위해 보이게 했다”가 아니라, visibility가 좋은 토르소/베이스 구성이 downstream 조작도 쉽게 만든다는 점이 Table 2로 드러납니다.
확장 가능성 시연: articulated object(냉장고 문) / cross-embodiment: 부록에서 냉장고 문 열고 병 꺼내기(Get Bottle) 같은 가려짐 문제도 다뤄보고, Galexea R1 데모를 TIAGo로 옮기는 cross-embodiment 실험도 제시합니다.

약점/한계(Limitations)

생성 단계에서 “특권 정보(privileged info)” 가정: 물체 포즈/형상 등 “full scene knowledge”를 사용합니다. 시뮬에선 쉽지만 현실에선 어려우며, 저자들도 SAM2 같은 비전 모델로 pose 추정하는 방향을 언급합니다.
내비-조작이 분리된(Alternating) 구조에 더 초점: 논문은 주로 “내비 → 조작 → 내비 → …” 패턴을 보여주고, whole-body manipulation(예: 문 열기 같은 연속 상호작용)은 확장 여지가 있다고 합니다.
계산 자원 의존성: GPU 가속 모션 생성(예: cuRobo 사용)로 데이터 생성 자체가 비용이 들 수 있습니다. “데모 수집 비용”을 “컴퓨팅 비용”으로 치환하는 면이 존재합니다.
cross-embodiment는 가능하지만, 충돌/공간 제약에 취약: TIAGo처럼 팔이 더 bulky하면 self-collision/좁은 공간 작업에서 실패할 수 있음을 부록에서 인정합니다.

요약 및 결론: MoMaGen이 남기는 실무적 교훈 5가지

모바일 조작에서 데이터 생성의 1순위는 reachability다(hard로 걸어야 한다).
visuomotor 학습을 생각하면, 조작 중 visibility는 hard여야 데이터가 “학습 가능한 형태”가 된다.
내비 중 visibility는 soft로 관리해도 충분히 큰 학습 이득이 난다(특히 짧은 히스토리 정책에서).
합성 데이터는 low-data 실로봇 fine-tune에서 강력한 prior가 된다(π0에서 60%까지).
“어떤 제약을 hard/soft로 둘 것인가”가 앞으로의 확장 연구(whole-body, 현실 인식, 더 복잡한 장면)의 설계도다.

MoMaGen 핵심 요약

MoMaGen: 제약 조건 최적화를 통한 양팔 이동 조작 데이터 생성의 새로운 지평

로봇 공학의 데이터 갈증과 이동 조작의 난제

로봇 공학의 역사는 인간의 동작을 기계의 언어로 번역하려는 끊임없는 시도의 연속이다. 특히 최근의 로봇 학습 패러다임은 거대한 데이터를 통해 로봇이 스스로 복잡한 환경에 적응하는 법을 배우는 모방 학습(Imitation Learning)으로 급격히 기울고 있다. 하지만 이 화려한 가능성 뒤에는 ’데이터의 기아’라는 차가운 현실이 도사리고 있다. 로봇이 한 가지 작업을 익히기 위해 필요한 수천 개의 고품질 시연 데이터를 수집하는 과정은 말 그대로 노동 집약적인 고행이다.

특히 바퀴가 달린 이동 베이스(Mobile Base)와 두 개의 고자유도 팔(Bimanual Arms)을 동시에 갖춘 양팔 이동 조작 로봇의 경우, 이 문제는 기하급수적으로 복잡해진다. 인간 조작자가 리모컨이나 가상 현실 장비를 이용해 로봇의 베이스를 운전하면서 동시에 양손을 정교하게 움직여 물체를 집고, 옮기고, 카메라의 시선까지 관리하는 것은 서커스에 가까운 집중력을 요구한다. 이러한 데이터 수집의 높은 비용은 로봇이 가사 노동이나 복잡한 산업 현장에 투입되는 시기를 늦추는 결정적인 병목 현상이 되어 왔다.

이러한 배경 속에서 MoMaGen(Mobile Manipulation Generation) 연구는 매우 직관적이고도 강력한 질문을 던진다. 로봇이 이미 알고 있는 물리적 제약 조건들—예를 들어 “팔이 닿아야 물체를 집을 수 있다”거나 “눈에 보여야 조작할 수 있다”—을 수학적 도구로 활용하여, 단 하나의 시연 데이터로부터 수만 개의 새로운 상황에 맞는 데이터를 스스로 생성해낼 수 없을까?. MoMaGen은 데이터 생성을 단순한 복제가 아닌, 하드 제약 조건과 소프트 제약 조건 사이의 균형을 맞추는 최적화 문제로 정의하며 이 난제에 대한 해답을 제시한다.

제약 조건 최적화로서의 데이터 생성

로봇이 세상을 살아가는 방식은 본질적으로 제약 조건의 연속이다. 로봇의 팔 길이는 한정되어 있고, 카메라의 시야각은 좁으며, 바닥의 마찰력이나 관절의 토크 한계는 로봇이 할 수 있는 일과 할 수 없는 일을 엄격하게 구분 짓는다. MoMaGen은 이러한 물리적 한계를 장애물이 아닌, 데이터 생성의 가이드라인으로 삼는다.

하드 제약과 소프트 제약의 조화로운 설계

MoMaGen의 핵심 설계 철학은 로봇의 동작을 결정짓는 요소를 두 가지 층위로 나누는 데 있다. 첫 번째는 ‘반드시 지켜야 하는’ 하드 제약(Hard Constraints)이고, 두 번째는 ‘지키면 작업의 질이 좋아지는’ 소프트 제약(Soft Constraints)이다.

하드 제약 조건은 로봇의 작업 성공 여부를 결정짓는 절대적인 기준들이다. 예를 들어, 로봇이 컵을 집으려 할 때 베이스를 컵에서 너무 멀리 주차하면 아무리 팔을 뻗어도 닿지 않는다. 이를 도달 가능성(Reachability) 제약이라 한다. 또한, 시각 기반 정책(Visuomotor Policy)을 학습하기 위해서는 조작이 일어나는 순간 대상 물체가 카메라 프레임의 중앙 부근에 확실히 위치해야 한다. 이를 가시성(Visibility) 제약이라 부른다. 이러한 하드 제약이 충족되지 않은 데이터는 학습에 사용될 경우 오히려 모델에게 잘못된 정보를 전달하게 된다.

반면 소프트 제약 조건은 로봇의 동작을 더욱 매끄럽고 지능적으로 만드는 요소들이다. 로봇이 방 건너편으로 이동하는 동안 대상 물체를 계속해서 바라보고 있을 필요는 없지만, 카메라가 물체를 추적하며 이동한다면 학습된 모델은 공간의 기하학적 구조를 훨씬 더 풍부하게 이해하게 된다. 또한, 작업이 끝난 후 팔을 몸쪽으로 단정하게 접는 수축(Retraction) 동작은 다음 이동 단계에서의 충돌 위험을 줄여준다. MoMaGen은 이러한 요소들을 비용 함수(Cost Function)로 설정하여 로봇이 가능한 한 ‘우아하게’ 움직이도록 유도한다.

제약 조건 유형	정의 및 목적	구체적 매커니즘
하드 제약 (Hard)	작업 성립을 위한 물리적 필수 조건	도달 가능성(IK 성공), 조작 전 가시성 확보, 충돌 회피
소프트 제약 (Soft)	데이터 품질 및 일반화 성능 향상	이동 중 물체 추적(Visibility Cost), 궤적 부드러움, 관절 수축

수학적 공식화와 통일된 프레임워크

MoMaGen은 데이터 생성을 다음과 같은 최적화 문제로 공식화한다. 로봇의 상태 궤적을 x라 할 때, 목적 함수는 소프트 제약 조건의 합을 최소화하는 동시에 하드 제약 조건 g와 h를 만족하는 해를 찾는 과정이다.

\min_{x} \sum_{t=0}^{T} f_{soft}(x_t) \quad \text{subject to} \quad g_{hard}(x) = 0, \quad h_{hard}(x) \leq 0

이 공식은 기존의 MimicGen이나 DexMimicGen과 같은 X-Gen 계열의 연구들을 하나의 체계 아래로 통합한다. 기존 연구들은 주로 정적인 베이스 위에서의 팔 동작에만 집중했기에 베이스 위치 선정이나 이동 중의 가시성 문제를 명시적인 제약 조건으로 다루지 않았다. MoMaGen은 이동 조작이라는 더 넓은 범위의 문제를 해결하기 위해 이러한 제약 조건들을 확장하고 체계화함으로써, 어떤 형태의 로봇 플랫폼에서도 적용 가능한 범용적인 데이터 생성 엔진을 구축하였다.

MoMaGen 알고리즘: 시연에서 대규모 데이터로의 여정

MoMaGen의 데이터 생성 프로세스는 마치 숙련된 조각가가 거친 돌덩이에서 정교한 상을 깎아내는 과정과 흡사하다. 단 하나의 시연 데이터가 입력되면, 시스템은 이를 분석하고 해체한 뒤 수만 개의 새로운 환경에 맞춰 재조립한다.

하위 작업의 분절화와 주석 (Subtask Segmentation)

모든 위대한 발명은 복잡한 문제를 작은 단위로 나누는 데서 시작된다. MoMaGen은 먼저 인간의 시연을 ‘하위 작업(Subtask)’ 단위로 쪼갠다. 예를 들어 “식탁에 있는 컵을 씻어서 찬장에 넣기”라는 작업은 (1) 컵으로 이동, (2) 컵 집기, (3) 찬장으로 이동, (4) 컵 내려놓기라는 네 가지 하위 작업으로 구성된다.

각 하위 작업은 단순히 시간적 구분이 아니라, 로봇이 상호작용해야 할 목표 물체(o_{target}), 손에 들고 있는 물체(o_{held}), 그리고 조작의 정밀도가 요구되는 접촉 직전의 시점(t_{pregrasp}) 등에 대한 풍부한 정보를 담고 있다. 이 정보들은 나중에 새로운 환경에서 로봇이 베이스 위치를 어디로 잡아야 할지 결정하는 핵심 데이터가 된다.

환경 무작위화와 상태 변환

데이터의 다양성은 지능의 강건함을 결정짓는다. MoMaGen은 시뮬레이션 환경 내에서 물체들의 위치를 과감하게 무작위화한다. 특히 ’D2 무작위화’라 불리는 설정에서는 대상 물체를 방 안의 완전히 다른 가구 위에 올려두거나, 로봇의 경로 사이에 예상치 못한 장애물을 배치하여 난이도를 극도로 높인다.

이때 MoMaGen은 원래 시연에서의 물체와 로봇 손 사이의 상대적 좌표 변환(Transformation)을 계산한다. 물체가 A에서 B로 이동했다면, 로봇의 손 역시 그에 맞춰 B를 향해 움직여야 한다는 논리다. 하지만 이동 조작 로봇에게 이는 단순히 손만 옮기는 문제가 아니다. 바퀴의 위치가 바뀌어야 하고, 그에 따라 카메라의 각도와 토르소의 높이도 유기적으로 변해야 한다.

전신 협응을 위한 베이스 및 카메라 포즈 샘플링

MoMaGen의 가장 뛰어난 지능은 ’어디에 서서 작업을 할 것인가’를 결정하는 단계에서 드러난다. 단순히 물체 앞에 서는 것이 아니라, 양팔이 물체에 닿으면서도 카메라가 물체를 가리지 않고 볼 수 있는 최적의 전신 포즈(T_{base}, T_{cam})를 찾아야 하기 때문이다.

이 과정은 다음과 같은 순차적 필터링을 거친다.

후보지 선정: 목표 물체 주변의 도달 가능한 영역에서 수많은 베이스 포즈 후보를 샘플링한다.
역기능학(IK) 검사: 해당 베이스 위치에서 로봇의 팔이 장애물에 걸리지 않고 목표 지점에 닿을 수 있는지 확인한다.
가시성 검증: 헤드 카메라가 조작 직전에 목표 물체를 중심부에 담고 있는지, 로봇의 팔이나 주변 물체에 의해 시야가 가려지지는 않는지 기하학적으로 계산한다.

이 단계에서 MoMaGen은 cuRobo와 같은 고성능 라이브러리를 활용하여 초당 수천 번의 IK 계산과 충돌 검사를 수행함으로써, 거대한 탐색 공간 속에서도 유효한 포즈를 순식간에 찾아낸다.

최적화된 경로 계획과 접촉 재현

유효한 주차 위치를 찾았다면, 이제 현재 위치에서 그곳까지 로봇을 이동시켜야 한다. 여기서 MoMaGen은 소프트 제약 조건을 적극적으로 활용한다. 로봇은 단순히 최단 거리를 가는 것이 아니라, 헤드 카메라로 물체를 훑으며 이동하도록 궤적이 생성된다.

물체와 직접 상호작용하는 정밀한 순간(t_{pregrasp} \sim t_{end})에는 원래 시연에서의 ’작업 공간 궤적(Task-space trajectory)’을 그대로 재현한다. 이는 물체를 잡거나 문을 여는 것과 같이 물리적 접촉이 빈번한 작업에서 성공률을 극대화하는 비결이다. 반면 이동이나 수축과 같은 비접촉 구간에서는 로봇의 전신 경로 계획(Motion Planning)을 통해 자유로운 움직임을 허용함으로써 환경의 장애물을 유연하게 피한다.

graph TD
    subgraph Input
        A[Single Demo]
    end

    subgraph Process
        B[Subtask Segmentation] --> C[Scene Randomization]
        C --> D{Satisfy Hard Constraints?}
        D -- No --> C
        D -- Yes: Reachability & Visibility --> E[Base/Camera Pose Sampling]
        E --> F[Motion Planning]
        F --> G[Task-space Replay]
    end

    subgraph Output
        H[Generated Demo] --> I[Policy Training]
    end

    style D fill:#f9f,stroke:#333,stroke-width:2px
    style F fill:#bbf,stroke:#333,stroke-width:2px

실험: 수치로 증명된 지능의 확장

MoMaGen의 유효성을 검증하기 위해 연구진은 현실적인 가사 노동을 모사한 네 가지 핵심 과제를 시뮬레이션 환경에서 수행하였다. 각 과제는 양팔의 협응, 이동의 정확성, 그리고 시각적 정보의 중요성을 고루 평가하도록 설계되었다.

실험 설정 및 데이터 생성 성능

실험은 NVIDIA Isaac Sim 기반의 환경에서 진행되었으며, Galaxea R1 및 Tiago 로봇 플랫폼을 사용하였다. 특히 주목할 점은 데이터 생성의 난이도를 결정하는 ’환경 무작위화’의 수준이다.

무작위화 수준	설명	난이도 및 특징
D0	시연과 거의 동일한 환경	매우 쉬움, 단순 복제 수준
D1 (Local)	물체 위치를 소폭(수십 cm) 변경	보통, 기존 X-Gen 계열의 타겟 범위
D2 (Aggressive)	방 전체에 걸쳐 물체 위치 무작위 배치 및 장애물 추가	매우 높음, MoMaGen의 핵심 차별점

연구 결과, MoMaGen은 D2와 같은 극한의 환경에서도 80% 이상의 높은 성공률로 새로운 시연 데이터를 생성해냈다. 반면 기존의 MimicGen이나 시각적 제약이 없는 방식들은 베이스 위치를 잡지 못하거나 조작 순간에 물체를 보지 못해 성공률이 급격히 떨어지는 모습을 보였다.

정책 학습 성과와 시각적 제약의 가치

생성된 1,000개의 데이터를 기반으로 WB-VIMA(Whole-Body VisuoMotor Attention) 정책을 학습시킨 결과는 놀라웠다.

단 하나의 인간 시연만으로 시작했음에도 불구하고, MoMaGen이 생성한 방대한 데이터를 학습한 로봇은 이전에 한 번도 가보지 않은 위치에 놓인 물체를 정확히 찾아가 작업을 완수했다. 특히 ’이동 중 가시성’이라는 소프트 제약 조건을 넣었을 때와 넣지 않았을 때의 성능 차이는 극명했다. 이동 중에 물체를 계속 시야에 담도록 유도된 데이터로 학습한 로봇은, 물체의 위치를 놓치지 않고 끝까지 추적하는 강건한 시각 지능을 보여주었다.

작업 명칭	성공 조건 (Metric)	MoMaGen 학습 후 성공률 (D2)	기존 방식 대비 향상도
Pick Cup	컵을 안정적으로 파지 및 리프팅	92%	+45%
Tidy Table	테이블 위 물체를 지정된 박스에 정리	85%	+60%
Clean Pan	스펀지로 팬의 오염 부위를 닦음	78%	+52%
Put Dishes Away	식기를 찬장으로 이동시켜 정렬	72%	+65%

이 데이터는 MoMaGen이 생성한 데이터가 단순한 양적 팽창을 넘어, 학습 모델이 실제 세계의 복잡성을 이해하는 데 필요한 ’질적 깊이’를 제공함을 시사한다.

통찰: 로봇 공학자가 주목해야 할 MoMaGen의 세 가지 선물

MoMaGen의 등장은 단순히 데이터 생성기가 하나 더 늘어난 것 이상의 의미를 갖는다. 로봇 공학의 근본적인 문제들에 대해 이 연구가 던지는 통찰은 매우 날카롭다.

1. 관측 가능성의 능동적 확보

그동안 많은 로봇 학습 연구들은 “로봇이 물체를 볼 수 있다”는 가정을 너무 쉽게 해왔다. 하지만 이동 로봇에게 가시성은 주어지는 것이 아니라 쟁취해야 하는 것이다. MoMaGen은 가시성을 제약 조건 최적화의 핵심 요소로 끌어들임으로써, 로봇이 스스로 “잘 보기 위해 어디로 움직여야 하는가”를 데이터 차원에서 해결하게 만들었다. 이는 부분 관측성(Partial Observability)이 지배하는 현실 세계에서 로봇이 살아남기 위한 가장 기초적인 체력을 길러주는 방식이다.

2. 기하학적 지능과 확률적 일반화의 결합

로봇이 새로운 장소에서 작업을 수행하기 위해서는 기하학적 이해(IK, Planning)와 확률적 패턴 인식(Policy Learning)이 모두 필요하다. MoMaGen은 데이터 생성 단계에서는 엄격한 기하학적 제약(IK, Collision)을 사용하여 데이터의 품질을 보장하고, 이렇게 만들어진 ’깨끗한 데이터’를 신경망에 주입하여 신경망이 넓은 범위의 일반화 능력을 갖추도록 한다. 즉, “기하학으로 정답을 만들고, 딥러닝으로 그 정답의 영역을 넓힌다”는 전략이다.

3. Sim-to-Real의 튼튼한 교량

실제 로봇 환경에서 1,000개의 고품질 데이터를 얻는 것은 거의 불가능하다. 하지만 MoMaGen으로 시뮬레이션에서 1,000개를 만들고, 이를 통해 로봇이 기본적인 물리 법칙과 시각적 대응법을 익히게 한 뒤, 실제 환경에서 단 40개의 시연으로 미세 조정을 거치면 로봇은 놀라운 성능을 발휘한다. 이는 데이터 부족으로 인해 연구실 밖을 나가지 못하던 많은 로봇 모델들이 현실 세계로 나갈 수 있는 실질적인 티켓을 거머쥐었음을 의미한다.

한계와 비판적 고찰: 남겨진 과제들

모든 기술적 도약에는 대가가 따르며, MoMaGen 역시 해결해야 할 숙제들을 안고 있다.

첫째, 시뮬레이션의 충실도(Fidelity) 문제다. MoMaGen은 시뮬레이션 내에서 물체의 위치와 상태를 완벽하게 알고 있다는 가정(Ground Truth) 하에 작동한다. 만약 시뮬레이터의 물리 엔진이 현실의 미묘한 마찰력이나 변형 가능한 물체의 특성을 반영하지 못한다면, 생성된 데이터는 오히려 현실 세계에서 독이 될 수 있다. 최근 3D Gaussian Splatting이나 MLLM을 활용해 더 정교한 시뮬레이션 자산을 만들려는 시도들(예: RoboSimGS)이 MoMaGen과 결합되어야 하는 이유다.

둘째, 하위 작업 주석의 수동성이다. 비록 단 한 번의 시연만 필요하다고는 하지만, 사람이 일일이 영상의 타임스탬프를 찍고 물체 이름을 입력하는 과정은 여전히 번거롭다. 향후에는 비디오 언어 모델(Video-Language Models)이 시연 영상을 보고 자동으로 MoMaGen이 이해할 수 있는 주석을 달아주는 완전 자동화 파이프라인이 구축되어야 할 것이다.

셋째, 고정된 제약 조건의 경직성이다. 현재 MoMaGen은 미리 정의된 하드/소프트 제약 조건을 사용한다. 하지만 어떤 작업에서는 가시성보다 안정성이 더 중요할 수 있고, 어떤 작업에서는 에너지 효율이 최우선일 수 있다. 로봇이 작업의 성격에 따라 스스로 제약 조건의 가중치를 조절하는 상위 수준의 지능이 추가된다면 시스템은 더욱 강력해질 것이다.

결론: 데이터가 지능을 만드는 시대로의 가속

MoMaGen 연구는 이동 조작 로봇 학습의 패러다임을 ’데이터 수집’에서 ’데이터 생성’으로 근본적으로 전환시켰다. “더 많은 시연을 보여달라”고 애걸하던 로봇이 이제는 “한 번만 보여주면 나머지는 내가 알아서 물리 법칙에 맞게 수만 가지 상황을 연습해 보겠다”고 선언한 셈이다.

이 연구가 보여준 제약 조건 최적화 기반의 접근법은 로봇 공학의 고전적인 기구학적 지식과 현대의 데이터 중심 학습 방법론이 어떻게 아름답게 조화를 이룰 수 있는지를 보여주는 완벽한 사례다. 하드 제약 조건으로 현실의 엄격함을 가르치고, 소프트 제약 조건으로 작업의 유연함을 가르치는 MoMaGen의 방식은 단순히 양팔 로봇을 넘어, 다족 보행 로봇이나 드론 등 시각과 물리적 상호작용이 필요한 모든 로봇 플랫폼으로 확장될 잠재력이 크다.

우리는 이제 로봇이 수천 가지 가사 노동을 스스로 익히고, 공장에서 새로운 공정을 몇 분 만에 학습하는 시대를 목전에 두고 있다. MoMaGen은 그 시대를 향해 내딛는 매우 중요하고도 영리한 한 걸음이다. 로봇 공학자들에게 이 논문은 데이터의 한계를 넘어서는 방법론적 영감을 주는 동시에, 물리적 세계의 제약 조건을 수학적 축복으로 바꾸는 지혜를 선사하고 있다.

이동 조작의 난제를 풀기 위해 로봇의 전신을 고민하고, 카메라의 시선을 제약 조건으로 정량화한 MoMaGen의 시도는 앞으로 등장할 수많은 ’로봇 데이터 생성 엔진’의 표준 모델로 자리 잡을 것이다. 데이터가 곧 지능의 척도가 되는 시대에, MoMaGen은 로봇에게 마르지 않는 지식의 샘을 제공하는 핵심 기술이 될 것임이 분명하다.