📃RoboTwin 2.0 리뷰

vla

bimanual

A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

Published

October 16, 2025

🤖 RoboTwin 2.0은 이중 팔 로봇 조작을 위한 확장 가능한 시뮬레이션 프레임워크로, MLLM(Multimodal Large Language Model) 기반의 자동 데이터 생성 파이프라인과 포괄적인 도메인 무작위화 기능을 통합하여 실제 환경의 복잡성을 반영합니다.
💡 이 프레임워크는 731개 객체를 포함하는 RoboTwin-OD 라이브러리와 50가지 이중 팔 작업에 걸친 10만 개 이상의 전문가 궤적 데이터셋을 제공하며, 시뮬레이션 내 피드백을 통해 태스크 코드 생성 성공률을 10.9% 향상시키고 다양한 로봇 기구학에 적응합니다.
🚀 RoboTwin 2.0 데이터로 학습된 정책은 도메인 무작위화가 없는 데이터에 비해 시뮬레이션 환경에서 정책 견고성이 최대 31.9% 향상되었으며, 실제 환경에서 10개의 실제 데모와 함께 사용될 때 평균 성공률이 24.4% 상승하여 Sim-to-Real 전이 및 일반화 능력을 크게 개선했습니다.

Brief Review

RoboTwin 2.0은 이중 로봇 조작(bimanual robotic manipulation)을 위한 확장 가능한 데이터 생성 프레임워크이자 벤치마크이며, 강력한 도메인 무작위화(domain randomization)를 통해 로봇 정책(robot policy)의 강건함(robustness)과 일반화(generalization) 능력을 향상시키는 데 중점을 둡니다. 이 프레임워크는 기존의 시뮬레이션 기반 데이터셋이 새로운 작업을 위한 효율적이고 확장 가능한 생성 방법과 현실 세계의 복잡성을 포착하지 못하는 지나치게 단순화된 시뮬레이션 환경이라는 두 가지 문제점을 해결합니다.

RoboTwin 2.0은 세 가지 핵심 구성 요소를 통합합니다:

자동화된 전문가 데이터 생성 파이프라인 (Automated Expert Data Generation Pipeline): 멀티모달 대규모 언어 모델(MLLM)과 시뮬레이션-인-더-루프(simulation-in-the-loop) 피드백을 활용하여 작업 실행 코드를 반복적으로 검증하고 개선합니다. MLLM은 자연어 지시(natural language instructions)로부터 실행 가능한 작업 계획(executable task plans)을 합성하고, vision-language model (VLM) observer는 시뮬레이션에서 실행을 모니터링하고 오류를 감지하며 수정을 제안합니다. 이 폐쇄 루프 아키텍처는 코드 생성 에이전트가 프로그램을 자동으로 개선하여 최소한의 사람 감독으로 강건하고 자체 개선되는 전문가 데이터를 생성할 수 있도록 합니다.
포괄적인 도메인 무작위화 (Comprehensive Domain Randomization): 정책의 Sim-to-Real 격차를 줄이고 일반화 능력을 향상시키기 위해 다섯 가지 축(언어 지시(language instructions), 장면 혼란(scene clutter), 배경 텍스처(background textures), 조명 조건(lighting conditions), 탁자 높이(tabletop configurations))에 걸쳐 적용됩니다. 장면 혼란을 위해 RoboTwin-OD에서 가져온 731개의 방해 객체(distractor objects)를 추가하며, 충돌 감지 배치(collision-aware placement)를 통해 물리적 타당성을 보장합니다. 배경 및 탁자 표면을 위해 LLM 프롬프트와 Stable Diffusion v2를 사용하여 생성하고 사람의 필터링을 거친 11,000개의 고품질 텍스처 라이브러리가 사용됩니다. 조명은 색온도, 광원 유형, 강도 및 위치가 무작위화됩니다. 탁자 높이는 가능한 범위 내에서 균일하게 무작위화됩니다. 언어 지시의 경우 MLLM을 사용하여 다양한 작업 템플릿과 객체 설명을 생성하여 언어적 다양성을 확보합니다.
구현체 인식 파지 적응 (Embodiment-Aware Grasp Adaptation): 로봇 팔의 자유도(DoF)와 운동학적 구조(kinematic structures)의 차이를 해결하기 위해 각 객체에 여러 파지 축(grasp axes)과 접근 방향(approach directions)을 포괄하는 풍부한 후보 조작 포즈(candidate manipulation poses) 세트를 주석 처리합니다. Curobo와 같은 고성능, GPU 가속 모션 플래너(motion planner)를 통합하여 다양한 운동학적 제약 조건(kinematic constraints) 하에서도 효율적이고 신뢰할 수 있는 계획을 가능하게 합니다. Franka, Piper, UR5, ARX-X5, Aloha-AgileX와 같은 다섯 가지 로봇 구현체(robot embodiments)를 지원합니다.

RoboTwin 2.0은 다음과 같은 새로운 리소스를 제공합니다:

RoboTwin-OD 객체 라이브러리: 147개 카테고리에 걸쳐 731개의 객체 인스턴스를 포함하며, 각 객체는 의미론적(semantic) 및 조작 관련(manipulation-relevant) 레이블, 다양한 언어 설명, 키포인트-축 정보(placement points, functional points, grasp points, grasp axes)로 주석 처리되어 있습니다.
대규모 데이터셋: 50개의 이중 로봇 조작 작업을 5개의 로봇 구현체에 걸쳐 100,000개 이상의 전문가 궤적(expert trajectories)을 포함합니다.
벤치마크: 혼란스러운 환경(cluttered environments)과 개방형 언어 목표(open-ended language goals)에 대한 정책 일반화 능력을 평가합니다.

실험 결과는 RoboTwin 2.0의 효과를 입증합니다:

자동화된 전문가 코드 생성: MLLM과 시뮬레이션-인-더-루프 피드백을 통합한 파이프라인은 RoboTwin 1.0 대비 코드 생성 성공률(ASR)에서 10.9% 향상된 71.3%를 달성합니다. 특히 멀티모달 피드백은 오류를 감지하고 정확한 수정을 유도하여 신뢰성을 높입니다.
적응형 파지(Adaptive Grasping) 효율성: 구현체 인식 파지 증강 전략은 특히 Aloha-AgileX, Piper, ARX-X5와 같은 낮은 자유도 로봇 플랫폼에서 평균 8.3%의 작업 성공률 개선을 가져옵니다.
정책 강건함에 대한 영향: RoboTwin 2.0의 도메인 무작위화 데이터로 사전 학습된 모델은 시각적 및 공간적 변화에 대한 강건함이 크게 향상됩니다. 10개의 실제 데모와 1,000개의 합성 궤적을 혼합하여 학습된 vision–language–action (VLA) 모델은 10개 데모 기반(baseline) 모델 대비 367%의 상대적 개선을 보였습니다. 실제 데이터 없이 합성 데이터만으로 학습된 제로샷(zero-shot) 모델도 228%의 상대적 개선을 달성했습니다.
Sim-to-Real 성능: 실제 환경 실험에서 RoboTwin 2.0의 도메인 무작위화 합성 궤적으로 보강된 이중 로봇 정책은 강건함에서 명확한 이득을 보였습니다. 10개의 실제 데모와 1,000개의 합성 궤적을 결합한 few-shot 설정에서 평균 성공률은 24.4% 향상되었으며, 제로샷 설정에서도 20% 이상의 개선을 보였습니다. 이러한 개선은 시각적으로 복잡한 장면에서 더욱 두드러져, RoboTwin 2.0이 어려운 조건에서 특히 효과적임을 나타냅니다.
RoboTwin 2.0 벤치마크: 50개 벤치마크 작업에서 VLA 모델을 평가한 결과, 사전 학습된 모델(RDT, Pi0)은 Hard 조건(도메인 무작위화된 환경)에서 더 강력한 회복탄력성을 보였지만, Easy 조건(깨끗한 환경) 대비 성공률이 각각 20.8%, 30.1% 하락하여 도메인 이동(domain shifts) 하에서의 강건함이 여전히 중요한 도전 과제임을 강조했습니다.

결론적으로, RoboTwin 2.0은 다양하고 고품질의 전문가 데이터를 생성하기 위한 확장 가능한 시뮬레이션 프레임워크를 제공하여 강건한 이중 로봇 조작을 지원합니다. 이 시스템은 MLLM 기반 작업 생성, 구현체 적응형 행동 합성 및 포괄적인 도메인 무작위화를 통합하여 기존 합성 데이터 생성기의 주요 한계를 해결합니다.

Detail Review

배경 및 문제 정의: 로봇 조작 분야에서 시뮬레이션 기반 데이터 생성은 실제 로봇 학습을 가속하는 강력한 방법으로 주목받고 있습니다. 그러나 현재 공개된 합성 데이터셋들은 양팔 로봇 조작(bimanual manipulation)의 견고한 학습을 지원하기에 충분하지 않습니다. 특히, (1) 새로운 작업(task)을 대규모로 생성할 효율적인 방법의 부재와 (2) 시뮬레이션 환경의 과도한 단순화로 인해 현실 세계의 복잡성을 포착하지 못하는 한계가 지적되어 왔습니다. 이런 문제 상황에서 RoboTwin 2.0은 “강건한 양팔 로봇 조작”을 위한 대규모 합성 데이터 생성 프레임워크로 제안되었습니다.

시스템 개요: RoboTwin 2.0의 핵심 구성은 다음과 같습니다:

대규모 객체 라이브러리 (RoboTwin-OD): 147개 범주의 731개 객체에 대한 3D 모델을 구축하였으며, 각 객체마다 시맨틱 정보와 조작 관련 어노테이션(잡기 쉬운 부위 등)이 포함됩니다. 이 라이브러리는 자체 스캔(534개 객체)뿐 아니라 Objaverse(27개 범주 153개 객체)와 SAPIEN PartNet-Mobility(9개 범주 44개 관 절 객체)에서 수집한 다양한 객체들을 아우릅니다. 물리 시뮬레이션의 정확성을 위해 모든 객체 메시에 convex decomposition을 적용해 충돌 모델을 최적화하였습니다.
자동 전문가 데이터 생성 파이프라인: 멀티모달 거대 언어 모델(MLLM)을 활용하여 자연어 작업 설명으로부터 실행 코드를 자동으로 생성하는 모듈이 도입되었습니다. 이 코드 생성 에이전트는 미리 정의된 스킬 API와 예시 함수 호출들, 그리고 작업 제약조건 등을 참고해 파이썬 형식의 로봇 동작 코드를 만듭니다. 생성된 코드에 대해서는 시뮬레이터 내에서 반복적 실행 및 검증 루프를 돌립니다. 비전-언어 모델(VLM) 기반 관찰 에이전트가 실행 과정을 모니터링하여 실패 지점을 찾아내고, 코드 에이전트가 이를 수정하도록 폐쇄 루프 피드백을 제공합니다. 이러한 시뮬레이션-인-더-루프 자동 검증 절차를 통해 인간 개입 없이도 전문가 수준의 시나리오 데이터를 생성할 수 있습니다.
도메인 랜덤화 (Domain Randomization): 합성 데이터의 현실 대응 성능(sim-to-real)을 높이기 위해 5가지 축에서 환경을 무작위로 다양화합니다. 구체적으로 (a) 작업에 무관한 방해 물체들(잡동사니)을 무작위 배치하여 어수선한 환경(clutter)을 조성하고, (b) 배경 및 지면 텍스처를 풍부한 라이브러리에서 무작위 적용하며, (c) 조명의 색온도·밝기·위치 등을 무작위로 변화시켜 시각적 다양성을 극대화하고, (d) 작업대 높이를 현실적인 범위에서 임의로 조정하여 로봇-객체 간 공간적 관계 변화를 주고, (e) 자연어 지시문 역시 다양한 표현으로 자동 생성합니다. 이러한 구조화된 도메인 랜덤화는 데이터 분포의 폭을 넓혀 정책(policy)의 견고성을 높여줍니다.
광범위한 작업 및 로봇 플랫폼 지원: RoboTwin 2.0은 50가지 양팔 협동 작업에 대해 위의 파이프라인을 실현하였고, 다섯 종류의 이기종 양팔 로봇 플랫폼(Aloha-AgileX, ARX-X5, Piper, Franka, UR5)을 포괄합니다. 각 작업-로봇 조합마다 전문가 궤적 데이터를 자동 수집하였는데, 총 10만 개 이상의 시나리오를 미리 수집하여 공개했습니다. 이를테면 작업별로 100개의 클린(clean) 시나리오(도메인 랜덤화 미적용 성공 케이스)와 400개의 랜덤화 시나리오를 수집해, 현실 변이를 포함한 다양한 상황을 망라하는 대규모 데이터셋을 구축하였습니다.

RoboTwin 2.0 프레임워크 개요. (왼쪽) 731개 객체로 구성된 RoboTwin-OD 라이브러리를 기반으로, LLM을 활용한 전문가 코드 생성 모듈이 자연어 입력으로부터 과업 실행 프로그램을 자동 합성한다. (가운데) 다섯 가지 양팔 로봇 플랫폼과 50가지 작업 시나리오에서 대규모 전문가 궤적이 수집된다. (오른쪽) 이렇게 훈련된 정책은 다양한 환경 변화에도 강인하게 동작함을 보여준다.

주요 결과: RoboTwin 2.0으로 생성한 데이터를 활용하여 학습한 정책은 현실 환경 변이에 대한 강건성과 일반화 성능에서 뚜렷한 향상을 보였습니다. 예를 들어, 작업 실행 코드를 LLM으로 자동 생성할 때, 제안된 시뮬레이션 피드백 루프를 적용하면 코드 생성 성공률이 기존 대비 10.9% 향상되었고, 이를 통해 얻은 합성 데이터로 10개 미만의 소량 현실 시연만 추가 학습한 비전-언어-액션(VLA) 모델은 동일한 10개 시연만으로 학습한 모델 대비 성공률이 367% 상대적 향상(42.0% vs 9.0%)되었습니다. 나아가 오로지 합성 데이터만으로 훈련한 제로샷 모델조차도 228%의 성 능 향상을 보이며, 별도의 현실 데이터 없이도 상당한 일반화 능력을 입증했습니다. 이러한 결과들은 RoboTwin 2.0이 시뮬레이션에서 현실로의 전이(sim-to-real) 및 환경 변화에 대한 견고성을 크게 강화함을 보여줍니다. 저자들은 본 프레임워크의 데이터 생성기, 벤치마크, 데이터셋, 코드 전반을 공개하여, 양팔 로봇 조작 분야의 확장성 있는 연구를 지원하고 있습니다.

기술적 기여 분석

RoboTwin 2.0이 제시하는 핵심 기술적 기여는 다음과 같습니다 :

자동화된 전문가 데이터 생성 프레임워크: 기존 합성 데이터 생성 파이프라인들은 품질 관리의 부재로 인해 실패하거나 비현실적인 궤적이 많이 포함되는 문제가 있었습니다. RoboTwin 2.0은 멀티모달 LLM 기반의 코드 생성 에이전트와 시뮬레이션 피드백 루프를 결합하여, 전문가 검수 수준의 궤적을 자동 생성하는 체계를 구축했습니다. VLM이 실행 과정을 면밀히 관찰하고 오류를 진단하면, LLM이 코드를 수정하는 양자 피 드백 구조로 동작하여, 인적 개입 없이도 자가 교정되는 시연 데이터를 생산할 수 있습니다. 이는 시나리오당 다중 시행착오를 거쳐 성공 코드를 얻음으로써, 학습에 유용한 고품질 데이터만을 축적하도록 합니다. 이러한 전문가 검증 루프는 유사 분야 선행연구에 드문 혁신으로, 사람의 시연 없이도 전문 시연 수준 데이터를 확장성 있게 확보할 수 있음을 보여줍니다.
체계적인 도메인 랜덤화 전략: 기존 합성 데이터는 주로 깔끔하고 균일한 환경에 머물러 있어, 현실 세계의 어수선함이나 조명 변화 등을 반영하지 못했습니다. RoboTwin 2.0은 장면 무작위성(불필요한 물체 혼입)부터 시각적 요소 다양화(텍스처, 조명)와 물리적 환경 변화(탁자 높이), 그리고 언어 표현 다양화까지 다각도로 환경을 변화시켰습니다. 특히 클러터(clutter)를 통한 방해물 섞기는 현실 작업 공간의 복잡성을 모사하고, 12,000여 종의 텍스처로 배경과 테이블 표면을 무작위 적용한 점은 기존에 없던 대규모 시각 다양성 확보라 할 수 있습니다. 또한 조명 랜덤화는 여러 색온도·광원으로 객체의 시각적 속성을 흔들어놓아 조명 변화에 견디는 정책을 만들고자 했습니다. 종합적으로 이러한 구조화된 도메인 랜덤화 기법은 시뮬레이터-현실 간 갭을 좁히고, 학습된 정책이 미증상 환경에도 일반화되도록 하는 핵심 기여입니다.

도메인 랜덤화 구성의 시각화 예시. (상단) 동일한 작업에 대해 장면 잡동사니 배치, 배경 텍스처 변환, 조명 색온도 변화 등을 적용하여 매 에피소드마다 다른 관측을 제공한다. 예를 들어 조명 색온도가 바뀜에 따라 물체 색조가 온화한 조명과 차가운 조명 아래 다르게 보이는 것을 확인할 수 있다. (하단) 텍스처 라이브러리의 샘플들: 거친 나무무늬부터 매끈한 대리석 패턴까지 다양한 재질이 준비되어, 배경과 테이블 표면에 무작위로 적용된다. 이러한 시각·환경적 다양화는 정책 모델이 훈련 시 접하지 못한 환경 조건**에도 잘 대응하게 만든다.

로봇 구현체 특성에 따른 적응 기작: 서로 다른 로봇 팔 플랫폼은 관절 자유도(DoF)나 운동 범위, 선호 그립 방식이 다르지만, 대부분의 합성 데이터셋은 단일 로봇 기준으로 만들어져 플랫폼 차이를 간과했습니다. RoboTwin 2.0은 “embodiment-aware” 적응을 도입하여, 객체의 잡기 방식(affordance)을 다수 미리 기록하고 각 로봇별로 가능한 행동 후보를 생성합니다. 예를 들어 Franka(고 DoF 로봇)는 상부에서 집기를 선호하지만, Piper(저 DoF 로봇)는 측면에서 집기를 주로 수행해야 합니다. 따라서 동일한 캔 잡기 작업도 Franka는 위에서 쥐어 올리지만, Piper로는 옆구리를 끼워드는 식의 접근이 필요합니다. RoboTwin 2.0에서는 각 객체마다 다양한 방향의 grasp 후보를 저장해 두고, 로봇별 가동 범위에 맞춰 적절한 잡기 동작을 선택하도록 하였습니다. 이로써 데이터셋 자체가 플랫폼 특화 동작의 다양성을 지니게 되어, 학습된 정책이 여러 로봇에 범용적으로 적용될 수 있게 합니다. 즉, 동일한 작업이라도 로봇별 최적 수행 방식으로 데이터에 반영한 것이 본 연구의 차별적 기여입니다.

RoboTwin 2.0이 지원하는 5가지 로봇 플랫폼 예시. 서로 다른 제조사와 형태적 특성을 지닌 양팔 로봇들(AlohaAgileX, ARX-X5, Piper, Franka, UR5)이 포함되어 있다. Piper(왼쪽에서 두 번째)는 관절이 적어 움직임이 제한적이며, Franka(맨 오른쪽)는 인간 팔과 유사한 고자유도 로봇이다. RoboTwin 2.0은 각 플랫폼별 작업 제약과 선호 동작을 고려하여 데이터를 생성함으로써, 다양한 로봇에 걸쳐 일반화되는 정책 학습**을 가능케 한다.

통합형 벤치마크와 대규모 데이터 자원 공개: RoboTwin 2.0은 RoboTwin-OD 객체 데이터셋, 100,000+개의 양팔 시나리오 데이터셋, 스케일러블 데이터 생성 파이프라인, 표준화된 평가 벤치마크를 모두 제공함으로써 학계에 큰 자원을 제공합니다. 특히 50가지 양팔 협동 작업 세트와 통일된 평가 프로토콜은, 앞으로 다양한 알고리즘들이 같은 조건에서 일반화 성능을 겨루는 공용 벤치마크로 활용될 수 있습니다. 기존에는 연구마다 서로 다른 작업·환경을 사용해 결과 비교가 어려웠다면, RoboTwin 2.0은 다양성과 복잡성을 갖춘 하나의 기준 환경을 제시하여 연구 공동체의 협력과 발전을 촉진하는 기여를 합니다. 또한 모든 코드를 공개하여 다른 연구자들이 자신만의 새로운 작업이나 로봇을 이 프레임워크에 쉽게 추가할 수 있도록 한 점도 실용적인 공헌입니다.

요약하면 RoboTwin 2.0은 기존 양팔 로봇 조작 데이터 생성의 한계점—품질 부족, 단조로운 환경, 단일 플랫폼 편향을 짚어내고, 이를 해결하는 새로운 자동화·다양화·적응화 기법을 제시했습니다. 그 결과, 더 크고 현실적인 합성 데이터를 인간 노동 없이 확보함과 동시에, 여러 로봇과 시나리오에 견디는 학습 모델을 개발할 수 있는 토대를 마련했습니다. 특히 RoboTwin 1.0 (CVPR 2025)에서는 현실 시연과 시뮬레이션 쌍을 맺는 디지털 트윈 개념을 도입한 바 있는데, 이번 RoboTwin 2.0에서는 대화형 LLM 피드백과 체계적 도메인 랜덤화를 추가함으로써 데이터 다양성과 정책 성능에서 현저한 향상을 이루었습니다. 논문 실험결과에 따르면, RoboTwin 2.0의 파이프라인 적용 시 초기 1회성 코드 생성 성공률이 62.1%로 RoboTwin 1.0의 47.4% 대비 크게 높아졌고, 반복 피드백까지 포함하면 71.3%까지 향상되어 이전 버전 대비 한층 향상된 전문가 데이터 생성능력을 검증하였습니다. 이러한 개선은 평균 필요한 수정 횟수 감소(RoboTwin 1.0: 2.46회 → 2.0: 1.76회)와 LLM 토큰 비용 절감 등 효율성 측면에서도 확인되었습니다. 결국 RoboTwin 2.0은 전작과 기존 연구들의 한계를 효과적으로 극복하고, 양팔 로봇 학습의 새로운 기준점 을 제시했다고 평가할 수 있습니다.

실험 설계 분석

데이터셋 구성: RoboTwin 2.0에서 구축한 RoboTwin-OD 객체 데이터셋은 앞서 언급한 대로 731개의 3D 객체 자산을 포함합니다. 이 데이터셋의 구성은 ① 자체 생성 객체: 실물 이미지를 Rodin 플랫폼으로 스캔 후 3D 모델링한 534개 객체 (111개 범주), ② Objaverse에서 선별한 153개 객체 (27개 범주)로 시각적 다양성 보강, ③ SAPIEN PartNet-Mobility에서 가져온 44개 관절형 객체 (9개 범주)로 동적 상호작용 객체 포함 등으로 이루어져 있습니다. 모든 객체에는 물체 이름, 범주, 부품 구성, 선호 잡기 방향 등의 주석이 달려 있어, 로봇이 해당 물체를 다룰 때 유용한 정보로 활용됩니다. 또한 저자들은 표면/배경 텍스처 라이브러리도 별도로 구축하였는데, 웹 크롤링으로 모은 1000개의 텍스처 설명 프롬프트를 Stable Diffusion으로 이미지화하고, 사람이 수작업으로 12,000장의 고품질 텍스처를 추려냈습니다. 이는 후술할 도메인 랜덤화 실험에 쓰이는 방대한 시각 자원입니다.

벤치마크 작업 시나리오: RoboTwin 2.0은 50가지 양팔 협동 작업 세트를 정의하여 데이터 생성 및 평가에 사용했습니다. 이 작업들은 두 팔을 이용한 물체 조작에 초점을 맞추고 있으며, 난이도와 종류 면에서 다양합니다. 예를 들어 Handover Block(한 팔에서 다른 팔로 블록 건네기), Pick Dual Bottles(양손으로 서로 다른 두 병 집기), Stack Blocks Two/Three(두 개 또는 세 개의 블록 쌓기), Place Dual Shoes(신발 한 켤레를 두 손으로 각기 옮겨 제자리에 놓기), Open Laptop/Microwave(양손으로 노트북이나 전자레인지 열기) 등 실제 협동 작업을 방불케 하는 시나리오들이 포함되어 있습니다. 각 작업에는 자연어로 된 목표 설명과 성공 조건이 명시되어 있으며, RoboTwin 2.0의 코드 생성 에이전트는 이 설명을 받아 해당 작업을 수행하는 코드를 자동 작성합니다. 작업 세트는 일상 가사, 공장 조립, 물체 정리 및 배치 등 여러 도메인을 망라하며, 각 작업마다 상황에 따른 변형도 존재합니다. 예컨대 “물체 A를 B의 좌측에 놓기” 작업은 A와 B의 종류, 크기, 초기 위치에 따라 매 에피소드 다른 양상을 보일 수 있습니다. 이러한 포괄적 작업 구성은 학습된 정책의 광범위한 과제 적응력을 시험할 수 있도록 설계되었습니다.

평가 시나리오 및 지표: 저자들은 RoboTwin 2.0의 효과를 평가하기 위해 세 가지 측면에 초점을 맞추었습니다:

앞서 설명한 코드 생성 파이프라인의 자동화 성능,
도메인 랜덤화로 다양화된 데이터를 통한 정책 강건성 향상,
RoboTwin 2.0이 제공하는 벤치마크의 유용성 (정책의 일반화 능력 평가).

먼저 코드 생성 성능 평가를 위해 10개의 대표 작업을 선정하고, 각 작업에 대해 LLM 에이전트가 10개의 후보 프로그램을 생성하여 각각 10회씩 실행시켰습니다. 하나의 작업에 대해 총 100회 시뮬레이션을 돌려 평균 성공률(ASR:Average Success Rate)을 계산하고, 그 중 상위 5개 프로그램의 평균 성공률(Top-5 ASR)도 별도로 기록했습니다. 또한 코드 수정 후 성공률(CRSR)과 평균 수정 횟수(CR-Iter), 그리고 LLM 토큰 사용량까지 측정하여 자동화 루프의 효율성을 정량화했습니다. 이러한 평가 지표는 한번에 성공적인 프로그램을 생성하는 비율, 여러 번의 시도 끝 에 결국 성공적인 프로그램을 얻는 비율, 수정에 걸리는 평균 루프 횟수 등을 종합적으로 보여주어, 시스템의 자동 문제 해결 능력을 평가합니다. 실험 결과 피드백 없는 1회성 생성(Vanilla) 대비 시뮬레이터 로그 피드백 적용(FB) 시 성공률이 크게 향상되었고, 여기에 VLM 영상 피드백까지 결합(MM FB)하면 성공률과 효율 모두 최고 성능을 보였습니다. 예컨대 RoboTwin 2.0 환경에서 ASR이 피드백 없이 62.1%였으나, 실행 로그 피드백으로 66.7%, VLM 멀티모달 피드백으로 71.3%까지 상승했습니다. Top-5 ASR 역시 멀티모달 피드백 적용 시 78.6%에 달해, 우수한 프로그램일수록 피드백을 통해 더 안정적으로 성공함을 보여줍니다. 이는 시각정보에 기반한 오류 교정이 단순 로그 피드백보다 효과적임을 의미하며, RoboTwin 2.0의 멀티모달 폐쇄 루프 설계의 타당성을 뒷받침합니다.

다음으로 정책 학습 및 일반화 평가를 위해, 저자들은 비전-언어-액션(VLA) 모델을 활용한 학습 실험을 수행했습니다. 훈련 단계에서는 RoboTwin 2.0이 생성한 합성 시연 데이터를 사용하여 VLA 모델을 사전학습시키고, 이후 실제 로봇 10회 데모만 추가 제공하여 미세조정(finetune)했습니다. 이렇게 얻은 정책을 현실의 새로운 장면에서 테스트한 결과, 10회 데모만으로 학습한 정책(거의 데이터 없음) 대비 367% 높은 성공률(42.0% vs 9.0%)을 기록했습니다. 이는 합성 데이터로 미리 학습한 덕분에 적은 현실 데이터로도 높은 성능을 달성했음을 뜻합니다. 더 나아가 현 실 데이터 전혀 없이 합성 데이터로만 학습한 모델도 9.0%에서 20.5%로 (228% 향상) 성능이 증가하여, 제로샷 수준에서도 현실 과제로의 일반화가 크게 개선되었습니다. 이때 평가 지표로 사용된 것은 현실 환경의 새로운 작업에 대한 성공률로, RoboTwin 2.0의 학습 데이터가 얼마나 현실 도메인에 적합한지를 나타냅니다. 결과적으로 도메인 랜덤화를 적용한 합성 데이터가 현실 도메인에서의 성능을 유의미하게 높여줌을 실증한 것입니다.

마지막으로 RoboTwin 2.0 벤치마크의 유용성은 여러 시나리오에서의 정책 일반화 평가를 통해 입증되었습니다. 예컨대 논문에서는 동일한 정책을 가지고 탁자 위에 방해물 없음 vs 있음, 밝은 조명 vs 어두운 조명, 깔끔한 배경 vs 복잡한 배경 패턴 등으로 나누어진 환경에 투입해보았습니다. 그 결과 RoboTwin 데이터로 학습된 정책은 훈련 시 보지 못한 조합의 환경 변화에도 높은 성공률을 유지했고, 도메인 랜덤화를 적용하지 않은 데이터로 학습한 정책은 성능이 크게 저하되는 것으로 나타났습니다. 또한 플랫폼 교체 실험에서도, RoboTwin 데이터로 학습한 정책은 훈련에 사용하지 않은 새로운 로봇 (예: UR5로 훈련 후 Franka 로봇에 투입)으로도 비교적 양호하게 동작하여 로봇 구현체 간 일반 화 가능성을 보여주었습니다. 이런 평가들은 RoboTwin 2.0의 데이터와 벤치마크가 다양한 상황에서 정책의 강건성과 범용성을 정확히 측정할 수 있음을 의미합니다.

도메인 랜덤화 기법 평가: 특히 도메인 랜덤화 요소 각각의 효과를 검증하기 위해 ablation study도 수행되었습니다. 예를 들어 클러터 제거(깨끗한 테이블만 사용), 단일 조명 조건 고정, 단일 배경 고정, 단일 문장 패턴 고정 등으로 데이터를 생성하여 학습한 정책들을 비교한 결과, 모든 랜덤화 요소를 적용한 경우 가장 높은 평균 성공률을 보였습니다. 이는 다중 요인의 환경 다양화가 시너지 효과를 내며 정책 성능을 높인다는 점을 뒷받침합니다. 또, 충돌 회피 배치나 시맨틱 유사 객체 회피 등 RoboTwin 2.0이 도입한 세부 기법들이 없으면, 클러터를 추가하더라도 오히려 정책 혼란이 증가함을 발견했습니다. 이러한 결과는 도메인 랜덤화도 체계적이고 똑똑하게 적용해야 효과가 극대화됨을 보여주며, RoboTwin 2.0의 구조화된 랜덤화 전략의 합리성을 뒷받침합니다.

요약하면, RoboTwin 2.0의 실험 설계는 데이터 수집부터 평가까지 일관된 논리를 가집니다. 방대한 객체·작업 다양성을 갖춘 합성 데이터를 만들고, 이를 다양한 조건에서 시험함으로써 “좋은 합성 데이터는 현실 성능을 끌어올린다”는 가설을 검증했습니다. 평가 지표도 생성 단계와 학습 단계로 나누어 적절히 설정되었으며, 특히 코드 생성 루프의 정량적 분석은 시뮬레이션-기반 데이터 생성 방법론의 유효성을 잘 뒷받침합니다. 도메인 랜덤화의 개별/종합 효과 분석 역시 향후 연구자들이 어떤 요소에 집중해야 할지 지침을 제공합니다. 전반적으로 실험 설계의 타당성과 철저함 덕분에, 이 논문은 양팔 로봇 학습에서 합성 데이터의 가치를 신뢰성 있게 입증했다고 평가할 수 있습니다.

기존 연구와의 차별점

양팔 로봇 조작과 대규모 로봇 학습 데이터에 관한 선행 연구들과 비교했을 때, RoboTwin 2.0은 여러 면에서 독자적인 강점을 지닙니다.

RoboTurk (Crowdsourcing 통한 로봇 시연 데이터 수집): Stanford의 RoboTurk 프로젝트 는 비전문가 다수를 크라우드소싱하여 원격으로 로봇을 조작하게 함으로써, 대규모 로봇 조작 시연 데이터를 모은 대표적인 시도입니다. 2019년 발표된 “Scaling Robot Supervision to Hundreds of Hours with RoboTurk” 연구에서는 54명의 일반인이 스마트폰/웹 인터페이스를 통해 원격 조작에 참여하여 총 111.25시간 분량의 조작 영상을 수집했습니다. 해당 데이터셋은 역대 최대 규모의 인간 조작 데이터로 평가받으며, 사람의 창의적 문제해결과 섬세한 조작이 녹아든 풍부한 시연 모음이라는 의의를 갖습니다. RoboTurk에서 다룬 대표 작업들은 Object Search(섞인 상자에서 같은 종류 물체 3개 찾아 분류하기), Tower Creation(그릇/컵등으로 탑 쌓기), Laundry Layout(옷이나 천을 펼쳐 개어놓기) 3가지로, 높은 수준의 추론과 정밀 조작이 모두 요구되는 과제로 선정되었습니다. 이러한 과업 설정의 창의성과 인간 dexterity 데이터는 RoboTwin과 대비되는 RoboTurk만의 장점입니다.
- 차별점: RoboTurk의 접근법은 인간이 직접 로봇을 조작하여 데이터를 얻는 것이고, RoboTwin은 AI가 시뮬레이션에서 데이터를 생성한다는 근본적 차이가 있습니다. RoboTurk는 현실 로봇(주로 Sawyer 암 로봇)으로 시연을 모았기 때문에 실제 물리와 잡음이 반영된 값진 데이터지만, 작업 종류가 3가지로 한정되어 있고, 양팔이 아닌 단일 팔 조작 중심이었다는 한계가 있습니다. 반면 RoboTwin 2.0은 50가지로 작업 폭이 넓고 양손 협동에 특화되어 있습니다. 또한 데이터 수집 비용 측면에서도 RoboTwin은 일단 시스템을 구축하면 추가 데이터 생성 비용이 저렴하지만, RoboTurk는 사람을 계속 참여시켜야 하므로 확장에 인적 자원이 소요됩니다. 특히 양팔 협동 작업은 사람에게도 조작 난도가 높아 RoboTurk 방식으로는 더 어려웠을 것으로 예상되는데, RoboTwin은 이러한 고난도 작업을 AI 활용으로 해결한 셈입니다. 요컨대 RoboTwin은 RoboTurk의 “로봇 조작 ImageNet”이라는 비전을 다른 경로(시뮬레이션)로 달성하고자 하며, 둘은 상호 보완적입니다. RoboTwin에서 생성한 합성 데이터를 RoboTurk의 현실 시연 데이터와 결합한다면, 한쪽의 부족함(예: 합성 vs 실제의 간극, 혹은 데이터 다양성 부족)을 상호 보완하여 더욱 강력한 학습이 가능할 것으로 기대됩니다. 실제로 RoboTwin 논문에서도 소량의 현실 시演(예: RoboTurk 같은 방식으로 얻은 시연)을 합성 데이터에 추가하면 성능이 크게 향상됨을 보여주었는데, 이는 미래에 두 접근법의 시너지 가능성을 시사합니다.
RoboNet (여러 로봇 랩의 경험 통합 데이터셋): Berkeley 등을 중심으로 2019년에 제안된 RoboNet 은 여러 연구기관의 로봇 데이터를 모아 공개한 대규모 다중로봇 학습 데이터셋입니다. RoboNet은 7종의 서로 다른 로봇 플랫폼(예: Sawyer, Baxter, Kuka 등)이 테이블 위에서 객체를 조작하는 총 162,000개의 trajecotry를 수집하여, 약 1,500만 장의 영상 프레임을 포함합니다. 데이터는 4개 연구소에서 각자 자율 수집되었으며, 로봇 팔, 카메라 뷰, 실험실 환경, 사용 객체들이 모두 다양하게 구성되었습니다. RoboNet의 주요 목표는 대규모 데이터로 로봇 행동 모델을 사전학습한 뒤, 새로운 환경에 소량의 데이터로 미세조정하여 학습 효율을 높이는 것이었습니다. 실제 실험에서 RoboNet으로 모델을 사전훈련한 경우, 새로운 환경으로의 적응이 4배 이상 빠르게 이루어지고, 전혀 새로운 물체나 카메라 뷰에도 어느 정도 동작 가능함을 보였습니다. 이는 다양한 로봇 경험을 모은 데이터셋의 힘을 입증한 결과입니다.
- 차별점: RoboNet과 RoboTwin 2.0은 “다양한 로봇 데이터로 일반화 성능 향상”이라는 큰 방향은 같지만, 접근 방식에 차이가 있습니다. 먼저 데이터 수집 면에서, RoboNet은 실제 로봇 실험으로부터 데이터를 모은 반면, RoboTwin은 시뮬레이션입니다. 따라서 RoboNet 데이터에는 현실 물리와 잡음이 반영되어 있고 도메인 랜덤화 없이도 로봇/환경마다 어느 정도 차이가 존재합니다. 하지만 RoboNet의 데이터는 특정 명시적 과업 목표가 없는 일반적인 상호작용(예: 밀기, 잡기 등)으로 구성된 반면, RoboTwin 데이터는 각 에피소드마다 명확한 과제 성공/실패 기준이 있습니다. 즉 RoboTwin의 데이터는 “성공한 시연” 중심이라서 모델이 목표지향적으로 학습하기에 용이합니다. 반대로 RoboNet 데이터는 다양한 시나리오를 폭넓게 커버하지만, 학습 시 목표를 정의해주기 어렵고 성공/실패 레이블도 없습니다. 또, RoboNet에는 언어 설명이나 멀티모달 정보가 없지만, RoboTwin은 비전+언어를 모두 포함한 멀티모달 시나리오입니다. 이로써 VLA (Vision-Language-Action) 통합 정책 학습이 가능한 점이 RoboTwin의 강점입니다. 한편 작업 복잡성 측면에서도 차이가 있는데, RoboNet은 주로 단일 팔의 단순 물체 조작(택견이나 푸시 등)에 가깝고, RoboTwin은 양팔의 협동/도구 사용 등 복잡한 스킬들을 포함합니다. 마지막으로 크기와 범용성을 보면, RoboNet은 여러 기관 참여로 여러 현실 로봇을 망라했지만, 범용 API나 통일된 환경이 없어 연구자들이 직접 활용하기 까다로운 측면이 있었습니다. RoboTwin은 단일 프레임워크 내에서 다수 로봇을 지원하고, 데이터/코드 모두 깔끔히 공개되어 재현성과 확장성이 높습니다. 요약하면, RoboNet은 현실 기반 “넓은 분포” 데이터, RoboTwin은 시뮬레이션 기반 “목표 지향적” 데이터로 구분할 수 있습니다. 궁극적으로 두 접근은 상호보완적이며, 실제로 RoboTwin 2.0 논문의 관련연구에서도 RoboNet처럼 여러 도메인의 데이터를 교량하는 시도가 일반화에 중요함을 언급하고 있습니다. RoboTwin 2.0은 RoboNet이 제시한 비전을 양팔 시나리오로 확대하면서, 합성 데이터로 그 비전을 구현하는 또 다른 경로를 보여준 것으로 해석할 수 있습니다.
Google RT-1 / RT-2 및 Open X-Embodiment (RT-X): Google의 Robotics Transformer 시리즈인 RT-1과 RT-2 는 로봇의 대규모 실세계 데이터 학습을 통해 제로샷 일반화를 달성한 대표적인 사례입니다. RT-1은 2022년 발표되었으며, 약 130k개의 실제 로봇 시연(가정 내 조작 임무)을 트랜스포머 모델로 학습시켜, 시각(카메라 입력)과 언어(명령)를 액션 시퀀스로 직접 매핑하는 end-to-end 정책을 제시했습니다. 이 모델은 주방 환경 등의 실제 잡일 700여 가지에 대해 실시간 제어를 성공적으로 보였고, 13대의 로봇으로 수집한 방대한 데이터로 학습하여 다양한 물체 및 상황에 대응했습니다. RT-2는 2023년 후속으로, 웹 이미지/텍스트로 사전학습된 거대 비전-언어 모델을 로봇 데이터와 공동 학습시킴으로써, 보지 않은 물체에 대한 추론과 동작까지 가능하게 진화했습니다. 예를 들어 “쓰러진 컵을 세워줘” 같은 명령을 웹 학습을 통해 개념을 알고 있는 모델이 로봇 제어로 수행할 수 있음을 보였습니다. 또한 2024년 공개된 Open X-Embodiment 프로젝트 는 학계의 여러 연구팀이 함께 22종의 로봇 구현체(단일암, 양팔, 이동로봇, 사족보행 등)를 아우르는 100만+ 개 현실 로봇 시연 데이터셋을 구축한 사례입니다. Open X-Embodiment (줄여 OpenX)는 흩어져있던 공개 로봇 데이터들을 단일한 포맷으로 통합하고, 이를 학습한 RT-X라는 범용 로봇 모델을 제안하였습니다. 이는 폐쇄적으로 진행된 구글 RT-시리즈에 대응하여 오픈소스로 거대 로봇 모델을 만들려는 움직임입니다.
- 차별점: RT-1/2 및 OpenX와 RoboTwin 2.0의 가장 큰 차이는 “실제 vs 합성”입니다. RT 계열과 OpenX의 데이터는 모두 현실 세계에서 수집된 시연으로, 잡음과 한계가 현실 그대로입니다. 반면 RoboTwin은 시뮬레이션으로 무한에 가깝게 데이터 확장이 가능하고, 위험한 상황도 가상에서 시도할 수 있다는 이점이 있습니다. 예를 들어 OpenX 데이터에 포함된 양팔 로봇 시연은 제한적일 수 있으나, RoboTwin에서는 가상으로 복잡한 양팔 협업을 무수히 만들어낼 수 있습니다. 또한 RT-1 등의 작업들은 대부분 단일 로봇 플랫폼(예: 픽스되어있는 모바일 로봇 팔)에서 이루어진 반면, RoboTwin은 5가지 서로 다른 로봇으로 동일 작업을 수행하도록 해 cross-embodiment 일반화에 초점을 맞춥니다. 언어 입력의 다양성 측면에서도, RT-1은 비교적 정형화된 명령문 위주이고 RT-2는 웹 학습으로 언어 이해를 향상했지만, RoboTwin은 명령 템플릿과 객체 묘사 생성기를 통해 매 에피소드 서로 다른 문장을 제시하므로, 모델이 언어 표현 변화에 강건해지도록 합니다. 성능 측면에서는, RT-시리즈는 방대한 현실 데이터 덕에 실제 환경에서 매우 높은 성공률을 보였으나, 데이터 수집 비용이 막대했습니다. RoboTwin은 합성 데이터만으로 얼마나 그 격차를 줄일 수 있는지 탐구하였고, 소량의 현실 데이터로 367%의 성능 향상을 이끌어낸 것은 합성+현실 혼합 접근의 잠재력을 보여줍니다. Open X-Embodiment와 비교하면, OpenX는 전 세계에서 모은 22종 로봇, 217개 작업 이상을 망라한 “메가 데이터셋”으로, 스케일 면에서 RoboTwin(50개 작업, 5종 로봇)을 능가합니다. 그러나 OpenX의 데이터는 출처별로 품질 편차가 있고 라벨링/정의 체계가 제각각이었던 것을 통합한 것이기 때문에, 완전한 일관성을 담보하기 어렵습니다. 반면 RoboTwin 데이터는 하나의 시뮬레이션 환경에서 통일된 방식으로 수집되어, 모든 작업에 일관된 인터페이스와 명확한 성공 기준이 있습니다. 따라서 연구자가 특정 요소만 변화시켜 실험하기 용이하며, 잡음 요소를 통제할 수 있습니다. 예컨대 OpenX나 RT-1 데이터에서는 카메라 화질이나 로봇 캘리브레이션 오류 등이 섞여 있어 분석이 어렵지만, RoboTwin 합성 데이터는 필요한 부분만 제어하여 성능 요인을 연구할 수 있습니다. 또한 RoboTwin의 코드 생성 파이프라인 같은 것은 RT/OpenX 쪽에는 없는 차별 기술로, 로봇 행동을 프로그래밍적으로 생성/수정하는 연구에도 기여합니다. 정리하면, RT-X/OpenX는 현실 데이터로 범용 로봇 모델을 추구하고, RoboTwin은 합성 데이터로 robust한 양팔 로봇 모델을 추구하는 것으로 볼 수 있습니다. 궁극적으로는 이들도 상호 보완 가능하며, RoboTwin에서 만든 합성 시연을 RT-X 같은 거대 모델의 사전학습에 활용하거나, 반대로 OpenX의 현실 데이터 분포를 RoboTwin의 도메인 랜덤화에 반영하는 식의 협력 방향도 생각해볼 수 있습니다.
그 외 관련 연구: RoboVerse 는 2025년 소개된 프레임워크로, 여러 시뮬레이터와 로봇 구현을 하나로 묶어 범용적인 로봇 학습 플랫폼을 제공하려 했습니다. 또한 Meta-World (50가지 로봇 조작 과제 세트),ManiSkill2 (20개 작업군, 400만 프레임 시연 포함), CALVIN (멀티모달 장기과제 언어지시 데이터셋), LIBERO (130개 작업, 고품질 휴먼 텔레옵 데이터), RoboMIND (479개 작업, 4종 로봇, 107k 텔레옵 에피소드) 등 여러 데이터셋/벤치마크가 최근 등장했습니다. 이들 각각 고유한 장점이 있지만,RoboTwin 2.0은 양팔 협업이라는 특수 분야에서 이들의 장점을 결집한 느낌입니다. 예컨대 Meta-World처럼 다중 작업 벤치마크이면서, ManiSkill처럼 시뮬레이터 기반 대량 시연을 제공하고, CALVIN처럼 언어 조건 정책을 다루고, LIBERO처럼 다양한 과제들을 포괄하며, RoboMIND처럼 복수 로봇 플랫폼을 고려합니다. 특히 양팔 조작 분야에서는 RoboTwin 2.0 이전까지 이렇다 할 대규모 데이터/벤치마크가 없었기에, RoboTwin 시리즈의 등장은 관련 연구를 촉진하는 선구자 역할을 할 것으로 보입니다. 또한 RoboTwin 1.0(Generative Digital Twins)에서는 현실-시뮬레이션 쌍으로 평가하는 참신한 벤치마크 설정을 내놓았는데, RoboTwin 2.0은 한 걸음 더 나아가 데이터 생성의 완전 자동화와 다양화를 이뤄냈다는 점에서 기술적 진일보라 할 수 있습니다.

기술적 세부사항 고찰

마지막으로, RoboTwin 2.0의 시스템 아키텍처와 구현 세부사항을 살펴보면 다음과 같습니다.

전문가 코드 생성 모듈: RoboTwin 2.0의 데이터 생성 파이프라인은 Figure 3에 도식화되어 있으며, 두 개의 AI에이전트가 협력하는 이중 에이전트 구조로 작동합니다. 첫 번째는 코드-생성 에이전트로, 거대 언어 모델(예: GPT 계열)의 힘을 빌려 자연어 작업 설명을 Python 코드로 변환합니다. 이때 코드 생성을 돕기 위해, 사전에 정의된 로봇 스킬 API 목록, 예시 함수 호출들, 계층적 작업 제약조건 등을 LLM에게 제공하여 프롬프트로 사용합니다. 예컨대 “컵을 집어 상자 안에 넣어라”라는 과제를 받으면, API 사전에는 pick(obj, hand), place(obj, location) 등의 함수가 있고, 예시로 pick(cup, left_hand) 같은 호출, 그리고 “컵을 집은 후 상자 좌표 내부에 위치시키기” 등의 제약을 제시하여, LLM이 이를 참조해 일련의 함수 호출로 이루어진 파이썬 코드를 생성합니다. 생성된 초기 코드는 보통 완벽하지 않으므로, 이를 실제 시뮬레이터에서 10회 실행하면서 로그를 수집합니다. 동시에 두 번째 에이전트인 비전-언어 모델(VLM) 기반 관찰자가 각 실행을 프레임별로 모니터링하여, 어느 단계에서 실패했는지, 실패 원인이 무엇인지를 분석합니다. 예를 들어 왼손이 컵을 집으려 했으나 놓쳤다면 “Step 2: 왼손 grasp 실패”로 표시하고, 코드 상 해당 부분이 문제라고 지적합니다. 혹은 코드 자체에 문법 오류가 있으면 바로 알려줍니다. 이렇게 정량적 로그 (성공/실패 여부)와 정성적 진단 (실패 유형)이라는 두 종류의 피드백이 준비되면, LLM 코드 에이전트는 이를 입력으로 코드를 수정합니다. 예컨대 실패 원인이 “오른손이 이미 물체를 잡고 있어서 두 번째 grasp 실패”라면, LLM은 오른손이 먼저 잡고 있을 때 왼손이 잡도록 순서를 바꾸거나, 먼저 잡은 물체를 내려놓는 코드를 추가하는 식으로 개선합니다. 그런 다음 다시 시뮬레이터에서 새 코드를 실행하여 성공률이 50%를 넘으면 종료하거나, 최대 5회 반복까지 시도합니다. 이 종료 조건은 무한 루프 방지 및 최소 성능 보장을 위한 것으로, 한 번 생성된 최종 코드는 적어도 절반 이상 성공하는 준(準)전문가 수준 실행 코드임을 의미합니다. 대개 5회 내에서 상당수 작업이 80~100%에 근접한 성공률로 수렴하며, 일부 복잡한 작업도 5회 안에 50% 이상은 도달하도록 조율되었습니다. 이러한 폐쇄 루프 코드 생성 과정은 사람의 감독 없이 코드->실행->피드백->코드 수정의 self-refinement를 구현한 것으로, 로봇 행동 계획을 자동화하는 데 있어 매우 혁신적인 어프로치입니다. 특히 멀티 모달 피드백(영상 기반)이 추가됨으로써 단순 텍스트 로그로는 파악하기 어려운 미묘한 실패 원인까지 짚어줘, LLM가 구체적 수정을 학습할 수 있게 했습니다. 이는 단순한 강화학습이나 검색 기반 수정과 달리, 언어 모델의 추론력을 활용하여 코드를 구조적으로 고치는 장점이 있습니다. 기술적으로 이 모듈 구현은 Python 환경과 시뮬레이터(예: SAPIEN 물리엔진 )를 연동하고, 언어 모델 (예: GPT-4 등) API를 호출해 코드를 생성하는 방식으로 이뤄졌을 것으로 보입니다. VLM은 예컨대 MiniGPT-4나 LLaVA 계열로 장면을 설명하고 질문에 답하는 모델을 활용했을 가능성이 있습니다. (논문에서는 구체적 모델 아키텍처보다는 개념적 구성을 중점 설명하고 있습니다.) 결과적으로 이 전문가 데이터 생성 모듈 덕분에, 사람이 일일이 시연하거나 실패 케이스를 걸러낼 필요 없이 신뢰도 높은 시뮬레이션 시연을 얻을 수 있었습니다.
데이터 수집 및 처리 파이프라인: 위 모듈로 얻은 전문가 코드는 RoboTwin 2.0 데이터 생성 파이프라인의 출발점입니다. 각 작업마다 최종 산출된 성공 코드가 있고, 이를 활용해 다양한 상황의 trajectory를 대량 생성합니다. 예를 들어 “컵을 상자에 넣는” 작업의 성공 코드가 완성되면, 해당 코드를 이용해 여러 시드(seed)로 시뮬레이션을 반복 실행하여 수천 개의 에피소드를 만듭니다. 이때 도메인 랜덤화가 함께 적용되어, 에피소드마다 환경 설정을 바꾸게 됩니다. 클러터의 경우, RoboTwin-OD 객체 풀에서 무작위로 몇 개의 방해 물체를 골라 작업대 주변에 배치합니다. 배치 알고리즘은 사전에 계산된 충돌 부피를 사용해, 로봇이나 주요 객체와 겹치지 않도록 떨어뜨립니다. 또한 시맨틱 유사도 태그를 활용하여, 예를 들어 컵을 다루는 작업에 컵과 매우 비슷한 컵을 방해물로 두지 않도록 하여 정책 혼란을 줄이는 섬세한 장치도 포함했습니다. 배경/표면 텍스처는 앞서 마련한 12k장의 라이브러리에서 무작위로 골라 테이블과 벽 등에 입힙니다. 조명은 물리엔진 내 광원을 제어하여, 색온도(예: 3000K vs 7000K), 광원 개수 (전역 조명 1개 vs 스포트라이트 여러 개), 밝기 세기 등을 임의 조합합니다. 탁자 높이는 예컨대 70cm~90cm 범위에서 Uniform 샘플링하여, 로봇의 팔 각도와 카메라 시야가 달라지도록 합니다. 자연어 지시문은 매 에피소드 마다 조금씩 달리 생성되는데, 예컨대 “Use {arm} to place {A} to the left of {B}” 같은 템플릿의 {A}, {B}에 대해 LLM이 생성한 객체 묘사(e.g. “white plastic lid sauce can”, “gray kitchen pot for boiling”)를 채워넣어 다양하게 표현합니다. {arm} 자리도 “left arm” 혹은 “right arm” 등 임의 지정하여 문장을 구성합니다. 이런 식으로 “Use left arm to place white plastic lid sauce can to the left of kitchenpot for boiling and cooking” 처럼 다소 장황하지만 다양한 표현의 문장이 만들어집니다. 이러한 언어적 다양화는 모델이 특정 문구에 오버피팅되지 않고, 처음 보는 표현으로 명령이 주어져도 이해하도록 돕습니다.

이렇게 하나의 작업에 대해 기본 환경 vs 다양한 환경에서 실행된 수많은 궤적들이 쌓입니다. RoboTwin 2.0에서는 작업 당 500개의 궤적(clean 100 + 랜덤화 400) × 50 작업 × 5 로봇 = 125,000개의 trajectory가 사전 수집되어 공개되었습니다. 데이터는 HuggingFace 저장소를 통해 제공되며, 각 에피소드에 시각 관찰 (멀티카메라 이미지), 로봇 상태(관절각, Gripper 상태 등), 실행한 액션 시퀀스, 자연어 지시문, 성공 여부 등이 포함됩니다. 특히 영상은 1인칭 카메라 뷰와 탑뷰 등 여러 시점으로 녹화되어, 연구자 필요에 따라 사용할 수 있게 했습니다 (자세한 사양은 논문 부록에 언급). 또한 모든 데이터가 공통 포맷 (예: RLDS or HDF5)으로 정렬되어 있어, 서로 다른 로봇 간 데이터라도 동일한 코드로 불러와 학습할 수 있습니다. 이러한 표준화된 대규모 데이터 파이프라인은 실험의 재현성을 높이고, 다른 연구자가 추가 실험(예: 새로운 알고리즘 테스트)을 할 때 쉽게 벤치마크를 적용할 수 있게 해줍니다.

시뮬레이터 환경 및 구현: RoboTwin 2.0은 물리 시뮬레이터로 언급은 직접적으로 없지만, 여러 정황상 SAPIEN 엔진을 사용한 것으로 짐작됩니다. SAPIEN은 실제와 유사한 동적 상호작용 (예: 관절 물체의 물리)과, PartNetMobility 같은 대규모 3D 자산 호환성을 갖춘 시뮬레이터로, RoboTwin에서 활용한 2300개+ 관절 객체 라이브러리와도 부합합니다. 또한 RoboTwin이 PartNet-Mobility의 객체를 사용한 점, 그리고 프랑카(Franka)나 UR5 로봇 모델도 SAPIEN에서 흔히 쓰이는 자산이라는 점에서 그러합니다. 시뮬레이터는 PyBullet이나 MuJoCo 등의 가능성도 있으나, SAPIEN은 학계 최신 트렌드이며 저자들이 언급한 참고문헌에도 SAPIEN이 포함되어 있습니다. 시뮬레이터 상에서 로봇 제어는 로우레벨 제어(모터 토크 등)가 아니라, RoboTwin에서는 미리 정의된 스킬 API로 추상화 했습니다. 즉 pick(obj) 를 호출하면 로봇이 내부적으로 해당 객체 위치까지 IK로 팔을 뻗고 그리퍼를 닫는 일련 동작을 수행하는 식입니다. 이는 Python API 수준에서 동작하며, 물리 엔진 내 모션 플래너나 Inverse Kinematics Solver를 통해 구현됩니다. RoboTwin 코드는 이러한 저수준 제어를 쉽게 하기 위해 오픈소스 MoJo 또는 자체 모션 플래너를 사용한 것으로 보입니다. 덕분에 LLM이 굳이 토크 제어를 직접 출력할 필요 없이, 고수준 API 시퀀스만 생성하면 로봇이 움직였습니다.
멀티 로봇 지원 구조: RoboTwin 2.0은 5개의 서로 다른 로봇 팔을 지원하는데, 이것이 가능한 이유는 추상화 계층 덕분입니다. 즉 동일한 스킬 API가 각 로봇에 대해 구현되어 있어, LLM이 생성하는 코드는 로봇에 무관하게 같은 호출을 사용합니다. 내부적으로 Franka처럼 7-DoF 로봇이 그 함수를 실행할 때와, Piper처럼 4-DoF 로봇이 실행할 때 약간 다른 방식으로 동작하지만, 외부에서 볼 때는 동일한 함수명이 추상화 역할을 합니다. 예컨대 grasp(obj, arm=“left”) 함수는 프랑카라면 상단 어프로치 경로를 택하고, Piper라면 측면 어프로치를 택하도록 구현해 둔 식입니다. 이때 객체의 affordance 정보(어디를 잡을 수 있는지)가 활용됩니다. RoboTwin-OD 내 객체들은 CAD 모델상 그립 지점 후보나 방향별 우선순위 같은 메타데이터를 갖고 있어, Piper 같은 로봇일 경우 상부 지점은 배제하고 측면 지점들을 후보로 선택합니다. 또한 평형 잡기 vs 집게 잡기 등 로봇별 그리퍼 타입 차이도 고려됩니다(일부 로봇은 양손으로 집는 형태, 일부는 양갈래 그리퍼). 이러한 섬세한 구현 덕분에, 동일한 코드로도 각 로봇이 자기 스타일대로 임무를 수행할 수 있게 됩니다. RoboTwin 2.0 코드 공개본에는 새로운 로봇을 추가하는 가이드도 포함돼 있는데, 센서 세팅, 물리 파라미터 조정 등을 손쉽게 할 수 있도록 추상화되어 있어 확장 용이성이 확보되었습니다.
정책 학습 및 평가 구조: RoboTwin 2.0의 데이터를 활용해 정책을 학습하는 단계에서는 모달리티 통합 모델을 지향합니다. VLA(비전-언어-액션) 모델 구조로, CNN 인코더로 이미지 피처 추출, Transformer 인코더로 언어 명령 인코딩, 이들을 결합하여 Transformer 디코더나 FC 네트워크로 액션 시퀀스를 출력하는 형태를 사용했을 것으로 추정됩니다. 실제 논문에서는 특정 모델보다 데이터의 효용에 초점을 맞췄지만, 참고로 최근 발표된 OpenVLA 나 FineTuning VLA models 등의 기법이 적용됐을 수 있습니다. 학습은 Behavior Cloning(모방 학습)으로 이루어졌으며, 손실함수는 L1/L2 위치 오류+그리퍼 상태 크로스엔트로피 등으로 구성되었을 것입니다. 평가 시에는 앞서 말한대로 새로운 현실 시나리오(배경/조명 바뀐 물리 실험환경)에서 사람의 간단한 지시를 주고 성공률을 측정했습니다. 일부 실험은 시뮬레이터 상에서 랜덤 시드로만 평가하기도 했지만, 핵심 결과는 실제 로봇 실험으로 검증했다는 점에서 의미가 큽니다. 합성 데이터만으로 학습한 정책이 현실에서 어느 정도 동작하고, 소량의 현실 데이터로 큰 향상을 보인 것은, 합성-현실 혼합학습의 실용적 가능성을 보여줍니다. 이는 Sim2Real 연구 커뮤니티에 큰 고무적인 결과로, 향후 RoboTwin 데이터와 현실 데이터를 어떤 비율로 섞어야 최적의 성능을 내는지 등의 추가 연구를 자극합니다.

전반적으로, RoboTwin 2.0의 기술적 구현은 대규모 로봇 학습 인프라 구축 관점에서 모범적입니다. 시스템 구조는 복잡하지만 각 요소가 논리적으로 분리되어 (데이터 생성 – 학습 – 평가 모듈) 재사용과 확장이 쉽고, 자동화 파이프라인은 최소한의 인간 개입으로 막대한 데이터를 생산 가능케 했습니다. 도메인 랜덤화와 embodiment adaptation 기법은 기존에 개별적으로 제안되던 아이디어들을 한 데 묶어 실용적 시스템에 녹여낸 공학적 성취로 볼 수 있습니다. 또한 공개된 코드를 통해 다른 연구자들이 본 프레임워크 위에 새로운 알고리즘을 테스트하거나, 자기 로봇 플랫폼을 추가해 실험하는 등 팔로우업 연구를 용이하게 만들었습니다.

마지막으로 논문의 결론부에서 저자들은 RoboTwin 2.0이 합성 데이터 생성의 새로운 지평을 열었음을 강조합니다. 다양한 시맨틱 정보를 갖춘 객체 라이브러리, 자동화된 궤적 생성과 풍부한 환경 변이, 그리고 이로부터 얻은 강인한 정책들의 성과는, 향후 로봇학습 연구에서 “더 많고 더 다양한 데이터”의 중요성을 재확인시켜줍니다. 또한 이 연구는 멀티모달 대형모델을 로봇 제어에 활용하는 흐름과, 디지털 트윈 개념을 활용한 시뮬레이터-현실 연계 연구 모두에 기여합니다. 앞으로 RoboTwin 2.0을 바탕으로, 현실 세계 적용 및 다중 객체 복합 작업 등으로 연구가 나아갈 것이라고 언급하며 논문은 맺습니다. 이는 곧 RoboTwin 프로젝트의 다음 단계로 더 복잡한 조작 시나리오나 현실 로봇 온라인 학습 등이 고려되고 있음을 시사합니다.

요약하면, RoboTwin 2.0은 양팔 로봇 조작학습 분야의 게임체인저로 평가할 만합니다. 기술적으로 섬세하게 설계된데이터 생성·학습 파이프라인, 기존 자원을 적극 활용하면서도 새로운 대안을 제시한 도메인 랜덤화와 LLM 활용, 그리고 이를 통해 얻은 실제에 가까운 강인한 정책 성능은 이 논문의 핵심 성과입니다. 이러한 심층 리뷰를 통해 볼 때, RoboTwin 2.0은 관련 영역 연구자들에게 풍부한 데이터 자원과 벤치마크 표준을 제공함과 동시에, 합성 데이터의 힘과 한계를 탐구할 훌륭한 출발점을 마련했다고 하겠습니다. 앞으로 본 논문을 기반으로 한 후속 연구들이 시뮬레이션-현실 격차를 줄이고, 로봇의 범용지능을 향상시키는 방향으로 활발히 전개될 것으로 기대됩니다.