📃Genie Sim 3.0 리뷰

simulation

benchmark

dataset

sim2real

vla

llm

vlm

IsaacSim

humanoid

manipulation

open-source

Genie Sim 3.0: A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

Published

September 17, 2026

Paper Link (arXiv:2601.02078v4). 이 리뷰는 v4(2026-08-14 개정) 기준이다. v1은 2026-01-05 제출이고, 실험 섹션(특히 GenieSim-Spatial 스위트)이 개정 과정에서 확장됐다 — 수치는 v4 본문 Table I~VI에서 직접 확인한 값이다.
Code Link (github.com/AgibotTech/genie_sim). 실제로 열려 있고 2026-09 현재까지 활발히 갱신된다. source/geniesim_*·source/data_collection은 MPL-2.0, source/scene_reconstruction만 별도 라이선스 문서를 따른다(2026-09-17 확인).
Project (agibot-world.com/genie-sim)
Dataset: GenieSim3.0-Dataset · GenieSimAssets
저자: Chenghao Yin, Da Huang, Di Yang, Jichao Wang, Nanshu Zhao, Chen Xu (이상 공동 1저자), Wenjun Sun, Linjie Hou, Zhijun Li, Junhui Wu, Zhaobo Liu, Zhen Xiao, Sheng Zhang, Lei Bao, Rui Feng, Zhenquan Pang, Jiayu Li, Qian Wang, Maoqing Yao
소속: AgiBot (AgiBot World)
arXiv preprint, 2026 (cs.RO)

💡 VLA 모델을 키우려면 대규모 데이터와 믿을 만한 평가가 둘 다 필요한데, 실기 수집은 비싸고 기존 시뮬 벤치는 파편적이다 — 장면 생성·데이터 수집·평가 생성을 LLM/VLM으로 한 줄에 꿴 시뮬레이션 플랫폼을 통째로 공개한다.
⚙️ 자연어 한 마디에서 RAG로 에셋을 뽑고 DSL 코드를 생성해 Isaac Sim USD 장면을 조립하며(Genie Sim Generator), 같은 LLM이 지시문과 평가 설정을 대량 생성하고 VLM이 실행 영상을 보고 성공 여부를 채점한다. 실사 장면은 3DGS + LiDAR SLAM 포즈 최적화로 재구성한다.
🎯 합성 데이터 1,500 에피소드로 후학습한 \pi_{0.5}가 실기 500 에피소드로 학습한 모델을 8개 태스크 평균 0.83 vs 0.75로 앞서고, 시뮬-실기 점수 상관은 R^2=0.931, 기울기 \approx 1.023이다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

VLA 모델이 커질수록 병목은 모델이 아니라 그 주변 — 데이터와 평가다. 실기 데이터는 사람·시간·하드웨어를 갈아 넣어야 하고, 실기 평가는 재현이 안 된다(같은 정책을 두 번 돌려도 초기 상태가 다르다). 시뮬레이션이 답이라는 건 오래된 이야기지만, 논문은 기존 시뮬 벤치마크가 세 가지 병목에 걸려 있다고 정리한다. ① 고품질 장면을 만들려면 3D 모델링·물리 세팅 전문가의 수작업이 필요해 규모가 안 난다. ② 절차적 생성은 다양성은 주지만 세밀한 제어가 안 돼서 실패 사례를 재현하거나 ablation을 통제할 수 없다. ③ 평가가 손으로 박아 넣은 성공 판정(success rate)에 묶여 있어 완수 품질의 뉘앙스를 못 잡고, 사람이 개입하면 확장이 안 된다.

Genie Sim 3.0의 답은 세 병목 모두에 LLM을 붙이는 것이다. 장면도 LLM이 만들고, 태스크 지시문과 평가 설정도 LLM이 만들고, 채점은 VLM이 한다. 그리고 그 위에서 뽑은 10,000시간 이상의 합성 데이터와 100,000개 이상의 평가 시나리오, 5,140개 에셋을 통째로 공개한다.

전체 개요(Fig. 1). 환경 재구성 → 장면 일반화 → 데이터 수집 → 자동 평가로 이어지는 full-cycle 플랫폼. 5,140개 에셋, 10,000시간 이상 합성 데이터, 100,000개 평가 시나리오를 공개한다고 밝힌다.

핵심 방법론:

(1) Genie Sim Generator — 자연어에서 USD까지 4단계. ① Intention Interpreter가 CoT LLM으로 사용자 문장을 공간 서술·물체 속성 제약·태스크 의도로 분해해 JSON 스키마로 만든다(“some blocks”, “randomly arranged” 같은 모호한 표현은 사전학습된 world knowledge로 해소). ② Assets Index는 5,140개 물체의 외형·기하·용도 설명을 QWEN: text-embedding-v4로 2048차원에 임베딩해 ChromaDB에 넣어 두고, 질의 키워드를 같은 공간에 인코딩해 코사인 유사도 top-k를 USD 경로·충돌 메시·질량·텍스처 변형과 함께 돌려준다 — 약 200 ms. ③ DSL Code Generator가 Scene Language의 문법을 확장한 DSL 프로그램을 합성한다. ④ Results Assembler가 DSL의 난수 함수로 포즈·레이아웃·물체 선택을 무작위화하면서, 노드(에셋 id·시맨틱·크기·포즈·태스크 태그)와 엣지(on/in/adjacent/aligned/stacked)로 된 계층적 Scene Graph를 만들고 OpenUSD 스키마로 실행 가능한 USD를 뽑는다. 파인튜닝 없이 에셋 라이브러리를 LLM 컨텍스트에 밀어 넣는 것만으로 카테고리·포즈·조명·텍스처에 대한 결합 일반화를 얻는다는 것이 주장이다.

(2) LLM 지시문 생성 + VLM 채점. 주어진 장면에 대해 LLM과 ADER(Action Domain Evaluation Rule) 시스템을 결합해 그럴듯한 지시문과 실행 가능한 평가 설정 파일을 대량 생성하고, 실행 중 기록된 시계열 관측을 VLM이 형식화된 태스크 명세와 대조해 성공 여부와 근거 문장을 함께 낸다. 논문은 이것을 “LLM을 자동 평가에 적용한 최초의 벤치마크”로 내세운다.

(3) 3DGS 환경 재구성. MetaCam 핸드헬드 LiDAR 스캐너로 어안 영상·프레임별 포즈·밀집 점군을 얻고, COLMAP-PCD의 DSP-SIFT를 SuperPoint + LightGlue로 교체해 약한 텍스처에서의 특징 추출을 강화한다. LiDAR SLAM 사전 포즈로 직접 삼각측량하고 LiDAR 3D 점과 연관지어 BA를 돌린 뒤, gsplat으로 3DGS를 학습한다. 시야가 모자란 부분은 Difix3D+로 외삽 뷰를 생성해 보충하고, 최종 메시는 PGSR 표면 재구성으로 뽑아 물리 시뮬레이션에 쓴다.

(4) 이중 데이터 수집. 복잡한 long-horizon은 PICO VR HMD 원격조작으로 사람다운 시연을 만들고, 대량 생산은 cuRobo 기반 자동 수집으로 처리한다. 자동 쪽은 GraspNet으로 사전 주석된 파지 포즈 등에서 후보 웨이포인트를 뽑아 도달성·충돌·인체 유사성으로 거르고, 행동마다 여러 후보 시퀀스를 만들어 실패 시 상태 롤백 후 재시도한다. 장면에서 태스크 무관 물체를 빼지 않고(완전성 유지) 대신 메시 단순화로 계획 속도를 확보한 점을 차별점으로 든다.

주요 결과:

합성 데이터 스케일링(Table I, 4태스크 × 4설정, 각 50 trial). 동일 규모(500 eps)에서는 실기 데이터가 합성 데이터보다 낫지만, 합성을 1,500 eps로 키우면 네 태스크 모두에서 실기 베이스라인을 제로샷 실기 평가로 넘어선다(예: Recognize Size 실기 0.94 vs 실기데이터 500eps 0.75).
Sim-to-real 전이(Table II, 8태스크). sim-to-real 평균 0.83 vs real-to-real 0.75. 역방향인 real-to-sim도 0.75로 양방향 전이가 성립한다.
시뮬-실기 상관(Fig. 7). 16개 모델 설정에서 R^2=0.931, 기울기 \approx 1.023.
4개 벤치 스위트 교차 비교(Table III~VI). GenieSim-Instruction은 ACoT-VLA 0.76 / \pi_{0.5} 0.75 / GR00T-N1.7 0.65 / \pi_0 0.37. Robust 평균은 0.622 / 0.613 / 0.538 / 0.313. Manipulation은 \pi_{0.5} 0.58로 선두. Spatial은 ACoT-VLA 0.40 / \pi_{0.5} 0.36 / 0.25 / 0.13.
미해결 영역이 선명하다. Clean the Desktop(전 모델 0.00~0.02), Sorting Packages Continuous(0.10 이하), 공간 구성 과제 4종(0.30 이하)은 모든 정책이 사실상 못 푼다.

결론:

Genie Sim 3.0은 새로운 알고리즘 논문이 아니라 인프라 논문이다. 기여는 “LLM으로 장면·태스크·평가를 대량 생산하고, 그 결과가 실기를 예측한다는 것을 2×2(학습 데이터 출처 × 평가 환경) 설계로 보인” 데 있다. 특히 시뮬 점수가 실기 점수를 R^2=0.931로 예측한다는 주장은, 맞다면 “정책 평가를 시뮬로 대체할 수 있다”는 실용적 함의가 크다. 다만 그 검증이 8개 태스크·단일 로봇·단일 정책 백본에 머문다는 점은 뒤에서 따진다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“장면도, 태스크도, 채점도 LLM이 만들게 하고, 그 시뮬 점수가 실기를 예측한다는 것을 숫자로 보이겠다” — 이것이 Genie Sim 3.0의 전부다.

배경: 시뮬레이션 벤치마크가 늘 걸리는 세 곳

시뮬레이션이 로봇 학습의 답이라는 건 새롭지 않다. 문제는 늘 같은 데서 걸린다.

첫째, 장면 제작 비용. 고품질 환경은 3D 모델링과 물리 파라미터 튜닝의 수작업 결과물이다. 태스크 하나 늘릴 때마다 사람이 붙어야 하니, 데이터 다양성이 곧 인건비가 된다.

둘째, 다양성과 제어 가능성의 긴장. 절차적 생성으로 장면을 흩뿌리면 다양성은 늘지만, “이 실패가 왜 났는지” 재현하거나 조명만 바꿔 ablation을 돌리는 통제가 안 된다. 논문이 이 긴장을 명시적으로 짚는 부분이 인상적이다 — 대부분의 데이터 생성 논문은 다양성만 자랑한다.

셋째, 평가의 빈곤. 성공률 하나로는 “컵을 옮기긴 했는데 내용물을 쏟았다”를 구분 못 한다. 사람이 보면 되지만 사람은 느리고 주관적이고 확장이 안 된다.

Related work 절에서 논문이 그리는 지형도도 이 축을 따른다. 실기 데이터셋(DROID 70k, RoboNet 160k, RH20T 100k/147태스크, Open X-Embodiment 100만+ 궤적/22 임베디먼트, AgiBot World)은 규모는 커도 수집 비용과 좁은 일반화에 묶여 있고, 합성 데이터셋은 각자 좁다 — RoboCasa는 주방에 갇혀 있고, DexGraspNet 2는 4억 시연이지만 파지 한 동작뿐이며, RoboTwin 2.0은 50태스크 10만 궤적의 양팔 데이터지만 “물리·시각 충실도가 눈에 띄게 제한적”이라고 직접 지적한다. 벤치마크 쪽(Meta-World, HumanoidGen 20태스크, HumanoidBench 27태스크, BiGym 40태스크, BEHAVIOR-1K 50장면/9,000+ 물체, ManipulaTHOR)에 대해서는 “평가 범위가 좁고, 물리·렌더링 모두에서 sim-to-real 간극이 크며, 실제 배포로의 전이 효과가 부족하다”로 묶어 비판한다.

방법 1: Genie Sim Generator — 대화에서 USD까지

Genie Sim Generator의 자동화 워크플로(Fig. 2). 다중 턴 대화로 사용자 의도를 포착 → 실행 가능한 Python 코드로 번역 → Isaac Sim용 에셋과 함께 최종 scene graph를 컴파일한다.

핵심 설계는 “LLM에게 좌표를 찍게 하지 않는다”는 것이다. LLM이 직접 물체 위치를 숫자로 뱉으면 물리적으로 말이 안 되는 배치가 나오기 쉽다. 대신 파이프라인은 LLM에게 DSL 프로그램을 쓰게 하고, 그 프로그램이 난수 함수를 품고 있어 실행할 때마다 다른 장면이 나온다. Scene Language(Zhang et al., 2025)에서 빌려온 이 아이디어 덕에 “하나의 생성된 장면 → 수천 개의 변형”이라는 곱셈이 성립한다.

두 번째 설계는 RAG로 환각을 차단하는 것이다. LLM이 존재하지 않는 에셋 이름을 지어내는 것을 막기 위해, 검색된 top-k 에셋만 컨텍스트에 넣어 “사전 검증된, 실재하는 에셋만” 코드가 참조하게 한다. 이 검색은 사용자에게 완전히 투명하고 200 ms 안에 끝난다고 보고한다. (공개 코드를 읽어 보면 논문이 설명하는 text-embedding-v4/2048차원 경로는 EMBEDDING_MODE=text 분기에 있고, 배포 기본값은 vl — 로컬 Qwen3-VL-Embedding-2B + 리랭커다. 논문의 “약 200 ms”는 텍스트 임베딩 API 기준으로 읽는 게 맞다.)

세 번째는 Scene Graph를 부산물이 아니라 산출물로 만든 것이다. 장면을 만들면서 노드(에셋 id·시맨틱·크기·포즈·태스크 태그)와 엣지(공간 관계)를 함께 뱉기 때문에, 이후 평가 설정 생성이 “그래프를 읽고 조건을 쓰는” 문제로 환원된다. 장면 생성과 평가 생성이 같은 표현을 공유한다는 점이 이 플랫폼의 구조적 이점이다.

방법 2: LLM이 시험문제를 내고 VLM이 채점한다

VLM 기반 평가(Fig. 3). 형식화된 태스크 명세와 실행 중 기록된 시계열 시각 관측을 함께 넣으면, VLM이 요구사항 충족 여부를 판정하고 근거를 생성한다.

기존 벤치마크의 평가는 “물체 A의 z좌표가 임계값을 넘으면 성공” 같은 손으로 짠 술어의 집합이다. 태스크를 하나 추가할 때마다 사람이 술어를 새로 짜야 하니 확장이 안 된다. Genie Sim은 이 자리에 LLM + ADER(Action Domain Evaluation Rule) 시스템을 넣어 지시문과 평가 설정 파일을 자동 생성하고, 판정은 VLM에게 시계열 관측을 보여 주고 시킨다.

이 설계가 매력적인 이유는 명확하다. 평가 확장 비용이 태스크 수에 선형으로 붙던 인건비에서 추론 비용으로 바뀐다. 근거 문장을 함께 낸다는 것도 실용적이다 — 성공/실패 이진값보다 “컵을 집었으나 목표 영역 밖에 놓음” 같은 서술이 모델 개선에 훨씬 쓸모 있다.

다만 논문이 VLM 채점기 자체의 정확도를 측정하지 않는다는 점을 짚어 둬야 한다. 사람 판정과의 일치율, 오탐/미탐 비율이 본문에 없다. 채점기가 벤치마크의 기준자인데 그 기준자의 눈금을 검증하지 않은 셈이다. 논문이 제시하는 간접 증거는 §V-B의 sim-real 상관(R^2=0.931)뿐인데, 이건 “채점기가 정확하다”가 아니라 “시뮬 채점과 실기 채점이 같은 방향으로 움직인다”만 말한다(그리고 실기 쪽 채점을 무엇으로 했는지도 명시되지 않는다).

공개 코드로 확인한 것 (정적 분석)

이 글을 쓴 뒤 공개 레포(AgibotTech/genie_sim)를 정적으로 읽어 본문에서 빠진 부분을 몇 가지 채울 수 있었다. 실행해서 관찰한 게 아니라 코드·설정 파일을 읽은 결과다.

모델명은 코드에 있다. evaluator/config/llm_config.yaml에 VLM은 qwen3-vl-plus, 지시문·평가 설정 생성 LLM은 qwen3-max로 박혀 있고, DashScope 호환 엔드포인트를 쓴다. 이미지는 640×480으로 리사이즈해 넣는다. 즉 “어떤 VLM인지 모른다”가 아니라 “그 VLM이 사람만큼 정확한지 아무도 재지 않았다”가 정확한 비판이다.
VLM 채점은 배포된 벤치마크의 2.6%다. benchmark/config/llm_task/의 problems.json 759개를 세어 보면 "VLM" 술어를 쓰는 건 20개, 전부 scoop_popcorn 한 태스크다. 실제 주력 판정자는 Follow(1327회)·PickUpOnGripper(1247)·Inside(290) 같은 손으로 임계값을 박은 기하 술어다. 예컨대 Ontop은 “능동 물체 바닥과 수동 물체 윗면의 수직 거리 2 cm 이내 + XY 투영 겹침 50% 이상”이다(custom/ontop.py). 논문이 서론에서 비판한 바로 그 방식이다. “LLM 자동 평가를 개척했다”는 기여는 설계로는 존재하지만 배포 비중으로는 아직 주변부다.
평가는 단일 시점이고, 점수는 내려가지 않는다. custom/vlm.py의 _use_history = False가 기본값이라 매 검사(30 step 주기)마다 이미지 이력을 비우고 현재 프레임 한 장으로 판정한다. 그리고 if score > self._last_score로 최댓값만 유지한다 — 한 번 높게 나온 점수는 이후 상태가 무너져도 되돌아오지 않는다. 논문 Fig. 3이 초기/완료 두 컷만 보여 주는 것도 이 판독과 맞는다. “시계열 관측을 보고 채점한다”는 본문 서술과 배포 기본값 사이에 간극이 있다.
채점 규칙이 산문으로 적혀 있고, 낙관 쪽으로 기울어 있다. PROMPT_AUTOSCORE.txt의 가시성 규칙은 “물체가 옮겨져서/담겨서 안 보이면 [TRUE](완료했을 가능성이 높다), 가려져서 안 보이면 [FALSE]”다. 그런데 단일 이미지로 ’옮겨져 사라짐’과 ’가려져 사라짐’을 구분할 근거는 원리적으로 없다. 논문 Fig. 3의 “The crumpled paper is no longer visible ✓”가 정확히 이 규칙이 작동한 사례로 읽힌다 — 보이지 않는 것을 성공으로 세는 낙관 편향의 여지다.

방법 3: 3DGS 재구성 — 포즈 정확도가 진짜 문제였다

이 절은 짧지만 실무적으로 가장 밀도가 높다. 논문의 진단은 이렇다. 3DGS는 카메라 포즈에 유난히 민감해서, 몇 픽셀만 틀어져도 블러·아티팩트·기하학적 융기(bulge)가 생긴다. 그런데 복잡한 실내에서 LiDAR SLAM은 픽셀 수준 정밀도를 못 낸다. 그래서 해결이 3단으로 쌓인다.

특징 단계 교체 — COLMAP-PCD의 DSP-SIFT 대신 SuperPoint + LightGlue를 써서 2D 특징점 노이즈를 줄이고 약한 텍스처 영역의 추출력을 높인다.
LiDAR 사전 포즈로 직접 삼각측량 — SLAM 포즈로 삼각측량하고, LiDAR 3D 점에 대응하는 2D 특징을 찾아 연관지은 뒤 희소 3D 점과 함께 BA 최적화를 돌린다.
뷰 부족을 생성 모델로 메움 — 대규모 장면 스캔에서 충분한 시야 커버리지는 사실상 불가능하므로, Difix3D+ 사전학습 모델로 외삽 뷰를 렌더해 품질을 보강한다. 최종적으로 이 확장된 뷰 + 포즈 + LiDAR 점군으로 표면 재구성 기반 3DGS를 학습하고 PGSR로 고정밀 메시를 뽑는다.

즉 여기서 3DGS는 “예쁜 렌더링”이 아니라 상호작용 가능한 물리 메시를 얻기 위한 중간 단계다. 시뮬레이터에 넣으려면 결국 메시가 필요하고, 그 메시의 정확도가 조작 태스크의 접촉 물리를 좌우한다.

방법 4: 자동 수집 — 롤백이 들어간 파이프라인

자동 데이터 수집(Fig. 4). 태스크 파싱과 실행 파이프라인 전체. 웨이포인트 필터링과 재시도 메커니즘으로 태스크 성공률을 높인다.

자동 수집의 요체는 실패를 전제로 설계했다는 점이다. 행동마다 후보 웨이포인트를 여럿 만들어 대안 시퀀스를 구성하고, 시뮬에서 실행해 궤적 평가 모듈로 심사한 뒤, 실패하면 상태를 롤백하고 다음 후보로 넘어간다. 시뮬레이션이기에 가능한 설계이고, 실기 수집에는 없는 공짜 이점이다.

또 하나 눈에 띄는 선택은 장면을 비우지 않는다는 것이다. 많은 데이터 생성 파이프라인이 계획을 쉽게 하려고 태스크와 무관한 물체를 치우는데, 그러면 정작 어질러진 장면에서 충돌이 난다. 대신 초기화 때 메시를 단순화해 계획 효율을 확보하는 트레이드오프를 택했다.

데이터셋: 세 축으로 짠 태스크 격자

태스크 분포 행렬(Fig. 5). 조작 스킬 · 인지 이해 · 태스크 복잡도의 3축으로 데이터셋을 구성한다.

데이터셋 설계 원칙 중 흥미로운 것은 합성 가능성(composability)이다. long-horizon 태스크가 데이터셋 안에 이미 존재하는 기본 서브태스크들의 시퀀스로 분해되도록 짰다는 것. 세 축은 ① Atomic Skills(pick/place/pull/push/open/close), ② Cognitive Comprehension(공간 추론, 속성 이해, 논리 추론, 상식), ③ Task Complexity(계획 지평·협응 필요성 — “한 팔로 쓰레기 하나 치우기 → 양팔 협응으로 치우기 → 책상 위 쓰레기 전부 치우기”의 단계적 증가)다.

데이터는 AgiBot G1과 G2 두 플랫폼으로 생성됐고, 레이아웃·초기 로봇 포즈·조명·장면 구성·카메라 노이즈·지시문 표현에 걸쳐 체계적으로 변주된다. 200개 대표 태스크, 10,000시간 이상.

실험: 2×2 설계가 이 논문의 진짜 기여다

GenieSim-Sim2Real 태스크 셋업(Fig. 6). 평가한 모든 태스크에 대해 실기와 시뮬의 초기 구성을 나란히 비교한다.

실험은 다섯 스위트로 나뉜다. 앞의 하나(Sim2Real)가 플랫폼 자체를 검증하고, 뒤의 넷(Instruction/Robust/Manipulation/Spatial)이 그 위에서 모델을 비교한다. 이 순서가 논리적으로 중요하다 — 벤치마크의 신뢰성을 먼저 세우지 않으면 모델 비교는 공허하다.

스케일링: 합성 1,500 에피소드가 실기 500을 넘는다

Sim2Real 스위트는 \pi_{0.5}를 베이스 정책으로 고정하고, 네 태스크(Select Color, Recognize Size, Grasp Targets, Organize Items)에서 네 가지 데이터 설정(실기 200/500 eps, 합성 500/1500 eps)으로 후학습해 시뮬과 실기 양쪽에서 각 50 trial씩 평가한다. 로봇은 AgiBot G1.

Table I — 합성 데이터 스케일링 결과.
학습 데이터	Select Color (sim/real)	Recognize Size	Grasp Targets	Organize Objects
200 eps real	0.45 / 0.53	0.50 / 0.56	0.34 / 0.39	0.25 / 0.30
500 eps real	0.75 / 0.73	0.75 / 0.75	0.54 / 0.58	0.45 / 0.40
500 eps sim	0.53 / 0.60	0.50 / 0.63	0.29 / 0.33	0.39 / 0.35
1500 eps sim	0.86 / 0.85	0.93 / 0.94	0.72 / 0.71	0.48 / 0.60

읽을 점이 둘이다. 첫째, 같은 500 eps에서는 실기가 합성을 이긴다(0.75 vs 0.53 등) — 논문도 실기 시연의 물리 충실도가 높기 때문이라고 솔직히 쓴다. 둘째, 합성은 값싸게 3배로 늘릴 수 있고, 늘리면 넘어선다. 이것이 합성 데이터의 진짜 논거다: 에피소드당 품질이 아니라 에피소드당 비용에서 이긴다.

Sim-to-real: 평균 0.83 vs 0.75, 그러나 태스크별로 보면

8개 태스크로 확장한 Table II가 이 논문에서 가장 많이 인용될 표다.

Table II — Sim-to-real 전이 결과(Sim Data는 500~1500 eps, Real Data는 500 eps, 모두 \pi_{0.5}에서 후학습). 맨 오른쪽 열은 필자가 계산한 시뮬-실기 판정 차이다.
Task	sim-to-sim	real-to-sim	sim-to-real	real-to-real	\|sim-to-sim − sim-to-real\|
Select Color	0.86	0.75	0.85	0.73	0.01
Recognize Size	0.93	0.75	0.94	0.75	0.01
Grasp Targets	0.72	0.54	0.71	0.58	0.01
Organize Items	0.48	0.45	0.60	0.40	0.12
Pack in Supermarket	0.94	1.00	0.95	0.95	0.01
Sort Fruit	0.90	0.90	1.00	1.00	0.10
Place Block into Drawer	0.80	0.90	0.85	0.90	0.05
Bimanual Chip Handover	0.80	0.70	0.73	0.71	0.07
Avg.	0.80	0.75	0.83	0.75	0.0475

맨 오른쪽 열은 논문에 없는, 필자가 계산한 값이다. 공식 README는 “시뮬과 실기 결과 차이가 10% 미만”이라고 광고하는데, 평균으로는 4.75%로 맞지만 Organize Items는 12%로 그 기준을 벗어나고 Sort Fruit도 정확히 10%다. 흥미로운 건 이 예외가 우연이 아니라는 점이다. Organize Items는 여러 물체를 순차로 정리하는 가장 긴 지평의 태스크이고, 그런 태스크일수록 접촉 동역학의 미세한 차이가 누적된다. 즉 “10% 미만”이라는 주장은 단순한 태스크에서 성립하고, 정작 검증이 필요한 복잡한 태스크에서 흔들린다. 벤치마크 홍보 문구가 평균으로 뭉개는 전형적인 자리다.

한 가지 덧붙이면, 공개 코드에서 benchmark/envs/base_env.py의 generate_layout이 place/insert/pour 스테이지의 대상(passive) 물체 질량을 일괄 10 kg으로 덮어쓴다(“add mass for stable manipulation”, 설정 기본값은 0.01 kg 수준). 시뮬에서 놓기·담기를 안정화하려는 실무적 조치로 이해되지만, “고충실도 물리”라는 논문의 자기서술과는 결이 다르다. 긴 지평 태스크의 sim-real 간극과 연관 가능성은 있으나 인과관계는 확인되지 않았다 — 여기서는 관측만 기록해 둔다.

시뮬-실기 성능 상관 분석(Fig. 7). 16개 모델 설정 전부에서 시뮬 점수와 실기 점수가 강한 선형 관계를 보인다(R^2=0.931).

R^2=0.931, 기울기 \approx 1.023. 기울기가 1에 가깝다는 건 시뮬이 실기를 체계적으로 낙관하거나 비관하지 않는다는 뜻이라 의미가 있다(보통 시뮬은 후하다). 다만 표본이 16점이고 그 16점이 4태스크 × 4데이터설정이라 서로 독립이 아니며, 점들이 0.25~0.95에 넓게 퍼져 있어 R^2가 부풀기 쉬운 구조다. 신뢰구간이나 태스크별 잔차 분석은 제시되지 않는다.

네 스위트의 모델 비교: 프론티어가 어디인지는 선명하다

플랫폼 검증 위에서 \pi_{0.5} · ACoT-VLA · GR00T-N1.7 · \pi_0 네 모델을 비교한다(모두 GenieSim 합성 데이터로 태스크별 파인튜닝, AgiBot G2에서 평가).

Table III~VI 요약 — 네 벤치마크 스위트의 모델별 평균 점수.
스위트	\pi_{0.5}	ACoT-VLA	GR00T-N1.7	\pi_0
Instruction (10 태스크)	0.75	0.76	0.65	0.37
Robust (5 교란, 평균)	0.613	0.622	0.538	0.313
Manipulation (10 태스크)	0.58	0.48	0.44	0.35
Spatial (8 태스크)	0.36	0.40	0.25	0.13

해석에서 논문이 잘한 부분 셋을 꼽겠다.

첫째, ACoT-VLA vs \pi_{0.5}의 대비를 정확히 읽는다. ACoT-VLA는 인지 계열 세 스위트(Instruction 0.76 vs 0.75, Robust 0.622 vs 0.613, Spatial 0.40 vs 0.36)에서 근소하게 앞서지만, Manipulation에서는 0.48 vs 0.58로 0.10 뒤진다. 앞 세 개의 격차(0.01~0.04)가 뒤 하나(0.10)보다 훨씬 작다는 데서, 논문은 “action chain-of-thought 지도는 추론 품질을 사지 조작 숙련도를 사지 않는다”고 결론짓는다. 벤치마크가 이런 분리를 드러냈다는 것 자체가 다차원 스위트 설계의 값어치다.

둘째, 로버스트니스 지표의 함정을 스스로 짚는다. Table IV에서 \pi_0의 평균 열화 \Delta가 -0.057로 가장 작지만, 논문은 이것이 강건함이 아니라 Reference 0.370이라는 낮은 출발점에서 온 바닥 효과라고 명시한다. 교란 후 절대 점수는 여전히 전 모델 중 최하위다. “\Delta는 절대 점수와 함께 읽어야 한다”는 이 지적은 로버스트니스 벤치마크 전반에 적용되는 좋은 규율이다.

셋째, 교란의 종류별 비대칭이 깔끔하다. 언어·외형 수준의 변화(지시문 재표현, 배경·조명)는 거의 공짜다 — 최대 0.061 손실이고 GR00T-N1.7(+0.028)과 \pi_0(+0.011)에는 오히려 미세하게 도움이 된다. 반면 기하·임베디먼트 수준의 변화(로봇 초기 포즈, 카메라 위치)가 최대 ~0.26을 깎아낸다. 이미지 품질은 그 중간이다. VLA 모델의 취약점이 언어 이해가 아니라 공간 정합에 있다는 것을 한 표로 보인다.

그리고 미해결 프론티어가 매우 선명하다. Clean the Desktop은 네 모델 모두 0.00~0.02, Sorting Packages Continuous는 0.10 이하, 공간 구성 과제(Sort Cubes by Size, Sort Number, Stack Bowls, Stack Three Building Blocks)는 전부 0.30 이하. 반면 공간 참조 과제(Pick Object Absolute Position)는 상위 두 모델이 0.80을 넘는다. 즉 공간 표현을 해석하는 것과, 공간 구조를 순차적으로 쌓아 올리는 것은 전혀 다른 능력이고, 후자가 현재 VLA의 실질적 한계선이다. 바닥 점수가 이렇게 깔린 벤치마크는 앞으로 몇 년은 포화되지 않는다는 뜻이기도 하다.

비판적으로 보면

강점

인프라를 통째로 연다. 코드(MPL-2.0), 5,140 에셋, 10,000+시간 데이터, 100,000+ 평가 시나리오. 논문의 주장 대부분이 검증 가능한 형태로 놓여 있다. 시뮬레이션 논문에서 이 정도 개방은 드물다.
2×2 설계가 정직하다. 학습 데이터 출처(sim/real) × 평가 환경(sim/real)의 네 칸을 모두 채웠다. 대부분의 sim-to-real 논문은 sim-to-real 칸만 보고하고 real-to-sim은 건너뛰는데, 양방향을 다 보였기에 “시뮬이 실기의 구조를 담고 있다”는 주장에 힘이 붙는다.
동일 규모에서 실기가 낫다고 먼저 인정한다. 500 eps에서 합성이 진다는 사실을 숨기지 않고, 그래서 “합성의 강점은 품질이 아니라 확장성”이라는 정확한 논지로 간다. 홍보성 서술이 아니다.
LLM 사용이 안전 장치와 함께 온다. RAG로 존재하는 에셋만 참조시키고, DSL 코드를 손으로 고칠 수 있게 열어 두고(“LLM의 한계를 보완하기 위해”), 다중 턴 대화로 반복 수정을 지원한다. LLM을 만능으로 취급하지 않는다.
벤치마크가 능력 축을 분리한다. 명령 이행 / 로버스트니스 / 조작 / 공간의 4축이 실제로 모델 간 프로파일 차이를 드러냈다(ACoT-VLA는 추론, \pi_{0.5}는 조작). 단일 평균 점수 벤치마크가 못 하는 일이다.

약점·한계

VLM 채점기의 눈금이 검증되지 않았다. 모델명 자체는 공개돼 있다(코드에 qwen3-vl-plus). 문제는 그 채점기가 사람 판정과 얼마나 일치하는지, 오탐/미탐이 얼마인지를 논문도 레포도 재지 않았다는 것이다. 플랫폼 전체가 이 채점기 위에 서 있는데 기준자를 교정한 기록이 없다. 게다가 코드를 읽어 보면 판정은 사실상 단일 프레임이고 점수는 최댓값만 유지되며, 프롬프트의 가시성 규칙은 낙관 쪽으로 기울어 있다(위 callout). “LLM 자동 평가를 개척했다”는 기여 주장의 가장 약한 고리다.
그 기여의 배포 비중 자체가 작다. 공개된 759개 평가 설정 중 VLM 채점을 쓰는 건 20개(2.6%, scoop_popcorn 하나)뿐이고, 나머지는 논문이 서론에서 한계로 지목한 수작업 임계값 기하 술어다. 설계로 제안한 것과 실제로 배포한 것 사이의 거리를 논문은 언급하지 않는다.
“차이 10% 미만” 주장에 예외가 있다. Table II에서 Organize Items는 12%, Sort Fruit은 10%다(§실험 표의 우측 열). 논문과 README 모두 평균으로만 말하고 개별 예외를 밝히지 않는다. 더 나쁜 건 그 예외가 가장 긴 지평의 태스크에서 나왔다는 점 — 간극이 태스크 난이도에 비례해 벌어질 가능성을 시사하는데 분석이 없다.
일반화 주장의 표본이 좁다. 플랫폼 검증 전체가 단일 정책(\pi_{0.5}), 단일 로봇(G1), 8개 태스크에서 나왔다. “시뮬 평가가 실기를 예측한다”는 결론을 다른 정책·다른 로봇·다른 태스크군으로 옮길 근거는 실험에 없다. 이어지는 네 스위트는 정작 G2에서 돌았는데, G2의 sim-real 정합은 검증되지 않았다.
통계적 엄밀성이 부족하다. Table I/II는 태스크당 50 trial이라고 밝히지만 뒤 네 스위트(Table III~VI)는 trial 수·시드·반복 횟수·분산이 전혀 명시되지 않는다. 0.75와 0.76의 차이로 1·2위를 가르면서 오차 막대가 없다. R^2=0.931 역시 16점, 신뢰구간 없음.
장면 생성 품질의 정량 평가가 없다. “수 분 내에 수천 장면”이라는 속도 주장은 있으나, 생성된 장면이 물리적으로 타당한 비율(관통·부유 물체·도달 불가 배치)이나 사람 평가는 제시되지 않는다. 자동 수집의 롤백·재시도 메커니즘이 있다는 것은 일정 비율이 실패한다는 뜻인데, 그 비율(수율)이 보고되지 않는다.
3DGS 재구성 결과가 정량화되지 않는다. PSNR/SSIM/Chamfer 같은 재구성 품질 지표도, 재구성 장면을 쓴 정책이 그렇지 않은 경우보다 나았다는 ablation도 없다. 방법 설명은 구체적인데 검증은 서술에 그친다.
Ablation 전반이 없다. LLM 장면 생성 없이(수작업 장면으로), RAG 없이, Difix3D+ 뷰 보강 없이 각각 얼마나 나빠지는지에 대한 통제 실험이 없다. 파이프라인이 통째로 제시될 뿐, 어느 부품이 얼마나 기여하는지는 알 수 없다.
버전 정합이 헷갈린다. 논문의 Table I 헤더는 “Organize Objects”인데 본문과 Table II는 “Organize Items”로 쓴다. 또 논문이 서술하는 범위(v3.0)와 실제 저장소 상태(2026-09 기준 v3.2 — Genie Sim World, RT Engine, RoboColiseum 리더보드, 에이전트용 SKILLs)가 상당히 벌어져 있다. 논문만 읽고 저장소를 열면 다른 물건을 보게 된다.

곁가지: 논문이 아니라 저장소가 말하는 것

리뷰 범위를 벗어나지만 기록해 둘 만한 관찰이 있다. 이 프로젝트의 저장소는 AGENTS.md와 SKILL.md 레시피를 두어 코딩 에이전트(Claude Code, Cursor 등)가 문서를 사람처럼 읽지 않고도 시뮬레이터를 구동·제출하도록 설계돼 있다. RoboColiseum 리더보드 제출 파이프라인 전체가 “원클릭 SKILL”로 포장돼 있다. 즉 벤치마크의 사용자로 사람뿐 아니라 에이전트를 상정한 것인데, 논문 본문에는 이 설계가 전혀 등장하지 않는다. 논문이 v3.0을 서술하는 사이 저장소는 v3.2까지 나아갔고, 그 차이의 상당 부분이 “누가 이 시뮬레이터를 쓰는가”에 대한 가정 변화다.

요약

Genie Sim 3.0은 알고리즘이 아니라 파이프라인으로 기여하는 논문이다. LLM에게 장면 DSL을 쓰게 하고(RAG로 환각을 막고), 같은 LLM에게 시험문제를 내게 하고, VLM에게 채점을 맡긴 뒤, 그 전부를 코드·에셋·데이터·시나리오로 공개했다. 핵심 실험적 주장은 두 가지다 — 합성 데이터는 규모로 실기를 이긴다(1,500 eps 합성 > 500 eps 실기, 8태스크 평균 0.83 vs 0.75), 그리고 시뮬 평가는 실기 평가를 예측한다(R^2=0.931, 기울기 1.023).

믿을 만한가. 방향은 설득력 있지만 검증은 얇다. 단일 정책·단일 로봇·8태스크에서 나온 상관을 플랫폼 전체의 신뢰성으로 일반화하고, 정작 그 위에서 돌린 네 스위트는 시행 횟수도 오차도 보고하지 않으며, 벤치마크의 기준자인 VLM 채점기는 한 번도 교정되지 않았다(모델명은 코드에 있지만 사람 판정과의 일치율이 없고, 배포된 평가 설정의 2.6%에만 쓰인다). “차이 10% 미만”은 평균으로 참이지만 가장 긴 지평의 태스크에서는 12%로 깨진다.

그럼에도 이 벤치마크의 값어치는 바닥이 깔려 있다는 데 있다. Clean the Desktop 0.00, Sorting Packages Continuous 0.10, 공간 구성 과제 전부 0.30 이하 — 네 개의 최신 VLA가 나란히 실패하는 지점을 정확히 짚어 놓았다. 명령 이행은 강한 백본이면 대체로 풀리고, 무너지는 곳은 긴 지평의 순차 실행과 공간 구조의 구성이다. 그 사실 하나를 재현 가능한 형태로 공개한 것만으로도 이 플랫폼은 값을 한다.