📃KinDER 리뷰

benchmark

physical-reasoning

tamp

planning

vla

llm

vlm

mpc

manipulation

mobile-manipulation

MuJoCo

Gymnasium

open-source

KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning

Published

August 14, 2026

Paper Link (arXiv:2604.25788v2)
Project Page
Code — kindergarden (MIT) · kinder-baselines — 공개됨
저자: Yixuan Huang*, Bowen Li*, Vaibhav Saxena*, Yichao Liang, Utkarsh A. Mishra, Liang Ji, Lihan Zha, Jimmy Wu, Nishanth Kumar, Sebastian Scherer, Danfei Xu, Tom Silver (*equal contribution)
소속: Princeton, CMU, Georgia Tech, University of Cambridge, NVIDIA, MIT
Robotics: Science and Systems (RSS) 2026 · arXiv v2 2026-05-04

💡 로봇의 물리 추론(physical reasoning) — 자기 몸, 환경의 물리 법칙, 태스크가 함께 거는 기구학·동역학 제약을 풀어내는 능력 — 은 중요하다고 다들 말하지만 무엇이 SOTA인지에 대한 합의가 없다. 기존 벤치마크는 물리 추론을 인지·언어 이해·응용 도메인 복잡도와 뒤섞어 놓아 신호가 분리되지 않는다. KinDER는 물리 추론만 떼어내 재는 것을 목표로 한다.
⚙️ 다섯 가지 핵심 도전(공간 관계 / 비파지 다물체 조작 / 도구 사용 / 조합적 기하 제약 / 동역학 제약)을 골라, 그것을 격리하는 25개 절차적 생성 환경(Kinematic2D·Dynamic2D·Kinematic3D·Dynamic3D)과 Gymnasium 호환 파이썬 패키지(파라미터화된 스킬·개념·원격조작·데모), 13개 베이스라인(TAMP·RL·IL·FM 플래닝)을 함께 낸다. 모든 환경은 객체 중심 상태(object-centric state) 를 쓰고 보상은 성공 전까지 매 스텝 -1인 희소 보상이다.
🎯 8개 대표 환경 × 13 베이스라인 × 5 시드 × 50 에피소드 평가에서 아무도 벤치마크를 풀지 못한다. 평균 성공률 최고가 bilevel planning의 0.57, 그 다음이 in-context LLM/VLM 플래너 0.43, VLA·MPC 0.32, RL 계열은 0.02~0.13이다. 특히 기구학 환경 평균과 동역학 환경 평균의 격차(BP 기준 약 0.86 → 0.28)가 크고, 동역학 쪽에서는 사실상 전 방법이 무너진다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 알고리즘 논문이 아니라 벤치마크 논문이고, 그 주장은 한 문장으로 줄어든다 — “물리 추론에는 아직 SOTA가 없다. 그걸 보이려면 물리 추론만 격리해서 재야 한다.”

문제 인식은 이렇다. 책을 책장에 넣는 일은 의미론적으로 단순하다. 그런데 실제로는 “책까지 가는 길이 뚫려 있나? 재파지가 필요한가? 책장에 자리가 있나, 아니면 팔로 다른 책을 밀어야 하나?”라는 질문들이 따라붙고, 로봇은 그 질문에 답하기 전에 그 질문을 스스로 던져야 한다. 기존 벤치마크는 이 능력을 재지 못한다 — 응용 중심(가사 보조·가구 조립·요리) 벤치마크에서 물리 추론은 인지·언어 이해와 뒤엉켜 있고, 물리 추론 전용 벤치마크(PHYRE, Virtual Tools)는 로봇이 아니라 인간 인지 연구를 향해 있다.

KinDER 전체 구성(Fig. 1) — KinDERGarden(좌상, 25개 환경), KinDERGym(우상, Gymnasium 인터페이스·파라미터화된 스킬·원격조작·데모), KinDERBench(좌하, 13개 베이스라인), 실기 검증(우하, 모바일 매니퓰레이터 real-to-sim-to-real).

핵심 설계:

세 덩어리다.

KinDERGarden — 25개 환경. 축이 두 개다. ① 기구학 / 동역학: 전자는 속도·가속도를 모델링하지 않고 전이가 물체 자세와 로봇 형상만으로 결정되며(충돌이 생기면 상태를 되돌린다), 후자는 Pymunk(2D)·MuJoCo(3D)로 실제 물리를 돈다. ② 2D / 3D: 추상화 수준. 카테고리별 환경 수는 Kinematic2D 6, Dynamic2D 4, Kinematic3D 5, Dynamic3D 10이다.
KinDERGym — pip install kindergarden으로 깔리는 패키지. Gymnasium API 위에 파라미터화된 스킬(옵션 + PDDL 연산자 + 샘플러)과 개념(객체 중심 상태에 grounding되는 관계 술어)을 얹어 계층적 계획·학습이 가능하게 한다. 원격조작 인터페이스 4종(마우스·키보드, PS5 컨트롤러, iPhone 웹앱, Meta Quest 3S)과 10개 환경에 대한 \geq 100개 데모가 붙는다.
KinDERBench — 8개 대표 환경에서 13개 베이스라인을 5 시드 × 50 에피소드로 돌린 표준 평가.

설계의 축이 되는 결정은 객체 중심 상태다. 상태는 객체 이름 → 실수 특징 벡터의 사상이고, 벡터 차원은 객체 타입이 정한다. 예컨대 \mathrm{MobileManipulator} 타입은 베이스 자세·속도 \mathrm{SE(2)}, 팔 관절 각·속도 \mathbb{R}^{7}, 그리퍼 값 [0,1]을 갖고, \mathrm{Movable} 타입은 \mathrm{SE(3)} 자세·속도와 바운딩박스 \mathbb{R}^{3} 등을 갖는다. 덕분에 객체 수를 바꿔도 환경 코드가 그대로이고, 이것이 “무한한 절차적 변형”과 test-time scaling 평가를 동시에 가능하게 한다. 표준 RL/IL을 붙이려면 객체 수가 고정된 변형(예: \mathrm{Shelf3D}의 \mathrm{b5} = 책 5권)을 골라 상태를 고정 차원 벡터로 평탄화하거나, RGB 이미지 관측을 쓰면 된다.

보상은 성공 전까지 매 스텝 -1, 성공하면 종료. 즉 누적 보상은 곧 (음의) 스텝 수이고 성공률과 효율이 자연스럽게 분리된다.

주요 결과:

평균 성공률(8개 환경) — BP 0.57 > LLMCon 0.43 = VLMCon 0.43 > LLMPlan 0.34 = VLMPlan 0.34 > MPC 0.32 = VLA 0.32 > GSC 0.26 > DPES 0.25 > DP 0.24 > PPO 0.13 > MBRL 0.08 > SAC 0.02. 아무도 풀지 못한다.
기구학 vs 동역학의 절벽 — Table II에서 계산해 보면 BP는 기구학 4개 평균 0.86, 동역학 4개 평균 0.28이고, LLMPlan/VLMPlan은 0.67 → 0.005/0.008로 사실상 0이 된다.
VLA의 반전 — \mathrm{DynPushPullHook2D}(장애물 5개, 도구 사용 + 비파지 다물체)에서 유일하게 유의미한 성공률 0.43을 낸 것이 파인튜닝된 \pi_{0.5}다. 2D 렌더링·물리가 사전학습 데이터와 전혀 다른데도 그렇다.
IL의 반전 — 다단계 장기 태스크 \mathrm{SweepIntoDrawer3D}에서 DP 0.14 / DPES 0.04. 세부 성공률(Table III)은 DP가 서랍 열기 0.87 → 빗자루 잡기 0.74 → 일부 쓸기 0.22 → 전부 쓸기 0.14로 단계마다 반씩 깎인다.
계획의 확장성 붕괴(Table V) — BP를 \mathrm{StickButton2D}에서 버튼 수만 늘리면 1개 0.99(1.51초) → 3개 0.26(19.45초) → 5개 0.02(28.12초) → 10개 0.00(38.39초).
관측 노이즈 취약성(Table VIII) — BP는 관측에 \sigma=0.01 가우시안만 얹어도 \mathrm{StickButton2D} 1.00 → 0.22, \sigma=0.1이면 0.06으로 무너진다.

결론:

“모두가 실패한다”는 결과 자체보다, 실패의 지형이 이 논문의 값어치다. 구조(스킬·개념)를 손으로 넣어 준 플래너는 기구학 환경을 쓸어 담지만 접촉이 개입하는 순간 무너지고, 반대로 사전학습된 VLA는 접촉이 풍부한 2D 도구 사용에서 홀로 살아남는다. 같은 플래너를 쓰는 MPC와 MBRL의 격차는 학습된 전이 모델이 아직 못 쓸 물건임을 보여 준다. 다만 벤치마크로서 KinDER는 자기가 세운 다섯 도전 중 하나(동역학 제약)를 사실상 재지 않았고, 성공률 순위에 붙은 오차 막대는 방법군마다 정의가 달라 보인다(아래 「비판적으로 보면」).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 벤치마크의 진짜 설계는 “25개 환경”이 아니라 “기구학×동역학 / 2D×3D의 2×2 사다리”다. 같은 태스크를 물리가 정확히 결정론적인 2D 기구학 버전과, 마찰·관성이 도는 3D 동역학 버전으로 동시에 제공한다는 점이 다른 벤치마크와 갈리는 지점이다. \mathrm{Obstruction2D}와 \mathrm{DynObstruction2D}가 그 축소판이다 — 기구학 버전에서는 장애물을 하나씩 집어 옮기는 것 외에 답이 없지만, 동역학 버전에서는 목표 물체를 든 채로 장애물을 밀어내는 지름길이 열린다. 물리 추론이란 결국 “이 지름길이 허용되는가”를 판정하는 일이고, 그 판정이 가능한지 아닌지를 두 버전을 나란히 놓아 재는 것이다. 사다리의 아래칸에서 실패하면 그건 추론의 실패이고, 위칸에서만 실패하면 접촉 동역학의 문제다 — 이 진단 능력이 25라는 숫자보다 중요하다.

배경: 왜 아직도 물리 추론의 SOTA를 모르는가

논문이 짚는 이유는 두 가지다.

첫째, 재기가 어렵다. 단일 태스크로는 부족하고(해답을 외워 버리면 그만이다), 절차적 변형을 준다 해도 물리 추론의 일반성을 다 담지 못한다. 그래서 기존 벤치마크들은 더 일반적인 도전(태스크 다양성, 장기 지평, 언어 grounding)이나 응용 도메인(가사 보조) 쪽으로 향했고, 물리 추론 자체는 늘 다른 것과 섞인 채 측정됐다.

둘째, 분야가 갈라져 있다. TAMP는 명시적 모델과 최적화로 일반화된 제약 만족 문제를 풀고, RL/IL은 데이터로 명시적 추론의 필요를 없애 버리며, FM 기반 접근은 자연어 추론과 사전학습된 암묵 지식을 섞는다. 이들을 같은 자에 올려 본 적이 거의 없다.

다섯 가지 핵심 도전(Fig. 2) — 좌상단부터: 그릇 기준 목표 위치로 물체 배치(기본 공간 관계), 작은 물체들을 서랍에 쓸어 담기(비파지 다물체 조작), 좁은 공간에 물체 채우기(조합적 기하 제약), 상자로 물체 옮기기(도구 사용), 장벽 너머로 던지기(동역학 제약).

다섯 도전은 임의로 고른 것이 아니라 “개별 연구에서는 일회용 환경으로 다뤄지지만 기존 벤치마크에는 잘 반영되지 않은 주제” 를 교차 검토해 뽑았다고 밝힌다. 즉 연구 최전선이면서 SOTA가 불분명한 지점을 겨냥한 것이다.

기본 공간 관계 — 포크가 접시 왼쪽에 있는지 아는 수동적 이해와, 거기에 놓을 줄 아는 능동적 이해 둘 다.
비파지 다물체 조작 — pick-and-place를 넘어 밀기·당기기·쓸기·뜨기·젓기·치기. 전신·전완 접촉을 회피 대상이 아니라 자원으로 쓰기.
도구 사용 — 망치·렌치·후크·막대·쟁반·통·발판. 관용적 어포던스뿐 아니라 즉흥적으로 대체물을 만들어내는 추상적 메커니즘 이해까지.
조합적 기하 제약 — 물체가 N개면 쌍별 충돌 제약이 다항식적으로 늘어난다. 짐 싸기·꺼내기·좁은 공간 항행.
동역학 제약 — 가득 찬 컵 나르기, 쟁반 균형, 흘리지 않고 뜨고 붓기, 던지기, 저글링. 제어로 동역학계를 안정화하는 일.

이 목록에 없는 것들(장기 지평, 희소 피드백, 넓은 태스크 분포, 계획 시간 압박)은 “빠져 있어서”가 아니라 KinDER 전반에 이미 깔려 있는 공통 조건이어서 핵심 목록에서 뺐다고 명시한다.

관련 벤치마크 비교(Table I)에서 KinDER는 다섯 도전 전부에 체크가 들어가고 2D/3D를 모두 가진 유일한 행이다. 비교 대상 중 가장 넓은 BEHAVIOR-1k(관련 리뷰)가 5개 중 4개(비파지 다물체 조작 제외)를 채운다. 다만 이런 표는 저자가 열을 고르는 형식이라는 점은 감안해야 한다 — “다섯 도전”이라는 열 자체가 KinDER의 정의이므로 KinDER가 만점인 것은 동어반복에 가깝다. 표의 정보값은 “누가 이기는가”가 아니라 “비파지 다물체 조작 열이 거의 비어 있다” 같은 빈칸의 분포에 있다.

KinDERGarden: 환경 설계

25개 환경 × 5개 핵심 도전 커버리지(Fig. 3) — 색 띠는 카테고리(Kinematic2D 초록 6개, Dynamic2D 주황 4개, Kinematic3D 보라 5개, Dynamic3D 분홍 10개). 진한 칸이 해당 환경이 겨냥하는 도전이다.

이 커버리지 행렬이 벤치마크의 실제 모양을 가장 정직하게 보여 준다. 눈에 띄는 것은 행마다 밀도가 다르다는 점이다 — 도구 사용과 조합적 기하 제약은 각각 9개 안팎의 환경이 받치는데, 동역학 제약은 5개(\mathrm{DynScoopPour2D}, \mathrm{BalanceBeam3D}, \mathrm{ScoopPour3D}, \mathrm{SweepIntoDrawer3D}, \mathrm{Tossing3D})뿐이다. 이 사실은 나중에 실험 설계 비판으로 이어진다.

공통 구조. 모든 환경은 Gymnasium API를 상속하고, 초기 상태 분포는 reset() 안의 절차적 생성으로 구현되며, 보상은 성공 종료 전까지 매 스텝 -1이다. 그리고 앞서 말한 객체 중심 상태를 쓴다.

절차적 태스크 생성 예시(Fig. 4) — \mathrm{ConstrainedCupboard3D}에서 선반이 리셋마다 무작위로 배치되어, 로봇은 매번 “이 봉을 어디에 넣을 수 있는가”의 가능성 자체를 다시 따져야 한다.

절차적 생성이 단순한 물체 위치 지터가 아니라 문제의 조합 구조 자체를 바꾼다는 점이 Fig. 4의 요지다. 선반 칸의 개수·크기·배치가 매번 달라지므로 “몇 번 칸에 넣으면 된다”를 외울 수 없고, 매번 실현 가능 영역을 다시 추론해야 한다.

카테고리별 구현.

카테고리	개수	물리 백엔드	로봇	특징
Kinematic2D	6	없음(순수 파이썬)	원형 베이스 \mathrm{SE(2)} + 1D 신축 팔 + 사각 진공 흡착	충돌 감지 시 상태 되돌림. 도구 사용·조합적 기하 제약 연구에 적합
Dynamic2D	4	Pymunk	위와 같되 2지 그리퍼	속도·가속도 모델링. 접촉 풍부한 동역학
Kinematic3D	5	PyBullet (모델링·FK·충돌 검사)	TidyBot++ 모바일 베이스 + Kinova Gen3 7DOF + Robotiq 2F-85	그리퍼 닫으면 물체가 강체 부착
Dynamic3D	10	MuJoCo	위와 동일한 TidyBot++	파지가 동역학적(강체 부착 없음). 설정 파일 기반이라 10개 환경이 같은 파이썬 코드를 공유

Dynamic3D는 계보가 뚜렷하다 — 설정 파일 구조는 LIBERO에서, 절차적 태스크 생성의 명세 언어는 BEHAVIOR의 BDDL에서, 물체·씬 에셋은 RoboCasa와 MimicLabs에서 가져왔다. 바퀴를 다시 만들지 않고 기존 자산을 조립했다는 점은 벤치마크의 실사용 가능성 측면에서 좋은 신호다.

기구학 vs 동역학 물리 추론(Fig. 5) — 위: \mathrm{Obstruction2D}에서는 장애물을 하나씩 집어 옮겨 목표 영역을 비우는 것 외에 방법이 없다. 아래: \mathrm{DynObstruction2D}에서는 목표 물체를 잡은 채로 장애물을 밀어내는 지름길이 성립한다.

KinDERGym: 스킬과 개념을 1급 시민으로

TAMP와 학습을 같은 환경에서 비교하려면 환경이 TAMP가 요구하는 것(기호·연산자·샘플러)과 학습이 요구하는 것(벡터 관측·행동 공간)을 동시에 내줘야 한다. KinDERGym이 하는 일이 그것이다.

스킬 = 옵션(option)으로 구현되고, 여기에 PDDL 연산자와 샘플러가 붙는다. 옵션은 객체 인자(연산자와 동일)와 샘플러가 제안하는 추가 연속 인자를 받는다. 예: \mathrm{Pick(object,\theta)}에서 \theta\in\mathrm{SE(3)}는 상대 파지 자세다. 옵션 정책은 내부 상태를 가질 수 있어서 “모션 플랜을 생성하고 따라간다” 같은 패턴이 자연스럽다.
개념 = 객체 중심 상태에 grounding되는 분류기를 가진 관계 술어. \mathrm{On(object,surface)}는 물체가 표면 위에 있고 접촉해 있으면 참. 이 술어들이 스킬 연산자의 선행조건·효과가 된다. 객체 중심 상태와 합치면 2단계 씬 그래프로도 읽을 수 있다.

실험에서 이 스킬·개념을 쓰는 것은 bilevel planning, LLM 플래닝, VLM 플래닝 세 가지다. 논문은 여기서 정직한 자기 제한을 붙인다 — 물리 추론은 계층적 분해가 항상 자명하지 않고, 스킬을 설계하거나 학습하는 것 자체가 앞으로의 과제라는 것. 즉 스킬을 제공한 것은 편의이자 동시에 베이스라인 간 공정성의 전제를 흐리는 요인이기도 하다.

엔지니어링 품질은 벤치마크 논문에서 실제로 가장 중요한 항목인데, 이쪽은 꽤 성실하다 — CI·린팅·타입체크·오토포매팅에 약 400개 단위 테스트, Python 3.10~3.12, Ubuntu 20.04/22.04/24.04, macOS 12~15, Windows 10 검증. 백엔드별 requirements 파일이 나뉘어 있어 2D만 쓸 거면 PyBullet·MuJoCo 없이 설치할 수 있다. 원격조작은 2D가 마우스·키보드/PS5 컨트롤러, 3D가 iPhone 웹앱(TidyBot++ 인터페이스 기반, 자이로·가속도계로 공간 입력)과 Meta Quest 3S. 계획으로 대량 생성한 것과 합쳐 10개 환경에 \geq 100개 데모가 함께 배포된다.

KinDERBench: 무엇을, 무엇으로 쟀나

환경 8개. 네 카테고리에서 난이도가 다른 두 개씩을 골랐다.

환경	카테고리	변형	요구되는 도전
\mathrm{Motion2D}	Kinematic2D	`p0`(통로 없음)	공간 관계 (가장 단순)
\mathrm{StickButton2D}	Kinematic2D	`b1`(버튼 1개)	도구 사용
\mathrm{DynObstruction2D}	Dynamic2D	`o1`(장애물 1개)	조합적 기하 제약 + 비파지
\mathrm{DynPushPullHook2D}	Dynamic2D	`o5`(장애물 5개)	도구 사용 + 비파지
\mathrm{BaseMotion3D}	Kinematic3D	`o0`(장애물 없음)	공간 관계 (가장 단순)
\mathrm{Transport3D}	Kinematic3D	`o2`(물체 2개 + 상자)	도구 사용 + 조합적 기하
\mathrm{Shelf3D}	Dynamic3D	`o1`(물체 1개)	공간 관계 + 조합적 기하
\mathrm{SweepIntoDrawer3D}	Dynamic3D	`o5`(물체 5개)	도구 사용 + 비파지 + 동역학

베이스라인 13개. 크게 네 갈래다.

TAMP — BP(bilevel planning): hFF 휴리스틱 greedy best-first search로 추상 계획을 뽑고(최대 10개 또는 60초 타임아웃), 각 계획을 샘플러 백트래킹으로 정련(스텝당 최대 3 샘플).
FM 플래닝 — LLMPlan / VLMPlan(zero-shot), LLMCon / VLMCon(in-context 예시 최대 4개). 모두 GPT-5.2. 스킬·객체 중심 초기 상태·목표를 프롬프트로 받아 스킬 시퀀스를 뽑고 open-loop로 롤아웃한다. VLM 쪽은 여기에 초기 상태 RGB 이미지가 추가된다.
모델 기반 제어 — MPC: predictive sampling. 반복마다 지평 100짜리 후보 궤적 10개를 이전 최적 궤적에 가우시안 노이즈를 얹어 샘플하고(warm start), 시뮬레이터의 참 전이 함수로 롤아웃해 희소 보상으로 점수 매긴 뒤 최적 후보의 첫 행동을 실행. 제어점 10개로 부드럽게. MBRL: 같은 플래너를 쓰되 전이 함수를 데모로 학습한 신경망(은닉 256×2, SiLU, 로봇/환경 상태 델타 예측 헤드 2개)으로 대체.
학습 정책 — GSC(Generative Skill Chaining, 스킬 레이블 붙인 데모로 확산 계획), PPO/SAC(1M 스텝, MLP 4층, 2D는 128·3D는 256, tanh), DP(RGB 기반 확산 정책, 환경당 데모 100개, 예측 지평 16·관측 2·실행 8, temporal UNet [256,512,1024], DDIM 16스텝 추론), DPES(DP + 객체 중심 상태 추가 입력), VLA(사전학습 \pi_{0.5}를 OpenPI로 같은 데모에 파인튜닝, 환경 상태 접근 없음, 행동 지평 10 중 8 실행).

지표 3개 + 1개. 성공률(SR, 효과성), 누적 보상(Rwd, 성공한 에피소드만 대상 — 보상이 매 스텝 -1이므로 사실상 스텝 수의 음수, 효율), 추론 시간(Inf-Time, 에피소드당 벽시계 초). 그리고 정량화하지 못했지만 똑같이 중요하다고 밝히는 네 번째가 엔지니어링 비용이다 — BP는 스킬·개념을 요구하므로 비싸고 RL은 싸다.

실험: 실패의 지형

기구학 환경 vs 동역학 환경 평균 성공률(Fig. 1 하단 막대그래프) — 가로축은 왼쪽에서 오른쪽으로 갈수록 사람의 엔지니어링이 덜 들어가는 방법. 기구학 쪽(왼쪽)은 계단식 내리막이지만, 동역학 쪽(오른쪽)은 전 방법이 바닥에 붙어 있고 순서도 뒤집힌다.

전체 평균(8개 환경)은 BP 0.57 > LLMCon 0.43 = VLMCon 0.43 > LLMPlan 0.34 = VLMPlan 0.34 > MPC 0.32 = VLA 0.32 > GSC 0.26 > DPES 0.25 > DP 0.24 > PPO 0.13 > MBRL 0.08 > SAC 0.02. 논문의 요약은 “엔지니어링 비용과 추론 시간을 더 지불하면 성공률로 돌아온다”는 예상된 추세다. 그런데 Table II를 카테고리로 갈라 평균 내면 훨씬 흥미로운 그림이 나온다(아래는 Table II 수치로 리뷰어가 직접 계산한 값이며, 논문 Fig. 1의 막대그래프와 일치한다).

방법	기구학 4개 평균	동역학 4개 평균	낙차
BP	0.86	0.28	−0.58
LLMCon	0.70	0.16	−0.54
VLMCon	0.70	0.15	−0.55
LLMPlan	0.67	0.005	−0.66
VLMPlan	0.67	0.008	−0.66
MPC	0.54	0.10	−0.43
GSC	0.44	0.08	−0.36
VLA	0.39	0.24	−0.16
DPES	0.39	0.12	−0.27
DP	0.33	0.15	−0.18
PPO	0.24	0.02	−0.22
MBRL	0.15	0.01	−0.14
SAC	0.04	0.003	−0.03

낙차의 크기가 방법의 성격을 드러낸다. zero-shot FM 플래너는 기구학에서 0.67로 준수하다가 동역학에서 0.005로 완전히 소멸한다 — 접촉이 개입하면 open-loop 스킬 시퀀스가 애초에 성립하지 않는다는 뜻이다. 반대로 VLA는 낙차가 −0.16으로 가장 작고, 동역학 평균만 보면 BP 다음가는 2위(0.24)다. 사전학습된 시각운동 정책이 “계획할 수 없는” 영역에서 상대적으로 강하다는 것.

몇 가지 개별 결과를 짚으면:

(1) BP vs LLMPlan/VLMPlan — 같은 스킬, 다른 결과. 둘 다 같은 파라미터화된 스킬을 쓰는데 어려운 환경에서 격차가 크게 벌어진다(\mathrm{Shelf3D}: BP 1.00 vs LLMPlan/VLMPlan 0.00, \mathrm{StickButton2D}: 0.99 vs 0.25/0.28). 논문은 이걸 “FM 플래너에 개선 여지가 있다”로 읽는다. 그리고 in-context 예시의 효과가 크다 — LLMCon/VLMCon이 LLMPlan/VLMPlan을 \mathrm{Shelf3D}에서 0.55/0.52 vs 0.00으로 완전히 앞선다.

(2) VLM은 이미지를 못 쓴다? LLMPlan≈VLMPlan(0.34 vs 0.34), LLMCon≈VLMCon(0.43 vs 0.43). 논문은 “VLM이 추가로 받은 이미지를 의미 있게 활용하지 못한다”고 해석한다.

(3) DP는 상태를 못 쓴다? 대칭적으로 DPES(0.25)≈DP(0.24). 객체 중심 상태를 더 줬는데 이득이 없다. 논문은 이 둘을 “쌍대(dual)” 관계로 흥미롭게 묶는다.

(4) \mathrm{DynPushPullHook2D}의 VLA 단독 생존. 13개 중 유일하게 0.43. BP는 0.01, 그것도 에피소드당 73.8초를 태우고 그렇다. 도구 사용 + 비파지 다물체 + 5개 장애물이 겹친 이 환경에서 명시적 계획은 사실상 무력하다.

(5) \mathrm{SweepIntoDrawer3D}의 IL 생존과 VLA의 몰락. DP 0.14 / DPES 0.04 / BP 0.03이고 나머지는 전부 0.00. Table III의 세부 단계를 보면 원인이 선명하다.

세부 단계	DP	DPES	VLA
서랍 열기	0.87	0.50	0.01
빗자루 잡기	0.74	0.28	0.00
일부 물체 쓸기	0.22	0.08	0.00
전부 쓸기	0.14	0.04	0.00

VLA가 첫 단계에서부터 0.01로 죽는다. (4)에서 홀로 살아남은 그 모델이다. 같은 \pi_{0.5}가 2D 후크 태스크에서는 최고, 3D 다단계 쓸기에서는 최악인 이 비대칭은 논문이 명시적으로 해석하지 않고 넘어가는데, 벤치마크가 던진 질문 중 가장 재미있는 것 하나라고 본다.

(6) MPC ≫ MBRL, 그리고 그 대가. 같은 플래너인데 MPC 0.32 vs MBRL 0.08 — 학습된 전이 모델이 신뢰할 수 없다는 뜻이다. 다만 MPC의 성적은 시뮬레이터의 참 전이 함수를 그대로 호출해서 얻은 것이고(현실에서는 쓸 수 없는 특권), 비용도 극단적이다. \mathrm{DynObstruction2D}에서 MPC는 에피소드당 381초를 써서 0.41, MBRL은 571.92초를 써서 0.04를 낸다. 같은 환경에서 VLA는 1.13초로 0.50이다. 성공률과 시간을 함께 보면 순위가 완전히 달라진다.

(7) RL은 짧은 지평에서만. PPO 0.13 / SAC 0.02. 희소 보상 + 귀납 편향 부재를 생각하면 예상된 결과다. 부록의 밀집 보상 실험(Table VII, \mathrm{BaseMotion3D})이 미묘하다 — 거리 기반 shaping을 넣으면 PPO는 0.00 → 0.10으로 살아나지만, off-policy인 SAC은 오히려 0.15 → 0.10으로 떨어진다. “밀집 보상이 답”이 아니라 “밀집 보상 설계는 알고리즘마다 다르게 작동하는 또 하나의 엔지니어링 비용”이라는 쪽에 가깝다.

(8) 계획의 확장성(Table V). BP를 \mathrm{StickButton2D}에서 버튼 수만 늘리면 1 → 0.99(1.51초), 3 → 0.26(19.45초), 5 → 0.02(28.12초), 10 → 0.00(38.39초). 성공률은 붕괴하고 시간은 25배가 된다. 조합적 기하 제약이라는 도전의 정의 그대로의 붕괴이고, “학습으로 계획을 가속하라”는 가장 명확한 후속 과제를 남긴다.

(9) OOD 일반화(Table IV). \mathrm{DynObstruction2D}를 장애물 1개로 학습하고 0/2/3개로 평가.

장애물 수	1(학습)	0	2	3
DP	0.33	0.35	0.30	0.26
VLA	0.50	0.52	0.43	0.40

성능 저하가 완만하고, 특히 VLA가 견고하다(사전학습 덕으로 추정). 다만 절대 수치가 0.5 이하라 “견고하게 반쯤 실패한다”는 해석도 가능하다.

(10) 관측·행동 노이즈(부록 E, Table VIII). 이 표가 개인적으로 가장 뼈아프다. BP에 가우시안 노이즈 래퍼를 씌우면:

노이즈	관측 0	관측 0.01	관측 0.1	행동 0	행동 0.01	행동 0.1
\mathrm{StickButton2D}	1.00	0.22	0.06	1.00	0.41	0.05
\mathrm{Motion2D}	1.00	0.40	0.08	1.00	0.13	0.00

벤치마크 1위 방법이 표준편차 0.01짜리 노이즈에 성공률의 60~80%를 잃는다. 벤치마크의 헤드라인 순위(BP 0.57 > 나머지)는 완전 관측·완전 실행이라는 가정 위에 서 있고, 그 가정을 조금만 흔들면 순위 자체가 무의미해질 수 있다는 뜻이다. 아쉽게도 이 실험은 BP에만, 2개 환경에만 돌렸다.

실기 검증: real-to-sim-to-real

real-to-sim-to-real 예시(Fig. 6) — 위는 시뮬레이션에서 생성한 계획, 아래는 실기 TidyBot++의 실행. 오버헤드 카메라로 로봇 베이스 자세를 추정하고 물체의 2D 바운딩박스로 위치·크기를 잡아 \mathrm{Shelf3D} 쌍둥이 씬을 구성한 뒤, BP로 계획해 실기에서 웨이포인트를 순차 달성한다.

구성은 단순하다. 캘리브레이션된 top-down 카메라로 로봇 베이스 자세를 추정하고, 팔 관절각·그리퍼 상태는 프로프리오셉션에서 직접 받는다. 물체는 2D 바운딩박스를 검출해 중심으로 위치를, 박스 크기로 스케일을 잡고 z축 크기는 시뮬레이션에서 고정한다. 그렇게 만든 객체 중심 상태로 \mathrm{Shelf3D} 쌍둥이를 초기화하고 BP로 TAMP 계획을 생성한 뒤 실기에서 실행한다.

목적은 “KinDERGarden 환경이 실제 물리 추론 문제에 대응한다”는 것을 보여 주는(demonstrate) 데 있고, 논문도 그 이상을 주장하지 않는다. 성공률·시행 횟수·실패 모드 같은 정량 결과는 없다.

비판적으로 보면

강점

2×2 사다리(기구학/동역학 × 2D/3D)가 진단 도구가 된다. 같은 종류의 문제를 물리 충실도만 바꿔 제공하므로, 실패가 “추론의 실패”인지 “접촉 처리의 실패”인지를 갈라 볼 수 있다. Fig. 5의 \mathrm{Obstruction2D} vs \mathrm{DynObstruction2D} 대조는 이 설계의 요약이자 물리 추론의 조작적 정의에 가깝다.
스킬·개념을 함께 배포한 것이 TAMP↔︎학습 비교를 처음으로 가능하게 한다. PDDL 연산자 + 샘플러 + 옵션을 벤치마크가 직접 제공하는 사례는 사실상 없다. 이게 없으면 TAMP 베이스라인은 논문마다 다른 자기 환경에서만 돌고, 비교는 영원히 불가능하다.
객체 중심 상태라는 축이 여러 문제를 한꺼번에 푼다. 객체 수를 바꿔도 환경 코드가 그대로여서 절차적 생성·test-time scaling 평가가 자연스럽고, 같은 상태를 기호(개념 술어)로도 벡터로도 읽을 수 있어 이질적 방법군이 한 환경을 공유한다.
엔지니어링 성실도. 약 400개 단위 테스트, 3개 OS · 3개 파이썬 버전 검증, 백엔드별 requirements 분리, pip install kindergarden 한 줄, MIT 라이선스, 베이스라인 별도 레포. 벤치마크가 쓰이느냐 마느냐를 가르는 것은 아이디어가 아니라 이 부분이고, 이쪽은 잘 되어 있다.
결과의 값어치가 순위가 아니라 패턴에 있다. 구조를 준 플래너는 기구학에서 압승하지만 접촉에서 소멸하고, 사전학습 VLA는 계획 불가능한 영역에서 홀로 버티며, 학습된 동역학 모델은 같은 플래너를 30% 성능으로 떨어뜨린다. 이런 대조는 새 환경 25개보다 오래 남는다.

약점·한계

다섯 도전 중 하나(동역학 제약)가 사실상 측정되지 않았다. KinDERBench의 8개 환경 중 동역학 제약을 겨냥하는 것은 \mathrm{SweepIntoDrawer3D} 하나뿐이고, 거기서 최고 성적이 DP의 0.14다. 이 도전을 정면으로 재는 환경들 — \mathrm{Tossing3D}(던지기), \mathrm{BalanceBeam3D}(균형), \mathrm{ScoopPour3D}·\mathrm{DynScoopPour2D}(뜨고 붓기) — 은 하나도 벤치마크에 들어오지 않았다. 논문 서두가 “가득 찬 커피컵을 나르고 저글링하는” 능력으로 이 도전을 소개한 것을 생각하면, 결론에서 그 축의 SOTA에 대해 말할 수 있는 것이 없다.
25개 중 8개, 그것도 대부분 쉬운 변형. 평가된 변형은 p0(통로 없음), o0(장애물 없음), o1(1개), b1(1개)처럼 각 환경의 최소 난이도 쪽에 몰려 있다. “무한한 절차적 변형”이 세일즈 포인트인데 실제 보고된 벤치마크는 좁고 얕은 절단면이다. Table V가 버튼 1 → 10에서 0.99 → 0.00을 보인 것처럼, 변형을 조금만 키우면 표 전체가 0으로 수렴할 가능성이 높다.
오차 막대가 방법군마다 정의가 달라 보인다. 프로젝트 사이트와 논문은 “5 시드 × 시드당 50 에피소드의 mean ± std”라고 밝히는데, Table VI의 값을 뜯어보면 BP·LLMCon·VLMCon·LLMPlan·VLMPlan·GSC의 표준편차는 거의 정확히 \sqrt{p(1-p)}(성공 지시변수의 에피소드 단위 베르누이 편차)다. 리뷰어가 직접 확인해 보니 이 여섯 방법의 0이 아닌 36개 항목 중 35개가 오차 0.012 이내로 \sqrt{p(1-p)}와 일치한다(예: \mathrm{Transport3D} BP 0.46\pm0.499, \sqrt{0.46\cdot0.54}=0.498 / \mathrm{Shelf3D} LLMCon 0.55\pm0.500, \sqrt{0.55\cdot0.45}=0.497). 반면 MPC·VLA·DP·DPES·PPO·MBRL·SAC 쪽은 훨씬 작은 값(예: \mathrm{DynObstruction2D} VLA 0.50\pm0.034)으로, 시드 간 편차로 읽는 게 자연스럽다. 두 종류가 한 표에 섞여 있으면 방법 간 오차 막대를 비교할 수 없고, 헤드라인 순위에 유의성 검정도 없다. 논문의 결론(모두 실패한다)이 흔들릴 정도는 아니지만, 표 자체는 신뢰하고 인용하기 어렵다.
BP의 동역학 평균 0.28은 사실상 \mathrm{Shelf3D} 하나가 만든 값이다. \mathrm{Shelf3D}의 1.00을 빼면 나머지 세 동역학 환경 평균은 0.04다. “TAMP가 이긴다”는 서사는 좀 더 정확히는 “TAMP는 기구학 환경과, 스킬이 우연히 잘 맞는 동역학 환경 하나에서 이긴다”에 가깝다.
엔지니어링 비용이 결론의 축인데 끝까지 측정되지 않는다. 논문은 “엔지니어링 비용을 더 내면 성공률이 오른다”를 총평으로 삼으면서, 정작 그 비용을 정량화하지 않는다(코드 라인 수, 환경당 스킬 정의 시간, 새 환경 이식 비용 무엇도 없다). 그러면 이 명제는 “BP는 비싸고 잘한다, RL은 싸고 못한다”는 순환 서술이 된다. 벤치마크가 이 축을 표준화해 줬다면 훨씬 값어치 있었을 것이다.
“VLM은 이미지를 못 쓴다”는 결론은 실험이 뒷받침하지 못한다. VLMPlan은 RGB 이미지에 더해 참 객체 중심 상태를 함께 받는다. 완벽한 상태가 이미 주어진 상태에서 이미지는 구조적으로 잉여이므로, LLMPlan≈VLMPlan은 “VLM이 시각을 못 쓴다”가 아니라 “이 설정에서 시각은 정보를 추가하지 않는다”를 보여 줄 뿐이다. 이미지만 주는 조건이 없으면 비전의 기여를 분리할 수 없다. DP vs DPES의 “쌍대” 해석도 같은 취약점을 공유한다(DP는 이미 이미지에서 필요한 정보를 뽑고 있을 수 있다).
FM 베이스라인 설정이 보수적이다. 모델 하나(GPT-5.2), zero-shot 또는 최대 4개 in-context 예시, 재계획 없는 open-loop 롤아웃. 실패가 계획의 실패인지 실행 중 편차에 반응하지 못한 탓인지 구분되지 않는다. 동역학 환경에서 FM 플래너가 0.005로 소멸한 것은 접촉이 개입하면 open-loop가 성립하지 않는다는 사실의 재확인에 가깝고, closed-loop 변형이 없으므로 “FM 플래닝의 한계”로 일반화하기는 이르다.
“인지에서 분리했다”는 것은 곧 “인지가 풀렸다고 가정한다”는 것이다. 대부분의 베이스라인이 참 객체 중심 상태를 받는다. 설계 의도로는 타당하지만, 도구 사용·조밀 클러터에서 실제 병목의 상당 부분이 자세·형상 추정이라는 점을 생각하면 이 벤치마크의 성적이 실기 성능으로 옮겨간다는 보장은 약하다. 부록 E의 노이즈 실험이 그 간극을 슬쩍 보여 주는데(BP 1.00 → 0.22), 본문 결론에는 반영되지 않았다.
실기 검증이 질적 시연에 머문다. 태스크 1개, 환경 1개, 성공률·시행 횟수 없음, 실행은 웨이포인트 순차 달성(open-loop에 가깝다). 논문 스스로 “초기 실험”이라고 못 박고 있어 과장은 없지만, “시뮬레이션이 실제 물리 추론 문제에 대응한다”는 주장의 증거로는 약하다.
문서의 소소한 불일치. 본문은 Dynamic3D가 10개라고 하는데 부록 Table XII는 9개만 기술한다(\mathrm{Dynamo3D}가 빠져 있다 — Fig. 3 커버리지 행렬과 프로젝트 사이트에는 있다). 또 arXiv HTML판은 PDF의 Fig. 1(Overview)이 통째로 누락되어 이후 그림 번호가 하나씩 밀린다. 인용할 때 주의가 필요하다.

요약

문제 설정이 이 논문의 기여다. 물리 추론을 다섯 도전(공간 관계 / 비파지 다물체 조작 / 도구 사용 / 조합적 기하 제약 / 동역학 제약)으로 조작적으로 정의하고, 그것만 격리해 재는 환경을 만들었다.
2×2 사다리(기구학·동역학 × 2D·3D)와 객체 중심 상태가 설계의 뼈대다. 전자는 실패의 원인을 분리해 진단하게 하고, 후자는 TAMP·RL·IL·FM이 한 환경을 공유하게 한다.
결과는 명확한 부정이다. 13개 베이스라인 중 8개 환경 평균 최고가 0.57(BP)이고, 동역학 환경만 보면 대부분 0에 붙는다. 계획은 확장성에서(버튼 1→10, 0.99→0.00), 학습은 다단계 지평에서, 학습된 동역학 모델은 정확도에서 각각 무너진다.
가장 값진 개별 관찰은 사전학습 VLA가 계획 불가능한 접촉 풍부한 2D 도구 태스크에서 홀로 0.43을 낸 것과, 같은 모델이 3D 다단계 쓸기 태스크에서는 첫 단계부터 0.01로 죽는 비대칭이다.
벤치마크로서의 약점은 자기가 세운 다섯 도전 중 동역학 제약을 실제로 재지 않았다는 것, 25개 중 8개의 쉬운 변형만 보고한 것, Table VI의 오차 막대가 방법군마다 정의가 달라 보인다는 것, 그리고 결론의 축인 “엔지니어링 비용”이 끝내 정량화되지 않은 것이다.
그럼에도 코드·데모·베이스라인이 모두 열려 있고 엔지니어링이 성실하다는 점에서, 위 약점들은 대부분 후속 실험으로 메울 수 있는 종류다. 실제로 이 논문이 남긴 가장 실행 가능한 숙제 — 동역학 제약 환경들의 베이스라인 채우기, 어려운 변형으로 스케일 곡선 그리기, 노이즈 하에서의 재순위 매기기 — 는 모두 배포된 패키지만으로 시작할 수 있다.