📃GaP (Graph-as-Policy) 리뷰

agentic

multi-agent

llm

code-as-policy

graph-policy

manipulation

automation

self-learning

tamp

vla

IsaacSim

GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation (VA) Tasks

Published

July 10, 2026

Paper Link (arXiv:2607.05369v1)
Code Link (github.com/graph-robots/graph-as-policy)
Project Page (graph-robots.github.io/gap)
저자: Kaiyuan Chen*, Shuangyu Xie*, Letian Fu, Justin Yu, William Pacini, … Yuke Zhu, Linxi “Jim” Fan, Ken Goldberg (총 25인, * 공동 1저자)
UC Berkeley · NVIDIA · CMU · Bosch, arXiv preprint (cs.RO), 2026

💡 고정 자동화(Fixed Automation)와 제너럴리스트 로보틱스(GR) 사이에 있는 Variational Automation(VA) — 객체 기하·포즈가 변하지만 반복적으로 신뢰성 있게 실행돼야 하는 산업/상업 태스크 — 를, 자유형 코드 생성 대신 로봇 연산을 노드로 갖는 검증 가능한 계산 그래프(Graph-as-Policy) 를 LLM 멀티에이전트가 합성·정제해 푼다.
⚙️ Orchestration Agent가 자연어 태스크를 기능 세그먼트로 분할 → Skill Agent들이 MORSL(51개 스킬 라이브러리)에서 원자 노드를 골라 국소 subgraph를 합성 → 오케스트레이터가 이를 실행 그래프 \mathcal{G}로 배선 → Isaac 시뮬 내부에서 N개 인스턴스를 병렬 리허설하며 실패를 분석해 그래프 구조·파라미터를 반복 갱신(\mathcal{G}_0\to\mathcal{G}^*), 최종 그래프는 에이전트 없이 엣지 인터프리터로 반복 실행.
🎯 8개 신규 VA 벤치마크(시뮬 4 + 실물 4), 총 5,500+ trial에서 GaP는 포즈 변이가 있는 Grocery 태스크 시뮬 성공률 0.93–0.99(π0.5·MolmoAct2는 최저 0.20, TipTop는 0.22–0.46), 실물 Fulfill 25/25·Pack 28/30·Popcorn 18/20(TipTop 8/25·10/30·0/20), 케이블 삽입 121/130(0.93), 양팔 크레이트 세척 0.95로 전문가 수작업 그래프(0.99)에 근접.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 학습 연구의 대부분은 제너럴리스트 로보틱스(GR) — 다양한 환경에서 온갖 태스크를 하나의 model-free VLA로 처리 — 를 겨냥한다. 하지만 완전한 제너럴리스트 로봇은 아직 상업/산업 수준의 신뢰성에 도달하지 못한다. 반대편 극단에는 동일한 동작을 맹목적으로 반복하는 고정 자동화(Fixed Automation, FA)(스폿 용접, 스프레이 도장 등)가 있다. 저자들은 그 중간 지대를 하나의 태스크 클래스로 명명한다 — Variational Automation(VA): 워크셀·로봇·센서는 고정이고 객체의 종류(SKU)·기하·초기 포즈만 분포를 갖고 변하는, 그리고 그 변이 하에서 끈질기게(persistently) 반복 실행돼야 하는 태스크(택배 분류, 카페 커피, 샌드위치 조립 등). 오늘날 이런 셋업은 사람이 고전 엔지니어링으로 튜닝하는데, VA는 변이가 있어 FA보다 오히려 더 많은 인력이 든다.

핵심 질문은 이것이다 — “최근 급성장한 agentic coding이 해석 가능한 로봇 프로그래밍(model-based)과 model-free 정책의 개방 세계 적응성을 결합할 수 있는가?” GaP의 답은 Graph-as-Policy: 로봇 정책을 자유형 파이썬 코드가 아니라 원자 스킬 노드로 이뤄진 방향 계산 그래프로 표현하고, 그것을 LLM 멀티에이전트가 협업 생성한 뒤 시뮬로 정제한다.

시스템 개요(Fig. 1) — VA 태스크 명세(자연어 + CAD 모델)를 받아 GaP 멀티에이전트 하니스가 MORSL 스킬 노드로 계산 그래프 \mathcal{G}를 생성하고, NVIDIA Isaac 시뮬로 자기학습해 \mathcal{G}^*로 정제한 뒤 엣지 인터프리터(Executor)가 에이전트 없이 반복 실행한다. 하단: 8개 VA 벤치마크(시뮬 4 · 실물 4).

핵심 방법론:

VA 태스크를 튜플로 형식화한다:

\mathcal{T}=\langle\mathcal{L},\mathcal{E},\mathcal{R},\mathcal{O},\mathcal{X},\mathcal{B},\mathcal{J}\rangle

여기서 \mathcal{L} 언어 명세, \mathcal{E} 고정 워크스페이스(월드 프레임 \mathcal{W}·점유맵 \mathcal{M}_E), \mathcal{R} 로봇·센서 구성(URDF·관절 한계·카메라), \mathcal{O} 객체 집합(강체 \{o_i\}·관절체 \{\kappa_j\}), \mathcal{X}=\mathcal{C}_{robot}\times SE(3)^n\times\mathbb{R}^m 상태공간, \mathcal{B} 포즈·초기상태에 대한 belief 분포(인스턴스 \mathbf{x}_i\sim p(\mathbf{x}\mid\mathcal{X})), \mathcal{J} 다목적 보상이다:

\mathcal{J}=w_s\cdot\mathbb{I}(\text{success})+w_t\cdot\Phi,\qquad \Phi=\text{success rate}/\text{cycle time (throughput)}.

정책은 방향 계산 그래프 \mathcal{G}=(V,E)로, 노드 n\in V는 타입이 정해진 입출력 시그니처를 갖는 원자적 로봇 연산(perception/planning/control), 엣지 e=(n_i,n_j)는 데이터 흐름(생산자 출력 → 소비자 입력, 실행 순서를 암묵 유도) 또는 제어 분기(predicate 조건)다. GaP는 belief 공간 전체에서 성능을 최대화하는 그래프를 찾는다:

\mathcal{G}^*=\arg\max_{\mathcal{G}}\ \mathbb{E}_{x_i\sim\mathcal{B}}\big[\mathcal{J}(\pi(a\mid\mathcal{I},\mathcal{G}))\big].

이를 위해 자기학습 하니스가 돈다(Algorithm 1): ① belief에서 N개 인스턴스 \{\hat s_i\}\sim\mathcal{B} 샘플 → ② 각 인스턴스를 그래프 \mathcal{G}_{j-1}로 병렬 리허설(Isaac로 렌더·물리·접촉 계산, 노드 실행 전후 로봇·객체 상태 차분으로 결과 추론) → ③ 실패 분석 F_i를 모아 LLM이 Graph_Update(기능 동등 노드 교체·엣지 변경·코드 파라미터 조정)로 갱신, 성능이 plateau에 도달할 때까지 M회 반복.

주요 결과:

시뮬 Grocery(Table 1, 셀당 100 인스턴스, 총 5,500+ trial): GaP는 포즈 변이 전 구간에서 0.93–0.99. 반면 VLA는 변이 없는 LIBERO에선 높지만(π0.5 0.96, MolmoAct2 0.97) LIBERO-Pro·basket_swap·permutation에선 0.20 수준까지 붕괴. TipTop(TAMP)은 M2T2·cuRobo·cuTAMP가 실현 가능한 모션 플랜을 못 찾아 0.22–0.46. 단일 에이전트+자기학습 없는 CaP-X는 0.01–0.22.
VLA를 GaP가 부축: GaP가 wrist 카메라를 타깃 위 pre-grasp로 이동시켜 VLA를 분포 내(in-distribution)로 넣어주면 π0.5·MolmoAct2 성공률이 2배 이상 향상(예: mixed_all 0.20→0.66).
실물(Table 2): Fulfill 25/25(TipTop 8/25), Pack 28/30(10/30), Make Popcorn 18/20(0/20). 단일 pick-and-place 평균 완료시간 GaP 67초 vs TipTop 95초.
자기학습(Popcorn, Fig. 2): 초기 그래프 33% → 10 iter 후 시뮬 94%, 실물 90%(18/20).
케이블 삽입(Table 3, 130 trial): ROS 노드와 통합해 121/130(0.93), 삽입당 약 30초.
크레이트 세척(Table 4, 양팔, 150 trial): GaP 0.953(143/150) vs 전문가 수작업 그래프 0.987(148/150), 3시간 연속 처리량 18.33 vs 19.33 successes/hr.

결론: VA라는 태스크 클래스를 정의하고, 정책을 검증 가능한 계산 그래프로 표현한 뒤 멀티에이전트로 생성·시뮬 자기학습으로 정제하면, 포즈 변이 하에서 model-free VLA와 순수 TAMP를 모두 크게 앞서고 전문가 수작업 수준에 근접하는 신뢰성을 얻는다. GaP는 “Good Old Fashioned Engineering(GOFE)”과 VLA 사이의 다리를 지향한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“로봇 정책을 자유형 코드가 아니라 원자 스킬 노드의 방향 그래프로 두고, LLM 멀티에이전트가 그것을 협업 생성한 뒤 시뮬에서 반복 리허설로 정제한다” — 이것이 Graph-as-Policy(GaP)이고, 겨냥 대상은 고정 자동화와 제너럴리스트 로보틱스 사이의 Variational Automation(VA)이다.

배경: 왜 VA이고 왜 어려운가

로봇 학습 연구는 두 극단에 몰려 있다. 한쪽은 제너럴리스트 로보틱스(GR) — 집집마다 다른 환경에서 정리·청소·주방 pick-and-place를 하나의 model-free VLA로 처리 — 로, 환경·객체·포즈 변이가 극도로 크다. 다른 쪽은 고정 자동화(FA) — 동일 기하의 객체를 동일 초기 포즈에서 팔레트로 옮기는, 변이가 거의 없는 반복 — 로, 사람이 고전 엔지니어링으로 튜닝해 높은 신뢰성·처리량을 얻고 그 인건비는 수년의 반복으로 상각된다.

저자들의 통찰은 현실의 많은 산업/상업 태스크가 그 사이에 있다는 것이다. 박스는 SKU마다 기하가 다르고, 다양한 초기 포즈로 도착하며, 변하는 팔레트 배치에 촘촘히 담겨야 한다. 이런 VA 태스크는 GR만큼 열려 있지 않지만(워크셀·로봇·센서·객체 범위·포즈 범위는 알려져 있음) FA만큼 닫혀 있지도 않다. 그런데 model-free 정책은 변이 하에서 신뢰성 격차를 좁히지 못하고(실험에서 VLA가 포즈 변이에 0.20까지 붕괴), FA용 고전 엔지니어링은 변이마다 사람이 다시 튜닝해야 해 인력이 더 든다. VA를 위한 로봇 학습으로 이 셋업 인력을 줄이자는 것이 논문의 동기다.

VA의 가정은 “오라클 정보”가 아니라 VA 세팅의 정의라고 강조한다: 워크셀이 알려져 있고 작동 범위가 유계이므로 객체 모델·캘리브레이션된 센서·재사용 가능한 자동화 스킬을 (있을 때) 활용할 수 있다는 것.

Agentic coding을 로봇에 쓰려는 시도는 2022년 Code-as-Policy(CaP)로 거슬러 올라간다. 그러나 단일 에이전트가 자유형 파이썬을 생성하는 방식은 (1) 복잡한 태스크에서 컨텍스트가 커져 제약을 못 지키고, (2) 존재하지 않는 스킬을 지어내거나 사소한 성공 지표를 만들어 “치팅”하는 문제가 있다. 멀티에이전트로 가면 이 문제가 더 악화된다. GaP의 설계 결정은 이 병리에 대한 직접적 대응이다.

방법 상세

1) 문제 형식화 — VA 태스크와 그래프 정책

VA 태스크를 \mathcal{T}=\langle\mathcal{L},\mathcal{E},\mathcal{R},\mathcal{O},\mathcal{X},\mathcal{B},\mathcal{J}\rangle로 두는 것이 개념적 뼈대다(위 Ping의 수식). 특히 두 요소가 핵심이다:

belief 공간 \mathcal{B} — 인스턴스가 여기서 샘플된다. (i) 구조적 prior(부피 \mathcal{V} 위 균등 위치·방향 범위)와 (ii) 실증 분포(실제 데모·포인트클라우드 정합에서 추정한 다봉 분포)를 모두 포함. 즉 “무엇이 얼마나 변하는가”가 태스크의 일부로 명시된다.
다목적 보상 \mathcal{J}=w_s\mathbb{I}(\text{success})+w_t\Phi — 성공률만이 아니라 처리량 \Phi(성공률/사이클타임)를 명시적으로 넣는다. 자동화의 본질이 “시간당 유닛”임을 정식화에 반영한 점이 GR 중심 연구와 다르다.

정책 \pi(a\mid\mathbf{x},\mathcal{T})는 방향 계산 그래프 \mathcal{G}=(V,E)다. 노드는 타입 시그니처를 가진 원자 연산(카메라 프레임 취득, perception 추론, 모션 계획·실행 등)이고, 여러 노드를 묶은 skill은 “이 서브태스크를 위해 어떤 원자 노드들을 어떻게 배선하라”는 자연어 명세로 LLM에게 지시된다. 데이터 엣지는 실행 순서를 암묵 유도하고 독립 분기는 병렬 실행되며, 제어 엣지는 노드 출력에 대한 조건 분기를 나른다.

2) MORSL — Modular Open Robot Skill Library (51 skills)

그래프의 “부품 상자”. Anthropic의 Skill.md 같은 agentic tool-use 규약에 그래프 선언 확장을 얹어, 각 스킬이 입력·출력·의미 파라미터·전제조건을 선언한다 → 에이전트가 “언제 부를지”와 “어떻게 배선할지”를 스스로 결정. 초기 51개 구성(논문 본문 기준):

Perception 15개: SAM2/3, Grounding DINO, OWL-ViT, Molmo, 범용 VLM
Grasp planning 5개: Contact-GraspNet, GraspGen, M2T2
Motion planning 8개: cuRobo / cuRobo v2
2D·3D 비전 유틸 15개: NumPy·OpenCV(예: 포인트클라우드용 DBSCAN)
검증·제어 primitive 8개: cuRobo 기반 Cartesian 선형 모션, ROS Translator, Visuomotor Interactive Perception Policy 등

즉 model-based(ROS·cuRobo)와 model-free(GraspGen·VLA)가 같은 그래프 안에 노드로 공존한다 — 이것이 GaP가 두 패러다임을 잇는 물리적 지점이다.

3) 멀티에이전트 그래프 생성

Orchestration Agent가 VA 태스크를 기능 세그먼트로 분할(예: Make Popcorn → ‘노브 켜기’, ‘팬 손잡이 집기’ …)하고, 각 세그먼트를 담당 Skill Agent에게 넘겨 국소 subgraph를 합성하게 한다. 오케스트레이터가 이 subgraph들을 실행 그래프로 배선한다. 이 계층 구조의 목적은 두 가지 — (a) 각 에이전트의 컨텍스트 창을 작게 유지, (b) 그래프 요소의 생성과 테스트를 분리해 개별 에이전트가 목표 달성을 위해 “치팅”할 유인을 줄이는 것.

4) 자기학습 — 내부 시뮬 리허설 (Algorithm 1)

자기학습(Fig. 2) — 왼쪽: Popcorn 태스크의 팬 포즈 변이. 오른쪽: 10-iteration 그래프 갱신에 따른 on-burner 성공률(%). 편집 종류별로 단계가 음영 구분된다 — Grasp Improvement(iter 1–3) → Transport Adjustment(iter 4–5) → Placement Improvement(iter 6–10).

내부 시뮬(Isaac)로 그래프를 리허설하며 피드백→갱신을 반복한다. 피드백은 VLM의 언어적 추측이 아니라 물리 상태 차분에서 나온다: 각 리허설 노드 실행 전후로 로봇·객체 상태를 등록해 차이를 계산하고 모션 결과를 추론한다. 루프:

Step 1 (variational sampling): belief \mathcal{B}에서 N개 인스턴스 \{\hat s_i\}를 샘플.
Step 2 (parallel rehearsal): N개 씬에서 그래프를 병렬 롤아웃하고, 실패 시 물리 실행 데이터로 기하학적 근본 원인(점유·관절체에서)을 격리해 F_i 생성.
Step 3 (graph refinement): \{F_i\}를 모아 LLM이 Graph_Update — 기능 동등 노드 교체·엣지 변경·코드 파라미터 갱신 — 를 수행, plateau까지 반복.

Popcorn 사례의 실제 궤적(Fig. 2)이 이 루프의 해석 가능성을 잘 보여준다: 초기 그래프는 노브는 켜지만 팬 집기에 실패(33%). ① iter 1–3: 시뮬이 “그리퍼가 팬과 접촉 없음”을 보고 → GraspGen을 GraspGen + oriented bounding box grasp planner 혼합 스킬로 교체. ② iter 4: “팬은 손잡이로 잡아야 함”을 인지 → perception 프롬프트를 손잡이 국소화로 조정. ③ iter 4–8: 바뀐 파지 전략에 맞춰 팬 배치 오프셋을 미세조정해 스토브 면과 정렬. 이렇게 어떤 노드를 왜 바꿨는지가 로그로 남는 것이 자유형 코드 재작성과 대비되는 GaP의 강점이다.

Benchmark I·II(Grocery)에서는 첫 생성 그래프가 이미 고성능이라 자기학습을 생략한다 — 자기학습은 Popcorn·케이블처럼 접촉·순서가 까다로운 태스크에서 진가를 발휘한다.

직관

핵심 직관은 “구조로 자유도를 절제한다(temper the flexibility)”이다. 순수 CaP는 자유형 코드라 표현력은 크지만 제약 위반·환각·치팅에 취약하다. 순수 TAMP는 검증 가능하지만 개방 세계 의미 추론과 새 객체에 약하다(실험에서 TipTop가 큐브·기울어진 객체·높은 바구니에 실현 플랜을 못 냄). GaP는 그래프 스캐폴딩으로 그 사이에 선다:

노드는 타입 시그니처가 있어 정적 검증(엣지 연결성·dangling reference)이 가능 → 실행 전에 잘못된 배선을 걸러낸다.
노드가 재사용 가능한 스킬이라 LLM이 인터페이스를 통째로 암기·인라인할 필요가 없다 → 사소한 구문/스키마 오류로 trial이 죽는 일을 방지.
생성(에이전트)과 실행(에이전트 없는 인터프리터)을 분리 → 배포 시 LLM 호출이 없어 반복 실행이 결정적이고, 치팅 유인이 줄어든다.

VLA를 “부축”하는 결과가 이 철학을 압축한다 — GaP는 VLA를 대체하려는 게 아니라, 그래프가 VLA를 분포 내로 데려다 놓는 전처리 노드로 감싸 하이브리드로 성능을 끌어올린다.

실험

셋업·베이스라인

6개 태스크는 LIBERO 자산 기반, Franka 1대(wrist 카메라). 시뮬 Table 1은 셀당 100 인스턴스로 총 5,500+ trial. LLM/VLM 에이전트는 Gemini-3.1-Flash-Lite(temp 0.1). 베이스라인:

CaP-X — 단일 에이전트, 자기학습 없음(초기 이미지+지시만). 저자들은 이를 “GaP의 ablation(단일 에이전트·자기학습 제거)”으로 규정하며 공정 비교가 아님을 명시.
π0.5, MolmoAct2 — LIBERO 학습 데이터로 파인튜닝한 공식 체크포인트 VLA.
TipTop — TAMP 기반 모듈형 open-vocabulary 플래너(cuTAMP 128 particle, 60초 타임아웃).

Benchmark I·II — Fulfill/Pack Grocery

Table 1의 대비가 논문의 핵심 그림이다. VLA는 변이 없는 LIBERO-object에선 0.96–0.97이지만 basket_swap·permutation·mixed_all에서 0.10–0.26으로 붕괴한다(오버피팅의 증거). GaP는 전 구간 0.93–0.99로 견고. TipTop는 0.22–0.46(모션 플랜 실패). π0.5 w/GaP·MolmoAct2 w/GaP는 원본 대비 대체로 2배 이상 향상(mixed_all에서 π0.5 0.20→0.39, MolmoAct2 0.20→0.66; basket_swap MolmoAct2 0.26→0.58).

실물(Table 2)에서도 sim-to-real이 잘 전이된다: Fulfill 25/25(TipTop 8/25), Pack 28/30(10/30), Popcorn 18/20(0/20). GaP는 아이템·바구니를 병렬 지각(오리엔티드 바운딩박스 생성 14.1초)하고 하강·파지·이송에 36.4초, 단일 pick-and-place 평균 67초(TipTop 95초). TipTop 실패의 주원인은 인식이 아니라 큐브형·기울어진 객체·높은 바구니에 대한 모션 플랜 부재.

Ablation

세 가지가 그래프 구조의 필요성을 직접 보인다: (1) Graphless(구조화 그래프 대신 단일 LLM이 raw 파이썬 생성) → 상위 로직이 맞아도 인터페이스/구문 불일치로 성공률 0으로 붕괴. (2) 에이전트 1개로 축약(전용 authoring 에이전트들을 하나로) → 전역 데이터 흐름·국소 로직·검증을 동시에 못 다뤄 dangling reference·노드 충돌로 정적 검증 전부 실패, 반복 피드백에도 실수 클래스 사이를 진동하며 수렴 실패, 0. (3) graph validation이 엣지 연결성을 보장 — 일부 세그먼트 에이전트가 처음엔 타입/엣지 검사를 통과 못 하는 subgraph(예: transport 단계의 입출력을 release 단계에 잘못 배선)를 내는데, 검증이 이를 걸러 런타임 크래시를 막는다.

🔬 재현 노트 (this workspace)

원본 코드(github.com/graph-robots/graph-as-policy, Apache-2.0)를 RTX 5090(32GB) 단일 GPU·시스템 nvcc 없이 재현 시도했다. uv sync로 nvidia-curobo의 CUDA 확장까지 빌드에 성공했고, 오프라인 테스트 715개 통과·sim 테스트 13/14 통과(MuJoCo/LIBERO 환경 인스턴스화), examples/build_a_graph로 타입드 계산그래프를 0 에러로 빌드·검증했으며, 시뮬에서 gap run 시 GroundingDINO 지각까지 파이프라인이 구동됐다. 다만 VLM 판별 단계가 유료 LLM API 키(OpenRouter/Vertex) 를 요구해 키 부재 시 401에서 멈췄는데 — 바로 이 지점에서 그래프의 타입드 on_error 라우팅과 복구 액션(open_gripper·go_home)이 논문 주장대로 정확히 작동해, 실행 엔진·그래프 빌드/검증/복구 아키텍처는 오프라인으로 재현됐다. 반면 논문의 headline 성공률(grocery 0.95–0.99, popcorn 0.90–0.94, cable 0.93 등)은 유료 LLM 키와 실물 로봇 없이는 재현 불가다. (실험 레포 PR: curieuxjy/graph-as-policy#1, private)

Benchmark IV — 케이블 삽입 (실물, ROS 통합)

케이블 삽입 셋업(Fig. 3) — UR5 + ZED Mini wrist 카메라로 USB-C 케이블을 포트 뱅크에 삽입/추출. 포트가 카메라 시야를 벗어나면 내부 force-torque 피드백으로 삽입을 탐침한다.

ROS 통합(Fig. 4) — 왼쪽: 전통적 ROS 노드·토픽으로 수작업 설계한 계산 그래프. 가운데: GaP가 동일 ROS 노드를 원자 스킬(align/touch/insert/extract)로 감싸 호환 그래프를 생성. 오른쪽: 이 노드들을 subgraph로 재사용해 “짝수 번호 포트에 삽입” 같은 long-horizon 태스크를 구성.

GaP가 생성한 그래프는 4개 ROS 실행 노드(align_to_port · touch_port · insert · extract)로 동작한다. align이 접촉을 확립해 1\times1\,cm^2 삽입 후보 격자를 만들고, insert가 3mm 이상 진행을 요구하며 후보를 평가, extract가 2.0Hz wiggling으로 측면력 20N 이하를 유지하며 안전하게 뽑는다(삽입당 약 30초). 130 trial에서 121/130(0.93), 5가지 텍스트 프롬프트(개별 포트·오름차순·내림차순·홀수·짝수)를 모두 올바른 워크플로로 처리하고 거리(±5cm)·각도(±15°) 변이에 일반화(Table 3). 이 벤치마크는 model-based ROS와 agentic 그래프가 매끄럽게 결합됨을 보여주는 사례다.

Benchmark V — 크레이트 세척 (시뮬, 양팔)

크레이트 세척(Fig. 5) — 두 Franka 팔이 크레이트 측면의 좁은 슬릿을 협응 파지해 스택에서 들어올리고 뒤집어 세척기 테이블에 놓는 산업용 양팔 태스크(요yaw ±15°·수평 ±2.5cm 변이).

전문가가 수작업으로 짠 실행 그래프와 직접 비교(Table 4, 150 trial). GaP 0.953(143/150) vs 수작업 0.987(148/150), 평균 사이클 179.13초 vs 176.47초. 3시간 연속 실행에서 두 정책 모두 59 trial 시도, GaP 55·수작업 58 완료 → 18.33 vs 19.33 successes/hr. GaP가 자율적으로 협응 양팔 정책을 생성해 수작업 튜닝 baseline에 근접함을 시사.

비판적으로 보면

강점

문제 정의 자체가 기여다. GR과 FA 사이의 VA를 튜플 \langle\mathcal{L},\mathcal{E},\mathcal{R},\mathcal{O},\mathcal{X},\mathcal{B},\mathcal{J}\rangle로 형식화하고 belief 분포와 처리량을 정식화에 넣은 것은, “성공률”만 보던 로봇 학습 벤치마크 관행에 자동화 관점을 되돌려 놓는다.
구조로 agentic coding의 병리를 겨냥. graphless·single-agent ablation이 둘 다 0으로 붕괴하는 결과는, “그래프 스캐폴딩 + 생성/실행 분리 + 정적 검증”이 장식이 아니라 작동을 위한 필요조건임을 설득력 있게 보인다.
물리 기반 피드백. 자기학습 신호를 VLM의 언어 추측이 아니라 시뮬의 상태 차분(접촉·기하)에서 뽑아, CaP-X류가 지적받던 VLM 환각·기하 무능을 우회한다.
하이브리드 실용성. VLA를 대체가 아닌 노드로 감싸 2배 향상시키고, ROS 노드를 그대로 재사용하며, 최종 배포는 LLM 없는 결정적 인터프리터로 돌린다 — 산업 배포 관점에서 현실적인 설계.
넓은 실증. 8개 벤치마크(시뮬 4·실물 4), 5,500+ trial, 3시간 연속 처리량까지 포함해 신뢰성·throughput 양면을 측정.

약점·한계

저자 인정 한계가 크다. 실행 신뢰성이 아직 산업 수준이 아니고(추가 자기학습·튜닝 필요), 처리량도 산업 표준 500 units/hr(인스턴스당 7초)에 한참 못 미친다(크레이트 세척 사이클 179초). VLM 추론 호출·IK 모션 계획 시간이 병목.
태스크가 준정적(quasi-static) pick-and-place에 편중. 8개 중 force sensing이 필요한 건 케이블 삽입뿐. 변형체·동적 힘·이동 표적은 미검증 — VA를 표방하지만 다룬 변이는 주로 강체 포즈다.
“VA는 오라클이 아니다”는 방어에도 불구, 워크셀·객체 범위·포즈 범위·CAD 모델을 모두 안다는 가정은 강하다. belief \mathcal{B}를 어떻게 얻고 그것이 실제와 어긋날 때(분포 이동) 성능이 어떻게 되는지는 다루지 않는다 — sim-to-real 전이가 잘 됐다지만 belief 정확도에 의존적일 것.
베이스라인 공정성. 저자 스스로 CaP-X·VLA·TipTop 비교가 “완전히 공정하진 않다”(GaP는 기하 정보를 활용)고 밝힌다. 특히 VLA는 GaP가 활용하는 CAD·워크셀 정보를 못 받으므로, “GaP > VLA”는 방법 우열이라기보다 정보 접근의 차이를 상당 부분 반영한다.
LLM 의존. 전 실험이 Gemini-3.1-Flash-Lite 단일 모델·temp 0.1. 모델 교체 시 견고성, 생성 실패율·재시도 비용, LLM 호출당 금전 비용 등 agentic 시스템의 실전 지표가 보고되지 않는다.
사소한 내부 불일치. Benchmark IV 본문은 “6 소켓 뱅크”라 하는데 Fig. 3 캡션은 “Seven-ports”라 표기 — 큰 문제는 아니나 확인 필요.

요약

GaP는 (1) GR과 FA 사이의 Variational Automation 태스크 클래스와 8개 개방 벤치마크를 정의하고, (2) 로봇 정책을 원자 스킬 노드의 검증 가능한 방향 계산 그래프로 표현하며, (3) 이를 멀티에이전트 하니스로 생성하고 Isaac 시뮬 병렬 리허설로 자기학습(Algorithm 1) 정제한다. 51개 스킬의 MORSL로 model-based(ROS·cuRobo)와 model-free(GraspGen·VLA)를 한 그래프에 공존시키고, 배포는 LLM 없는 결정적 인터프리터로 돌린다. 포즈 변이 하에서 VLA(최저 0.20)·TAMP(0.22–0.46)를 크게 앞서는 시뮬 0.93–0.99, 실물 25/25·28/30·18/20, 케이블 121/130, 양팔 크레이트 0.95(전문가 0.99 근접)를 달성. graphless·single-agent가 모두 0으로 붕괴하는 ablation은 구조가 agentic 로보틱스의 필요조건임을 보인다. 다만 산업 신뢰성·처리량엔 아직 못 미치고, 태스크가 준정적 강체 pick-and-place에 편중되며, belief·CAD·워크셀을 안다는 가정과 VLA 대비 정보 비대칭은 결과 해석 시 감안해야 한다.