📃RoboBallet 리뷰

gnn

graph-policy

planning

tamp

multi-robot

manipulation

automation

sim2real

MuJoCo

RoboBallet: Planning for Multi-Robot Reaching with Graph Neural Networks and Reinforcement Learning

Published

July 29, 2026

Paper Link (arXiv:2509.05397)
Code Link (Zenodo, Apache-2.0)
Publisher (Science Robotics, DOI 10.1126/scirobotics.ads1204)
Matthew Lai, Keegan Go, Zhibin Li, Torsten Kröger, Stefan Schaal, Kelsey Allen, Jonathan Scholz (Google DeepMind · UCL · Intrinsic)
Science Robotics 10(106), 2025-09-03 (arXiv:2509.05397v1, 저자판)

💡 여러 팔이 한 작업실에서 수십 개 태스크를 나눠 하려면 태스크 할당·스케줄링·모션 플래닝을 동시에 풀어야 하는데 고전 알고리즘은 조합 폭발로 “5대 로봇·10 태스크”에서 멈춘다 — RoboBallet은 장면을 그래프로 표현하고 GNN 정책을 RL로 학습해 이 셋을 한 번에 푼다.
⚙️ 로봇·태스크·장애물을 노드로, 로봇↔︎로봇(양방향)·태스크→로봇·장애물→로봇(단방향)을 엣지로 갖는 씬 그래프를 GNN(엣지→노드→글로벌 업데이트)이 처리해 100 ms마다 모든 로봇의 관절 속도를 출력하고, 희소 보상은 HER로 메우며 수정된 TD3로 학습한다.
🎯 8대 Franka Panda(56차원 관절 공간)·40 태스크·장애물 프리미티브 30개 환경에서 A100 기준 플래닝 스텝당 약 0.3 ms(10 Hz 실시간의 300배 이상)로 계획을 만들고, 학습에서 본 적 없는 수작업 설계 셀에 zero-shot 전이하며, 블랙박스 최적화와 결합한 워크셀 배치 최적화로 실행 시간을 최대 33% 단축한다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

자동차 차체 용접 셀처럼 여러 대의 로봇 팔이 같은 공간에서 수십 개의 작업점을 처리하는 설비를 생각해 보자. 로봇을 더 넣으면 처리량이 올라가지만, 대신 어느 로봇이 어느 태스크를 맡을지(할당), 어떤 순서로 갈지(스케줄링), 서로 부딪히지 않고 어떻게 갈지(모션 플래닝)를 동시에 정해야 한다. 세 문제는 각각 이미 어렵고(모션 플래닝은 형상 공간 차원에 지수적, 스케줄링은 TSP 계열, 할당은 다중 배낭 문제 계열), 무엇보다 서로 독립적이지 않다. 태스크 간 이동 비용이 다른 로봇의 궤적에 따라 달라지고, 7-DoF 팔은 6-DoF 목표 자세에 대해 사실상 무한 개의 IK 해를 가지므로 “어떤 IK 해를 쓸지”조차 전체 시퀀스를 봐야 정할 수 있다. 그래서 논문이 인용하는 이 분야의 기존 최고 성능은 로봇 5대 · 태스크 10개이고, 산업 현장은 여전히 사람이 인터록 스케줄을 손으로 짠다(논문 표현으로 “설계에 수백~수천 시간”).

RoboBallet의 결정적 차이는 문제를 쪼개지 않는다는 것이다. IK 해를 미리 몇 개 샘플링해 두지도, 휴리스틱으로 태스크를 미리 배분하지도, 로봇 하나씩 순차 계획하지도 않는다. 대신 100 ms마다 모든 로봇의 관절 속도를 동시에 뱉는 컨트롤러를 심층 RL로 학습하고, 계획은 그 컨트롤러를 운동학 시뮬레이터에서 풀어(unroll) 얻는다. 온라인 탐색 비용을 오프라인 학습으로 옮기는(amortize) 전형적인 거래인데, 그냥 심층 RL을 쓰면 장면 복잡도가 커질 때 네트워크 크기가 같이 폭발한다. 이걸 막는 것이 이 논문의 핵심 기여인 그래프 표현 + GNN이다. CNN의 커널 크기가 이미지 크기와 무관하듯, GNN은 가중치 공유 덕분에 그래프가 커져도 모델 크기가 커지지 않는다.

문제 규모(Movie 1 스틸) — 테이블 4대 + 천장 4대, 총 8대의 Franka Panda가 30개 큐보이드 장애물이 흩어진 셀에서 40개 태스크를 처리한다. 장애물 표면의 RGB 좌표계 하나하나가 엔드이펙터가 맞춰야 할 목표 자세다.

핵심 방법론:

상태는 그래프 G=(G_n, G_e, G_g)다 — 노드는 로봇·태스크·장애물, 엣지는 그들 사이의 상대 정보. GNN 코어는 Battaglia 계열의 표준 3단 업데이트(엣지→노드→글로벌)를 그대로 쓴다(\oplus는 concatenation).

G_e' = U_e\big(G_n[n_s] \oplus G_n[n_r] \oplus G_e[n_s\!\to\!n_r] \oplus G_g\big) \quad \forall\, e(n_s\!\to\!n_r)\in E

G_n' = U_n\Big(\big(\textstyle\sum_{e\in E(*\to n)} G_e'[e]\big) \oplus G_n[n] \oplus G_g\Big) \quad \forall\, n \in N

G_g' = U_g\Big(\textstyle\sum_{n\in N} G_n'[n] \;\oplus\; \sum_{e\in E} G_e'[e] \;\oplus\; G_g\Big)

정책은 코어 출력의 로봇 노드 임베딩에서 관절 속도를 읽어내고(\pi(s)=P_\pi(\mathrm{Core}(\cdot)_n[n_r])), 크리틱은 글로벌 임베딩에서 Q값을 읽어낸다(Q(s,a)=P_Q(\mathrm{Core}(\cdot)_g)). 보상은 놀랄 만큼 단순하다. 상태 점수를 “푼 태스크 비율”로 정의하고,

S(s)=\frac{N_{done}(s)}{N_{total}(s)}, \qquad R_{score}(s,a)=S(s+a)-S(s), \qquad R_{collision}(s,a)=C_{col}\,N_{robots\_colliding}(s,a)

R(s,a) = R_{score}(s,a) + R_{collision}(s,a)

시간 최소화 항은 없다 — 할인율 \gamma=0.94(0.1초 스텝)가 “늦게 풀면 손해”를 대신한다. 희소 보상 문제는 HER(태스크를 실제 지나간 궤적 위로 옮겨 가상의 성공 에피소드를 만듦)로 풀고, 학습은 지연 타깃 업데이트를 제거하고 Polyak 상수를 분리한 수정 TD3로 한다.

주요 결과:

최적성(Fig. 2): 4로봇·20태스크(로봇당 5개, 각 태스크는 한 로봇만 도달 가능하도록 필터)의 단순화 문제에서, 랜덤 스케줄 12.8–15.2 s → 최적 스케줄 + IK 8개 탐색 8.2–10.6 s. RoboBallet은 8.4–10.3 s로 “Opt 8 IK” 수준에 붙는다.
추론 속도: 8로봇·40태스크에서 A100 기준 스텝당 약 0.3 ms(10 Hz 실시간의 300배 이상), Intel Cascade Lake CPU 코어 1개에서도 약 30 ms(실시간의 3배).
학습 스케일링(Fig. 3A/B): 태스크를 10→40개로 4배 늘려도, 로봇을 4→8대로 늘려도 수렴에 필요한 학습 스텝 수가 거의 변하지 않는다(스텝당 연산은 33 ms → 52 ms → 80 ms로 증가, 배치 128).
일반화(Fig. 3C/D): 랜덤 생성 셀로만 학습한 모델이 알루미늄 프레임으로 만든 수작업 평가 셀(로봇 배치 고정, 태스크 40개 × 10세트)에서 학습 환경과 거의 같은 곡선을 그린다.
로봇 수 확장(Fig. 4): 배치 최적화를 곁들여 4→8대로 늘리면 실행 시간이 4대 기준 약 5.2–7.5 s에서 8대 기준 약 3.6–4.7 s로 떨어진다.
워크셀 배치 최적화(Fig. 5): Vizier 블랙박스 최적화를 RoboBallet 위에 얹어 로봇 위치를 고르면, 10개 평가 구성 전부에서 실행 시간이 줄고 최대 개선폭은 본문 기준 33%. 개선의 주된 원인은 태스크가 로봇들에 더 고르게 재분배되는 것이다.
실기 실행: 4대 Franka Panda 워크셀에서, 1.0 cm 충돌 여유를 학습에 넣고 5차 스플라인으로 1 kHz 보간한 뒤 궤적을 실행(Movie 2).

결론:

기여는 새로운 RL 알고리즘이 아니라 표현이다. “로봇-태스크”, “로봇-장애물”, “로봇-로봇” 이라는 상호작용 종류마다 함수를 딱 하나씩만 배우면 된다는 관계적 귀납 편향을 씬 그래프로 강제해, 모델 크기를 장면 복잡도와 무관(O(1))하게 만들고 연산량을 엣지 수, 즉 O(N_{robot}^2 + N_{robot}N_{task} + N_{robot}N_{obstacle})로 눌렀다. 그 대가로 샘플링 기반 방법의 확률적 완전성(probabilistic completeness)을 포기한다. 이 거래가 사줄 만한 이유는 속도가 새로운 용도를 연다는 데 있다 — 플래너가 밀리초면 그 위에 배치 최적화기를 얹거나, 로봇 한 대가 고장 났을 때 즉석에서 다시 계획할 수 있다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문의 통찰은 “조합 폭발은 표현을 바꾸면 자산이 된다”는 것이다. 로봇 8대 × 태스크 40개 × 장애물 30개짜리 장면을 하나의 평평한 벡터로 보면 경우의 수가 폭발하지만, “로봇이 태스크를 향해 간다”, “로봇이 장애물을 피한다”, “로봇이 로봇을 피한다” 라는 세 종류의 상호작용으로 보면 배워야 할 함수는 딱 셋이다. 그리고 장면이 커질수록 그 세 함수를 학습시킬 샘플이 오히려 많아진다(로봇 8대·태스크 40개면 한 스텝에 320개의 로봇-태스크 상호작용을 관찰한다). 저자들은 이것이 숙련된 엔지니어가 이 문제를 푸는 방식 — 전체 경우의 수를 세지 않고 “이 팔은 이쪽 구역을 맡고, 저 기둥은 피하고” 하는 관계적 직관 — 을 모사한 것이라고 말한다. RoboBallet은 그 직관을 GNN이라는 구조에 박아 넣고, 학습 중 약 100만 개의 무작위 워크셀을 통과시켜 얻는다.

배경: 세 개의 어려운 문제가 서로를 어렵게 만든다

논문 서론이 정리하는 난이도의 구조가 명료하다.

(1) 모션 플래닝. RRT 계열은 고차원 형상 공간을 겨냥해 설계됐고 확률적 완전성을 주지만, 런타임이 차원과 장애물 복잡도에 지수적이다. 실용적으로는 동시 계획이 2대 이하에서만 가능하다고 논문은 적는다. 로봇마다 순차적으로 계획하면 다른 로봇들이 움직이는 장애물이 되는데, 샘플링 기반 플래너는 이걸 특히 못 다룬다. 궤적을 스윕 볼륨(swept volume)으로 바꿔 정적 장애물처럼 취급하는 우회가 있지만, 탐색 공간을 과도하게 깎아 준최적 해나 실패를 낳는다.

(2) 스케줄링. TSP로 형식화되지만 고전 TSP와 결정적으로 다른 점이 있다 — 태스크 쌍 사이의 이동 비용이 고정이 아니다. 다른 로봇들의 궤적에 따라 내가 갈 수 있는 경로가 바뀌고, 경로마다 비용이 다르다. 게다가 7-DoF 팔이 6-DoF 자세를 맞출 때 IK 해는 (도달 가능 영역 안이면) 무한히 많고, “어느 IK 해를 쓸지”는 앞뒤 태스크를 다 보고 정해야 최적이다.

(3) 할당. 다중 컨테이너 배낭 문제와 비슷하지만, 추가 태스크의 한계 비용을 전체 플래닝을 풀기 전에는 알 수 없고, 그 비용이 다른 태스크와 독립적이지도 않다. 그래서 배낭 문제의 알고리즘적 해법이 실질적으로 도움이 안 된다.

세 문제가 얽혀 있으니 완전성을 보장하는 기존 알고리즘의 조합으로는 현실 규모에 도달할 수 없고, 결국 문제를 쪼개 반복적으로 푸는 방식으로 후퇴하게 된다. 그 방식의 도달점이 5로봇·10태스크(고수준 태스크 플래너 ↔︎ 저수준 모션 플래너를 도달 가능성·가용성 휴리스틱과 함께 반복)라는 것이 이 논문의 출발점이다.

RoboBallet이 겨냥하는 설정은 그중에서도 가장 탐색 공간이 큰 쪽이다: 어떤 로봇이든 어떤 태스크를 어떤 순서로든 할 수 있고, 태스크 간 의존성이나 로봇 간 능력 차이가 없다. 저자들은 이것이 “확장성 문제를 먼저 정면으로 풀기 위한 의도적 선택”이라고 밝힌다 — 제약이 붙으면 오히려 문제가 쉬워지기 때문이다.

방법 상세 (1): 문제를 “플래닝”이 아니라 “제어”로 다시 쓴다

학습·평가 파이프라인(Fig. 1) — (A) 학습: 빈 워크셀에 랜덤 큐보이드 장애물 → 랜덤 로봇 배치 → 랜덤 태스크 샘플링 → GNN actor가 운동학 시뮬레이터와 상호작용 → 리플레이 버퍼 → TD3로 크리틱·정책 학습. (B) 평가: 외부 정의 태스크 + CAD 메시를 프리미티브로 분해해 환경 구성, 학습과 동일하게 GNN이 상호작용한 뒤 제어 주파수로 리샘플해 모션 플랜 출력. (C) 씬 그래프의 위상 — 로봇 사이는 양방향, 태스크·장애물에서 로봇으로는 단방향 엣지. (D) 단순화된 학습 셀, 태스크는 엔드이펙터가 맞춰야 할 좌표계로 표시(파란 Z축이 엔드이펙터 방사축).

핵심 재구성은 이것이다: “궤적을 탐색하는 문제”를 “매 스텝 관절 속도를 고르는 문제”로 바꾼다.

환경은 물리 시뮬이 아니라 운동학 시뮬레이터다. 액션 하나가 시뮬레이션을 0.1초 전진시키고, 액션은 모든 로봇 모든 관절의 목표 속도다. 로봇의 운동학 한계에 따라 가속도·속도 클램핑을 적용한 뒤 적분해 다음 형상을 얻는다.
충돌은 환경이 원천 차단한다. 명령된 속도가 자기 자신·다른 로봇·환경과의 충돌을 유발하면 그 로봇의 속도를 0으로 만들어 그 스텝 동안 세운다. 즉 환경은 충돌을 허용하지 않는다. 실세계 이관을 생각하면 매우 바람직한 성질이다.
태스크는 엔드이펙터가 목표 자세에서 유클리드 2.5 cm · 각도 15° 이내에 들어오면 풀린 것으로 본다. 풀리면 그 로봇을 0.5초 dwell 동안 얼려 현장 작업 시간을 흉내 내고, 동시에 태스크가 한 로봇에 몰리지 않게 유도한다.
최종 산출물은 이 컨트롤러를 시뮬레이터에서 스텝별로 풀어 얻은 관절 형상 웨이포인트 열이다. 저자들은 실세계에서 컨트롤러를 그대로 돌릴 수도 있지만, 안전을 위해 궤적을 먼저 뽑아 검사·후처리하는 쪽을 권한다.

이 재구성이 왜 중요한가: 할당·스케줄링·IK 선택이 별도의 결정 변수로 존재하지 않게 된다. 어느 로봇이 어느 태스크를 언제 어떤 자세로 푸는가는 전부 “매 스텝 관절 속도”라는 하나의 연속 행동의 결과로 창발한다. 논문이 “손으로 만든 단순화 없이 세 문제를 함께 푼다”고 말하는 근거가 여기다.

방법 상세 (2): 씬 그래프 — 무엇을 노드에 넣고 무엇을 엣지에 넣는가

설계에서 가장 눈여겨볼 부분은 정보를 노드가 아니라 엣지에 몰아넣었다는 점이다.

노드 특징(node features)

노드	특징
로봇	7-DoF 관절 형상, 관절 속도, 남은 dwell 시간
태스크	단 하나 — 풀렸는지 여부
장애물	없음

태스크 노드가 “어디에 있는지”를 모른다는 게 처음엔 이상해 보이지만, 위치·자세 정보는 전부 태스크→로봇 엣지에 상대 좌표로 들어간다. 노드 특징들은 타입별로 다르므로 블록 대각(block-diagonal) 방식으로 이어 붙여 하나의 노드 특징 행렬을 만든다.

엣지 특징(edge features) — 모든 자세는 3D 병진 + 6D 회전 표현(Zhou et al.)으로 인코딩한다.

로봇 → 로봇(양방향): 보내는 로봇의 베이스 자세를 받는 로봇의 팁 자세 기준으로.
태스크 → 로봇(단방향): 태스크 엔드이펙터 자세를 받는 로봇 팁 자세 기준으로.
장애물 → 로봇(단방향): 프리미티브의 중심 병진 + 회전 행렬을 받는 로봇 팁 기준으로 하되, 각 기저 벡터를 그 방향의 프리미티브 크기(span)로 스케일해서. 회전과 치수를 한 덩어리로 인코딩하는 깔끔한 트릭이다.

엣지 방향의 논리도 명시적이다. 정보는 로봇 노드로 흘러야 하는데, 행동을 로봇 노드에서 읽어내기 때문이다. 로봇끼리는 서로를 피하고 협조해야 하니 양방향, 태스크·장애물은 정보 제공자일 뿐이니 단방향.

글로벌 특징: 타임아웃으로 정규화한 에피소드 시간, 타임아웃 값 자체, 그리고 현재 점수 S(s).

방법 상세 (3): 장애물을 큐보이드로 — 학습과 평가의 접점

장애물 분해 파이프라인(Fig. 6) — (A) 장애물 CAD 모델 → (B) V-HACD로 근사 볼록 다면체 분해 → (C) 각 볼록 조각의 방향성 바운딩 박스(OBB). 학습에서는 랜덤 큐보이드만 보지만, 평가에서는 임의 메시를 이 파이프라인으로 큐보이드 집합으로 바꿔 같은 그래프에 넣는다.

학습 시에는 랜덤 크기·위치·자세의 큐보이드 30개를 뿌리고(초기 자세에서 로봇과 충돌하는 것만 기각), 평가 시에는 실제 메시를 V-HACD로 근사 볼록 분해한 뒤 각 조각의 최소 부피 방향성 바운딩 박스를 구해 노드로 넣는다. OBB 탐색은 SO(3) 위의 무제약 최적화(유전 알고리즘 + Nelder–Mead)로 푼다. 여기에 작은 증강 하나가 붙는다 — 큐보이드는 축 교환으로 4가지 동등한 표현을 갖는데, 매 타임스텝 그중 하나를 무작위로 고른다.

태스크 샘플링도 학습·평가가 같다: 장애물 표면에서 위치를 균등 샘플하고(표면에서 약간 띄움), 방향은 면 법선에서 최대 22.5° 벗어나도록 잡는다(즉 엔드이펙터가 장애물을 대략 향해 찌르는 자세). 그다음 어떤 로봇 하나라도 충돌 없는 IK 해를 갖는지만 확인하고 없으면 기각한다. 중요한 것은 이 IK 해도, 도달 가능성 정보도 모델에 주지 않는다는 점이다 — 필터링에만 쓰고 버린다. 그리고 시작 자세에서 태스크까지 충돌 없는 경로가 있는지는 검사하지 않는다. 그래서 애초에 풀 수 없는 태스크가 섞여 있을 수 있다(뒤의 성공률 논의와 직결된다).

방법 상세 (4): 보상, HER, 그리고 수정된 TD3

보상은 앞서 본 대로 “푼 태스크 비율의 증가분” + “충돌 유발 로봇 수에 비례한 페널티”뿐이다. 여기서 두 가지를 짚어야 한다.

첫째, 시간 최소화 항이 명시적으로 없다. 태스크를 t 스텝에 풀면 실제로 받는 값은 \frac{1}{N_{total}}\gamma^{t}다. \gamma=0.94이고 스텝이 0.1초이니 1초 늦어질 때마다 그 태스크의 가치가 0.94^{10}\approx 0.54배로 깎인다. 즉 “빨리 끝내라”는 압력은 전적으로 할인율에서 나온다. 우아하지만, 시간이 부드럽게 지수 감쇠하는 목적함수와 “총 실행 시간(makespan) 최소화”라는 실제 목표가 정확히 같지는 않다.

둘째, 충돌 페널티의 스케일이 압도적이다. Table S5의 C_{col}=15.0인데, 40 태스크 설정에서 태스크 하나를 푸는 보상은 1/40=0.025다. 한 로봇이 한 스텝 충돌 방향으로 명령되는 비용이 태스크 600개를 푸는 가치와 맞먹는다. (Eq. 3에는 부호가 없이 적혀 있고 Table S5는 이를 “collision penalty coefficient”라 부르므로, 실제로는 음수로 들어간다고 읽어야 앞뒤가 맞는다 — 표기상의 모호함이다.) 결과적으로 학습된 정책은 사실상 절대 충돌 방향으로 명령하지 않게 되고, 실행 시간은 그다음 순위의 약한 신호가 된다. 저자들도 “이론적으로는 할인만으로 충분하지만 실제로는 명시적 페널티가 충돌도 줄이고 실행 시간도 개선했다”고 적는다.

HER. 보상이 희소하니 초기 탐색으로는 성공을 만나기 어렵다. 흔한 해법은 shaped reward지만 설계가 까다롭고 태스크 종속적이다. 대신 실패한 에피소드마다 무작위로 고른 태스크 부분집합을 로봇이 실제로 지나간 궤적 위의 점들로 옮긴 가상 에피소드를 만든다 — “네가 만든 궤적대로였다면 성공이었다”를 보여 주는 셈이다. 저자들은 “잘 튜닝된 shaped reward와 대략 비슷한 성능”이라 보고하고, 단순함 때문에 HER만 썼다고 밝힌다(정량 비교는 논문에 없다).

수정 TD3. 표준 TD3에서 (i) 지연 타깃 업데이트를 제거했고(안정성 기여가 미미하다고 판단, 이 네트워크에서는 타깃 업데이트가 연산 부담도 아님), (ii) 크리틱·정책의 Polyak 상수를 분리해 독립 튜닝하며, (iii) 탐색 분산과 두 학습률에 각각 지수 감쇠(\lambda_{\eta_\pi}=0.98, \lambda_{\eta_Q}=0.95, 10만 스텝당)를 넣었다. 초반엔 넓게 탐색하고 후반엔 태스크를 정밀하게 맞추라는 커리큘럼이다.

네트워크 크기(Table S5). 학습되는 함수는 임베딩 3개(E_n, E_e, E_g)와 업데이트 3개(U_n, U_e, U_g), 그리고 예측 헤드 2개(P_\pi, P_Q)다. 노드·글로벌 계열은 MLP(512, 7)(512폭 7층), 엣지 계열은 MLP(256, 6), 예측 헤드는 MLP(64, 2). 각 층은 행렬곱 + LayerNorm + GELU. 세 함수(정책 + 크리틱 2개)는 가중치 공유 없이 독립 학습된다. 구현은 JAX + Jraph + Flax.

학습 인프라. 64개 액터(각각 Intel Ice Lake Xeon 코어 1개)가 비동기로 에피소드를 만들어 Reverb FIFO 리플레이 버퍼에 넣고(sample-to-insert 비율 5.0 고정, 버퍼 크기 2\times10^7/N_{tasks}), 학습기는 A100 1장에서 배치 128로 균등 샘플링해 학습한다. 하이퍼파라미터는 Vizier로 튜닝했다.

직관: 왜 이 표현이 통하는가

(1) 모델 크기가 장면 크기와 무관해진다. 네트워크가 배워야 하는 건 “태스크→로봇”, “장애물→로봇”, “로봇→로봇” 세 종류의 상호작용 함수뿐이다. 로봇이 몇 대든 태스크가 몇 개든 같은 U_e가 모든 엣지에 적용된다. 그래서 모델 복잡도는 O(1)이고, 이론적으로 필요한 학습 데이터 양도 장면 크기에 비례해 늘지 않는다. Fig. 3A/B가 이걸 경험적으로 뒷받침한다 — 태스크 4배, 로봇 2배에도 수렴 스텝 수가 거의 같다.

(2) 큰 장면은 오히려 데이터가 많은 장면이다. 로봇 8대·태스크 40개면 한 타임스텝에 로봇-태스크 엣지가 320개 관측된다. 같은 함수를 320번 학습시킬 신호가 매 스텝 들어오는 셈이다. 논문이 “조합 복잡도를 부담이 아니라 이점으로 바꿨다”고 표현하는 지점이다.

(3) 연산량은 엣지 수를 따라간다. 로봇↔︎로봇 N_r^2, 태스크→로봇 N_r N_t, 장애물→로봇 N_r N_o 이므로 총 O(N_r^2 + N_r N_t + N_r N_o). 태스크·장애물에는 선형이고 로봇에만 이차인데, 저자들의 논거는 “로봇 배치 밀도에는 물리적 한계가 있다”는 것이다. 작업 볼륨이 겹치지 않는 로봇 쌍은 서로 충돌할 수도, 같은 태스크를 할 수도 없으니 엣지를 연결할 필요가 없다 — 셀을 넓히며 로봇을 늘리는 점근적 상황에서는 O(N_r)로 떨어진다는 얘기다. (다만 논문은 이 가지치기를 구현하지 않았다. “머신러닝의 한계를 탐색하고 알고리즘을 단순하게 유지하려” 일부러 뺐고, 실제 응용에서는 넣는 게 현명하다고 적는다.)

(4) 협조를 위한 정보 경로가 생각보다 얇다. 로봇 A가 로봇 B를 피하려면 B의 링크들이 지금 어디 있는지 알아야 한다. 그런데 엣지가 주는 건 “B의 베이스 자세를 A의 팁 기준으로” 뿐이고, B의 관절각은 엣지 업데이트에서 보내는 노드 특징으로 함께 들어올 뿐이다(Eq. 7이 G_n[n_s]를 concat한다). 즉 네트워크는 B의 관절각으로부터 정기구학을 암묵적으로 계산해 A의 좌표계로 옮기는 일을 학습해야 한다. 학습 가능한 일이지만 공짜는 아니고, 이 때문에 로봇 형상(morphology)이 바뀌면 그 암묵적 FK도 다시 배워야 한다고 볼 수 있다(저자들도 형상 무작위화를 향후 과제로 언급한다).

실험 1: 궤적이 얼마나 좋은가 — 단순화된 문제에서의 최적성

베이스라인 비교(Fig. 2) — 색 하나가 태스크 세트 하나(20 태스크, 로봇당 5개). RoboBallet 열을 제외한 모든 열은 RRT-Connect + shortcutting을 쓰며, ’Random’은 가능한 모든 스케줄에 대한 평균, ’Opt N IK’는 N개 IK 해를 샘플해 완전 탐색으로 최적 스케줄·IK 조합을 고른 결과다.

이 비교가 왜 이런 모양이 됐는지부터 봐야 한다. 저자들의 문제 규모에 도달하는 기존 방법이 없으므로, 대신 완전 탐색으로 준최적 해를 만들 수 있을 만큼 작고 단순화된 문제를 따로 만들었다. 단순화의 내용:

태스크 20개를 한 로봇만 도달 가능하도록 필터해 할당 문제를 제거(가능한 할당이 하나뿐).
스케줄은 모든 순열을 완전 탐색.
IK는 N\in\{1,2,4,8\}개 샘플링해 전부 시도해 최선을 선택.
모션 플래닝은 RRT-Connect + shortcutting, 로봇마다 따로(다른 로봇을 제거한 채) 계획한 뒤 가장 긴 단일 로봇 부분궤적의 비용을 다중 로봇 비용으로 삼음.

결과를 그림에서 읽으면: 랜덤 스케줄 약 12.8–15.2 s → Opt 1 IK 약 9.2–11.8 s → Opt 8 IK 약 8.2–10.6 s. RoboBallet은 약 8.4–10.3 s로 Opt 8 IK와 사실상 겹친다. 두 가지가 확인된다 — (a) 이 문제에서 스케줄링과 IK 선택이 실제로 중요하다(랜덤 대비 큰 폭 감소), (b) RL 정책이 완전 탐색 수준의 품질에 근접한다.

저자들이 스스로 밝히는 두 가지 비대칭도 중요하다. RoboBallet에 유리한 쪽: RRT-Connect는 목표 자세에 정확히 도달하지만 RoboBallet은 2.5 cm/15° 허용오차를 쓴다(실제 응용에서는 선형 드라이버로 최종 도킹을 하는 것을 상정하며, 그러면 비용이 소폭 늘 것이라고 인정). 베이스라인에 유리한 쪽: RRT-Connect 결과는 로봇 간 충돌을 무시한다(다른 로봇을 지운 채 계획했으므로). 실제로 동시 실행하면 충돌이 나서 순서를 조정해야 할 수 있다. 둘 다 정량화되지 않았다.

실험 2: 학습·추론 스케일링

스케일링·일반화 학습 곡선(Fig. 3) — (A) 4로봇에서 태스크 10개 vs 40개. (B) 40태스크에서 로봇 4대 vs 8대. (C) 4로봇, 랜덤 생성 학습 셀 vs 수작업 평가 셀. (D) 8로봇에서 같은 비교. 수렴 스텝 수가 지수적으로 늘지 않는다는 것이 핵심 메시지.

태스크 스케일링(A): 10→40 태스크는 스케줄링 난이도가 4배지만 수렴 스텝은 소폭 증가에 그친다. 단, 스텝당 연산은 다르다 — 엣지 수가 태스크에 선형이므로 40태스크 스텝은 10태스크 스텝보다 최대 4배 무겁다.
로봇 스케일링(B): 4대 vs 8대도 비슷한 스텝 수에서 수렴. 점근 복잡도는 O(N_r^2)지만 GPU 특성상 실제 차이는 더 작다 — 배치 128 기준 스텝 시간이 33 ms(4로봇·10태스크) → 52 ms(4·40) → 80 ms(8·40).
추론: 8로봇·40태스크에서 A100 기준 스텝당 약 0.3 ms. 10 Hz 제어라면 실시간의 300배 이상이다. CPU 코어 1개에서도 약 30 ms로 실시간의 3배. 매 스텝은 추론 1회 + 전체 씬 충돌 검사 1회로 구성된다.
학습 시간: 문제 크기에 따라 6~24시간이면 태스크 해결률 95%에 도달하고, 그 뒤 2~6일 동안 품질(더 많은 태스크 해결, 실행 시간 감소, 충돌 감소)이 계속 개선된다.

일반화(C/D): 랜덤 셀로만 학습한 모델을 알루미늄 프레임 구조물이 놓인 수작업 평가 셀(실제 워크셀의 로봇 배치, 학습에 쓰지 않은 40태스크 × 10세트)에서 평가하면 학습 환경 곡선과 거의 겹친다. 그림에서 4로봇은 학습 약 39.3 / 평가 약 38.3(40개 중), 8로봇은 양쪽 모두 약 40에 붙는다. 로봇이 많을수록 일반화 격차가 줄어드는 경향이 보이는데, 여유 로봇이 많으면 도달 실패를 서로 메워 주기 때문으로 읽힌다.

실험 3: 로봇을 늘리면 실제로 빨라지는가

로봇 수에 따른 실행 시간(Fig. 4) — 10개 평가 구성 각각에 대해, 로봇 4~8대로 배치 최적화까지 수행해 얻은 최단 실행 시간. 색 하나가 평가 구성 하나.

프로토콜: 로봇 4대짜리 배치를 10세트 랜덤 샘플하고(테이블 양쪽 2대 + 천장 레일 2대), 각 배치로 풀 수 있음이 보장된 20 태스크 세트를 만든다. 그 다음 로봇 수를 4→8로 바꿔 가며 각각 배치 최적화를 수행해 최단 궤적 길이를 기록한다.

그림에서 읽으면 4대에서 약 5.2–7.5 s, 8대에서 약 3.6–4.7 s로, 모든 구성에서 단조에 가깝게 감소한다. 저자들은 이를 “거의 최적 스케일링”이라 평가하는데, 근거는 태스크 20개를 4대가 나누면 로봇당 5개, 8대가 나누면 4대는 2개·4대는 3개가 되므로 이론적 개선 상한이 5→3, 즉 40% 수준이라는 계산이다.

⚠️ 다만 본문의 수치 서술에 오류로 보이는 부분이 있다. 본문은 “평균 약 7.5 s에서 약 4.5 s로, 60% 감소”라고 적는데, 7.5→4.5는 40% 감소(원래의 60% 수준으로 줄어든 것)다. 게다가 그림에서 4로봇 점들은 5.2–7.5 s에 분포하므로 7.5 s는 평균이라기보다 최댓값에 가까워 보인다. 결과의 방향과 크기 순서는 의심할 여지가 없지만, 이 문장의 퍼센트 수치는 그대로 인용하지 않는 것이 안전하다.

실험 4: 워크셀 배치 최적화 — 빠른 플래너가 여는 용도

워크셀 레이아웃 최적화(Fig. 5) — (A) 10개 평가 구성에서 최적화 배치 vs 기본 배치(테이블 네 모서리에 한 대씩)의 실행 시간. (B) 개선폭이 가장 큰 구성 #5의 로봇별 시간 분해(막대 하나가 로봇 하나, 블록 하나가 태스크 하나의 이동 시간 + dwell 시간, 색은 태스크 ID). (C) 구성 #8에 대한 동일 분석.

이것이 논문이 내세우는 “속도가 여는 새 용도”의 실증이다. RoboBallet을 내부 루프로, Vizier(가우시안 프로세스 밴딧 변형)를 외부 루프로 두고 로봇 배치를 탐색한다. 결과:

10개 구성 전부에서 개선된다(Fig. 5A). 최적화 배치는 3.5–4.5 s대, 기본 배치는 4.2–6.1 s대. 본문은 최대 개선을 33%로 보고한다.
개선의 주 원인은 태스크 재분배다. Fig. 5B의 기본 배치를 보면 R4 한 대가 태스크 5개를 떠맡아 혼자 끝까지 끌고 가는 반면(R2는 태스크 1개), 최적화 배치에서는 3/2/2/3으로 고르게 나뉘어 makespan이 절반 가까이 줄어든다. 부차적으로 태스크까지의 이동 시간도 줄어든다.
저자들은 dwell 0.5초를 이동 시간과 dwell이 비슷한 비중이 되도록 의도적으로 골랐다고 밝힌다. 현장 작업 시간이 이동 시간보다 훨씬 긴 설정(예: 실제 용접)에서는 균등 분배의 중요도가 더 커져 배치 최적화 이득이 더 클 것이라고 예상한다.

⚠️ 패널 간 절대값이 맞지 않는다. 구성 #5에 대해 Fig. 5A는 기본 6.13 s → 최적 3.87 s로 읽히는데, 같은 구성의 Fig. 5B 간트 차트는 기본이 약 9.6 s, 최적이 약 5.3 s에서 끝난다. 개선 비율의 경향은 같지만 절대 시간이 1.5배 가까이 차이 나고, 논문은 이 차이를 설명하지 않는다(설정이 다른 실행일 가능성이 있으나 명시가 없다). 두 패널의 숫자를 섞어 인용하지 않는 편이 좋다.

실기 실행

실제 워크셀(Movie 2 스틸) — 4대의 Franka Panda가 RoboBallet이 생성한 계획을 실행한다. 알루미늄 프레임 구조물이 장애물 겸 태스크 표면.

실기 데모는 8대가 아니라 4대로, 동일한 프레임워크로 따로 학습한 모델이다. 실행 전 처리:

학습 단계에서 1.0 cm 충돌 여유를 추가로 지키도록 학습.
에피소드 종료 시 시작 자세로 복귀하는 보상 항(모든 태스크를 푼 뒤에만 활성화되는 형상 공간 L2 거리)과, 관절 가속도 제곱에 대한 약한 페널티를 추가(불필요한 움직임과 과도한 가속 억제).
생성 궤적을 5차 스플라인으로 1 kHz까지 보간해 실행.

저자들은 모델이 이미 관절 속도·가속도 제약을 지키지만, 저크나 토크 같은 복잡한 제약까지 맞추려면 후처리가 현명하다고 적는다. 여기서 드러나는 설계 철학이 흥미롭다 — RL 보상 함수를 요구사항에 맞춰 바꾸는 게 행동을 직접 설계하는 것보다 쉽다는 것. 저자들은 이 적응성이 하드코딩 시스템이나 (알고리즘 플래너·사람 시연으로부터의) 지도학습 시스템 대비 RL 정식화의 실질적 장점이라고 주장한다.

비판적으로 보면

강점

문제 선택과 정식화가 정직하다. “가장 탐색 공간이 큰 설정(누구나 무엇이든 어떤 순서로든)”을 일부러 골라 확장성을 정면으로 공략했고, 손으로 만든 단순화 — IK 사전 샘플링, 휴리스틱 사전 할당, 로봇별 순차 계획 — 를 하나도 쓰지 않는다. 이 세 가지를 안 쓴다는 것 자체가 기존 TAMP 파이프라인과의 명확한 선 긋기다.
핵심 주장이 이론과 실험 양쪽에서 일관된다. “타입별 상호작용 함수를 한 번만 배우므로 모델 복잡도가 O(1)”이라는 주장은 Fig. 3A/B의 “태스크 4배·로봇 2배에도 수렴 스텝 유사”로 뒷받침되고, “연산은 엣지 수에 비례”라는 주장은 33/52/80 ms라는 실측 스텝 시간과 맞물린다.
환경이 충돌을 구조적으로 불가능하게 만든다. 충돌 유발 속도를 0으로 만드는 설계는 학습을 어렵게 하지만(정지 로봇은 진행이 없다), 실세계 이관에서 “학습 정책이 가끔 부딪힐 수 있다”는 최악의 리스크를 제거한다. 산업 배치를 진지하게 생각한 흔적이다.
속도가 만든 용도를 실제로 하나 보여줬다. “빠르니까 좋다”에서 멈추지 않고 Vizier를 얹어 배치 최적화를 돌려 10/10 구성에서 개선을 냈다. 플래너를 최적화의 내부 루프로 쓸 수 있다는 것이 이 논문의 가장 실용적인 메시지다.
재현 재료가 갖춰져 있다. Table S5에 학습률·감쇠·타깃 업데이트·할인율·네트워크 형태·리플레이 크기·충돌 계수까지 사실상 전부 적혀 있고, 코드가 Apache-2.0으로 Zenodo에 공개됐다(1.1 GB 아카이브). Google DeepMind가 특허 출원(US·WO)을 한 상태에서도 코드를 낸 점은 평가할 만하다.

약점·한계

정작 주장하는 규모에서 베이스라인이 없다. 정량 비교는 Fig. 2 하나뿐이고, 그 세팅은 의도적으로 단순화된 문제다 — 4로봇·20태스크, 각 태스크는 한 로봇만 도달 가능(할당 문제 제거), 베이스라인은 로봇을 하나씩 떼어 놓고 계획(로봇 간 충돌 무시). 즉 “8로봇·40태스크에서 고전 방법은 못 하는데 우리는 한다”는 헤드라인은 측정된 것이 아니라 선언된 것이다. 저자들 말대로 그 규모에 도달하는 공개 방법이 없다는 건 사실이지만, 기존 최고(5로봇·10태스크) 방법과 그 방법의 규모에서 실행 시간·계획 시간을 맞대 보는 실험은 가능했을 것이다.
GNN이 정말 필요한지에 대한 절제 실험이 없다. 논문 전체의 논거가 “평평한 MLP는 조합적으로 폭발한다”인데, MLP 베이스라인이 한 번도 등장하지 않는다. 마찬가지로 HER도 “잘 튜닝된 shaped reward와 비슷했다”는 서술만 있고 숫자가 없으며, 엣지 방향성 설계(로봇 간 양방향 vs 단방향), 6D 회전 표현, 큐보이드 축 교환 증강 등 어느 것도 절제되지 않았다. 하이퍼파라미터는 Vizier로 정성껏 튜닝했는데 구조 선택은 검증되지 않은 비대칭이 있다.
성공률/신뢰성 보고가 얇다. 학습은 “95% 태스크 해결률”에 도달한다고 하고 Fig. 3C에서는 40개 중 약 38.3개가 풀린다. 산업 플래너 관점에서 “40개 중 38개 계획 성공”은 “전부 성공”과 전혀 다른 제품이다. 평가 시 에피소드 단위 완전 성공률이 얼마인지, 못 푼 태스크가 애초에 경로가 없는 태스크였는지(태스크 샘플링이 IK 존재만 확인하고 경로 존재는 확인하지 않는다), 실패를 감지하고 대응하는 절차가 무엇인지는 보고되지 않는다. 확률적 완전성을 포기했다면 그 자리를 메울 실패 통계가 더 중요해지는데 그게 없다.
허용오차 2.5 cm / 15°는 표방하는 응용에 비해 거칠고, 그 완화가 무해하지 않다. 저자들은 최종 도킹을 선형 드라이버로 하면 되고 “단순화를 위해” 이번 연구에서 제외했다고 쓴다. 그런데 논문이 강조한 논지 자체가 “IK 해 선택이 궤적 비용과 실현 가능성을 좌우한다”였다. 도킹 가능성을 보상에 넣지 않으면 정책이 최종 도킹이 불가능한 접근 자세를 고를 수 있다. 저자들도 이를 인지해 “환경에 도킹을 넣고 성공했을 때만 보상을 준다”는 향후 설계를 서술하지만, 그 전까지 Fig. 2의 비교 우위 일부는 이 완화에서 온다.
장애물 표현의 구조적 한계. 프리미티브가 큐보이드뿐이고(저자 인정), 더 중요하게는 장애물 노드에 노드 특징이 아예 없고 장애물↔︎장애물 엣지도 없다. 모든 기하 정보는 “각 로봇 팁 기준 상대 자세”로만 존재한다. 그래서 두 장애물 사이의 좁은 틈처럼 장애물 간 관계로 정의되는 구조가 그래프에 명시적으로 표현되지 않는다. 스팟 용접처럼 로봇이 장애물에 바짝 붙어야 하는 상황에서 이 표현의 한계가 드러날 가능성이 있는데, 논문에 관련 실험은 없다.
일반화 증거가 평가 셀 한 개에 걸려 있다. “zero-shot으로 미지의 설정에 일반화”라는 초록의 표현에 비해, 실제로 평가된 미지 환경은 알루미늄 프레임 구조물이 놓인 워크셀 하나(태스크 40개 × 10세트)다. 로봇은 항상 Franka Panda이고, 장애물 스타일도 같은 계열이다. 형상(morphology) 무작위화, 이종 로봇 팀, 다른 종류의 작업물에 대한 평가는 전부 향후 과제로 남는다.
수치 서술의 정합성 문제가 두 군데 있다. ① 4→8 로봇 스케일링의 “60% 감소”는 7.5→4.5 s라는 자기 수치와 맞지 않는다(40% 감소). ② Fig. 5A와 Fig. 5B/C의 같은 구성(#5)에 대한 절대 실행 시간이 어긋난다(6.13→3.87 s vs 약 9.6→5.3 s). 어느 쪽도 논문의 정성적 결론을 뒤집지는 않지만, 수치를 인용할 때는 그림 안에서의 상대 비교로만 읽는 것이 안전하다. Eq. 3에 충돌 페널티의 부호가 빠져 있는 것도 같은 부류의 표기 문제다.
“오프라인으로 옮긴 비용”이 결코 작지 않다. 액터 64코어 + A100 1장으로 95% 도달에 6~24시간, 품질 수렴까지 추가 2~6일이다. 그리고 이건 지원하고 싶은 변형의 축(로봇 배치·태스크 분포·장애물 종류)마다 치러야 하는 비용이다. amortization 논리는 “비슷한 문제를 많이 푼다”는 전제에서만 성립하고, 일회성 셀 하나를 계획하는 상황에서는 고전 방법이 여전히 낫다. 논문도 이 조건을 명시하지만(“many similar setups”), 표에는 학습 비용 대비 손익분기 분석이 없다.
실기 데모의 위치가 헤드라인보다 낮다. 실제 로봇 실행은 8대가 아닌 4대이고, 온라인 재계획이 아니라 생성 궤적의 재생이다(5차 스플라인 후처리 포함). 논문이 강조하는 “고장 대응 재계획”, “지각 기반 온라인 재계획”은 전부 가능성 서술이며 실험으로 보이지 않는다. 저자들도 온라인 계획에는 지각과 추종 정확도라는 별도 문제가 남는다고 인정한다.
공개 코드로 재현할 수 있는 범위가 제한적이다. Zenodo 릴리스는 JAX + Jraph 기반 GNN, MuJoCo 3.x 월드(4/8대 Franka Panda), 10/20/40 태스크 테스트 세트, 사전 생성 start state를 포함하지만, IK 솔버가 스텁으로 비어 있다. 태스크 샘플링·필터링 파이프라인이 IK에 의존하므로, 새 태스크셋을 생성하려면 사용자가 솔버를 붙여야 한다. 또 학습은 dm-launchpad/dm-reverb 기반 분산 셋업이라 단일 워크스테이션에서 논문 설정을 그대로 재현하기는 어렵다(액터 64개 · A100 1장 · 며칠). 현실적으로 외부에서 검증 가능한 범위는 공개 체크포인트/월드로 추론 속도와 궤적 품질을 확인하는 정도로 보인다.

요약

RoboBallet은 다중 로봇 reaching에서 태스크 할당·스케줄링·모션 플래닝을 쪼개지 않고 한 번에 푸는 학습 기반 플래너다. 기여는 새 RL 알고리즘이 아니라 표현에 있다 — 로봇·태스크·장애물을 노드로, 그 사이 상대 자세를 엣지로 갖는 씬 그래프를 GNN이 처리해 100 ms마다 전 로봇의 관절 속도를 뱉고, 보상은 “푼 태스크 비율의 증가분 − 충돌 페널티”라는 두 항뿐이며 시간 최소화는 할인율 \gamma=0.94가 대신한다. 상호작용 종류마다 함수를 하나씩만 배우므로 모델 크기는 장면 복잡도와 무관(O(1))하고, 연산은 엣지 수 O(N_r^2+N_rN_t+N_rN_o)를 따른다.

성과는 구체적이다. 8대 Franka Panda(56차원)·40 태스크·장애물 30개에서 A100 기준 스텝당 0.3 ms로 계획하고, 태스크 4배·로봇 2배에도 수렴 스텝이 거의 늘지 않으며, 랜덤 셀로만 학습한 모델이 수작업 평가 셀로 zero-shot 전이한다. 단순화된 비교 문제에서는 완전 탐색 + RRT-Connect(IK 8개 탐색) 수준의 궤적 품질에 붙고, Vizier를 얹은 배치 최적화는 10개 구성 전부에서 실행 시간을 줄인다(본문 기준 최대 33%).

한계도 분명하다. 주장하는 규모에서의 정량 베이스라인이 없고, 핵심 구조 선택(GNN vs MLP, HER vs shaped reward, 엣지 설계)이 절제 실험으로 검증되지 않았다. 2.5 cm/15° 허용오차와 “최종 도킹은 나중에” 라는 유예는 스팟 용접 같은 표방 응용에 그대로 적용하기 어렵고, 태스크 해결률 95%에 대응하는 에피소드 단위 신뢰성 통계가 없다. 수치 서술에도 두 군데 정합성 문제가 있다(4→8 로봇 “60% 감소”, Fig. 5 패널 간 절대값 불일치). 학습 비용(A100 + 64 코어로 며칠)은 “비슷한 문제를 많이 푼다”는 전제에서만 정당화된다.

그럼에도 이 논문이 보여준 것은 분명하다 — 관계적 귀납 편향을 제대로 넣으면, 조합 폭발이 확장성의 걸림돌이 아니라 학습 신호의 원천이 될 수 있다. 그리고 플래너가 밀리초 단위가 되면 “계획”이 최종 산출물이 아니라 다른 최적화의 내부 루프가 된다는 것. 워크셀 배치 최적화는 그 첫 사례일 뿐이고, 고장 대응 재계획과 지각 기반 온라인 재계획이 다음 후보로 남아 있다.