📃Contact-Guided Exploration 리뷰

ppo

loco-manipulation

non-prehensile

manipulation

push

contact

quadruped

locomotion

whole-body-control

curriculum

reward

sim2real

IsaacLab

Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL

Published

September 10, 2026

Paper Link (arXiv:2608.28140v1) — 이 리뷰는 v1(2026-08-28 제출, CC BY 4.0) 기준이며, 수치·수식은 모두 본문·Table I·Table II에서 직접 확인한 값이다.
Project Page (tolomeis.github.io/contact-guided-exp) — 2026-09-10 확인 시점에 영상은 “coming soon” 상태다.
Code Link: 없음. 논문 본문·프로젝트 페이지 어디에도 코드·체크포인트 링크가 없다. 따라서 이 리뷰는 재현 시도 없이 논문 원문만으로 쓴 것이다.
저자: Simone Tolomei, Mayank Mittal, Franco Angelini, Manolo Garabini, Paolo Salaris, Marco Hutter
소속: Centro di Ricerca E. Piaggio, Università di Pisa (Tolomei·Angelini·Garabini·Salaris) / ETH Zürich (Mittal·Hutter) / NVIDIA (Mittal)
arXiv preprint, 2026-08. ⚠️ 프로젝트 페이지의 BibTeX는 IEEE Robotics and Automation Letters, 2025로 적혀 있으나 arXiv v1에는 학회·저널 표기가 없다 — 게재 상태는 확인이 필요하다. 이 리뷰에서는 arXiv 표기를 따른다.

💡 사족 모바일 매니퓰레이터가 의자·상자 같은 크고 무거운 물체를 잡지 않고(non-prehensile) 밀고 끌어 옮기게 하려는데, 보상이 희소해 정책이 “아예 접촉하지 않는” 국소 최소에 빠지는 문제를 푼다.
⚙️ 파지 알고리즘이 뽑은 물체 표면의 후보 접촉점으로 dense 탐색 보상을 만들고, 이 보상을 전용 critic head로 분리한 뒤 그 head의 advantage 가중치를 학습 도중 0.1 \to 0.01로 감쇠시켜 “접촉을 찾아라”에서 “과제를 풀어라”로 넘어간다.
🎯 시뮬레이션 의자 운반 성공률 94.1%(tipover 4.4%, 5시드 표준편차 0.98%)로 PPO·PPO+WS·고정가중 Multi-Critic을 모두 앞서고, ALMA 사족 매니퓰레이터에 zero-shot 배포해 미학습 IKEA 가구 4종에서 69.0%(40/58)를 냈다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

무거운 의자를 로봇이 옮겨야 한다고 하자. 집어 들 수는 없다 — 그리퍼 크기와 페이로드가 안 된다. 그래서 밀고 끌고 걸어서(hooking) 옮겨야 하는데, 이것이 non-prehensile locomanipulation이다. 문제는 탐색이다. 팔이 물체에 유효한 접촉을 만들고 올바른 방향으로 힘을 주기 전까지 정책은 아무 양의 보상도 받지 못한다. 그동안 보상 신호를 지배하는 것은 급격한 움직임·에너지에 붙는 정규화 페널티뿐이다. 그러면 정책은 아주 합리적인 결론에 도달한다: 아무것도 건드리지 않는 것이 이득이다. 논문은 이 국소 최소를 “exploration bottleneck”이라 부르고, 실제로 탐색 보상을 뺀 변형은 성공률 0%였다고 보고한다.

기존 해법은 대개 전문가 시연이나 텔레오퍼레이션 데이터로 탐색을 우회했다. 하지만 동적인 non-prehensile 상호작용에 대해 고품질 모캡·텔레오퍼레이션을 모으는 것은 확장성이 없다. 가장 가까운 선행 연구인 Dadiotis et al.(ICRA 2025)은 물체 표면에서 균일 샘플링한 점으로 탐색을 유도했는데, 상자·원기둥처럼 크고 안정적인 접촉면에서는 통하지만 의자 같은 비볼록 가구에서는 균일 샘플이 기구학적으로 닿을 수 없거나 물리적으로 나쁜 접촉점을 대량 생산한다. 이 논문의 답은 두 갈래다. ① 후보 접촉점을 범용 파지 알고리즘에서 가져와 상호작용에 유의미한 영역(의자 다리, 식기세척기 손잡이)에 집중시키고, ② 그 탐색 보상을 스칼라 보상에 섞지 말고 자기 critic을 가진 별도 그룹으로 떼어내 가중치를 스케줄로 껐다 — 제약 최적화 없이도 같은 유도 효과를 낸다는 주장이다.

개요(Fig. 1) — 객체 중심 접촉 prior로 RL 탐색을 유도한다. 색 점선은 학습된 정책이 고확률 상호작용 영역에 집중해 의자를 목표 지점으로 미는 접촉 풍부 행동을 실행하는 모습이다.

핵심 방법론:

환경은 스칼라가 아니라 벡터 보상 \mathbf{r}_t \in \mathbb{R}^H(H=3)를 준다. 세 그룹은 과제 성능 r_{\text{task}}, 탐색 유인 r_{\text{exp}}, 액션 정규화 r_{\text{reg}}다. 각 그룹 h마다 value head V_{\phi_h}를 두고 TD 오차 \delta_t^h = r_t^h + \gamma V_{\phi_h}(s_{t+1}) - V_{\phi_h}(s_t)에서 advantage를 추정한다.

A_t^h = \sum_{k=0}^{\infty} \gamma^k \delta_{t+k}^h

정책 업데이트는 이들을 가중합한 합성 advantage로 한다.

A_t = \sum_{h=1}^{H} w_h A_t^h

이 A_t로 PPO의 clipped surrogate L^{CLIP}을 최대화하고, value 손실은 head별 MSE의 가중합으로 최소화한다.

L^{VF}(\phi) = \sum_{h=1}^{H} w_h \left| V_{\phi_h}(s_t) - R_t^h \right|^2

핵심은 w_h가 상수가 아니라 스케줄이라는 점이다. 학습 스텝 5k~10k 구간에서 w_{\text{exp}}: 0.1 \to 0.01로 선형 감쇠하고 w_{\text{reg}}: 0.15 \to 0.24로 선형 증가하며, w_{\text{task}} = 0.75는 고정이다. 즉 초반엔 “접촉을 찾아라”가 gradient를 끌고, 접촉 발견이 안정된 뒤에는 그 영향이 사라지면서 물리적 제약을 지키는 task-optimal 정책만 남는다.

시스템 구조(Fig. 2) — (좌상) 메시에서 표면 샘플링 또는 파지 알고리즘으로 접촉 후보 생성. (중앙) 공유 백본 + task·exploration·regularization 3개 head의 Multi-Critic, 스케줄 가중 advantage \sum A_i w_i로 결합. (좌하) LSTM Actor가 팔 관절 목표 q_a^*·베이스 높이·베이스 속도를 내고, 얼려둔 사전학습 보행 정책이 다리 관절 목표 q_l^*를 생성. (우) 의자 운반·상자 밀기·식기세척기 열기 3개 과제.

주요 결과:

시뮬레이션 의자 운반 성공률 94.1%, tipover 4.4%, 완료 시간 9.2 s(PPO+WS의 9.1 s와 동등). 5시드 성공률 표준편차 0.98% — PPO 9.7%, 고정가중 Multi-Critic 4.2%, PPO+WS 1.2%와 비교해 가장 안정적이다.
탐색 보상이 없으면 유의미한 접촉 자체를 발견하지 못하고 성공률 0%.
표준 PPO는 의자 과제에서 Missed Contact 9.1%, 스칼라 보상에 같은 스케줄을 건 PPO+WS는 4.0%로 줄지만 단일 value function 안에서 목적이 충돌해 학습이 불안정하다.
실기: ALMA 사족 매니퓰레이터, 미학습 IKEA 물체 4종 69.0%(40/58) — ADDE 72.90%(27/37), SANDSBERG 57.14%(8/14), VIHALS 100%(3/3), LOVBACKEN 50%(2/4).
추가 무게를 달아 총 6.5 kg인 의자도 운반 — 팔을 완전히 뻗었을 때의 정격 정적 페이로드를 넘는 값이다.
식기세척기 과제에서 팔 관절이 위치 한계의 10% 이내에 머무는 timestep 비율을 평균 59% 감소.

결론:

“dense 탐색 보상을 주되 나중에 끈다”는 아이디어 자체는 커리큘럼 학습의 오래된 상식이다. 이 논문의 기여는 그 스위치를 보상 항의 계수가 아니라 critic head의 advantage 가중치에 두면 (i) 목적 간 간섭 없이 value 추정이 안정되고 (ii) 감쇠 구간에서 학습이 무너지지 않는다는 것을 4-way 비교(PPO / PPO+WS / Multi-Critic / Multi-Critic+WS)로 보인 데 있다. 실기 배포까지 밀어붙여 미학습 가구·과적재·외란·이동 목표에서 작동을 확인한 점이 논문의 무게를 만든다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

탐색 보상을 스칼라 보상에 섞는 대신 전용 critic head로 격리하고, 그 head의 영향력만 스케줄로 꺼서 “접촉 찾기”에서 “과제 풀기”로 매끄럽게 넘어가게 한 것 — 이것이 이 논문의 전부이자 핵심이다.

배경: 왜 non-prehensile locomanipulation이 어려운가

파지에서는 로봇과 물체의 연결이 사실상 강체다. 잡은 뒤에는 물체가 로봇 팔의 연장이 된다. non-prehensile은 그렇지 않다. 연결은 단방향 접촉 제약(unilateral contact)과 마찰 원뿔로만 유지되고, 언제든 끊기고 미끄러진다. 동역학이 hybrid — 접촉 모드가 바뀔 때마다 시스템 방정식이 갈아탄다.

locomanipulation은 여기에 제약을 더 얹는다. 정책은 동시에 (a) 부유 베이스의 안정성, (b) 매니퓰레이터의 작업공간 한계, (c) 물체의 동역학을 관장해야 한다. 자유도가 많고 베이스-팔 협응이 필요해 무작위 탐색이 유효 접촉을 우연히 찾을 확률이 급격히 떨어진다.

모델 기반 접근(MPC)은 이 영역에서 성과가 있었지만, 계산 가능성을 위해 단순화된 물리 모델에 의존하는 탓에 불연속 접촉 동역학을 포착하지 못하고, 접촉이 끊기거나 미끄러졌을 때 실시간 재계획이 어렵다. 정밀한 메시 모델도 필요하다. 접촉을 명시적으로 최적화하는 계열은 Push Anything 리뷰의 contact-implicit MPC나 Contact-Rich MPC 리뷰의 contact trust region처럼 정교해지고 있지만, 이 논문은 반대편 — model-free RL — 에 선다.

그런데 model-free RL의 대가가 바로 탐색이다. 논문의 진단이 정확하다: “보상 신호가 급격한 움직임이나 높은 에너지 소비를 벌하는 정규화 항에 지배된다. 이 불균형이 에이전트를 페널티 최소화를 위해 접촉을 완전히 회피하는 국소 최소로 자주 몰아넣는다.” 실험이 이를 뒷받침한다 — 탐색 보상을 뺀 변형의 성공률은 0%다.

방법 1: 계층 구조와 접촉 후보 샘플링

계층 구조. 고수준 정책은 팔 관절 목표 q_a^*(6D), 베이스 SE(2) 속도 (v_x^*, v_y^*, \omega_z^*), 베이스 높이 h^*를 낸다. 베이스 명령은 얼려둔 사전학습 보행 정책이 받아 다리 관절 목표로 바꾼다. 이 보행 정책은 Miki et al.(ICRA 2024)과 유사하게 4차원 명령 (v_x, v_y, w, h)를 추종하며, 관측에 팔 관절 위치를 포함하고 팔 작업공간 전체를 훑는 무작위 팔 동작 아래에서 학습됐다.

베이스 높이를 능동 제어하는 이유가 구체적이라 인상적이다. 팔을 앞으로 뻗어 바닥 근처 물체와 상호작용하면 어깨 관절이 한계에 닿아 failsafe 보호가 발동한다. h^*를 조절하면 팔을 기구학적으로 실행 가능한 자세 안에 유지할 수 있다. 실제로 학습된 정책은 보행 표준 높이보다 약 15 cm 낮은 베이스 높이를 상수로 명령하는 것을 배웠다.

접촉 후보. 에피소드 리셋마다 3D 목표 접촉점 \mathbf{p}_{target}을 후보 집합에서 뽑고, 엔드이펙터가 그 점에 가까워지면 보상한다. 후보는 off-the-shelf 파지 알고리즘(Palleschi et al., Grasp It Like a Pro 2.0, T-RO 2023)이 메시에서 뽑은 25개 점에서 샘플링한다. 상자 밀기에서는 Dadiotis et al.처럼 가시 표면에서 균일 샘플링한다.

논문이 밝힌 트레이드오프가 흥미롭다. 후보가 너무 적으면 정책이 그 점들의 위치를 과도하게 추종해 정작 물체를 옮기는 본 과제 성능이 떨어지고, 너무 많으면 탐색이 균일 메시 샘플링으로 퇴화해 비볼록 물체의 접촉 발견이 크게 느려진다. 즉 “파지 알고리즘을 썼다”는 선택의 실질은 접촉 후보 분포를 상호작용 관련 영역으로 좁혔다는 데 있다. 파지 안정성 기준으로 최적화된 점들이 non-prehensile 상호작용 후보로도 쓸 만하더라는 것이 논문의 경험적 관찰이다.

복잡한 형상의 접촉 후보(Fig. 3) — 빨간 마커가 파지 알고리즘으로 계산한 후보 접촉점. 학습 중에는 그중 하나를 뽑아 엔드이펙터 위치의 목표로 삼는다. 데이터셋은 절차적으로 무작위화한 의자 모델과 IKEA 가구 데이터셋에서 고른 CAD 모델로 구성된다.

방법 2: Multi-Critic 정식화

세 그룹으로 나눈 벡터 보상 \mathbf{r}_t \in \mathbb{R}^{H}, H=3에 대해 head별 advantage를 구하고 가중합한다는 것이 전부다(Ping의 수식 참조). 구현은 RSL-RL의 PPO를 multi-critic으로 개조한 것이다.

주목할 점은 네트워크 비용이 거의 늘지 않는다는 것이다. Actor는 hidden 256의 LSTM → MLP [256, 128, 64] + ELU → Gaussian 파라미터. Multi-critic은 공통 LSTM과 초기 MLP를 공유하고 마지막 출력층에서만 3갈래로 분기한다. 논문은 동일 조건에서 메모리·wall-clock 학습 시간 차이가 무시할 수준이라고 보고한다. 즉 “critic을 3개 둔다”는 말이 들리는 것보다 훨씬 싸다.

관측은 비대칭이다. Actor는 고유수용감각(관절 상태, 투영 중력, 베이스 속도)과 물체 상태(위치·자세·목표 대비 오차)를 로봇 베이스 프레임에서 본다. Critic은 여기에 특권 정보 — 물체의 선속도·각속도와 그 에피소드의 목표 접촉점 — 을 더 본다. 목표 접촉점이 critic에만 주어진다는 설계는 자연스럽다: 탐색 head가 그 점 기준으로 value를 추정해야 하지만, 정책은 배포 시 그 점을 모르기 때문이다.

학습 설정. Isaac Lab, 4096 환경 병렬, 시뮬레이션 dt = 0.005 s, 제어 dt = 0.02 s(즉 50 Hz 제어). 리셋마다 로봇 초기 자세·관절 상태와 물체의 물리 속성(질량·마찰)을 무작위화한다. 목표 명령은 물체 초기 위치 기준 반경 2 m 원판에서 균일 샘플링한 2D 위치다.

자산. 의자 운반은 IKEA 가구 데이터셋의 의자 15개 + 절차적 무작위 의자 100개를 섞는다. 절차 생성 파라미터는 전체 높이 [0.70, 1.10] m, 좌면 높이 [0.35, 0.55] m, 좌면 폭·깊이 각 [0.40, 0.60] m, 좌면·등받이 두께 각 [0.02, 0.05] m, 다리 단면 [0.03, 0.06] m다.

보상·하이퍼파라미터(Table I).

그룹	항목	가중치
Task (w_{\text{task}} = 0.75)	Object Vel. to Goal	10.0
	Object Pos. Tracking	15.0
Exploration (w_{\text{exp}}: 0.1 \to 0.01)	EE Tracking Contact Point	3.0
Regularization (w_{\text{reg}}: 0.15 \to 0.24)	Base Action Rate	2.0
	Arm Action Rate	0.5
	Hook Height (z)	−5000.0
	Action Limits	−1.0

도메인 무작위화는 물체 마찰 [0.2, 1.5], 물체 질량 [2.0, 4.0] kg, 로봇 베이스 질량 \pm 5.0 kg. PPO는 actor/critic 학습률 1\times10^{-4}, \gamma = 0.99, GAE \lambda = 0.95, clip 0.2, KL target 0.01, 5 epoch × 4 미니배치.

Hook Height의 −5000이라는 극단적 계수는 오해를 부르기 쉬운데, 논문이 직접 해명한다 — 기저 페널티가

r_{\text{hk}} = e^{\max(0,\, 0.15 - z_{\text{ee}})} - 1

이라 원 값의 크기가 다른 보상보다 몇 자릿수 작아서 재스케일 목적의 계수다. 엔드이펙터 높이 z_{\text{ee}}가 0.15 m 아래로 내려갈 때만 켜지는 항이니 “훅을 바닥에 처박지 말라”는 안전 항이다.

스케줄 튜닝. 저자들은 의자 운반 과제에서 스케줄을 맞췄다 — 정책이 접촉을 안정적으로 발견하는 시점(5k)에 감쇠를 시작해 10k 업데이트에서 끝낸다. 그리고 같은 스케줄을 모든 과제에 그대로 재사용했다고 명시한다. 이 문장은 튜닝 부담에 대한 방어이자, 동시에 아래 “약점”에서 다시 다룰 지점이다.

직관: 왜 보상 계수가 아니라 critic 가중치여야 하는가

스칼라 보상에서 탐색 항의 계수를 줄이는 것(PPO+WS)과 critic head의 advantage 가중치를 줄이는 것(우리 방법)은 겉보기엔 같은 일이다. 차이는 value function이 무엇을 학습하느냐에 있다.

스칼라 방식에서는 하나의 V_\phi가 “접촉점에 가까워지는 가치 + 물체를 옮기는 가치 + 페널티”를 뒤섞은 합을 회귀해야 한다. 계수를 바꾸면 회귀 대상 자체가 학습 도중에 움직인다 — value 추정이 계속 stale해지고, 서로 다른 시간 스케일의 목적(접촉은 즉각적, 운반은 장기적)이 한 스칼라 안에서 서로를 가린다. 논문이 관찰한 “충돌하는 목적으로 인한 불안정 학습과 높은 분산”(PPO+WS의 시드 표준편차 1.2%, PPO는 9.7%)이 이것이다.

Multi-Critic에서는 각 V_{\phi_h}가 자기 보상 스트림만 회귀한다. 가중치 w_h는 회귀 대상이 아니라 정책 gradient의 혼합비에만 들어간다. 그래서 w_{\text{exp}}를 0.1에서 0.01로 낮춰도 탐색 value 자체는 여전히 정확하게 유지되고, 단지 그 신호가 정책을 끄는 힘만 약해진다. 감쇠 구간에서 학습이 붕괴하지 않는 이유가 여기에 있다고 읽는 것이 자연스럽다. (다만 이 인과는 논문이 명시적으로 분해해 검증한 것이 아니라, 결과로부터의 해석이다.)

또 하나. 고정 가중 Multi-Critic은 접촉 문제는 잘 풀지만 탐색 보상이 에피소드 내내 살아 있어 정책이 운반 안정성을 희생하면서까지 접촉 동작을 과도하게 우선한다 — 매끄러운 행동을 배우지 못하고 tipover가 유의하게 늘어난다. 즉 분리(Multi-Critic)만으로도, 감쇠(WS)만으로도 부족하고 둘의 조합이 필요하다는 것이 논문의 4-way 비교가 말하는 바다.

실험: 시뮬레이션

베이스라인 세 개다.

PPO — 단일 critic, 보상 항 가중치를 우리 critic 가중치의 초기 설정을 흉내내도록 맞춤.
PPO + WS — 스칼라 PPO에 같은 스케줄을 보상 항 가중치에 직접 적용. Dadiotis et al.에서 영감을 얻었으나, 원 논문의 constrained RL 정식화 대신 페널티와 종료 조건으로 파라미터화해 공정 비교를 맞췄다.
Multi-Critic PPO — 분리는 하되 가중치를 전 학습 구간 고정(w_{\text{task}}=0.75, w_{\text{exp}}=0.1, w_{\text{reg}}=0.15).

지표는 성공률(물체가 목표 0.2 m 이내 도달)과 실패 모드 3종이다 — Missed Contact(물체 변위 0.2 m 미만), Tipover(물체가 35도 초과 기울어짐), Timeout. Tipover 임계 35도에 대해 논문은 솔직하게 “이 값은 불안정 구성을 라벨링하기 위해 선택한 것이며 모든 물체의 정확한 전도각에 대응하지 않는다”고 적고, 30–40도 범위에서 바꿔도 추세가 변하지 않음을 확인했다고 덧붙인다. 5개 시드를 집계했다.

결과의 핵심은 세 가지다.

탐색 병목의 실재. PPO는 의자 과제에서 Missed Contact 9.1%. 유도가 없으면 에너지 페널티를 줄이려 상호작용을 회피하는 국소 최소로 수렴한다. PPO+WS는 4.0%로 개선되지만 분산이 크다. 탐색 보상 없는 변형은 성공률 0%.
고정 가중의 한계. 접촉은 찾지만 tipover가 유의하게 높다.
스케줄링의 이득. 제안 방법이 성공률 94.1%, tipover 4.4%, 완료 시간 9.2 s(PPO+WS 9.1 s와 사실상 동등)로 최고. 시드 표준편차 0.98%는 다른 어떤 방법보다 낮다.

목표 지향 운반 전략(Fig. 4) — 로봇과 물체 자세를 고정하고 목표(색 원판)만 바꿔 샘플링했을 때, 정책은 이동 방향과 정렬된 쪽의 접촉점을 일관되게 선택해 제어 권한을 최대화한다. 겹쳐진 실루엣이 접근에서 안정 밀기까지의 연속 전이를 보여준다.

정성 분석(Fig. 4)이 이 논문에서 개인적으로 가장 설득력 있는 부분이다. 목표 위치를 물체 주변에 균일 샘플링해도 에이전트는 이동 방향과 정렬된 쪽의 접촉점을 일관되게 고른다. 그리고 물체를 매니퓰레이터의 최적 작업공간 안에 유지하도록 베이스를 배치해 특이점을 피한다. 접촉점 하나를 맹목적으로 추종하는 것이 아니라 목표 방향에 따라 어디를 접촉해야 유리한지 판단하고 있다는 뜻이다. 감쇠 스케줄이 “접촉점 추종”의 과적합을 실제로 풀어냈다는 증거로 읽힌다.

실험: 실기 배포

플랫폼은 ALMA 사족 매니퓰레이터. 베이스·팔 제어는 온보드 고유수용감각에 의존하고, 물체 자세는 외부 모션캡처로 추적한다.

실기 검증과 zero-shot 실세계 일반화(Fig. 6) — (a)–(c) 여러 의자 모델의 운반 성공, (d) LOVBACKEN 3다리 테이블에서의 강건성. 등받이가 없는 위상에도 일반화해 베이스를 재배치하며 최적 접촉 법선을 유지한다. 추가 파인튜닝 없이 전이했다.

미학습 IKEA 물체 4종에서 총 69.0%(40/58 시행).

물체	성공	총 시행	성공률
ADDE (주 벤치마크)	27	37	72.90%
SANDSBERG (주 벤치마크)	8	14	57.14%
VIHALS (케이스 스터디, 접이식)	3	3	100.00%
LOVBACKEN (케이스 스터디, 3다리 테이블)	2	4	50.00%

등받이가 없는 비대칭 3다리 테이블을 다리를 걸어 조작해낸 것은 정책이 메시를 외운 것이 아니라 일반화된 non-prehensile 물리를 배웠다는 근거로 제시된다. 또 하나의 창발 행동이 보고된다 — 초기 훅이 빗나가거나 미끄러지면 이후 시도에서 엔드이펙터 궤적의 진폭을 동적으로 키운다(Fig. 7). 실패를 감지하고 재시도 전략을 바꾸는 셈이다.

접촉 실패 시의 반응적 복구(Fig. 7) — 미끄러지거나 접촉에 실패한 뒤 불안정 상태로 빠지지 않고, 베이스를 재배치한 다음 팔의 스윙 진폭을 키워 안정적 접촉을 다시 만들고 운반을 재개한다.

시뮬레이션 94.1%에서 실기 72.9%/57.1%로 떨어지는 sim-to-real 갭을 논문은 회피하지 않고 원인을 특정한다: 전면 자기충돌을 피하려 쓰는 측면 접근이 문제다. 하드웨어에서 그 결과로 나오는 급격한 yaw 명령이 상태 추정을 열화시켜 오도메트리 오차를 만들고, 그것이 공격적인 움직임으로 이어져 물체를 넘어뜨린다. 정책의 결함이 아니라 정책–상태추정 상호작용의 결함이라는 진단이라 실용적으로 유익하다.

나머지 실기 결과.

동적 목표 추종. 목표 위치를 실시간으로 수동 갱신해도 베이스 속도와 접촉력을 조정해 의자를 바뀌는 궤적을 따라 몰았다. 상위 경로 계획기의 로컬 컨트롤러로 쓸 수 있다는 주장.
고페이로드. 추를 달아 총 질량 6.5 kg. 팔을 완전히 뻗었을 때의 정격 정적 페이로드를 넘지만 성공. 학습된 전략이 모바일 베이스와 지면 지지를 활용해 매니퓰레이터 정격 용량 너머의 하중을 다룬다는 확인이다.
외란 제거. 운반 중 사람이 물체를 물리적으로 밀어도 일관되게 복구했고, 강제로 접촉이 끊긴 뒤에는 자율적으로 접근을 재계획하고 다시 걸어 과제를 완료했다. 정적 환경에서만 학습했음에도 그렇다.

실험: 관절형 물체와 접촉 시퀀싱

식기세척기 열기 과제가 이 프레임워크의 부수 효과를 잘 보여준다. 접촉 후보 집합에 손잡이와 문 패널이 모두 들어 있는데, 정책은 먼저 손잡이를 골라 여는 동작을 시작하고, 문의 기구학이 바뀌면 접촉을 패널로 전환해 밀어서 수평까지 완전히 연다. 다단계 전략이 명시적 계획 없이 창발한 것이다.

관절형 물체 조작의 창발적 접촉 시퀀싱(Fig. 9) — 탐색이 손잡이와 문 패널 양쪽에 후보(빨간 마커)를 준다. (위) 먼저 손잡이로 여는 동작을 시작하고, (아래) 문 기구학이 바뀌면 패널로 접촉을 옮겨 밀어 내린다.

여기서 논문은 정직한 관찰 하나를 덧붙인다 — 이 과제는 단순 PPO도 안정적으로 푼다. 다만 접촉 전환이 거의 없는 준정적 전략으로 수렴한다: 손잡이를 한 번 잡으면 문이 열릴 때까지 그대로 당긴다. 시뮬레이션에서는 효과적이지만 매니퓰레이터의 관절 한계 근처에서 동작하게 된다. 제안 방법은 팔 관절이 위치 한계의 10% 이내에 머무는 timestep 비율을 평균 59% 줄였다. 성공률이 아니라 어떻게 푸는지의 질을 지표로 삼은 것인데, 이 과제에서는 그것이 정직한 선택이다.

비판적으로 보면

강점

문제 진단이 정확하고, 그 진단을 실험으로 못박았다. “탐색 보상 없으면 0%”라는 한 줄이 논문 전체의 전제를 지탱한다. 이 대조군이 없었다면 나머지 비교는 공중에 떠 있었을 것이다.
개입이 최소이고 비용이 거의 없다. critic을 마지막 층에서만 분기시키고, 메모리·학습 시간 차이가 무시할 수준이라고 명시했다. 표준 PPO 파이프라인에 얹기 쉬운 변경이라는 뜻이고, 이런 논문에서 재현·채택 가능성을 결정하는 요소다.
4-way ablation의 설계가 옳다. 분리(Multi-Critic)와 감쇠(WS)를 직교로 갈라 네 조합을 모두 돌렸고, 각각이 어떤 실패 모드를 남기는지(PPO=Missed Contact, 고정 MC=Tipover)까지 실패 모드 분해로 보였다. 성공률 막대 하나로 끝내지 않았다.
시드 분산을 보고했다. 성공률 표준편차(0.98% vs 9.7%)는 이 논문에서 평균 성공률만큼 중요한 결과다. 탐색 문제를 다루는 논문에서 분산은 곧 주장의 본체인데, 이를 명시한 RL 로보틱스 논문은 여전히 소수다.
베이스라인 재구현을 공정하게 맞추려 노력했다. Dadiotis et al.의 constrained RL을 그대로 쓰지 않고 페널티·종료로 파라미터화한 이유를 밝혔다.
실기 실패를 원인까지 파고들었다. “측면 접근 → 급격한 yaw → 상태 추정 열화 → 오도메트리 오차 → 전도”라는 연쇄는 수치보다 유용한 정보다.
한계 서술이 짧지만 정확하다. 외부 모캡 의존이 현장 배포를 막는다는 점, 고정 스케줄이 하이퍼파라미터 민감성을 남긴다는 점을 스스로 짚는다.

약점·한계

“스케줄을 한 번 튜닝해 모든 과제에 재사용”은 양날이다. 재사용했다는 사실은 강건성의 증거이면서, 동시에 스케줄 하이퍼파라미터(5k/10k, 0.1→0.01, 0.15→0.24)에 대한 민감도 분석이 없다는 뜻이기도 하다. 감쇠 구간을 반으로 줄이거나 두 배로 늘리면 무엇이 무너지는지 알 수 없다. 저자 스스로 “적응형 커리큘럼으로 대체하면 민감성을 줄일 수 있다”고 적었다는 것은 민감성이 있다는 시인에 가깝다.
후보 개수 25의 근거가 서술적이다. “너무 적으면 과추종, 너무 많으면 균일 샘플링으로 퇴화”라는 트레이드오프는 설득력 있게 서술되지만, 후보 개수를 바꾼 정량 ablation은 없다. 25가 어떻게 나왔는지, 물체 복잡도에 따라 달라져야 하는지 알 수 없다.
파지 알고리즘 대 균일 샘플링의 직접 비교가 빠졌다. 이 논문의 두 축 중 하나가 “파지 알고리즘 기반 후보”인데, 정작 같은 의자 과제에서 균일 샘플링으로 바꿨을 때 성능이 얼마나 떨어지는지 수치가 없다. 비볼록 형상에서 균일 샘플링이 비효율적이라는 것은 본문에서 주장으로만 제시된다. 이 비교가 있었다면 기여의 두 축이 각각 얼마를 벌었는지 분해됐을 것이다.
Fig. 5의 정량 수치 상당수가 본문에 없다. 성공률·실패 모드 막대그래프가 결과의 중심인데 본문이 인용하는 값은 일부다(94.1 / 9.1 / 4.0 / 4.4 / 9.2 / 9.1). 상자 밀기 과제의 수치는 본문 텍스트에서 거의 읽을 수 없다. 표로 제공됐다면 인용·재현이 쉬웠을 것이다.
실기 표본이 작다. 총 58회 시행이고 케이스 스터디 두 건은 3회·4회다. VIHALS의 100%(3/3)와 LOVBACKEN의 50%(2/4)는 신뢰구간이 사실상 무의미하다. 저자가 이를 “case studies”로 분류한 것은 적절하지만, 초록의 “extensive experiments”라는 표현과는 온도차가 있다.
페이로드 수치의 내부 불일치. 본문은 “추를 달아 총 질량을 6.5 kg으로 늘렸다”고 하고, Fig. 8 캡션은 “추가 5 kg 페이로드”라고 한다. 학습 시 물체 질량 도메인 무작위화는 [2.0, 4.0] kg이다. 원 의자 질량이 1.5 kg이면 정합하지만 명시되지 않아 확인이 필요하다.
외부 모션캡처 의존이 결과의 성격을 규정한다. 저자도 한계로 적었지만 강조할 가치가 있다 — 물체 자세를 mocap이 주는 조건에서의 69%는 온보드 인지로 물체를 추정해야 하는 실제 환경의 69%가 아니다. 인지 노이즈는 이 시스템의 알려진 취약점(상태 추정 열화 → 전도)을 정확히 자극하는 방향이다.
Multi-Critic 자체는 새롭지 않다. 논문도 [23–25]를 인용하며 인정한다. 기여는 “탐색 전용 head + 감쇠 스케줄”이라는 조합과 로코매니퓰레이션에서의 검증이지, 아키텍처가 아니다. 그런 점에서 이 논문은 방법론 논문이라기보다 잘 설계된 시스템·검증 논문으로 읽는 것이 정확하다.
비교 대상이 좁다. 탐색 문제의 표준적 대안 — 데모 기반(DAPG류), HER, intrinsic motivation(RND/ICM), 자동 커리큘럼 — 중 어느 것과도 비교하지 않는다. “우리 것의 네 변형”만으로는 이 접근이 탐색 문제 해법으로서 어디쯤인지 알기 어렵다.
코드가 없다. 2026-09-10 확인 시점에 공개 저장소가 없고, 프로젝트 페이지 영상도 “coming soon”이다. Isaac Lab + RSL-RL 기반이라 재현 경로가 명확한 편임에도 그렇다. multi-critic RSL-RL 패치와 접촉 후보 생성 파이프라인이 공개된다면 채택 비용이 크게 줄 것이다.

요약

이 논문은 새 아키텍처를 발명하지 않는다. 이미 있는 Multi-Critic RL에, 이미 있는 커리큘럼 아이디어를, 정확한 위치에 꽂았다. 탐색 보상을 스칼라 합에 섞으면 value 추정이 흔들리고 목적이 서로를 가린다 — 그러니 전용 critic head로 격리하고, 정책 gradient에 들어가는 혼합비만 0.1 \to 0.01로 줄여라. 그러면 “접촉을 찾아라”에서 “과제를 풀어라”로 넘어가는 동안 아무것도 무너지지 않는다.

검증은 성실하다. 분리와 감쇠를 직교로 가른 4-way 비교, 실패 모드 분해, 5시드 분산 보고, 그리고 ALMA 실기에서의 미학습 가구·과적재·외란·이동 목표 실험까지. 식기세척기에서 손잡이→패널로 접촉을 옮기는 창발적 시퀀싱과 훅 실패 후 스윙 진폭을 키우는 복구 행동은, 정책이 접촉점을 외운 것이 아니라는 가장 좋은 증거다.

남는 아쉬움은 분해와 공개다. 스케줄 하이퍼파라미터·후보 개수·후보 생성 방식(파지 알고리즘 vs 균일)의 정량 ablation이 없어 두 축의 기여를 나눠 볼 수 없고, 실기 표본은 58회로 작으며 물체 자세는 외부 mocap이 준다. 코드도 없다. 그럼에도 “탐색 보상은 켜되 반드시 꺼라, 그리고 그 스위치는 보상이 아니라 critic에 달아라”는 이 논문의 처방은 접촉 희소성에 시달리는 다른 RL 과제로 그대로 옮겨볼 만하다 — 구현 비용이 거의 0이라는 점이 그 제안을 특히 매력적으로 만든다.