📃Robot Juggling 리뷰

Rapid On-Robot Learning for Dynamic Manipulation Skills: Robot Juggling

• Paper Link (arXiv:2608.26800) — 이 리뷰는 arXiv v2(2026-09-04, cs.RO) 를 정본으로 읽었다. 본문뿐 아니라 Supplementary Materials 전문(S1~S6 표, MRS 구성 증명, 관절 한계 유도) 이 같은 PDF에 붙어 있어 아래 방법 서술의 상당 부분은 보충자료에서 온 것이다.

• 수치·단위는 전부 PDF 로 교차확인했다. arXiv HTML(v2)은 Table 3의 일부 행에 \SetRow 매크로가 그대로 노출되고, 무엇보다 참고문헌 번호가 PDF와 다르다(같은 Kizaki & Namiki 논문이 HTML [19] vs PDF [2]). 아래에서 선행연구는 전부 저자명으로 적는다.

• Code: 없음. 논문은 “All data needed to evaluate the conclusions in the paper are present in the paper or the Supplementary Materials” 라고만 밝힌다. 본문·참고문헌·HTML의 모든 외부 링크를 전수 스캔했지만 저자 코드 저장소는 없고, 걸려 있는 GitHub 링크는 사용한 서드파티 라이브러리(pypoman)뿐이다.

• Project page: 없음. 전용 프로젝트 페이지는 존재하지 않고, 논문이 거는 외부 페이지는 하드웨어 소개용 RAI Institute 블로그(AthenaZero) 하나뿐이다(이 글에는 저글링 언급조차 없다). 공개된 영상은 Movie 1 = YouTube tAPvN-tQpX0 단 한 편이고, 논문이 “Readers are encouraged to refer to Supplementary Movies S1–S4” 라며 학습 과정을 담았다고 한 Movie S1~S4는 arXiv에 ancillary로도 올라와 있지 않다(§비판 참조).

• Taeyoon Lee, Chunpeng Wang, Christopher G. Atkeson, Alfred A. Rizzi, Nicolas Rojas

• Robotics and AI (RAI) Institute, Cambridge MA / Carnegie Mellon University — arXiv preprint, 2026

1. 💡 “틀린 모델도 학습에는 극도로 유용하다” — 한 사이클도 못 버티는 엉성한 prior를 버리지 않고, 그 위에 실기 경험을 얹어 양팔 다지 손 로봇이 5분 이내에 세 공 저글링 5종을 익힌다.
2. ⚙️ Regularized memory-based learning — 과거 경험 (x_i,u_i,y_i)의 k-NN 국소 선형회귀를 prior의 1차 미분 쪽으로 정규화해, 경험이 없는 곳에서는 prior로 외삽하고 경험이 쌓이면 실기 쪽으로 넘어간다. 여기에 Mutually Reachable Set(MRS) 이라는 미리 계산한 볼록 폴리토프를 플래너에 걸어, 연속하는 throw–catch가 관절/액추에이터 한계를 깨지 않고 이어지게 만든다.
3. 🎯 cascade는 5개 독립 시행 전부 8번째 시도에서 5사이클(34 throw)에 도달했고 순수 물리 상호작용 시간은 평균 53초(리셋 포함 벽시계 약 5분). 안전 쪽은 플래너 질의 7,578건 중 MRS를 빼면 89.0%가 unsafe, 걸면 100% safe였다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

sim-to-real gap이 크게 남았을 때 로봇은 무엇을 해야 하는가. 요즘의 표준 답은 “prior를 더 좋게 만든다”(더 정확한 시뮬, 더 큰 데모 데이터셋)이다. 이 논문은 반대 방향을 실증한다 — prior를 그대로 두고, 그 위에 실기 경험을 얹는 방법을 설계한다. 여기서 쓰인 prior 모델은 “공이 의도한 시각·위치에서 손가락 전부와 동시에 분리되어 중력만 받는 포물선을 그린다” 는 이상화된 항등 사상이고, 이 prior만으로는 어떤 패턴도 단 한 사이클을 못 버틴다. 그런데도 그 prior의 1차 정보가 학습을 통째로 끌고 간다는 것이 논문의 중심 주장이다.

태스크는 저글링이다. 다지 손(three-fingered gripper)으로 공을 잡고 던지는 순간 마찰·컴플라이언스·릴리스 타이밍이 매번 달라져 던지기 결과를 모델링하기 어렵고, 공이 손을 떠난 뒤에는 수정할 기회가 없으며, 오차는 다음 캐치·다음 스로로 누적된다. 게다가 저자들이 관찰한 바로는 로봇 자체가 그대로 있지 않는다 — 먼지가 쌓이거나 습도가 변하면, 심지어 손바닥과 공을 청소한 것만으로도 접촉 조건이 바뀌어 전날 잘 되던 동작이 안 됐다고 적고 있다.

Movie 1에서 잘라낸 cascade 구간(1x 속도, 4초) — 양팔 AthenaZero가 세 공 cascade를 유지한다. 출처: RAI Institute 공개 영상 tAPvN-tQpX0.
다섯 패턴의 장노출 합성(Movie 1 대표 그림) — cascade / tennis / half shower / shower / box. shower와 box에는 짧고 낮은 “side throw”가 들어가는데, 이 옆던지기의 체공시간이 시스템 지연보다 짧다는 것이 뒤에서 결정적인 제약이 된다.

핵심 방법론:

throw 스킬 하나에 대해 상태·명령·결과를 이렇게 둔다.

x \triangleq (p^{-}_{\text{catch}},\, p^{-}_{\text{land}}) \in \mathbb{R}^6, \qquad u \triangleq p^{u}_{\text{land}} \in \mathbb{R}^3, \qquad y \triangleq p_{\text{land}} \in \mathbb{R}^3

즉 명령은 “공을 어디에 떨어뜨릴지” 이고 결과는 “실제로 어디 떨어졌는지”다. 따라서 prior는 항등 사상 f_0(x,u)=u 이고, 보정이 없다면 u^*=y_d 가 된다. 실제로는 f(x,u) 가 여기서 크게 벗어난다.

메모리 \mathcal{D}=\{(x_i,u_i,y_i)\} 에서 (x,y_d) 결합공간의 k-NN을 RBF 커널로 가중해 기준 명령 \bar u (Nadaraya–Watson 추정)를 만든 뒤, prior의 야코비안으로 정규화된 국소 선형회귀를 푼다.

\min_{C,D,d} \sum_{i=1}^{k_{NN}} w_i \lVert y_i - C\delta x_i - D\delta u_i - d\rVert^2 + \gamma\!\left[\Big\lVert C - \tfrac{\partial f_0}{\partial x}\Big\rVert_F^2 + \Big\lVert D - \tfrac{\partial f_0}{\partial u}\Big\rVert_F^2 + \lVert d - f_0(x,\bar u)\rVert^2\right]

항등 prior에서는 \partial f_0/\partial u \equiv I,\ \partial f_0/\partial x \equiv 0 이므로, 경험이 없는 영역에서 학습기는 “착지 목표를 1 cm 옮기면 실제 착지도 1 cm 옮겨간다”는 단순한 상식으로 자동 복귀한다. 이게 이 방법이 탐색 단계 없이 첫 던지기부터 개선을 시작할 수 있는 이유다. \gamma 가 prior와 경험의 저울이다(실험값 \gamma=0.001).

국소 모델 D^* 를 직접 역행렬로 뒤집으면 명령이 튀므로, 스텝 크기에 벌점을 준 2차 문제로 명령을 낸다.

u^* = \bar u + \left(D^{*\top}D^* + \eta I\right)^{-1} D^{*\top}\!\left(y_d - d^*\right), \qquad \eta = 0.3

저자들이 직접 지적하듯 이건 Levenberg–Marquardt 갱신과 같은 형태로, D^* 가 야코비안 역할을 하고 \eta 가 Gauss–Newton과 gradient descent 사이를 조율한다. 이 식에 x 가 명시적으로 안 보이지만, x 는 어떤 경험을 불러올지를 통해 \bar u 와 D^* 에 들어간다 — 그래서 이건 여전히 closed-loop 정책이다.

시스템 구조(Fig. 1) — Orchestrator가 전역 벽시계 일정대로 스킬을 뿌리고, Skill Executor 안의 학습기가 명령 u 를 내며, Control System이 MRS 제약 하에 관절 목표 s_f=(q_f,\dot q_f,\ddot q_f) 를 뽑는다. 결과 y 는 즉시 메모리로 돌아간다.

주요 결과:

• cascade: 5회 독립 시행 모두 8번째 시도에 5사이클(= 34 throw) 도달, 이후 3회 연속 성공. 순수 물리 상호작용 평균 53초, 사람의 수동 리셋을 포함한 벽시계 약 5분.
• tennis → half-shower → cascade 연속 전환: 한 번의 연속 실행 안에서 세 패턴을 각각 5사이클씩. tennis를 7~8 리셋에 익히고 나면 나머지 둘은 2~3 리셋만에 붙는다(스킬 재사용). 물리 상호작용 평균 75초.
• shower / box: 각각 약 30초 / 60초의 상호작용에서 성능 고원에 도달하지만 5사이클 목표에 일관되게 도달하지 못한다.
• 안전(MRS): 전체 실험에서 발생한 플래너 질의 7,578건을 대상으로 한 사후 절제에서, MRS 제약을 빼면 99.1%가 MRS 바깥이고 그중 89.0%가 실제로 unsafe(직전 상태에서 도달 불가이거나 다음 동작이 불가능). MRS를 걸면 100%가 safe by construction.
• 정규화 계수 \gamma: \gamma=1(과잉 정규화)은 10번 리셋 내내 throw 3개에서 전혀 움직이지 않고, \gamma=10^{-5}(과소)는 가장 빨리 오르지만 마지막 리셋에서 평균이 다시 29까지 떨어지는 불안정을 보인다.

결론:

핵심 메시지는 “prior의 가치를 zero-shot 성능으로 판단하지 마라” 다. 한 사이클도 못 버티는 모델이라도 “명령을 이렇게 바꾸면 결과가 이렇게 움직인다”는 1차 정보를 주면, 탐색 없이 첫 시도부터 학습이 시작된다. 그리고 그 빠른 학습을 실제로 굴리려면 반복 연습이 로봇을 망가뜨리지 않아야 하는데, 그 조건을 “한 동작의 순간 한계”가 아니라 “연속하는 두 동작의 상호 도달가능성” 으로 정식화한 것이 MRS다. 학습과 안전을 같은 온로봇 루프 안에서 짝지은 것이 이 논문의 실질적 기여다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

틀린 prior를 지우지 않고 그 기울기만 빌려 쓰면, 로봇은 탐색 없이 53초 만에 저글링을 배운다 — 단, 그 53초 동안 로봇이 스스로를 부수지 않는다는 보장이 따로 있어야 한다.

배경: 왜 저글링이 어려운가

저글링은 1990년대부터 dynamic manipulation의 표준 시험대였다(Buehler·Koditschek의 패들 저글러, Rizzi·Koditschek의 spatial two-juggle, Schaal·Atkeson의 devil sticking과 memory-based learning). 흥미롭게도 이 논문의 저자 명단에 Atkeson과 Rizzi가 둘 다 있다 — 30년 전 그 계보를 만든 사람들이 다지 손과 온보드 비전을 달고 돌아온 셈이다.

그 30년의 교훈은 두 갈래로 갈린다.

1. 기구 설계로 예측가능성을 사면 학습이 필요 없다. Shannon의 완전 개루프 저글링 기계, 패들·컵 같은 전용 말단장치가 그 길이다. 로봇–물체 상호작용이 충분히 예측 가능하면 온로봇 학습 없이도 매우 견고한 저글링이 된다.
2. 다지 손을 쓰면 범용성을 얻는 대신 접촉 불확실성을 떠안는다. 캐치할 때마다 공이 손 안에서 다르게 잡히고, 손가락이 공을 놓는 방식의 미세한 차이가 다음 던지기를 바꾼다(Kizaki & Namiki가 두 공 cascade에서 보인 문제다).

이 논문은 2번을 택하고, 남는 불일치를 물리 경험으로 메운다. 논문 스스로 정리한 비교표가 이 자리 매김을 잘 보여준다 — 상호작용 방식(패들/스틱/컵/다지 손), 실행 중 피드백(개루프/폐루프), 온로봇 학습 방식, 필요한 물리 시도 횟수, 그리고 시연한 패턴.

Work	상호작용	실행 피드백	온로봇 학습	물리 경험	시연
Buehler et al.	패들	폐루프	–	–	1-ball bounce
Rizzi & Koditschek	패들	폐루프	–	–	2-ball bounce
Aboaf et al.	패들	폐루프	parametric	160 attempts	1-ball bounce
Schaal & Atkeson	스틱	폐루프	real-time, memory-based	40–100 attempts	devil sticking
Ploeger et al.	컵	개루프	episodic RL	500 attempts	2-ball toss
Ploeger & Peters	컵	개루프	episodic, regularized memory-based	1–2 attempts	5-ball cascade
Ours	다지 손	폐루프	real-time, regularized memory-based	7–10 attempts	cascade, half shower, tennis, shower, box

(논문 Table 1을 그대로 옮긴 것. “7–10 attempts”라는 자기 보고 숫자는 뒤의 §비판에서 다시 본다.)

특히 Ploeger & Peters(2026, arXiv:2606.16978)는 독립적으로 개발됐는데 학습 원리가 거의 같다 — 둘 다 실기에서 학습한 국소 모델을 해석적 prior의 1차 정보로 정규화한다. 논문은 이 사실을 숨기지 않고 한 문단을 할애해 차이를 명시한다: Ploeger & Peters는 개루프 시퀀스의 개별 던지기에 보정을 붙이고 시도 사이에 episodic하게 갱신하는 반면, 이 논문은 재사용 가능한 스킬에 보정을 붙이고 그 명령을 선행 동작이 만든 관측 상태 x 로 조건화한다. 그래서 같은 스킬의 경험이 다른 입력 조건·다른 패턴에서 재사용되고, 저글링 도중에도 온라인 갱신이 계속된다.

시스템: 비동기 노드 다섯 개

Movie 1의 패턴 전환 구간(1x, 10초) — half shower에서 tennis로 넘어간다. 화면 왼쪽 아래 오버레이가 현재 패턴 이름을 표시한다. 출처: tAPvN-tQpX0.

하드웨어는 AthenaZero — 같은 RAI Institute에서 만든 저관성 양팔 로봇이고, 이 블로그에 바로 전날 리뷰가 올라가 있다. 이 저글링 논문은 그 하드웨어 논문의 응용편에 해당한다. 관련 스펙만 추리면:

• 손: 삼지 그리퍼. 각 손가락은 2-DoF 언더액추에이티드, 보든 케이블로 원격 구동되어 완전 개폐 각각 약 80 ms.
• 공: Higgins Brothers HB Juggling Balls #1003, 130 g / 지름 63.5 mm. 충격 에너지를 크게 흩뿌리는 부드러운 콩주머니라 반발이 거의 없다.
• 비전: 토르소 상단에 고정된 Lucid Helios2 Wide ToF(깊이) + Lucid Triton RGB, 30 Hz 동기. 장면 촬상부터 3-DoF 공 위치가 나올 때까지 총 지연 약 0.1 s.
• 소프트웨어: ROS2 Humble, 블록마다 독립 노드로 분리해 비동기·다중 레이트로 돈다. 관절 궤적은 1 kHz로 샘플링되어 역동역학 기반 추종 제어기에 들어간다.

흐름은 이렇다. Orchestrator가 전역 벽시계 일정에 맞춰 좌·우 팔에 스킬을 비동기로 뿌린다. 여기가 이 시스템의 설계 철학이 드러나는 지점인데 — 어떤 스킬이 예정보다 늦어져도 뒤의 스킬을 같이 밀지 않는다. 일정은 그대로 두고, 뒤의 동작이 누적 타이밍 오차를 스스로 따라잡게 만든다. 저글링 패턴의 위상(phase)이 드리프트하면 패턴 자체가 붕괴하기 때문이다.

스킬은 네 파라미터짜리 튜플이다: [Type, Object ID, Task Identifier, Duration]. Task Identifier는 toR3fromL1 / atL2fromR1 같은 문자열 라우팅 키로, R1_R6·L1L6의 12개 공유 공간 타깃(Table S1에 좌표가 있다 — 예: R2 = (0.206, 0.415, 1.35) m)을 지시한다. 안정화된 cascade 사이클에서 스텝 duration은 0.35 s로 고정되는데, 이는 0.7 s 탄도 체공시간의 정확히 절반이다.

스킬이 공유하는 공간 타깃(Fig. S1) — 우팔 R1~R6, 좌팔 L1~L6의 12개 위치를 릴리스·착지·캐치에 공용으로 쓴다. 패턴마다 실제 사용하는 타깃만 빨간색으로 활성화된다(cascade는 R1, R2, L1, L2 네 개뿐). 타깃을 너무 모으면 공끼리 공중 충돌하고, 너무 벌리면 궤적 생성기가 주어진 실행 창 안에 해를 못 찾는다.

throw와 catch의 처리는 비대칭이다.

• throw: 학습기가 개입한다. 추론+계획 루프 전체를 던지기 시작 시점에 딱 한 번 실행한다.
• catch: 학습기를 건너뛴다. 대신 예정된 캐치 시각 0.1 s 전까지 최신 공 추정으로 목표 관절 상태와 궤적을 계속 재계획한다. 이 컷오프는 “관측을 더 모아 추정을 개선하는 이득”과 “팔이 갱신된 자세로 갈 시간이 줄어드는 손해”의 절충이다.

Perception은 공마다 비동기로 추적한다 — 비행 구간이 겹치기 때문이다(받는 손이 자기 던지기를 끝내기 전에 이미 다음 공이 날고 있다). throw 스킬의 완료 콜백이 오면 orchestrator가 해당 ball ID에 대한 추적 요청을 쏜다.

인식 파이프라인 자체도 꽤 실용적이다. EfficientTAM으로 프롬프트 기반 인스턴스 분할(RTX A6000에서 추론 0.01 s), 마스크로 포인트클라우드를 잘라낸 뒤 FastGICP(small_gicp)로 구(sphere) CAD 모델을 정합해 3D 위치를 뽑고, 한 비행 구간의 연속 위치를 롤링 버퍼에 모아 포물선을 피팅해 orchestrator가 지정한 절대 미래 시각의 위치를 예측한다. 새 물체를 도입할 때 재학습이 없다 — 이미지 4장에 점 프롬프트 몇 개만 찍으면 된다는 점을 저자들은 강조한다.

방법 1: 학습기 — prior를 “지우지 않고” 쓰는 법

학습에 따른 3D 탄도와 착지 분포의 변화(Fig. 3) — 왼쪽에서 오른쪽으로 리셋이 진행되면서 산점이 ★(목표) 주변으로 조여든다. 행마다 리셋 묶음의 크기가 다르다는 점에 주목: cascade는 10 리셋을 2개씩, box는 30 리셋을 6~8개씩 묶어 그렸다.

이 방법의 핵심은 “prior가 나쁜 게 아니라, prior를 어떻게 쓸지가 문제” 라는 재정식화다. 세 층으로 뜯어보면:

(a) 무엇을 명령으로 삼는가. u 를 릴리스 속도나 관절 궤적이 아니라 “원하는 착지 위치” 로 잡은 것이 결정적이다. 그러면 prior가 항등 사상 f_0(x,u)=u 이 되고, 그 야코비안은 \partial f_0/\partial u = I 라는 가장 단순하고 가장 틀리기 어려운 상식이 된다. 논문은 이 선택이 임의적임을 스스로 인정한다 — 같은 던지기를 릴리스 속도로 파라미터화하면 커널 거리가 달라지고 “비슷한 경험”의 정의가 바뀐다고 적는다.

(b) 왜 k-NN만으로는 안 되는가. Nadaraya–Watson 추정 \bar u 는 질의점이 데이터가 충분히 조밀한 영역 안에 있을 때만 쓸 만하다. 그런데 학습 초기에는 정의상 로봇이 아직 해보지 않은 행동으로 나가야 한다 — 즉 항상 외삽이 필요하다. 이 외삽을 누가 안내하느냐가 문제고, 그 답이 prior의 1차 정보다. 기존 memory-based learning(Schaal & Atkeson)이 전용 탐색 단계나 랜덤 샘플 수집으로 시작해야 했던 이유가 정확히 여기에 있고, 이 논문이 그 초기화 단계를 통째로 생략할 수 있는 이유도 여기에 있다.

(c) 정규화가 하는 일. \gamma 는 단순한 하이퍼파라미터가 아니라 “경험이 이 영역을 얼마나 덮었는가”에 대한 사전적 판단을 넣는 자리다. 가중치 w_i 가 작으면(= 관련 경험이 없으면) 데이터 항이 약해져 자동으로 prior 쪽 해로 끌려간다. 경험이 쌓인 영역에서는 데이터 항이 이기고 국소 관계가 prior에서 떨어져 나온다. 한 개의 스칼라로 “어디서는 배우고 어디서는 믿는다”를 연속적으로 조절하는 셈이다.

정규화 계수 \gamma 의 영향(Fig. 4, cascade) — 각 값마다 5회 독립 시행, mean±std. 가장 짙은 곡선 \gamma=1 은 10 리셋 내내 throw 3개에 붙박여 전혀 학습하지 못한다(이 그림에서만 읽을 수 있는 값이다). 반대로 가장 옅은 \gamma=10^{-5} 는 4 리셋 만에 30을 넘지만 마지막에 29로 되돌아간다. 빨간 점선 = 5사이클 목표 34 throw. 이 그림은 arXiv HTML에 이미지가 없어 PDF 8쪽에서 잘라냈다.

\gamma=1 곡선이 완전히 평평하다는 점은 곱씹을 만하다. prior를 너무 믿으면 학습이 “느려지는” 게 아니라 아예 일어나지 않는다 — 그리고 그 prior는 논문이 인정하듯 한 사이클도 못 버티는 모델이다. 즉 이 방법의 성패는 \gamma 라는 저울 하나에 3~4 자릿수 스케일로 민감하다.

방법 2: MRS — “지금 가능한 동작”과 “다음에도 가능한 동작”은 다르다

고성능 동적 동작을 안전하게 반복 연습시키는 표준 처방은 작업공간·속도·토크를 보수적으로 묶는 것이다. 문제는 그렇게 묶으면 태스크에 필요한 동작 자체가 제외된다는 것. 이 논문의 관찰은 더 구체적이다.

그 자체로는 완전히 합법인 throw가, 팔을 다음 catch를 관절 한계 위반 없이는 못 하는 상태에 남겨 놓을 수 있다.

전이 상태를 s=(q,\dot q,\ddot q)\in\mathbb{R}^{3n} 로 정의한다. 가속도까지 포함시키고 연속성을 요구하는 것이 포인트인데, 액추에이터 대역폭이 유한하기 때문이다. 두 전이 상태는 jerk 제약 최소시간 궤적으로 잇는다.

q^*(\cdot\,|\,s_i,s_f) = \arg\min_{q(t),\,t_f} t_f \quad \text{s.t.}\quad t_f \ge T,\;\; q(0)\!=\!s_i,\; q(t_f)\!=\!s_f, q_{\min}\le q(t)\le q_{\max},\quad |\dot q(t)|\le v_{\max},\quad |\ddot q(t)|\le a_{\max},\quad |\dddot q(t)|\le j_{\max}

이걸 Ruckig(Berscheid & Kröger의 jerk-limited real-time trajectory generation)으로 푼다. t_f\ge T 제약은 “가능하면 예정 시각을 지키되, 불가능하면 가능한 한 빨리”라는 뜻이고, t_f>T 가 되는 순간이 앞서 말한 타이밍 오차가 생기는 지점이다.

Mutually Reachable Set의 정의는 간결하다.

\forall\, s_i, s_f \in \mathcal{M}_S,\quad \exists\, q(\cdot\,|\,s_i,s_f)\ \text{satisfying the constraints above}

즉 집합 안의 어떤 두 상태든 양방향으로 이을 수 있다. 이게 보장되면 플래너가 \mathcal{M}_S 안에서만 목표를 고르는 한, 앞으로 어떤 스킬이 오든 안전한 합성이 가능하다.

MRS를 이용한 스킬의 안전한 동적 합성(Fig. 6) — (위) 태스크 플래너가 학습기의 명령 u 를 목표 관절 전이상태 s_f^* 로 옮기되 해를 \mathcal{M}_S 안에 가둔다. (아래 오른쪽) 순간 관절 한계만으로는 부족한 이유: 도달은 되는데 그 다음에 못 빠져나오는 상태(reachable, not viable)와 그 자체는 괜찮지만 직전 상태에서 못 가는 상태(viable, not reachable)가 따로 있다.

가장 큰 \mathcal{M}_S 를 정확히 구하는 건 무한차원 궤적 공간을 뒤져야 해서 불가능하다. 그래서 오프라인에서만 궤적을 B-spline으로 유한 파라미터화하고(수평선 T=1.0 s, N=5 구간, 구간당 제어점 n_c=6), 정적 상태 집합 R^{(0)}=\{(q,0,0)\} 에서 전방·후방 도달집합을 수치적으로 전파해 그 교집합 \mathcal{M}_S = R_f \cap R_b 를 취한다. 결과는 볼록 폴리토프 \mathcal{M}_S=\{s\mid Ms\le m\} 이고, 온라인에서는 선형 부등식 하나로 태스크 플래너에 꽂힌다.

s_f^*(u) = \arg\min_{s_f}\ \phi(s_f,u)\quad \text{s.t.}\quad g(s_f,u)=0,\quad M s_f \le m

설계상 영리한 점은 오프라인 파라미터화와 온라인 생성기가 달라도 된다는 것이다. 정의 (8)이 요구하는 건 “실행 가능한 궤적이 존재한다”뿐이라, 온라인에서는 여전히 Ruckig을 쓴다. 이 비대칭이 없었다면 B-spline 궤적을 실시간으로 풀어야 했을 것이다. 태스크 플래너 자체는 pyOptSparse의 PSQP로 풀고 보통 10–20 ms에 수렴한다.

한계 값들도 대충 잡지 않았다. v_{\max} 는 최대 구동 전압과 역기전력에서, a_{\max} 는 관성행렬을 태스크 관련 자세 q_c 에서 평가해 a_{\text{upper}}=r_a\,\mathrm{diag}(M(q_c)^{-1}(\tau_{\max}-g(q_c))) 로, j_{\max} 는 폐루프 주파수응답 식별로 잰 토크 변화율 한계에서 유도한다. 안전계수는 r_a=r_j=0.8.

실험: 숫자를 직접 검산해 보면

논문 본문의 헤드라인은 “5분 이내” 와 “7–10 attempts” 다. 그런데 Fig. 2·3과 Table 3, 그리고 부록 Table S3을 맞춰 보면 패턴별로 사정이 크게 다르다. 아래는 원문 텍스트가 아니라 그림·표에서 직접 읽어 내가 재구성한 표다.

패턴별 학습곡선(Fig. 2) — x축은 수동 리셋으로 구분된 연속 실행, y축은 그 실행에서 달성한 연속 throw 수. 옅은 색이 개별 시행 5회, 검은 실선이 mean±std, 빨간 점선이 5사이클 목표. (A) cascade (B) tennis→half-shower→cascade (C) shower (D) box. x축 길이가 패턴마다 다르다 — 이 그림의 가장 중요한 정보다.

패턴	5사이클 목표 (throw)	그림의 리셋 축 길이	목표 도달?	물리 상호작용 시간	전체 throw 데이터
cascade	34	10	✅ 전 시행 8번째 시도	평균 53 s	1,198
tennis → half-shower → cascade	57	12	✅	평균 75 s	2,256
shower	33	15	❌ “occasionally completes”	약 30 s에 고원	1,634
box	23	30	❌ “occasionally completes”	약 60 s에 고원	2,490

(목표 throw 수와 리셋 축 길이는 Fig. 2의 축·점선에서 읽은 판독값이고, 상호작용 시간과 throw 데이터 수는 본문·Table 3의 명시값이다.)

검산 1 — “34 throw = 5 cycles”가 맞는가. 부록 Table S3의 cascade 스킬 시퀀스를 직접 세어 보면: Start 구간에 throw 3개(우 2 + 좌 1), Repeat 구간은 팔당 3 throw × 2팔 = 6을 5회 반복해 30개, Stop 구간에 좌 1개. 3 + 30 + 1 = 34 ✅ Fig. 2A·Fig. 4의 빨간 점선과 정확히 일치한다.

검산 2 — “5분”의 실체. Repeat 구간은 0.35 s × 30 스텝 = 10.5 s(양팔 병렬)이고 Start/Stop을 더하면 성공한 cascade 실행 1회는 약 13초다. 그런데 학습에 든 물리 상호작용은 평균 53초, 벽시계는 약 5분. 즉 벽시계의 약 80%가 사람이 떨어진 공을 주워 로봇 손에 다시 쥐여 주는 시간이다. 논문도 “manual resets”를 명시적으로 제외한다고 적었으니 속이는 건 아니지만, “5분 만에 배운다” 를 읽을 때 그 5분의 대부분은 사람이 일하는 시간이라는 점은 짚어 둘 만하다.

검산 3 — “7–10 attempts”는 어느 패턴 이야기인가. Table 1의 자기 보고 값 7–10은 cascade(8회)와 tennis(7–8회)에는 맞는다. 그러나 Fig. 2C는 shower를 15 리셋까지, Fig. 2D는 box를 30 리셋까지 그리고 있고, 둘 다 그 끝에서도 목표선에 안정적으로 닿지 않는다. box의 평균 곡선은 리셋 19쯤부터 19~21 사이에서 진동할 뿐이다(목표 23). Table 1의 “7–10 attempts”는 5개 패턴 중 3개에만 해당한다.

스킬 재사용

Fig. 2B가 보여주는 전이 구조가 이 논문에서 개인적으로 가장 설득력 있는 부분이다. tennis에 필요한 throw 스킬 집합이 cascade와 half-shower의 것을 포함하기 때문에, tennis를 7~8 리셋에 익힌 뒤 half-shower와 cascade는 2~3 리셋이면 붙는다. 즉시 되지는 않는데, 이유가 명확하다 — 스킬은 같아도 상태 x(캐치 위치, 착지 위치)의 분포가 패턴마다 다르다. 학습기는 이 분포 이동을 “필요한 만큼만 추가 경험을 모아” 메운다.

그리고 여기서 개루프 대비 폐루프의 차이가 드러난다. 상태 피드백 x 가 없으면 같은 스킬이 다른 상태에서 실행될 때 필요한 명령을 구분할 수 없어, 패턴마다 전용 스킬을 처음부터 따로 배워야 한다. Ploeger & Peters와의 차이가 실험적으로 나타나는 지점이 바로 여기다.

극한의 정밀도가 필요한 패턴, 그리고 그 물리적 이유

Movie 1의 box 패턴(앞 1초는 1x, 이후 1/4배속) — 두 공이 거의 수직으로 오르내리고 그 사이를 짧고 낮은 side throw가 가로지른다. 이 옆던지기의 체공시간이 시스템 지연(~0.1 s)보다 짧아 시각 피드백으로는 캐치를 보정할 수 없다. 출처: tAPvN-tQpX0.

shower와 box가 왜 어려운지에 대한 논문의 설명은 명료하고, 학습의 한계가 아니라 센서모터 지연이라는 물리 제약을 지목한다.

side throw의 체공시간이 시스템의 센서모터·시각 처리 지연보다 짧아서, 캐치 전에 저분산 착지 예측을 낼 만큼의 연속 관측을 확보할 수 없다.

따라서 옆으로 던진 공의 캐치는 시각 피드백에 대해 완전한 개루프가 된다 — 받는 손은 고정된 목표 위치에서 상대 팔의 던지기 예정 타이밍에 맞춰 닫을 뿐이다. 여기서 이 시스템의 구조적 이점이 드러나는데, 시각 피드백이 캐치를 고치기엔 늦어도 착지 위치를 측정해 메모리에 넣기엔 늦지 않다. 그래서 학습기는 캐치를 못 고치면서도 다음 던지기의 정확도를 올려 개루프 캐치가 성립할 확률을 높인다. Fig. 3C·3D의 착지 분포가 실제로 조여드는 것이 그 증거다.

그럼에도 5사이클 수렴은 안 된다. 논문은 이를 개루프 캐치 정책의 상한으로 정직하게 귀결시키고, 해법으로 손가락 수준의 고대역 고유수용·촉각 피드백을 제안한다.

shower 패턴(1x, 4초) — 한 손이 계속 높이 던지고 다른 손이 낮게 옆으로 넘긴다. 출처: tAPvN-tQpX0.

안전: MRS 사후 절제

MRS가 목표 전이상태에 미치는 효과(Fig. 5) — 반투명 파란 폴리토프가 좌팔 대표 관절들의 MRS(위치·속도·가속도 공간). 파란 점은 MRS 제약을 걸고 생성한 상태, 나머지 색은 제약을 뺐을 때의 상태를 reachable/viable 조합으로 분류한 것.

MRS의 효용은 사후 절제로 측정했다. 실제 실험에서 나온 플래너 질의를 전부 다시 꺼내, MRS 제약만 빼고(순간 위치·속도·가속도 한계는 유지한 채) 목표 상태를 재계산한 뒤, 같은 Ruckig 생성기로 ① 직전 전이상태에서 도달 가능한지 ② 그 상태에서 다음 동작이 가능한지를 따졌다. 둘 다 되면 safe.

	Cascade	Tennis→HS→Cascade	Shower	Box	전체
throw 데이터 수	1,198	2,256	1,634	2,490	7,578
MRS 밖 (제약 제거 시)	1,182 (98.7%)	2,244 (99.5%)	1,609 (98.5%)	2,476 (99.4%)	7,511 (99.1%)
└ safe	5 (0.4%)	0 (0.0%)	761 (46.6%)	0 (0.0%)	766 (10.1%)
└ unsafe	1,177 (98.2%)	2,244 (99.5%)	848 (51.9%)	2,476 (99.4%)	6,745 (89.0%)
└ reachable, not viable	1,102 (92.0%)	2,117 (93.8%)	70 (4.3%)	141 (5.7%)	3,430 (45.3%)
└ viable, not reachable	49 (4.1%)	38 (1.7%)	778 (47.6%)	2,326 (93.4%)	3,191 (42.1%)
MRS 걸었을 때 safe	100%	100%	100%	100%	100%

(논문 Table 3. 백분율의 분모는 각 패턴의 전체 질의 수다.)

읽을거리가 두 가지 있다.

첫째, 지배적 실패 모드가 패턴마다 뒤집힌다. cascade와 tennis 시퀀스에서는 reachable-but-not-viable(팔이 목표엔 가지만 거기서 못 빠져나온다)이 92~94%로 압도적이다. 반대로 box에서는 viable-but-not-reachable(그 상태 자체는 괜찮은데 직전 상태에서 못 간다)이 93.4%다. 즉 MRS가 “하나의 제약”으로 보이지만 실제로는 패턴에 따라 전혀 다른 위반을 잡아내고 있다 — 한쪽 실패 모드만 막는 휴리스틱(예: 목표 속도 상한)으로는 대체가 안 된다는 뜻이다.

둘째, shower만 예외다. MRS 바깥 상태의 46.6%(761/1,609 ≈ 47.3%)가 실제로는 safe였다. MRS가 내부 근사(inner approximation) 라서 집합 밖이라고 반드시 위험한 건 아니라는 점을 논문이 스스로 밝히고 있고, shower에서 그 보수성의 대가가 드러난 것이다. 다른 패턴에서는 MRS 경계가 safe/unsafe를 거의 정확히 갈랐다(cascade 99.6%, tennis 시퀀스·box 100%가 unsafe).

직관: 이 논문이 실제로 말하는 것

한 문장으로 줄이면 “prior의 값은 예측값이 아니라 기울기에 있다” 이다.

우리는 보통 모델의 가치를 “얼마나 맞히느냐”로 잰다. 그런데 온로봇 학습에서 필요한 건 예측이 아니라 “명령을 어느 방향으로 얼마나 움직여야 하나” 이다. f_0 의 절대값이 크게 틀려 있어도 \partial f_0/\partial u 가 대략 맞으면 첫 시도부터 올바른 방향으로 갈 수 있다. 그리고 착지 위치 파라미터화에서 이 기울기는 항등행렬 — 틀릴 여지가 거의 없다.

여기에 두 번째 통찰이 붙는다. 안전 제약도 “순간”이 아니라 “이행(transition)”의 문제다. 위치·속도·가속도 한계를 각 시점에서 만족하는 것과, 그 상태들을 계속 이어 붙일 수 있는 것은 다르다. Inevitable Collision States(Fraichard & Asama)나 보행의 viability(Wieber) 개념이 조작에 들어온 셈인데, 저글링은 연속된 스킬 사이의 물리적 경계가 명확해서 이 개념을 적용하기 딱 좋은 태스크였다.

그리고 세 번째 — 이게 논문의 Discussion에서 가장 흥미로운 대목인데 — 좋은 기구 설계와 온로봇 적응은 대체재가 아니다. 부드러운 콩주머니 공을 쓴 것은 반발을 줄여 캐치를 쉽게 만들지만, 다지 손과의 접촉 불확실성을 없애 주진 않는다. 오히려 변형되는 공은 릴리스 도중 손가락과 여러 번 간헐적으로 재접촉해 던지기를 마찰·컴플라이언스·타이밍에 민감하게 만든다. 설계는 예측가능성을 올리고, 학습은 설계로 못 없앤 나머지를 메운다.

비판적으로 보면

강점

• 주장과 증거가 정확히 맞물린다. “틀린 prior도 유용하다”를 증명하려면 prior가 실제로 쓸모없다는 걸 보여야 하는데, “이 prior로는 단 한 사이클도 못 한다”는 진술과 \gamma=1 이 완전히 평평한 Fig. 4가 그 역할을 한다. 그냥 성능 좋다고 주장하는 논문보다 훨씬 단단하다.
• 안전 주장을 7,578건 전수로 검증했다. “우리 제약이 필요하다”는 손쉽게 정성적으로 넘어갈 수 있는 대목인데, 실제 실험의 모든 플래너 질의를 사후에 다시 풀어 89.0%가 unsafe였음을 보인다. 게다가 자기 방법이 보수적이라는 것(shower 46.6%)도 같이 보고한다.
• 선행연구와의 관계를 회피하지 않는다. Ploeger & Peters와 학습 원리가 거의 같다는 사실을 한 문단을 들여 인정하고, 차이(스킬 단위 vs 개별 throw, 폐루프 vs 개루프, 온라인 vs episodic)를 구체적으로 적는다. 동시기 유사 연구를 다루는 모범적인 방식이다.
• 실패를 물리로 설명한다. shower/box가 안 되는 이유를 “학습이 부족해서”가 아니라 “체공시간 < 시스템 지연”이라는 검증 가능한 제약으로 귀결시키고, 그에 대응하는 해법(손가락 수준 촉각·고유수용 피드백)을 제시한다.
• 재현에 필요한 상수를 꽤 많이 공개한다. 12개 타깃의 좌표(Table S1), 패턴별 전체 스킬 시퀀스(Table S3~S6), 안전계수 r_a=r_j=0.8, MRS 구성 파라미터(T=1.0 s, N=5, n_c=6)까지 부록에 있다. 코드가 없는 논문 치고는 성의 있다.

약점·한계

• 헤드라인 숫자가 최선 케이스로 일반화돼 있다. Table 1의 “7–10 attempts”와 초록의 “five canonical three-ball juggling patterns … within less than 5 minutes” 는 cascade와 tennis 계열에만 해당한다. Fig. 2에 따르면 shower는 15 리셋, box는 30 리셋을 돌고도 5사이클 목표에 일관되게 못 닿는다. “5개 패턴을 5분 안에 배운다”와 “5개 패턴 중 3개를 5분 안에 배운다”는 상당히 다른 문장이다.
• 성공률이 없다. 유일한 지표가 “연속 throw 수”다. 캐치 성공률도, 착지 오차(cm)도, 패턴별 성공 확률도 보고되지 않는다. shower·box에 대해 논문이 쓰는 표현은 “the overall success probability remains lower” 로, 숫자가 없다. 정확도가 개선된다는 주장의 핵심 증거인 Fig. 3은 정량 축이 없는 3D 산점도다. 착지 오차의 평균·표준편차 표 하나면 논문의 설득력이 크게 달라졌을 것이다.
• MRS 절제는 하드웨어에서 돌린 적이 없다. “89.0% unsafe”는 실제로 로봇이 망가진 횟수가 아니라, 같은 궤적 생성기(Ruckig)가 해를 못 찾는다는 사후 계산이다. 안전상 당연한 선택이지만, 그러면 이 수치는 “MRS를 빼면 로봇이 위험하다”가 아니라 “MRS를 빼면 Ruckig이 실패한다”에 더 가깝다. 두 진술은 같지 않다. 게다가 도달성·생존성의 판정 기준 자체가 Ruckig의 해 존재 여부라서, 평가자와 피평가자가 같은 솔버다.
• 핵심 하이퍼파라미터 일부가 논문 어디에도 없다. \gamma=0.001, \eta=0.3 은 명시되지만, k-NN의 k 값과 RBF 커널의 대역폭 h_x, h_y 는 “fixed scaling constants selected to reflect the empirical scale of variations” 라고만 서술되고 수치가 주어지지 않는다. 메모리 기반 학습에서 k 와 대역폭은 정규화 계수만큼 결정적인데, 코드도 없는 상황에서 이건 재현을 실질적으로 막는다.
• Movie S1–S4가 공개돼 있지 않다. 논문 본문은 “Readers are encouraged to refer to Supplementary Movies S1–S4 to see the learning process as these behaviors are acquired in real time” 라고 독자에게 권하는데, arXiv에 ancillary 파일이 없고 프로젝트 페이지도 없어 접근할 방법이 없다. 실시간 학습 과정을 보여 준다는 이 논문의 가장 매력적인 증거가 사실상 비공개다(공개된 건 완성된 저글링만 보여 주는 Movie 1 한 편뿐이고, 이 글의 영상은 전부 거기서 잘라 온 것이다).
• Table 3의 백분율 분모가 본문과 표에서 다르다. 본문은 shower에 대해 “761 of 1,609 solutions outside the MRS (47.3%)” 라고 쓰는데(분모 = MRS 밖), Table 3의 같은 칸은 46.6% 다(분모 = 전체 질의 1,634). 둘 다 산술적으로 맞지만 같은 숫자에 두 분모를 섞어 쓰면 독자가 대조할 때 반드시 걸린다. 유사하게 Fig. 5는 보기에 Table 3보다 초록 점(= MRS 안)이 많아 보이는데, 이는 그림이 관절별, 표가 전체 상태 기준이기 때문이다 — 논문이 스스로 한 문단을 들여 해명해야 했을 만큼 혼동을 준다.
• “쉬운 공”의 기여도가 분리돼 있지 않다. 130 g의 변형되는 콩주머니는 충격 에너지를 흩뿌려 캐치를 쉽게 만든다. 논문도 Discussion에서 “simplifying some aspects of catching” 이라고 인정하고 탄성 공으로의 확장을 future work로 남긴다. 즉 학습 프레임워크의 기여와 물체 선택의 기여가 섞여 있다.
• 시행 수가 작고 절제가 한 패턴에만 걸려 있다. 조건당 5회 독립 시행이고, \gamma 절제는 cascade에서만 돌렸다. Fig. 2C·2D의 표준편차 띠가 매우 넓다는 점(box는 리셋 후반에도 ±4~5 throw)을 감안하면 5회는 여유 있는 표본이 아니다.
• “학습이 환경 변화에 대응한다”는 주장에 실험이 없다. 먼지·습도, 손바닥 청소로 성능이 바뀌었다는 관찰은 이 논문의 가장 흥미로운 동기 중 하나인데, 논문도 “these changes were not systematically evaluated in this work” 라고 명시한다. 재적응 속도를 측정한 실험 하나만 있었어도 “지속적 온로봇 학습”이라는 주장이 크게 강해졌을 것이다.
• 코드·데이터 미공개. “All data needed … are present in the paper or the Supplementary Materials” 인데, 위에서 본 대로 학습 하이퍼파라미터 일부가 비어 있고 7,578건의 경험 데이터도 공개되지 않는다.

관련 연구와의 자리 매김

이 논문은 세 갈래의 교차점에 있다.

① 저글링 계보 안에서. Aboaf et al.의 태스크 수준 반복학습(160 attempts), Schaal & Atkeson의 실시간 memory-based learning(40–100 attempts)의 직계다. 30년 전 대비 물리 경험이 7–10회(cascade 기준)로 줄었는데, 줄어든 이유가 알고리즘의 표현력이 아니라 “탐색 단계를 prior의 야코비안으로 대체했다” 는 점이 흥미롭다. 반대로 시연 난이도는 올라갔다 — 패들·스틱·컵이 아니라 다지 손이고, 패턴도 1~2종이 아니라 5종이다.

② 하드웨어 위에서. 이 시스템이 성립하는 전제는 AthenaZero의 저관성 설계다. 그 논문이 “감속비를 버려 유효질량을 사람 수준으로 낮췄다”고 주장했다면, 이 논문은 그 하드웨어 위에서 “그래서 무엇이 되는가” 를 보여 준다. 손가락 개폐 80 ms, 1 kHz 역동역학 추종, 관절 한계를 액추에이터 토크·전류 루프 대역폭에서 유도하는 방식 — 전부 저관성 준직구동 설계의 직접적 귀결이다. 두 논문을 붙여 읽으면 하드웨어 논문 → 응용 논문의 깔끔한 한 쌍이 된다.

③ 실행가능 집합(feasible set) 제약 계보 안에서. MRS는 “학습·최적화가 만들어 낸 명령을 미리 계산한 실행가능 집합 안으로 가둔다”는 아이디어의 한 사례다. 이 블로그의 FAOC가 RL의 행동을 볼록 실행가능 집합으로 사상해 안전을 보장하는 것과 문제의식이 같다 — 다만 FAOC가 정책의 출력을 사상한다면, MRS는 플래너의 결정변수에 선형 부등식으로 붙는다. 그리고 MRS는 여기에 시간축의 양방향성(앞 상태에서 오고, 뒤 상태로 갈 수 있는)을 추가한 점이 다르다. 계보로는 Fraichard & Asama의 inevitable collision states, Wieber의 보행 viability가 위에 있다.

논문 자신이 밝히는 다음 목표는 클럽 저글링이다. 위치뿐 아니라 자세(orientation)를 손가락·엄지의 협응으로 제어해야 해서 저수준 전략을 손으로 설계하기가 훨씬 어려워지고, 그래서 저자들은 태스크 플래너+궤적 생성기 블록을 goal-conditioned RL 정책으로 갈아 끼우고 그 위에 같은 memory-based 학습기를 얹는 구조를 제안한다. 이 구조가 성립하려면 RL 정책에 대해서도 스킬의 안전한 합성이 보장돼야 한다는 조건을 같이 적어 둔 점이 인상적이다.

요약

이 논문은 “빠른 온로봇 학습”이라는 말을 두 개의 구체적인 엔지니어링 결정으로 번역한다.

첫째, 명령을 결과와 같은 단위로 파라미터화하라. 그러면 prior가 항등 사상이 되고, 그 야코비안은 단위행렬이며, 경험이 없는 영역에서 학습기는 “목표를 옮기면 결과도 그만큼 옮겨간다”는 상식으로 자동 복귀한다. 탐색 단계가 필요 없어지는 것은 알고리즘의 승리가 아니라 표현(parameterization)의 승리다.

둘째, 안전을 순간이 아니라 이행으로 정의하라. 한 동작이 한계를 지키는 것과 그 동작이 다음 동작을 가능하게 남기는 것은 다르다. 오프라인에서 B-spline으로 양방향 도달집합을 구해 볼록 폴리토프로 만들어 두면, 온라인에서는 선형 부등식 하나로 그 조건을 강제할 수 있다. 실험에서 이 제약이 없었다면 플래너 해의 89%가 실행 불가능이었다.

결과는 인상적이지만 고르지 않다. cascade와 tennis 계열은 일관되게 5사이클에 도달하고, shower와 box는 학습이 명백히 진행되는데도(Fig. 3의 착지 분포가 확실히 조여든다) 목표선을 넘지 못한다. 그 이유가 학습이 아니라 체공시간 < 센서모터 지연이라는 물리적 상한이라는 진단은 설득력 있고, 논문이 이를 숨기지 않고 Discussion에 길게 적은 것은 신뢰를 준다.

다만 리뷰어로서 가장 아쉬운 건 측정의 빈곤이다. 정확도가 좋아진다는 주장이 논문 전체를 받치는데 그 증거가 축 없는 3D 산점도이고, 성공률·착지 오차 수치가 하나도 없으며, k 와 커널 대역폭 같은 핵심 하이퍼파라미터가 비어 있고 코드도 없다. 그리고 학습 과정을 보여 준다던 Movie S1–S4는 어디에도 공개돼 있지 않다. “틀린 모델도 학습에는 유용하다”는 명제 자체는 잘 증명됐지만, 그 명제를 남이 다시 확인하기는 지금 상태로는 어렵다.