📃WGRL Brachiation 리뷰

Robust Brachiation on a Life-Sized Dual-Arm Robot Using Waypoint-Guided Reinforcement Learning

• Paper Link (arXiv:2608.17320)

• Project Page

• Video (YouTube)

• Code: 공개 없음 — 논문·프로젝트 페이지 어디에도 레포 링크가 없다(2026-08-21 확인, arXiv HTML 전체 링크 전수 스캔).

• 저자: Ayumu Iwata, Kento Kawaharazuka, Keita Yoneda, Takahiro Hattori, Kei Okada (JSK Robotics Lab, The University of Tokyo)

• IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2026 accepted — arXiv v1 제출 2026-08-18

1. 💡 발판이 없는 환경을 팔로만 건너는 brachiation(팔그네 이동) 을, 모방학습용 레퍼런스 모션도 없고 실패하면 곧바로 추락하는 실물 로봇(1093 mm·19.6 kg)에서 성립시키는 문제를, 엔드이펙터가 지나야 할 소수의 waypoint만 지정하고 전신 동작은 RL에 맡기는 Waypoint-Guided RL(WGRL)로 푼다.
2. ⚙️ 손끝이 다음 waypoint를 이전 waypoint 방향에서 접근하도록 하는 위치 보상 r_{\mathrm{pos}}=\cos\theta-0.25\tilde{\ell}^2 + 접근 진행 보상 + 도달 성공 보상의 합으로 초기 탐색을 가두고, 도달 임계값 \tilde{\ell}_{\mathrm{th}}(초기 0.03)를 커리큘럼으로 키워 가이드를 서서히 풀어 준다. 여기에 “막대 도달 수” 보상과 “기계적 에너지 목표(e_{\mathrm{ref}}=-72 J) 추종” 보상을 짝으로 얹는다.
3. 🎯 MuJoCo Sim-to-Sim에서 400 mm 간격 코스 10회 시행 모두 30개 이상 막대 연속 통과, 5° 경사 코스 28/30(93.3%)·원형 코스 91/100(91%) 리칭 성공. 실물에서는 zero-shot으로 4개 막대를 건넜는데 — 3번의 리칭 모두 첫 후킹 시도는 실패했고, 스윙을 키워 재시도하는 복구 행동이 매번 창발해 낙하 없이 완주했다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

사족보행·러닝·사다리 오르기·파쿠르까지 RL 기반 로코모션은 꽤 멀리 왔지만, 전부 발판이 있는 환경 이야기다. 긴팔원숭이처럼 머리 위 구조물을 좌우 손으로 번갈아 잡고 몸을 매달아 전진하는 brachiation은 발판이 없는 공간을 여는 대안인데, 로봇에서는 두 가지가 발목을 잡는다. 첫째, 보상 설계 지식이 없다. 걷기처럼 “전진 속도를 보상하라”는 관용 처방이 통하지 않고, 그렇다고 DeepMimic류 모방학습으로 갈 수도 없다 — 로봇의 훅 모양 엔드이펙터에 맞는 고품질 레퍼런스 모션이 애초에 존재하지 않는다. 둘째, 실패가 곧 추락이다. 다리가 받쳐 주지 않으므로 한 번 놓치면 에피소드가 끝나고, 실물에서는 하드웨어가 부서진다.

이 논문의 처방은 “동작 전체를 흉내 내게 하지 말고, 손끝이 지나야 할 몇 개의 점만 찍어 주자”는 것이다. WGRL은 이상적인 후킹 궤적 위에 sparse한 waypoint를 미리 박아 두고, 손끝이 그 점들을 순서대로 통과하도록 보상을 준다. 전신 자세·타이밍·스윙 진폭은 전부 RL이 알아서 찾는다. 결정적인 차이는 waypoint를 최종 목표로 쓰지 않는다는 점이다 — 기존 waypoint 기반 RL(Mehta et al., IROS 2024)이 waypoint를 중간 태스크 목표로 삼는 것과 달리, WGRL의 waypoint는 학습 초기 탐색을 가두는 용도일 뿐이고 커리큘럼으로 임계값을 키우면서 서서히 사라진다. 그 결과 초기에는 안정적으로 수렴하고, 최종적으로는 waypoint에 묶이지 않은 동작이 남는다.

실물 brachiation(Fig. 1) — 지름 30 mm 원통 막대 4개를 400 mm 간격으로 배치한 코스를, 1093 mm·19.6 kg의 실물 양팔 로봇이 좌우 손을 번갈아 걸며 건넌다.

핵심 방법론:

WGRL 보상은 세 항의 가중합이다.

r_{\mathrm{WGRL}}=w_{\mathrm{pos}}\,r_{\mathrm{pos}}+w_{\mathrm{prog}}\,r_{\mathrm{prog}}+w_{\mathrm{succ}}\,r_{\mathrm{succ}}

r_{\mathrm{pos}}는 현재 손끝 위치 하나로 계산되는 potential형 항인데, 단순 거리가 아니라 접근 방향까지 본다. 시상면(XZ 평면)에 투영한 좌표를 \tilde{\boldsymbol{p}}=[p_x,p_z]^\top라 하고, 현재 목표 waypoint를 \tilde{\boldsymbol{p}}_{\mathrm{ref}}, 직전 waypoint를 \tilde{\boldsymbol{p}}_{\mathrm{prev}}라 하면

\cos\theta=\frac{(\tilde{\boldsymbol{p}}_{\mathrm{ref}}-\tilde{\boldsymbol{p}})^{\top}(\tilde{\boldsymbol{p}}_{\mathrm{ref}}-\tilde{\boldsymbol{p}}_{\mathrm{prev}})}{\|\tilde{\boldsymbol{p}}_{\mathrm{ref}}-\tilde{\boldsymbol{p}}\|\,\|\tilde{\boldsymbol{p}}_{\mathrm{ref}}-\tilde{\boldsymbol{p}}_{\mathrm{prev}}\|}, \qquad \tilde{\ell}=\frac{\|\tilde{\boldsymbol{p}}_{\mathrm{ref}}-\tilde{\boldsymbol{p}}\|}{\|\tilde{\boldsymbol{p}}_{\mathrm{ref}}-\tilde{\boldsymbol{p}}_{\mathrm{prev}}\|}

이고, r_{\mathrm{pos}}=\operatorname{f}(\cos\theta,\tilde{\ell})의 함수형은 4가지를 비교한 뒤 r_{\mathrm{pos}}=\cos\theta-0.25\,\tilde{\ell}^2을 채택했다. r_{\mathrm{prog}}는 정규화 거리의 시간적 감소량을 클립한 값

r_{\mathrm{prog}}=\mathrm{clip}\!\left(\tilde{\ell}_{t-1}-\tilde{\ell}_{t},\,-0.1,\,0.1\right)

이고, r_{\mathrm{succ}}는 목표 waypoint에 도달해 목표가 다음 것으로 갱신될 때만 1을 주는 이진 보상이다. 목표 갱신과 커리큘럼은 같은 임계값 하나로 굴러간다.

(\boldsymbol{p}_{\mathrm{prev}},\,\boldsymbol{p}_{\mathrm{ref}})=(\boldsymbol{w}_{i-1},\,\boldsymbol{w}_{i}) \;\xrightarrow{\ \tilde{\ell}<\tilde{\ell}_{\mathrm{th}}\ }\; (\boldsymbol{w}_{i},\,\boldsymbol{w}_{i+1}),\qquad i\in\{1,\dots,5\}

\tilde{\ell}_{\mathrm{th}}는 0.03에서 시작해, 4096개 병렬 환경 중 그 waypoint를 통과한 에이전트 수가 아직 못 간 에이전트 수를 넘어서면 조금씩 커진다. 임계값이 커질수록 waypoint는 “대충 지나가도 통과”가 되므로, 가이드가 자동으로 약해진다.

여기에 태스크 보상 두 개가 짝으로 붙는다. 에피소드 시작 이후 도달한 막대 수 N_{\mathrm{bar}}에 비례하는 성공 보상(전진 담당)과, 베이스 링크의 기계적 에너지(선속도 기반 운동에너지 + 막대 기준 상대높이 기반 위치에너지)를 목표값으로 끌어당기는 -(e-e_{\mathrm{ref}})^2+0.5 (안정화 담당). e_{\mathrm{ref}}=-72 J는 양손 매달림 안정 상태에서 관측된 값이다.

주요 결과:

• r_{\mathrm{pos}} 함수형 비교(각 3회 학습, 8000 iteration 시점) — (a) 거리만(\exp(-\tilde{\ell}^2)): 평균 1368 iteration에 지표 0.5 돌파로 초기 상승은 빠르지만 표준편차 1.016으로 불안정. (b) 방향만(\cos\theta): 평균 0.257개로 최저. (c) 곱형(\cos\theta\cdot\exp(-\tilde{\ell}^2)): 평균 954 iteration에 0.5 돌파, 2.6개로 최고. (d) 합형(\cos\theta-0.25\tilde{\ell}^2): (c)에 근접하면서 먼 거리에서도 연속적인 유도가 가능해 최종 채택.
• 보상 항 조합(8가지 전수) — 8개 중 5개는 끝까지 0이다. r_{\mathrm{succ}}가 빠지면 학습이 아예 진행되지 않고, r_{\mathrm{succ}}만 단독으로도 진행되지 않는다. \{r_{\mathrm{pos}},r_{\mathrm{succ}}\} 0.9개, \{r_{\mathrm{prog}},r_{\mathrm{succ}}\} 1.3개, 세 항 전부일 때만 그림에서 읽으면 약 2.5~2.6개로 올라간다.
• Sim-to-Sim(MuJoCo) — 400 mm 등간격 코스 10회 시행 전부 30개 이상 막대 연속 통과. 학습 시와 같은 크기의 기하 교란(높이 ±40 mm, yaw ±0.2 rad)에서도 전진 유지. 학습에 없던 5° 경사 코스 28/30(93.3%), 36개 막대 원형 코스 91/100(91%).
• 실물 zero-shot — 막대 4개(400 mm 간격), 양손이 같은 막대를 잡은 상태에서 시작해 오른손→왼손→오른손 3회 리칭. 3회 모두 첫 후킹은 실패했지만 매번 복구 행동이 나와 재시도에 성공, 낙하 없이 완주(Fig. 8 기준 t = 3.0 s ~ 25.9 s).

결론:

“모방 데이터가 없으면 복잡한 비선형 동작을 RL로 못 만든다”는 통념에 대한, 가장 값싼 대안을 보여 준 논문이다. 전신 궤적을 흉내 내게 하는 대신 손끝이 지날 점 다섯 개만 찍어 주고, 그마저도 커리큘럼으로 지워 버린다. 흥미로운 건 저자들이 강조하는 강건성(기하 변화 대응·실패 복구)이 정책 하나만의 성과가 아니라는 점이다 — 논문 스스로 훅의 원호 지름 60 mm(막대 30 mm 대비 여유)와 중심각 180°라는 기구 설계가 절반을 담당한다고 밝히고, 중심각을 180° 미만으로 두면 시뮬레이션에서 복구 행동 자체가 성립하지 않았다고 보고한다. 다만 정량 검증의 무게중심은 시뮬레이션에 있고, 실물은 단 한 번의 4-막대 주행이다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문의 waypoint는 “궤적”이 아니라 “궤적의 위상(topology)”을 주입하는 장치다. brachiation의 후킹은 목표 막대를 위에서 감아 들어가야만 성립하는데, 거리 기반 보상만 주면 정책은 거의 항상 아래에서 접근하는 국소최적에 빠진다 — 거리는 잘 줄지만 물리적으로 걸 수가 없어 학습이 정체된다. 저자들이 실제로 측정한 것이 이것이다(거리만 쓴 (a)의 표준편차 1.016). WGRL이 하는 일은 정확한 손끝 궤적을 지정하는 것이 아니라, “막대 아래로 지나가서 위로 올라간 뒤 먼 쪽에서 감아 내려온다”는 호모토피 클래스 하나를 골라 주는 것이다. 그리고 그 클래스가 일단 잡히면 — 커리큘럼으로 가이드를 풀어도 — 정책은 거기 머문다. 그 궤적이 동역학적으로도 좋기 때문이다. 부트스트랩이 끝나면 사다리를 걷어차도 되는 구조다.

배경: brachiation이 걷기와 다른 점

RL 로코모션의 성공 사례(사족보행, 러닝, 사다리 오르기, 파쿠르)는 전부 발판 위에서 일어났다. brachiation은 세 가지가 다르다.

(1) 접촉이 불연속이고 타이밍이 임계적이다. 잡기와 놓기가 번갈아 일어나고, 놓는 순간과 거는 순간이 몇십 ms만 어긋나도 실패한다. (2) 보상 설계 지식이 없다. 걷기는 “명령 속도 추종 + 자세 정규화 + 에너지 페널티”라는 관용 레시피가 있지만, brachiation에는 그런 축적이 없다. 단순 거리·속도 보상만으로는 동작이 나오지 않는다는 것이 이 논문의 출발점이다. (3) 모방학습이 막혀 있다. DeepMimic(Peng et al., 2018) 계열은 레퍼런스 모션이 있어야 하는데, 사람이나 원숭이의 brachiation 모션을 가져와도 훅 모양 엔드이펙터에는 맞지 않는다. 손가락으로 감아쥐는 동작과 갈고리를 거는 동작은 다른 궤적을 요구한다. 모션 생성·트래킹을 결합해 휴머노이드 전신 로코모션을 푸는 최근 접근(Whole-Body Loco 리뷰)이 이 태스크에 바로 이식되지 않는 이유가 여기 있다.

여기에 (4) 실패 비용이 겹친다. 다리가 없으니 놓치면 낙하이고, 실물에서는 그것이 곧 파손이다. 그래서 이 논문은 실물 파인튜닝을 아예 배제하고 zero-shot Sim-to-Real만 노린다.

기존 brachiation 연구는 대부분 모델 기반이었다 — 에너지 기반 제어(Fukuda et al., ROBIO 2005), 가상 홀로노믹 제약(Fukuda et al., IROS 2007), 최적제어 기반 궤적추종 3링크 로봇(Yang et al., 2019), 수동 그리퍼를 쓰는 RicMonk(Grama et al., ICRA 2024). RL 쪽으로는 단순화 모델에서 궤적을 얻어 2단계로 학습하는 접근(Reda et al., SIGGRAPH 2022)과, 최소 구성 로봇에서 RL이 최적제어보다 강건함을 보인 AcroMonk(Javadi et al., RA-L 2023)가 있다. 공통점은 시뮬레이션이거나 소형·저자유도 시스템이라는 것이고, 이 논문의 자리는 정확히 그 빈칸 — 실물 크기 양팔 로봇 — 이다.

하드웨어: 이족보행 로봇의 다리를 팔로 뒤집다

기구 설계(Fig. 2) — 왼쪽: 성인 상반신을 모사한 전체 형상(그림 라벨은 1090 mm·19.6 kg, 본문 서술은 1093 mm). 오른쪽: 훅형 엔드이펙터. 그림에서 읽으면 원호 반경 R 30 mm(=지름 60 mm), 중심각 180°, 생크 길이 100.22 mm.

로봇은 성인 상반신을 모사했고 총높이 1093 mm, 총중량 19.6 kg이다(그림의 치수 라벨은 1090 mm로 적혀 있다 — 반올림으로 보이지만 원문 표기 차이를 그대로 적어 둔다). 각 팔은 5자유도(어깨 roll·pitch·yaw, 팔꿈치 pitch, 손목 pitch)로 총 10관절이며, 관측의 \boldsymbol{q}\in\mathbb{R}^{10}과 일치한다.

주목할 점은 이 로봇이 같은 연구실의 오픈소스 하드웨어 MEVITA(Kawaharazuka et al., Humanoids 2025)에서 파생됐다는 것이다. 이족보행 로봇의 금속 구조 다리 두 개를 그대로 팔로 쓰고, 말단만 훅으로 바꿨다. 동적 동작을 견딜 강성이 필요한 부위에 이미 검증된 다리 링크를 재활용한 셈이다. JSK 연구실의 하드웨어 계보를 함께 보고 싶다면 같은 저자(Kawaharazuka)가 참여한 Diffusion Body Schema 리뷰가 참고가 된다 — 그쪽은 근골격 구조의 이상상태 적응, 이쪽은 강체 링크의 동적 이동으로 방향은 다르지만 “하드웨어 특성을 학습 설계에 끌어들인다”는 결은 같다.

몽키바 환경은 지름 30 mm·길이 1200 mm 막대를 400 mm 등간격으로 배치한 것이고, 시뮬레이션(학습 환경 포함)에서 간격 ±20 mm, 수직 ±40 mm, 전진방향 대비 yaw ±0.2 rad의 무작위 변동을 준다.

방법 1: 관측 설계 — 정책은 막대를 “보지 않는다”

Actor-Critic에 비대칭 관측을 쓴다. Actor가 받는 것은 실물에서 얻을 수 있는 것뿐이다: 베이스(몸통) 각속도 \boldsymbol{\omega}_b\in\mathbb{R}^3, 몸통 좌표계 중력 방향 \boldsymbol{g}_b\in\mathbb{R}^3, 전 관절 각도 \boldsymbol{q}\in\mathbb{R}^{10}, 전 관절 각속도 \dot{\boldsymbol{q}}\in\mathbb{R}^{10}, 그리고 동작 위상 지시자 s_{\mathrm{phase}}\in\{0,1\} — 합쳐 27차원이다. Critic은 여기에 특권 관측을 더 받는다: 관절 위치·속도·추종오차의 최근 3스텝 이력(\mathbb{R}^{3\times 10} 각각), IMU 8스텝 이력(\mathbb{R}^{8\times 6}), 엔드이펙터 후킹 접촉 상태 \boldsymbol{c}\in\{0,1\}^2, 접촉력 \boldsymbol{f}_c\in\mathbb{R}^6, 마찰계수 \boldsymbol{\mu}\in\mathbb{R}^k, 엔드이펙터 위치 \boldsymbol{p}^{L,R}\in\mathbb{R}^6, 그리고 주변 막대 5개의 기하 \boldsymbol{b}_{1:5}\in\mathbb{R}^{5\times 6}(중심 위치·자세·길이·두께, 베이스 링크 좌표계). 1스텝은 0.02 s다.

여기서 가장 중요한 사실은 막대 기하 정보가 Critic에만 있고 Actor에는 없다는 것이다. 즉 실제로 움직이는 정책은 시각도 없고 막대 위치 추정도 없이, 오직 자기 몸의 고유수용 감각(관절각·각속도·IMU)과 좌우 위상 신호만으로 후킹을 시도한다. 비대칭 액터-크리틱으로 지형 정보를 크리틱에만 주는 구성은 사족보행 sim2real에서 익숙한 패턴이고(DreamWaQ 리뷰), 이 논문은 그것을 “환경을 안 보고도 걸리게 만드는” 쪽으로 밀어붙였다. 정책은 50 Hz, PD 제어기는 200 Hz로 돈다.

학습 환경은 Legged Gym(Rudin et al., CoRL 2022) 기반으로 4096개 병렬 환경. 관측 노이즈와 마찰계수·링크 질량·질량중심 도메인 랜덤화를 적용하고, 에피소드 시작마다 자세와 동작 위상을 무작위로 고른다.

방법 2: waypoint 다섯 개가 하는 일

waypoint 설계(Fig. 3) — 시상면(XZ)에 정의된다. 현재 막대의 \boldsymbol{w}_0에서 출발해 ① \boldsymbol{w}_1로 뒤로 회전하며 훅을 분리, ② \boldsymbol{w}_2,\boldsymbol{w}_3로 막대 아래를 지나 전진(중간 막대는 건너뜀), ③ \boldsymbol{w}_4로 충분히 들어올린 뒤 \boldsymbol{w}_5에서 목표 막대의 먼 쪽을 감아 \boldsymbol{w}_6에 걸린다. 배경 격자 한 칸 40 mm.

waypoint는 시상면에 정의되고 동작 위상에 따라 좌우 엔드이펙터에 번갈아 배정된다. 각각의 역할이 뚜렷하다.

• \boldsymbol{w}_1: 손을 뒤로 회전시켜 훅을 막대에서 뺀다. 이게 없으면 정책은 “막대를 아직 잡은 채로 손을 앞으로 밀어붙이는” 부적절한 동작을 배운다.
• \boldsymbol{w}_2,\boldsymbol{w}_3: 막대 아래를 지나 전진한다. 목표 바로 앞의 막대(Fig. 3의 “Skip the adjacent bar”)에 불필요하게 부딪히는 것을 피한다.
• \boldsymbol{w}_4,\boldsymbol{w}_5: 목표 막대를 위에서 걸도록 유도한다. \boldsymbol{w}_4가 손을 충분히 들어올리고, \boldsymbol{w}_5가 막대의 먼 쪽에서 감아 도는 궤적을 만들어 후킹 성공률을 올린다.

Fig. 3에는 본문이 명시하지 않은 \boldsymbol{w}_0(현재 막대)와 \boldsymbol{w}_6(목표 막대)이 함께 그려져 있는데, 식 (6)의 인덱스 범위 i\in\{1,\dots,5\}가 쌍 (\boldsymbol{w}_5,\boldsymbol{w}_6)까지 다루는 것과 정합한다. 즉 출발·도착 앵커 사이에 다섯 개의 경유점이 놓인 구조다.

주의할 점 하나. \tilde{\boldsymbol{p}}의 정의가 y 성분을 버리므로, 좌우(lateral) 방향은 waypoint 보상이 전혀 관여하지 않는다. 옆으로 흔들리는 것은 baseline 자세·속도 페널티와 태스크 보상이 간접적으로 잡는 몫이다. 막대 yaw가 ±0.2 rad까지 흔들리는 환경에서 이 선택이 어떻게 작동하는지는 논문이 따로 분석하지 않는다.

방법 3: 보상 필드의 모양이 곧 탐색 공간의 모양이다

r_{\mathrm{pos}} 함수형 4종의 보상 필드(Fig. 4) — (a) \exp(-\tilde{\ell}^2) 거리만, (b) \cos\theta 방향만, (c) \cos\theta\cdot\exp(-\tilde{\ell}^2) 곱형, (d) \cos\theta-0.25\tilde{\ell}^2 합형. 초록 점이 이전 waypoint, 노란 점이 목표. (c)·(d)만 “이전 waypoint 쪽에서 접근하라”는 방향성을 필드에 새긴다.

이 그림이 논문에서 가장 잘 만든 그림이다. 네 필드의 성격 차이가 그대로 학습 결과를 예고한다.

• (a) 거리만. 목표 주변이 등방(等方)으로 붉다. 어디에서 접근하든 보상이 같으므로 아래에서 접근하는 궤적도 똑같이 보상받는다. 그런데 그런 궤적으로는 훅을 걸 수 없다 — 그래서 초기 상승은 빠른데(평균 1368 iteration에 0.5 돌파) 중간에 정체하고 편차가 커진다(SD 1.016).
• (b) 방향만. 목표에 가까워질 유인이 없다. 방향만 맞으면 멀리 있어도 만점이므로 접근 자체를 안 한다(8000 iteration에서 0.257개, 최저).
• (c) 곱형. 양의 보상 영역이 좁고 목표 뒤편은 파랗다(음수). 탐색 공간을 강하게 조여서 성능이 가장 높다(평균 954 iteration에 0.5 돌파, 2.6개).
• (d) 합형. -0.25\tilde{\ell}^2가 거리에 비례하는 연속 페널티를 깔아, 멀리 떨어진 위치에서도 기울기가 살아 있다. (c)보다 근소하게 낮지만 넓은 범위에서 안정적으로 유도되므로 이쪽을 채택했다.

전체 보상표(Table III)는 21개 항으로 구성되고, 학습 단계마다 가중치가 두 벌이다. 1단계 4000 iteration은 WGRL 항이 크고(예: w_{\mathrm{succ}}=10), 2단계 9000 iteration에서는 r_{\mathrm{succ}}를 아예 끄고(–) 대신 기계적 에너지 항(0.8)을 켠다. 즉 waypoint 도달 보너스는 2단계에서 제거되고, 남은 r_{\mathrm{pos}}(0.8)·r_{\mathrm{prog}}(5.0)만 약한 잔류 가이드로 남는다. 커리큘럼(임계값 완화)과 가중치 스케줄이 이중으로 가이드를 지우는 구조다.

핵심 태스크 보상 두 개는 이렇게 짝을 이룬다.

• 막대 도달 수 N_{\mathrm{bar}} (가중치 1단계 2 → 2단계 0.3): 에피소드 시작 이후 도달한 막대 수에 비례. 전진을 담당한다.
• 기계적 에너지 -(e-e_{\mathrm{ref}})^2+0.5 (1단계 – → 2단계 0.8): e는 베이스 링크의 운동에너지(선속도 기반) + 위치에너지(막대 기준 상대높이). e_{\mathrm{ref}}=-72 J는 양손 매달림 안정 상태의 값. 과도한 스윙을 억제하고 파지 후 안정화를 유도한다.

그밖에 지지손 파지(0.5), 훅 자세·선속도 페널티, 베이스 위치/자세/속도 페널티, 관절 토크·가속도·리밋 페널티, action rate, 전완 충돌(−20), 리칭손 충돌(−0.5), 그리고 종료(낙하) 페널티 −70이 붙는다. 알고리즘은 PPO이고 총 13000 iteration(4000 + 9000)을 돈다.

직관: 왜 “지웠다 남는” 가이드가 통하는가

브라키에이션에서 성공/실패를 가르는 것은 손끝이 목표 막대에 도달하는지가 아니라 어느 방향에서 도달하는지다. 아래에서 올라오는 접근은 거리 지표상 완벽해도 훅이 걸리지 않는다. 즉 보상 지형에 “거리는 가깝지만 절대 성공할 수 없는” 넓은 평지가 존재하고, 이 평지가 거리 기반 RL을 삼킨다. 논문의 (a) 실험이 바로 이 함정을 정량화한 것이다.

WGRL의 waypoint는 이 평지를 탐색 공간에서 잘라내는 칼이다. \cos\theta 항은 “이전 waypoint에서 목표를 잇는 선분 방향으로 접근할 때만 양의 보상”이라는 국소 방향 제약이고, 이런 제약을 다섯 번 이어 붙이면 위상적으로 하나의 궤적 클래스(뒤로 빼서 → 아래로 지나 → 위로 올려 → 먼 쪽에서 감기)만 남는다. 여기서 중요한 것은 이것이 레퍼런스 궤적 추종이 아니라는 점이다. waypoint는 다섯 점뿐이고 그 사이의 속도·자세·전신 협응은 전부 자유다. 모방학습이 “어떻게 움직일지”를 지정한다면, WGRL은 “어느 쪽으로 돌아갈지”만 지정한다.

그리고 일단 그 클래스가 잡히면 가이드를 풀어도 정책이 거기 머문다. 저자들의 해석은 그 궤적이 동역학적으로도 이득이기 때문이라는 것이다: 위에서 크게 감아 도는 동작은 훅의 곧은 생크가 막대에 닿아 미끄러져 들어갈 여지를 만들어, 막대 위치가 어긋나도 걸린다. 즉 초기에는 보상이 강제한 궤적이 나중에는 스스로 유지되는 궤적이 된다. 커리큘럼이 사다리 역할만 하고 사라지는 셈이다. 보상 쉐이핑 일반론에서 potential-based shaping이 최적정책을 바꾸지 않는다는 결과(Reward Engineering 리뷰)와는 결이 다르다 — 여기서 WGRL은 최적정책을 바꾸지 않으려는 것이 아니라, 초기 탐색의 편향을 의도적으로 걸었다가 걷어내는 커리큘럼 장치에 가깝다.

실험 1: 어떤 r_{\mathrm{pos}}가, 어떤 항 조합이 필요한가

r_{\mathrm{pos}} 정의 ablation(Fig. 5) — 세로축은 에피소드 시작 이후 도달 막대 수(전 병렬환경 평균), 각 곡선은 3회 독립 학습의 평균. 오른쪽은 8000 iteration 시점 평균±표준편차. 거리와 방향을 함께 쓰는 (c)·(d)가 높고 일관되다.

왼쪽 곡선을 보면 (a)는 초기에 빠르게 올라 2900 iteration 부근에서 1.85까지 갔다가 1.4 근처로 주저앉고, (b)는 5100 iteration 근처에서 잠깐 0.8까지 올랐다가 다시 내려온다. (c)는 700 iteration부터 가파르게 올라 2.65 근처에 머물고, (d)는 한참 늦게 4800 iteration 부근에서 급상승해 2.4 근처에 안착한다(모두 그림에서 읽은 값). 오른쪽 오차막대에서 (a)의 편차가 압도적으로 크다는 것이 한눈에 보인다 — 3회 중 어떤 시드는 되고 어떤 시드는 안 됐다는 뜻이다.

보상 항 조합 ablation(Fig. 6) — \{r_{\mathrm{pos}},r_{\mathrm{prog}},r_{\mathrm{succ}}\}의 유무 8가지 전수 비교. 세 항 전부(파랑)만 2.5 이상으로 올라가고, \{r_{\mathrm{prog}},r_{\mathrm{succ}}\}(주황) 1.3, \{r_{\mathrm{pos}},r_{\mathrm{succ}}\}(갈색) 0.9에서 정체하며, 나머지 5개 구성은 끝까지 0이다.

이 그림의 메시지는 단호하다. r_{\mathrm{succ}} 없이는 아무것도 안 되고, r_{\mathrm{succ}}만으로도 안 된다. sparse 보상은 “waypoint를 통과하라”는 명확한 유인을 주지만 그 자체로는 탐색을 이끌지 못하고, 연속 보상은 방향을 주지만 통과를 확정 짓지 못한다. 저자의 진단도 구체적이다 — \{r_{\mathrm{pos}},r_{\mathrm{succ}}\}는 potential형이라 기울기가 완만한 영역에서 정체하고, \{r_{\mathrm{prog}},r_{\mathrm{succ}}\}는 멀리 있어도 거리만 줄이면 보상이 나와 충분히 접근하지 않는다.

곡선의 모양에도 정보가 있다. 세 항 전부(파랑)는 가장 늦게 출발한다 — 3000 iteration까지 0이다가 급격히 4100 부근에서 3.4까지 치솟았다가 2.5 근처로 내려앉는다. 반면 부분 조합들은 400~1100 iteration에서 일찍 올라와 낮은 값에 갇힌다. 제약이 강한 보상일수록 초기에는 느리지만 결국 더 멀리 간다는, 커리큘럼 설계의 전형적인 곡선이다.

실험 2: Sim-to-Sim — 안 본 코스로 옮겨 보기

MuJoCo Sim-to-Sim(Fig. 7) — (\alpha) 기하 교란 코스, (\beta) 5° 경사 오르내림 코스, (\gamma) 막대 36개 원형 코스. 아래는 베이스 링크 중심 위치의 시계열. 그림에서 읽으면 \alpha는 약 105 s에 x\approx10 m, \beta는 약 80 s에 x\approx7.5 m, \gamma는 약 240 s에 걸쳐 원을 한 바퀴 돈다.

학습은 Legged Gym에서, 평가는 MuJoCo에서 한다. 즉 물리엔진을 바꾼 것 자체가 이미 한 겹의 전이다. 400 mm 등간격 기본 코스에서 10회 시행 모두 30개 이상 막대를 연속 통과했다.

\alpha 조건은 높이 ±40 mm, yaw ±0.2 rad의 기하 교란인데 — 이 값은 §II에 적힌 학습 시 랜덤화 범위와 정확히 같다. Fig. 7 캡션은 세 코스를 묶어 “three unseen environments”라 부르지만, \alpha는 인스턴스가 새로울 뿐 분포는 학습과 동일하다. 진짜 분포 밖은 \beta(5° 경사)와 \gamma(원형)다. 이 구분을 해 두면 결과가 더 정확히 읽힌다: 경사 28/30(93.3%), 원형 91/100(91%) 은 학습에 없던 지형에서의 리칭 성공률이고, \alpha에 대해서는 성공률 수치가 보고되지 않았다(정성 서술만).

가장 흥미로운 관찰은 실패 복구 행동이다. 후킹에 실패하면 로봇은 지지 쪽 팔의 팔꿈치를 굽혔다 폈다 하며 균형 교란을 흡수하고, 그 동작이 리칭 팔의 재스윙을 만들어 낸다. 재시도가 반복되다 결국 걸린다. 저자들은 이것이 보상 구조에서 창발했다고 본다: 낙하 페널티 −70과 막대 도달 비례 보상이 함께 있으면, 정책 입장에서 최적 전략은 “떨어지지 않으면서 미래의 성공 보상을 계속 노리는” 것이 된다. 근거도 제시한다 — 성공 보상 가중치를 낮추면 실패 후 재시도 빈도가 크게 줄었다.

또 하나, 기구 쪽 근거도 명시적이다. 훅 원호의 중심각을 180° 미만으로 두면 시뮬레이션에서 실패 즉시 이탈이 빈발해 복구 행동 자체가 성립하지 않았다. 즉 “실패해도 안 빠지는 형상”이 학습이 복구를 배울 수 있는 전제 조건이었다.

실험 3: 실물 zero-shot

실물 zero-shot brachiation(Fig. 8) — 400 mm 간격 막대 4개. 오른손 리칭(초록)→왼손 리칭(주황)→오른손 리칭(초록) 순서로 t = 3.0 s부터 25.9 s까지의 스냅샷.

시뮬레이션에서 학습한 정책을 추가 파인튜닝 없이 그대로 올렸다. 양손이 같은 막대를 잡은 상태에서 시작해 오른손·왼손·오른손 3회 리칭을 수행했고, 낙하 없이 코스를 완주했다.

그런데 논문이 정직하게 적어 둔 사실이 있다. 세 번의 리칭 모두 첫 후킹 시도는 실패했다. 성공한 것은 복구 행동이다. 저자가 든 실패 원인은 (i) 시뮬레이션의 캡슐 근사 충돌 모델과 실제 접촉 특성의 차이, (ii) 실물 파지면의 마찰계수가 작아 미끄러졌다는 것이다. 위에서 감아 도는 동작에서 충분한 지지력이 나오지 않았다는 설명이다.

실물 실험 로그(Fig. 9) — 위: 베이스 링크의 전진 위치 x와 피치각. 아래: 위치·운동·기계적 에너지. 후킹 실패가 반복되는 구간에서 운동에너지 피크가 계단식으로 커지고(스윙 진폭 증폭), 양손 지지가 성립하면 기계적 에너지가 감쇠해 목표값(빨간 점선 -72 J)으로 수렴한다. 값은 IMU·관절각 로그에서 순기구학으로 추정하고 속도는 미분 후 저역통과 필터를 거쳤다.

이 그림이 보상 설계의 작동을 가장 잘 보여 준다. 성공 보상이 에너지 추종 보상보다 크게 걸려 있으므로, 리칭 중에는 에너지가 목표를 넘어도 전진을 우선한다 — 그래서 실패가 반복되면 운동에너지 피크가 계단식으로 올라간다(그림에서 읽으면 최대 13 J 근처). 이것은 손끝의 도달 거리를 늘리려고 스윙 진폭을 키우는 행동으로 해석된다. 반대로 파지가 성공해 양손 지지로 전환되면 에너지 보상을 받으려고 급격히 감쇠시켜 목표값으로 수렴한다. 보상 구조가 “전진”과 “안정화” 사이에서 제어 목표를 자동 전환하는 셈이다.

실패 복구(Fig. 10) — ① 후킹 실패 → ② 스윙으로 운동량 축적 → ③ 재시도 성공. 이 시퀀스가 실물 3회 리칭에서 매번 나타났다.

한계도 함께 적혀 있다. 좌우 비대칭이다 — 왼손 리칭이 스윙 주기가 짧고 진폭이 크며 기계적 에너지도 높고, 엔드이펙터 궤적의 변동도 컸다. 학습 로그상 오른손 동작이 먼저 수렴했고, 대칭 제약을 명시적으로 넣지 않았기 때문에 그 차이가 정책에 남았다는 설명이다.

비판적으로 보면

강점

• 문제 진단이 정확하고, 그 진단을 실험으로 증명했다. “거리 기반 보상은 아래에서 접근하는 물리적으로 불가능한 궤적으로 수렴한다”는 주장이 인상이 아니라 Fig. 4·5의 필드 시각화 + 3시드 학습곡선 + SD 1.016이라는 숫자로 뒷받침된다. 보상 함수형을 네 가지로 갈라 필드 그림과 함께 비교한 구성은 보상 설계 논문의 좋은 본보기다.
• ablation이 전수다. 세 항의 유무 8가지를 모두 돌려 5개가 0에 머문다는 것까지 보여 준다. “어떤 항이 필요한가”가 아니라 “무엇이 없으면 아예 안 되는가”를 보여 주는 쪽이 훨씬 유용한 정보다.
• 성과를 정책 혼자의 공으로 돌리지 않는다. 훅 원호 지름 60 mm의 여유, 중심각 180°의 이탈 저항성이 강건성의 절반이라고 명시하고, 중심각을 줄이면 복구가 성립하지 않는다는 반례까지 보고한다. 기구-학습 공동 설계를 이렇게 솔직하게 분해해 쓴 논문은 드물다.
• 실물 실패를 숨기지 않았다. “3회 리칭 모두 첫 시도 실패”는 홍보에 불리한 문장인데 본문에 그대로 있고, 원인(캡슐 근사 접촉 모델, 낮은 마찰)까지 짚는다. 좌우 비대칭도 마찬가지다.
• 창발 주장에 대조군을 붙였다. “복구 행동은 보상 구조에서 나왔다”는 해석에 “성공 보상 가중치를 낮추면 재시도 빈도가 크게 줄었다”는 대조 관찰을 붙였다. 정량 수치는 없지만 최소한 검증 가능한 형태다.

약점·한계

• 실물 검증이 사실상 1회 주행이다. 막대 4개, 리칭 3회. 시행 횟수·재현 횟수가 보고되지 않았고 성공률도 정의되지 않는다(분모가 3이다). Sim-to-Sim은 10회 시행·30 막대·100회 리칭으로 규모가 있지만, 논문 제목의 “Robust … on a Life-Sized Dual-Arm Robot”에서 실물의 강건성을 지지하는 증거는 이 한 번의 주행뿐이다. 여기에 3/3 첫 시도 실패를 겹쳐 읽으면, 실물에서 실제로 검증된 것은 “후킹이 잘 된다”가 아니라 “실패해도 안 떨어진다” 쪽이다.
• \alpha 조건은 분포 밖이 아니다. Fig. 7 캡션은 세 코스를 “unseen”으로 묶지만, \alpha의 교란 범위(±40 mm, ±0.2 rad)는 학습 랜덤화 범위와 동일하다. 게다가 \alpha에 대해서만 성공률 수치가 없다. 기하 변화 강건성을 뒷받침하는 정량치는 결국 \beta·\gamma 두 개뿐이고, 두 조건 모두 각 1회 주행으로 보이는(시행 반복이 명시되지 않은) 결과다.
• 동작 위상 s_{\mathrm{phase}}가 어떻게 전환되는지 논문에 없다. “controller로부터의 명령 입력”이라고만 적혀 있다. 시간 기반인지, 접촉 감지 기반인지, 사람이 누르는지가 실험 절에도 없다. brachiation에서 좌우 전환 타이밍은 태스크의 절반인데 그 절반이 학습 밖 외부 신호로 남아 있다면, “정책이 브라키에이션을 학습했다”의 범위가 달라진다. 재현·비교에 직접 걸리는 공백이다.
• 재현에 필요한 값이 대거 빠져 있다. 전수 grep으로 확인한 결과 논문에는 네트워크 구조·은닉층 크기·학습률·배치 크기·GPU·학습 시간·PPO 하이퍼파라미터·시드 수(본 정책)·액추에이터 사양·PD 게인이 하나도 없다. 커리큘럼의 임계값 증가폭과 상한도 없고, waypoint의 실제 좌표값도 없다(Fig. 3의 40 mm 격자에서 눈대중할 수 있을 뿐이다). 코드도 공개되지 않았다. 6쪽 IROS 포맷의 제약을 감안해도, 이 논문의 기여가 보상 설계인 만큼 waypoint 좌표와 커리큘럼 스케줄의 부재는 뼈아프다. 사실상 재현 불가에 가깝다.
• 기계적 에너지 보상의 스케일이 서술과 충돌해 보인다. Table III의 정의 -(e-e_{\mathrm{ref}})^2+0.5는 e가 줄(J) 단위이고 정규화 언급이 없다. Fig. 9에서 스윙 중 기계적 에너지는 목표에서 20 J 안팎까지 벗어나는데, 그대로 대입하면 항의 크기가 -(20)^2\times0.8=-320 수준이 되어, 2단계 가중치 0.3인 N_{\mathrm{bar}} 항을 압도한다. 반면 본문은 “성공 보상이 에너지 보상보다 크게 가중된다”고 서술한다. 어딘가에 정규화나 클리핑이 있을 가능성이 높지만 논문에 적혀 있지 않아 표만 보고는 재구현할 수 없다. 조용히 한쪽으로 정리하지 않고 원문 그대로 남겨 둔다.
• 1단계와 2단계 사이의 설계 근거가 얇다. 4000/9000이라는 iteration 수, r_{\mathrm{succ}}를 2단계에서 끄는 결정, N_{\mathrm{bar}} 가중치를 2 → 0.3으로 낮추는 결정 모두 값만 제시되고 ablation이 없다. 논문의 ablation은 전부 1단계 보상 설계에 집중돼 있어, “2단계 리파인먼트가 실제로 필요한가” 는 측정되지 않았다.
• 일반화 주장의 범위가 넓다. 초록은 WGRL을 “비선형·복잡 동작 유도를 위한 학습 프레임워크”로 제시하지만, 검증된 태스크는 brachiation 하나다. waypoint를 어떻게 고르는지는 여전히 사람의 몫이고(다섯 개의 역할이 전부 도메인 지식이다), 그 선택 과정을 자동화하거나 민감도를 분석한 실험은 없다. “모방 데이터가 없을 때 쓸 수 있다”는 주장은 맞지만, 대신 설계자가 궤적의 위상을 알고 있어야 한다는 전제가 붙는다.
• 참고문헌 17편, 독립된 Related Work 절이 없다. 서론 문단에 압축돼 있어 계보 파악이 어렵다. 예컨대 커리큘럼 완화를 통한 가이드 제거라는 아이디어는 잔차 학습·shaping 문헌과 접점이 있는데 논의가 없다.

관련 연구와의 자리 매김

모방 없는 복잡 동작 유도라는 축에서 보면, WGRL은 DeepMimic(Peng et al., 2018) 계열의 반대편에 선다. 모방학습은 “레퍼런스 궤적 전체”를 요구하고, WGRL은 “궤적이 지나야 할 다섯 점”만 요구한다. 정보량이 몇 자릿수 차이 나는 대신, 다섯 점을 찍을 도메인 지식이 필요하다. 모션 생성기와 트래커를 결합해 지형 적응을 얻는 Whole-Body Loco 같은 최근 접근이 “레퍼런스를 생성해서 해결”하는 쪽이라면, 이쪽은 “레퍼런스를 아예 요구하지 않는” 쪽이다.

waypoint 기반 RL 축에서는 Mehta et al.(IROS 2024)과의 대비가 논문 스스로 강조하는 차별점이다. 그쪽 waypoint는 중간 태스크 목표이고, WGRL의 waypoint는 초기 탐색 가이드다. 전자는 끝까지 남고 후자는 커리큘럼으로 사라진다. 이 차이 덕분에 최종 동작이 waypoint 이산화에 묶이지 않는다.

보상 설계·shaping 축에서는, r_{\mathrm{pos}}가 potential형이라는 저자의 자기 진단이 정확하고, 그 한계(완만한 기울기 영역에서의 정체)까지 실험으로 확인했다는 점이 눈에 띈다(Reward Engineering 리뷰의 potential-based shaping 항목과 함께 읽으면 좋다). 다만 shaping 이론이 보장하는 “최적정책 불변”과 WGRL의 목표는 다르다 — WGRL은 오히려 초기 편향을 의도적으로 걸고 나중에 푸는 커리큘럼이다.

sim2real 로코모션 파이프라인 축에서는 아주 전형적이다: 대규모 병렬 시뮬레이션(Legged Gym 4096 envs) + 비대칭 액터-크리틱 + 도메인 랜덤화 + zero-shot 전이. 사족보행에서 확립된 레시피(DreamWaQ 리뷰)를 팔 기반 이동으로 옮긴 셈이고, 새로운 것은 파이프라인이 아니라 그 위에 얹은 보상 설계다.

JSK 하드웨어 계보 축도 빠뜨릴 수 없다. MEVIUS(사족)·MEVITA(이족)로 이어진 저비용·오픈소스 하드웨어 라인의 다리를 팔로 재사용해 새 태스크를 열었다. 같은 연구실의 Diffusion Body Schema가 근골격 로봇의 이상상태 적응을 다룬다면, 이쪽은 강체 링크 로봇의 동적 이동이다. 두 논문 모두 “하드웨어의 물리적 성질을 학습 설계 안에 명시적으로 넣는다” 는 공통 태도를 보인다 — 훅의 중심각 180°가 복구 행동의 전제라는 이 논문의 관찰이 그 예다.

요약

WGRL은 “모방 데이터 없이 복잡한 비선형 동작을 RL로 얻는” 문제에 대해, 손끝 궤적의 위상만 sparse waypoint로 주입하고 커리큘럼으로 지운다는 간결한 처방을 내놓았다. 처방의 각 부품이 왜 필요한지를 보상 필드 시각화와 전수 ablation(8가지 중 5가지가 0)으로 증명한 점이 이 논문의 가장 단단한 부분이다. 여기에 막대 도달 보상(전진)과 기계적 에너지 추종 보상(안정화)을 짝으로 걸어, 실패 시 스윙을 키워 재시도하고 성공 시 에너지를 떨어뜨리는 제어 목표의 자동 전환을 얻었다. 시뮬레이션에서는 30개 이상 막대 연속 통과, 미학습 경사·원형 코스에서 91~93%대 리칭 성공률을 보였다.

동시에 한계는 분명하다. 실물 검증은 4-막대 1회 주행이고 3회 리칭 모두 첫 후킹은 실패했다 — 실물이 입증한 것은 후킹 정확도가 아니라 복구 능력이다. 기하 강건성의 정량 근거도 두 코스에 그치고, 학습 분포와 같은 범위의 교란(\alpha)에는 성공률조차 없다. 무엇보다 재현 자료가 부족하다: 네트워크·최적화 하이퍼파라미터·waypoint 좌표·커리큘럼 스케줄이 모두 빠져 있고 코드도 공개되지 않았다. 보상 설계가 기여의 본체인 논문에서 그 설계를 재현할 수 없다는 것은 아쉬운 지점이다.

그럼에도 “발판 없는 공간을 로봇이 건널 수 있다”는 방향과, 그것을 실물 크기 하드웨어에서 zero-shot으로 밀어붙인 실행력은 값지다. 저자들이 남긴 다음 과제도 정직하다 — 좌우 대칭성을 명시적으로 유도하는 학습 설계(현재는 오른손이 먼저 수렴해 비대칭이 남았다)와 시각 등 환경 인지의 도입(현재 정책은 막대를 전혀 보지 않는다). 후자가 붙으면 이 방법은 “정해진 몽키바 코스 통과”에서 “임의의 구조물 사이 이동”으로 넘어갈 수 있을 것이다.