📃HandelBot 리뷰

Real-World Piano Playing via Fast Adaptation of Dexterous Robot Policies

• Paper Link

• Project Link

• Amber Xie, Haozhi Qi, Dorsa Sadigh

1. 🎹 HandelBot은 sim-to-real gap으로 인해 정밀한 실제 환경 dexterity가 어려운 bimanual piano playing을 위한 최초의 학습 기반 시스템입니다.
2. ✨ 이 시스템은 시뮬레이션으로 훈련된 정책을 real-world data로 빠르게 적응시키기 위해, 먼저 structured trajectory refinement로 공간 정렬을 수정하고 이어서 residual reinforcement learning으로 미세한 corrective action을 학습하는 2단계 파이프라인을 사용합니다.
3. ✅ HandelBot은 5곡의 다양한 곡에서 성공적인 real-world execution을 달성하며, 단 30분 미만의 물리적 상호작용 데이터만으로 직접적인 시뮬레이션 배포보다 1.8배 뛰어난 성능을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

HandelBot 논문은 다지(multi-fingered) 로봇 손을 이용한 정교한 현실 세계 피아노 연주라는 난제를 해결하기 위한 프레임워크를 제안합니다. 이 작업은 시뮬레이션에서 훈련된 정책(\pi_{sim})이 밀리미터 규모의 정밀도를 요구하는 태스크에서 현실 세계로 직접 배포될 때 발생하는 심-투-리얼(sim-to-real) 갭으로 인한 실패를 극복하는 데 중점을 둡니다.

I. 서론 및 배경

기존의 로봇 피아노 연주 시스템은 전용 하드웨어와 수작업으로 제어되는 컨트롤러에 의존했습니다. 최근의 학습 기반 접근 방식은 범용 로봇 하드웨어를 사용하여 시뮬레이션에서 인상적인 dexterous 피아노 연주를 달성했지만, 현실 세계로의 심-투-리얼 전송은 여전히 미개척 분야였습니다. HandelBot은 이러한 간극을 메우며, 특히 양손(bimanual) 피아노 연주에 초점을 맞춥니다. 이 시스템은 시뮬레이션에서의 강력한 사전 훈련(pretraining)과 현실 세계에서의 residual reinforcement learning을 결합하여 복잡한 양손 피아노 연주를 가능하게 합니다.

II. HandelBot 핵심 방법론

HandelBot은 시뮬레이션 훈련된 정책을 현실 세계 피아노 연주에 적용하기 위해 두 단계의 프로세스를 따릅니다.

A. 시뮬레이션에서의 강화 학습 (RL in Simulation)

첫 번째 단계는 시뮬레이션 환경에서 핵심 피아노 연주 동작을 학습하는 것입니다.

• 보상 설계 (Reward Design): RoboPianist[1]의 설계를 따르며, 목표 노트를 연주하는 것에 대한 key press reward, 올바른 건반 근처에 있는 것에 대한 dense fingering reward, 그리고 energy penalty로 구성됩니다. Appendix에서는 Key Press reward가 0.7 \cdot \left(\frac{1}{K}\sum_{i} g(||k^s_i - 1||^2)\right) + 0.3 \cdot (1 - \mathbf{1}_{\{\text{false positive}\}})와 같이 변형되어, 잘못된 키를 누르는 것이 거의 불가피한 현실 환경의 특성을 반영했습니다.
• 관측 및 행동 공간 (Observations and Actions): 로봇 고유수용성(proprioception), 현재 피아노 활성화, 목표 피아노 활성화, 활성화된 손가락 등이 관측 공간에 포함됩니다. 행동 공간은 delta joint positions으로, 로봇 손의 저수준 제어 명령을 나타냅니다. 특히 Tesollo DG-5F 손의 경우, 마지막 joint angle을 1 라디안으로 고정하여 action space를 줄이고 손가락 끝으로 건반을 누르도록 유도합니다. 손목 궤적(wrist trajectory)은 악보를 기반으로 스크립트되며, 여러 노트가 동시에 발생할 경우 평균 Y 위치와 최소 X 위치를 사용하여 집계됩니다.
• 정책 학습: 빠르고 병렬적인 롤아웃과 dense reward 신호를 활용하여 PPO [68] 알고리즘으로 정책 \pi_{sim}을 훈련합니다. 이 \pi_{sim}은 시뮬레이션에서 강력한 성능을 보이지만, 현실 세계에서는 컨트롤러 및 피아노 건반 누르기 dynamics의 불일치로 인해 성능 저하가 발생합니다.

B. 정책 정제 (Policy Refinement)

Residual RL을 실행하기 전에, 현실 세계에서 경량화된 정책 정제 절차를 적용합니다. 이는 시뮬레이션에서 훈련된 \pi_{sim}으로부터 얻은 초기 개방 루프 궤적 \tau^0 = (s^0_0, ..., s^0_T)를 수정하여 \tau^* = (s^*_0, ..., s^*_T)를 생성하는 것을 목표로 합니다.

• 측면 조인트 보정 (Lateral Joint Correction): 도메인 지식(건반 기하학, 손의 kinematics)을 활용하여 일관된 측면 편향(lateral biases)과 접촉 오정렬(contact misalignments)을 수정합니다.
  • \pi_{sim}을 현실 로봇에서 개방 루프(open-loop) 방식으로 실행하고, 각 시간 단계 t에서 (i) 목표 노트 및 해당 손가락, (ii) 실제로 눌린 건반 세트 K_{press_t}를 기록합니다.
  • 각 손가락에 대해 목표에 가장 가까운 눌린 건반 k_{press_t}를 식별합니다. 만약 k_{press_t}가 목표 k_{target_t}와 다르다면, 방향성 오차(signed directional error)를 계산합니다: \Delta_t = \begin{cases} +\delta & \text{if } k_{press_t} < k_{target_t} \\ -\delta & \text{if } k_{press_t} > k_{target_t} \\ 0 & \text{otherwise} \end{cases} 여기서 \delta는 측면 손가락 조인트 조정량을 제어하는 step size입니다.
• 반복적 업데이트 (Iterative Updates): 이 보정 절차는 궤적 실행과 업데이트를 번갈아 가며 반복적으로 적용됩니다. \delta는 초기에는 큰 값으로 설정하고, 매 반복마다 점진적으로 감소(annealing)시켜 진동을 피하고 부드러운 수렴을 돕습니다. 인접 손가락에 0.3\Delta_t와 같은 작은 보정 항을 추가하여 공간적 분리(spatial separation)를 장려합니다. 여러 건반이 눌릴 경우, 왼쪽의 활성 손가락은 낮은 음의 건반을 누르고, 오른쪽의 활성 손가락은 높은 음의 건반을 누른다고 가정합니다.
• 청크 단위 업데이트 (Chunked Updates): 업데이트는 매 시간 단계가 아닌, 길이 K의 temporal chunks 단위로 수행됩니다. 이는 동작의 부드러움을 위해, 손가락 끝 오차를 t+K+L까지 고려하여 anticipatory spatial adjustments를 촉진합니다. $\Delta_{chunk_t}$는 다음과 같이 계산됩니다: \Delta_{chunk_t} = \frac{1}{K+L} \sum_{j=t}^{t+K+L} \Delta_j 이 반복 과정의 끝에서, 가장 좋은 F1 점수를 가진 궤적을 정제된 궤적(\tau^*)으로 저장합니다.

C. 현실 세계 잔차 강화 학습 (Real-World Residual Reinforcement Learning)

정책 정제 단계에서 얻은 개방 루프 궤적 s^*_0, ..., s^*_T를 미세 조정하기 위해 residual reinforcement learning 프레임워크를 채택합니다.

• 잔차 정책 공식화 (Residual Policy Formulation): 잔차 정책 \pi_{res}는 기본 행동에 대한 부가적인 보정(additive correction)을 출력합니다: \hat{s}_{t+1} = \pi_{res}(o_t) + s^*_{t+1} 여기서 o_t는 시간 t의 현실 세계 관측값이고, s^*_{t+1}은 개방 루프 궤적의 다음 상태를 나타냅니다. \pi_{res}의 출력은 작은 섭동(perturbations)으로 제한되어 더 안전한 탐색과 빠른 학습을 가능하게 합니다.
• 잔차 RL 목표 (Residual RL Objective): 현실 세계에서는 피아노의 MIDI 출력에서 파생된 key press reward 신호만 사용합니다 (시뮬레이션에서 사용된 것과 동일). \pi_{res}는 현실 세계 dynamics 하에서 기대 보상을 최대화하도록 강화 학습을 통해 훈련됩니다.
• 유도 잡음 (Guided Noise): TD3 [65] 알고리즘을 사용하며, 샘플링된 행동에 잡음 항을 추가합니다. 특히, 정책 정제에서 사용된 측면 조정을 모티브로, 잡음 $\epsilon \sim \mathcal{N}(0,1)$의 방향을 올바른 측면 움직임의 방향으로 유도합니다. 확률 Pr(\text{guided noise}) = 0.5로, 해당 측면 조인트의 잡음 부호가 \Delta_t와 동일한 부호가 되도록 변경하여 $\hat{\epsilon}$을 생성합니다. 최종 행동은 a = \mu_\theta(o) + \text{clip}(\hat{\epsilon}, -0.5, 0.5)가 됩니다. 이는 탐색을 올바른 건반을 누르는 방향으로 유도하는 경량 휴리스틱입니다.

III. 실험 결과

HandelBot은 5개의 다양한 곡(Twinkle Twinkle, Ode to Joy, Hot Cross Buns, Fur Elise, Prelude in C)에 대해 양손 로봇 시스템으로 평가되었습니다.

• 하드웨어 설정: Tesollo DG-5F 손과 Franka Emika Panda 암 및 FR3 암을 사용합니다. MIDI 키보드를 통해 어떤 노트가 눌렸는지 감지하여 보상 계산에 활용합니다.
• 안전 및 배포: PyRoki [67]를 사용하여 안전 레이어를 추가하고, 정책 행동은 10Hz에서 생성된 후 80Hz로 선형 보간됩니다. 암은 Polymetis 컨트롤러를 사용하여 100Hz로 제어됩니다.
• 주요 결과 (Fig. 4): HandelBot은 모든 평가된 음악에서 일관적으로 가장 높은 F1 점수를 달성했습니다. 시뮬레이션 데이터만 사용하는 방법(예: \pi_{sim}(CL) 및 \pi_{sim})은 심-투-리얼 갭으로 인해 성능이 현저히 낮았습니다. policy refinement는 손가락 누름을 올바른 목표 키에 직접 정렬하는 데 효과적이며, residual RL은 오류를 해결하고 물리적 dynamics에 적응하여 성능을 크게 향상시켰습니다.
• 잔차 RL의 중요성 (Table I, II): 초기화된 궤적(refined trajectory > \pi_{sim} > no initialization) 위에 residual RL을 학습하는 것이 더 높은 F1 점수로 이어진다는 것을 보여주었습니다. 이는 정제된 정책이 탐색 공간을 줄여 더 안정적이고 효율적인 훈련으로 이어진다는 가설을 뒷받침합니다. RL discount factor \gamma가 낮으면 F1 점수가 낮아지고 움직임이 불규칙해집니다. guided noise는 default 설정(Pr(\text{guided noise}) = 0.5)이 Pr(guided noise) = 0과 유사했지만, 항상 guided noise를 샘플링하는 것은 성능 저하로 이어졌는데, 이는 손가락 탐색이 편향되어 최적이 아닌 데이터로부터의 학습을 방해하기 때문으로 추정됩니다.
• 폐쇄 루프 Sim-to-Real (Table I): 하이브리드 실행(hybrid execution)은 시뮬레이션 환경을 현실 환경과 병렬로 실행하여 시뮬레이션 관측을 사용함으로써 심-투-리얼 갭을 완화하는 방식입니다. 하이브리드 실행이 직접 전송보다 개선을 보였지만, 현실 세계 데이터를 활용하는 HandelBot 및 다른 방법들과는 여전히 성능 차이가 컸습니다.

IV. 결론 및 한계

HandelBot은 시뮬레이션에서의 강화 학습, 정책 정제, 그리고 잔차 강화 학습을 통해 로봇 피아노 연주의 극도의 정밀도 요구 사항을 해결합니다. 이 방법은 취약하고 불완전한 시뮬레이션 정책을 단 30분이라는 적은 양의 현실 세계 데이터를 사용하여 훨씬 견고한 피아노 연주 로봇으로 변환할 수 있음을 보여줍니다.

한계점:

• HandelBot은 스크립트된 end-effector 움직임과 고정된 orientation에 의존하여 매번 수동 튜닝이 필요합니다. End-effector 움직임에 대한 residual RL은 이 문제를 줄일 수 있을 것입니다.
• 이러한 제약으로 인해 엄지손가락과 새끼손가락의 사용이 어려워져 비교적 간단한 곡으로만 평가가 이루어졌습니다. 향후 작업에서는 더 복잡한 곡을 위해 회전 또는 학습된 움직임을 탐색할 수 있습니다.
• 정책 정제 단계는 인간이 가이드하는 휴리스틱에 의존합니다. 이는 피아노 연주에는 적합하지만, 다른 태스크에는 직접 적용하기 어려울 수 있습니다. 그러나 비전-언어 모델(vision-language models)과 같은 대규모 모델을 통해 다른 태스크에서도 정책 정제가 가능할 수 있습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

• Structured refinement 단계에서 물리적 rollout 기반으로 lateral finger joint를 조정하여 공간적 misalignment를 보정
• Residual RL로 fine-grained corrective action을 자율적으로 학습
• 밀리미터 수준의 정밀도가 요구되는 양손(bimanual) 피아노 연주를 5곡에 걸쳐 성공적으로 시연
• Sim2Real 갭을 빠른 적응으로 극복하는 실용적 접근법 제시