📃From Simple to Complex Skills 리뷰

From Simple to Complex Skills: The Case of In-Hand Object Reorientation

• Paper Link

• Project Link

• Haozhi Qi, Brent Yi, Mike Lambeta, Yi Ma, Roberto Calandra, Jitendra Malik

1. 🤖 In-hand object reorientation 작업을 위해, 본 논문은 미리 학습된 저수준 skill들을 재사용하는 계층적 정책(hierarchical policy)을 제안하여 sim-to-real gap과 학습 효율성 문제를 해결합니다.
2. 🦾 또한, 시스템은 일반화 가능한 객체 자세 추정기(generalizable object pose estimator)를 도입하며, 이는 저수준 skill 정책의 피드백과 잔여 동작(residual action)을 활용하여 복잡한 조작 환경에서 정확한 자세 추정을 가능하게 합니다.
3. ✨ 실험 결과, 제안된 접근 방식은 scratch부터 학습하는 baseline보다 더 빠르게 수렴하고 높은 성능을 보이며, 다양한 객체에 대한 현실 세계 sim-to-real transfer에서 강력한 견고함과 일반화 능력을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 로봇의 In-Hand Object Reorientation이라는 복잡한 작업을 수행하기 위해 기존에 학습된(pre-trained) 저수준(low-level) 스킬을 재사용하는 계층적 정책(hierarchical policy) 시스템을 제안합니다. 시뮬레이션에서 정책을 학습하고 실제 세계로 전이(transfer)하는 것이 dexterous manipulation에서 유망한 접근 방식이지만, 각 새로운 작업에 대해 sim-to-real gap을 메우는 데에는 reward engineering, hyperparameter tuning, system identification과 같은 상당한 인간의 노력이 필요합니다. 본 연구는 이러한 문제를 해결하기 위해 계층적 접근 방식을 사용합니다.

핵심 방법론 (Core Methodology):

본 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다: Planner Policy (\pi_{plan})와 Skill Policy (\pi_{skill}).

1. Skill Policy (\pi_{skill}):
   • 이것은 미리 학습된 저수준 스킬로, In-Hand Object Rotation 정책 [6]에 기반합니다. 특정 회전 축 k에 대해 객체를 회전시키는 방법을 학습합니다.
   • \pi_{skill}의 입력 o_{skill_t}는 로봇의 고유수용성(proprioception) 정보 (관절 위치 \theta_{t-T:t} 및 명령된 관절 목표 a_{skill_{t-T-1:t-1}})와 RGB-D 카메라에서 얻은 깊이 이미지(depth image) 임베딩 d_{t-T:t}를 포함하는 시간적 시퀀스(temporal sequence)입니다 (여기서 T=30 타임스텝의 기록을 사용).
   • \pi_{skill}은 로봇에 대한 원시 관절 위치 목표(raw joint position targets) a_{skill_t}를 출력하며, 추가적으로 객체의 물리적 속성과 형태를 나타내는 특징 벡터 z_t를 출력합니다. 이 z_t는 고수준(high-level) 정책에 대한 피드백으로 사용됩니다. z_t는 시각 정보를 기반으로 객체의 기하학적 정보를 인코딩합니다.
2. Planner Policy (\pi_{plan}):
   • 이것은 고수준 정책으로, a_{plan_t} = \pi_{plan}(o_{plan_t}, q_{goal_t}, z_t)와 같이 정의됩니다.
   • \pi_{plan}의 입력 o_{plan_t}는 다음과 같은 정보를 포함합니다:
     • 객체의 상태 시퀀스 s_{t-5:t} (3D 위치 p_t 및 단위 쿼터니언(unit quaternion) q_t로 표현된 방향).
     • 객체와 목표 방향 사이의 상대적 변환 \zeta_{t-5:t} = \Delta(q_t, q_{goal_t}) = q_{goal_t} \cdot \bar{q}_t.
     • 이전 타임스텝의 planner action a_{plan_{t-6:t-1}}.
     • 가장 중요한 것은, 저수준 스킬 정책인 \pi_{skill}에서 제공하는 피드백 z_t입니다. 이는 \pi_{plan}이 저수준 스킬의 반응을 인지하고 오류를 수정하는 데 도움을 줍니다.
   • \pi_{plan}은 3계층 MLP(Multi-Layer Perceptron) 네트워크를 사용하며, ELU(Exponential Linear Unit) 활성화 함수를 가집니다.
   • \pi_{plan}의 출력은 7차원 범주형 분포(categorical distribution)로, 여섯 개의 정규 회전 축 (\pm x, \pm y, \pm z) 중 하나와 추가적인 STOP 명령에 해당합니다. 쿼터니언은 네트워크 입력 시 6D representations으로 변환됩니다.
   • Residual Actions (a_{rest}): \pi_{plan}은 선택된 회전 축 외에, 저수준 스킬의 출력에 보완적인 잔여 동작(residual action) a_{rest}를 출력합니다. 최종적으로 로봇에게 전달되는 동작은 a_t = a_{rest} + a_{skill_t}입니다. 이 a_{rest}는 planner policy가 low-level skill의 한계를 보완하고 추가적인 오류 보정을 수행할 수 있도록 합니다.

학습 및 보상:

• \pi_{plan}은 시뮬레이터에서 제공되는 ground-truth 객체 상태 q_t를 사용하여 학습됩니다.
• 보상 함수는 r = 1/(d(q_t, q_{goal_t}) + \epsilon) + \lambda_s \mathbb{1}(Success)로 구성됩니다. 여기서 d(q_t, q_{goal_t})는 회전 거리 보상이며, \mathbb{1}(Success)는 성공 보너스입니다. 기존 연구에 비해 보상 함수가 훨씬 단순하며, 이는 저수준 스킬이 이미 잘 튜닝되어 있기 때문에 가능합니다.

Generalizable State Estimator:

• 실제 세계로 정책을 전이하기 위해, 시스템은 강건한 객체 자세 추정기(pose estimator)를 필요로 합니다.
• 제안된 자세 추정기는 신경망 \phi로 구현된 재귀적 상태 추정기(recursive state estimator)입니다.
• 입력은 고유수용성, 동작, 제어 오류, 저수준 스킬 피드백(z_t), 그리고 이전에 추정된 객체 상태 시퀀스입니다.
• \phi는 다음 타임스텝의 객체 상태 \hat{s}_t를 출력합니다.
• 이 추정기는 Transformer 구조를 사용하며, 특징 시퀀스 f_t = [q_t, a_{t-1}, q_t - a_{t-1}, \hat{s}_{t-1}, z_t]를 입력으로 받아 \hat{s}_t를 예측합니다.
• 학습은 시뮬레이션에서 \pi_{plan}을 사용하여 롤아웃(rollout)하며, 예측된 쿼터니언과 ground-truth 쿼터니언 사이의 회전 거리가 0.8 라디안을 초과하거나 예측된 객체 위치가 3cm 이상 벗어나면 에피소드를 리셋하는 방식으로 \ell_2 distance를 최소화합니다.

실험 및 결과:

• 정책 학습 성능: 저수준 스킬을 사용한 계층적 정책은 학습에서 scratch부터 학습하는 baseline 정책보다 8배 더 빠르게 수렴하며, 더 높은 성공률을 달성합니다. 특히 객체 상태 정보에 노이즈가 증가할수록 baseline은 불안정해지고 수렴에 실패하는 반면, 제안된 방법은 안정적인 성능을 유지합니다. 이는 미리 학습된 모델이 탐색 공간을 구조화하고 의미 없는 무작위 행동을 줄여주기 때문입니다.
• Out-of-Distribution Robustness: 제안된 정책은 관측 노이즈, 물리적 무작위화(physical randomizations), 객체 형태 변화와 같은 out-of-distribution 시나리오에서 baseline보다 훨씬 강건함을 보여줍니다.
• Generalizable State Estimation: 학습된 자세 추정기를 사용하여, 시뮬레이션에서 예측된 객체 상태를 바탕으로 실제 세계에 정책을 성공적으로 전이합니다. 제안된 방법은 baseline보다 policy smoothness와 energy metrics에서 우수한 성능을 보여, 더 안정적인 객체 조작을 가능하게 합니다.
• Ablation Experiments:
  • Residual Actions 및 Low-Level Skill Feedback: 이 두 요소가 없으면 성능이 크게 저하됩니다. Residual actions는 미세한 오류 보정을 제공하고, z_t를 통한 저수준 스킬 피드백은 \pi_{plan}이 low-level skill의 내부 상태와 객체 속성을 이해하는 데 필수적임을 입증합니다.
  • Planner Policy Inputs: 쿼터니언 차이만 사용하는 것부터 시작하여, 객체 위치, 관측 기록, 이전 planner actions, 그리고 고유수용성 정보를 순차적으로 추가하면서 정책 성능이 점진적으로 향상됨을 보여줍니다. 이는 planner와 저수준 스킬 정책 간의 closed-loop feedback의 중요성을 강조합니다.
• 실제 세계 실험: Allegro Hand 로봇을 사용하여 훈련 데이터에 없었던 (out-of-distribution) 6가지 다양한 실제 객체에 대해 성공적인 in-hand reorientation을 시연했습니다. 특히 작은 큐브와 같은 조작하기 어려운 객체에도 잘 일반화되는 모습을 보여주었습니다.

결론 및 한계:

본 연구는 미리 학습된 저수준 스킬을 활용하여 in-hand object reorientation을 위한 계층적 정책을 구축하고, 강건하고 일반화 가능한 상태 추정기를 학습함으로써, 훈련 효율성, 강건성, 일반화 가능성을 크게 향상시킬 수 있음을 입증했습니다. 한계점으로는 저수준 정책의 효과성에 의존하며, 손가락과 객체 사이에 미끄러짐(slipping)이 발생하지 않는다는 가정이 있습니다. 또한, 현재 자세 추정 오차가 시간에 따라 누적될 수 있습니다. 향후 연구로는 촉각 센서(tactile sensing)를 통합하고 시각(vision)과 촉각(touch)을 결합하여 정확하고 장기적인 자세 추적을 가능하게 하는 방향을 제시합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

• Planner가 저수준 정책의 피드백을 받아 residual action으로 오차를 보정하는 구조가 핵심
• 고유수용감각 피드백과 저수준 스킬 예측을 활용한 일반화 가능한 물체 pose estimator 제안
• Easy 조건에서 baseline과 동등한 성능을 보이면서 수렴 속도 8배 향상
• Distribution shift 조건에서 baseline이 완전 실패하는 반면 본 방법은 80% 성공률 유지
• 실제 환경에서 6가지 다양한 물체로 테스트, 37.5%~93.3% 성공률 달성
• 대칭적이고 텍스처가 없는 물체의 조작도 지원