📃RotateIt 리뷰

General In-Hand Object Rotation with Vision and Touch

• Paper Link

• Project Link

• Haozhi Qi, Brent Yi, Sudharshan Suresh, Mike Lambeta, Yi Ma, Roberto Calandra, Jitendra Malik

• UC Berkeley, Meta AI, CMU, TU Dresden

• Conference on Robot Learning (CoRL), 2023

1. 🚀 본 연구는 multimodal sensory input(시각, 촉각, proprioception)을 활용하여 손가락 끝으로 다양한 축에서 물체를 회전시키는 시스템인 RotateIt을 제안합니다.
2. 💡 RotateIt은 시뮬레이션에서 privileged information을 활용한 oracle policy를 훈련한 후, visuotactile transformer를 통해 현실적인 센서 입력으로부터 이 정보를 추론하여 visuotactile policy를 학습하는 이중 단계 접근 방식을 사용합니다.
3. ✅ Vision 및 tactile sensing이 조작 성능과 OOD(Out-of-Distribution) generalization에 중요함을 보여주며, 시뮬레이션에서 훈련된 정책이 실제 세계의 다양한 물체에 성공적으로 적용될 수 있음을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

Haozhi Qi 외 연구진은 “General In-Hand Object Rotation with Vision and Touch” 논문에서 시각 및 촉각 피드백을 통합하여 다양한 객체를 손 안에서 다축 회전시키는 시스템인 RotateIt을 소개합니다. 이 연구는 기존의 조작 기술이 직면했던 일반화 및 안정성 문제를 해결하며, 특히 다양한 형태의 객체에 대한 안정적인 힘 폐쇄(force closure) 유지의 어려움을 극복하는 데 중점을 둡니다.

핵심 방법론 (Core Methodology)

RotateIt은 시뮬레이션에서 훈련되고 실제 세계에 직접 배포되는 sim-to-real 접근 방식을 따릅니다. 훈련은 크게 두 단계로 구성됩니다.

1. Oracle Policy 훈련 (Oracle Policy Training):
   • 특권 정보 (Privileged Information): 시뮬레이션 환경에서 객체의 정확한 물리적 특성과 형상 정보(ground-truth physical properties and shapes)를 “특권 정보(extrinsics)” z_t 로 활용합니다. 이 정보는 정책이 객체의 특성을 완벽하게 아는 상태를 모방합니다.
   • 형상 정보 (Shape Information): 객체의 3D 메시에서 N_p개의 포인트(point)를 샘플링한 후, PointNet [72]을 사용하여 c_p차원의 특징 벡터 z_{shape_t}로 인코딩합니다. 이전 연구와 달리 객체의 명시적인 형상 정보를 정책에 주입하는 것이 복잡한 객체 조작에 중요함을 발견했습니다.
   • 물리적 속성 및 자세 (Physical Property and Pose): 객체의 질량(mass), 무게 중심(center of mass), 마찰 계수(coefficient of friction), 스케일(scale), 반발 계수(restitution)를 포함하는 7차원 물리적 속성 벡터와 객체의 위치, 자세(orientation, 쿼터니언), 각속도(angular velocity)를 포함하는 10차원 자세 벡터를 결합하여 8차원 인코딩 z_{phys_t}로 변환합니다. 최종 특권 인코딩 z_t는 z_{phys_t}와 z_{shape_t}를 결합한 것입니다: z_t = [z_{phys_t}, z_{shape_t}].
   • 관측 및 출력 (Observations and Outputs): Oracle policy \pi는 로봇의 고유수용감각(proprioception) p_t와 인코딩된 특권 정보 z_t를 입력으로 받습니다. p_t는 조인트 위치 및 이전 액션의 짧은 시간 윈도우(temporal window)를 포함합니다. 정책은 16개 관절에 대한 PD Controller의 목표값인 액션 a_t를 출력합니다. 즉, a_t = \pi(p_t, z_t)입니다.
   • 보상 함수 (Reward Function): 객체 회전 보상 r_{rotr} = \max(\min(\omega \cdot k, r_{max}), r_{min})은 객체의 각속도 \omega가 목표 회전축 k와 일치하도록 장려합니다. 의도하지 않은 회전(특히 x, y축)을 방지하기 위해 r_{rotp} = -\|\omega \times k\|_1 형태의 페널티를 추가합니다. 이외에도 손 자세 이탈, 토크, 에너지 소모, 객체 선형 속도에 대한 페널티 항을 포함하여 안정적이고 효율적인 동작을 유도합니다.
   • 정책 최적화 (Policy Optimization): PPO [75]를 사용하여 Oracle policy를 최적화하며, 훈련 중 다양한 객체와 무작위화된 물리적 특성 및 초기 그립을 사용합니다.
2. Visuotactile Policy 훈련 (Visuotactile Policy Training):
   • 동기 (Motivation): 실제 세계에서는 특권 정보 z_t에 접근할 수 없으므로, 로봇의 실제 관측(시각, 촉각, 고유수용감각)을 통해 z_t의 표현 \hat{z}_t를 추론해야 합니다.
   • 촉각 센싱 (Touch Sensing - Figure 4):
     • 시뮬레이션에서는 시뮬레이터가 제공하는 2D 평면상의 이산화된 접촉 위치(discretized contact location)를 촉각 정보의 대용으로 사용합니다 (8개 위치). 접촉 관측 o_{touch_t}는 접촉 개수 N_c에 9차원 배열(8차원 접촉 위치 + 1차원 손가락 인덱스)입니다. MLP를 통해 각 접촉 정보를 처리한 후 평균 풀링(average pooling)으로 통합합니다.
     • 실제 세계에서는 손가락 끝에 장착된 4개의 전방향(omnidirectional) 시각 기반 촉각 센서(vision-based touch sensor)를 사용합니다. 각 센서에서 가장 강한 픽셀의 변형(deformation)을 추적하여 접촉 위치의 대용으로 사용하며, 이 2D 키포인트(keypoint)를 직접 정책에 입력합니다.
   • 시각 센싱 (Vision Sensing - Figure 5):
     • 객체 깊이 정보(object depth)를 시각 표현으로 사용합니다. 이는 실제 세계에서 사람의 라벨링이 필요 없고, RGB 이미지의 사실적인 시뮬레이션이 어려운 반면 깊이 정보는 객체 형상을 잘 추상화하기 때문입니다.
     • 실제 배포 시에는 Segment Anything [12, 13]을 사용하여 원시 깊이 이미지(raw depth)에서 객체 전경(foreground)을 분할하여 sim-to-real gap을 줄입니다.
     • 객체 깊이 이미지 o_{depth_t}는 3-layer ConvNet을 거쳐 특징 벡터 f_{depth_t}로 인코딩됩니다. 훈련 중에는 카메라 위치와 방향을 무작위화하여 정책의 강건성을 높입니다.
   • Visuotactile Transformer (Figure 2):
     • 이 트랜스포머 \phi는 멀티모달(multimodal) 센서 스트림을 모델링하여 특권 정보의 학습된 표현 \hat{z}_t를 정확하게 추론하는 것을 목표로 합니다.
     • 인코딩된 깊이 이미지 f_{depth_t}, 인코딩된 촉각 접촉 포인트 f_{touch_t}, 조인트 위치 q_t, 이전 타임스텝의 액션 a_{t-1}을 연결하여 특징 벡터 f_t를 형성합니다.
     • 트랜스포머는 특징들의 시퀀스 f_T = \{f_{t-k}, ..., f_{t-1}, f_t\}를 입력으로 받아 예측된 외적 벡터 \hat{z}_t를 출력합니다.
   • 훈련 (Training): Oracle policy를 롤아웃(rollout)하면서 예측된 외적 벡터 \hat{z}_t를 사용하여 액션 a_t = \pi(p_t, \hat{z}_t)를 생성합니다. 동시에 실제 특권 정보 z_t를 저장하여 훈련 데이터셋 B = \{(f_T^{(i)}, z_t^{(i)}, \hat{z}_t^{(i)})\}_{i=1}^N을 구성합니다. 트랜스포머 \phi는 z_t와 \hat{z}_t 간의 l_2 거리 및 a_t와 \hat{a}_t 간의 차이를 최소화하도록 Adam [78]을 사용하여 최적화됩니다.

평가 설정 (Evaluation Setup)

• 하드웨어 (Hardware): AllegroHand (16개 관절), Intel RealSense D435 깊이 카메라, 손가락 끝에 전방향 시각 기반 촉각 센서.
• 시뮬레이션 (Simulation): IsaacGym [79] 기반. 카메라-로봇 외적(extrinsics)은 ArUco tag [80]로 보정되며, 시뮬레이션 이미지에 무작위 자세 노이즈와 사실적인 깊이 노이즈 [81]를 적용합니다.
• 객체 세트 (Object Set): EGAD [30], Google Scanned Objects [31], YCB [32], ContactDB [33]에서 엄선된 다양한 객체들을 사용하며, width/depth/height (w/d/h) 비율이 2.0 미만인 객체들로 구성됩니다.
• 평가 지표 (Evaluation Metrics):
  • Time-to-Fall (TTF): 객체가 손에서 떨어지기 전까지의 평균 에피소드 길이 (높을수록 좋음).
  • Rotation Reward (RotR): 에피소드 당 평균 \omega \cdot k 값 (높을수록 좋음).
  • Rotation Penalty (RotP): 타임스텝 당 평균 \|\omega \times k\| 값 (낮을수록 좋음, 특히 x, y축 회전에서 중요).
  • Radians Rotated (Rotations): 실제 세계 실험에서 달성된 총 회전 각도.

결과 및 분석 (Results and Analysis)

• 객체 형상의 중요성 (Object Shape Importance): Table 1과 Figure 7, Figure 8은 Oracle policy 훈련에서 PointNet을 통해 객체 형상 정보를 명시적으로 사용하는 것이 성능을 크게 향상시키며, 특히 불규칙하거나 w/d/h 비율이 균일하지 않은 객체에 대해 더 큰 이점을 제공함을 보여줍니다. 형상 정보를 사용하지 않으면 정책이 객체를 구형 또는 직육면체로 간주하는 경향이 있으며, 이는 OOD(out-of-distribution) 객체에 대한 일반화 성능을 저하시킵니다.
• Visuotactile Transformer의 중요성 (Importance of Visuotactile Transformer): Figure 6, Figure 7, Figure 8, Table 4는 시각 또는 촉각 중 하나만 사용해도 고유수용감각(proprioception)만을 사용한 baseline보다 성능이 크게 향상되며, 이 둘을 결합하면 성능이 더욱 개선되어 Oracle policy 수준에 근접함을 입증합니다. 트랜스포머 아키텍처는 이전 작업의 Temporal Convolution보다 시퀀스 모델링 능력이 뛰어납니다 (Table 4). OOD 일반화에도 Visuotactile 정보가 필수적입니다.
• 세분화된 촉각 센싱 (Finer Tactile Sensing): Table 2는 이진(binary) 접촉 정보(접촉 유무)가 추가적인 이점을 제공하지 않는 반면, 이산화된 접촉 위치(discretized contact location) 정보는 성능 향상에 매우 중요함을 보여줍니다. 이는 고유수용감각 및 액션 이력을 함께 사용하는 RotateIt의 특성 때문일 수 있습니다.
• 잠재 공간에서 학습된 표현 (Representation Learned in the Latent Space): Figure 9는 학습된 z_t 및 \hat{z}_t 인코딩이 객체의 3D 형상 정보를 잘 보존하고 있음을 보여줍니다. 특권 정보에 형상이 포함되면 정책은 객체의 실제 형상을 더 정확하게 이해하고, Visuotactile 센서는 고유수용감각만으로는 구분하기 어려운 불규칙한 객체의 형상 이해를 돕습니다.
• 실제 세계 평가 (Real-world Evaluations): Figure 10은 RotateIt이 Hora [7]와 달리 실제 세계에서 다양한 기하학적 형태의 객체들을 x축을 따라 성공적으로 회전시키는 것을 보여줍니다. RotateIt은 훈련 세트에 없는 객체들과 실제 세계의 물리적 차이에도 불구하고 뛰어난 일반화 성능을 입증합니다. 일부 촉각 센서가 비활성화된 상태에서도 유사한 성능을 보여 알고리즘의 강건성을 입증했습니다.
• 다축 훈련 (Multi-axis Training): Table 3은 단일 네트워크가 여러 회전축에 대한 객체 회전을 수행하도록 훈련할 수 있음을 보여줍니다. 원하는 회전축 k를 관측 공간에 추가하고 모방 학습(imitation learning) 목표와 함께 훈련하면, 증류된 다축 정책(distilled multi-axis policy)이 단일 축 Oracle 정책과 비슷한 성능을 보입니다.

한계 및 향후 연구 (Limitations and Future Work)

본 연구의 한계점으로는 객체가 로봇 팔의 기계적 한계 내에 있어야 하며 너무 길지 않아야 한다는 점이 있습니다. 또한, 훈련 후 정책이 고정(frozen)되어 배포 중 실제 경험을 활용하지 못한다는 점도 한계입니다. 향후 연구 방향으로는 교차 모달(cross-modal) 감독을 통한 실제 세계에서의 평생 학습(lifelong learning), 이미지 기반 촉각 센서의 전체 정보 활용, 시각 시스템 개선(예: 시각 사전 훈련) 등을 제시합니다.

RotateIt은 촉각 및 시각 정보를 통합하여 로봇이 다양한 객체를 손 안에서 다축으로 조작할 수 있게 함으로써, 일반적인 덱스터러스(dexterous) 손 조작을 향한 중요한 발걸음을 내딛었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

• 비전+촉각 센싱과 학습을 결합하여 일반적인 in-hand object rotation을 달성한 최초의 연구
• 일반 물체에서 40% 이상, 비정형 물체에서는 더 큰 성능 향상을 달성
• Visuotactile 접근법은 proprioception만 사용할 때 대비 OOD generalization 성능 저하를 41%에서 8%로 크게 줄임
• Sim2Real 전략: 비전은 depth map으로 sim/real 간 도메인 갭을 최소화하고, 촉각은 discrete contact location으로 근사 + 하드웨어에서 color tracking으로 pixel displacement 측정
• Segment-Anything를 활용한 depth camera 비전 파이프라인 통합