📃Manipulation by Feel 리뷰

Touch-Based Control with Deep Predictive Models

• Paper Link
• Project Link
• Code Link
  • Refactored Version

와 관련있는 논문. Digit 1개로만 실험했었지만 이후 DIGIT 논문에서는 2개로 구슬을 pinching 하는 실험을 진행

1. 🤖 본 논문은 고해상도 GelSight 촉각 센서와 딥 예측 모델을 결합하여 시각이 가려진 상황에서도 로봇의 연속적인 non-prehensile 조작을 가능하게 하는 deep tactile MPC 프레임워크를 제안합니다.
2. 🧠 이 방법은 로봇이 비지도 자율 상호작용을 통해 원시 촉각 센서 입력에서 딥 예측 모델을 학습하고, 이를 Model Predictive Control (MPC)에 활용하여 사용자가 지정한 촉각 목표를 직접 달성합니다.
3. ✨ 제안된 deep tactile MPC는 공 재배치, 아날로그 스틱 조작, 20면체 주사위 굴리기와 같은 실제 조작 작업에서 기존의 수동 설계 baseline보다 뛰어난 성능을 보여, 촉각 기반 로봇 제어의 높은 잠재력을 입증합니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

“Manipulation by Feel: Touch-Based Control with Deep Predictive Models” 논문은 고해상도 촉각 센서(GelSight)와 딥러닝 기반 예측 모델을 활용하여 로봇이 촉각 정보를 기반으로 물체를 조작하는 문제를 다룹니다. 특히 연속적이고 비파악(non-prehensile)적인 조작에서 촉각 센싱을 효과적으로 활용하는 어려움을 해결하고자 합니다.

이 연구는 인간이 조작 시 촉각에 크게 의존한다는 점(예: 손이 마비되면 성냥을 켜기 어려운 실험)을 강조하며, 로봇 조작에서 시각 센싱이 가려지는 접촉 지점에서 촉각의 중요성을 역설합니다. 기존 로봇 촉각 센싱의 한계점(낮은 해상도, 물리 모델의 어려움, 촉각 목표 설정의 모호함)을 지적하며, GelSight와 같은 최신 촉각 센싱 기술과 딥러닝의 발전이 이 문제를 해결할 수 있음을 제시합니다.

핵심 방법론은 “Deep Tactile MPC” (Model Predictive Control) 프레임워크입니다. 이 프레임워크는 로봇의 자율적인 상호작용을 통해 수집된 데이터로부터 촉각 예측 모델을 학습합니다.

1. 데이터 수집 (Autonomous Data Collection): 로봇은 ball, analog stick, 20-sided die와 같은 물체와 무작위 움직임을 통해 자율적으로 상호작용하며 대량의 촉각 이미지 시퀀스와 해당 액션 데이터를 수집합니다. 예를 들어 ball repositioning task에서는 7400개의 궤적, analog stick task에서는 3000개, die rolling task에서는 4500개의 궤적이 수집되었습니다. 각 궤적은 15~18 타임스텝으로 구성되며, 센서의 x, y, z 방향으로 ±6.0 mm의 무작위 움직임이 적용됩니다. 액션은 3 타임스텝 동안 반복되지만, 이미지는 매 타임스텝마다 기록되어 불연속적인 동역학 환경에서 모델 예측 정확도를 높입니다.
2. 딥 예측 모델 학습 (Deep Predictive Model Learning): 수집된 데이터를 사용하여 딥 순환 합성곱 신경망(deep recurrent convolutional network)이 학습됩니다. 이 모델은 현재 GelSight 센서 이미지(I_0)와 미래 액션 시퀀스(a_{1:T})를 입력받아 미래의 GelSight 센서 관측치 시퀀스(\hat{I}_{1:T})를 예측합니다. 모델의 구조는 기존의 비디오 예측 모델(예: [12], [13]에서 제안된 아키텍처)을 따르며, 이는 촉각 도메인에서의 동역학 \hat{I}_{1:T} = g(a_{1:T}, I_0)을 학습합니다. 이 모델은 raw tactile observation으로부터 물체의 접촉 패턴 변화를 정확하게 예측합니다.
3. 촉각 MPC 제어 (Tactile MPC Control): 학습된 예측 모델은 MPC 프레임워크 내에서 제어에 활용됩니다. 사용자는 원하는 촉각 상태를 나타내는 목표 촉각 이미지(I_g)를 직접 제공하여 목표를 지정합니다.
   • 계획 (Planning): 각 제어 스텝에서, 최적의 미래 액션 시퀀스(a_{1:T})를 찾기 위해 최적화 문제가 해결됩니다. 이 문제의 목적은 예측된 촉각 이미지(\hat{I}_t)와 목표 이미지(I_g) 사이의 차이를 최소화하는 비용 함수(c_t(I_g, \hat{I}_t))를 줄이는 것입니다. 본 연구에서는 이 비용 함수로 픽셀 공간에서의 평균 제곱 오차(Mean Squared Error, MSE)를 사용합니다. 최적화 공식은 다음과 같습니다: a_{1:T} = \arg \min_{a_{1:T}} \sum_{t=1,...,T} c_t(I_g, \hat{I}_t)
   • 최적화 기법 (Optimization Method): 샘플링 기반의 최적화 기법인 Cross-Entropy Method (CEM) [29]이 사용됩니다. CEM은 반복적으로 액션 시퀀스를 샘플링하고, 예측 모델을 사용하여 비용을 평가하며, 더 나은 시퀀스를 찾기 위해 탐색 분포를 정제합니다. 본 연구에서는 CEM을 3회 반복하고 각 반복에서 100개의 샘플을 사용합니다. 예측 horizon은 15~18 타임스텝입니다.
   • 실행 (Execution): CEM으로 찾은 최적의 액션 시퀀스 중 첫 번째 액션만 로봇에 적용됩니다.
   • 재계산 (Receding Horizon Control): 모델의 부정확성과 환경 변화에 대응하기 위해, 이 계획 과정은 매 타임스텝마다 반복되어 (receding horizon control) 제어의 강건성을 높입니다.

실험은 ball repositioning, analog stick deflection, die rolling 세 가지 실제 촉각 조작 태스크에서 수행되었습니다. 평가 지표로는 최종 촉각 이미지와 목표 이미지 간의 MSE, 그리고 수동으로 주석 처리된 물체(pressure centroid)의 픽셀 공간 거리(물리적 위치를 반영)가 사용되었습니다. Die rolling 태스크의 경우 원하는 면이 위로 향하는 성공률도 측정되었습니다.

이 방법은 수동으로 설계된 베이스라인(압력 중심을 감지하고 목표를 향해 직선으로 이동하는 방식)과 비교되었을 때 모든 태스크에서 상당한 성능 향상을 보였습니다. Ball repositioning 태스크에서 촉각 MPC는 2.10mm의 중앙값 L2 거리(centroid)를 달성한 반면 베이스라인은 2.97mm를 기록했습니다. Analog stick 태스크에서는 각각 5.31mm 대 8.86mm를 보였습니다. Die rolling 태스크에서는 촉각 MPC가 86.6%의 성공률을 보이며 베이스라인의 46.6%를 크게 앞섰습니다. 이는 die rolling과 같이 복잡한 동역학(미끄러짐, 구름 등)을 포함하는 태스크에서 심층 동역학 모델의 강점을 입증합니다.

논문은 이 방법이 촉각만으로 다양한 조작 태스크를 수행할 수 있음을 보여주지만, 단기 horizon 제어에 한정된다는 점과 단일 손가락 조작의 한계를 언급합니다. 향후 연구 방향으로는 비디오 예측 모델의 발전과 함께 다지(multi-fingered) 로봇 핸드에 촉각 센서를 통합하여 더 복잡한 인-핸드(in-hand) 조작 및 조립 기술을 구현하는 것을 제안합니다.