📃TACTO 리뷰

A Fast, Flexible, and Open-source Simulator for High-Resolution Vision-based Tactile Sensors

• Paper Link

• Code Link

• Shaoxiong Wang, Mike Lambeta, Po-Wei Chou, Roberto Calandra

• IEEE Robotics and Automation Letters (RA-L), 2022

1. 💡 TACTO는 기존 시뮬레이터들이 구현하기 어려웠던 고해상도 vision-based tactile sensors의 사실적인 촉각 신호를 초당 수백 프레임으로 렌더링할 수 있는 빠르고 유연한 오픈소스 시뮬레이터입니다.
2. ⚙️ 이 시뮬레이터는 PyBullet 같은 물리 엔진과 Pyrender 같은 렌더링 엔진을 연결하며, 물체 메쉬를 미리 로드하고 포즈를 동기화하는 OpenGL 기반 아키텍처를 통해 높은 유연성과 고속 렌더링을 제공합니다.
3. 🎯 저자들은 TACTO를 사용하여 100만 건의 그랩 데이터로 그랩 안정성을 학습하고, 대리석 조작 제어를 시뮬레이션하며, Sim2Real 격차를 줄이는 등 다양한 로봇 및 AI 애플리케이션에서의 잠재력을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

TACTO는 고해상도 시각 기반 촉각 센서를 위한 빠르고 유연하며 오픈 소스 시뮬레이터입니다. 이 시뮬레이터는 로봇 공학 및 제어 학습 분야에서 새로운 발전을 프로토타이핑, 디버깅 및 벤치마킹하는 데 중요한 역할을 합니다. 기존의 물리 엔진들은 시각 기반 촉각 센서와 같은 고해상도 촉각 센서의 정확한 시뮬레이션에 어려움을 겪었는데, 이는 접촉 역학뿐만 아니라 센서의 광학적 특성 및 해당 조명을 모델링해야 하기 때문입니다. TACTO는 이러한 격차를 해소하여 초당 수백 프레임으로 사실적인 고해상도 터치 데이터를 렌더링할 수 있으며, DIGIT 및 OmniTact를 포함한 다양한 시각 기반 촉각 센서를 시뮬레이션하도록 쉽게 구성할 수 있습니다.

이 논문은 TACTO의 구현을 이끈 원칙들과 그 원칙들이 아키텍처에 어떻게 반영되었는지 상세히 설명합니다. TACTO는 높은 처리량, 유연성, 현실성, 그리고 사용 편의성을 목표로 설계되었습니다.

핵심 방법론:

TACTO는 접촉 영역의 국부 기하학(Depth) 및 해당 렌더링(RGB)을 계산하기 위해 PyBullet과 같은 물리 시뮬레이터와 Pyrender(OpenGL 기반)와 같은 백엔드 렌더링 엔진을 연결합니다. 기존 접근 방식의 한계점을 극복하기 위해 “동기화된 장면에서 OpenGL을 사용한 RGB 렌더링” 방식을 제안합니다.

1. 퐁 모델을 사용한 RGB 렌더링 (간단하지만 덜 강력): PyBullet의 내장 카메라가 제공하는 깊이 맵에서 RGB 이미지를 렌더링하는 방식입니다. 퐁의 반사 모델을 기반으로 하지만, 빛이 젤 표면에서 카메라로 한 번만 반사된다고 가정하므로, 반사, 굴절, 그림자와 같은 고급 기능에 적합하지 않으며 GPU 가속화가 어렵습니다.
2. 깊이에서 OpenGL을 사용한 RGB 렌더링 (강력하지만 느림): OpenGL의 강력한 기능을 활용하여 깊이 맵으로부터 RGB 이미지를 렌더링하는 방식입니다. 미러, 투명 객체, 그림자, GPU 가속 등을 지원하지만, 깊이 맵에서 생성된 메시를 OpenGL로 반복적으로 로드하는 I/O 병목 현상으로 인해 속도가 초당 20프레임으로 제한됩니다.
3. 동기화된 장면에서 OpenGL을 사용한 RGB 렌더링 (제안된 방식 - 강력하고 빠름): TACTO의 핵심 아키텍처입니다. I/O 병목 현상을 피하기 위해, TACTO는 젤 표면과 객체 메시를 OpenGL 장면에 미리 로드합니다. 그런 다음 물리 시뮬레이터(예: PyBullet)에서 객체와 센서의 포즈(x, y, z, \text{roll}, \text{pitch}, \text{yaw} 또는 사원수 x, y, z, q_x, q_y, q_z, q_w)를 가져와 렌더링 엔진에서 해당 포즈를 동기화하고, 재렌더링합니다. 메시를 로드하는 것은 느리지만, 포즈를 변경하는 것은 매우 빠르므로, 이 방식을 통해 초당 최대 200프레임의 높은 속도를 달성합니다.
   • 초기화 (Initialize): TACTO는 센서 구성(카메라, 조명, 젤 메시)을 로드하고 렌더링 엔진에 설정합니다.
   • 장면 생성 (Create Scene): PyBullet이 객체 URDF를 장면에 로드하면, TACTO는 URDF를 파싱하여 분석된 메시를 렌더링 엔진에 추가합니다.
   • 시뮬레이션 스텝 (Step Simulation): PyBullet이 물리 시뮬레이션(접촉 힘, 객체 포즈 등)을 계산한 후, TACTO는 PyBullet에서 각 링크의 포즈를 가져와 렌더링 엔진의 객체 및 센서 포즈를 동기화하고, 렌더링된 촉각 이미지를 가져옵니다.

주요 특징:

• 빠른 속도: 12K 면을 가진 객체 메시와 상호작용 시, 160x120 해상도에서 GPU로 단일 DIGIT 센서를 초당 200프레임으로 렌더링 가능합니다. 접촉하는 객체의 수에 따라 렌더링 속도가 영향을 받도록 최적화되어 있습니다.
• 유연성: 구성 파일 변경만으로 DIGIT 및 OmniTact와 같은 다양한 센서 디자인을 지원합니다.
• 힘 의존적 변형: 물리 엔진에서 측정된 접촉 힘을 젤 메시의 변형 깊이에 매핑하는 함수를 적용하여 젤의 동적 범위 변형을 시뮬레이션합니다. 현재는 선형 탄성을 근사하는 조각별 선형 매핑을 사용합니다.
• 깊이로부터 렌더링: 깊이 이미지를 기반으로 촉각 이미지를 렌더링하는 옵션도 제공하여, 더 현실적인 촉각 이미지를 위해 깊이 이미지를 수정해야 하는 경우에 유용합니다.
• 실제 센서로부터의 보정: 실제 센서에서 수집된 데이터를 사용하여 시뮬레이터 렌더링을 미세 조정할 수 있는 절차를 지원하여, 실제 측정과 유사한 조명 분포 및 그림자를 구현할 수 있습니다.
• 다양한 물리 엔진과의 호환성: PyBullet을 기본으로 사용하지만, 객체/링크 포즈 및 접촉 힘을 동기화하거나 깊이 정보만으로 렌더링하는 방식을 통해 다른 물리 엔진과도 연동 가능합니다.

시뮬레이션 실험:

• 파악 안정성 학습: TACTO를 사용하여 100만 개의 파악 데이터를 수집하고, 시각 및 촉각 신호로부터 파악 안정성을 예측하는 분류기를 학습했습니다. 결과는 촉각이 시각보다 적은 데이터로도 빠르게 학습되며, 두 개의 촉각 센서가 단일 센서보다 우수함을 보여주었습니다. 시뮬레이션 덕분에 실제 환경에서는 불가능했던 대규모 데이터셋(이전 최대 데이터셋보다 두 자릿수 이상 많음)으로 실험이 가능했습니다.
• 인핸드 구슬 조작 학습: TACTO와 PyBullet의 안정성을 검증하기 위해 촉각 센서를 사용하여 구슬을 손 안에서 조작하는 작업을 시뮬레이션했습니다. 베이시안 최적화를 사용하여 구슬을 원하는 위치로 굴리는 컨트롤러의 파라미터 K를 학습했습니다. 이 실험은 시뮬레이션이 빠르고 안정적으로 작동하며, 실제 로봇에서 얻은 결과와 유사한 성능을 달성할 수 있음을 입증했습니다.

Sim2Real 실험:

• 원통의 포즈 추정(접촉 중심 및 각도) 작업에 대한 Sim2Real 가능성을 입증했습니다. 시뮬레이션 데이터와 실제 데이터를 조합하여 모델을 훈련하고 평가했습니다.
• 결과: Sim2Real 간극이 존재하며, 컬러 지터링과 같은 데이터 증강(data augmentation)이 이 간극을 줄이는 데 매우 효과적임을 보여주었습니다. 또한, 시뮬레이션 데이터와 소량의 실제 데이터를 혼합하여 학습할 때, 동일한 양의 실제 데이터만으로 학습한 경우보다 높은 성능을 달성하여 데이터 효율성 증가의 잠재력을 시사했습니다.

결론:

TACTO는 시각 기반 촉각 센서를 위한 사용하기 쉽고 빠르며 유연한 시뮬레이터입니다. 이 시뮬레이터는 지각, 제어 및 Sim2Real 응용 분야에서 그 유용성이 입증되었습니다. TACTO는 촉각 센싱 커뮤니티를 육성하고 로봇 공학 및 기계 학습 연구자들이 시뮬레이션에서 터치를 활용할 수 있도록 오픈 소스로 제공됩니다. 향후 작업에는 엘라스토머의 변형을 통한 힘의 효과 모델링 개선과 더욱 현실적인 데이터 생성이 포함될 것입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

• 물리 시뮬레이터의 물체 pose를 OpenGL 렌더러에 동기화하여, depth map 변환 없이 mesh를 미리 로드하고 pose만 업데이트하는 방식으로 속도와 유연성을 동시에 확보
• 100만 개의 시뮬레이션 grasp으로 grasp stability 예측 학습 — 촉각이 비전보다 훨씬 적은 데이터로 학습 가능함을 입증
• Marble manipulation 태스크에서 Bayesian optimization으로 8분 만에 제어 정책 학습 성공
• 단일 DIGIT 센서 기준 160×120 해상도에서 GPU 위에서 200 FPS 달성
• Sim2Real: color jittering augmentation 적용 시 pose estimation에서 1.66±0.16 mm 위치 오차 달성 (실제 데이터 64개로 학습한 결과와 비슷한 수준)