📃DenseTact

Optical Tactile Sensor for Dense Shape Reconstruction

• Paper

1. DenseTact는 저렴하고 확장 가능하며 컴팩트한 비전 기반 촉각 센서로, 내부 카메라 이미지로부터 구형 엘라스토머 표면의 고해상도 3D 형상 재구성을 목표로 합니다.
2. 이 센서는 딥 러닝 기반의 인코더-디코더 네트워크를 활용하여 표면 변형을 실시간(18ms)으로 추정하며, 3D 프린팅된 교정 오브젝트와 Ray Casting 알고리즘을 통해 정밀한 훈련 데이터를 구축합니다.
3. DenseTact는 평균 0.28mm의 깊이 추정 오차와 우수한 내구성을 통해 로봇의 물체 조작 및 인핸드(in-hand) 위치 추정에 필요한 고해상도 촉각 정보를 효율적으로 제공합니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

DenseTact는 로봇 조작 작업에서 촉각 감지의 성능을 향상시키기 위해 고해상도 표면 재구성을 위한 광학 촉각 센서입니다. 이 센서는 저렴하고, 확장 가능하며, 콤팩트한 디자인을 가지고 있습니다. 기존의 비전 기반 촉각 센서는 고해상도를 제공하지만, 낮은 정확도, 높은 비용, 2D 형상 제한 등의 한계가 있었습니다. DenseTact는 이러한 문제점을 해결하며, 특히 3D 형상 센서로서 정밀한 인핸드 조작(in-hand manipulation)을 가능하게 합니다.

II. 관련 연구 (Related Works)

기존 촉각 센서들은 압전(piezoelectric), 광학(optics), 저항(resistance), 용량(capacity) 등 다양한 접근 방식을 사용해왔습니다. 최근에는 고해상도 특성 때문에 비전 기반 촉각 센서가 인기를 얻고 있습니다. Gelsight, Gelslim, DIGIT와 같은 센서들은 고해상도를 제공하지만, 평평한 표면으로 인해 조작 작업에 제약이 있습니다. Omnitact와 같은 3D 곡면 센서는 다방향 감지가 가능하지만 비용이 많이 듭니다. DenseTact는 이러한 한계를 극복하기 위해 비용 효율적이고 3D 형상을 가지며 고해상도 감지 피드백을 제공합니다.

III. DenseTact 센서 설계 (DenseTact Sensor Design)

DenseTact는 인핸드 소형 객체 조작에 유용한 작은 센서 크기, 다목적 조작을 위한 매우 부드러운 3D 곡면, 그리고 접촉 감지를 위한 고해상도 표면 변형 모델링(형상 재구성)을 목표로 설계되었습니다.

1. 엘라스토머 제작 (Elastomer Fabrication):
   • 반구형(hemispherical) 투명 엘라스토머(Silicone Inc. P-565 Platinum Clear Silicone, 20:1 비율, 6.5 Shore A 경도)를 사용합니다. 이 경도는 사람 피부와 유사하여 작은 전단력에도 큰 표면 변형을 허용합니다.
   • 엘라스토머의 접촉 경계면에는 반사 코팅(reflective coating)이 되어 있어, 단일 카메라로 내부 변형을 관찰할 수 있습니다.
   • Inhibit X™를 접착제로 사용하여 반사성 금속 잉크(reflective metallic ink)와 실리콘 혼합물(Smooth-on Psycho Paint™)을 에어브러싱하여 표면을 코팅합니다.
2. 카메라 및 조명 시스템 (Camera and Illumination system):
   • 소니 IMX179 이미지 센서(8MP, 30fps)를 탑재한 저비용 카메라를 사용합니다.
   • 185° FoV(시야각)의 어안 렌즈(fisheye lens)를 사용하여 반구형 엘라스토머 전체를 커버합니다.
   • 유연한 PCB(flexible PCB)에 24개의 RGB LED가 장착된 LED 스트립이 센서 내부에 원통형으로 배치되어 조명을 제공합니다. 이 조명 전략은 표면의 오목한 부분이 색상 패턴을 방출하도록 하여 표면 형상과 색상 채널 반사율 간의 상관관계를 나타냅니다.
3. 센서 조립 (Sensor Assembly):
   • 조립 시 카메라 렌즈의 중심이 반구형 엘라스토머의 중심과 일치하도록 정렬됩니다.
   • LED 스트립은 엘라스토머 바로 아래에 위치합니다.
   • 3D 프린팅된 카메라 마운트가 카메라와 엘라스토머를 고정하며, LED 스트립은 이 마운트 내부에 장착됩니다.
   • 높이는 35mm, 반구형 엘라스토머의 반경은 25mm입니다.
   • 전체 센서 비용은 80달러 미만으로, 카메라 시스템(70달러)이 대부분을 차지합니다.

IV. 형상 재구성 (Shape Reconstruction)

DenseTact는 단일 이미지로부터 센서 표면의 고해상도 표현을 생성합니다. 기존 GelSight와 유사한 센서들은 램버시안 표면(Lambertian surface) 가정을 통해 각 픽셀의 강도(intensity)를 표면 법선(surface normal)과 연관시켰습니다. 그러나 DenseTact와 같이 3D 형상이며 비램버시안(non-Lambertian) 표면을 가진 센서에는 이 방법이 적용되지 않습니다.

이 경우, 각 픽셀 (u,v)의 강도 I(u,v)는 표면 법선 \frac{\partial f}{\partial u}(u,v), \frac{\partial f}{\partial v}(u,v) 뿐만 아니라 픽셀의 위치 (u,v)에도 의존하는 비선형 함수 R이 됩니다. I(u, v) = R(\frac{\partial f}{\partial u} (u, v), \frac{\partial f}{\partial v} (u, v), u, v) (1)

따라서 데이터 기반 접근 방식을 통해 이미지 픽셀의 RGB 값 I_{rgb}(u,v)로부터 센서 표면의 해당 구형 좌표 (R, \theta, \psi)를 추정하는 비선형 함수 M을 학습해야 합니다: (R, \theta, \psi) = M(I_{rgb}(u, v)) (2)

A. 깊이 데이터 생성 (Depth Data Generation):

모델 학습을 위해 정확한 고해상도 Ground-Truth 표면 정보가 필요합니다. 상용 거리 측정 센서(range-finding sensors)는 밀리미터 규모의 오차를 가지므로, 3D 프린팅된 알려진 컴퓨터 생성 표면 모델을 사용하여 Ground-Truth 데이터를 생성합니다.

• Ground-Truth 생성 방법: Ultimaker S5 3D 프린터를 사용하여 다양한 형태의 “인디케이터(indicator)”와 “인덴터(indenter)”를 프린팅합니다. 인디케이터는 구멍이 뚫린 반구형 모양이며, 인덴터는 이 구멍에 삽입되어 센서를 변형시킵니다.
  • 37개의 다른 인디케이터와 25개의 다른 인덴터를 사용하여 다양한 접촉 구성을 만듭니다.
  • CNC 머신을 사용하여 데이터 수집 시 B축(세로축)으로 0.9°씩 자동 회전시키고, A, C축(가로축)은 45°씩 수동으로 조정하여 데이터 다양성을 높입니다.
  • CNC 머신은 Z-방향으로 센서를 누르도록 정밀하게 제어됩니다.
• 데이터 정규화: STL 파일로부터 레이 캐스팅(ray casting) 알고리즘을 사용하여 깊이 값(radial value)을 얻습니다. 이 깊이 값을 8비트 정수(0-255)로 정규화하여 출력 값의 크기를 줄입니다. 최대 깊이 변형(9.4mm)을 사용하여 정규화하며, 1픽셀 강도(intensity)는 실제 깊이 값에서 0.0354mm 증가에 해당합니다.
• 총 30,200개의 다른 접촉 구성(29,200개 학습, 1,000개 테스트)을 생성하며, 테스트 세트에는 학습 세트와 다른 인디케이터와 인덴터 조합이 사용됩니다. 전체 데이터셋 크기는 3.6 GB입니다.

B. 카메라 이미지로부터 3D 대응점 찾기 (3D correspondence from camera image):

어안 렌즈의 왜곡과 3D 형상 센서 표면과의 대응점(correspondence)을 찾기 위해 새로운 캘리브레이션 방법이 개발되었습니다.

• 교정 과정:
  1. 알려진 크기의 3D 프린팅된 톱니 모양(saw-tooth shape) 인디케이터를 사용합니다.
  2. 인디케이터를 센서에 밀어 넣은 후, Canny 엣지 검출 방법을 사용하여 센서 이미지에서 톱니 엣지를 감지합니다.
  3. 이미지에서 감지된 엣지 위치를 센서 표면의 엣지 위치와 매칭합니다.
• 가우시안 프로세스(Gaussian Process, GP) 회귀 모델: 이미지의 중심으로부터의 반지름 r과 반구형 센서 표면의 반지름 R \sin(\theta) 간의 대응 관계를 모델링합니다. R \sin(\theta) = f_{GP}(r(u, v))
  3. 이 대응 관계를 통해 각 이미지 픽셀 (u,v)는 구형 좌표 (\theta, \phi)로 변환됩니다. 여기서 (u_c, v_c)는 이미지 평면의 중심입니다. (\theta, \phi) = (\sin^{-1}(\frac{f_{GP}(r)}{R}), \tan^{-1}(\frac{v - v_c}{u - u_c}))
• 레이 캐스팅 알고리즘 (Ray Casting Algorithm): 각 픽셀에 대한 (\theta, \phi)가 결정되면, STL 파일의 삼각형 메쉬(triangular mesh)에서 가장 가까운 점을 계산하기 위해 레이 캐스팅 알고리즘을 사용합니다. R_{ray}(u, v) = f_{raycast}(\text{Mesh}_{stl}, \theta(u, v), \psi(u, v))
  5. 이 과정을 통해 입력 이미지의 각 픽셀과 Ground-Truth 깊이 값 간의 1:1 대응 관계가 설정됩니다.

C. 모델링 (Modeling):

이 문제는 단일 이미지 깊이 추정 문제로 간주될 수 있습니다. 일반적인 깊이 추정 문제와 달리, DenseTact 데이터셋은 전역적인 정보(global information)보다 국부적인 변형 정보(local deformation information)에 더 중점을 둡니다.

• 네트워크 아키텍처: 간단한 인코더-디코더(encoder-decoder) 구조를 사용하며, 스킵 커넥션(skip connection)을 포함합니다.
  • 인코더: 사전 학습된 DenseNet-161 모델을 사용합니다.
  • 디코더: 인코더의 동일한 크기 블록과 이전 업샘플링된 블록을 연결하여 국부 정보를 학습할 수 있도록 합니다.
• 손실 함수 (Loss Function): 다음 세 가지 손실의 조합을 사용합니다.
  1. 깊이 값에 대한 점대점 L_1 손실 (point-wise L_1 loss)
  2. 깊이 이미지의 기울기(gradient)에 대한 L_1 손실
  3. 구조적 유사성 손실 (structural similarity loss, SSIM)
• 학습: 이미지는 570x570x3에서 640x480x3으로 크기가 조정된 후 네트워크에 전달되며, 출력 결과는 320x240에서 570x570으로 크기가 조정됩니다. 깊이 값(0-255)은 학습 품질을 극대화하기 위해 (10, 1000) 범위로 재조정됩니다. 네트워크는 NVIDIA P100 16GB GPU에서 16 에포크(460K 이터레이션), 배치 크기 4로 학습되었습니다.

V. 결과 및 토론 (Results and Discussion)

• 정성적 결과 (Qualitative Results): 모델은 단일 이미지로부터 센서 형상을 상당히 잘 재구성하는 것으로 나타났습니다.
• 성능: 센서는 단일 이미지로부터 깊이 뷰를 예측하는 데 평균 18.17ms가 소요되어, 30fps의 실시간 조작 작업을 수행할 수 있습니다. 예측된 깊이 값을 사용하여 3D 포인트 클라우드가 재구성됩니다.
• 정량적 결과 (Quantitative Results): 학습 세트와 테스트 세트 간의 포인트별 L1 손실 및 L2 손실이 평가되었습니다.
  • Ground-Truth 오차는 3D 프린터의 정밀도 오차로 인해 109.6 마이크론입니다.
  • 학습 세트의 평균 L1 손실은 0.2381mm, 테스트 세트의 평균 L1 손실은 0.2811mm였습니다.
  • 학습 세트의 평균 L2 손실은 0.0306mm, 테스트 세트의 평균 L2 손실은 0.03208mm였습니다.
  • 즉, DenseTact 센서는 평균 0.28mm의 절대 오차로 형상 재구성을 수행합니다.
• 자세 추적(Pose Tracking) 평가: 두 개의 DenseTact 센서가 장착된 Allegro 핸드로 알려진 구형 물체를 집고 ICP(Iterative Closest Point) 알고리즘을 사용하여 물체의 자세를 추적하여 센서를 평가했습니다. 23번의 파지(grasping) 시도 후, 평균 피트니스 점수(fitness score)는 0.597(\sigma = 0.238), 평균 RMS 오차는 0.037184(\sigma = 0.00276)였습니다. (200회 ICP 반복 후 평균 RMS 오차는 0.0211).
• 내구성: 센서는 30,000회 이상의 푸시 및 측정 후에도 눈에 띄는 변화 없이 내구성이 뛰어남을 입증했습니다.

VI. 결론 (Conclusion)

DenseTact는 인체공학적 반구형 센서로, 전체 센서 표면을 재구성할 수 있습니다. 이 센서는 내구성이 뛰어나며, 고해상도 접촉 캘리브레이션을 통해 Ground-Truth의 상대적 정확도와 불확실성을 고려했습니다. 심층 신경망(deep neural network)은 입력 이미지로부터 깊이 맵(depth map)을 모델링하는 데 활용되었으며, 사전 학습된 인코더-디코더 기반 네트워크가 학습 데이터셋을 통해 정확한 깊이 재구성을 수행할 수 있음을 보여주었습니다. 센서는 테스트 세트에서 평균 0.28mm의 깊이 차이를 달성했습니다. 향후 연구에는 다양한 LED 구성 활용을 통한 정확도 향상, 크기 확장성 및 다양한 센서 형상에 대한 적응성, DenseTact 센서에 특화된 네트워크 구조 구현, 그리고 재구성된 형상과 함께 엘라스토머 변형 기반의 접촉력 분포 추출 등이 포함될 것입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.