📃3D Cal

An Open-Source Software Library for Calibrating Tactile Sensors

• Paper

1. 🤖 본 연구는 저렴한 FDM 3D 프린터를 자동화된 프로빙 장치로 전환하여 햅틱 센서 교정을 위한 레이블링된 대규모 학습 데이터를 수집하는 오픈소스 Python 라이브러리인 3D Cal을 소개합니다.
2. 💡 3D Cal은 DIGIT 및 GelSight Mini와 같은 시각 기반 햅틱 센서에서 RGB 이미지를 깊이 맵으로 변환하는 경량 Convolutional Neural Network인 TouchNet 모델 학습을 지원하며, 5% 이상의 데이터로도 정확한 교정이 가능하지만, 20%의 공간 좌표를 사용했을 때 재구성 가변성을 줄여 최적의 성능을 보였습니다.
3. 🔬 TouchNet 모델은 이전에 보지 못한 3D 프린팅된 물체에 대해 평균 16~52 μm의 전체 오류로 고품질의 깊이 맵을 재구성할 수 있었으며, 이는 실제 로봇 조작 작업에 적합한 수준입니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

3D Cal은 촉각 센서(tactile sensor) 보정을 위한 오픈 소스 Python 라이브러리로, 저비용 FDM (Fused Deposition Modelling) 3D 프린터를 자동화된 프로빙 장치로 전환하여 촉각 센서 보정에 필요한 대량의 레이블링된 학습 데이터를 신속하게 수집하는 것을 목표로 합니다. 이 라이브러리는 촉각 센서 연구의 가속화, 센서 배포 간소화, 그리고 로봇 플랫폼에 촉각 센서 통합을 촉진하고자 합니다.

기존 촉각 센서 보정은 수작업 및 노동 집약적이거나, 고가의 하드웨어와 전문 지식을 요구하는 자동화된 절차에 의존하는 등 접근성이 낮다는 문제점이 있었습니다. 특히 vision-based tactile sensor의 경우 고차원 출력을 생성하기 때문에 이를 물리적으로 의미 있는 값(예: 깊이 맵)으로 매핑하는 것이 더욱 어려웠습니다. 3D Cal은 이러한 문제를 해결하기 위해 3D 프린터의 기능을 재활용합니다.

핵심 방법론 (Core Methodology)

1. 데이터 수집 (Data Collection):
   • 센서 베이스 3D 프린팅: 사용자는 먼저 자신의 촉각 센서에 맞는 베이스를 3D 프린터로 제작합니다. 이 베이스는 센서가 3D 프린터의 작업 공간 내에 고정된 위치를 가지도록 합니다.
   • 센서 삽입 및 프로브 장착: 센서를 프린팅된 베이스에 slide fit 방식으로 삽입한 후, 3D 프린터 노즐에 3D 프린팅된 어댑터를 사용하여 강성 구형 프로브 팁(2mm 반경)을 장착합니다.
   • 자동 프로빙: 사용자는 CSV 파일에 원하는 프로빙 좌표(x, y)와 깊이(z)를 지정합니다. 3D Cal 라이브러리는 이 파일을 파싱하여 G-Code 명령을 통해 3D 프린터를 제어하고, 센서를 자동으로 프로빙하며 해당 좌표에 레이블링된 이미지를 캡처합니다. 본 연구에서는 0.5mm x 0.5mm 그리드에서 총 1,200개 이상의 개별 프로브 위치를 탐색했으며, 각 압흔(indentation)마다 30개의 이미지를 캡처하여 총 7만 개 이상의 이미지를 확보했습니다.
   • 추상화 (Abstraction): 3D Cal은 G-Code 호환 FDM 3D 프린터(예: Ender 3)와 작동하도록 설계되었으며, 센서 측면에서는 DIGIT, GelSight Mini 및 OpenCV 호환 vision-based tactile sensor에 대한 내장 지원을 제공합니다. 사용자는 맞춤형 vision-based sensor를 위해 통신 및 이미지 획득 함수만 구현하면 됩니다.
2. 모델 학습 (Model Training):
   • TouchNet 아키텍처: TouchNet은 vision-based tactile sensor의 RGB 센서 이미지에서 유의미한 깊이 정보를 추출하기 위해 제안된 fully convolutional neural network입니다.
     • 입력: TouchNet의 입력은 5채널 이미지입니다. 이는 표준 3채널 RGB 이미지에 2채널 위치 임베딩(x, y 좌표 임베딩)을 concatenate하여 구성됩니다.
     • 구조: TouchNet은 9개의 순차적인 모듈로 구성된 feedforward convolutional neural network입니다. 각 모듈은 convolutional layer, Batch Normalization, ReLU 활성화 함수, 그리고 공간적 Dropout(spatial dropout)을 포함합니다.
     • 처리 과정: 네트워크는 먼저 입력 특징의 차원을 5채널에서 256채널로 확장한 다음, 이를 x 및 y 방향의 예측된 표면 기울기(G_x, G_y)를 나타내는 2개의 출력 채널로 축소합니다.
     • 특징: Encoder-decoder 모델(예: U-Net)과 달리 TouchNet은 (R, G, B, x, y) 값 집합을 표면 기울기(G_x, G_y)에 직접 매핑하므로, 구형 프로브로만 학습했음에도 불구하고 보지 못한 형태에 더 잘 일반화됩니다.
   • 깊이 맵 생성: TouchNet이 출력한 기울기 맵(G_x, G_y)은 Fast Poisson Solver를 통해 통합되어 최종 깊이 맵(depth map)을 생성합니다.
   • 학습 및 추론: TouchNet 모델은 Mean Squared Error (MSE) 손실 함수, AdamW optimizer(학습률 1e-4, weight decay 1e-4), 배치 크기 64로 학습되었습니다. 추론 시간은 노트북 수준의 하드웨어에서 30ms 미만으로, 30fps의 실시간 깊이 맵 생성이 가능합니다.

실험 결과 (Experimental Results)

• 데이터 양에 따른 성능 분석 (Spatial Sampling Analysis):
  • DIGIT 및 GelSight Mini 센서에 대해 총 공간 좌표의 1%, 5%, 10%, 20%, 40%, 80%를 사용하여 TouchNet 모델을 학습시켰습니다.
  • 모델 성능은 1% 데이터에서는 저조했지만, 5% 이상의 데이터(각 센서별 약 60개 이상의 공간 좌표)에서는 일관된 성능을 보였습니다.
  • 재구성된 깊이 맵 또한 5%와 80% 데이터 학습 모델 간에 시각적으로 유사했으나, 1% 모델에서는 품질이 저하되었습니다.
  • 검증 세트에서 각 프로브 좌표의 MSE를 분석한 결과, 훈련 데이터가 적은 영역에서 MSE 손실이 현저히 증가하며 센싱 표면의 비균일한 응답을 반영했습니다.
  • MSE 분포의 평균 및 표준 편차는 훈련 좌표 수가 증가함에 따라 감소하여, 밀도 높은 샘플링이 재구성 가변성을 줄임을 시사합니다.
  • 통계적 분석 결과, 20%의 좌표를 사용하여 모델을 훈련했을 때 재구성 성능이 안정화되었으며, 추가적인 훈련 데이터는 성능 향상에 미미한 영향을 미쳤습니다. 따라서 최적의 성능을 위해 총 좌표의 최소 20%(약 240개의 무작위 선택 좌표)를 0.5mm x 0.5mm 그리드에서 프로빙하는 것을 권장합니다.
• 미등록 객체에 대한 성능 (Performance on Unseen Objects):
  • 구, 알약, 폰(pawn) 모양의 세 가지 3D 프린팅된 테스트 객체를 사용하여 모델의 일반화 성능을 평가했습니다.
  • TouchNet이 예측한 깊이 맵은 테스트 객체의 실제 프로필과 시각적으로 매우 유사했습니다.
  • 단순한 형상(구, 알약)의 경우 DIGIT이 더 정확한 깊이 맵을 생성했으며, 폰의 경우 GelSight Mini가 DIGIT보다 우수했습니다.
  • 전체 센싱 표면에서 평균 재구성 오차(Overall Error)는 DIGIT에서 16.274 μm ~ 52.211 μm, GelSight Mini에서 22.172 μm ~ 48.821 μm 범위였습니다.
  • 접촉이 없는 영역(Type 1 Error, 실제 깊이 0인 픽셀)의 평균 오차는 두 센서 모두 20 μm 미만으로, 모델이 비접촉 영역을 매우 효과적으로 식별했음을 보여줍니다.
  • 접촉이 있는 영역(Type 2 Error, 실제 깊이 0이 아닌 픽셀)의 평균 오차는 더 컸지만(65.274 μm ~ 296.381 μm), 일반적으로 실제 최대 압흔 깊이의 약 5~15% 수준으로, 대부분의 로봇 조작 작업에 적합할 것으로 판단됩니다.

3D Cal은 촉각 센서의 배포를 간소화하고 표준화하여 로봇 조작, 햅틱스, 인간-컴퓨터 상호작용 등 다양한 분야에서 촉각 센서의 활용을 촉진합니다. 이 연구는 DIGIT 및 GelSight Mini를 위한 고품질 깊이 재구성을 생성하는 TouchNet 모델을 제공하며, 필요한 훈련 데이터 양에 대한 실질적인 가이드라인을 제시합니다. 향후 3D Cal은 힘 센서와의 연동을 통한 힘/토크 보정 지원, capacitance-based 및 resistance-based 센서와 같은 다른 촉각 센싱 기술에 대한 지원 확장을 목표로 합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

비싼 6축 로봇팔이나 CNC, 모션캡처 없이 2만 원짜리 3D 프린터 하나로 비전 기반 촉각 센서(DIGIT, GelSight Mini)를 자동 보정하는 방법을 제안한 논문이다. 핵심은 두 가지다.

첫째, 프린터 바닥(print bed)에 센서 받침대를 직접 출력하면 센서가 프린터 좌표계 안에 박힌다. 그래서 따로 손-눈 보정(hand-eye calibration)을 할 필요가 없다. 이게 이 논문 전체를 떠받치는 트릭이다.

둘째, 프린터 헤드에 구형 탐침을 끼워 젤 표면을 수천 번 찔러 (x, y, 깊이)가 라벨링된 데이터를 자동 수집하고, 가벼운 9층 완전합성곱망 TouchNet으로 RGB 이미지를 표면 기울기(gradient)로 바꾼 뒤 푸아송 적분으로 깊이맵(depth map)을 복원한다.

실측 결과 미지(unseen) 객체에서 전체 평균 오차 16~52 μm(DIGIT), 22~49 μm(GelSight Mini) 수준이었고, 추론은 노트북급 하드웨어에서 30 ms 미만으로 30 fps 실시간이 가능했다. 코드, 사전학습 가중치, 그리고 70,000장이 넘는 촉각 이미지 데이터셋을 전부 공개했다.

로봇 손에 촉각 센서를 붙이려는 입장에서 보면, “센서를 사긴 샀는데 raw 이미지를 물리량으로 어떻게 바꾸지?”라는 가장 귀찮은 단계의 진입 장벽을 확 낮춘 도구다.

---

서론: 왜 보정이 문제인가

촉각 센서는 접촉 힘과 표면 변형을 잡아낸다. 이 정보가 파지(grasp) 성공 예측, 미끄러짐 감지, 정밀 조작, 원격조작의 햅틱 투명도, 심지어 종양 진단이나 과일 숙성도 판정까지 쓰인다. 그런데 시각이나 청각과 달리 촉각은 아직 표준이 없는 신생 분야다. 정전용량, 저항, 자기, 음향, 비전 기반까지 변환 방식(transduction)이 제각각이다.

문제는 거의 모든 센서가 보정(calibration) 을 거쳐야 한다는 점이다. 센서가 내뱉는 raw 신호(전압이든 RGB 픽셀이든)를 힘이나 표면 기하 같은 물리적으로 의미 있는 양으로 바꿔야 비로소 쓸모가 생긴다.

여기서 두 갈래로 난이도가 갈린다.

저항식이나 정전용량식 센서는 비교적 쉽다. 저차원 신호(전압 하나)에서 힘 하나로 가는 매핑이라 선형이나 2차식으로 근사된다. 반면 비전 기반 촉각 센서는 카메라가 찍은 고차원 이미지를 출력한다. 이 고차원 입력을 힘 같은 저차원 양이나 깊이맵 같은 또 다른 고차원 양으로 매핑하는 건 만만치 않다.

과거에는 “센서 응답이 표면 전체에서 균일하다”거나 “영역 간 누화(cross-talk)가 없다” 같은 단순화 가정을 깔았다. 하지만 이런 가정은 제작 공정에 엄격한 제약을 걸거나(가정을 맞추려고 센서를 정밀하게 만들어야 함), 유효 범위를 좁은 동작 영역으로 제한한다(작은 변위 구간에서만 맞음). 가정이 깨지면 결국 신경망으로 복잡한 매핑을 직접 학습하게 되는데, 이건 대량의 라벨링된 데이터를 요구한다.

그 데이터를 모으는 게 고역이다. 사람이 일일이 찍기엔 노동집약적이라, DIGIT처럼 “촉각을 대중화하겠다”며 나온 저가 센서의 취지가 무색해진다. 그래서 자동 보정 장치가 등장했는데, 대부분 산업용 6축 로봇팔, CNC 머신, 모션캡처 시스템에 의존한다. 이런 장비는 비싸고 셋업이 길 뿐 아니라, 탐침 장치의 좌표계와 센서의 좌표계를 맞추는 공간 보정(spatial calibration) 까지 따로 해줘야 한다. 측정 절차가 더 복잡해진다.

3D Cal은 이 지점을 정확히 노린다. 거의 모든 연구실에 굴러다니는 저가 FDM(Fused Deposition Modelling) 3D 프린터를 자동 탐침기로 둔갑시켜, 비싼 장비도 별도의 공간 보정도 없이 데이터를 쓸어 담겠다는 발상이다.

논문이 내세우는 기여는 세 가지로 정리된다.

1. 3D Cal: 시판 3D 프린터를 완전 자동 보정 장치로 바꾸는 오픈소스 파이썬 라이브러리
2. TouchNet: 비전 기반 촉각 센서에서 깊이맵을 뽑는 가벼운 합성곱 신경망과 학습 파이프라인
3. 실용적 데이터 가이드라인: DIGIT과 GelSight Mini에서 좋은 깊이맵을 얻으려면 데이터가 얼마나 필요한지에 대한 경험적 기준

---

방법: 프린터를 측정기로 둔갑시키는 법

전체 파이프라인

먼저 큰 그림부터 보자. 사용자는 (A) 센서 받침대를 출력하고, (B) 센서를 슬라이드 핏으로 끼우고, (C) 헤드에 탐침을 달고, (D) 자동 프로그램으로 센서를 수천 번 찌른다. 그렇게 모은 라벨링 데이터로 (E) 모델을 학습하거나 미세조정하고, (F) 학습된 모델로 깊이맵을 예측한다. (논문 Figure 1이 이 흐름을 한 장에 담고 있다.)

flowchart LR
    A["A. 3D Print<br/>Sensor Base"] --> B["B. Insert Sensor<br/>(slide fit)"]
    B --> C["C. Attach Spherical<br/>Probe to Printhead"]
    C --> D["D. Automated<br/>G-code Probing"]
    D --> E["Coordinate-labeled<br/>RGB Images"]
    E --> F["E. Train / Fine-tune<br/>TouchNet"]
    F --> G["Predict<br/>Gradient Map (Gx, Gy)"]
    G --> H["Fast Poisson<br/>Solver"]
    H --> I["F. Depth Map"]

핵심 트릭: 받침대를 바닥에 출력해서 공간 보정을 없앤다

이 논문에서 가장 영리한 부분은 사실 신경망이 아니라 이 한 줄이다.

받침대를 프린터 바닥에 직접 출력하면, 센서의 위치가 프린터 좌표계 안에 자동으로 정의된다.

비유하자면 이렇다. 보통 자동 보정 장치는 “로봇팔이 들고 있는 탐침의 좌표”와 “센서가 놓인 좌표”를 따로 맞춰야 한다. 두 사람이 서로 다른 지도를 들고 만날 약속을 잡으려면 먼저 좌표계를 일치시켜야 하는 것과 같다. 그런데 3D 프린터는 받침대를 자기 바닥에 자기 손으로 찍어낸다. 그러니 받침대(=센서)의 위치를 프린터가 이미 알고 있다. 같은 사람이 만든 지도 한 장으로 약속 장소와 만날 사람을 동시에 표시하는 셈이다. 별도의 hand-eye calibration이 통째로 사라진다.

3D 프린터가 측정기로 쓸 만한 이유도 직관적이다. 프린터는 본래 정밀한 3축(XYZ) 위치 결정 장치다. 출력 헤드를 0.x mm 단위로 원하는 좌표에 보낼 수 있다. 노즐 대신 탐침을 끼우면, 압출기는 그냥 2축 갠트리(gantry)가 되고 G-code로 제어되는 자동 측정기가 된다.

데이터 수집

사용자는 센서가 슬라이드 핏으로 들어가도록 받침대를 설계해 출력한다(Figure 1A). 센서를 끼우고(Figure 1B), 3D 프린팅한 어댑터로 헤드에 탐침을 단다(Figure 1C). 논문은 반지름 2 mm의 강체 구형 탐침(McMaster-Carr 85175A586)을 썼지만, 크기/모양/재질이 다른 탐침도 자유롭게 쓸 수 있다.

그다음 사용자는 찌를 좌표 (x, y)와 깊이 (z)를 CSV로 적어준다. 3D Cal이 이 파일을 읽어 센서를 찔러가며 좌표 라벨이 붙은 데이터를 자동 생성한다.

개념적인 데이터 수집 루프는 이렇게 생겼다.

# 3D Cal data collection (conceptual)
probe_coords = read_csv("probe_grid.csv")    # (x, y, z) on a 0.5mm x 0.5mm grid
sensor = connect_sensor("DIGIT")             # or GelSight Mini, or any OpenCV device

for (x, y, z) in probe_coords:
    move_printhead(x, y, z_safe)             # G1 X.. Y.. Z..  (above the gel)
    for depth in indentation_schedule(z):    # press the rigid sphere into the gel
        move_printhead(x, y, depth)
        for k in range(30):                  # capture 30 frames per indentation
            img = sensor.capture()
            # label is derived analytically from the KNOWN sphere geometry,
            # its (x, y) location, and the commanded indentation depth
            save(img, label=make_gt_gradient(x, y, depth, probe_radius=2.0))
    move_printhead(x, y, z_safe)             # retract

여기서 라벨이 어떻게 생기는지가 중요하다. 탐침이 기하가 알려진 강체 구이고, 위치와 누르는 깊이도 프린터가 알고 있다. 그래서 그 구가 젤에 찍은 표면 기하(그리고 그로부터 나오는 표면 기울기)를 해석적으로 계산할 수 있다. 사람이 자를 대고 잴 필요가 없다. 이게 “라벨링된 데이터를 공짜로 대량 생산”하는 비결이다.

라이브러리는 두 축에서 추상화(abstraction)를 제공한다.

• 3D 프린터 추상화: G-code 호환 FDM 프린터면 무엇이든 동작한다. 현재 Ender 3를 지원하지만, 사용하는 G-code 명령이 프린터 비종속적이라 다른 기종은 코드 몇 줄만 추가하면 된다.
• 센서 추상화: 평면이거나 곡률 반경이 작은 센서라면 무엇이든 쓸 수 있다. DIGIT, GelSight Mini, 그리고 OpenCV 호환 카메라 센서를 기본 지원한다. 커스텀 센서는 통신 연결과 이미지 획득 함수 두 개만 구현하면 보정 절차가 자동으로 그 함수를 불러 동작한다.

TouchNet: 기울기를 맞히고, 적분해서 높이를 얻는다

이제 모델이다. 모델 학습과 추론은 현재 비전 기반 센서(RGB 이미지 입력)와 깊이맵 생성에 한정되어 있다. 저자들이 이 설정을 먼저 고른 이유는 명확하다. 비전 기반 촉각 센싱은 가장 빠르게 크는 분야고, DIGIT과 GelSight Mini는 사용자층이 두텁고 일반 구매가 가능하며 마커리스(markerless) 변형이 존재해 표면 기하 포착에 최적화되어 있다. 그래서 깊이 예측이 실용적인 보정 목표가 된다.

TouchNet의 발상에서 가장 음미할 부분은 깊이를 직접 맞히지 않는다는 점이다. 대신 각 픽셀에서 표면이 얼마나 기울어졌는지(표면 기울기 Gx, Gy)를 맞히고, 그걸 적분해서 높이를 복원한다.

왜 이렇게 돌아갈까. 등산을 떠올려 보자. 산 전체의 고도 지도를 한눈에 외우는 건 어렵다. 하지만 “지금 발밑이 얼마나 가파른가”라는 국소적인 경사도는 어디서든 같은 규칙으로 잴 수 있다. 경사도만 충분히 모으면 적분해서 고도 지도를 그릴 수 있다. TouchNet은 산의 모양을 통째로 외우는 대신, “이 색깔 + 이 위치 → 이만큼 기울어짐”이라는 국소 물리 규칙을 배운다. 이 규칙은 학습 때 본 적 없는 새로운 물체 모양에도 그대로 전이된다. 실제로 저자들은 작은 커널의 합성곱 구조가, 구형 탐침만으로 학습했는데도 미지의 형상에 더 잘 일반화된다고 보고한다. 이미지를 저차원 잠재 벡터로 압축하는 U-Net 류의 인코더-디코더는 형상을 통째로 기억하려는 경향이 있어 이 점에서 불리하다.

입력은 5채널이다. 표준 RGB 3채널에, x와 y 좌표를 담은 2채널 위치 임베딩(CoordConv류)을 붙인다. 왜 위치를 알려줄까. 젤 표면의 조명은 균일하지 않다. 같은 빨간색이라도 센서 가장자리에서 본 빨강과 중앙에서 본 빨강은 의미가 다르다. 그래서 네트워크에게 “지금 보는 픽셀이 센서의 어디인가”를 직접 알려준다. 이게 비균일 조명 문제를 정공법으로 다루는 방식이다.

구조는 9층 완전합성곱망이다. 각 모듈은 합성곱 + 배치 정규화 + ReLU + 공간 드롭아웃으로 구성된다. 채널은 5에서 256까지 키웠다가 다시 2(=Gx, Gy)로 줄인다.

flowchart TB
    IN["Input: 5-channel (R, G, B, x, y)"] --> C1["Conv2D 5 to 32 | BN+ReLU | Dropout 0.2"]
    C1 --> C2["Conv2D 32 to 64 | BN+ReLU | Dropout 0.2"]
    C2 --> C3["Conv2D 64 to 128 | BN+ReLU | Dropout 0.2"]
    C3 --> C4["Conv2D 128 to 256 | BN+ReLU | Dropout 0.3"]
    C4 --> C5["Conv2D 256 to 256 | BN+ReLU | Dropout 0.3"]
    C5 --> C6["Conv2D 256 to 128 | BN+ReLU | Dropout 0.2"]
    C6 --> C7["Conv2D 128 to 64 | BN+ReLU | Dropout 0.2"]
    C7 --> C8["Conv2D 64 to 32 | BN+ReLU | Dropout 0.2"]
    C8 --> C9["Conv2D 32 to 2"]
    C9 --> OUT["Output: 2-channel Gradient (Gx, Gy)"]
    OUT --> P["Fast Poisson Solver"]
    P --> D["Depth Map Z"]

기울기에서 깊이로. 네트워크가 뱉은 기울기 맵은 빠른 푸아송(Poisson) 방법으로 적분되어 깊이맵이 된다. 기울기와 깊이의 관계는 단순하다.

G_x \approx \frac{\partial Z}{\partial x}, \qquad G_y \approx \frac{\partial Z}{\partial y}

기울기 장(field)에 가장 잘 들어맞는 높이 장 Z를 찾는 문제는, 다음 푸아송 방정식을 푸는 것으로 귀결된다.

\nabla^2 Z = \frac{\partial G_x}{\partial x} + \frac{\partial G_y}{\partial y}

이건 GelSight 계열에서 오래 써온 표준 절차다. FFT/DCT 기반 빠른 푸아송 풀이로 한 방에 푼다. “경사도 지도에서 고도 지도를 복원”하는 바로 그 연산이다.

손실 함수는 기울기에 대한 평균제곱오차(MSE)다.

\mathcal{L} = \frac{1}{N}\sum_{i} \left[ (G_x^{\text{pred}} - G_x^{\text{gt}})^2 + (G_y^{\text{pred}} - G_y^{\text{gt}})^2 \right]

학습은 AdamW(학습률 1e-4, weight decay 1e-4), 배치 64로 진행했고, PyTorch에서 RTX 6000 GPU와 혼합정밀(autocast + GradScaler)을 썼다. 추론은 노트북급 하드웨어에서 30 ms 미만으로 끝나 30 fps 실시간이 된다. 많은 비전 기반 촉각 센서의 동작 프레임레이트와 맞아떨어진다.

처음부터 학습(train from scratch)할 수도, 공개된 DIGIT/GelSight Mini 가중치로 미세조정(fine-tune)할 수도 있다. 소프트웨어 구조상 새로운 모델 아키텍처를 빠르게 설계해 붙이는 것도 가능하다.

---

실험: 얼마나 정확하고, 데이터는 얼마나 필요한가

실험 설정

DIGIT과 GelSight Mini 각각에 받침대를 출력해 끼우고, 헤드에 구형 탐침을 달아 0.5 mm × 0.5 mm 격자로 찔렀다. 그 결과 각각 1,221개, 1,209개의 서로 다른 탐침 위치가 나왔다. 각 위치에서 누를 때마다 30장씩 캡처했다. 데이터 수집은 센서당 약 2시간이 걸렸다. 전체적으로 70,000장이 넘는 탐침 이미지를 모았고, 이 데이터셋도 공개했다.

데이터 절제 연구(ablation): 얼마나 빽빽이 찔러야 하나

가장 실무적으로 유용한 분석이다. 저자들은 전체 좌표 중 P = 80%, 40%, 20%, 10%, 5%, 1%만 무작위로 골라 학습해 봤다. P = 80%로 학습할 때 나머지 20%를 검증용으로 떼어두고, 모든 모델을 같은 검증 집합으로 평가했다. 절(epoch) 수가 데이터 양에 따라 달라지는 걸 보정하려고 다음처럼 절 수를 맞췄다(데이터가 적으면 더 많이 돌림).

N = 60 \times \left( \frac{80\%}{P} \right)

결과(Figure 2)는 이렇다. 두 센서 모두 1%(좌표 12개 수준)로 학습하면 성능이 무너졌지만, 5% 이상(좌표 약 60~61개)부터는 비교적 일관됐다. 알약(pill) 모양 테스트 객체의 복원 깊이맵도 5%와 80%에서 시각적으로 비슷했고 1%에서만 망가졌다.

다만 단일 객체 한 번 보고 끝낼 일이 아니다. 저자들은 검증 좌표마다 기울기 예측의 MSE를 따로 계산해 센서 표면 위 공간 분포를 들여다봤다(Figure 3). 학습 좌표가 듬성듬성한 영역에서 MSE가 뚜렷이 치솟았는데(특히 P=1%), 이건 센서 표면 응답이 비균일하다는 증거다. 가우시안 커널밀도추정(KDE)으로 MSE 분포를 근사해 보니, 학습 좌표가 늘수록 평균과 표준편차가 모두 줄었다. 즉 빽빽이 찌를수록 복원 성능 자체보다 복원의 표면 간 편차(variability)가 줄어든다.

통계 검정도 했다. Bonferroni 보정을 적용한 5-표본 t-검정(α=0.01)으로 각 P의 MSE 분포를 P=80% 모델과 비교했다.

센서	비교	t 값	p 값	80%와 유의차
DIGIT	80% vs 1%	-27.36	< 0.001	있음
DIGIT	80% vs 5%	-7.06	< 0.001	있음
DIGIT	80% vs 10%	-3.20	0.008	있음
DIGIT	80% vs 20%, 40%	-	-	없음
GelSight Mini	80% vs 1%	-29.30	< 0.001	있음
GelSight Mini	80% vs 5%	-11.76	< 0.001	있음
GelSight Mini	80% vs 10%	-4.82	< 0.001	있음
GelSight Mini	80% vs 20%, 40%	-	-	없음

분포 모양이 비모수적이라 Mann-Whitney U 검정도 했고 결과는 같았다. 20% 지점에서 성능이 안정화되고, 그 이상은 의미 있는 개선이 거의 없었다.

여기서 나온 실용 가이드라인이 이 논문의 알짜다.

두 센서 모두에서 최적 성능을 내려면, 0.5 mm × 0.5 mm 격자에서 전체 좌표의 20% 이상(약 240~250개 좌표)을 무작위로 찌르라. 수집 시간은 약 2시간이면 충분하다.

미지 객체 성능

학습은 구형 탐침으로만 했지만, 평가는 처음 보는 비구형 객체로 했다. CAD로 반구(hemispheres), 알약(pill), 폰(pawn, 체스 말) 세 종류를 설계해 10 mm × 10 mm로 출력한 뒤 센서에 손으로 눌렀다(Figure 4A). STL을 깊이맵으로 변환해 ground-truth로 삼고, P=80% 모델 예측과 비교했다.

손으로 눌렀기 때문에 xy 평면 정렬은 2D 교차상관(cross-correlation)으로 맞췄고, 누른 깊이의 미세한 차이는 ground-truth CAD의 깊이를 조정해 예측과의 MSE를 최소화하는 식으로 보정했다. (이 보정 절차는 뒤의 비판에서 다시 짚는다.)

복원 깊이맵은 테스트 객체 윤곽과 시각적으로 잘 닮았다(Figure 4B, C). 정량 결과(Table I)는 다음과 같다. 단위는 μm.

오차 종류	테스트 객체	DIGIT (μm)	GelSight Mini (μm)
Overall Error	Hemispheres	16.984	22.413
Overall Error	Pill	16.274	23.641
Overall Error	Pawn	52.211	48.821
Type 1 Error	Hemispheres	5.641	5.143
Type 1 Error	Pill	8.807	7.557
Type 1 Error	Pawn	18.788	17.360
Type 2 Error	Hemispheres	107.127	171.605
Type 2 Error	Pill	65.274	152.846
Type 2 Error	Pawn	296.381	290.014

오차를 두 종류로 쪼갠 게 분석의 핵심이다(Figure 5).

• Type 1 오차: ground-truth 깊이가 0인 영역(=실제로 안 닿은 곳)의 픽셀 오차. 모든 객체에서 두 센서 모두 20 μm 미만이었다. 즉 “닿지 않은 곳”을 잡아내는 데는 거의 완벽하다. 거짓 접촉이 적다는 뜻이라, 접촉 영역 분할 같은 용도에 든든하다.
• Type 2 오차: ground-truth 깊이가 0이 아닌 영역(=실제로 닿은 곳)의 깊이 오차. 65~296 μm로 더 컸다. 다만 반구와 알약은 대체로 200 μm 아래에 몰려 있었다. 저자들은 이 정도(최대 눌림 깊이의 약 5~15%)면 상당수 실세계 조작 작업에 충분하다고 본다.

흥미로운 비대칭도 보인다. 단순한 기하(반구, 알약)에서는 DIGIT이 더 정확했지만, 폰에서는 GelSight Mini가 앞섰다. 두 센서 모두 폰의 목 부분을 복원하는 데 애를 먹었는데, 폰 기하와 센서 조명 배치 탓에 그 부분이 그림자에 묻혔기 때문이다. 저자들은 더 다양한 탐침 기하로 학습하면 그림자에 대한 강건성이 올라갈 것으로 본다.

---

비판적 고찰: 무엇이 좋고, 무엇이 미심쩍은가

강점

진입 장벽을 진짜로 낮춘다. 6축 로봇팔이나 CNC, 모션캡처는 수백~수천만 원에 셋업도 길다. Ender 3는 십수만 원이다. 받침대를 바닥에 출력해 공간 보정을 통째로 없앤 트릭은 단순하지만 효과가 크다. 셋업 난이도와 비용을 동시에 깎았다.

가볍고 실시간이다. 9층 완전합성곱망이라 노트북에서 30 fps가 나온다. 무거운 트랜스포머나 디퓨전 기반 복원과 대비된다. 로봇 손에 올려 제어 루프에 바로 넣을 수 있다는 점이 실무적으로 매력적이다.

일반화가 된다. 구형 탐침 하나로만 학습하고도 반구/알약/폰 같은 미지 형상을 복원한다. 기울기를 국소적으로 맞히고 적분하는 설계 덕분이다. “형상을 외우지 말고 국소 규칙을 배워라”는 방향이 데이터 효율과 일반화 양쪽에서 통했다.

재현성과 공개성. 코드, DIGIT/GelSight Mini 사전학습 가중치, 70,000장 데이터셋을 전부 공개했다. 데이터 가이드라인(20%, 약 250좌표, 2시간)도 구체적이라 따라 하기 쉽다.

약점과 한계

1. 저가 프린터의 z축 정밀도라는 근본 의문. 이 방법은 깊이 라벨을 프린터의 z 위치에서 얻는다. 그런데 측정하려는 촉각 깊이는 수십~수백 μm 단위다. FDM 프린터(특히 Ender 3)의 z축 반복정밀도와 백래시(backlash)는 보통 그보다 거칠다. 논문은 라벨의 절대 정밀도 자체를 정량 검증하지 않는다. 보정 장치를 싸게 만든 대가가 ground-truth 품질에 어디까지 영향을 주는지는 더 따져볼 문제다.

2. ground-truth를 예측에 맞춰 보정했다. 미지 객체 평가에서 손으로 눌렀기 때문에, xy 정렬을 교차상관으로 맞추고 깊이는 “예측과의 MSE가 최소가 되도록” CAD 깊이를 조정했다. 정렬은 합리적이지만, ground-truth의 자유 파라미터(깊이)를 예측에 맞춰 최적화하면 보고된 오차가 다소 후하게 나올 수 있다. 자동화된 z 제어 인덴테이션으로 평가했다면 더 깔끔했을 것이다.

3. 단일 탐침 기하의 그늘. 구형 탐침만 써서, 오목하거나 그림자가 지는 기하(폰의 목)에서 무너졌다. 저자들도 인정하는 부분이다. 탐침 다양성을 늘리면 나아지겠지만, 그만큼 수집 절차가 복잡해진다.

4. 비교 베이스라인이 없다. 실험은 자기 모델을 데이터 비율별로 비교할 뿐, 다른 깊이 복원 방법(고전적 photometric stereo 룩업테이블 방식, MLP 기반, 기존 GelSight 보정 등)과의 정면 비교가 없다. “기존 방식보다 정확하다”가 아니라 “싸게, 충분히 정확하다”는 주장이라 방향은 맞지만, 정확도 우위는 입증되지 않았다.

5. 적용 범위가 좁다(아직). 현재는 비전 기반 센서, 깊이맵 출력에 한정된다. 힘/전단력은 미지원이고, 평면이거나 곡률 반경이 작은 센서에만 쓸 수 있다. 곡면 손끝 센서(예: 반구형 지문 센서)에는 바로 적용하기 어렵다.

6. 검증 폭이 얕다. 센서 2종, 미지 객체 3종이다. 분야 표준 수준의 검증으로는 적은 편이다. 다양한 젤 경도, 노후화된 젤, 마커 있는 변형까지 가면 결과가 달라질 여지가 있다.

관련 연구와의 위치

센서 하드웨어 계보: GelSight(Yuan 2017), DIGIT(Lambeta 2020), GelSight Wedge, GelSlim 4.0, 9DTact, TacTip 등. 3D Cal은 새 센서를 만드는 대신, 이미 있는 센서를 쓰게 해주는 도구다.

소프트웨어 생태계: PyTouch(Lambeta 2021)는 통합 인터페이스를, TACTO(Wang 2022)는 시뮬레이터를 제공한다. 3D Cal은 이 생태계에서 비어 있던 보정 칸을 채운다. 인터페이스도, 시뮬레이터도 있지만 “raw를 물리량으로 바꾸는 자동 보정”은 빠져 있었다.

자동 보정 선행 연구와의 대비: DenseTact(Do & Kennedy 2022)는 CNC, FeelAnyForce(Shahidzadeh 2025)는 6축 팔, TensorTouch(Do 2025)는 모션캡처를 쓴다. 모두 비싸고 공간 보정이 필요하다. 3D Cal은 같은 자동화를 저가 프린터 + 암묵적 좌표 정렬로 달성해 접근성을 끌어내렸다.

복원 방법론 대비: 고전 GelSight 보정(Johnson & Adelson 2009/2011)은 보정 구 + 룩업테이블로 색→기울기를 매핑했다. TouchNet은 룩업테이블 대신 CNN을 쓰고, CoordConv류 좌표 임베딩(Liu 2018)으로 비균일 조명을 명시적으로 다룬다. 기울기→깊이 푸아송 적분은 이 계열의 표준을 그대로 계승한다.

미래 방향: 저자들은 센서별 개별 보정에서 벗어나 전이학습(Touch2Touch, Sparsh)과 센서 비종속 모델로 가는 흐름을 내다본다. 이를 위해 70,000장 데이터를 공개했다. 대규모 촉각 데이터 수집을 싸게 자동화하는 도구라는 점에서, 이 큰 그림에 부품으로 기여한다.

---

요약 및 결론

3D Cal은 “촉각 센서 보정이 왜 이렇게 귀찮은가”라는 현장의 통증을 정확히 겨냥한 도구다. 비싼 장비 대신 흔한 3D 프린터를 자동 탐침기로 쓰고, 받침대를 바닥에 출력해 공간 보정을 없앤 발상이 단순하면서도 실용적이다. 가벼운 TouchNet은 기울기를 국소적으로 맞히고 푸아송으로 적분하는 정공법으로, 구형 탐침만 보고도 미지 형상을 30 fps 실시간으로 복원한다. 미지 객체 전체 평균 오차는 두 센서 모두 수십 μm 수준이고, 비접촉 영역 판별은 거의 완벽하다.

한계도 분명하다. 저가 프린터 z축 정밀도가 라벨 품질에 주는 영향이 정량 검증되지 않았고, 미지 객체 평가에서 ground-truth 깊이를 예측에 맞춰 보정한 점은 오차를 후하게 만들 수 있다. 단일 구형 탐침 탓에 그림자 진 오목 기하에서 약하고, 다른 보정 방법과의 정면 비교도 없다. 적용 범위는 아직 비전 기반 센서의 깊이맵에 묶여 있다.

그럼에도 로봇 손에 촉각을 붙이려는 실무자 입장에서 이 도구의 가치는 또렷하다. 센서를 사고 → 받침대를 출력하고 → 2시간 찌르고 → 사전학습 가중치로 미세조정하면 끝이라는 워크플로는, 비싼 장비 셋업과 수작업 데이터 수집이라는 두 병목을 동시에 치운다. DIGIT이나 GelSight Mini를 만지는 연구라면 사전학습 가중치를 그대로 받아 미세조정부터 시작해 보는 게 합리적이다. 새 센서를 개발 중이라면, 통신/이미지 획득 함수 두 개만 구현해 자동 데이터 수집 파이프라인을 얹는 방향을 검토할 만하다.

향후 힘/전단력 보정과 정전·저항식 센서 지원이 더해지고, 공개된 70,000장 데이터가 센서 비종속 모델로 이어진다면, 3D Cal은 촉각 센싱의 진입 장벽을 낮추는 표준 도구로 자리 잡을 여지가 있다.

---

참고 메모

• 프로젝트/코드/데이터/가중치: https://rohankotanu.github.io/3DCal
• 사용 하드웨어 예시: Creality Ender 3, 강체 구형 탐침 반경 2 mm (McMaster-Carr 85175A586)
• 데이터 가이드라인: 0.5 mm x 0.5 mm 격자에서 전체 좌표의 20% 이상(약 240~250개), 수집 시간 약 2시간
• 추론 성능: 노트북급 하드웨어에서 30 ms 미만, 30 fps 실시간