📃GelSLAM

slam

tactile

gelsight

A Real-Time, High-Fidelity, and Robust 3D Tactile SLAM System

Published

May 18, 2026

🤖 GelSLAM은 촉각 센싱만으로 실시간 물체 포즈 추적 및 고품질 3D 형태 재구성을 수행하는 견고한 SLAM 시스템입니다.
💡 이 시스템은 기존의 point cloud 기반 접근 방식 대신, NormalFlow의 failure detection, keyframe selection, 그리고 loop detection을 위해 tactile-derived surface normals 및 curvatures와 같은 differential representations를 활용합니다.
🚀 GelSLAM은 장기간 물체 추적에서 드리프트를 크게 줄이고 수만 프레임에서도 오탐 없이 submillimeter 정확도로 3D 모델을 재구성하여, 촉각 센싱의 국소적 한계를 넘어 전역적 공간 인지를 가능하게 합니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

GelSLAM은 GelSight 센서에서 얻은 촉각 입력만을 사용하여 객체의 실시간, 고정밀 장기 추적(long-horizon tracking) 및 고충실도 3D 재구성(high-fidelity 3D reconstruction)을 가능하게 하는 혁신적인 3D SLAM 시스템입니다. 이 시스템은 일반적인 시각 기반 방법의 한계(예: 폐색, 조명 문제, 투명하거나 반사되는 표면)를 극복하고, 접촉 중인 객체의 자세와 형상을 정밀하게 인식하는 데 중점을 둡니다.

기존의 촉각 기반 접근 방식은 GelSight 이미지를 주로 포인트 클라우드(point cloud)로 처리하여 객체 움직임을 추정했지만, 이는 촉각 접촉이 매우 얕은 표면 변형만을 생성하므로 포인트 클라우드가 평평하고 특징이 부족하다는 한계가 있었습니다. GelSLAM의 핵심 아이디어는 GelSight 이미지를 포인트 클라우드가 아닌, 표면 법선 맵(normal map, 1차 기하학)과 곡률 맵(curvature map, 2차 기하학)과 같은 미분 표현(differential representations)으로 처리하는 것입니다. 이러한 미분 표현은 미세한 표면 질감을 풍부하게 담아내며, GelSight 센서가 광도 스테레오(photometric stereo)를 통해 법선 맵을 직접 측정할 수 있어 포인트 클라우드 변환 시 발생하는 누적 노이즈(accumulated noise)와 왜곡 문제를 피할 수 있습니다.

GelSLAM은 세 가지 주요 모듈로 구성됩니다:

추적 모듈(Tracking Module):
- NormalFlow 기반 상대 자세 추정: 시간적으로 인접한 프레임 간의 상대 자세를 추정하기 위해 NormalFlow [12]를 사용합니다. 참조 프레임 i와 대상 프레임 j의 법선 맵 I_i와 I_j를 정렬하여 변환 j \hat{T}_i = (R, t) \in SE(3)를 추정합니다. 이는 다음 목적 함수를 최소화함으로써 이루어집니다: \sum_{(u,v) \in C} \|I_j(W(u,v; R,t)) - R I_i(u,v)\|^2 여기서 C는 공유 접촉 영역(shared contact region)이고, W는 추정된 변환 (R,t) 하에서의 워핑(warping) 함수입니다: W(u,v; R,t) = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \end{bmatrix} \cdot (R \cdot q(u,v) + t) q(u,v) = \begin{bmatrix} u & v & H_i(u,v) \end{bmatrix}^\top는 참조 프레임의 픽셀 (u,v)와 관련된 3D 포인트입니다.
- NormalFlow 실패 감지: 잘못된 자세 추정을 감지하기 위해 두 가지 지표를 도입합니다:
  - 곡률 코사인 유사도(Curvature Cosine Similarity, CCS): 참조 프레임의 곡률 맵 L_i와 워핑된 대상 프레임의 곡률 맵 L'_j = L_j(W(u,v; R,t)) 간의 코사인 유사도를 계산합니다. \text{CCS} = \frac{\langle L'_j, L_i \rangle}{\|L'_j\| \cdot \|L_i\|} 이것은 질감이 풍부한 영역의 정렬에 중점을 둡니다.
  - 공유 곡률 비율(Shared Curvature Ratio, SCR): 공유 접촉 영역의 충분한 공간적 중첩을 보장하기 위해 참조 프레임의 접촉 영역이 대상 프레임과 중첩되는 비율을 곡률에 따라 가중하여 측정합니다. \text{SCR} = \frac{\sum_{(u,v) \in C} L_i(u,v)}{\sum_{(u,v) \in C_i} L_i(u,v)} 미리 정의된 임계값보다 낮으면 NormalFlow 실패로 간주됩니다.
- 키프레임 선택(Keyframe Selection): NormalFlow 추정이 실패하거나 신뢰할 수 없을 때 이전 프레임을 새로운 키프레임으로 선택하고, 이 키프레임 간의 변환을 기록하여 나중의 자세 그래프 최적화(pose graph optimization)에 사용합니다.
루프 폐쇄 모듈(Loop Closure Module):
- 적용 범위 키프레임(Coverage Keyframes): 루프 감지 시 온라인 계산을 줄이기 위해 이전에 스캔된 모든 접촉 영역을 포괄하는 키프레임의 부분집합(coverage set)에 대해서만 루프를 감지합니다.
- 루프 감지(Loop Detection): 새로 선택된 키프레임과 적용 범위 키프레임 간의 재방문(revisit)을 두 단계로 감지합니다.
  1. SIFT 특징 매칭: 곡률 맵에서 SIFT 특징(SIFT features)을 추출하고 매칭하여 초기 2D 변환을 추정합니다. RANSAC으로 아웃라이어(outlier)를 제거하고, 8개 이상의 인라이어(inlier) 매칭이 있는 쌍을 루프 후보로 유지합니다.
  2. NormalFlow 정제: 각 후보 쌍에 대해 SIFT 매칭에서 얻은 2D 변환으로 초기화하여 NormalFlow가 전체 6DoF 상대 자세를 추정합니다. CCS와 SCR 지표를 사용하여 높은 품질의 NormalFlow 추정치(즉, 높은 CCS 및 SCR)를 가진 루프만 수락합니다.
- 자세 그래프 최적화: 추적에서 얻은 연속 키프레임 간의 제약 조건과 감지된 루프에서 얻은 제약 조건을 모두 사용하여 모든 키프레임의 전역적으로 일관된 자세(globally consistent poses)를 추정합니다. 이는 다음 자세 그래프 최적화 문제를 해결함으로써 이루어집니다: \arg \min_{\{T_{k_1}, \dots, T_{k_n}\}} \sum_{(i,j) \in E} \|e_{ij}\|^2_{\Sigma} \quad \text{with} \quad e_{ij} = \log \left( \hat{T}_{k_j}^{k_i}{}^{-1} \cdot T_{k_j}^{-1} T_{k_i} \right) 여기서 T_{k_1}, \dots, T_{k_n} \in SE(3)는 추정할 키프레임 자세이고, E는 쌍별 자세 제약(pairwise pose constraint)이 사용 가능한 키프레임 쌍 집합입니다. e_{ij}는 예측된 상대 자세와 NormalFlow로 추정된 상대 자세 간의 차이를 나타내는 6D 오차 벡터입니다. 이 비선형 최소 제곱 문제는 Levenberg-Marquardt 알고리즘 [11]으로 해결됩니다.
재구성 모듈(Reconstruction Module):
- 고속 표면 융합(Fast Surface Fusion): 자세 그래프 최적화에서 얻은 최적화된 키프레임 자세를 사용하여 적용 범위 키프레임의 포인트 클라우드를 등록하고 평균화하여 융합된 표면을 생성합니다. 이는 온라인 사용을 위한 효율적인 단계로, 사용자에게 실시간 피드백을 제공합니다. 겹치는 영역을 평균화하여 접촉 영역 경계에서의 아티팩트(artifacts)를 줄이고, 각 포인트를 접촉 경계까지의 거리에 따라 시그모이드 함수(sigmoid function)를 사용하여 가중치를 부여합니다.
- 리메싱(Remeshing): Poisson Surface Reconstruction [16] 방법을 사용하여 융합된 표면을 워터타이트(watertight)하고 고충실도의 메시(mesh)로 재구성합니다. 이 단계는 일반적으로 오프라인 프로세스로 수행됩니다.

GelSLAM은 기존 방법들이 수백 프레임 규모에 그치고 빈번한 오탐(false positive) 루프 감지에 실패하는 것과 달리, 수만 프레임 규모로 확장되며 오탐 없이 루프를 성공적으로 감지합니다. 이로써 GelSLAM은 촉각의 본질적인 국부적 특성을 극복하고, 장기 추적 및 상세한 기하학적 특징을 포함하는 일관된 전역적(global) 재구성을 달성합니다. 실험 결과, GelSLAM은 실시간으로 정확한 추적을 유지하며 드리프트(drift)를 효과적으로 교정하고, 다양한 객체에 대해 서브밀리미터(submillimeter) 수준의 정확도로 고충실도 3D 재구성을 수행할 수 있음을 입증했습니다. 특히, GelBelt 센서 [35]를 사용하여 나무 줄기와 같은 대형 객체도 미세한 표면 디테일을 보존하며 재구성할 수 있음을 보여주었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

GelSLAM 리뷰: 촉각만으로 물체를 추적하고 복원하는 SLAM

촉각 센서로 SLAM을 한다는 발상은 처음 들으면 좀 이상하게 들립니다. SLAM은 보통 카메라나 LiDAR처럼 “멀리 보는” 센서의 일입니다. 그런데 GelSight 같은 촉각 센서가 한 번에 보는 영역은 손톱만 합니다(GelSight Mini의 경우 20mm x 15mm). 어두운 방에서 손가락 하나로 코끼리를 더듬어 코끼리 전체를 그려내라는 요구와 비슷합니다. GelSLAM은 바로 이 요구에 정면으로 답하는 시스템입니다. 그것도 실시간으로, 잡음 누적 없이, 표면 무늬가 거의 없는 나무 손잡이까지.

서론: 왜 촉각 SLAM이 어려운가

문제의 본질, “장님과 코끼리”

논문은 핵심 난점을 “장님과 코끼리(blind men and the elephant)” 문제라고 부릅니다. 이 비유가 정확합니다. 촉각 센서의 한 프레임은 정보가 매우 풍부합니다(고해상도로 표면 미세 굴곡을 잡아냅니다). 그런데 그 정보가 국소적입니다. 코끼리의 다리를 만진 사람은 “기둥 같다”고 하고, 귀를 만진 사람은 “부채 같다”고 합니다. 각자의 관찰은 정확하지만, 이것을 하나의 코끼리로 꿰매려면 “내가 만진 부위가 공간적으로 어디인가”를 알아야 합니다. 카메라라면 배경, 조명, 원경 같은 외부 단서로 이 문제를 쉽게 풉니다. 촉각에는 그런 단서가 없습니다.

그래서 기존 촉각 추적/복원 시스템은 거의 항상 다음 셋 중 하나에 의존했습니다.

로봇 키네매틱스로 접촉 포즈를 이미 알고 있다고 가정(stationary object + known touch pose)
비전을 같이 써서 전역 맥락을 보강(visuo-tactile)
짧은 구간(수백 프레임)만, 그것도 무늬가 과장된 3D 프린팅 물체에서만 동작

GelSLAM의 도발적인 주장은 이렇습니다. 외부 단서, 비전, 물체 모델, 키네매틱스 어느 것도 없이, 손에 든 센서와 손에 든 물체만으로(both hand-held, free motion, contact break 허용) 수만 프레임 규모의 추적과 고품질 복원이 가능하다.

왜 point cloud으로는 안 되는가

여기서 가장 중요한 통찰이 나옵니다. 기존 방법 대부분은 GelSight 이미지를 점군이나 높이맵(height map)으로 바꿔서 ICP, FPFH 같은 표준 3D 정합 기법을 적용했습니다. 그런데 촉각 접촉이 만드는 표면 변형은 보통 몇 mm에 불과합니다. 결과적으로 점군이 거의 평평합니다. 평평한 점군 두 장을 ICP로 맞추는 일은, 백지 두 장을 겹쳐 놓고 “어디가 어디에 대응되는지” 맞추는 일과 같습니다. 답이 무수히 많거나(정합 실패), 답이 없습니다(드리프트).

직관을 위한 핵심 그림 하나. 직물(fabric)을 만졌다고 합시다. 높이 변화는 0.5mm도 안 됩니다. 점군으로 보면 거의 평면입니다. 그런데 같은 직물의 법선맵(normal map)을 보면 씨실과 날실, 능선이 또렷하게 살아 있습니다. 깊이(0차) 정보는 빈약해도, 그 미분(1차) 정보는 풍부합니다. 이것이 GelSLAM 전체를 관통하는 한 문장짜리 아이디어입니다.

촉각 이미지를 점군이 아니라 미분 표현(differential representation)으로 다뤄라.

게다가 GelSight는 광도 측정 스테레오(photometric stereo)로 법선을 직접 측정합니다. 점군을 얻으려면 법선을 적분해야 하는데, 적분은 잡음을 누적시킵니다. 즉 점군은 원천적으로 잡음이 더 낀 2차 가공물입니다. 미분 표현을 쓰면 센서의 원리에 가장 충실한 양을 직접 쓰는 셈입니다.

핵심 아이디어: 두 개의 미분 표현

GelSLAM은 두 가지 미분 표현을 사용합니다. 이 둘의 역할 분담을 이해하면 시스템 전체가 한눈에 들어옵니다.

1차 표현: 법선맵 (Surface Normal Map)

각 픽셀에 단위 법선 벡터를 담은 맵 \mathbf{I}_i \in \mathbb{R}^{H \times W \times 3} 입니다. GelSight RGB 이미지에서 작은 MLP(5–32–32–32–2 구조)가 표면 기울기 (g_u, g_v)를 예측하고, 다음으로 법선을 얻습니다.

\hat{\mathbf{n}} = \frac{\mathbf{n}}{\|\mathbf{n}\|}, \quad \text{where } \mathbf{n} = \begin{bmatrix} g_u & g_v & -1 \end{bmatrix}^{\intercal}

(MLP 입력은 RGB 3채널과 픽셀 좌표 (u,v)를 합친 5차원입니다. 6.31mm 금속 구를 센서 곳곳에 눌러 50장을 모아 학습합니다.)

법선맵은 무늬가 풍부합니다. 정합(alignment)에 강력합니다. 단, 한 가지 약점이 있습니다. 물체가 회전하면 법선도 같이 회전합니다. 즉 회전 불변(rotation invariant)이 아닙니다. 그래서 법선맵은 “이미 대략 맞춰진 두 프레임을 정밀하게 정렬”하는 데는 좋지만, “전혀 모르는 두 프레임이 같은 부위인지 검색”하는 데는 부적합합니다.

2차 표현: 곡률맵 (Surface Curvature Map)

여기가 GelSLAM의 영리한 지점입니다. 곡률은 수학적으로 법선장의 발산(divergence)이고, 논문은 이를 높이맵의 라플라시안으로 근사합니다.

\mathbf{L}_i \approx \frac{\partial g_u}{\partial u} + \frac{\partial g_v}{\partial v}

(미분이 만든 고주파 잡음은 7x7 가우시안 필터로 억제합니다. 결과는 스칼라 필드 \mathbf{L}_i \in \mathbb{R}^{H \times W}.)

곡률의 결정적 성질은 강체 변환에 불변(invariant to rigid transformations)이라는 점입니다. 물체를 평행이동하거나 회전해도, 표면의 한 점에서의 곡률값은 변하지 않습니다. 산봉우리의 “뾰족한 정도”는 그 산을 어느 방향에서 보든 그대로인 것과 같습니다.

이 불변성 덕분에 곡률맵은 SIFT 같은 특징점 매칭의 전제 조건(공간 변환에 대한 외형 불변)을 만족합니다. 즉 곡률맵은 검색용 지문입니다. 추가로 곡률은 국소 현저성(saliency)의 척도이기도 합니다. 곡률이 큰 곳이 곧 무늬가 풍부하고 정합에 중요한 곳입니다.

두 표현의 역할을 한 줄로 요약하면 이렇습니다.

표현	차수	강체 변환 불변?	주 용도
법선맵 \mathbf{I}	1차	아니오 (회전과 함께 변함)	정밀 포즈 추정 (NormalFlow)
곡률맵 \mathbf{L}	2차	예	루프 검색(SIFT), 실패 검출, 키프레임 선정

“불변인 양으로 검색하고, 정밀한 양으로 맞춘다.” 이 분업이 시스템 전체 설계 철학입니다.

방법: 세 모듈의 해부

GelSLAM은 세 모듈을 별도 프로세스로 병렬 실행합니다. 전체 파이프라인을 먼저 그림으로 봅시다.

flowchart TD
    A[GelSight image stream F_t] --> B[Tracking Module]
    B -->|relative pose via NormalFlow| C{NormalFlow failure?<br/>CCS / SCR check}
    C -->|no| B
    C -->|yes| D[Select new keyframe]
    D --> E[Loop Closure Module]
    E --> F[Match SIFT on curvature map<br/>vs Coverage Set]
    F --> G[Refine 6DoF by NormalFlow]
    G --> H{Accept loop?<br/>CCS high & SCR high}
    H -->|yes| I[Pose Graph Optimization<br/>GTSAM, Levenberg-Marquardt]
    H -->|no| E
    I --> J[Reconstruction Module]
    J --> K[Fast fusion + Poisson re-mesh]
    K --> L[Global 3D mesh]

모듈 1: 트래킹 (Tracking Module)

1-1. NormalFlow로 상대 포즈 추정

트래킹의 엔진은 NormalFlow(Huang et al. 2024, 같은 1저자의 선행 연구)입니다. 기준 프레임 i와 대상 프레임 j의 법선맵을 정렬해 변환 ^{j}\hat{\mathbf{T}}_i = (\mathbf{R}, \mathbf{t}) \in SE(3)를 구합니다. 목적함수는 다음과 같습니다.

\sum_{(u,v) \in \overline{\mathbf{C}}} \left\| \mathbf{I}_j(\mathbf{W}(u,v;\mathbf{R},\mathbf{t})) - \mathbf{R}\,\mathbf{I}_i(u,v) \right\|^2

여기서 직관이 중요합니다. 식 안에 \mathbf{R}\,\mathbf{I}_i 항이 있는 것에 주목하세요. 단순히 픽셀 위치만 워핑하는 것이 아니라, 법선 벡터 자체도 \mathbf{R}로 회전시켜서 비교합니다. 법선이 회전과 함께 변하는 양이라는 사실을 목적함수가 정직하게 반영합니다. 워핑 함수 \mathbf{W}는 기준 프레임의 3D 점 \mathbf{q}(u,v) = [u, v, \mathbf{H}_i(u,v)]^{\intercal}를 변환한 뒤 이미지 평면으로 투영합니다.

\mathbf{W}(u,v;\mathbf{R},\mathbf{t}) = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \end{pmatrix} \cdot \left( \mathbf{R} \cdot \mathbf{q}(u,v) + \mathbf{t} \right)

최적화는 Gauss-Newton이고, 프레임당 약 8ms입니다. GelSLAM은 원본 NormalFlow의 무작위 부분표집을 버리고, 곡률이 가장 높은 픽셀 3000개를 고정 선택하도록 바꿨습니다. 결정론적이고 재현 가능한 정렬을 위해서입니다. 잡음이 많은 평탄 영역 대신 정보가 있는 곳에 계산을 집중하는 셈입니다.

1-2. 실패를 스스로 아는 법 (CCS / SCR)

NormalFlow의 치명적 약점은 틀려도 조용히 틀린다(silently fails)는 점입니다. 초기값이 나쁘거나 공유 접촉이 부족하거나 지역 최소에 빠지면, 그럴듯하지만 잘못된 포즈를 내놓고 아무 신호도 주지 않습니다. SLAM에서 이건 재앙입니다. 잘못된 제약 하나가 전체 포즈 그래프를 망가뜨립니다.

GelSLAM은 두 개의 자가 진단 지표를 도입합니다. 둘 다 곡률맵(불변 표현)을 기반으로 한다는 점이 핵심입니다.

곡률 코사인 유사도 (CCS, Curvature Cosine Similarity) — 추정된 변환으로 대상 곡률맵을 기준 프레임에 워핑한 \mathbf{L}_j'와 기준 곡률맵 \mathbf{L}_i의 코사인 유사도:

\text{CCS} = \frac{\langle \mathbf{L}_j', \mathbf{L}_i \rangle}{\|\mathbf{L}_j'\| \cdot \|\mathbf{L}_i\|}

내적이 곡률 큰 픽셀에 자동으로 더 큰 가중치를 줍니다. 즉 무늬가 또렷한 영역의 정렬을 더 엄격하게 평가합니다. 정규화되어 있어 무늬 수준이 다른 물체들 사이에서도 비교 가능하고, 완벽 정렬 시 1로 상한이 잡힙니다.

공유 곡률 비율 (SCR, Shared Curvature Ratio) — CCS가 높아도 공유 영역이 너무 작으면 신뢰할 수 없습니다. SCR은 기준 프레임 접촉 영역 중 대상과 겹치는 부분의 비율을 곡률 가중으로 잽니다.

\text{SCR} = \frac{\sum_{(u,v) \in \overline{\mathbf{C}}} \mathbf{L}_i(u,v)}{\sum_{(u,v) \in \mathbf{C}_i} \mathbf{L}_i(u,v)}

CCS는 “얼마나 잘 맞았나”, SCR은 “충분히 많이 겹쳤나”를 봅니다. 둘 중 하나라도 임계값 미만이면 실패로 판정합니다. 비유하자면 CCS는 두 지문이 닮은 정도이고, SCR은 비교한 지문 면적이 결론을 내릴 만큼 넓은지입니다. 둘 다 있어야 “동일인”이라고 말할 수 있습니다.

1-3. 파이프라인과 키프레임 선정

키프레임은 희소한 앵커 집합 \mathbb{K} = \{k_1, \dots, k_n\}입니다. 새 프레임 t가 들어오면 가장 최근 키프레임에 대해 NormalFlow로 포즈를 추정하되, 직전 추정값으로 초기화합니다. 실패하면(CCS 또는 SCR 미달) 직전 프레임 t{-}1을 새 키프레임으로 승격합니다.

설계의 영리함이 여기 있습니다. 키프레임 갱신을 NormalFlow가 더 못 따라갈 때까지 미룹니다(defer). 그래서 최신 키프레임은 보통 현재 프레임보다 몇 프레임 뒤처져 있습니다. 이 지연 전략은 키프레임을 꼭 필요한 만큼만 만들어 드리프트와 계산을 동시에 줄입니다. 원본 NormalFlow는 키프레임 선정을 위해 프레임당 NormalFlow를 두 번 돌렸지만, GelSLAM은 한 번만 돌립니다(2배 빠름, 정확도는 동등).

극단적으로 t{-}1이 이미 키프레임인데 t{-}1 \to t 추정마저 실패하면, 추적 손실로 선언하고 프레임 t를 새 트래킹 세션의 첫 키프레임으로 삼습니다. 보통 접촉이 끊겼거나 급격히 움직였을 때 일어납니다.

트래킹 의사코드

function TRACK(frame F_t):
    {I_t, L_t, H_t, C_t} = compute_geometric_properties(F_t)
    k = latest_keyframe()
    (R, t) = NormalFlow(k, F_t, init = pose_estimate[t-1 -> k])
    CCS, SCR = failure_metrics(L_k, L_t, R, t)
    if CCS < tau_ccs or SCR < tau_scr:
        promote frame (t-1) to new keyframe
        record relative pose (prev_keyframe -> new_keyframe)
        if (t-1) was already the latest keyframe and (t-1 -> t) also failed:
            declare tracking lost
            start new tracking session with F_t as first keyframe
    return composed pose for frame t

모듈 2: 루프 클로저 (Loop Closure Module)

트래킹만으로는 드리프트를 피할 수 없고, 끊긴 세션 사이의 공간 관계도 복원하지 못합니다. 루프 클로저가 이를 해결합니다. “이 부위, 아까 만진 데 아닌가?”를 검출하는 일입니다.

2-1. 커버리지 집합 (Coverage Set)

모든 키프레임 쌍을 비교하면 조합 폭발이 일어납니다. GelSLAM은 검색 대상을 커버리지 집합 \mathbb{C} \subseteq \mathbb{K}로 제한합니다. 커버리지 키프레임은 지금까지 스캔한 표면 전체를 비중복으로 덮는 최소 대표 집합입니다.

탐욕적으로 관리합니다. 새 키프레임이 기존 \mathbb{C}가 덮지 못한 접촉 영역을 0.2\,\text{mm}^2 이상 새로 기여하면 \mathbb{C}에 추가합니다. 그리고 다른 키프레임들로 충분히 덮이게 되어 고유 기여가 0.2\,\text{mm}^2 미만이 된 기존 커버리지 키프레임은 제거(prune)합니다. 직관은 단순합니다. 새 키프레임이 과거 어딘가를 다시 만졌다면, 그 영역은 커버리지 집합 안 누군가도 분명히 덮고 있을 것이므로, 커버리지 집합만 비교해도 루프를 놓치지 않습니다. 지도책의 색인처럼, 전체를 다 뒤지지 않고 대표 페이지만 봅니다.

2-2. 2단계 루프 검출

flowchart LR
    A[New keyframe<br/>curvature map] --> B[Stage 1:<br/>SIFT on curvature map]
    B --> C[Match vs coverage keyframes]
    C --> D[Least-squares + RANSAC<br/>2D transform estimate]
    D --> E{>8 inliers?}
    E -->|yes, ~0.2 ms/pair| F[Stage 2:<br/>NormalFlow 6DoF refine<br/>~8 ms/pair]
    E -->|no| G[Reject]
    F --> H{CCS high & SCR high?}
    H -->|yes| I[Accept loop]
    H -->|no| G

1단계 (빠른 후보 선별, 약 0.2ms/쌍): 새 키프레임의 곡률맵에서 SIFT 특징을 뽑아 커버리지 키프레임들과 매칭합니다. 곡률맵이 강체 변환 불변이므로 SIFT의 전제가 성립합니다. RANSAC을 곁들인 최소자승으로 2D 평면 변환을 추정하고, 인라이어가 8개를 넘는 쌍만 후보로 남깁니다.

2단계 (정밀 검증, 평균 8ms/쌍): 각 후보에 대해 1단계의 2D 변환으로 초기화한 NormalFlow로 완전한 6DoF 상대 포즈를 추정합니다. 그리고 트래킹 모듈과 똑같은 CCS/SCR 검사로 검증합니다. 둘 다 높으면 루프 채택.

이 2단계 구조가 왜 둘 다 필요한지는 절제 실험이 분명하게 보여줍니다(뒤에서). 1단계는 빠른 거름망이자 좋은 초기값 공급원이고, 2단계는 정밀 검증기입니다. NormalFlow는 좋은 초기값 없이는 지역 최소에 빠져 유효한 루프를 거부합니다. SIFT는 빠르지만 단독으로는 이상치 루프를 통과시킵니다. 둘을 직렬로 엮어야 빠르면서도 견고합니다.

2-3. 포즈 그래프 최적화

채택된 모든 제약(연속 키프레임 간 추적 제약 + 검출된 루프 제약)으로 전역 일관 포즈를 푼다.

\operatorname*{arg\,min}_{\{\mathbf{T}_{k_1},\dots,\mathbf{T}_{k_n}\}} \sum_{(i,j)\in\mathcal{E}} \left\| \mathbf{e}_{ij} \right\|^2_{\mathbf{\Sigma}}

\mathbf{e}_{ij} = \log\left( {^{k_j}\hat{\mathbf{T}}_{k_i}}^{-1} \cdot \mathbf{T}_{k_j}^{-1} \mathbf{T}_{k_i} \right)

오차 \mathbf{e}_{ij}는 측정된 상대 포즈와 현재 추정 상대 포즈의 차이를 \mathfrak{se}(3)로 사상한 6D 벡터입니다. 흥미롭게도 모든 제약에 고정된 공분산 \mathbf{\Sigma}를 씁니다. 추정 공분산을 써봐도 실제로 성능이 나아지지 않았다고 보고합니다. GTSAM의 Levenberg-Marquardt로 풉니다. 모든 프레임이 어떤 키프레임에 매여 있으므로, 키프레임 포즈만 풀면 전체 프레임 포즈가 복원됩니다.

모듈 3: 복원 (Reconstruction Module)

최적화된 키프레임 포즈가 있으면 국소 패치를 전역 메시로 융합합니다. 두 단계입니다.

1단계 (빠른 융합, 온라인용): 커버리지 키프레임들의 점군을 정합하고 평균냅니다. 단순히 패치를 포즈대로 붙이면 접촉 경계 부근에서 깊이 왜곡 때문에 아티팩트가 생깁니다(naive fusion). 그래서 각 픽셀을 겹치는 다른 키프레임으로 재투영해 대응 3D 점을 모으고, 가중 평균합니다. 가중치는 접촉 경계까지 거리의 시그모이드 함수로, 신뢰도 낮은 경계 영역을 깎아냅니다. 시각적으로 일관되고 빠르지만 방수(watertight)는 아닙니다.

2단계 (재메싱, 오프라인): 융합 표면에 Poisson Surface Reconstruction을 적용해 방수 고품질 메시를 만듭니다. 정확한 형상이 목적이고 실시간이 필요 없으므로 오프라인 처리합니다.

그림 4 설명: 위 오른쪽의 naive fusion은 경계 아티팩트가 보이고, fast fusion 단계가 이를 평균으로 다듬은 뒤, 오프라인 re-meshing이 방수 최종 모델을 만든다.

실험: 무엇을 측정했고 무엇이 드러났나

실험은 두 갈래입니다. (1) 장기 추적(long-horizon tracking), (2) 물체 3D 복원.

실험 1: 장기 추적

설정. GelSight Mini(320x240, 25Hz, 최대 압입 2mm). 8코어 3.3GHz CPU 노트북, ROS2 구현. 20개 물체(일상 물체 14 + 작은 텍스처 물체 3 + 단순 기하 3), 물체당 7개 에피소드, 총 140 에피소드. 물체는 테이블에 고정, 센서는 OptiTrack MoCap으로 GT 포즈 확보. 에피소드 평균 21초, 523프레임. 누적 회전이 축당 450~620도, 누적 병진이 축당 40~50mm로, 선행 NormalFlow 데이터셋보다 훨씬 큰 운동 범위입니다.

시스템 특성. 키프레임이 7.7프레임마다 하나꼴로 매우 자주 생성됩니다. 촉각이 워낙 국소적이라 조금만 시간이 지나도 겹침이 거의 없기 때문입니다. 그런데 커버리지 키프레임 수는 낮게 유지됩니다(평균 키프레임 68개 중 커버리지 21개). 후보 루프 평균 65개 중 34개가 채택됩니다(높은 채택률 = 거름망이 인라이어를 보존하면서 이상치를 잘 버린다는 뜻).

런타임. 트래킹 모듈은 프레임당 약 28ms로 25Hz 프레임률보다 빠릅니다. 루프 검출은 키프레임당 평균 12.6ms이고, 키프레임이 평균 310ms마다 생기므로 시간 예산 안에 충분히 들어갑니다. 7분짜리 Hammer 에피소드 분석에서 첫 1분간은 스킵된 루프가 0이고, 전체 7분에서도 5% 미만만 스킵됩니다. 대부분의 조작 작업이 1분 안에 끝난다는 점을 고려하면 실용상 영향이 거의 없습니다.

정확도 (Table IV, 6DoF MAE, Ball/Cylinder 제외).

Method	θx(°)	θy(°)	θz(°)	x(mm)	y(mm)	z(mm)
ICP	13.0	13.9	23.9	8.14	9.94	6.73
FilterReg	13.7	13.7	19.2	3.87	3.49	2.61
FPFH+RI	37.8	38.7	36.3	90.6	134.1	108.5
NormalFlow (NF)	7.11	7.53	7.63	1.13	1.21	0.92
Tac2Structure	37.7	38.7	36.3	90.6	134.0	108.0
NF-OrigKF	6.74	7.18	7.12	1.35	1.38	0.91
NF-KF	6.55	7.39	7.11	1.26	1.24	0.90
GS-OnlySIFT	8.13	8.37	4.17	1.04	1.02	0.89
GS-OnlyNF	5.61	6.28	6.95	1.53	1.62	0.77
GS-ImageSIFT	5.49	6.13	6.00	1.16	1.14	0.83
GS-Offline	3.98	4.29	3.41	0.98	0.94	0.71
GS-Online (Ours)	4.06	4.38	3.57	1.00	0.96	0.72

해석 포인트를 짚겠습니다.

GS-Online이 NormalFlow 대비 회전 오차 46%, 병진 오차 17.5% 감소. 루프 클로저가 드리프트를 보정한 직접적 효과입니다.
GS-Online ≈ GS-Offline. 실시간으로 돌려도 추적 품질이 떨어지지 않습니다. 5% 미만 루프 스킵의 영향이 거의 없다는 증거입니다.
FPFH+RI와 Tac2Structure가 처참함(병진 오차 100mm대). 데이터셋에 저텍스처 물체가 많아 FPFH 특징이 무너지고, Tac2Structure의 CNN 코사인 유사도 루프 검출이 이상치 루프를 다수 통과시킵니다. 무늬 과장된 3D 프린팅 물체에서만 통하던 방법의 한계를 정직하게 드러냅니다.

절제 실험의 교훈. 세 가지 설계 결정이 각각 검증됩니다.

키프레임 선정: NF-KF가 NF보다 낫고(드리프트 감소), NF-OrigKF와 비슷한 정확도를 2배 빠르게 달성(프레임당 NormalFlow 1회).
루프 검출: GS-OnlySIFT(SIFT만)는 이상치 루프 때문에 오히려 NF-KF보다 나빠질 수 있음. GS-OnlyNF(NF만)는 CCS/SCR 덕에 이상치를 거르므로 낫지만, 좋은 초기값이 없어 유효 루프를 놓치고 약 40배 느림. 2단계 결합(GS-Offline)이 최선.
SIFT 특징 출처: 원본 GelSight 이미지에서 뽑은 SIFT(GS-ImageSIFT)보다 곡률맵에서 뽑은 SIFT(GS-Offline)가 회전 추적 오차를 추가로 34% 줄임. 미분 표현의 불변성이 매칭 신뢰도를 끌어올린다는 직접 증거.

임계값 민감도와 재위치추정. CCS/SCR 임계값을 넓은 범위에서 바꿔도 추적 오차가 낮게 유지됩니다(CCS=0.85, SCR=0.3이 일상 물체에 두루 잘 됨). CCS 임계값이 너무 낮으면(0 미만) 거짓 루프를 받아들여 악화됩니다. 4초마다 1초(25프레임)씩 접촉을 인위로 끊는 실험에서, 접촉이 재개되면 거의 동일한 추적 성능으로 안정적으로 재위치추정합니다(단, 과거 접촉 영역에서 멀리 떨어진 곳에서 재개되면 재위치추정이 지연될 수 있음).

실험 2: 3D 복원

설정. 정성 평가용 실제 물체 15개(8mm Seed부터 85mm Avocado까지), 정량 평가용 3D 프린팅 물체 10개(5모델 x 2크기, 치수 편차 최대 0.1mm). 센서와 물체 모두 손으로 들고 in-the-wild로 스캔. 접촉 끊김이 물체당 100회 넘게 발생하기도 함. 매우 긴 스캔은 10분 단위로 나눠 촬영 후 융합.

규모. Avocado는 45,557프레임, 5,178 키프레임, 442 트래킹 세션, 12,851 후보 중 10,529 루프. Large Rock은 23,041 후보 중 11,854 루프. 핵심 보고: 검출된 루프 중 거짓 양성이 단 하나도 없음(zero false positives). 포즈 그래프에서는 이상치 루프 하나가 전체를 파국으로 몰 수 있으므로, 이 0%가 시스템 견고성의 가장 강한 근거입니다.

실내 SLAM은 보통 복도 교차점 같은 위상적 특징에서만 드물게 루프가 생깁니다. 촉각 복원은 키프레임이 표면 전역에 촘촘히 분포해 센서가 어디를 재방문하든 루프가 생깁니다. 트래킹 세션 수도 많아(잦은 재위치추정) 견고한 루프 검출 의존도가 더 높습니다. 그림 14는 큰 회전, 저텍스처, 작은 겹침이라는 악조건에서도 유효 루프를 안정적으로 잡아내는 사례를 보여줍니다.

정량 결과 (Table VI).

	Dice(S)	Shell(S)	Almond(S)	Seed(S)	Lime(S)	Dice(L)	Shell(L)	Almond(L)	Seed(L)	Lime(L)
size(mm)	10.0	18.4	17.3	9.5	15.0	15.0	27.6	25.9	14.3	29.9
CD(mm)	0.44	0.76	0.60	0.63	0.26	0.41	0.91	0.85	0.63	0.50
NCD	0.955	0.944	0.966	0.954	0.985	0.947	0.955	0.962	0.967	0.986

전역 형상: Chamfer Distance 평균 0.6mm(물체 평균 크기 18.3mm). 서브밀리미터 수준입니다.
국소 형상: Normal Cosine Distance 평균 0.962(완벽 일치 시 1.0). 100개 균일 접촉점에서 시뮬레이션한 법선맵을 GT CAD 법선맵과 비교한 값입니다. 미세 텍스처까지 잘 복원됩니다(약간의 디테일 손실은 GelSight Mini 해상도 제한과 패치 정렬 미세 오차의 평균 효과 때문).

상용 마이크론 정밀 스캐너 GelSight Max의 단일 스캔과 비교해도 GelSLAM 복원 텍스처가 근접합니다.

대형 물체. GelBelt 센서(60mm x 40mm 벨트형, 연속 스캔)로 직경 약 190mm 나무 줄기를 길이 130mm 구간, 9바퀴 스캔해 복원. 결, 균열 같은 실제 텍스처를 보존합니다. 양 끝이 약간 수축하는 현상이 관찰되는데, 중간 영역은 여러 방향의 포즈 그래프 엣지로 제약되는 반면 끝은 한쪽 연결만 받아 전역 왜곡에 더 취약하기 때문이라고 분석합니다. 이 관찰은 포즈 그래프 SLAM을 다뤄본 사람에게 익숙한 경계 효과입니다.

비판적 고찰: 강점과 한계

강점

1. 아이디어의 경제성. GelSLAM의 위력은 거대한 신경망이나 학습된 표현이 아니라, “어떤 양을 쓸 것인가”라는 표현(representation) 선택에서 나옵니다. 점군 대신 미분 표현, 그중에서도 검색에는 불변량인 곡률, 정렬에는 정밀한 법선. 이 분업 하나로 SLAM 파이프라인의 모든 부품(추적, 실패 검출, 키프레임, 루프 검색)이 깔끔하게 풀립니다. 좋은 표현이 알고리즘 절반을 공짜로 준다는 고전적 교훈의 모범 사례입니다.

2. 견고성의 정량적 증거. 수만 프레임에서 거짓 양성 루프 0개는 그냥 좋은 숫자가 아닙니다. 포즈 그래프 SLAM에서 단일 이상치가 갖는 파괴력을 아는 사람에게는 이 0이 가장 인상적인 결과입니다. CCS/SCR이라는 두 줄짜리 자가 진단이 이 견고성의 핵심 부품인데, 설계가 군더더기 없습니다.

3. 엔지니어링 완성도. 세 모듈 병렬 프로세스, CPU 전용 노트북 실시간, ROS2 구현, 코드/데이터셋(73GB) 공개. 재현성과 후속 연구 진입 장벽 측면에서 모범적입니다. “잘 엔지니어링된 시스템”이라는 자기 평가가 과장이 아닙니다.

4. 정직한 평가. 저텍스처에서의 실패, 긴 스캔의 루프 스킵 아티팩트, 반복 패턴에서의 이상치 루프를 숨기지 않고 별도 절(VII-A)에서 다루며 부분 해법(GNC 기반 포즈 그래프 최적화)까지 제시합니다.

한계

1. 텍스처 의존성이라는 근본 제약. 시스템 전체가 곡률맵의 식별력에 기댑니다. 곡률은 표면 무늬에서 나옵니다. 따라서 극저텍스처 물체(매끈한 달걀, Ball, Cylinder)에서는 루프 검출이 실패하고, 재위치추정 실패로 메시가 조각나거나 국소 불연속이 생깁니다. 논문 스스로 “촉각만으로는 극저텍스처 물체에서 이 한계를 풀기 어렵다”고 인정합니다. 완전 매끈한 산업 부품(베어링, 렌즈 등)을 다루는 응용에서는 그대로 쓰기 어렵습니다.

2. 전 표면 접촉 가정. 복원하려면 표면 전체를 실제로 만져야 합니다. Avocado 30분, 미접촉 영역 추론이나 형상 사전(prior) 없음. 수동 스캔은 어디를 안 만졌는지 알기 어려워 중복 탐색이 발생합니다. 자율 탐색이나 형상 완성(shape completion)은 미래 과제로 남았습니다.

3. 반복 패턴 취약성. 산업 제조물처럼 표면 패턴이 반복되면 서로 다른 위치의 프레임을 같은 곳으로 오인할 수 있습니다. GNC가 부분 해법이지만 계산 비용이 늘고 유효 루프를 가끔 거부합니다.

4. 동적 정보 미활용. IMU, 등속도 사전, 물체 동역학 모델 같은 사전을 전혀 안 씁니다. 고정 공분산을 쓴다는 점도 향후 정밀화 여지를 시사합니다. 모든 정보를 곡률맵 한 양에 거는 설계는 우아하지만, 그만큼 그 양이 무너지면 대안이 없습니다.

5. 온라인 복원의 시간 한계. 7~12분 스캔은 온라인이 오프라인과 거의 일치하지만, 19분 스캔은 루프 스킵 때문에 아티팩트가 생깁니다. 다만 실시간 주 용도가 조작용 포즈 추적(보통 10분 이내)이라 실용 영향은 제한적입니다.

인핸드 조작 연구자에게 주는 함의

이 부분은 리뷰의 범위를 넘지만, 짚을 가치가 있습니다. 인핸드 조작에서 비전은 손과 물체의 자가 가림(self-occlusion)으로 자주 무력화됩니다. GelSLAM이 보인 것은, 손가락 끝 촉각 센서만으로 물체 포즈를 1mm 미만 오차로 장기 추적할 수 있다는 것입니다(Allegro Hand 같은 다지 손에 DIGIT/GelSight를 붙이는 셋업과 직접 연결됩니다).

다만 실용화에는 거리가 있습니다. 현재 셋업은 단일 센서로 표면을 훑는 시나리오입니다. 인핸드 조작은 여러 손가락이 동시에, 미끄러지며, 끊임없이 접촉을 재형성합니다. 논문도 다지 촉각 확장을 미래 과제로 명시합니다. 그럼에도 “접촉이 끊겼다 재개돼도 재위치추정한다”는 능력은 조작 중 손가락 게이팅(finger gaiting)이나 재파지(regrasp) 상황에 직접 대응하는 성질입니다. 시뮬레이션 관점에서는, TACTO 같은 촉각 시뮬레이터가 법선맵을 출력하므로 GelSLAM의 미분 표현 파이프라인을 sim 데이터에 그대로 적용해 sim-to-real 추적 일관성을 점검하는 실험을 설계해볼 만합니다.

요약 및 결론

한 문장으로 줄이면 이렇습니다. GelSLAM은 “촉각 이미지를 점군이 아니라 미분 표현(법선맵 + 곡률맵)으로 다루라”는 한 가지 통찰을, 검색용 불변량(곡률)과 정렬용 정밀량(법선)의 분업으로 구체화해, 외부 단서 없이 수만 프레임 규모의 촉각 전용 SLAM을 거짓 루프 0개로 달성한 시스템입니다.

기여를 정리하면:

NormalFlow 실패 검출(CCS/SCR): 두 줄짜리 자가 진단으로 조용한 실패를 잡아냄. 시스템 견고성의 핵심.
곡률맵 기반 키프레임 선정: 단일 NormalFlow 실행으로 드리프트와 계산을 동시에 절감(선행 대비 2배 빠름).
2단계 루프 검출: 곡률맵 SIFT(빠른 불변 검색) + NormalFlow(정밀 6DoF) + CCS/SCR(기하 검증)의 직렬 결합. 어느 한 단계도 단독으로는 불충분함을 절제 실험이 증명.
시스템 통합: CPU 노트북 실시간, 서브밀리미터 Chamfer Distance, 코드/데이터 공개.

촉각이 본질적으로 국소 모달리티라는 통념을, “불변 표현으로 검색하고 정밀 표현으로 정렬한다”는 표현 설계 하나로 깬 점이 이 논문의 가장 큰 미덕입니다. 좋은 표현을 고르면 알고리즘이 단순해지고, 단순한 알고리즘이 견고해진다는 오래된 교훈을 촉각 SLAM에서 다시 확인시켜 줍니다. 한계(텍스처 의존, 전 표면 접촉, 동적 정보 미활용)는 분명하지만, 그 한계조차 다음 연구가 어디를 파야 하는지를 정확히 가리킵니다. 촉각을 국소 센서에서 전역 공간 이해의 도구로 끌어올리는 출발점으로서, 후속 연구가 딛고 설 만한 단단한 토대입니다.