📃MidasTouch 리뷰

tactile

localization

particle-filter

MidasTouch: Monte-Carlo inference over distributions across sliding touch

Published

June 22, 2026

Paper Link
Code Link
Dataset: YCB-Slide
Sudharshan Suresh, Zilin Si, Stuart Anderson, Michael Kaess, Mustafa Mukadam
Conference on Robot Learning (CoRL), 2022 (Oral)

💡 MidasTouch는 시각 정보 없이 오직 촉각만으로, 이미 알고 있는 물체 표면 위에서 vision-based tactile sensor(DIGIT)가 “지금 어디를 만지고 있는가”를 온라인으로 추정하는 전역 촉각 위치추정(global tactile localization) 시스템입니다.
⚙️ 핵심은 국소 표면 기하를 압축 임베딩으로 바꾸는 tactile code network와, 물체별로 미리 만들어 둔 tactile codebook을 측정 모델로 활용해 SE(3) 포즈 분포를 갱신하는 Monte-Carlo 입자 필터(particle filter)의 결합입니다.
🎯 저자들은 단일 접촉의 본질적 모호성을 센서를 “미끄러뜨리며(sliding)” 누적 관측으로 해소하는 접근을 제안하고, 이를 검증하기 위해 10개 YCB 물체에 대한 실제·시뮬레이션 슬라이딩 데이터를 담은 YCB-Slide 데이터셋을 공개했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

MidasTouch는 vision-based tactile sensor가 알려진 물체의 표면 위를 미끄러질 때, 그 센서가 표면의 어느 지점에 있는지를 온라인으로 추정하는 촉각 위치추정 시스템입니다. 카메라로 물체 전체를 보는 visual localization과 달리, 여기서는 손가락 끝의 작은 촉각 패치 하나만 주어집니다. 사람이 주머니 속에서 열쇠를 찾을 때 눈을 감고 손끝의 감촉만으로 위치를 더듬어 가는 상황과 비슷합니다. 한 번의 접촉만으로는 “표면 어딘가의 비슷하게 생긴 여러 후보” 때문에 위치가 하나로 정해지지 않습니다. MidasTouch는 이 모호성을 센서를 미끄러뜨리며 시간에 따라 관측을 누적해 점차 좁혀 나가는 방식으로 풀어냅니다.

MidasTouch 전체 개요(Fig. 1): 손가락-물체 접촉에서 촉각 깊이/코드를 추출하고, 물체별 codebook과 비교해 입자 필터로 표면 위 SE(3) 포즈 분포를 시간에 따라 갱신한다.

핵심 방법론:

MidasTouch는 두 축으로 구성됩니다. 하나는 촉각 이미지를 표면 기하 기반의 압축 표현으로 바꾸는 tactile code이고, 다른 하나는 그 코드를 측정값으로 사용하는 Monte-Carlo 입자 필터입니다.

촉각 깊이 추정 + tactile code network (TCN): 먼저 DIGIT의 RGB 촉각 이미지로부터 국소 표면의 heightmap과 접촉 마스크를 추정해 작은 3D 기하 패치를 복원합니다. 이 3D 패치를 sparse 3D convolution 기반 네트워크(MinkowskiNet 계열, feature pyramid + generalized-mean pooling)에 통과시켜 256차원 임베딩(tactile code)으로 압축합니다. LIDAR place recognition에서 영감을 받은 구조로, TACTO로 시뮬레이션한 다수의 YCB 물체(테스트와 분리된 학습용 집합) 촉각 데이터에 대해 triplet loss로 학습합니다. 즉, 비슷한 기하는 가깝게, 다른 기하는 멀게 임베딩되도록 만듭니다.
Tactile codebook (물체별 사전): 위치추정 대상 물체마다, 메시 표면에서 무작위로 샘플링한 다수(수만 개 규모)의 센서 포즈에 대해 미리 tactile code를 계산해 codebook으로 저장합니다. KD-tree로 인덱싱해 두면, 런타임에 임의 표면 포즈에 해당하는 코드를 빠르게 조회할 수 있습니다.
Monte-Carlo 입자 필터: 표면 위 SE(3) 포즈에 대한 확률분포를 다수의 입자(particle)로 표현합니다.
- 운동 모델(motion model): 엔드이펙터 오도메트리(상대 이동)에 가우시안 노이즈를 더해 입자를 전진시킵니다.
- 측정 모델(measurement model): 현재 관측 코드와 codebook에서 조회한 각 입자 위치의 코드 사이 코사인 유사도를 softmax로 변환해 가중치를 부여합니다.
- 리샘플링/클러스터링: low-variance 리샘플링으로 가중치 높은 입자를 살리고, 공간상에서 군집(예: DBSCAN)을 묶어 이산적인 포즈 가설(hypotheses)을 만듭니다.

실제 DIGIT 촉각 이미지에서 heightmap과 접촉 마스크를 추정하고(Fig. 2 계열), 이를 국소 3D 기하로 복원하는 과정. 이 3D 패치가 tactile code 입력이 된다.

주요 결과:

시뮬레이션 슬라이딩 실험(다수 trial)에서 망치·드릴·가위처럼 기하가 뚜렷한 도구류는 빠르게 수렴해 작은 최종 포즈 오차를 달성했고, 컵·설탕상자·머스타드병처럼 대칭적이거나 밋밋한 물체에서는 오차가 더 컸습니다.
실제 환경(handheld DIGIT, 물체 고정, OptiTrack 모션캡처)에서는 노이즈가 큰 촉각 데이터 탓에 오차가 더 크지만, 여전히 의미 있는 수렴을 보였습니다. 야구공처럼 특징 없는 구는 대표적인 실패 사례였습니다.
tactile code는 일반적인 이미지 임베딩(예: ResNet 기반 특징)보다 단일 접촉 매칭에서 더 낮은 오차를 보였고, codebook 크기도 훨씬 작았습니다.

결론:

MidasTouch는 “단일 촉각은 모호하지만, 미끄러지며 누적하면 전역 위치추정이 가능하다”는 관점을 입자 필터와 학습된 촉각 코드로 구현한 시스템입니다. 시각 사전정보 없이 촉각만으로 동작하며, 후속 연구를 위해 YCB-Slide 데이터셋과 코드를 공개했습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

촉각 위치추정의 본질적 어려움은 “한 번의 접촉이 거의 항상 모호하다”는 데 있다. MidasTouch는 이 모호성을 없애려 애쓰는 대신, 정면으로 받아들인다. 한 점의 관측은 불확실하니 분포로 다루고, 센서를 표면 위로 미끄러뜨리며 시간에 따라 관측을 쌓아 분포를 좁힌다. 그 분포 추론의 엔진이 Monte-Carlo 입자 필터이고, 각 관측을 “표면 어느 지점과 닮았는가”로 환원해 주는 도구가 학습된 tactile code다.

서론과 배경: 촉각 위치추정은 왜 어려운가

먼저 문제 설정을 분명히 하자. 물체의 3D 메시는 이미 안다. 그 표면 위를 DIGIT 같은 vision-based tactile sensor가 누르며 미끄러진다. 목표는 매 순간 센서가 표면의 어느 SE(3) 포즈에 있는지를 추정하는 것이다. 시각은 쓰지 않는다.

여기서 두 가지가 동시에 어렵다.

첫째, 관측 영역이 극히 작다. DIGIT의 젤이 닿는 영역은 몇 mm² 수준이다. 그 작은 패치에 담긴 국소 기하(곡률, 모서리, 평면 여부)만으로 전체 표면에서 위치를 찾아야 한다. 물체 전체를 보는 카메라와는 정보량의 차원이 다르다.

둘째, 전역 모호성(global ambiguity)이 구조적이다. 매끈한 평면, 단순한 곡면, 대칭축을 가진 물체에서는 서로 다른 여러 위치가 거의 똑같은 촉감을 만든다. 컵의 옆면 한 점을 만지면 옆면 전체가 후보가 된다. 즉 단일 관측의 posterior는 본질적으로 다봉(multimodal)이다. 단일 추정치(점 추정)로 답하려 하면 반드시 깨진다.

MidasTouch의 핵심 통찰은 이 두 난점에 대한 답이 같다는 것이다. 분포로 추론하고, 미끄러지며 누적하라. 평면 위를 미끄러지다 모서리나 능선 같은 salient geometry를 만나는 순간 후보가 급격히 줄어든다. 사람이 컵을 더듬다 손잡이에 닿으면 단숨에 방향을 잡는 것과 같다.

방법 상세 1: 촉각을 기하로, 기하를 코드로

MidasTouch의 파이프라인은 관측을 두 단계로 추상화한다.

촉각 이미지 → 국소 3D 기하. DIGIT의 RGB 출력은 젤이 변형되며 만들어진 일종의 음영 이미지다. 먼저 이로부터 표면 heightmap과 접촉 마스크를 추정해, 닿은 영역의 작은 3D 기하 패치를 복원한다. 이렇게 RGB에서 기하로 한 번 환원해 두면 센서 색감·조명 같은 외관 차이에 덜 민감해진다.

국소 3D 기하 → tactile code. 복원한 3D 패치를 sparse 3D convolution 네트워크에 넣어 256차원 임베딩으로 압축한다. 이 부분이 논문의 영리한 지점이다. 저자들은 LIDAR place recognition(자율주행에서 LIDAR 스캔만으로 “여기가 어디인지” 인식하는 문제)에서 쓰던 구조를 거의 그대로 가져온다. point cloud를 voxel로 양자화하고, feature pyramid로 voxel별 특징을 뽑은 뒤, generalized-mean pooling으로 하나의 전역 디스크립터로 모은다. 백본은 LIDAR 데이터로 사전학습한 뒤, TACTO 시뮬레이터로 생성한 촉각 데이터에 triplet loss로 fine-tune한다. 학습 물체와 테스트 물체는 분리해, 새 물체에도 일반화되는 “기하 묘사 능력”을 학습하게 한다.

물체 표면을 tactile code 공간 상의 유사도로 색칠한 시각화(Fig. 3 계열). 같은 색(=비슷한 코드)이 표면 여러 곳에 흩어져 있다는 점이 단일 접촉 모호성의 시각적 근거이며, 모서리·손잡이 같은 salient 영역이 구분력을 만든다.

여기서 왜 “이미지 임베딩”이 아니라 “기하 코드”인지가 중요하다. RGB 촉각 이미지를 그대로 ResNet에 넣어도 임베딩은 얻지만, 그 임베딩은 센서·조명 도메인에 묶인다. 기하로 환원한 코드는 그 도메인 격차를 한 번 걷어낸 표현이라, sim에서 학습해 real에 옮길 때 유리하다. 논문도 단일 접촉 매칭에서 tactile code가 이미지 기반 특징보다 낮은 오차와 훨씬 작은 codebook 크기를 보인다고 보고한다.

방법 상세 2: codebook과 입자 필터 루프

Codebook(물체별 사전). 위치추정 대상 물체마다, 메시 표면에서 접촉점·법선·방향·압입(indentation)을 무작위로 바꿔가며 수만 개 규모의 가상 접촉 포즈를 만들고, 각각의 tactile code를 미리 계산해 저장한다. 이렇게 만든 codebook을 KD-tree로 인덱싱하면, 런타임에 “표면 위 임의 포즈 → 해당 코드”를 빠르게 조회할 수 있다. 핵심은 무거운 코드 계산을 전부 오프라인으로 밀어두고, 온라인에서는 가벼운 비교만 한다는 점이다.

필터링 루프. 매 타임스텝마다 다음이 반복된다.

예측(운동 모델): 엔드이펙터 오도메트리(센서가 얼마나 움직였는지)에 가우시안 노이즈를 더해 모든 입자를 표면을 따라 전진시킨다. 불확실한 이동이므로 입자가 약간씩 퍼진다.
갱신(측정 모델): 현재 관측 코드를, codebook에서 조회한 각 입자 위치의 코드와 코사인 유사도로 비교한다. 유사도를 softmax로 정규화해 입자 가중치를 매긴다. 관측과 닮은 위치의 입자가 높은 가중치를 받는다.
리샘플링: low-variance 리샘플링으로 가중치 높은 입자를 복제하고 낮은 입자를 버린다.
가설 추출: 살아남은 입자를 공간상에서 DBSCAN 등으로 군집화해, “유력 후보 위치들”을 이산적인 가설로 제시한다.

이 루프의 아름다움은 다봉성을 자연스럽게 표현한다는 데 있다. 초기에는 입자가 표면 전체에 흩뿌려진 다봉 분포다. 평면을 미끄러지는 동안에는 여러 봉우리가 공존한다. 그러다 모서리 같은 특징을 지나면 한두 봉우리만 살아남으며 분포가 수렴한다. 칼만 필터 류의 단봉 가정으로는 잡을 수 없는 거동이다.

YCB-Slide 데이터셋

방법만큼이나 이 논문의 실질적 기여는 데이터셋이다. 촉각 슬라이딩 위치추정을 연구하려면 “센서가 물체 위를 미끄러지는 궤적 + 정확한 ground-truth 포즈”가 필요한데, 그런 데이터가 없었다.

실제 데이터: 10개의 YCB 물체에 대해, 물체를 바이스로 고정하고 사람이 DIGIT을 손에 들고 표면을 누르며 미끄러뜨리는 궤적을 수집한다. OptiTrack 멀티카메라 모션캡처로 ground-truth 포즈를 기록한다. 각 물체당 다수의 궤적이 있고, 촉각 이미지·센서 포즈·물체 메시·접촉 마스크가 함께 제공된다.
시뮬레이션 데이터: 같은 물체들에 대해 TACTO로 표면을 따라가는 geodesic 슬라이딩 궤적을 생성한다. 촉각 이미지뿐 아니라 ground-truth heightmap, 포즈를 모두 제공하고, 현실성을 위해 포즈에 소량의 노이즈(수십 분의 1 mm·1° 수준)를 주입한다.

설탕상자·드라이버·드릴·머그·가위·망치·야구공 등 평면·곡면·도구·구가 골고루 섞여, 기하 구분력이 위치추정 난이도에 어떻게 작용하는지 체계적으로 볼 수 있게 설계되어 있다.

실제 실험 셋업(Fig. 5 계열): 설탕상자·전동드릴을 바이스로 고정하고, OptiTrack 마커가 부착된 DIGIT을 손으로 미끄러뜨린다. 좌상단은 그 순간의 실제 촉각 이미지.

실험: 정확도와 수렴

평가는 두 갈래로 진행된다. 시뮬레이션과 실제 모두에서 다수의 trial로 슬라이딩 궤적을 돌리고, 시간에 따른 포즈 RMSE 수렴과 최종 포즈 오차(translation, rotation)를 본다.

대표 물체들의 슬라이딩 진행에 따른 수렴(Fig. 7 계열): 촉각 이미지·복원 기하·표면 likelihood 히트맵과 함께, 슬라이딩이 진행될수록 포즈 RMSE가 내려가며 분포가 모이는 과정을 보여준다.

관찰되는 패턴은 직관과 잘 맞는다.

기하가 뚜렷한 물체일수록 빠르고 정확하게 수렴한다. 망치·드릴·가위처럼 모서리·돌출부가 풍부한 물체는 슬라이딩 중 salient feature를 자주 만나 후보가 빠르게 정리된다.
대칭·밋밋한 물체는 어렵다. 설탕상자(직육면체), 머그(회전대칭에 가까운 곡면), 머스타드병처럼 표면 다수가 비슷한 코드를 갖는 물체는 모호성이 오래 남아 최종 오차가 크다.
특징 없는 구는 한계 사례다. 야구공은 표면 어디나 똑같이 둥글어 슬라이딩으로도 구분점이 생기지 않는다. 실제 환경에서 대표적 실패로 보고된다.

실제 환경의 오차는 시뮬레이션보다 크다. 실제 촉각 이미지의 노이즈, heightmap 추정 오차, sim-to-real 도메인 격차가 누적되기 때문이다. 그럼에도 도구류에서는 분포가 실제로 모인다는 점이 핵심 메시지다. 처리 속도도 온라인 운용이 가능한 수준(대략 실시간에 근접)으로 보고된다.

실제 환경 500 trial에 대한 최종 오차 분포(Fig. 9 계열): 물체별로 초기 오차(initial) 대비 최종 오차(final)가 얼마나 줄었는지를 boxplot으로 비교한다. 도구류에서 감소 폭이 크고, 대칭·구형 물체에서 작다.

ablation에서는 초기 prior의 불확실성을 조이면(더 좁은 prior) outlier가 줄고 수렴이 개선되는 경향이 확인된다. 즉 약간의 사전정보(대략적인 시작 위치)는 큰 도움이 되지만, 전역 모드에서도 시스템은 동작한다.

비판적 고찰: 강점과 약점

강점.

문제를 올바르게 프레이밍했다. 단일 추정 대신 분포 추론을 택한 것은 촉각 위치추정의 본질(다봉성)과 정확히 맞물린다. 입자 필터는 이 다봉성을 표현하기에 가장 자연스러운 도구다.
도메인 격차를 한 단계 걷어내는 표현. RGB를 바로 임베딩하지 않고 기하로 환원한 뒤 코드를 뽑는 설계는 sim에서 학습해 real로 옮길 때의 격차를 줄인다. LIDAR place recognition을 촉각으로 옮긴 발상도 신선하다.
계산을 오프라인으로 밀어낸 codebook. 무거운 코드 계산을 사전에 끝내고 온라인은 KD-tree 조회 + 코사인 유사도로 가볍게 유지해, 입자 수만 개를 실시간 근처에서 굴린다.
데이터셋 공개. YCB-Slide는 이 하위 분야의 공통 벤치마크로 쓰일 토대를 만들었다.

약점과 한계.

물체 메시를 안다는 강한 가정. codebook은 정확한 3D 메시가 있어야 만들어진다. 미지의 물체에는 그대로 쓸 수 없고, 형상 추정과의 결합(SLAM류)이 별도 과제로 남는다.
밋밋·대칭·구형 물체의 한계. 야구공처럼 표면 구분력이 없으면 슬라이딩으로도 풀리지 않는다. 이는 방법의 결함이라기보다 촉각 단독의 정보 한계이지만, 실용에서는 결정적 제약이다.
운동 모델의 가정. 엔드이펙터 오도메트리가 비교적 정확하다고 가정한다. 미끄러짐(slip)이나 오도메트리 드리프트가 크면 운동 모델이 흔들린다.
heightmap 추정에 대한 의존. 전체 파이프라인이 촉각→기하 복원의 품질에 묶여 있다. 이 단계가 무너지면 코드도 무너진다. 실제 환경 오차의 상당 부분이 여기서 온다.
단일 물체·단일 센서 설정. 손가락 하나가 한 물체를 미끄러지는 시나리오다. 다손가락 동시 접촉, 물체가 움직이는 in-hand manipulation으로의 확장은 후속 과제다.

요약

MidasTouch의 기여는 한 문장으로 모인다. 촉각 위치추정은 점 추정 문제가 아니라 분포 추론 문제이며, 단일 접촉의 모호성은 미끄러지며 누적하면 풀린다. 이를 위해 촉각을 국소 기하로, 기하를 압축 코드로 환원하고, 물체별 codebook을 측정 모델로 삼는 Monte-Carlo 입자 필터를 돌린다. 기하가 뚜렷한 물체에서는 확실히 수렴하고, 밋밋·대칭·구형 물체에서는 촉각 단독의 정보 한계에 부딪힌다. 정확한 메시를 안다는 가정과 heightmap 추정 품질 의존이라는 제약이 남지만, 공개된 YCB-Slide 데이터셋과 함께 촉각 위치추정을 본격적인 학습·추론 문제로 끌어올린 작업이다.