📃PyTouch 리뷰

tactile

machine-learning

PyTouch: A Machine Learning Library for Tactile Sensing

Published

March 26, 2026

Paper Link
Code Link
Mike Lambeta, Huazhe Xu, Jingwei Xu, Po-Wei Chou, Shaoxiong Wang, Trevor Darrell, Roberto Calandra
IEEE International Conference on Robotics and Automation (ICRA), 2021

💡 PyTouch는 vision-based 촉각 센서의 raw 이미지를 control과 decision-making에 바로 쓸 수 있는 고수준 신호로 변환해 주는, 센서에 구애받지 않는(sensor-agnostic) 오픈소스 머신러닝 라이브러리입니다.
⚙️ “touch processing as a service” 철학 아래, DIGIT·OmniTact·GelSight 같은 서로 다른 센서를 동일한 API로 다루고 사전학습 모델을 자동으로 내려받아 plug-and-play 방식으로 쓸 수 있도록 설계되었습니다.
🎯 touch detection, slip detection, contact area(자세) 추정 같은 핵심 태스크를 모듈로 제공하며, 여러 제조사 센서를 함께 학습한 joint model이 단일 센서 모델보다 우수하고 transfer learning이 신규 센서 적응을 가속한다는 점을 실증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

PyTouch는 vision-based 촉각 센서(DIGIT, OmniTact, GelSight 등)의 raw 측정값을 “지금 물체에 닿았는가”, “물체가 미끄러지고 있는가”, “접촉 영역의 위치와 방향은 어디인가” 같은 고수준 신호로 바꿔 주는 오픈소스 머신러닝 라이브러리입니다. 컴퓨터 비전 분야에서 OpenCV와 PyTorch가 공통 기능을 표준화하고 진입 장벽을 낮춘 것처럼, PyTouch는 촉각 센싱(touch processing) 영역에서 같은 역할을 하려는 시도입니다. 즉, 연구자마다 매번 새로 짜던 일회성 touch processing 코드를 검증된 모듈로 대체하는 것이 목표입니다.

핵심은 센서에 구애받지 않는 추상화입니다. PyTouch는 센서 종류와 무관하게 동일한 high-level API를 제공하고, 초기화 시점에 해당 센서에 맞는 사전학습 모델을 내려받습니다. 사용자는 모델 내부 구조를 몰라도 is_touched(), is_slipping() 같은 함수 호출만으로 촉각 인식 기능을 쓸 수 있습니다.

PyTouch 전체 구조(Fig. 1) — Live/Static/Video 입력을 받아 초기화·전처리·모델 라이브러리·학습을 거쳐 Touch Detection, Slip Detection, Contact Area 등의 태스크를 PyTouch Interface로 노출한다 — 논문 Fig. 1

핵심 방법론:

PyTouch는 세 가지 추상화 계층으로 구성됩니다.

센서 추상화(Sensor abstraction): DIGIT(240×320×3), OmniTact(480×640×3), GelSight(1280×960×3)처럼 해상도와 광학 특성이 다른 센서를 동일한 인터페이스로 다룹니다. 새 센서는 custom configuration 파일을 추가해 확장할 수 있습니다.
태스크 추상화(Task abstraction): “닿았는가”, “미끄러지는가”, “접촉 영역은 어디인가” 같은 공통 목표를 모듈로 제공합니다. 모든 모듈을 한 서비스로 묶는 high-level 인터페이스와, 각 모듈에 개별 접근하는 power-user 인터페이스를 둘 다 제공합니다.
서비스로서의 사전학습 모델(Pre-trained models as a service): 초기화 시점에 센서별 모델(하이퍼파라미터 + 가중치가 패키징된)을 자동으로 내려받습니다. 고수준 코드를 바꾸지 않고도 모델만 교체할 수 있습니다. 라이브러리는 PyTorch 위에 구축되어 모델을 손쉽게 갈아끼울 수 있습니다.

전형적인 사용 예시는 다음과 같습니다.

import pytouch as pt

digit_pt = pt.init(pt.sensors.DigitSensor,
                   tasks={pt.tasks.TouchDetect, pt.tasks.SlipDetect})
digit = ...  # DIGIT 센서 연결 및 초기화

touch, certainty = digit_pt.is_touched(digit.get_frame())
slipping, _ = digit_pt.is_slipping(digit.get_frames())

주요 특징/태스크:

Touch detection(접촉 감지): 입력 이미지에 접촉 여부 라벨(0/1)을 부여하는 image classification 문제입니다. ResNet-18 백본을 쓰고 입력을 64×64로 정규화·다운샘플링합니다. 여러 센서를 함께 학습한 joint model이 단일 센서 model보다 더 높은 정확도를 보였습니다. 추론 속도는 프레임당 약 5.89±0.46 ms로 실시간(수십~140 fps 수준) 동작이 가능합니다.
Slip detection(미끄러짐 감지): 이미지 시퀀스에 미끄러짐 여부를 부여하는 video classification 문제입니다. 표면 마감이 다른 40개 물체에 대해 시퀀스를 수집하고, 프레임들을 결합한 ResNet-18 방식이 3D CNN보다 우수했습니다(128 프레임 기준 약 97% 정확도).
Contact area / pose 추정: 접촉 영역에 타원을 피팅해 centroid와 장축·단축 길이를 추정하고, 표면에 대한 접촉 방향을 제공합니다.
Sensor experiments(하드웨어 실험 모듈): PyTouch를 센서 설계 검증에도 쓸 수 있습니다. 예컨대 DIGIT의 단색(monochromatic) 대 RGB 조명 설계를 비교해 성능 손실을 정량화합니다.

결론:

PyTouch는 vision-based 촉각 센싱을 위한 사용하기 쉽고 확장 가능한 머신러닝 라이브러리입니다. 여러 제조사 센서에 걸친 평가를 처음으로 수행했고, joint model의 우수성과 transfer learning을 통한 신규 센서 적응 가속을 보였으며, 실시간 추론이 가능함을 입증했습니다. 목표는 “PyTorch와 OpenCV가 컴퓨터 비전에 한 역할”을 촉각 처리 분야에서 재현해, 검증된 building block과 사전학습 모델로 진입 장벽을 낮추고 촉각 센싱 커뮤니티를 통합하는 것입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

촉각 센서가 점점 흔해지는데, 그 raw 이미지를 의미 있는 신호로 바꾸는 소프트웨어는 매번 처음부터 다시 짜야 했다. PyTouch는 이 “바퀴 재발명” 문제를 정면으로 겨냥한다. 비전 분야의 OpenCV처럼, 촉각 분야에도 검증되고 최적화된 공통 함수 묶음이 있어야 한다는 단순한 주장에서 출발한다. 그 결과 나온 것이 센서에 구애받지 않고, 사전학습 모델을 서비스처럼 내려받아 쓰는 plug-and-play 라이브러리다.

이 글에서는 PyTouch가 왜 “라이브러리”라는 형태를 택했는지, 어떤 추상화로 센서 다양성을 흡수하는지, 세 가지 핵심 태스크가 각각 무엇을 풀고 어떤 숫자를 보였는지, 그리고 dexterous manipulation을 하는 연구자 입장에서 실제로 어떤 의미가 있는지를 한 호흡으로 정리한다.

서론과 배경: 왜 “라이브러리”가 필요한가

vision-based 촉각 센서는 작은 카메라가 부드러운 실리콘 젤 아래를 들여다보는 구조다. 물체가 젤을 누르면 표면 변형이 카메라에 일종의 “지문 이미지”로 찍힌다. DIGIT 같은 저가 센서의 등장으로 하드웨어 진입 장벽은 크게 낮아졌다. 그런데 문제는 그 다음이다. 이 raw RGB 이미지를 받아서 “닿았는지”, “미끄러지는지”, “어디에 닿았는지”를 판단하는 소프트웨어는 표준이 없었다.

논문은 이 상황을 비전 분야 초기와 비교한다. PyTorch와 Caffe가 신경망 개발·확장을 가능하게 했고, OpenCV가 “흔히 쓰이고, 테스트되고, 최적화된 함수 모음”을 제공하면서 비전 연구가 폭발했다. 반면 촉각 쪽은 “바로 쓸 수 있는 touch processing 소프트웨어가 극히 제한적”이어서, 모두가 자기 실험용 touch processing 루틴을 직접 구현하고 있었다. 흩어진 기여들(마찰 모델, 물성 추정, in-hand manipulation, grasp 안정성, end-to-end 학습, graph convolution 기반 접근 등)은 많았지만, 이것들을 “하나의 라이브러리로 묶어 주는 통합”이 없었다.

PyTouch의 명제는 명료하다. 촉각 처리에도 OpenCV/PyTorch에 해당하는 표준 building block이 있어야 한다. 그것이 있어야 신규 연구자의 진입 장벽이 내려가고, 일회성 코드가 검증된 모듈로 대체되며, 연구 결과가 재현·비교 가능해진다.

방법: 세 가지 추상화로 센서 다양성을 흡수하기

PyTouch 설계의 중심에는 세 가지 추상화가 있다. 이 추상화들이 어떻게 맞물리는지가 라이브러리의 본질이다.

1) 센서 추상화. 가장 까다로운 부분이다. DIGIT은 240×320×3, OmniTact은 480×640×3, GelSight은 1280×960×3으로 해상도가 제각각이고, 조명 색·광원 배치·젤 형상도 다르다. PyTouch는 이 차이를 configuration 파일 뒤로 숨긴다. 사용자는 센서 객체(pt.sensors.DigitSensor 등)를 지정하기만 하면, 라이브러리가 그 센서에 맞는 전처리(정규화, 다운샘플링)와 모델을 알아서 끌어온다. 새 센서는 custom config로 확장한다.

2) 태스크 추상화. “닿았는가”, “미끄러지는가”, “접촉 영역은 어디인가” 같은 공통 목표를 태스크 모듈로 노출한다. 여기서 영리한 점은 두 가지 수준의 인터페이스를 둔 것이다. high-level 인터페이스(pt.init(...))는 여러 모듈을 한 서비스로 묶어 is_touched(), is_slipping()처럼 한 줄로 호출하게 한다. 반면 power-user 인터페이스는 각 태스크 모듈에 개별 접근을 허용해, 모델 구조나 학습 절차를 직접 손대고 싶은 연구자를 배려한다. 초보자와 전문가를 동시에 만족시키는 API 설계다.

3) 서비스로서의 사전학습 모델. 초기화 시점에 센서별 모델(하이퍼파라미터 + 가중치가 함께 패키징된 것)을 자동으로 내려받는다. 이 “as a service” 패러다임 덕분에 고수준 코드를 바꾸지 않고도 모델만 교체할 수 있다. 라이브러리는 PyTorch 위에 구축되어, 일반적인 CNN뿐 아니라 비전형적인 학습 방법도 끼워 넣을 수 있도록 모델-불가지론적(model-agnostic)으로 설계되었다.

라이브러리 설계 철학

PyTouch가 좋은 도구인 이유는 기능 목록이 아니라 설계 철학에 있다. 논문이 명시한 원칙들을 풀어 쓰면 이렇다.

진입 장벽 낮추기. 신규 실무자에게 필요한 것은 “ResNet을 어떻게 학습하는가”가 아니라 “지금 닿았는가”라는 질문에 대한 답이다. PyTouch는 공통 목표의 고수준 추상화를 제공해, 사용자가 신경망 세부에 묶이지 않게 한다. Listing 1처럼 몇 줄로 touch detection과 slip detection을 동시에 돌릴 수 있다는 것이 핵심 데모다.

표준화와 재사용. 일회성 실험용으로 짜는 개별 소프트웨어의 양을 줄이고, PyTouch를 토대(foundation)로 삼아 그 위에 실험을 쌓게 한다. 이렇게 하면 실험 간 비교가 공정해지고 결과 재현이 쉬워진다.

확장성. 새 센서, 새 태스크, 새 모델을 모두 끼워 넣을 수 있어야 한다. 센서는 config로, 모델은 PyTorch 모듈 교체로, 태스크는 새 모듈 추가로 확장한다.

이 철학은 한 문장으로 요약된다. “PyTorch와 OpenCV가 컴퓨터 비전에 한 일을, 촉각 처리에 하자.”

태스크별 설명

태스크 1: Touch detection (접촉 감지)

가장 기본이면서 가장 중요한 태스크다. 문제 정의는 단순하다. 입력 이미지 X에 대해 접촉이 없으면 0, 접촉이 등록되면 1을 부여하는 image classification이다.

여러 센서(DIGIT A/B/C, OmniTact, GelSight)의 No Touch(좌)와 Touch(우) 예시 — 같은 “접촉/비접촉” 개념이 센서마다 매우 다른 이미지로 나타난다 — 논문 Fig. 3

모델은 ResNet-18 백본을 쓰고, 입력을 64×64로 정규화·다운샘플링한다. 두 가지 모달리티를 비교했다. (a) 참조 없이(without reference) 현재 프레임만 보는 방식, (b) 센서별로 고유한 “접촉 없음” 기준 프레임을 함께 넣는 with-reference 방식이다. 후자는 각 센서의 기본 배경을 빼주는 효과를 노린다.

데이터셋은 센서별로 다르다. DIGIT은 3개 센서로 생활용품을 만진 2,278 샘플, OmniTact은 1,632회의 무작위 누름, GelSight은 grasp 시퀀스에서 약 1,000장이다.

가장 흥미로운 발견은 joint model의 우수성이다. 세 센서 데이터를 함께 학습하면 단일 센서 model보다 정확도가 올라간다. 5-fold cross-validation 기준 수치는 다음과 같다.

모델	DIGIT	OmniTact	GelSight
Single (no ref)	95.5±1.2%	98.4±1.1%	93.7±1.2%
Single (with ref)	95.8±1.3%	98.5±1.1%	-
Joint (no ref)	96.1±1.0%	99.1±0.4%	98.3±0.6%
Joint (with ref)	96.2±1.1%	99.5±0.3%	-

특히 GelSight은 단일 학습 시 93.7%였다가 joint 학습 시 98.3%로 크게 좋아진다. 데이터가 상대적으로 적은 센서가 다른 센서의 표현을 빌려 이득을 본다는 뜻이다. “닿았다”는 개념은 센서를 가로질러 공유되는 무언가가 있다는 신호이기도 하다.

학습 데이터 크기에 따른 검증 정확도 — Joint Model(파랑)이 더 적은 데이터로도 Single Model(초록)보다 높고 안정적인 정확도에 도달한다 — 논문 Fig. 4

추론 속도는 프레임당 평균 5.89±0.46 ms로, 센서의 프레임 캡처 주기(24~60 fps, 즉 17~41 ms)보다 훨씬 빠르다. 즉 touch detection이 실시간 파이프라인의 병목이 되지 않는다.

또 하나의 실용적 발견은 transfer learning의 효과다. 미리 학습한 joint model을 신규 센서 데이터로 fine-tune하면, 동일한 30초의 wall-clock 시간 안에서 from-scratch 학습보다 더 적은 데이터로도 더 높은 정확도에 도달한다.

신규 센서 적응: 사전학습 모델 fine-tuning(파랑)이 from-scratch 학습(초록)보다 적은 데이터 비율에서도 더 높고 안정적인 정확도를 보인다 — 논문 Fig. 5

태스크 2: Slip detection (미끄러짐 감지)

미끄러짐은 단일 프레임으로 판단하기 어렵다. 시간에 따른 변화가 곧 미끄러짐이기 때문이다. 그래서 이 태스크는 이미지 시퀀스 X={x₁,…,xₜ}에 미끄러짐 여부 라벨을 부여하는 video classification으로 정의된다(미끄러짐=1, 비미끄러짐=0). 미끄러짐 시작 시점은 별도로 주석되어 있다.

데이터셋은 표면 마감이 다른 40개 물체로 구성된다. 물체마다 미끄러짐 10개·비미끄러짐 10개 시퀀스, 시퀀스당 128 프레임을 DIGIT으로 30 Hz에 수집했다.

두 가지 아키텍처를 비교했다. (a) 모든 프레임을 결합(concatenate)해 ResNet-18에 넣는 방식, (b) ResNet-18 기반 3D CNN이다. 결과는 다음과 같다.

설정	정확도
ResNet-18, 128 frames, split by sequences	97.9%
ResNet-18, 128 frames, split by objects	96.3%
ResNet-18, 12 frames, split by sequences	90.6%
3D Conv, 128 frames, split by objects	81.2%

직관과 어긋나는 부분이 있다. 시계열 처리에 특화된 3D CNN이 단순 프레임 결합보다 못했다. 논문은 그 원인을 “미끄러짐 속도의 높은 분산”으로 본다. 미끄러지는 속도가 시퀀스마다 천차만별이라, 고정된 시간 커널을 쓰는 3D CNN이 오히려 일반화에 불리했다는 해석이다. 또한 split by sequences(같은 물체가 train/test에 섞임)보다 split by objects(물체 단위로 분리)에서 정확도가 떨어지는데, 이는 본 적 없는 물체로 일반화하는 것이 더 어렵다는, 당연하지만 중요한 신호다.

태스크 3: Contact area / pose 추정

세 번째 태스크는 “어디에, 어떤 방향으로 닿았는가”를 푼다. PyTouch는 접촉 영역에 타원을 피팅해 centroid와 장축(semi-major)·단축(semi-minor) 길이를 추정하고, 표면에 대한 접촉 방향을 제공한다.

네 가지 물체(유리구슬, 펜, 케이블, 포크)에 대한 접촉 영역 타원 피팅 — centroid와 장·단축으로 접촉 위치와 방향을 표현한다 — 논문 Fig. 6

이 정보는 manipulation에 직접 쓰인다. 물체가 손가락에서 어느 쪽으로 치우쳐 있는지, 가늘고 긴 물체인지 둥근 물체인지(타원의 종횡비), 어느 방향으로 정렬되어 있는지를 알면 grasp 보정이나 in-hand re-positioning에 활용할 수 있다.

보너스: 하드웨어 실험 모듈

PyTouch는 인식뿐 아니라 센서 설계 검증에도 쓰인다. 논문은 DIGIT의 단색(monochromatic) 조명 대 RGB 조명을 비교해, 설계 변경이 인식 성능에 주는 손실을 정량화한다.

센서 설계 실험: RGB 조명(파랑)이 Grayscale(초록)보다 일관되게 높은 검증 정확도를 보여, 색 정보가 touch detection에 기여함을 시사한다 — 논문 Fig. 7

이 결과는 라이브러리의 또 다른 활용처를 보여준다. 새 센서를 물리적으로 제작하기 전에, 조명·색·해상도 같은 설계 변수를 PyTouch의 검증된 태스크로 평가해 design space를 좁힐 수 있다는 것이다.

비판적으로 보면

강점

진짜 빈자리를 채운다. PyTouch의 가장 큰 기여는 알고리즘 혁신이 아니라 “통합”이라는 관점이다. 흩어진 touch processing 코드를 표준 API로 묶었다는 사실 자체가 커뮤니티에 주는 가치가 크다. 이는 OpenCV가 비전에 준 가치와 본질적으로 같다.

센서 횡단 평가. 여러 제조사 센서를 한 프레임워크에서 평가한 첫 사례라는 점이 의미 있다. joint model이 단일 model보다 낫다는 발견은, 촉각 표현에 센서를 가로지르는 공통 구조가 있음을 시사하며, 이후 tactile foundation model 연구의 동기와도 맞닿는다.

transfer learning의 실용성. 신규 센서에 적응할 때 30초·소량 데이터로도 from-scratch를 능가한다는 결과는, 현장에서 새 센서를 도입할 때의 부담을 크게 줄인다.

두 수준의 API. 초보자용 high-level과 전문가용 power-user 인터페이스를 동시에 제공한 설계는, 도구가 오래 살아남기 위한 좋은 선택이다.

약점

태스크 범위가 좁다. 발표 시점 기준 핵심 태스크는 touch/slip/contact-area 정도다. force estimation, texture/material 분류, 3D 표면 재구성, 시간적 접촉 추적 같은 더 풍부한 태스크는 빠져 있다. 라이브러리가 “OpenCV급”이 되려면 building block의 폭이 훨씬 넓어져야 한다.

모델이 단순하다. 대부분 ResNet-18 기반이다. 이는 견고한 baseline이지만, 최신 self-supervised 표현 학습이나 멀티모달 융합과는 거리가 있다. 논문이 model-agnostic 설계를 강조하므로 향후 교체 가능성은 열려 있으나, 제공되는 사전학습 모델 자체의 표현력은 보수적이다.

데이터셋 규모가 작다. touch detection이 센서당 수천 샘플, slip이 40개 물체 수준이다. 실험실 통제 환경에서 수집된 데이터라, 일상 환경의 다양성·노이즈에 대한 일반화는 별도 검증이 필요하다. split by objects 정확도가 떨어지는 점이 이 한계를 이미 보여준다.

vision-based 센서에 국한. taxel 기반(BioTac, 압력 배열) 같은 비-vision 촉각 센서는 다루지 않는다. “촉각 라이브러리”라는 이름의 야심에 비하면 모달리티 커버리지가 좁다.

3D CNN의 미흡한 성과. slip에서 시계열 모델이 단순 결합보다 못한 것은 데이터·설정의 문제일 수도 있어, 시간 모델링이 충분히 탐구되지 않았음을 시사한다.

Allegro Hand / dexterous manipulation 연구자 입장에서

촉각을 쓰는 manipulation 연구를 한다면 PyTouch는 다음과 같이 활용할 수 있다.

빠른 프로토타이핑. DIGIT을 손가락에 달고 “지금 닿았는가”, “미끄러지는가”를 즉시 얻고 싶을 때, 자체 분류기를 학습할 필요 없이 is_touched()/is_slipping()로 시작점을 만들 수 있다. 정책 루프의 contact event 트리거나 grasp 안정성 모니터로 바로 쓸 만하다.

TACTO와의 결합. TACTO로 시뮬레이션 촉각 데이터를 대량 생성하고, PyTouch의 태스크 정의·모델 구조를 그대로 가져와 학습한 뒤 실제 센서에 옮기는 워크플로가 자연스럽다. 두 도구가 같은 철학·같은 그룹에서 나왔다는 점이 통합을 쉽게 한다.

신규 센서 도입 비용 절감. 사내에서 자체 tactile 센서를 만든다면, PyTouch의 transfer learning으로 기존 joint model을 fine-tune해 적은 데이터로 빠르게 인식 성능을 확보할 수 있다. 하드웨어 실험 모듈(RGB vs grayscale 비교 같은)은 센서 설계 결정에도 근거를 준다.

한계 인식. force estimation이나 정밀한 6D 자세 추적이 필요한 in-hand manipulation에는 PyTouch의 기본 태스크만으로 부족하다. contact area 추정은 좋은 출발점이지만, 정밀 제어에는 자체 모듈을 power-user 인터페이스로 얹어야 한다.

요약 및 결론

PyTouch의 진짜 기여는 “촉각 처리도 표준 라이브러리가 필요하다”는 관점 전환과, 그것을 센서-불가지론적 추상화로 구현해낸 실행력이다. 세 가지 추상화(센서·태스크·서비스로서의 사전학습 모델)로 DIGIT·OmniTact·GelSight를 동일한 몇 줄짜리 API 뒤에 숨겼고, touch/slip/contact-area라는 핵심 태스크에서 견고한 baseline을 제공했다. joint model이 단일 model보다 낫고 transfer learning이 신규 센서 적응을 가속한다는 발견은, 이후 대규모 촉각 표현 학습 연구의 방향을 미리 가리킨 셈이다.

태스크 범위가 좁고 모델이 보수적이며 데이터 규모가 작다는 한계는 분명하다. 그러나 PyTouch는 완성된 해법이라기보다 출발점이자 토대다. DIGIT(하드웨어)·TACTO(시뮬레이션)·PyTouch(인식)로 이어지는 풀스택의 한 축으로 보면, 그 가치가 분명해진다. “PyTorch와 OpenCV가 비전에 한 일을 촉각에 하자”는 이 라이브러리의 야심은, vision-based 촉각 센싱이 점점 더 진지한 연구 modality가 되어가는 흐름의 출발 신호로 읽을 수 있다.