📃UniTouch 리뷰

tactile

visuo-tactile

representation-learning

multimodal

contrastive-learning

zero-shot

foundation-model

ImageBind

GelSight

DIGIT

llm

diffusion

Binding Touch to Everything: Learning Unified Multimodal Tactile Representations

Published

August 5, 2026

Paper Link (arXiv:2401.18084v1)
Code Link (cfeng16/UniTouch) — 추론 전용: Touch-LLM 실행 코드 + 촉각 인코더 체크포인트(HuggingFace chfeng/Touch-LLM)만 공개. 대조학습 사전학습 코드는 없고, 공개된 추론 코드도 텍스트 경로가 끊겨 있다 → 🔧 재현 노트
Project Page
저자: Fengyu Yang*, Chao Feng*, Ziyang Chen*, Hyoungseob Park, Daniel Wang, Yiming Dou, Ziyao Zeng, Xien Chen, Rit Gangopadhyay, Andrew Owens, Alex Wong (* 동등 기여)
Yale University · University of Michigan
CVPR 2024 (pp. 26340–26353)

💡 촉각 데이터는 비싸고 센서마다 출력이 제각각이라 “촉각 파운데이션 모델”을 만들기 어렵다 — UniTouch는 촉각을 직접 다른 모달과 짝짓는 대신, 이미 언어·소리와 정렬된 이미지 임베딩에 촉각을 붙여서 촉각을 비전·언어·오디오에 한꺼번에 연결한다.
⚙️ 얼어붙은 ImageBind 이미지 인코더를 앵커로 두고 촉각 인코더만 양방향 InfoNCE로 학습하되, 센서마다 학습 가능한 sensor-specific token L=5개를 패치 토큰 앞에 붙이고 배치의 \sigma=75\%를 같은 데이터셋에서 뽑는 in-batch sampling으로 센서 간 도메인 갭을 흡수한다.
🎯 3종 센서·4개 데이터셋으로 학습한 단일 모델이 재료 분류 선형 프로빙에서 Touch and Go 61.3%(VT CMC 56.5%), ObjectFolder 2.0 85.4%를 기록하고, 학습을 전혀 하지 않은 채로 촉각→비전/오디오/텍스트 검색 mAP 41.9/37.9/38.0(최고 지도학습 베이스라인 DAR 32.3/27.8/31.9)을 달성한다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

비전·언어·오디오는 인터넷에서 짝지어진 데이터를 무한정 긁어올 수 있어서 파운데이션 모델이 나왔다. 촉각은 그럴 수가 없다. 촉각 데이터는 로봇이나 사람이 물체를 하나씩 실제로 눌러 가며 모아야 하고, 게다가 GelSight·DIGIT·GelSlim·시뮬레이터(Taxim, TACTO)가 같은 접촉을 찍어도 젤 재질·조명·마커 유무 때문에 전혀 다른 그림을 뱉는다. 그래서 촉각 표현학습은 지금까지 “센서 하나 + 태스크 하나”에 갇혀 있었다.

UniTouch의 처방은 우회다. 촉각-언어 쌍도, 촉각-오디오 쌍도 모으지 않는다. 대신 자연스럽게 짝지어지는 유일한 쌍인 촉각-이미지만 쓴다. 이미지 임베딩을 ImageBind에서 가져오면 그 공간은 이미 텍스트·오디오·깊이 등과 정렬되어 있으므로, 촉각을 그 이미지 임베딩에 붙이는 순간 촉각도 덤으로 언어와 소리에 연결된다. 이것이 논문 제목 “Binding Touch to Everything”의 뜻이다. 결과적으로 CLIP처럼 텍스트 프롬프트로 촉각을 분류하고, Stable Diffusion에 촉각을 조건으로 넣어 이미지를 만들고, LLaMA에 촉각을 꽂아 질문에 답하게 하는 일이 추가 학습 없이 가능해진다.

UniTouch가 여는 다섯 가지 태스크(Fig. 1) — zero-shot 촉각 이해(텍스트 프롬프트 분류), 촉각↔︎비전/오디오/텍스트 교차 검색, 촉각 조건 이미지 생성·스타일화, Touch-LLM 질의응답, X-to-touch 생성. 그림의 “reference”는 이해를 돕기 위한 시각 이미지일 뿐 모델 입력이 아니다.

핵심 방법론:

시각 이미지 \mathbf{v}_i와 촉각 이미지 \mathbf{t}_i의 배치 \{(\mathbf{v}_i,\mathbf{t}_i)\}_{i=1}^{B}에 대해, 얼어붙은 ImageBind 이미지 인코더 \mathcal{F}_V를 앵커로 두고 촉각 인코더 \mathcal{F}_T만 학습한다. 손실은 양방향 InfoNCE다:

\mathcal{L}_{T\rightarrow V}=-\frac{1}{B}\sum_{i=1}^{B}\log \frac{\exp\big(\mathcal{F}_T(\mathbf{t}_i,\mathbf{s}_{\mathbf{t}_i})\cdot\mathcal{F}_V(\mathbf{v}_i)/\tau\big)} {\sum_{j=1}^{B}\exp\big(\mathcal{F}_T(\mathbf{t}_i,\mathbf{s}_{\mathbf{t}_i})\cdot\mathcal{F}_V(\mathbf{v}_j)/\tau\big)}, \qquad \mathcal{L}=\mathcal{L}_{T\rightarrow V}+\mathcal{L}_{V\rightarrow T}

여기서 \tau는 온도(0.07), C=1024는 특징 차원이다. 결정적인 추가 항이 \mathbf{s}_{\mathbf{t}_i} — 센서별 학습 토큰이다. K종 센서 각각에 대해 \mathbf{s}_k\in\mathbb{R}^{L\times D}를 두고 촉각 패치 토큰 앞에 prefix로 붙인다. 센서 고유 특성(캘리브레이션, 배경색, 조명 강도 프로파일)은 이 토큰이 흡수하고, 나머지 모델 용량은 센서 공통 지식(질감·미세기하)에 쓰이게 하려는 설계다.

UniTouch 구조(Fig. 3) — 촉각 인코더만 학습(🔥)하고 이미지 인코더는 동결(❄️). 센서 토큰 <GelSight>가 촉각 입력과 함께 들어가고, 두 임베딩이 대조 손실로 공용 binding space에서 정렬된다.

주요 결과:

재료 분류(선형 프로빙, 정확도 %): in-domain에서 Touch and Go 61.3 / ObjectFolder 2.0 85.4 / YCB-Slide 78.1 — 단일 센서로 학습한 VT CMC(56.5 / 74.3 / 75.2), SSVTP(47.6 / 69.8 / 74.8), ImageNet 지도학습 특징(47.1 / 70.3 / 72.3)을 모두 상회. 학습 때 보지 않은 센서인 out-of-domain에서도 ObjectFolder 1.0 41.3 / ObjectFolder Real 61.2 / SSVTP 77.4로 최고.
파지 안정성 예측(선형 프로빙): Feeling of Success 82.3 / ObjectFolder 2.0 78.1 / ObjectFolder 1.0(OOD) 75.8.
zero-shot 분류: 텍스트 프롬프트 “This feels like [CLS]”만으로 Touch and Go 52.7(우연 5.0, ImageNet 선형 프로빙 47.1보다 높음), 파지 안정성 65.5(우연 52.3).
교차 모달 검색(ObjectFolder 2.0, mAP): 촉각→비전 41.9, 촉각→오디오 37.9, 촉각→텍스트 38.0. 짝지어진 데이터로 지도학습한 베이스라인 DAR(32.3 / 27.8 / 31.9), DSCMR(26.5 / 19.6 / 22.7)을 zero-shot으로 앞선다.
촉각→이미지 생성(Touch and Go): CVTP 0.56, 재료 일치도 0.31로 지도학습 SOTA인 Vision-from-touch(0.35 / 0.25)를 넘지만, FID는 103.11로 그쪽(81.2)보다 나쁘다.
Touch-LLM 캡셔닝: GPT-4 평가(1~5점) 3.30 — LLaVA-1.5 2.33, InstructBLIP 1.93, BLIP-2 1.01.

결론:

“저자원 모달을 이미지에 붙여 다른 모달로 확장한다”는 ImageBind의 레시피가 촉각에도 통한다는 것을 처음으로 보인 논문이다. 여기에 촉각 고유의 걸림돌 — 센서 간 도메인 갭 — 을 센서 토큰 + in-batch sampling이라는 가볍고 값싼 두 장치로 넘는다. Ablation에서 이 두 장치가 없으면 다중 센서 학습이 단일 센서 학습보다 오히려 나빠지는(43.1 → 21.4) 것을 보여, 두 장치가 장식이 아니라 다중 센서 학습을 성립시키는 조건임을 입증한다. 다만 zero-shot 성능의 강함은 데이터셋에 따라 크게 흔들리고(뒤 “비판적으로 보면” 참조), 앵커가 이미지인 이상 사진에 안 찍히는 촉감은 원리적으로 정렬 대상이 아니라는 구조적 한계가 남는다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

촉각을 언어에 직접 붙이려 하지 말고, 이미 언어와 붙어 있는 이미지에 촉각을 붙여라 — 그러면 촉각-언어 쌍을 한 장도 모으지 않고 촉각을 텍스트로 다룰 수 있다.

배경: 촉각이 파운데이션 모델을 못 가진 두 가지 이유

(1) 데이터가 비싸다

촉각은 능동적으로 만져야만 생긴다. 웹을 크롤링해서 나오는 물건이 아니다. 논문이 쓰는 가장 큰 실세계 데이터셋인 Touch and Go조차 약 4,000개 물체 인스턴스, 20종 재료에 대한 13,900회의 접촉(프레임 기준 120k)이다. CLIP이 4억 쌍으로 학습했다는 것과 비교하면 자릿수가 다르다.

(2) 센서 출력이 표준화되어 있지 않다

비전 기반 촉각 센서는 모두 “젤을 카메라로 찍는다”는 점에서 같지만, 젤 재질·마커 유무·LED 배치·캘리브레이션이 달라서 같은 접촉이 완전히 다른 그림이 된다. GelSight는 검은 마커 격자가 찍히고, DIGIT은 마커가 없으며, 시뮬레이터(Taxim/TACTO)는 실제 젤의 광 전달을 근사하느라 또 다른 색조를 낸다.

센서 간 도메인 갭(Fig. 2 재구성) — 논문의 여섯 장면을 라벨과 함께 다시 배치했다. 같은 “비전 기반 촉각 이미지”인데도 마커 유무·색조·대비가 전혀 다르다. 이 격차 때문에 지금까지 촉각 표현은 센서 하나에 갇혀 있었다.

이 문제 자체는 다른 논문들도 정면으로 다뤘다. SITR(arXiv:2502.19638)은 100종의 가상 광학 설계를 렌더링한 합성 데이터와 calibration 이미지로 센서 불변 표현을 만들었고, Sim2Real Bilevel Adaptation은 diffusion 이미지 번역 + DANN으로 시뮬↔︎실제 갭을 메웠다. UniTouch는 이들과 달리 실제 데이터를 그대로 섞어 학습하되 센서 정체성을 별도 토큰으로 빼내는 길을 택한다. 데이터를 합성하지도, 도메인을 정렬하지도 않고, “누가 찍었는지”를 모델에 알려주는 쪽이다.

방법 상세

3.1 촉각을 이미지에 묶기

핵심 가정은 하나다. 이미지 임베딩 공간은 이미 여러 모달의 허브다. ImageBind는 (이미지, 텍스트), (이미지, 오디오), (이미지, 깊이), (이미지, IMU) 같은 이미지를 공유하는 쌍들만으로 여섯 모달의 공용 공간을 만들었고, 그 결과 직접 학습하지 않은 (텍스트, 오디오) 같은 조합에서도 정렬이 창발했다. UniTouch는 여기에 일곱 번째 모달로 촉각을 끼워 넣는다.

학습은 위 Ping의 식 그대로 양방향 InfoNCE다. 이미지 인코더 \mathcal{F}_V는 동결이고 촉각 인코더 \mathcal{F}_T만 갱신되므로, 촉각 임베딩이 기존 공용 공간을 흐트러뜨리지 않고 그 안으로 “들어간다”. 학습 신호는 오직 “이 촉각은 이 사진과 짝이다”뿐이며, 텍스트도 오디오도 학습에 등장하지 않는다.

3.2 여러 센서를 한 번에

센서 토큰. K개 센서 각각에 \mathbf{s}_k\in\mathbb{R}^{L\times D}를 두고 촉각 패치 토큰의 prefix로 붙인다. 구현에서는 L=5, K=3(GelSight, DIGIT, Taxim)이다. 저자의 의도는 명확하다 — 캘리브레이션·배경색 같은 센서 아이덴티티를 5개 토큰에 몰아넣고, 나머지 24층 ViT의 용량은 질감·기하 같은 센서 공통 지식에 쓰게 한다.

In-batch sampling. 대조학습에서 배치 구성이 결정적이라는 점을 파고든 장치다. 여러 센서 데이터를 무작위로 섞어 배치를 만들면, 네거티브 대부분이 “다른 센서에서 온 그림”이 되어 색조만 봐도 구별되는 쉬운 네거티브로 채워진다. 모델은 센서 판별기가 되어 버리고 정작 촉감은 안 배운다. 그래서 배치의 \sigma 비율을 같은 데이터셋에서 뽑는다. 데이터셋 \mathcal{D}=\bigcup_{n=1}^{N}\mathcal{D}_n에서 어느 데이터셋을 주력으로 삼을지는 크기 비례로 정한다:

p_n=\frac{\|\mathcal{D}_n\|}{\sum_{m=1}^{N}\|\mathcal{D}_m\|}

뽑힌 \mathcal{D}_\sigma에서 \sigma\cdot B개를, 나머지 (1-\sigma)\cdot B개는 \mathcal{D}\setminus\mathcal{D}_\sigma에서 균일 샘플링한다. 즉 intra-sensor hard negative를 주식으로, inter-sensor negative를 반찬으로 먹인다.

미학습 센서에서의 추론. 학습 때 못 본 센서가 들어오면 센서 토큰이 없다. UniTouch는 놀랄 만큼 단순하게 해결한다 — 학습된 각 센서에 대해 그 센서의 촉각 이미지 원시 픽셀을 전부 평균낸 1D 프로토타입 벡터를 저장해 두고, 입력 이미지와 프로토타입들 사이의 L1 거리가 최소인 센서의 토큰을 가져다 쓴다. 실질적으로는 “색조가 가장 비슷한 학습 센서 흉내내기”다.

3.3 표현 하나로 다섯 가지를 하기

정렬이 끝나면 downstream은 전부 추가 학습 없이 조립된다.

zero-shot 이해: CLIP식으로 촉각 임베딩과 텍스트 프롬프트 임베딩의 코사인 유사도를 랭킹.
Touch-LLM: LLaMA-Adapter 계열 구조에서 이미지 임베딩 자리를 촉각 임베딩으로 갈아끼운다. 전역 촉각 특징 F_T\in\mathbb{R}^{1\times C_T}를 프로젝터 f로 LLaMA 토큰 차원에 맞추고(F'_T=f(F_T)), 영-초기화 게이트 h_{\text{zero}}로 모든 층·모든 텍스트 토큰에 더한다: T_j^q = h_{\text{zero}}\cdot F'_T + T_j^q.
촉각→이미지 생성: Stable Diffusion 2.1-unCLIP에서 텍스트 조건을 "high quality"로 고정하고 촉각 임베딩을 추가 조건으로 넣는다(DDIM 50 step, guidance 9, embedding strength 0.75, 768×768).
촉각 기반 스타일화: 촉각 임베딩과 이미지 임베딩을 0.3 : 0.7로 선형 결합해 조건으로 사용.
X-to-touch: 이미지→촉각 diffusion을 한 번 학습해 두면, 조건 임베딩이 이미 정렬되어 있으므로 텍스트·오디오를 그 자리에 꽂는 것만으로 텍스트→촉각·오디오→촉각이 zero-shot으로 된다(frozen VQGAN 잠재 64×64, cross-attention 조건, 추론 200 step, guidance 7.5).

셋업

백본: ImageBind 기반, 촉각 인코더는 ViT 24블록 × 16헤드, C=1024
최적화: AdamW, base lr 1\times10^{-5}, cosine decay, 150 epoch
하드웨어: NVIDIA A40 4장, GPU당 배치 48 (총 192)
하이퍼파라미터: \tau=0.07, L=5, K=3, \sigma=0.75

학습·평가 데이터셋 (Table 1)
데이터셋	센서	규모	용도
Touch and Go	GelSight	120k	학습+평가 (재료 분류)
The Feeling of Success	GelSight	9.3k	학습+평가 (파지 안정성)
YCB-Slide (MidasTouch)	DIGIT	183k	학습+평가 (재료 분류)
ObjectFolder 2.0	Taxim	180k	학습+평가 (재료 분류, 파지)
ObjectFolder Real	GelSlim	20k	평가만 (미학습 센서)
ObjectFolder 1.0	TACTO	20k	평가만 (미학습 센서)
SSVTP	DIGIT	4.6k	평가만

학습에 쓰는 촉각-이미지 쌍은 데이터셋에 이미 자연스럽게 들어 있는 것뿐이고 추가 라벨은 쓰지 않는다. 다만 교차 모달 검색과 Touch-LLM 평가를 위해 저자들이 ObjectFolder 2.0의 접촉점 텍스트 설명과 Touch and Go 400장의 캡션을 직접 주석했다(SSVTP의 재료 라벨도 시각 이미지를 보고 6종으로 주석).

직관: 왜 이게 되는가, 그리고 어디까지만 되는가

이 방법이 작동하는 이유는 “촉각 이미지”가 사실 사진을 위한 대리 표현이기 때문이다. 나뭇결을 GelSight로 누르면 젤에 나뭇결의 미세기하가 찍히고, 그 물체의 사진에도 나뭇결이 보인다. 두 신호는 같은 물리적 표면의 다른 투영이므로 대조학습이 붙일 여지가 넓다. 그리고 그 사진은 이미 “wooden plank”라는 단어와 붙어 있다. 그래서 촉각→나무결→사진→“나무”라는 사슬이 만들어진다.

바로 여기에 이 방법의 상한선도 있다. 사진에 흔적을 남기지 않는 촉감은 이 사슬을 탈 수 없다. 유연성(compliance), 온도, 마찰계수, 점착성은 겉보기로는 잘 드러나지 않는데, 앵커가 이미지인 이상 그런 속성은 정렬의 대상이 아니다. 실제로 논문의 zero-shot 태스크가 전부 재료 카테고리와 파지 성공/실패라는 점은 우연이 아니다. 둘 다 시각적으로 상관이 강한 속성이다. 파지 안정성이 되는 이유에 대한 저자들의 설명도 흥미롭게 시각적이다 — 성공한 파지의 촉각은 “물체를 들어올리는 장면”과, 실패한 파지의 촉각은 “물체가 떨어지는 장면”과 짝지어져 있었기 때문이라는 것이다. 즉 촉각→행동 장면→언어 사슬이지, 촉각→힘/슬립의 물리 사슬이 아니다.

이 대비는 Sparsh와 놓고 보면 선명해진다. Sparsh는 촉각 내부 구조를 MAE/DINO/JEPA로 자기지도 학습해 힘 추정·슬립 감지 같은 물리량에서 강하고 언어는 없다. UniTouch는 언어·의미에서 강하고 물리량은 다루지 않는다. 두 계열은 경쟁이라기보다 상보적이다.

실험

표현 품질 (선형 프로빙)

임베딩을 얼리고 선형 분류기만 학습하는 프로토콜이다. 베이스라인은 VT CMC(Touch and Go 논문의 visuo-tactile contrastive multiview coding), SSVTP(Kerr et al., DIGIT용 대조 사전학습), 그리고 ImageNet 지도학습 특징이다. 베이스라인은 “Single”(단일 데이터셋 학습)과 “All”(전체 데이터셋 학습) 두 설정 모두 평가했다.

촉각 재료 분류 (Table 2). 오른쪽 세 열은 out-of-domain(OF 1.0·OF Real은 학습 때 못 본 센서)
재료 분류 (acc %)	학습 데이터	Touch and Go	OF 2.0	YCB-Slide	OF 1.0	OF Real	SSVTP
Chance	–	5.0	14.2	10.0	14.2	14.2	16.6
ImageNet 선형 프로빙	지도	47.1	70.3	72.3	37.5	54.8	73.4
VT CMC	Single	56.5	74.3	75.2	–	–	–
SSVTP	Single	47.6	69.8	74.8	–	–	–
VT CMC	All	49.2	70.3	69.5	33.8	48.1	68.5
SSVTP	All	43.8	68.9	67.4	35.1	49.7	66.8
UniTouch	All	61.3	85.4	78.1	41.3	61.2	77.4
UniTouch (zero-shot)	All	52.7	43.5	66.4	32.7	33.2	60.9

가장 말이 되는 관찰은 베이스라인의 “All”이 “Single”보다 나쁘다는 점이다(VT CMC Touch and Go: 56.5 → 49.2). 데이터를 더 줬는데 성능이 떨어진 것 — 센서 도메인 갭이 실재하며 단순히 섞는 것으로는 손해라는 증거다. UniTouch만 “All”에서 이득을 본다.

로봇 파지 안정성 예측 (Table 3). 그리퍼가 물체를 들어올려 3cm 이상 미끄러지지 않고 유지하는지를 촉각만으로 예측
파지 안정성 (acc %)	학습 데이터	Feeling of Success	OF 2.0	OF 1.0 (OOD)
Chance	–	52.3	52.0	50.7
ImageNet 선형 프로빙	지도	75.9	70.1	68.9
VT CMC	Single	80.1	74.8	–
SSVTP	Single	80.3	74.0	–
VT CMC	All	66.1	65.8	67.2
SSVTP	All	65.8	64.2	65.3
UniTouch	All	82.3	78.1	75.8
UniTouch (zero-shot)	All	65.5	64.3	64.7

zero-shot 촉각 이해

텍스트 프롬프트만으로 분류한다. 재료는 “This feels like [CLS]”, 파지는 “the object is lifted in the air” vs “the object is falling on the ground”. 논문이 스스로 밝히듯 비교 가능한 zero-shot 베이스라인이 존재하지 않는다 — 이 방식으로 촉각을 분류할 수 있는 선행 연구가 없기 때문이다.

프롬프트 문구가 성능을 크게 흔든다는 점이 흥미롭다.

촉각용 프롬프트 분석 (Table 7)
프롬프트	Touch and Go	OF 2.0
“This is an image of [CLS]”	40.7	34.3
“This is a touch image of [CLS]”	43.8	36.8
“This looks like [CLS]”	49.3	41.7
“This feels like [CLS]”	52.7	43.5
“Image of [CLS]”	48.8	40.3
“Touch of [CLS]”	51.2	40.9

“image → touch image”, “looks like → feels like”로 바꾸는 것만으로 Touch and Go에서 40.7 → 52.7(12.0%p)이 오른다. 저자들은 촉각 데이터셋이 사람/로봇이 만지는 장면으로 구성돼 있어 모델이 촉각 이미지를 그 “만지는 행동”과 연결하기 때문일 것이라고 추측한다.

교차 모달 검색

촉각 기준 교차 모달 검색 mAP, ObjectFolder 2.0 (Table 4). †는 ObjectFolder Real 논문에서 가져온 수치
방법	Touch → Vision	Touch → Audio	Touch → Text
Chance	1.0	1.0	1.0
CCA† / PLSCA† / DSCMR† / DAR†	8.50 / 6.25 / 4.92 / 8.80	6.18 / 7.11 / 6.15 / 7.77	–
CCA (지도)	17.8	15.7	16.8
PLSCA (지도)	16.8	15.9	18.2
DSCMR (지도)	26.5	19.6	22.7
DAR (지도)	32.3	27.8	31.9
UniTouch (zero-shot)	41.9	37.9	38.0

이 표가 논문에서 가장 설득력 있는 결과다. UniTouch는 촉각-오디오 쌍도, 촉각-텍스트 쌍도 한 번도 본 적이 없는데 짝지어진 데이터로 지도학습한 방법들을 앞선다. “이미지를 허브로 쓰면 창발한다”는 ImageBind의 주장이 촉각에서도 재현된 셈이다.

촉각으로 이미지 만들기

zero-shot 이미지 합성(Fig. 4) — (좌) 촉각 신호만으로 장면 이미지 생성, (우) 주어진 촉각에 맞춰 원본 이미지를 스타일화. 지도학습 SOTA인 Vision-from-touch와 비교. Vision-from-touch 결과에는 학습셋에 늘 등장하던 센서와 손이 그대로 딸려 나오는 반면, UniTouch는 그런 데이터셋 아티팩트 없이 재질에 집중한 이미지를 만든다.

zero-shot 촉각→이미지 생성, Touch and Go (Table 5)
방법	CVTP ↑	재료 일치도 ↑	FID ↓
Pix2Pix (지도)	0.09	0.15	136.4
VisGel (지도)	0.10	0.20	128.3
Vision-from-touch (지도)	0.35	0.25	81.2
UniTouch (zero-shot)	0.56	0.31	103.11

FID만 지도학습 SOTA에 진다. 저자들의 해명은 “우리 생성물이 Touch and Go 분포 밖이기 때문”이다 — Fig. 4를 보면 실제로 Vision-from-touch는 데이터셋 특유의 손·센서까지 재현하고 있으므로 일리가 있다. 다만 FID가 낮다는 것이 곧 “학습 분포를 외우고 있다”의 증거인지는 이 실험만으로 단정하기 어렵다.

Touch-LLM

Touch-LLM(Fig. 5) — 파지 가능 여부 판단(+이유 설명), 재료 서술, 접촉 위치(모서리/코너) 특정 등의 촉각 질의응답. “reference” 사진은 독자를 위한 것이고 모델은 촉각 이미지만 본다.

Touch and Go에서 무작위 추출한 400장에 사람이 캡션을 달아 정답으로 두고, GPT-4가 1~5점으로 채점했다.

촉각 이미지 캡셔닝 평가 (Table 6)
방법	LLM	GPT-4 평점 ↑
BLIP-2	Vicuna	1.01
InstructBLIP	Vicuna	1.93
LLaVA-1.5	Vicuna	2.33
Touch-LLM (ours)	LLaMA	3.30

X-to-touch

X-to-touch 생성(Fig. 10) — 사진·텍스트·임팩트 사운드로부터 촉각 이미지를 상상한다. 오디오는 ObjectFolder 2.0에서 재질이 맞는 것을 수동 선택했고(강체만 있어 돌·천 재질의 소리는 구할 수 없었다), 그래서 오디오 열은 네 행뿐이다.

정량 평가는 하나뿐이다 — Touch and Go에서 시각으로 생성한 촉각과 그 캡션 텍스트로 생성한 촉각 사이의 재료 분류 일치도 55.3%.

Ablation

구성요소 ablation (Table 8)
설정	학습 데이터	Touch and Go zero-shot acc
Chance	–	16.7
Baseline (바닐라 트랜스포머)	Touch and Go만	43.1
Baseline	All	21.4
Baseline + 센서 토큰	All	38.1
Baseline + in-batch sampling	All	40.3
Baseline + 센서 토큰 + sampling	All	52.7

이 표가 논문 방법론의 존재 이유다. 순진하게 여러 센서를 섞으면 43.1 → 21.4로 반토막 난다. 센서 토큰만 넣으면 +16.7%p, 샘플링만 넣으면 +18.9%p 회복하지만 여전히 단일 센서 학습(43.1)에 못 미친다. 둘을 함께 써야 52.7로 단일 센서 학습을 처음으로 넘어선다. 저자들의 해석 — 센서 토큰은 inter-sensor hard sample을, 샘플링은 intra-sensor hard negative를 다루므로 둘이 서로 다른 축을 덮는다 — 는 설득력이 있다. 다만 이 표의 Chance 16.7이 Table 2의 Touch and Go Chance 5.0(20종 재료)과 어긋나는데, 논문에 설명이 없어 어느 쪽 클래스 집합인지 확인할 수 없다.

\sigma 선택도 예상대로의 U자 곡선을 그린다.

in-batch sampling 비율 \sigma의 효과(Fig. 6) — 6개 데이터셋 평균 zero-shot 재료 분류 정확도. 그래프에서 읽으면 대략 \sigma=0에서 33.6, 0.5에서 45.3, 0.75에서 48.2, 1.0에서 46.1. \sigma=0(완전 무작위 혼합)은 intra-sensor 변별을 못 배워 무너지고, \sigma=1(항상 같은 데이터셋)은 inter-sensor 네거티브를 아예 못 봐서 다시 떨어진다.

비판적으로 보면

강점

문제의 재구성이 우아하다. “촉각-언어 데이터가 없다”를 데이터 수집 문제로 두지 않고 정렬 위상 문제로 바꿨다. 이미지가 허브라는 사실을 이용해 부족한 모달을 무료로 다중모달화하는 발상은 재사용성이 높다.
핵심 장치가 싸고 효과가 크다. 센서당 5개 토큰과 배치 샘플링 비율 하나가 전부인데, 없으면 다중 센서 학습이 아예 성립하지 않는다(43.1 → 21.4)는 것을 ablation이 정직하게 보여준다. “우리 모듈이 조금 도와준다”가 아니라 “우리 모듈이 없으면 세팅 자체가 망한다”는 종류의 ablation은 드물고 값지다.
교차 모달 검색 결과는 반박하기 어렵다. 촉각-오디오·촉각-텍스트 쌍을 한 장도 안 쓰고 지도학습 베이스라인을 mAP 6~10점 앞서는 것은 창발이 실제로 일어났다는 강한 증거다.
적용 범위가 넓다는 것을 다섯 태스크로 실증했다. 분류·검색·이미지 생성·LLM QA·역방향 생성까지, 하나의 임베딩으로 조립되는 것을 보였다. 특히 X-to-touch는 정렬이 양방향으로 쓰일 수 있음을 보여주는 좋은 마무리다.
미학습 센서에서도 표현 품질이 유지된다. GelSlim(ObjectFolder Real)·TACTO(ObjectFolder 1.0)는 학습에 없던 센서인데 선형 프로빙에서 모든 베이스라인을 앞선다.

약점·한계

“zero-shot이 지도학습에 필적한다”는 데이터셋을 골라야 성립한다. Touch and Go에서는 zero-shot 52.7 > ImageNet 선형 프로빙 47.1로 맞는 말이지만, ObjectFolder 2.0에서는 zero-shot 43.5 vs 자기 자신의 선형 프로빙 85.4 — 절반이다. 파지 안정성도 zero-shot 65.5 / 64.3 / 64.7은 ImageNet 선형 프로빙(75.9 / 70.1 / 68.9)에 전부 진다. 논문의 “comparable to several supervised methods”는 틀린 말은 아니나(VT CMC/SSVTP의 “All” 설정과는 비슷하다) 어느 베이스라인과 비교하는지에 크게 의존한다.
시뮬레이터 데이터에서 zero-shot이 특히 약하다. OF 2.0(Taxim) 43.5, OF Real(GelSlim) 33.2, OF 1.0(TACTO) 32.7. 시뮬 촉각 이미지는 짝지어진 “사진”도 렌더링이므로 이미지 앵커 자체가 실사 CLIP 공간과 어긋난다 — 이 논문 접근의 구조적 취약점인데 본문에서 논의되지 않는다.
평가 지표가 자기참조적인 곳이 있다. X-to-touch의 유일한 정량 수치인 55.3% 일치도는 UniTouch 자신을 zero-shot 재료 분류기로 써서 잰 값이다. 생성기와 평가자가 같은 임베딩을 공유하면 “일관되게 틀리는” 경우를 잡아낼 수 없다. 게다가 이 55.3%에는 우연 수준도, 베이스라인도, 상한(실제 촉각끼리의 일치도)도 제시되지 않아 좋은 값인지 판단할 근거가 없다.
Touch-LLM 비교가 다소 유리하게 짜여 있다. BLIP-2·InstructBLIP·LLaVA-1.5는 촉각 이미지를 한 번도 본 적 없는 범용 VLM이다. 이들이 낮은 점수를 받는 것은 당연하며(BLIP-2의 1.01은 사실상 하한), “large margin”이 Touch-LLM의 촉각 이해력을 증명한다기보다 촉각을 안 배운 모델은 촉각을 모른다를 확인해 준다. 촉각으로 파인튜닝한 VLM과의 비교가 없다. 400개 샘플에 대한 GPT-4 단독 채점이며 사람 평가나 신뢰구간도 없다.
미학습 센서 처리가 지나치게 조잡하다. “원시 픽셀 평균 벡터의 L1 거리로 가장 가까운 학습 센서 토큰 가져오기”는 사실상 평균 색조 매칭이다. 검색이 얼마나 맞는지(정확도), 틀렸을 때 성능이 어떻게 되는지, 프로토타입 대신 학습된 임베딩을 쓰면 어떤지에 대한 분석이 전혀 없다. 새 센서에 대한 확장성이 논문의 세일즈 포인트인데 그 메커니즘이 가장 검증이 얕다.
“Unified”의 근거가 되는 센서 다양성이 크지 않다. 학습 센서는 3종(GelSight·DIGIT·Taxim)이고 그중 하나는 시뮬레이터, 데이터셋은 4개다. GelSight Mini 같은 흔한 변형도, 마커 패턴이 다른 변종도 없다. K=3에서 확인된 “센서 토큰이 통한다”가 K=10, 20에서도 유지되는지는 미지다.
베이스라인에게 센서 토큰을 주지 않았다. VT CMC/SSVTP의 “All” 설정은 센서 구분 수단이 없는 채로 섞인 데이터를 먹는다. 이는 원논문 그대로라는 점에서 공정하지만, “우리 이득이 ImageBind 앵커에서 오는가, 센서 토큰에서 오는가”를 분리하지 못한다. Table 8의 Baseline이 그 역할을 일부 하지만 그 Baseline은 UniTouch 계열 구조이지 VT CMC가 아니다.
촉각→텍스트 검색의 정답이 시각에서 유래한다. 저자들은 “물체의 시각 입력으로부터 접촉점을 묘사하는 텍스트”를 직접 주석했다(예: “The corner of a wooden table”). 그러면 촉각→텍스트 검색은 상당 부분 촉각→시각 정렬을 말로 옮긴 것을 재는 셈이다. 촉감 고유의 어휘(끈적한, 미끄러운, 차가운)로 만든 정답이 아니다.
zero-shot 수치가 프롬프트 공학에 의존한다. Table 7에서 문구만 바꿔 12%p가 움직인다. 보고된 zero-shot 수치는 6개 후보 중 가장 좋은 프롬프트를 고른 결과이며, 프롬프트를 어느 셋에서 선택했는지(테스트셋 위에서 골랐는지)는 명시되지 않는다.
학습 코드가 공개되지 않았고, 공개된 추론 코드도 그대로는 논문의 핵심 주장을 실행하지 못한다. 공개 저장소는 ImageBind/LLaMA-Adapter 위에 올린 Touch-LLM 추론 코드와 체크포인트뿐이다. 논문의 실질적 기여인 대조 사전학습 루프·센서 토큰 학습·in-batch sampler는 재현하려면 새로 구현해야 한다. 더 나아가 릴리즈된 코드에서는 텍스트 경로가 세 군데에서 끊겨 있어 논문의 간판 주장인 촉각↔︎텍스트 정렬조차 수정 없이는 돌지 않는다(직접 확인, 🔧 재현 노트 참조). 촉각 인코더 체크포인트 자체는 온전해서 downstream 실험이 가능하지만, “센서 토큰이 정말 센서 아이덴티티를 흡수하는가” 같은 질문은 재학습 없이는 확인할 수 없고, 애초에 릴리즈 코드에는 센서 토큰을 고르는 인터페이스가 없다.
내부 수치 불일치가 하나 있다. Table 8의 Chance 16.7%가 Table 2의 Touch and Go Chance 5.0%와 맞지 않는다. Table 1의 SSVTP 규모도 4.6k(Table 1) vs 4.9k(Appendix A.1)로 어긋난다. 결론을 바꿀 정도는 아니지만 편집 정밀도의 신호다.
저자가 인정한 한계: 비전 기반 센서로 범위를 한정했으므로 기압식·힘 기반 촉각(BioTac, ReSkin류 자기식 스킨 등)은 다루지 못한다. 그리고 표현이 블랙박스라 해석 가능성이 없다.

🔧 재현 노트

아래는 논문의 주장이 아니라 리뷰 시점(2026-08-05)에 공개 코드를 직접 돌려 본 결과다. 공개 저장소(cfeng16/UniTouch)와 HuggingFace 체크포인트(chfeng/Touch-LLM, MIT)만 사용했고, 작업 기록은 private 실험 레포에 남겼다. 이것은 스모크 테스트이지 벤치마크 재현이 아니다 — 아래 수치는 논문의 어떤 숫자도 재현하거나 반박하지 않는다(⑥ 참조).

① 공개된 것은 “논문의 기여”가 아니다

저장소에 있는 것은 Touch-LLM 추론 코드 + 촉각 인코더 체크포인트뿐이다. 대조 사전학습 루프, 촉각 데이터로더, 논문 벤치마크(재료 분류·파지 안정성·교차 모달 검색)의 평가 스크립트는 하나도 없다(추가 태스크 추론 코드를 요청한 이슈 #4는 미응답). 논문은 2024년 1월, 코드는 2025년 2월에 이슈 압박 뒤 공개됐고, 촉각 인코더 단독 실행 스크립트는 2025년 11월에야 추가됐다. 저장소에는 LICENSE 파일이 없다(체크포인트 쪽은 MIT).

저자 워킹트리를 그대로 덤프한 흔적도 남아 있다 — __pycache__/*.pyc와 .DS_Store가 커밋돼 있고, 수정된 helpers.py 옆에 helpers_old.py가 함께 있으며, /home/chfeng/... 절대경로가 소스에 박혀 있다. 이 흔적들이 곧 다음 항목의 원인이다.

② 릴리즈 코드 그대로는 촉각↔︎텍스트 정렬이 실행되지 않는다

논문의 간판 주장 중 하나가 “촉각-텍스트 쌍 없이도 촉각을 텍스트로 다룬다”인데, 공개 코드에서는 그 텍스트 경로가 세 군데에서 끊겨 있었다.

#	위치	증상	원인
B1	`multimodal_preprocessors.py:523`	텍스트 입력 시 모든 머신에서 `FileNotFoundError`	`SimpleTokenizer.__init__`이 인자 `bpe_path`를 저자 절대경로(`/home/chfeng/BindDiffusion/...`)로 덮어쓴다. 정작 BPE 파일은 저장소에 동봉돼 있다
B2	`helpers.py:139`	텍스트 헤드가 `(B,1024)`가 아니라 `(B,77,1024)`를 반환 → `touch @ text.T` 자체가 불가	`SelectEOSAndProject.forward`의 EOS 풀링 한 줄이 주석 처리. 바로 옆 `helpers_old.py`에는 정상 코드가 남아 있다
B3	`x2touch_model_part.py`	학습된 텍스트 투영이 조용히 폐기됨(에러 없음)	텍스트 헤드 마지막 `nn.Linear`가 주석 처리 + `load_state_dict(strict=False)` + 차원 우연 일치(1024→1024)
B4	`load_touch_encoder.py`·`touch_qa.py`	README 명령을 그대로 치면 인코더 로드 직후 종료	참조하는 `./touch_1/0000016865.jpg`가 저장소에도 HF에도 없다

B3이 특히 위험하다. 에러도 경고도 없이 투영되지 않은 텍스트 특징이 나오는데, 이는 strict=False의 전형적인 실패 양상이다. 결정적 증거는 체크포인트 커버리지다:

수정 전:  matched 1653/1653 | missing 0 | unexpected 1
          unexpected: ['modality_heads.text.proj.1.weight']
수정 후:  matched 1654/1654 | missing 0 | unexpected 0

체크포인트에 그 층의 학습된 가중치가 존재하고, 살려 놓으면 텐서가 1654/1654로 정확히 맞는다. 즉 학습 당시에는 이 경로가 켜져 있었고, 릴리즈 과정에서 꺼진 것이다. 세 줄(B1~B3)을 되살리면 vision 386/386, text 288/288, touch 336/336으로 모든 모달의 커버리지가 완전해진다.

③ 13개 메이저 릴리즈 앞선 스택에서 재학습 없이 동작한다

저장소가 핀한 torch==1.13.0+cu113은 RTX 5090(Blackwell, sm_120) 커널이 없어 쓸 수 없다. 그래서 핀을 무시하고 python 3.11 / torch 2.11.0+cu128로 올렸는데, 체크포인트는 변환 없이 그대로 로드됐고 forward도 정상이었다(torch.load가 torch 2.x의 weights_only=True 기본값에서도 통과). ImageBind 계열 ViT가 표준 연산만 쓰기 때문이겠지만, 3년 치 스택 격차를 재학습 없이 건너뛴 것은 이 체크포인트를 쓰려는 사람에게 실용적으로 중요한 사실이다. (부수적으로 pytorchvideo가 torchvision ≥ 0.17에서 제거된 API를 참조해 환경 레벨 패치가 한 번 필요했다.)

모델: 1504.6M 파라미터, fp32 로드 시 VRAM 5.68 GiB
forward: 촉각 15 + 비전 5 + 텍스트 8 입력에 0.50초
⚠️ 모달별 postprocessor의 logit scaling이 달라(촉각 ×5, 텍스트 ×100) 코사인 유사도를 재기 전에 반드시 재정규화해야 한다. 이 사실은 문서화돼 있지 않다

④ 스모크 결과 — 인코더는 살아 있다

데이터가 동봉돼 있지 않아 HF 데이터셋 kingJulio/touch-and-go-probe의 짧은 클립 5개(~230MB, GelSight 영상 + 페어 RGB)를 받아 썼다. 표면은 페어 RGB를 사람이 읽어 라벨링했다(콘크리트, 자갈밭, 큰 바위, 돌, 나무껍질).

태스크	결과	우연 수준
touch → vision 검색 (5-way)	12/15 = 0.80 (paired cos 0.625 vs unpaired 0.508)	0.20
touch → text zero-shot 재질 분류 (8-way)	9/15 = 0.60	0.125

오답도 무의미하지 않다 — 자갈밭 클립은 “rock”, 나무껍질은 “concrete”로 의미상 인접한 쪽으로 틀린다. 검색 오답 3건도 전부 rock↔︎pebble 혼동이다. softmax는 극단적으로 뾰족한데(0.92~1.00), 학습된 온도를 쓰는 CLIP 계열 대조 모델에 프롬프트 앙상블 없이 물었을 때의 전형이다.

⑤ 가장 큰 교훈: 촉각 모델은 “접촉 프레임”을 고르기 전엔 평가할 수 없다

이번 실행에서 수치를 가장 크게 움직인 것은 모델도 코드도 아니라 프레임 선택이었다.

프레임 선택 방식	touch→vision 검색	paired vs unpaired cos
고정 인덱스(각 클립 300번째 프레임)	1/5 = 우연	0.542 vs 0.542 (차이 없음)
접촉 프레임 선별	12/15 = 0.80	0.625 vs 0.508

고정 인덱스로 뽑으면 paired와 unpaired 유사도가 소수점 셋째 자리까지 같아서 모델이 완전히 망가진 것처럼 보인다. 실제로는 그 프레임들이 대부분 무접촉 프레임이었을 뿐이다. 접촉 프레임을 고르는 방법은 단순하다 — 클립별 GelSight 중앙값 프레임을 “무접촉 기준”으로 삼고, 거기서 평균 절대편차가 가장 큰 프레임을 접촉으로 본다(선별된 프레임의 편차 18~22 vs 클립 중앙값 편차 2.6~6.6으로 분리가 뚜렷하다).

이건 이 논문만의 문제가 아니라 촉각 데이터 전반의 성질이다. 촉각 영상의 대부분 프레임은 아무것도 안 만지고 있고, 그 프레임의 임베딩은 재질 정보를 담을 수 없다. 접촉 프레임 선별 없이 잰 촉각 모델 성능은 모델이 아니라 데이터 샘플링을 재고 있다.

⑥ 이 결과가 말하지 않는 것 (중요)

벤치마크가 아니다. 촉각 15프레임 / 클립 5개다. 논문의 어떤 수치(61.3, 52.7, 41.9 …)도 재현하지 않았고 반박하지도 않았다.
라벨이 약하다. 정답은 페어 RGB 프레임을 리뷰어가 눈으로 읽은 것이다. 공식 라벨이 아니다.
in-distribution이다. Touch-and-Go는 UniTouch의 학습 소스다. 따라서 이 결과는 논문의 OOD·미학습 센서 주장과 아무 관련이 없다. 논문에서 가장 검증이 얕은 부분(프로토타입 L1 센서 검색)은 여전히 검증되지 않은 채다.
다만 RGB 쪽이 만진 부분의 크롭이 아니라 작업자의 손까지 들어간 넓은 장면 샷이라, 검색 태스크 자체는 논문 셋업보다 오히려 어려운 조건이었다.

⑦ 확인할 수 없었던 것

센서 토큰 / 다중 센서 정렬 — 릴리즈 코드에 센서를 선택하는 인터페이스 자체가 없다. 논문 방법론의 핵심(§3.2)이 공개물로는 실행 불가능하다.
Touch-LLM 전체 경로 — LLaMA-7B 가중치 + 13.3GB kNN 인덱스로 총 ~43GB가 필요해 미시도.
촉각→이미지 생성(image_generate.py) — 함수가 받는 pipe(diffusion 파이프라인)를 저장소 어디에서도 만들지 않으며, 역시 13.3GB kNN 인덱스를 요구한다. 미시도.

요약하면: 촉각 인코더 체크포인트는 온전하고 최신 스택에서 잘 돌며, 소규모 스모크 테스트에서 촉각↔︎비전·촉각↔︎텍스트 정렬이 우연을 크게 웃돈다. 하지만 그 확인조차 릴리즈 코드의 버그 3건을 고쳐야 가능했고, 논문 수치의 독립 검증은 학습·평가 코드가 없어 현재로선 불가능하다.

접근	대표	학습 신호	강한 영역	약한 영역
촉각 내부 자기지도	Sparsh (MAE/DINO/JEPA)	촉각 자체의 마스킹·자기증류	힘·슬립·자세 등 물리량	언어·의미
센서 불변화	SITR	합성 다중센서 렌더링 + calibration 이미지	미학습 센서 zero-shot 전이	다중모달
다중모달 정렬	UniTouch, VT CMC, SSVTP	촉각-이미지 대조	의미·언어·생성	물리량

요약

UniTouch는 “촉각 데이터가 부족하다”는 문제를 더 모으는 대신 더 잘 연결하는 것으로 푼다. 얼어붙은 ImageBind 이미지 임베딩을 앵커로 두고 촉각-이미지 쌍만으로 대조학습하면, 촉각은 학습한 적 없는 텍스트·오디오와도 정렬된다. 촉각 고유의 걸림돌인 센서 간 도메인 갭은 센서당 5개의 학습 토큰과 배치의 75%를 같은 데이터셋에서 뽑는 샘플링으로 흡수하는데, ablation은 이 두 장치가 없으면 다중 센서 학습이 단일 센서보다 나빠진다(43.1 → 21.4)는 것을 보여 장치의 필연성을 입증한다.

가장 단단한 결과는 교차 모달 검색이다 — 촉각-오디오·촉각-텍스트 쌍을 전혀 쓰지 않고 지도학습 베이스라인을 mAP 6~10점 앞선다. 가장 약한 부분은 zero-shot의 일관성이다. Touch and Go 같은 실세계 데이터에서는 지도학습에 필적하지만 시뮬레이터 기반 데이터에서는 선형 프로빙의 절반으로 떨어지고, 파지 안정성 zero-shot은 단순 ImageNet 선형 프로빙에도 진다. 여기에 학습 코드 미공개와 조잡한 미학습 센서 처리(픽셀 평균 L1 검색)가 더해져, “unified”라는 이름이 실증된 범위는 3종 센서·4개 데이터셋이라는 점을 기억할 필요가 있다.

재현 상태(2026-08-05 기준): 촉각 인코더 체크포인트는 온전하며 핀 버전보다 13개 메이저 릴리즈 앞선 torch 2.11+cu128 / RTX 5090에서 재학습 없이 그대로 동작한다. 다만 릴리즈 코드는 텍스트 경로가 세 군데 끊겨 있어 논문의 간판 주장인 촉각↔︎텍스트 정렬이 수정 없이는 실행되지 않고, 학습·평가 코드가 없어 논문 수치는 제3자가 채점할 수 없다. 고친 뒤 돌린 소규모 스모크에서는 촉각→비전 검색 0.80(우연 0.20), 촉각→텍스트 재질 분류 0.60(우연 0.125)으로 정렬이 살아 있음을 확인했지만, 이는 15프레임 규모의 in-distribution 스모크 테스트이지 논문 수치의 재현이 아니다. 자세한 내용과 한계는 🔧 재현 노트.

그럼에도 이 논문의 자리는 분명하다. 촉각을 다중모달 파운데이션 모델 안으로 끌고 들어간 첫 사례이고, 그 뒤에 나온 촉각 표현 연구들이 비교 대상으로 삼는 기준점이 되었다. 촉각이 사진에 남기는 흔적만을 다룬다는 상한선은 명확하지만, 그 상한선 안에서 가능한 것이 생각보다 훨씬 많다는 것을 다섯 개의 태스크로 보여준 것이 기여다.