📃TacFiLM 리뷰

Tactile Modality Fusion for Vision-Language-Action Models

• Paper Link

• Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek (McGill / Mila / NVIDIA)

• arXiv preprint, 2026

1. 💡 TacFiLM은 시각만 보는 VLA가 접촉력·마찰·compliance·shear 같은 물리 단서를 놓치는 문제를, 사전학습된 촉각 표현으로 VLA의 중간 시각 특징을 FiLM(feature-wise linear modulation)으로 조건화해 푸는 경량 융합 기법입니다.
2. ⚙️ 베이스 VLA(OpenVLA-OFT)의 시각 백본 ViT 블록에 촉각 임베딩 z를 MLP로 사상한 \gamma,\beta를 주입해 시각 토큰을 affine 변조하고, 토큰을 늘리지 않는 채로 LoRA post-training finetuning만으로 촉각을 녹여 넣습니다.
3. 🎯 Franka + DIGIT 실로봇 contact-rich insertion 700+ rollout에서, in-distribution·OOD 평균 성공률을 토큰 concat 베이스라인보다 높이고(둘 다 86.67%), direct insertion 비율을 크게 끌어올리며 peak contact force와 완료 시간을 동시에 줄였습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

핀(peg)을 구멍에 끼우거나 USB를 꽂는 일은 사람에겐 사소하지만 시각만 쓰는 정책에겐 어렵다. 결정적 순간 — 핀이 구멍 가장자리에 닿아 미세하게 걸리는 순간 — 의 정보는 카메라에 거의 안 잡히고 손끝의 힘·마찰·미끄러짐에 담긴다. VLA(Vision-Language-Action) 모델은 거대한 시각·언어 사전지식을 갖췄지만 이 접촉 신호 채널이 비어 있다. TacFiLM은 촉각을 VLA에 어떻게 끼워 넣을 것인가라는 질문에, “토큰을 더 붙이지 말고 시각 특징을 촉각으로 변조하자”는 답을 내놓는다.

개요(Fig. 1) — 입력은 촉각·시각·언어. 회색은 베이스라인(시각만 보는 VLA, 그리고 촉각을 토큰으로 concat하는 VLA), 보라색이 제안하는 TacFiLM. FiLM 층이 LLaMA2 백본 앞단에서 중간 시각 특징을 조건화한다. 출력은 [\Delta x, \Delta\theta, \text{Grip}] 액션.

기존과 결정적으로 다른 점은 융합 방식이다. 흔한 접근은 촉각 임베딩을 별도 토큰으로 만들어 시각·언어 토큰열에 이어 붙인다(TactileConcat). 이는 시퀀스를 길게 만들고, 또 촉각 토큰이 무시되거나(modality collapse) 시각 토큰과 분리된 채로 다뤄지기 쉽다. TacFiLM은 대신 촉각을 시각 특징의 변조 신호로 쓴다 — 토큰 수는 그대로 두고, 촉각이 “지금 시각 특징의 어떤 채널을 키우고 줄일지”를 결정하게 한다.

융합 파이프라인(Fig. 2) — 촉각 임베딩을 MLP로 \gamma,\beta에 사상하고, SigLIP/DINOv2 ViT 블록 안에서 Normalization 직후·Multi-Head Self-Attention 직전에 FiLM을 적용한다(Z_{out}^n = (1+\gamma)\times Z_{in}^n + \beta). 변조된 시각 토큰이 언어 토큰과 합쳐져 LLaMA2가 액션을 autoregressive하게 생성한다.

핵심 방법론:

베이스 VLA는 OpenVLA-OFT로, Fused SigLIP+DINOv2 시각 인코더 → MLP projector → LLaMA2-7B 디코더 구조다. 촉각 관측은 사전학습된 촉각 인코더(기본 Sparsh-DINO)로 인코딩한 뒤 풀링해 단일 벡터 z로 만든다. 이 z를 작은 MLP로 각 ViT 블록의 채널별 scale·shift 파라미터 \gamma, \beta에 사상하고, 블록의 중간 특징 F^n에 affine 변조를 가한다:

\text{FiLM}(F^n \mid \gamma, \beta) = F^n \odot (1+\gamma) + \beta

1+\gamma로 쓰는 건 \gamma=0일 때 항등 사상이 되어 학습 초기에 시각 특징을 보존(베이스 VLA의 사전지식을 깨지 않음)하기 위함이다. FiLM은 Normalization 직후·self-attention 직전에 들어가며, 기본 설정은 모든 ViT 블록에 적용(AllFiLM)하되 적용 깊이는 ablation으로 검증한다. 학습은 선형층에 LoRA를 건 parameter-efficient finetuning으로, 베이스 가중치 대부분을 동결한 채 80k step 진행한다.

주요 결과: (Franka Emika Panda + 그리퍼 장착 DIGIT, 태스크당 80 텔레오퍼레이션 시연, 총 700+ rollout)

• In-distribution 평균 성공률: OpenVLA-OFT 62.22% → TactileConcat 71.11% → TacFiLM 86.67%. direct insertion(재시도 없이 한 번에 삽입) 비율은 8.89% / 7.78% → 31.11%로 도약.
• OOD 평균(square·pentagon peg, HDMI 케이블): 54.67% / 73.33% → 86.67% 성공. direct insertion 0.00% / 8.00% → 29.33%. 특히 HDMI 플러깅은 OpenVLA-OFT 6.67% → TacFiLM 66.67%.
• 힘·시간: in-distribution 평균 peak contact force 15.01N → 8.34N, 완료 시간 122.40s → 79.62s. OOD에서는 force가 22.46N → 8.40N으로 더 크게 감소. 즉 더 잘 끼우면서 덜 세게 누르고 더 빨리 끝낸다.
• 촉각 인코더 비교(3개 binary 분류 평균): T3 83.04% < Sparsh-IJEPA 93.56% < Sparsh-MAE 96.64% < Sparsh-DINO 97.72% → 메인 실험에 Sparsh-DINO 채택.

결론: 사전학습된 촉각 인코더 + FiLM 변조 + LoRA finetuning이라는 가벼운 조합만으로, 촉각 전용 학습 없이 VLA에 접촉 감각을 주입할 수 있다. concat보다 일반화가 좋고, 성공률·힘·시간을 동시에 개선한다는 점이 핵심 기여다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

TacFiLM의 한 문장은 “촉각을 토큰으로 더하지 말고, 시각 특징을 촉각으로 변조하라”다. 이 작은 설계 결정이 토큰 오버헤드를 없애고, 베이스 VLA의 사전지식을 보존하면서, 접촉이 결정적인 순간에 시각 표현을 촉각 신호로 굴절시킨다.

왜 어려운가: VLA에 빈 채널

VLA는 인터넷 규모 시각·언어 데이터로 사전학습돼 “무엇을 어디에 끼우라”는 의미는 잘 안다. 하지만 contact-rich manipulation의 성패는 의미가 아니라 물리에서 갈린다. 핀이 구멍 입구에 걸렸는지, 표면을 따라 미끄러지는지, 지금 얼마나 세게 누르는지 — 이 정보는 카메라 화각·가림·해상도 한계로 시각에 잘 안 담긴다. 결과적으로 시각 전용 VLA는 접촉 단계에서 과한 힘을 쓰거나(부품 손상·실패), 걸린 줄 모르고 같은 동작을 반복한다.

촉각을 붙이는 자연스러운 방법은 촉각 인코더 출력을 토큰으로 만들어 LLM 입력 시퀀스에 concat하는 것이다. 그러나 이는 두 가지 약점이 있다. (1) 시퀀스가 길어져 self-attention 비용이 늘고, (2) 새 modality 토큰이 시각·언어 토큰과 잘 정렬되지 않거나 학습 중 무시되기 쉽다. TacFiLM은 이 둘을 우회한다.

방법 상세

베이스 아키텍처와 촉각 인코더

베이스는 OpenVLA-OFT — Fused SigLIP+DINOv2로 RGB를 patch 임베딩으로 만들고, MLP projector를 거쳐 LLaMA2-7B 디코더가 액션을 생성하는 구조다. 촉각 측은 사전학습된 표현을 그대로 가져다 쓴다(태스크별 재학습 없음). 두 계열을 비교한다.

• T3: 센서별 ViT 인코더 + 공유 transformer trunk. 여러 visuotactile 센서·다운스트림으로 전이하도록 학습된 표현.
• Sparsh: 자기지도로 학습된 ViT 촉각 표현. MAE(masked autoencoding)·IJEPA(joint-embedding prediction)·DINO(self-distillation) 세 변형. 입력은 5 timestep 떨어진 두 프레임을 채널 방향으로 concat하고 배경 제거 후 224×224로 리사이즈.

촉각 이미지를 인코딩한 뒤 풀링해 단일 벡터 z를 얻는다. 이 z가 FiLM의 조건 신호다.

FiLM 융합의 핵심

각 선택된 ViT 블록 n에 대해, 작은 MLP가 z를 채널별 \gamma^n, \beta^n로 사상한다. 블록 내부의 중간 특징 Z_{in}^n에 다음을 적용한다:

Z_{out}^n = (1+\gamma^n)\odot Z_{in}^n + \beta^n

• 1+\gamma의 의미: \gamma\to 0, \beta\to 0이면 항등. 사전학습된 시각 특징을 망가뜨리지 않은 채로 변조량을 0에서 출발해 학습한다. VLA의 시각·언어 사전지식을 보존하려는 보수적 설계다.
• 삽입 위치: Normalization 직후, Multi-Head Self-Attention 직전. 즉 attention이 “변조된” 시각 특징 위에서 동작한다.
• 토큰 불변: 시퀀스 길이를 늘리지 않는다. 촉각은 토큰이 아니라 변조 파라미터로만 들어가므로 LLM 입력 시퀀스가 그대로다.

학습은 선형층 LoRA로 베이스 대부분을 동결하고 80k step. 의미 이해를 유지하면서 촉각 피드백을 활용하는 게 목표다.

직관: 왜 변조가 concat보다 나은가

concat은 촉각을 “또 하나의 독립 입력”으로 다루지만, 정작 필요한 건 시각 해석을 촉각으로 보정하는 것이다. 예컨대 시각상 핀이 구멍 위에 있어 보여도 촉각이 측면 접촉(shear)을 보고하면, “지금 시각이 말하는 정렬은 신뢰하지 마라”는 신호가 필요하다. FiLM은 이를 시각 채널의 gain·bias 조절로 직접 표현한다 — 촉각이 시각 특징의 어떤 부분을 강조/억제할지 결정한다. 토큰을 나란히 두고 attention이 알아서 섞기를 바라는 것보다 귀납 편향이 강하다.

실험

셋업과 태스크

태스크 정의(Fig. 3) — circle/pentagon/square peg(각 2mm·3mm clearance)와 HDMI·USB 커넥터 plugging. 모양·여유공차가 다른 contact-rich insertion으로, 공통 목표는 “완전 삽입”.
실험 셋업(Fig. 4) — Franka 평행 그리퍼에 DIGIT 촉각 센서를 장착해 핀을 쥔다. RealSense RGB + DIGIT 촉각을 10Hz로 기록. rollout은 circle peg·USB 삽입 예시.

태스크당 SpaceMouse 텔레오퍼레이션으로 80개 시연(시연당 ~70 step, joint·EE pose·gripper·RGB·촉각 기록), 고정 자연어 지시문 부착. 평가는 총 700+ rollout — in-distribution 270(방법당 30), OOD 225(방법당 15), ablation 210. 성공 기준은 완전 삽입. circle peg·USB는 in-distribution, square·pentagon peg·HDMI는 OOD(학습에 없던 모양/커넥터)로 둔다.

지표는 네 가지: 성공률, direct insertion 비율(걸림·재시도 없이 한 번에 들어간 비율 — 정밀도의 대리지표), peak contact force(과도한 힘 회피), 완료 시간.

In-distribution & OOD 결과

핵심 수치(평균):

구분	방법	성공률	direct	peak force(N)	시간(s)
ID	OpenVLA-OFT	62.22	8.89	15.01	122.40
ID	TactileConcat	71.11	7.78	10.29	108.34
ID	TacFiLM	86.67	31.11	8.34	79.62
OOD	OpenVLA-OFT	54.67	0.00	22.46	89.48
OOD	TactileConcat	73.33	8.00	16.47	105.79
OOD	TacFiLM	86.67	29.33	8.40	87.84

읽을 점:

• direct insertion이 진짜 이야기다. 성공률만 보면 concat도 베이스보다 낫지만, direct insertion에서는 concat이 베이스와 거의 같다(ID 7.78 vs 8.89, OOD 8.00 vs 0.00). 반면 TacFiLM은 ID 31.11%·OOD 29.33%로 압도적이다. 즉 TacFiLM은 “어찌어찌 끼운다”가 아니라 “정렬을 보정해 한 번에 끼운다”에서 차이를 만든다.
• OOD 힘 안정성이 두드러진다. 미학습 모양에서 시각 전용은 22.46N까지 누르지만 TacFiLM은 8.40N으로 절반 이하. 촉각이 과접촉을 억제한다는 직접 증거다.
• HDMI(가장 어려운 OOD): 6.67% → 66.67%. 베이스가 거의 실패하는 태스크를 촉각 변조가 살린다.

힘·완료 시간 분석(Fig. 5) — 위: episode 진행률 대비 평균 EE 외력. 파랑(OpenVLA-OFT)은 접촉이 진행될수록 힘이 크게 치솟지만 주황(TacFiLM)은 낮게 유지. 아래: 완료 시간 분포. 촉각 인지 방법이 과도한 힘을 막고, TacFiLM은 시간까지 크게 단축.

Ablation

• FiLM 적용 깊이(Early/Middle/Late/All): 성공률은 어느 단계든 비슷(대부분 100%) — FiLM 조건화가 깊이에 둔감하다는 뜻. 다만 direct insertion에서는 차이가 있어, circle 3mm(ID)에서 EarlyFiLM이 60.00%로 AllFiLM(36.67%)보다 높고, pentagon 3mm(OOD)에서는 MiddleFiLM이 53.33%로 최고였다. 즉 “어디에 넣느냐”가 정밀도에는 영향이 있으나 단일 최적 깊이는 태스크 의존적이다.
• 카메라 열화 robustness: 조명 80% 감광, 프레임 업데이트 50% 조건에서 TacFiLM은 두 경우 모두 성공률 100% 유지하며 force·시간도 베이스라인보다 우수. 시각이 나빠질수록 촉각 의존이 도움이 된다는 해석.
• 촉각 인코더: 앞서의 binary 분류(rotation-high/low, contact)에서 Sparsh-DINO(97.72%)가 T3(83.04%)·다른 Sparsh 변형을 앞서 메인에 채택.

비판적으로 보면

강점

• 설계의 절약: 토큰을 늘리지 않고 촉각을 주입한다. 시퀀스 비용·정렬 문제를 구조적으로 회피하는 깔끔한 귀납 편향이고, 1+\gamma 항등 초기화로 베이스 사전지식 보존까지 챙겼다.
• 다지표 동시 개선: 성공률만이 아니라 direct insertion·peak force·완료 시간을 함께 개선했다. 특히 force 감소는 contact-rich 태스크에서 실용적으로 중요(부품/센서 보호)하고, Fig. 5의 force curve가 정량 근거를 제공한다.
• OOD·시각 열화에서의 강건성: 미학습 모양·커넥터와 조명/프레임 열화에서 이득이 커진다 — “촉각이 시각의 빈틈을 메운다”는 주장과 결과가 일관된다.
• 재현 가능한 베이스: OpenVLA-OFT·Sparsh·T3·DIGIT 등 공개 컴포넌트 위에 얹은 post-training이라 개념적으로 다른 VLA에도 이식 가능해 보인다.

약점·한계

• 태스크 다양성: 저자 스스로 인정하듯 전부 insertion/plugging 류다. 정밀 visuotactile 시뮬레이터 부재로 실로봇 데이터 수집·rollout이 병목이라 태스크 확장이 어려웠다. wiping·screwing·deformable 조작 등 다른 접촉 양상으로의 일반화는 미검증.
• 단일 베이스 VLA: OpenVLA-OFT에만 적용했다. \pi_{0.5} 등 다른 VLA로의 확장은 future work로 남겼다 — FiLM 융합이 아키텍처 비의존적이라는 주장은 아직 경험적으로 뒷받침되지 않음.
• direct insertion 정의·통계량: direct insertion이 핵심 차별 지표인데, 방법당 rollout이 ID 30·OOD 15로 적어(15개 중 몇 개 차이가 큰 % 변동) 신뢰구간이 넓을 수 있다. 표의 force/time 표준편차도 큰 편이라 일부 비교는 통계적 유의성이 단정하기 어렵다.
• 단일 센서·단일 그리퍼 손가락: DIGIT 한 개 기준이다. 양손가락·다센서·다른 센서 타입에서의 거동은 다룰 수 있었으나 검증 범위 밖.
• 재현성: 현재 공개 코드/프로젝트 페이지가 확인되지 않고, Franka 암 + DIGIT + 실로봇 rollout에 의존해 외부에서의 직접 재현은 어렵다(이 리뷰도 논문 본문 근거로만 작성).

관련 연구와의 자리 매김

TacFiLM은 촉각-VLA 융합과 사전학습 촉각 표현 두 흐름이 만나는 지점에 있다.

• Tactile-VLA 리뷰는 VLA의 물리 지식을 촉각 일반화로 끌어내는 또 다른 접근으로, “VLA에 촉각을 어떻게 결합하나”라는 같은 질문에 다른 답(토큰/추론 측)을 준다. TacFiLM은 그 답을 시각 특징 변조로 좁혀 토큰 오버헤드를 없앤 쪽이다.
• 촉각 인코더로 쓴 Sparsh 리뷰의 자기지도 촉각 표현(MAE/IJEPA/DINO)이 그대로 백본으로 들어간다 — TacFiLM의 성능 상당 부분이 이 사전학습 표현 품질에 기댄다(인코더 ablation이 이를 보여줌).
• 센서 측은 DIGIT 리뷰의 저비용 visuotactile 센서를 그대로 사용한다.
• 베이스 정책 계열로는 OpenVLA+Diffusion 리뷰와 같은 OpenVLA 계보를 공유하며, TacFiLM은 그 위에 촉각 조건화를 얹는 post-training 레이어로 볼 수 있다.

요약

TacFiLM은 “촉각을 토큰으로 더하지 말고 시각 특징을 촉각으로 변조하라”는 한 줄 아이디어를, 사전학습 촉각 표현(Sparsh-DINO) + FiLM(Z_{out}=(1+\gamma)Z_{in}+\beta) + LoRA finetuning이라는 가벼운 레시피로 구현했다. Franka+DIGIT 실로봇 700+ rollout에서 성공률·direct insertion·접촉력·완료 시간을 in-distribution과 OOD 양쪽에서 동시에 개선했고, 특히 미학습 모양과 시각 열화에서 이득이 컸다. 한계는 insertion 류에 국한된 태스크 다양성, 단일 베이스 VLA, 적은 rollout 수, 그리고 공개 코드 부재에 따른 재현 난이도다. 그럼에도 “최소 침습으로 VLA에 접촉 감각을 주입하는 법”의 설득력 있는 한 후보를 제시한다.