📃TacFiLM 리뷰

tactile

visuo-tactile

vla

representation-learning

fine-tuning

Tactile Modality Fusion for Vision-Language-Action Models

Published

June 27, 2026

Paper Link
Project Page (코드·데이터는 “soon”으로만 예고)
Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek (McGill / Mila / NVIDIA)
arXiv preprint, 2026

갱신 노트 (2026-09-22)

이 글은 처음 v1(2026-03-15) 기준으로 썼고, 이후 v2(2026-07-15) 에서 drawer-opening 태스크와 Cross-Attn 베이스라인이 추가되며 평균 수치와 rollout 수가 바뀌었다. 아래 본문은 v2 기준으로 갱신했다.

또 그 사이 베이스 VLA인 OpenVLA-OFT를 직접 재현하고, TacFiLM의 융합 메커니즘을 OFT + Sparsh 위에 재구성해 스모크 테스트·VRAM을 실측했다. 그 결과로 확인·정정한 것을 본문에 “🧪 자체 재구성 메모”로 표시해 넣었다.

⚠️ 경계: TacFiLM은 코드도 데이터도 아직 공개하지 않았다. 우리가 한 것은 메커니즘의 재구성이고 논문 결과의 재현이 아니다. 성공률·접촉력·direct insertion·완료 시간은 여기서 측정 자체가 불가능하다. 아래에서 “논문 보고값”과 “자체 재구성 실측”은 절대 섞이지 않게 출처를 붙였다.

💡 TacFiLM은 시각만 보는 VLA가 접촉력·마찰·compliance·shear 같은 물리 단서를 놓치는 문제를, 사전학습된 촉각 표현으로 VLA의 중간 시각 특징을 FiLM(feature-wise linear modulation)으로 조건화해 푸는 경량 융합 기법입니다.
⚙️ 베이스 VLA(OpenVLA-OFT)의 시각 백본 ViT 블록에 촉각 임베딩 z를 MLP로 사상한 \gamma,\beta를 주입해 시각 토큰을 affine 변조하고, 토큰을 늘리지 않는 채로 LoRA post-training finetuning만으로 촉각을 녹여 넣습니다.
🎯 Franka + DIGIT 실로봇 insertion·drawer-opening 1,000+ rollout에서, in-distribution·OOD 평균 성공률을 토큰 concat·cross-attention 베이스라인보다 높이고(둘 다 86.67%), direct insertion 비율을 크게 끌어올리며 peak contact force와 완료 시간을 동시에 줄였습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

핀(peg)을 구멍에 끼우거나 USB를 꽂는 일은 사람에겐 사소하지만 시각만 쓰는 정책에겐 어렵다. 결정적 순간 — 핀이 구멍 가장자리에 닿아 미세하게 걸리는 순간 — 의 정보는 카메라에 거의 안 잡히고 손끝의 힘·마찰·미끄러짐에 담긴다. VLA(Vision-Language-Action) 모델은 거대한 시각·언어 사전지식을 갖췄지만 이 접촉 신호 채널이 비어 있다. TacFiLM은 촉각을 VLA에 어떻게 끼워 넣을 것인가라는 질문에, “토큰을 더 붙이지 말고 시각 특징을 촉각으로 변조하자”는 답을 내놓는다.

개요(Fig. 1) — 입력은 촉각·시각·언어. 회색은 베이스라인(시각만 보는 VLA, 그리고 촉각을 토큰으로 concat하는 VLA), 보라색이 제안하는 TacFiLM. FiLM 층이 LLaMA2 백본 앞단에서 중간 시각 특징을 조건화한다. 출력은 [\Delta x, \Delta\theta, \text{Grip}] 액션.

기존과 결정적으로 다른 점은 융합 방식이다. 흔한 접근은 촉각 임베딩을 별도 토큰으로 만들어 시각·언어 토큰열에 이어 붙인다(TactileConcat). 이는 시퀀스를 길게 만들고, 또 촉각 토큰이 무시되거나(modality collapse) 시각 토큰과 분리된 채로 다뤄지기 쉽다. TacFiLM은 대신 촉각을 시각 특징의 변조 신호로 쓴다 — 토큰 수는 그대로 두고, 촉각이 “지금 시각 특징의 어떤 채널을 키우고 줄일지”를 결정하게 한다.

융합 파이프라인(Fig. 2) — 촉각 임베딩을 MLP로 \gamma,\beta에 사상하고, SigLIP/DINOv2 ViT 블록 안에서 Normalization 직후·Multi-Head Self-Attention 직전에 FiLM을 적용한다(Z_{out}^n = (1+\gamma)\times Z_{in}^n + \beta). 변조된 시각 토큰이 언어 토큰과 합쳐져 Llama2를 통과하고, 마지막 hidden state를 MLP 액션 헤드가 받아 연속 액션 청크를 L1 회귀로 직접 출력한다(§3.1).

핵심 방법론:

베이스 VLA는 OpenVLA-OFT로, Fused SigLIP+DINOv2 시각 인코더 → MLP projector → Llama2-7B 디코더 → MLP 액션 헤드(연속 액션을 L1 회귀로 출력) 구조다. 즉 액션은 토큰을 하나씩 뽑는 자기회귀 디코딩이 아니라 청크 전체가 한 번의 forward pass로 나온다(자세히는 OpenVLA-OFT 리뷰). 촉각 관측은 사전학습된 촉각 인코더(기본 Sparsh-DINO)로 인코딩한 뒤 patch feature를 평균해 단일 벡터 z_t로 만든다. 이 z를 작은 MLP로 각 ViT 블록의 채널별 scale·shift 파라미터 \gamma, \beta에 사상하고, 블록의 중간 특징 F^n에 affine 변조를 가한다:

\text{FiLM}(F^n \mid \gamma, \beta) = F^n \odot (1+\gamma) + \beta

1+\gamma로 쓰는 건 \gamma,\beta를 0으로 초기화하면 항등 사상이 되어 학습 초기에 시각 특징을 보존(베이스 VLA의 사전지식을 깨지 않음)하기 위함이다. FiLM은 Normalization 직후·self-attention 직전에 들어가며, 기본 설정은 모든 ViT 블록에 적용(AllFiLM)하되 적용 깊이는 ablation으로 검증한다. 학습은 OpenVLA-OFT와 촉각 백본의 선형층에 LoRA를 걸고 FiLM 층만 from scratch로 학습하는 방식이고, 80k step 진행한다.

주요 결과: (Franka Emika Panda + 그리퍼 장착 DIGIT, 태스크당 80 텔레오퍼레이션 시연, 총 1,000+ rollout — 논문 보고값)

In-distribution 평균 성공률(circle peg 3mm·2mm, USB, drawer 4태스크): OpenVLA-OFT 58.10% → TactileConcat 64.76% → Cross-Attn 48.00% → TacFiLM 86.67%. direct 비율은 12.38% / 10.48% / 12.00% → 37.14%로 도약.
OOD 평균(square·pentagon peg 각 2·3mm, HDMI 케이블): 54.67% / 73.33% / 49.33% → 86.67% 성공. direct 0.00% / 8.00% / 5.33% → 29.33%. 특히 HDMI 플러깅은 OpenVLA-OFT 6.67% → TacFiLM 66.67%.
힘·시간: ID 평균 peak contact force 14.94N → 8.65N, 완료 시간 126.72s → 81.72s. OOD에서는 force가 22.46N → 8.40N으로 더 크게 감소. 즉 더 잘 끼우면서 덜 세게 누르고 더 빨리 끝낸다.
촉각 인코더 비교(3개 binary 분류 평균): T3 83.04% < Sparsh-IJEPA 93.56% < Sparsh-MAE 96.64% < Sparsh-DINO 97.72%. TacBench force estimation RMSE도 T3 58.64 / IJEPA 40.27 / MAE 36.61 / DINO 36.09 순 → 메인 실험에 Sparsh-DINO 채택.

결론: 사전학습된 촉각 인코더 + FiLM 변조 + LoRA finetuning이라는 가벼운 조합만으로, 촉각 전용 학습 없이 VLA에 접촉 감각을 주입할 수 있다. concat보다 일반화가 좋고, 성공률·힘·시간을 동시에 개선한다는 점이 핵심 기여다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

TacFiLM의 한 문장은 “촉각을 토큰으로 더하지 말고, 시각 특징을 촉각으로 변조하라”다. 이 작은 설계 결정이 토큰 오버헤드를 없애고, 베이스 VLA의 사전지식을 보존하면서, 접촉이 결정적인 순간에 시각 표현을 촉각 신호로 굴절시킨다.

왜 어려운가: VLA에 빈 채널

VLA는 인터넷 규모 시각·언어 데이터로 사전학습돼 “무엇을 어디에 끼우라”는 의미는 잘 안다. 하지만 contact-rich manipulation의 성패는 의미가 아니라 물리에서 갈린다. 핀이 구멍 입구에 걸렸는지, 표면을 따라 미끄러지는지, 지금 얼마나 세게 누르는지 — 이 정보는 카메라 화각·가림·해상도 한계로 시각에 잘 안 담긴다. 결과적으로 시각 전용 VLA는 접촉 단계에서 과한 힘을 쓰거나(부품 손상·실패), 걸린 줄 모르고 같은 동작을 반복한다.

촉각을 붙이는 자연스러운 방법은 촉각 인코더 출력을 토큰으로 만들어 LLM 입력 시퀀스에 concat하는 것이다. 그러나 이는 두 가지 약점이 있다. (1) 시퀀스가 길어져 self-attention 비용이 늘고, (2) 새 modality 토큰이 시각·언어 토큰과 잘 정렬되지 않거나 학습 중 무시되기 쉽다. 두 번째 계열인 cross-attention 융합은 시각 patch가 촉각 임베딩을 attend하게 하지만, 학습해야 할 attention 파라미터가 새로 붙는다. 논문의 프레이밍은 “concat은 토큰을, cross-attn은 파라미터를 늘린다 — 둘 다 오버헤드”이고, TacFiLM은 이 둘을 모두 우회한다.

방법 상세

베이스 아키텍처와 촉각 인코더

베이스는 OpenVLA-OFT — Fused SigLIP+DINOv2로 RGB를 patch 임베딩으로 만들고, MLP projector를 거쳐 Llama2-7B 디코더를 통과한 뒤, 최종 hidden state를 MLP 액션 헤드가 받아 연속 액션 청크를 L1 회귀로 출력하는 구조다(자기회귀 토큰 디코딩이 아니다). 촉각 측은 사전학습된 표현을 쓴다 — 촉각 인코더를 태스크별로 처음부터 재학습하지는 않지만, 학습 단계에서 촉각 백본의 선형층에도 LoRA가 걸린다(§3.3). 두 계열을 비교한다.

T3: 센서별 ViT 인코더 + 공유 transformer trunk. 여러 visuotactile 센서·다운스트림으로 전이하도록 학습된 표현.
Sparsh: 자기지도로 학습된 ViT 촉각 표현. MAE(masked autoencoding)·IJEPA(joint-embedding prediction)·DINO(self-distillation) 세 변형. 입력은 5 timestep 떨어진 두 프레임을 채널 방향으로 concat하고 배경 제거 후 224×224로 리사이즈.

촉각 이미지를 인코딩한 뒤 patch feature를 평균해 단일 벡터 z_t를 얻는다. 이 z_t가 FiLM의 조건 신호다.

🧪 자체 재구성 메모 — Sparsh 입력 포맷은 논문 서술 그대로였다

Sparsh-DINO 체크포인트를 실제로 올려보니 위 서술이 코드·가중치와 정확히 맞는다. config/data/digit_force.yaml이 out_format: concat_ch_img, num_frames: 2, frame_stride: 5이고 사전학습된 patch_embed.proj.weight가 [768, 6, 16, 16]이다 — 즉 6채널(2프레임×RGB)은 Sparsh의 네이티브 입력이지 우리가 끼워맞춘 게 아니다. 배경 제거도 Sparsh 자신의 compute_diff(img, bg, offset=0.5)가 그대로 쓰인다. 체크포인트는 174개 텐서 전부 로드(missing 0 / unexpected 0).

재현자에게 유용한 한 줄: 논문에 안 적힌 z_t의 차원은 768이다(Sparsh ViT-base의 embed_dim). 뒤에서 FiLM projector 크기를 셀 때 이 숫자가 결정적이다.

FiLM 융합의 핵심

각 선택된 ViT 블록 n에 대해, 작은 MLP가 z를 채널별 \gamma^n, \beta^n로 사상한다. 블록 내부의 중간 특징 Z_{in}^n에 다음을 적용한다:

Z_{out}^n = (1+\gamma^n)\odot Z_{in}^n + \beta^n

1+\gamma의 의미: \gamma\to 0, \beta\to 0이면 항등. 사전학습된 시각 특징을 망가뜨리지 않은 채로 변조량을 0에서 출발해 학습한다. VLA의 시각·언어 사전지식을 보존하려는 보수적 설계다.
삽입 위치: Normalization 직후, Multi-Head Self-Attention 직전(논문 §3.1 명시). 즉 attention이 “변조된” 시각 특징 위에서 동작한다.
토큰 불변: 시퀀스 길이를 늘리지 않는다. 촉각은 토큰이 아니라 변조 파라미터로만 들어가므로 LLM 입력 시퀀스가 그대로다.
전체 feature map에 적용: OFT의 설계 원칙을 따라 \gamma,\beta는 패치 단위가 아니라 hidden unit 단위로 모든 패치에 걸쳐 적용된다(\gamma,\beta \in \mathbb{R}^{D_{ViT}}).

학습은 OFT와 촉각 백본의 선형층에 LoRA를 걸어 베이스 대부분을 동결하고, FiLM 층은 from scratch로 학습하며 80k step. 의미 이해를 유지하면서 촉각 피드백을 활용하는 게 목표다.

🧪 자체 재구성 메모 — 베이스(OFT)의 기본 구현과 다른 지점, 그리고 학습 파라미터의 실체

우리가 OFT + Sparsh 위에 이 메커니즘을 다시 조립하면서 확인한 것들이다. 성능 검증이 아니라 구현 확인이고, 아래 수치는 모두 자체 재구성 실측이다(논문 보고값이 아니다).

① FiLM 삽입 위치는 베이스의 기본 구현과 다르다. OFT의 언어 FiLM 구현(prismatic/models/film_vit_wrapper.py:69-75)은 attention 서브블록 + residual을 지난 뒤, MLP 서브블록 앞에 FiLM을 넣는다 — OFT 논문 Fig. 8 도식도 코드와 일치한다. 반면 TacFiLM은 위에서 보듯 norm 직후·attention 직전이라고 명시한다. 두 위치는 등가가 아니다: 전자에서는 attention이 변조 전 특징을 보고, 후자에서는 변조 후 특징을 본다. 논문이 명시적으로 서술하므로 이는 TacFiLM 쪽의 의도적 변경으로 읽는 게 타당하지만, 논문이 그 이동을 설계 선택으로 논의하지도 ablation하지도 않아 “왜 옮겼는가”는 열린 질문이다. 재구성에서는 논문 서술을 택하고(location: pre_attention), OFT의 위치도 선택 가능하게 남겨 나중에 비교할 수 있게 했다.

② FiLM projector는 LoRA가 아니라 full로 학습된다. 논문이 “FiLM 층은 from scratch 학습”이라고 쓴 것과 일치한다. 구현상 함정은 순서다 — get_peft_model() 뒤에 FiLM을 wrap해야 새 nn.Linear들이 동결 필터를 빠져나간다. 실측 학습 파라미터는 base OFT 261.9M → TacFiLM 347.6M으로 +85,635,840이고, 이는 FiLM projector 전량과 정확히 일치한다. “LoRA + 베이스 동결”인데 학습 파라미터가 큰 이유가 이것이다.

③ 그 85.6M은 z가 768-d일 때의 값이다. 논문은 FiLM projector의 파라미터 수를 보고하지 않는다. 768-d Sparsh z → 블록별 Linear(768, D_ViT) ×2로 짜면 85.6M이지만, z를 LLM 폭(4096-d)으로 먼저 투사하면 같은 구조가 456.2M이 된다 — 이는 OFT의 언어 FiLM projector 크기와 같은 값이다. 논문의 “an MLP projects z_t to \gamma_n,\beta_n”만으로는 중간 폭을 확정할 수 없으므로, FiLM projector 비용을 인용할 때는 조건부로 읽어야 한다.

④ 마지막 ViT 블록의 FiLM 파라미터는 영구 미학습이다. OFT는 n = len(blocks) - 2로 끝에서 두 번째 블록 출력을 읽어간다. 마지막 블록은 실행되지만 출력이 버려지므로 그 \gamma,\beta는 loss에 닿지 않는다. 실측에서 FiLM 텐서 204개 중 196개만 gradient를 받았고, 빠진 8개는 정확히 두 갈래(DINOv2 idx 23, SigLIP idx 26)의 마지막 블록이었다. 이는 OFT 설계에서 상속된 것이라 OFT의 공개 FiLM 체크포인트에도 똑같이 해당한다 — 어느 쪽이든 “FiLM 파라미터 수”를 셀 때 차감 대상이다.

⑤ 메커니즘의 학습 VRAM 비용은 1 GiB 미만이다. 배치 1·bf16·lora_rank=32에서 torch peak allocated가 base 18.12 GiB → TacFiLM 18.98 GiB(+0.86 GiB, +4.7%). 증분의 대부분은 동결 Sparsh 인코더 가중치(86.3M fp32, ~0.35 GB)와 FiLM projector의 AdamW 모멘트다. 논문의 “lightweight” 주장에 숫자를 붙일 수 있는 지점이지만, 이는 우리 재구성의 비용이지 논문이 보고한 값이 아니다.

⑥ zero-init은 실제로 bit-exact 항등이다. \gamma,\beta=0 + (1+\gamma) 형태 덕에 step 0의 정책은 베이스 OFT와 액션이 max_abs_diff = 0.0으로 완전히 동일했다. projector를 \sigma=10^{-3}로 흔들면 서로 다른 두 z에 대해 액션이 갈라지는 것도 확인했다. “사전지식을 깨지 않는다”는 설계 주장이 학습 전 시점에서는 증명 가능한 성질이라는 뜻이다.

직관: 왜 변조가 concat보다 나은가

concat은 촉각을 “또 하나의 독립 입력”으로 다루지만, 정작 필요한 건 시각 해석을 촉각으로 보정하는 것이다. 예컨대 시각상 핀이 구멍 위에 있어 보여도 촉각이 측면 접촉(shear)을 보고하면, “지금 시각이 말하는 정렬은 신뢰하지 마라”는 신호가 필요하다. FiLM은 이를 시각 채널의 gain·bias 조절로 직접 표현한다 — 촉각이 시각 특징의 어떤 부분을 강조/억제할지 결정한다. 토큰을 나란히 두고 attention이 알아서 섞기를 바라는 것보다 귀납 편향이 강하다.

실험

셋업과 태스크

태스크 정의(Fig. 3) — circle/pentagon/square peg(각 2mm·3mm clearance)와 HDMI·USB 커넥터 plugging, 그리고 open-drawer(그리퍼를 손잡이 아래에 걸어 당겨 열기). 모양·여유공차가 다른 contact-rich insertion에 pulling 태스크 하나를 더한 구성이다.

실험 셋업(Fig. 4) — Franka 평행 그리퍼에 DIGIT 촉각 센서를 장착해 핀을 쥔다. RealSense RGB + DIGIT 촉각을 10Hz로 기록. rollout은 USB 삽입·open-drawer 예시.

태스크당 SpaceMouse 텔레오퍼레이션으로 80개 시연(시연당 ~70 step, joint 위치·속도·EE pose·gripper 폭/상태·RGB·촉각·실행 액션을 10Hz로 시간 정렬 기록), 고정 자연어 지시문 부착. 제어는 Polymetis → libfranka(FCI) 1kHz. 평가는 총 1,000+ rollout — in-distribution 480(방법당 30), OOD 300(방법당 15), ablation 240. 성공 기준은 완전 삽입 또는 서랍 완전 개방. circle peg(3·2mm)·USB·drawer는 in-distribution, square·pentagon peg(각 3·2mm)·HDMI는 OOD(학습에 없던 모양/커넥터)로 둔다. 삽입 능력만 보기 위해 insertion 태스크는 물체를 이미 쥔 상태로 시작한다(grasping은 평가 대상이 아니다).

지표는 네 가지: 성공률, direct 비율(걸림·재시도 없이 첫 시도에 성공한 비율 — 정밀도의 대리지표), 평균 최대 힘(과도한 힘 회피), 완료 시간.

베이스라인은 셋이고 모두 같은 OpenVLA-OFT 백본 위에 구현해 융합 방식의 차이만 남긴다: ① 시각 전용 OpenVLA-OFT, ② TactileConcat(촉각 임베딩을 2층 MLP로 VLM 입력 공간에 투사해 토큰으로 concat), ③ Cross-Attn(PolyTouch 구조를 따라, 시각 백본 뒤에 residual 붙은 cross-attention 블록 6개를 쌓아 시각 patch가 query, 촉각 임베딩이 key/value).

In-distribution & OOD 결과

핵심 수치(Table 1 평균, 논문 보고값):

구분	방법	성공률	direct	평균 최대 힘(N)	시간(s)
ID	OpenVLA-OFT	58.10	12.38	14.94	126.72
ID	TactileConcat	64.76	10.48	10.27	113.04
ID	Cross-Attn	48.00	12.00	13.43	149.92
ID	TacFiLM	86.67	37.14	8.65	81.72
OOD	OpenVLA-OFT	54.67	0.00	22.46	89.48
OOD	TactileConcat	73.33	8.00	16.47	105.79
OOD	Cross-Attn	49.33	5.33	19.27	149.77
OOD	TacFiLM	86.67	29.33	8.40	87.84

읽을 점:

direct 비율이 진짜 이야기다. 성공률만 보면 concat도 베이스보다 낫지만, direct에서는 concat이 베이스와 거의 같거나 낮다(ID 10.48 vs 12.38, OOD 8.00 vs 0.00). 반면 TacFiLM은 ID 37.14%·OOD 29.33%로 압도적이다. 즉 TacFiLM은 “어찌어찌 끼운다”가 아니라 “정렬을 보정해 한 번에 끼운다”에서 차이를 만든다.
OOD 힘 안정성이 두드러진다. 미학습 모양에서 시각 전용은 22.46N까지 누르지만 TacFiLM은 8.40N으로 절반 이하. 특히 2mm clearance OOD에서 TactileConcat은 힘이 크게 튀는데(square 2mm 27.72N) TacFiLM은 7.06N을 유지한다. 촉각을 어떻게 넣느냐가 접촉 민감도를 가른다는 직접 증거다.
HDMI(가장 어려운 OOD): OpenVLA-OFT 6.67% / TactileConcat 13.33% / Cross-Attn 33.33% → TacFiLM 66.67%. 다른 셋이 거의 실패하는 태스크를 촉각 변조가 살린다.
drawer가 격차가 가장 큰 태스크다. OFT 33.33 / concat 26.67 / Cross-Attn 20.00 → TacFiLM 86.67%, direct도 73.33%. 유일한 비-insertion 태스크에서 가장 큰 이득이 난 점은 흥미롭지만 태스크 1개·30 rollout이라 일반화 근거로 쓰기엔 얇다.
Cross-Attn은 전반적으로 베이스보다도 못하다(ID 48.00%, 시간 149.92s). 저자의 가설은 태스크별 데이터가 적어서다 — cross-attention은 시각·촉각 사이의 새 학습 파라미터를 도입하므로 대응관계를 배우는 데 더 많은 데이터가 필요하다는 것. 이 해석은 그럴듯하지만 데이터 양을 바꿔 검증한 실험은 없다.

힘·완료 시간 분석(Fig. 5) — 위: ID insertion 태스크에서 재시도 후 성공한(recovered) 에피소드들의 평균 힘 측정치. 시각 전용 베이스는 접촉이 진행될수록 힘이 크게 치솟지만 TacFiLM은 낮게 유지. 아래: ID insertion 태스크의 완료 시간 분포. 촉각 인지 방법이 과도한 힘을 막고, TacFiLM은 시간까지 크게 단축.

Ablation

FiLM 적용 깊이(Early/Middle/Late/All): 성공률은 어느 단계든 비슷(대부분 100%) — FiLM 조건화가 깊이에 둔감하다는 뜻. 다만 direct insertion에서는 차이가 있어, circle 3mm(ID)에서 EarlyFiLM이 60.00%로 AllFiLM(36.67%)보다 높고, pentagon 3mm(OOD)에서는 MiddleFiLM이 53.33%로 최고였다. 즉 “어디에 넣느냐”가 정밀도에는 영향이 있으나 단일 최적 깊이는 태스크 의존적이다.
카메라 열화 robustness(circle peg 3mm, 방법당 15 rollout): 조명 80% 감광, 프레임 업데이트 50% 조건에서 TacFiLM은 두 경우 모두 성공률 100% 유지하며 force·시간도 베이스라인보다 우수. 시각 전용 베이스는 프레임 50% 조건에서 73.33%로 떨어진다. 단 프레임 50% 조건에서 direct 비율은 TactileConcat(40.00%)이 TacFiLM(26.67%)보다 높다 — 다만 힘·시간은 더 나쁘다. Cross-Attn은 두 조건 모두 46.67~53.33%로 무너진다.
촉각 인코더: binary 분류(rotation-high/low, contact) 평균에서 Sparsh-DINO(97.72%)가 T3(83.04%)·다른 Sparsh 변형을 앞서고, TacBench force estimation RMSE에서도 최고(36.09)여서 메인에 채택. 다만 이 선택 실험은 분류·회귀 probing이고 정책 성능과의 직접 연결(인코더를 바꿔 rollout을 돌린 비교)은 제시되지 않는다.

비판적으로 보면

강점

설계의 절약: 토큰을 늘리지 않고 촉각을 주입한다. 시퀀스 비용·정렬 문제를 구조적으로 회피하는 깔끔한 귀납 편향이고, 1+\gamma 항등 초기화로 베이스 사전지식 보존까지 챙겼다.
공정한 베이스라인 비교: concat·cross-attention 두 선행 융합 방식을 같은 OFT 백본 위에 직접 구현해 비교했다. 융합 방식의 차이만 남기려는 설계이고, 서로 다른 논문의 수치를 인용해 비교하는 흔한 우회보다 훨씬 강한 증거다.
다지표 동시 개선: 성공률만이 아니라 direct 비율·peak force·완료 시간을 함께 개선했다. 특히 force 감소는 contact-rich 태스크에서 실용적으로 중요(부품/센서 보호)하고, Fig. 5의 force curve가 정량 근거를 제공한다.
OOD·시각 열화에서의 강건성: 미학습 모양·커넥터와 조명/프레임 열화에서 이득이 커진다 — “촉각이 시각의 빈틈을 메운다”는 주장과 결과가 일관된다.
재현 가능한 베이스: OpenVLA-OFT·Sparsh·T3·DIGIT 등 공개 컴포넌트 위에 얹은 post-training이라 개념적으로 다른 VLA에도 이식 가능해 보인다. 다만 실제 이식 비용은 생각보다 크다 — OFT의 FiLM 경로는 timm VisionTransformer 내부 구조(norm1/attn/ls1/norm2/mlp)에 직접 의존하고 vit.forward를 몽키패치하며, 스택 전체가 4.40.1에 핀된 커스텀 transformers fork 위에 있다. 시각 타워가 timm ViT가 아닌 VLA로 옮기려면 다시 써야 한다(자체 재구성에서 확인).

약점·한계

태스크 다양성: v2에서 drawer-opening(pulling)이 추가돼 순수 insertion만은 아니게 됐지만, 여전히 insertion 7종 + pulling 1종이고 비-insertion은 태스크 하나·30 rollout이다. 저자 스스로 인정하듯 정밀 visuotactile 시뮬레이터 부재로 실로봇 데이터 수집·rollout이 병목이라 태스크 확장이 어려웠다. wiping·screwing·deformable 조작 등 다른 접촉 양상으로의 일반화는 미검증.
단일 베이스 VLA: OpenVLA-OFT에만 적용했다. \pi_{0.5} 등 다른 VLA로의 확장은 future work로 남겼다 — FiLM 융합이 아키텍처 비의존적이라는 주장은 아직 경험적으로 뒷받침되지 않음.
direct 비율 통계량: direct가 핵심 차별 지표인데, 방법당 rollout이 ID 30·OOD 15로 적어(15개 중 1개가 6.67%p) 신뢰구간이 넓을 수 있다. 표의 force/time 표준편차도 큰 편이고(예: OFT circle 2mm 15.09 ± 12.69) 신뢰구간·유의성 검정은 제시되지 않아 일부 비교는 단정하기 어렵다.
단일 센서·단일 그리퍼 손가락: DIGIT 한 개 기준이다. 양손가락·다센서·다른 센서 타입에서의 거동은 다룰 수 있었으나 검증 범위 밖. 손가락이 여러 개면 여러 z를 어떻게 합칠지(풀링·집계)를 결정해야 하는데 논문은 이 문제를 다루지 않는다.
Cross-Attn 열세의 해석이 가설에 머문다: cross-attention이 베이스보다도 나쁘게 나온 것을 “데이터 부족”으로 설명하는데, 데이터 양을 바꾼 실험도 하이퍼파라미터 탐색의 기록도 없다. 재구현 베이스라인이 유독 약하게 나올 때 필요한 검증이 빠져 있다.
효율성 주장이 정성적이다: “lightweight”가 논문의 핵심 프레이밍인데 파라미터 수·메모리·추론 지연을 정량 보고하지 않는다. 토큰을 늘리지 않는다는 구조적 논거는 분명하지만, cross-attn/concat 대비 실제 비용 표가 있으면 훨씬 강했을 것이다(우리 재구성 실측으로는 학습 VRAM 증분 +0.86 GiB/+4.7% — 위 메모 ⑤).
FiLM 삽입 위치의 근거 부재: 베이스 OFT의 기본 구현(attention 뒤·MLP 앞)과 다른 위치(norm 뒤·attention 앞)를 택했는데, 그 이동에 대한 설명도 ablation도 없다(위 메모 ①). 적용 깊이는 ablation하면서 위치는 하지 않았다.
재현성: 프로젝트 페이지가 생겼지만 코드·데이터 모두 “soon” 상태다. 다만 재현 난이도를 더 정확히 좁혀 말할 수 있다 — 베이스(OpenVLA-OFT)와 촉각 인코더(Sparsh)는 공개돼 있어 실제로 붙여 돌릴 수 있다(우리가 해봤다). 막히는 것은 데이터다: Franka + DIGIT 실기 시연(태스크당 80개, 시간 정렬된 촉각-액션 쌍)이 없으면 학습도 평가도 시작할 수 없다. 즉 이 논문의 재현 장벽은 알고리즘이 아니라 하드웨어·데이터 쪽에 있다.

요약

TacFiLM은 “촉각을 토큰으로 더하지 말고 시각 특징을 촉각으로 변조하라”는 한 줄 아이디어를, 사전학습 촉각 표현(Sparsh-DINO) + FiLM(Z_{out}=(1+\gamma)Z_{in}+\beta) + LoRA finetuning이라는 가벼운 레시피로 구현했다. Franka+DIGIT 실로봇 1,000+ rollout에서 concat·cross-attention 융합을 같은 백본 위에서 누르고, 성공률·direct 비율·접촉력·완료 시간을 in-distribution과 OOD 양쪽에서 동시에 개선했다. 특히 미학습 모양·시각 열화·drawer에서 이득이 컸다. 한계는 여전히 좁은 태스크 다양성(insertion 7 + pulling 1), 단일 베이스 VLA, 적은 rollout 수와 부재하는 유의성 검정, 정량화되지 않은 “lightweight” 주장, 그리고 미공개 코드·데이터다.

우리 쪽에서 이 메커니즘을 OFT + Sparsh 위에 재구성해 본 결론은: 메커니즘 자체는 놀랄 만큼 값싸고(학습 VRAM +0.86 GiB, zero-init 시 베이스와 bit-exact 동일) 실제로 조립된다. 재현을 막는 것은 알고리즘이 아니라 데이터다. 그 경계 안에서 보면 TacFiLM은 “최소 침습으로 VLA에 접촉 감각을 주입하는 법”의 설득력 있는 한 후보다.