📃Tactile-VLA

tactile

vla

cot

Unlocking Vision-Language-Action Model’s Physical Knowledge for Tactile Generalization

Published

May 23, 2026

Paper

🦾 Tactile-VLA는 Vision-Language-Action (VLA) 모델에 촉각 센싱을 깊이 융합하여, 접촉이 많은 작업에서 정교한 힘 제어와 물리적 상호작용 능력을 크게 향상시키는 새로운 프레임워크입니다.
🧠 이 모델은 VLM의 내재된 물리적 지식을 활용하여 ‘softly’ 또는 ’hard’와 같은 힘 관련 언어를 일반화하고, 물체의 속성에 따라 적절한 힘을 적용하며, 촉각 피드백을 기반으로 실패를 진단하고 적응적으로 힘 전략을 조정합니다.
🚀 실험 결과, Tactile-VLA는 몇 가지 데모만으로 VLM의 사전 지식을 활성화하여 zero-shot, cross-object, 그리고 force-sensitive 환경에서 탁월한 일반화 능력을 보여주며 기존 VLA 모델들을 능가합니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

Tactile-VLA는 Vision-Language-Action (VLA) 모델이 접촉이 많은(contact-rich) 조작 작업에서 정확한 물리적 상호작용을 수행할 수 있도록, 잠재된 물리적 지식을 활성화하는 것을 목표로 하는 새로운 프레임워크를 제안합니다. 기존 VLA 모델은 고수준 추론과 계획에는 뛰어나지만, 정밀한 힘 제어가 필요한 시나리오에서는 실제 물리적 현실을 이해하는 데 한계가 있었습니다. Tactile-VLA는 비전, 언어, 액션 모달리티에 촉각 센싱(tactile sensing)을 깊이 융합하여 이러한 간극을 메웁니다. 핵심 아이디어는 VLM(Vision-Language Model)의 사전 지식에 이미 물리적 상호작용에 대한 의미론적 이해가 포함되어 있으며, 이를 소수의 촉각 데모를 통해 로봇의 촉각 센서와 연결함으로써 제로샷 일반화(zero-shot generalization)를 달성할 수 있다는 것입니다.

이 모델은 세 가지 주요 기능을 통해 촉각 일반화를 가능하게 합니다.

Tactile-Aware Instruction Following (촉각 인지 명령 추종): “부드럽게(gently)” 또는 “세게(hard)”와 같은 힘 관련 언어의 의미를 학습하여, 동작만 학습한 새로운 작업에도 이를 적용하여 언어 기반 힘 제어를 일반화합니다.
Utilizing Tactile-Relevant Common Sense (촉각 관련 상식 활용): 무거운 쇠구슬에는 강한 그립력을, 깨지기 쉬운 용과(pitaya)에는 부드러운 그립력을 적용하는 등, 시각 및 문맥적 단서를 기반으로 사물의 속성에 따라 접촉 행동을 조절합니다.
Adaptive Tactile-Involved Reasoning (적응형 촉각 관련 추론): 작업 실패 시 촉각 피드백을 통해 실패 원인을 진단하고 수정 조치를 취하도록 자율적으로 적응합니다 (예: 잘 지워지지 않는 칠판 자국을 지우기 위해 초기 실패 후 아래로 누르는 힘을 증가시킴).

핵심 방법론 (Core Methodology):

Tactile-VLA는 멀티모달 센서 입력(비전, 언어, 촉각, 고유수용성 상태)을 처리하여 힘 인지(force-aware) 액션 출력을 생성하는 아키텍처를 가집니다.

1. 정책 아키텍처 및 학습 (Policy Architecture and Learning):

목표: 추상적인 상호작용 이해를 정밀한 실제 힘 제어로 변환하여, 동일한 움직임을 공유하지만 힘이 다른 명령(예: “USB를 단단히 삽입” vs. “USB를 부드럽게 삽입”)을 구별합니다.
아키텍처: 토큰 레벨 융합(token-level fusion) 방식을 사용합니다.
- 입력 인코딩:
  - 시각 (Vision): 사전 훈련된 Vision Transformer (ViT) 인코더 E'_{vis}를 사용하여 지난 H 프레임을 고유한 토큰 시퀀스로 인코딩합니다.
  - 촉각 (Tactile): 간단한 MLP E'_\psi가 H개의 촉각 측정값 이력을 처리하여 단일 융합 토큰을 생성합니다.
  - 언어 (Language): 일반 언어 토크나이저 E_{lang}를 사용합니다.
- 통합 입력 시퀀스 (S_t): 모든 모달리티의 토큰은 다음 형식으로 연결됩니다: S_t = [E'_{vis}(I_{t-H+1}), \dots, E'_{vis}(I_t), E_{lang}(L_t), E'_{\psi}([T_{t-H+1}, \dots, T_t])] 여기서 I는 이미지, L은 언어, T는 촉각 신호를 나타냅니다.
- Transformer 백본: S_t는 비인과적 어텐션(non-causal attention) 메커니즘을 통해 Transformer 백본에 의해 처리됩니다. 이는 비전, 언어, 촉각 토큰이 자유롭게 상호 작용하여 깊이 통합된 문맥적 표현을 생성하도록 합니다.
- 액션 출력: 이 풍부한 표현은 촉각 인지 액션 전문가(tactile-aware action expert)에게 전달되어 증강된 액션 벡터 a_t를 출력합니다. a_t에는 목표 위치(target position) P_{target}와 목표 접촉 힘(target contact force) F_{target}이 포함됩니다.
학습: 모방 학습(imitation learning)을 통해 종단간(end-to-end) 파인튜닝됩니다.
- 사전 훈련된 \pi_0 (Black et al., 2024)의 파라미터로 공유 컴포넌트를 초기화하고, 촉각 인코더와 수정된 액션 전문가 같은 새로운 모듈은 무작위로 초기화됩니다.
- Conditional Flow Matching (CFM) 목표를 사용하여 학습이 진행되며, 손실 함수는 예측된 액션 시퀀스의 운동학적(kinematic) 및 힘(force) 차원 모두에서의 편차에 페널티를 부여합니다. 이 메커니즘을 통해 모델은 언어적 뉘앙스(예: “gently”)와 해당 물리적 힘 크기(예: 0.5N) 간의 직접적인 매핑을 학습합니다.

2. 하이브리드 위치-힘 제어기 (Hybrid Position-Force Controller):

촉각 인지 액션 전문가가 P_{target}와 F_{target}를 결정하면, 저수준 제어기(low-level controller)가 이 두 목표의 균형을 맞춥니다.
접근 방식: 위치 지배적(position-dominant) 접근 방식을 취하며, 임피던스 제어(impedance control) 원리에서 영감을 받은 간접 힘 제어(indirect force control) 방식을 채택합니다.
작동: 힘 오차 \Delta F = F_{target} - F_{measured}를 계산하고, 이 오차의 크기 \left \| \Delta F \right \|가 사전 정의된 임계값 \tau를 초과할 때만 보정 위치 조정(corrective positional adjustment)을 계산합니다. P_{hybrid} = \begin{cases} P_{target} + K \cdot \Delta F & \text{if } \left \| \Delta F \right \| > \tau \\ P_{target} & \text{if } \left \| \Delta F \right \| \leq \tau \end{cases} 여기서 K는 게인 매트릭스입니다.
구현: PID 제어기(Proportional-Integral-Derivative controller)가 동적으로 업데이트된 P_{hybrid}로 로봇의 조인트를 구동합니다.
힘 성분 분리: 순 외력(net external force)과 내부 잡기 힘(internal grasping force)의 제어를 분리합니다. 그리퍼의 Cartesian 위치는 순 외력 제어에, 그리퍼 폭(gripper width)은 내부 잡기 힘 제어에 사용됩니다.

3. Tactile-VLA-CoT: 추론 기반 적응 (Reasoning-Based Adaptation):

목표: VLM의 잠재된 추론 기술을 활성화하여 강력한 적응 능력을 확보합니다.
Chain-of-Thought (CoT) 통합: 힘 및 촉각 피드백을 정책 입력 이상으로 활용하여 적응형 추론 및 재계획(re-planning)을 위한 중요한 단서로 사용합니다.
작동 방식:
- VLM의 사전 훈련된 디코더를 사용하여 명시적인 내부 독백(internal monologue)을 생성합니다. 이는 모델이 실패 원인(예: 예상치 못한 미끄러짐)을 추론하고 수정 액션을 공식화하도록 합니다.
- 훈련: 실패 이벤트(예: 칠판을 닦을 때 미끄러짐)를 포착하고 멀티모달 감각 스트림을 실패 원인을 분석하는 언어 주석과 짝지은 작고 특화된 데이터셋으로 파인튜닝됩니다. 이는 VLM의 일반 추론 능력을 보존하고 촉각 모달리티로 확장하여 센서 신호에서 물리적 현상(예: 불충분한 하향 압력, 도구 미끄러짐)을 추론하도록 합니다.
- 실행 시: CoT 추론은 고정된 간격으로 트리거됩니다. 모델은 먼저 작업 성공 여부를 판단하고, 실패로 판단되면 촉각 피드백을 사용하여 근본 원인을 분석합니다.
- 수정 지시 생성: 추론 출력은 다양한 힘 성분을 명시적으로 분석하고(예: “grasping force is sufficient, but normal force is too low”), 다음 시도를 안내할 새로운 수정 지시(예: “wipe the board again, but apply more downward force”)를 생성합니다.

4. 데이터 수집 (Data Collection):

정확하고 의미론적으로 정렬된 촉각 데이터를 위해 Universal Manipulation Interface (UMI)를 기반으로 특수 데이터 수집 설정을 구축했습니다.
UMI 그리퍼에 고해상도 촉각 센서(정상력 및 전단력 감지 가능)를 추가하여 조작자가 접촉 역학을 직접 감지하고 힘에 의해 명시적으로 안내되는 데모를 제공할 수 있도록 했습니다.
시간 동기화(temporal synchronization)를 위해 모든 데이터 스트림의 타임스탬프를 정렬했습니다. 100Hz의 촉각 피드백과 20Hz의 시각 데이터를 캡처하고, 고주파 촉각 신호는 시각 프레임에 맞춰 다운샘플링했습니다.

실험은 USB/충전기 삽입 및 추출, 탁상 객체 잡기, 칠판 닦기 세 가지 접촉이 많은 조작 작업을 통해 수행되었습니다. Tactile-VLA는 기존 VLA 모델 대비 촉각 관련 언어 이해, 상식적 힘 적용, 그리고 촉각 피드백 기반의 적응형 추론 능력에서 뛰어난 일반화 성능을 보여주었습니다. 특히, 소수의 촉각 데모만으로 VLM의 잠재된 물리적 지식을 활성화하여 제로샷 시나리오에서 성공적인 결과를 얻었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

언어로 “힘”을 조절하는 로봇

결론부터 말하면, 이 논문의 핵심 주장은 한 문장으로 압축된다. VLM(Vision-Language Model)은 이미 “살살”과 “세게”의 물리적 차이를 알고 있다. 단지 그 지식을 촉각 센서에 연결해주는 다리가 없었을 뿐이다.

Tactile-VLA는 그 다리를 놓는다. 시각·언어·행동(VLA)에 촉각(Tactile)을 네 번째 모달리티로 깊게 융합해, “USB를 살살 꽂아”와 “USB를 세게 꽂아”처럼 궤적은 같지만 힘이 다른 명령을 구분해 실행한다. 그것도 수십 개 데모만으로, 학습한 적 없는 작업과 물체에 대해 zero-shot으로 일반화한다.

로봇공학자에게 이 논문이 흥미로운 이유는 단순하다. 우리는 그동안 힘 제어(force control)와 의미 이해(semantic reasoning)를 별개의 세계로 다뤄왔다. 임피던스 제어는 제어이론의 영역이었고, 상식 추론은 LLM의 영역이었다. Tactile-VLA는 이 둘을 하나의 end-to-end 파이프라인 안에서 묶어버린다. 그 묶는 방식이 영리하다.

논문: Tactile-VLA: Unlocking Vision-Language-Action Model’s Physical Knowledge for Tactile Generalization (Huang et al., Tsinghua/SJTU, arXiv:2507.09160, 2025)

서론: 왜 VLA에 “촉각”이 필요한가

VLA가 잘하는 것과 못하는 것

지난 몇 년간 RT-1, RT-2, Octo, OpenVLA, π0 같은 VLA 모델들이 보여준 것은 명확하다. 거대한 vision-language 백본을 가져다 쓰면, 로봇이 추상적 명령(“사과를 집어”)을 해석하고 처음 보는 장면에도 그럭저럭 일반화한다는 것이다.

그런데 이 모델들은 공통된 약점을 가진다. 무엇을(what)을 할지는 잘 알지만, 어떻게(how) 물리적으로 상호작용할지는 모른다. 특히 접촉이 많은(contact-rich) 작업에서 그렇다.

비유를 하나 들어보자. 시각만 가진 로봇은 안대를 벗었지만 장갑은 두껍게 낀 사람과 같다. 컵이 어디 있는지는 보지만, 그 컵을 얼마나 세게 쥐어야 깨지지 않는지는 손끝의 감각이 없으니 알 수 없다. 사람은 무거운 쇠공과 잘 익은 용과(피타야)를 같은 손동작으로 집지 않는다. 손가락 끝에서 “아, 이건 물렁하네”라는 신호가 즉각 올라오고, 우리는 무의식적으로 힘을 뺀다. 이 즉각적이고 국소적이며 시간적으로 변하는 피드백이 바로 촉각이다.

기존 접근의 한계: 촉각을 “곁다리”로 취급함

촉각을 로봇 정책에 넣으려는 시도는 이전에도 있었다(FuSe, ForceVLA 등). 그러나 논문은 기존 연구 대부분이 촉각을 보조 지각 모달리티로만 다뤘다고 지적한다. 즉, 촉각 정보를 입력 어딘가에 끼워넣긴 했지만, 정책이 실제로 행동(action)을 생성하는 과정에 직접 개입하진 못했다는 것이다.

이게 왜 문제인가. 시각·언어로 “무엇을 할지”는 풍부하게 추론하면서, 정작 그 결정이 “얼마의 힘으로” 땅에 닿는 단계에서는 촉각이 의사결정에서 빠져버린다. 결과적으로 정책의 출력은 여전히 위치(position) 중심이고, 힘(force)은 그냥 따라오는 부산물이 된다.

이 논문의 핵심 통찰

여기서 저자들의 가장 도발적인 가설이 등장한다.

VLM의 잠재 공간(latent space)에는 이미 물리적 상호작용에 대한 풍부한 의미적 이해가 들어 있다. 우리가 할 일은 그것을 촉각 센서에 “연결”해 깨우는 것뿐이다.

다시 말해, “살살”이라는 단어가 작은 힘(0.5N)에 대응하고 “세게”가 큰 힘에 대응한다는 지식을 모델에게 처음부터 가르칠 필요가 없다. 그 연관성은 인터넷 텍스트로 사전학습된 언어모델 안에 이미 잠들어 있다. 적은 수의 데모만으로 그 잠든 지식을 행동 출력으로 끌어내면 된다. 이게 zero-shot 일반화가 가능한 이유에 대한 이 논문의 설명이다.

세 가지 능력으로 본 기여

논문은 자신들의 프레임워크가 세 가지 능력을 연다고 정리한다. 이 세 가지가 곧 실험의 세 질문(RQ1~RQ3)과 일대일로 대응한다.

능력	무엇을 의미하나	예시
(a) Tactile-Aware Instruction Following	힘 관련 부사(“살살”, “세게”)의 의미를 한 작업에서 배워 다른 작업에 전이	USB에서 배운 “softly”를 충전기 작업에 zero-shot 적용
(b) Tactile-Relevant Common Sense	물체 속성에 대한 상식으로 명시적 힘 명령 없이도 적절한 그립 힘 선택	처음 보는 용과는 자동으로 살살, 쇠공은 꽉
(c) Adaptive Tactile-Involved Reasoning	촉각 피드백으로 실패를 진단하고 스스로 전략 수정	칠판 닦기 실패 후 추론으로 힘을 키워 재시도

핵심 기여를 정리하면 셋이다. 첫째, 촉각을 VLA의 네이티브 모달리티로 깊게 융합하는 아키텍처(Tactile-VLA). 둘째, 실시간 힘 피드백을 CoT(Chain-of-Thought)로 해석해 실패에 적응적으로 재계획하는 변형(Tactile-VLA-CoT). 셋째, zero-shot·cross-object·force-sensitive 설정에서 표준 VLA 베이스라인을 능가하는 일반화 실증.

방법: 네 가지 모달리티를 어떻게 한 그릇에 담는가

전체 구조를 먼저 그림으로 보자. 입력은 네 갈래(시각, 언어, 촉각, 고유수용감각)로 들어오고, 사전학습 VLM에서 융합된 뒤, action expert가 위치와 힘을 동시에 뱉어내고, 하이브리드 컨트롤러가 이를 실제 관절 움직임으로 번역한다.

flowchart TD
    A1["Image<br/>(last H frames)"] -->|ViT Encoder| F[Token Prefix S_t]
    A2["Language<br/>(instruction)"] -->|Tokenizer| F
    A3["Tactile Signal<br/>(normal + shear)"] -->|MLP Encoder| F
    A4["Proprioceptive<br/>State"] -->|Encoder| F
    F --> VLM["Pretrained VLM<br/>Gemma 2.6B<br/>(non-causal attention)"]
    VLM --> AE["Tactile-Aware<br/>Action Expert (300M)"]
    AE --> PT["Target Position<br/>P_target"]
    AE --> FT["Target Force<br/>F_target"]
    PT --> HC["Hybrid Position-Force<br/>Controller"]
    FT --> HC
    HC --> R["Robot Joints<br/>(PID actuation)"]
    VLM -.->|periodic trigger| COT["Tactile-VLA-CoT<br/>(reasoning + replan)"]
    COT -.->|new instruction| A2

1) 정책 아키텍처: 토큰 레벨에서 섞어라

가장 중요한 설계 결정은 token-level fusion이다. 각 모달리티를 따로 인코딩한 뒤, 트랜스포머 백본의 입력 prefix 안에서 하나로 섞는다.

왜 이게 중요한가. 만약 촉각 정보를 마지막 단계에서 위치 출력에 더해주는 식으로 “얕게” 붙였다면, 모델은 촉각과 언어를 함께 고려하는 추론을 할 수 없다. 토큰 레벨에서 섞어야 “이 칠판은 분필이라 마찰이 크니까 더 눌러야겠다” 같은 교차 추론이 가능해진다. 특히 뒤에 나올 CoT 변형이 작동하려면 이 깊은 융합이 필수다.

모달리티별 인코더는 다음과 같다.

시각: 사전학습된 ViT 인코더(π0와 동일 방식). 최근 H개 프레임을 각각 토큰 집합으로 인코딩.
촉각: 단순한 MLP 인코더. H개의 촉각 측정값 이력을 이어붙여(concatenate) 하나의 융합 토큰으로 압축. 이 토큰이 접촉의 시간적 동역학을 담는다.
언어: 일반적인 language tokenizer.

이렇게 만든 토큰들을 이어붙여 통합 입력 prefix 시퀀스 S_t를 만든다.

S_t = \left[ E'_{vis}(I_{t-H+1}), \dots, E'_{vis}(I_t),\; E_{lang}(L_t),\; E'_{\psi}([T_{t-H+1}, \dots, T_t]) \right]

여기서 핵심은 prefix 위에 non-causal attention(양방향 어텐션)을 건다는 점이다. 인과적(causal) 마스킹을 풀어주면 시각·언어·촉각 토큰이 서로 자유롭게 cross-attend 한다. 직관적으로 말하면, “분필”이라는 언어 토큰과 “마찰력이 크다”는 촉각 토큰이 서로를 들여다보면서 하나의 통합된 표현을 만든다는 뜻이다.

이 풍부한 표현은 tactile-aware action expert(300M 파라미터)로 넘어간다. 여기가 보통의 VLA와 결정적으로 다른 지점이다. action expert가 내놓는 행동 벡터 a_t는 목표 위치 P_{target}뿐 아니라 목표 접촉력 F_{target}을 명시적으로 포함한다.

Standard VLA action:   a_t = [ P_target ]
Tactile-VLA action:    a_t = [ P_target , F_target ]

힘을 행동 공간(action space)에 직접 넣었다는 것, 이것이 “언어가 행동의 강도를 조절”할 수 있게 만드는 구조적 열쇠다.

2) 학습: Flow Matching으로 위치와 힘을 함께 맞춘다

학습은 imitation learning으로 진행된다. 공유 컴포넌트는 π0의 사전학습 파라미터로 초기화하고, 새로 추가한 모듈(촉각 인코더, 수정된 action expert)은 무작위 초기화한 뒤 전체를 end-to-end로 파인튜닝한다.

목적함수는 Conditional Flow Matching(CFM)이다. Flow matching을 처음 듣는 독자를 위해 직관을 풀어보자.

확산 모델(diffusion)이 “노이즈를 조금씩 걷어내며 데이터로 가는 길”을 배운다면, flow matching은 “노이즈 분포에서 데이터 분포로 가는 직선에 가까운 흐름의 속도장(velocity field)”을 배운다. 비유하면, 강물 위 어느 지점에 떨어뜨린 나뭇잎이 어느 방향으로 얼마나 빨리 흘러가야 목적지(정답 행동)에 도달하는지, 그 화살표를 모든 지점에서 예측하도록 훈련하는 것이다. 추론 시에는 이 화살표를 따라 적분해 행동을 생성한다. 확산보다 적은 스텝으로 부드러운 연속 행동을 뽑을 수 있어 로봇 제어에 잘 맞는다.

여기서 중요한 디테일. 손실함수는 예측된 행동 시퀀스의 운동학적 차원(위치)과 힘 차원 모두의 편차에 페널티를 준다. 즉 위치만 맞추는 게 아니라 힘도 정답과 맞도록 학습한다. 바로 이 메커니즘이 모델로 하여금 VLM의 잠재된 물리 지식을 끌어내, “gently”라는 언어적 뉘앙스와 0.5N이라는 물리적 힘 크기 사이의 직접 매핑을 만들도록 강제한다.

3) 하이브리드 위치-힘 컨트롤러: 두 목표를 어떻게 화해시키나

action expert가 목표 위치와 목표 힘을 줬다고 끝이 아니다. 저수준 컨트롤러가 이 두 목표를 조율해야 한다. 문제는 위치 제어와 힘 제어가 본질적으로 충돌한다는 데 있다. 단단한 벽에 손을 정확히 “이 위치”에 두려 하면서 동시에 “이 힘”으로 누르려 하면, 위치를 1mm만 어긋나도 힘은 폭발한다.

저자들의 전략은 position-dominant다. 대부분의 조작 작업은 정밀한 운동학적 동작이 지배하고, 힘 제어는 접촉 순간에만 필요하다는 고전적 통찰(Raibert & Craig, 1981)을 따른다. 그래서 모든 것을 최종적으로 위치 명령으로 환원한다.

힘 목표는 임피던스 제어 원리(Hogan, 1985)에서 영감을 받은 간접 힘 제어로 통합한다. 힘 오차를 위치 명령의 보정량으로 번역하는 것이다.

\Delta F = F_{target} - F_{measured}

P_{hybrid} = \begin{cases} P_{target} + K \cdot \Delta F & \text{if } \lVert \Delta F \rVert > \tau \\[4pt] P_{target} & \text{if } \lVert \Delta F \rVert \le \tau \end{cases}

여기서 K는 게인 행렬, \tau는 임계값이다. 그리고 PID 컨트롤러가 이 동적으로 갱신된 P_{hybrid}로 관절을 구동한다.

이 식의 직관은 이렇다. “원하는 힘보다 덜 누르고 있으면(ΔF가 양수로 크면) 목표 위치를 접촉면 쪽으로 더 밀어넣어라.” 마치 벽을 손으로 미는데 충분히 안 눌리면, 손을 벽 안쪽으로 더 보내려는 시늉을 하는 것과 같다. 물리적으로는 못 들어가니 그만큼 힘이 올라간다. 단, 오차가 임계값 \tau 이하로 작으면 보정을 끄는데(dead-band), 이건 미세한 떨림을 막아 동작을 부드럽게 만들기 위함이다.

고전적 임피던스 제어가 수동적 순응(passive compliance, 밀면 부드럽게 밀려남)을 목표로 한다면, 여기서는 목표 힘의 능동적 추종(active force tracking)을 노린다는 차이가 있다.

한 가지 더 영리한 분리. 컨트롤러는 두 힘 성분을 독립 채널로 떼어낸다.

그리퍼의 카테시안 위치 → 물체에 가하는 외부 알짜힘(net external force) 조절
그리퍼 폭(width) → 내부 파지력(internal grasping force) 조절, 즉 얼마나 꽉 쥐는가

이 분리 덕분에 “용과를 살살 쥐면서(폭은 넓게 유지) 동시에 위로 들어올리는(위치로 외력 조절)” 동작이 충돌 없이 가능해진다.

4) Tactile-VLA-CoT: 손끝으로 생각하기

여기가 이 논문에서 가장 매력적인 부분이다. 핵심 아키텍처가 힘을 정밀 제어한다면, CoT 변형은 그 위에 추론을 얹는다.

아이디어는 이렇다. VLM은 원래 디코더로 텍스트를 생성할 줄 안다. 그 능력을 그대로 가져와, 로봇이 내적 독백(internal monologue)을 생성하게 한다. 실패의 원인을 스스로 진단하고(“미끄러졌네”), 보정 행동을 정식화한다(“전단력을 더 키워야겠다”).

작동 과정을 그림으로 보자.

flowchart TD
    S["Execute action<br/>(default force)"] --> Q1{"Q: Task done?<br/>(periodic check)"}
    Q1 -->|Yes| DONE["Task complete"]
    Q1 -->|"No, still marks remain"| ANALYZE["Analyze tactile feedback<br/>(normal force / shear force)"]
    ANALYZE --> REASON["CoT reasoning:<br/>'grasping force OK,<br/>but shear force too low'"]
    REASON --> NEWCMD["Generate corrective instruction:<br/>'wipe again, more downward force'"]
    NEWCMD --> S

학습 방식이 똑똑하다. 작고 표적화된 데모 데이터셋을 쓴다. 각 샘플은 특정 실패 사건(예: 칠판을 닦다가 미끄러짐)의 멀티모달 센서 스트림과, 그 실패 원인을 분석하는 언어 주석을 짝지운다. 예: “힘이 너무 약했다. 더 센 힘이 필요하다. 이제 5N으로 시도한다.”

이 학습은 두 가지를 동시에 노린다.

catastrophic forgetting 방지: VLM 본연의 일반 추론 능력을 보존한다.
추론을 촉각 모달리티로 확장: 센서 신호로부터 물리 현상을 추론하도록 가르친다. 닦을 때 하향 압력이 부족하다거나, 전단력 신호로부터 도구가 미끄러지고 있다는 것을 감지하는 식이다.

추론은 고정된 간격마다 트리거된다. 단순하지만 효과적인 방식이다. 프롬프트 구조는 먼저 “작업이 성공했나?”를 판단하게 하고, 실패라면 센서 피드백으로 원인을 분석하게 한 뒤(“파지력은 충분하나 수직항력이 너무 낮다”), 새 보정 명령(“판을 다시 닦되 하향 힘을 더 줘라”)을 생성한다.

의사코드로 정리하면:

PROCEDURE TactileVLA_CoT_Step:
    every K timesteps:
        success <- VLM_decode("Has the task been done?", sensory_context)
        IF success == False:
            cause <- VLM_decode("Analyze failure using force feedback", sensory_context)
            # e.g. "normal force sufficient, shear force too low"
            new_instruction <- VLM_decode("Formulate corrective command", cause)
            # e.g. "wipe again with larger shear force"
            current_instruction <- new_instruction
    action <- Policy(prefix(image, current_instruction, tactile, state))
    execute(HybridController(action.P_target, action.F_target))

5) 데이터 수집: 손 대신 손가락 감각이 있는 장치

좋은 모델은 좋은 데이터에서 나온다. 그런데 여기에 미묘한 함정이 있다. 일반적인 원격조작(teleoperation)으로 데모를 모으면, 사람 조작자가 힘 피드백을 직접 못 느낀다. 그렇게 모은 데이터로 학습한 정책은 본질적으로 촉각에 의존하지 않게 된다. 학습 목표 자체와 어긋나는 것이다.

저자들은 이 문제를 데이터 수집 장치 설계로 푼다. UMI(Universal Manipulation Interface)라는 휴대형 핸드헬드 장치를 기반으로, 그리퍼에 법선력(normal force)과 전단력(shear force)을 모두 잡아내는 고해상도 촉각 센서 두 개를 증설했다. 이러면 조작자가 접촉 동역학을 직접 느끼면서, 힘에 의해 명시적으로 가이드된 데모를 제공할 수 있다.

Data collection rig:
  - GoPro camera (visual)
  - Dual high-res tactile sensors (normal + shear)
  - 3D-printed gripper (UMI-based)

Sampling:
  - Tactile: 100 Hz  -->  downsampled to match
  - Visual:  20 Hz
  - Timestamps aligned per session

시간 동기화도 신경 썼다. 세션마다 모든 데이터 스트림의 타임스탬프를 정렬하고, 100Hz 촉각을 20Hz 시각 프레임에 맞춰 다운샘플링한다. 결과물이 vision·language·tactile·action이 정밀하게 동기화된 VLA-T 데이터셋이다.

실험: 세 가지 질문에 답하기

실험은 세 연구질문(RQ)으로 구성된다. 작업은 세 가지 contact-rich 시나리오다.

Charger/USB 삽입·추출: USB나 충전기를 뽑아 올바른 소켓에 꽂기
Tabletop Grasping: 무거운/약한 물체를 사전에 판단해 적절한 힘으로 파지
Wiping the Board: 보드를 닦고, 결과를 평가하고, 필요하면 힘을 조정

베이스라인은 π0-base(범용 VLA flow 모델)와 그 변형 π0-fast다. 둘 다 촉각 융합 아키텍처가 없다.

RQ1: 힘 관련 언어를 일반화할 수 있는가

설계가 영리하다. 모델을 USB 작업(Task A)에서 “softly”/“hard”와 특정 힘 프로파일을 연관짓도록 학습시킨다. 그런 다음 충전기 작업(Task B)으로 전이하는데, Task B에는 동작만 가르치고 힘 관련 언어 명령은 전혀 주지 않는다. 이게 진짜 의미 접지(semantic grounding)를 테스트한다. 언어가 zero-shot 맥락에서 물리적 상호작용을 직접 조절하는지 보는 것이다.

먼저 성공률부터.

Table 1. USB/Charger 삽입·추출 성공률 (%)

Model	USB (%)	Charger (%)
π0-base	5	40
π0-fast	0	25
Tactile-VLA	35	90

성공률만 봐도 차이가 크다. 정밀한 삽입은 정렬 오차나 과도한 힘으로 실패하기 쉬운데, 촉각 피드백의 깊은 융합이 접촉 국면에서 더 정밀하고 적응적인 제어를 가능하게 한다.

하지만 진짜 증거는 적용된 힘에 있다.

Table 2. 명령어별 적용 힘 (N)

Model	‘softly’ (USB, 학습)	‘hard’ (USB, 학습)	‘gently’ (일반화)	‘firmly’ (일반화)	‘harder’ (외삽)	‘softly’ (Charger, zero-shot)	‘hard’ (Charger, zero-shot)
π0	2.41	2.68	2.35	2.72	2.29	6.61	5.69
π0-fast	2.61	2.33	2.79	2.45	2.58	7.37	6.42
Tactile-VLA	0.51	2.57	0.75	1.98	2.94	4.68	9.13

이 표를 천천히 읽어보자. 세 가지 단계의 일반화가 한 표에 담겨 있다.

학습한 단어: “softly”=0.51N, “hard”=2.57N. 학습한 대로 명확히 구분한다.
일반화한 단어: 학습 안 한 “gently”=0.75N, “firmly”=1.98N. 의미적으로 중간쯤 되는 힘을 정확히 추론한다. 부사들의 강도 스펙트럼을 이해한 것이다.
학습 범위 밖 외삽: “harder”=2.94N. 학습된 “hard”(2.57N)보다 더 큰 힘을 적용한다. 비교급의 의미까지 외삽한다.
zero-shot 작업 전이: 충전기 작업에서 “hard”=9.13N, “softly”=4.68N. USB에서 배운 힘-언어 매핑이 처음 보는 충전기 작업으로 전이됐다.

반면 베이스라인 π0/π0-fast는 부사가 무엇이든 힘이 거의 일정하다(2.3~2.8N 사이). 언어를 물리적 힘에 접지할 메커니즘이 없으니, 명령과 적용 힘 사이에 상관관계가 아예 없다. 충전기 작업에서는 값이 들쭉날쭉 6~7N대로 튀는데, 이건 의미 이해가 아니라 단순히 제어 불안정에 가깝다.

이 결과의 함의는 분명하다. 부사 하나가 연속적인 힘 값으로 매끄럽게 매핑되고, 그 매핑이 작업을 건너뛰어 전이된다는 것은, 모델이 단어를 외운 게 아니라 언어-힘의 일반화 가능한 교차모달 이해를 학습했다는 증거다.

RQ2: 처음 보는 물체에 적절한 힘을 추론하는가

이번엔 명시적 힘 명령 없이, 물체의 속성만 보고 힘을 정하는 상식(common sense)을 테스트한다. 물체를 세 범주로 나눈다.

Solid & Heavy(단단·무거움): 꽉 잡아야 함
Solid & Light(단단·가벼움): 중간 힘
Fragile & Light(약함·가벼움): 살살 잡아야 함 (변형 없이)

ID(in-domain, 학습 중 봄)와 OOD(out-of-domain, 처음 봄) 물체로 평가한다. 성공은 변형 없이 한 번에 들어올리는 것.

Table 3. 물체별 파지 성공률 (%, 10회 시도 기준)

범주	물체	ID/OOD	π0-base	π0-fast	Tactile-VLA
Solid & Heavy	Iron cube	ID	100	70	100
	Battery	OOD	80	60	90
	Nail	ID	30	10	100
	Steel Ball	OOD	60	70	90
Solid & Light	Wood block	ID	60	70	90
	Charger	OOD	70	50	100
	Plastic	ID	40	30	80
	Toy	OOD	30	40	90
Fragile & Light	Pitaya	ID	50	40	90
	Melon	OOD	0	10	80
	BlueBerry	OOD	0	0	100
	PaperBox	OOD	0	0	90

가장 극적인 줄은 맨 아래다. 약한 물체(블루베리, 종이상자)에서 베이스라인은 0%다. 변형시키지 않고 드는 데 전부 실패한다. Tactile-VLA는 같은 물체에서 90~100%를 기록한다.

논문의 Figure 6(막대그래프)이 이 이야기를 시각화한다. 텍스트로 그 그림을 묘사하면 이렇다.

Figure 6 설명: 세 개의 막대그래프 패널. 각각 Solid & Heavy / Solid & Light / Fragile & Light 범주. x축은 개별 물체, y축은 적용된 파지력(N, 0~7 범위). ID와 OOD 물체를 다른 색으로 표시하고 오차막대 포함. 핵심 패턴은, Tactile-VLA가 무거운 물체엔 높은 막대(센 힘), 약한 물체엔 낮은 막대(약한 힘)를 보이며, 이 경향이 처음 보는 OOD 물체에서도 그대로 유지된다는 점이다.

즉 모델은 학습 데이터에 과적합한 게 아니라, VLM의 사전 지식(“용과는 무르다”, “쇠공은 단단하다”)을 촉각 모달리티로 전이해 처음 보는 물체에도 적절한 힘을 추론한다.

RQ3: 실패를 추론으로 극복하는가

마지막 실험이 CoT의 진가를 본다. 흰 보드(whiteboard)에서 마커를 닦는 추론을 배운 모델이, 물리적으로 전혀 다른 검은 칠판(blackboard, 분필)으로 zero-shot 일반화하는지를 본다. 분필은 마커보다 훨씬 큰 힘이 필요하다.

학습 데이터는 흰 보드에서 모은 성공·실패 데모의 혼합이다. 실패 사례(힘이 약해 못 지움)에는 교정적 사고 과정을 적은 감독 텍스트가 붙는다(“힘이 너무 약했다. 더 센 힘이 필요하다. 이제 5N으로 시도한다.”). 평가 시엔 “보드를 닦아”라고만 지시한다.

Table 4. ID/OOD 시나리오 성공률 (%)

Model	In-Domain (Whiteboard)	Out-of-Domain (Blackboard)
π0-base	40	0
π0-fast	45	0
Tactile-VLA	80	15
Tactile-VLA-CoT	75	80

여기서 두 가지를 읽어야 한다.

첫째, Tactile-VLA(추론 없음)는 OOD에서 15%로 거의 실패한다. 흰 보드(ID)에서는 80%로 잘하지만, 처음 보는 칠판에서는 적절한 힘을 모른다. 즉 정밀 힘 제어만으로는 새 시나리오에 일반화가 안 된다.

둘째, Tactile-VLA-CoT는 OOD에서 80%로 도약한다. 흰 보드(ID)에서는 75%로 약간 낮은데(추론 오버헤드의 소소한 비용), 칠판에서는 압도적이다.

작동 메커니즘을 구체적 숫자로 보면 설득력이 생긴다. 칠판에서 모델은 처음에 기본 힘 3.5N으로 닦는다. 실패한다. 촉각 피드백으로 진전이 없음을 인지한 CoT 모듈이 추론 사슬을 생성해 “더 큰 힘이 필요하다”고 결론짓는다. 그리고 스스로 힘을 6.7N으로 올린다. 이는 흰 보드 학습 데이터의 5N보다 34% 큰 값이다. 이 적응으로 분필을 성공적으로 지운다.

Figure 7 설명: 세 패널 (a)(b)(c). (a) 흰 보드에서 마커 닦기를 학습한 상태. (b) 검은 칠판으로의 zero-shot 전이에서 초기 정책이 실패함 (분필엔 힘이 부족). (c) 실패의 물리적 피드백을 추론한 뒤 힘을 키워 성공적으로 닦음.

베이스라인은 닦는 동작은 흉내 내지만, 촉각 실패를 해석하고 힘을 올리는 메커니즘이 없어 같은 저힘 동작만 반복한다. 이 대비가 contact-rich 작업에서 촉각 중심 추론의 역할을 또렷이 보여준다.

비판적 고찰: 무엇이 강하고 무엇이 빈약한가

강점

1. 가설이 명료하고, 실험이 그 가설을 정확히 겨냥한다. “VLM은 이미 물리를 안다”는 주장은 검증하기 까다로운 명제인데, 저자들은 이를 세 개의 깔끔한 일반화 축(언어 전이, 물체 전이, 추론 전이)으로 분해해 각각 측정 가능한 실험으로 만들었다. 특히 Table 2의 부사 스펙트럼(softly→gently→firmly→hard→harder)은 의미 접지를 보여주는 거의 교과서적인 증거다.

2. 힘을 행동 공간에 직접 넣은 설계. 많은 촉각 통합 연구가 촉각을 입력에만 두는 것과 달리, F_{target}을 출력으로 끌어낸 것이 핵심 차별점이다. 이게 언어로 힘을 조절하는 능력의 구조적 원천이다.

3. 데이터 수집의 문제의식. “원격조작은 조작자가 힘을 못 느끼므로 촉각 비의존 정책을 만든다”는 지적은 날카롭다. 촉각 센서를 단 핸드헬드 장치로 이를 푸는 접근은 실용적이고 재현 가능하다. 적은 데모(작업당 50~200개)로 일반화를 끌어낸 것도 인상적이다.

4. CoT 변형의 자기교정. 3.5N→6.7N의 자율적 힘 증가는, 추론이 단순 장식이 아니라 실제 제어 행동을 바꾼다는 구체적 증거다.

약점과 한계

1. 절대 성공률은 여전히 낮다. USB 삽입 35%, OOD 칠판 80%가 베이스라인 대비 큰 향상인 건 맞지만, 실배포 기준으로는 갈 길이 멀다. 특히 USB 35%는 정밀 삽입의 어려움을 그대로 보여준다. 논문은 상대적 우위에 초점을 맞추지만, 독자는 절대 수치도 함께 봐야 한다.

2. 스케일이 작다. 세 가지 작업, 제한된 물체 집합, 10회 내외의 시도. 통계적 신뢰구간이 넓을 수 있다(Table 3은 물체당 10회, Figure 6은 5회). “zero-shot 일반화”라는 강한 주장에 비하면 평가 다양성이 부족하다. 다른 로봇 플랫폼, 다른 촉각 센서로의 전이는 검증되지 않았다.

3. “VLM이 물리를 안다”는 주장의 인과적 증명은 약하다. Tactile-VLA가 일반화를 잘하는 것은 사실이나, 그것이 정말 사전학습된 VLM의 잠재 지식 덕분인지, 아니면 단지 힘을 행동 공간에 넣은 아키텍처 덕분인지를 분리하는 ablation이 부족하다. 예컨대 무작위 초기화된 백본 vs 사전학습 백본을 비교했다면 주장이 훨씬 단단했을 것이다.

4. 하이브리드 컨트롤러의 게인 튜닝. K와 \tau는 수동 설정으로 보이며, 작업·물체·센서가 바뀌면 재튜닝이 필요할 가능성이 크다. position-dominant 가정은 진짜로 힘이 지배하는 작업(예: 무른 물체를 일정 압력으로 문지르기, 양손 협응)에서는 한계가 있을 수 있다.

5. CoT의 트리거가 고정 간격. “단순하고 효과적”이라지만, 빠른 실패 감지가 중요한 작업에서는 고정 간격 점검이 반응성을 떨어뜨릴 수 있다. 이벤트 기반(예: 힘 이상치 감지) 트리거가 더 자연스러울 수 있다.

6. 추론 비용. ID 흰 보드에서 Tactile-VLA-CoT(75%)가 Tactile-VLA(80%)보다 약간 낮은 것은, 추론 오버헤드가 단순 작업에서는 오히려 해가 될 수 있음을 시사한다. 언제 추론을 켜고 끌지에 대한 정책은 다루지 않았다.

연구	촉각 통합 방식	차별점 / 한계
FuSe (Jones et al., 2025)	보조 손실(auxiliary loss)로 이종 센서 파인튜닝, 언어 접지	촉각이 행동 생성에 직접 개입하기보다 표현 학습 보조
ForceVLA (Yu et al., 2025)	force-aware MoE(전문가 혼합), 모달리티별 라우팅	힘 인지는 하나, 라우팅 구조 중심
TLA (Hao et al., 2025)	tactile-language-action 직접 매핑	contact-rich 특화, VLM 사전지식 활용 주장은 약함
3D-ViTac, MimicTouch	end-to-end visuo-tactile 정책	언어 모달리티 부재 → 추상 목표 추론·상식 일반화 제한
Reactive Diffusion Policy (Xue et al., 2025)	slow-fast 시각-촉각 정책	계획/제어 분리, 의미 접지보다 반응성 초점
Tactile-VLA (본 논문)	토큰 레벨 깊은 융합 + 힘을 action space에 직접 포함 + CoT 추론	VLM 잠재 지식을 적은 데모로 깨워 zero-shot 힘 일반화

요약 및 결론

이 논문이 로봇공학자에게 남기는 메시지는 세 갈래로 정리된다.

첫째, 힘을 일급 시민으로 대접하라. 촉각을 입력에 끼워넣는 것과, 목표 힘 F_{target}을 행동 출력으로 끌어내는 것은 질적으로 다르다. 후자가 “언어로 힘을 조절”하는 능력을 연다. Table 2의 부사 스펙트럼이 그 증거다.

둘째, 사전학습 VLM은 생각보다 많은 물리를 알고 있다. “용과는 무르다”, “분필은 마찰이 크다” 같은 상식은 인터넷 텍스트에 이미 녹아 있다. 적은 데모로 그것을 촉각 채널에 연결하면 zero-shot 일반화가 따라온다. 이 관점은 데이터 수집 비용에 시달리는 실무자에게 실용적 함의를 준다. 모든 물체·작업을 데모로 채우려 하지 말고, VLM이 이미 아는 것을 깨우는 다리를 설계하라는 것이다.

셋째, 손끝으로 생각하게 만들면 실패에서 회복한다. Tactile-VLA-CoT의 3.5N→6.7N 자율 조정은, 촉각 피드백을 명시적 추론으로 끌어올렸을 때 정책이 새 상황에 스스로 적응함을 보여준다.

물론 한계도 명확하다. 절대 성공률은 아직 낮고, 평가 스케일이 작으며, “VLM 사전지식 덕분”이라는 인과적 주장을 분리하는 ablation이 부족하다. 하이브리드 컨트롤러의 게인 튜닝과 CoT의 고정 간격 트리거는 실전 배포에서 손봐야 할 지점이다.

그럼에도 이 논문의 방향은 옳다. 우리가 범용 로봇 에이전트로 가려면, “무엇을 할지” 아는 것만으로는 부족하고 “얼마의 힘으로 할지”를 의미와 연결해 알아야 한다. Tactile-VLA는 그 연결의 한 가지 작동하는 청사진을 제시한다. 촉각을 곁다리가 아니라 네이티브 모달리티로, 힘을 부산물이 아니라 행동의 일부로 다룬다는 설계 철학은, 앞으로의 contact-rich manipulation 연구가 참고할 만한 출발점이다.

dexterous manipulation을 연구하는 입장에서 특히 주목할 지점은 힘의 두 채널 분리(외부 알짜힘은 위치로, 내부 파지력은 그리퍼 폭으로)다. 다지 손(multi-finger hand)으로 확장한다면 이 분리가 어떻게 일반화될지, 그리고 DIGIT/GelSight 같은 고해상도 촉각을 단순 MLP 토큰이 아니라 더 풍부하게 인코딩했을 때 의미 접지가 더 강해질지가 자연스러운 후속 질문이다.

참고

원문: Huang, J., Wang, S., Lin, F., Hu, Y., Wen, C., Gao, Y. (2025). Tactile-VLA: Unlocking Vision-Language-Action Model’s Physical Knowledge for Tactile Generalization. arXiv:2507.09160.
기반 모델: π0 (Black et al., 2024), Gemma 2.6B, ViT (Dosovitskiy et al., 2020)
데이터 장치 기반: UMI (Chi et al., 2024)
직접 비교 대상: FuSe (Jones et al., 2025), ForceVLA (Yu et al., 2025), TLA (Hao et al., 2025)