📃GPT-as-Tactile-Policy 리뷰

tactile

visuo-tactile

manipulation

llm

in-context-learning

GPT-6-Astra Understands Touch and Outperform Vision–Tactile–Language–Action Models

Published

October 24, 2026

Paper Link (arXiv:2610.28457): v1(2026-10-20) 기준으로 읽었다. 본문 11쪽 + 참고문헌, PDF 13쪽, 그림 4장, 표 3개, 부록 없음.
Project: 과제별 성공 영상 5개, Insert Hole 촉각 유무 비교 영상, 한 에피소드(seed 1000029)의 단계별 판단 근거를 보여 주는 분석 영상이 있다.
코드 미공개(2026-10-24 확인): 프로젝트 페이지의 Code 버튼은 “Coming soon”이고, 페이지 데이터(project-data.js)의 code·materials 링크도 비어 있다. Task Skill 원문·프롬프트·촉각 참조 세트도 공개되지 않았다.
Ziyong Wang, Yupei Lin, Runxuan Huang, Liang Lin, Dongyu Zhang†, Guangrun Wang† (†교신저자)
Sun Yat-sen University, X-Era AI Lab, The Hong Kong Polytechnic University. arXiv preprint(cs.RO), 2026 (게재지 표기 없음)

💡 범용 멀티모달 모델이 접촉의 물리를 “이해”하고 그것으로 행동을 고칠 수 있는지를 묻는다. 촉각 정책을 따로 사전학습하거나 과제마다 파인튜닝하는 대신, 파라미터를 고정한 GPT-6-Astra를 그대로 정책으로 쓰고 전문가 시연에서 요약한 지식을 문맥으로 넣는다.
⚙️ 오프라인에서 Astra가 과제당 시연 40개를 분석해 텍스트 Task Skill과 촉각 참조 관측을 만들고, 온라인에서는 이 고정 문맥에 장면·손목 RGB, 양쪽 손끝 촉각 이미지와 압입·마커 변위 요약, 고유수용 상태, 에피소드 히스토리를 더해 말단장치 목표 포즈·그리퍼·실행 길이(1~5 제어 스텝)를 낸다.
🎯 UniVTAC 시뮬레이션 5개 과제(과제당 100 에피소드)에서 평균 93.8%로, 학습된 촉각 정책 N₀-VTLA(96.2%)보다 낮고 N₀-TWAM(84.6%)보다 높다(Tab. 2). Insert Hole에서 촉각과 촉각 참조를 함께 빼면 99% → 31%다(Tab. 3).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

촉각을 쓰는 조작 정책은 지금까지 거의 전부 학습으로 만들어졌다. 촉각 인코더를 사전학습하고(UniVTAC 인코더), 대규모 시각-촉각 데이터로 VLA를 사전학습하고(N₀-VTLA), 촉각까지 예측하는 world-action model을 키운 뒤(N₀-TWAM), 과제마다 다시 파인튜닝한다. 이 논문은 반대쪽 끝을 시험한다. 범용 멀티모달 모델의 파라미터는 건드리지 않고, 전문가가 어떻게 접촉을 판단하고 고치는지를 글로 요약해 문맥에 넣으면, 그 모델이 촉각을 읽고 행동을 고칠 수 있는가.

방법의 이름은 GPT-as-Tactile-Policy다. 같은 그룹 계열의 선행 연구 GPT-as-Policy(Team et al., 2026a, arXiv:2609.38537)가 GPT-6-Astra를 로봇 정책으로 쓰는 틀을 만들었고, 이 논문은 거기에 양쪽 손끝 촉각과 시연에서 뽑은 과제 지식을 붙였다. 평가는 전부 UniVTAC 시뮬레이션 벤치마크 위에서 이뤄진다.

개요(Fig. 1). (A) 왼쪽: 장면·손목 RGB, 양쪽 손끝 촉각 이미지, 압입(indentation) 지도, 마커 변위. 가운데: 시연에서 만든 고정 문맥(Knowledge K, Touch refs E)과 현재 에피소드 정보(지시문, 관측, 히스토리)가 GPT-6-Astra로 들어간다. 오른쪽: 말단장치 포즈·그리퍼·스텝 수를 IK로 실행하고 새 관측이 되돌아온다. (B) Insert Hole에서 막힘 → 조정 → 성공과 그때의 압입 지도. (C) 과제별 성공률과 5과제 평균(Tab. 2와 같은 값).

핵심 방법론:

정책은 고정 파라미터 \theta의 조건부 행동 생성으로 쓴다(Eq. 1).

a_t \sim \pi_\theta(\cdot \mid \ell,\ \mathcal{C}_\tau,\ o_t,\ \mathcal{H}_t),\qquad \mathcal{C}_\tau=\{K_\tau,\ \mathcal{E}^{\mathrm{tac}}_\tau\}

\ell은 지시문, o_t=(V_t,s_t,\mathcal{T}_t)는 장면·손목 이미지, 고유수용 상태, 촉각 관측이다. \mathcal{C}_\tau는 과제 \tau마다 평가 전에 한 번 만들어 고정하는 문맥으로, 텍스트 Task Skill K_\tau와 대표 촉각 관측 집합 \mathcal{E}^{\mathrm{tac}}_\tau로 이뤄진다. \mathcal{H}_t는 같은 에피소드 안의 이전 관측·행동·실행 결과다. 행동 a_t는 말단장치 목표 포즈, 그리퍼 위치, 짧은 실행 길이이고, 범위·형식 검사를 통과하면 범용 IK 컨트롤러가 1~5 제어 스텝 동안 실행한다. 촉각 관측은 손끝마다 이미지 I, 압입 깊이 분포 통계 D, 2D 마커 변위 M의 세 가지로 준다(Eq. 3).

주요 결과:

본 결과(Tab. 2, UniVTAC 5과제, 과제당 100 에피소드): Ours 99 / 95 / 98 / 93 / 84%, 평균 93.8%. N₀-VTLA 평균 96.2%, N₀-TWAM 84.6%, ACT + UniVTAC Encoder 53.8%, π₀.₅ 43.0%.
과제별: Lift Can 95%는 비교 방법 중 최고, Insert Hole 99%는 N₀-TWAM과 같다. N₀-VTLA보다 높은 것은 Insert Hole·Lift Can 2개, 낮은 것은 Grasp Classify·Lift Bottle·Pull-out Key 3개다.
촉각 절제(Tab. 3, Insert Hole): V+P+T 99% vs V+P 31%(+68 %p). 단 촉각 없는 변형은 촉각 참조를 빼고 Task Skill도 다른 것을 쓴다.
정성 분석(Fig. 2·4): 촉각이 있으면 막힌 뒤 기울기를 약 30° 바꿔 삽입하고(191 스텝), 없으면 5° 안팎에서 같은 시도를 되풀이하다 300 스텝 한도에 걸린다.

결론:

새로운 것은 “촉각 정책 학습 없이도 시뮬레이션 접촉 과제에서 학습된 촉각 VLA에 근접할 수 있다”는 실증이다. 전문가 시연을 파라미터가 아니라 읽을 수 있는 규칙으로 바꿔 넣는다는 발상도 흥미롭다. 다만 제목의 “Outperform”은 논문 자신의 표와 맞지 않는다. 평균은 N₀-VTLA보다 2.4 %p 낮고, N₀-VTLA를 이긴 두 과제의 차이는 100회 기준으로 통계적으로 구별되지 않으며, 유의하게 갈리는 유일한 과제(Pull-out Key)에서는 진다. 실기 실험, 호출 지연·비용, Task Skill 없는 대조군, 모델 버전 고정 정보가 모두 없다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

학습된 촉각 정책은 시연을 가중치로 압축한다. GPT-as-Tactile-Policy는 같은 시연을 글로 압축한다. “삽입 중 변형은 커지는데 물체가 안 들어가면 물러나서 위치나 각도를 바꿔 다시 시도하라” 같은 규칙과 대표 촉각 이미지 몇 장을 고정 문맥으로 주고, 나머지는 범용 모델이 현재 관측과 히스토리를 보며 판단하게 한다. 이 설계가 통한다면 과제 적응 비용이 GPU 시간에서 추론 호출로 옮겨 가고, 정책의 판단 근거가 사람이 읽을 수 있는 형태로 남는다. 그 대신 질문 셋이 생긴다. 성능이 모델의 “촉각 이해”에서 오는지 문맥 속 규칙에서 오는지, 비교가 공정한지, 그리고 수십 초짜리 추론 호출을 접촉 제어 루프에 넣는 비용을 누가 치르는지다. 논문은 첫째에 대해 부분적인 증거만 주고, 둘째와 셋째에는 거의 답하지 않는다.

배경: 왜 촉각이고, 왜 범용 모델인가 (§1·§2)

저자들의 출발 질문은 촉각 자체보다 넓다. 범용 멀티모달 모델이 로봇 행동을 직접 낼 수 있다는 것은 선행 연구(GPT-as-Policy)가 보였으니, 다음은 그 모델이 상호작용의 물리를 이해하고 그 이해로 행동을 고치는가다. 촉각은 이 질문의 대표 시험대로 고른 것이다. 촉각 신호를 해석하려면 접촉, 변형, 구속된 운동 같은 물리 현상을 자기 행동과 연결해야 하기 때문이다(§1).

접촉이 많은 조작에서 시각의 한계는 익숙한 이야기다. 목표를 찾고 접촉 위치에 도달한 뒤에도 국소 자세 오차나 보이지 않는 기하 구속 때문에 막힌다. 외부 카메라는 장면 배치와 보이는 물체 운동은 주지만 접촉면의 변형과 구속은 잘 못 본다(§1). 그래서 촉각을 넣은 정책이 꾸준히 나왔다. 논문은 이를 세 갈래로 정리한다(§2.2).

표현 학습·제어 구조: VITaL 사전학습, 3D-ViTac, Reactive Diffusion Policy.
VLA에 촉각 결합: VLA-Touch, Tactile-VLA, OmniVTLA, N₀-VTLA. Tactile-VLA는 VLM의 물리 상식을 촉각과 연결하고 CoT 변형에서 촉각 기반 실패 분석까지 시도했다는 점에서 이 논문과 가장 가까운 문제의식을 공유한다.
촉각을 예측하는 world model: Visuo-Tactile World Models, Tactile-WAM, VT-WAM, N₀-TWAM.

이들의 공통점은 시연의 지식을 쓰려면 표현을 학습하거나 정책 파라미터를 갱신해야 한다는 것이다. 논문의 Tab. 1이 그 비용을 정리한다.

방법	특수 사전학습	과제별 학습	지식 기반 탐색(probing)
ACT + UniVTAC	촉각 인코더	시연 50개, 4,000 스텝	×
N₀-VTLA	다중 노드 클러스터	과제당 정책 하나	×
N₀-TWAM	128×H800; 8×A100	과제당 정책 하나, 1k 스텝	×
Ours	추가 사전학습 없음	파라미터 갱신 없음	✓

N₀-TWAM 논문에서 사전학습이 128개 H800에서 돌았다는 것, ACT + UniVTAC가 과제당 50개 시연·4,000 스텝으로 학습했다는 것은 각 원 논문에서 확인된다. 다만 이 표는 두 가지를 비대칭으로 센다. 하나는 “Ours”의 칸이 GPT-6-Astra 자체의 사전학습 비용을 0으로 둔다는 점이다. “추가(additional)” 사전학습이 없다는 뜻이지 사전학습이 없다는 뜻이 아니다. 다른 하나는 마지막 열 “지식 기반 탐색”이 이 논문의 방법이 정의하는 성질이라, ✓가 Ours에만 붙는 것이 구성상 당연하다는 점이다.

선행 연구와의 관계도 짚어 둘 만하다. LLM을 로봇에 쓰는 흐름은 스킬 선택(SayCan), 정책 코드 생성(Code as Policies, Instruct2Act, RoboScript), 3D 가치 지도(VoxPoser)처럼 중간 표현을 거치는 쪽이 주류였고, Inner Monologue·REFLECT가 실행 피드백을 언어로 되먹였다(§2.1). 이 논문은 중간 표현 없이 수치 행동을 직접 내는 쪽(Natural Language as Policies, GPT-as-Policy)을 접촉 과제로 가져온다.

방법 상세 (§3)

틀: 고정 모델이 유일한 정책 (§3.1)

GPT-as-Policy의 직접 제어 형식을 그대로 쓴다. 모델이 말단장치와 그리퍼의 수치 목표를 내면 범용 IK 컨트롤러가 로봇 운동으로 바꾸고, 실행 후의 새 관측이 다시 모델로 들어간다. 여기에 두 가지를 더한다.

오프라인 경험 요약: Astra가 전문가 행동, 접촉 변화, 과제 진행을 함께 분석해 과제별 고정 문맥 \mathcal{C}_\tau를 만든다.
온라인 피드백 제어: 같은 모델이 유일한 행동 정책이 되어 과제 지식, 시각-촉각 관측, 고유수용 상태를 묶어 행동을 고른다.

오프라인 요약과 온라인 실행 모두에서 \theta는 고정이다. 즉 “학습”이 일어나는 곳은 파라미터가 아니라 문맥뿐이다.

시연에서 과제 지식 만들기 (§3.2, §4.1)

과제당 전문가 시연 50개를 에피소드 단위로 나눠 40개는 지식 구성, 10개는 오프라인 검증에 쓴다(§4.1). 시연에는 연속된 시각·촉각 관측, 로봇 상태, 전문가 행동이 들어 있다. Astra는 행동 전후의 접촉 변화와 물체 운동을 연결해 “전문가가 진행을 어떻게 판단하고, 어떤 조정을 고르고, 그 효과를 어떻게 평가하는가”를 요약한다. 결과물이 텍스트 Task Skill K_\tau다.

Task Skill은 네 부분으로 짜인다. 과제 목표, 조작 원칙, 단계 전환의 증거, 막혔을 때의 교정 전략이다. 논문이 드는 예는 이렇다. 삽입 중 변형은 커지는데 물체가 전진하지 않으면 물러나 접촉을 풀고, 위치나 각도를 바꾼 뒤 이어지는 피드백으로 평가한다. 저자들은 이 지식이 “촉각 변화에 조작적 의미를 준다”고 표현한다. 언제 전진하고, 언제 조정하고, 조정을 평가할 때 어떤 피드백을 볼지 알려 준다는 뜻이다.

Astra는 같은 시연에서 대표 촉각 관측도 뽑아 참조 집합 \mathcal{E}^{\mathrm{tac}}_\tau를 만든다. 양쪽 손끝의 접촉 분포와 국소 변형 패턴을 보존하는 것이 목적이다. Task Skill이 원칙을 주고 촉각 참조가 그 원칙의 지각적 기준점을 준다(Eq. 2). 둘을 합친 \mathcal{C}_\tau는 평가 전에 고정되고 그 과제의 모든 테스트 에피소드에 똑같이 쓰인다.

논문이 적지 않은 것도 같이 적어 둔다. 촉각 참조를 몇 장 넣는지, 어떤 기준으로 고르는지, Task Skill이 몇 토큰인지, 그리고 검증용 10개 시연으로 무엇을 했는지(예: Task Skill을 고쳐 쓰는 반복이 있었는지)가 없다. 마지막 것은 중요하다. 검증 세트가 있다는 것은 무언가를 그 위에서 확인하거나 고쳤다는 뜻인데, 사람이 Task Skill을 손봤다면 “시연에서 모델이 요약한 지식”이라는 서술의 범위가 달라진다.

온라인 촉각 표현: 이미지와 수치 요약을 함께 (§3.3)

촉각을 텍스트로만 바꾸지는 않는다. 손끝 f\in\{L,R\}마다 세 가지를 준다(Eq. 3).

\mathcal{T}_t=\{I_t^f,\ D_t^f,\ M_t^f\}_{f\in\{L,R\}}

I_t^f: 촉각 이미지(마커가 찍힌 젤 이미지).
D_t^f: 젤 압입 지도를 공간 풀링해 만든 통계. 평균·최대 압입, 접촉 영역, 중심점.
M_t^f: 기준 위치 대비 마커의 2D 변위.

두 손끝 정보는 따로 유지해 좌우 접촉 차이와 그 변화를 비교할 수 있게 한다. 행동과 접촉 변화를 연결하기 위해, 모델은 연속 관측 사이의 압입 분포·마커 변위 변화를 같은 구간에 측정된 말단장치·그리퍼 운동과 함께 본다. 시각은 물체가 목표와 그리퍼에 대해 어떻게 움직였는지를 보탠다.

프로젝트 페이지의 분석 영상은 이 표현이 실제로 어떤 모양인지 조금 더 보여 준다(아래 그림). 화면에는 결정 사이의 마커 변화 화살표(3배 확대 표시), 손끝별 “Local change”(픽셀), “Grasp-reference RMS”(파지 기준 대비 마커 변위 RMS, 픽셀)가 나오고, 판단 요약(“Low loading; entry supported”)과 다음 행동(“NEXT: ADVANCE”)이 붙는다. 이 화면은 저자들이 만든 시각화이므로 모델 입력과 똑같은지는 단정할 수 없다(불확실). 다만 마커 변위가 픽셀 단위 수치로 요약돼 판단 근거로 쓰인다는 점은 분명히 드러난다.

프로젝트 페이지 분석 영상(seed 1000029)의 한 장면. 194 스텝의 장면, 191~194 스텝 사이 양쪽 손끝의 마커 변화(화살표 ×3), Local change 1.89 / 1.93 px, Grasp-reference RMS 변화, 판단 “Low loading; entry supported → NEXT: ADVANCE”. 아래 줄의 “D47 at step 194”는 194 스텝까지 47번째 결정이라는 뜻으로 읽힌다(논문 그림 아님).

피드백으로 닫힌 루프 (§3.4)

매 결정마다 정책은 최신 측정 상태에서 행동을 만들고, 범위·형식 검사를 거쳐 IK가 1~5 제어 스텝 실행한 뒤 새 관측을 받는다. 짧은 실행 길이는 접촉을 자주 확인하기 위한 것이다. 실행 후에는 o_t와 o_{t+1}을 비교해 말단장치 운동, 물체 반응, 촉각 변화를 함께 보고 진행 여부를 판단한 다음, Task Skill에 따라 정렬이나 파지 조정이 필요한지 정한다.

조정 방향이 불확실하면 능동 탐색을 한다. 작은 평행이동, 자세 조정, 그리퍼 개폐로 접촉 정보를 더 얻고, 그 결과를 히스토리 \mathcal{H}_t에 쌓아 다음 결정에 쓴다. 에피소드마다 새 세션을 열고 히스토리는 에피소드 사이에 초기화한다(§4.1). 즉 에피소드를 넘는 학습은 없다.

직관: 지식은 “무엇을 볼지”를, 촉각은 “지금 어떤지”를 준다

이 방법을 이해하는 가장 쉬운 방법은 Insert Hole을 구체적으로 보는 것이다. UniVTAC 논문에 따르면 이 과제의 구멍은 60° 또는 120°로 기울어져 있고, 로봇은 접촉으로 구멍의 방향을 알아낸 뒤 시험관을 넣어야 한다. 수직에서 보면 좌우 어느 한쪽으로 약 30° 기울어진 구멍이다. Fig. 2의 성공 에피소드에서 관 축 변화가 약 30°(그래프 끝은 35° 안팎)로 표시되는 것과 맞는다.

그렇다면 이 과제의 탐색 공간은 생각보다 작다. “곧게 넣어 본다 → 막히면 물러나서 한쪽으로 기울여 본다 → 또 막히면 반대쪽으로 기울인다”가 거의 전부다. 사람이 쓴 규칙으로 옮기기 좋은 구조이고, Task Skill의 예시 문장(“변형은 커지는데 전진이 없으면 물러나서 각도를 바꿔라”)이 바로 그 규칙이다. 촉각이 하는 일은 각 시도가 막혔는지 들어가고 있는지를 알려 주는 것이다. Fig. 4의 세 시도(수직, 왼쪽, 오른쪽)가 정확히 이 패턴이다. 수직과 왼쪽에서는 탐색하자 마커 변위가 크게 생기고 물러나면 줄어든다. 오른쪽에서는 변위가 작은 채로 전진이 이어진다.

Insert Hole의 촉각 기반 탐색(Fig. 4), 한 에피소드의 세 시도. 수직(30·35·40 스텝)과 왼쪽(119·124·127 스텝) 접근은 탐색 중 양쪽 마커 변위가 크게 생긴 뒤 물러난다. 오른쪽(191·194·199 스텝) 접근은 탐색 중 변위가 작고 그대로 전진한다. 스텝 번호가 프로젝트 페이지 분석 영상(seed 1000029)의 단계 구간과 맞는다.

이 읽기는 논문의 성과를 깎는 것이 아니라 위치를 정확히 하는 것이다. 모델은 “변위가 커지면 막힌 것, 작으면 들어가는 것”이라는 해석을 Task Skill에서 받고, 매 순간 촉각 요약에서 그 신호를 읽어 다음 수를 고른다. 이것이 “촉각 이해”인지, “주어진 규칙대로 촉각 수치를 읽는 능력”인지는 논문의 실험만으로는 갈리지 않는다. 뒤의 비판 절에서 이 구분이 어디서 필요한지 다시 다룬다.

실험 (§4)

셋업 (§4.1)

과제: UniVTAC의 Insert Hole, Lift Can, Grasp Classify, Lift Bottle, Pull-out Key. 기하 정렬, 파지 물체 조작, 구속 운동, 촉각 분류를 덮는다. 프로젝트 페이지는 이것이 UniVTAC 8개 과제 중 5개라고 적는다. 빠진 셋(Put Bottle in Shelf, Insert HDMI, Insert Tube)과 고른 이유는 논문에 없다.
데이터: 과제당 시연 50개(지식 구성 40, 검증 10).
정책 설정: GPT-6-Astra, reasoning effort xhigh 고정, 전 과제 같은 모델·설정. 에피소드마다 독립 세션.
평가: 과제당 고정 테스트 에피소드 100개, 총 500개. 환경 고유의 성공 기준으로 판정하고, 성공 조건을 못 채운 채 끝난 에피소드는 실패. 평균은 과제 동일 가중. 프로젝트 페이지 영상에 따르면 에피소드 실행 한도는 300 스텝이고 테스트 시드는 1000000번대다.
베이스라인: §4.1은 “UniVTAC에서 평가된 적 있는 네 방법”이라고 하면서 E0, π₀.₅, ACT + UniVTAC Encoder, N₀-VTLA, N₀-TWAM의 다섯 이름을 든다. Tab. 2에는 E0가 없다.

베이스라인 값은 다시 돌린 것이 아니라 기존 표에서 가져온 것이다(프로젝트 페이지: “Baseline values follow the manuscript comparison table”). 필자가 대조해 보니 π₀.₅와 N₀-VTLA 행은 N₀-VTLA 논문 Table 1, N₀-TWAM 행은 N₀-TWAM 논문 Table 2, ACT + UniVTAC 행은 UniVTAC 논문 Table I과 과제별로 정확히 같다.

본 결과 (§4.2, Tab. 2)

방법	Insert Hole	Lift Can	Grasp Classify	Lift Bottle	Pull-out Key	평균
ACT + UniVTAC Encoder	24.0	29.0	99.0	71.0	46.0	53.8
π₀.₅	25.0	6.0	49.0	100.0	35.0	43.0
N₀-VTLA	95.0	88.0	100.0	99.0	99.0	96.2
N₀-TWAM	99.0	93.0	94.0	58.0	79.0	84.6
Ours	99.0	95.0	98.0	93.0	84.0	93.8

(굵은 글씨는 필자가 열마다 최고값에 표시했다.)

평균은 다섯 행 모두 과제별 값으로 다시 계산하면 표와 일치한다(예: Ours (99+95+98+93+84)/5 = 93.8). Fig. 1C의 막대 라벨도 표와 같다. 본문 서술도 대부분 표와 맞는다. “Insert Hole 99%로 N₀-TWAM과 같고 N₀-VTLA보다 높다”, “Lift Can 95%로 최고”, “다섯 과제 모두에서 N₀-TWAM과 같거나 높다”는 모두 표에서 확인된다.

표에서 눈에 띄는 것이 둘 있다. 하나는 Grasp Classify다. UniVTAC에 따르면 이 과제는 질감이 다른 두 원기둥을 촉각으로 구분해 제자리에 놓는 것이고, 시각만 쓰는 π₀.₅는 49%로 사실상 우연 수준이다. Ours 98%는 모델이 촉각 이미지나 요약에서 질감 차이를 실제로 읽어 낸다는 정황이다. 다른 하나는 π₀.₅가 Lift Bottle에서 100%로 전 방법 중 최고라는 점이다. 촉각 없는 VLA가 “촉각 과제”의 하나를 가장 잘 푼다는 것은, 다섯 과제 모두가 촉각을 똑같이 필요로 하지는 않는다는 뜻이다.

정성 결과 (Fig. 3)

네 과제의 성공 실행(Fig. 3). 각 RGB 프레임 아래 왼쪽·오른쪽 손끝의 촉각 이미지. (A) Grasp Classify: 목표 위에서 위치를 다듬어 내려놓는다. (B) Pull-out Key: 열쇠를 돌리고 시험 삼아 당긴 뒤 각도를 고쳐 뽑는다. (C) Lift Bottle: 누운 병을 잡아 들고 기울여 세운 뒤 놓는다. (D) Insert Hole: 막힌 뒤 흔들어 정렬을 고치고 밀어 넣는다.

프로젝트 페이지에는 다섯 과제 모두의 성공 에피소드 영상이 있다(시뮬레이션 녹화, 10 fps). 갤러리는 Ours의 성공 사례만 싣는다. 페이지 전체에서 실패 장면은 아래 촉각 유무 비교 영상의 “촉각 없음” 한 건뿐이다.

Insert Hole (seed 1000009, 0.3 MB)

Lift Can (seed 1000000, 0.4 MB)

Grasp Classify (seed 1000018, 0.15 MB)

Lift Bottle (seed 1000004, 0.5 MB)

Pull-out Key (seed 1000000, 0.25 MB)

프로젝트 페이지 갤러리의 성공 에피소드 영상(원 URL 참조).

촉각 절제 (§4.3, Tab. 3, Fig. 2)

방법	온라인 관측	성공률(%)
Ours	V+P+T	99.0
w/o tactile	V+P	31.0

촉각 없는 변형은 시각, 고유수용 상태, 행동 인터페이스를 유지하고 촉각 관측과 촉각 참조를 함께 뺀다. 그리고 “가용 관측에 맞춘 고정 Task Skill”을 따로 쓴다. 둘 다 같은 100개 테스트 구성, 같은 초기화·저수준 컨트롤러·실행 예산에서 평가했다고 한다. 차이는 68 %p이고, 100회 기준으로도 압도적이다(필자 계산 Fisher p\approx10^{-27}, 31%의 95% Wilson 구간 22.8~40.6%).

Insert Hole에서 촉각 유무의 실행 비교(Fig. 2). 위: 촉각 없이 접촉 → 아래로 시도 → 회복 → 재시도를 반복하며 관 축 변화가 5° 안팎에 머물고 300 스텝에서 실패. 아래: 촉각이 있으면 접촉 → 탐색 → 조정 → 정렬(약 30°)을 거쳐 191 스텝에 성공. 아래 그래프는 각 에피소드의 초기 상태 대비 관 축 각도 변화와 측면 변위(mm).

Fig. 2의 그래프를 읽으면 차이의 정체가 보인다. 촉각 없는 정책은 측면 변위가 거의 0에 머물고 각도도 초반에 10° 남짓 흔들린 뒤 5° 안팎으로 돌아온다. 촉각 있는 정책은 100 스텝 부근부터 각도와 측면 변위를 함께 크게 바꾼다. 즉 촉각 없는 정책은 기울여 보는 시도 자체를 거의 하지 않는다. 프로젝트 페이지의 설명도 같다. 촉각이 없으면 “시각 단서로 얕은 삽입을 재시도하다가, 진입이 불확실하면 물러나 파지 자세를 유지한다.”

프로젝트 페이지의 비교 영상은 Fig. 2와 같은 에피소드 쌍으로 보인다(촉각 있음 191/191 스텝 성공, 없음 300/300 스텝 실패, seed 1000001). 영상 머리말에 “Recorded starting hand poses differ”, 하단에 “Control-step aligned | model waits omitted”라는 문구가 있다. 앞의 것은 아래 비판 절에서, 뒤의 것은 지연 문제에서 다시 다룬다.

프로젝트 페이지의 촉각 유무 비교 영상(2.4 MB, 원 URL 참조).

비교 영상의 마지막 장면. 머리말 “Seed 1000001 | Recorded starting hand poses differ”, 하단 “Control-step aligned | model waits omitted”. 촉각 있는 쪽은 191 스텝 성공, 없는 쪽은 300 스텝 한도로 실패(논문 그림 아님).

Insert Hole 정성 분석 (§4.4, Fig. 4)

Fig. 4(위 직관 절)는 한 에피소드 안의 세 탐색 시퀀스를 보여 준다. 수직 접근(30·35·40 스텝)과 왼쪽 접근(119·124·127 스텝)에서는 탐색 중 양쪽 마커 변위가 크게 생기고 물러나면 줄어든다. 저자들은 이것을 “현재 시도를 끝내고 접근 방향을 다시 생각할 근거”로 읽는다. 오른쪽 접근(191·194·199 스텝)에서는 탐색 중 변위가 작고 전진이 이어진다. 저자들은 이로부터 “방향마다 행동과 결과를 비교해 삽입을 허용하는 국소 운동을 점진적으로 찾는다”고 결론 짓는다.

이 에피소드는 프로젝트 페이지의 분석 영상(seed 1000029)과 스텝 번호가 맞는다. 페이지는 이 에피소드를 8단계로 나눈다. 접근(0~19) → 수직 시험(20~52) → 왼쪽 탐색(53~139) → 중앙 재시험(140~157) → 기울기 반전(158~190) → 오른쪽 진입(191~218) → 하중 해제·재정렬(219~230) → 재개·확인(231~253). 영상에 표시된 결정 번호는 194 스텝에서 D47, 252 스텝에서 D63이다. 결정당 평균 약 4 제어 스텝이고, 이 성공 에피소드 하나에 약 63번의 모델 호출이 들었다는 뜻으로 읽힌다(필자 해석, 논문에는 호출 수가 없다).

프로젝트 페이지의 Insert Hole 분석 영상(seed 1000029, 254개 관측, 핵심 스텝에서 멈춤, 1.2 MB, 원 URL 참조). Fig. 4의 에피소드로 보인다.

비판적으로 보면

강점

질문이 선명하고 실험이 그 질문을 일부라도 겨눈다. “고정된 범용 모델이 접촉 피드백으로 행동을 고칠 수 있는가”라는 질문에, 같은 모델에서 촉각을 넣고 뺀 대조(99 vs 31)와 실행 궤적 그래프(Fig. 2)로 답한다. 촉각이 있을 때 실제로 다른 탐색 행동이 나온다는 것은 성공률보다 설득력 있는 증거다.
학습 없는 정책으로서는 수치가 강하다. 시뮬레이션 기준이지만 5과제 평균 93.8%는 과제별 파인튜닝을 거친 N₀-TWAM(84.6%)보다 높고, 대규모 시각-촉각 사전학습을 거친 N₀-VTLA(96.2%)와 2.4 %p 차이다. Grasp Classify처럼 시각만으로는 우연 수준인 과제에서 98%를 낸 것은 모델이 촉각 입력에서 실제로 정보를 뽑는다는 정황이다.
판단 근거가 읽힌다. Task Skill이 텍스트이고 결정마다 근거와 다음 행동이 남는다(프로젝트 페이지의 “Low loading; entry supported → NEXT: ADVANCE”). 학습된 정책에서는 얻기 어려운 디버깅 가능성이다. 실패를 분석해 규칙을 고치는 루프가 사람에게 열려 있다.
촉각 표현을 텍스트 하나로 뭉개지 않았다. 이미지, 압입 통계, 마커 변위를 함께 주고 좌우 손끝을 따로 유지한다. 텍스트 요약만 줄 때의 정보 손실을 이미지로 보완하려는 설계다.
표의 내부 정합성이 좋다. 다섯 평균이 모두 재계산과 맞고, 베이스라인 수치도 원 논문과 과제별로 일치한다. 본문 서술의 비교 문장들도 표와 어긋나지 않는다.

약점·한계

제목의 “Outperform”은 논문 자신의 표가 지지하지 않는다. 초록과 결론은 “comparable”, “selected tasks에서 더 높다”로 정확하게 쓰는데 제목만 다르다. N₀-VTLA보다 평균이 2.4 %p 낮고, 과제별로는 2승 3패다. 베이스라인도 과제당 100회라고 가정하고(원 논문들에서 평가 횟수를 확인하지 못했다, 불확실) 필자가 Fisher 검정을 해 보면 다음과 같다.

과제	Ours (95% Wilson)	N₀-VTLA	p	N₀-TWAM	p
Insert Hole	99 (94.6~99.8)	95	0.21	99	1.00
Lift Can	95 (88.8~97.8)	88	0.13	93	0.77
Grasp Classify	98 (93.0~99.4)	100	0.50	94	0.28
Lift Bottle	93 (86.3~96.6)	99	0.065	58	<0.0001
Pull-out Key	84 (75.6~89.9)	99	0.0002	79	0.47
합산(500회)	469	481	0.11	423	<0.0001

N₀-VTLA를 이긴 두 과제는 구별되지 않고, 유의하게 갈리는 유일한 과제 Pull-out Key에서는 진다. N₀-TWAM 대비 우위도 사실상 Lift Bottle 하나(93 vs 58)에서 나온다. 정확한 제목은 “N₀-VTLA와 비슷하고 N₀-TWAM보다 낫다” 정도다. (제목의 동사는 arXiv판이 “Outperform”, 프로젝트 페이지가 “Outperforms”로 표기도 다르다.)

5개 과제 선택이 비교의 모양을 바꾼다. UniVTAC는 8과제인데 이유 없이 5개만 썼다. 원 표들에서 빠진 셋을 보면 다음과 같다.

방법	사용한 5과제 평균	Insert Hole	Put Bottle in Shelf	Insert HDMI	Insert Tube	8과제 평균
ACT + UniVTAC	53.8	24	31	28	56	48.0
π₀.₅	43.0	25	34	8	74	41.4
InternVLA-A1	78.6	93	37	12	95	67.1
Xiaomi-Robotics-0	51.0	96	12	69	98	54.3
N₀-VTLA	96.2	95	60	25	99	83.1
N₀-TWAM	84.6	99	87	68	98	84.5
Ours	93.8	99	미보고	미보고	미보고	미보고

(N₀-VTLA Table 1, N₀-TWAM Table 2에서 옮겼다. 5과제 평균 열은 필자 계산.) 빠진 과제 중 Insert HDMI는 거의 모든 방법이 30% 아래이고 Put Bottle in Shelf도 N₀-VTLA가 60%다. 5과제 부분집합에서 N₀-VTLA 평균은 83.1 → 96.2로 오른다. 따라서 이 선택이 Ours에게 유리하다고 단정할 근거는 없다. 오히려 가장 강한 베이스라인을 그 베이스라인의 강한 과제들에서 만나는 셈이다. 문제는 방향이 아니라 Ours가 가장 어려운 정밀 삽입(HDMI 회전 불확실성, Tube 지름 차 0.05 cm)에서 어떤지 모른다는 것이다. 같은 이유로 “93.8 vs 84.6”과 N₀-TWAM 논문의 헤드라인 “84.5”(8과제)를 독자가 섞지 않도록 주의해야 한다.

“촉각이 31% → 99%를 만든다”는 초록의 귀속이 실험 설계보다 강하다. 절제에서 바뀐 것은 촉각 관측만이 아니다. 촉각 참조가 빠지고 Task Skill이 다른 것으로 바뀐다. 프로젝트 페이지는 이 점을 정확히 적는다. “The comparison evaluates tactile information together with its corresponding task guidance.” 그런데 초록과 §1은 “tactile feedback improves success from 31% to 99%”라고 쓴다. Fig. 2에서 본 것처럼 촉각 없는 정책은 기울이는 시도를 거의 안 하는데, 이것이 촉각이 없어서인지, 촉각 없는 Task Skill이 기울기 탐색을 덜 권해서인지는 이 설계로는 갈리지 않는다. “촉각 없이 같은 Task Skill” 또는 “촉각 있고 Task Skill 없음” 같은 칸이 필요했다.
같은 벤치마크에서 시각만 쓰는 VLA가 Insert Hole을 93~96%로 푼다. 위 표에서 InternVLA-A1은 93%, Xiaomi-Robotics-0은 96%다(N₀-TWAM 논문은 이들을 VLA 베이스라인으로 묶어 촉각 기반 방법과 대비한다. 촉각 입력을 받지 않는 것으로 읽었지만 원 논문들에서 직접 확인하지는 못했다). 이 논문이 촉각 절제를 Insert Hole 하나에서만 했다는 점을 함께 놓으면, 31%는 “이 과제는 촉각 없이 어렵다”보다 “GPT-6-Astra의 시각 기반 제어가 이 과제에서 약하다”를 보여 준다고 읽는 편이 정확하다. §1의 “외부 시각은 접촉면 구속에 제한적 접근만 준다”는 동기와도 긴장 관계다. 절제를 시각 기반 VLA가 우연 수준에 머무는 Grasp Classify(π₀.₅ 49%)에서 했다면 “모델이 촉각을 읽는다”는 주장에 훨씬 직접적인 증거가 됐을 것이다.
“모델이 촉각을 이해한다”와 “문맥의 규칙이 일을 한다”를 가르는 대조군이 없다. Task Skill 없이(지시문과 관측만으로) 돌린 결과, 촉각 참조만 뺀 결과, 이미지 없이 수치 요약만 준 결과, 다른 모델이나 낮은 reasoning effort의 결과가 하나도 없다. 위 직관 절에서 봤듯 Insert Hole은 “막히면 반대로 기울여라”라는 규칙으로 상당 부분 풀리는 구조라, 제목의 “Understands Touch”를 지지하려면 적어도 Task Skill 절제는 있어야 했다. 지금 실험이 보이는 것은 “전문가 규칙 + 촉각 요약 + Astra” 조합의 성능이다.
촉각 표현의 일부는 사람이 설계한 특징이고, 시뮬레이터 정답일 가능성이 있다. D_t^f는 “젤 압입 지도”를 풀링한 통계인데, UniVTAC는 시뮬레이터에서 압입 깊이 지도와 마커 투영을 정답으로 함께 낸다. 이 논문이 압입 지도를 촉각 이미지에서 복원했는지 시뮬레이터 출력을 그대로 썼는지는 적혀 있지 않다(불확실). 후자라면 실제 센서에서는 깊이 복원이라는 추가 단계와 그 오차가 생긴다. 또 분석 영상에 나오는 “Local change”·“Grasp-reference RMS” 같은 픽셀 단위 요약은 판단에 필요한 지각의 일부를 하네스가 대신 해 준다. 촉각 이미지를 텍스트로 옮길 때의 정보 손실은 이미지를 함께 줘서 줄였지만, 반대로 “모델이 원시 촉각을 이해했다”는 서술의 범위도 그만큼 좁아진다. Sparsh-X 같은 학습된 촉각 표현은 이런 특징 설계를 데이터로 대신하려는 방향이다.
추론 지연과 비용이 한 줄도 없다. PDF 전문에서 latency·Hz·API·second·temperature를 검색하면 0건이고, token은 관련 연구의 “tactile tokens” 두 곳뿐이다. 추론 지연·토큰 사용·호출 비용에 대한 서술이 없다. 프로젝트 페이지의 비교 영상은 “model waits omitted”라고 밝힌다. 즉 영상의 시간축은 제어 스텝 기준이고 모델이 생각하는 시간은 빠져 있다. 시뮬레이터는 모델을 기다리며 멈출 수 있지만(논문은 멈췄는지도 적지 않는다), 실기에서는 시험관이 구멍 가장자리에 하중을 건 채로 다음 명령을 기다려야 한다. 참고로 같은 계열 선행 연구(GPT-as-Policy)는 다른 과제(보행)에서 xhigh 설정의 Astra 호출이 평균 39.86초, 30초 분량의 시뮬레이션에 250번 호출이 들었고 “추론 중 물리가 멈춘다”고 명시했다. 이 값을 그대로 옮길 수는 없지만, 성공 에피소드 하나에 약 63번 호출(위 분석 영상)이면 같은 자릿수의 지연만 가정해도 에피소드당 수십 분이 된다(필자의 자릿수 추정). 500 에피소드 평가의 총 토큰과 비용, 결정당 지연, 실효 폐루프 주파수는 이 방법의 실용성을 가르는 핵심 수치인데 보고되지 않았다. Tab. 1이 베이스라인의 학습 비용은 GPU 수까지 적으면서 자기 방법의 추론 비용은 비워 둔 것은 비교로서 비대칭이다.
모든 평가가 시뮬레이션이고, 논문은 그 사실을 적지 않는다. 초록과 §1은 “real-world interactions”의 물리를 묻는다고 쓰지만 실험은 전부 UniVTAC 시뮬레이션이다. PDF에서 “simulation”이라는 단어는 관련 연구와 참고문헌에만 나온다. 독자는 UniVTAC가 시뮬레이션 플랫폼이라는 것을 알아야 이 사실을 알 수 있다(프로젝트 페이지는 “simulation recordings”라고 쓴다). 실기 센서 노이즈, 깊이 복원 오차, 위 지연 문제가 모두 시험되지 않았다.
블랙박스 API라 재현이 어렵고, 분산 정보가 없다. 모델은 “GPT-6-Astra, reasoning effort xhigh”로만 적혀 있다. 스냅샷 날짜, 온도 등 샘플링 설정, 프롬프트, Task Skill 원문, 촉각 참조 세트가 없고 코드도 “coming soon”이다. 모델이 업데이트되면 같은 실험을 다시 할 방법이 없다. 또 과제마다 100 에피소드를 한 번씩 돌렸을 뿐 반복 실행이 없다. LLM 정책은 같은 시드에서도 출력이 달라질 수 있어 실행 간 분산이 이항 구간보다 클 수 있다. ASPIRE에서는 논문상 같은 조건의 LLM 에이전트 실행 네 번이 55.6~67.4%에 걸쳤다(설정이 달라 직접 비교는 아니다).
비교의 공정성 정보가 부족하다. 베이스라인은 재실행 없이 다른 논문의 표에서 가져왔다. 그 표들이 과제당 몇 회로 평가됐는지, 테스트 구성(시드)이 이 논문의 1000000번대 시드와 같은지 확인되지 않는다(불확실). 입력도 다르다. Ours는 장면·손목 RGB, 촉각 이미지, 압입 통계, 마커 변위, 히스토리를 모두 받고 행동마다 실행 길이를 스스로 고르며 범위 검사를 거친다. 시연 수는 ACT + UniVTAC와 같은 50개지만, N₀ 계열이 UniVTAC 과제별 파인튜닝에 몇 개를 썼는지는 이 논문이 적지 않는다.

논문 내부의 불일치와 서술 문제. 결론을 뒤집지는 않지만 독자가 걸릴 지점이다.

위치	서술 A	서술 B
제목 vs 표	제목: VTLA 모델을 “Outperform”	Tab. 2: 평균 93.8 < N₀-VTLA 96.2, 2승 3패. 초록·결론은 “comparable”
베이스라인 수	§4.1: “four methods”, E0 포함 다섯 이름	Tab. 2·Fig. 1C: 네 방법, E0 결과 없음
절제 귀속	초록·§1: “tactile feedback improves success from 31% to 99%”	§4.3: 촉각 참조도 빼고 Task Skill도 바꿈. 프로젝트 페이지: “tactile information together with its corresponding task guidance”
초기화	§4.3: 두 설정이 “identical initialization”	Fig. 2와 같은 쌍으로 보이는 비교 영상(seed 1000001): “Recorded starting hand poses differ”
방법 이름	방법명 GPT-as-Tactile-Policy	Fig. 2 캡션·§4.2: “GPT-as-Policy”(선행 연구의 이름과 같다)
실험 매체	초록·§1: “real-world interactions”의 물리를 탐구	실험 전부 UniVTAC 시뮬레이션, 본문에 “simulation” 명시 없음

초기화 항목은 영상 문구가 “같은 시드지만 기록된 시작 손 자세가 다르다”는 뜻으로 읽혀 적었다. 100개 평가 전체가 아니라 그 시연 쌍에만 해당할 수 있다(불확실).

요약

GPT-as-Tactile-Policy는 촉각 조작에서 “학습 없이 어디까지 되는가”를 시험한 논문이다. 고정된 GPT-6-Astra에 전문가 시연에서 요약한 Task Skill과 촉각 참조를 문맥으로 주고, 촉각 이미지·압입 통계·마커 변위·히스토리를 보며 짧은 행동을 반복하게 했다. UniVTAC 시뮬레이션 5과제에서 평균 93.8%로 학습된 촉각 VLA에 근접했고, 촉각을 쓸 때 실제로 다른 탐색 행동이 나온다는 것을 궤적으로 보였다. 판단 근거가 텍스트로 남는다는 점도 학습된 정책에 없는 장점이다.

그러나 제목의 “Outperform”은 표와 맞지 않고(N₀-VTLA 대비 평균 −2.4 %p, 유의한 차이는 진 과제뿐), 과제 선택(8개 중 5개), 촉각 절제의 교란(Task Skill 동시 변경), Task Skill 자체의 절제 부재 때문에 “모델이 촉각을 이해한다”와 “규칙이 일을 한다”를 가를 수 없다. 같은 벤치마크에서 시각만 쓰는 VLA가 Insert Hole을 93~96%로 푼다는 사실은 31%라는 절제 수치의 의미도 바꾼다. 가장 큰 빈칸은 비용이다. 성공 에피소드 하나에 약 60번의 xhigh 추론 호출이 드는 정책의 지연·토큰·폐루프 주파수가 보고되지 않았고, 영상은 모델 대기 시간을 지웠다. 실기 실험, 모델 버전 고정, 반복 실행도 없다. 이 방향이 실용이 되려면 Task Skill 절제, 8과제 전체 결과, 결정당 지연과 총비용, 그리고 지연을 견디는 실기 접촉 과제가 다음 논문에 필요하다.