📃T-Rex 리뷰

T-Rex: Tactile-Reactive Dexterous Manipulation

• Paper Link (arXiv:2606.17055v1)

• Project Page (tactile-rex.github.io) — 논문 본문이 적어 둔 주소. 같은 내용의 tactile-reactive-dexterous.github.io도 살아 있다.

• Code Link (MIT) — 포스트트레이닝·추론 코드 + 하드웨어 스택, 프리트레인/미드트레인 체크포인트 공개. 프리트레인·미드트레인 학습 코드는 full-pipeline 브랜치.

• Dataset (HuggingFace, MIT) — LeRobot v3.0 포맷

• Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin 외 (총 30인) — Fei-Fei Li, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Jim Fan, Trevor Darrell 참여

• UC Berkeley · NVIDIA · Stanford · Panasonic · La Sapienza · ItalAI

• arXiv 프리프린트, 2026-06-15 (cs.RO)

1. 💡 촉각이 VLA에 들어가지 못한 이유를 데이터 부재·주파수 불일치·정적 촉각 인코더 셋으로 진단하고 각각에 처방을 낸다 — 100시간 촉각 동기화 데이터셋, 서로 다른 속도로 도는 Mixture-of-Transformer-Experts, 시공간 촉각 VQ-VAE.
2. ⚙️ flow matching 궤적을 \tau_{\mathrm{split}}=0.4에서 잘라 위 구간은 시각·언어를 보는 느린 action expert가, 아래 구간은 시각 타워를 건너뛰고 KV 캐시만 재사용하는 빠른 tactile expert가 맡는다. 두 전문가는 같은 속도 타깃 v^\star를 회귀하므로 인터페이스가 갈라지지 않는다.
3. 🎯 12개 접촉 풍부 태스크(태스크당 16회)에서 평균 65%로 최강 베이스라인 EgoScale(35%)보다 30%p 높다(Table 1). 촉각을 통째로 빼면 65 → 42로 떨어지고(Table 2), 사전학습·미드트레이닝을 모두 뺀 밑바닥은 18이다(Table 3).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

카드를 슬롯에 밀어 넣거나 열쇠로 자물쇠를 여는 일이 사람에겐 쉬운데 로봇에겐 어려운 이유는 시각이 부족해서가 아니라, 접촉이 시작된 뒤에 손끝이 느끼는 것을 근거로 즉시 명령을 고쳐 쓰는 회로가 없기 때문이다. 그런데 현대 VLA에 그 회로를 넣으려면 세 곳에서 막힌다. ① 대규모 사전학습 코퍼스는 거의 전부 시각이라 촉각 채널이 아예 없다. ② VLM 백본은 느리고 촉각은 빠르다 — 주파수가 안 맞는다. ③ 기존 촉각 인코더는 대개 현재 순간의 정적 신호를 그대로 밀어 넣는다.

T-Rex의 처방은 세 기여로 정확히 대응한다. 데이터는 사전학습이 아니라 미드트레이닝 단계에 촉각을 심는 것으로 우회한다 — 태스크가 아니라 “동사 × 명사”(22개 motor primitive × 207개 생활 물체)로 조합해 모은 100시간짜리 촉각 동기화 양팔 텔레오퍼레이션 데이터셋이다. 주파수는 dual-system처럼 인지와 반응을 분리하는 대신, flow matching의 denoising 궤적 자체를 시간축이 아니라 \tau축에서 쪼개 두 전문가에게 나눠 준다. 촉각 표현은 6축 힘의 최근 16프레임을 VQ-VAE로 이산 토큰 하나로 압축하고, 변형 맵은 동결된 ResNet 인코더로 따로 뽑아 붙인다.

전체 개요(Fig. 1) — 왼쪽: 22,889시간 egocentric 인간 영상 사전학습. 가운데: latent(미래 시각 잠재 예측) / action(저주파 denoising, ~5 Hz) / tactile(고주파 정제, ~20 Hz) 세 전문가의 MoT 백본과 T-Rex 데이터셋(100 h · 7,700+ 궤적 · 22 primitive · 200+ 물체). 오른쪽: 12개 포스트트레이닝 태스크. 참고로 “~5 Hz / ~20 Hz”라는 수치는 본문·부록 어디에도 없고 이 그림에만 있다(아래 비판 절 참조).

핵심 방법론:

정책 \pi_\theta는 RGB 관측 \mathbf{o}_t, 언어 \ell, 촉각 힘 이력 \mathbf{f}_{t-H_f:t}, 변형 맵 \mathbf{d}_t를 받아 \mathbf{c}_t=\{\mathbf{o}_t,\ell,\mathbf{f}_{t-H_f:t},\mathbf{d}_t\}를 조건으로 지평 H의 액션 청크를 낸다. 학습은 표준 conditional flow matching이다(식 1).

\mathcal{L}_{\mathrm{FM}}(\theta)=\mathbb{E}\left[\left\|v_{\theta}(x_{\tau},\tau\mid c_{t})-(x_{1}-x_{0})\right\|^{2}\right]

여기서 x_0=A_{t:t+H}가 깨끗한 액션, x_1=\epsilon\sim\mathcal{N}(0,I)가 노이즈다. T-Rex의 결정적 한 수는 이 \tau\in(0,1] 구간을 둘로 쪼개는 것이다. 선형 보간과 등속 타깃은 하나로 공유된다(식 3).

\mathbf{x}_{\tau}=(1-\tau)\,\mathbf{A}^{\mathrm{demo}}+\tau\,\boldsymbol{\epsilon},\qquad v^{\star}=\boldsymbol{\epsilon}-\mathbf{A}^{\mathrm{demo}}

추론은 총 N=10 Euler 스텝, 분기점 \tau_{\mathrm{split}}=0.4다. 느린 흐름은 액션 청크당 한 번, K_{\mathrm{slow}}=6 스텝을 밟아 중간 상태를 만든다(식 4).

\hat{\mathbf{x}}_{\tau_{\mathrm{split}}}=\mathrm{Euler}\bigl(f_{\theta}^{\mathrm{act}};\,\mathbf{x}_{1},\,\tau{:}\,1{\to}0.4,\,K_{\mathrm{slow}}=6\bigr)

이 시점의 경계 상태와 KV 캐시 \mathrm{KV}_{\tau_{\mathrm{split}}}를 공유 메모리에 박아 두면, 빠른 흐름은 청크 길이 T_a=16 안의 오프셋 \{0,4,8,12\}에서 시각 타워를 한 번도 다시 돌리지 않고 실시간 촉각 토큰만 넣어 남은 K_{\mathrm{fast}}=4 스텝을 푼다(식 5).

\mathbf{A}_{t:t+T_{a}}=\mathrm{Euler}\bigl(f_{\theta}^{\mathrm{tac}};\,\hat{\mathbf{x}}_{\tau_{\mathrm{split}}},\,\tau{:}\,0.4{\to}0,\,K_{\mathrm{fast}}=4\bigr)

촉각 토큰은 세 조각을 이어 붙인다(식 2) — VQ-VAE로 이산화한 최근 16프레임 힘 이력, 현재 힘 벡터의 직접 투영, 변형 맵의 합성곱 특징.

\mathbf{z}^{\tau}_{t}=\bigl[\mathrm{Emb}_{\mathrm{vq}}\!\bigl(E_{f}(\mathbf{f}_{t-15:t})\bigr);\ \mathrm{Proj}_{f}(\mathbf{f}_{t});\ \mathrm{Proj}_{d}\!\bigl(E_{d}(\mathbf{d}_{t})\bigr)\bigr]

전체 손실은 두 전문가의 MSE에 미래 시각 잠재 예측 손실을 더한 것이다(식 7, \lambda_{\mathrm{tac}}=1.0, \lambda_{\mathrm{future}}=0.5).

\mathcal{L}=\mathcal{L}_{\mathrm{act}}+\lambda_{\mathrm{tac}}\,\mathcal{L}_{\mathrm{tac}}+\lambda_{\mathrm{future}}\,\mathcal{L}_{\mathrm{future}}

주요 결과:

• 메인 비교(Table 1) — 12 태스크 × 16회. T-Rex 평균 65, EgoScale 35, Tactile-VLA 15, \pi_{0.5} 17, \pi_{0.5}+tactile 6, RDP 6, ViTacFormer 3. 최고는 Flip Page 96, 최저는 Screw Lightbulb 35.
• 촉각 절제(Table 2, 6 태스크) — 전체 65 → 촉각 전면 제거 42(−23), 변형만 54(−11), VQ-VAE 힘 인코더 제거 58(−7), 힘만 59(−6), 비동기 제거 60(−5).
• 학습 레시피(Table 3, 6 태스크) — 사전학습·미드트레이닝 둘 다 없음 18 → 미드트레이닝만 34 → 사전학습만 45 → 둘 다 65.
• 데이터셋 설계(Fig. 6) — 예산을 맞춘 100시간 태스크 특화 데이터로 미드트레이닝하면 포스트트레이닝 6태스크 평균 57.5, T-Rex 데이터셋이면 65.3. 그런데 zero-shot 4태스크에서는 격차가 훨씬 크다(Pick Cube 45 vs 15 vs 5).
• 데이터 효율(Fig. 5) — 시연 10개일 때 미드트레이닝 유/무가 Apply Toothpaste 29 vs 9, Split Cup 36 vs 17, Extract Card 26 vs 12.

결론:

T-Rex의 값어치는 새 센서도, 새 손실 함수도 아니다. “고주파 반응을 시간축이 아니라 denoising 축에서 만든다”는 재배치 하나로, 기존 VLA의 사전학습 자산(EgoScale의 22,889시간)을 버리지 않고도 촉각 반응 루프를 얹었다는 점이다. 데이터·모델·체크포인트가 MIT로 열려 있고 절제 실험도 성실한 편이다. 다만 전부 실기 평가이고 태스크당 16회뿐이라 작은 차이(비동기 −5, 힘 인코더 −6)는 통계적으로 지탱되지 않으며, 배포 주파수·지연 실측이 논문에 하나도 없다. 그리고 헤드라인 30%p는 촉각만의 몫이 아니라 미드트레이닝 데이터·아키텍처·재현 차이가 뒤섞인 값이다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

촉각이 빠르다는 문제를, 정책을 빠르게 돌려 푸는 대신 “느린 계획의 마지막 40%를 촉각에게 넘기는” 방식으로 푼 논문이다.

배경: 촉각이 VLA에 못 들어간 세 개의 문턱

§1이 진단하는 병목은 정확히 세 가지고, 이후 모든 설계가 이 셋에 일대일로 대응한다.

① 데이터. 대규모 정책 사전학습 코퍼스는 사실상 전부 시각이다. 힘 변동·미세 슬립·국소 변형 같은 물리 신호가 통째로 빠져 있다. 촉각까지 포함해 밑바닥부터 학습하려면 동기화된 시각-촉각 데이터가 사전학습 규모로 필요한데, 정교한 dexterous 텔레오퍼레이션을 그 규모로 모으는 것은 비용이 감당되지 않는다. T-Rex는 사전학습에 촉각을 넣지 않는다. 대신 그 사이에 미드트레이닝이라는 층을 하나 끼워 넣고 거기서만 촉각을 접지한다.

② 주파수. 촉각 반응은 빨라야 하고 VLM 백본은 느리다. 최근 dual-system 계열은 “빠른 운동 반응”과 “느린 인지 추론”을 완전히 분리한 두 모듈로 이 문제를 우회했고, variable-rate diffusion policy 계열(RDP)은 태스크 특화 모방학습·평행 그리퍼에 머물러 있었다. T-Rex는 둘 다 아닌 제3의 길을 택한다 — 하나의 flow matching 궤적을 공유하되 \tau 구간을 나눠 갖는다.

③ 정적 촉각 인코더. 접촉의 정보 대부분은 “지금 얼마나 세게 눌리는가”가 아니라 “직전 0.5초 동안 어떻게 변했는가”에 있다. 미끄러짐, 이가 걸리는 순간, 카드 두 장이 갈라지는 순간은 전부 시간 미분이다. T-Rex는 힘 이력을 시간축 합성곱 + 벡터 양자화로 이산 토큰으로 만든다.

기여 ①: T-Rex Dataset — 태스크가 아니라 동사×명사로 모은 100시간

데이터셋 통계(Fig. 2) — 좌상: 물체 카테고리 분포(Wrapping & Tape 14.0%, Containers 14.0%, Fabric & Cloth 13.3%, Paper & Writing 12.3%, Electronics 9.7%, Toys 8.6%, Personal Care 7.9%, Hardware & Tools 7.5%, Clothing 6.7%, Kitchen 5.9%). 우상: motor primitive별 에피소드 수 — grasp and lift ≈1,190으로 최다, reach·lift and place가 뒤를 잇고 unscrew ≈50이 최소. 하단: 개별 물체의 롱테일 분포(로그 스케일).

App. G가 이 데이터셋의 구성 원리를 명확히 적어 둔다. 207개 생활 물체 × 22개 motor primitive = 4,554개 후보 조합을 만든 뒤, 물리적으로 불가능한 쌍(고체 블록에 pour, 관절 없는 물체에 twist)을 수작업 체크리스트로 쳐낸다. 남은 502개 유효 조합에 7,755 에피소드 · 100시간이 걸려 있고, 에피소드 길이 중앙값 29.8초(IQR 21.0–41.1초), 조합당 평균 시연 수 “약 16개”, 텔레오퍼레이터들이 10주에 걸쳐 수집했다.

에피소드 하나에 들어가는 것(App. G):

• 30 Hz, 640\times360 RGB 3채널 — 머리 ZED X Mini 좌안 + 손목 ZED X One S(wide) 2대
• 양팔 고유수용감각 — 팔 2\times7 관절 위치·속도 + Sharpa Wave 손 2\times22 DoF
• 양 손목의 SE(3) 엔드이펙터 포즈
• 10개 손끝 전부의 촉각 — 단채널 변형 깊이 맵 + 6축 순 렌치(net wrench)
• 언어 지시문 (상용 VLM이 머리 시점 4–6프레임 + 텔레옵 라벨을 보고 명령문 한 줄 생성 → 사람이 환각·부정확 서술 검수)

모든 스트림이 텔레옵 상위 스레드의 30 Hz 타임스탬프를 공유한다. “촉각 동기화”라는 말이 여기서 실체를 얻는다 — 시각·고유수용감각·액션·촉각이 같은 클럭 위에 있다.

장면 다양성 쪽도 성실하다. 6종의 테이블 배경, 210개 이상의 방해물 풀에서 뽑은 0–5개 distractor, 조합마다 물체 초기 위치·자세 랜덤화. 수집 후에는 불안정한 촉각 측정·손상된 스트림·텔레옵 실패로 인한 이상 모션·극단적 관절 속도를 걸러내는 정제 단계를 거친다.

공개된 것을 실제로 확인하면 논문의 서술과 조금 다르다. App. G는 “raw 센서 스트림·파생 촉각 표현·언어 주석을 데이터 로더와 함께 릴리스할 계획”이라고만 적어 전량 공개를 시사하지만, HuggingFace의 meta/info.json이 말하는 실제 릴리스는 5,464 에피소드 · 5,473,459 프레임 · 30 fps다. 계산하면 5{,}473{,}459/30 \approx 182{,}449\ \text{s} \approx \mathbf{50.7}시간 — 프로젝트 페이지가 말하는 “50h Open-Sourced”와 정확히 맞는다. 에피소드 기준으로는 70.5%(5,464/7,755)인데 시간 기준으로는 50.7%다. 즉 공개분은 짧은 에피소드 쪽으로 치우쳐 있다(공개분 평균 33.4초 vs 전체 평균 46.4초).

데이터 스키마도 확인해 볼 만하다. 공개 데이터셋의 observation.state·action은 58차원(2\times(7\ \text{arm}+22\ \text{hand}))의 관절 공간이고, observation.tactile_force는 60차원(10\ \text{fingers}\times6\ \text{axes})이다. 변형 맵은 손끝마다 240\times240 비디오로, 원본 촉각 영상은 240\times320으로 따로 들어 있다. 그리고 total_tasks: 5370 — 5,464개 에피소드에 5,370개의 서로 다른 지시문이니, VLM 자동 주석이 사실상 에피소드마다 고유한 문장을 만들었다는 뜻이다.

실기 셋업과 텔레옵 스택(Fig. 7) — Dexmate Vega-1 양팔 로봇 + Sharpa Wave 손 2개. 머리에 ZED X Mini, 양 손목에 ZED X One S. 텔레옵은 Manus 글러브(손끝 목표 자세) + VIVE 트래커(손목 SE(3) 포즈).

App. D의 제어 스택도 재현 관점에서 중요하다. Vega-1은 원래 이동형 양팔 로봇인데 바퀴·몸통·머리 관절은 고정하고 팔 14관절만 구동한다. 상대 엔드이펙터 포즈 명령은 Pink 기반 차분 역기구학으로 관절 명령이 되고, 저역통과 필터를 거쳐 제조사 저수준 cascade PID로 간다. 정책 추론 스레드와 300 Hz 저수준 제어 스레드가 동시에 돌고, 정책이 뱉는 액션 청크가 저수준 컨트롤러의 추종 목표를 비동기로 갱신한다. 텔레옵도 같은 구조 — 상위 스레드 30 Hz, 하위 300 Hz. Manus 글러브의 손끝 위치는 제조사가 준 Pinocchio + CasADi 기반 차분 IK 패키지로 Sharpa Wave 손에 리타깃된다.

기여 ②: variable-rate Mixture-of-Transformer-Experts

T-Rex 아키텍처(Fig. 3) — 위: 세 전문가(latent / action / tactile)가 Multimodal Shared Attention을 공유한다. latent expert는 미래 시각 잠재를 예측하고, action expert는 노이즈 액션을, tactile expert는 시공간 촉각 인코더 출력을 받는다. 좌하: Action-Tactile 캐스케이드 denoising — step 0→6은 action expert, 6→10은 캐시된 시각/언어 맥락을 재사용하는 tactile expert. 우하: 비동기 실행 — action expert 1틱마다 tactile expert 4틱(그림 라벨은 ~5 Hz / ~20 Hz).

무엇을 나누고 무엇을 공유하는가

MoT 백본은 세 전문가를 둔다.

• latent expert — 시각·언어 관측을 처리하고 미래 시각 표현을 예측한다. 시간적으로 접지된 맥락을 제공한다.
• action expert — 순수 노이즈에서 중간 시각 \tau_{\mathrm{split}}까지 저주파 액션 계획을 denoise한다.
• tactile expert — 캐시된 시각-언어 맥락을 재사용해 \tau_{\mathrm{split}}부터 \tau=0까지 이어 받아, 고주파 촉각 관측으로 액션을 정제해 최종 실행 청크를 만든다.

공개 코드(qwen_vla/modeling_qwen3vl_mot.py)를 보면 “MoT”의 실체가 분명해진다. 디코더 레이어마다 세 벌의 Q/K/V/O 투영·RMSNorm·FFN이 따로 있고, attention 연산 자체는 세 스트림의 토큰을 이어 붙여 한 번에 수행한다. 즉 파라미터는 전문가별로 완전히 분리되고 정보 경로(attention)만 공유된다. Fig. 3의 “Multimodal Shared Attention”이 정확히 이 뜻이다.

Tab. 4의 명세를 정리하면:

	백본	파라미터	비고
Latent Expert	Qwen3VL-2B	1.41B	hidden 2048, 28층, max seq 2048, FlashAttention-2
Action Expert	Qwen3VL-2B	1.41B	action dim 62, chunk 16, 추론 6스텝, \tau\sim\mathrm{Beta}(1.5,1.0)
Tactile Expert	—	0.62B	FFN intermediate 1536으로 축소, 추론 4스텝

학습은 AdamW, peak LR 1\times10^{-4}, cosine to 0, weight decay 0, warmup 0, grad clip 1.0, NVIDIA H100 24장, DeepSpeed ZeRO stage 1, device당 배치 16, bf16.

공개된 포스트트레이닝 스크립트(scripts/train.sh)가 이 값들을 대부분 그대로 확인해 준다 — --action_dim 62, --action_chunk 16, --tactile_intermediate_size 1536, --tactile_loss_weight 1.0, --cascaded_total_steps 10 --cascaded_split_step 6. 여기서 논문에 없는 정보도 몇 개 나온다. 62차원 액션의 정확한 분해는 데이터 준비 스크립트에 주석으로 적혀 있다 — 좌팔 9D(위치 델타 3 + 회전행렬 두 열 6) + 좌손 22D 절대 관절 + 우팔 9D + 우손 22D = 62D. 그리고 --use_robot_state 0, 즉 고유수용감각 상태를 정책 입력으로 쓰지 않는다(식의 \mathbf{c}_t에 상태가 없는 것과 일치한다). 마지막으로 미래 시각 잠재 예측 손실의 정체는 --use_flare 1 --flare_loss_weight 0.5로, 논문이 이름을 밝히지 않은 이 보조 목적은 FLARE(참고문헌 [71], §2에서만 인용)다.

캐스케이드 flow matching (식 3–7)

두 전문가는 같은 등속 타깃 v^\star=\boldsymbol{\epsilon}-\mathbf{A}^{\mathrm{demo}}를 서로 겹치지 않는 \tau 구간에서 회귀한다. 조건만 다르다 — 위 구간은 전역 멀티모달 맥락, 아래 구간은 국소 촉각 관측.

학습 시 시각 표집도 비대칭이다(§4.2). action expert는 \tau_{\mathrm{act}}\sim\mathrm{Beta}(1.5,1.0)을 (0,1] 전 구간에서 뽑고, tactile expert는 \tau_{\mathrm{tac}}=\tau_{\mathrm{split}}\cdot\tilde\tau, \tilde\tau\sim\mathrm{Beta}(1.5,1.0)로 (0,\tau_{\mathrm{split}}]에서만 뽑는다.

\mathcal{L}_{\mathrm{act}}=\bigl\lVert f_{\theta}^{\mathrm{act}}(\mathbf{x}_{\tau_{\mathrm{act}}},\tau_{\mathrm{act}})-v^{\star}\bigr\rVert^{2},\quad \mathcal{L}_{\mathrm{tac}}=\bigl\lVert f_{\theta}^{\mathrm{tac}}(\mathbf{x}_{\tau_{\mathrm{tac}}},\tau_{\mathrm{tac}};\,\mathrm{KV}_{\tau_{\mathrm{split}}})-v^{\star}\bigr\rVert^{2}

action expert를 굳이 (0,1] 전 구간에서 계속 학습시키는 이유가 §4.2에 명시된다 — 그래야 홀로도 액션을 생성할 수 있는 능력이 유지되고, 사전학습 패러다임(촉각 전문가가 없던 시절)과의 일관성이 깨지지 않는다. 즉 촉각 전문가는 덧붙이는 잔차 모듈이지 필수 부품이 아니다. Table 2의 “w/o Tactile” 행이 완전히 붕괴하지 않고 42를 유지하는 것도 이 설계 덕이다.

App. B가 두 가지 구현 디테일을 더 준다.

KV 캐시의 구성. tactile expert에 넘기는 캐시는 \mathrm{KV}_{\tau_{\mathrm{split}}}=[\mathrm{KV}^{\mathrm{lat}}\,|\,\mathrm{KV}^{\mathrm{act}}_{\tau_{\mathrm{split}}}]로, 시각-언어 키/값뿐 아니라 \tau_{\mathrm{split}}에서 다시 인코딩한 액션 위치를 포함한다. 초기 노이즈 시점의 인코딩이 아니라 “부분적으로 denoise된 맥락”을 보게 하려는 것이다. 학습 시 이 캐시는 torch.no_grad로 분리된 느린 패스에서 뽑는다.

지연 증강(delay augmentation). 배포에서 빠른 틱은 청크 내부 오프셋에서 비동기로 돌므로, 얼어붙은 시각 캐시와 실시간 촉각 스트림 사이에 본질적인 시간 낡음(staleness)이 존재한다. 학습에서 완벽히 동기화된 모달리티에 과적합되지 않도록, 이산 지연 \delta\sim\mathrm{Uniform}\{0,4,8,12\}를 뽑아 촉각 맥락의 프레임 인덱스를 시각 맥락 대비 무작위로 민다 — 배포 시 오프셋 분포와 정확히 같은 분포다. 이건 좋은 설계다. 학습-배포 불일치를 선언으로 무마하지 않고 분포를 맞췄다.

배포 루프 (Algorithm 1)

느린 스트림은 청크 창마다 시각-언어 맥락을 얻고 노이즈에서 K_{\mathrm{slow}} 스텝을 적분한 뒤, 락을 잡고 \hat{\mathbf{x}}_{\tau_{\mathrm{split}}}와 재인코딩된 캐시를 공유 메모리에 쓴다. 빠른 스트림은 오프셋 \delta\in\{0,4,8,12\}마다 실시간 촉각을 표집하고, 락을 잡아 캐시를 복제한 뒤 놓고, K_{\mathrm{fast}} 스텝을 적분해 갱신된 청크를 실행한다. 실기에서는 단일 스레드 요청 소켓 + 명시적 실행 락으로 두 전문가를 직렬화해, 진행 중인 느린 틱이 캐시와 경계 상태를 완전히 커밋하기 전에는 빠른 틱이 시작되지 않도록 보장한다.

계산 절감의 핵심은 App. B가 명시한 한 문장이다 — 빠른 틱 동안 시각 타워·latent expert·action expert는 재실행되지 않는다. 제어 스텝당 비용은 FFN을 1536으로 줄인 경량 tactile expert의 K_{\mathrm{fast}} Euler 스텝이 사실상 전부다.

기여 ③: 시공간 촉각 VQ-VAE

App. C가 이 부분을 가장 자세히 적는다.

VQ-VAE 동적 힘 인코더. 손끝마다 raw 6차원 힘 벡터를 T=16 프레임 창으로 모은다. 인코더는 1D 시간 합성곱망으로, 두 개의 strided 블록으로 시간축을 계층적으로 다운샘플링한 뒤 시간 평균 풀링으로 256차원 연속 임베딩을 낸다. 이를 벡터 양자화기가 학습된 크기 K=64의 코드북에서 최근접 코드로 사상한다. 코드북은 EMA로 갱신되고, 활용도가 낮은 항목은 현재 배치 활성값에서 주기적으로 재시드해 collapse를 막는다.

여기에 두 가지 영리한 처리가 붙는다. 첫째, 대칭 디코더를 두어 원 힘 시퀀스를 복원하되 크기 가중 MSE를 쓴다 — 고접촉 프레임에 더 큰 벌점을 줘서 코드북이 “공중에 떠 있는 거의 0인 상태”에 몰리는 것을 막는다. 촉각 데이터에서 비접촉 구간이 압도적으로 많다는 점을 정면으로 다룬 처방이다. 둘째, 합성곱 가중치를 다섯 손가락이 공유하고 손가락 정체성은 학습된 임베딩으로 주입해 파라미터 효율과 확장성을 챙긴다. 결과는 손 하나당 손가락당 이산 토큰 하나 — 노이즈 많고 드리프트 있는 고차원 촉각 입력이 구조화된 “촉각 어휘”가 된다.

변형 인코더. 손끝마다 단채널 공간 변형 맵 \mathbf{d}_t가 국소 피부 변위장을 준다. 모서리·슬립·전단처럼 저차원 힘 벡터에서 원리적으로 소실되는 접촉 기하가 여기 있다. ResNet-18을 개조해 입력 스템을 단채널로 바꾸고 처음 세 residual stage만 남긴 뒤 3\times3 합성곱으로 128채널에 재투영한다. 이 인코더는 자기지도 합성곱 오토인코더로 사전학습한 뒤 정책 학습 동안 동결된다 — 정책의 학습 파라미터를 늘리지 않으면서 안정적인 기하 인지 표현을 공급하려는 선택이다.

코드에서 확인되는 것과 어긋나는 것. 공개 레포의 tactile_vqvae/는 논문 서술의 대부분을 확인해 준다 — window 16, embed_dim 256, n_strided_blocks 2, EMA decay 0.99, 200스텝마다 dead-code revival, 크기 가중 MSE(weight_alpha 2.0 → 최대 3배), 좌우 손을 독립 샘플로 취급. 그런데 코드북 크기는 세 곳이 서로 다르다. 논문 App. C는 K=64, config/vqvae_f6.yaml은 codebook_size: 256, TactileVQVAEConfig 기본값과 README는 1024(“active= near 1024/1024” 같은 문구까지 있다). 결정적으로 포스트트레이닝 스크립트가 실제로 로드하는 체크포인트 경로는 vqvae_f6_w16_k64_finger/latest.pt이고 학습 JSON 이름도 ..._train_vqvae_k64.json이다 — 논문의 K=64·per-finger가 실제 사용된 설정이 맞고, 레포의 기본 config·README가 그것과 어긋난 채 남아 있다. 기본값대로 VQ-VAE를 새로 학습하는 사람은 논문과 다른 모델을 만들게 된다. 같은 맥락에서 granularity 기본값도 "hand"(손당 토큰 1개)여서 논문의 per-finger(손당 5개)와 다르다.

직관: 왜 “\tau를 쪼개는 것”이 주파수 문제의 답이 되는가

이 논문에서 가장 음미할 만한 지점이다.

고주파 촉각 반응을 만드는 통상적인 방법은 두 갈래다. (a) 정책 전체를 빠르게 돌린다 → VLM 백본 때문에 불가능하다. (b) 빠른 반응 정책을 따로 하나 더 둔다(dual-system) → 두 정책이 서로 다른 목적함수·표현을 갖게 되고, 느린 계획과 빠른 반응이 어긋날 수 있다. 무엇을 기준으로 조율할지가 별도 설계 문제로 남는다.

T-Rex는 세 번째를 택한다. 하나의 생성 궤적을 시간이 아니라 “노이즈 수준”으로 자른다. flow matching에서 \tau가 큰 구간은 “이 청크가 대략 어디로 갈 것인가”라는 거친 구조를 결정하고, \tau가 작은 구간은 “정확히 어느 지점에 손끝을 놓을 것인가”라는 미세 조정을 결정한다. 그렇다면 거친 구조는 시각·언어가 결정해야 하고, 미세 조정은 접촉이 결정해야 한다 — 정보의 성격과 denoising 단계의 성격이 자연스럽게 대응한다.

이 대응이 성립하면 두 가지가 공짜로 따라온다. 첫째, 두 전문가가 같은 타깃 v^\star를 회귀하므로 조율 문제가 사라진다. 빠른 전문가는 느린 전문가가 하던 일을 이어서 하는 것이지, 다른 일을 하는 것이 아니다. 둘째, 빠른 틱의 비용이 구조적으로 작다. \tau_{\mathrm{split}}=0.4에서 시작하면 남은 것은 4스텝이고, 시각 타워는 이미 캐시에 들어가 있다.

Fig. 4의 실험이 이 직관을 정면으로 시험한다 — 자르는 위치를 옮기면 어떻게 되는가. 너무 일찍 자르면(K_{\mathrm{slow}} 작음) action expert가 충분한 시각운동 사전지식을 못 만들어 준 채로 넘기게 되고, 너무 늦게 자르면 tactile expert에게 촉각을 반영할 여지가 남지 않는다. 중간이 최적이라는 결과는 위 해석과 일관된다.

한 가지 대가는 분명하다. tactile expert는 raw 시각 관측을 전혀 보지 않는다(App. B: “operates completely independent of the raw visual observations”). 캐시를 통한 간접 접근만 있고, 그 캐시는 청크 내내 얼어 있다. 청크가 16스텝이고 데이터가 30 Hz니 최대 약 0.53초 낡은 시각으로 촉각 정제를 하는 셈이다. Fig. 20의 실패 유형 중 “Imprecise position”(달걀을 잡았지만 트레이에 못 넣음)과 “Object collision”(전구가 소켓과 충돌)이 정확히 시각 정렬 실패라는 점은 이 구조적 대가와 무관하지 않아 보인다.

실험 셋업: 무엇을 어떻게 쟀는가

플랫폼. 고정 베이스 양팔 Dexmate Vega-1 + 22-DoF Sharpa Wave 손 2개. 관측은 ZED 머리 카메라 + 손목 단안 2대, 그리고 손가락별 촉각 힘 벡터와 변형 맵. 액션은 팔은 상대 엔드이펙터 델타, 손가락은 절대 관절.

베이스라인 6종(App. E에 재현 세부가 전부 적혀 있다):

베이스라인	성격	재현 방식
ViTacFormer	ACT 스타일 시각-촉각 모방학습, 교차어텐션 융합 + 미래 촉각 예측	공식 구현, 태스크별 개별 학습(100 시연·100 epoch). 원래 21-DoF·커플링 관절 마스킹을 22-DoF 완전구동으로 개조
RDP	slow-fast 시각-촉각 확산 정책	공식 구현. AT(100 epoch, bs 64) → LDP(200 epoch). 10손가락 6D 힘/토크
Tactile-VLA	촉각 인지 VLA, 하이브리드 힘-위치 제어	GelSight 이미지 입력을 6D 힘/토크로 개조. Simple-MLP 촉각 인코더, 100 epoch, 8 GPU
\pi_{0.5}	대규모 사전학습 VLA	공식 OpenPI, 공개 체크포인트에서 파인튜닝. 양팔 관절공간(2\times7 + 22 DoF), horizon 16
\pi_{0.5} + tactile	위 + 촉각	상태 입력에 단일 스텝 6D 힘/토크 10개를 이어 붙임
EgoScale	대규모 egocentric 사전학습 VLA	GR00T N1.7 구현체 + nvidia/GR00T-N1.7-3B 체크포인트로 재현, 200 epoch, 8 GPU

세 가지가 눈에 띈다. ① 앞의 세 개는 전부 태스크마다 따로, 100개 시연으로 학습된 소형 정책이다. ② Tactile-VLA는 원래 GelSight 이미지를 쓰는 모델인데 이 플랫폼에 맞춰 촉각 입력 양식을 바꿔 재현했다. ③ EgoScale은 GR00T N1.7 체크포인트를 출발점으로 재현했다 — 원 EgoScale 모델 그 자체가 아니라 프록시다.

프로토콜. 12개 태스크, 태스크당 16회 시행, 물체 위치·회전을 시행마다 랜덤화. “다단계 태스크에는 진행도 기반 루브릭을 써서 부분 완료를 포착”하고, 시행 평균 → 태스크 평균 순으로 집계한다.

태스크 분류(App. F). 세 범주가 정의된다 — force-reactive(취약물 파지·압력 조절·슬립 저항처럼 접촉력 자체를 조절해야 하는 것), tactile-deformation sensitive(쌓인 컵, 표면 질감으로 구분하는 마작패처럼 센서 패드의 변형이 핵심인 것), 그리고 둘 다(삽입·추출·양손 핸드오버가 섞인 긴 시퀀스로, 가장 어려운 범주). 다만 어느 태스크가 어느 범주인지 매핑 표는 논문에 없다.

절제 실험에 반복해 등장하는 대표 6개 태스크의 키 스테이지(Fig. 8·11·12·14·17·19 몽타주) — Flip Page(검지 하나로 책장 한 장만 넘겨 펴기), Apply Toothpaste(양손으로 칫솔·치약을 잡고 짜기), Split Cup(쌓인 컵에서 정확히 한 개만 비틀어 분리), Open Lock(열쇠를 키홀에 정렬·삽입·회전), Extract Card(카드 두 장 중 아래 장을 밀어 넣고 위 장만 뽑기), Screw Lightbulb(핸드오버 후 나사산을 물려 여러 바퀴 돌려 점등).

App. F는 12개 태스크의 지시문과 채점 루브릭을 전부 적어 둔다. 몇 개만 옮기면 요구되는 접촉의 성격이 분명해진다.

• Transfer Egg — 껍질을 깨지 않고 달걀을 들어 옮긴다. 루브릭: 접촉(+0.2) / 깨지 않고 들기(+0.3) / 이송(+0.2) / 온전히 놓기(+0.3). 전형적인 force-reactive.
• Sort Mahjong — 엎어 놓인 마작패를 오른손으로 집어 촉각으로 표면 무늬를 판별하고, 왼손으로 해당 칸 뚜껑을 밀어 연 뒤 넣고 닫는다. 루브릭이 “올바른 칸 열기”에 +0.5를 몰아 준다 — 즉 촉각 분류가 점수의 절반이다. 시각으로는 원리적으로 불가능한 태스크다.
• Extract Card — 케이스에서 카드 두 장을 엄지로 부분적으로 밀어낸 뒤, 엄지와 검지로 아래 장만 다시 밀어 넣고 위 한 장만 뽑는다. 두 장의 두께 차이를 손끝으로 느끼는 것 외에 방법이 없다.
• Acid-Base Neutralization — 200 mL 구연산 용액 플라스크에서 스포이드로 약 5 mL를 뽑아, 브로모티몰 블루 지시약이 든 20 mL NaOH 비커에 적정한다. 8단계 루브릭(각 +0.1~+0.15). 12개 중 가장 긴 시퀀스다.
• Screw Lightbulb — 왼손으로 전구를 집어 오른손에 핸드오버하고, 왼손으로 소켓을 잡은 채 오른손으로 나사산을 물려 여러 바퀴 돌려 불이 켜질 때까지 조인다. T-Rex도 35%에 그친 최난이도 태스크.

실험 ①: 12 태스크 메인 비교

메인 결과(Table 1) — 12개 촉각 반응 태스크, 태스크당 16회 롤아웃 후 태스크 평균. 표 자체를 arXiv HTML에서 렌더한 것이다.

논문이 뽑아내는 관찰은 두 개다.

① 대규모 사전학습이 필수다. 100개 태스크 시연만으로 밑바닥부터 학습한 소형 정책(ViTacFormer 3, RDP 6)은 전 태스크에서 무너진다. 베이스라인 중 EgoScale이 35로 압도적으로 강한데, 손 자세 감독이 붙은 대규모 egocentric 사전학습 덕이다. 실기 로봇 데이터로만 사전학습한 \pi_{0.5}(17)·Tactile-VLA(15)를 크게 앞선다.

② 촉각을 순진하게 붙이면 오히려 해롭다. \pi_{0.5}+tactile은 17 → 6으로 떨어진다. 논문은 “효과적인 촉각 통합의 중요성을 보여 준다”고만 하고 원인은 분석하지 않는다. App. E를 보면 이 변형은 촉각 6D 힘/토크 10개를 상태 벡터에 이어 붙인 것이 전부다 — 사전학습 분포에 없던 60차원이 상태 슬롯에 갑자기 들어오면서 사전학습 표현을 망가뜨렸다고 읽는 것이 자연스럽지만, 논문에 근거는 없다.

여기서 정직하게 읽어야 할 긴장이 하나 있다. 표에서 촉각을 쓰는 방법 4종(ViTacFormer 3, RDP 6, Tactile-VLA 15, \pi_{0.5}+tactile 6) 중 셋이 촉각을 안 쓰는 EgoScale(35)보다 훨씬 낮다. 즉 이 표가 일차적으로 증명하는 것은 “촉각이 중요하다”가 아니라 “사전학습 규모가 촉각보다 먼저다”이고, 촉각의 기여는 Table 2·3의 통제 실험에서 따로 확인해야 한다.

실험 ②: 촉각 모달리티·아키텍처 절제

촉각 모달리티·아키텍처 절제(Table 2) — 대표 6개 태스크. 괄호는 전체 모델(65) 대비 평균 하락폭(%p).

읽히는 것을 정리하면:

• 촉각 전면 제거가 압도적으로 크다(−23). 특히 Extract Card 70→34, Open Lock 47→23으로 반토막이다. 두 태스크 모두 시각으로는 접근할 수 없는 미세 접촉 판별이 핵심이다. 반대로 Flip Page는 96→76으로 상대적으로 덜 떨어진다 — 책장 넘기기는 시각만으로도 상당 부분 되는 태스크라는 뜻이다. 태스크별 하락폭의 편차 자체가 “어느 태스크가 진짜 촉각 태스크인가”를 말해 준다.
• 표현 설계의 기여는 작다. VQ-VAE 시간 인코더를 빼고 MLP + 변형만 쓰면 −7, 변형만 쓰면 −11, 힘만 쓰면 −6. 세 값이 6~11%p 사이에 몰려 있고 서로 겹친다.
• 비동기 제거는 −5로 가장 작다. 이 논문의 대표 기여 중 하나인데 절제 효과가 가장 작은 항목이라는 점은 짚어 둘 만하다.

논문이 대조하지 않은 흥미로운 비교가 하나 있다. Table 2의 “w/o Tactile”(42)와 Table 3의 “사전학습 ✓ / 미드트레이닝 ✗”(45)는 같은 6개 태스크, 같은 프로토콜이다. 태스크별로 나란히 놓으면:

	Flip Page	Apply Toothpaste	Split Cup	Open Lock	Extract Card	Screw Lightbulb	Avg
w/o Tactile (T2)	76	39	58	23	34	20	42
w/o Mid-training (T3)	88	40	52	22	46	20	45

즉 “미드트레이닝은 했지만 촉각을 뺀” 모델이 “미드트레이닝을 아예 안 한” 모델보다 평균적으로 낮다. 이 6개 태스크에 한해서는 “촉각 없는 100시간 미드트레이닝”이 이득을 만들지 못했다는 뜻으로 읽힌다. 단, Table 2의 “w/o Tactile” 구성이 미드트레이닝을 포함하는지 논문이 명시하지 않으므로 이 해석은 확정이 아니다. 그럼에도 두 표를 나란히 놓았을 때 생기는 이 질문은 논문이 답했어야 할 것이다 — 촉각과 미드트레이닝 데이터의 기여가 분리되지 않고 얽혀 있을 가능성을 시사하기 때문이다.

실험 ③: 어디서 잘라야 하는가

캐스케이드 분기점 절제(Fig. 4) — K_{\mathrm{slow}}\in\{1,2,4,6,8\}(N=10 고정이므로 \tau_{\mathrm{split}}=1-K_{\mathrm{slow}}/10). Apply Toothpaste 62/65/66/66/64, Split Cup 71/74/75/78/73, Extract Card 66/65/68/70/68. 세 태스크 모두 K_{\mathrm{slow}}=6 근방이 최고다.

곡선 모양은 §5.3의 설명(“중간이 최적”)과 맞는다. 그런데 변동 폭을 보라. Apply Toothpaste는 62~66으로 4%p 안에서 움직이고, Extract Card는 65~70으로 5%p 안이다. 태스크당 16회 시행에서 이 정도 차이는 노이즈와 구별되지 않는다 — 부분 점수 루브릭이라 이진 성공률보다 분산이 작을 여지는 있지만, 분산·신뢰구간·시드가 하나도 보고되지 않아 독자가 판단할 근거가 없다. Split Cup만이 71→78→73으로 상대적으로 뚜렷한 봉우리를 보인다.

실험 ④: 데이터셋 설계가 정말 중요한가

미드트레이닝 데이터셋 절제(Fig. 6) — 파랑: T-Rex 데이터셋 미드트레이닝, 초록: 예산을 맞춘 100시간 태스크 특화 데이터(11개 태스크에서 수집), 보라: 미드트레이닝 없음. 왼쪽은 포스트트레이닝 6태스크, 오른쪽은 zero-shot 4태스크(pick·slide·press·wipe primitive에 해당하는 쉬운 태스크).

이 그림이 이 논문에서 가장 통제가 잘 된 실험이다. 데이터 예산(100시간)을 맞춘 상태에서 구성만 바꿔 비교한다.

읽힌 값으로 평균을 내면:

• 포스트트레이닝 6태스크 — T-Rex 데이터셋 (96+66+78+47+70+35)/6 = 65.3, 태스크 특화 (91+50+72+39+64+29)/6 = 57.5, 미드트레이닝 없음 (88+40+52+22+46+20)/6 = 44.7.
• zero-shot 4태스크 — Pick Cube 45 / 15 / 5, Flip Page 20 / 5 / 0, Press Button 35 / 10 / 5, Wipe Plate 10 / 0 / 0.

두 가지가 분명해진다. 첫째, 미드트레이닝 자체의 효과가 크다(44.7 → 57.5, +12.8%p). 둘째, T-Rex 데이터셋의 “구성”이 주는 추가 이득은 포스트트레이닝 태스크에서는 +7.8%p로 상대적으로 온건하다. 100시간을 태스크 특화로 모아도 절반 이상의 이득은 얻는다는 뜻이다.

그런데 zero-shot에서는 이야기가 완전히 달라진다. Pick Cube는 45 vs 15로 3배, Flip Page는 20 vs 5로 4배, Wipe Plate는 10 vs 0이다. 여기가 “동사 × 명사 조합으로 모은다”는 설계 철학이 값어치를 증명하는 지점이다 — 포스트트레이닝으로 덮을 수 있는 태스크에서는 데이터 구성이 덜 중요하고, 덮을 수 없는 새 태스크에서 결정적이다. 논문의 서술(“stronger generalization and zero-shot transfer”)은 정확하지만, 헤드라인 수치가 포스트트레이닝 태스크에서 나온다는 점을 감안하면 데이터셋 구성의 기여는 헤드라인보다 작고, 대신 다른 축(일반화)에서 크다고 읽는 편이 정직하다.

데이터 효율(Fig. 5) — 포스트트레이닝 시연 수 10→200. 파랑: 촉각 접지 미드트레이닝 있음, 초록: 없음. Apply Toothpaste 29/51/60/66/71 vs 9/18/30/34/36, Split Cup 36/59/70/78/85 vs 17/33/42/52/55, Extract Card 26/48/60/70/78 vs 12/20/36/46/50.

곡선을 보면 저데이터 구간에서 격차가 가장 크다. 시연 10개일 때 Apply Toothpaste는 29 vs 9로 3배 이상이고, 200개까지 늘려도 71 vs 36으로 2배 격차가 유지된다. 뒤집어 말하면 미드트레이닝 없는 모델은 시연을 20배 늘려도(10→200) 미드트레이닝 모델의 시연 20개 수준(51)을 겨우 넘어선다(36). 미드트레이닝의 값어치를 “데이터 절감”으로 환산해 보여 주는 좋은 그림이다.

부수적 확인 하나 — 시연 100개 지점의 파란 값(66 / 78 / 70)이 Table 1·2·3의 전체 모델 값과 정확히 일치한다. 포스트트레이닝 시연 수가 100개라는 §4.3의 서술과 표들이 일관된다.

실험 ⑤: 학습 레시피와 “30%p”의 분해

학습 레시피 절제(Table 3) — 대표 6개 태스크. ✗/✓는 사전학습·미드트레이닝 유무. 18 → 34(미드트레이닝만) → 45(사전학습만) → 65(둘 다).

각 단계의 한계 기여를 계산하면 흥미롭다.

• 아무것도 없음: 18
• 미드트레이닝만 추가: 18 → 34 (+16)
• 사전학습만 추가: 18 → 45 (+27)
• 둘 다: 65 (단독 합 18+16+27=61보다 4 큼)

즉 두 단계가 초가법적이다. 인간 사전학습이 준 시각운동 사전지식을, 미드트레이닝이 로봇 실행 가능한 접촉 동역학으로 접지시킬 때 곱셈 효과가 난다는 §5.3의 서사와 맞다.

이제 헤드라인 30%p를 분해해 보자. 초록은 “최강 베이스라인보다 평균 성공률 30% 이상 높다”고 하고 결론은 “평균 성공률 30% 능가”라고 한다. 정확히는 65 − 35 = 30%p이고 상대비로는 1.86배다(“over 30%”라는 표현은 %p로 읽으면 정확히 30이라 “over”가 아니고, 상대비로 읽으면 85.7%라 크게 넘는다 — 어느 쪽이든 표현이 헐겁다).

원문 안에서 가능한 분해는 이렇다.

1. EgoScale(35) → T-Rex 사전학습만(45): +10%p. 두 모델은 같은 22,889시간 egocentric 사전학습 레시피를 쓰지만(§4.3이 EgoScale [70]을 따른다고 명시), Table 1의 EgoScale은 GR00T N1.7 체크포인트 기반 재현이다. 이 10%p는 아키텍처 차이 + 재현 충실도가 뒤섞인 값이고, 논문이 분리하지 않는다.
2. 사전학습만(45) → 전체(65): +20%p. 미드트레이닝 + 촉각 전문가 + 비동기 캐스케이드의 합.
3. 그 안에서 데이터 구성의 몫은 약 +7.8%p(Fig. 6, T-Rex 65.3 vs 태스크 특화 57.5), 촉각 모달리티의 몫은 최대 +23%p(Table 2), 비동기의 몫은 +5%p(Table 2).

이 숫자들은 서로 다른 절제 축이라 단순 합산이 되지 않고, 위에서 지적한 “w/o Tactile(42) < w/o Mid-training(45)” 때문에 촉각과 미드트레이닝의 몫이 분리되지도 않는다. 원문만으로 30%p의 출처를 깔끔히 귀속시킬 수는 없다는 것이 정직한 결론이다.

실패 분석: 무엇이 아직 안 되는가

실패 사례 6종(Fig. 20) — 왼쪽에서 오른쪽이 실행 진행, 마지막 열은 실패 순간의 확대(빨간 상자가 문제의 접촉).

App. H가 유형별로 자기 진단을 붙인다. 이 절이 이 논문에서 가장 솔직한 부분이다.

1. Object collision (Screw Lightbulb) — 전구를 잡은 뒤 소켓에 넣지 못하고 베이스와 충돌. 진단: 미세한 시각 정렬이 부족하고, 지나치게 빠른 모션 실행이 충돌을 부른다.
2. Slipping off (Open Lock) — 열쇠를 밀어 잡는 데는 성공하나 이후 파지력을 유지하지 못해 떨어뜨림. 진단: 작은 물체 파지와 in-hand 조작의 정교함 부족 — 텔레옵 데이터 분포에서 기인.
3. Imprecise position (Transfer Egg) — 힘 피드백으로 달걀은 온전히 잡았으나 트레이에 정확히 놓지 못함. 진단: 행동 복제(BC)에 내재한 분포 이동.
4. Multi-finger friction (Sort Mahjong) — 올바른 상자를 골랐으나 엄지 위치가 낮아 옆 패에 닿아 두 상자를 동시에 열어 버림. 진단: 손가락 단위 협응 부족.
5. Excessive force (Apply Toothpaste) — 튜브를 너무 세게 눌러 치약이 과다 배출. 진단: 순차 예측 메커니즘에 내재한 과도한 힘 제어.
6. Sliding misalignment (Extract Card) — 카드를 슬롯에서 뽑을 때 균일한 힘을 못 냄. 진단: 시간 축의 촉각 조건화를 더 강화해야 함.

⑤는 특히 자기비판적이다 — 액션 청크를 미리 뽑아 실행하는 구조 자체가 힘 조절에 불리하다는 인정이고, 이는 촉각 전문가가 4틱만 개입한다는 설계의 한계와 직결된다.

비판적으로 보면

강점

• 문제 진단과 처방이 일대일로 맞는다. 데이터·주파수·표현 세 병목을 세우고 데이터셋·MoT·VQ-VAE로 정확히 대응시킨다. 논문 구조가 논지를 따라 흐르고, 각 기여마다 대응하는 절제 실험이 있다.
• “\tau를 쪼갠다”는 재배치가 우아하다. 두 전문가가 같은 속도 타깃을 공유하므로 dual-system이 겪는 조율 문제가 정의상 사라지고, action expert를 (0,1] 전 구간에서 계속 학습시켜 단독 능력과 사전학습 호환성을 유지한다. 촉각 전문가를 나중에 얹을 수 있는 구조라는 뜻이기도 하다.
• 학습-배포 불일치를 분포로 맞췄다. 지연 증강 \delta\sim\mathrm{Uniform}\{0,4,8,12\}가 배포 오프셋과 정확히 같은 집합이다. 비동기 구조에서 가장 흔한 실패(학습 시 완벽 동기 → 배포 시 낡은 맥락)를 선언이 아니라 데이터 증강으로 막았다.
• 데이터셋 절제가 예산을 맞춘 통제 실험이다(Fig. 6). “우리 데이터가 더 많아서 좋다”가 아니라 “같은 100시간을 어떻게 구성하느냐”를 물었다. 로봇 데이터셋 논문에서 이 통제는 드물고, zero-shot 격차(45 vs 15)라는 명확한 답까지 나왔다.
• 촉각 표현의 실무적 처방들이 구체적이다. 크기 가중 MSE로 비접촉 상태의 코드북 점유를 막고, EMA + dead-code revival로 collapse를 막고, 손가락 간 가중치 공유 + 정체성 임베딩으로 확장성을 챙긴다. 촉각 데이터의 특성(대부분이 무접촉)을 정면으로 다룬 설계다.
• 데이터셋 문서화가 성실하다. 조합 생성 → 실현 가능성 프루닝 → 정제 → VLM 자동 주석 + 사람 검수까지 파이프라인이 적혀 있고, 윤리 항목(3자 피험자 없음, 텔레옵 손이 찍힌 프레임 클리핑, 동의 취득)까지 다룬다.
• 실패 분석이 자기비판적이다(App. H). “순차 예측 메커니즘에 내재한 과도한 힘 제어”, “BC의 분포 이동” 같은 진단은 자기 방법의 구조적 한계를 지목한다.
• 재현 경로가 실제로 열려 있다. 코드·체크포인트·데이터가 전부 MIT다. 베이스라인 재현 세부(App. E)가 학습률·에폭·배치·GPU 수까지 적혀 있어 이 정도로 성실한 부록은 흔치 않다.

약점·한계

• “성공률”이 실제로는 부분 점수 루브릭이다. App. F의 12개 태스크가 전부 additive rubric으로, 하위 단계마다 +0.1~+0.5를 나눠 준다. 즉 Table 1의 “96%”는 “96%의 시행에서 성공”이 아니라 “루브릭 점수의 96%를 획득”이다. 베이스라인과 동일 기준이므로 비교는 공정하지만 절대값의 의미가 다르다 — 예컨대 Transfer Egg 75는 “4번 중 3번 성공”이 아니라 “달걀은 대체로 온전히 들지만 트레이에 넣는 마지막 +0.3에서 자주 실패”일 수 있다(실제로 Fig. 20의 진단이 그렇다). 게다가 §5.1은 “다단계 태스크에 progress-based rubric”이라고 쓰고 App. F는 “additive 또는 progress-based 중 하나”라 하면서 12개 전부에 additive만 제시한다 — 원문 내부 불일치다.
• 태스크당 16회는 논문의 작은 주장들을 지탱하지 못한다. Table 2의 −5(비동기)·−6(힘 인코더)·−7(VQ-VAE)와 Fig. 4의 4~5%p 봉우리는 이 표본 크기에서 통계적으로 구별되지 않는다. 분산·신뢰구간·시드·반복 학습이 하나도 보고되지 않는다. 절제 실험이 6개 태스크로 축소되어 있어 유효 표본은 96회다.
• 시뮬레이션이 전혀 없다 = 외부 재현 경로가 사실상 없다. 평가가 전부 실기이고, 필요한 것은 Dexmate Vega-1 + Sharpa Wave 손 2개 + ZED 3대 + Manus 글러브 + VIVE 트래커다. 코드가 열려 있어도 결과를 검증할 수 있는 집단이 극소수다. 학습 쪽도 H100 24장이 필요하다. 촉각 시뮬레이터가 성숙해 가는 흐름(Tactile Genesis)을 감안하면, 최소한 일부 태스크의 시뮬 대응물이라도 있었으면 좋았다.
• 실시간성이 핵심 주장인데 지연·주파수 실측이 하나도 없다. “~5 Hz / ~20 Hz”는 Fig. 1과 Fig. 3의 그림 라벨에만 있고 본문·부록 어디에도 없다. App. B는 “상당한 계산 절감”을 주장하지만 wall-clock 표가 없다. 게다가 공개된 배포 설정(hardware_code/config/default.yaml)을 그대로 계산하면 숫자가 맞지 않는다 — command_hz: 30.0, chunk_size: 16, execute_steps_per_chunk: 16, refine_offsets: [4, 8, 12]이므로 느린 틱은 30/16 \approx 1.9 Hz, 빠른 틱은 30/4 = 7.5 Hz다(4:1 비율은 맞다). 그림의 절대 수치가 다른 설정을 가리키는 것인지, 아니면 개략적 표기인지 원문만으로는 확정할 수 없다.
• tactile expert가 raw 시각을 전혀 보지 못한다. App. B가 명시하듯 촉각 전문가는 시각 관측과 완전히 독립이고, 얼어붙은 KV 캐시로만 간접 접근한다. 청크 내내 최대 ~0.53초 낡은 시각으로 미세 정제를 하는 셈이다. Fig. 20의 “Object collision”·“Imprecise position”이 정확히 시각 정렬 실패인 것은 우연으로 보기 어렵다. 이 트레이드오프에 대한 절제(예: 빠른 틱에 저해상도 손목 이미지를 주면?)가 없다.
• 촉각의 기여와 미드트레이닝 데이터의 기여가 분리되지 않는다. 위에서 본 대로 Table 2의 w/o Tactile(42)이 Table 3의 w/o Mid-training(45)보다 낮다. 두 표의 구성이 정확히 대응하는지 논문이 명시하지 않아 확정할 수는 없지만, “촉각 없는 100시간 미드트레이닝은 이 6태스크에서 이득이 없다”는 읽기가 가능하다. 논문의 두 축(데이터·촉각)이 독립적으로 기여한다는 서사와 긴장 관계다.
• 촉각 베이스라인이 전부 불리한 조건에 놓였다. ViTacFormer·RDP는 태스크당 100 시연으로 밑바닥부터 학습했고(3, 6점), Tactile-VLA는 원래 GelSight 이미지 입력을 6D 힘 벡터로 바꿔 재현했다(15점). 이 방법들이 원 논문에서 쓰던 센서·데이터 규모와 다른 조건이므로, “T-Rex가 촉각 방법들을 크게 앞선다”는 결론은 아키텍처 우위가 아니라 사전학습 규모 차이를 주로 반영한다. 논문도 첫 번째 관찰에서 이를 인정하지만, 그렇다면 표의 아래 세 줄은 정보량이 크지 않다.
• 최강 베이스라인 EgoScale이 프록시다. App. E가 밝히듯 GR00T N1.7 구현체 + nvidia/GR00T-N1.7-3B 체크포인트로 재현했다. T-Rex 자신의 사전학습이 EgoScale 레시피를 따르므로(§4.3) 이상적인 통제군은 “같은 사전학습 + 미드트레이닝 없음”인데 그건 Table 3의 45이고, Table 1의 EgoScale은 35다. 이 10%p 격차의 출처가 설명되지 않는다.
• VQ-VAE 자체의 검증이 없다. 코드북 활용률·perplexity·재구성 오차가 하나도 보고되지 않는다(레포의 eval.py는 이 지표들을 뽑도록 되어 있는데도). 코드북 크기 K의 절제도 없다. 게다가 논문(K=64)·기본 config(256)·README(1024)가 서로 다른 값을 말한다 — 실제 사용된 체크포인트 경로가 vqvae_f6_w16_k64_finger이므로 논문 값이 맞지만, 기본값대로 재학습하면 다른 모델이 나온다. granularity 기본값이 "hand"(논문은 per-finger)인 것도 같은 종류의 함정이다.
• 범주별 결과가 없다. App. F가 force-reactive / deformation-sensitive / 둘 다라는 세 범주를 정의하고 §5.2가 “모든 태스크 범주에서 최고”라고 쓰는데, 어느 태스크가 어느 범주인지 매핑도, 범주별 집계도 없다. 촉각의 종류별 기여를 볼 수 있었을 자리가 비어 있다.
• 하드웨어 종속이 깊고, 논문도 인정한다. §7이 센서 왜곡·기기 간 캘리브레이션 드리프트·손바닥 촉각 부재를 한계로 든다. 표현이 Sharpa Wave의 6축 렌치 + 변형 깊이 맵에 특화되어 있어 GelSight·DIGIT 같은 광학 촉각으로의 전이는 시험되지 않았다 — 이종 센서 통합은 UniTouch 계열이 다루는 정확히 그 문제다.
• 데이터 공개 범위가 본문 서술과 다르다. App. G는 raw 스트림·파생 표현·언어 주석을 로더와 함께 릴리스하겠다고 하지만, 실제 공개분은 5,464 에피소드 · 50.7시간으로 시간 기준 절반이다. 짧은 에피소드에 치우쳐 있어(공개 33.4초 vs 전체 46.4초) 긴 다단계 태스크가 상대적으로 덜 포함됐을 가능성이 있다.
• 작은 수치 불일치들. ① 조합당 시연 수 — 7,755/502 = 15.45인데 논문은 “약 16”, 프로젝트 페이지는 “약 17”이라 한다. ② 에피소드 길이 — 100시간/7,755 = 평균 46.4초인데 중앙값 29.8초·IQR 21.0–41.1초다. 산술적으로 불가능하진 않지만 매우 두꺼운 오른쪽 꼬리를 요구한다. ③ App. E는 \pi_{0.5} 베이스라인을 [5](\pi_0, Black et al. 2024)로 인용하는데 Table 1은 [32](\pi_{0.5}, Physical Intelligence 2025)로 인용한다. ④ §5.3 본문은 “\tau_{\mathrm{split}}을 변화시킨다”고 쓰고 Fig. 4는 “K_{\mathrm{slow}}”를 축으로 쓴다(N=10 고정이면 등가지만 표기가 어긋난다). ⑤ App. G에 “10 weekss” 오타.
• 미래 시각 잠재 예측 목적의 절제가 없다. \lambda_{\mathrm{future}}=0.5로 손실의 한 축을 차지하는데 이걸 빼면 어떻게 되는지 실험이 없다. 코드에서 그 정체가 FLARE(참고문헌 [71])임이 드러나지만 논문 본문은 이름조차 밝히지 않고, latent expert 자체의 필요성도 검증되지 않았다.

관련 연구와의 자리 매김

egocentric 사전학습 계보에서 T-Rex는 EgoScale의 직계 후속이다. §4.3이 명시적으로 EgoScale을 따라 22,889시간 인간 영상으로 latent·action expert를 사전학습하고(이 단계에는 촉각 전문가가 없다), 저자진도 상당수 겹친다. T-Rex = EgoScale + 촉각 접지 미드트레이닝 + tactile expert라고 보는 것이 가장 정확하다. 같은 계보에서 UniDex가 인간 영상으로 범용 손 제어를 노리고, EgoHumanoid가 로봇 없는 egocentric 시연으로 loco-manipulation을 노렸다면, T-Rex는 그 사전지식 위에 접촉 채널을 얹는 층을 새로 정의한 셈이다.

촉각 VLA 계보에서는 베이스라인들이 곧 이웃이다. Tactile-VLA가 VLM에 내재한 물리 지식(softly/hard 같은 힘 관련 언어)을 촉각으로 접지시켰다면, T-Rex는 언어적 접지 대신 제어 주파수 쪽 문제를 골랐다. TacFiLM이 FiLM 방식으로 촉각을 VLA에 융합한 것과 비교하면, T-Rex의 융합은 별도 전문가 + 별도 denoising 구간이라는 훨씬 구조적인 분리다. RDP(Reactive Diffusion Policy)는 slow-fast라는 아이디어를 공유하지만 태스크 특화 모방학습·평행 그리퍼에 머물렀고, T-Rex는 그것을 사전학습된 파운데이션 모델 위에 올렸다.

같은 하드웨어를 쓴 선행 연구로 Sharpa Fruit / MoDE-VLA가 있다. Sharpa 손 + 양팔 + 접촉 풍부 태스크 + Mixture-of-Dexterous-Experts라는 구성이 놀라울 만큼 가깝다(그쪽은 촉각·힘 피드백을 전용 경로와 잔차 주입으로 VLA 백본에 넣는다). 두 논문을 나란히 놓으면 “촉각을 VLA에 어떻게 넣을 것인가”라는 같은 질문에 대한 두 답 — 전용 경로 + 잔차 주입 vs 별도 전문가 + denoising 구간 분할 — 을 비교할 수 있다. 다만 T-Rex는 이 선행을 인용하지 않는다.

촉각 표현 계보에서 VQ-VAE 토큰화는 이 논문의 상대적으로 덜 검증된 축이다. UniTouch가 이종 촉각 센서를 하나의 표현으로 묶는 방향을, Tactile Genesis가 시뮬레이션에서 촉각을 대규모로 만드는 방향을 대표한다면, T-Rex는 단일 센서·실기 데이터·시간 이산화라는 좁고 깊은 선택을 했다. §7이 스스로 “이종 촉각 센서에 걸친 통합 표현”을 향후 과제로 드는 것은 정확히 앞의 두 방향과 만나는 지점이다.

주파수 문제 쪽에서는 dual-system VLA(\pi_0·GR00T N1 계열)와 대비된다. 그쪽이 모듈을 분리했다면 T-Rex는 생성 궤적을 분할했다. 결과적으로 두 전문가가 같은 타깃을 공유하므로 조율 문제가 사라지는 대신, 빠른 쪽이 시각을 못 보게 되는 대가를 진다. 어느 트레이드오프가 나은지는 아직 열려 있고, 이 논문의 비동기 절제가 −5%p에 그쳤다는 사실은 그 질문이 아직 결판나지 않았음을 보여 준다.

요약

T-Rex의 핵심은 고주파 촉각 반응을 시간축이 아니라 denoising 축에서 만든다는 재배치다. flow matching 궤적을 \tau_{\mathrm{split}}=0.4에서 잘라 위 60%는 시각·언어를 보는 무거운 action expert에게, 아래 40%는 시각 타워를 건너뛰고 KV 캐시만 재사용하는 경량 tactile expert에게 맡긴다. 두 전문가가 같은 속도 타깃을 공유하므로 dual-system의 조율 문제가 정의상 없고, action expert가 전 구간을 계속 학습하므로 대규모 egocentric 사전학습 자산을 버리지 않는다. 여기에 태스크가 아니라 동사 × 명사(22 primitive × 207 물체 → 502 조합)로 모은 100시간 촉각 동기화 데이터셋과, 힘 이력을 이산 토큰으로 압축하는 시공간 VQ-VAE가 붙는다.

정량적으로 단단한 것은 촉각 전면 제거(65 → 42, Table 2), 학습 레시피의 초가법성(18/34/45/65, Table 3), 그리고 예산을 맞춘 데이터셋 비교(Fig. 6) 셋이다. 특히 마지막 것은 zero-shot에서 3~4배 격차를 보이며 데이터 설계 철학의 값어치를 분명히 한다. 반면 헤드라인 30%p는 촉각만의 몫이 아니다 — EgoScale(35) → 사전학습만(45)의 10%p는 재현 차이가 섞여 있고, 촉각과 미드트레이닝의 몫은 Table 2·3을 나란히 놓으면 오히려 얽혀 보인다.

유보도 분명하다. 태스크당 16회에 분산 보고가 없어 작은 절제 차이(−5, −6, −7)는 지탱되지 않고, 실시간성이 논지의 절반인데 지연 실측이 하나도 없으며 그림에만 있는 “~5 Hz / ~20 Hz”는 공개 배포 설정의 계산값(~1.9 / 7.5 Hz)과 맞지 않는다. VQ-VAE는 자체 검증(활용률·재구성 오차·K 절제)이 전무하고, 논문·config·README의 코드북 크기가 각각 64/256/1024로 어긋나 있다. 시뮬레이터가 없어 이 결과를 외부에서 확인할 수 있는 집단은 매우 좁다.

그래도 방향은 설득력 있다. “촉각을 사전학습에 넣지 말고 미드트레이닝 층을 새로 만들어라”와 “빠른 반응을 별도 정책이 아니라 같은 생성 궤적의 아래쪽 구간으로 만들어라”는 두 처방은 모두 기존 자산을 버리지 않으면서 새 모달리티를 얹는 방법이고, 이 분야에서 반복적으로 옳았던 원칙이다. 다음 판본에서 보고 싶은 것도 분명하다 — 태스크당 시행 수 확대와 분산 보고, 지연·주파수 실측, VQ-VAE 자체 검증, 범주별 결과, 그리고 이종 촉각 센서로의 전이. 데이터·코드·체크포인트가 열려 있으니 이 유보 중 몇 개는 하드웨어를 가진 팀이라면 곧 확인할 수 있다.

🔬 재현 후기: 공개 자산으로 어디까지 확인되는가

이 리뷰를 쓴 뒤, 공개된 코드·체크포인트·데이터셋을 RTX 5090 한 장짜리 로컬 머신에서 실제로 돌려 봤다. 위 “약점·한계”에서 원문만으로는 확정할 수 없다고 적어 둔 항목들 — 지연 실측, VQ-VAE 자체 검증, 코드북 설정 불일치 — 을 숫자로 메우는 것이 목적이었다. 명령·로그·스크립트는 별도 레포에 남겼다(curieuxjy/T-Rex, private 미러 + EXPERIMENTS.md·CODE-NOTES.md).

먼저 범위를 분명히 해 둔다. 논문의 12태스크 성공률은 Dexmate Vega-1 + Sharpa Wave 손 2개 + 10개 손끝 촉각 센서를 요구한다. 그 하드웨어가 없으므로 성공률은 애초에 재현 시도 대상이 아니었다 — 아래 어느 항목도 “재현 실패”가 아니고, 저자의 실기 결과를 반박하지 않는다. 확인한 것은 로봇 없이 도달 가능한 부분(데이터셋 스키마, 촉각 VQ-VAE, 체크포인트 포워드, slow/fast 프로토콜, 지연, 촉각 반응성)뿐이다. 포스트트레이닝도 데이터 경로까지만 재현했다 — 4.25B 파라미터에 단일 GPU AdamW는 bf16 가중치 8.5GB + 그래디언트 8.5GB + fp32 모멘텀 34GB를 요구해 32GB VRAM으로는 성립하지 않는다.

환경 이야기는 한 문단이면 끝난다. 레포가 핀한 torch 2.6.0+cu124 휠에는 sm_120 커널이 없어(get_arch_list()가 sm_90에서 끝난다) Blackwell에서 torch.cuda.is_available()은 True를 돌려주면서 첫 matmul에서 no kernel image is available for execution on the device로 죽는다. torch 2.7.1+cu128(+ torchvision 0.22.1)로 올리면 해결되고, 나머지 핀은 하나도 깨지지 않았다 — transformers 4.57.3을 포함해 전부 그대로 돈다.

체크포인트는 실제로 4.25B다

공개 미드트레인 체크포인트(model.pt, 7.92 GiB, 이미 bf16)를 로드하면 4.25B 파라미터다. 백본 이름의 “2B”가 아닌 이유는 MoT 그 자체다 — 어텐션·MLP 블록마다 latent/action/tactile 세 벌이 들어 있다(qwen_vla/modeling_qwen3vl_mot.py). 로드 결과는 missing=0, unexpected=0으로 1,412개 텐서가 전부 매칭됐고(랜덤 초기화된 부분이 없다), 추론 VRAM은 약 9.0 GiB다. 4.25B가 32GB 소비자 GPU 한 장에서 추론까지 도는 것은 좋은 소식이다.

여기 닿기까지 upstream 버그를 두 개 고쳐야 했다. ① scripts/test.py가 모델을 fp32로 먼저 구성한 뒤(4.25B → 약 17 GiB) 8 GiB 블롭을 로드하고 나서야 bf16으로 캐스트해, 30GB 호스트에서는 커널이 프로세스를 죽인다(bf16 기본 dtype으로 구성 + mmap=True 로드로 우회). ② 서버 워밍업이 단일손 하드코딩 np.zeros((5, 6))이라 양손 체크포인트의 60차원 통계와 브로드캐스트가 안 맞아 shapes (30,) (60,)로 크래시한다(손가락 수를 체크포인트 통계에서 유도하도록 수정). 공개된 체크포인트가 양손인데 워밍업이 단일손인 것은 릴리스 점검이 덜 된 흔적이다.

지연: 논문 라벨보다 낮지만, 배포 config보다는 높다

위에서 “~5 Hz / ~20 Hz는 Fig. 1·3의 그림 라벨에만 있고 실측이 없다”고 지적했는데, 이제 실측값을 놓을 수 있다. 실제 로봇 대신 합성/데이터셋 관측을 ZMQ 와이어 포맷 그대로 밀어 넣어 세 모드를 모두 구동했다.

항목	논문(그림 라벨)	공개 배포 config 계산값	RTX 5090 실측(중앙값)
slow(action) 틱	~5 Hz	1.88 Hz	256.4 ms → 3.90 Hz
fast(tactile) 틱	~20 Hz	7.5 Hz	117.0 ms → 8.55 Hz
slow_and_fast (청크 시작)	—	—	377.9 ms → 2.65 Hz
청크 형상	16 × 62	chunk_size 16, dual_arm	(16, 62) ✓

즉 소비자 GPU 한 장이 이미 공개 배포 설정이 요구하는 속도(1.88 / 7.5 Hz)를 넘어선다. 게다가 이 측정은 같은 GPU에서 다른 사용자의 IsaacSim 학습(약 11.3 GiB)이 돌던 중에 잰 것이라 하한값이다. 반대로 논문 그림의 “~5 / ~20 Hz”에는 못 미친다 — H100급 하드웨어를 가정한 값이거나 개략 표기일 텐데, 공개 코드만으로는 여전히 재구성되지 않는다. 4:1 비율이라는 구조적 주장은 실측에서도 유지된다.

⭐ “Tactile-Reactive”를 직접 재 보면

가장 궁금했던 것은 이것이다. 빠른 틱이 정말로 촉각에 반응해서 액션을 바꾸는가? 프로토콜은 단순하다 — mode="slow"를 한 번만 보내 KV 스냅샷과 \hat{\mathbf{x}}_{\tau_{\mathrm{split}}}을 얼려 놓고, 그 다음 mode="fast" 요청들을 촉각 창만 바꿔 보낸다. 시각·언어·경계 상태가 전부 고정이므로 출력 차이는 전부 tactile expert의 몫이다. 비교 척도는 반환된 16\times62 청크의 free-air 대비 상대 MAD다.

촉각 조건 (16×[10,6] F6 창)	합성 관측	실제 에피소드 관측
press_lo (전 손끝 3 N)	0.20 %	0.15 %
press_hi (15 N)	0.43 %	0.37 %
ramp (창 동안 0→15 N)	0.44 %	0.28 %
ramp_rev (시간 역순)	0.24 %	0.18 %
real_early / real_late (실데이터 F6)	0.28 % / 0.28 %	0.11 % / 0.13 %
동일 입력 3회 반복 산포	0 (완전 결정적)	0 (완전 결정적)

그 다음이 이 절의 핵심이다. 같은 서버·같은 프로토콜에서 촉각 대신 카메라 프레임만 바꿔 스케일을 재 봤다.

교란	반환 청크의 상대 MAD
카메라 프레임 312 → 0	47.5 %
카메라 프레임 312 → 570	34.3 %
어떤 촉각 변화든 (실관측)	≤ 0.37 %

약 100배 차이다. 촉각 입력을 무접촉에서 전 손끝 15 N까지 흔들어도 액션은 0.4% 미만으로 움직이는데, 시각 프레임 하나를 갈아 끼우면 34~47%가 바뀐다.

이게 내 프로브의 결함이 아니라는 것은 대조 절제가 보증한다. --disable_tactile 1로 서버를 띄우면 fast 경로가 117 ms → 0.0026 ms로 붕괴한다(약 45,000배). 이 모드에서는 _run_fast가 계산 없이 self.last_actions를 그대로 돌려주기 때문이다. 즉 평상시의 117 ms는 tactile expert가 실제로 연산한 시간이 맞다. 정리하면 — 돌긴 확실히 도는데, 액션을 거의 안 바꾼다. 반응이 0인 것도 아니다. 힘 크기 순서대로 응답이 커지고(press_lo < press_hi), ramp와 그 시간 역순이 서로 다른 출력을 낸다(직접 비교 시 상대 MAD 0.23%). 방향성은 살아 있고 크기가 없다.

과하게 읽지 않기 위한 유보 세 가지를 반드시 함께 적어 둔다.

1. 이건 미드트레인 체크포인트다. 공개된 것이 이것뿐이고, 논문의 성공률은 태스크별로 포스트트레이닝된 정책에서 나온다. 포스트트레이닝이 촉각 경로를 날카롭게 만들 가능성을 배제할 수 없다.
2. 오프라인 개루프 측정이다. 실제 관측 프레임과 실제 10손끝 변형 맵을 썼지만 실로봇 폐루프가 아니고, 저자의 평가 벤치(머리 크롭 박스, 테이블 높이 0.76 m) 조건과도 다르다.
3. 설계상 상한이 있다. cascaded_split_step=6 / cascaded_total_steps=10이므로 tactile expert는 흐름의 마지막 40%만 적분한다. 청크를 크게 움직일 수 없도록 구조가 이미 제한하고 있다.

그러니 이 결과는 “논문의 성공률이 틀렸다”가 아니다. 정확히 말하면 “공개된 체크포인트에서는 촉각의 액션 기여가 관측되지 않았다”이다. 그럼에도 Table 2의 “w/o Tactile” 하락폭(−23%p)이 이 체크포인트에서 재현될 만한 크기의 의존성으로는 보이지 않는다는 점은 기록해 둘 만하다. 하드웨어를 가진 팀이 포스트트레이닝된 정책에 같은 프로브를 돌리는 것이 이 질문의 결말일 것이다.

VQ-VAE는 잘 재현되고, “시간성” 주장은 지지된다

논문이 자체 검증을 하나도 싣지 않은 촉각 토크나이저는, 반대로 로봇 없이 완전히 재현되는 유일한 기여다. 공개 데이터 슬라이스(456 에피소드 · 459,560 프레임 · 4.26시간)를 학습 포맷으로 변환해 RTX 5090 한 장에서 16분(10 에폭 × 865 스텝) 학습했다. 하이퍼파라미터는 레포 기본값이 아니라 공개 체크포인트의 training_args.json을 따랐다(granularity="finger", codebook_size=64, window=16) — 위 본문에서 지적한 64/256/1024 불일치가 실무에서 정확히 문제가 되는 지점이다.

전체 226,722개 창에 대한 평가 결과:

지표	값
재구성 MSE (정규화 공간)	0.008827
코드북 perplexity	24.48
활성 코드	64 / 64 (100 %)
최빈 코드 점유율	13.4 %
F6 크기 사분위별 MSE	1.47e-4 / 1.05e-3 / 7.54e-3 / 2.66e-2

사분위를 따라 오차가 단조 증가하는 것은 크기 가중 MSE가 의도대로 작동한다는 증거다(저접촉 구간을 정밀하게, 고접촉 구간을 관대하게 재구성). 코드북 붕괴도 없다.

저자 공개 tokenizer를 8 GiB 체크포인트에서 추출해 정면으로 비교했다. 두 모델의 q01/q99가 달라 각자의 정규화 공간 MSE는 비교 불가라, 양쪽을 raw F6 단위로 역정규화한 뒤 같은 76,800개 창에서 쟀다.

	재현본 (4.26 h 공개 슬라이스, 16분)	공개본 (~100 h 코퍼스)
raw 재구성 RMSE	0.5277	0.6257
사분위별 RMSE	0.051 / 0.191 / 0.540 / 0.885	0.045 / 0.190 / 0.503 / 1.129
perplexity	23.97	20.53
활성 코드	64/64	64/64

재현본이 이 슬라이스에서 오히려 낫다. 당연하다 — 정확히 이 분포로 학습했으니까(공개본은 q0~q2에서 더 좋고 최고힘 사분위에서만 진다). 요점은 “저자를 이겼다”가 아니라 소비자 GPU 16분이면 같은 품질 등급의 토크나이저가 나온다는 것이다.

그리고 논문의 “시공간” 주장을 확인한 결과가 하나 있다. 16프레임 force ramp와 그 시간 역순은 주변 통계가 동일하므로, 정적 인코더라면 반드시 같은 코드로 사상해야 한다. 두 tokenizer 모두 다른 코드를 뱉었다.

tokenizer	codes(ramp)	codes(reversed)
재현본	[16, 9, 32, 55, 31]	[13, 9, 23, 55, 31]
공개본	[21, 21, 21, 16, 52]	[21, 21, 21, 21, 52]

즉 시간 인코딩이 실제로 시간 순서를 담는다. 위 촉각 반응성 결과와 나란히 놓으면 그림이 선명해진다 — 촉각 표현은 논문 주장대로 작동하는데, 그 표현이 액션까지 전달되는 경로가 이 체크포인트에서는 거의 비어 있다.

곁가지로 나온 사실: 접촉 프레임이 62.3%다

공개 슬라이스 456 에피소드(459,560 프레임)에서 접촉 여부를 셌다(에피소드별 기준선을 뺀 뒤 \lVert\Delta F\rVert_2 > 0.5인 손끝이 하나라도 있으면 접촉). 결과는 전체 프레임의 62.3%가 접촉 프레임이고, 에피소드의 89.7%가 10% 넘게 접촉한다. 이는 레포 tactile_vqvae/README.md가 크기 가중 MSE의 근거로 드는 서술(“F6 분포는 free-air가 지배적, ~60–70%”)과 정반대다. README가 말하는 것은 비공개 100시간 미드트레인 코퍼스일 수 있으니 모순이라 단정할 수는 없지만, 공개된 50시간에서는 접촉이 지배적이라는 사실은 크기 가중 설계의 전제를 다시 볼 이유가 된다. (덧붙여 F6에는 에피소드별 0.01~15.3 규모의 상수 바이어스가 있어 “힘 ≈ 0”은 유효한 접촉 판정이 아니다 — 기준선 차감이 필수다.)

재현 후기의 결론

로봇 없이 도달할 수 있는 곳까지 가 보면, 이 논문의 인프라는 놀랄 만큼 잘 열려 있다. 4.25B 체크포인트가 1,412/1,412 텐서로 깨끗이 로드되고, slow/fast 프로토콜이 배포 config가 요구하는 속도 이상으로 돌고, 촉각 토크나이저는 16분이면 같은 품질로 재현되며, 그 “시공간” 주장은 실제로 지지된다. 이 정도로 재현 가능한 촉각 VLA는 드물다.

동시에 가장 확인하고 싶었던 것이 확인되지 않았다. 논문 제목의 “Reactive”에 해당하는 촉각→액션 경로가, 공개 미드트레인 체크포인트에서는 시각 대비 약 1/100의 영향력만 보인다. 이것이 미드트레인 단계의 특성인지, 오프라인 개루프 프로브의 한계인지, 아니면 실제로 촉각의 기여가 논문이 시사하는 것보다 작은 것인지 — 공개 자산만으로는 가릴 수 없다. 논문에 대한 나의 평가를 뒤집을 근거는 아니지만, 저자들이 포스트트레이닝된 체크포인트를 하나만 더 공개하면 즉시 결판나는 질문이기도 하다.