📃DexTacWAM 리뷰

DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation

• Paper Link (arXiv:2609.24976): 이 리뷰는 v1 (2026-09-21) 기준이다. 그림 번호는 PDF 번호를 따른다. arXiv HTML은 teaser에 번호를 붙이지 않아 HTML의 Figure N이 PDF의 Figure N+1이다.

• Project Page

• Code Link (github.com/dextacwam/DexTacWAM): 3단계 학습·오프라인 추론 코드는 main, 실기 배포 서버는 deploy 브랜치에 있다. 라이선스는 단일 Apache-2.0이 아니다. 자체 코드는 Apache-2.0이고 Genie-Envisioner에서 가져온 파일은 CC BY-NC-SA 4.0이며, README가 받으라고 안내하는 백본 가중치 GE_base_fast_v0.1은 LTX-Video Open Weights License다(README·NOTICE 기준, 확인 시점 커밋 4f7c5a8, 2026-10-20).

• Weights & Data (Hugging Face): 1단계 촉각 인코더 가중치, 488 에피소드 사전학습 코퍼스, 6개 평가 과제 시연 데이터(모두 Apache-2.0 표기). 2단계 world model과 3단계 action expert 체크포인트는 공개하지 않는다.

• Haoran Yuan, Zekai Wang, Boning Shao, Haoran Lu, Trevor Darrell, Ismini Lourentzou, Wei Zhan (UIUC · UC Berkeley · Northwestern)

• arXiv preprint, 2026

1. 💡 비디오 기반 World-Action Model(WAM)은 보이는 장면의 변화만 예측하고 접촉·미끄러짐·파지 안정성은 모델링하지 않는다. DexTacWAM은 다지(多指) 손의 촉각을 world state의 일부로 넣어 시각과 함께 예측하게 만든다.
2. ⚙️ 손가락마다 촉각 이미지를 얼린 비디오 VAE로 인코딩하고, 손가락·손 자세를 아는 압축기로 손당 하나의 latent(5:1)로 줄여 비디오 DiT에 “추가 시점(view)”으로 붙인다. 행동 expert는 world model의 한 번의 forward pass 특징을 modality별 K/V RMS 정규화를 거쳐 읽는다.
3. 🎯 22-DoF Sharpa 손 두 개를 단 양팔 플랫폼의 6개 과제(과제당 20회)에서 평균 70.6 vs 38.0(최강 베이스라인 RDP). 촉각 world modeling을 빼면 4과제 평균이 74.7 → 26.6으로 떨어진다. 압축은 학습 2.26×, 추론 1.29× 가속.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 정책에 비디오 world model을 붙이는 WAM 계열은 “다음에 장면이 어떻게 보일지”를 예측하며 행동을 만든다. 그런데 집게로 방울토마토를 잡을 때 잡혔는지, 병뚜껑에서 엄지가 미끄러지는지는 카메라에 거의 보이지 않는다. 촉각을 world model에 넣은 선행 연구(VTAM, VT-WM, OmniVTA)는 있지만, 논문이 지적하듯 대부분 평행 그리퍼나 단순한 엔드이펙터에서 연구됐다. 손가락 10개에서 동시에 들어오는 촉각을 손가락 정체성·접촉 위치·손 자세와 함께 다루는 문제는 비어 있었다.

DexTacWAM의 핵심 주장은 한 문장이다. 촉각을 정책의 보조 입력으로 쓰지 말고, 예측해야 할 world state의 일부로 만들어라. 이를 위해 사전학습된 비디오 world model(Genie-Envisioner 계열 2B DiT)을 거의 그대로 두고, 촉각을 그 모델이 이미 다룰 줄 아는 형태, 즉 “이미지 latent의 추가 시점”으로 번역해 넣는다.

전체 개요(Fig. 1). 왼쪽: 3단계 학습 레시피. ① 얼린 비전 VAE 위에서 촉각 인코더만 4시간 분량 데이터로 적응 ② 사전학습 비디오 모델을 과제당 약 100개 시연으로 시각-촉각 world model로 미세조정 ③ 같은 시연으로 무작위 초기화한 action expert 학습. 가운데: 손가락 10개 스트림을 손 latent 2개로 압축하는 압축기와 한 번의 forward pass 구조. 오른쪽: 6개 과제와 RDP 대비 점수.

핵심 방법론:

손가락 i의 단채널 촉각 지도 o^\tau_{t,i}를 1\times1 회색→RGB 어댑터에 통과시킨 뒤 얼린 비디오 VAE로 인코딩한다(Eq. 1). 손마다 5개 손가락 latent를 손가락 임베딩·손 자세 쿼리와 함께 self-attention으로 풀링해 손 latent \hat z^{\tau,L},\hat z^{\tau,R} 하나씩으로 만든다(Eq. 2). 이 둘을 시각 latent z^v 옆에 view 축으로 이어 붙이고, DiT가 두 modality를 함께 denoise하도록 modality를 나눈 flow-matching 손실로 학습한다(Eq. 3):

\mathcal{L}_{\mathrm{wm}}=\lambda_v\,\mathbb{E}\big\|v_\theta(s_\sigma,\sigma)_{[:V_v]}-(\epsilon-z^v)\big\|_2^2+\lambda_\tau\,\mathbb{E}\big\|v_\theta(s_\sigma,\sigma)_{[V_v:]}-(\epsilon-\hat z^\tau)\big\|_2^2

V_v는 카메라 시점 수, 그 뒤가 촉각 시점이다. 행동 expert는 world model 특징을 cross-attention으로 읽는데, 시각·촉각 K/V를 따로 파라미터 없는 RMSNorm으로 정규화한 뒤 다시 이어 붙인다(Eq. 4):

\widetilde x=\big[\mathrm{RMS}_v(x_{[:V_vL]})\,\|\,\mathrm{RMS}_\tau(x_{[V_vL:]})\big],\qquad h^a=\mathrm{Attn}^a(h,\widetilde x)

행동 목표는 손가락별 힘(10×6 = 60차원)·팔 상대 엔드이펙터 자세·손 목표·다음 고유수용 상태를 한 벡터로 묶어 단일 flow-matching MSE로 학습한다(Eq. 5). 힘은 학습 목표로만 쓰이고 배포 때 입력으로 들어가지 않는다(App. A.7).

주요 결과:

• 6개 과제(Table 1, 과제당 20회): DexTacWAM 평균 70.6. 베이스라인은 RDP 38.0, \pi_{0.5} 27.5, Genie Envisioner(GE) 27.3, ViTacFormer 18.2. 6개 과제 모두 최고점. 격차가 가장 큰 곳은 Tongs(60 vs 10).
• 통계(§4.1): 이진 채점 4과제를 합치면 55/80(68.8%, Wilson 95% CI [57.9, 77.8]) vs RDP 24/80(30.0%, [21.1, 40.8]), Fisher exact p=1.59\times10^{-6}.
• 핵심 절제(Table 2): 촉각 예측을 world model에서 빼고 인코딩된 촉각 특징을 행동 expert에 직접 넣으면 4과제 평균 74.7 → 26.6. K/V RMS 정규화를 빼면 행동 expert가 아예 수렴하지 않는다.
• 압축기(Table 3): 압축 후 접촉 recall을 압축 전 대비 89.4% 유지(cross-attention 풀링은 62.9%). DiT 토큰 3168 → 864(3.67×), 청크당 지연 363.0 → 281.6 ms(1.29×, RTX 4090), 학습 3.87 → 1.71 s/iter(2.26×).
• 시각 예측 보존(Table 5): 촉각을 붙여도 미래 RGB의 PSNR 변화가 Cube Handover +0.06 dB, Two-Hand Wipe −0.07 dB이며 짝지은 95% CI가 각각 [−0.16, +0.28], [−0.49, +0.36] dB.

결론:

이 논문의 가치는 “촉각을 넣으면 좋아진다”가 아니라 “같은 촉각 정보를 정책 입력으로 주는 것과 world model이 예측하게 하는 것은 다르다”는 통제 비교에 있다. 거기에 촉각을 비디오 latent 문법으로 번역해 기존 비디오 사전학습을 거의 손대지 않고 재사용한 설계, 손가락 10개를 손 2개로 줄여 비용을 낮춘 압축기가 붙는다. 다만 그 핵심 절제는 예측 목표뿐 아니라 촉각이 DiT를 거치는 경로까지 함께 뺀 비교이고(공개 설정의 주석으로 확인), 베이스라인과 행동 공간이 다르며, 과제당 20회 단일 실행이라 6개 과제 중 2개는 통계적으로 최강 베이스라인과 구별되지 않는다. 아래 Ring에서 하나씩 짚는다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

촉각을 “보는” 정책과 촉각을 “예측하는” 모델은 다르다. DexTacWAM은 다지 손의 촉각을 비디오 world model이 이미 아는 언어(이미지 latent의 추가 시점)로 번역해 시각과 함께 예측하게 만들고, 그 예측을 학습한 표현을 한 번의 forward pass로 행동 expert에 넘긴다.

배경: 왜 다지 손의 촉각 world model이 비어 있었나 (§1, §2)

논문 서론은 세 가지 공백을 든다.

① WAM은 시각 중심이다. 비디오 world model과 VLA는 보이는 장면의 변화를 잘 모델링하지만, 접촉·미끄러짐·파지 안정성 같은 물리 변수는 카메라로 부분적으로만 관측된다. 다지 손에서는 손 자세와 손-물체 접촉 기하가 바뀌며 여러 손가락의 접촉을 동시에 조율해야 하므로 문제가 더 커진다.

② 기존 시각-촉각 world model은 그리퍼에 머문다. 논문이 가장 가깝다고 꼽는 연구들과의 관계를 정리하면 이렇다.

연구	촉각을 어떻게 쓰나	미래 시각 예측	엔드이펙터	이 논문과의 관계
VTAM (Yuan et al. 2026)	사전학습 비디오-행동 모델에 촉각 스트림 추가	있음	단순 엔드이펙터(논문 표현)	같은 제1저자의 선행작. 베이스라인에 없음
VT-WM (Higuera et al. 2026)	미래 시각·촉각 관측을 함께 예측	있음	그리퍼	베이스라인에 없음
OmniVTA (Zheng et al. 2026)	짧은 구간 접촉 변화 예측	있음	그리퍼	베이스라인에 없음
ViTacFormer (Heng et al. 2025)	ACT/CVAE 정책 안의 보조 헤드로 미래 촉각 토큰 예측	없음	다지 손	베이스라인
RDP (Xue et al. 2025)	손끝 6-D wrench를 정책 입력으로	없음	그리퍼(원 논문)	베이스라인, “가장 가까운” 비교 대상
Genie Envisioner (Liao et al. 2025)	촉각 없음	있음	(이 논문에서는 같은 다지 플랫폼)	베이스라인, 같은 백본(README 기준)
DexTacWAM	손가락별 촉각 지도를 world state로 예측	있음	다지 손 ×2

③ 시각과 촉각 데이터의 비대칭. 사람 영상은 넘치지만 촉각은 물리적 상호작용과 이질적인 하드웨어가 필요해 비싸다. 그래서 촉각 world model을 밑바닥부터 사전학습하기보다 시각 사전학습을 촉각으로 확장하자는 동기가 나온다. 이것이 제목의 세 번째 기여인 “continual vision-to-touch learning”이다.

ViTacFormer와의 차이를 논문은 이렇게 적는다(§2.2). ViTacFormer는 미래 촉각을 예측한 뒤 그 예측을 다시 행동 생성에 넣는 forecast-then-act 구조이고 미래 시각은 예측하지 않는다. DexTacWAM은 시각·촉각을 하나의 world state로 함께 예측하되, 행동 expert는 완전히 denoise된 미래가 아니라 world model 한 번의 forward pass 특징을 받는다. 논문은 이것이 “forecast-then-act 설계에는 없는 예측 깊이 대 지연의 트레이드오프”를 만든다고 쓴다. 이 트레이드오프를 실험으로 재지는 않는다(아래 약점 절).

방법 0: 문제 설정과 두 블록 구조 (§3, Fig. 2)

매 시점 t에 로봇은 RGB o^v_t, 손가락·양손에 분포한 촉각 o^\tau_t, 손 고유수용 상태 q_t를 관측하고 행동 a_t를 실행한다. 시각 latent를 z^v_t, 압축된 양손 촉각 latent를 \hat z^{\tau,L}_t,\hat z^{\tau,R}_t라 하면 world state는

s_t=\{z^v_t,\ \hat z^{\tau,L}_t,\ \hat z^{\tau,R}_t\}

이다. world model은 이 결합 state 위의 동역학을 배우고, 행동 모델은 그 표현에 조건을 걸어 행동을 낸다.

전체 구조(Fig. 2). 왼쪽 World-Model Transformer(×N): 시각·왼손 촉각·오른손 촉각 토큰이 modality별 self-attention과 공유 cross-modality self-attention을 거쳐 예측 latent를 만든다. 오른쪽 Action Model(×N): 상태 토큰을 받아 world model latent에 cross-attention하되, 그 직전에 Vision RMS·Tactile RMS로 K/V를 따로 정규화한다. 출력은 힘·행동·다음 상태 예측.

그림에서 하나 짚을 점이 있다. Fig. 2의 입력은 “Head-View Camera Stream” 하나로 그려져 있지만, 실험에서는 과제에 따라 머리+양 손목 카메라까지 3개 시점을 쓴다(Table 1의 H/L/R). 구조는 view 축으로 시점을 이어 붙이는 방식이라 카메라 수가 늘면 view도 늘어나고(공개 설정의 양손 과제는 카메라 3 + 촉각 손 2 = 5 view), 그림은 가장 단순한 구성만 보여 준다. 그림의 “per-modality self-attention”도 코드에서는 view별 self-attention(카메라 각각, 손 각각)이고, 모든 view의 토큰을 한데 모으는 joint attention은 DiT 28블록 중 10블록(3블록마다 하나)에서만 일어난다. 모순은 아니지만 시각과 촉각이 섞이는 지점이 생각보다 드물다는 뜻이다.

방법 1: 촉각을 이미지로 읽는다 (§3.1, App. A.5)

설계의 첫 결정은 촉각 VAE를 새로 학습하지 않고 사전학습된 비디오 VAE(LTX)를 손가락별 촉각 특징 추출기로 재사용하는 것이다. 근거는 촉각 지도의 성질이다. 접촉 영역·변형 패턴·가장자리 같은 공간적으로 조직된 국소 구조를 가지므로 이미지형 latent 인코딩과 잘 맞는다. 게다가 VAE를 공유하면 촉각 latent가 처음부터 비디오 diffusion world model과 같은 latent 공간에 들어간다.

접촉 전후의 원시 관측(Fig. 7, Two-Hand Wipe). 위: 머리·왼손목·오른손목 카메라. 아래: 손가락 10개의 촉각 이미지. 각 손끝은 변형 가능한 마커 격자의 회색조 이미지를 돌려주고, 접촉은 스칼라 힘이 아니라 격자의 국소적인 압축·전단으로 나타난다. 오른쪽 블록에서 판을 잡은 왼손 엄지와 지우개를 누르는 오른손 엄지의 격자가 찌그러진 것이 보인다.

이 그림이 설계 전체의 전제를 보여 준다. 이 센서는 카메라 기반(vision-based) 촉각 센서라 출력이 애초에 이미지다. 그러니 이미지 VAE 재사용이 자연스럽다. 이 전제는 뒤의 일반화 논의에서 다시 중요해진다.

비디오 VAE는 3채널을 기대하므로 1\times1 회색→RGB 어댑터 \phi_{g\to rgb}를 앞에 둔다. 초기값은 회색조를 세 채널에 복사하는 것과 같다(Eq. 7). 그 뒤 VAE 인코더는 얼린 채 통과시킨다:

z^\tau_{t,i}=E_{\mathrm{VAE}}\big(\phi_{g\to rgb}(o^\tau_{t,i})\big)

즉 촉각 적응은 VAE latent 공간을 바꾸지 않고 어댑터와 그 뒤의 압축기에서만 일어난다.

방법 2: 손가락·자세를 아는 5:1 압축기 (§3.2, App. A.5, Fig. 3)

손가락 10개 스트림을 전부 world model 입력 시점으로 넣으면 토큰 수와 계산이 커진다. 압축기는 손마다 5개 손가락 latent를 손 latent 하나로 합치되 손가락 정체성·손 자세·시간적 접촉 변화를 보존하려 한다.

다지 촉각 인코더(Fig. 3). 손가락 5개 → 회색→RGB 1×1 conv → 손가락 간 공유하는 얼린 Vision VAE → 손가락별 위치 임베딩 주입 → self-attention 풀링(5:1)·TimeSformer·자세 조건을 갖춘 압축기 → 손 latent. 압축 전(손가락별)·압축 후 두 개의 tactile flow 디코더가 재구성 손실로 latent에 국소 접촉 정보가 남도록 감독한다. 그림은 손실을 L_1으로 그리지만 공개 코드는 flow 크기에 따라 가중한 MSE다(아래 코드와 대조).

부록 A.5의 식으로 따라가면 압축은 공간-시간 셀 단위의 집합 인코딩이다. 셀 (t,h,w)마다 손 쿼리 1개와 손가락 토큰 5개로 6토큰 집합을 만든다(Eq. 11). 손가락 토큰에는 학습 가능한 손가락 임베딩 e_i, 손 쿼리에는 공간 편향 p_{h,w}를 더하고, 작은 self-attention 집합 인코더를 통과시킨 뒤 손 쿼리 출력만 남긴다(Eq. 12). 학습 안정화를 위해 이 출력은 손가락 softmax 가중 평균에 대한 잔차 보정으로 더해지고, 초기값은 균일 평균에서 출발한다(Eq. 13):

\tilde z_{t,h,w}=\sum_{i=1}^{5}\mathrm{softmax}(\ell)_i\,z^\tau_{t,i,h,w}+\alpha\,\tilde z^{\mathrm{set}}_{t,h,w}

손 자세는 자세 인코더 E_q를 거쳐 손 쿼리에 더해지는데, 그 게이트 \alpha_q는 0으로 초기화된다(Eq. 14). 마지막으로 시간 축(T_\mathrm{lat})과 공간 축(H'W')을 나눠 attention하는 가벼운 divided space-time refinement를 역시 0 초기화 잔차 게이트로 붙인다(Eq. 15). 즉 세 장치(집합 인코더·자세 주입·시간 정제) 모두가 “균일 평균”이라는 항등에 가까운 출발점에서 잔차로 켜지는 구조다. 학습 초기에 압축기가 정보를 망가뜨리지 않게 하려는 보수적 설계로 읽힌다.

압축 출력의 크기는 \hat z^{\tau}\in\mathbb{R}^{C\times T_\mathrm{lat}\times H'\times W'}, C=128, H'\times W'=6\times8이고, 시간 길이는 시각 latent 트랙에 맞춘다(Eq. 10):

T_\mathrm{lat}=\mathrm{mem\_size}+\left\lfloor \tfrac{\mathrm{chunk}}{8}\right\rfloor+1

토큰 수 검산(내 계산). Table 8의 설정(memory frames 4, chunk 9)을 넣으면 T_\mathrm{lat}=4+1+1=6이고, 시점 하나의 토큰은 6\times6\times8=288이다. 압축 전 11개 시점이면 288\times11=3168, 압축 후 3개 시점이면 288\times3=864로 §4.1의 수치와 정확히 맞는다. 공개 데이터셋 카드의 촉각 이미지 크기 192×256(손가락당)에 비디오 VAE의 32배 공간 압축을 적용하면 6×8이 나오는 것과도 정합한다(데이터셋 카드 기준, 논문에는 해상도가 없다).

방법 3: 촉각을 “추가 카메라”로 붙인 world model (§3.3)

world model 쪽 변경은 의외로 작다. 왼손·오른손 촉각 latent를 시각 latent 옆에 view 축으로 이어 붙여, DiT가 V=V_v+V_\tau개 시점을 받게 한다. DiT 구조는 그대로이고, 원래 있던 cross-view self-attention이 시각과 촉각 토큰을 엮는다. 학습은 깨끗한 결합 latent s^\mathrm{clean}=[z^v\|\hat z^\tau]에 노이즈 수준 \sigma\in(0,1]로 가우시안 노이즈를 섞고 flow-matching 속도 v_\theta\approx\epsilon-s^\mathrm{clean}를 맞추는 것이며, 손실은 위 Ping의 Eq. 3처럼 시각 시점과 촉각 시점에 나눠 건다(Table 8에서 \lambda_v=\lambda_\tau=1.0).

이 선택의 의미는 크다. 촉각을 위한 새 모듈을 world model 안에 만들지 않았으므로, 사전학습된 비디오 DiT의 가중치를 처음부터 그대로 쓸 수 있다. 공개 README에 따르면 그 출발점은 Genie-Envisioner의 GE_base_fast_v0.1이다. 논문 본문은 백본의 정체를 “pretrained video model”이라고만 쓰고, GE와 “백본 규모가 같다”(App. A.2)고만 적는다.

방법 4: modality별 K/V 정규화와 통합 행동 목표 (§3.4)

행동 expert의 난점을 논문은 분포 불일치로 설명한다. 시각 latent는 조밀하고 장면 전역 정보를 담는 반면 촉각 latent는 희소하고 접촉에 민감하다. 이 둘을 하나의 cross-attention K/V로 그대로 이어 붙이면 modality 간 K/V 분포가 어긋나 최적화가 불안정해지고, 논문 실험에서는 아예 수렴하지 않았다. 처방은 Eq. 4다. attention 직전에 K/V 시퀀스를 시각·촉각 구간으로 나눠 각각 파라미터 없는 RMSNorm을 걸고 다시 이어 붙인다. attention 모듈 자체는 공유하고, 학습 가능한 modality 게이트나 별도 경로를 만들지 않는다. 논문은 이것이 “attention softmax에서 시각이 지배하는 것을 줄인다”고 쓴다.

행동 목표는 연속 벡터 하나다.

a_t=\big[f^{1:N}_t,\ a^{\mathrm{arm}}_t,\ a^{\mathrm{hand}}_t,\ s^{\mathrm{prop}}_t\big],\qquad \mathcal{L}_{\mathrm{act}}=\mathbb{E}_\sigma\big\|v^a_\theta(h,\sigma)-(\epsilon_a-a_t)\big\|_2^2

• 힘 블록 f: 손가락 N=10개 × 6-D 힘 관련 목표 = 60차원.
• 팔 블록: 청크 시작 시점의 측정 자세 대비 상대 엔드이펙터 자세. 논문은 이 선택이 예측 목표를 중심화·스케일 안정화하며 “양손 handover처럼 미세한 상대 정렬이 필요한 과제에서 가장 중요하다”고 쓴다(이 문장은 뒤의 베이스라인 공정성 논의에서 다시 나온다).
• 전체 차원은 194(App. A.6). 블록별 차원 분해는 힘 60 외에는 적혀 있지 않다. 이 194는 공개된 6개 과제 설정 어느 것과도 맞지 않는다(아래 「코드와 대조」 절).

App. A.7이 강조하는 사실 하나가 있다. 배포 때 행동 모델은 힘을 입력으로 받지 않는다. 힘은 학습 때 통합 행동 목표의 일부로만 들어가, 행동 모델이 촉각을 무시하지 못하게 하는 보조 감독 역할을 한다. 공개 코드도 같다. 상태 토큰의 행동 칸은 0으로 채워진다. 예측된 힘이 저수준 제어에 쓰이는지는 논문에 없는데, 공개 배포 서버를 보면 쓰이지 않는다. 양손 과제 기준 226칸 중 로봇에 명령으로 나가는 것은 팔 상대 EE 자세(9×2 = 18칸, 서버에서 절대 자세로 합성)와 손 목표 관절(44칸)의 62칸뿐이고, 힘·팔 관절 목표·미래 상태는 학습 손실에만 들어간다.

방법 5: Continual vision-to-touch learning, 3단계 학습 (§3.5, App. A.6)

항목	Stage 1: 촉각 인코더 적응	Stage 2: world model 미세조정	Stage 3: 행동 학습
학습 모듈	GrayToRGB, 압축기, 자세 인코더, TimeSformer, 보조 헤드	DiT world-model 백본	DiT 백본과 action expert
동결 모듈	LTX 비전 VAE	촉각 인코더, LTX VAE, 텍스트 인코더	촉각 인코더, LTX VAE, 텍스트 인코더
초기화	압축기 warm start	사전학습 비디오 DiT + Stage-1 촉각 인코더	과제별 Stage-2 체크포인트 + 새 action expert
데이터	diverse-488 코퍼스(약 4시간, 488 에피소드)	과제 시연(과제당 약 100개)	같은 과제 시연
배치(프로세스당 / 유효)	16 / 16, 단일 GPU	16 / 64, DDP (공개 설정은 ZeRO-2)	16 / 64, ZeRO-2 또는 단일 GPU
학습률 / weight decay	1e-4 / 1e-4	3e-4 / 1e-5	5e-5 / 1e-5
샘플링	T\in\{1,9\}	chunk 9, action chunk 54, memory 4	동일
손실 가중	\lambda_\mathrm{loc}=1.0, \lambda_\mathrm{loc\_pre}=0.3	\lambda_v=\lambda_\tau=1.0	action loss 1.0

공통: AdamW (0.9,0.95), 1K 스텝 warmup 후 상수 학습률, BF16. Table 8은 Stage 1에 gradient clipping이 없다(“–”)고 적지만 공개 코드는 1.0으로 clip한다. Stage 1은 flow 재구성 목표에 “square-root-magnitude-aware” flow 가중을 쓰고, Stage 2·3은 조건 프레임 노이즈 0.1, caption dropout 0.06을 쓴다(Table 8).

제목의 “continual”이 가리키는 것은 두 가지 생략이다. Stage 2에서 비디오 모델에 별도의 촉각 midtraining을 하지 않고 과제 시연으로 곧장 미세조정하며, Stage 3의 action expert도 행동 사전학습 없이 무작위로 초기화한다. 논문이 데이터 효율을 강조할 때 드는 근거가 이 둘이다.

표에서 본문이 말하지 않는 사실이 하나 보인다. Stage 3에서 DiT 백본도 학습되는데, 그때 손실은 행동 손실 하나뿐이다(Table 8의 Stage 3 손실 가중은 “Action loss scale 1.0”만 있다). 공개 코드가 이를 확인해 준다. Stage 3(action_full)은 DiT 전체와 action expert를 학습하고 영상·촉각 손실은 계산하지 않는다. 게다가 Stage 3에서는 미래 프레임 자리가 순수 노이즈다. 미래 프레임은 마지막 메모리 프레임의 복제로 채워지고 영상 쪽 노이즈 수준이 1.0으로 고정되어, 깨끗한 것은 메모리 4프레임뿐이다. 즉 행동 expert가 읽는 “예측적 시각·촉각 특징”은 노이즈뿐인 미래 토큰 위치에서 WM 각 블록이 내는 hidden state다. 본문 §3.5는 “새 action expert를 초기화해 학습한다”고만 써서 이 구조가 드러나지 않는다. 배포 시점의 “world model”은 Stage 2에서 시각·촉각 예측을 배운 뒤 행동 손실로 추가 조정된 백본이다. 시각·촉각 예측 능력이 Stage 3 이후에도 유지되는지, Table 4·5의 예측 품질이 어느 단계 체크포인트에서 측정됐는지는 적혀 있지 않다.

직관: 예측은 추론 때가 아니라 학습 때 일한다

DexTacWAM의 행동 expert는 미래 시각도 미래 촉각도 끝까지 denoise하지 않는다. world model을 한 번 통과한 특징만 읽는다. 그렇다면 “촉각을 예측한다”는 말은 추론 시점에 무엇을 하는가.

가장 자연스러운 해석은 Fast-WAM이 비디오에 대해 세운 가설의 촉각판이다. Fast-WAM은 WAM의 이득이 “테스트 때 미래를 그려 보는 것”이 아니라 “학습 때 미래를 예측하도록 배운 것”에서 온다고 주장했고, 추론 때 미래 비디오 브랜치를 떼어도 성능이 거의 유지됨을 보였다. DexTacWAM도 구조상 같은 쪽에 서 있다. 프로젝트 페이지 Q&A는 이를 명시적으로 쓴다. “diffusion denoising은 시각·촉각 예측 표현을 배우는 자기지도 학습 목표를 제공하고, 추론 때는 한 번의 forward pass가 예측 특징을 준다.” 즉 촉각 예측 손실은 “다음 순간 접촉이 어떻게 변할지 알아야 맞출 수 있는 표현”을 백본에 강제하는 학습 신호이고, 행동 expert는 그 표현을 읽는다.

공개 코드는 이 해석을 더 단단하게 만든다. 앞 절에서 본 대로 Stage 3과 추론에서 미래 토큰 자리는 순수 노이즈이고, 추론은 10스텝 행동 denoising 중 첫 스텝에서만 WM을 돌려 블록별 hidden state를 캐시한 뒤 나머지 9스텝은 행동 expert만 돈다. “촉각을 예측한다”는 말은 추론 시점에 미래를 그리는 것이 아니라, Stage 2에서 예측을 배운 백본이 노이즈 미래 자리에 남기는 표현을 읽는다는 뜻이다.

이렇게 보면 핵심 절제(촉각 world modeling 제거)는 Fast-WAM의 “비디오 co-training 제거”와 비슷한 자리에 놓인다. 다만 아래 절제 절에서 보듯 DexTacWAM의 절제는 학습 목표 하나만 뺀 것이 아니다.

한편 Long-WAM은 미래 latent를 일부 denoise한 뒤 행동을 뽑는 반대 선택을 했다. DexTacWAM은 Q&A에서 “완전 denoise는 계산·지연을 크게 늘리고 우리 설정에서 제어 이득이 제한적”이라고 쓰지만, 그 “제한적 이득”을 보여 주는 실험은 논문에 없다.

실험 셋업 (§4)

플랫폼. 논문은 “multi-finger 22-DoF Sharpa tactile sensors”를 단 양팔 다지 조작 플랫폼이라고만 쓴다. 22-DoF는 센서가 아니라 손 하나의 자유도이고, 팔·카메라 모델·제어 주파수·텔레옵 장비는 논문에 없다. 공개 데이터셋 카드는 “Dexmate torso with two Sharpa Wave dexterous hands”, 30 fps, 상태 58차원이라고 적는다. 같은 버클리 그룹의 T-Rex가 같은 조합(Dexmate Vega-1 + Sharpa Wave 2개, 상태 58 = 2×(팔 7 + 손 22))을 썼으므로 사실상 같은 플랫폼으로 보인다(필자 추정, 논문은 명시하지 않는다).

과제와 채점(§4, App. A.1).

과제	카메라	채점	무엇을 시험하나	성공 기준 요약
Cube Place w/ Occlusion	H	이진	팔이 큐브를 가리는 상황	큐브를 테이블에서 들어 올림
Cube Handover	H+L+R	가산(1/3씩 3단계)	양손 전달, 파지 안정성	집기 · 전달 · 내려놓기
Two-Hand Wipe	H+L+R	가산(0.2씩 5단계)	장시간 접촉·압력 유지	판 고정 · 지우개 파지 · 닦기 · 완전 삭제 · 내려놓기
Tongs	H+R	이진	도구를 통한 힘 제어	집게로 방울토마토를 으깨거나 떨어뜨리지 않고 접시로 옮기고 집게 반납
Bowl	H+R	이진	엄지-검지 마찰로 그릇 분리	맨 위 그릇만 분리해 들어 올림
Bottle Cap	H+L+R	이진	마찰 + 회전 토크	병을 세운 채 뚜껑 완전 분리

카메라 접근은 과제별로 정하되 같은 과제 안에서는 모든 방법이 같다. Cube Place는 근접 시점으로 가림을 풀지 못하도록 머리 카메라만 쓴다. 이진 4과제는 뒤의 통계 분석에서 합쳐진다. 논문이 적지 않은 사실 하나를 공개 설정이 알려 준다. Cube Place·Tongs·Bowl은 오른손 전용 레이아웃으로, 오른손 촉각 하나만 world model에 들어가고(힘 목표도 30차원) 한쪽 팔은 마스킹된다. “손끝 10개를 손 2개로”라는 서술은 Handover·Wipe·Bottle Cap 세 과제에만 해당한다. 작은 관찰 하나를 덧붙이면, 과제 이름은 “Cube Place”이고 프로젝트 영상도 집어서 다시 내려놓는 장면까지 보여 주지만, 채점은 들어 올리기만 본다(App. A.1 Task I).

6개 과제의 자율 실행 키프레임(Fig. 5). 위에서부터 Cube Place, Handover, Wipe, Tongs, Bowl, Bottle Cap. 앞의 셋은 검은 테이블·회색 커튼, 뒤의 셋은 노란 테이블 환경이다.

프로젝트 페이지의 자율 롤아웃 영상 6개(페이지 표기상 원래 속도)를 그대로 옮긴다.

Cube Place w/ Occlusion

Cube Handover

Two-Hand Wipe

Tongs

Bowl Unstacking

Bottle Cap Unscrewing

DexTacWAM 자율 롤아웃(프로젝트 페이지 원본 H.264 파일). 페이지 상단 히어로 영상은 2배속으로 재생되지만 과제 영상 섹션은 “Original playback speed”라고 표기한다.

학습 데이터. Stage 1 코퍼스는 약 4시간·488 에피소드다. 공개 데이터셋 카드에 따르면 250개 서로 다른 지시문(뽁뽁이 누르기, 호일 자르기, 마라카스 흔들기 등)으로 구성돼 지시문 대부분이 한두 번만 나오고, 정책 학습용이 아니라 촉각 표현 학습용이다. 카드가 적은 길이는 3.5시간이다(논문은 “roughly four hours”). 과제별 시연 수는 공개 데이터셋 기준 Cube Place 100, Handover 100, Wipe 99, Tongs 100, Bowl 100, Bottle Cap 96이다. 논문의 “roughly 100”과 맞는다. 논문은 “모든 방법이 같은 과제별 데이터와 각자의 원래 학습 스케줄을 쓴다”고 쓴다.

베이스라인(§4, App. A.2).

방법	촉각 입력	world model	정책 유형	규모(백본 / 행동 / 전체)
\pi_{0.5}	없음	없음	VLA	2.5B / 400M / 2.9B
ViTacFormer	6-D 손끝 wrench	없음(보조 촉각 예측 헤드)	ACT/CVAE	전체 100M
RDP	6-D 손끝 wrench	없음	촉각 diffusion policy	전체 200M
Genie Envisioner	없음	시각	비디오-행동 모델	2B / 160M / 2.16B
DexTacWAM	손가락별 조밀 촉각 지도	시각-촉각	WAM	2B / 160M / 2.16B

Table 6·7을 합친 것이다. ViTacFormer는 행동 헤드를 17 → 22 DoF로 바꾸고 시간 집계를 30 Hz 학습 타임라인에 맞춘 것 외에는 공개 구현 그대로 썼다. 베이스라인은 각자의 원래 행동 parameterization을 쓰고 DexTacWAM만 상대 엔드이펙터 행동을 쓴다(Table 1 캡션).

실험: 6개 과제 주 결과 (§4.1, Table 1)

방법	Cube Place (H)	Handover (H+L+R)	Wipe (H+L+R)	Tongs (H+R)	Bowl (H+R)	Bottle Cap (H+L+R)	평균
\pi_{0.5} (촉각 없음)	10.0	46.0	24.0	0.0	40.0	45.0	27.5
ViTacFormer	20.0	33.3	26.0	0.0	20.0	10.0	18.2
RDP	50.0	60.0	48.0	10.0	30.0	30.0	38.0
Genie Envisioner (촉각 없음)	10.0	30.0	44.0	5.0	35.0	40.0	27.3
DexTacWAM	90.0	71.6	77.0	60.0	65.0	60.0	70.6

평균 다섯 개는 모두 행 평균과 맞는다(내 검산: DexTacWAM 423.6/6 = 70.6, RDP 228/6 = 38.0, ViTacFormer 109.3/6 = 18.2). 저자의 해석은 두 갈래다. ① 격차는 과제 관련 물리 상태를 순간 시각에서 추론하기 어려운 곳에서 가장 크다. Tongs는 잡힘 여부의 유일한 증거가 집게를 통해 전달되는 힘이고, 모든 베이스라인이 10 이하다. ② 촉각 조건화만으로는 부족하다. RDP는 “DexTacWAM과 같은 손끝 wrench”를 정책 입력으로 받고 평균 38.0에 그친다.

②의 문장은 그대로 받아들이기 어렵다. Table 6에 따르면 RDP의 촉각 입력은 6-D wrench이고 DexTacWAM의 입력은 손가락별 조밀 촉각 지도다. DexTacWAM에서 wrench는 입력이 아니라 학습 목표다. 둘은 같은 정보가 아니므로 RDP와의 비교만으로는 “예측 대 조건화”를 “조밀 지도 대 6차원 요약”과 분리할 수 없다. 정보량을 고정한 비교는 아래 절제(Table 2)가 맡는다.

통계(§4.1). 이진 4과제를 합치면 DexTacWAM 55/80, RDP 24/80이다. 셀 값을 분수로 되돌리면 정확히 맞는다(DexTacWAM 18+12+13+12, RDP 10+2+6+6). Wilson 구간과 양측 Fisher p=1.59\times10^{-6}도 재계산하면 같은 값이 나온다(내 계산). 하지만 이 합산 검정은 과제별 차이를 가린다. 과제별로 최강 베이스라인과 비교하면 이렇다.

과제(이진)	DexTacWAM	그 과제의 최강 베이스라인	양측 Fisher p (내 계산)	DexTacWAM Wilson 95% CI (내 계산)
Cube Place	18/20	RDP 10/20	0.014	[69.9, 97.2]
Tongs	12/20	RDP 2/20	0.0022	[38.7, 78.1]
Bowl	13/20	\pi_{0.5} 8/20	0.20	[43.3, 81.9]
Bottle Cap	12/20	\pi_{0.5} 9/20	0.53	[38.7, 78.1]

“모든 과제에서 최고점”은 사실이지만, Bowl과 Bottle Cap에서는 촉각이 없는 \pi_{0.5}와 20회 표본으로 구별되지 않는다. 합산 유의성은 주로 Cube Place와 Tongs에서 나온다. 가산 채점인 Handover·Wipe는 시행별 점수 분포가 없어 구간을 낼 수 없다.

표의 granularity 점검(내 계산). Handover는 3단계 가산(단계당 1/3)·20회이므로 가능한 평균은 k/60꼴이다. 33.3(20/60), 60.0(36/60), 30.0(18/60)은 맞고, DexTacWAM 71.6은 43/60 = 71.67을 반올림이 아니라 절사한 값으로 보인다. 그런데 \pi_{0.5}의 46.0은 k/60으로 만들 수 없다(27.6/60). 해당 셀만 시행 수가 다르거나 채점이 달랐을 가능성이 있지만 논문에는 설명이 없다. 결론을 흔드는 크기는 아니고 표를 읽을 때의 주의 사항이다.

처음 보는 그릇 구성(§4.1, App. A.3). 학습은 분홍·파랑·주황 3단 쌓기로만 했다. 처음 보는 초록·보라·노랑 그릇에서 13/20(분포 안 성능 13/20과 같음), 처음 보는 높이(2단·4단)에서 12/20이다. 베이스라인은 이 조건에서 평가하지 않았으므로 “강건하다”는 DexTacWAM 자기 자신과의 비교다.

처음 보는 Bowl 구성의 자율 실행(Fig. 6). 위 세 줄은 처음 보는 색(노랑·초록·보라), 아래 두 줄은 처음 보는 높이(2단·4단). 모든 경우 테두리에 닿아 엄지-검지 접촉을 만든 뒤 맨 위 그릇을 분리한다.

학습·배포 효율(§4.1).

구성	시점 수	DiT 토큰	청크당 지연	학습 속도
압축 없음	11 (머리 1 + 손끝 10)	3168	363.0 ms	3.87 s/iter
압축(배포)	3 (머리 1 + 손 2)	864	281.6 ms	1.71 s/iter
배율		3.67×	1.29×	2.26×

모두 RTX 4090 한 장 기준이다. 토큰은 3.67배 줄었는데 지연은 1.29배만 줄었다는 점이 눈에 띈다. 압축은 VAE 인코딩 뒤에서 일어나므로 손가락 10개 이미지를 VAE에 통과시키는 비용은 그대로 남고, 행동 expert와 기타 비용도 시점 수와 무관하다. 지연 비교가 머리 카메라 1개 + 손 2개 구성에서 측정됐다는 점도 적어 둔다. 공개 설정으로 보면 이 구성과 같은 과제는 없다(양손 과제는 5 view, Tongs·Bowl은 머리 + 오른 손목 + 오른손 촉각의 3 view, Cube Place는 2 view). 공개 레포의 압축 벤치 스크립트는 무작위 가중치·합성 latent로 view 수만 바꿔 DiT forward를 재는 시스템 벤치이고, 학습 속도 2.26×를 만든 11-view 학습 설정은 공개되지 않았다.

논문은 281.6 ms가 “1.8 s 행동 청크 실행 시간보다 짧다”고 쓴다. action chunk 54 스텝을 30 Hz로 실행하면 정확히 1.8초다(내 계산, 30 Hz는 App. A.2·데이터셋 카드 기준). 즉 새 촉각 관측이 행동에 반영되는 주기는 청크를 어떻게 교체하느냐에 달려 있고, 청크를 끝까지 실행한다면 약 0.55 Hz다. 청크 교체 방식(동기/비동기, 일부만 실행)은 논문에 없다. “접촉 인지 제어”를 내세우는 논문에서 촉각 반응 주기가 적혀 있지 않은 것은 아쉽다.

실험: 절제 (§4.2, Table 2·3)

정책 수준 절제 (Table 2)

변형	Cube Place	Handover	Wipe	Tongs	4과제 평균
DexTacWAM (전체)	90.0	71.6	77.0	60.0	74.7
w/o 촉각 world modeling	20.0	33.3	48.0	5.0	26.6
w/o modality별 K/V RMS 정규화	수렴 실패
(참고) Genie Envisioner, Table 1의 같은 4과제	10.0	30.0	44.0	5.0	22.3 (내 계산)
(참고) RDP, Table 1의 같은 4과제	50.0	60.0	48.0	10.0	42.0 (내 계산)

위 두 줄과 셋째 줄이 Table 2이고, 아래 두 줄은 비교를 위해 Table 1에서 같은 4과제만 떼어 필자가 평균을 낸 것이다(다른 표의 값이므로 직접 비교에는 행동 공간 차이 등 조건 차이가 있다). 본문은 이 절제의 출처를 “(Table 1)”이라고 적는데 실제 값은 Table 2에 있다(LaTeX 소스에서도 tab:success_rate를 참조한다. 단순 상호참조 오류).

변형의 정의(App. A.7). 촉각 인코더·촉각 관측·행동 expert·행동 공간·학습 데이터를 고정하고 world model에서 촉각 예측만 뺀다. 행동 expert는 예측된 촉각 latent 대신 인코딩된 촉각 특징을 직접 받는다. 저자는 이것이 “촉각 정보량을 고정한 채 예측적 촉각 world modeling의 기여”를 잰다고 쓴다.

정보량을 고정한 통제 비교라는 발상은 정확히 맞는 질문이다. 그런데 숫자를 표의 다른 행과 나란히 놓으면 해석이 단순하지 않다.

• 이 변형(26.6)은 같은 백본으로 촉각을 아예 안 쓰는 GE(22.3)와 거의 같다. 즉 직접 조건화 방식으로는 촉각이 이 모델에 거의 아무 이득도 주지 못했다.
• 반면 같은 직접 조건화 계열인 RDP는 같은 4과제에서 42.0이고, Cube Place에서는 50 vs 20이다. 직접 조건화 자체가 원리적으로 쓸모없다면 RDP도 GE 수준이어야 한다.

그래서 “예측이 핵심”이라는 결론 말고도 가능한 해석이 남는다. 논문 본문의 정의 문장만으로는 이 변형에서 촉각 토큰이 여전히 DiT 입력으로 들어가고 손실만 빠진 것인지(\lambda_\tau=0), DiT를 아예 우회하는 것인지가 분명하지 않다. 공개 레포의 절제용 world model 설정(configs/ablations/cube_handover_visual_only_wm.yaml) 주석이 답을 준다. 저자는 이 대조군을 “같은 코퍼스, 같은 레시피, 같은 RGB 3 view에 촉각을 DiT에서 완전히 제거”한 것으로 정의하고, “짝이 되는 Stage-3 설정이 촉각을 늦은 행동 쪽 경로로만 다시 붙인다”고 쓴다. 즉 이 절제는 촉각 예측 목표와 촉각이 2B DiT 안에서 시각과 joint attention을 거치는 경로를 함께 뺀 것이다. 74.7 vs 26.6이라는 낙차는 둘의 합이고, “예측”만의 몫은 \lambda_\tau=0 변형(촉각 토큰은 DiT에 넣되 촉각 손실만 끔)이 있어야 가를 수 있다.

남은 불확실성도 있다. 그 “짝이 되는 Stage-3 설정”(촉각을 행동 쪽에 어떻게 다시 붙였는지)은 공개 레포의 어느 커밋에도 없고, 절제용 vision-only world model 설정도 Table 2의 4과제 중 Handover·Wipe 둘에만 있다. 더 나아가 공개 모델 코드로는 이 변형을 만들 수 없다. deploy 브랜치의 실기 서버에는 late-fuse 분기가 있어 tactile_late_fuse_latents·n_view_tactile_late 인자를 DiT에 넘기지만, main·deploy 두 브랜치의 DiT forward에는 그 인자가 없어 **kwargs로 들어가 아무도 읽지 않는다. 서버 주석이 “그대로 따랐다”고 적은 TactileInferencer의 late-fuse 분기도 공개 코드에는 없다. 저자가 공개하지 않은 브랜치에서 실험했을 가능성은 남지만, 제3자가 Table 2의 26.6을 다시 만들 경로는 지금 없다. 논문은 K/V 정규화를 빼면 행동 expert가 아예 수렴하지 않는다고 보고하는데, modality 간 스케일 불일치에 이 정도로 민감한 행동 expert라면 늦게 붙인 촉각 경로가 비슷한 조건화 문제를 겪었을 가능성을 배제할 근거가 지금으로서는 없다.

K/V 정규화 절제는 “수렴 실패”라 정량값이 없다. open-loop 행동 예측이 정답을 따라가지 못해 폐루프 평가로 넘어가지 않았다(App. A.7). 정규화의 필요성은 보였지만, 학습 가능한 게이트나 공동 LayerNorm 같은 대안 정규화와는 비교하지 않았다.

촉각 인코더 절제 (Table 3)

평가는 diverse-488 코퍼스의 보류 에피소드 24개(464~487)에서 잰 접촉 recall이다. Retention은 압축 후 recall ÷ 압축 전 recall(Eq. 6)이다.

변형	Recall@1	Recall@9	Retention@9	압축 전 Recall@9 역산 (내 계산)
Cross-attention 풀링	0.561	0.492	0.629	0.782
Self-attention 풀링	0.656	0.575	0.717	0.802
Self-attention + 자세 주입	0.750	0.645	0.796	0.810
Self-attention + 시간 정제	0.748	0.710	0.873	0.813
전체 압축기(자세 + 시간)	0.748	0.725	0.894	0.811
전체 − 손가락 정체성 임베딩	0.702	0.671	0.849	0.790

해석은 깔끔하다. 시간 정제가 Recall@9를 가장 크게 올리고(+0.135), 자세 주입은 Recall@1에서 가장 효과가 크며(프로젝트 페이지는 “손 자세를 알면 어느 손가락이 닿는지 구분된다”고 해석한다), 손가락 임베딩을 빼면 0.725 → 0.671로 떨어져 “손가락에 귀속되는 토큰”이 필요함을 보인다. 단계적으로 쌓아 올린 절제라 기여가 잘 분해된다.

두 가지 유보가 있다. 첫째, “@1”과 “@9”, 그리고 “접촉”의 판정 임계값이 논문 어디에도 정의돼 있지 않다. Stage 1이 T\in\{1,9\} 클립을 반반 뽑고, 공개 인코더의 지표 파일 키가 val/T1/…·val/T9/…이므로 클립 길이(1프레임 / 9프레임)로 읽는 것이 맞아 보인다. 접촉 판정 임계값은 여전히 확인하지 못했다. 둘째, 맨 오른쪽 열처럼 Recall@9를 Retention으로 나눠 압축 전 recall을 역산하면 변형마다 0.78~0.81로 다르다. 본문은 “모든 변형이 같은 얼린 VAE와 같은 손가락 입력을 공유하므로 차이는 집계 설계에서 온다”고 쓰는데, 압축 전 recall은 그림 3의 압축 전 디코더(변형마다 함께 학습되는)로 재는 것으로 보여 분모도 변형마다 조금씩 다르다. 차이가 작아 결론을 바꾸지는 않는다.

실험: 촉각 예측과 시각 보존 (§4.3, Table 4·5, Fig. 4·8·9)

촉각 예측 품질(Table 4). 보류 궤적에서 latent 코사인 유사도 0.967, NMSE 0.063, flow 공간 접촉 precision/recall/F1 0.749/0.725/0.737(F1은 P·R과 맞는다, 내 검산). 촉각 신호는 시간적으로 매끄러워 “마지막 관측을 반복”하기만 해도 점수가 잘 나오므로, copy-last-frame 대비 오차 비율을 함께 보고한다. 0.561×, 즉 반복보다 오차가 약 44% 작다. 이 기준선을 둔 것은 좋은 습관이다.

Wipe 과제의 시각-촉각 공동 예측(Fig. 4). 위 두 줄: 머리 카메라 정답/예측. 아래 두 줄: 오른손 검지의 전단 크기 정답/예측(공유 색 척도). 15.0~38.2초의 여섯 시점에서 접촉 패치가 생기고, 움직이고, 사라지는 과정을 예측이 따라간다.
프로젝트 페이지의 장시간 예측 영상. 왼쪽 두 칸: 머리 시점 정답/예측. 오른쪽 두 블록: 왼손·오른손 손가락별 촉각 divergence의 정답/예측.

손가락 10개의 tactile flow 예측(Fig. 8: t=24.2 s, 전단 정점 부근 / Fig. 9: t=33.4 s). 각 줄이 한 손가락, 열은 정답 dx·dy·divergence와 예측 dx·dy·divergence. 접촉이 실린 손가락(양손 엄지, 오른손 검지·중지)에서만 패턴이 나타나고 나머지는 0 근처다. 두 시점 사이 왼손 엄지 dx의 부호 변화를 예측이 따라간다.

정성 결과는 설득력이 있다. 다만 Table 4에는 비교 대상이 copy-last-frame 하나뿐이고, 예측 지평(몇 프레임 앞을 예측했는가), 보류 궤적 수, 측정한 체크포인트 단계가 적혀 있지 않다. 촉각 예측 품질과 행동 성능의 관계(예측을 잘하는 과제에서 성능도 좋은가)도 보고되지 않는다. 사소하지만 기묘한 일치도 하나 있다. Table 4의 world model 접촉 recall 0.725는 Table 3 전체 압축기의 Recall@9 0.725와 소수점 셋째 자리까지 같다. 둘은 다른 것을 재는 지표(world model의 미래 예측 vs 압축기의 재구성)라고 서술돼 있어 우연일 수 있지만 논문은 언급하지 않는다.

그림 하나를 더 관찰하면, Fig. 4와 위 영상의 Wipe 장면은 나무 테이블 위에서 위에서 내려다본 시점인데, Fig. 5·7과 프로젝트 롤아웃의 Wipe는 검은 테이블과 회색 커튼 환경이다. 논문은 Fig. 4를 “보류된 Wipe 롤아웃”이라고만 쓰고 어느 데이터에서 왔는지 밝히지 않는다. 같은 과제의 다른 수집 세션일 수 있으므로 문제라고 단정하지는 않지만, 독자가 Fig. 4를 평가 환경의 예측으로 읽기 전에 알아 둘 점이다.

시각 예측 보존(Table 5, App. A.4).

지표	Cube Handover (25K 스텝)	Two-Hand Wipe (30K 스텝)
시각 전용 PSNR (dB)	17.78	17.14
시각-촉각 PSNR (dB)	17.84	17.07
ΔPSNR (dB) [짝지은 95% CI]	+0.06 [−0.16, +0.28]	−0.07 [−0.49, +0.36]
ΔSSIM	+0.0008	−0.0062
ΔLPIPS (낮을수록 좋음)	+0.0042	+0.0095

프로토콜은 꼼꼼하다. 같은 학습·보류 에피소드·카메라·미세조정 스텝에서 촉각 시점만 켜고 끈 두 모델을 비교하고, 에피소드 난이도가 약 2 dB씩 다르므로 에피소드 단위로 짝지은 차이를 쓰며, 같은 에피소드의 세 시점은 독립이 아니므로 평균해 하나의 관측으로 친다. 초록의 “0.5 dB 이내”는 Wipe 구간의 하한 −0.49에서 나온 값이다. 유보할 점은 6개 과제 중 2개에서만 쟀고, 보류 에피소드 수가 적혀 있지 않으며, LPIPS는 두 과제 모두 소폭 나빠졌다는 것이다(크기는 작다). 절대 PSNR이 17 dB 안팎이라 두 모델 모두 미래 RGB를 정밀하게 맞히지는 않는다는 점도 함께 읽어야 한다. 공개 코드에서 보이는 비대칭도 하나 있다. 사전학습 GE의 view 임베딩은 3개 시점용이라, 시점이 5개인 촉각 모델은 그 임베딩을 무작위로 다시 초기화하고 3개 시점인 vision-only 대조군은 그대로 물려받는다. 논문은 이 차이를 언급하지 않는다. 방향은 촉각 모델에 불리하므로 결론을 약화시키지는 않는다(코드와 대조). “시각 예측 능력을 잃지 않았다”는 주장은 이 해상도 안에서 성립한다.

실험: 왜 시각 VAE가 촉각에 통하나 (App. A.11, Fig. 10·11)

보류 에피소드에서 6개 과제의 오른손 촉각 클립 1,350개(양손 과제 150개씩, 한 손 과제 300개씩)를 뽑아 두 표현을 비교한다. 얼린 VAE를 거친 오른손 엄지 특징(128-D)과 압축기를 거친 손 특징(128-D)이다.

압축 전후의 과제 구조(Fig. 10, t-SNE). 왼쪽: 엄지만, 얼린 비전 VAE. 오른쪽: 5개 손가락 → 손 1개, 압축기 출력. 그림 아래 수치: silhouette +0.060 / +0.081, kNN 0.956±0.021 / 0.964±0.018, linear probe 0.990 / 0.996.

5-NN 정확도 95.6%(엄지) / 96.4%(압축), linear probe 99.0% / 99.6%로, 균일 우연 16.7%와 다수 클래스 22.2%(300/1,350)를 크게 넘는다. 저자는 이를 “얼린 시각 VAE가 촉각 VAE를 새로 학습하지 않고도 과제 판별적 촉각 특징을 준다”는 근거로 쓴다. 그림에서 읽히는 kNN 표준편차(±0.021, ±0.018)를 보면 압축 전후 차이 0.8%p는 그 범위 안이므로, “압축이 구조를 보존한다”는 읽기가 정확하고 “개선한다”는 읽기는 과하다. 또한 6개 과제는 물체·환경(검은/노란 테이블)이 서로 달라 과제 판별 자체가 쉬운 문제일 수 있다. 이 분석은 촉각 latent가 “어느 과제인지”를 담는다는 것을 보일 뿐 “접촉의 세부를 담는다”는 것을 보이지는 않는다. 후자는 Table 3의 접촉 recall이 맡는다.

과제 안 촉각 latent가 진행 단계를 따른다(Fig. 11). 각 패널은 한 과제의 오른손 엄지 latent, 색은 에피소드 내 정규화된 진행도. 아래 수치는 선택된 k, 진행도에 대한 ANOVA R^2, 에피소드 정체성과의 AMI.

k-평균 군집과 진행도의 연관(R^2)은 Tongs 0.75, Wipe 0.61, Cube Place 0.48, Handover 0.40, Bowl 0.17이고, 에피소드 정체성과의 일치는 모든 과제에서 AMI ≤ 0.07로 낮다. 저자는 Bottle Cap(R^2=0.03)만 예외로 들며 회전이 반복되는 과제라 시작→끝 진행도로 잘 설명되지 않는다고 설명한다. 캡션은 “6개 중 5개 과제에서 군집이 진행도와 맞는다”고 쓰지만 Bowl의 0.17은 약한 연관이다. 시각과 촉각 latent의 거리 비(modality 간 / modality 내)는 약 89로, 시각 인코더를 재사용해도 두 modality가 같은 공간에 섞이지는 않는다는 관찰이 덧붙는다.

비판적으로 보면

강점

• 질문 설정이 정확하다. “촉각을 쓰면 좋아지나”가 아니라 “같은 촉각 정보를 입력으로 주는 것과 예측 대상으로 삼는 것이 다른가”를 묻고, 정보량을 고정한 절제로 답하려 했다. 다지 손 촉각을 WAM에 넣은 연구로서 문제의 핵을 겨냥한다.
• 기존 비디오 사전학습을 거의 그대로 재사용하는 설계가 영리하다. 촉각을 “이미지 latent의 추가 시점”으로 번역해 DiT 구조를 바꾸지 않았고, VAE도 얼렸다. 압축기의 세 장치가 모두 균일 평균에서 0 초기화 잔차로 켜지는 것도 사전학습 자산을 망가뜨리지 않으려는 일관된 태도다.
• 공학적 수치가 서로 정합한다. T_\mathrm{lat}=6, 시점당 288토큰, 3168/864, 54스텝/30 Hz = 1.8 s가 모두 논문 안의 다른 설정과 산술로 맞물린다. 압축의 비용 이득을 속도(학습·추론)와 정보 보존(recall) 양쪽에서 쟀다.
• 통계와 평가 프로토콜에 성의가 있다. 합산 이진 과제의 정확한 분수·Wilson 구간·Fisher 검정을 밝혔고(재계산하면 그대로 나온다), 시각 보존 비교는 에피소드 단위로 짝지어 시점 간 비독립성까지 처리했다. 촉각 예측에 copy-last-frame 기준선을 둔 것도 매끄러운 신호에서 흔한 착시를 막는다.
• 베이스라인 GE가 사실상 같은 사전학습 백본이다. 논문은 “같은 백본 규모”라고만 쓰지만 공개 README는 DexTacWAM이 GE의 GE_base_fast_v0.1에서 출발한다고 밝힌다. 그렇다면 GE vs DexTacWAM은 논문이 말하는 것보다 강한 통제 비교다(남은 차이는 촉각 경로와 행동 parameterization).
• 공개 코드가 구조 서술과 맞는다. 압축기의 초기화(균일 평균 출발, 0 게이트)부터 modality별 파라미터 없는 K/V RMSNorm, 첫 스텝에서만 WM을 돌리는 추론까지 논문의 방법 절이 실행 경로에 그대로 있다. 파라미터 수(WM 1.949B + 행동 164.0M)도 논문 값과 맞는다(정적 확인).
• 자원 공개가 드물게 넉넉하다. 실기 촉각 연구에서 학습 코드·488 에피소드 사전학습 코퍼스·6개 과제 시연 전부·1단계 인코더 가중치를 공개했다. 2·3단계 체크포인트를 안 낸 이유(로봇·장면 특화)도 README에 밝힌다.
• 한계 서술이 솔직하다. 성공 시연만으로 학습해 실패 회복을 감독받지 못한다는 점, 단일 센서에서만 평가했다는 점을 저자가 먼저 쓰고, 과제별 실패 사례 분석(App. A.8)에서 Wipe의 불완전 수행처럼 자기 방법의 약점도 적는다.

약점·한계

• 핵심 절제는 두 가지를 함께 뺐고, 그 절반은 공개되지 않았다. 논문 본문은 “촉각 예측 제거”라고만 쓰지만, 공개된 절제용 설정의 주석은 촉각을 DiT에서 완전히 제거하고 행동 쪽 경로로만 다시 붙인다고 밝힌다. 즉 예측 목표와 DiT 안의 시각-촉각 joint attention 경로를 동시에 뺀 비교다. 촉각을 행동 쪽에 붙인 Stage-3 설정은 레포에 없고, 배포 서버가 넘기는 late-fuse 인자를 공개된 DiT는 읽지 않아 공개 코드로는 이 변형을 구성할 수 없다. 게다가 이 변형(26.6)은 촉각이 없는 GE(같은 4과제 22.3)와 거의 같고 직접 조건화 계열인 RDP(42.0)보다 낮아, “직접 조건화가 원리적으로 부족하다”기보다 이 아키텍처에서 직접 붙인 촉각이 제대로 쓰이지 못했다는 해석과도 맞는다. K/V 정규화 없이 수렴조차 못 하는 행동 expert라는 논문 자신의 보고가 이 대안 해석에 무게를 싣는다. 보완: \lambda_\tau=0 변형(촉각 토큰은 DiT에 넣고 촉각 손실만 끔), 행동 쪽 촉각 경로의 구현 공개, 그 경로에도 같은 modality별 정규화를 적용한 결과.
• 베이스라인 공정성: 행동 공간이 다르다. DexTacWAM만 상대 엔드이펙터 행동을 쓰고 베이스라인은 각자 원래 parameterization을 쓴다. 논문 스스로 이 선택이 Handover 같은 과제에서 “가장 중요하다”고 쓴다. 같은 백본인 GE와의 비교에서도 이 차이는 남는다. 절제 변형(같은 행동 공간)이 GE와 비슷하다는 점은 행동 공간만으로 격차가 설명되지 않는다는 간접 증거지만, GE를 같은 행동 공간으로 다시 돌린 통제 실험은 없다.
• “RDP는 같은 촉각 신호를 받는다”는 서술이 Table 6과 어긋난다. RDP·ViTacFormer는 6-D wrench를, DexTacWAM은 조밀 촉각 지도를 받는다. 또 App. A.2는 RDP가 “머리 시점 관측”을 쓴다고 적어, “과제 안에서 카메라 접근은 모든 방법이 같다”는 프로토콜과 충돌하는 것처럼 읽힌다(어느 쪽이 맞는지 논문만으로는 판단할 수 없다). RDP의 핵심인 고주파 촉각 fast loop를 유지했는지도 적혀 있지 않다.
• 가장 가까운 선행작이 비교에 없다. 같은 제1저자의 VTAM(시각-촉각-행동 모델)과 같은 버클리 그룹·같은 플랫폼의 T-Rex(다지 촉각 반응형 VLA)가 관련연구에 인용되지만 베이스라인에 없다. VT-WM·OmniVTA는 그리퍼용이라는 이유로 빠졌다. 흥미로운 대조로, T-Rex 논문(12개 과제 × 16회)에서는 RDP가 6, ViTacFormer가 3이었는데 이 논문에서는 RDP가 38로 최강 베이스라인이다. 과제가 달라 직접 비교할 수는 없지만, 같은 플랫폼에서 베이스라인 순위가 이렇게 달라진다는 사실은 베이스라인 구현·과제 선택에 결과가 민감하다는 신호다.
• 표본이 작고 실행이 한 번이다. 과제당 20회, 시드·체크포인트 반복 없음. 내 계산으로 Bowl(p=0.20)과 Bottle Cap(p=0.53)은 촉각 없는 \pi_{0.5}와 구별되지 않는다. 합산 Fisher 검정은 과제 이질성을 가리는 방식이라 “모든 과제에서 우월”의 근거가 되지 못한다. \pi_{0.5} Handover 46.0은 20회·1/3 단위 채점으로는 나올 수 없는 값이다.
• “접촉 인지 제어”의 반응 주기가 보고되지 않는다. 청크 54스텝 = 1.8초이고, 청크 교체 방식이 없으면 촉각 피드백 주기는 최악 0.55 Hz다. 미끄러짐 대응이 핵심인 Bottle Cap·Tongs에서 이 값은 중요하다. 지연 281.6 ms도 머리 카메라만 쓴 구성에서 쟀고, 카메라 3개 구성의 지연은 없다.
• “world model”의 추론 시 역할이 측정되지 않는다. 행동 expert는 한 번의 forward pass 특징만 읽고, Stage 3에서는 DiT가 행동 손실만으로 추가 학습된다(Table 8). 촉각 예측 품질(Table 4)과 제어 성능을 잇는 실험, 예측 깊이(denoise 스텝 수)에 따른 성능·지연 곡선이 없다. 논문이 §2.2에서 내세운 “예측 깊이 대 지연 트레이드오프”는 측정되지 않은 채 선언으로 남는다.
• 지표 정의가 비어 있다. Recall@1/@9, 접촉 판정 임계값, Table 4의 예측 지평과 보류 궤적 수가 없다. Table 4와 Table 3의 recall이 0.725로 정확히 같은 이유도 설명되지 않는다.
• 센서·하드웨어 일반성. 설계의 전제(촉각 = 이미지 → 비디오 VAE 재사용)는 마커 격자 이미지를 내는 카메라 기반 촉각 센서에서 성립한다. 저자도 정전용량·압저항·압전·자기 방식으로의 전이를 시험하지 않았다고 인정하는데, 그런 센서는 공간 해상도가 낮은 taxel 배열이라 “이미지 VAE 재사용”이라는 핵심 아이디어 자체가 그대로 옮겨 가지 않을 수 있다. 하드웨어 서술도 얇다. 팔·카메라·제어 주파수·텔레옵 장비가 논문에 없고, “22-DoF Sharpa tactile sensors”처럼 손의 자유도와 센서를 섞은 표현이 있다. 플랫폼 정보는 데이터셋 카드와 같은 그룹의 T-Rex 논문으로 보충해야 한다.
• A.11의 “왜 통하는가” 분석은 쉬운 질문에 답한다. 물체·환경이 서로 다른 6개 과제의 판별은 접촉 정보 없이도 가능할 수 있다. 압축 전후 kNN 차이(0.8%p)는 표준편차 안이다.
• 논문 서술과 공개 설정의 어긋남. 194차원 행동 목표는 공개된 6개 과제 설정(226/113)과 맞지 않고, 논문에 없는 절대 팔 관절 블록이 목표에 들어 있으며, Table 8의 Stage 1 gradient clipping(“–” vs 1.0)과 Stage 2 분산 전략(DDP vs ZeRO-2)이 코드와 다르다. 오른손 전용 과제 3개가 촉각 손 하나만 쓴다는 사실도 논문에 없다. 상세는 코드와 대조.
• 작은 표기 문제. §4.2가 절제 결과의 출처를 Table 1로 적음(실제 Table 2), HTML에서 teaser 참조가 “Figure DexTacWAM”으로 깨짐, Stage 1 코퍼스 “roughly four hours” vs 데이터셋 카드 3.5시간, 프로젝트 페이지의 “2× playback”과 “Original playback speed” 병존.

코드와 대조

🗂️ 정적 확인이며 실행 결과가 아니다. 공개 레포 main @ 4f7c5a8(배포 파일은 deploy 브랜치 @ 3f4dbf1)을 읽고, Hugging Face는 메타데이터만 확인했다(2026-10-20). 학습·추론·다운로드는 하지 않았으므로 이 글의 성공률·속도·recall은 모두 논문이 주장한 값이다. 파일:라인 앵커는 업스트림 main 기준이다.

구조는 논문 서술대로 들어 있다. 핵심 기여를 하나씩 따라가면 실행 경로에 모두 들어온다.

논문 주장	코드 위치(업스트림 4f7c5a8)	판정
1×1 회색→RGB 어댑터를 복제로 초기화, 얼린 LTX VAE로 손가락별 인코딩 (Eq. 1·7·8)	models/tactile_models/visual_vae_adapter.py:74-120, 동결 :1349-1351, 인코딩 :1464-1474	일치
손가락 임베딩·손 쿼리·6토큰 집합 인코더, 균일 평균에서 잔차로 출발, 자세 주입·시간 정제 모두 0 초기화 게이트 (Eq. 11~15)	같은 파일 FingerSetTransformerAdapter :601-1030	일치(압축기 1.55M 파라미터)
촉각 latent를 시각과 같은 시간축의 추가 view로 결합, 시각/촉각 분리 손실 (Eq. 3·10)	runner/tactile_dit_trainer.py:1826-2074, :2362-2379, 손실 :2936-2949	일치(\lambda_v=\lambda_\tau=1.0)
modality별 파라미터 없는 K/V RMSNorm, 공유 cross-attention (Eq. 4)	models/ltx_models/transformer_ltx_multiview.py:618-743, 생성 :508-533	일치(6개 과제 설정 모두 켜짐)
행동 expert가 WM 한 번의 forward 특징만 사용	추론 캐시 runner/tactile_inferencer.py:1198-1242	일치(10스텝 중 첫 스텝만 WM 실행)
2B 백본 + 160M 행동 expert (Table 7)	설정 차원으로 계수	WM 1.949B + 행동 164.0M

논문과 다른 곳. 아래는 논문 쪽 문장과 코드 쪽 근거를 둘 다 확인한 항목만 모았다.

항목	논문	공개 코드
행동 목표 차원	194차원, 힘 60차원 (A.6, §3.4)	양손 과제 226(행동 136 + 미래 상태 90), 오른손 전용 과제 113(힘 30차원). 194 = 136 + 58은 488 코퍼스의 절대 행동 레이아웃이다(runner/tactile_inferencer.py:101 주석 등)
행동 목표 구성	힘·팔 상대 EE 자세·손 목표·고유수용 상태	위에 더해 절대 팔 목표 관절 14차원이 들어 있다(configs/cube_handover/stage3_action_expert.yaml:107-113)
Table 2 절제	“촉각 예측만 제거”	설정 주석상 촉각을 DiT에서 완전히 제거하고 행동 쪽에서 다시 붙인다(configs/ablations/cube_handover_visual_only_wm.yaml:22-25). 그 Stage-3 설정은 레포 이력 어디에도 없고, vision-only WM 설정은 Handover·Wipe 2개뿐
과제별 촉각 입력	“손끝 10개 → 손 2개”	Cube Place·Tongs·Bowl은 오른손 촉각 1개만 쓰는 레이아웃
실제로 실행되는 행동	통합 행동 목표 전체를 예측	deploy 서버가 로봇에 보내는 것은 팔 상대 EE 18칸 + 손 관절 44칸 = 62칸(deploy:web_infer_scripts/tactile_server_sharpa_dexmate.py의 디코드 분기). 힘·팔 관절·미래 상태는 손실 전용
Table 2 절제의 실행 경로	촉각을 행동 쪽에 직접 조건화	서버가 넘기는 tactile_late_fuse_latents·n_view_tactile_late를 DiT forward(models/ltx_models/transformer_ltx_multiview.py:745-767)가 받지 않고 **kwargs로 흘린다. TactileInferencer에도 late-fuse 분기 없음
view 임베딩 초기화	언급 없음	GE 체크포인트의 view_embed는 [3, 2048]이다(HF safetensors 헤더). max_view가 5(양손 과제)나 2(Cube Place)인 촉각 모델은 shape이 달라 그 키가 삭제되고(utils/model_utils.py:46-64) 무작위로 다시 초기화된다. Table 5의 vision-only 대조군(max_view: 3)은 원본을 그대로 쓴다
Stage 1 재구성 손실	Fig. 3은 L_1로 그림. Table 8은 “square-root-magnitude-aware”	flow 크기 가중 MSE, 가중치 \min(1+2\sqrt{\text{rel}},\,5)(runner/tactile_vae_trainer.py:815-829). Table 8 표기와는 맞고 그림과는 다르다
Table 8, Stage 1 gradient clipping	“–”	매 스텝 1.0으로 clip (runner/visual_vae_adapter_trainer.py:736, 807-810)
Table 8, Stage 2 분산 전략	DDP	모든 Stage 2 설정이 DeepSpeed ZeRO-2 (configs/cube_handover/stage2_world_model.yaml:507-515)
공개 인코더의 지표	README·모델 카드·Table 3: step 53000, recall 기준, Recall@1/@9 = 0.748/0.725	함께 올라간 best_metrics.json은 step 43000, MSE 기준 체크포인트의 값(recall 0.700/0.680). model.pt가 어느 쪽인지는 다운로드하지 않아 미확인

Table 8의 나머지 값(학습률 3e-4/5e-5, weight decay 1e-5, AdamW \beta (0.9, 0.95), warmup 1K, caption dropout 0.06, \lambda_v=\lambda_\tau=1.0, 프로세스당 배치 16)은 6개 과제의 Stage 2·3 설정과 모두 일치한다. 조건 프레임 노이즈 0.1은 학습 코드에서 확인된다.

이 대조가 리뷰의 판단을 바꾸는 곳은 세 군데다. 첫째, 핵심 절제의 정의가 “예측 목표만 뺀 것”이 아니라 “DiT 경로까지 뺀 것”으로 확정됐다(위 절제 절). 둘째, Stage 3에서 미래 토큰이 순수 노이즈라는 사실이 “예측은 학습 때 일한다”는 직관 절의 해석을 뒷받침한다. 셋째, view 임베딩 초기화의 비대칭은 Table 5를 촉각 모델에 불리한 쪽으로 기울인다. 그런데도 PSNR 차이가 0.1 dB 안쪽이었으니 “시각 예측을 잃지 않는다”는 결론은 오히려 보수적인 쪽으로 읽힌다(단 Table 5의 두 과제는 모두 양손 과제라 재초기화가 일어난 쪽이다). 나머지(194 vs 226/113, 절대 관절 블록, 실행되지 않는 힘 출력, Stage 1 손실 표기, Table 8의 clip·분산 전략)는 논문 서술의 정밀도 문제이고 결과를 흔드는 종류는 아니다.

공개되지 않은 것도 정리해 둔다. Stage 2·3 체크포인트(README가 명시), Table 2 절제의 Stage-3 설정, Table 3 압축기 변형 설정(코드 플래그로는 구성 가능하지만 설정 파일은 base·full 2개뿐), 2.26× 학습 가속을 만든 11-view 학습 설정, 베이스라인 4종의 학습 코드, 실기 평가 원자료(과제·방법별 20회 기록). 그래서 Table 1·2의 수치는 제3자가 검증할 경로 없이 논문 값으로만 존재한다.

관련 연구와의 자리 매김

WAM 계열 안에서. DexTacWAM은 “비디오 world model을 행동 생성에 결합한다”는 WAM의 틀 안에서 modality 축을 넓힌 연구다. 같은 계열의 Fast-WAM이 “미래 상상은 추론 때보다 학습 때 일한다”는 쪽을, Long-WAM이 “과거 맥락을 길게 쓰려면 AR 사전학습이 필요하다”는 시간 축을, Zero-WAM이 사람 영상으로부터의 일반화를 다뤘다면, DexTacWAM은 시각이 볼 수 없는 접촉 상태를 world state에 넣는다. 추론 구조는 Fast-WAM 쪽(한 번의 forward pass)이고, 그래서 이 논문의 “예측이 중요하다”는 결론도 Fast-WAM과 같은 의미, 즉 학습 목표로서의 예측으로 읽는 것이 정확하다.

시각-촉각 world model 안에서. VT-WM이 그리퍼에서 “촉각 grounding이 상상의 물리적 충실도를 높인다”를 보였다면, DexTacWAM은 그것을 손가락 10개로 확장하면서 생기는 구조 문제(손가락 정체성·자세 의존·토큰 폭발)를 압축기로 푼다. 차이는 VT-WM이 상상 자체를 계획에 쓰는 반면 DexTacWAM은 예측 표현만 행동 expert에 넘긴다는 점이다.

촉각 정책 안에서. TacFiLM은 사전학습된 VLA에 촉각을 FiLM으로 주입하는 “조건화” 경로의 대표이고, T-Rex는 같은 플랫폼에서 대규모 사람 영상 사전학습 + 촉각 midtraining + 고주파 촉각 정제로 반응성을 확보했다. DexTacWAM은 둘과 다른 축이다. 촉각 midtraining도 행동 사전학습도 없이, 비디오 world model 사전학습을 촉각으로 “이어서” 확장한다. T-Rex가 데이터 규모(100시간 촉각 데이터)로 문제를 풀었다면 DexTacWAM은 약 4시간 + 과제당 100개 시연이라는 작은 데이터로 같은 질문에 접근한다. 반대로 T-Rex가 명시한 고주파 촉각 반응 루프에 해당하는 것이 DexTacWAM에는 보고되지 않는다. 두 접근은 결합 가능해 보인다. 예측형 촉각 표현을 T-Rex식 고주파 정제와 묶는 것이 자연스러운 다음 단계다. 같은 Sharpa 손의 촉각을 다룬 MoDE-VLA도 함께 볼 만하다.

표현 학습 쪽에서. “시각 사전학습 인코더를 촉각에 재사용한다”는 발상은 Sparsh 같은 촉각 전용 자기지도 표현과 대비된다. Sparsh가 촉각 데이터로 표현을 새로 배우는 쪽이라면 DexTacWAM은 비디오 VAE를 얼린 채 쓰고 어댑터·압축기만 배운다. 카메라 기반 촉각 센서라는 전제 아래에서만 이 지름길이 열린다는 점이 두 접근의 경계다.

요약

DexTacWAM은 다지 손의 촉각을 비디오 world model의 “추가 카메라”로 번역해 시각과 함께 예측하게 만든 시각-촉각 WAM이다. 사전학습 비디오 DiT와 VAE를 거의 그대로 재사용하고, 손가락 10개를 손 2개로 줄이는 압축기로 토큰을 3.67배 줄이며, modality별 K/V 정규화로 행동 expert를 안정화했다. 6개 실기 과제 평균 70.6(최강 베이스라인 38.0), 촉각 예측 제거 시 74.7 → 26.6이라는 결과는 크고, 공개 자원(코드·코퍼스·전 과제 시연·인코더)도 넉넉하다.

다만 그 큰 숫자들이 무엇을 증명하는지는 한 겹 더 따져야 한다. 핵심 절제는 촉각 예측 목표와 DiT 안의 촉각 경로를 함께 뺐고 그 변형이 촉각 없는 GE 수준에 머물러, “예측이 핵심”과 “늦게 붙인 촉각이 이 구조에서 안 쓰였다”를 가르지 못한다. 그 변형의 Stage-3 설정도 공개되지 않았다. 베이스라인과 행동 공간이 다르고, RDP와는 촉각 입력 형태도 다르며, 과제당 20회 단일 실행이라 6개 과제 중 2개는 촉각 없는 \pi_{0.5}와 구별되지 않는다. 촉각 반응 주기와 예측 깊이의 효과도 측정되지 않았다. 그래도 “촉각을 예측 대상으로 만들라”는 방향은 Fast-WAM이 비디오에 대해 보인 것과 같은 결을 이루며, 데이터가 비싼 촉각에서 비디오 사전학습을 이어 쓰는 실용적인 경로를 제시한다. 공개 코드는 논문의 구조 서술을 충실히 담고 있지만 결과를 검증할 체크포인트·평가 기록은 담고 있지 않다. 이 논문을 한 걸음 더 믿으려면 \lambda_\tau=0 절제와 행동 쪽 촉각 경로의 공개가 필요하다.