๐FTP-1 ๋ฆฌ๋ทฐ
Chengbo Yuan, Zicheng Zhang, Mingjie Zhou, Wendi Chen, Yi Wang, Zhuoyang Liu, Dantong Niu, Shuo Wang, Hui Zhang, Wenkang Zhang, Yingdong Hu, Yuanqing Gong, Wanli Xing, Chuan Wen, Cewu Lu, Kaifeng Zhang, Yang Gao (Tsinghua University ยท Shanghai Qi Zhi Institute ยท Sharpa ยท Shanghai Jiao Tong University ยท UC Berkeley ยท ETH Zurich ยท Fudan University ยท Shanghai Innovation Institute)
arXiv preprint, 2026
- ๐ก ์ด๊ฐ policy๊ฐ ์ผ์ ํ๋์ ๋ฌถ์ฌ ์๋ ์ด์ ๋ฅผ ์ผ์ ๊ฐ ์ ํธ์ ์ด์ง์ฑ(imageยทarrayยทstate, ํด์๋, ํํ)์ผ๋ก ๋ณด๊ณ , ์์ ๊ธฐ๋ฅ ์์ญ 24์นธ์ผ๋ก ๋ ๊ณตํต ํ ํฐ ๊ณต๊ฐ(MTTS)๊ณผ ๋ณ๋์ tactile expert๋ฅผ \pi_{0.5} ์์ ์น์ด ์ฌ๋ฌ ์ผ์๋ฅผ ํ๋์ policy๋ก ์ฌ์ ํ์ตํ๋ FTP-1์ ์ ์ํ๋ค.
- โ๏ธ ์ผ์๋ง๋ค ์์ encoder(์ด๋ฏธ์ง๋ ViT + ๊ณต์ T3 trunk, array๋ CNN, state๋ Fourier MLP)๊ฐ ๊ธฐ๋ฅ ์์ญ๋ณ ํ ํฐ 1๊ฐ์ฉ์ ๋ง๋ค๊ณ , ์ฌ๊ธฐ์ ์ผ์ ๊ณตํต์ functional-area embedding์ ๋ํด tactile expert๊ฐ ์ฒ๋ฆฌํ๋ค. action expert๋ vision-language ํ ํฐ๊ณผ tactile ํ ํฐ์ ๋ชจ๋ attendํด flow matching์ผ๋ก action chunk๋ฅผ ๋ธ๋ค. 26๊ฐ ์ถ์ฒยท21๊ฐ ์ผ์ยท์ฝ 3,000์๊ฐ ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ๋ค.
- ๐ฏ ์ฌ์ ํ์ต์ ์๋ ์ผ์์ ์ธ ์ ์ ์์ UniVTAC ํ๊ท 66.66%(์ฐจ์์ 49.16%), ์ค๊ธฐ ํ๊ท 62.5%(์ฐจ์์ \pi_{0.5} 45.3%)๋ฅผ, ์ฌ์ ํ์ต์ ์๋ XenseยทContactile ๋ ์ ์ ์์ 46.6%(FTP-\pi_{0.5}ยท\pi_{0.5} 15.0%)๋ฅผ ๋ณด๊ณ ํ๋ค. ์ค๊ธฐ๋ ๊ณผ์ ๋น 20ํ, ํ์ต 1ํ ๊ธฐ์ค์ด๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
์๊ฐ ๊ธฐ๋ฐ generalist policy(\pi_{0.5}, GR00T ๋ฑ)๋ ํฐ ์ด์ง์ ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ ์ฒดํฌํฌ์ธํธ๋ฅผ ์ ๋ก๋ด์ ๋ฏธ์ธ์กฐ์ ํ๋ ํ๋ฆ์ ๋ง๋ค์๋ค. ์ด๊ฐ ์ชฝ์ ๊ทธ๋ ์ง ๋ชปํ๋ค. GelSight ๋ฅ ๊ดํ ์ผ์๋ ์ด๋ฏธ์ง๋ฅผ, ํ ๋ฐฐ์ด ์ผ์๋ H\times W\times D ๋ฐฐ์ด์, ํ/ํ ํฌ ์ผ์๋ ๋ช ์ฐจ์ ๋ฒกํฐ๋ฅผ ๋ธ๋ค. ์ผ์๋ง๋ค ์ ํธ ๋ชจ์์ด ๋ฌ๋ผ์ ํ policy๊ฐ ์ฌ๋ฌ ์ผ์์ ๋ฐ์ดํฐ๋ฅผ ํจ๊ป ๋จน๊ธฐ ์ด๋ ต๊ณ , ๊ทธ๋์ ๊ธฐ์กด ์ด๊ฐ policy๋ tactile VLA๋ ๋๊ฐ ์ผ์ ํ๋์ ๋ก๋ด ํ๋์ ๋ฌถ์ฌ ์๋ค.
FTP-1์ ์ด ์ด์ง์ฑ์ โ์ผ์๊ฐ ์์ ์ด๋์ ๋ถ์ด ์๋๊ฐโ๋ผ๋ ๊ณตํต ์ขํ๋ก ํก์ํ๋ค. ์ ํธ ๋ชจ์์ ์ผ์๋ณ encoder๊ฐ ๋งก๊ณ , ๊ทธ ์ถ๋ ฅ์ ์์ ๊ธฐ๋ฅ ์์ญ(์๋, ์๊ฐ๋ฝ ๋ง๋, ์๋ฐ๋ฅ, ์๋ชฉ ํ ํฌ ๋ฑ) 24์นธ ์ค ํ๋์ ํ ํฐ์ด ๋๋ค. ๊ฐ์ ์นธ์๋ ์ผ์๊ฐ ๋ฌ๋ผ๋ ๊ฐ์ learnable embedding์ด ๋ํด์ง๋ค. ๊ทธ ์์ tactile expert์ action expert๋ ์ผ์๋ฅผ ๋ชจ๋ฅธ๋ค. ์ ์ผ์๊ฐ ์ค๋ฉด encoder๋ง ์๋ก ๋ง๋ค๊ณ ๋๋จธ์ง๋ ์ฌ์ ํ์ต ๊ฐ์ค์น์์ ์์ํ๋ค.

Fig. 1. 26๊ฐ ์ถ์ฒ์ ์ด์ง์ ์ด๊ฐ ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ FTP-1์ 5๊ฐ ์ ์ ์์ ๋ฏธ์ธ์กฐ์ ํด ํ๊ฐํ๋ค. ๋ง๋๋ ์ฌ์ ํ์ต์ ์๋ ์ผ์์ ์ค๊ธฐ ํ๊ท (45.3 โ 62.5%)๊ณผ ์๋ ์ผ์์ ํ๊ท (15.0 โ 46.6%)์ด๋ค.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
์ ๋ ฅ์ ์ธ์ด ์ง์ \ell, (๋ค์์ ) RGB \mathcal I_t, proprioception \mathbf s_t, ์ด๊ฐ ๊ด์ธก \mathcal X_t์ด๊ณ ์ถ๋ ฅ์ ๊ธธ์ด H์ action chunk๋ค.
\hat{\mathbf{A}}_{t:t+H-1}=\pi_\theta(\ell,\mathcal{I}_t,\mathbf{s}_t,\mathcal{X}_t),\qquad \hat{\mathbf{A}}_{t:t+H-1}\in\mathbb{R}^{H\times D}
D๋ ํยท์ยท๋จธ๋ฆฌ ์ ์ด๋ฅผ ๊ณ ์ ๊ธธ์ด ๋ฒกํฐ์ ์นธ์ผ๋ก ๋ฐฐ์นํ Unified Action Space(UAS)์ ์ฐจ์์ด๋ค. ์ด๊ฐ ํ ํฐ์ ๊ธฐ๋ฅ ์์ญ k๋ง๋ค
\mathbf z_k=\mathrm{MLP}\big(\mathrm{LN}(E_{\text{sensor},\,\text{type}}(x_k))+\mathbf e^{\text{area}}_k\big)
๋ก ๋ง๋ค์ด์ง๋ค(E๋ ์ผ์ยท๊ด์ธก ์ ํ๋ณ encoder, \mathbf e^{\text{area}}_k๋ ์ผ์ ๊ณตํต functional-area embedding, ๋ถ๋ก B.2์ ์์ ์ ์์ผ๋ก ์ฎ๊ธด ๊ฒ). ์ธ expert(vision-language, tactile, action)๋ ์ธต๋ง๋ค QยทKยทV๋ฅผ ์ด์ด ๋ถ์ฌ ํ๋์ masked attention์ ์ฐ๋๋ฐ, ๋ง์คํฌ๋ ํ=query, ์ด=key ์์(VL, tactile, action)๋ก
\mathbf M_{\text{expert}}=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 1 & 1 & 1 \end{bmatrix}
์ด๋ค. ๋ ์ง๊ฐ expert๋ ์๋ก๋ฅผ ๋ณด์ง ์๊ณ , action ํ ํฐ๋ง ๋ ๋ค ๋ณธ๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- UniVTAC ์๋ฎฌ๋ ์ด์ (์ฌ์ ํ์ต์ ์๋ GelSight-Mini, ๊ณผ์ ๋น 100ํ): 6๊ณผ์ ํ๊ท 66.66%, ๋ lift ๊ณผ์ ๋ฅผ ๋บ ํ๊ท 59.5%. ์ฐจ์์๋ ๊ฐ๊ฐ \pi_{0.5} 49.16%, FTP-\pi_{0.5} 42.0%(Table 1).
- ์ค๊ธฐ, ์ฌ์ ํ์ต์ ์๋ Sharpa DTC(๊ณผ์ ๋น 20ํ): ํ๊ท 62.5%, \pi_{0.5} 45.3%, FTP-\pi_{0.5} 41.6%, Tactile-VLA 35.8%(Table 2). ํ์ ๋ค๋ฅธ ์นธ์ผ๋ก ๋ค์ ๊ณ์ฐํ๋ฉด \pi_{0.5} ํ๊ท ์ 45.83%๋ค(์๋ ์คํ ์ ).
- ์ค๊ธฐ, ์ฌ์ ํ์ต์ ์๋ XenseยทContactile(๊ณผ์ ๋น 20ํ): ํ๊ท 46.6%, \pi_{0.5}ยทFTP-\pi_{0.5} 15.0%, Tactile-VLA 8.3%(Table 3).
- ์ด๊ฐ ์ฌ์ ํ์ต ์ ์ : ๊ฐ์ ๋ฐ์ดํฐ๋ก ์ด๊ฐ๋ง ๋นผ๊ณ ์ฌ์ ํ์ตํ NTP-1์ FlexivXense์์ 5.0%, FTP-1์ 42.5%(Fig. 7). ๊ฐ์ ๋ก๋ด ๊ถค์ ์ผ๋ก \pi_{0.5}๋ฅผ ์ด์ด ํ์ตํ ๋์กฐ๊ตฐ์ UniVTAC 57.0% / lift ์ ์ธ 44.0%(Table 4).
๊ฒฐ๋ก :
FTP-1์ ์๋ก์์ ์ด๊ฐ์ VLM์ adapter๋ก ๋ผ์ ๋ฃ๋ ๋์ ์ผ์ ๋ฌด๊ดํ tactile expert ํ๋๋ฅผ ์ฌ์ ํ์ต ๋์์ผ๋ก ๋ง๋ ๊ฒ, ๊ทธ๋ฆฌ๊ณ ๊ทธ expert๊ฐ ์ผ์๋ง๋ค ๋ค๋ฅธ ์ ๋ ฅ์ โ์์ ์ด๋ ์์ญ์ธ๊ฐโ๋ก ์ ๋ ฌ๋ ํ ํฐ์ผ๋ก ๋ฐ๊ฒ ํ ๊ฒ์ด๋ค. ์คํ์ ๋ค์ฏ ๊ธฐ๊ด์ ๋ค์ฏ ์ ์ ์ ์ฒดํฌํฌ์ธํธ๋ฅผ ๋ฐฐํฌํด ๋ฏธ์ธ์กฐ์ ํ๋ ํํ๋ก, ์ด๊ฐ foundation policy๋ฅผ ์ฒ์์ผ๋ก ์ด ์ ๋ ํญ์์ ํ๊ฐํ๋ค. ๋ค๋ง ์ค๊ธฐ ๋น๊ต๋ ๊ณผ์ ๋น 20ํยทํ์ต 1ํ๋ผ ๊ณผ์ ๋จ์๋ก๋ ๋๋ถ๋ถ ํต๊ณ์ ์ผ๋ก ๊ตฌ๋ถ๋์ง ์๊ณ , ์ด๊ฐ ์ฌ์ ํ์ต์ ์์ ํจ๊ณผ๋ฅผ ๋ถ๋ฆฌํ ํต์ ์คํ์ UniVTAC์ FlexivXense ๋ ๊ณณ์๋ง ์๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ tactile expert ํฌ๊ธฐ๊ฐ ๋ ผ๋ฌธ ์์ (300M)๊ณผ ๋ค๋ฅด๋ค๋ ์ ๋ ํ์ธํด์ผ ํ ์ง์ ์ด๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
์ด๊ฐ ์ ํธ๋ฅผ ํ๋์ ํฌ๋งท์ผ๋ก ํต์ผํ๋ ๋์ โ์์ ์ด๋ ๋ถ๋ถ์ด ๋ฌด์์ ๋๋ผ๋๊ฐโ๋ฅผ ํต์ผํ๋ฉด, ์ผ์๊ฐ ๋ฌ๋ผ๋ ๊ฐ์ tactile expert๊ฐ ๊ฐ์ ์๋ฏธ์ ํ ํฐ์ ๋ฐ๋๋ค. FTP-1์ ์ด ์์ด๋์ด๋ฅผ \pi_{0.5}์ multi-expert ๊ตฌ์กฐ ์์ tactile expert ํ๋๋ฅผ ์ถ๊ฐํ๋ ๊ฐ์ฅ ๋จ์ํ ํํ๋ก ๊ตฌํํ๊ณ , ์ฌ์ ํ์ต ๋ฐ์ดํฐ๋ฅผ 26๊ฐ ์ถ์ฒ์์ ๊ธ์ด๋ชจ์ โ์ผ์๊ฐ ๋ฐ๋์ด๋ ๋ฏธ์ธ์กฐ์ ์ถ๋ฐ์ ์ผ๋ก ์ธ ์ ์๋๊ฐโ๋ฅผ ๋ฌป๋๋ค. ๋ต์ โ๊ทธ๋ ๋ค, ํนํ ์ ์ผ์์์โ์ธ๋ฐ, ๊ทธ ๊ทผ๊ฑฐ์ ๊ฐ๋๋ ์คํ๋ง๋ค ๊ฝค ๋ค๋ฅด๋ค.
๋ฐฐ๊ฒฝ: ์ด๊ฐ์ ์ generalist policy์์ ๋น ์ ธ ์์๋ (ยง1, ๋ถ๋ก A)
์๊ฐ generalist policy๋ RGB๋ผ๋ ๊ณตํต ์ ๋ ฅ์ ๊ฐ์ง๋ค. ์นด๋ฉ๋ผ๊ฐ ๋ฌ๋ผ๋ ์ด๋ฏธ์ง๋ ์ด๋ฏธ์ง๋ค. ์ด๊ฐ์ ๊ทธ๋ ์ง ์๋ค. ๋ ผ๋ฌธ์ด ์ ๋ฆฌํ ์ด์ง์ฑ์ ๋ค ์ถ์ด๋ค: modality(๊ดํ ์ด๋ฏธ์ง / ์ ๊ทนยท์์ ํญ ๋ฐฐ์ด / ํยทํ ํฌ ๋ฒกํฐ), resolution, morphology(์๋์ ๋ถ์๋ ์๋ฐ๋ฅ์ ๋ถ์๋, ๊ทธ๋ฆฌํผ ํจ๋์ธ๊ฐ), contact response. ๊ฐ์ โ์ ์ดโ์ด GelSight-Mini์์๋ 224ร224 ์ด๋ฏธ์ง์ ๋ณํ์ผ๋ก, Contactile์์๋ 3ร3 ํ์ 3์ถ ํ์ผ๋ก, ์๋ชฉ F/T ์ผ์์์๋ 6์ฐจ์ ๋ฒกํฐ๋ก ๋ํ๋๋ค.
์ด ๋๋ฌธ์ ๊ธฐ์กด ํ๋ฆ์ ๋๋ก ๋๋์๋ค(๋ถ๋ก A.2ยทA.3).
- ์ด๊ฐ ํํ ์ฌ์ ํ์ต: T3(FoTa, 13๊ฐ ์ผ์), Sparsh, AnyTouch ๋ฑ์ ์ฌ๋ฌ ์ผ์๋ฅผ ํ๋์ ํํ์ผ๋ก ๋ฌถ์์ง๋ง action์ ๋ด์ง ์๋๋ค. downstream policy head๋ ๋ฐ๋ก ํ์ตํ๋ค. ๋ธ๋ก๊ทธ์ Sparsh ๋ฆฌ๋ทฐ, UniTouch ๋ฆฌ๋ทฐ๊ฐ ์ด ๊ณ์ด์ด๋ค.
- ์ด๊ฐ policy / VTLA: Tactile-VLA, OmniVTLA, OmniVTA ๋ฑ์ action์ ๋ด์ง๋ง ํน์ ์ผ์ยท๋ก๋ด์ ๋ฌถ์ฌ ์๋ค. ๋๊ฐ VLM expert์ ์ด๊ฐ์ adapter๋ก ์ฃผ์ ํ๋ค. TacFiLM ๋ฆฌ๋ทฐ์ FiLM ์กฐ๊ฑดํ๋ ์ด ์ชฝ์ ๊ฒฝ๋ ์ตํฉ์ด๋ค.
FTP-1์ด ๊ฒจ๋ฅํ๋ ์นธ์ ๋ ๊ณ์ด์ ๊ต์งํฉ์ด๋ค: action์ ์ง์ ๋ด๋ policy์ด๋ฉด์, ์ฌ๋ฌ ์ผ์๋ก ์ฌ์ ํ์ต๋๊ณ , ์ฌ์ ํ์ต์ ์๋ ์ผ์๋ก ๋ฏธ์ธ์กฐ์ ํ์ ๋ ์ด๋์ด ์๋๊ฐ. ๋ถ๋ก Table 5ยท6์ด ์ด ์นธ์ ๊ธฐ์กด ๋ชจ๋ธ๊ณผ ๋์กฐํ๋๋ฐ, ๊ทธ ํ์์ โunseen sensor์์์ policy ๋ฏธ์ธ์กฐ์ โ์ ๋ณด๊ณ ํ ๋ชจ๋ธ์ FTP-1๋ฟ์ด๋ค. ํ์ โNRโ์ โ๊ทธ ๋ ผ๋ฌธ์ด ๋ณด๊ณ ํ์ง ์์๋คโ๋ ๋ป์ด์ง โํ ์ ์๋คโ๋ ๋ป์ด ์๋๋ผ๊ณ ์ ์๋ค์ด ๋ช ์ํ๋ค.
๋ฐฉ๋ฒ ์์ธ 1: ์ ์ฒด ๊ตฌ์กฐ (ยง2, Fig. 2)

Fig. 2. FTP-1 ๊ตฌ์กฐ. ์ผ์๋ณ encoder(StateโMLP, ArrayโCNN, ImageโViT)๊ฐ ๋ง๋ ํ ํฐ์ functional-area embedding์ ๋ํด tactile expert๋ก ๋ณด๋ด๊ณ , VL expert(SigLIP + PaliGemma)์ action expert๊ฐ ํจ๊ป action chunk๋ฅผ ์์ฑํ๋ค. proprioception์ AdaRMS๋ก action expert์ ๋ค์ด๊ฐ๋ค.
FTP-1์ \pi_{0.5}(๋ธ๋ก๊ทธ์ ฯ0 ๋ฆฌ๋ทฐ๊ฐ ๋ค๋ฃฌ multi-expert flow-matching ๊ตฌ์กฐ์ ํ์)๋ฅผ ๊ทธ๋๋ก ๊ณจ๊ฒฉ์ผ๋ก ์ด๋ค. ๋ฐ๋ ๊ฒ์ ์ธ ๊ฐ์ง๋ค.
- tactile expert ์ถ๊ฐ: VL expert, action expert ์์ ์ธ ๋ฒ์งธ Transformer expert๋ฅผ ๋๋ค. ๊ฐ expert๋ attention projection๊ณผ FFN์ ๋ฐ๋ก ๊ฐ์ง์ง๋ง, ์ธต๋ง๋ค ์ธ expert์ QยทKยทV๋ฅผ ์ด์ด ํ๋์ masked attention์ ๊ณ์ฐํ๋ค(๋ถ๋ก B.4). ์์ \mathbf M_{\text{expert}} ๋๋ฌธ์ tactile expert๋ ์ด๊ฐ ํ ํฐ๋ผ๋ฆฌ๋ง, VL expert๋ VL ํ ํฐ๋ผ๋ฆฌ๋ง ๋ณด๊ณ , action ํ ํฐ๋ง ์ธ ํ๋ฆ์ ๋ชจ๋ ๋ณธ๋ค.
- proprioception ์ฃผ์ ๋ฐฉ์: proprioception์ Fourier feature โ 3์ธต MLP โ LayerNorm์ผ๋ก ๋ง๋ ๋ค, flow-matching timestep feature์ ์ด์ด ๋ถ์ฌ adaptive RMSNorm์ผ๋ก attention block์ ์กฐ๊ฑดํํ๋ค(๋ถ๋ก B.3). ๋ ๋ฆฝ proprioception ํ ํฐ๋ณด๋ค ์ผ๋ฐํยท๊ฐ๊ฑด์ฑ์ด ์ข์๋ค๊ณ ์ ๋๋ค. ๊ทธ ๋น๊ต์ ์์น๋ ์๋ค.
- Unified Action Space: ๋ก๋ด๋ง๋ค ๋ค๋ฅธ ์ ์ด ์ ํธ๋ฅผ ๊ณ ์ ๊ธธ์ด ํฌ์ ๋ฒกํฐ์ ์นธ์ผ๋ก ๋ฐฐ์นํ๊ณ , ์๋ ์นธ์ loss mask๋ก ์ง์ด๋ค(๋ถ๋ก B.1, ์๋ ๋ฐฉ๋ฒ ์์ธ 4).
์ ์๋ค์ด tactile expert๋ฅผ ๋ฐ๋ก ๋ ์ด์ ๋ ์ธ ๊ฐ์ง๋ก ์ ํ ์๋ค(ยง2.3). โ ์ ์ผ์์์ ์ฌ์ ํ์ต๋ tactile expert๋ฅผ ๊ทธ๋๋ก ์ฌ์ฌ์ฉํ ์ ์๋ค. โก ์ฌ์ ํ์ต๋ vision-language ์ง์์ ์ด๊ฐ ํ ํฐ์ด ํ๋ค์ง ์๋๋ค. โข ์ด๊ฐ ์ฒ๋ฆฌ ํจ์จ๊ณผ ์ฑ๋ฅ์ด adapter ๋ฐฉ์(Tactile-VLA)๋ณด๋ค ๋ซ๋ค. โข์ Table 1~3์ Tactile-VLA ๋น๊ต๋ก ๋ท๋ฐ์นจ๋๊ณ , โ ์ ยง4์ unseen sensor ์คํ์ด ๊ทธ ์์ฒด๋ค. โก๋ ์ง์ ์ธก์ ํ ์คํ์ด ์๋ค. MoE ๊ธฐ๋ฐ ์ตํฉ๋ ์๋ํ์ง๋ง ์ผ๊ด๋ ์ด๋์ด ์์ด ๊ฐ์ฅ ๋จ์ํ multi-expert๋ฅผ ํํ๋ค๊ณ ์ด๋ค(์์น ์์).
๋ฐฉ๋ฒ ์์ธ 2: Morphology-Aware Tactile Token Space (ยง2.1, Fig. 3)

Fig. 3. MTTS์ ๊ธฐ๋ฅ ์์ญ ์ ์. ์ ์์ญ ์ด๊ฐ ์นธ(0~14), ์๋ชฉ ํ ํฌ(15), ์๊ฐ๋ฝ ๊ด์ ํ ํฌ(16~20), ๋ฏธ์ฌ์ฉ(21~23). ํํ ๊ทธ๋ฆฌํผ์ ๋ ํจ๋๋ ์์ง ๋(0)๊ณผ ๊ฒ์ง ๋(1) ์นธ์ ๊ณต์ ํ๋ค.
MTTS๋ ์ด๊ฐ์ 24๊ฐ ๊ธฐ๋ฅ ์์ญ ์ฌ๋กฏ์ผ๋ก ์ ๋ฆฌํ๋ค. ๋ณธ๋ฌธ ์ ์๋ ์ด๋ ๋ค.
| ์ฌ๋กฏ | ์๋ฏธ | ๋น๊ณ |
|---|---|---|
| 0~14 | ์์ ์ด๊ฐ ์์ญ(์๋ยท์๊ฐ๋ฝ ๋ง๋ยท์๋ฐ๋ฅ ๋ฑ) | ๊ทธ๋ฆฌํผ ๋ ํจ๋๋ 0(์์ง ๋)ยท1(๊ฒ์ง ๋)๋ก ๋งคํ |
| 15~20 | ์๋ชฉยท์๊ฐ๋ฝ์ ํ/ํ ํฌ ์ ํธ | Fig. 3์ 15๋ฅผ wrist torque, 16~20์ finger joint torque๋ก ํ๊ธฐ |
| 21~23 | ์์ฝ(๋ฏธ์ฌ์ฉ) |
์ฌ๋กฏ๋ง๋ค ํ ํฐ์ ์ ํํ ํ๋์ด๊ณ , ์ฌ๋กฏ ๋ฒํธ์ ํด๋นํ๋ learnable functional-area embedding์ด ๋ชจ๋ ์ผ์์ ๊ณต์ ๋๋ค. ์ผ์๊ณผ ์ค๋ฅธ์์ ๋ณ๋ embedding์ ์ด๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ config์๋ single_hand_num_tactile_areas: 24๊ฐ ์ ํ ์๋ค. ๊ทธ๋ฌ๋ ํ ์์ ์ ์ด๊ฐ ์
๋ ฅ์ ์ต๋ 48๊ฐ ํ ํฐ(์์ ร 24, ํ์ ๊ณ์ฐ)์ด๊ณ , ์ผ์๊ฐ ๋ฎ์ง ์๋ ์นธ์ padding mask๋ก ๋น ์ง๋ค.
์ด ์ค๊ณ๊ฐ ๋ ธ๋ฆฌ๋ ๊ฒ์ ์ผ์ ๊ฐ ์๋ฏธ์ ์ ๋ ฌ์ ๋ฐ์ดํฐ๊ฐ ์๋๋ผ ์ธํฐํ์ด์ค์์ ์ฃผ๋ ๊ฒ์ด๋ค. GelSight๋ฅผ ๋จ ๊ทธ๋ฆฌํผ์ ์ผ์ชฝ ํจ๋์, ์ฌ๋ ์ฅ๊ฐ์ ์์ง ๋ ์๋ ฅ ๋ฐฐ์ด๊ณผ, Sharpa ์์ ์์ง ๋ ๊ดํ ์ผ์๊ฐ ๋ชจ๋ ๊ฐ์ slot 0 embedding์ ๋ฐ๋๋ค. tactile expert ์ ์ฅ์์๋ โ์์ง ์ชฝ์ ์ด๋ฐ ์ ์ด์ด ์๋คโ๋ ๊ฐ์ ์์น ์ ๋ณด ์์์ ์ผ์๋ณ ๋ด์ฉ์ด ๋ฌ๋ผ์ง ๋ฟ์ด๋ค. ๊ทธ๋ฆฌํผ๋ฅผ ์์งยท๊ฒ์ง๋ก ๋ณด๋ ๋งคํ์ ๋ ์๊ฐ๋ฝ ์ง๊ธฐ๋ผ๋ ๊ธฐ๋ฅ์ ์ ๋น์์ ๋์จ ์ ํ์ด๋ค.
์ ์์ ๋ช ๊ฐ์ง๊ฐ ๋จ๋๋ค. ์ฒซ์งธ, ํ ์ฌ๋กฏ์ ํ ํ ํฐ์ด๋ฏ๋ก ์๋ ํ๋๋ฅผ ๋ฎ๋ ๊ณ ํด์๋ ๊ดํ ์ผ์๋ [CLS] ํ ํฐ ํ๋๋ก ์์ถ๋๋ค. ์ ์ด ํจํด์ ๊ณต๊ฐ ์ ๋ณด๋ encoder ์์์๋ง ์ด์๋จ๋๋ค. ๋์งธ, Fig. 3์ ๋ฒ๋ก๋ โ1-14: Tactileโ์ด๋ผ ์ ํ ์๊ณ ๋ณธ๋ฌธ์ โslots 0-14โ๋ผ ์ ๋๋ค. ๊ทธ๋ฆผ์ 0๋ฒ ์นธ์ด ๊ทธ๋ ค์ ธ ์์ผ๋ฏ๋ก ๋ฒ๋ก ์ชฝ์ ํ๊ธฐ ์ฐจ์ด๋ก ๋ณด์ธ๋ค. ์ ์งธ, 15~20์ ์๋ฐํ ์ด๊ฐ์ด ์๋๋ผ ํ/ํ ํฌ๋ค. ์ด ์ ์ โ21๊ฐ ์ผ์โ๋ฅผ ์ ๋ ๋ค์ ์ค์ํด์ง๋ค(๋ฐ์ดํฐ ์ ).
๋ฐฉ๋ฒ ์์ธ 3: ์ด์ง์ ์ด๊ฐ encoder (ยง2.2, ๋ถ๋ก B.2)
๊ฐ ์ผ์์ ์ ํธ๋ฅผ ๋จผ์ MTTS ์์ญ๋ณ๋ก ๋ฌถ๊ณ , ๊ฐ ๋ฌถ์์ image / array / state ์ ์ค ํ๋๋ก ๋ถ๋ฅํด encoder๋ฅผ ๊ณ ๋ฅธ๋ค.
| ์ ํ | ์ ๋ ฅ ๋ชจ์ | encoder | ์ถ๋ ฅ |
|---|---|---|---|
| image (์: GelSight) | (H,W,C) โ 224ร224 | ์ผ์๋ณ Transformer(depth 3, width 768, 12 heads) โ ๊ณต์ Transformer trunk(depth 9, width 768, 12 heads, T3๋ก ์ด๊ธฐํ) | ๋ง์ง๋ง [CLS] ํ ํฐ |
| array (์: Contactile) | (H,W,D) | ์ ํธ ์ฐจ์์ Fourier encoding ํ ์ ์ ๋ ฅ๊ณผ concat โ 3์ธต CNN โ 2์ธต ReLU MLP | ์์ญ๋น ํ ํฐ 1๊ฐ |
| state (์: F/T) | (D,) | Fourier encoding ํ ์ ์ํ์ concat โ 3์ธต ReLU MLP | ํ ํฐ 1๊ฐ |
๋ ผ๋ฌธ์ ๋ฐ๋ฅด๋ฉด ๋ชจ๋ ํ ํฐ์ LayerNorm โ functional-area embedding ๋ง์ โ 2์ธต GELU MLP๋ก tactile expert ์ ๋ ฅ ํญ์ ๋ง์ถ๋ค(๊ณต๊ฐ ์ฝ๋์ ์์๋ ์กฐ๊ธ ๋ค๋ฅด๋ค. ์๋ ๋์กฐ ์ ). ํ ์ผ์๊ฐ ๊ฐ์ ๋ชจ์์ ์์ญ์ ์ฌ๋ฌ ๊ฐ ๊ฐ์ง๋ฉด encoder๋ฅผ ์์ญ ๊ฐ์ ๊ณต์ ํ๋ค. encoder๋ ๋ฐ์ดํฐ ์ถ์ฒ๊ฐ ์๋๋ผ ์ผ์ ๋จ์๋ก ์กฐ์ง๋๋ค. ๋ค๋ฅธ ๋ฐ์ดํฐ์ ์ด๋ผ๋ ๊ฐ์ GelSight-Mini๋ฉด ๊ฐ์ encoder๋ฅผ ์ด๋ค(๋ถ๋ก C).
์ด ํ์์ ์ด๋ฏธ์ง ๊ฒฝ๋ก๋ง ํน๋ณํ๋ค. image ๊ณ์ด ์ผ์๋ ์ผ์๋ณ 3์ธต ์์ ์ผ์ ๊ณตํต์ 9์ธต trunk๋ฅผ ๊ณต์ ํ๊ณ ๊ทธ trunk๊ฐ T3 ์ฌ์ ํ์ต ๊ฐ์ค์น์์ ์ถ๋ฐํ๋ค. ์ฆ ์ด๋ฏธ์งํ ์ด๊ฐ์๋ ์ฌ์ ํ์ต๋ ๊ณต์ ์ง๊ฐ ๋ชจ๋์ด ๋ ๊ฒน(T3 trunk, tactile expert) ์๊ณ , arrayยทstateํ์๋ tactile expert ํ ๊ฒน๋ฟ์ด๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ hpt_tokenizer/ ํด๋์๋ ์ผ์๋ณ encoder ํ์ผ๊ณผ shared_image_chunk_encoder๊ฐ ๋ฐ๋ก ์ ์ฅ๋ผ ์๊ณ , ๊ณต์ trunk๋ ์ฝ 63.8M ํ๋ผ๋ฏธํฐ๋ค(์ฒดํฌํฌ์ธํธ ํค๋์์ ๊ณ์ฐ, 9์ธต ViT-B ๊ท๋ชจ์ ๋ง๋๋ค).
๋ฐฉ๋ฒ ์์ธ 4: Unified Action Space์ FAAS (๋ถ๋ก B.1)
์ฌ๋ฌ ๋ก๋ด์ action์ ํ policy๋ก ํ์ตํ๋ ค๋ฉด action ๊ณต๊ฐ๋ ๋ง์ถฐ์ผ ํ๋ค. FTP-1์ ํ ์คํ ์ action์
\mathbf a=[\mathbf a^{L},\mathbf a^{R},\mathbf a^{ego},\mathbf a^{sup}],\qquad \mathbf a^{b}=[\mathbf t_w^{b}\in\mathbb R^3,\ \mathbf r_w^{b}\in\mathbb R^6,\ \mathbf q_{\text{arm}}^{b}\in\mathbb R^7,\ \mathbf q_{\text{hand}}^{b}\in\mathbb R^{32}]
๋ก ๋๋ค. ์๋ชฉ ์์นยท6D ํ์ ยทํ ๊ด์ 7๊ฐยท์ ๊ด์ 32์นธ์ด ํ๋ง๋ค ์๊ณ , \mathbf a^{ego}๋ ๋จธ๋ฆฌ ์์ธ(์์น 3 + ํ์ 6), \mathbf a^{sup}๋ ์ด๋ยทํ๋ฆฌ ๊ฐ์ ๋ณด์กฐ ์นธ์ด๋ค. ์ 32์นธ์ UniDex ๋ฆฌ๋ทฐ์์ ์ ๋ฆฌํ FAAS(FunctionโActuatorโAligned Space)๋ฅผ ๊ทธ๋๋ก ๊ฐ์ ธ์จ๋ค. ๊ธฐ๋ฅ์ด ๋น์ทํ ๊ด์ ์ ๊ฐ์ ์นธ์ ๋ฃ๋ ๋ฐฉ์์ด๋ค. ํํ ๊ทธ๋ฆฌํผ๋ ๋ ๋ฆฝ ์นธ 28์ ์ด๋ค. ์ง์๋์ง ์๋ ์นธ์ mask \mathbf M\in\{0,1\}^D๋ก loss์์ ๋บ๋ค. ์ action ๊ณต๊ฐ ํต์ผ์ด๋ผ๋ ๊ฐ์ ๋ฌธ์ ๋ฅผ ๋ค๋ฃฌ ๋ค๋ฅธ ์ ๊ทผ์ UHAS ๋ฆฌ๋ทฐ์ ์๋ค.

Fig. 8. FAAS๊ฐ ์ ์๋ ๋ก๋ด ์๋ค(์ผ์ชฝ๋ถํฐ Ability, Allegro, Inspire, Leap, Oymotion, Shadow, Wuji, Xhand)์ ๊ด์ -์นธ ๋งคํ. UniDex ๋ ผ๋ฌธ์ ๊ทธ๋ฆผ์ ์ฎ๊ธด ๊ฒ์ด๋ค.

Fig. 9. ์ฌ๋ ์์ FAAS ์ ์.

Fig. 10. Sharpa Wave ์ค๋ฅธ์์ FAAS ์นธ ๋ฒํธ. (a) ๊ตฝํ/ํ, (b) ๋ฒ๋ฆผ/๋ชจ์๊ณผ ์๋ผ์๊ฐ๋ฝ CMC.
ํ๊ฐ ๋ก๋ด ์ค ๋ ์ ์ ์ด ์ฐ๋ Sharpa Wave ์์ ์๋น 22๊ฐ ๊ตฌ๋ ๊ด์ ์ ๊ฐ์ง๋ฉฐ, native ์์๋๋ก FAAS ์นธ \mathbf s=[1,2,3,26,4,\ 7,6,8,9,\ 12,11,13,14,\ 17,16,18,19,\ 25,22,21,23,24]์ ๋ฃ๋๋ค(Table 7). ๋จ๋ 10์นธ \{0,5,10,15,20,27,\dots,31\}์ 0์ผ๋ก ์ฑ์ฐ๊ณ loss์์ ๋บ๋ค. 22 + 10 = 32๋ก ๋ง์๋จ์ด์ง๋ค. ๊ฐ์ ๋งคํ์ด proprioception ์ ๋ ฅ๊ณผ action target์ ์ฐ์ธ๋ค.
๋
ผ๋ฌธ์ H์ D์ ๊ฐ์ ์ ์ง ์๋๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ model_config.json์๋ action_dim: 120, action_horizon: 32๊ฐ ์๋ค. ์ ์ ์๋๋ก ์ธ๋ฉด ์ํ 2\times(3+6+7+32)=96, ๋จธ๋ฆฌ 9๋ฅผ ๋ํด 105์ด๋ฏ๋ก \mathbf a^{sup}๋ 15์นธ์ด๋ผ๋ ๊ณ์ฐ์ด ๋๋ค(ํ์ ๊ณ์ฐ, ๋
ผ๋ฌธ์ \mathbf a^{sup} ํฌ๊ธฐ๋ฅผ ๋ฐํ์ง ์๋๋ค).
๋ฐฉ๋ฒ ์์ธ 5: ์ฌ์ ํ์ต ๋ฐ์ดํฐ (ยง2.4, ๋ถ๋ก C, Fig. 4)

Fig. 4. FTP-1-Dataset ๊ฐ์. 26๊ฐ ์ถ์ฒ, ์ฝ 3,000์๊ฐ, ์ฌ์ํ๋ง ํ ์ฌ๋ 20% ยท ๋ค์ง์ 30% ยท ๊ทธ๋ฆฌํผ 50%, 21๊ฐ ์ผ์(state 9 ยท image 7 ยท array 5).
๊ธฐ์กด ๊ณต๊ฐ ๋ฐ์ดํฐ์ ํ๋ ฅ์ฌ ์ ๊ณต ๋ฐ์ดํฐ๋ฅผ ๋ชจ์ผ๊ณ , ์ ์๋ค์ด Sharpa North ํ๋ซํผ์ผ๋ก ์ง์ ์์งํ Sharpa North-FTP-1(๊ธด horizon ๋ค์ง์ ์์ฐ ์ฝ 4,000๊ฐ)์ ๋ํ๋ค. ์ถ์ฒ๋ณ ๊ท๋ชจ ์ฐจ์ด๋ฅผ ๋ง์ถ๋ ค๊ณ ์ฌ์ํ๋ง ๋น์จ์ ๋๋ค. ๋ถ๋ก Table 8์ ์์ญ๋ณ๋ก ์ ๋ฆฌํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค(Final-Percentage๋ ์ฌ์ํ๋ง ํ ํ์ต ํผํฉ์์์ ๋น์ค).
| ์์ญ | ์ถ์ฒ (์ผ์ ์ ํ) | ์ฌ์ํ๋ง ํ ๋น์ค |
|---|---|---|
| ์ฌ๋ ์ (20%) | EgoTac-Open 8.2, EgoTac-Kitchen 5.5, EgoTac-Hotel 3.8 (AetherGlove, array) ยท OpenTouch 1.5 (array) ยท OmniSharingDB 1.0 (PaxiniGlove, state) | 20.0% |
| ๋ค์ง์ (30%) | Sharpa North-FTP-1 9.0 (Sharpa DTC, image) ยท HumanoidEveryday 6.0 (Unitree Dex3, state) ยท OpenLETDex 6.0 (LinkerHand L6 Touch, array) ยท MotionTrans 3.6 (Inspire, state) ยท DexUMI-Inspire 3.0 ยท DexUMI-XHand 2.4 (state) | 30.0% |
| ๊ทธ๋ฆฌํผ/UMI (50%) | VTouch-D-WHEEL 5.7 ยท FreeTacMan 4.4 ยท TouchInTheWild 4.0 (3D-ViTac, array) ยท VTouch-QINGLONG 3.9 ยท exUMI 3.8 ยท RH20T-Cfg6 3.8 (ATI F/T, state) ยท ViTaMIn 3.4 ยท RH20T-Cfg7 3.4 (uSkin + ATI) ยท RH20T-Cfg5 3.3 (Franka ๊ด์ ํ ํฌ) ยท REASSEMBLE 3.2 (F/T) ยท Unit-Bimanual 2.6 ยท RDP 2.4 ยท Unit 2.2 ยท VLA-Touch 2.0 ยท RDP-Bimanual 1.9 | 50.0% |
์์ญ๋ณ ๋น์ค์ ํฉ์ ๊ฐ๊ฐ 20.0 / 30.0 / 50.0%๋ก ํ์ ๋ง๋๋ค(ํ์ ๊ฒ์ฐ). ์ธ์ด ์ง์๋ GPT-4o๋ก ๋ค์ํํ๊ณ , ์ ๊ทํ ํต๊ณ๋ ๋ฐ์ดํฐ์ ๋ง๋ค ๋ฐ๋ก ๊ณ์ฐํ๋ค.
์ธ ๊ฐ์ง๋ฅผ ์ง์ด ๋๋ค.
- โ21๊ฐ ์ด๊ฐ ์ผ์โ์ ๊ตฌ์ฑ: image 7(Sharpa DTC, ViTai-GF, FreeTacMan, exUMI, ViTaMIn, GelSight-Mini, MCTac), array 5(AetherGlove, OpenTouchGlove, LinkerHand L6 Touch, 3D-ViTac, uSkin), state 9(PaxiniGlove, Unitree Dex3, Inspire, DexUMI-Inspire, DexUMI-XHand, ATI Axia80-M20, Franka ๊ด์ ํ ํฌ, AIDIN F/T, Flexiv ๊ทธ๋ฆฌํผ ํ ํฌ). state 9๊ฐ ์ค์๋ ์๋ชฉ F/T ์ผ์์ ๋ก๋ด ๊ด์ ํ ํฌยท๊ทธ๋ฆฌํผ ํ ํฌ๊ฐ ๋ค์ด ์๋ค. ์ด๊ฐ ํผ๋ถ๋ผ๋ ์ข์ ์๋ฏธ๋ก ์ธ๋ฉด ์ซ์๊ฐ ์ค์ด๋ ๋ค. ๋ ผ๋ฌธ์ ์ด๋ฅผ โtactile / force sensorโ๋ก ๋ถ๋ฅด๊ณ MTTS์์ ๋ณ๋ ์นธ(15~20)์ ์ฃผ๋ฏ๋ก ์ ์ ์๋ฐ์ ์๋์ง๋ง, ํค๋๋ผ์ธ์ โ21 sensorsโ๋ฅผ ์ฝ์ ๋ ์์ ๋ ๊ตฌ์ฑ์ด๋ค.
- โ์ฝ 3,000์๊ฐโ์ ๋ถํด๊ฐ ์๋ค: Table 8์๋ Sample-Scale๊ณผ Final-Percentage๋ง ์๊ณ ์ถ์ฒ๋ณ ์๊ฐยท์ํผ์๋ ์๊ฐ ์๋ค. ๋ ผ๋ฌธ์ Sample-Scale์ ๋ป๋ ์ ์ํ์ง ์๋๋ค. ๊ณต๊ฐ ์ฝ๋์ ์ฒดํฌํฌ์ธํธ์ ๋ฐ์ดํฐ ์ค์ ์ ๋ณด๋ฉด ์ด๊ฒ์ ์ถ์ฒ๋ณ ๋ณต์ ๋ฐฐ์๋ค. ๊ฐ ์ถ์ฒ๋ฅผ Sample-Scale์ ์ฌ๋ฆผ ํ์๋งํผ ๋ณต์ ํด ๋ฃ๋๋ค(RDP 89.76 โ 90๊ฐ, VLA-Touch 170.36 โ 171๊ฐ). ๊ทธ๋ ๋ค๋ฉด ์ฌ์ํ๋ง ์ ์ ์๋ ๋น์ค์ Final-Percentage รท Sample-Scale์ ๋น๋กํ๋ค. ์ด๋ ๊ฒ ์ญ์ฐํ๋ฉด ์ฌ์ํ๋ง ์ ์ํ์ ์ฝ 63%๊ฐ ์ฌ๋ ์ ๋ฐ์ดํฐ์ด๊ณ , EgoTac ์ธ ์ถ์ฒ๋ง ์ฝ 62%, Sharpa North-FTP-1์ด ์ฝ 12%๋ค(ํ์ ์ถ์ , ๋ณต์ ๋ฐฐ์ ํด์๊ณผ ํ์ ๋ฐ์ฌ๋ฆผ์ ์์กด). ์ฌ๋ ์ฅ๊ฐ ๋ฐ์ดํฐ๊ฐ ์๋ ๊ท๋ชจ์ ๋๋ถ๋ถ์ด๊ณ , ์ฌ์ํ๋ง์ด ๊ทธ๊ฒ์ 20%๋ก ํฌ๊ฒ ๋๋ ๋ค๋ ๋ป์ด ๋๋ค. 3,000์๊ฐ์ ์ถ์ฒ๋ณ ์๊ฐ์ผ๋ก ๊ฒ์ฐํ ๋ฐฉ๋ฒ์ ์ฌ์ ํ ์๋ค.
- ํ๊ฐ ํ๋ซํผ๊ณผ ๊ฐ์ ๋ก๋ด์ ๋ฐ์ดํฐ๊ฐ ์ฌ์ ํ์ต์ ์๋ค: Sharpa North-FTP-1์ ํ๊ฐ ์ ์ Sharpa North์ ๊ฐ์ ํ๋์จ์ด์ด๊ณ ํผํฉ์ 9.0%๋ก ๋จ์ผ ์ถ์ฒ ์ค ๊ฐ์ฅ ํฌ๋ค. ํ๊ฐ ๊ณผ์ (Draw Balloon, Fix Hand, Twist Cap)๊ฐ ์ด 4,000๊ฐ ์์ฐ์ ํฌํจ๋๋์ง๋ ๋ ผ๋ฌธ์ ์ ํ ์์ง ์๋ค. ์ด ์ ์ ์คํ ์ ์ ๋น๊ต ํด์์ ๋ค์ ์ฐ์ธ๋ค.
ํ์ต์ \pi_{0.5} ์ฝ๋๋ฒ ์ด์ค ์์์ ํ๋ค(๋ถ๋ก D). ์๊ฐ encoderยท์ธ์ด tokenizerยทVL expertยทaction expert๋ \pi_{0.5}, ์ด๋ฏธ์ง ๊ณต์ trunk๋ T3์์ ์ด๊ธฐํํ๊ณ , ์ผ์๋ณ encoderยทtactile expertยทfunctional-area embeddingยทAdaRMS injectorยทaction projector๋ scratch๋ค. ๊ณต๊ฐ ์ฝ๋๋ก ๋ณด๋ฉด ์ด ๋ชฉ๋ก์ ์ค๊ณ ์ ํ์ด๋ผ๊ธฐ๋ณด๋ค ๋ก๋ฉ ๊ท์น์ ๊ฒฐ๊ณผ๋ค. \pi_{0.5} ๊ฐ์ค์น๋ ์ด๋ฆ๊ณผ shape๊ฐ ๋ชจ๋ ๊ฐ์ ํ ์๋ง ๋ณต์ฌํ๋ฏ๋ก, UAS ๋๋ฌธ์ ์ฐจ์์ด ๋ฐ๋ action ์ ์ถ๋ ฅ projection๊ณผ ํญ์ด ๋ฐ๋ AdaRMS ์กฐ๊ฑด ๊ฒฝ๋ก๋ ์๋์ผ๋ก ๋น ์ง๋ค. H20 GPU 48์ฅ์์ 50k step, global batch 768, ํ์ต๋ฅ 10^{-4}\to5\times10^{-5}. 50k step ์ดํ ์ฑ๋ฅ์ด ํฌํํ๋ค๊ณ ์ ๋๋ค. 50k ร 768 = 3,840๋ง ์ํ์ด ํ์ต์์ ๋ณด์ธ ์ด ์ํ ์๋ค(ํ์ ๊ณ์ฐ). ๋ฐ์ดํฐ์ ์ ์ด ์ฃผํ์๊ฐ ์ ํ ์์ง ์์ ์ด๊ฒ์ด 3,000์๊ฐ์ ๋ช epoch์ธ์ง๋ ๊ณ์ฐํ ์ ์๋ค. ๋๋ฉ์ธ๋ณ๋ก GPU๋ฅผ ๋๋ ๋ฐฐ์น ์ ํฌ๋งท์ ๋ง์ถ๊ณ , ๋๋ฉ์ธ ์ ์ฉ ๋ชจ๋๊ณผ ๊ณต์ ๋ชจ๋์ gradient๋ฅผ ๋ฐ๋ก ๋ค๋ฃจ๋ ํ์ต ์ธํ๋ผ๋ ์๋ก ๋ง๋ค์๋ค.
๋ถ๋ก B.5์๋ ์ค๋ฌด ์ ํ ๋ ๊ฐ์ง๊ฐ ๋ ์๋ค. ์ํยทaction ์ ๊ทํ๋ quantile๋ณด๋ค z-score๊ฐ ์ ์ด ๊ณผ์ ์ ๋ฏธ์ธํ action์์ ๋์๊ณ , Muon optimizer๋ ์๋ ด๊ณผ offline action MSE๋ ํฌ๊ฒ ๊ฐ์ ํ์ง๋ง ์ค๊ธฐ rollout์ ์ผ๋ฐํยท๊ฐ๊ฑด์ฑ์ ๋จ์ด๋จ๋ ค ์ต์ข ๋ชจ๋ธ์ AdamW๋ฅผ ์ผ๋ค. offline MSE๊ฐ ์ค๊ธฐ ์ฑ๋ฅ์ ๋๋ฆฌ ์งํ๊ฐ ๋์ง ๋ชปํ๋ค๋ ์ฌ๋ก๋ก ์ฝ์ ๋งํ๋ค(์์น๋ ์๋ค).
์ง๊ด: ์ โ์ด๋์ ๋ฟ์๋โ๊ฐ ๊ณตํต ์ธ์ด๊ฐ ๋๋
์ผ์๋ง๋ค ์ ํธ์ ๋จ์์ ๋ชจ์์ ๋ค๋ฅด์ง๋ง, policy๊ฐ ์ด๊ฐ์์ ์ํ๋ ์ ๋ณด๋ ๋๊ฐ ๊ฐ๋ค. ์ด๋ ์๊ฐ๋ฝ์ด ์ธ์ ๋ฟ์๊ณ , ์ผ๋ง๋ ์ธ๊ฒ ๋๋ฆฌ๊ณ , ๋ฏธ๋๋ฌ์ง๋๊ฐ. ์ด ์ค โ์ด๋โ๋ ์ผ์์ ๋ฌด๊ดํ ์ ๋ณด์ด๊ณ , ์ฌ๋ ์ ํด๋ถํ์ผ๋ก ๋ฏธ๋ฆฌ ์ ์ํ ์ ์๋ค. FTP-1์ ๊ทธ โ์ด๋โ๋ฅผ embedding์ผ๋ก ๊ณ ์ ํด ๋๊ณ โ์ผ๋ง๋ยท์ด๋ป๊ฒโ๋ง ์ผ์๋ณ encoder์ ๋งก๊ธด๋ค. ๊ทธ๋์ ์ ์ผ์๊ฐ ์ค๋ฉด โ์ผ๋ง๋ยท์ด๋ป๊ฒโ๋ฅผ ๋ฒ์ญํ๋ ์์ ๋ชจ๋๋ง ์๋ก ๋ฐฐ์ฐ๊ณ , โ์์ง ๋ ์ ์ด์ด ๊ฐํด์ง๋ฉด ๊ฐ์ํ๋คโ ๊ฐ์ ์์ ๊ท์น์ tactile expert์ action expert์ ๋จ์ ์๋ ๊ฒ์ ์ฐ๊ฒ ๋๋ค.
์ด ์ง๊ด์ด ์ฑ๋ฆฝํ๋ ค๋ฉด ์ ์ผ์์ encoder๊ฐ ์ฌ์ ํ์ต ๋์ ๋น์ทํ ๋ถํฌ์ ํ ํฐ์ ๋ด๋๋ก ๋ฏธ์ธ์กฐ์ ๋ฐ์ดํฐ๋ง์ผ๋ก ๋ฐฐ์์ ธ์ผ ํ๋ค. ๋ ผ๋ฌธ์ unseen ์ผ์๋ก Xense(๊ดํ imageํ)์ Contactile(ํ ๋ฐฐ์ด arrayํ)์ ๊ณ ๋ฅด๊ณ , ๊ฐ์์๊ฒ ๊ฐ์ฅ ๋น์ทํ ์ฌ์ ํ์ต ์ผ์๋ฅผ GelSight-Mini์ AetherGlove๋ก ์ ์ํ๋ค(๋ถ๋ก E.4, Fig. 11). ์ฆ ์ด๋ฒ ์คํ์ โunseenโ์ ์ด๋ฏธ ๋ณธ modality ๊ณ์ด ์์ ์ ํ๋์จ์ด๋ค. ์ ์๋ค๋ ยง4์์ ์ด ๋ฒ์๋ฅผ ๋ช ์ํ๋ค(โnew hardware within the image- and array-based modality families covered by pretrainingโ). Xense๋ ๊ณต์ T3 trunk๊น์ง ์ฌ์ฌ์ฉํ๋ฏ๋ก ์ฌ์ค์ ์ผ์๋ณ 3์ธต encoder๋ง ์๋ก ๋ฐฐ์ฐ๊ณ , Contactile์ CNN encoder ์ ์ฒด๋ฅผ ์๋ก ๋ฐฐ์ด๋ค.

Fig. 11. unseen ์ผ์์ ๊ฐ์ฅ ๋น์ทํ ์ฌ์ ํ์ต ์ผ์. Xense โ๏ธ GelSight-Mini(image), Contactile โ๏ธ AetherGlove(array).
์คํ ์ค์ : ๋ค์ฏ ์ ์ , ์ธ ๋ฒ ์ด์ค๋ผ์ธ (ยง3.1ยทยง3.2, ๋ถ๋ก DยทE)
์ฒดํฌํฌ์ธํธ๋ฅผ ๋ค์ฏ ๊ธฐ๊ด์ ๋ฐฐํฌํ๊ณ ๊ฐ์์ ์ ์ ์์ ๋ฏธ์ธ์กฐ์ ํ๋ค. ๋ฏธ์ธ์กฐ์ ์ A800 8์ฅ, ๋ฐ์ดํฐ์ ๋น 20k step, batch 64, ํ์ต๋ฅ 5\times10^{-5}\to5\times10^{-6}.
| ์ ์ | ๋๋ฉ์ธ | ๋ก๋ด / end-effector | ์ด๊ฐ ์ผ์ (์ ํ) | ์ฌ์ ํ์ต ํฌํจ ์ฌ๋ถ | ๊ณผ์ (๋ฏธ์ธ์กฐ์ ์์ฐ ์) | ํ๊ฐ ํ์ |
|---|---|---|---|---|---|---|
| UniVTAC | ์๋ฎฌ, ๊ทธ๋ฆฌํผ | Franka | GelSight-Mini (image) | ์ผ์ seen, ์๋ฎฌ ๋๋ฉ์ธ unseen | 6๊ณผ์ (๊ณผ์ ๋น 50, ๊ณต์ ๋ฐ์ดํฐ) | ๊ณผ์ ๋น 100 |
| Sharpa North | ์ค๊ธฐ, ๋ค์ง์ | Sharpa North / Sharpa Wave | Sharpa DTC (image) | seen | Draw Balloon ยท Fix Hand ยท Twist Cap (์ธ ๊ณผ์ ํฉ 250~400) | ๊ณผ์ ๋น 20 |
| Sharpa&Dexmate | ์ค๊ธฐ, ๋ค์ง์ | Dexmate(unseen) / Sharpa Wave | Sharpa DTC (image) | ์ผ์ seen, ๋ก๋ด unseen | Flip Book ยท Wipe Dish (๊ณผ์ ๋น 100) | ๊ณผ์ ๋น 20 |
| FlexivXense | ์ค๊ธฐ, ๊ทธ๋ฆฌํผ | Flexiv / Robotiq | Xense (image) | unseen | Insert Hanoi ยท Insert USB (๊ณผ์ ๋น 100) | ๊ณผ์ ๋น 20 |
| TactileUMI | ์ค๊ธฐ, ๊ทธ๋ฆฌํผ | Franka / 3D ํ๋ฆฐํธ ๊ทธ๋ฆฌํผ(unseen) | Contactile (array) | unseen | Wipe Board (50) | ๊ณผ์ ๋น 20 |

Fig. 5. ์ฌ์ ํ์ต์ ์๋ ์ผ์์ ์ธ ์ ์ : Sharpa North, Sharpa&Dexmate, UniVTAC.

Fig. 6. ์ฌ์ ํ์ต์ ์๋ ์ผ์์ ๋ ์ ์ : FlexivXense(Xense, image)์ TactileUMI(Contactile, array).
๋ฒ ์ด์ค๋ผ์ธ์ ์ธ ๊ฐ์ด๊ณ , ๋ฌด์์ ๋ถ๋ฆฌํ๋ ค๋์ง๊ฐ ๋ถ๋ช ํ๋ค.
| ๋ฒ ์ด์ค๋ผ์ธ | ์ด๊ฐ ์ ๋ ฅ | tactile expert | FTP-1 ์ฌ์ ํ์ต | ๋ถ๋ฆฌํ๋ ค๋ ์์ธ |
|---|---|---|---|---|
| \pi_{0.5} | ์์ | ์์ | ์์ | ์ด๊ฐ ์์ฒด์ ํจ๊ณผ |
| Tactile-VLA | ์์ (VLM expert์ ํ ํฐ ์ฃผ์ ) | ์์ | ์์ | ์ตํฉ ๊ตฌ์กฐ์ ํจ๊ณผ |
| FTP-\pi_{0.5} | ์์ | ์์ | ์์ (\pi_{0.5} ๊ฐ์ค์น๋ก ๋ถ๋ถ ์ด๊ธฐํ) | ๋๊ท๋ชจ ์ด๊ฐ ์ฌ์ ํ์ต์ ํจ๊ณผ |
| FTP-1 | ์์ | ์์ | ์์ |
๋ชจ๋ ๋ฐฉ๋ฒ์ \pi_{0.5} ์ฝ๋๋ฒ ์ด์ค๋ก ๊ตฌํ๋๊ณ โcomparable model scale, finetuning data, and training protocolโ์ ์ด๋ค๊ณ ์ ๋๋ค. Tactile-VLA๋ Huang et al.์ ๋ฐฉ๋ฒ์ ์ด ์ฝ๋๋ฒ ์ด์ค๋ก ์ฎ๊ธด ๊ฒ์ด๊ณ , ์ ๋ ผ๋ฌธ ์ ์ ์๋น์๊ฐ FTP-1 ์ ์์ ๊ฒน์น๋ค. TactileUMI ํ๋์จ์ด๋ Tactile-VLA ๋ ผ๋ฌธ์ UMI ๊ธฐ๋ฐ ์์ง ์ฅ์น์์ ์๋ค(Table 9).
UniVTAC 8๊ณผ์ ์ค ๋ ๊ฐ๋ ๋บ๋ค. Grasp Classify๋ ๊ธฐ์กด ๋ฒ ์ด์ค๋ผ์ธ์ด ์ด๋ฏธ ์๋ฒฝํ๊ฒ ํ์๊ณ (UniVTAC ์ ๋ ผ๋ฌธ์์ VITaL 100%), Insert HDMI๋ motion planning์ผ๋ก ๋ง๋ ์์ฐ์ด ๋งค๋ฒ ์๋ฒฝํ๊ฒ ๊ฝํ ์ด๊ฐ ํผ๋๋ฐฑ์ ํ๊ฐํ๊ธฐ์ ์ ์ด ์ ๋ณด๊ฐ ๋ถ์กฑํ๋ค๋ ์ด์ ๋ค(๋ถ๋ก E.2). ์์ ์ด์ ๋ ๋ฉ๋๋์ง๋ง ๋ค์ ์ด์ ๋ UniVTAC ๋ฆฌ๋ทฐ์ ์ ๋ฆฌํ ์ ๋ ผ๋ฌธ Table I๊ณผ ๋๋ํ ๋์ผ๋ฉด ๋ ๊น๋ํ๋ค. ๊ทธ ํ์์ Insert HDMI๋ ACT 15.0% โ ACT + UniVTAC ์ด๊ฐ encoder 28.0%๋ก ์ด๊ฐ์ ๋ฃ์์ ๋ ๋ ๋ฐฐ ๊ฐ๊น์ด ์ฌ๋๋ค. ๊ทธ ๊ณผ์ ๊ฐ ์ด๊ฐ policy ํ๊ฐ์ ๋ถ์ ํฉํ๋ค๋ ํ๋จ์ FTP-1 ์ ์๋ค์ ํ๋จ์ด๊ณ , ์ ๋ฒค์น๋งํฌ์ ๊ฒฐ๊ณผ์๋ ์ด๊ธ๋๋ค.
์คํ 1: ์ฌ์ ํ์ต์ ์๋ ์ผ์ (ยง3.3, Table 1ยท2)
UniVTAC ์๋ฎฌ๋ ์ด์ (Table 1)
| ๋ฐฉ๋ฒ | Lift Bottle | Pull-out Key | Lift Can | Put Bottle | Insert Hole | Insert Tube | Avg. | Avg. w/o Lift |
|---|---|---|---|---|---|---|---|---|
| VITaL* | 72 | 47 | 8 | 32 | 25 | 34 | 36.33 | 34.5 |
| UniVTAC-ACT* | 71 | 46 | 29 | 31 | 25 | 56 | 43.00 | 39.5 |
| \pi_{0.5} | 97 | 38 | 72 | 16 | 31 | 41 | 49.16 | 31.5 |
| Tactile-VLA | 97 | 32 | 15 | 10 | 41 | 56 | 41.83 | 34.75 |
| FTP-\pi_{0.5} | 77 | 30 | 26 | 19 | 47 | 72 | 45.16 | 42.0 |
| FTP-1 | 97 | 48 | 65 | 47 | 64 | 79 | 66.66 | 59.5 |
*๋ UniVTAC ์ ๋ ผ๋ฌธ์ ๊ฐ. ๊ณผ์ ๋น 100ํ.
- ์ ์๋ค์ด ๋จผ์ ์ง๋ฏ์ด ๋ lift ๊ณผ์ ๋ ์ด๊ฐ ์์ด๋ ๊ฑฐ์ ํ๋ฆฐ๋ค(\pi_{0.5} 97%, 72%). ๊ทธ๋์ โAvg. w/o Liftโ๋ฅผ ํจ๊ป ๋ณด๊ณ ํ๋ค. ์ด ์งํ์์ \pi_{0.5}๋ 31.5%๋ก ์คํ๋ ค ์ตํ์๊ฐ ๋๊ณ , FTP-1์ ๋ ์งํ ๋ชจ๋์์ ์ฐจ์์๋ณด๋ค 17.5%p ๋๋ค(์ ์ฒด ํ๊ท ์ \pi_{0.5} ๋๋น, lift ์ ์ธ๋ FTP-\pi_{0.5} ๋๋น).
- ํ๊ท ์ด์ ๊ฐ ํ์ ์นธ ๊ฐ๊ณผ ๋ชจ๋ ๋ง๋๋ค(ํ์ ๊ฒ์ฐ, 66.66 ๊ฐ์ ๊ฐ์ ๋ฐ์ฌ๋ฆผ์ด ์๋๋ผ ์์ ๋์งธ ์๋ฆฌ ์ ์ฌ). ๋จ ํ ์นธ์ด ์ ์ถ์ฒ์ ๋ค๋ฅด๋ค. UniVTAC-ACT*์ Insert Hole์ ์ ๋ ผ๋ฌธ Table I์์ 24.0์ธ๋ฐ ์ด ํ๋ 25๋ก ์ฎ๊ฒผ๋ค. 24๋ก ๋ค์ ๊ณ์ฐํ๋ฉด ๊ทธ ํ์ ํ๊ท ์ 42.83 / 39.25๊ฐ ๋๋ค. ๊ฒฐ๋ก ์ ์ํฅ์ ์๋ ์ ์ฌ ์ค๋ฅ๋ค.
- *๊ฐ ๋ถ์ ๋ ํ์ ACT ๊ธฐ๋ฐ์ ์์ policy์ด๊ณ 4,000 step ํ์ต์ด๋ค. ๋๋จธ์ง ๋ค ํ์ \pi_{0.5} ๊ท๋ชจ์ VLA๋ค. ๋ ๋ฌถ์์ ๊ฐ์ ํ์์ ๋น๊ตํ ๋๋ ์ด ๊ท๋ชจ ์ฐจ์ด๋ฅผ ๊ฐ์ํด์ผ ํ๋ค.
- ๊ณผ์ ๋น 100ํ์ด๋ฏ๋ก lift ์ ์ธ 4๊ณผ์ ํฉ์ฐ์ผ๋ก FTP-1 238/400 vs FTP-\pi_{0.5} 168/400์ Fisher ์ ํ๊ฒ์ p<10^{-4}์ด๋ค(ํ์ ๊ณ์ฐ, ํ์ต 1ํ์ rollout ๋ถ์ฐ๋ง ๋ฐ์).
์ค๊ธฐ (Table 2)
| ๋ฐฉ๋ฒ | Draw Balloon | Fix Hand (Tear) | Fix Hand (Finish) | Twist Cap | Flip Book | Wipe Dish | Average (ํ๊ธฐ) | Average (ํ์ ์ฌ๊ณ์ฐ) |
|---|---|---|---|---|---|---|---|---|
| \pi_{0.5} | 35 | 70 | 35 | 40 | 65 | 30 | 45.3 | 45.83 |
| Tactile-VLA | 20 | 80 | 25 | 10 | 45 | 35 | 35.8 | 35.83 |
| FTP-\pi_{0.5} | 25 | 65 | 25 | 20 | 70 | 45 | 41.6 | 41.67 |
| FTP-1 | 45 | 80 | 40 | 65 | 85 | 60 | 62.5 | 62.50 |
์ ๋ค ์ด์ Sharpa North, ๋ค ๋ ์ด์ Sharpa&Dexmate. ๊ณผ์ ๋น 20ํ.
- ํค๋๋ผ์ธ +17.2%๋ ํ๊ธฐ ์ค๋ฅ ์์ ์๋ค. \pi_{0.5} ํ์ ์ฌ์ฏ ์นธ ํฉ์ 275์ด๊ณ ํ๊ท ์ 45.83%๋ค. ๋ค๋ฅธ ์ธ ํ์ ํ๊ธฐ ํ๊ท ์ด ์นธ ํ๊ท ์ ์ ์ฌ๊ฐ๊ณผ ๋ง๋๋ฐ ์ด ํ๋ง 45.3์ผ๋ก ์ ํ ์๋ค(PDF์ HTML, ํ๋ก์ ํธ ํ์ด์ง ํ ๋ชจ๋ 45.3). ์ด๋กยท์๋ก ยทFig. 1์ โ+17.2%โ๋ 62.5 โ 45.3์ด๋ค. ์นธ ๊ฐ์ผ๋ก ๊ณ์ฐํ๋ฉด ์ฐจ์ด๋ +16.7%p๋ค. ๊ฒฐ๋ก ์ ๋ฐ๊พธ๋ ํฌ๊ธฐ๋ ์๋์ง๋ง ์ด๋ก ์ซ์๊ฐ ์ด ์ค๊ธฐ์์ ๋์๋ค.
- Fix Hand๊ฐ ๋ ๋ฒ ์ธ์ด์ง๋ค. Tear์ Finish๋ ๊ฐ์ ์ํผ์๋์ ๋ ๋จ๊ณ๋ค(๋ถ๋ก E.2). 6์ด ํ๊ท ์ Fix Hand์ ๋ค๋ฅธ ๊ณผ์ ์ ๋ ๋ฐฐ ๊ฐ์ค์น๋ฅผ ์ค๋ค. Finish ๋จ๊ณ๋ฅผ ๋นผ๊ณ ๊ณผ์ 5๊ฐ๋ก ๊ณ์ฐํ๋ฉด FTP-1 67.0%, \pi_{0.5} 48.0%๋ก ์ฐจ์ด๋ 19.0%p(ํ์ ๊ณ์ฐ)๋ผ ๋ฐฉํฅ์ ๊ฐ๋ค.
- ๊ณผ์ ๋จ์๋ก๋ ๋๋ถ๋ถ ๊ตฌ๋ถ๋์ง ์๋๋ค. ๊ณผ์ ๋น 20ํ์์ FTP-1 vs \pi_{0.5}์ Fisher p๋ Twist Cap 13/20 vs 8/20์ด 0.20, Wipe Dish 12/20 vs 6/20์ด 0.11, Flip Book 17/20 vs 13/20์ด 0.27, Draw Balloon 9/20 vs 7/20์ด 0.75๋ค(ํ์ ๊ณ์ฐ). ๋ค์ฏ ๊ณผ์ ๋ฅผ ํฉ์น๋ฉด 67/100 vs 48/100, p\approx0.01์ด๋ค. ์ด ํฉ์ฐ๋ ํ์ต 1ํ์ rollout ๋ถ์ฐ๋ง ๋ฐ์ํ๋ฉฐ, ํ์ต seed ๊ฐ ๋ถ์ฐ์ ๋ ผ๋ฌธ์ ์๋ค.
- ์ ์๋ค์ด ๊ฐ์กฐํ๋ ๊ด์ฐฐ์ \pi_{0.5}๊ฐ 2์๋ผ๋ ์ ์ด๋ค. ์ด๊ฐ์ ๋ฃ์ ๋ ๋ฒ ์ด์ค๋ผ์ธ(Tactile-VLA, FTP-\pi_{0.5})์ด ์ด๊ฐ ์๋ \pi_{0.5}๋ณด๋ค ๋ฎ๋ค. ์ ์ ํด์์ โ์ ์ ํ ์ตํฉ ์์ด ๋ฃ์ ์ด๊ฐ์ด vision-language ์ง๊ฐ์ ๋ฐฉํดํ ์ ์๋คโ์ด๊ณ , ์ด๋ ๊ฐ์ ๊ฒฐ๋ก ์ ๋ธ ์ ํ ์ฐ๊ตฌ(Niu et al., touch dreaming)์ ์ผ์นํ๋ค๊ณ ์ ๋๋ค. FTP-\pi_{0.5}๋ FTP-1๊ณผ ๊ตฌ์กฐ๊ฐ ๊ฐ๊ณ ์ฌ์ ํ์ต๋ง ์๋ค. ๋ฐ๋ผ์ ์ด ๊ด์ฐฐ์ โ๊ตฌ์กฐโ๋ณด๋ค โ์ฌ์ ํ์ต ์๋ ์ด๊ฐ branchโ๊ฐ ํด๋กญ๋ค๋ ์ชฝ์ผ๋ก ์ฝํ๋ค.
์ ์ฑ์ ์ผ๋ก๋ Tactile-VLA์ FTP-\pi_{0.5}๊ฐ ์ ์ด ์กฐ๊ฑด์ด ๋ฐ๋ ๋ ๋ถ์์ ํ action์ ๋ด๊ณ , \pi_{0.5}๋ Sharpa&Dexmate ๋ ๊ณผ์ ์์ ๋๋ฅด๋ ํ์ ์ผ์ ํ๊ฒ ์ ์งํ์ง ๋ชปํ๋ฉฐ ๋ณ๋๊ป์ ๋ฐ์ ์์ด ๋ฐ์ด ๋ถ์ธ๋ค๊ณ ์ ๋๋ค.
์ด ๋น๊ต์์ ๋ฌด์์ด ํต์ ๋์ง ์์๋. Sharpa ๋ ์ ์ ์์ FTP-1์ ์ฌ์ ํ์ต ๋ ๊ฐ์ Sharpa Wave ์ยทSharpa DTC ์ผ์์ ๋ฐ์ดํฐ๋ฅผ ๋ณด์๊ณ , ํนํ Sharpa North๋ ๊ฐ์ ๋ก๋ด์ ์์ฐ 4,000๊ฐ๋ฅผ ๋ณด์๋ค. \pi_{0.5}์ FTP-\pi_{0.5}๋ ๊ทธ ๋ฐ์ดํฐ๋ฅผ ๋ณด์ง ์์๋ค. ๊ทธ๋ฌ๋ Table 2์ ๊ฒฉ์ฐจ์๋ โ์ด๊ฐ ์ฌ์ ํ์ตโ๊ณผ โ๊ฐ์ ๋ก๋ดยท๊ฐ์ ์์ action ๋ฐ์ดํฐ ๋ ธ์ถโ์ด ์์ฌ ์๋ค. ์ด๋ฅผ ๊ฐ๋ฅด๋ ๋์กฐ๊ตฐ(๊ฐ์ ๊ถค์ ์ผ๋ก ์ด์ด ํ์ตํ \pi_{0.5})์ ยง4.3์ ์์ง๋ง UniVTAC์์๋ง ๋๋ ธ๋ค. ์ค๊ธฐ Sharpa ์ ์ ์์ ๊ทธ ํจ๊ณผ๋ฅผ ๋๋ ๊ทผ๊ฑฐ๋ ๋ ผ๋ฌธ ์์ ์๋ค.
์คํ 2: ์ฌ์ ํ์ต์ ์๋ ์ผ์ (ยง4.1, Table 3)
| ๋ฐฉ๋ฒ | Insert Hanoi (FlexivXense) | Insert USB (FlexivXense) | Wipe Board (TactileUMI) | Avg. |
|---|---|---|---|---|
| \pi_{0.5} | 25 | 0 | 20 | 15.0 |
| Tactile-VLA | 0 | 10 | 15 | 8.3 |
| FTP-\pi_{0.5} | 5 | 10 | 30 | 15.0 |
| FTP-1 | 55 | 30 | 55 | 46.6 |
๊ณผ์ ๋น 20ํ. ๋ฏธ์ธ์กฐ์ ์์ฐ์ FlexivXense ๊ณผ์ ๋น 100๊ฐ, TactileUMI 50๊ฐ.
FTP-1์ ์ ์ผ์์ฉ encoder๋ฅผ ์ฒ์๋ถํฐ ํ์ตํ๊ณ , tactile expertยทfunctional-area embeddingยท(Xense์ ๊ฒฝ์ฐ) ๊ณต์ T3 trunk, VLยทaction expert๋ FTP-1 ์ฒดํฌํฌ์ธํธ์์ ์์ํ๋ค. ๊ณต๊ฐ ํ์ต ์ฝ๋๋ ๊ธฐ๋ณธ์ ์ผ๋ก ์ด ๋ชจ๋๋ค์ ์ผ๋ฆฌ์ง ์๊ณ ํจ๊ป ๋ฏธ์ธ์กฐ์ ํ๋ค(๊ณต์ trunk๋ง ์ ํ์ ์ผ๋ก ์ผ๋ฆฌ๋ ์ต์ ์ด ์๋ค). ํ๋ก์ ํธ ํ์ด์ง๋ ์ด ์คํ์ โlearning only the sensor-specific encoderโ๋ผ๊ณ ์๊ฐํ๋๋ฐ, ๋ ผ๋ฌธ์ โreusingโ์ ์ด๊ธฐํ๋ก ์ฌ์ฌ์ฉํ๋ค๋ ๋ป์ด๊ณ ํ์ต ๋์์ encoder๋ก ํ์ ํ์ง ์๋๋ค.
- ํ๊ท 46.6%๋ 15.0% ๋๋น +31.6%p๋ค. ์ด๋ก์ ์ด๋ฅผ โ+31%โ๋ก ์ ๋๋ค. ๋น๊ต ๊ธฐ์ค์ FTP-\pi_{0.5}์ด๊ณ , \pi_{0.5}๋ ๊ฐ์ 15.0%๋ค.
- ์ธ ๊ณผ์ ๋ฅผ ํฉ์น๋ฉด 28/60 vs 9/60, Fisher p\approx0.0003์ด๋ค(ํ์ ๊ณ์ฐ). ๊ณผ์ ๋ณ๋ก๋ Insert Hanoi 11/20 vs 5/20(\pi_{0.5}) p\approx0.11, Insert USB 6/20 vs 2/20 p\approx0.24, Wipe Board 11/20 vs 6/20 p\approx0.20์ผ๋ก ๋จ๋ ์ผ๋ก๋ ๊ตฌ๋ถ๋์ง ์๋๋ค. ํฉ์ฐ ๊ฒฉ์ฐจ๋ ์ค๊ธฐ ๊ฒฐ๊ณผ ์ค ๊ฐ์ฅ ๋จ๋จํ์ง๋ง, ์ฌ์ ํ ํ์ต 1ํ ๊ธฐ์ค์ด๋ค.
- ๋ฒ ์ด์ค๋ผ์ธ ์ชฝ์์ ๋์ ๋๋ ์นธ์ \pi_{0.5}์ Insert Hanoi 25%๋ค. ์ด๊ฐ ์๋ \pi_{0.5}๊ฐ ์ด๊ฐ์ ๋ฃ์ FTP-\pi_{0.5}(5%)์ Tactile-VLA(0%)๋ณด๋ค ๋๋ค. Table 2์์ ๋ณธ โ์ฌ์ ํ์ต ์๋ ์ด๊ฐ branch๋ ํด๊ฐ ๋ ์ ์๋คโ๋ ํจํด์ด ์ฌ๊ธฐ์๋ ๋ฐ๋ณต๋๋ค. ์ ์๋ค์ ๋์ โ\pi_{0.5}๊ฐ FTP-\pi_{0.5}์ ๋น์ทํ๋คโ๋ ์ชฝ์ผ๋ก ์์ ํ๋ค.
์ ์ฑ ๊ด์ฐฐ์ ์ด๋ ๋ค. Insert Hanoi์์ FTP-1๊ณผ \pi_{0.5}๋ recovery ํ๋์ ๋ณด์ด์ง๋ง ๋๋จธ์ง๋ ๋ณด์ด์ง ์๋๋ค. FTP-1์ ๊ณ ๋ฆฌ๊ฐ ๊ธฐ๋ฅ๊ณผ ์ด๊ธ๋ฌ์ ๋ ์ด๊ฐ์ ๋ณด๊ณ ์ฝ์ ์ ๋ฆ์ถ๊ณ \pi_{0.5}๋ ๊ทธ๋ฌ์ง ์๋๋ค. Insert USB๋ ์์ฐ 100๊ฐ๋ก๋ ์ตํ๊ธฐ ์ด๋ ค์ด ๊ณผ์ ์ฌ์ ๋ฐ์ดํฐ ํจ์จ์ ์ํ๋๋ผ๊ณ ์ ๋๋ค. Wipe Board์์๋ ๋ค๋ฅธ ๋ชจ๋ธ๋ค์ด ๋๋ฅด๋ ํ์ ์ ์งํ์ง ๋ชปํ๊ณ ์ ์ด์ ์๋๋ค. ์ด ๊ด์ฐฐ๋ค์ ํ๋ก์ ํธ ํ์ด์ง ์์๊ณผ Fig. 15ยท16์ ๋ํ rollout์ผ๋ก๋ง ์ ์๋๊ณ ์ ๋ํ๋์ง ์์๋ค(์: ์ฝ์ ์๋๋ ์ ์ด๋ ฅ์ ์๊ณ์ด ๋น๊ต๋ ์๋ค).
์คํ 3: ์ด๋์ ์ด๊ฐ ์ฌ์ ํ์ต์์ ์ค๋๊ฐ (ยง4.2, Fig. 7, Table 10)
์ ์๋ค์ ๋ ๊ฐ์ค์ ์ธ์ด๋ค. H1์ โ์ฌ์ ํ์ต ๋ฐ์ดํฐ ๋ถํฌ๊ฐ downstream๊ณผ ๊ฐ๊น์์ ๋ฏธ์ธ์กฐ์ ์ด ์ฌ์์ก์ ๋ฟโ์ด๊ณ , H2๋ โ์ ์ด ๊ฐ๋ฅํ ์ด๊ฐ ์กฐ์ ์ง์์ ๋ฐฐ์ ๋คโ์ด๋ค. ์ด๋ฅผ ๊ฐ๋ฅด๋ ค๊ณ NTP๋ฅผ ๋ง๋ ๋ค. FTP-1๊ณผ ๊ฐ์ ๋ฐ์ดํฐยท๊ฐ์ ์ต์ ํ๋ก ์ฌ์ ํ์ตํ๋ ์ด๊ฐ ์ ๋ ฅ๊ณผ ์ด๊ฐ ๊ด๋ จ ๊ตฌ์กฐ๋ฅผ ๋บ ์ฒดํฌํฌ์ธํธ๋ค. ๋ฏธ์ธ์กฐ์ ๋ FTP-1๊ณผ ๊ฐ์ ์ด๊ฐ ๊ตฌ์กฐ๋ฅผ ๋ถ์ธ ๊ฒ์ NTP-1์ด๋ผ ๋ถ๋ฅธ๋ค. ์ธ ๋ชจ๋ธ์ ๋ฏธ์ธ์กฐ์ ์์ ์ ๊ตฌ์กฐ๊ฐ ๊ฐ๊ณ ์ฒดํฌํฌ์ธํธ๋ง ๋ค๋ฅด๋ค.

Fig. 7. FTP-\pi_{0.5} ยท NTP-1 ยท FTP-1์ ํ๊ท ์ฑ๊ณต๋ฅ . UniVTAC 41.8 / 50.0 / 66.6, FlexivXense 7.5 / 5.0 / 42.5.
๋ถ๋ก Table 10์ด UniVTAC ๊ณผ์ ๋ณ ๊ฐ์ ์ค๋ค.
| ๋ฐฉ๋ฒ | Lift Bottle | Pull-out Key | Lift Can | Put Bottle | Insert Hole | Insert Tube | Avg. | Avg. w/o Lift |
|---|---|---|---|---|---|---|---|---|
| FTP-\pi_{0.5} | 77 | 30 | 26 | 19 | 47 | 72 | 45.16 | 42.0 |
| NTP-1 | 88 | 38 | 66 | 32 | 31 | 45 | 50.00 | 36.5 |
| FTP-1 | 97 | 48 | 65 | 47 | 64 | 79 | 66.66 | 59.5 |
์ฌ๊ธฐ์ ์ธ ๊ฐ์ง๊ฐ ๋ณด์ธ๋ค.
- Fig. 7์ FTP-\pi_{0.5} UniVTAC ๋ง๋(41.8)๋ ํ์ ๋ค๋ฅด๋ค. Table 1๊ณผ Table 10์ ๋ชจ๋ 45.16์ด๋ค. 41.8์ Table 1์์ Tactile-VLA์ ํ๊ท (41.83)์ด๋ค. ๊ทธ๋ฆผ์ ๋ค๋ฅธ ํ์ ๊ฐ์ด ๋ค์ด๊ฐ ๊ฒ์ผ๋ก ๋ณด์ธ๋ค. FlexivXense์ 7.5๋ Table 3์ FTP-\pi_{0.5} ๋ ๊ณผ์ ํ๊ท ((5+10)/2)๊ณผ ๋ง๋๋ค.
- โNTP-1์ด FTP-\pi_{0.5}๋ณด๋ค ๋ซ๋คโ๋ lift ๊ณผ์ ์์๋ง ์ฑ๋ฆฝํ๋ค. ์ ์๋ค์ ์ ์ฒด ํ๊ท (50.0 vs 45.16)์ ๊ทผ๊ฑฐ๋ก โFTP-1-Dataset์ ๋ถํฌ๊ฐ UniVTAC์ ๋ ๊ฐ๊น์ธ ์ ์๋คโ๊ณ ์ด๋ค(H1์ ๋ถ๋ถ ์ง์ง). ๊ทธ๋ฌ๋ ์ด๊ฐ์ด ํ์ํ lift ์ ์ธ 4๊ณผ์ ์์๋ NTP-1์ด 36.5%๋ก ์ฌ์ ํ์ต์ด ์๋ FTP-\pi_{0.5}(42.0%)๋ณด๋ค ๋ฎ๋ค. ํนํ Insert Hole 31 vs 47, Insert Tube 45 vs 72๋ก ์ฝ์ ๊ณผ์ ์์ ํฌ๊ฒ ๋ค์ง๋ค. ๊ฐ์ ๋ฐ์ดํฐ๋ก ์๊ฐ๋ง ์ฌ์ ํ์ตํ ํจ๊ณผ๋ ์๊ฐ์ผ๋ก ํ๋ฆฌ๋ lift ๊ณผ์ ์ ๋ชฐ๋ ค ์๊ณ , ์ด๊ฐ ๊ณผ์ ์๋ ์คํ๋ ค ์ํด๋ค. ์ด ๋ถํด๋ H2๋ฅผ ์ ์๋ค์ ์์ ๋ณด๋ค ๋ ๊ฐํ๊ฒ ์ง์งํ๋ค. lift ์ ์ธ ์งํ์์ FTP-1 59.5 vs NTP-1 36.5๋ก ์ฐจ์ด๊ฐ 23.0%p๋ค.
- FlexivXense์์์ ์ฐจ์ด๋ ํฌ์ง๋ง ํ๋ณธ์ด ์๋ค. 42.5 vs 5.0(+37.5%p)์ ๊ณผ์ 2๊ฐ ร 20ํ๋ก 17/40 vs 2/40, Fisher p\approx10^{-4}์ด๋ค(ํ์ ๊ณ์ฐ). NTP-1(5.0)์ด ์ฌ์ ํ์ต ์๋ FTP-\pi_{0.5}(7.5)๋ณด๋ค๋ ๋ฎ๋ค. ๊ณผ์ ๋ณ NTP-1 ๊ฐ์ ๋ ผ๋ฌธ์ ์๋ค.
๊ฐ์ ๊ถค์ ์ ๋ ธ์ถ๋ VLA์์ ๋น๊ต (ยง4.3, ๋ถ๋ก F.1, Table 4)
FTP-1 ์ฌ์ ํ์ต์ ์ด ๋ก๋ด ๊ถค์ ์ผ๋ก \pi_{0.5}๋ฅผ ๊ฐ์ ์์ฐ๋งํผ ์ด์ด ํ์ตํ๊ณ (์ด๊ฐ ์์ด) UniVTAC์์ ๋ฏธ์ธ์กฐ์ ํ๋ค.
| ๋ฐฉ๋ฒ | Avg. | Avg. w/o Lift |
|---|---|---|
| \pi_{0.5} + ๊ฐ์ ๊ถค์ ยท๊ฐ์ ์์ฐ์ผ๋ก ์ด์ด ํ์ต | 57.0 | 44.0 |
| FTP-1 | 66.7 | 59.5 |
์ฐจ์ด๋ 9.7 / 15.5%p๋ค. ์ด ๋์กฐ๊ตฐ์ lift ์ ์ธ 44.0%๋ NTP-1(36.5%)๋ณด๋ค ๋๋ค. ์ ์์ ๋ ๋์กฐ๊ตฐ์ ๋ชจ๋ โ์ด๊ฐ ์์ด ์ฌ์ ํ์ตโ์ธ๋ฐ, ๋ฏธ์ธ์กฐ์ ๋ scratch ์ด๊ฐ branch๋ฅผ ๋ถ์ธ ์ชฝ(NTP-1)์ด ์ด๊ฐ ์์ด ๋๊น์ง ๊ฐ ์ชฝ๋ณด๋ค ์ด๊ฐ ๊ณผ์ ์์ ๋ฎ๋ค. ์คํ 1ยท2์ โ์ฌ์ ํ์ต ์๋ ์ด๊ฐ branch๋ ํด๊ฐ ๋ ์ ์๋คโ์ ๊ฐ์ ๋ฐฉํฅ์ด๋ค. ๋ค๋ง ๋ ๋์กฐ๊ตฐ์ ๋ฐ์ดํฐ๊ฐ ์ ํํ ๊ฐ์์ง(NTP๋ โ๊ฐ์ ์ฌ์ ํ์ต ๋ฐ์ดํฐโ, F.1์ โ๊ฐ์ ๋ก๋ด ๊ถค์ โ์ด๋ผ ์ ์ด ์ฌ๋ ์ ๋ฐ์ดํฐ ํฌํจ ์ฌ๋ถ๊ฐ ๋ค๋ฅผ ์ ์๋ค)๋ ๋ ผ๋ฌธ์ด ๋ช ์ํ์ง ์๋๋ค.
์ด ๋์กฐ๊ตฐ์ ์คํ 1์์ ์ง์ ํ ํผ์ฌ(์ด๊ฐ ์ฌ์ ํ์ต vs ๊ฐ์ ๋ก๋ด ๋ฐ์ดํฐ ๋ ธ์ถ)๋ฅผ ๊ฐ๋ฅด๋ ๋ฐ๋ก ๊ทธ ์คํ์ด๋ค. ๊ฒฐ๊ณผ๋ FTP-1์ ์ ๋ฆฌํ๊ฒ ๋์์ง๋ง, GelSight-Mini ๊ทธ๋ฆฌํผ ์๋ฎฌ๋ ์ด์ ํ ๊ณณ์์๋ง ๋๋ ธ๋ค. Sharpa North์ฒ๋ผ ๊ฐ์ ๋ก๋ด ๋ฐ์ดํฐ๊ฐ ์ฌ์ ํ์ต์ ์ง์ ๋ค์ด๊ฐ ์ค๊ธฐ ์ ์ ์์๋ ์ด ๋์กฐ๊ฐ ์๋ค.
์ฌ์ ํ์ต ๊ท๋ชจ (ยง4.3, ๋ถ๋ก F.2, Table 11)
| ์ค์ | ๋ฐ์ดํฐ ๋น์จ | ํ์ต step | Avg. | Avg. w/o Lift |
|---|---|---|---|---|
| 0% (FTP-\pi_{0.5}) | 0% | 0 | 45.2 | 42.0 |
| 50% | 50% | 25,000 | 59.0 | 46.0 |
| 100% (FTP-1) | 100% | 50,000 | 66.7 | 59.5 |
๋ฐ์ดํฐ์ step์ ํจ๊ป ํค์ ์ผ๋ฏ๋ก ๋ ์ค ๋ฌด์์ด ํจ๊ณผ๋ฅผ ๋๋์ง๋ ๋๋์ง ์๋๋ค. ์ ์ ์ธ ๊ฐ๋ค. lift ์ ์ธ ์งํ๋ 42.0 โ 46.0 โ 59.5๋ก 0โ50% ๊ตฌ๊ฐ์ ์ด๋(+4.0)๋ณด๋ค 50โ100% ๊ตฌ๊ฐ(+13.5)์ด ํฌ๋ค. 50% ์ค์ ์ lift ๋ ๊ณผ์ ํ๊ท ์ ํ์ ๋ ํ๊ท ์์ (6\times59.0-4\times46.0)/2=85.0\%๋ก ์ญ์ฐ๋๋ค(ํ์ ๊ณ์ฐ). ์ ๋ฐ ์ฌ์ ํ์ต์ ์ด๋์ ์ฃผ๋ก lift ๊ณผ์ ์์ ๋์จ ์ ์ด๊ณ , ์ด๋ ์ NTP-1์ ํจํด๊ณผ ๋ฎ์๋ค. ๋ถ๋ก D๋ 50k step ์ดํ ์ฑ๋ฅ์ด ํฌํํ๋ค๊ณ ์ ๋๋ฐ, ์ด ํฌํ์ ๊ทผ๊ฑฐ ์์น๋ ์ ์๋์ง ์๋๋ค.
๊ณ ์ ์ด๊ฐ feature probing (ยง4.3, ๋ถ๋ก F.3, Table 12)
GelSight Mini encoder์ ๊ณต์ trunk๋ฅผ ์ผ๋ฆฐ ์ฑ ํ ์ถ์ (์ ํ probe, MAE)๊ณผ ๋ฏธ๋๋ฌ์ง ๊ฒ์ถ(attentive probe, F1)์ ํ๋ค. ์ธ probe seed ํ๊ท ์ด๋ค.
| ๋ฒค์น๋งํฌ ยท ์งํ | T3 (์ด๊ธฐ๊ฐ) | FTP-1 trunk | FTP-1 tokenizer | ์ฐธ๊ณ ๋ชจ๋ธ |
|---|---|---|---|---|
| TacBench T1 ํ, ์ ํ MAE โ (N) | 0.106 | 0.107 | 0.116 | โ |
| TacBench T2 ๋ฏธ๋๋ฌ์ง, attentive F1 โ | 0.725 | 0.780 | 0.786 | 0.922 (Sparsh-MAE) |
| FeelAnyForce ํ, ์ ํ MAE โ (N) | 0.273 | 0.314 | 0.424 | 0.041 (ํยท๊น์ด ์ง๋ํ์ต backbone) |
ยง4.3 ๋ณธ๋ฌธ์ โslip F1์ด 0.725 โ 0.780/0.786์ผ๋ก ์ค๋ฅด๊ณ , force probe๋ ์ ๋์ ํ ์ ๋ณด๋ฅผ ๋ณต์ํ๋คโ๊ณ ์์ฝํ๋ค. ํ์ ์ธ ํ์ ๋ค ๋์ผ๋ฉด ๊ทธ๋ฆผ์ด ๋ค๋ฅด๋ค. ๋ฏธ๋๋ฌ์ง์ ๊ฐ์ ๋์ง๋ง ํ ์ถ์ ์ ๋ ๋ฒค์น๋งํฌ ๋ชจ๋์์ T3 ์ด๊ธฐ๊ฐ๋ณด๋ค ๊ฐ๊ฑฐ๋ ๋์๋ค. FeelAnyForce์์๋ trunk๊ฐ 15%, tokenizer๊ฐ 55% ๋์๋ค(ํ์ ๊ณ์ฐ). ๋ถ๋ก F.3์ ๊ฒฐ๊ณผ ๋ฌธ๋จ๋ T1๊ณผ T2๋ง ์์ ํ๊ณ FeelAnyForce ํ์ ์ธ๊ธํ์ง ์๋๋ค. ์ ํํ ์์ฝ์ โpolicy ์ฌ์ ํ์ต์ด ๋ฏธ๋๋ฌ์ง ์ ๋ณด๋ฅผ ๋๋ฆฌ๊ณ , ํ ์ ๋ณด๋ ๋์ฒด๋ก ๋ณด์กดํ๊ฑฐ๋ ์ผ๋ถ ์๋๋คโ์ด๋ค. ๋ฏธ๋๋ฌ์ง๋ Sparsh ๊ณ์ด ์ฐธ๊ณ ๊ฐ(0.922)๊ณผ๋ ๊ฑฐ๋ฆฌ๊ฐ ํฌ๋ค. T2 ๋ถํ ์ ๊ณต๊ฐ ๋ฐ์ดํฐ๋ฅผ ์ ์๋ค์ด ์ฌ๊ตฌ์ฑํ ๊ฒ์ด๋ค. TacBench ์์ฒด๋ ๋ธ๋ก๊ทธ์ Sparsh ๋ฆฌ๋ทฐ์ ์ ๋ฆฌ๋ผ ์๋ค.
์ ์ฑ ๊ฒฐ๊ณผ์ ์์ (๋ถ๋ก E.3ยทE.5, ํ๋ก์ ํธ ํ์ด์ง)
์๋ ์์์ ํ๋ก์ ํธ ํ์ด์ง์ FTP-1 rollout์ด๋ฉฐ, ํ๋ก์ ํธ ํ์ด์ง๊ฐ ๊ณ ๋ฅธ ๋ํ ์ํผ์๋๋ค.
Draw Balloon (Sharpa North)
Twist Cap (Sharpa North)
Fix Hand (Sharpa North)
Flip Book (Sharpa&Dexmate)
Wipe Dish (Sharpa&Dexmate)
Insert Hole (UniVTAC)
Insert Hanoi (FlexivXense, unseen)
Insert USB (FlexivXense, unseen)
Wipe Board (TactileUMI, unseen)
๋ ผ๋ฌธ ๋ถ๋ก์ ๋ํ rollout ๊ทธ๋ฆผ์ ๊ณผ์ ๋ง๋ค ์ฑ๊ณต rollout ํ๋์ ๋ค์ฏ key frame์ด๋ค.

Fig. 12. UniVTAC 6๊ณผ์ ์ ๋ํ rollout.

Fig. 13. Sharpa North: Draw Balloon, Fix Hand (Tear), Fix Hand (Finish), Twist Cap.

Fig. 14. Sharpa&Dexmate: Flip Book, Wipe Dish.

Fig. 15. FlexivXense: Insert Hanoi, Insert USB.

Fig. 16. TactileUMI: Wipe Board.
๊ณต๊ฐ ์ฝ๋ยท์ฒดํฌํฌ์ธํธ์ ๋์กฐ (์ ์ ํ์ธ)
์๋๋ ๊ณต๊ฐ ๋ ํฌ ํ์ผ๊ณผ Hugging Face ์ฒดํฌํฌ์ธํธ์ configยทsafetensors ํค๋(ํ ์ ์ด๋ฆ๊ณผ shape)๋ฅผ ์ฝ์ ์ ์ ํ์ธ์ด๋ค. ๋ชจ๋ธ์ ์คํํด ์ฑ๋ฅ์ ํ์ธํ ๊ฒ์ด ์๋๋ค. ๊ธฐ์ค์ GitHub
main@89fa681.
| ํญ๋ชฉ | ๋ ผ๋ฌธ | ๊ณต๊ฐ ์ฝ๋ / ์ฒดํฌํฌ์ธํธ |
|---|---|---|
| tactile expert ํฌ๊ธฐ | โ300M-parameter Transformerโ, width 1024 ยท depth 18 ยท MLP 4096 ยท 8 heads ยท head dim 256 (๋ถ๋ก B.5) | config tactile_expert_variant: gemma_small = width 512 ยท depth 18 ยท MLP 2048 ยท 8 heads ยท head dim 256. ์ฌ์ ํ์ต ์ฒดํฌํฌ์ธํธ์ tactile expert ๊ฐ์ค์น ํฉ ์ฝ 99.1M. UniVTAC ๋ฏธ์ธ์กฐ์ ์ฒดํฌํฌ์ธํธ ์ด๋ฆ๋ ..._expert_gsmall_ftp1 |
| ๊ณต์ ์ด๋ฏธ์ง trunk | depth 9 ยท width 768, T3 ์ด๊ธฐํ | ์ฒดํฌํฌ์ธํธ์ ์ฝ 63.8M, load_t3_pretrained_checkpoint: true |
| attention mask | ํ VL/tactile/action, [[1,0,0],[0,1,0],[1,1,1]] | ftp1_attention_masks.py๊ฐ ๊ฐ์ ๋ธ๋ก ๊ตฌ์กฐ๋ฅผ ๋ง๋ ๋ค(VLยทtactile ๊ฐ์ ์์์๋ง, action์ ์
๋ค) |
| action ๊ณต๊ฐ D, horizon H | ๊ฐ ๋ฏธ๊ธฐ์ฌ | action_dim: 120, action_horizon: 32 |
| ๋ฏธ์ธ์กฐ์ ์ค์ | 20k step, batch 64, 5\times10^{-5}\to5\times10^{-6} | UniVTAC ์์ ์คํฌ๋ฆฝํธ ๊ฐ์ด ๊ฐ๋ค(๊ทธ ๋ฐ์ warmup 500, optimizer ฮฒโ 0.95, grad clip 1.0) |
| ๋ฏธ์ธ์กฐ์ ์ ๋๊ฒฐ | โreuseโ๋ผ๊ณ ๋ง ์์ | ๊ธฐ๋ณธ์ ์ ์ฒด ๋ฏธ์ธ์กฐ์ , ๊ณต์ ์ด๋ฏธ์ง trunk๋ง ์ ํ์ ๋๊ฒฐ ์ต์ |
| ์ฌ์ ํ์ต ํ์ต๋ฅ ยท๋ฐ ์ค์ | H20 48์ฅ, 50k step, 10^{-4}\to5\times10^{-5} (๋ถ๋ก D) | ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ train_config.json: ์ด 400k step ์์ , warmup 5,000, 180k step์ ๊ฑธ์ณ 10^{-4}\to10^{-5} cosine. ์ด ์์ผ๋ก 50k ์์ ํ์ต๋ฅ ์ ์ฝ 8.6\times10^{-5}, ๋ถ๋ก F.2์ 50% ์กฐ๊ฑด์ธ 25k ์์ ์ ์ฝ 9.7\times10^{-5}(ํ์ ๊ณ์ฐ). ์คํ ์ด๋ฆ์ โ16H20โ์ด ๋ค์ด ์๋ค. ๋ ํฌ์ ๊ณต๊ฐ ์ฌ์ ํ์ต ๋ฐ์ฒ(pretrain_small)๋ 150k step, 5\times10^{-5}\to3\times10^{-6}์ผ๋ก ๋ ๋ค๋ฅด๋ค |
| ์ฌ์ํ๋ง | โdataset-specific sampling ratiosโ (Table 8) | ์ถ์ฒ๋ณ ๋ณต์ ํ์ = Sample-Scale์ ์ฌ๋ฆผ. 26๊ฐ ์ถ์ฒ๊ฐ ๋ชจ๋ ์ค์ ์ ๋ค์ด ์๋ค |
| encoder ์ธ๋ถ | state encoder โ3-layer ReLU MLPโ, LN โ area embedding ๋ง์ โ MLP | state MLP ํ์ฑํ๋ GELU. area embedding์ ๋จผ์ ๋ํ๊ณ ๊ทธ ๋ค LN โ Linear โ GELU โ Linear(์ฒดํฌํฌ์ธํธ์ ํด๋น LN ๊ฐ์ค์น๋ก๋ ํ์ธ). LN์ ์๋ค ์์น๋ง ๋ค๋ฅธ ๊ฒฝ๋ฏธํ ์ฐจ์ด๋ค |
| ๋ฒ ์ด์ค๋ผ์ธยทprobing | Tactile-VLA, NTP-1, ๊ถค์ ๋ ธ์ถ \pi_{0.5}, ๋ถ๋ก F.3 probe | ๋ ํฌ์ ํด๋น ๊ตฌํยท์คํฌ๋ฆฝํธ๊ฐ ์๋ค |
| ๋๋ฉ์ธ๋ณ gradient | โ๋๋ฉ์ธ ์ ์ฉ ๋ชจ๋์ ๋ ๋ฆฝ ๊ฐฑ์ , ๊ณต์ ๋ชจ๋์ ๋ณํฉ ํ ๊ฐฑ์ โ (๋ถ๋ก D) | ์ ์ฉ ๊ตฌํ ์์ด rank๋ณ๋ก ํ ๋๋ฉ์ธ ๋ฐฐ์น๋ฅผ ์ฃผ๊ณ ํ์ค DDP(find_unused_parameters=True)๋ก ํ๊ท ํ๋ค. ๊ทธ ๋๋ฉ์ธ์ ์ ์ด rank์ 0 gradient๋ ํ๊ท ์ ๋ค์ด๊ฐ๋ฏ๋ก, ์ผ์๋ณ encoder์ ์คํจ gradient๋ ๊ทธ ๋๋ฉ์ธ์ ๋งก์ rank ๋น์จ๋งํผ ์ค์ด๋ ๋ค(ํ์ ํด์) |
| EMA | ์์ ์์ | ํ์ต ์ค์ ์ ema_decay 0.99๊ฐ ์์ง๋ง PyTorch ํ์ต ๊ฒฝ๋ก๋ EMA๋ฅผ ์ง์ํ์ง ์๋๋ค๋ ๋ก๊ทธ๋ง ๋จ๊ธด๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ๋ EMA ๊ฐ์ค์น๊ฐ ์๋ ๊ฒ์ผ๋ก ์ฝํ๋ค |
๊ฐ์ฅ ํฐ ๋ถ์ผ์น๋ tactile expert ํฌ๊ธฐ๋ค. ๋
ผ๋ฌธ์ด ์ ์ ์ฌ์(width 1024, MLP 4096)์ openpi์ gemma_300m ์ฌ์๊ณผ ๊ฐ๊ณ , ์ธต๋น ์ฝ 17.3M ร 18์ธต โ 311M์ผ๋ก โ300Mโ๊ณผ ๋ง๋๋ค. ๊ณต๊ฐ๋ gemma_small์ ์ธต๋น ์ฝ 5.5M ร 18์ธต โ 99M์ด๋ค(ํ์ ๊ณ์ฐ, ์ฒดํฌํฌ์ธํธ ํค๋์ 99.1M๊ณผ ์ผ์น). ๋
ผ๋ฌธ ์์์๋ ๋ ํฌ๊ธฐ๊ฐ ์์ฌ ์๋ค. ๋ถ๋ก F.3์ probing์ ์ด โFTP-1 tokenizer featureโ๋ฅผ 512์ฐจ์์ด๋ผ ์ ๋๋ฐ, ์ฝ๋์์ tokenizer ์ถ๋ ฅ ํญ์ tactile expert์ width๋ฅผ ๊ทธ๋๋ก ๋ฐ๋ฅธ๋ค. ์ฆ F.3ยท๊ณต๊ฐ ์ฒดํฌํฌ์ธํธยท์ฝ๋๋ width 512๋ก ์ผ๊ด๋๊ณ , 1024๋ฅผ ๋งํ๋ ๊ณณ์ ยง2.3๊ณผ ๋ถ๋ก B.5๋ฟ์ด๋ค. ์ฝ๋์ ๋จ์ ์ฐ์ด์ง ์๋ ํด๋์ค์๋ token_dim = 1024 # follow gemma_300m config๋ผ๋ ์ ์ค์ ์ ํ์ ์ด ์๋ค. ๊ทธ๋ฌ๋ ๋
ผ๋ฌธ ์คํ์ด 512 ํญ ๋ชจ๋ธ๋ก ๋์๊ณ ยง2.3ยทB.5๊ฐ ์ ์ฌ์์ ์ ์์ ๊ฐ๋ฅ์ฑ์ด ๋์ ๋ณด์ด์ง๋ง, ํ์ ํ ๊ทผ๊ฑฐ๋ ์๋ค. ํ์ต ์ค์ ๋ ๊ฐ์ ๋ฐฉํฅ์ ๊ฐ๋ฆฌํจ๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ๋ 400k step์ผ๋ก ๊ณํ๋ ๋ฐ์ 50k ์์ ์ค๋
์ท์ด๊ณ , ๊ทธ ์์ ์ ํ์ต๋ฅ ์ ๋
ผ๋ฌธ์ด ์ ์ โ5\times10^{-5}๊น์ง ๊ฐ์ โ๊ฐ ์๋๋ผ ์ฝ 8.6\times10^{-5}๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ๊ฐ ๋
ผ๋ฌธ ํ์ ๋ชจ๋ธ๊ณผ ๊ฐ์ ๋ฐ์ธ์ง, ๋
ผ๋ฌธ ์์ ์ด ๋ค๋ฅธ ๋ฐ์ ์ค๋ช
ํ๋์ง๋ ๊ณต๊ฐ ์๋ฃ๋ง์ผ๋ก ์ ํ ์ ์๋ค. ์ฒดํฌํฌ์ธํธ ์ด๋ฆ์ v0426, ์คํ ์ด๋ฆ์ โ16H20โ(๋
ผ๋ฌธ์ H20 48์ฅ)๋ ์ ๋ฆฌ๊ฐ ํ์ํ ์ง์ ์ด๋ค. ์ฌํํ๋ ค๋ ์ฌ๋์๊ฒ ์ค์ฉ์ ์ธ ๊ฒฐ๋ก ์ ์ด๋ ๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ๋ก ์ป๋ ๊ฒฐ๊ณผ๋ โ๋
ผ๋ฌธ์ด ์์ ํ 300M tactile expert ๋ชจ๋ธโ์ ๊ฒฐ๊ณผ๊ฐ ์๋ ์ ์๋ค.
์ฌ์ํ๋ง์ ๋ฐ๋๋ก ๋ ผ๋ฌธ๊ณผ ์ ํํ ๋ง๋๋ค. ์ฒดํฌํฌ์ธํธ์ ๋ฐ์ดํฐ ์ค์ ์ Table 8์ 26๊ฐ ์ถ์ฒ๊ฐ ๋ชจ๋ ์๊ณ , ๋ณต์ ํ์๊ฐ Sample-Scale์ ์ฌ๋ฆผ๊ณผ ์ผ์นํ๋ค. ์คํ ์ด๋ฆ์ โno_REASSEMBLEโ์ด ๋ค์ด ์์ง๋ง ์ค์ ์๋ REASSEMBLE๋ ๋ค์ด ์๋ค.
์์ ๊ด์ฐฐ ํ๋๋ฅผ ๋ง๋ถ์ธ๋ค. ์ฒดํฌํฌ์ธํธ์ ์ผ์๋ณ encoder ๋ชฉ๋ก์๋ LinkerHandL6Torque_state_6์ฒ๋ผ Table 8์ ์ผ์ ๋ชฉ๋ก(LinkerHand L6 Touch, array)์ ์๋ state encoder๊ฐ ์๋ค. ์ด๋ฆ ๊ท์ฝ ์ฐจ์ด์ผ ์ ์์ด ์ฌ๊ธฐ์๋ ๊ด์ฐฐ๋ก๋ง ๋จ๊ธด๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ๋ฌธ์ ์ค์ ์ด ์ ํํ๋ค. ์ด๊ฐ์ด generalist policy์์ ๋น ์ง ์ด์ ๋ฅผ โ๋ฐ์ดํฐ๊ฐ ์ ์ด์โ๊ฐ ์๋๋ผ โ์ผ์ ๊ฐ ์ธํฐํ์ด์ค๊ฐ ์์ด์โ๋ก ์ง๊ณ , ๊ทธ ์ธํฐํ์ด์ค๋ฅผ ์ ํด๋ถํ ๊ธฐ๋ฐ์ ๊ณ ์ ์ฌ๋กฏ์ผ๋ก ์ค ๊ฒ์ ๋จ์ํ๋ฉด์ ํ์ฅ ๊ฐ๋ฅํ๋ค. ์ ์ผ์๋ฅผ ๋ถ์ด๋ ๋น์ฉ์ด โ์ด๋ ์ฌ๋กฏ์ ์ด๋ค encoderโ ์ ์๋ก ์ค์ด๋ ๋ค. FAAS๋ก action ์ชฝ์ ํต์ผํ ๊ฒ๊ณผ ๋์นญ์ ์ด๋ฃจ๋ ์ค๊ณ๋ค.
- ๋ฒ ์ด์ค๋ผ์ธ์ด ์์ธ ๋ถ๋ฆฌ๋ฅผ ์ํด ์ง์ฌ ์๋ค. \pi_{0.5}(์ด๊ฐ ์ ๋ฌด), Tactile-VLA(์ตํฉ ๊ตฌ์กฐ), FTP-\pi_{0.5}(์ฌ์ ํ์ต ์ ๋ฌด)๊ฐ ๊ฐ๊ฐ ํ ์์ธ์ฉ ๋ค๋ฅด๊ณ , NTP-1๊ณผ ๊ถค์ ๋ ธ์ถ ๋์กฐ๊ตฐ์ด โ๋ฐ์ดํฐ ๋ถํฌ vs ์ด๊ฐ ์ง์โ ๊ฐ์ค์ ์ง์ ๊ฒจ๋ฅํ๋ค. ์ด๊ฐ VLA ๋ ผ๋ฌธ์์ ์ด ์ ๋๋ก ๋์กฐ๊ตฐ์ ์ง ์๋ ๋ง์ง ์๋ค.
- unseen ์ผ์ ์คํ์ด ์ด ๋ถ์ผ์์ ์๋กญ๋ค. Table 5๊ฐ ๋ณด์ฌ ์ฃผ๋ฏ ๊ธฐ์กด ์ด๊ฐ ๋ชจ๋ธ์ unseen ์ผ์์์์ policy ๋ฏธ์ธ์กฐ์ ์ ๋ณด๊ณ ํ์ง ์์๋ค. ๋ฒ์๋ ์ข์ง๋ง(๊ฐ์ modality ๊ณ์ด, ์ ์ 2๊ฐ) ์ฒ์์ผ๋ก ๊ทธ ์ง๋ฌธ์ policy ์์ค์์ ๋์ก๋ค.
- ์๊ธฐ ๋ถ๋ฆฌํ ๊ด์ฐฐ์ ์จ๊ธฐ์ง ์๋๋ค. \pi_{0.5}๊ฐ ์ด๊ฐ ๋ฒ ์ด์ค๋ผ์ธ๋ค์ ์ด๊ธด๋ค๋ ๊ฒ, lift ๊ณผ์ ๋ ์ด๊ฐ์ด ํ์ ์๋ค๋ ๊ฒ, MoE ์ตํฉ๊ณผ Muon์ด ์ค๊ธฐ์์ ๋์ด ์ ๋๋ค๋ ๊ฒ์ ์ง์ ์ ๋๋ค. โAvg. w/o Liftโ๋ฅผ ๋ง๋ถ์ธ ๊ฒ๋ ๊ทธ๋ฐ ํ๋๋ค.
- ๊ณต๊ฐ ๋ฒ์๊ฐ ๋๋ค. ์ฌ์ ํ์ต ์ฒดํฌํฌ์ธํธ, UniVTAC 6๊ณผ์ ๋ฏธ์ธ์กฐ์ ์ฒดํฌํฌ์ธํธ, ์ฌ์ ํ์ตยท๋ฏธ์ธ์กฐ์ ์ฝ๋, ๋ฐ์ดํฐ ์ผ๋ถ๊ฐ ๊ณต๊ฐ๋๋ค. ์ด๊ฐ foundation policy๋ฅผ ๋ค๋ฅธ ๊ทธ๋ฃน์ด ์ถ๋ฐ์ ์ผ๋ก ์ธ ์ ์๋ ์ํ๋ค.
์ฝ์ ยทํ๊ณ
- ์ค๊ธฐ ํต๊ณ๊ฐ ์๋ค. ์ค๊ธฐ๋ ๋ชจ๋ ๊ณผ์ ๋น 20ํ, ํ์ต 1ํ๋ค. ๊ณผ์ ๋จ์ ๋น๊ต๋ ๋๋ถ๋ถ p>0.1์ด๊ณ ํ์ต seed ๊ฐ ๋ถ์ฐ์ ๋ณด๊ณ ๋์ง ์์๋ค. ํค๋๋ผ์ธ์ +17.2%์ +31.6%๋ ๊ณผ์ ํฉ์ฐ์์๋ง ์ฑ๋ฆฝํ๋ ์ฐจ์ด๋ก ์ฝ์ด์ผ ํ๋ค. ์๋ฎฌ๋ ์ด์ (๊ณผ์ ๋น 100ํ)์์๋ง ๊ณผ์ ์์ค์ ์ฐจ์ด๊ฐ ๋จ๋จํ๋ค.
- ํค๋๋ผ์ธ ์ซ์์ ๊ทธ๋ฆผ์ ์ค๊ธฐ๊ฐ ์๋ค. ์ค๊ธฐ \pi_{0.5} ํ๊ท ์ ์นธ ๊ฐ์ผ๋ก 45.83%์ธ๋ฐ 45.3%๋ก ์ ํ ์ด๋ก์ +17.2%๊ฐ ๋์๋ค(์นธ ๊ธฐ์ค +16.7%p). Fig. 7์ FTP-\pi_{0.5} UniVTAC ๋ง๋(41.8)๋ Tactile-VLA ๊ฐ์ด๋ค. UniVTAC-ACT* Insert Hole์ ์ ๋ ผ๋ฌธ 24.0์ด 25๋ก ์ฎ๊ฒจ์ก๋ค. ๊ฐ๊ฐ์ ๊ฒฐ๋ก ์ ๋ฐ๊พธ์ง ์์ง๋ง, ๊ฐ์ ๋ ผ๋ฌธ ์์์ ์ธ ๊ฑด์ด ๋์จ๋ค.
- ์ค๊ธฐ seen ์ ์ ์์ โ์ด๊ฐ ์ฌ์ ํ์ตโ๊ณผ โ๊ฐ์ ๋ก๋ด ๋ฐ์ดํฐ ๋ ธ์ถโ์ด ๋ถ๋ฆฌ๋์ง ์๋๋ค. Sharpa North-FTP-1(ํผํฉ์ 9.0%)์ ํ๊ฐ ๋ก๋ด๊ณผ ๊ฐ์ ํ๋์จ์ด์์ ์์ง๋๊ณ , ํ๊ฐ ๊ณผ์ ์์ ์ค๋ณต ์ฌ๋ถ๋ ์ ํ ์์ง ์๋ค. ์ด๋ฅผ ๊ฐ๋ฅด๋ ๊ถค์ ๋ ธ์ถ ๋์กฐ๊ตฐ์ UniVTAC์์๋ง ์๋ค. Table 2์ ์ด๋ ์ค ์ด๋๊น์ง๊ฐ ์ด๊ฐ ๋๋ถ์ธ์ง๋ ์ด๋ฆฐ ๋ฌธ์ ๋ค.
- โunseenโ์ ๋ฒ์๊ฐ ์ข๋ค. ๋ unseen ์ผ์๋ ์ฌ์ ํ์ต์ ์๋ modality ๊ณ์ด(image, array) ์์ ์ ํ๋์จ์ด๋ค. Xense๋ GelSight๋ฅ ๊ดํ ์ผ์์ฌ์ ๊ณต์ T3 trunk๊น์ง ๊ทธ๋๋ก ์ด๋ค. ์ด๋ฒ ๊ฒฐ๊ณผ๊ฐ ๋งํ๋ ๊ฒ์ โ๊ฐ์ ๊ณ์ด์ ์ ์ผ์โ๋ก์ ์ ์ด์ด๊ณ , ์ modality(์: ์ํฅยท์จ๋ยท๊ทผ์ )๋ ์ ์ ํํ๋ก์ ์ ์ด๋ ๋ค๋ฃจ์ง ์์๋ค. ์ ์๋ ยง4์์ ์ด ๋ฒ์๋ฅผ ์ ๋๋ค.
- ํํ ์์ค ์ฆ๊ฑฐ๊ฐ ๋ณธ๋ฌธ ์์ฝ๋ณด๋ค ์ฝํ๋ค. probing์์ ํ ์ถ์ ์ ๋ ๋ฒค์น๋งํฌ ๋ชจ๋ T3๋ณด๋ค ๊ฐ๊ฑฐ๋ ๋์๊ณ (FeelAnyForce trunk +15%, tokenizer +55% MAE), ๋ณธ๋ฌธยท๋ถ๋ก ์์ ์ ๊ทธ ํ์ ์ธ๊ธํ์ง ์๋๋ค. ๊ทธ๋ฐ๋ฐ ๊ฒฐ๊ณผ ์ ์ ์ ์ฑ ์์ (๋๋ฅด๋ ํ ์ ์ง, ์ ์ด ์ ๊ฐ์)์ ํ ์ ๋ณด๋ฅผ ์ฐ๋ ํ๋์ ์ฃผ์ฅํ๋ค. ๋ ์์ ์ฌ์ด์ ๊ฐ๊ทน์ ํด๋ช ๋์ง ์์๋ค.
- โ21๊ฐ ์ผ์โ์ โ3,000์๊ฐโ์ ๊ฒ์ฐํ ์ ์๋ค. ์ผ์ 9๊ฐ๋ F/T์ ๊ด์ ยท๊ทธ๋ฆฌํผ ํ ํฌ๋ฅผ ํฌํจํ stateํ์ด๊ณ , ์ถ์ฒ๋ณ ์๊ฐ์ด ํ์ ์๋ค. Sample-Scale์ ๋ป์ ๋ ผ๋ฌธ์ ์๊ณ ์ฝ๋์์์ผ ๋ณต์ ๋ฐฐ์์์ ์ ์ ์๋ค. ๊ทธ๋ ๊ฒ ์ญ์ฐํ๋ฉด ์๋ ๊ท๋ชจ์ ์ฝ 63%๊ฐ ์ฌ๋ ์ฅ๊ฐ ๋ฐ์ดํฐ์ธ๋ฐ(ํ์ ์ถ์ ), ๊ทธ ์ฌ๋ ๋ฐ์ดํฐ 5๊ฐ ์ถ์ฒ๋ ๊ณต๊ฐ ๋ฐ์ดํฐ์ ์ ํ๋๋ ์๋ค. ๋ฐ์ดํฐ ๊ท๋ชจ๊ฐ ์ด ๋ ผ๋ฌธ์ ๊ธฐ์ฌ ์ค ํ๋์ธ๋ฐ ๊ทธ ๊ท๋ชจ๋ฅผ ๊ตฌ์ฑ ์์๋ก ๋์ง์ ์ ์๋ค.
- ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ ๋ ผ๋ฌธ ์ฌ์์ด ๋ค๋ฅด๋ค. tactile expert๊ฐ ๋ ผ๋ฌธ์ 300M(width 1024), ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ๋ ์ฝ 99M(width 512)์ด๊ณ , ํ์ต๋ฅ ์ค์ผ์ค๋ ๋ ผ๋ฌธ ์์ ๊ณผ ๋ค๋ฅด๋ค. ์ด๋ ์ชฝ์ด ๋ ผ๋ฌธ ํ์ ๋ชจ๋ธ์ธ์ง ๊ณต๊ฐ ์๋ฃ๋ง์ผ๋ก ์ ํ ์ ์๋ค(์ ๋์กฐ ์ ). ๋ฒ ์ด์ค๋ผ์ธ ์ธ ์ข ๊ณผ probing ์ฝ๋๋ ๋ ํฌ์ ์์ด, ๋ ผ๋ฌธ์ ๋น๊ต ์คํ์ ๊ณต๊ฐ ์์ฐ์ผ๋ก ๋ค์ ๋๋ฆด ์ ์๋ค.
- UniVTAC ๊ณผ์ ์ ํ์ ๊ทผ๊ฑฐ ํ๋๊ฐ ์ ๋ฒค์น๋งํฌ์ ์ด๊ธ๋๋ค. Insert HDMI๋ฅผ โ์ด๊ฐ ํผ๋๋ฐฑ ํ๊ฐ์ ๋ถ์ ํฉโํ๋ค๋ฉฐ ๋บ์ง๋ง, ์ ๋ ผ๋ฌธ์์๋ ๊ทธ ๊ณผ์ ์์ ์ด๊ฐ encoder๊ฐ ACT๋ฅผ 15% โ 28%๋ก ์ฌ๋ ธ๋ค. ๋น ์ง ๊ณผ์ ์ ๊ฒฐ๊ณผ๊ฐ ์์๋ค๋ฉด ํ์ ํด์์ ๋์์ด ๋์ ๊ฒ์ด๋ค.
- ์ ์๋ค์ด ์ ์ ํ๊ณ: FTP-1์ ์ผ๋ฐ์ ์ธ ์ด๊ฐ ์ง๊ฐ์ ์ด์ ์ ๋๊ณ ์ด๊ฐยทํ ๊ธฐ๋ฐ servoing์ด๋ ์ ์ด๋ ๋ค๋ฃจ์ง ์์ผ๋ฉฐ, ๋ฏธ๋ ์ด๊ฐ ์์ธก์ด๋ ์์ธก ๊ธฐ๋ฐ ์ ์์ค ์ ์ด๋ก์ ํ์ฅ, ๋ ํฌ๊ณ ๋ค์ํ ๋ฐ์ดํฐ ์ง์ ์ด ํฅํ ๊ณผ์ ๋ผ๊ณ ์ด๋ค(ยง6). 50k step ์ดํ ํฌํ๋ ๋ฐ์ดํฐ ๋ค์์ฑ ๋ถ์กฑ๊ณผ \pi_{0.5} ์ง์ ๋ณด์กด ์ฌ์ด์ trade-off๋ก ์ค๋ช ํ๋ค(๋ถ๋ก D).
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
์ด๊ฐ ํํ ์ฌ์ ํ์ต ์ชฝ์์ ๋ณด๋ฉด, FTP-1์ T3์ โ์ฌ๋ฌ ์ผ์, ๊ณต์ trunkโ ์์ด๋์ด๋ฅผ ์ด๋ฏธ์ง ๊ฒฝ๋ก์ ๊ทธ๋๋ก ๋ค์ด๊ณ ๊ทธ ์์ action์ ๋ด๋ policy ์ฌ์ ํ์ต์ ์น์๋ค. Sparsh ๋ฆฌ๋ทฐยทUniTouch ๋ฆฌ๋ทฐ๊ฐ ๋ค๋ฃฌ ํํ ํ์ต์ด โ์ด๋ค feature๊ฐ ์ข์๊ฐโ๋ฅผ probe๋ก ์๋ค๋ฉด, FTP-1์ โ๋ฏธ์ธ์กฐ์ ์ถ๋ฐ์ ์ผ๋ก์ policy ์ ์ฒด๊ฐ ์ข์๊ฐโ๋ฅผ ์ฑ๊ณต๋ฅ ๋ก ์ฐ๋ค. ๋ค๋ง probe๋ก ๋ค์ ์ฌ ๋ณด๋ฉด(Table 12) policy ์ฌ์ ํ์ต์ด ํ ์ ๋ณด๋ฅผ ๋ ์ข๊ฒ ๋ง๋ค์ง๋ ์์๋ค. ์ด๊ฐ ์ด์ง์ฑ์ ๊ทธ๋ํ ๊ตฌ์กฐ๋ก ๋ค๋ฃฌ ์ด์ง์ ์ด๊ฐ GNN ๋ฆฌ๋ทฐ์ ๋น๊ตํ๋ฉด, FTP-1์ ์ผ์ ๋ด๋ถ์ ๊ณต๊ฐ ๊ตฌ์กฐ๋ encoder์ ๋งก๊ธฐ๊ณ ์ผ์ ์ฌ์ด์ ์ ๋ ฌ๋ง ๊ณ ์ ์ฌ๋กฏ์ผ๋ก ์ค๋ค๋ ์ ์ด ๋ค๋ฅด๋ค.
์ด๊ฐ VLA ์ชฝ์์ ๋ณด๋ฉด, Tactile-VLA์ TacFiLM์ ์ฌ์ ํ์ต๋ VLA์ ์ด๊ฐ์ adapter๋ FiLM์ผ๋ก ๋ผ์ ๋ฃ๋ ๊ณ์ด์ด๋ค. FTP-1์ ์ด๊ฐ์ ๋ ๋ฆฝ expert๋ฅผ ์ฃผ๊ณ , ๊ทธ expert ์์ฒด๋ฅผ ์ด์ง์ ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ๋ค. ๊ฐ์ ๊ทธ๋ฃน์ Tactile-VLA๋ฅผ ๋ฒ ์ด์ค๋ผ์ธ์ผ๋ก ๋ฃ์ด โadapter ์ฃผ์ ์ ์ฌ์ ํ์ต ์์ด ์คํ๋ ค ํด๊ฐ ๋ ์ ์๋คโ๋ฅผ ๋ณด์๋ค๋ ์ ์์ ๊ณ์ด ๋ด๋ถ์ ์๊ธฐ ๋นํ์ ๊ฐ๊น๋ค.
generalist policy ์ชฝ์์ ๋ณด๋ฉด, FTP-1์ \pi_{0.5} ๊ตฌ์กฐ๋ฅผ ๊ฑฐ์ ๊ทธ๋๋ก ์ฐ๊ณ , action ์ชฝ ํต์ผ์ UniDex์ FAAS๋ฅผ ๊ฐ์ ธ์จ๋ค. ๋ฐ์ดํฐ ์ธก๋ฉด์์ Sharpa ํ๋ซํผ(๋ธ๋ก๊ทธ์ Sharpa MoDE-VLA ๋ฆฌ๋ทฐ๊ฐ ๊ฐ์ SharpaNorthยทSharpaWave ํ๋์จ์ด๋ฅผ ๋ค๋ฃฌ๋ค)์ ์์ฒด ์์ง ๋ฐ์ดํฐ๊ฐ ๊ฐ์ฅ ํฐ ๋จ์ผ ์ถ์ฒ๋ผ๋ ์ ์, ์ด ๋ชจ๋ธ์ด ๊ทธ ํ๋ซํผ์์ ํนํ ์ ์๋ํ ์ด์ ์ด๊ธฐ๋ ํ๋ค.
ํ๊ฐ ๋ฒค์น๋งํฌ๋ก ์ด UniVTAC์ UniVTAC ๋ฆฌ๋ทฐ์ ์ ๋ฆฌ๋ผ ์๊ณ , ๊ทธ ๋ฆฌ๋ทฐ์ ๊ธฐ๋กํ ์ ๋ ผ๋ฌธ ํ๊ฐ ์ด๋ฒ Table 1์ *ํ ๋์กฐ์ Insert HDMI ๋ฐฐ์ ๊ทผ๊ฑฐ์ ๊ฒํ ์ ์ฐ์๋ค.
์์ฝ
FTP-1์ ์ด๊ฐ ์ ํธ์ ์ด์ง์ฑ์ ์์ ๊ธฐ๋ฅ ์์ญ 24์นธ์ด๋ผ๋ ๊ณตํต ํ ํฐ ๊ณต๊ฐ(MTTS)์ผ๋ก ํก์ํ๊ณ , ์ผ์๋ณ ์์ encoder์ ์ผ์ ๋ฌด๊ดํ tactile expert๋ฅผ \pi_{0.5} ์์ ์น์ด 26๊ฐ ์ถ์ฒยท21๊ฐ ์ผ์์ ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ ์ฒซ ์ด๊ฐ foundation policy๋ค. ๋ค์ฏ ์ ์ ์์ seen ์ผ์ UniVTAC 66.66%(์ฐจ์์ 49.16%), ์ค๊ธฐ 62.5%, unseen ์ผ์ 46.6%(๋ฒ ์ด์ค๋ผ์ธ 15.0%)๋ฅผ ๋ณด๊ณ ํ๊ณ , NTP-1๊ณผ ๊ถค์ ๋ ธ์ถ ๋์กฐ๊ตฐ์ผ๋ก ์ด๋์ด ์ด๊ฐ ์ฌ์ ํ์ต์์ ์จ๋ค๋ ๊ฒ์ ๋ณด์ด๋ ค ํ๋ค. NTP-1 ๊ฒฐ๊ณผ๋ฅผ lift ์ ์ธ ์งํ๋ก ๋ค์ ์ฝ์ผ๋ฉด ๊ทธ ์ฃผ์ฅ์ ์ ์ ์์ ๋ณด๋ค ์คํ๋ ค ๊ฐํด์ง๋ค.
ํ๊ณ๋ ์ฆ๊ฑฐ์ ๋๊ป์ ์ ํฉ์ฑ์ ์๋ค. ์ค๊ธฐ๋ ๊ณผ์ ๋น 20ํยทํ์ต 1ํ์ฌ์ ๊ณผ์ ๋จ์๋ก๋ ๋๋ถ๋ถ ๊ตฌ๋ถ๋์ง ์๊ณ , ์ค๊ธฐ seen ์ ์ ์์๋ ๊ฐ์ ๋ก๋ด ๋ฐ์ดํฐ ๋ ธ์ถ๊ณผ ์ด๊ฐ ์ฌ์ ํ์ต์ด ๋ถ๋ฆฌ๋์ง ์๋๋ค. ์ด๋ก์ +17.2%๋ ํ์ ํ๊ท ์ค๊ธฐ์์ ๋์๊ณ (์นธ ๊ธฐ์ค +16.7%p), Fig. 7๊ณผ Table 1์๋ ์ค๊ธฐ๊ฐ ์๋ค. probing์ ํ ์ ๋ณด๊ฐ ๊ฐ์ ๋์ง ์์์์ ๋ณด์ฌ ์ฃผ๋๋ฐ ๋ณธ๋ฌธ์ ๊ทธ ํ์ ์์ฝ์์ ๋บ๋ค. ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ tactile expert๋ ๋ ผ๋ฌธ์ด ์ ์ 300M์ด ์๋๋ผ ์ฝ 99M์ด๊ณ , ํ์ต๋ฅ ์ค์ผ์ค๋ ๋ ผ๋ฌธ ์์ ๊ณผ ๋ค๋ฅด๋ค. ๋ค์์ผ๋ก ๋ณด๊ณ ์ถ์ ๊ฒ์ ์ค๊ธฐ ์ ์ ์ ๋ฐ๋ณต ํ์ต ๋ถ์ฐ, Sharpa ์ ์ ์์์ ๊ถค์ ๋ ธ์ถ ๋์กฐ๊ตฐ, ์ modality ๊ณ์ด ์ผ์๋ก์ ์ ์ด, ๊ทธ๋ฆฌ๊ณ ๋ ผ๋ฌธ ํ์ ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ์ ๋์ ๊ด๊ณ๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v4(2026-10-27, 29์ชฝ)์ HTML๊ณผ PDF, ํ๋ก์ ํธ ํ์ด์ง ๋ณธ๋ฌธ๊ณผ ์์, GitHub README์ ํต์ฌ ๋ชจ๋ธ ํ์ผ(attention mask, model config, gemma ๋ณํ ์ ์, ํ์ต ์คํฌ๋ฆฝํธ, UniVTAC ๋ฏธ์ธ์กฐ์ ์์), Hugging Face ์ฌ์ ํ์ตยทUniVTAC ๋ฏธ์ธ์กฐ์ ์ฒดํฌํฌ์ธํธ์ ํ์ผ ๋ชฉ๋กยทconfig(๋ชจ๋ธยทํ์ตยท๋ฐ์ดํฐ ์ค์ )ยทsafetensors ํค๋, ModelScopeยทHugging Face ๋ฐ์ดํฐ์ ์นด๋๋ฅผ ์ฝ์๋ค. UniVTAC ์ ๋ ผ๋ฌธ(arXiv:2602.10093)์ Table I์ ๋์กฐํ๋ค.
- ๊ทธ๋ฆผ: Fig. 1~16์ arXiv HTML์ ์๋ณธ ๊ทธ๋ฆผ์ด๋ค. ๊ทธ๋ฆผ ๋ฒํธ๋ ๋ ผ๋ฌธ ๊ธฐ์ค์ด๋ค. ์์์ ํ๋ก์ ํธ ํ์ด์ง์ mp4๋ฅผ ๊ทธ๋๋ก ๋ถ๋ฌ์จ๋ค.
- ๊ณต๊ฐ ์ํ: ์ฝ๋๋ Apache-2.0(openpi ๊ธฐ๋ฐ, Gemma ๋ผ์ด์ ์ค ํ์ผ ๋๋ด)์ด๋ค. ์ฌ์ ํ์ต ์ฒดํฌํฌ์ธํธ
ftp1_v0426_50kstep๊ณผ UniVTAC 6๊ณผ์ ๋ฏธ์ธ์กฐ์ ์ฒดํฌํฌ์ธํธ๊ฐ Hugging Face์ ์๊ณ , ๋ชจ๋ธ ์นด๋์๋ ๋ผ์ด์ ์ค ํ๊ธฐ๊ฐ ์๋ค. ์ฒดํฌํฌ์ธํธ๋ PaliGemma ๊ฐ์ค์น๋ฅผ ํฌํจํ๋ฏ๋ก ๋ ํฌ์ ๋๋ด๋ Gemma ์ด์ฉ ์ฝ๊ด์ Model Derivative ๋ฐฐํฌ ์กฐ๊ฑด์ด ๊ฑธ๋ฆด ์ ์๋ค(์ฝ๊ด ํด์์ ํ์ ํ๋จ์ด๋ค). ๋ฐ์ดํฐ์ ์ ModelScope(MIT ํ๊ธฐ)์ Hugging Face์ 15๊ฐ ์ถ์ฒ ๋ฌถ์(FreeTacMan, MotionTrans, RDP, RDP-Bimanual, RH20T Cfg5ยท6ยท7, Unit, Unit-Bimanual, VLA-Touch, ViTaMIn, VTouch D-WHEELยทQINGLONG, exUMI, Sharpa)์ด ๊ณต๊ฐ๋๊ณ , ์ฌ๋ ์ ๋ฐ์ดํฐ 5๊ฐ ์ถ์ฒ ์ ๋ถ์ HumanoidEverydayยทOpenLETDexยทDexUMI 2์ข ยทTouchInTheWildยทREASSEMBLE์ 11๊ฐ ์ถ์ฒ๋ ์ด ๋ฆด๋ฆฌ์ค์ ์๋ค. ์ด 11๊ฐ๋ ์ฌ์ํ๋ง ํ ํ์ต ํผํฉ์ 44.6%๋ฅผ ์ฐจ์งํ๋ค(Table 8๋ก ํ์ ๊ณ์ฐ). ์ค๊ธฐ ์ ์ ์ ๋ฏธ์ธ์กฐ์ ์ฒดํฌํฌ์ธํธ์ ๋ฒ ์ด์ค๋ผ์ธ(Tactile-VLA, NTP, ๊ถค์ ๋ ธ์ถ \pi_{0.5}) ์ฒดํฌํฌ์ธํธ๋ ๊ณต๊ฐ ๋ชฉ๋ก์ ์๋ค. ๋ ผ๋ฌธ v4 ๋ณธ๋ฌธ์ ์ฌ์ ํ โwill be released in the futureโ๋ผ๊ณ ์ ๋๋ค. - ํ๊ธฐ: โํ์ ๊ณ์ฐยท๊ฒ์ฐโ์ ๋ ผ๋ฌธ ํ์ ๊ฐ์ผ๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(ํ๊ท ์ฌ๊ณ์ฐ, Fisher ์ ํ๊ฒ์ , ๋น์ค ํฉ, ํ๋ผ๋ฏธํฐ ์)์ด๋ค. Fisher ๊ฒ์ ์ rollout์ ๋ ๋ฆฝ ์ํ์ผ๋ก ๋ณธ ๊ฒ์ด๋ฉฐ ํ์ต seed ๊ฐ ๋ถ์ฐ์ ๋ฐ์ํ์ง ์๋๋ค. ๊ณต๊ฐ ์ฝ๋ยท์ฒดํฌํฌ์ธํธ ๋์กฐ๋ ํ์ผ๊ณผ ํ ์ shape๋ฅผ ์ฝ์ ์ ์ ํ์ธ์ด๋ค. ์ด ๋ฆฌ๋ทฐ์ ๋ชจ๋ ์ฑ๊ณต๋ฅ ์ ๋ ผ๋ฌธ์ด ๋ณด๊ณ ํ ๊ฐ์ด๋ฉฐ ์ฌํ ํ์ธ์ ํ์ง ์์๋ค.