๐Fast-WAM ๋ฆฌ๋ทฐ
Paper Link (arXiv:2603.16666) โ ์ด ๋ฆฌ๋ทฐ๋ v2 (2026-03-23, CC BY 4.0) ๊ธฐ์ค์ด๋ค.
Code Link (github.com/yuantianyuan01/FastWAM) โ MIT(GitHub์ด
other๋ก ๋ถ๋ฅํ์ง๋งLICENSE์๋ฌธ์ MIT๋ค. ๋ค๋ง โthird-party code and files retain their original licenseโ ๋จ์๊ฐ ๋ถ๋๋ค). ์ฒดํฌํฌ์ธํธ(HFyuanty/fastwam)์ LIBEROยทRoboTwin ํ์ต ๋ฐ์ดํฐ์ ๊น์ง ๊ณต๊ฐ๋ผ ์๋ค.Tianyuan Yuan, Zibin Dong, Yicheng Liu, Hang Zhao (IIIS, Tsinghua University ยท Galaxea AI)
arXiv preprint, 2026
- ๐ก World Action Model(WAM)์ ์ด๋์ด ํ์ต ๋์ ๋น๋์ค ์์ธก ๋ชฉ์ ํจ์์์ ์ค๋์ง, ์ถ๋ก ๋์ ๋ช ์์ ๋ฏธ๋ ์์์์ ์ค๋์ง๋ฅผ ๋ถ๋ฆฌํด ๋ฌป๊ณ , ํ์๊ฐ ์๊ฐ๋ณด๋ค ๋ ์ค์ํ๋ค๊ณ ์ฃผ์ฅํ๋ค.
- โ๏ธ Wan2.2-5B ๋น๋์ค DiT + 1B action expert๋ฅผ shared attention์ Mixture-of-Transformer๋ก ๋ฌถ๋, action token์ด ๋ฏธ๋ ๋น๋์ค token์ ์ ๋ ๋ณด์ง ๋ชปํ๊ฒ attention mask๋ฅผ ๊ฑธ์ด ํ์ตํ๋ค โ ์ถ๋ก ๋๋ ๋ฏธ๋ ๋น๋์ค ๋ธ๋์น๋ฅผ ํต์งธ๋ก ๋ผ์ด๋ด๊ณ ์ฒซ ํ๋ ์ latent ํ ๋ฒ์ forward๋ง์ผ๋ก ํ๋์ ๋ธ๋ค.
- ๐ฏ RoboTwin 2.0 91.8%, LIBERO 97.6%๋ฅผ embodied pretraining ์์ด ๋ฌ์ฑํ๋ฉด์ ์ง์ฐ์ 190 ms โ ๊ฐ์ ํ๋ ์์ํฌ๋ก ๊ตฌํํ imagine-then-execute ๋ณํ(810 ms)๋ณด๋ค 4๋ฐฐ ์ด์ ๋น ๋ฅด๋ค. ๋ฐ๋ฉด ๋น๋์ค co-training์ ๋นผ๋ฉด RoboTwin 83.8%, ์ค์ ์๊ฑด ์ ๊ธฐ ์ฑ๊ณต๋ฅ 10%๋ก ๋ฌด๋์ง๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๋ก๋ด ์ ์ฑ ์ world model์ ๋ถ์ด๋ ์ต๊ทผ ํ๋ฆ โ ๋ ผ๋ฌธ์ด World Action Model(WAM)์ด๋ผ ๋ถ๋ฅด๋ ๊ณ์ด โ ์ ๋์ฒด๋ก imagine-then-execute๋ค. ํ์ฌ ๊ด์ธก๊ณผ ์ธ์ด ์ง์๋ก ๋ฏธ๋ ์์์ ๋จผ์ ์์ฑํ๊ณ , ๊ทธ ์์๋ ๋ฏธ๋์ ์กฐ๊ฑด์ ๊ฑธ์ด ํ๋์ ๋ฝ๋๋ค. ์ง๊ด์ ์ด์ง๋ง ๋๊ฐ๊ฐ ํฌ๋ค. ๋น๋์ค ํ์ฐ ๋ชจ๋ธ์ ์ถ๋ก ์์ ์ ๋ฐ๋ณต denoisingํด์ผ ํ๋ฏ๋ก ์ ์ด ์ฃผ๊ธฐ๊ฐ ๋๋ ค์ง๋ค.
Fast-WAM์ ์ฌ๊ธฐ์ ๋จ์ํ ์ง๋ฌธ์ ๋์ง๋ค. WAM์ ์ด๋์ ์ ๋ง โํ ์คํธ ๋ ๋ฏธ๋๋ฅผ ๊ทธ๋ ค๋ณด๋ ๊ฒโ์์ ์ค๋๊ฐ, ์๋๋ฉด โํ์ต ๋ ๋ฏธ๋๋ฅผ ์์ธกํ๋๋ก ๋ฐฐ์ด ๊ฒโ์์ ์ค๋๊ฐ? ๊ธฐ์กด WAM์ ๋ ์์ธ์ ํ ๋ชจ๋ธ ์์ ๋ฌถ์ด ๋์ ๊ตฌ๋ถ์ด ๋ถ๊ฐ๋ฅํ๋ค. ๋ ผ๋ฌธ์ ๋์ ๋ผ์ด ๋๋๋ค โ ํ์ต์๋ ๋น๋์ค ์์ธก ๋ชฉ์ ํจ์๋ฅผ ๊ทธ๋๋ก ๋จ๊ธฐ๊ณ , ์ถ๋ก ์์๋ ๋ฏธ๋ ์์ฑ์ ์์ ํ ์ ๊ฑฐํ๋ค. ๊ทธ๋ฆฌ๊ณ ๊ฐ์ ๋ฐฑ๋ณธยท๊ฐ์ ํ ํฌ๋์ด์ ยท๊ฐ์ ํ์ต ๋ ์ํผ ์์ imagine-then-execute ๋ณํ๋ค์ ์ง์ ๊ตฌํํด ํต์ ๋น๊ต๋ฅผ ๋ถ์ธ๋ค.

์ธ ๊ฐ์ง WAM ํจ๋ฌ๋ค์(Fig. 1) โ (A) ๋ฏธ๋ ๋น๋์ค์ ํ๋์ ํจ๊ป denoising, (B) ๋ฏธ๋ ๋น๋์ค๋ฅผ ๋จผ์ ๋ง๋ค๊ณ ๊ทธ ํํ์ ์กฐ๊ฑด ๊ฑธ์ด ํ๋ ์์ธก(IDM), (C) Fast-WAM: ํ์ต ๋๋ง ๋น๋์ค co-training, ์ถ๋ก ๋๋ ์ฒซ ํ๋ ์ f_0์ Video DiT์ ํ ๋ฒ ํต๊ณผ์์ผ ์ป์ KV cache๋ก ๊ณง์ฅ ํ๋์ denoisingํ๋ค.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
ํ์ค visuomotor ์ ์ฑ ์ p(a_{1:H}\mid o,l)์ ์ง์ ๋ชจ๋ธ๋งํ๋ค(Eq. 1). ๊ธฐ์กด WAM ๋ค์๋ ๋ฏธ๋ ๊ด์ธก v_{1:T}๋ฅผ ์ค๊ฐ ๋ณ์๋ก ๋ผ์ ๋ฃ๋ imagine-then-execute ์ธ์๋ถํด๋ฅผ ์ด๋ค(Eq. 2):
p(a_{1:H}\mid o,l)=\int p(v_{1:T}\mid o,l)\; p(a_{1:H}\mid o,l,v_{1:T})\,dv_{1:T}
Fast-WAM์ ์ด ์ ๋ถ์ ์ถ๋ก ์์ ์์ ์์ ๋ฒ๋ฆฐ๋ค. ๋น๋์ค ๋ฐฑ๋ณธ์ด ํ์ฌ ๋ฌธ๋งฅ๋ง์ผ๋ก ๋ง๋ ์ ์ฌ world ํํ z(o,l)์ ํ๋ ๋ถํฌ๋ฅผ ์กฐ๊ฑด ๊ฑด๋ค(Eq. 4):
p_\theta(a_{1:H}\mid o,l)=p_\theta\!\left(a_{1:H}\mid z(o,l)\right)
ํต์ฌ์ z(o,l)์ด ๋ฏธ๋๋ฅผ ์ํ๋ง/denoisingํด์๊ฐ ์๋๋ผ ๋จ ํ ๋ฒ์ forward encoding์ผ๋ก ์ป์ด์ง๋ค๋ ์ ์ด๋ค. ๋์ ํ์ต์์๋ ํ๋๊ณผ ๋ฏธ๋ ๋น๋์ค latent ์์ชฝ์ flow matching์ ๊ฑด๋ค. ๋ชฉํ ๋ณ์ y์ ๋ํด y_t=(1-t)y+t\epsilon (Eq. 5)๋ก ๋ณด๊ฐํ๊ณ
\mathcal{L}_{\mathrm{FM}}(y)=\mathbb{E}_{y,\epsilon,t}\left[\left\|f_\theta(y_t,t,o,l)-(\epsilon-y)\right\|_2^2\right]
๋ฅผ ์ต์ํํ๋ค(Eq. 6). y=a_{1:H}๋ฉด \mathcal{L}_{\mathrm{act}}, y=z_{1:T}(VAE๊ฐ ๋ฝ์ ๋ฏธ๋ ํ๋ ์ latent)๋ฉด \mathcal{L}_{\mathrm{vid}}์ด๊ณ , ์ ์ฒด ๋ชฉ์ ์ \mathcal{L}=\mathcal{L}_{\mathrm{act}}+\lambda\mathcal{L}_{\mathrm{vid}} (Eq. 9)๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- RoboTwin 2.0: Fast-WAM 91.8%(clean 91.88 / rand. 91.78). embodied pretraining์ ์ด LingBot-VA(92.2%)์ ๊ทผ์ ํ๊ณ , ์ฌ์ ํ์ต ์๋ baseline์ ๋ชจ๋ ์์ ๋ค(Motus from WAN2.2 77.3%, LingBot-VA from WAN2.2 80.6%). โ Table 1
- LIBERO: ํ๊ท 97.6%(Spatial 98.2 / Object 100.0 / Goal 97.0 / Long 95.2). \pi_{0.5}(96.9%)๋ฅผ ์์๊ณ LingBot-VA(98.5%)ยทMotus(97.7%)์ ๊ทผ์ . โ Table 2
- ํต์ ๋น๊ต: Fast-WAM(91.8/97.6) vs Fast-WAM-Joint(90.6/98.5) vs Fast-WAM-IDM(91.3/98.0)๋ ์๋ก 1%p ์์ชฝ. ๋ฐ๋ฉด ๋น๋์ค co-training ์ ๊ฑฐ๋ 83.8%/93.5%๋ก ํฌ๊ฒ ๋จ์ด์ง๋ค. โ Table 1ยท2
- ์ค์ ๋ก๋ด(์๊ฑด ์ ๊ธฐ, Galaxea R1 Lite, ํ ๋ ์ต ์์ฐ 60์๊ฐ): co-training์ ๋บ ๋ณํ์ ์ฑ๊ณต๋ฅ 10%๋ก ๋ถ๊ดดํ๊ณ ์๋ฃ ์๊ฐ๋ ๊ฐ์ฅ ๊ธธ๋ค. ์ง์ฐ์ Fast-WAM 190 ms vs Joint 580 ms vs IDM 810 ms(\pi_{0.5}๋ 180 ms). โ Fig. 4
- ๋จ, ์ด ์ค์ ํ์คํฌ์์ ๊ฐ์ฅ ๊ฐํ ๋ฐฉ๋ฒ์ ์ฌ์ ํ์ต๋ \pi_{0.5}(์ต๊ณ ์ฑ๊ณต๋ฅ + ์ต๋จ ์๋ฃ ์๊ฐ)๋ค.
๊ฒฐ๋ก :
์ธ ๋ณํ์ ์ฐจ์ด(โค1%p)๋ณด๋ค co-training ์ ๋ฌด์ ์ฐจ์ด(8%p, ์ค๋ฌผ์์๋ ์ฑ๊ณต๋ฅ ๋ถ๊ดด)๊ฐ ํจ์ฌ ํฌ๋ค. ๋ ผ๋ฌธ์ ๊ฒฐ๋ก ์ โ๋น๋์ค ์์ธก์ ๊ฐ์น๋ ํ ์คํธ ๋ ๋ฏธ๋๋ฅผ ๊ทธ๋ฆฌ๋ ๋ฐ ์๋ค๊ธฐ๋ณด๋ค ํ์ต ๋ world-grounded ํํ์ ๋ง๋๋ ๋ฐ ์๋ ๊ฒ ๊ฐ๋คโ๋ ๊ฒ์ด๋ค. ๊ทธ๋ ๋ค๋ฉด imagine-then-execute์ ์ถ๋ก ๋น์ฉ์ ๋์ฒด๋ก ๋ญ๋น์ด๋ฉฐ, ๊ฐ์ ์ฑ๋ฅ์ 4๋ฐฐ ๋น ๋ฅด๊ฒ ์ป์ ์ ์๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
โ๋ฏธ๋๋ฅผ ์์ํ๋ ์ ์ฑ โ์ด ์ข์๋ ๊ฑด ์์ ๋๋ฌธ์ด ์๋๋ผ ์์ํ๋ ๋ฒ์ ๋ฐฐ์ด ๊ฒ ๋๋ฌธ์ผ์ง ๋ชจ๋ฅธ๋ค โ ๊ทธ๋์ ์ถ๋ก ์์ ์์์ ๋ผ์ด๋ด๋ ์ฑ๋ฅ์ ๊ฑฐ์ ๊ทธ๋๋ก๊ณ ์๋๋ 4๋ฐฐ๊ฐ ๋๋ค.
๋ฐฐ๊ฒฝ: WAM์ ๋ ์์ธ์ด ์ ์์ผ ์์๋
VLA ์ ์ฑ ์ ์น ์ค์ผ์ผ vision-language ์ฌ์ ํ์ต์ ์๋ฏธ๋ก ์ prior๋ฅผ ๋ฌผ๋ ค๋ฐ์ง๋ง, ๊ทธ ์ฌ์ ํ์ต์ ๋๋ถ๋ถ ์ ์ ์ด๋ฏธ์ง-ํ ์คํธ๋ผ โํ๋์ ๋ฐ๋ผ ์ธ๊ณ๊ฐ ์ด๋ป๊ฒ ๋ณํ๋๊ฐโ๋ฅผ ๋ช ์์ ์ผ๋ก ๋ชจ๋ธ๋งํ์ง ์๋๋ค(ยง2). ๊ทธ๋์ ๋ฏธ๋ ์๊ฐ ์์ธก์ ์ ์ฑ ์ ๊ฒฐํฉํ๋ ๊ณ์ด์ด ๋์๊ณ , ๋ ผ๋ฌธ์ [4]๋ฅผ ๋ฐ๋ผ ์ด๋ค์ World Action Model์ด๋ผ ๋ถ๋ฅธ๋ค.
๋ฌธ์ ๋ ์ด ๊ณ์ด์ด ๋ ๊ฐ์ง๋ฅผ ๋์์ ํ๋ค๋ ๊ฒ์ด๋ค.
- ํ์ต: ๋น๋์ค ์์ธก ๋ชฉ์ ํจ์๊ฐ ๋ฌผ๋ฆฌ์ ๋์ญํยท์ํธ์์ฉ ๊ตฌ์กฐ๋ฅผ ๋ด์ ํํ์ ๋ง๋ค๋๋ก ์๋ฐํ๋ค.
- ์ถ๋ก : ๋ช ์์ ์ผ๋ก ์์ฑํ ๋ฏธ๋๊ฐ ํ๋ ์์ธก์ ์ถ๊ฐ foresight๋ฅผ ์ค๋ค.
๊ฐ์ ๋ชจ๋ธ์ด ๋ ๋ค ํ๋ ์ด๋ ์ชฝ์ด ์ด๋์ ์์ฒ์ธ์ง ์ ์ ์๋ค(ยง1). ๊ทธ๋ฆฌ๊ณ 2๋ฒ์ ๊ณต์ง๊ฐ ์๋๋ค โ ๋ฐ๋ณต ๋น๋์ค denoising์ด ์ ์ด ์ง์ฐ์ ๊ทธ๋๋ก ์นํ๋ค.
์ด ๋ ผ๋ฌธ ์ด์ ์๋ ๋ถ๋ถ์ ์๋๋ ์์๋ค. VPP[34]๋ ๋น๋์ค ํ์ฐ ๋ชจ๋ธ์์ ๋ฝ์ ์์ธก์ ์๊ฐ ํํ์ ์ ์ฑ ์ ์กฐ๊ฑด ๊ฑธ๊ณ , UVA[35]๋ ๋น๋์ค์ ํ๋์ ํจ๊ป ๋ชจ๋ธ๋งํ๋ ํ ์คํธ ๋ ๋น๋์ค ๋์ฝ๋ฉ์ ๊ฑด๋๋ด๋ค(ยง2). Fast-WAM์ด ๋ค๋ฅธ ์ ์ โ๋น ๋ฅด๊ฒ ๋ง๋ค์๋คโ๊ฐ ์๋๋ผ ๊ณต์ ํ๋ ์์ํฌ ์์์ ๋ ์์ธ์ ํต์ ๋น๊ตํ๋ค๋ ๋ฐ ์๋ค.
๋ฐฉ๋ฒ ์์ธ: ๋ง์คํฌ๊ฐ ์คํ ์ค๊ณ๋ค
์ํคํ ์ฒ
๋ฐฑ๋ณธ์ Wan2.2-5B[36]์ ๋น๋์ค DiT์ด๊ณ , ๊ทธ T5 ํ ์คํธ ์ธ์ฝ๋์ ๋น๋์ค VAE๋ ๊ทธ๋๋ก ์ฌ์ฌ์ฉํ๋ค. ์ธ์ด๋ cross-attention์ผ๋ก ๋ชจ๋ ํ ํฐ์ ์ฃผ์ ๋๋ค. ๊ทธ ์์ action expert DiT๋ฅผ ์น๋๋ฐ, ๋น๋์ค ๋ธ๋์น์ ๊ฐ์ ๊ตฌ์กฐ์ง๋ง hidden dim์ d_a=1024๋ก ์ค์ฌ 1B์ด๊ณ , ์ ์ฒด ๋ชจ๋ธ์ 6B๋ค(ยง4.1). ๋ ๋ธ๋์น๋ shared attention์ผ๋ก ๋ฌถ์ธ Mixture-of-Transformer(MoT)๋ฅผ ์ด๋ฃฌ๋ค.
ํ ํฐ์ ์ธ ๊ทธ๋ฃน์ด๋ค.
- ์ฒซ ๊ด์ธก ํ๋ ์์ clean latent token โ ๊ณต์ ์๊ฐ ์ต์ปค
- ๋ฏธ๋ ํ๋ ์์ noisy latent token โ ํ์ต์๋ง ์กด์ฌ
- action token โ action expert๊ฐ ์ฒ๋ฆฌ

Fast-WAM ์ํคํ ์ฒ์ attention mask(Fig. 2) โ (a) Video DiT / Action DiT๊ฐ shared attention์ผ๋ก ๋ฌถ์ธ MoT, ์ธ์ด๋ cross-attn. (b) ํ์ต ๋ง์คํฌ์์ a ํ์ f_1,\dots,f_h ์ด์ด ๋น์ด ์๊ณ (ํ๋์ด ๋ฏธ๋๋ฅผ ๋ชป ๋ณธ๋ค), f_0 ํ๋ ๋ฏธ๋ ํ๋ ์ ์ด๋ง ๋น์ด ์๋ค(f_0 ์์ ์ ๋ณธ๋ค). ์ถ๋ก ๋ง์คํฌ์๋ ๋ฏธ๋ ํ๋ ์ ์ด ์์ฒด๊ฐ ์๋ค.
๋ง์คํฌ์ ์ธ ๊ฐ์ง ๊ท์น
๊ตฌ์กฐํ๋ attention mask๊ฐ ์ ๋ณด ํ๋ฆ์ ํต์ ํ๋ค(ยง3.2).
- ๋ฏธ๋ noisy ๋น๋์ค ํ ํฐ์ ๋น๋์ค ๋ธ๋์น ์์์ ์๋ฐฉํฅ์ผ๋ก attendํ๊ณ clean ์ฒซ ํ๋ ์ ํ ํฐ์ ์ ๊ทผํ ์ ์๋ค.
- action ํ ํฐ์ ํ๋ ๋ธ๋์น ์์์ ์๋ฐฉํฅ์ผ๋ก attendํ๊ณ clean ์ฒซ ํ๋ ์ ํ ํฐ์ ์ ๊ทผํ ์ ์๋ค.
- action ํ ํฐ์ ๋ฏธ๋ ๋น๋์ค ํ ํฐ์ attendํ ์ ์๊ณ , clean ์ฒซ ํ๋ ์ ํ ํฐ์ ๋ฏธ๋ ํ๋ ์์ ๋ณด์ง ์๋๋ค(์๊ธฐ ์์ , ์ฆ ์ฒซ ํ๋ ์ ๋ธ๋ก ์์์๋ ์๋ฐฉํฅ์ผ๋ก attendํ๋ค โ ๋
ผ๋ฌธ ๋ฌธ์ฅ โthe clean first-frame tokens do not attend to any other tokensโ๋ โ๋ค๋ฅธ ํ๋ ์์ ํ ํฐโ์ผ๋ก ์ฝ์ด์ผ ํ๋ค. ๊ณต๊ฐ ๊ตฌํ์
first_frame_causal๋ง์คํฌ๋ ์ฒซ ํ๋ ์ ํ์์ ๋ฏธ๋ ํ๋ ์ ์ด๋ง ์ง์ฐ๊ณ , Fig. 2(b)์ f_0 ํ์์๋ f_0 ์นธ์ ์ฑ์์ ธ ์๋ค).
3๋ฒ์ด ์ด ๋ ผ๋ฌธ์ ์คํ ์ค๊ณ ๊ทธ ์์ฒด๋ค. ํ์ต ์ค์๋ ๋ฏธ๋ ์ ๋ณด๊ฐ ํ๋ ๋ธ๋์น๋ก ์์ง ์์ผ๋ฏ๋ก, ๋น๋์ค ๋ชฉ์ ํจ์๋ ์ค์ง ๊ณต์ ๋ฐฑ๋ณธ์ ํํ์ ํตํด์๋ง ํ๋์ ์ํฅ์ ์ค๋ค. ๊ทธ๋์ โํ์ต ์ ํธ๋ก์์ ๋น๋์คโ์ โ์ ๋ ฅ์ผ๋ก์์ ๋ฏธ๋โ๊ฐ ๊นจ๋ํ๊ฒ ๋ถ๋ฆฌ๋๋ค. ์ถ๋ก ์์๋ ๋ฏธ๋ ๋น๋์ค ๋ธ๋์น๋ฅผ ์์ ์ธ์คํด์คํํ์ง ์๊ณ , ์ฒซ ํ๋ ์ latent๋ง ๋ฐฑ๋ณธ์ ํ ๋ฒ ํต๊ณผ์์ผ ๋์จ KV๋ฅผ action expert๊ฐ ์๋นํ๋ค(Fig. 1(C)).
ํต์ ๋ณํ 4์ข
๊ฐ์ ํ๋ ์์ํฌ ์์์ (ยง3.3):
| ๋ณํ | ์ถ๋ก ๊ตฌ์กฐ | ๋์ ์ ํ ์ฐ๊ตฌ |
|---|---|---|
| Fast-WAM | ์ฒซ ํ๋ ์ 1ํ forward โ ํ๋ denoising | (์ ์) |
| Fast-WAM-Joint | ๋ฏธ๋ ๋น๋์ค์ ํ๋์ ํจ๊ป denoising (videoโ๏ธaction attention ํ์ฉ) | [4, 6, 5] |
| Fast-WAM-IDM | ๋ฏธ๋ ๋น๋์ค๋ฅผ ๋จผ์ ์์ฑ โ ๊ทธ ํํ์ ์กฐ๊ฑด ๊ฑธ์ด ํ๋ | [3, 7, 8] |
| w.o. video co-train | Fast-WAM๊ณผ ๋์ผ, ํ์ต์์ \mathcal{L}_{\mathrm{vid}}๋ง ์ ๊ฑฐ | (๋์กฐ๊ตฐ) |
์์ ์ ์ โํ ์คํธ ๋ ์์ํ๋๊ฐโ๋ง ๋ค๋ฅด๊ณ , ๋ง์ง๋ง ํ๋๋ โํ์ต ๋ ๋น๋์ค๋ฅผ ๋ฐฐ์ ๋๊ฐโ๋ง ๋ค๋ฅด๋ค. 2ร2๋ฅผ ๋ค ์ฑ์ฐ์ง๋ ์์์ง๋ง(์์ํ๋ฉด์ co-train ์ ํ๋ ์กฐํฉ์ ๋ถ๊ฐ๋ฅํ๋ค) ๋ ์ถ์ ๊ฐ๊ฐ ๊ฑด๋๋ฆฌ๋ ์ต์ ์ค๊ณ๋ค. ๋จ, ๋ ผ๋ฌธ์ ๋จ์ผ action chunk ์์ฑ์ ๊ตญํํ๊ณ ์ผ๋ถ ์ ํ WAM์ด ์ฐ๋ ๋ฐ๊นฅ์ชฝ auto-regressive rollout์ ํต์ ๋น๊ต๋ฅผ ์ํด ์๋ตํ๋ค(ยง3.1, ยง1).
ํ์ตยท์ถ๋ก ์ค์
action horizon h=32, ๋น๋์ค๋ ์๊ฐ์ถ 4ร ๋ค์ด์ํ๋ก chunk๋น 9ํ๋ ์, ๋ฉํฐ ์นด๋ฉ๋ผ ์ด๋ฏธ์ง๋ ํ๋๋ก ์ด์ด ๋ถ์ฌ VAE์ ๋ฃ๋๋ค. ๋ ธ์ด์ฆ ์ค์ผ์ค์ [36]์ ๋ฐ๋ผ logit-normal, ์ถ๋ก ์ 10 denoising step์ CFG scale 1.0(์ฆ ์ฌ์ค์ guidance๋ฅผ ๋ ๊ฐ). AdamW, lr 1\times10^{-4}, weight decay 0.01, cosine annealing, mixed precision, grad clip 1.0. ์ง์ฐ ์ธก์ ์ ๋จ์ผ NVIDIA RTX 5090D V2 32GB. Fast-WAM-IDM์ [3]์ ๋ฐ๋ผ GT ๋น๋์ค ํ ํฐ์ ํ๋ฅ p=0.5๋ก noise augmentation์ ์ค๋ค(ยง4.1).
์ง๊ด: ๋น๋์ค๋ ์ ๋ ฅ์ด ์๋๋ผ ์ ์นํ๋ค
Fast-WAM์ ๊ฒฐ๊ณผ๋ฅผ ํ ๋ฌธ์ฅ์ผ๋ก ์ฎ๊ธฐ๋ฉด โ๋น๋์ค ์์ธก์ auxiliary task๋ก์ ๊ฐ์ด์น๊ฐ ์๋คโ๋ ๊ฒ์ด๋ค. ๋ฏธ๋๋ฅผ ๋งํ๋ ค๋ฉด ๋ฐฑ๋ณธ์ ๋ฌผ์ฒด๊ฐ ์ด๋๋ก ์์ง์ด๋์ง, ์ ์ด์ด ์ด๋์ ์ผ์ด๋๋์ง๋ฅผ latent์ ๋ด์์ผ ํ๋ค. ๊ทธ latent๊ฐ ์ด๋ฏธ ๋ง๋ค์ด์ ธ ์๋ค๋ฉด, ์ถ๋ก ์์ ์ ๊ทธ๊ฑธ ํฝ์ ๋ก ๋์ฝ๋ฉํด ๋ค์ ์ฝ๋ ์ฐํ๋ก๋ ์ ๋ณด๋ฅผ ๋ํด ์ฃผ์ง ์๋๋ค. ๋ฏธ๋ ํฝ์ ์ latent๊ฐ ์ด๋ฏธ ์๋ ๊ฒ์ ์์ค ์๋ ๋ ๋๋ง์ ๊ฐ๊น๊ธฐ ๋๋ฌธ์ด๋ค.
์ฌ๊ธฐ์ ๋ง์คํฌ ์ค๊ณ๊ฐ ํ์ ๋ณดํ ๋ค. ํ์ต ์ค์๋ ํ๋์ ๋ฏธ๋ ํ ํฐ์ ๋ณธ ์ ์ด ์๋ค. ๊ทธ๋ฌ๋ Fast-WAM์ ์ถ๋ก ์์ ๋ญ๊ฐ๋ฅผ ๋นผ์๊ธด ๊ฒ ์๋๋ผ, ์ ์ด์ ์๋ ๊ฒ์ ๊ณ์ ์ ์ฐ๋ ๊ฒ๋ฟ์ด๋ค. ๋ฐ๋๋ก Joint/IDM ๋ณํ์ ํ์ตยท์ถ๋ก ๋ชจ๋์์ ๋ฏธ๋๋ฅผ ์ฐ๋๋ฐ๋ ๊ฒฐ๊ณผ๊ฐ ๊ฑฐ์ ๊ฐ๋ค๋ ๊ฒ์ด ์ด ๋ ผ๋ฌธ์ ํต์ฌ ๊ด์ฐฐ์ด๋ค.
์คํ: ๋ฒค์น๋งํฌ 3์ข

์ค์ ์๊ฑด ์ ๊ธฐ ํ์คํฌ(Fig. 3) โ Galaxea R1 Lite ์ํ ํ๋ซํผ์ ๋กค์์. ๋ณํ ๋ฌผ์ฒด๋ฅผ ์ ์ผ๋ ค๋ฉด ์ฅ๊ธฐ ๊ณํ๊ณผ ์ ๋ฐํ closed-loop ์กฐ์์ด ํจ๊ป ํ์ํ๋ค.
- LIBERO[37]: 4๊ฐ suite(Spatial/Object/Goal/Long), ๊ฐ 500 ์์ฐยท10 ํ์คํฌ. 20k step ํ์ต, 40 ํ์คํฌ์ ๊ฑธ์ณ ์ด 2000 trial ํ๊ฐ.
- RoboTwin 2.0[38]: 50๊ฐ ๋๋ ์ํ ํ์คํฌ. clean 2,500 + ๊ฐํ ๋๋คํ 25,000 ์์ฐ ํผํฉ์ผ๋ก ๋ฉํฐํ์คํฌ ํ์ต(30k step), ํ์คํฌ๋น 100 trial์ clean/randomized ์์ชฝ์์ ํ๊ฐ. ํ์คํฌ๋ณ ์์ธ๋ ๋ถ๋ก Table 3.
- ์ค์ ๋ก๋ด: Galaxea R1 Lite์์ ์๊ฑด ์ ๊ธฐ. ํ ๋ ์ต ์์ฐ 60์๊ฐ, 30k step. ์ฑ๊ณต๋ฅ ๊ณผ ํ๊ท ์๋ฃ ์๊ฐ์ ํจ๊ป ๋ณธ๋ค โ ์ํ์ฐฉ์ค๋ก ์ฐ๊ฒจ์ ๋๋ด๋ ์ ์ฑ ๊ณผ ํจ์จ์ ์ผ๋ก ๋๋ด๋ ์ ์ฑ ์ ๊ตฌ๋ถํ๊ธฐ ์ํด์๋ค(ยง4.2).
์๋ฎฌ๋ ์ด์
RoboTwin์์ Fast-WAM 91.8%๋ ์ฌ์ ํ์ต ์๋ Motus(87.8%)๋ฅผ ๋๊ณ ์ฌ์ ํ์ต๋ LingBot-VA(92.2%)์ 0.4%p ์ฐจ๋ก ๋ถ๋๋ค. ๊ฐ์ Wan2.2์์ ์ถ๋ฐํด embodied pretraining์ ๋บ baseline๋ค(77.3%, 80.6%)๊ณผ์ ๊ฒฉ์ฐจ๊ฐ 10%p ์ด์์ด๋ผ๋ ์ ์ด ๋์ ๋๋ค. LIBERO์์๋ 97.6%๋ก \pi_{0.5}(96.9%)๋ฅผ ์์ ๋ค. ์ฆ embodied pretraining ์์ด ๊ทธ ์ด๋์ ์๋น ๋ถ๋ถ์ ํ์ํ๋ค๋ ์ฃผ์ฅ์ด๋ค(ยง4.3.1).
ํต์ ๋น๊ต(ยง4.3.2)์ ํจํด์ ๋ ๋ฒค์น๋งํฌ์์ ์ผ๊ด๋๋ค. RoboTwin์์ 91.8 / 90.6 / 91.3(์ธ ๋ณํ) vs 83.8(co-train ์ ๊ฑฐ), LIBERO์์ 97.6 / 98.5 / 98.0 vs 93.5. LIBERO์ ํ๋ฝ์ ํนํ Spatial(98.2โ89.2)๊ณผ Long(95.2โ90.0)์์ ๋๋๋ฌ์ง๋ค โ ๊ณต๊ฐ ๊ด๊ณ์ ์ฅ๊ธฐ ํ์คํฌ๊ฐ world ํํ์ ๋ ์์กดํ๋ค๋ ํด์๊ณผ ๋ง์๋จ์ด์ง๋ค.
์ค๋ฌผ๊ณผ ์ง์ฐ

์ค์ ์๊ฑด ์ ๊ธฐ ๊ฒฐ๊ณผ(Fig. 4) โ ์ผ์ชฝ์ ์๋ฃ ์๊ฐ ๋ ์ฑ๊ณต๋ฅ (์ข์๋จ์ด ์ข์), ์ค๋ฅธ์ชฝ์ ์ถ๋ก ์ง์ฐ. \pi_{0.5}(์ฌ์ ํ์ต) 180 ms, Fast-WAM 190 ms, co-train ์ ๊ฑฐ 190 ms, Joint 580 ms, IDM 810 ms.
์ค๋ฌผ์์๋ ์ฌ์ ํ์ต๋ \pi_{0.5}๊ฐ ์ต๊ณ ์ฑ๊ณต๋ฅ ๊ณผ ์ต๋จ ์๋ฃ ์๊ฐ์ ๋ชจ๋ ๊ฐ์ ธ๊ฐ๋ค. Fast-WAM ๊ณ์ด ์์์๋ IDM์ด ์ฑ๊ณต๋ฅ ์ด ๊ฐ์ฅ ๋๊ณ Fast-WAM์ด ์๋ฃ ์๊ฐ์ด ๋ ์ข๋ค. ์ค์ํ ๊ฑด co-training์ด ์๋ ์ธ ๋ณํ ๋ชจ๋๊ฐ ์ฌ์ ํ์ต ์๋ \pi_{0.5}๋ฅผ ํฌ๊ฒ ์์ ๋ค๋ ์ ์ด๊ณ , co-training์ ๋บ ๋ณํ์ ์ฑ๊ณต๋ฅ 10%๋ก ๋ถ๊ดดํ๋ค๋ ์ ์ด๋ค(ยง4.3.3). ์๋ฎฌ๋ ์ด์ ์์ 8%p์๋ ๊ฒฉ์ฐจ๊ฐ ์ค๋ฌผ ์ฅ๊ธฐ ํ์คํฌ์์๋ ์ง์ ๋ถ๊ดด๋ก ๋ํ๋๋ค.
์ง์ฐ์ 190 ms vs 580/810 ms. ๋ ผ๋ฌธ์ด ๋งํ๋ โ4ร fasterโ๋ ์๊ธฐ ํ๋ ์์ํฌ๋ก ๊ตฌํํ IDM ๋ณํ(810 ms) ๋๋น๋ค.
๋ง๋ถ์ด๋ฉด, ์ด ๋ฐฐ์๋ ์ปดํ์ผ ์ค์ ์ ์์กดํ๋ค. ๊ณต๊ฐ ๊ตฌํ์์ Fast-WAM ๊ฒฝ๋ก๋ง torch.compile(..., mode="reduce-overhead")(CUDA Graph)๋ก ์ปดํ์ผ๋๊ณ IDM ๊ฒฝ๋ก์ ๊ฐ์ ๋ ํจ์์๋ mode ์ธ์๊ฐ ์๋ค. ์ค์ ๋ก RTX 5090์์ ๊ณต๊ฐ ์ฒดํฌํฌ์ธํธ๋ก ์ฌ์ด ๋ณด๋ฉด shipped default(์ปดํ์ผ)์์๋ 73.1 ms vs 365.0 ms๋ก 5.0๋ฐฐ์ง๋ง, eager๋ก ๋๋ฆฌ๋ฉด 1.9๋ฐฐ์ ๊ทธ์น๋ค. ๋ฐฐ์์ ๋ฐฉํฅ์ ๋
ผ๋ฌธ ์ฃผ์ฅ๊ณผ ๊ฐ์ง๋ง ๊ทธ ํฌ๊ธฐ์ ์ผ๋ถ๋ ์ํคํ
์ฒ๊ฐ ์๋๋ผ ์ต์ ํ ๋
ธ๋ ฅ์ ๋น๋์นญ์์ ์จ๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ์ง๋ฌธ ์ค๊ณ๊ฐ ์ข๋ค. โ๋ ์ข์ WAMโ์ด ์๋๋ผ โWAM์ ์ด๋์ด ์ด๋์ ์ค๋๊ฐโ๋ฅผ ๋ฌป๊ณ , ๊ทธ๊ฑธ attention mask ํ๋๋ก ์คํ ๊ฐ๋ฅํ ํํ๋ก ๋ง๋ค์๋ค. ๋ง์คํฌ ๊ท์น 3๋ฒ(ํ๋โ๏ธ๋ฏธ๋ ์ฐจ๋จ)์ด ์์๋ค๋ฉด ํต์ ๋น๊ต๋ ์ฑ๋ฆฝํ์ง ์๋๋ค.
- ๋น๊ต๊ฐ ๊ณต์ ํ ๋ฐฉํฅ์ผ๋ก ์ค๊ณ๋๋ค. ๋ฐฑ๋ณธยทํ ํฌ๋์ด์ ยทํ์ต ๋ ์ํผ๋ฅผ ๋ง์ถ ์์ฒด ๊ตฌํ ๋ณํ์ ์ด๋ค. ์๋ก ๋ค๋ฅธ ๋ ผ๋ฌธ์ ์ซ์๋ฅผ ๋๋ํ ๋๊ณ โ์ฐ๋ฆฌ๊ฐ ๋น ๋ฅด๋คโ๊ณ ํ๋ ํํ ํจ์ ์ ํผํ๋ค.
- ์์ ๊ฒฐ๊ณผ์ ์ ์งํ๋ค. ์ค๋ฌผ์์ \pi_{0.5}๊ฐ ์๊ธฐ๋ณด๋ค ๋ซ๋ค๋ ๊ฒ, LIBERO์์ Joint/IDM์ด ์๊ธฐ๋ณด๋ค ์ฝ๊ฐ ๋๋ค๋ ๊ฒ์ ๊ทธ๋๋ก ์ ๋๋ค.
- ์ฌํ ๊ฐ๋ฅ์ฑ์ด ๋๋ค. MIT ๋ผ์ด์ ์ค, LIBERO/RoboTwin ๋ฐ์ดํฐ์ ๊ณผ ์ฒดํฌํฌ์ธํธ๊ฐ HuggingFace์ ๊ณต๊ฐ๋ผ ์๋ค.
์ฝ์ ยทํ๊ณ
- โ๋ฏธ๋ ์์์ ํ์ ์๋คโ๋ ๊ฒฐ๋ก ์ด ๋ฐ์ดํฐ๋ณด๋ค ํ ๊ฑธ์ ์์ ์๋ค. ์ฌ์ค ๋ค ๋น๊ต ์ค ์ ์์ imagine-then-execute๊ฐ ๋ฏธ์ธํ๊ฒ ๋ ๋๋ค(LIBERO 98.5ยท98.0 vs 97.6, ์ค๋ฌผ ์ฑ๊ณต๋ฅ IDM ์ต๊ณ ). ๊ฒฉ์ฐจ๊ฐ ์์ ๋ฟ ๋ฐฉํฅ์ ์ผ๊ด๋๊ฒ ์์ ์ชฝ์ด๋ค. ๋ ผ๋ฌธ ํํ์ โcompetitiveโ๋ก ์ ์คํ์ง๋ง, ์ ๋ชฉ์ด ๋์ง๋ ์์ฌ(โNeed?โ)๋ ๊ทธ๋ณด๋ค ๊ฐํ ์ธ์์ ์ค๋ค. trial ์(LIBERO 2000, RoboTwin ํ์คํฌ๋น 100)์ ๋ํ ์ ๋ขฐ๊ตฌ๊ฐ์ด๋ seed๋ณ ๋ถ์ฐ์ด ์ ํ ์์ด 1%p ์ฐจ์ด๊ฐ ๋ ธ์ด์ฆ์ธ์ง ์ค์ ์ด์ธ์ธ์ง ํ๋ณํ ์ ์๋ค.
- ์ค๋ฌผ ๊ฒฐ๊ณผ๊ฐ ๊ทธ๋ฆผ ํ๋๋ฟ์ด๋ค. ยง4.3.3์ ์ฑ๊ณต๋ฅ ยท์๋ฃ ์๊ฐ์ ํ๊ฐ ์๋๋ผ Fig. 4์ ์ฐ์ ๋๋ก๋ง ์ ์๋๋ค. ์ ํํ ์์น๋ฅผ ์ฝ์ ์ ์๊ณ , trial ์๋ ๋ณธ๋ฌธ์ ์๋ค. ์ค๋ฌผ ํ์คํฌ๋ ์๊ฑด ์ ๊ธฐ ๋จ ํ๋๋ค.
- \lambda๋ ํ๋๋ ์ ์ด ์๋ค. Eq. 9์ co-training ๊ฐ์ค์น \lambda๊ฐ ๋
ผ๋ฌธ์ ํต์ฌ ์์ก์ด์ธ๋ฐ ๋ณธ๋ฌธ์ ๊ฐ๋ ๋ฏผ๊ฐ๋ ๋ถ์๋ ์๋ค. ๊ณต๊ฐ ์ฝ๋๋ฅผ ์ด์ด ๋ณด๋ฉด ๋ต์ด ๋์ค๋๋ฐ, ๋ต์ด ๊ณง ๋ฌธ์ ๋ค โ ๋ฐฐํฌ๋ model config 4์ข
๋ชจ๋ \lambda=1์ด๋ค(ํ ๊ณณ์๋ง
lambda_video: 1.0์ด ๋ช ์๋ผ ์๊ณ ๋๋จธ์ง๋ ํด๋์ค ๊ธฐ๋ณธ๊ฐ 1.0์ผ๋ก ๋จ์ด์ง๋ค). ์ฆ โ๋ ผ๋ฌธ์ด ์จ๊ธด ํ์ดํผํ๋ผ๋ฏธํฐโ๊ฐ ์๋๋ผ 1๋ก ๋๊ณ ํ์ํ์ง ์์ ์์๋ค. ๊ทธ๋ ๋ค๋ฉด โ๋น๋์ค co-training์ด ์ค์ํ๋คโ๋ ์ฃผ์ฅ์ \lambda>0 vs \lambda=0์ด๋ผ๋ ์ด๋ถ๋ฒ์ผ๋ก๋ง ๊ฒ์ฆ๋ ์ ์ด๊ณ , ์ ์ ํ \lambda์์ ๊ฒฉ์ฐจ๊ฐ ๋ ๋ฒ์ด์ง๋์ง ์ค์ด๋๋์ง๋ ์๋ฌด๋ ๋ชจ๋ฅธ๋ค. - ์ ์ ๊ฒฐ๋ก ์ ๋ ๋ฐ์น๋ arm์ด ๊ณต๊ฐ ์ค์ ์ ์๋ค. ๋ ํฌ์
configs/task/์ ์๋ LIBERO ์ค์ ์ uncond(=Fast-WAM)ยทjointยทidmยทoptional_idm 4์ข ์ด๊ณ , ํจ๊ณผ ํฌ๊ธฐ๊ฐ ๊ฐ์ฅ ํฐ ์คํ์ธw.o. video co-train(\lambda=0)์ ํด๋นํ๋ config๊ฐ ์๋ค. ๋ ผ๋ฌธ์ ํต์ฌ ๊ฒฐ๋ก (โ์์ ์ ๊ฑฐ๋ณด๋ค co-training ์ ๊ฑฐ๊ฐ ํจ์ฌ ์น๋ช ์ โ)์ ๋ท๋ฐ์นจํ๋ ๋ฐ๋ก ๊ทธ ๋์กฐ๊ตฐ์ด ๊ณต๊ฐ ์ฝ๋๋ก๋ ํ ๋ฒ์ ์ฌํ๋์ง ์๋๋ค โ ์ง์ config๋ฅผ ๋ง๋ค์ด ๋๋ ค์ผ ํ๋ค. ๋๋จธ์ง ์ธ ๋ณํ์ด ๊ทธ๋๋ก ๊ณต๊ฐ๋ ๊ฒ๊ณผ ๋๋น๋๋ค. - ๋น๋์ค ์์ธก ํ์ง์ ์๋ฌด๋ ์ ๋ณธ๋ค. ๋ฐฑ๋ณธ์ด ์ค์ ๋ก ์ผ๋ง๋ ์ข์ ๋ฏธ๋๋ฅผ ์์ธกํ๊ฒ ๋๋์ง(FVD ๋ฑ), ๊ทธ ํ์ง๊ณผ ํ๋ ์ฑ๋ฅ์ ์๊ด์ ๋ณด๊ณ ๋์ง ์๋๋ค. โํํ์ด ์ข์์ก๋คโ๋ ์ฃผ์ฅ์ ์ง์ ์ฆ๊ฑฐ๊ฐ ์๊ณ ํ๋ฅ ์ฑ๋ฅ์ ๊ฐ์ ์ฆ๊ฑฐ๋ง ์๋ค.
- auto-regressive rollout์ ๋บ๋ค. ์ฌ๋ฌ ์ค์ WAM์ chunk๋ฅผ ์ด์ด ๋ถ์ด๋ฉฐ ์์-์คํ์ ๋ฐ๋ณตํ๋๋ฐ, ๋ ผ๋ฌธ์ ๋จ์ผ chunk๋ก ํ์ ํ๋ค(ยง3.1). ์ฅ๊ธฐ ํ์คํฌ์์ ๋ฏธ๋ ์์์ ๊ฐ์ด์น๋ ๋ฐ๋ก ๊ทธ ๋ฐ๊นฅ ๋ฃจํ์์ ๋์ฌ ์ ์์ผ๋ฏ๋ก, ๊ฒฐ๋ก ์ ์ ์ฉ ๋ฒ์๋ ์ ์๊ฐ ๋ช ์ํ ๋๋ก ์ข๊ฒ ์ฝ์ด์ผ ํ๋ค.
- โ4ร fasterโ์ ๊ธฐ์ค์ด ์๊ธฐ ๋ณํ์ด๋ค. ์ค์ ๋ฐฐํฌ๋ MotusยทLingBot-VA ๋ฑ์ ์ง์ฐ๊ณผ ์ง์ ๋น๊ตํ ํ๋ ์๋ค. ๋ 190 ms๋ RTX 5090D V2 ํ ์ฅ์์ 10 denoising stepยทCFG 1.0 ๊ธฐ์ค์ด๋ฉฐ, CFG๋ฅผ ์ผ๋ฉด ๋ฐฐ๊ฐ ๋๋ค.
- ๋น์ฉ์ ๋ค๋ฅธ ์ ๋ฐ์ด ์ ๋ณด์ธ๋ค. ์ถ๋ก ์ 4๋ฐฐ ๋นจ๋ผ์ก์ง๋ง ํ์ต์์๋ ์ฌ์ ํ 6B ๋ชจ๋ธ๋ก ๋ฏธ๋ ๋น๋์ค๊น์ง denoisingํ๋ค. ์ฝ๋ README ๊ธฐ์ค RoboTwin ํ์ต์ 64 GPU๋ฅผ ์ผ๋ค๊ณ ๋ฐํ๋๋ฐ, ๋ ผ๋ฌธ ๋ณธ๋ฌธ์๋ ํ์ต ์์ยท์๊ฐ์ด ์๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
- World model ๊ณ์ด: DreamDojo๊ฐ ๋๊ท๋ชจ ์ธ๊ฐ ์์์ผ๋ก ์ผ๋ฐ ๋ก๋ด world model์ ํ์ตํด ์ ์ฑ ํ๊ฐยท๋กค์์๊น์ง ๋ฐ์ด๋ถ์ด๋ ์ชฝ์ด๋ผ๋ฉด, Fast-WAM์ ์ ๋ฐ๋๋ก world model์ ์ถ๋ก ์์ ์ง์๋ ๋๋๊ฐ๋ฅผ ๋ฌป๋๋ค. ๋ ๋ ผ๋ฌธ์ ๊ฐ์ ์ฌ๋ฃ(๋น๋์ค ํ์ฐ ๋ฐฑ๋ณธ)๋ฅผ ์ ๋ฐ๋ ๋ฐฉํฅ์ผ๋ก ์ด๋ค.
- VLAยทํ๋ ์์ํฌ: StarVLA๊ฐ VLA ๊ตฌ์ฑ์์๋ฅผ ๋ ๊ณ ์ฒ๋ผ ๊ฐ์ ๋ผ์ ๋น๊ตํ๋ ์ฝ๋๋ฒ ์ด์ค๋ผ๋ฉด, Fast-WAM์ ๊ทธ ์ ์ ์ WAM ์ค๊ณ ์ถ ํ๋(ํ ์คํธ ๋ ์์ ์ ๋ฌด)์ ์ ์ฉํ ๋จ์ผ ๋ ผ๋ฌธํ ablation์ด๋ค. ๋ ์ฐ๊ตฌ ๋ชจ๋ โ๊ณต์ ํ๋ ์์ํฌ ์์์๋ง ๋น๊ต๊ฐ ์๋ฏธ ์๋คโ๋ ์ ์ ๋ฅผ ๊ณต์ ํ๋ค.
- Flow matching ์ ์ฑ : ํ๋ ์์ฑ์ \pi_0 ๊ณ์ด๊ณผ ๊ฐ์ flow matching์ด๋ค(Eq. 5~7). ์ด ๋ชฉ์ ํจ์๋ฅผ RL๋ก ํ์ธํ๋ํ๋ ์ชฝ ์ด์ผ๊ธฐ๋ ReinFlow ๋ฆฌ๋ทฐ์ ์ ๋ฆฌํด ๋์๋ค โ Fast-WAM์ ์์ ๋ชจ๋ฐฉํ์ต์ด๋ผ ๊ทธ ์ถ๊ณผ๋ ์ง๊ตํ๋ค.
- ๋ณํ ๋ฌผ์ฒด ์กฐ์: ์ค๋ฌผ ํ์คํฌ๊ฐ ์๊ฑด ์ ๊ธฐ๋ผ๋ ์ ์์ Learning to Fold์ ๊ฒน์น๋๋ฐ, ๊ทธ์ชฝ์ด sim2realยทhuman-in-the-loop๋ก ์ ๋ ๋ฌธ์ ๋ฅผ ํผ๋ค๋ฉด Fast-WAM์ 60์๊ฐ ํ ๋ ์ต ์์ฐ์ ์์ ๋ชจ๋ฐฉ์ผ๋ก ์ ๋๋ค.
- ์ ํ WAM: ๋ ผ๋ฌธ์ด ์ฌ๊ตฌํํ ๋ ํจ๋ฌ๋ค์์ ๊ฐ๊ฐ joint denoising ๊ณ์ด[4, 6, 5]๊ณผ video-then-action ๊ณ์ด[3, 7, 8]์ด๋ฉฐ, ๋ถ๋ถ์ ์ผ๋ก ์์ ๋น์ฉ์ ์ค์ด๋ ค ํ VPP[34]ยทUVA[35]์๋ ์ธ์ ํ๋ค.
์์ฝ
Fast-WAM์ ๊ธฐ์ฌ๋ ๋ชจ๋ธ์ด ์๋๋ผ ๋ถ๋ฆฌ๋ค. attention mask ํ๋๋ก โํ์ต ๋์ ๋น๋์ค ์์ธกโ๊ณผ โ์ถ๋ก ๋์ ๋ฏธ๋ ์์ฑโ์ ๋ผ์ด ๋๊ณ , ๊ฐ์ ํ๋ ์์ํฌ์์ ๋ค ๋ณํ์ ๋๋ ค ์ ์๊ฐ ํจ์ฌ ํฌ๋ค๋ ๊ฒ์ ๋ณด์๋ค. RoboTwin 91.8%ยทLIBERO 97.6%๋ฅผ embodied pretraining ์์ด 190 ms์ ๋ด๋ ๊ฒ์ ๊ทธ ์์ฒด๋ก ์ข์ ๋ฐฐํฌ ์ง์ ์ด๋ค.
๋ค๋ง ๊ฒฐ๋ก ์ ๊ฐ๋๋ ์กฐ์ฌํด์ ์ฝ์ด์ผ ํ๋ค. ์์์ ๋ถ์ธ ๋ณํ์ด ๋๋ถ๋ถ์ ์งํ์์ ๊ทผ์ํ๊ฒ ๋ ๋ซ๊ณ , ๋ถ์ฐ ๋ณด๊ณ ๊ฐ ์์ผ๋ฉฐ, ๋จ์ผ chunkยท๋จ์ผ ์ค๋ฌผ ํ์คํฌ๋ผ๋ ์ข์ ์กฐ๊ฑด์์ ์ป์ ๊ฒฐ๊ณผ๋ค. ์ ์ ์์ ์ด ๋ง์ง๋ง ๋ฌธ์ฅ์์ โ๋ ํฐ ์ฌ์ ํ์ต ๋ฐ์ดํฐ์ ๋ชจ๋ธ ์ค์ผ์ผ์์ ์ด ์ค๊ณ๊ฐ ์ด๋ป๊ฒ ๋๋์ง๊ฐ ํฅํ ๊ณผ์ โ๋ผ๊ณ ์ ์ ๊ฒ๋ ๊ฐ์ ๋งฅ๋ฝ์ผ ๊ฒ์ด๋ค. ์ง๊ธ ์์ ์ ์ ํํ ๊ตํ์ โ๋ฏธ๋ ์์์ ํ์ ์๋คโ๊ฐ ์๋๋ผ โ๋น๋์ค ์์ธก์ ์ถ๋ก ์์ฐ์ด ์๋๋ผ ํ์ต ์์ฐ์ ์ฐ๋ ํธ์ด ํจ์ฌ ๋จ๋๋คโ ์ชฝ์ด๋ค.