๐JAM ๋ฆฌ๋ทฐ
Yonghao Yu, Lang Huang, Runyi Li, Toshihiko Yamasaki (The University of Tokyo ยท National Institute of Informatics)
arXiv preprint, 2026
- ๐ก VLA์ World-Action Model(WAM)์ ์ฐ์ด ๋ ผ์์ ์ฌ์ค ๋ฐฑ๋ณธ ์ด๊ธฐํ ยท ๋ฏธ๋ ๊ด์ธก์ ๊ฑฐ๋ ๋ชฉ์ ํจ์ ยท ์ถ๋ก ๋ ๋จ๊ธฐ๋ ๋ชจ๋์ด๋ผ๋ ์ธ ์ ํ์ ํ๋ฐ ๋ฌถ์ด ๋น๊ตํ ๊ฒ์ด๋ผ๊ณ ์ง์ ํ๊ณ , ์ด๋ฅผ ํ์ด ์ด ๊ณตํต ๋ ์ํผ JAM์ ์ ์ํ๋ค.
- โ๏ธ ํ์ฌ ํ๋ ์์ ๋ฐฑ๋ณธ feature๊ฐ ๊ณ ์ ๋ future anchor๊ฐ ๋ง๋ ๊ธฐ๋ก๋ ๋ฏธ๋์ feature๋ฅผ cosine ๊ฑฐ๋ฆฌ๋ก ๋งํ๋๋ก ํ์ต ์ ์ฉ prediction head๋ฅผ ๋ถ์ด๊ณ (foresight loss \mathcal L_F), ํ์ต์ด ๋๋๋ฉด ๊ทธ ๊ฐ์ง๋ฅผ ๋ผ์ด ๋ด ๋ฐฐํฌ ๊ฒฝ๋ก๋ ๋ฐฑ๋ณธ + action expert ๊ทธ๋๋ก ๋๋ค. ์ด๋ฏธ์งยท๋น๋์ค ์์ฑ์ ํ์ต์๋ ์ถ๋ก ์๋ ์๋ค.
- ๐ฏ ์ํคํ ์ฒยท๋ฐ์ดํฐยท์์ฐ์ ๊ณ ์ ํ ๋น๊ต์์ LIBERO-Plus ์ฑ๊ณต๋ฅ ์ด FastWAM 55.31โ64.54%, ImageWAM 65.27โ79.95%๋ก ์ค๋ฅธ๋ค. ํ์ต ๋น์ฉ์ ๋ ผ๋ฌธ v1์ด โtarget์ ์บ์ํ JAM vs ์บ์ํ์ง ์์ FastWAMโ ์กฐ๊ฑด์ผ๋ก 73.0% ๊ฐ์๋ฅผ ์ฃผ์ฅํ๊ณ , ๊ณต๊ฐ ๋ ํฌ๋ ์ดํ ์์ชฝ ๋ชจ๋ ์บ์ํ ์กฐ๊ฑด์ 57.7%๋ก ํ๊ธฐ๋ฅผ ๋ฐ๊ฟจ๋ค. FastWAM ์ฑ๊ณต๋ฅ ๊ธฐ์ค๊ฐ์ ์ ์๋ค์ด ๋ค์ ํ์ตยทํ๊ฐํ ๊ฐ์ด๊ณ , Fast-WAM ๋ ผ๋ฌธ ์์ฒด์ ๋ณด๊ณ ๊ฐ๊ณผ๋ ์ฐจ์ด๊ฐ ์๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๋ก๋ด ์ ์ฑ ์ ์ฌ์ ํ์ต ๋ชจ๋ธ์์ ์ถ๋ฐ์ํค๋ ๋ฐฉ๋ฒ์ ํฌ๊ฒ ๋ ์ง์์ผ๋ก ๊ฐ๋ ค ์๋ค. VLA๋ vision-language model(VLM)์ ํํ์ ๋ฌผ๋ ค๋ฐ์ ํ๋๋ง ํ์ตํ๊ณ , WAM์ ์ด๋ฏธ์งยท๋น๋์ค ์์ฑ๊ธฐ์์ ์ถ๋ฐํด ํ๋๊ณผ ํจ๊ป ๋ค์์ ์ฌ ๊ด์ธก์ ์์ฑํ๋๋ก ํ์ตํ๋ค. ๋ ์ง์์ ์ฑ๊ณต๋ฅ ์ ๋ง๋๋ ๋ ผ์์ด ์ด์ด์ ธ ์๋๋ฐ, ์ด ๋ ผ๋ฌธ์ ๊ทธ ๋น๊ต๊ฐ ์ ์ด์ ๋ฌด์์ ๋น๊ตํ๋์ง ๋ถ๋ถ๋ช ํ๋ค๊ณ ๋ณธ๋ค. ๋ ๊ณ์ด์ ๋ฐฑ๋ณธ๋ ๋ค๋ฅด๊ณ , ๋ฏธ๋ ๊ด์ธก์ ์ฐ๋ ๋ฐฉ์๋ ๋ค๋ฅด๊ณ , ์ถ๋ก ๋ ๋จ๊ธฐ๋ ๋ชจ๋๋ ๋ค๋ฅด๋ค. ์ฑ๊ณต๋ฅ ์ฐจ์ด๋ฅผ ์ด ์ ์ค ์ด๋์ ๊ท์์ํฌ์ง ์ ํ ์ ์๋ค.
JAM(Just Action Model)์ ์ด ์ ์ ๋ผ์ด ๋์ ๊ณตํต ํ์ด๋ค. ๋ฐฑ๋ณธ์ VLM์ด๋ ์์ฑ๊ธฐ๋ self-supervised ์ธ์ฝ๋๋ ์๊ด์๊ณ , ๋ฏธ๋ ๊ด์ธก์ ์์ฑ ๋ชฉํ๊ฐ ์๋๋ผ ๊ณ ์ ๋ feature target์ผ๋ก๋ง ์ฐ๋ฉฐ, ๊ทธ ๊ฐ๋ ๊ฐ์ง๋ ํ์ต ํ ๋ฒ๋ฆฐ๋ค. ์ด๋ ๊ฒ ํ๋ฉด FastWAMยทImageWAM ๊ฐ์ ๊ธฐ์กด WAM์ ์ํคํ ์ฒ์ ๋ฐฐํฌ ๊ฒฝ๋ก๋ฅผ ๊ทธ๋๋ก ๋ ์ฑ ๋ชฉ์ ํจ์๋ง ๋ฐ๊ฟ ๋น๊ตํ ์ ์๊ณ , ๊ฐ์ ๋ ์ํผ๋ฅผ DINOv2๋ Qwen3.5 ๊ฐ์ ๋น์์ฑ ๋ฐฑ๋ณธ์๋ ๊ทธ๋๋ก ์ ์ฉํ ์ ์๋ค.
Figure 1 ์์ธํ ๋ณด๊ธฐ: VLA ยท WAM ยท JAM์ ๊ฐ๋ฅด๋ ์ธ ๊ฐ์ง ์ ํ

Fig. 1 โ (a) VLA, (b) WAM, (c) JAM. ๋ฐฑ๋ณธ ์ด๊ธฐํ, ๊ธฐ๋ก๋ ๋ฏธ๋ ๊ด์ธก์ ๊ฑฐ๋ ๋ชฉ์ ํจ์, ์ถ๋ก ๋ ๋จ๋ ๋ชจ๋์ด๋ผ๋ ์ธ ์ ํ์ผ๋ก ์ธ ๊ณ์ด์ ๋๋ํ ๋์ ์ค๊ณ ๊ณต๊ฐ ๊ทธ๋ฆผ.
์ด ๊ทธ๋ฆผ์ ๋ ผ๋ฌธ ์ ์ฒด์ ๋ ผ์ง๋ฅผ ํ ์ฅ์ ๋ด๋๋ค. ์คํ์ ์ ๋ถ ์ด ๊ทธ๋ฆผ์ ์นธ์ ํ๋์ฉ ๋ฐ๊ฟ ๋ผ์ฐ๋ ๋ฐฉ์์ผ๋ก ์ง์ฌ ์์ผ๋ฏ๋ก, ๊ทธ๋ฆผ์ ์ ํํ ์ฝ์ด ๋๋ฉด ๋ค์ ํ๊ฐ ์ฝ๊ฒ ์ฝํ๋ค. ์ธ ํจ๋์ ๊ฐ์ ๋ฌธ๋ฒ์ผ๋ก ๊ทธ๋ ค์ ธ ์๋ค. ์๋์ชฝ์ด ์ ๋ ฅ๊ณผ ๋ฐฑ๋ณธ, ์ค๋ฅธ์ชฝ ์ด์ด ํ๋ ๊ฒฝ๋ก, ์์ชฝ์ด ์์ค ํจ์(์ก๊ฐํ)๋ค. ๋ชจ๋ ํจ๋์ ์ค๋ฅธ์ชฝ ์ด์ ๋์ผํ๋ค. ์ด๊ฒ์ด ๊ทธ๋ฆผ์ด ๋จผ์ ๋งํ๋ ๊ฒ์ด๋ค. ํ๋์ ๋ด๋ ๋ฐฉ์์ ์ธ ๊ณ์ด์ด ๊ฐ๊ณ , ๋ค๋ฅธ ๊ฒ์ ์ผ์ชฝ๊ณผ ์์ชฝ๋ฟ์ด๋ค.
๊ณตํต ๋ถ๋ถ: ์ค๋ฅธ์ชฝ ์ด์ ํ๋ ๊ฒฝ๋ก
์ธ ํจ๋ ๋ชจ๋ ์ค๋ฅธ์ชฝ ์๋์ ์ ์ ํ ๋๋ฆฌ์ \tilde a_{1:H}๊ฐ ์๊ณ , ์ด๊ฒ์ด Action Expert๋ก ๋ค์ด๊ฐ ์ค์ ํ ๋๋ฆฌ์ \hat a_{1:H}๊ฐ ๋์ค๋ฉฐ, ๊ทธ ์์ ์ด๋ก ์ก๊ฐํ \mathcal L_{\mathrm{act}}๊ฐ ์ด๋ฅผ ๊ฐ๋ ํ๋ค. ๋ ผ๋ฌธ ยง3.2์ ์ ์๋ก \tilde a_{1:H}๋ ์ํ๋ง๋ flow time์์ noise๊ฐ ์์ธ action chunk์ด๊ณ , action expert๋ flow matching์ผ๋ก ํ์ต๋๋ค(ยง3.1, ์ (1)). \hat a_{1:H}๋ action expert์ ์ถ๋ ฅ, ์ฆ ์์ธก๋ ๊ธธ์ด H์ action chunk๋ค. ๋ฐฑ๋ณธ ์์์์ Action Expert๋ก ๊ฐ๋ ๊ฐ๋ก ํ์ดํ๋ ๋ฐฑ๋ณธ์ด ๋ง๋ ์๊ฐ context๋ฅผ action expert๊ฐ ์ฝ๋๋ค๋ ๋ป์ด๋ค. ์ด ๊ฒฝ๋ก๊ฐ ์ธ ํจ๋์์ ๊ฐ๋ค๋ ๊ฒ์ ยง3.1์ ์์ (โAll three recipes in Figure 1 share the same data and the same deployed interfaceโ)๊ณผ ์ ํํ ๋ง๋๋ค. ๋ฐฐํฌ๋ ์ ์ฑ ์ ์ด๋ ๊ณ์ด์ด๋ ํ์ฌ ๊ด์ธก f_0, ๋ก๋ด ์ํ s_0, ์ง์๋ฌธ c๋ก a_{1:H}๋ฅผ ๋ธ๋ค(s_0์ c๋ Fig. 1์๋ ์๋ต๋๊ณ Fig. 2์ ๋์จ๋ค).
ํจ๋ (a) Vision-language-action model
- ๋ฐฑ๋ณธ: ์ผ์ชฝ ์๋์ VLM ์์. ์ ๋ ฅ์ ํ์ฌ ๊ด์ธก f_0 ํ๋๋ค.
- ๋ฏธ๋ ๊ด์ธก: ์ผ์ชฝ ์์ ํ์ ์ ์ ์์ โf_{1:T} Unusedโ๊ฐ ์๋ค. ๋ฐ์ดํฐ์๋ ๊ธฐ๋ก๋ ๋ฏธ๋ ๊ด์ธก f_{1:T}๊ฐ ์์ง๋ง ์ฐ์ง ์๋๋ค๋ ๋ป์ด๋ค. ๊ทธ ์์ ํ์ ์ ์ ์ก๊ฐํ ์์๋ โโโ๋ง ์๋ค. ๋ฏธ๋์ ๊ฑฐ๋ ์์ค์ด ์๋ค๋ ํ์๋ค.
- ๋ชฉ์ ํจ์: \mathcal L_{\mathrm{VLA}}=\mathcal L_{\mathrm{act}}(์ (1)). ์ฌ์ ํ์ต ์ง์์ ์ด๊ธฐํ๋ก๋ง ๋ค์ด์จ๋ค.
- ์ถ๋ก ์ ๋จ๋ ๊ฒ: VLM + Action Expert.
๋ ผ๋ฌธ์ ์ด๊ฒ์ โaction-only VLA referenceโ๋ผ ๋ถ๋ฅธ๋ค. ์คํ์์ ์ด ์นธ์ ํด๋นํ๋ ๊ฒ์ Qwen3.5-2BยทDINOv2-L์ action-only ๋์กฐ๊ตฐ(Table 14)๊ณผ, FastWAMยทImageWAM ์ํคํ ์ฒ์์ \mathcal L_G๋ฅผ ๋บ ํ(Table 1์ ์ฒซ ํ๋ค)์ด๋ค.
ํจ๋ (b) World-action model
- ๋ฐฑ๋ณธ: Visual Generator ์์. ์ ๋ ฅ์ด ๋์ด๋ค. ํ์ฌ ๊ด์ธก f_0(์ค์ )์ ์ ์ ํ ๋๋ฆฌ์ \tilde f_{1:T}. ยง3.3์ FastWAMยทImageWAM์ ์์ฑ ๋ชฉ์ ํจ์๊ฐ โdenoise future video latents and generate a future imageโ๋ผ๊ณ ์ฐ๋ฏ๋ก, \tilde f_{1:T}๋ \tilde a์ ๊ฐ์ ํ๊ธฐ ๊ด๋ก๋ก ์ฝ์ผ๋ฉด noise๊ฐ ์์ธ ๋ฏธ๋ latent ์ ๋ ฅ์ด๋ค(๊ทธ๋ฆผ์ ๋ฐ๋ก ์ ์๊ฐ ์์ด ํ์๊ฐ ํ๊ธฐ ๊ด๋ก๋ก ์ฝ์ ๊ฒ์ด๋ค).
- ๋ฏธ๋ ์์ธก๊ณผ ์์ค: Visual Generator ์๋ก \hat f_{1:T}(์์ฑ๋ ๋ฏธ๋)๊ฐ ๋์ค๊ณ , ๊ทธ ์์ ๊ธฐ๋ก๋ ๋ฏธ๋ f_{1:T}๊ฐ ์๋ค. ๋จ์ ์ก๊ฐํ \mathcal L_G๋ก ๋ค์ด๊ฐ๋ ํ์ดํ๊ฐ ๋ ๊ฐ๋ค. f_{1:T}์์ ์๋๋ก๋ถํฐ ํ๋, \hat f_{1:T}์์ ์ค๋ฅธ์ชฝ์ผ๋ก ๋์ ์ฌ๋ผ๊ฐ๋ ์ ์ด ํ๋. ์์ฑ ๊ฒฐ๊ณผ๋ฅผ ๊ธฐ๋ก๋ ๋ฏธ๋์ ๋ง์ถ๋ ์์ฑ ์์ค์ด๋ผ๋ ๋ป์ด๋ค.
- ๋ชฉ์ ํจ์: \mathcal L_{\mathrm{WAM}}=\mathcal L_{\mathrm{act}}+\lambda_G\mathcal L_G(์ (2)).
- โInfer.โ ์ ์ ๋ฃจํ: \hat f_{1:T}์ ์ค๋ฅธ์ชฝ์์ ํ์ ์ ์ ์ด ์๋๋ก ๋ด๋ ค์ \tilde f_{1:T}๋ก ๋๋์๊ฐ๋ค. ์บก์ ์ ์ด๋ฅผ โgenerated future observations entering the action expert in some WAMsโ๋ผ๊ณ ์ค๋ช ํ๋ค. ์ถ๋ก ๋ ๋ฏธ๋๋ฅผ ๋จผ์ ์์ฑํ๊ณ ๊ทธ ์์ฑ๋ฌผ์ ๊ฑฐ์ณ ํ๋์ ๋ด๋ imagine-then-execute ๊ณ์ด์ ๊ฐ๋ฆฌํจ๋ค. ์ด ๋ฃจํ๋ โsome WAMsโ์๋ง ํด๋นํ๋ค๋ ์ ์ด ์ค์ํ๋ค. ์ด ๋ ผ๋ฌธ์ด ์ง์ ๋น๊ตํ๋ FastWAM๊ณผ ImageWAM์ ์ด๋ฏธ ์ถ๋ก ๋ ์์ฑ์ ํ์ง ์๋๋ค(ยง3.2 ๋).
- ์ถ๋ก ์ ๋จ๋ ๊ฒ: Visual Generator + Action Expert, ์ผ๋ถ WAM์ ์ฌ๊ธฐ์ ์์ฑ ๋ฃจํ๊น์ง.
ยง3.1์ ์ด ์์ค์ด ๋ ์ํผ๋ฅผ ์์ฑ๊ธฐ์ ๋ฌถ๋๋ค๊ณ ์ง์ ํ๋ค. ํ์ต ๋ decoder๋ denoising ๊ฒฝ๋ก๊ฐ ํ์ํ๊ณ , ์ผ๋ถ WAM์ ์ถ๋ก ๋๋ ํ์ํ๋ค.
ํจ๋ (c) Just action model (JAM)
- ๋ฐฑ๋ณธ: ๊ฐ๋ก๋ก ๋์ Backbone ์์ ์๋์ โVLM ยท Visual Generator ยท Visual Encoderโ๊ฐ ์ ํ ์๋ค. (a)์ (b)์ ๋ ๋ฐฑ๋ณธ์ ํฌํจํด self-supervised ์ธ์ฝ๋๊น์ง ๋ฌด์์ด๋ ๋ค์ด๊ฐ ์ ์๋ค๋ ํ์๋ค. ์ ๋ ฅ์ f_0 ํ๋๋ฟ์ด๋ค. (b)์ ๋ฌ๋ฆฌ ๋ฏธ๋ latent๊ฐ ๋ฐฑ๋ณธ ์ ๋ ฅ์ผ๋ก ๋ค์ด๊ฐ์ง ์๋๋ค.
- ์ฃผํฉ ์ ์ ์์ญ โTraining Onlyโ: ์์ชฝ ์ ์ฒด๋ฅผ ๊ฐ์ผ๋ค. ๊ทธ ์์ ๋ค ์์๊ฐ ์๋ค.
- f_{1:T} โ Future Anchor: ๊ธฐ๋ก๋ ๋ฏธ๋๋ฅผ ๊ณ ์ ๋ ์ธ์ฝ๋(future anchor E_\phi)๊ฐ feature๋ก ๋ฐ๊พผ๋ค. ์ถ๋ ฅ์ด g_k๋ค.
- Prediction Head: ๋ฐฑ๋ณธ ๋ธ๋ก \ell์ ํ์ฌ ๊ด์ธก ํ ํฐ h^{(\ell)}๋ฅผ ๋ฐ์ \hat g_k๋ฅผ ๋ธ๋ค. h^{(\ell)} ํ์ดํ๋ Backbone ์์์์ ์ถ๋ฐํด ์ฃผํฉ ์์ญ ๊ฒฝ๊ณ๋ฅผ ๋์ด ๋ค์ด๊ฐ๋ค.
- ์ฃผํฉ ์ก๊ฐํ \mathcal L_F: g_k์ \hat g_k ๋ ํ์ดํ๊ฐ ๋ค์ด์จ๋ค. foresight loss๋ค.
- ๋ชฉ์ ํจ์: \mathcal L_{\mathrm{JAM}}=\mathcal L_{\mathrm{act}}+\lambda_F\mathcal L_F(์ (3)).
- ์ถ๋ก ์ ๋จ๋ ๊ฒ: Backbone + Action Expert. ์ฃผํฉ ์์ญ์ ํต์งธ๋ก ์ฌ๋ผ์ง๋ค.
๊ทธ๋ฆผ์์ ๊ฐ์ฅ ์ค์ํ ๊ฒ์ ์ฃผํฉ ์์ญ์์ Action Expert๋ก ๊ฐ๋ ํ์ดํ๊ฐ ํ๋๋ ์๋ค๋ ์ ์ด๋ค. ๋ฏธ๋ ๊ด์ธก์ g_k๋ผ๋ target์ผ๋ก๋ง ์ฐ์ด๊ณ ํ๋ ๊ฒฝ๋ก์ ์ ๋ ฅ์ด ๋์ง ์๋๋ค. ๋ฏธ๋๊ฐ ํ๋์ ์ํฅ์ ์ฃผ๋ ์ ์ผํ ํต๋ก๋ \mathcal L_F์ gradient๊ฐ Prediction Head๋ฅผ ๊ฑฐ์ณ ๋ฐฑ๋ณธ์ h^{(\ell)}๋ก ์ญ์ ํ๋๋ ๊ฒ๋ฟ์ด๋ค. (b)์์๋ ๋ฏธ๋ latent๊ฐ ๋ฐฑ๋ณธ ์ ๋ ฅ์ผ๋ก ๋ค์ด๊ฐ๊ณ (์ ์ \tilde f), ์ผ๋ถ WAM์์๋ ์์ฑ๋ ๋ฏธ๋๊ฐ ํ๋ ๊ฒฝ๋ก๊น์ง ๋ค์ด๊ฐ๋ ๊ฒ(Infer. ๋ฃจํ)๊ณผ ์ ํํ ๋๋น๋๋ค.
์ธ ์ถ์ผ๋ก ์ ๋ฆฌํ๋ฉด
| ๋ฐฑ๋ณธ ์ด๊ธฐํ | ๊ธฐ๋ก๋ ๋ฏธ๋ f_{1:T}์ ๊ฑฐ๋ ๋ชฉ์ ํจ์ | ์ถ๋ก ๋ ๋จ๋ ๋ชจ๋ | |
|---|---|---|---|
| (a) VLA | VLM | ์์ (โUnusedโ) | VLM + Action Expert |
| (b) WAM | Visual generator | \mathcal L_G: ๋ฏธ๋ ๊ด์ธก ์์ฑ | Generator + Action Expert (์ผ๋ถ WAM์ ๋ฏธ๋ ์์ฑ ๋ฃจํ ํฌํจ) |
| (c) JAM | VLM ยท visual generator ยท visual encoder ์ค ์ ํ | \mathcal L_F: ๊ณ ์ future anchor์ feature ์์ธก | Backbone + Action Expert |
๊ทธ๋ฆผ์ ์๋ ์ด ๊ตฌ๋ถ์ ๋ฐ๋ฅธ๋ค. ์๊ฐ ์ฒ๋ฆฌ ์ชฝ ์์(VLM, Visual Generator, Backbone, ๊ด์ธก f)์ \mathcal L_G๋ ๋จ์ ๊ณ์ด, ํ๋ ์ชฝ(\tilde a, \hat a, Action Expert, \mathcal L_{\mathrm{act}})์ ์ด๋ก ๊ณ์ด, ํ์ต ์ ์ฉ foresight ๊ฐ์ง๋ ์ฃผํฉ ๊ณ์ด์ด๋ค.
๊ธฐํธ ์ ๋ฆฌ
| ๊ธฐํธ | ์๋ฏธ | ๊ทผ๊ฑฐ |
|---|---|---|
| f_0 | ํ์ฌ ๊ด์ธก | ยง3.1 |
| f_{1:T} | ๊ธฐ๋ก๋ ๋ฏธ๋ ๊ด์ธก | ยง3.1 |
| \hat f_{1:T}, \tilde f_{1:T} | (b)์ ์์ฑ๋ ๋ฏธ๋ / ์์ฑ๊ธฐ์ ๋ฏธ๋ ์ ๋ ฅ | ๊ทธ๋ฆผ + ยง3.3 (tilde ํด์์ ํ์) |
| \tilde a_{1:H}, \hat a_{1:H} | noise๊ฐ ์์ธ action chunk / action expert ์ถ๋ ฅ | ยง3.2, Fig. 2 |
| h^{(\ell)}\in\mathbb R^{N\times D} | ๋ฐฑ๋ณธ ๋ธ๋ก \ell์ ํ์ฌ ๊ด์ธก ํ ํฐ | ยง3.2 |
| g_k,\ \hat g_k\in\mathbb R^{N\times D_g} | readout offset k์ target / ์์ธก | ยง3.2 |
| \mathcal L_{\mathrm{act}},\ \mathcal L_G,\ \mathcal L_F | ํ๋ flow matching / ์์ฑ / foresight ์์ค | ์ (1)~(4) |
๊ทธ๋ฆผ์ด ๋ณด์ฌ ์ฃผ์ง ์๋ ๊ฒ
Fig. 1์ ์ค๊ณ ๊ณต๊ฐ์ ์ง๋์ด๊ณ , ์คํ์์ ๊ฒฐ์ ์ ์ด์๋ ์ธ๋ถ๋ ๊ทธ๋ฆผ ๋ฐ์ ์๋ค.
- future anchor๊ฐ ๋ฌด์์ด๋: ๊ทธ๋ฆผ์ โFuture Anchorโ ํ ์์๋ก ๊ทธ๋ฆฌ์ง๋ง, ์ค์ ๋ก๋ ์ฌ์ ํ์ต ๋ฐฑ๋ณธ์ ๊ณ ์ ๋ณต์ฌ๋ณธ, ๋ฌด์์ ์ด๊ธฐํ๋ ๊ณ ์ ๋ฐฑ๋ณธ, ์ ์ฑ ์ด ์ด๋ฏธ ์ฐ๋ VAE tokenizer ๋จ๋ ์ด ๋ชจ๋ ์ํ๋๊ณ , Wan ๋ฐฑ๋ณธ์์๋ VAE ๋จ๋ ์ด ๊ฐ์ฅ ์ข์๋ค(Table 1).
- offset k: g_k์ k๊ฐ ํ์ฌ(k=0)์ธ์ง ๋ฏธ๋(k\ge 1)์ธ์ง๊ฐ ๋ชฉ์ ํจ์ ๊ต์ฒด ์์ฒด๋ณด๋ค ํฐ ์ฐจ์ด๋ฅผ ๋๋ค(Table 1).
- (b)์ Infer. ๋ฃจํ๋ ๋น๊ต ๋์์ด ์๋๋ค: ๋งค์นญ๋ FastWAMยทImageWAM์ ์ด๋ฏธ JAM๊ณผ ๊ฐ์ ์ถ๋ก ๊ฒฝ๋ก๋ฅผ ์ด๋ค. ๋ฐ๋ผ์ ์ด ๋ ผ๋ฌธ์ matched ๋น๊ต๊ฐ ์ธก์ ํ๋ ๊ฒ์ ๊ทธ๋ฆผ์ ์ธ ์ถ ๊ฐ์ด๋ฐ ๋ ๋ฒ์งธ ์ถ(๋ฏธ๋ ๋ชฉ์ ํจ์) ํ๋๋ค. ์ธ ๋ฒ์งธ ์ถ(์ถ๋ก ๋ชจ๋)์ ํจ๊ณผ๋ ์ด ๋ ผ๋ฌธ์ด ์ง์ ์ฌ์ง ์๊ณ FastWAM ๋ ผ๋ฌธ์ ์ธก์ (4๋ฐฐ ์ด์ ๋น ๋ฅธ ์ถ๋ก )์ ์ธ์ฉํ๋ค(ยง4.4).
- ๋ฐฑ๋ณธ ์นธ์ ์ฐจ์ด: (c)๋ Backbone์ ํ ์์๋ก ๊ทธ๋ฆฌ์ง๋ง, ๋ฐฑ๋ณธ๋ง๋ค action expert๊ฐ ๋ฐฑ๋ณธ์ ์ฝ๋ ๋ฐฉ์(attention ๊ตฌ์กฐยทํ ์คํธ ์ธ์ฝ๋)์ด ๋ค๋ฅด๋ค(Table 7). ๋ ผ๋ฌธ๋ Table 3 ์บก์ ์์ ์ด ๋๋ฌธ์ ์ฌ์ ํ์ต ์์ฒด์ ํจ๊ณผ๋ฅผ ๋ถ๋ฆฌํ ์ ์๋ค๊ณ ๋ฐํ๋ค.
ํ๋ก์ ํธ ํ์ด์ง์ 59์ด ํธ๋ ์ผ๋ฌ(๋ฌด์)๊ฐ ์ด ๊ทธ๋ฆผ์ ์ธ ํจ๋์ ์ ๋๋ฉ์ด์ ์ผ๋ก ๋ค์ ๋ณด์ฌ ์ค๋ค. โLearn only the actionsโ(VLA, ๋ฏธ๋ ํ๋ ์์ UNUSED ํ์) โ โLearn to generate the futureโ(WAM) โ โPredict features, not framesโ(JAM) โ โDeploy actions onlyโ ์์๋ค.
ํ๋ก์ ํธ ํ์ด์ง ํธ๋ ์ผ๋ฌ(0:59, ๋ฌด์).
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
์ ์ฑ ๋ฐฑ๋ณธ์ด ํ์ฌ ๊ด์ธก์ ์ธ์ฝ๋ฉํ ํ ํฐ h^{(\ell)}์์, ํ์ต ์ ์ฉ prediction head p๊ฐ ๊ฐ readout offset k๋ง๋ค \hat g_k๋ฅผ ๋ธ๋ค. ๊ณ ์ ๋ future anchor E_\phi๊ฐ ๊ธฐ๋ก๋ ๋ฏธ๋๋ก ๋ง๋ target g_k์์ cosine ๊ฑฐ๋ฆฌ๋ฅผ ํ ํฐ๊ณผ offset์ ๋ํด ํ๊ท ํ ๊ฒ์ด foresight loss๋ค.
\mathcal L_F=\frac{1}{|\mathcal K|}\sum_{k\in\mathcal K}\mathbb E_n\Big[1-\cos\big(\hat g_{k,n},\ \mathrm{sg}[g_{k,n}]\big)\Big], \qquad \mathcal L_{\mathrm{JAM}}=\mathcal L_{\mathrm{act}}+\lambda_F\mathcal L_F
\mathcal K๋ ๊ฐ๋ ํ offset ์งํฉ, n์ ๊ณต๊ฐ ํ ํฐ ์ธ๋ฑ์ค, \mathrm{sg}๋ stop-gradient๋ค. gradient๋ head์ ์ ์ฑ ๋ฐฑ๋ณธ์๋ง ํ๋ฅธ๋ค. target ์ ์ฒ๋ฆฌ์ conditioning์ด ๊ณ ์ ์ด๋ฉด g_k๋ ํ ๋ฒ ๊ณ์ฐํด ์บ์ํ ์ ์๋ค. ํ์ต ํ anchor์ head๋ฅผ ๋ฒ๋ฆฌ๋ฏ๋ก ๋ฐฐํฌ ์ํคํ ์ฒ์ ์ถ๋ก ๋น์ฉ์ ๋งค์นญ๋ ๋ฒ ์ด์ค๋ผ์ธ๊ณผ ๊ฐ๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- ์์ฑ โ foresight ๊ต์ฒด(Table 1, ์ํคํ ์ฒยท๋ฐ์ดํฐยท์์ฐ ๊ณ ์ ): FastWAM LIBERO 97.00 โ 98.15%, LIBERO-Plus 55.31 โ 64.54%(VAE target). ImageWAM(Ovis-U1) LIBERO 92.90 โ 96.75%, LIBERO-Plus 65.27 โ 79.95%(์ฌ์ ํ์ต Yak target).
- offset: ํ์ฌ ์์น target([0])๋ณด๋ค ๋ฏธ๋ ์์น target([1,2] ๋๋ [1])์ด ๋ซ๋ค. Wan์์ LIBERO-Plus 44.62 โ 55.58%.
- ๋ฐฑ๋ณธ ๊ณ์ด ํ์ฅ(Table 3): LIBERO-Plus JAM(Qwen3.5-2B) 81.14%, JAM(Ovis-U1) 79.95%, JAM(DINOv2-L) 70.39%, JAM(DINOv2-B) 68.19%. ๋ค ๊ฐ ๋ชจ๋ ImageWAM(Ovis-U1) 65.27%๋ณด๋ค ๋๋ค.
- RoboTwin 2.0(Table 4): JAM(FLUX.2) 93.1%๋ก ํ์์ ์ต๊ณ , JAM(Wan) 91.4% vs FastWAM(๊ณต๊ฐ ๊ฐ์ค์น) 91.2%.
- ํ์ต ๋น์ฉ(Table 9, ๋ ผ๋ฌธ v1 ์ฃผ์ฅ๊ฐ): JAM๋ง target์ ์บ์ํ ์กฐ๊ฑด์์ ์ํ๋น ์ถ์ 15.52 โ 4.19 TFLOPs(โ73.0%, FastWAM ๋๋น), 5.81 โ 3.67(โ36.8%, ImageWAM ๋๋น). GH200 1์ฅ ์ธก์ GPU ์๊ฐ์ โ67.3% / โ37.8%. ๋ฒ ์ด์ค๋ผ์ธ๋ ๋ฏธ๋ ์ธ์ฝ๋ฉ์ ์บ์ํ๋ ์กฐ๊ฑด์ผ๋ก ๋ง์ถ๋ฉด โ57.7% / โ31.9%์ด๊ณ , ๊ณต๊ฐ ๋ ํฌ์ ํ๋ก์ ํธ ํ์ด์ง๋ ํ์ฌ ์ด ๊ฐ์ ์ด๋ค.
- ํต๊ณ(Table 20ยท21): ๋ค ๋น๊ต ๋ชจ๋ 95% task-bootstrap ๊ตฌ๊ฐ์ด 0์ ๋ฐฐ์ ํ๊ณ , ์ ํ๋ ๋ ์ค์ ์ 3ํ ๋ ๋ฆฝ ํ์ต์์ LIBERO-Plus 64.61ยฑ0.37%(Wan), 79.92ยฑ0.43%(Ovis-U1).
๊ฒฐ๋ก :
JAM์ ์๋ก์์ ๋ชจ๋์ด ์๋๋ผ ๋ถํด๋ค. โVLA๋ WAM์ด๋โ๋ผ๋ ์ง๋ฌธ์ ๋ฐฑ๋ณธ ยท ๋ฏธ๋ ๋ชฉ์ ํจ์ ยท ์ถ๋ก ๋ชจ๋์ ์ธ ์ถ์ผ๋ก ์ชผ๊ฐ๊ณ , ๋ ๋ฒ์งธ ์ถ์์ ์์ฑ์ ๊ณ ์ feature ์์ธก์ผ๋ก ๋ฐ๊ฟ๋ ์ฑ๋ฅ์ด ์ ์ง๋๊ฑฐ๋ ์ค๋ฅธ๋ค๋ ๊ฒ์ matched ๋น๊ต๋ก ๋ณด์๋ค. ๋ค๋ง ๊ฐ์ฅ ์ข์ target์ด Wan์์๋ VAE latent์๋ค๋ ์ , ๊ธฐ์ค์ด ๋ FastWAM ์์น๊ฐ ์ ๋ ผ๋ฌธ ๋ณด๊ณ ๊ฐ๋ณด๋ค ๋ฎ๋ค๋ ์ , ์คํ์ด ์ ๋ถ ์๋ฎฌ๋ ์ด์ ์ด๋ผ๋ ์ ์ ๊ฒฐ๊ณผ๋ฅผ ์ฝ์ ๋ ๊ฐ์ด ๋ค๊ณ ๊ฐ์ผ ํ๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
๋ฏธ๋ ๊ด์ธก์ด ์ ์ฑ ํ์ต์ ๋์์ด ๋๋ค๋ ๋ฐ์๋ VLA ์ง์๋ WAM ์ง์๋ ์ด๊ฒฌ์ด ์๋ค. ๊ฐ๋ฆฌ๋ ์ง์ ์ โ์ด๋ป๊ฒ ์ฐ๋๋โ๋ค. WAM์ ๋ฏธ๋๋ฅผ ๊ทธ๋ ค ๋ณด๊ฒ ํ๊ณ , JAM์ ๋ฏธ๋๋ฅผ ์์๋งํ๊ฒ ํ๋ค. ๊ณ ์ ๋ ์ธ์ฝ๋๊ฐ ๊ธฐ๋ก๋ ๋ฏธ๋๋ฅผ feature๋ก ๋ฐ๊ฟ ๋๋ฉด, ์ ์ฑ ์ ํ์ฌ ํ๋ ์๋ง ๋ณด๊ณ ๊ทธ feature๋ฅผ ๋งํ๋๋ก ํํ์ ๋ค๋ฌ๋๋ค. ๊ทธ๋ฆผ์ ๊ทธ๋ฆฌ๋ decoder๋, denoising ๊ฒฝ๋ก๋, ๋ฏธ๋ ํ ํฐ์ ๋ฐฑ๋ณธ์ ๋ฃ๋ ์ผ๋ ํ์ ์๋ค. ๊ทธ๋ ๊ฒ ํ๋ฉด ์์ฑ๊ธฐ ๋ฐฑ๋ณธ์ด๋ VLM ๋ฐฑ๋ณธ์ด๋ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๋ฏธ๋์์ ๋ฐฐ์ธ ์ ์๊ณ , ์ฑ๋ฅ์ ์์ฑ์ผ๋ก ๋ฐฐ์ด ์๋ฅ์ด ์ ์ฑ ๊ณผ ๊ฐ๊ฑฐ๋ ๋ซ๋ค. ์ด๊ฒ์ด ์ ๋ชฉ์ โJust Action Modelsโ๊ฐ ๋ปํ๋ ๋ฐ๋ค. ๋จ๋ ๊ฒ์ ํ๋ ๋ชจ๋ธ๋ฟ์ด๋ค.
๋ฐฐ๊ฒฝ: ์ธ ์ ํ์ด ํ ๋ฌถ์์ผ๋ก ๋น๊ต๋ผ ์๋ค (ยง1ยทยง2)
ํ์ค VLA(OpenVLA, \pi_0, \pi_{0.5})๋ VLM์ action ์ถ๋ ฅ์ ๋ถ์ฌ ํ๋๋ง ํ์ตํ๋ค. WAM์ ์ด๋ฏธ์งยท๋น๋์ค ์์ฑ๊ธฐ์์ ์ถ๋ฐํด ํ๋๊ณผ ๋ฏธ๋ ๊ด์ธก ์์ฑ์ ํจ๊ป ํ์ตํ๋ค. ๋ ๊ณ์ด์ ์ฑ๊ณต๋ฅ ์ฐจ์ด๋ ํํ โ์์ฑ๊ธฐ ์ฌ์ ํ์ต์ด ๋ ์ข์ ์ง์์ ์ค๋คโ ํน์ โVLM์ ์๋ฏธ ์ง์์ด ๋ ๋ซ๋คโ๋ก ํด์๋ผ ์๋๋ฐ, ์ ์๋ค์ ์ด ํด์์ด ์ธ ๊ฐ์ง๋ฅผ ๋ค์๋๋ค๊ณ ๋ณธ๋ค.
- ๋ฐฑ๋ณธ ์ด๊ธฐํ: VLM์์ ์ถ๋ฐํ๋๊ฐ, ์์ฑ๊ธฐ์์ ์ถ๋ฐํ๋๊ฐ.
- ๋ฏธ๋ ๊ด์ธก์ ๊ฑฐ๋ ๋ชฉ์ ํจ์: ๊ธฐ๋ก๋ ๋ฏธ๋๋ฅผ ๋ฌด์ํ๋๊ฐ, ์์ฑํ๋๊ฐ.
- ์ถ๋ก ๋ ๋จ๋ ๋ชจ๋: ๋ฏธ๋๋ฅผ ์์ฑํ ๋ค ํ๋ํ๋๊ฐ, ๋ฐ๋ก ํ๋ํ๋๊ฐ.
์ธ ๋ฒ์งธ ์ถ์ ์ด๋ฏธ ์ผ๋ถ ๋ถ๋ฆฌ๋ผ ์์๋ค. ๋ธ๋ก๊ทธ์์ ๋ฆฌ๋ทฐํ Fast-WAM์ attention mask๋ก ์ถ๋ก ๋์ ๋ฏธ๋ ์์์ ๋ผ์ด ๋ด๊ณ , ํ์ต ๋์ ๋น๋์ค co-training์ด ์ด๋์ ๋๋ถ๋ถ์ ๋ธ๋ค๊ณ ๋ณด์๋ค. ImageWAM์ ๋น๋์ค ๋์ ์ด๋ฏธ์ง ํธ์ง ๋ฐฑ๋ณธ๊ณผ ๋ฏธ๋ ์ด๋ฏธ์ง target์ ์ด๋ค. ๋ ๋ ผ๋ฌธ์ ๊ฒฐ๊ณผ์ ์ผ๋ก โํ์ต ๋์ ์๊ฐ ์์ฑ ๋ชฉ์ ํจ์๊ฐ WAM์ ์ด์ โ๋ผ๋ ํด์์ ๋จ๊ฒผ๋ค. JAM์ ๊ทธ ๋ค์ ์ง๋ฌธ์ ๋์ง๋ค. ๊ธฐ๋ก๋ ๋ฏธ๋์์ ๋ฐฐ์ฐ๋ ๋ฐ ์๊ฐ ์์ฑ ๋ชฉ์ ํจ์๊ฐ ๊ผญ ํ์ํ๊ฐ? ์๋๋ผ๋ฉด, ์์ฑ ์ฌ์ ํ์ต์ด ์๋ ๋ฐฑ๋ณธ๋ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๋ฏธ๋์์ ๋ฐฐ์ธ ์ ์๋๊ฐ?
๋ฐฉ๋ฒ ์์ธ 1: ๋ฌธ์ ์ค์ (ยง3.1)
ํ์ต ์์ ๋ ํ์ฌ ๊ด์ธก f_0, ๋ก๋ด ์ํ s_0, ์ง์๋ฌธ c, action chunk a_{1:H}, ๊ธฐ๋ก๋ ๋ฏธ๋ ๊ด์ธก f_{1:T}๋ก ์ด๋ฃจ์ด์ง๋ค. ๋ฐฐํฌ๋ ์ ์ฑ ์ (f_0,s_0,c)์์ a_{1:H}๋ฅผ ์์ธกํ๋ค. ์ธ ๋ ์ํผ์ ๋ชฉ์ ํจ์๋ ๋ค์๊ณผ ๊ฐ๋ค.
\mathcal L_{\mathrm{VLA}}=\mathcal L_{\mathrm{act}}\quad(1),\qquad \mathcal L_{\mathrm{WAM}}=\mathcal L_{\mathrm{act}}+\lambda_G\mathcal L_G\quad(2),\qquad \mathcal L_{\mathrm{JAM}}=\mathcal L_{\mathrm{act}}+\lambda_F\mathcal L_F\quad(3)
\mathcal L_{\mathrm{act}}์ action chunk์ ๋ํ flow matching ์์ค์ด๋ค. ์ (3)์ด ๋ ๊ณ์ด์ ์๋ ๋ค๋ฆฌ๋ผ๋ ๊ฒ์ด ์ ์๋ค์ ์ฃผ์ฅ์ด๋ค. ๋ฏธ๋๋ ์๊ฐ ์์ฑ์ด ์๋๋ผ ๊ณ ์ future anchor๋ฅผ ํตํด ๊ฐ๋ ํ๊ณ , ๋ชฉ์ ํจ์๊ฐ ์์ฑ๊ธฐ๋ฅผ ์๊ตฌํ์ง ์์ผ๋ฏ๋ก ๋ฐฑ๋ณธ์ generative DiT, self-supervised ์ธ์ฝ๋, VLM ์ค ๋ฌด์์ด๋ ๋ ์ ์๋ค. future anchor๋ ๊ณ ์ ๋ ๋ฐฑ๋ณธ์ผ ์๋ ์๊ณ ์ ์ฑ ์ VAE tokenizer๋ฅผ ์ฌ์ฌ์ฉํ ์๋ ์๋ค.
๋ฐฉ๋ฒ ์์ธ 2: Foresight supervision (ยง3.2, ๋ถ๋ก A.3)

Fig. 2 โ JAM ํ์ต(์ผ์ชฝ)๊ณผ ๋ฐฐํฌ(์ค๋ฅธ์ชฝ). Input EncoderยทText EncoderยทFuture Anchor๋ ๊ณ ์ (๋ณํ), BackboneยทPrediction Head๋ ํ์ต ๋์(์ ). ๊ธฐ๋ก๋ ๋ฏธ๋ f_{1:T}๋ ์ ์ ์์ ์์ future anchor ๊ฐ์ง๋ก๋ง ๋ค์ด๊ฐ๊ณ , ๋ฐฐํฌ ๋๋ ์ด ๊ฐ์ง์ prediction head๊ฐ ์ฌ๋ผ์ง๋ค.
Fig. 2๋ Fig. 1(c)๋ฅผ ์ค์ ๋ฐ์ดํฐ ํ๋ฆ์ผ๋ก ํผ์น ๊ทธ๋ฆผ์ด๋ค. Fig. 1์ ์๋ ๊ฒ์ด ์ ๋ณด์ธ๋ค. โ ํ์ฌ ๊ด์ธก์ ์ํคํ ์ฒ๋ณ Input Encoder(๊ณ ์ )๋ฅผ ๊ฑฐ์ณ ๋ฐฑ๋ณธ์ ๋ค์ด๊ฐ๋ค. โก ์ง์๋ฌธ c๋ ๊ณ ์ Text Encoder๋ฅผ ๊ฑฐ์ณ ๋ฐฑ๋ณธ์ ๋ค์ด๊ฐ๋ค(ํ ์คํธ ์ ๋ ฅ์ ๋ฐ๋ ๋ฐฑ๋ณธ์ ๊ฒฝ์ฐ). โข ๋ฐฑ๋ณธ์์ Action Expert๋ก ๊ฐ๋ ํ์ดํ์ KV๊ฐ ๋ถ์ด ์๋ค. action expert๋ ๋ฐฑ๋ณธ์ key/value๋ฅผ attention์ผ๋ก ์ฝ๊ณ , ์ฌ๊ธฐ์ ๋ก๋ด ์ํ s_0์ noise๊ฐ ์์ธ \tilde a_{1:H}๊ฐ ๋ํด์ง๋ค. ์ค๋ฅธ์ชฝ ๋ฐฐํฌ ๊ทธ๋ฆผ์๋ โPut the bowl on the plateโ์ f_0 โ Backbone โ KV โ Action Expert โ \hat a_{1:H}๋ง ๋จ๋๋ค.
์ ์ฑ feature์ target. h^{(\ell)}\in\mathbb R^{N\times D}๋ ๋ฐฑ๋ณธ ๋ธ๋ก \ell์ ํ์ฌ ๊ด์ธก ํ ํฐ์ด๋ค. ๊ณ ์ future anchor E_\phi๋ ๊ธฐ๋ก๋ ๋ฏธ๋ f_{1:T}๋ฅผ ์๊ธฐ conditioning ์ธํฐํ์ด์ค๋ก ์ฒ๋ฆฌํ๋ค(Yak, FLUX.2, Qwen์ ์ด ์ธํฐํ์ด์ค๊ฐ f_0์ c๋ ์ฝ๋๋ค). target g_k\in\mathbb R^{N\times D_g}๋ anchor์ k๋ฒ์งธ ์๊ฐ ์์น feature์ด๊ณ , k=0์ด ํ์ฌ ๊ด์ธก, k\ge1์ด ๊ธฐ๋ก๋ ๋ฏธ๋๋ค. ๋ฐฑ๋ณธ feature๋ VAE latent๋ h^{(\ell)}์ ๊ณต๊ฐ ํ ํฐ ๋ฐฐ์น์ ๋ง์ถฐ ์ ๋ ฌ๋๋ค(๋ถ๋ก A.2์ ๋ฐ๋ฅด๋ฉด ๊ฐ์ฒด ์ถ์ ์์ด ๊ณ ์ ๊ณต๊ฐ ์ธ๋ฑ์ค๋ก).
Foresight loss. ์์ ์ (4)๋ค. cosine ๊ฑฐ๋ฆฌ๋ฅผ ์ฐ๋ฏ๋ก target์ ํฌ๊ธฐ๊ฐ ์๋๋ผ ๋ฐฉํฅ๋ง ๋งํ๋ฉด ๋๋ค. head๋ ํ์ต ๊ฐ๋ฅํ D\to d ์ ๋ ฅ projection, ๊ณต์ ๋ pre-LayerNorm transformer ๋ธ๋ก 2๊ฐ, offset๋ง๋ค ํ๋์ฉ์ธ ์ ํ d\to D_g readout์ผ๋ก ์ด๋ฃจ์ด์ง๋ค(๋ถ๋ก A.3). ์ด ๊ฐ์ค์น \lambda_F๋ FastWAM์์ 0.6, ๊ทธ ๋ฐ์ ์ ์ฑ ์์ 0.3์ด๊ณ offset ์์ ๋ฌด๊ดํ๊ฒ \lambda_F/|\mathcal K|๋ก ๋๋ ์ค๋ค. offset์ ๋๋ ค๋ ์ด ๊ฐ๋ ์ธ๊ธฐ๋ ๊ทธ๋๋ก๋ค.
| ์ ์ฑ | ์ ๋ ฅ D | target D_g | trunk d | ์ธต | head ์ | FFN | readout ์ |
|---|---|---|---|---|---|---|---|
| JAM (Wan) | 3072 | 3072 | 1536 | 2 | 24 | 6144 | 2 |
| JAM (Ovis-U1) | 1536 | 1536 | 768 | 2 | 12 | 3072 | 1 |
| JAM (FLUX.2) | 3072 | 3072 | 1536 | 2 | 24 | 6144 | 1 |
| JAM (Qwen3.5-2B) | 2048 | 2048 | 1024 | 2 | 16 | 4096 | 1 |
| JAM (DINOv2-B) | 768 | 768 | 384 | 2 | 6 | 1536 | 1 |
| JAM (DINOv2-L) | 1024 | 1024 | 512 | 2 | 8 | 2048 | 1 |
Readout offset์ ์ค์ ์๋ฏธ(ยง4.1). FastWAM์ 4 ํ๊ฒฝ ์คํ ๋ง๋ค ํ๋ ์์ ๋ฝ๊ณ , causal VAE๊ฐ ํ์ฌ ํ๋ ์์ ๋จ๋ ์ผ๋ก, ์ดํ ํ๋ ์์ 4์ฅ์ฉ ํ latent ์์น๋ก ๋ฌถ๋๋ค. ๋ฐ๋ผ์ offset [0]์ ํ์ฌ ํ๋ ์, [1]์ 4~16 ์คํ , [2]๋ 20~32 ์คํ ์ ๋ฎ๋๋ค(32 ์คํ action chunk ์ ์ฒด). ๋๋จธ์ง ๋ฐฑ๋ณธ์ ๊ธฐ๋ก๋ ๋ฏธ๋๊ฐ 16 ์คํ ๋ค ํ ์ฅ์ด๊ณ , [1]์ด ๊ทธ ํ๋ ์, [0]์ด ํ์ฌ๋ค.
์ถ๋ก . ํ์ต ํ anchor์ head๋ฅผ ๋ฒ๋ฆฌ๋ฏ๋ก target ์ถ์ถ๋ ๋ฏธ๋ ์์ธก๋ ์ถ๋ก ๋ ์คํ๋์ง ์๋๋ค. ์ ์ฑ ์ f_0์ c๋ฅผ ํ ๋ฒ ์ธ์ฝ๋ฉํ๊ณ action expert๊ฐ flow matching ์ํ๋ง ์คํ ๋ด๋ด ๊ทธ context๋ฅผ ์ฌ์ฌ์ฉํ๋ค. ์ ์๋ค์ด ์ง๋ฏ ์ด ์ถ๋ก ์ ์ฐจ๋ ๋งค์นญ๋ FastWAMยทImageWAM๊ณผ ๊ฐ๋ค. ์ฐจ์ด๋ JAM์ด ํ์ต ๋๋ ์๊ฐ ์์ฑ์ ํ์ง ์๋๋ค๋ ๊ฒ์ด๋ค.
๋ฐฉ๋ฒ ์์ธ 3: ์ธ ์ฌ์ ํ์ต ๊ณ์ด๋ก์ instantiation (ยง3.3, ๋ถ๋ก A.2)
| future anchor | target ํ๋ ์(ํ๊ฒฝ ์คํ ) | ๊ฐ๋ ์ธต / ์ ์ฒด | readout | ์ถ๋ก context |
|---|---|---|---|---|
| Wan / Wan VAE | 0, 4, โฆ, 32 | 18/30 | [1, 2] | Wan + UMT5 |
| Yak18 | 0, 16 | 11/18 | [1] | Yak18 + Ovis |
| FLUX.2 | 0, 16 | 15/25 | [1] | FLUX.2 + Qwen3-4B |
| Qwen3.5-2B | 0, 16 | 13/24 | [1] | causal imageโtext prefix |
| DINOv2-B / L | 16 | 12/12, 24/24 | [1] | DINOv2 + Qwen3-4B |
- ์์ฑ ๋ฐฑ๋ณธ. FastWAM์ Wan2.2-5B ๋น๋์ค ๋ฐฑ๋ณธ(30๋ธ๋ก)์ ๊ฐ์ ๊น์ด์ action expert๋ฅผ directional mixed attention์ผ๋ก ๋ถ์ธ๋ค. ImageWAM(Ovis-U1)์ Yak18 ์ด๋ฏธ์ง ํธ์ง ๋ฐฑ๋ณธ(double-stream 6 + single-stream 12๋ธ๋ก, ํญ 1,536)์ 18๋ธ๋ก action expert๋ฅผ ๋ถ์ธ๋ค. JAM์ผ๋ก ๋ฐ๊พธ๋ฉด ๋ฐฑ๋ณธ์ ๊นจ๋ํ ํ์ฌ ํ๋ ์๋ง ๋ณด๊ณ , ์ ์ฑ ์ํคํ ์ฒ์ action expert ์ด๊ธฐํ๋ ๊ทธ๋๋ก๋ค. ๊ณ ์ ์์ฑ๊ธฐ๊ฐ ๋ฌด์์ ๊ธฐ์ฌํ๋์ง ๊ฐ๋ฅด๊ธฐ ์ํด ๋ target์ ๋ ๋๋ค. ๊ฐ์ ๋ฐฑ๋ณธ์ ๋ฌด์์ ์ด๊ธฐํํ ๊ฒ(๊ตฌ์กฐ๋ ๊ฐ๊ณ ์ฌ์ ํ์ต feature๋ง ์์)๊ณผ, VAE tokenizer ๋จ๋ (target transformer ์์ด latent patch feature๋ฅผ liftํ ๊ฒ)์ด๋ค. Wan์ VAE-direct target์ 2\times2\times48 patch๋ฅผ 192์ฐจ์์์ 3,072์ฐจ์์ผ๋ก ๊ณ ์ ์ขํ ๋ฐ๋ณต๊ณผ ์ค์ผ์ผ๋ง์ผ๋ก ๋๋ฆฐ ๊ฒ์ด๊ณ , norm๊ณผ cosine ์ ์ฌ๋๊ฐ ๋ณด์กด๋๋ค(๋ถ๋ก A.2).
- Self-supervised ๋ฐฑ๋ณธ. DINOv2๋ ์ธ์ด ์ ๋ ฅ๋ ์์ฑ head๋ ์๋ค. action expert๊ฐ ๋ฐฑ๋ณธ์ transformer ๋ธ๋ก์ ๊ทธ๋๋ก ๋ณธ๋จ๊ณ , ๋ณ๋ ํ ์คํธ ์ธ์ฝ๋(๊ณ ์ Qwen3-4B, 512 ํ ํฐ)๊ฐ ์ง์๋ฌธ์ action expert์๋ง ์ค๋ค. DINOv2๋ง ์์ธ์ ์ผ๋ก ๋ง์ง๋ง ๋ธ๋ก์ ๊ฐ๋ ํ๋ค.
- VLM ๋ฐฑ๋ณธ. Qwen3.5-2B๋ ์ด๋ฏธ์ง์ ํ ์คํธ๋ฅผ ํจ๊ป ์ฝ๋๋ค. action expert๋ 18๊ฐ GatedDeltaNet๊ณผ 6๊ฐ full-attention ๋ธ๋ก์ ํธํ ๊ฐ์ค์น๋ฅผ ๋ณต์ฌํ๊ณ , imageยทtextยทaction ํ ํฐ ์์ causal token mixing์ผ๋ก ๋ฐฑ๋ณธ ํ ํฐ์ ์ฝ๋๋ค. ์ ์๋ค์ ์ด๊ฒ์ โforesight loss๋ฅผ ๋ํ VLAโ๋ผ๊ณ ๋ถ๋ฅธ๋ค.
์ง๊ด: ์ค์ ๋ก ๋ฐ๋ ๊ฒ์ ๋ฌด์์ธ๊ฐ
โ์์ฑ ๋์ ํํ์ ์์ธกํ๋คโ๋ ๋ฌธ์ฅ์ JEPA ๊ณ์ด์ ์ต์ํ ๊ตฌํธ์ฒ๋ผ ๋ค๋ฆฌ์ง๋ง, ์ด ๋ ผ๋ฌธ์ matched ๋น๊ต์์ ์ค์ ๋ก ๋ฐ๋ ๊ฒ์ ํ๋์ฉ ์ธ์ด ๋ณด๋ฉด ๊ทธ๋ฆผ์ด ์กฐ๊ธ ๋ ๊ตฌ์ฒด์ ์ด๋ค.
์ฒซ์งธ, ๋ฐฑ๋ณธ์ด ๋ณด๋ ํ ํฐ์ด ์ค์๋ค. FastWAM์ Wan ์๊ฐ expert๋ ์์ฑ ํ์ต ๋ 294 ํ ํฐ(ํ์ฌ + ๋ฏธ๋ latent)์ ์ฒ๋ฆฌํ๊ณ , JAM์์๋ 98 ํ ํฐ(ํ์ฌ ํ๋ ์)๋ง ์ฒ๋ฆฌํ๋ค(๋ถ๋ก B.2). ์์ฑ ๋ชฉ์ ํจ์๋ ๋ฏธ๋ latent๋ฅผ ๋ฐฑ๋ณธ ์ ๋ ฅ์ผ๋ก ๋ฃ๊ณ denoiseํ๊ฒ ํ๋ฏ๋ก, ๋ฐฑ๋ณธ ์ฉ๋์ ์ผ๋ถ๊ฐ โ๋ฏธ๋ ํ๋ ์ ํ ํฐ์ ๋ค๋ฃจ๋ ์ผโ์ ์ฐ์ธ๋ค. JAM์์๋ ๋ฏธ๋๊ฐ ๋ฐฑ๋ณธ ์ ๋ ฅ์์ ๋น ์ง๊ณ ์ถ๋ ฅ ์ชฝ์ ๋ณ๋ head์์๋ง ๋ฑ์ฅํ๋ค. ๋ฐฑ๋ณธ์ ํ์ฌ ํ๋ ์ ํ ํฐ์๋ง ์ง์คํ๋, ๊ทธ ํ ํฐ์ด ๋ฏธ๋๋ฅผ ๋งํ ์ ์์ ๋งํผ ์ ๋ณด๋ฅผ ๋ด๋๋ก ์๋ ฅ์ ๋ฐ๋๋ค.
๋์งธ, Wan์์ ์ด๊ธด target์ โ์๋ฏธ ํํโ์ด ์๋๋ผ VAE latent์๋ค. Table 1์์ ์ฌ์ ํ์ต Wan anchor(55.58%)๋ FastWAM(55.31%)๊ณผ ์ฌ์ค์ ๊ฐ๊ณ , ๋ฌด์์ Wan anchor(58.63%)๊ฐ ์คํ๋ ค ๋์ผ๋ฉฐ, ๊ฐ์ฅ ๋์ ๊ฒ์ VAE ๋จ๋ (64.54%)์ด๋ค. VAE latent๋ FastWAM์ด denoiseํ๋ ๋ฐ๋ก ๊ทธ ๊ณต๊ฐ์ด๋ค. ๊ทธ๋ ๋ค๋ฉด FastWAM ๋๋น ์ฐจ์ด๋ โํฝ์ ์์ฑ vs ํํ ์์ธกโ์ด๋ผ๊ธฐ๋ณด๋ค โ๊ฐ์ latent๋ฅผ ๋ฐฑ๋ณธ ์์์ denoiseํ๋๋, ํ์ฌ ํ ํฐ์์ ๋ณ๋ head๋ก regressionํ๋๋โ์ ๊ฐ๊น๋ค(ํ์ ํด์). ์ ์๋ค๋ Wan VAE latent๊ฐ 32 ์คํ ์ฐฝ์ ๋ณํ๋ฅผ ์ด๋ฏธ ๋ด๊ณ ์๋ค๋ ์ ์ ๊ฐ๋ฅํ ์ค๋ช ์ผ๋ก ๋ ๋ค(ยง4.2).
์ ์งธ, anchor์ ์ง์์ ๊ฑฐ์ ํ์ ์๊ณ ๋ฐฑ๋ณธ์ ์ง์์ ํ์ํ๋ค. Table 2์์ ๋ฐฑ๋ณธ์ด ์ฌ์ ํ์ต์ด๋ฉด anchor๊ฐ ๋ฌด์์์ฌ๋ 97.65%, ๋ฐฑ๋ณธ์ด ๋ฌด์์๋ฉด anchor๊ฐ ๋ฌด์์ด๋ 71~84%๋ก ๋ฌด๋์ง๋ค. ์ ์๋ค์ ํํ์ผ๋ก๋ ๊ณ ์ ๋ ๋ฌด์์ anchor๋ โ๊ธฐ๋ก๋ ๋ฏธ๋์ ์์ ์ ์ด๊ณ ์ ๋ ฅ ์์กด์ ์ธ featureโ๋ฅผ ์ ๊ณตํ๋ค. ๋ฌด์์ ๋คํธ์ํฌ๊ฐ ์ข์ target์ด ๋ ์ ์๋ค๋ ๊ฒ์ Random Network Distillation์ด๋ โRandom teachers are good teachersโ์์ ์๋ ค์ง ํ์์ด๊ณ , ๋ถ๋ก E๋ ์ด ๊ณ๋ณด๋ฅผ ์ธ์ฉํ๋ค. ์ ๋ฆฌํ๋ฉด ์ด๋์ ์์ฒ์ target์ ์๋ฏธ ํ์ง๋ณด๋ค โํ์ฌ feature๊ฐ ๋ฏธ๋์ ๊ฒฐ์ ์ ์ผ๋ก ์ฐ๊ฒฐ๋ ์ ํธ๋ฅผ ๋งํ๋๋ก ๊ฐ์ ๋๋คโ๋ ๊ตฌ์กฐ ์ชฝ์ ์์ด ๋ณด์ธ๋ค.
๋ท์งธ, ํ์ฌ ์์น target์ ํด๋กญ๋ค. Wan์์ offset [0]๋ง ๊ฐ๋ ํ๋ฉด LIBERO-Plus 44.62%๋ก ๊ฐ๋ ์ด ์์ ์๋ FastWAM action-only(45.55%)๋ณด๋ค ๋ฎ๋ค. ์ ์๋ค์ Wan anchor๊ฐ bidirectional attention์ผ๋ก [0] ์์น์๋ ๋ฏธ๋ ๋งฅ๋ฝ์ ์์ ์ ์๋ค๊ณ ์ฐ์ง๋ง, ๊ฒฐ๊ณผ์ ์ผ๋ก โํ์ฌ๋ฅผ ๋ค์ ๋งํ๋โ ์ ํธ๋ ํ๋์ ์ธ ์ ๋ณด๋ฅผ ๋๋ฆฌ์ง ๋ชปํ๋ค. ๋ฏธ๋ ์์น๋ฅผ ๋ช ์์ ์ผ๋ก ๊ฒจ๋ฅํด์ผ ํจ๊ณผ๊ฐ ๋๋ค.
์คํ ์ค์ (ยง4.1, ๋ถ๋ก A.1)
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ํ๋์จ์ดยท์ ๋ฐ๋ | ๋ชจ๋ ์คํ NVIDIA GH200 8์ฅ, bf16 mixed precision |
| optimizer | AdamW (0.9, 0.95), weight decay 0.01, lr 10^{-4}, cosine decay + 5% warmup, gradient clip 1.0 |
| LIBERO | Spatial/Object/Goal/Long 40 ํ์คํฌ ร 50 rollout. FastWAM recipe 20k update, ImageWAM recipe(๊ทธ ์ธ ๋ฐฑ๋ณธ) 21.7k update, global batch 128, 224ร224 ์นด๋ฉ๋ผ 2๋ |
| LIBERO-Plus | ImageWAM์ 15% subset ํ๋กํ ์ฝ. suite๋ณ seeded draw๋ก ๊ณ ์ manifest 1,506 ํ์คํฌ(Spatial 361 ยท Object 378 ยท Goal 389 ยท Long 378), ํ์คํฌ๋น 1ํ, task-weighted micro-average |
| RoboTwin 2.0 | 50 bimanual ํ์คํฌ, Clean/Randomized ร ํ์คํฌ๋น 100 trial, unseen instruction, SAPIEN 3.0.0b1. 5 epoch: FastWAM 29,355 update(batch 1,024), ImageWAM recipe 69,900 update(batch 384) |
| ์ฌ์ ํ์ต | ์ ์ ์ ์ฑ ์ ๋ชจ๋ ๋ก๋ด ๋ฐ์ดํฐ embodied pretraining ์์(ํ์ P.T. ์ด ร) |
๊ฐ ์์ฑ ์ ์ฑ ๊ณผ ๊ทธ foresight ๋์ ์ ์ฑ ์ ๋ฐ์ดํฐ, ์ ์ฑ ์ํคํ ์ฒ, optimizer, ํ์ต ์์ฐ, ํ๊ฐ๊ธฐ๋ฅผ ๊ณต์ ํ๋ค. LIBERO-Plus๋ LIBERO๋ก ํ์ตํ ์ ์ฑ ์ ๊ต๋ ์กฐ๊ฑด(camera, robot ์ด๊ธฐ ์ํ, language, light, background, sensor noise, layout)์์ ํ๊ฐํ๋ robustness ๋ฒค์น๋งํฌ๋ค.
์คํ 1: ์์ฑ์ foresight๋ก ๋ฐ๊พธ๊ธฐ (ยง4.2, Table 1, Fig. 3ยท4ยท9)
| ์ ์ฑ | \mathcal L_G | \mathcal L_F | future anchor | readout | LIBERO | LIBERO-Plus |
|---|---|---|---|---|---|---|
| FastWAM (action-only) | ร | ร | โ | โ | 95.25 | 45.55 |
| FastWAM | โ | ร | โ | โ | 97.00 | 55.31 |
| JAM (Wan) | ร | โ | Pretrained Wan | [0] | 95.80 | 44.62 |
| JAM (Wan) | ร | โ | Pretrained Wan | [1, 2] | 97.45 | 55.58 |
| JAM (Wan) | ร | โ | Pretrained Wan | [0, 1, 2] | 97.40 | 54.18 |
| JAM (Wan) | ร | โ | Random Wan | [1, 2] | 97.65 | 58.63 |
| JAM (Wan) | ร | โ | Pretrained VAE | [1, 2] | 98.15 | 64.54 |
| ImageWAM (Ovis-U1, action-only) | ร | ร | โ | โ | 90.20 | 61.35 |
| ImageWAM (Ovis-U1) | โ | ร | โ | โ | 92.90 | 65.27 |
| JAM (Ovis-U1) | ร | โ | Pretrained Yak | [0] | 94.55 | 69.65 |
| JAM (Ovis-U1) | ร | โ | Pretrained Yak | [1] | 96.75 | 79.95 |
| JAM (Ovis-U1) | ร | โ | Pretrained Yak | [0, 1] | 95.00 | 72.58 |
| JAM (Ovis-U1) | ร | โ | Random Yak | [1] | 95.55 | 72.51 |
| JAM (Ovis-U1) | ร | โ | Pretrained VAE | [1] | 95.75 | 76.43 |
์ด ํ์์ ์ฝ์ ๊ฒ์ ์ธ ์ค์ด๋ค.
- ๋ชฉ์ ํจ์ ๊ต์ฒด ์์ฒด์ ํจ๊ณผ๋ ๋ฐฑ๋ณธ์ ๋ฐ๋ผ ํฌ๊ธฐ๊ฐ ๋ค๋ฅด๋ค. ์ฌ์ ํ์ต Wan anchor + ๋ฏธ๋ offset์ด๋ฉด FastWAM ๋๋น LIBERO 97.00 โ 97.45, LIBERO-Plus 55.31 โ 55.58๋ก ๊ฑฐ์ ๊ฐ๋ค. ๋ฐ๋ฉด Ovis-U1์ ๊ฐ์ ์กฐ๊ฑด(์ฌ์ ํ์ต anchor + ๋ฏธ๋ offset)์์ LIBERO-Plus 65.27 โ 79.95๋ก 14.68%p ์ค๋ฅธ๋ค. Ovis-U1์์๋ ์์ฑ ์์ค์ด action-only ๋๋น +3.92%p๋ง ์ฃผ๋๋ฐ foresight๋ +18.60%p๋ฅผ ์ค๋ค(ํ์ ๊ณ์ฐ).
- offset์ด ๋ชฉ์ ํจ์ ๊ต์ฒด๋ณด๋ค ํฌ๋ค. Wan [0] โ [1,2]๋ก 44.62 โ 55.58, ๋ค์ [0]์ ๋ํ๋ฉด 54.18. Ovis-U1 [0] โ [1]๋ก 69.65 โ 79.95. ๋ ๋ฐฑ๋ณธ ๋ชจ๋ ํ์ฌ ์์น๋ฅผ ์์ผ๋ฉด ๋๋น ์ง๋ค.
- ์ ํธ target์ ์ํคํ ์ฒ๋ง๋ค ๋ค๋ฅด๋ค. Wan์ VAE ๋จ๋ (64.54) > ๋ฌด์์ Wan(58.63) > ์ฌ์ ํ์ต Wan(55.58), Ovis-U1์ ์ฌ์ ํ์ต Yak(79.95) > VAE(76.43) > ๋ฌด์์ Yak(72.51). ์ ์๋ค์ ๊ฐ๋ฅํ ์ค๋ช ์ target์ ์๊ฐ ์ ๋ณด๋ค. Wan์ 32 ์คํ action chunk ์์ strided ์ฐฝ์ ์ธ์ฝ๋ฉํ๋ฏ๋ก VAE latent๊ฐ ์ด๋ฏธ ์ฅ๋ฉด ๋ณํ๋ฅผ ๋ฐ๋ผ๊ฐ๊ณ , Yak์ 16 ์คํ ๋์ ํ ์ฅ๋ง ์ธ์ฝ๋ฉํ๋ฏ๋ก ์ฌ์ ํ์ต ์ธต์ด ๊ทธ๊ฒ์ ํ์ฌ ๊ด์ธกยท์ง์์ ์ฐ๊ฒฐํด ์ค์ผ ํ๋ค๋ ๊ฒ์ด๋ค.

Fig. 3 โ LIBERO-Long์์ ImageWAM๊ณผ JAM(๋ ๋ค Ovis-U1)์ ๋งค์นญ๋ rollout. (a) โPut the black bowl in the bottom drawer and close itโ: ImageWAM์ ์๋์ ๋ซ์ง ๋ชปํ๋ค. (b) โPut both moka pots on the stoveโ: ImageWAM์ ๋ ๋ฒ์งธ ํฌํธ๋ฅผ ๋์ด๋จ๋ฆฐ๋ค.
ํ๋ก์ ํธ ํ์ด์ง๋ Fig. 3์ ๋ ๊ณผ์ ๋ฅผ ๊ฐ์ ์ด๊ธฐ ์ํ์์ ์์ํ ํ๊ฐ๊ธฐ ๋ นํ๋ก ๋ณด์ฌ ์ค๋ค. ์ผ์ชฝ์ด ์์ฑ ์์ค๋ก ํ์ตํ ImageWAM, ์ค๋ฅธ์ชฝ์ด foresight ์์ค๋ก ํ์ตํ JAM์ด๊ณ , ์งง์ ์ชฝ ํด๋ฆฝ์ ๋๋ ๋ค ๋ง์ง๋ง ํ๋ ์์ ๋ฉ์ถ๋ค.
LIBERO-Long "Put both moka pots on the stove"(Task 8 ยท Trial 9). ImageWAM(์ผ์ชฝ)์ ๋ ๋ฒ์งธ ํฌํธ๋ฅผ ๋์ด๋จ๋ฆฌ๊ณ JAM(์ค๋ฅธ์ชฝ)์ ๋ ํฌํธ๋ฅผ ๋ชจ๋ ์คํ ๋ธ์ ์ฌ๋ฆฐ๋ค. 2๋ฐฐ์.
LIBERO-Long "Put the black bowl in the bottom drawer of the cabinet and close it"(Task 3 ยท Trial 21). ImageWAM์ ์๋์ ์ฐ ์ฑ๋ก ๋๊ณ JAM์ ๊ทธ๋ฆ์ ๋ฃ๊ณ ์๋์ ๋ซ๋๋ค. 2๋ฐฐ์.
ํ์ฌ feature์์ ๋ฏธ๋๊ฐ ์ผ๋ง๋ ์ฝํ๋(Fig. 4ยท9, ๋ถ๋ก D.6). ์ ์๋ค์ ๊ฐ ๊ณ ์ ๋ Ovis-U1 ์ ์ฑ ์์ ํ ํฐ๋ณ 2์ธต MLP probe ๋ ๊ฐ๋ฅผ ํ์ตํด ํ์ฌ ํ๋ ์๊ณผ 16 ์คํ ๋ค ํ๋ ์์ ๋ณต์ํ๊ณ (ํ์ตยทํ๊ฐ ์ํผ์๋๋ ๋ถ๋ฆฌ), ๋ ๋ณต์์ ๋ถํธ ์๋ ํ๋ ์ฐจ์ด๋ฅผ ๊ธฐ๋ก๋ ๋ณํ์ ๋น๊ตํ๋ค.

Fig. 4 โ โput both moka pots on the stoveโ์ ๋ณต์๋ ๋ฏธ๋ ๋ณํ. ์ผ์ชฝ๋ถํฐ ํ์ฌ ํ๋ ์, ๊ธฐ๋ก๋ ๋ฏธ๋(16 ์คํ ๋ค), ๊ธฐ๋ก๋ ๋ณํ, ๊ทธ๋ฆฌ๊ณ ImageWAMยทJAM offset [0]ยทJAM offset [1] feature์์ probe๋ก ์ฝ์ด ๋ธ ๋ณํ. ๋นจ๊ฐ์ ๋ฐ์์ง๋ ํฝ์ , ํ๋์ ์ด๋์์ง๋ ํฝ์ (๊ณตํต ์ค์ผ์ผ).
์ด ์์์์๋ offset [1]๋ก ํ์ตํ JAM์ feature๊ฐ ํ์ด ์ด๋ํด ๊ฐ ์ค๋ฅธ์ชฝ ์ ์์ญ์ ๋ฐ์์ง(๋นจ๊ฐ)์ ๊ฐ์ฅ ์งํ๊ฒ ๋ณต์ํ๋ค. ๊ทธ๋ฐ๋ฐ ์ ๋ ์์ฝ์ ์ฐจ์ด๊ฐ ์๋ค.

Fig. 9 โ ๋ฏธ๋ ํ๋ ์ ํ๊ท PSNR. Current(ํ์ฌ ํ๋ ์์ ๋ฏธ๋ ์์ธก์ผ๋ก ๊ทธ๋๋ก ์ด ๊ธฐ์ค) 16.13, ImageWAM 19.43, JAM [0] 19.29, JAM [1] 19.57 dB. ์ธ๋ก์ถ์ 15 dB์์ ์์ํ๋ค.
JAM [1]๊ณผ ImageWAM์ ์ฐจ์ด๋ 0.14 dB์ด๊ณ , ๋ถ์ฐ์ด๋ ์ํผ์๋ ์๋ ๊ทธ๋ฆผ์ ์๋ค. ์ธ๋ก์ถ์ด 15์์ ์์ํด ๋ง๋ ๋์ด ์ฐจ๊ฐ ์ปค ๋ณด์ธ๋ค. ์ ์๋ค์ ์์ ์ โslightly aboveโ์ โsuggestโ๋ก ์ ์ ๋ผ ์์ผ๋, Fig. 4์ ์ ๋ช ํ ๋๋น๋ ํ ์ฅ๋ฉด์ ์ ์ฑ ์์๋ก ์ฝ๋ ๊ฒ์ด ๋ง๋ค. ํ๋ก์ ํธ ํ์ด์ง๋ ๊ฐ์ ์ํผ์๋ ์ ์ฒด์ ๋ํด probe ๊ฒฐ๊ณผ๋ฅผ ํ๋ ์ ๋จ์๋ก ๋ณด์ฌ ์ฃผ๋ ์์์ ํจ๊ป ์ฃ๋๋ค. ์ฅ๋ฉด๋ง๋ค ๋๋น์ ํฌ๊ธฐ๊ฐ ๋ฌ๋ผ์ง๋ ๊ฒ์ ๋ณผ ์ ์๋ค.
ํ๋ก์ ํธ ํ์ด์ง์ probe ์์. Fig. 4์ ์ฌ์ฏ ์ด(ํ์ฌ ยท 16 ์คํ ๋ค ๊ธฐ๋ก ยท ๊ธฐ๋ก๋ ๋ณํ ยท ImageWAM ยท JAM [0] ยท JAM [1])์ ์ํผ์๋ ์งํ์ ๋ฐ๋ผ ๋ณด์ฌ ์ค๋ค.
์คํ 2: ๋ฐฑ๋ณธ์ ๋ฐ๊พธ๊ธฐ (ยง4.3, Table 2ยท3ยท14, Fig. 5ยท8)
๋ฐฑ๋ณธ๊ณผ anchor์ ์ญํ ๋ถ๋ฆฌ(Table 2, ๋ถ๋ก D.1). JAM(Wan)์์ ๋ฐฑ๋ณธ๊ณผ future anchor๋ฅผ ๊ฐ๊ฐ ์ฌ์ ํ์ต/๋ฌด์์๋ก ๋ฐ๊พผ 2ร2 ์คํ์ด๋ค(action expert, ์ ์ฑ VAE, ํ ์คํธ conditioner๋ ๋ชจ๋ ์ค์ ์์ ์ฌ์ ํ์ต ์ํ).
| ๋ฐฑ๋ณธ | anchor | Spatial | Object | Goal | Long | LIBERO ํ๊ท |
|---|---|---|---|---|---|---|
| Pretrained | Pretrained | 98.2 | 100.0 | 97.6 | 94.0 | 97.45 |
| Pretrained | Random | 98.0 | 99.8 | 97.0 | 95.8 | 97.65 |
| Random | Random | 85.6 | 98.0 | 88.2 | 65.8 | 84.40 |
| Random | Pretrained | 76.0 | 95.0 | 70.4 | 43.2 | 71.15 |
๋ฐฑ๋ณธ ์ฌ์ ํ์ต์ ๋ ๋น๊ต ๋ชจ๋์์ ์ค์ํ๊ณ anchor๋ ๋ฌด์์์ฌ๋ ๋๋ค. ๋ค๋ง ๋ง์ง๋ง ๋ ํ์ ์ญ์ , ์ฆ ๋ฌด์์ ๋ฐฑ๋ณธ์์๋ ์ฌ์ ํ์ต anchor๊ฐ ๋ฌด์์ anchor๋ณด๋ค 13.25%p ๋์๋ค(Long์ 65.8 โ 43.2)๋ ๊ฒฐ๊ณผ์ ๋ํด์๋ ๋ ผ๋ฌธ์ ์ค๋ช ์ด ์๋ค.
๋ฐฑ๋ณธ ๊ณ์ด ๊ฐ ๋น๊ต(Table 3)์ action-only ๋์กฐ๊ตฐ(Table 14).
| ์ ์ฑ ๋ฐฑ๋ณธ | ํฌ๊ธฐ | LIBERO | LIBERO-Plus |
|---|---|---|---|
| ImageWAM (Ovis-U1), ์์ฑ ์์ค | 1.13B | 92.90 | 65.27 |
| JAM (Ovis-U1) | 1.13B | 96.75 | 79.95 |
| JAM (DINOv2-B) | 86.6M | 95.50 | 68.19 |
| JAM (DINOv2-L) | 304M | 96.30 | 70.39 |
| JAM (Qwen3.5-2B) | 2.0B | 96.55 | 81.14 |
| ๋ฐฉ๋ฒ | Camera | Robot | Language | Light | Background | Noise | Layout | ํ๊ท |
|---|---|---|---|---|---|---|---|---|
| Qwen3.5-2B action-only | 80.00 | 68.02 | 72.54 | 92.55 | 54.84 | 93.02 | 75.45 | 77.03 |
| JAM (Qwen3.5-2B) | 80.83 | 61.42 | 71.72 | 93.79 | 81.72 | 94.19 | 84.55 | 81.14 |
| DINOv2-L action-only | 37.92 | 32.99 | 86.48 | 86.96 | 85.48 | 78.29 | 72.73 | 68.26 |
| JAM (DINOv2-L) | 55.42 | 39.09 | 80.74 | 85.71 | 77.42 | 81.40 | 73.18 | 70.39 |
foresight๋ Qwen3.5-2B์์ +4.11%p, DINOv2-L์์ +2.13%p๋ฅผ ์ค๋ค(ํ์ ๊ณ์ฐ). ๋ ๋ฐฑ๋ณธ ๋ชจ๋ ์ผ๋ถ ๋ฒ์ฃผ์์๋ action-only๊ฐ ๋ ๋ซ๋ค(Qwen์ robotยทlanguage, DINOv2-L์ languageยทlightยทbackground). ์ฌ๊ธฐ์ ๋์น๊ธฐ ์ฌ์ด ์ฌ์ค์ด ํ๋ ์๋ค. Qwen3.5-2B๋ foresight ์์ด๋ LIBERO-Plus 77.03%๋ก, ์์ฑ ์์ค์ ์ด ImageWAM(65.27%)๊ณผ JAM(Wan)(64.54%)๋ณด๋ค ์ด๋ฏธ ๋๋ค. Table 3์ โ๋ค ๋ฐฑ๋ณธ ๋ชจ๋ ImageWAM์ ๋๋๋คโ๋ ๊ฒฐ๊ณผ์๋ foresight์ ๋ชซ๊ณผ ๋ฐฑ๋ณธยท์ธํฐํ์ด์ค์ ๋ชซ์ด ์์ฌ ์๊ณ , ๋ ผ๋ฌธ๋ ๊ฒฐ๋ก ์์ โthe cross-backbone comparison does not isolate the effect of pretraining aloneโ์ด๋ผ๊ณ ์ ๋๋ค.
Action-to-visual attention(Fig. 5ยท8, ๋ถ๋ก D.5). action expert๊ฐ ์๊ฐ ํ ํฐ์ ์ฃผ๋ attention์ head, 16๊ฐ action query, 10๊ฐ denoising ์คํ , ์ธต์ ๋ํด ํ๊ท ํ๊ณ , 20๊ฐ LIBERO ํ์คํฌ์ 100๊ฐ ๊ธฐ์ค ํ๋ ์ ํ๊ท ์ง๋๋ฅผ ๋บ ์์ ๋ถ๋ถ๋ง ๋ณด์ธ ๊ฒ์ด๋ค.

Fig. 5 โ โput the white mug on the left plate and put the yellow and white mug on the right plateโ์ agent view(์)์ wrist view(์๋). (a) Ovis-U1 ๋ฐฑ๋ณธ์ ImageWAMยทJAM๊ณผ ๊ทธ ์ฐจ์ด ์ง๋(๋นจ๊ฐ = JAM์ด ๋ ๋์, ํ๋ = ImageWAM์ด ๋ ๋์). (b) DINOv2-LยทQwen3.5-2B ๋ฐฑ๋ณธ์ JAM. ๋ง๋๋ 100 ํ๋ ์ ํ๊ท attention ๋น์ค์ผ๋ก ์๋ถํฐ action(์ด๋ก) ยท image(๋จ์) ยท text(์ฃผํฉ) ํค.
๊ทธ๋ฆผ ์ ๋ง๋์ ์ซ์๋ฅผ ์ฎ๊ธฐ๋ฉด action/image/text ๋น์ค์ด ImageWAM 21/29/50, JAM(Ovis-U1) 20/27/54, JAM(DINOv2-L) 21/71/8, JAM(Qwen3.5-2B) 57/27/16์ด๋ค. ๋ณธ๋ฌธ์ ์์ฝ(DINOv2-L์ image, JAM(Ovis-U1)์ text, Qwen3.5-2B๋ action ํค์ ๊ฐ์ฅ ํฐ ๋น์ค)๊ณผ ์ผ์นํ๋ค. ๊ฐ์ Ovis-U1 ๋ฐฑ๋ณธ์์ ImageWAM๊ณผ JAM์ ๋น์ค์ ๊ฑฐ์ ๊ฐ๊ณ , ์ฐจ์ด๋ ์ด๋๋ฅผ ๋ณด๋๋์ ์๋ค. ์ด ์์์์ ImageWAM์ ๊ทธ๋ฆฌํผ๊ฐ ์ฅ ๋จธ๊ทธ์, JAM์ ์ง์๋ฌธ์ด ์ธ๊ธํ ๋ ๋ฒ์งธ ๋จธ๊ทธ์ ๋ ์ง์คํ๋ค. ์ ์๋ค์ ์ด ์ง๋๊ฐ attention์ด โ์ด๋๋ก ๊ฐ๋์งโ๋ฅผ ๊ธฐ์ ํ ๋ฟ์ด๋ผ๊ณ ์ ์ ๊ธ๋๋ค.

Fig. 8 โ agent view์ action-to-visual attention์ LIBERO-Goal, LIBERO-Long, LIBERO-Plus camera, LIBERO-Plus layout ๋ค ์ฅ๋ฉด์ ๋ํด ํ์ฅํ ๊ฒ. ๋ณธ๋ฌธ์ ๋ฐ๋ฅด๋ฉด Ovis-U1์์ ImageWAM์ ๊ทธ๋ฆฌํผ์ ์ฅ ๋ฌผ์ฒด๋ฅผ, JAM์ ์ง์๋ ๋ฐฐ์น ๋ชฉํ(ํ ์์๋๋ก rack, plate, ๋ ๋ฒ์งธ plate, microwave)๋ฅผ ๊ฐ์กฐํ๋ค.
ํ๋ก์ ํธ ํ์ด์ง์ attention ์์. Fig. 5์ ์ํผ์๋๋ฅผ ์งํ์ ๋ฐ๋ผ ๋ณด์ฌ ์ฃผ๋ฉฐ, ๋ง๋ ๋น์ค๋ ํ๋ ์๋ง๋ค ๋ฐ๋๋ค.
์คํ 3: ๊ณต๊ฐ ์์คํ ๊ณผ์ ๋น๊ต (ยง4.4, Table 4ยท5ยท6ยท18ยท19, Fig. 6ยท7)
์ฌ๊ธฐ์๋ถํฐ๋ matched ๋น๊ต๊ฐ ์๋๋ค. โ ํ์ ํ๋ง ์ ์๋ค์ด ํ๊ฐํ๊ณ , ๋๋จธ์ง ํ์ ์ ๋ ผ๋ฌธ์ ๊ฐ๊ณผ ํ๋กํ ์ฝ์ ๊ทธ๋๋ก ์ฎ๊ฒผ๋ค.
| ๋ฐฉ๋ฒ | P.T. | RoboTwin 2.0 (Clean / Rand. / ํ๊ท ) | LIBERO ํ๊ท |
|---|---|---|---|
| \pi_0 | โ | 65.92 / 58.40 / 62.16 | 94.1 |
| \pi_{0.5} | โ | 82.74 / 76.76 / 79.75 | 96.9 |
| JAM (Qwen3.5-2B)โ | ร | 89.70 / 89.86 / 89.78 | 96.55 |
| Motus | โ | 88.66 / 87.02 / 87.84 | 97.7 |
| LingBot-VA | โ | 92.90 / 91.50 / 92.20 | 98.5 |
| FastWAMโ | ร | 91.22 / 91.20 / 91.21 (๊ณต๊ฐ ๊ฐ์ค์น) | 97.00 (์ฌํ์ต) |
| JAM (Wan)โ | ร | 91.70 / 91.18 / 91.44 | 98.15 |
| ImageWAM (Ovis-U1)โ | ร | 89.14 / 88.78 / 88.96 (๋ก์ปฌ ํ์ต) | 92.90 |
| ImageWAM (FLUX.2)โ | ร | 92.84 / 93.04 / 92.94 (๊ณต๊ฐ ๊ฐ์ค์น) | โ |
| JAM (Ovis-U1)โ | ร | 90.34 / 89.46 / 89.90 | 96.75 |
| JAM (FLUX.2)โ | ร | 92.88 / 93.28 / 93.08 | โ |
RoboTwin์์ JAM(FLUX.2) 93.1%๊ฐ ํ์ ์ต๊ณ ์ด๊ณ , ๋น๋์ค ์์ฑ๊ธฐ ๊ณ์ด์์๋ embodied pretraining์ ์ด LingBot-VA๊ฐ JAM(Wan)๋ณด๋ค 0.8%p ์์ ๋ค. LIBERO์์๋ \pi_{0.5}์ LingBot-VA๊ฐ JAM(Qwen3.5-2B)ยทJAM(Wan)๋ณด๋ค 0.3%p ์์ ๋ค. ์ ์๋ค์ JAM(Qwen3.5-2B)์ด RoboTwin์์ JAM(FLUX.2)๋ณด๋ค 3.30%p ๋ค์ง๋ค๋ ์ ๋ ๋ฐํ๋ค.
| ๋ฐฉ๋ฒ | P.T. | Camera | Robot | Language | Light | Background | Noise | Layout | ํ๊ท |
|---|---|---|---|---|---|---|---|---|---|
| UniVLA | โ | 1.8 | 46.2 | 69.6 | 69.0 | 81.0 | 21.2 | 31.9 | 42.9 |
| OpenVLA-OFT | โ | 56.4 | 31.9 | 79.5 | 88.7 | 93.3 | 75.8 | 74.2 | 69.6 |
| \pi_0 | โ | 13.8 | 6.0 | 58.8 | 85.0 | 81.4 | 79.0 | 68.9 | 53.6 |
| \pi_0-Fast | โ | 65.1 | 21.6 | 61.0 | 73.2 | 73.2 | 74.4 | 68.8 | 61.6 |
| WorldVLA | ร | 0.1 | 27.9 | 41.6 | 43.7 | 17.1 | 10.9 | 38.0 | 25.0 |
| JAM (Qwen3.5-2B)โ | ร | 80.8 | 61.4 | 71.7 | 93.8 | 81.7 | 94.2 | 84.5 | 81.1 |
| FastWAMโ | ร | 24.2 | 50.3 | 78.7 | 87.6 | 49.5 | 39.9 | 67.3 | 55.3 |
| JAM (Wan)โ | ร | 25.4 | 68.0 | 92.6 | 93.2 | 46.2 | 52.7 | 81.4 | 64.5 |
| ImageWAM (Ovis-U1)โ | ร | 57.9 | 54.8 | 67.6 | 78.9 | 66.7 | 68.6 | 65.0 | 65.3 |
| JAM (Ovis-U1)โ | ร | 83.8 | 49.2 | 84.8 | 95.7 | 80.1 | 91.9 | 72.3 | 79.9 |
JAM์ ์ธ ๊ทธ๋ฃน ๋ชจ๋์์ ํ๊ท ์ต๊ณ ์ด๊ณ , FastWAM๊ณผ ImageWAM(Ovis-U1)์ ๊ฐ๊ฐ 9.2%p, 14.7%p ์์ ๋ค. ๋ฒ์ฃผ๋ณ๋ก ์ง๋ ๊ณณ์ FastWAM ๋๋น background, ImageWAM ๋๋น robot ์ด๊ธฐ ์ํ๋ฟ์ด๋ค. Wan ๊ณ์ด์ camera ๊ต๋์์ ๋ ์ ์ฑ ๋ชจ๋ 25% ์ํ์ผ๋ก ์ฝํ๋ค๋ ์ ์ด ๋์ ๋๋ค.

Fig. 6 โ 1,506๊ฐ ๊ณต์ ํ์คํฌ์ ์ง์ง์ ๊ฒฐ๊ณผ. ์ผ์ชฝ ๋ง๋๋ ๋ฒ ์ด์ค๋ผ์ธ๋ง ์ฑ๊ณตํ ํ์คํฌ ์, ์ค๋ฅธ์ชฝ ๋ง๋๋ JAM๋ง ์ฑ๊ณตํ ํ์คํฌ ์. (a) Ovis-U1, (b) Wan(VAE-direct [1,2]).
Fig. 6์ ๋ฒ์ฃผ๋ณ ์ซ์๋ฅผ ๋ํ๋ฉด Ovis-U1์ ๋ฒ ์ด์ค๋ผ์ธ๋ง 89 / JAM๋ง 310, Wan์ 111 / 250์ผ๋ก, Table 20์ discordant ์์ ์ ํํ ์ผ์นํ๋ค(ํ์ ๊ฒ์ฐ). Ovis-U1์ ์ด๋์ camera(9 vs 71)์ sensor noise(7 vs 67)์์ ๊ฐ์ฅ ํฌ๊ณ , Wan์ ์ด๋์ robot ์ด๊ธฐ ์ํ(10 vs 45)์์ ๊ฐ์ฅ ํฌ๋ฉฐ camera๋ 31 vs 28๋ก ๊ฑฐ์ ๋น๊ธด๋ค.

Fig. 7 โ ์ถ๊ฐ ๋งค์นญ rollout. (a)(b) Ovis-U1์ LIBERO-Plus cameraยทlayout ๊ต๋, (c)(d) Wan์ RoboTwin 2.0 CleanยทRandomized. ๋ณธ๋ฌธ์ ๋ฐ๋ฅด๋ฉด ImageWAM์ (a)์์ ํฌํธ๋ฅผ ๋ค์ง ๋ชปํ๊ณ (b)์์ ๊ฐ์ด๋ฐ ๋์ ์ ์๋์ ๋น๊ธฐ๋ฉฐ, FastWAM์ (c)์์ ์บ์ ๋์ด๋จ๋ฆฌ๊ณ (d)์์ ์์ ๋ธ๋ก์ ๋ฌด๋๋จ๋ฆฐ๋ค.
ํ๋ก์ ํธ ํ์ด์ง์ ๋๋จธ์ง ๋ค ์์ด Fig. 7์ ๋ค ๊ณผ์ ๋ค. RoboTwin ์์ ๋ฒ ์ด์ค๋ผ์ธ์ ๋ ผ๋ฌธ Table 19์ ๊ฐ์ FastWAM ๊ณต๊ฐ ๊ฐ์ค์น๋ค.
LIBERO-Plus camera shift(Task 761) "Turn on the stove and put the moka pot on it". ์นด๋ฉ๋ผ๊ฐ ์ฎ๊ฒจ์ง ์กฐ๊ฑด์์ ImageWAM์ ํฌํธ ์์์ ๋ฉ์ถ๊ณ JAM์ ๊ณผ์ ๋ฅผ ๋ง์น๋ค. 2๋ฐฐ์.
LIBERO-Plus layout change(Task 1908) "Open the middle drawer of the cabinet". ImageWAM์ ์ ์๋์ ์ด๊ณ JAM์ ๊ฐ์ด๋ฐ ์๋์ ์ฐ๋ค. 2๋ฐฐ์.
RoboTwin 2.0 Clean "Put the can in the basket". FastWAM(๊ณต๊ฐ ๊ฐ์ค์น, ์ผ์ชฝ)์ ์บ์ ๋์ด๋จ๋ฆฌ๊ณ JAM(Wan)์ ๋ฐ๊ตฌ๋์ ๋ฃ๋๋ค. 2๋ฐฐ์.
RoboTwin 2.0 Randomized "Stack the red, green, and blue blocks". FastWAM์ 1,200 ์คํ ์์ ์๊ธฐ๋ฅผ ๋๋ด์ง ๋ชปํ๊ณ JAM(Wan)์ ์ธ ๋ธ๋ก์ ๋ชจ๋ ์๋๋ค. 4๋ฐฐ์.
์ฌ์ฏ ์์ ๋ชจ๋ โ๋ฒ ์ด์ค๋ผ์ธ ์คํจ / JAM ์ฑ๊ณตโ์ธ ์ํผ์๋๋ค. ๊ฐ์ ์ด๊ธฐ ์ํ์์ ์์ํด ๊ณต์ ํ์ง๋ง ๊ณ ๋ฅธ ์ฌ๋ก์ด๊ณ , ๋ฐ๋ ๋ฐฉํฅ์ discordant ์(Ovis-U1 LIBERO-Plus์์ 89๊ฑด)์ ๋ณด์ฌ ์ฃผ์ง ์๋๋ค.
์คํ 4: ํ์ต ๋น์ฉ (ยง4.5, ๋ถ๋ก B, Table 9)
| ์ ์ฑ | target | head ํ๋ผ๋ฏธํฐ (M) | anchor ํ๋ผ๋ฏธํฐ (M) | ์๊ฐ | ํ๋ | head | target | VAE | ํฉ๊ณ TFLOPs | ๊ฐ์ | GPU ์๊ฐ (s/step) | ๊ฐ์ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| FastWAM | โ | โ | โ | 8.93 | 0.05 | โ | โ | 6.54 | 15.52 | โ | 0.789 | โ |
| JAM (Wan) | online | 71 | 0 | 3.17 | 0.05 | 0.03 | 0 | 6.54 | 9.80 | 36.9% | 0.532 | 32.6% |
| JAM (Wan) | cached | 71 | 0 | 3.17 | 0.05 | 0.03 | 0 | 0.93 | 4.19 | 73.0% | 0.258 | 67.3% |
| ImageWAM (Ovis-U1) | โ | โ | โ | 4.91 | 0.07 | โ | โ | 0.83 | 5.81 | โ | 0.473 | โ |
| JAM (Ovis-U1) | online | 16.5 | 1,127 | 3.13 | 0.07 | 0.05 | 0.80 | 0.83 | 4.88 | 15.9% | 0.403 | 14.8% |
| JAM (Ovis-U1) | cached | 16.5 | 0 | 3.13 | 0.07 | 0.05 | 0 | 0.41 | 3.67 | 36.8% | 0.294 | 37.8% |
FLOPs๋ ํ์ฑ ํ๋ผ๋ฏธํฐ N, ํ ํฐ T์ ๋ํด forward๋ฅผ 2NT๋ก ์ถ์ ํ๊ณ , ํ์ต ๋ธ๋ก์ forward 3๋ฐฐ(ImageWAM์ activation checkpointing์ด๋ฉด 4๋ฐฐ), ๊ณ ์ anchor์ VAE๋ forward๋ง ์ผ๋ค. attention score ํญ, ํ ์คํธ ์ธ์ฝ๋ฉ, optimizer update๋ ๋บ๋ค. GPU ์๊ฐ์ batch 16์์ CUDA activity profiler๋ก ์๋ค. Wan์ ์ธก์ ๊ฐ์๊ฐ ์ถ์ ์น๋ณด๋ค ์์ ์ด์ ๋ฅผ ์ ์๋ค์ normalizationยทactivationยทrotary embedding ์ปค๋์ด ํ ํฐ ์๋งํผ ์ค์ง ์๊ธฐ ๋๋ฌธ์ด๋ผ๊ณ ์ค๋ช ํ๋ค.
์ด ํ์ ๊ฐ์์จ์ ๋ชจ๋ ๋ ผ๋ฌธ v1์ด ์ฃผ์ฅํ ๊ฐ์ด๋ค. FastWAM ๋๋น 73.0%์ ๊ตฌ์ฑ์ ๋๋ ๋ณด๋ฉด, ์๊ฐ expert์ ํ ํฐ ๊ฐ์(8.93 โ 3.17)์ VAE ์ธ์ฝ๋ฉ ๊ฐ์(6.54 โ 0.93)๊ฐ ๋ ๋ค ํฌ๋ค. ๋ค์ชฝ์ JAM๋ง target์ ์บ์ํด์ ์๊ธฐ๋ ์ ๊ฐ์ด๋ค. ๋น๊ต ์กฐ๊ฑด ๋ฌธ์ ๋ ์๋ ๋นํ ์ ์์ ๋ค๋ฃฌ๋ค.
์คํ 5: ๋ถ๋ก์ ์ ์ ์ ํต๊ณ (๋ถ๋ก CยทD.7ยทD.8)
๋ถ๋ก C์ Wan ์ ์ ๋ ๋ชจ๋ ์ฌ์ ํ์ต Wan anchor, ๋ธ๋ก 18, [1,2], \lambda_F=0.6, ํญ 1,536 transformer head, 20k update๋ฅผ ๊ธฐ๋ณธ์ผ๋ก ํ๋ค. ๋ณธ๋ฌธ์์ ์ต์ข ์ ํ๋ VAE target์ด ์๋๋ค.
| ์ ์ | ๊ฒฐ๊ณผ (LIBERO ํ๊ท %, C.6ยทC.7์ LIBERO-Plus ํฌํจ) |
|---|---|
| EMA anchor (C.1) | ๊ณ ์ ์ฌ์ ํ์ต 97.45 vs online EMA(decay 0.995) 96.40 |
| ๊ฐ๋ ๊น์ด (C.2) | ๋ธ๋ก 14: 97.10 ยท 16: 97.30 ยท 18: 97.45 ยท 20: 95.45 |
| \lambda_F (C.3) | 0.4: 95.70 ยท 0.5: 96.90 ยท 0.6: 97.45 ยท 0.7: 96.75. FastWAM(97.00)์ ๋๋ ๊ฒ์ 0.6๋ฟ, Long suite๊ฐ 90.0~97.0์ผ๋ก ๊ฐ์ฅ ๋ฏผ๊ฐ |
| head ์ฉ๋ (C.4) | Transformer ํญ 3072(145M) 96.30 ยท 1536(71M) 97.45 ยท 768(31M) 95.75 / MLP 3072(38M) 95.35 ยท 1536(17M) 95.05 |
| ๋ณ๋ expert vs ๊ณต์ ๊ฐ์ค์น (C.6) | Qwen3.5 expert 3.60B: LIBERO-Plus 81.14 ยท ๊ณต์ 2B(2.22B) 79.61 ยท ๊ณต์ 4B(4.55B) 80.68 |
| ํ์ต ์์ฐ (C.7) | FastWAM 10k 95.90/55.25, 20k 97.00/55.31 ยท JAM(Wan) 10k 97.45/48.47, 20k 97.45/55.58 (LIBERO/LIBERO-Plus) |
C.7์ ํฅ๋ฏธ๋กญ๋ค. JAM(Wan)์ 10k update์์ ์ด๋ฏธ LIBERO 97.45%๋ก 20k FastWAM์ ๋์ง๋ง LIBERO-Plus๋ 48.47%๋ก 10k FastWAM(55.25%)๋ณด๋ค ๋ฎ๋ค. FastWAM์ LIBERO-Plus๋ 10k์์ ๊ฑฐ์ ํฌํํ๊ณ , JAM์ ๋ ์ค๋ ํ์ตํด์ผ robustness๊ฐ ๋ฐ๋ผ์จ๋ค.
ํต๊ณ ๊ฒ์ (Table 20).
| ๊ณ์ด | ๋ฒค์น๋งํฌ | \Delta (%p) | 95% task-bootstrap CI | ๋ฒ ์ด์ค๋ผ์ธ๋ง / JAM๋ง | McNemar p |
|---|---|---|---|---|---|
| FastWAM | LIBERO | +1.15 | [+0.20, +2.10] | 30 / 53 | 0.015 |
| ImageWAM | LIBERO | +3.85 | [+1.00, +7.40] | 42 / 119 | 1.01\times10^{-9} |
| FastWAM | LIBERO-Plus | +9.23 | [+6.84, +11.69] | 111 / 250 | 1.91\times10^{-13} |
| ImageWAM | LIBERO-Plus | +14.67 | [+12.15, +17.13] | 89 / 310 | 9.69\times10^{-30} |
\Delta๋ discordant ์์์ ๊ทธ๋๋ก ๋์ค๊ณ (์: (53โ30)/2000 = 1.15%p), ๋ค McNemar p๋ exact binomial ๊ฒ์ ์ผ๋ก ๊ฐ์ ๊ฐ์ด ์ฌํ๋๋ค(ํ์ ๊ฒ์ฐ). ์ ํ๋ ๋ ์ค์ ์ 3ํ ๋ ๋ฆฝ ํ์ต์์ LIBERO 98.13ยฑ0.13%(Wan), 96.75ยฑ0.15%(Ovis-U1), LIBERO-Plus 64.61ยฑ0.37%, 79.92ยฑ0.43%๋ก ๋ณ๋์ด ์๋ค(Table 21). Table 1๊ณผ ๋ณธ๋ฌธ ํ์ ์ค๋ฆฐ ๊ฐ์ ์ด ์ธ ๋ฒ ์ค 1๋ฒ run์ด๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ์ง๋ฌธ์ ๋ฐ๊พผ ๊ฒ์ด ๊ฐ์ฅ ํฐ ๊ธฐ์ฌ๋ค. โVLA๋ WAM์ด๋โ๋ฅผ ์ธ ์ถ์ผ๋ก ๋ถํดํ Fig. 1์ ์ดํ ์ด ๋ถ์ผ์ ๋น๊ต ์คํ์ ์ค๊ณํ ๋ ๊ทธ๋๋ก ์ฒดํฌ๋ฆฌ์คํธ๋ก ์ธ ์ ์๋ค. ํนํ โ์ถ๋ก ๋ชจ๋โ์ โ๋ฏธ๋ ๋ชฉ์ ํจ์โ์ ๋ผ์ด ๋์ ๋๋ถ์, FastWAMยทImageWAM๊ณผ ์ถ๋ก ๊ฒฝ๋ก๊ฐ ์์ ํ ๊ฐ์ ์ํ์์ ๋ชฉ์ ํจ์๋ง ๋น๊ตํ ์ ์์๋ค.
- matched ๋น๊ต์ ํต์ ๊ฐ ์๊ฒฉํ๋ค. ๋ฐ์ดํฐ, ์ํคํ ์ฒ, optimizer, ์์ฐ, ํ๊ฐ๊ธฐ๋ฅผ ๊ณต์ ํ๊ณ , action-only ํ๊น์ง ๊ฐ์ ํ์ ๋ฃ์ด ์์ฑ ์์ค๊ณผ foresight ์์ค์ด ๊ฐ๊ฐ action-only ๋๋น ์ผ๋ง๋ฅผ ์ฃผ๋์ง ์ฝ์ ์ ์๊ฒ ํ๋ค. Ovis-U1์์ ์์ฑ +3.92%p ๋ foresight +18.60%p๋ผ๋ ๋๋น๋ ์ด ์ค๊ณ ๋๋ถ์ ๋ณด์ธ๋ค.
- ํต๊ณ ๋ณด๊ณ ๊ฐ ์ด ๋ถ์ผ ํ๊ท ๋ณด๋ค ๋ซ๋ค. task ๋จ์ bootstrap CI, McNemar ๊ฒ์ , ์ ํ ์ค์ ์ 3ํ ๋ ๋ฆฝ ํ์ต, ์ง์ง์ discordant ์๊น์ง ๋ธ๋ค. Fig. 6์ ๋ฒ์ฃผ๋ณ ์๊ฐ Table 20๊ณผ ์ ํํ ๋ง๊ณ , ๋ค p๊ฐ์ด ์ฌํ๋๋ค.
- ์๊ธฐ ๊ฒฐ๊ณผ์ ๋จ์๋ฅผ ์ ํํ ๋ถ์ธ๋ค. Table 3 ์บก์ ์ ์ฌ์ ํ์ต ํจ๊ณผ๋ฅผ ๋ถ๋ฆฌํ ์ ์๋ค๊ณ ์ฐ๊ณ , attention ์ง๋๋ โ์ด๋๋ก ๊ฐ๋์งโ๋ง ๊ธฐ์ ํ๋ค๊ณ ํ๋ฉฐ, probe ๊ฒฐ๊ณผ๋ โsuggestโ๋ก ์ด๋ค. ์๊ธฐ์๊ฒ ๋ถ๋ฆฌํ ๊ฒฐ๊ณผ(offset [0]์ด action-only๋ณด๋ค ๋ฎ์, LingBot-VAยท\pi_{0.5}๊ฐ ์์ฌ, Qwen์ RoboTwin ์ด์ธ)๋ ๊ทธ๋๋ก ์ฃ๋๋ค.
- ๋น์ฉ์ ์ถ์ ์น์ ์ค์ธก ๋ ๋ค ๋๋ค. ์ถ์ FLOPs์ GPU ์๊ฐ ์ธก์ ์ ๋๋ํ ๋๊ณ , ๋์ด ์ด๊ธ๋๋ ์ด์ ๊น์ง ์ค๋ช ํ๋ค.
- ์ฌํ ์์ฐ์ด ๊ณต๊ฐ๋๋ค. ์ฝ๋(MIT), ์ ํ๋ JAM ์ค์ ์ ์ด ๊ฐ recipe, LIBERO ์ฒดํฌํฌ์ธํธ ์ธ ๊ฐ๊ฐ ๊ณต๊ฐ๋ผ ์๋ค. ๋ค๋ง ๋ฒ ์ด์ค๋ผ์ธ๊ณผ target ๋ณํ recipe๋ ์ต์ ์ฝ๋์ ์๋ค(์๋ ์ฝ๋ ๊ณต๊ฐ ์ํ).
์ฝ์ ยทํ๊ณ
- FastWAM ๊ธฐ์ค๊ฐ์ด ์ ๋ ผ๋ฌธ ๋ณด๊ณ ๊ฐ๋ณด๋ค ๋ฎ๋ค. ๋ธ๋ก๊ทธ์ Fast-WAM ๋ฆฌ๋ทฐ์ ๊ธฐ๋กํ Fast-WAM ๋ ผ๋ฌธ ๊ฐ์ LIBERO 97.6%(98.2/100.0/97.0/95.2), RoboTwin 91.8%๋ค. JAM์ด ์ด FastWAM์ LIBERO 97.00%(๋ก์ปฌ ์ฌํ์ต, 97.4/99.6/96.6/94.4), RoboTwin 91.21%(๊ณต๊ฐ ๊ฐ์ค์น๋ฅผ ์ ์๋ค์ด ํ๊ฐ)๋ค. ์ ๋ณด๊ณ ๊ฐ๊ณผ ๋์กฐํ๋ฉด JAM(Wan)์ LIBERO ์ฐ์๋ +1.15%p๊ฐ ์๋๋ผ +0.55%p์ด๊ณ , RoboTwin์์๋ 91.44% < 91.8%๋ก ์คํ๋ ค ๋ฎ๋ค(ํ์ ๊ณ์ฐ). ์ด๋ก์ โ97.0%/91.2% โ 98.2%/91.4%โ๋ ์ ์ ํ๊ฐ๊ฐ๋ผ๋ฆฌ์ ๋น๊ต๋ค. ๊ฐ์ ํ๊ฐ๊ธฐ๋ก ๋ค์ ์ฐ ๊ฒ ์์ฒด๋ ๊ณต์ ํ ์ ํ์ด์ง๋ง, ์ ๋ณด๊ณ ๊ฐ๊ณผ ์ฐจ์ด๊ฐ ๋๋ ์ด์ ๋ ๋ ผ๋ฌธ์ ์๋ค. ๊ฐ์ ๋งฅ๋ฝ์์ โ๋น๋์ค ์์ค์ ๋บ FastWAMโ๋ Fast-WAM ๋ ผ๋ฌธ์ w.o. video co-train์ LIBERO 93.5%, JAM์ FastWAM action-only๋ 95.25%๋ก ๋ค๋ฅด๋ค. ๋ RoboTwin์ FastWAM๊ณผ ImageWAM(FLUX.2)์ ๊ณต๊ฐ ๊ฐ์ค์น์ด๊ณ JAM์ ๋ก์ปฌ ํ์ต์ด๋ผ, Table 4์ RoboTwin ํ์ Table 1๊ณผ ๊ฐ์ ์๋ฏธ์ matched ๋น๊ต๊ฐ ์๋๋ค.
- target ์ ํ์ด ํ๊ฐ ๋ฒค์น๋งํฌ์์ ์ด๋ค์ก๋ค. Wan์ ๋ค์ฏ target/offset ์กฐํฉ, Ovis-U1๋ ๋ค์ฏ ์กฐํฉ ๊ฐ์ด๋ฐ LIBERO-Plus ์ต๊ณ ๊ฐ์ โselected configurationโ์ผ๋ก ๊ณจ๋ผ ๋ณธ๋ฌธ ํ(Table 4~6)์ ํต๊ณ ๊ฒ์ (Table 20)์ ์ผ๋ค. ๋ณ๋ validation ๋ถํ ์ ์๋ค. 3ํ ๋ฐ๋ณต์ ์ ํ๋ ์ค์ ์ด ์์ ์ ์ด๋ผ๋ ๊ฒ์ ๋ณด์ด์ง๋ง ์ ํ ํธํฅ์ ์์ ์ง๋ ์๋๋ค. ๋ฒ ์ด์ค๋ผ์ธ(FastWAM, ImageWAM)์ ํ์ต ๋ถ์ฐ์ ๋ณด๊ณ ๋์ง ์์๋ค. ๋ถ๋ก C์ ์ ์ (๊น์ด, \lambda_F, head)๋ LIBERO๋ง ๋ณด๊ณ LIBERO-Plus๋ ์๋ค.
- โ์์ฑ ์์ดโ๋ผ๋ ๋ฌธ์ฅ์ ๋ฒ์๋ฅผ ์ขํ ์ฝ์ด์ผ ํ๋ค. Wan์์ ์ต๊ณ target์ VAE latent๋ฅผ ๊ณ ์ ๋ฐ๋ณต์ผ๋ก liftํ ๊ฒ์ด๊ณ , ์ด๋ FastWAM์ด denoiseํ๋ ๊ณต๊ฐ ๊ทธ๋๋ก๋ค. ์ฌ์ ํ์ต Wan feature๋ฅผ target์ผ๋ก ์ฐ๋ฉด FastWAM๊ณผ ๋๋ฅ (55.58 vs 55.31)์ด๋ค. ๋ฐ๋ผ์ Wan์์ ํ์ธ๋ ๊ฒ์ โ์๋ฏธ ํํ์ ์์ธกํ๋ฉด ๋๋คโ๋ณด๋ค โ๊ฐ์ latent๋ฅผ ๋ฐฑ๋ณธ ์์์ denoiseํ์ง ๋ง๊ณ ํ์ฌ ํ ํฐ์์ regressionํ๋ผโ์ ๊ฐ๊น๋ค. ๋ฐ๋๋ก Ovis-U1์์๋ ์ฌ์ ํ์ต Yak feature๊ฐ VAE๋ณด๋ค ๋ซ๋ค. ์ ๋ชฉ๊ณผ ์ด๋ก์ โvisual generation์ด ํ์ ์๋คโ๋ ๊ฒฐ๋ก ์ ๋ง์ง๋ง, ๊ทธ ์ด์ ๊ฐ โํํ ๊ณต๊ฐ์ด๋ผ์โ์ธ์ง โ๋ฐฑ๋ณธ ์ ๋ ฅ์์ ๋ฏธ๋ ํ ํฐ์ ๋บ๊ธฐ ๋๋ฌธโ์ธ์ง๋ ์ด ์คํ๋ค๋ก ๊ฐ๋ผ์ง์ง ์๋๋ค. ๋ฏธ๋ ํ ํฐ์ ๋ฐฑ๋ณธ ์ ๋ ฅ์ ๋ฃ๋ \mathcal L_G ๋์ \mathcal L_F๋ก ๊ฐ๋ ํ๋ ์กฐ๊ฑด์ด ์์ผ๋ฉด ๋์ ๊ฐ๋ฅผ ์ ์๋ค.
- ๋ฐฑ๋ณธ ๋น๊ต์ ๊ฒฐ๋ก ์ด ๊ฐํ๋ค. Qwen3.5-2B action-only(77.03%)๊ฐ ์ด๋ฏธ ์์ฑ ๊ณ์ด matched ์ ์ฑ ๋๋ณด๋ค ๋๋ค. foresight์ ์ฆ๋ถ์ ๋น์์ฑ ๋ฐฑ๋ณธ์์ +2~4%p์ด๊ณ , ๋ฐฑ๋ณธ ๊ฐ ์ฐจ์ด๋ ๊ทธ๋ณด๋ค ํฌ๋ค. โthe best generator-initialized and vision-language policies achieve comparable performanceโ๋ ๋จ์ผ run์ 0.20/1.19%p ์ฐจ์ด์ ๊ธฐ๋๊ณ , DINOv2ยทOvis-U1ยทFLUX.2์๋ action-only ๋์กฐ๊ตฐ๋ ์ผ๋ถ๋ง ์๋ค(Table 14๋ Qwen๊ณผ DINOv2-L๋ง).
- ๋น์ฉ 73%์๋ ์บ์ ์ด๋์ด ์์ฌ ์๋ค. FastWAM์ 15.52 TFLOPs ๊ฐ์ด๋ฐ 6.54๊ฐ ๋ฏธ๋ ์ฐฝ์ VAE ์ธ์ฝ๋ฉ์ด๋ค. ๊ณ ์ VAE์ด๋ฏ๋ก FastWAM๋ latent๋ฅผ ์บ์ํ ์ ์๋ค. Table 9์ ๊ฐ์ผ๋ก FastWAM์ VAE ํญ์ JAM ์บ์ ์์ค(0.93)์ผ๋ก ๋ฐ๊พธ๋ฉด 9.91 TFLOPs์ด๊ณ , JAM(Wan) ์บ์ ๋๋น ๊ฐ์๋ ์ฝ 57.7%๋ค(ํ์ ๊ณ์ฐ). ๊ณต๊ฐ ๋ ํฌ๋ 2026-11-13 ์ปค๋ฐ์์ README์ ํ๋ก์ ํธ ํ์ด์ง๋ฅผ ์ด ๊ฐ์ ์บ์ ์กฐ๊ฑด ๋น๊ต๋ก ๋ฐ๊ฟจ๋ค(โwhen both cache their future encodings, uses 57.7% fewer estimated training FLOPs than FastWAMโ, ImageWAM ๋๋น 31.9%). arXiv์๋ ์์ง v1๋ฟ์ด๋ผ ๋ ผ๋ฌธ ๋ณธ๋ฌธ(73.0%, JAM๋ง ์บ์ํ ๋น๊ต)๊ณผ ๋ ํฌ๊ฐ ๋ค๋ฅธ ์ซ์๋ฅผ ๋งํ๊ณ ์๋ค. ํ๋ก์ ํธ ํ์ด์ง์ ํธ๋ ์ผ๋ฌ ์์ ๋์๋ โ73%๊ฐ ๊ทธ๋๋ก ๋จ์ ์๋ค. ๋ ์บ์ ๋น์ฉ(1ํ target ์ถ์ถ)์ ์ ์ธ๋๊ณ , JAM(Ovis-U1)์ online์ผ๋ก ๋๋ฆฌ๋ฉด 1.13B ๊ณ ์ Yak์ด ํ์ต ์ค ์ถ๊ฐ๋ก ๋ฉ๋ชจ๋ฆฌ์ ์ฌ๋ผ๊ฐ๋ค.
- probe์ attention์ ํ ์ฅ๋ฉด์ ์ ์ฑ ๊ทผ๊ฑฐ๋ค. Fig. 4๋ ํ ์์์ด๊ณ ์ ๋ ์์ฝ(Fig. 9)์ ์ฐจ์ด๋ 0.14 dB, ์ธ๋ก์ถ์ 15 dB์์ ์์ํ๋ค. attention ์ง๋๋ 100 ํ๋ ์ ํ๊ท ์ ๋บ ๋ค 99 percentile๋ก ๋๋๊ณ 0.6 ๊ฑฐ๋ญ์ ๊ณฑ ์์ถ์ ํด์ ๋๋น๋ฅผ ํค์ด ํ์(๋ถ๋ก D.5)๋ค. ๋ ๋ถ์ ๋ชจ๋ ์ด๋์ ๋ฉ์ปค๋์ฆ์ ๋ณด์ฌ ์ค๋ค๊ธฐ๋ณด๋ค โ๊ทธ๋ ๊ฒ ํด์ํ ์ฌ์ง๊ฐ ์๋คโ๋ ์์ค์ด๊ณ , ์ ์๋ค๋ ๊ทธ๋ ๊ฒ ์ด๋ค.
- ์ค๋ช ์๋ ๊ฒฐ๊ณผ๊ฐ ๋จ์ ์๋ค. ๋ฌด์์ ๋ฐฑ๋ณธ์์ ์ฌ์ ํ์ต anchor๊ฐ ๋ฌด์์ anchor๋ณด๋ค 13.25%p ๋์๋ค(Table 2). \lambda_F ์ค์์ ๋จ์กฐ๋กญ์ง ์์ Long suite๊ฐ 0.4์์ 90.0, 0.5์์ 97.0, 0.6์์ 94.0์ด๋ค. ๋ธ๋ก 20์ผ๋ก ์ฎ๊ธฐ๋ฉด 2%p ๋จ์ด์ง๋ค. ํ์ดํผํ๋ผ๋ฏธํฐ ๋ฏผ๊ฐ๋๊ฐ ํฐ ํธ์ธ๋ฐ, ๊ฐ ์ ์ด ๋จ์ผ run์ธ์ง(๋ถ๋ก D.8์ ๋ฐ๋ณต์ ์ ํ๋ ๋ ์ค์ ๋ง) ํ์ ๋ช ์๋ผ ์์ง ์๋ค.
- ์๋ฎฌ๋ ์ด์ ๋ฟ์ด๋ค. LIBERO, LIBERO-Plus, RoboTwin 2.0๋ง ํ๊ฐํ๊ณ ์ค๋ฌผ ๋ก๋ด ์คํ์ด ์๋ค. ์ค๋ฆฌ ์ ์ด โphysical validation ์๋ ๋ฐฐํฌโ๋ฅผ ์ํ์ผ๋ก ์ ์ ๋ฟ ๋ณ๋ limitations ์ ๋ ์๋ค. LIBERO-Plus๋ 15% subset์ ํ์คํฌ๋น 1ํ rollout์ด๊ณ , ๊ณต๊ฐ ํ(์ ์ฒด ์ธํธ)๊ณผ ํ๋กํ ์ฝ์ด ๋ฌ๋ผ Table 6์ ๊ทธ๋ฃน ๊ฐ ๋น๊ต๋ ์ฐธ๊ณ ์ฉ์ด๋ค. ์์ฑ ์์ค์ ๊ฐ์ค์น \lambda_G ๊ฐ๋ ๋ณธ๋ฌธ์ ์ ํ ์์ง ์๋ค(๋ฒ ์ด์ค๋ผ์ธ recipe๋ฅผ ๋ฐ๋ฅธ๋ค๋ ์์ ๋ฟ์ด๋ค).
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
WAM์ โ๋ฌด์์ด ํ์ํ๊ฐโ ๊ณ๋ณด. Fast-WAM์ ์ถ๋ก ๋์ ๋ฏธ๋ ์์์ ๋นผ๊ณ ํ์ต ๋์ ๋น๋์ค co-training์ด ํต์ฌ์ด๋ผ๊ณ ๋ณด์๊ณ , ImageWAM์ ๋น๋์ค ๋์ ์ด๋ฏธ์ง ํธ์ง ๋ฐฑ๋ณธ์ผ๋ก ๊ฐ์ ์ง๋ฌธ์ ๋์ก๋ค. JAM์ ๊ทธ ๋ค์ ๋จ๊ณ๋ก ํ์ต ๋์ ์์ฑ๊น์ง ๋บ๋ค. ์ธ ๋ ผ๋ฌธ์ ์ด์ด ์ฝ์ผ๋ฉด โ๋ฏธ๋๋ ์ถ๋ก ์ ๋ ฅ์ผ๋ก๋, ์์ฑ ๋ชฉํ๋ก๋ ํ์ ์๊ณ , ๊ณ ์ target์ด๋ฉด ์ถฉ๋ถํ๋คโ๋ก ์ง๋ฌธ์ด ์ขํ์ง๋ค. ๋ฏธ๋ latent๋ฅผ ์ผ๋ถ denoiseํ KV๋ก ํ๋์ ๋ด๋ Long-WAM์ด๋, ํ๋ยท๋ฏธ๋ ์ํยท๊ฐ์น๋ฅผ ๋น๋์ค ๋ชจ๋ธ์ latent ์ํ์ค ์์์ ํจ๊ป ์์ฑํ๋ Cosmos Policy์ ๋น๊ตํ๋ฉด, JAM์ โ๋ฏธ๋ ์์ธก ์๋ ฅ์ ์ ์งํ๋ ์์ฑ ๊ฒฝ๋ก๋ ํ์ต์์๋ ์ถ๋ก ์์๋ ์์ค๋คโ๋ ๋ฐ๋์ชฝ ๋์ ์๋ค.
๋ฏธ๋ ํํ ๊ฐ๋ . VLA-JEPA๋ ์ฌ๋ ์์ ์ฌ์ ํ์ต์ ๊ณ ์ ๋น๋์ค target์ ์ฐ๊ณ , JEPA-WAM์ ๊ณ ์ V-JEPA ๊ณต๊ฐ์ ํ์ฌยท๋ฏธ๋ ๊ฒฐํฉ target์ผ๋ก action ์์ฑ predictor๋ฅผ ๊ฐ๋ ํ๋ค. FLARE๋ ๋ฏธ๋ยท์ํยทํ๋ ํ ํฐ์ action DiT ์์์ self-attention์ผ๋ก ์๋๋ค. JAM์ ์ด๋ค๊ณผ ๊ฐ๋ ์์น๊ฐ ๋ค๋ฅด๋ค. ๋ณ๋์ ํ์ต ์ ์ฉ head๊ฐ ๊ธฐ์กด ๋ฐฑ๋ณธ ํ ํฐ์ ๊ฐ๋ ํ๋ฏ๋ก ๋งค์นญ ์ ์ฑ ์ ํ๋ ๊ณ์ฐ์ด ๊ทธ๋๋ก ๋ณด์กด๋๊ณ , target ๊ณต๊ฐ์ ๋ฐฑ๋ณธ๋ง๋ค ๊ณ ๋ฅธ๋ค. ๊ฐ์ ๋ ๊ณต๊ฐ๋ ThinkWorld๋ DINOv3 feature ๊ณต๊ฐ์์ ๋ฏธ๋๋ฅผ ์์ธกํ๊ณ ๋ฐฐํฌ ๋๋ ์์ฑํ์ง ์๋๋ค๋ ์ ์์ ๊ฐ์ ํ๋ฆ์ด์ง๋ง, ๊ทธ์ชฝ์ ์๋ชฉ motion ํ ํฐ๊ณผ RL์ ์น๋๋ค. ์ ์๋ค์ ์ ์ Mirai/Video-Mirai๋ ๊ฐ์ โforesightโ ์์ด๋์ด๋ฅผ ์ด๋ฏธ์งยท๋น๋์ค ์์ฑ์ ์ ์ฉํ๊ณ , JAM์ ์ด๋ฅผ ๋ก๋ด ์ ์ฑ ์ผ๋ก ์ฎ๊ธด ์ ์ด๋ค.
๋ฌด์์ target. ๋ฌด์์ anchor๊ฐ ์ ์๋ํ๋ค๋ ๊ฒฐ๊ณผ๋ Random Network Distillation, โRandom teachers are good teachersโ, Noise As Targets๋ก ์ด์ด์ง๋ ๊ณ๋ณด์ ๋ง๋ฟ๊ณ , EMA target(BYOL ๊ณ์ด)์ ์ด ์ค์ ์์ ๊ณ ์ target๋ณด๋ค ๋๋นด๋ค(C.1).
VLA ์ชฝ. JAM(Qwen3.5-2B)์ ์ ์ ์ ์๋ก โforesight loss๋ฅผ ๋ํ VLAโ๋ค. OpenVLA-OFT์ฒ๋ผ VLM ๋ฐฑ๋ณธ์ continuous action head๋ฅผ ๋ถ์ด๋ VLA์ ๋ณด์กฐ ์์ค ํ๋๋ฅผ ๋ํ๋ ํํ๋ผ, ๊ธฐ์กด VLA ํ์ต ํ์ดํ๋ผ์ธ์ ๊ฐ์ฅ ์ฝ๊ฒ ์ด์๋ ๋ถ๋ถ์ด๊ธฐ๋ ํ๋ค. ํ๊ฐ ๋ฒค์น๋งํฌ ์ค RoboTwin 2.0์ ๋ธ๋ก๊ทธ์ ๋ฐ๋ก ์ ๋ฆฌ๋ผ ์๋ค.
์ฝ๋ ๊ณต๊ฐ ์ํ
GitHub README์ ๊ณต๊ฐ ๋ ํฌ ๊ตฌ์ฑ์ ๊ธฐ์ค์ผ๋ก ์ ๋ฆฌํ๋ค.
- ๋ ํฌ: y0urOy/JAM, MIT. Wan ๋ฐฑ์๋๋ FastWAM, ๋๋จธ์ง(Ovis-U1, FLUX.2, Qwen3.5-2B, DINOv2-B/L) ๋ฐฑ์๋๋ ImageWAM ์ฝ๋ ์์ ๊ตฌ์ถ๋๋ค. LIBERO 6๊ฐ, RoboTwin 2.0 4๊ฐ, ๋ชจ๋ ์ด ๊ฐ JAM recipe๋ฅผ ํ๋์ ๊ณต์ ํ๊ฒฝ(Python 3.10, PyTorch 2.7.1, CUDA 12.8)์์ ํ์ตยทํ๊ฐํ๋๋ก ๊ตฌ์ฑ๋ผ ์๋ค.
- ์ฒดํฌํฌ์ธํธ: Hugging Face y0urOy/JAM์ LIBERO ์ฒดํฌํฌ์ธํธ ์ธ ๊ฐ(JAM(Wan), JAM(Ovis-U1), JAM(Qwen3.5-2B))๊ฐ ์๊ณ ๋ชจ๋ธ ์นด๋์ ๋ผ์ด์ ์ค ํ๊ธฐ๋ Apache-2.0์ด๋ค. RoboTwin ์ฒดํฌํฌ์ธํธ๋ README ๋ชฉ๋ก์ ์๋ค.
- ๊ณต๊ฐ๋ ๋ฒ์: ํ์ฌ ์ฝ๋๊ฐ ๋ฐ๋ก ์ฌํํ๋ ๊ฒ์ ๋ณธ๋ฌธ ํ์ ์ฐ์ธ ์ ํ๋ JAM ์ค์ ์ด๋ค. ๋งค์นญ ๋ฒ ์ด์ค๋ผ์ธ(FastWAMยทImageWAM์ ์์ฑ ์์ค, action-only VLA)์ ๊ฐ์ ์ ์ฑ ํด๋์ค ์์ ์ฝ๋ ๊ฒฝ๋ก๋ก๋ ๋จ์ ์์ง๋ง ์คํ์ฉ recipe๊ฐ ์๋ค. Table 1ยท2ยท10์ target ๋ณํ(์ฌ์ ํ์ตยท๋ฌด์์ Wan anchor, EMA anchor, ๋ฌด์์ Yak, Ovis-U1 VAE-direct, ๋ฌด์์ ๋ฐฑ๋ณธ)์ ์ต์ ์ฝ๋์์ ์ง์ํ์ง ์๊ณ , ๊ณต๊ฐ ์งํ์ ์ฒซ ์ปค๋ฐ์๋ง ์๋ค. ์ฆ ์ด ๋ ผ๋ฌธ์ ํต์ฌ ์ฃผ์ฅ์ธ โ์์ฑ vs foresightโ ๋น๊ต์ target ์ ํ ๊ณผ์ ์ ์ต์ ์ฝ๋๋ง์ผ๋ก๋ ํ ๋ฒ์ ๋ค์ ๋๋ฆด ์ ์๋ค.
- head๋ โ์คํ๋์ง ์์ ๋ฟโ์ด๋ค: ์ฝ๋๋ฅผ ์ฝ์ด ๋ณด๋ฉด ๋ฐฐํฌ ๊ฒฝ๋ก์์ prediction head๋ฅผ ํธ์ถํ์ง ์์ง๋ง, ์ ์ฅ ์ฝ๋๋ head ๊ฐ์ค์น๋ฅผ ์ฒดํฌํฌ์ธํธ์ ํจ๊ป ๋ด๋ ๊ฒ์ผ๋ก ์ฝํ๋ค(Wan์ ๋ช ์์ ์ผ๋ก ์ ์ฅ, ์ฝ 71M ํ๋ผ๋ฏธํฐ). ๋ณธ๋ฌธ์ โ๋ฐฐํฌ ๋ ์ฌ๋ผ์ง๋คโ๋ ์ถ๋ก ๋น์ฉ์์ ๋น ์ง๋ค๋ ๋ป์ด๋ค. ์ฒดํฌํฌ์ธํธ๋ฅผ ๋ด๋ ค๋ฐ์ ํ์ธํ ๊ฒ์ ์๋๋ค.
- ์ธ๋ถ ์์ฐ: FLUX.2 recipe์ autoencoder๋ gated FLUX.2-dev ์ ์ฅ์(FLUX non-commercial license)์์ ๋ฐ์์ผ ํ๋ค. ๋ฐ์ดํฐ๋ FastWAM์ด ์ ์ฒ๋ฆฌํ LIBEROยทRoboTwin 2.0์ ์ด๋ค.
- ํ์ต ๋น์ฉ ํ๊ธฐ ์ ์ : ๋ ํฌ๋ 2026-11-13 ์ปค๋ฐ์์ README์ ํ๋ก์ ํธ ํ์ด์ง์ ๋น์ฉ ๋น๊ต๋ฅผ ์์ชฝ ๋ชจ๋ ์บ์ํ ์กฐ๊ฑด(FastWAM ๋๋น โ57.7%)์ผ๋ก ๋ฐ๊ฟจ๋ค. ๋ ผ๋ฌธ v1์ โ73.0%๋ JAM๋ง ์บ์ํ ์กฐ๊ฑด์ด๋ค.
์์ฝ
JAM์ VLA์ WAM์ ๋ ผ์์ ๋ฐฑ๋ณธ ์ด๊ธฐํ ยท ๋ฏธ๋ ๋ชฉ์ ํจ์ ยท ์ถ๋ก ๋ชจ๋์ ์ธ ์ถ์ผ๋ก ์ชผ๊ฐ๊ณ , ๋ฏธ๋ ๋ชฉ์ ํจ์ ์ถ์์ ์๊ฐ ์์ฑ์ ๊ณ ์ future anchor feature์ ์์ธก์ผ๋ก ๋ฐ๊ฟจ๋ค. ๊ธฐ๋ก๋ ๋ฏธ๋๋ target์ผ๋ก๋ง ์ฐ์ด๊ณ , ํ์ต ์ ์ฉ head๋ ๋ฐฐํฌ ๋ ์ฌ๋ผ์ง๋ค. ์ํคํ ์ฒยท์์ฐ์ ๊ณ ์ ํ ๋น๊ต์์ LIBERO-Plus๊ฐ FastWAM 55.31 โ 64.54%, ImageWAM 65.27 โ 79.95%๋ก ์ฌ๋๊ณ , ๊ฐ์ ๋ ์ํผ๊ฐ DINOv2์ Qwen3.5-2B์๋ ์ ์ฉ๋๋ค. ํต๊ณ ๋ณด๊ณ ์ ๋จ์ ๋ฌ๊ธฐ๊ฐ ์ฑ์คํ๊ณ , Fig. 1์ ๋ถํด๋ ๊ทธ ์์ฒด๋ก ์ธ๋ชจ ์๋ ๋๊ตฌ๋ค.
ํ๊ณ๋ ๊ฒฐ๊ณผ์ ํด์ ๋ฒ์์ ์๋ค. Wan์์ ์ด๊ธด target์ ์์ฑ๊ธฐ๊ฐ denoiseํ๋ VAE latent์๊ณ , ์ฌ์ ํ์ต Wan feature๋ก๋ FastWAM๊ณผ ๋น๊ฒผ๋ค. ๊ทธ๋ฌ๋ โ์์ฑ์ด ํ์ ์๋คโ๋ ํ์ธ๋์ง๋ง โํํ์ ์์ธกํด์ผ ํ๋คโ๊น์ง๋ ํ์ธ๋์ง ์์๋ค. FastWAM ๊ธฐ์ค๊ฐ์ ์ ๋ ผ๋ฌธ ๋ณด๊ณ ๊ฐ๋ณด๋ค ๋ฎ์์, ์ ๋ณด๊ณ ๊ฐ๊ณผ ๋์กฐํ๋ฉด LIBERO ์ฐ์๋ 0.55%p๋ก ์ค๊ณ RoboTwin์์๋ ์ญ์ ๋๋ค. target์ ํ๊ฐ ๋ฒค์น๋งํฌ์์ ๊ณจ๋๊ณ , ๋ฐฑ๋ณธ ๋น๊ต๋ Qwen์ action-only๊ฐ ์ด๋ฏธ ๊ฐํ๋ค๋ ์ฌ์ค ๋๋ฌธ์ foresight์ ๋ชซ์ ๊ฐ๋ฆฌ๊ธฐ ์ด๋ ต๋ค. ๋ ผ๋ฌธ v1์ ๋น์ฉ 73%์๋ FastWAM๋ ๋๋ฆด ์ ์๋ ์บ์ ์ด๋์ด ์์ฌ ์๊ณ , ๋ ํฌ๋ ์ด๋ฏธ ๊ฐ์ ์กฐ๊ฑด์ 57.7%๋ก ํ๊ธฐ๋ฅผ ๊ณ ์ณค๋ค. ์ต์ ์ฝ๋๋ ์ ํ๋ JAM ์ค์ ๋ง ๋ด๊ณ ์์ด ์์ฑ vs foresight ๋น๊ต์ target ์ ํ์ ๊ทธ๋๋ก ๋ค์ ๋๋ฆฌ๊ธฐ ์ด๋ ต๋ค. ๋ค์์ผ๋ก ๋ณด๊ณ ์ถ์ ๊ฒ์ ๋ฏธ๋ ํ ํฐ์ ๋ฐฑ๋ณธ ์ ๋ ฅ์ ๋ ์ฑ \mathcal L_F๋ก๋ง ๊ฐ๋ ํ๋ ์กฐ๊ฑด, validation ๋ถํ ์์ ๊ณ ๋ฅธ target, ๋ฒ ์ด์ค๋ผ์ธ์ ๋ฐ๋ณต ํ์ต ๋ถ์ฐ, ๊ทธ๋ฆฌ๊ณ ์ค๋ฌผ ๋ก๋ด ์คํ์ด๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v1(2026-10-27, 24์ชฝ)์ PDF์ e-print LaTeX ์์ค, ํ๋ก์ ํธ ํ์ด์ง ๋ณธ๋ฌธ๊ณผ ์์, GitHub README, Hugging Face ๋ชจ๋ธ ์นด๋, ๊ณต๊ฐ ๋ ํฌ์ ๊ตฌ์ฑ๊ณผ ์ปค๋ฐ ๊ธฐ๋ก์ ์ฝ์๋ค. ๋น๊ต๋ฅผ ์ํด ๋ธ๋ก๊ทธ์ Fast-WAM ๋ฆฌ๋ทฐ(Fast-WAM ๋ ผ๋ฌธ v2 ๊ธฐ์ค)์ ๊ธฐ๋ก๋ ์์น๋ฅผ ๋์กฐํ๋ค.
- ๊ทธ๋ฆผ: Fig. 1ยท2๋ e-print ์์ค์ ์๋ณธ ๊ทธ๋ฆผ ํ์ผ, Fig. 3~9๋ PDF ํ์ด์ง์์ ๊ฐ์ ธ์๋ค. ๊ทธ๋ฆผ ๋ฒํธ๋ PDF ๊ธฐ์ค์ด๋ค.
- ์์: ๋กค์์ ์์ ์ฌ์ฏ ๊ฐ๋ ํ๋ก์ ํธ ํ์ด์ง์ ๋ฒ ์ด์ค๋ผ์ธยทJAM ํด๋ฆฝ ์์ ์ข์ฐ๋ก ๋๋ํ ๋ฐฐ์นํ๊ณ ๋ฐฐ์์ ์ ์ ๊ฒ์ด๋ค. ์งง์ ์ชฝ์ ๋๋ ๋ค ๋ง์ง๋ง ํ๋ ์์ ๋ฉ์ถ๋ค. ํธ๋ ์ผ๋ฌยทprobeยทattention ์์์ ํ๋ก์ ํธ ํ์ด์ง์ mp4๋ฅผ ๊ทธ๋๋ก ๋ถ๋ฌ์จ๋ค(๋ฌด์). ๋ชจ๋ ๋กค์์์ ํ๋ก์ ํธ ํ์ด์ง๊ฐ ๊ณ ๋ฅธ ๋ํ ์ํผ์๋๋ค.
- ํ๊ธฐ: โํ์ ๊ณ์ฐยท๊ฒ์ฐโ์ ๋ ผ๋ฌธ ํ์ ๊ฐ์ผ๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(์ฐจ์ด, ํฉ๊ณ, McNemar exact ๊ฒ์ , ์บ์ ์กฐ๊ฑด์ ๋ง์ถ FLOPs ๋น์จ)์ด๋ค. Fig. 1์ \tilde f_{1:T} ํด์์ ๊ทธ๋ฆผ์ ์ ์๊ฐ ์์ด ๋ ผ๋ฌธ์ ํ๊ธฐ ๊ด๋ก๋ก ์ฝ์ ๊ฒ์ด๋ค. ์ด ๋ฆฌ๋ทฐ์ ๋ชจ๋ ์ฑ๊ณต๋ฅ ์ ๋ ผ๋ฌธ์ด ๋ณด๊ณ ํ ๊ฐ์ด๋ฉฐ ์ฌํ ํ์ธ์ ํ์ง ์์๋ค.