๐FlashDexRetarget ๋ฆฌ๋ทฐ
Code (GitHub, MIT): ํ์ต๊ธฐ๋ ์๋ธ๋ชจ๋
Holiday-Robot/rsl_rl_flashsac. ๋ชจ์ ๋ฐ์ดํฐยทMANO๋ ํฌํจ๋์ง ์๋๋ค.Kyungmin Lee*, Sibeen Kim*, Dongyoon Hwang*, Yoonsang Oh*, Donghu Kim, Youngdo Lee, I Made Aswin Nahrendra, Jaegul Chooโ , Hojoon Leeโ (* ๋๋ฑ ๊ธฐ์ฌ, โ ๊ต์ ์ ์)
KAIST AI ยท Holiday Robotics
arXiv preprint, 2026 (v1 2026-10-01, v2 2026-10-04. ์ด ๋ฆฌ๋ทฐ๋ v2 ๊ธฐ์ค์ด๋ฉฐ ํํ ์ฑํ ์ ๋ณด๋ ์๋ค)
- ๐ก ์ฌ๋ ์-๋ฌผ์ฒด ์์ฐ์ ๋ก๋ด ์ ๊ถค์ ์ผ๋ก ์ฎ๊ธฐ๋ ๋ฌผ๋ฆฌ ๊ธฐ๋ฐ ๋ฆฌํ๊ฒํ ์ ์ง๊ธ๊น์ง ์์ฐ ํ๋์ ์ต์ ํ(๋๋ ์ ์ฑ ) ํ๋๋ผ์ ๋น์ฉ์ด ์์ฐ ์์ ์ ํ์ผ๋ก ๋์๋๋ฐ, FlashDexRetarget์ ์ด๋ฅผ ์ฌ๋ฌ ์์ฐ์ ํ ์ ์ฑ ์ด ๋์์ ์ถ์ข ํ๋ multi-reference tracking์ผ๋ก ๋ฐ๊ฟ ํ์ต ๋น์ฉ์ ๋ฐ์ดํฐ์ ์ ์ฒด์ ๋ถํ ์ํํ๋ค.
- โ๏ธ ๋ฌผ์ฒด ์ ๊ตฐยทSDF ๊ฑฐ๋ฆฌ ๊ด์ธก๊ณผ ๋ฏธ๋ K=10 ํ๋ ์ ์ธ์ฝ๋ฉ์ผ๋ก ์์ฐ์ ๊ตฌ๋ถํ๊ณ , ์ ๊ตฐ ๋์์ ๊ธฐ๋ฐ ๋ฌผ์ฒด ์ถ์ข ๋ณด์๊ณผ โ์ฌ๋ ์๋๋ณด๋ค ๋ฉ์ด์ง์ง๋ง ๋ง๋ผโ๋ ๋จ๋ฐฉํฅ ๊ฑฐ๋ฆฌ ๋ณด์์ ์ฐ๋ฉฐ, ์๋ณ(ๅทฆ/ๅณ) actor-critic์ replay 50Mยทcritic ํญ 1024๋ก ํค์ด FlashSAC์ผ๋ก ํ์ตํ๋ค.
- ๐ฏ TACOยทOakInk2ยทHOT3D 50๊ฐ ๋ชจ์ , XHand์์ \mathrm{SR}_{\mathrm{SPIDER}} 0.90์ 29 GPU-h๋ก ๋ฌ์ฑํด CHORD ๊ณต๊ฐ ๊ตฌํ(0.46, 2,847 GPU-h) ๋๋น ์ฝ 98๋ฐฐ ์ ์ ์ฐ์ฐ์ ์ผ๋ค. 1,000๊ฐ ๋ชจ์ ์ผ๋ก ํค์ฐ๋ฉด 60 GPU-h ์์ 600๊ฐ ์ด์์ ๋ณํํ๋ค(Fig. 5).
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
์ฌ๋์ด ๋ฌผ์ฒด๋ฅผ ๋ค๋ฃจ๋ ๋ชจ์บก ๋ฐ์ดํฐ(TACOยทOakInk2ยทHOT3D ๋ฑ)๋ ์์ฌ์ฃผ ๋ก๋ด ํ์ต์ ๊ฐ์ผ ์์ฒ์ด์ง๋ง, ์ฌ๋ ์ ๊ถค์ ์ ๋ก๋ด์ด ๊ทธ๋๋ก ์คํํ ์ ์๋ค. ๊ทธ๋์ ์๋ฎฌ๋ ์ดํฐ ์์์ ๋ก๋ด ์์ด ์๊ธฐ ์ ์ด์ผ๋ก ๋ฌผ์ฒด๋ฅผ ์์ฐ๋๋ก ์์ง์ด๊ฒ ๋ง๋๋ ๋ฌผ๋ฆฌ ๊ธฐ๋ฐ ๋ฆฌํ๊ฒํ ์ด ํ์ํ๋ค. ๊ธฐ์กด ๋ฐฉ๋ฒ์ ํฌ๊ฒ ๋ ๊ฐ๋๋ค. SPIDERยทDo as I Do์ฒ๋ผ ์๋ฎฌ๋ ์ด์ ๋กค์์์ผ๋ก ํ๋ ์ํ์ค๋ฅผ ์ํ๋ง ํ์ํ๋ ์ชฝ๊ณผ, ManipTransยทDexMachinaยทCHORD์ฒ๋ผ ์์ฐ ํ๋๋ง๋ค ์ถ์ข ์ ์ฑ ์ RL๋ก ํ์ตํ๋ ์ชฝ์ด๋ค. ๋ ๋ค ์์ฐ๋ง๋ค ์ฒ์๋ถํฐ ๋ค์ ์ต์ ํํ๋ฏ๋ก ๋ฐ์ดํฐ์ ์ด ์ปค์ง์๋ก ๋น์ฉ๋ ๊ทธ๋๋ก ์ปค์ง๋ค.
FlashDexRetarget์ ํด๋จธ๋ ธ์ด๋ ๋ชจ์ ์ถ์ข (SONIC)์์ ํจ๊ณผ๋ฅผ ๋ณธ multi-reference tracking์ ์์ฌ์ฃผ ์กฐ์์ ๊ฐ์ ธ์จ๋ค. ์์ฐ ์งํฉ ์ ์ฒด์์ ์ฐธ์กฐ ๊ถค์ ์ ๋ฝ์ ๋ณ๋ ฌ ํ๊ฒฝ์ ๋๋ ์ฃผ๊ณ , ์ฐธ์กฐ ์กฐ๊ฑด๋ถ ์ ์ฑ ํ๋๋ฅผ ๋ชจ๋ ์์ฐ์ ๋ํด ํจ๊ป ํ์ตํ๋ค. ํ์ต ์ค ์ฑ๊ณตํ ๋กค์์์ ๊ทธ๋๊ทธ๋ ๋ก๋ด ๋ฐ์ดํฐ๋ก ์ ์ฅ๋๋ค. ํต์ฌ ์ง๋ฌธ์ โํ ์ ์ฑ ์ด ๋ฌผ์ฒด ๋ชจ์๋, ์-๋ฌผ์ฒด ๋ฐฐ์น๋, ์์ ์ญํ ๋ ๋ค๋ฅธ ์์ญ~์์ฒ ๊ฐ ์์ฐ์ ๋์์ ๋ฐฐ์ธ ์ ์๋๊ฐโ์ด๊ณ , ์ ์๋ค์ ๊ด์ธกยท๋ณด์ยท๊ตฌ์กฐยทํ์ต๊ธฐ ๋ค ๊ตฐ๋ฐ๋ฅผ ์๋ด์ ๊ทธ๋ ๋ค๊ณ ๋ตํ๋ค.

๊ฐ์(Fig. 1): ์ผ์ชฝ์ N๊ฐ ์ฐธ์กฐ ๋ชจ์ , ๊ฐ์ด๋ฐ๋ ์์ฐ๋ง๋ค ์ ์ฑ N๊ฐ๋ฅผ ๋๋ ๊ธฐ์กด ๋ฐฉ์๊ณผ ๋๋น๋๋ ๋จ์ผ ์ ์ฑ FlashDexRetarget, ์ค๋ฅธ์ชฝ์ XHand 50๋ชจ์ ๋ฒค์น๋งํฌ์ ์ฑ๊ณต๋ฅ (SRSPIDER)๊ณผ ์ด GPU ์๊ฐ(๋ก๊ทธ ์ถ). CHORD ์ ์ PPO๋ก ํ์ตํ๋ ๊ณต๊ฐ ๊ตฌํ์ผ๋ก ์ป์ ๊ฐ์ด๋ผ๊ณ ์บก์ ์ด ๋ฐํ๋ค.
๊ณต์ ๋ณด์ถฉ ์์(ํ๋ก์ ํธ ํ์ด์ง ํธ์คํ , ์ฝ 32MB).
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
๋ฐ์ดํฐ์ \mathcal{D}=\{\tau_i^{\mathrm{ref}}\}_{i=1}^{N}์ ์ฐธ์กฐ ๊ถค์ ์ ๋ณ๋ ฌ ํ๊ฒฝ์ ๋ฐฐ์ ํ๊ณ , ์ ์ฑ ์ ํ์ฌ ์ํ์ ๋ค์ ์ฐธ์กฐ ์ํ๋ฅผ ํจ๊ป ๋ฐ๋๋ค(Eq. 2).
\mathbf{s}_{i,t}=\bigl(\mathbf{s}^{\mathrm{cur}}_{t},\,\mathbf{s}^{\mathrm{ref}}_{i,t+1}\bigr),\qquad \mathbf{a}_t\sim\pi_\theta(\cdot\mid\mathbf{s}_{i,t})
์ฐธ์กฐ ์ ๋ ฅ์๋ ๋ค์ ํ๋ ์ ์ํ์ ํจ๊ป t+1\ldots t+K (K=10) ๋ฏธ๋ ์ฐธ์กฐ๋ฅผ ์๋ชฉ ์ขํ๋ก ํํํด 128์ฐจ์์ผ๋ก ์์ถํ \mathbf{z}^{\mathrm{ref}}_{i,t+1}=\mathrm{Enc}_\psi(\mathbf{x}^{\mathrm{ref}}_{i,t+1:t+K})๊ฐ ๋ค์ด๊ฐ๋ค. ๋ณด์์ ์๋ณ๋ก ์ ์ํ๋ค(Eq. 5).
r_t^h=w_{\mathrm{obj}}\,r_t^{\mathrm{obj},h}+w_{\mathrm{int}}\,r_t^{\mathrm{int},h}+w_{\mathrm{track}}\,r_t^{\mathrm{track},h}+w_{\mathrm{reg}}\,r_t^{\mathrm{reg},h}
๋ฌผ์ฒด ์ถ์ข r^{\mathrm{obj}}๋ ๋ฐ์ง๋ฆ \rho=0.058 m๋ก ์ ๊ทํํ ๋ฌผ์ฒด ํ๋ฉด 128์ ์ ๋์์ ์ค์ฐจ ์ค ์ต์ 3๊ฐ์ ํ๊ท ์ \exp(-e/0.1)์ ์์ด๋ค. ์ํธ์์ฉ ๋ณด์ r^{\mathrm{int}}๋ ๋ก๋ด ์๋์ SDF ๊ฑฐ๋ฆฌ d^{(f)}๊ฐ ์ฌ๋ ์๋ ๊ฑฐ๋ฆฌ d^{\mathrm{ref},(f)}๋ฅผ ๋๋ ๋งํผ๋ง ๋ฒํ๋ค(Eq. 7).
\epsilon^{(f)}_{h,t}=\max\bigl(0,\;d^{(f)}_{h,t}-d^{\mathrm{ref},(f)}_{h,t}\bigr),\qquad r^{\mathrm{int},h}_t=\frac{1}{5}\sum_{f=1}^{5}\exp\bigl(-\epsilon^{(f)}_{h,t}/0.01\bigr)
์์์ ๊ฐ์ actor-critic ์์ ๋๋ ๋ ๋ค ์ ์ฒด ๊ด์ธก์ ๋ณธ๋ค. ํ์ต๊ธฐ๋ off-policy์ธ FlashSAC์ด๊ณ , replay buffer๋ฅผ 10Mโ50M, critic ์๋ ํญ์ 256โ1024๋ก ํค์ ๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- XHand(50๋ชจ์ ): \mathrm{SR}_{\mathrm{SPIDER}} 0.90 / \mathrm{SR}_{\mathrm{MT}} 0.86 / 29 GPU-h. CHORD 0.46 / 0.00 / 2,847, DexMachina 0.48 / 0.12 / 447, Do as I Do 0.36 / 0.00 / 66 (Table I).
- Sharpa Wave Hand: 0.86 / 0.80 / 44 GPU-h. CHORD 0.50 / 0.00 / 3,314, Do as I Do 0.64 / 0.10 / 62.
- ์ด๋ธ๋ ์ด์ (Fig. 3, \mathrm{SR}_{\mathrm{MT\text{-}Obj}} ๋์ , 300M step): PPO๋ ๊ฑฐ์ 0, ๊ธฐ๋ณธ FlashSAC ์ฝ 34%, +ํฐ buffer ์ฝ 60%, +ํฐ critic 86%. ํ์ต๊ธฐ ์ชฝ ํจ๊ณผ๊ฐ ๊ฐ์ฅ ํฌ๋ค.
- ์ค์ผ์ผ๋ง(Fig. 5): 200 / 500 / 1,000 ๋ชจ์ ์งํฉ์์ ๊ฐ์ GPU ์๊ฐ ๋์ ๋ ํฐ ์งํฉ์ด ๋ ๋ง์ ๊ถค์ ์ ๋ณํํ๋ค(1,000๋ชจ์ ์ 60 GPU-h์ 600๊ฐ ์ด์).
- ์ค์ธ๊ณ: ์ฑ๊ณต ๊ถค์ 3๊ฐ(๋ฆ๊ธฐยท๋ถ๊ธฐยท๋๊ป ๋ซ๊ธฐ)๋ฅผ ๋ก๋ด ํ+XHand์์ ์ฌ์(Fig. 4, ์ ์ฑ์ ).
๊ฒฐ๋ก :
์๋ก์ด ๊ฒ์ ๊ฐ๋ณ ๋ณด์ ํญ๋ณด๋ค ๋ฌธ์ ์ค์ ์ ์ ํ์ด๋ค. ๋ฆฌํ๊ฒํ ์ โ์์ฐ๋ณ ์ต์ ํโ๊ฐ ์๋๋ผ โ์ฐธ์กฐ ์กฐ๊ฑด๋ถ ์ ์ฑ ํ๋์ ํ์ตโ์ผ๋ก ๋ณด๊ณ , ๊ทธ ์ ์ฑ ์ ๋ฐ์ดํฐ ์์ฑ๊ธฐ๋ก๋ง ์ด๋ค(์ฑ๊ณต ๋กค์์์ ์ ์ฅํ๊ณ ์ ์ฑ ์์ฒด๋ ๋ฐฐํฌํ์ง ์๋๋ค). ๋ค๋ง ํค๋๋ผ์ธ โ์ฝ 100๋ฐฐโ๋ PPO๋ก ๋๋ CHORD ๊ณต๊ฐ ๊ตฌํ๊ณผ์ ๋น๊ต์ด๊ณ , ์ ์ ์์ ์ ์ด๋ธ๋ ์ด์ ์์ PPO๊ฐ ๊ฐ์ ์ค์ ์์ ๊ฑฐ์ 0์ด๋ผ๋ ์ ์ ํจ๊ป ์ฝ์ด์ผ ํ๋ค. ์๋ Ring์์ ์ด ๋น๊ต๊ฐ ์ค์ ๋ก ๋ฌด์์ ์ฌ๋์ง ๋ฐ์ ธ ๋ณธ๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
FlashDexRetarget์ ํต์ฐฐ์ โ๋ฆฌํ๊ฒํ ์ ์ฐ์ถ๋ฌผ์ ์ ์ฑ ์ด ์๋๋ผ ๊ถค์ ์ด๋คโ๋ฅผ ๋๊น์ง ๋ฐ์ด๋ถ์ธ ๋ฐ ์๋ค. ๊ถค์ ๋ง ํ์ํ๋ค๋ฉด ์์ฐ๋ง๋ค ์ ์ฑ ์ ๋ฐ๋ก ํ์ตํด ๋ฒ๋ฆด ์ด์ ๊ฐ ์๋ค. ํ ์ ์ฑ ์ด ๋ฐ์ดํฐ์ ์ ์ฒด๋ฅผ ํจ๊ป ์ถ์ข ํ๋๋ก ํ์ตํ๊ณ , ํ์ต ๋์ค ์ด๋ ์์ ์ด๋ ์ด๋ค ์์ฐ์ด ํ ๋ฒ ์ฑ๊ณตํ๋ฉด ๊ทธ ๋กค์์์ ์ ์ฅํ๊ณ ์ฒดํฌ ํ์๋ฅผ ํ๋ฉด ๋๋ค. ์ด ๊ด์ ์์๋ ์ ์ฑ ์ ์ต์ข ์ผ๋ฐํ ์ฑ๋ฅ๋, ๋จ์ผ ์์ฐ์ ์๋ ด ์๋๋ ์๋ โGPU ์๊ฐ๋น ๋ณํ๋ ์์ฐ ์โ๊ฐ ๋ชฉ์ ํจ์๊ฐ ๋๋ค. ๋๋จธ์ง ์ค๊ณ(๋ฏธ๋ ์ฐธ์กฐ ์ธ์ฝ๋ฉ, ์ ๊ตฐ ๋ณด์, ์๋ณ critic, ํฐ replay)๋ ๋ชจ๋ โํ ์ ์ฑ ์ด ๋์ ์ํ ๋ถํฌ๋ฅผ ๊ฐ๋นํ๊ฒ ๋ง๋๋โ ๋ณด์กฐ ์ฅ์น๋ค.
๋ฐฐ๊ฒฝ: ์ ์์ฌ์ฃผ ๋ฆฌํ๊ฒํ ์ ๋น์ผ๊ฐ
์ฌ๋ ์-๋ฌผ์ฒด ๋ฐ์ดํฐ์ (DexYCBยทGRABยทOakInkยทHOI4DยทHOT3DยทTACOยทOakInk2ยทARCTICยทGigaHands)์ ์ด๋ฏธ ํฌ๋ค. ๋ฌธ์ ๋ ์ฌ๋ ์๊ณผ ๋ก๋ด ์์ ํํ๊ฐ ๋ค๋ฅด๋ค๋ ๊ฒ์ด๋ค. ๋ ผ๋ฌธ์ UniDexยทVideoManip ๊ฐ์ ๊ธฐ๊ตฌํ์ ๋ฆฌํ๊ฒํ ์ด ์ ์ด์ ์ฌํ์ ๊ธฐํํ์ ์ผ๋ก ๋ง์ถ ๋ฟ์ด๋ผ์, ๊ทธ ๊ถค์ ์ ์คํํด๋ ์์ฐ๋ ๋ฌผ์ฒด ์ด๋์ด ์ฌํ๋๋ค๋ ๋ณด์ฅ์ด ์๋ค๊ณ ์ง์ ํ๋ค(ยงII-A). ๊ทธ๋์ ์๋ฎฌ๋ ์ดํฐ์์ ๋ก๋ด์ด ์ค์ ๋ก ๋ฌผ์ฒด๋ฅผ ๋ฐ๊ณ ์ฅ์ด ๊ฐ์ ๋ฌผ์ฒด ๊ถค์ ์ ๋ง๋ค์ด ๋ด๋ ๋ฌผ๋ฆฌ ๊ธฐ๋ฐ ๋ฆฌํ๊ฒํ ์ด ํ์ํ๋ค.
๋ฌผ๋ฆฌ ๊ธฐ๋ฐ ๋ฐฉ๋ฒ์ ๋ ๊ณ์ด์ด๋ค(ยงII-B).
| ๊ณ์ด | ๋ํ | ์์ฐ ํ๋๋ฅผ ์ด๋ป๊ฒ ํธ๋๊ฐ | ๋น์ฉ ๊ตฌ์กฐ |
|---|---|---|---|
| ์ํ๋ง ๊ธฐ๋ฐ | SPIDER, Do as I Do | ๊ฐ์ ํ์ผ๋ก ์ ๋ํ annealed sampling์ผ๋ก ํ๋ ์ํ์ค๋ฅผ ์ง์ ํ์ | ์์ฐ๋ง๋ค ํ์. ๊ณ ์ฐจ์ ํ๋ยท๊ธด ์ ์ด ์ํ์ค์์ ์ ํ ์์ฐ ๋ด ์ฑ๊ณต์ด ์ด๋ ต๋ค |
| RL ๊ธฐ๋ฐ | ManipTrans, DexMachina, CHORD | ์์ฐ๋ง๋ค ํ๋ฃจํ ์ถ์ข ์ ์ฑ ์ ํ์ต(์์ฐจ ํ์ต, ๋ฌผ์ฒด ๋ณด์กฐ ๊ฐ์ , contact wrench ์ ๋ ๋ฑ) | ์์ฐ๋ง๋ค ํ์ต. ์ฑ๊ณต๋ฅ ์ ๋์ง๋ง ํ์ต๋น๊ฐ ์์ฐ ์์ ์ ํ |
| multi-reference (๋ณธ ๋ ผ๋ฌธ) | FlashDexRetarget | ์ฐธ์กฐ ์กฐ๊ฑด๋ถ ์ ์ฑ ํ๋๋ฅผ ์ ์ฒด ์์ฐ์ ๋ํด ํ์ต | ํ์ต๋น๋ฅผ ๋ฐ์ดํฐ์ ์ ์ฒด์ ๋ถํ ์ํ |
multi-reference ์ถ์ข ์ ํด๋จธ๋ ธ์ด๋ ์ ์ ๋ชจ์ ์์๋ ์ด๋ฏธ ํจ๊ณผ๊ฐ ์ ์ฆ๋๋ค(SONIC). ์ ์๋ค์ ์์ฌ์ฃผ ์กฐ์์ด ์ถ๊ฐ๋ก ๋ค ๊ฐ์ง ์ด๋ ค์์ ๊ฐ๋๋ค๊ณ ์ ๋ฆฌํ๋ค(ยงI). โ ์์ฐ๋ง๋ค ๋ฌผ์ฒด ๋ชจ์๊ณผ ์-๋ฌผ์ฒด ๋ฐฐ์น๊ฐ ๋ฌ๋ผ ์ ์ฑ ์ด ์ํธ์์ฉ ๊ธฐํ๋ฅผ ๊ตฌ๋ถํด์ผ ํ๋ค. โก ๋ชจ์บก์ผ๋ก ์ก์ ์์ฐ์กฐ์ฐจ ์ ์ด ์ค์ฐจ๊ฐ ์์ด ์ ํํ ์ ์ด ์ผ์น๋ฅผ ์๊ตฌํ๋ฉด ๋ถ์์ ํ๋ค. โข ์ฌ๋ฌ ์์ฐ์ ์์ผ๋ฉด ์ํ ๋ถํฌ๊ฐ ๋์ด์ ธ ๋ชจ๋ธ ์ฉ๋๊ณผ ๊ฒฝํ ์ฌ์ฌ์ฉ์ด ๋ ์ค์ํด์ง๋ค. โฃ ์์ ์์ฐ์์๋ ๋ ์์ ์ญํ (์ฃผ๋ยท๋ณด์กฐ)์ด ๋ฌ๋ผ ํ์ต ์ ํธ๊ฐ ๋น๋์นญ์ด์ด์ผ ํ๋ค. ์ดํ ยงIII์ ๋ค ์ค๊ณ๊ฐ ์ด ๋ค ๋ฌธ์ ์ 1:1๋ก ๋์ํ๋ค.
๋ฐฉ๋ฒ ์์ธ
์ ์ํ (ยงIII ์๋)
๋ฐ์ดํฐ์ \mathcal{D}=\{\tau^{\mathrm{ref}}_i\}_{i=1}^{N}, \tau^{\mathrm{ref}}_i=\{\mathbf{s}^{\mathrm{ref}}_{i,t}\}_{t=1}^{H_i}์ ๊ฐ ์ํ๋ ์ฌ๋ ์ ์ํ์ ๋ฌผ์ฒด ์์ธ๋ฅผ ๋ด๋๋ค(Eq. 1). ํ์ต ์ค์๋ ์ฐธ์กฐ ๊ถค์ ์ \mathcal{D}์์ ๋ฝ์ ๋ณ๋ ฌ ํ๊ฒฝ์ ๋ฐฐ์ ํ๊ณ , ์ ์ฑ ์ \mathbf{s}_{i,t}=(\mathbf{s}^{\mathrm{cur}}_t,\mathbf{s}^{\mathrm{ref}}_{i,t+1})๋ฅผ ๋ฐ์ ํ๋์ ๋ธ๋ค(Eq. 2). ๋จ์ผ ์ฐธ์กฐ RL๊ณผ ๋ค๋ฅธ ์ ์ ์ฐธ์กฐ ์ธ๋ฑ์ค i๊ฐ ๊ด์ธก์ ๋ค์ด๊ฐ๋ค๋ ๊ฒ, ์ฆ ์ ์ฑ ์ด ์ด๋ค ์์ฐ์ ์ถ์ข ์ค์ธ์ง๋ฅผ ๊ด์ธก์ผ๋ก ์์๋ด์ผ ํ๋ค๋ ๊ฒ๋ฟ์ด๋ค.
๊ด์ธก: ๊ธฐํ์ ์ํธ์์ฉ์ ๋ณด์ด๊ฒ ํ๊ธฐ (ยงIII-A)
\mathbf{s}^{\mathrm{cur}}_t=\bigl(\mathbf{x}^{\mathrm{cur}}_t,\ \mathcal{P}^{\mathrm{cur}}_t,\ \mathbf{d}^{\mathrm{cur}}_t\bigr),\qquad \mathbf{s}^{\mathrm{ref}}_{i,t+1}=\bigl(\mathbf{x}^{\mathrm{ref}}_{i,t+1},\ \mathcal{P}^{\mathrm{ref}}_{i,t+1},\ \mathbf{z}^{\mathrm{ref}}_{i,t+1}\bigr)\quad\text{(Eq. 3)}
- \mathbf{x}: ๋ก๋ดยท๋ฌผ์ฒด ์ํ(ํ์ฌ) ๋๋ ์ฐธ์กฐ ์-๋ฌผ์ฒด ์ํ(t+1).
- \mathcal{P}: ๋ฌผ์ฒด ํ๋ฉด์์ ๊ท ๋ฑ ์ํํ 128์ ์ ํ์ฌ ์๋ฎฌ๋ ์ด์ ์์ธ์ ๋ค์ ์ฐธ์กฐ ์์ธ์ ๊ฐ๊ฐ ๋์ ์ ๊ตฐ. ๋ชจ๋ ์๋ชฉ ์ขํ๊ณ๋ก ํํํ๋ค. ๋ฌผ์ฒด๊ฐ ๋ฐ๋์ด๋ ์ ์ฑ ์ด ๋ชจ์์ โ๋ณด๊ณ โ ๊ตฌ๋ถํ๊ฒ ํ๋ ค๋ ์ฅ์น๋ค.
- \mathbf{d}: ๋ค์ฏ ์๋๊ณผ ์๋ชฉ์์ ๋ฌผ์ฒด ํ๋ฉด๊น์ง์ ๊ฑฐ๋ฆฌ์ ํ๋ฉด ๋ฒ์ (์๋ชฉ ์ขํ). ๋งค step ๋ฉ์์์ ๊ฑฐ๋ฆฌ๋ฅผ ๊ณ์ฐํ๋ฉด ๋น์ธ๋ฏ๋ก ๋ฌผ์ฒด ์์ ์ค์ฌ 60 cm ์ ์ก๋ฉด์ฒด๋ฅผ 128^3 voxel๋ก ์ด์ฐํํ SDF๋ฅผ ๋ฏธ๋ฆฌ ๋ง๋ค์ด ์กฐํํ๋ค.
- \mathbf{z}: ๋ฏธ๋ ์ฐธ์กฐ t+1\ldots t+K๋ฅผ ์์ t์ ์๋ชฉ ์ขํ๋ก ํํํด temporal encoder๋ก 128์ฐจ์์ ์์ถ(K=10, Eq. 4). ์ธ์ฝ๋๋ actorยทcritic๊ณผ ํจ๊ป ์ฒ์๋ถํฐ ํ์ตํ๋ค. ๊ธฐ์กด ์์ฌ์ฃผ ๋ฆฌํ๊ฒํ (ManipTransยทDexMachinaยทCHORD)์ ๋ค์ ํ ํ๋ ์๋ง ์กฐ๊ฑด์ผ๋ก ์คฌ๊ณ , ์ฌ๋ฌ ๋ฏธ๋ ํ๋ ์ ์กฐ๊ฑด์ ํด๋จธ๋ ธ์ด๋ ์ถ์ข (KungfuBot2, PHUMA)์์ ๋น๋ ค ์จ ๊ฒ์ด๋ค.
๋ณด์: ๋จ์๋ฅผ ํต์ผํ๊ณ , ์ฌ๊ตฌ์ฑ ์ค์ฐจ๋ฅผ ์ฉ์ํ๊ธฐ (ยงIII-B)
๋ฌผ์ฒด ์ถ์ข ๋ณด์. ๊ธฐ์กด ๋ฐฉ๋ฒ์ ๋ฌผ์ฒด ์์น ์ค์ฐจ์ ํ์ ์ค์ฐจ๋ฅผ ์์ผ๋ก ์ ํ ๊ฐ์ค์น๋ก ์๋๋ค. ๋จ์๊ฐ ๋ค๋ฅธ ๋ ์ค์ฐจ์ ๊ท ํ์ ๋ง์ถฐ์ผ ํ๋ ๋ฌธ์ ๋ค. FlashDexRetarget์ ๋ฌผ์ฒด ์ขํ๊ณ์ ํ๋ฉด 128์ ์ ๊ณตํต ๋ฐ์ง๋ฆ์ผ๋ก ์ ๊ทํํ ๋ค ํ์ฌยท์ฐธ์กฐ ์์ธ๋ก ๊ฐ๊ฐ ์ฎ๊ฒจ ๋์์ ๊ฑฐ๋ฆฌ๋ฅผ ์ฐ๋ค(Eq. 6).
\tilde{\mathbf{p}}^h_m=\rho\,\frac{\mathbf{p}^h_m}{\max_n\|\mathbf{p}^h_n\|_2},\qquad e^{\mathrm{obj},h}_t=\frac1k\sum_{m\in\mathcal{I}^{(k)}_{h,t}}\bigl\|\tilde{\mathcal{P}}^{\mathrm{cur},h}_{t+1,m}-\tilde{\mathcal{P}}^{\mathrm{ref},h}_{i,t+1,m}\bigr\|_2,\qquad r^{\mathrm{obj},h}_t=\exp\bigl(-e^{\mathrm{obj},h}_t/\sigma_{\mathrm{obj}}\bigr)
\rho=0.058 m๋ โ30ยฐ ํ์ ์ด ์ฝ 3 cm ์ ๋ณ์์ ํด๋นโํ๋๋ก ๊ณ ๋ฅธ ๊ฐ์ด๋ค. ์ค์ ๋ก ๋ฐ์ง๋ฆ \rho์ธ ์ ์ด \theta๋งํผ ๋๋ฉด ๋ณ์๋ 2\rho\sin(\theta/2)=2\times0.058\times\sin15^\circ\approx0.030 m๋ผ์, ์ฑ๊ณต ํ์ ๋ฌธํฑ(3 cm, 30ยฐ)๊ณผ ์ ํํ ๋ง๋ฌผ๋ฆฐ๋ค. ํ๊ท ๋์ ์ค์ฐจ ์์ k=3๊ฐ ์ ์ ํ๊ท ์ ์ฐ๋ ๊ฒ์ ๋ฌผ์ฒด์ ํ์ชฝ ๋์ด ํฌ๊ฒ ์ด๊ธ๋๋ ํ์ ์ค์ฐจ๋ฅผ ํ๊ท ์ด ํฌ์ํ์ง ์๊ฒ ํ๋ ค๋ ๊ฒ์ด๋ค. \sigma_{\mathrm{obj}}=0.1 m.
์-๋ฌผ์ฒด ์ํธ์์ฉ ๋ณด์. DexMachinaยทCHORD๋ ๊ณ ์ ๋ ๊ฑฐ๋ฆฌ ๋ฌธํฑ์ผ๋ก ์ ์ด ์ฌ๋ถ๋ฅผ ์ด์ง ํ์ ํ๋ค. ๊ทธ๋ฐ๋ฐ ์ฌ๊ตฌ์ฑ๋ ์ฌ๋ ์์ ๋ฌผ์ฒด์์ ๋ ์๊ฑฐ๋ ํ๊ณ ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์์, ์ค์ ๋ก ์ฅ๊ณ ์๋ ์๊ฐ๋ฝ์ด โ๋น์ ์ดโ์ผ๋ก ์๋ชป ๋ผ๋ฒจ๋ง๋๋ค. ๊ทธ๋์ ์ด์ง ๋ผ๋ฒจ ๋์ ์ฐ์ ๊ฑฐ๋ฆฌ๋ฅผ ์ฐ๊ณ , ๊ทธ๊ฒ๋ ์ผ์น๊ฐ ์๋๋ผ ์ํ์ผ๋ก ์ด๋ค(Eq. 7).
\epsilon^{(f)}_{h,t}=\max\bigl(0,\;d^{(f)}_{h,t}-d^{\mathrm{ref},(f)}_{h,t}\bigr),\qquad r^{\mathrm{int},h}_t=\frac15\sum_{f=1}^{5}\exp\bigl(-\epsilon^{(f)}_{h,t}/\sigma_{\mathrm{int}}\bigr),\quad\sigma_{\mathrm{int}}=0.01\text{ m}
๋ก๋ด ์๋์ ๊ฑฐ๋ฆฌ d^{(f)}๋ SDF์ ๋ถํธ ์๋ ๊ฑฐ๋ฆฌ์ด๊ณ , ์ฌ๋ ์๋์ ๊ฑฐ๋ฆฌ d^{\mathrm{ref},(f)}๋ ๋ฌผ์ฒด ๋ฉ์ ์ต๊ทผ์ ์ ์ ๊น์ง์ ๋ถํธ ์๋ ๊ฑฐ๋ฆฌ๋ค. ๋ถํธ ์๋ ์ฐธ์กฐ๋ฅผ ์ฐ๋ฉด ์์ฐ์ ๊ดํต(์์ ๊ฑฐ๋ฆฌ)์ ๋ก๋ด์ด ๋ฐ๋ผ ํ ํ์๊ฐ ์๋ค. ๊ทธ๋ฆฌ๊ณ ๋ก๋ด ์๋์ด ์ฌ๋ ์๋๋ณด๋ค ๋ ๊ฐ๊น์ฐ๋ฉด ๋ฒ์ ์ด ์๋ค. ์ฌ๋ ์์ด ๋ฌผ์ฒด ์ 5 mm์ ๋ ์์๋ค๋ฉด ๋ก๋ด์ ๊ทธ ํ์ 0์ผ๋ก ๋ฉ์๋ ์ต๋ ๋ณด์์ ๋ฐ๋๋ค. ๋ ผ๋ฌธ์ ํํ์ผ๋ก๋ โ์ฌ๊ตฌ์ฑ ํ์ ์ฌํํ์ง ์๊ณ ๋ฉ์ธ ์ ์๊ฒโ ํ๋ ์ค๊ณ๋ค. ๋ฐ๋๋ก ์์ฐ์์ ์๊ฐ๋ฝ์ด ๋ฌผ์ฒด์์ ๋ฉ๋ฆฌ ๋จ์ด์ ธ ์์๋ค๋ฉด d^{\mathrm{ref}}๊ฐ ์ปค์ ์ด ํญ์ ์ฌ์ค์ ๊บผ์ง๋ค. ์ฆ ์ด ๋ณด์์ โ์ ์ดํด์ผ ํ ๊ณณ์์๋ ์ ์ด๋ ์ฌ๋๋งํผ ๊ฐ๊น์ดโ๋ง ์๊ตฌํ๊ณ , ์ ์ดํ์ง ๋ง์์ผ ํ ๊ณณ์ ๊ฐ์ ํ์ง ์๋๋ค.
์ ์ถ์ข ยท์ ๊ทํ. ์๋ชฉ ์์นยทํ์ , ์๋ ์์น ์ค์ฐจ์ ์ง์ํ ๋ณด์๊ณผ, ์ง๋ น ๊ด์ ๊ฐ์ด ๊ธฐ๊ตฌํ์ ๋ฆฌํ๊ฒํ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๋ฅด๊ฒ ํ๋ behavior-cloning ํญ์ ๋๋ค(ManipTransยทDexMachina๋ฅผ ๋ฐ๋ฆ). ์ ๊ทํ ํญ์ ํฐ ํ๋์ ๋ฒํ๊ณ , ๋ฌผ์ฒด๋ ์๋์ด ์ฐธ์กฐ์์ โ๋ฏธ๋ฆฌ ์ ํ ๋ฌธํฑโ๋ณด๋ค ๋ฒ์ด๋๋ ์ถ์ข ์คํจ์ ๋ฒ์ ์ ์ค๋ค. ์๊ฐ ์ด๊ณผยทํด๋ฆฝ ์๋ฃ๋ก ์ธํ ์ข ๋ฃ๋ ๋ฒํ์ง ์๋๋ค. ๊ฐ์ค์น w์ ์คํจ ๋ฌธํฑ์ ๊ฐ์ ๋ ผ๋ฌธ์ ์๋ค(์๋ ์ฝ๋ ๋์กฐ์์ ํ์ธ).
์์ ๊ตฌ์กฐ: ์๋ณ actor-critic (ยงIII-C)
๊ธฐ์กด RL ๋ฆฌํ๊ฒํ ์ actor-critic ํ ์์ด ๋ ์์ ํจ๊ป ์ ์ดํ๊ณ ๋ ์ ๋ณด์์ ํฉ์ผ๋ก ํ์ตํ๋ค. ๊ทธ๋ฌ๋ฉด ๊ฒฐ๊ณผ๊ฐ ์ด๋ ์ ํ์ธ์ง ์ ์ฉ ํ ๋น์ด ์ด๋ ต๋ค. FlashDexRetarget์ ์๋ง๋ค (\pi_{\theta_h},Q_{\phi_h}) ์์ ๋๊ณ ๊ฐ์ ์๊ธฐ ๋ณด์ r^h_t๋ก ํ์ตํ๋ค. ๋จ, ๊ด์ธก์ ์์ ์ํ๋ฅผ ํฌํจํ ์ ์ฒด \mathbf{s}_{i,t}๋ฅผ ๋ ๋ค ๋ฐ๋๋ค(Eq. 8).
\mathbf{a}^h_t\sim\pi_{\theta_h}(\cdot\mid\mathbf{s}_{i,t}),\qquad \mathbf{a}_t=(\mathbf{a}^{\mathrm{left}}_t,\mathbf{a}^{\mathrm{right}}_t)
์ ์ฒด ๊ด์ธก์ ์ฃผ๋ ์ด์ ๋ ํ ์์ด ๋ค๋ฃจ๋ ๋ฌผ์ฒด๊ฐ ๋ค๋ฅธ ์์ ๋ฌผ์ฒด์ ๋ฟ๊ฑฐ๋ ๊ตฌ์ํ๋ ์ํธ์์ฉ ๋๋ฌธ์ด๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก ๋ ์์ โ๊ด์ธก์ ๊ณต์ , ๋ณด์๊ณผ ๊ฐ์น๋ ๋ถ๋ฆฌโ๋ ํ๋ ฅ ์์ด์ ํธ๊ฐ ๋๋ค.

์ ์ฑ ๊ฒฐ๊ณผ(Fig. 2): ์๋ฎฌ๋ ์ด์ ์์ FlashDexRetarget์ด ์์ฑํ ๋ก๋ด ์กฐ์ ์ค๋ ์ท. ๋๊ตฌ ์ฌ์ฉ(๊ตญ์ยท์ฃผ๊ฑฑยท์๊ฐ๋ฝ), ์ฉ๊ธฐ ๋ค๋ฃจ๊ธฐ(๋จธ๊ทธยท๋ณยทํต), ์ผ์ ๋ฌผ์ฒด(๋ฃจ๋น ์ค ํ๋ธยทํค๋ณด๋ยท์ฃผ์ค ํฉ) ๋ฑ ์๋ก ๋ค๋ฅธ ๋ฌผ์ฒด ํ์๊ณผ ์-๋ฌผ์ฒด ๋ฐฐ์น๋ฅผ ํ ์ ์ฑ ์ด ๋ค๋ฃฌ๋ค.
ํ๋ก์ ํธ ํ์ด์ง์ โOne policy, many motionsโ ๊ทธ๋ฆฌ๋: 50๋ชจ์ ๋ฒค์น๋งํฌ(XHand)์์ ๋จ์ผ ์ ์ฑ ์ ์ฑ๊ณต ๋กค์์.
ํ์ต๊ธฐ: ํฌ๊ฒ ํค์ด off-policy (ยงIII-D)
PPO ๊ฐ์ on-policy ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฑ ์ ๋ฐ์ดํธ๋ง๋ค ์ ์ด๋ฅผ ๋ฒ๋ฆฐ๋ค. ์ ์๋ค์ off-policy์ธ FlashSAC์ ์ฑํํ๊ณ , multi-reference๊ฐ ๋ง๋๋ ๋์ ์ํ ๋ถํฌ๋ฅผ ๊ฐ๋นํ๋๋ก replay buffer 10M โ 50M, critic ์๋ ํญ 256 โ 1024๋ก ํค์ ๋ค. FlashSAC(arXiv:2604.04539, RSS 2026)์ Donghu KimยทYoungdo LeeยทI Made Aswin NahrendraยทJaegul ChooยทHojoon Lee ๋ฑ ์ด ๋ ผ๋ฌธ๊ณผ ์ ์๊ฐ ๊ฒน์น๋ Holiday Robotics ์ชฝ ์๊ณ ๋ฆฌ์ฆ์ด๋ค. ๋ ผ๋ฌธ์ ์ด ๋ ์ซ์ ์ธ์ ํ์ต ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ์ ์ง ์๋๋ค.
๊ณต๊ฐ ์ฝ๋์์ ๋์กฐ (์ฝ๊ธฐ ์ ์ฉ, ์คํ ๊ฒ์ฆ ์๋)
๊ณต๊ฐ ๋ ํฌ
Holiday-Robot/FlashDexRetarget์ ์ปค๋ฐ7919f8a(2026-10-04)๋ฅผ ์ฝ๊ธฐ ์ ์ฉ์ผ๋ก ์ด์ด ๋ ผ๋ฌธ ยงIII์ ๋์กฐํ๊ณ , ๋ณ๋์ ์ ์ ์ฝ๋ ๋ถ์(๋น๊ณต๊ฐ ์คํ ๋ ํฌ์ ์ฝ๋ ๋ ธํธ)๊ณผ ํญ๋ชฉ๋ณ๋ก ๊ต์ฐจ ํ์ธํ๋ค. ์๋ ๋ด์ฉ์ ๋ชจ๋ ์ ์ ํ์ธ์ด๋ค. Isaac Sim์์ ์คํํด ๊ฒ์ฆํ ๊ฒ์ด ์๋๊ณ , ์ ์๊ฐ ๋ ผ๋ฌธ ์์น๋ฅผ ๋ธ ์ฝ๋๊ฐ ์ด ๋ฐฐํฌ๋ณธ๊ณผ ๊ฐ๋ค๋ ๋ณด์ฅ๋ ์๋ค. โ์ฝ๋โ ์ด์ ๋ฐฐํฌ๋ณธ ๊ธฐ๋ณธ ์ค์ ์ ๊ฐ์ด๋ค.
| ํญ๋ชฉ | ๋ ผ๋ฌธ | ๊ณต๊ฐ ์ฝ๋ (๊ธฐ๋ณธ ์ค์ ) | ํ์ |
|---|---|---|---|
| ์ ๊ตฐ / SDF | โ๊ท ๋ฑ ์ํโ 128์ , 128^3 voxel, 60 cm ์ ์ก๋ฉด์ฒด | ๋ฉ์ ์ ์ 2048๊ฐ ์ farthest point sampling์ผ๋ก 128์ (๋ฌผ์ฒด๋ณ 1ํ ์บ์), grid_n: 128, grid_extent: 0.30(ยฑ0.30 m) |
๊ฐ์ยทSDF ์ผ์น, ์ํ๋ง ๋ฐฉ์์ ํํ ์ฐจ์ด |
| ๋ฌผ์ฒด ๋ณด์ | top-k=3, \rho=0.058 m, \sigma_{\mathrm{obj}}=0.1 m | topk: 3, norm_radius: 0.058, scale 10 (=1/0.1) |
์ผ์น |
| ์ํธ์์ฉ ๋ณด์ | \exp(-\max(0,d-d^{\mathrm{ref}})/0.01) ๋ค์ฏ ์๋ ํ๊ท | tracking_ref_mano_tip_distance_bound_exp, sigma=0.01, ๋์ผ ์ |
์ผ์น |
| ๋ฏธ๋ ์ธ์ฝ๋ | K=10, 128์ฐจ์ โtemporal encoderโ | traj_encoder: conv1d, n_future: 10, latent_dim: 128, 2์ธต |
์ผ์น(๊ตฌ์กฐ๋ ์ฝ๋๊ฐ ๋ ๊ตฌ์ฒด์ ) |
| ํ์ต๊ธฐ ์ฉ๋ | buffer 50M, critic ํญ 1024 | buffer_max_length: 50_000_000, critic_hidden_dim: 1024, actor ํญ 128, critic 101-bin ๋ถํฌํ |
์ผ์น |
| ๋ณด์ ๊ฐ์ค์น | ๋ฏธ๊ธฐ์ฌ | obj 1.0, int 0.3, ์๋ชฉ ์์นยทํ์ ๊ฐ 0.15, ์๋ ์์น 0.3, ๊ด์ BC 0.3, ํ๋ โ0.01, ์ข ๋ฃ โ100. ์๋ณ ๋ณด์์ผ๋ก ๋๋ ๋ ๊ฐ ํญ์ ์ ๋ฐ ๊ฐ์ค์น๋ก ์์์ ๋ณต์ ๋๊ณ ์ข ๋ฃ ๋ฒ์ ๋ง ๊ทธ๋๋ก๋ค | ๋ ผ๋ฌธ์ ์์ |
| ํ๋ ๊ณต๊ฐ | โ๋ก๋ด ํ๋ \mathbf{a}_tโ | ์ฐธ์กฐ ๊ธฐ์ค ์์ฐจ(์๋ชฉ ์์น ์์ฐจ ์ค์ผ์ผ 0.1, ์๋ชฉ ํ์ 1.0, ์๊ฐ๋ฝ์ ๊ด์ ๋ฒ์ ์ ๋๊ฐ) + ์๋ชฉ 5 Hz ์ ์ญํต๊ณผ | ๋ ผ๋ฌธ์ ์์ |
| actor ๊ด์ธก | ์ํยท์ ๊ตฐยทSDF ๊ฑฐ๋ฆฌ/๋ฒ์ ยท๋ฏธ๋ ์ ์ฌ | ์์ ๋ํด ๋งํฌ๋ณ ์ ์ด wrench์ ์ ์ด ์์น(robot_body_contact_wrench_wrist ๋ฑ). actorยทcritic ๊ด์ธก ๋ชฉ๋ก์ ๊ฐ๊ณ ์ค์ ๋ก๋ ๋์นญ์ด๋ค(asymmetric_observation: true๊ฐ ์ ํ ์์ง๋ง share_actor_critic_obs: true ๋๋ฌธ์ ๋น๋ ์ false๋ก ๊ฐ์ ๋๋ค) |
์ ์ด๋ ฅ ๊ด์ธก์ ๋ ผ๋ฌธ ์์ ์ ๋๋ฝ |
| ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ | ์ธ๊ธ ์์ | ๋ฌผ์ฒด๋ฅผ ์ฐธ์กฐ๋ก ๋์ด๋น๊ธฐ๋ PD ์ธ๋ ฅ(xfrc pin, kp_init 80) + ๋ณด์ยท์๋ฃ์จ ๊ธฐ๋ฐ ์ ์ํ ๊ฐ์ ์ปค๋ฆฌํ๋ผ. ์์ฃผ์จ์ด ๋จ์ด์ง๋ฉด ์ด๋์ ๋ค์ ์ฌ๋ฆฌ๋ dialback ๋จ๊ณ๋ ์๋ค |
๋ ผ๋ฌธ์ ์์ |
| ํ๊ฐ | โ์ฑ๊ณต ๋กค์์์ด ์ ์ฅ๋๋ฉด ๋์ ์ฑ๊ณตโ | 20M step๋ง๋ค ๋ชจ๋ ํด๋ฆฝ์ ์ฒซ ํ๋ ์๋ถํฐ ๊ฒฐ์ ๋ก ์ ์ผ๋ก 1ํ ๋กค์์. ํ๊ฐ ์ค์ ์ข
๋ฃ์กฐ๊ฑดยท์ปค๋ฆฌํ๋ผยท๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ์ ๋๋ค(ํ๊ฐ ์ง์
์ฝ๋์ ํ๋์ฝ๋ฉ. ํ๊ฐ yaml์ disable_object_pin ๋ฑ ํค 4๊ฐ๋ ์ฝ๋๊ฐ ์ฝ์ง ์๋๋ค). ํด๋ฆฝ ์ค์ฐจ์ ์๊ฐ ํ๊ท ์ด ๋ฌธํฑ ์์ด๋ฉด ์ฑ๊ณต |
์์ ๋ณด๋ค ๊ตฌ์ฒด์ , ๋ชจ์ ์์ |
| ์กฐ๊ธฐ ์ข ๋ฃ | โ๋ฏธ๋ฆฌ ์ ํ ๋ฌธํฑโ | ๋ฌผ์ฒด๊ฐ ์ฐธ์กฐ๋ณด๋ค z๋ก 10 cm ์ด์ ์๋๋ก ๋ด๋ ค๊ฐ(3D ์์น ์ดํ ํญ์ ์์ผ๋ ๋นํ์ฑ), ์๋ 0.2 m ์ดํ(์ฒ์ 15 step ์ ์ธ), ์ํผ์๋ ๋์ ๋ฌผ์ฒด ๋ณด์์ด 0.6ยทk ๋ฏธ๋ง(5 step๋ง๋ค ์ ๊ฒ, k๋ ๊ฒฝ๊ณผ step) ๋ฑ | ๋ฌผ์ฒด ๊ธฐ์ค์ ๋ ผ๋ฌธ ์์ ๊ณผ ๋ค๋ฅด๊ณ , ๋์ ๋ณด์ ๋ฆฌ์ ์ ๋ ผ๋ฌธ์ ์์ |
| step ์์ฐ | XHand 300M, Sharpa 400M | ๊ธฐ๋ณธ num_env_steps 500M, ๋ชจ๋ ํด๋ฆฝ์ด ํต๊ณผํ๋ฉด ์กฐ๊ธฐ ์ค๋จ |
์คํ๋ณ override ํ์ |
| ๋ฉ๋ชจ๋ฆฌ | RTX 3090์์ ์คํ | ๋ ํฌ ๋ฌธ์ ๊ธฐ์ค(์ค์ธก ์๋) 50M buffer = 88 GB. ๊ธฐ๋ณธ(GPU buffer) ์ฝ 110 GB GPU ๋ฉ๋ชจ๋ฆฌ, CPU buffer๋ก ๋๋ฆฌ๋ฉด GPU ์ฝ 16 GB + ํธ์คํธ RAM ์ฝ 100 GB | ๋ ผ๋ฌธ์ ์์ |
| ํด๋ฆฝ ์ถ์ฒจ | ์ฐธ์กฐ๋ฅผ ๋ฝ์ ๋ณ๋ ฌ ํ๊ฒฝ์ ๋ฐฐ์ | ํ๊ฒฝ๋ง๋ค ๋ฌผ์ฒด slot์ ๊ณ ์ ํ๊ณ ๊ทธ ๋ฌผ์ฒด์ ํด๋ฆฝ๋ค ์ค ๊ท ๋ฑ ์ถ์ฒจ, ์์ ํ๋ ์๋ ๊ท ๋ฑ(RSI). ์คํจ ํด๋ฆฝ์ ์ฐ์ ๋ฝ๋ ์ฅ์น๋ ์๋ค | ์ผ์น(์ธ๋ถ๋ ์ฝ๋์๋ง) |
| ์ด๋ธ๋ ์ด์ ยท๋ฒ ์ด์ค๋ผ์ธ | Fig. 3, Table I | PPO ํ์ต ์ค์ , ๋ฒ ์ด์ค๋ผ์ธ 3์ข
, ๋ฏธ๋ ์กฐ๊ฑด ์ ๊ฑฐ ์ค์ ์ด ๋ ํฌ์ ์๋ค. traj_encoder.enable=false๋ง์ผ๋ก๋ ์์ ๋ฏธ๋ ์ฐฝ์ด ๊ด์ธก์ ๊ณ์ ๋ถ์ด โ๋ฏธ๋ ์กฐ๊ฑด ์ ๊ฑฐโ๊ฐ ๋์ง ์๋๋ค |
์ฌํ ๊ฒฝ๋ก ์์ |
๊ฐ์ฅ ์ค์ํ ๊ฒ์ ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ๋ผ์ด๋ค. ํ์ต ์ด๊ธฐ์ ๋ฌผ์ฒด๋ฅผ ์ฐธ์กฐ ๊ถค์ ์ชฝ์ผ๋ก ๋์ด๋น๊ธฐ๋ ์ธ๋ ฅ์ ๊ฑธ๊ณ , ๋ณด์๊ณผ ํด๋ฆฝ ์๋ฃ์จ์ด ๋ฌธํฑ์ ๋์ ๋๋ง๋ค ์ด๋์ ์ค์ฌ ๊ฐ๋ ์ฅ์น๋ก, DexMachina์ virtual object controller์ ๊ฐ์ ๊ณ์ด์ ์์ด๋์ด๋ค. ๋ ผ๋ฌธ์ ๊ด๋ จ ์ฐ๊ตฌ์์ DexMachina๋ฅผ โ๋ฌผ์ฒด ๋ณด์กฐ๋ฅผ ์ ์ง์ ์ผ๋ก ์ค์ธ๋คโ๊ณ ์๊ฐํ๋ฉด์ ์๊ธฐ ๋ฐฉ๋ฒ์๋ ๊ฐ์ ์ฅ์น๊ฐ ์๋ค๋ ์ฌ์ค์ ์ ์ง ์๋๋ค. ์ด๋์ ํ ๋ฐฉํฅ์ผ๋ก๋ง ์ค์ง ์๋๋ค. ์์ฃผ์จ์ด ๋จ์ด์ง๋ฉด ๋ค์ ์ฌ๋ฆฌ๋ dialback ๋จ๊ณ๊ฐ ์์ด์, ํ์ต์ด ํ๋ค๋ฆด ๋๋ง๋ค ๋ณด์กฐ๋ฅผ ๋๋๋ ค ์ฃผ๋ ํ๋ฃจํ ์ปค๋ฆฌํ๋ผ์ด๋ค. ๋คํํ ์ฝ๋์ ์ฑ๊ณต ํ์ ์ฉ ํ๊ฐ ๋กค์์์์๋ ๋ณด์กฐ๋ ฅ์ 0์ผ๋ก ์ง์ฐ๊ณ ๋์ ๋๋ฆฌ๋ฏ๋ก, ์ ์ฅ๋ ๊ถค์ ์ด ๋ณด์กฐ๋ ฅ์ ๊ธฐ๋ ์ฑ๊ณตํ ๊ฒ์ ์๋๋ค. ํ์ง๋ง ์ด ์ฅ์น๊ฐ ํ์ต ์๋์ ์ผ๋ง๋ ๊ธฐ์ฌํ๋์ง๋ ์ด๋ธ๋ ์ด์ (Fig. 3)์ ์๋ค. โ์ด๋ ์ค๊ณ๊ฐ ํจ์จ์ ๋ง๋ค์๋๊ฐโ๋ฅผ ๋ฌป๋ RQ2์ ๋ต์ด ๋ถ์์ ํ ์ ์ด๋ค.
์ง๊ด: ์ ํ ์ ์ฑ ์ด ์์ฐ๋ณ ์ ์ฑ ๋ณด๋ค ์ธ๊ฒ ๋จนํ๋๊ฐ
์์ฐ๋ณ RL์ ๋งค๋ฒ โ์๊ฐ๋ฝ์ ๋ฌผ์ฒด์ ๊ฐ๋ค ๋๊ณ , ์ฅ๊ณ , ๋ค๊ณ , ๋๋ฆฌ๋โ ๊ธฐ์ด ๊ธฐ์ ์ ์ฒ์๋ถํฐ ๋ค์ ๋ฐฐ์ด๋ค. 50๊ฐ ์์ฐ์ด๋ผ๋ฉด ์ด ๊ณตํต ๋ถ๋ถ์ 50๋ฒ ๋ฐฐ์ฐ๋ ์ ์ด๋ค. ํ ์ ์ฑ ์ด ๋ชจ๋ ์์ฐ์ ํจ๊ป ๋ฐฐ์ฐ๋ฉด ๊ณตํต ๊ธฐ์ ์ ํ ๋ฒ๋ง ๋ฐฐ์ฐ๊ณ , ์์ฐ๋ง๋ค ๋ค๋ฅธ ๋ถ๋ถ(๋ฌผ์ฒด ๋ชจ์, ๊ฒฝ๋ก)๋ง ๊ด์ธก ์กฐ๊ฑด์ผ๋ก ๋ถ๊ธฐํ๋ฉด ๋๋ค. Fig. 5์ ์ค์ผ์ผ๋ง ๊ณก์ ์ด ์ด ์ง๊ด์ ์ ๋์ผ๋ก ๋ณด์ฌ ์ค๋ค. ๊ฐ์ 60 GPU-h์์ 1,000๋ชจ์ ์งํฉ์ 600๊ฐ ๋จ์ง, 200๋ชจ์ ์งํฉ์ 160๊ฐ ๋จ์ง์ ๋ณํํ๋ค(๊ทธ๋ฆผ ํ๋ ๊ทผ์ฌ์น, ์๋ RQ3). ์์ฐ์ ๋ ๋ฃ์์๋ก ๋ณํ ์ฒ๋ฆฌ๋(์๊ฐ๋น ์ฑ๊ณต ๊ฐ์)์ด ์ค๋ฅธ๋ค.
์ด ๊ทธ๋ฆผ์ด ์ฑ๋ฆฝํ๋ ค๋ฉด ์ ์ฑ ์ด ์์ฐ๋ค์ ๊ตฌ๋ถํ ์ ์์ด์ผ ํ๊ณ (์ ๊ตฐยท๋ฏธ๋ ์ฐธ์กฐ), ์๋ก ๋ค๋ฅธ ์์ฐ์์ ์จ ๊ฒฝํ์ด ์๋ก๋ฅผ ๋ฐฉํดํ๊ธฐ๋ณด๋ค ๋์์ผ ํ๋ค. ํ์๋ฅผ ๋ ๋ฐ์น๋ ๊ฒ์ด off-policy ์ฌ์ฌ์ฉ์ด๋ค. PPO๋ ๋ฐฉ๊ธ ๋ชจ์ ๋ฐฐ์น๋ง ์ฐ๊ณ ๋ฒ๋ฆฌ๋ฏ๋ก 50๊ฐ ์์ฐ์ด ์์ธ ๋ฐฐ์น์์ ๊ฐ ์์ฐ์ ์ ํธ๊ฐ ํฌ์๋๋ค. replay buffer๋ ์ค๋์ ๋ค๋ฅธ ์์ฐ์์ ์ป์ ์ฑ๊ณต ๊ฒฝํ์ ๊ณ์ ๋ค์ ์ฐ๊ฒ ํด ์ค๋ค. ์ด๋ธ๋ ์ด์ ์์ buffer๋ฅผ 10Mโ50M๋ก ๋๋ฆฐ ๊ฒ๋ง์ผ๋ก 34%โ60%๊ฐ ๋ ๊ฒ์ โ๊ฒฝํ์ ์ค๋ ๋ณด๊ดํ๋ ๊ฒโ ์์ฒด๊ฐ multi-reference์ ํต์ฌ ์์์ด๋ผ๋ ํด์๊ณผ ๋ง๋๋ค.
์ํธ์์ฉ ๋ณด์์ ๋จ๋ฐฉํฅ ์ค๊ณ๋ ๊ฐ์ ๋งฅ๋ฝ์์ ์ดํดํ ์ ์๋ค. ์ฌ๋ ์๊ณผ ๋ก๋ด ์์ ๋ชจ์์ด ๋ฌ๋ผ์ ์๋-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ๋ฅผ ์ ํํ ๋ง์ถ๋ ๊ฒ์ ์ ์ด์ ๋ถ๊ฐ๋ฅํ๊ฑฐ๋ ๋ถํ์ํ๋ค. โ์ต์ํ ์ฌ๋๋งํผ์ ๋ถ์ด๋ผโ๋ ์กฐ๊ฑด์ ํํ ์ฐจ์ด๋ฅผ ํก์ํ ์ฌ์ ๋ฅผ ๋จ๊ธฐ๋ฉด์ โ์ฅ๋ ์๊ฐ๋ฝ์ ์ค์ ๋ก ๋ฟ์์ผ ํ๋คโ๋ ํต์ฌ๋ง ๊ฐ์ ํ๋ค.
์คํ
์ ์ (ยงIV-A)
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ๋ฐ์ดํฐ | TACOยทOakInk2(๋ ๋ฌผ์ฒด), HOT3D(ํ ๋ฌผ์ฒด). CHORD์ ์ ์ฒ๋ฆฌ ์ ์ฐจ๋ฅผ ๋ฐ๋ฆ. ์๋ ๋ฌผ์ฒด๋ ์์ง์ด์ง ์๋ ๋นํ์ฑ ํด๋ฆฝ์ ์ฌ์ํ ์ฑ๊ณต์ ๋ง๊ธฐ ์ํด ์ ์ธ |
| ์ฃผ ๋ฒค์น๋งํฌ | 50๋ชจ์ = ํ ๋ฌผ์ฒด 25 + ๋ ๋ฌผ์ฒด 25 |
| ๋ก๋ด ์ | XHand, Sharpa Wave Hand(์ ์ด ์ฐจ์์ด ๋ ๋์) |
| ๋ฒ ์ด์ค๋ผ์ธ | Do as I Do(๊ณต๊ฐ ๊ตฌํ), CHORD(๊ณต๊ฐ ๊ตฌํ, PPO ํ์ต), DexMachina(์์ ํ๋ ์ ๋์ ์ฐธ์กฐ ๊ถค์ ์ ์์ ์ํ์์ ์ด๊ธฐํํ๋๋ก ์์ ). DexMachina๋ XHand์์๋ง ๋ณด๊ณ |
| ์ค์ผ์ผ๋ง | 200 / 500 / 1,000๋ชจ์ , ํ ๋ฌผ์ฒดยท๋ ๋ฌผ์ฒด ๋น์จ์ ๋๋ต ๊ท ํ |
| ์๋ฎฌ๋ ์ดํฐยทGPU | Isaac Sim, NVIDIA RTX 3090 |
| ํ์ต ์์ฐ | XHand 300M env step, Sharpa 400M, ์ด๋ธ๋ ์ด์ 300M, ์ค์ผ์ผ๋ง 600M |
์งํ. ์ธ ๊ฐ์ง ์ฑ๊ณต๋ฅ ์ ์ด๋ค.
| ์งํ | ์ถ์ฒ | ๊ธฐ์ค | ๋น๊ณ |
|---|---|---|---|
| \mathrm{SR}_{\mathrm{MT}} | ManipTrans | ๋ฌผ์ฒด 3 cmยท30ยฐ, ์๋ 6 cm, ์ ๊ด์ 8 cm | ๊ฐ์ฅ ์๊ฒฉ |
| \mathrm{SR}_{\mathrm{MT\text{-}Obj}} | ๋ณธ ๋ ผ๋ฌธ | \mathrm{SR}_{\mathrm{MT}}์ ๋ฌผ์ฒด ์กฐ๊ฑด๋ง | ์ด๋ธ๋ ์ด์ ๊ณผ ๋์ ์ฑ๊ณต ์ง๊ณ์ ์ฌ์ฉ |
| \mathrm{SR}_{\mathrm{SPIDER}} | SPIDER | ๋ฌผ์ฒด 10 cmยท0.5 rad, ํ์ฑ ์๋ค์ ๋ฌผ์ฒด ์ค์ฐจ๋ฅผ ํ๊ท | ํ ๋ฌผ์ฒด๊ฐ ๊ฑฐ์ ์ ์งํ ์์ฐ์์ ์ฑ๊ณต์ ๊ณผ๋ํ๊ฐํ ์ ์๋ค๊ณ ์ ์๊ฐ ์ง์ ๋ช ์ |
MOPEยทMORE(ํ๊ท ๋ฌผ์ฒด ์์นยทํ์ ์ค์ฐจ)๋ \mathrm{SR}_{\mathrm{SPIDER}}๋ฅผ ํต๊ณผํ ๊ถค์ ๋ค์ ๋ํด์๋ง ์ฐ๋ค.
์ฐ์ฐ ๋น์ฉ ์ง๊ณ. ์์ฐ๋ณ ๋ฒ ์ด์ค๋ผ์ธ์ ์ฃผ๊ธฐ์ ์ผ๋ก ํ๊ฐํด ์ฑ๊ณต ๋กค์์์ด ์ฒ์ ๋์ค๋ฉด ๊ทธ ์์ฐ์ ํ์ต์ ๋ฉ์ถ๊ณ ๊ทธ๋๊น์ง์ GPU ์๊ฐ์ ๊ธฐ๋กํ๋ฉฐ, ์คํจํ ์์ฐ์ ์ ์ฒด ๋น์ฉ์ ํฉ์ฐํ๋ค. FlashDexRetarget์ ๊ณ ์ step ์์ฐ๊น์ง์ ์ด GPU ์๊ฐ์ ๋ณด๊ณ ํ๊ณ , ํ์ต ์ค ์ด๋ ์์ ์ด๋ \mathrm{SR}_{\mathrm{MT\text{-}Obj}}๋ฅผ ๋ง์กฑํ๋ ๋กค์์์ด ์ ์ฅ๋ ์์ฐ์ ์ฑ๊ณต์ผ๋ก ๋์ ์ง๊ณํ๋ค.
RQ1: ์ฑ๊ณต๋ฅ ๊ณผ ์ฐ์ฐ (ยงIV-B, Table I)
| ์ | ๋ฐฉ๋ฒ | ๋ฐฉ์ | SRSPIDER โ | SRMT-Obj โ | SRMT โ | MOPE (mm) โ | MORE (rad) โ | GPU-h โ |
|---|---|---|---|---|---|---|---|---|
| XHand | Do as I Do | Single | 0.36 | 0.04 | 0.00 | 47.32 | 0.28 | 66 |
| XHand | DexMachina | Single | 0.48 | 0.32 | 0.12 | 37.49 | 0.29 | 447 |
| XHand | CHORD | Single | 0.46 | 0.02 | 0.00 | 55.70 | 0.16 | 2,847 |
| XHand | FlashDexRetarget | Multi | 0.90 | 0.86 | 0.86 | 10.95 | 0.25 | 29 |
| Sharpa | Do as I Do | Single | 0.64 | 0.10 | 0.10 | 58.33 | 0.24 | 62 |
| Sharpa | CHORD | Single | 0.50 | 0.22 | 0.00 | 60.07 | 0.19 | 3,314 |
| Sharpa | FlashDexRetarget | Multi | 0.86 | 0.80 | 0.80 | 16.45 | 0.32 | 44 |
XHand์์ FlashDexRetarget์ \mathrm{SR}_{\mathrm{SPIDER}}๋ก ๋ชจ๋ ๋ฒ ์ด์ค๋ผ์ธ๋ณด๋ค 42%p ์ด์ ๋๊ณ (0.90 vs ์ต๊ณ 0.48. ๋ณธ๋ฌธ์ โ์ ์ด๋ 40%pโ), GPU ์๊ฐ์ Do as I Do์ ์ฝ 1/2.3(66 vs 29), CHORD์ ์ฝ 1/98(2,847 vs 29)์ด๋ค. ์๊ฒฉํ \mathrm{SR}_{\mathrm{MT}}์์๋ ์ฐจ์ด๊ฐ ๋ ๋ฒ์ด์ ธ 86% vs DexMachina 12%, Do as I DoยทCHORD 0%๋ค. Sharpa์์๋ ๊ฐ์ ๊ฒฝํฅ์ด๋ค(86% vs 64%ยท50%, \mathrm{SR}_{\mathrm{MT}} 80% vs 10%ยท0%). Sharpa์์ CHORD ๋๋น ์ฐ์ฐ ๋น์จ์ 3,314/44 โ 75๋ฐฐ๋ก, โ์ฝ 100๋ฐฐโ๋ XHand ์ชฝ ์์น๋ค.
ํ๋ฅผ ๊ผผ๊ผผํ ๋ณด๋ฉด ๋์ ๋๋ ์ ์ด ๋ ๊ฐ์ง ์๋ค.
- FlashDexRetarget์ \mathrm{SR}_{\mathrm{MT\text{-}Obj}}=\mathrm{SR}_{\mathrm{MT}}๋ค(0.86=0.86, 0.80=0.80). ๋ฌผ์ฒด ์กฐ๊ฑด์ ํต๊ณผํ ์์ฐ์ ์ ๋ถ ์ ์กฐ๊ฑด๋ ํต๊ณผํ๋ค. ์ ์ถ์ข ๋ณด์๊ณผ BC ํญ์ด ๊ฐํ๊ฒ ๊ฑธ๋ ค ์๊ณ , ํ๋์ด ์ฐธ์กฐ ๊ธฐ์ค ์์ฐจ๋ก ์ ์๋ผ ์์ผ๋(์ฝ๋ ๋์กฐ) ์์ด ์ฐธ์กฐ์์ ํฌ๊ฒ ๋ฒ์ด๋๊ธฐ ์ด๋ ค์ด ๊ตฌ์กฐ์ ๋ง๋๋ค. ๋ฐ๋๋ก ๋ฒ ์ด์ค๋ผ์ธ์ \mathrm{SR}_{\mathrm{SPIDER}}์ \mathrm{SR}_{\mathrm{MT\text{-}Obj}} ์ฌ์ด๊ฐ ํฌ๊ฒ ๋ฒ์ด์ง๋ค(CHORD XHand 0.46 โ 0.02). ๋ฒ ์ด์ค๋ผ์ธ์ ์ฑ๊ณต ์๋น์๊ฐ 10 cmยท0.5 rad์ ๋์จํ ํ๊ท ๊ธฐ์ค์์๋ง ์ฑ๋ฆฝํ๋ค๋ ๋ป์ด๋ค.
- MORE(ํ์ ์ค์ฐจ)๋ FlashDexRetarget์ด ๊ฐ์ฅ ์ข์ง ์๋ค. XHand 0.25 rad๋ก CHORD 0.16๋ณด๋ค ํฌ๊ณ , Sharpa์์๋ 0.32๋ก ์ธ ๋ฐฉ๋ฒ ์ค ๊ฐ์ฅ ํฌ๋ค. ๋ฐ๋ฉด MOPE(์์น)๋ 10.95 mm๋ก ์๋์ ์ด๋ค. ๋ณธ๋ฌธ์ MORE๋ฅผ ์ธ๊ธํ์ง ์๋๋ค. ์ ๊ตฐ ๋์์ ๋ณด์์ด ์์นยทํ์ ์ โ๊ณตํต ๋จ์โ๋ก ๋ฌถ๋๋ค๋ ์ค๊ณ์ ๋ถ์์ฉ์ผ ์ ์๋ค. ์ ๋ค์ ๋ฌผ์ฒด ํฌ๊ธฐ์ ๋ฌด๊ดํ๊ฒ ๋ฐ์ง๋ฆ \rho=5.8 cm๋ก ์ ๊ทํ๋์ง๋ง ์์น ์ค์ฐจ๋ ์ ๊ทํ๋์ง ์์ผ๋ฏ๋ก, ๋ฐ์ง๋ฆ์ด 5.8 cm๋ณด๋ค ํฐ ๋ฌผ์ฒด์์๋ ๊ฐ์ ํ์ ์ค์ฐจ๊ฐ ๋ณด์์์ ์ค์ ํ๋ฉด ๋ณ์๋ณด๋ค ์๊ฒ ๋งค๊ฒจ์ง๋ค(์ด ํด์์ ๋ฆฌ๋ทฐ์ด ์ถ๋ก ์ด๊ณ ๋ ผ๋ฌธ์ด ๊ฒ์ฆํ ๊ฒ์ ์๋๋ค). ๋ MOPEยทMORE๋ ๊ฐ ๋ฐฉ๋ฒ์ด ์ฑ๊ณตํ ๊ถค์ ๋ค๋ง์ผ๋ก ๊ณ์ฐํ๋ฏ๋ก, ์์ฐ ์งํฉ์ด ๋ฐฉ๋ฒ๋ง๋ค ๋ฌ๋ผ(FlashDexRetarget 45๊ฐ vs CHORD 23๊ฐ, XHand) ์๋ฐํ ๋์ผ ์กฐ๊ฑด ๋น๊ต๋ ์๋๋ค.
RQ2: ์ด๋ธ๋ ์ด์ (ยงIV-C, Fig. 3)

์ด๋ธ๋ ์ด์ (Fig. 3): 50๋ชจ์ ๋ฒค์น๋งํฌ์์ 300M env step ๋์ SRMT-Obj๋ฅผ ๋ง์กฑํ ๋์ ์์ฐ ์. (a) ๋ฏธ๋ ์ฐธ์กฐ ์ธ์ฝ๋ฉ, (b) ์ ๊ตฐ(PCD)ยท์ํธ์์ฉ(Int) ๋ณด์(๋์ ๊ด์ธก๊ณผ ํจ๊ป ์ ๊ฑฐ), (c) ํตํฉ vs ์๋ณ actor-critic, (d) PPOยท๊ธฐ๋ณธ FlashSACยทํฐ bufferยทํฐ buffer+ํฐ critic.
๊ทธ๋ฆผ์์ ์ฝ์ 300M step ์์ ์ ๋์ ์ฑ๊ณต ์์ฐ ์(50๊ฐ ์ค)๋ฅผ ํ๋ก ์ฎ๊ธฐ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค. (d)์ 34%ยท60%ยท86%๋ ๋ณธ๋ฌธ ์์น์ ์ผ์นํ๋ค.
| ์ถ | ๋ณํ | ๋์ ์ฑ๊ณต(/50) | ๋น์จ |
|---|---|---|---|
| ์ ์ฒด | FlashDexRetarget (full) | 43 | 86% |
| (a) ๊ด์ธก | w/o K future latent | 38 | 76% |
| (b) ๋ณด์ | w/o Int | 36 | 72% |
| (b) ๋ณด์ | w/o PCD | 33 | 66% |
| (b) ๋ณด์ | w/o PCD & Int | 15 | 30% |
| (c) ๊ตฌ์กฐ | Unified actor-critic | 33 | 66% |
| (d) ํ์ต๊ธฐ | FlashSAC + ํฐ buffer(50M) | 30 | 60% |
| (d) ํ์ต๊ธฐ | FlashSAC ๊ธฐ๋ณธ(10M, 256) | 17 | 34% |
| (d) ํ์ต๊ธฐ | PPO | 1 | 2% |
(ํ์ ์์น๋ Fig. 3์์ ์ฝ์ ๊ทผ์ฌ์น์ด๋ฉฐ, (d)์ ์ธ ๋น์จ๋ง ๋ณธ๋ฌธ์ ๋ช ์๋ผ ์๋ค.)
ํด์์ ์ด๋ ๋ค.
- ํ์ต๊ธฐ๊ฐ ์ง๋ฐฐ์ ์ด๋ค. PPO โ ๊ธฐ๋ณธ FlashSAC โ ํฐ buffer โ ํฐ critic์ด 1 โ 17 โ 30 โ 43์ผ๋ก ๊ฐ์ฅ ํฐ ํญ์ ๋ง๋ ๋ค. ์ ์๋ค๋ โ๊ฐ์ฅ ๋๋๋ฌ์ง ์ฐจ์ดโ๋ผ๊ณ ์ด๋ค.
- ์ ๊ตฐ๊ณผ ์ํธ์์ฉ ๋ณด์์ ์๋ก๋ฅผ ๋ณด์ํ๋ค. ๋ ์ค ํ๋๋ง ๋นผ๋ฉด 33~36, ๋ ๋ค ๋นผ๋ฉด 15๋ก ๊ธ๋ฝํ๋ค. ํ๋๋ง ๋น ์ก์ ๋์ ์์ค ํฉ(7+10=17)๋ณด๋ค ๋ ๋ค ๋บ์ ๋์ ์์ค(28)์ด ์ปค์, ๋ ์ ํธ๊ฐ ์ผ๋ถ ๋์ฒด ๊ด๊ณ์ ์๋ค๋ ๊ฒ์ ์์ฌํ๋ค.
- ๋ฏธ๋ ์ฐธ์กฐ ์ธ์ฝ๋ฉ๊ณผ ์๋ณ actor-critic์ ์ต์ข ๊ฐ์์์ 5~10๊ฐ ์ฐจ์ด๋ฅผ ๋ธ๋ค. (c)์ ํตํฉ actor-critic์ ํ์ต ์ด๋ฐ ๊ณก์ ๋ถํฐ ๋ฆ๋ค.
- ๋ชจ๋ ๋ณํ์ full ๊ตฌ์ฑ์์ ํ๋์ฉ ๋นผ๋ ๋ฐฉ์์ด๋ค. ํ์ต๊ธฐ๋ฅผ ๊ธฐ๋ณธ FlashSAC์ผ๋ก ๋๊ณ ๋๋จธ์ง๋ฅผ ๋บ์ ๋์ ํจ๊ณผ๋ ์ ์ ์๋ค.
RQ3: ๋ ํฐ ์ฐธ์กฐ ์งํฉ์ผ๋ก (ยงIV-D, Fig. 5)

์ค์ผ์ผ๋ง(Fig. 5): 200ยท500ยท1,000๋ชจ์ ์งํฉ์ ๋ํ ๊ณต์ ์ ์ฑ ์ ๋์ ์ฑ๊ณต ๋ณํ ์, ํ์ต ์ฒ์ 60 GPU-h ๊ตฌ๊ฐ. ๊ฐ์ GPU ์๊ฐ์์ ๋ ํฐ ์งํฉ์ด ๋ ๋ง์ด ๋ณํํ๋ค.
์ธ ์ค์ ๋ชจ๋ 600M step ์์ฐ์ผ๋ก ํ์ตํ๊ณ , ๊ณตํต ์ถ ๋น๊ต๋ฅผ ์ํด ์ฒ์ 60 GPU-h๋ง ๊ทธ๋ ธ๋ค. ๊ทธ๋ฆผ์์ ์ฝ์ผ๋ฉด 60 GPU-h ์์ ์ 1,000๋ชจ์ ์ ์ฝ 617๊ฐ, 500๋ชจ์ ์ ์ฝ 334๊ฐ, 200๋ชจ์ ์ ์ฝ 164๊ฐ๋ฅผ ๋ณํํ๋ค(๊ทผ์ฌ์น. ํ๋ก์ ํธ ํ์ด์ง๋ 1,000๋ชจ์ ์ โ600+โ๋ก ์ ๋๋ค). ์ ๋ ๊ฐ์๋ ์งํฉ ํฌ๊ธฐ์ ํจ๊ป ์ปค์ง์ง๋ง ๋ณํ ๋น์จ์ ๊ฑฐ๊พธ๋ก ์ค์ด๋ ๋ค(์ฝ 82% โ 67% โ 62%). ์ ์ ์ฃผ์ฅ(โ๋ ํฐ ์งํฉ์ด ๊ฐ์ ์ฐ์ฐ์ผ๋ก ๋ ๋ง์ ์์ฐ์ ๋ณํโ)์ ์ ํํ ์ ๋ ๊ฐ์์ ๋ํ ๊ฒ์ด๊ณ , ๊ทธ ๋ฒ์์์๋ ๋ง๋ค. ์ฒ๋ฆฌ๋์ผ๋ก ๋ณด๋ฉด 1,000๋ชจ์ ์ ์ฝ 10๊ฐ/GPU-h๋ก, 50๋ชจ์ ์คํ(43๊ฐ/29 GPU-h โ 1.5๊ฐ/GPU-h)๋ณด๋ค ํจ์ฌ ๋๋ค. ๋ค๋ง 1,000๋ชจ์ ๊ณก์ ์ 60 GPU-h์์๋ ์์ง ์ค๋ฅด๋ ์ค์ด๋ผ ์ต์ข ๋ณํ ๋น์จ์ ๋ณด๊ณ ๋์ง ์์๋ค.
RQ4: ์ค์ธ๊ณ ์ฌ์ (ยงIV-E, Fig. 4)

์ค์ธ๊ณ ๊ฒ์ฆ(Fig. 4): ๋ฆฌํ๊ฒํ ๋ ๊ถค์ ์ ์ค์ ๋ก๋ด์์ ์ฌ์. ์๋ถํฐ ๋ณด๋ ๋ฆ๊ธฐ, ํฌ์ ๋ถ๊ธฐ, ๋๊ป ๋ซ๊ธฐ.
๋ ผ๋ฌธ ๋ณธ๋ฌธ์ โ์ฑ๊ณตํ ๊ถค์ ์ ๋ฌผ๋ฆฌ ๋ก๋ด์์ ์ฌ์ํ๊ณ ์ฌ๋ฌ ๊ณผ์ ๋ฅผ ์์ํ๋คโ๊ณ ๋ง ์ด๋ค. ๋ก๋ด ๊ธฐ์ข , ์ํ ํ์, ์ฑ๊ณต๋ฅ , ์ฌ์์ ์ด ๊ถค์ ์ด ๋ฒค์น๋งํฌ 50๋ชจ์ ์์ ์๋์ง๋ ๋ณธ๋ฌธ์ ์๋ค. ์ด ๊ณต๋ฐฑ์ ์ผ๋ถ๋ ํ๋ก์ ํธ ํ์ด์ง๊ฐ ์ฑ์ด๋ค. ๊ฑฐ๊ธฐ์๋ ์ค์ธ๊ณ ๊ณผ์ ์ ์ด ์ฌ๋ ์์ฐ์ด ์๋ก ์ง์ ์บก์ฒํ ์์ฐ์ด๊ณ , ์ฌ์ํ ํ๋์จ์ด๊ฐ ๋ก๋ด ํ + XHand์ด๋ฉฐ, ์ด ์คํ์ด ํ๋ฃจํ๋ก ๋ฐฐํฌํ ์ ์ฑ ์ด ์๋๋ผ ์๋ฎฌ๋ ์ด์ ์ฑ๊ณต ๊ถค์ ์ ์ฌ์์ด๋ผ๊ณ ๋ช ์ํ๋ค. Fig. 4๋ฅผ ๋ณด๋ฉด ํ ํยทํ ์ ๊ตฌ์ฑ์ด๋ผ ์ธ ๊ณผ์ ๋ชจ๋ ํ ์ ๊ณผ์ ๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ๋ฌธ์ ์ค์ ์์ฒด๊ฐ ๊ธฐ์ฌ๋ค. โ๋ฆฌํ๊ฒํ ์ ์ฐ์ถ๋ฌผ์ ๊ถค์ โ์ด๋ผ๋ ๊ด์ ์์ ์ ์ฑ ์ ๋ฐ์ดํฐ ์์ฑ๊ธฐ๋ก๋ง ์ฐ๊ณ , ์ฑ๊ณต ๊ธฐ์ค์ ํ์ต ์ ๊ตฌ๊ฐ ๋์ ์ผ๋ก ์ก์ ๊ฒ์ ๋ฐ์ดํฐ ์์ฑ์ด๋ผ๋ ๋ชฉ์ ์ ์ ์งํ๊ฒ ๋ง์ถ ์ค๊ณ๋ค. ๋น์ฉ ์ง๊ณ ๋ฐฉ์(๋ฒ ์ด์ค๋ผ์ธ์ ์ฒซ ์ฑ๊ณต ์ ์ ์ง, ์คํจ ์ ์ ๋น์ฉ ํฉ์ฐ)๋ ๋ฒ ์ด์ค๋ผ์ธ์ ๋ถ๋ฆฌํ์ง ์๊ฒ ์ ์๋ผ ์๋ค.
- ๋ณด์ ์ค๊ณ๊ฐ ์์ง๋ง ์ ํํ๋ค. ๋์์ ๊ธฐ๋ฐ ๋ฌผ์ฒด ๋ณด์์ \rho๋ฅผ ์ฑ๊ณต ๋ฌธํฑ(3 cm โ๏ธ 30ยฐ)์์ ์ญ์ฐํด ๋ณด์๊ณผ ํ๊ฐ ๊ธฐ์ค์ ๊ฐ์ ๊ธฐํ๋ก ๋ฌถ์๊ณ (์ฐ์ ๋ก ํ์ธ๋จ), ๋จ๋ฐฉํฅ ๊ฑฐ๋ฆฌ ๋ณด์์ ์ฌ๊ตฌ์ฑ ์์ฐ์ ๋ ์๋ ์๊ฐ๋ฝยท๊ดํต์ ๋ ๋ค ์ฐ์ํ๊ฒ ์ฒ๋ฆฌํ๋ค. ๋ ๋ค ๊ณต๊ฐ ์ฝ๋์ ๋ ผ๋ฌธ ์ ๊ทธ๋๋ก ๋ค์ด ์๋ค.
- ์ด๋ธ๋ ์ด์ ์ด RQ์ ์ ํํ ๋ง๋ฌผ๋ฆฐ๋ค. ์๋ก ์ ๋ค ๊ฐ์ง ์ด๋ ค์ โ ๋ค ์ค๊ณ โ Fig. 3์ ๋ค ํจ๋์ด 1:1๋ก ๋์ํ๊ณ , (b)๋ ๋ ์ฑ๋ถ์ ๊ฐ๊ฐยท๋์์ ๋นผ ๋ณด์ ๊ด๊ณ๊น์ง ๋ณด์ฌ ์ค๋ค.
- ์ค์ผ์ผ๋ง ๊ณก์ ์ด ์ฃผ์ฅ์ ํต์ฌ์ ์ง์ ๋ณด์ฌ ์ค๋ค. ์ฒ๋ฆฌ๋์ด ์งํฉ ํฌ๊ธฐ์ ํจ๊ป ๋์ด๋๋ค๋ ๊ฒ์ multi-reference์ ์กด์ฌ ์ด์ ์ด๊ณ , 1,000๋ชจ์ ์์ ์ฝ 10๊ฐ/GPU-h๋ผ๋ ์ฒ๋ฆฌ๋์ ์์ฐ๋ณ ๋ฐฉ๋ฒ์ผ๋ก๋ ๋๋ฌํ๊ธฐ ์ด๋ ค์ด ์์น๋ค.
- ์ฌํ ์๋ฃ๊ฐ ์ถฉ์คํ๋ค. MIT ์ฝ๋, ๋ฐ์ดํฐ์ ๋ณ ์ ์ฒ๋ฆฌ ์คํฌ๋ฆฝํธ(TACOยทOakInk2ยทHOT3D), GPU ๋ฉ๋ชจ๋ฆฌ ๊ฐ์ด๋, ์ฑ๊ณต ๊ถค์ ๋ทฐ์ด๊น์ง ๊ณต๊ฐ๋๋ค. ๋ ผ๋ฌธ์ ์๋ ํ์ดํผํ๋ผ๋ฏธํฐ ๋๋ถ๋ถ์ ์ฝ๋์์ ๋ณต์ํ ์ ์๋ค.
์ฝ์ ยทํ๊ณ
- โ์ฝ 100๋ฐฐโ๋ ์ฃผ๋ก PPO ๋ FlashSAC ๋น๊ต๋ค. CHORD ์์น๋ PPO๋ก ํ์ตํ๋ CHORD ๊ณต๊ฐ ๊ตฌํ์์ ๋์๋ค(Fig. 1 ์บก์
, ยงIV-A). ๊ทธ๋ฐ๋ฐ CHORD ๋
ผ๋ฌธ v2 Appendix B๋ CHORD๋ฅผ FlashSAC, 2,048 ํ๊ฒฝ, L40S 1์ฅ์์ ์ํ์ค๋น ์ฝ 2์๊ฐ์ผ๋ก ํ์ตํ๋ค๊ณ ์ ๋๋ค(CHORD ๋ฆฌ๋ทฐ์์ ๋ค๋ฃฌ ๊ฐ๊ทน์ด๋ค). ๋น์ ๊ณต๊ฐ ๋ ํฌ์๋ PPO๋ง ์์๊ณ , ์ ์ ์ธก์ FlashSAC ๊ฐ์ ๊ตฌํ์ 2026๋
9์ ๊ณต๊ฐ ๋ชฉํ๋ก ๋ฐํ๋ค. ์ค์ ๋ก
nvidia-isaac/video_to_data์๋ 2026-09-23 ๋ฆด๋ฆฌ์ค(v0.4.0)๋ถํฐ FlashSAC์ ํฌํจํ โFlashCHORDโ๊ฐ ๋ค์ด๊ฐ ์๋ค(์ด ๋ฆฌ๋ทฐ ์์ฑ ์์ ํ์ธ). FlashDexRetarget v1 ์ ์ถ(10-01) 8์ผ ์ ์ด๋ผ ์ ์๋ค์ด ์คํ์ ์ฐ๊ธฐ๋ ์ด๋ ค์ ์ ๊ฒ์ด๋ค. ๊ทธ๋ผ์๋ ๊ฒฐ๊ณผ์ ์ผ๋ก Table I์ CHORD ํ์ CHORD ๋ ผ๋ฌธ์ด ๋ณด๊ณ ํ ํ์ต ์ค์ ์ด ์๋๋ค. ๊ฐ์ ๋ ผ๋ฌธ์ Fig. 3(d)์์ PPO๊ฐ multi-reference ์ค์ 300M step์ ๊ฑฐ์ 0์ด์๋ค๋ ์ ์ ์๊ฐํ๋ฉด, 2,847 GPU-h์ ์๋น ๋ถ๋ถ์ โ์์ฐ๋ณ vs ๊ณต์ โ๊ฐ ์๋๋ผ โPPO vs FlashSACโ์ ์ฐจ์ด์ผ ๊ฐ๋ฅ์ฑ์ด ๋๋ค. ๊ฑฐ์น ์ํ ์ถ์ ์ผ๋ก, CHORD ์๊ธฐ ๋ณด๊ณ ๊ฐ(2 h ร 50 ์์ฐ โ 100 L40S-h)์ ์ฐ๋ฉด ์ฐ์ฐ ๊ฒฉ์ฐจ๋ ์ฝ 3๋ฐฐ ์์ค์ด๋ค(GPU ๊ธฐ์ข ์ด ๋ฌ๋ผ ๋์ผ ๋น๊ต๋ ์๋๋ค). โ์์ฐ๋ณ FlashSAC ๋ ๊ณต์ FlashSACโ์ด๋ผ๋ ๊ฐ์ฅ ๊ณต์ ํ ๋น๊ต, ์ฆ FlashDexRetarget ์์ฒด๋ฅผ ์์ฐ๋ณ๋ก ๋๋ฆฐ ๋ฒ ์ด์ค๋ผ์ธ์ด ์๋ค๋ ๊ฒ์ด ์ด ๋ ผ๋ฌธ์ ๊ฐ์ฅ ํฐ ๋น์นธ์ด๋ค. - ํค๋๋ผ์ธ ์ฑ๊ณต๋ฅ ์ ์ ์๊ฐ ์ค์ค๋ก โ๊ณผ๋ํ๊ฐ๋ ์ ์๋คโ๊ณ ํ ์งํ๋ค. ์ด๋กยท์๋ก ์ โ90%โ์ โ44%p ํฅ์โ์ \mathrm{SR}_{\mathrm{SPIDER}} ๊ธฐ์ค์ธ๋ฐ, ยงIV-A๋ ์ด ์งํ๊ฐ ํ ๋ฌผ์ฒด๊ฐ ๊ฑฐ์ ์ ์งํ ์์ฐ์์ ์ฑ๊ณต์ ๊ณผ๋ํ๊ฐํ ์ ์์ด์ ์ด๋ธ๋ ์ด์ ์๋ \mathrm{SR}_{\mathrm{MT\text{-}Obj}}๋ฅผ ์ด๋ค๊ณ ๋ฐํ๋ค. ์คํ๋ ค \mathrm{SR}_{\mathrm{MT\text{-}Obj}} ๊ธฐ์ค(0.86 vs CHORD 0.02)์ด FlashDexRetarget์ ๋ ์ ๋ฆฌํ๋ฐ๋, ํค๋๋ผ์ธ์ ๋ฒ ์ด์ค๋ผ์ธ ๋น๊ต์ฉ ๊ด๋ก ์งํ๋ก ์กํ ์๋ค. ๋ ์๋ ๋ ์งํ๋ฅผ ํจ๊ป ์ฝ์ด์ผ ํ๋ค.
- โ๋จ์ผ ์ ์ฑ ์ด 90%๋ฅผ ๋ฆฌํ๊ฒํ ํ๋คโ๋ ๋ฌธ์ฅ์ ๋์ ์ง๊ณ๋ฅผ ์๋ตํ๋ค. ์ฑ๊ณต์ ํ์ต ์ ๊ตฌ๊ฐ์ ๊ฑธ์น ํฉ์งํฉ์ด๋ค. ์ฝ๋์ 20M step๋ง๋ค ๋ชจ๋ ์์ฐ์ ํ ๋ฒ์ฉ ํ๊ฐํ๋ฏ๋ก, 300M step์ด๋ฉด 15๊ฐ ์ฒดํฌํฌ์ธํธ ์ค ์ด๋ ํ๋๋ผ๋ ์ฑ๊ณตํ๋ฉด ๊ทธ ์์ฐ์ ์ฑ๊ณต์ด๋ค. ๋ฐ์ดํฐ ์์ฑ์ด ๋ชฉ์ ์ด๋ผ ์ ๋นํ ์ง๊ณ์ง๋ง, ์ต์ข ์ ์ฑ ํ๋๊ฐ ๋์์ ๋ช %๋ฅผ ์ฑ๊ณต์ํค๋์ง๋ ๋ณด๊ณ ๋์ง ์๋๋ค. ๋ฒ ์ด์ค๋ผ์ธ๋ โ์ฒซ ์ฑ๊ณต ์ ์ ์งโ๋ผ ๊ฐ์ any-success ์ง๊ณ์ด๊ธด ํ๋, ์์ฐ๋ณ ํ๊ฐ ๋น๋ยท๋กค์์ ์๊ฐ ๋ฐฉ๋ฒ ์ฌ์ด์ ๊ฐ์์ง๋ ์ ํ ์์ง ์๋ค.
- ํ์ ์ ๋ฐ๋ ์ด์ธ๊ฐ ๋ณธ๋ฌธ์์ ๋ค๋ค์ง์ง ์๋๋ค. MORE๋ ๋ ์ ๋ชจ๋์์ CHORD๋ณด๋ค ๋์๊ณ Sharpa์์๋ ์ ์ฒด ์ตํ์(0.32 rad)๋ค. ๋ฐ์ดํฐ ํ์ง ๊ด์ ์์๋ ์๋ฏธ ์๋ ์ฝ์ ์ธ๋ฐ ยงIV-B๋ ์ฑ๊ณต๋ฅ ๊ณผ GPU ์๊ฐ๋ง ๋ ผํ๋ค.
- ๋ ผ๋ฌธ๋ง์ผ๋ก๋ ์ฌํ ๋ถ๊ฐ๋ฅํ ์ค๊ณ๊ฐ ์ฝ๋์ ์๋ค. ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ๋ผ, ์ฐธ์กฐ ๊ธฐ์ค ์์ฐจ ํ๋, actor์ ์ ์ด wrench ๊ด์ธก, ์กฐ๊ธฐ ์ข ๋ฃ ๊ท์น, ๋ณด์ ๊ฐ์ค์น๊ฐ ์ ๋ถ ๋ ผ๋ฌธ์ ์๋ค. ํ๊ฐ์์ ๋ณด์กฐ๋ ฅ์ ๋๋ฏ๋ก ๊ฒฐ๊ณผ์ ์ ๋น์ฑ์ ํด์น์ง๋ ์์ง๋ง, ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ๋ผ์ DexMachina์ ํต์ฌ ๊ธฐ๋ฒ์ด๊ณ ํ์ต ํจ์จ์ ์ง์ ์ํฅ์ ์ค ์ฅ์น๋ผ์ ์ด๋ธ๋ ์ด์ ์์ด ๋น ์ ธ ์๋ ๊ฒ์ด RQ2์ ์ค๋ช ๋ ฅ์ ๊น๋๋ค.
- ๋
ผ๋ฌธ ์คํ์ ์ฌํํ ์ค์ ์ด ๋ ํฌ์ ์๋ค. ๊ณต๊ฐ ์ฝ๋๋ FlashDexRetarget ๋ณธ ๊ตฌ์ฑ๋ง ๋ด๊ณ ์๋ค. Fig. 3(d)์ PPO ํ, Fig. 3(a)์ ๋ฏธ๋ ์กฐ๊ฑด ์ ๊ฑฐ, Table I์ ๋ฒ ์ด์ค๋ผ์ธ 3์ข
์ ์ค์ ๋ ์คํ ์ฝ๋๋ ์์ด์, ํค๋๋ผ์ธ ๋น๊ต์ ํต์ฌ ์ด๋ธ๋ ์ด์
์ ์ 3์๊ฐ ๊ฐ์ ์ฝ๋๋ก ๋ค์ ๋ผ ์ ์๋ค(์ ์ ํ์ธ). ๊ทธ ๋ฐ์ ํจ๊ณผ ์๋ ์ค์ ๋ ์์ฌ ์๋ค.
gravity_curriculum์ Isaac ๋ฐฑ์๋์์ ์ค์ ๋ฌผ๋ฆฌ์ ๋ฟ์ง ์๋ ๊ฐ์ฒด๋ฅผ ์์ ํ๊ณ , Sharpa ์์ฐ README๋ ์ถฉ๋ ๋ฉ์๋ฅผ ์บก์๋ก ๋ฐ๊ฟจ๋ค๊ณ ์ ์ง๋ง MJCFยทURDF์ ์บก์ ํ์์ 0๊ฑด์ด๋ค. - ํต๊ณ์ ๊ทผ๊ฑฐ๊ฐ ์๋ค. ์๋ ์ยท๋ฐ๋ณต ์คํยท์ค์ฐจ ๋ฒ์๊ฐ ๋ ผ๋ฌธ ์ ์ฒด์ ์๋ค(โseedโ๋ผ๋ ๋จ์ด ์์ฒด๊ฐ ๋ณธ๋ฌธ์ ์๋ค). Fig. 3์ ๊ณก์ ์ฐจ์ด ์ค ์ผ๋ถ(์: (a) 43 vs 38)๋ 50๊ฐ ์์ฐ์์ 5๊ฐ ์ฐจ์ด๋ผ ๋จ์ผ ์คํ์ ๋ถ์ฐ ์์ ์์ ์ ์๋ค.
- ํ๋์จ์ด ์๊ตฌ๊ฐ ์์ ๊ณผ ์ด๊ธ๋ ๋ณด์ธ๋ค. ์คํ GPU๋ RTX 3090(24 GB)์ธ๋ฐ ๋ฐฐํฌ ์ค์ ์ 50M replay๋ ๋ ํฌ ๋ฌธ์ ๊ธฐ์ค 88 GB๋ค(์ค์ธก ์๋). ์ฝ๋ ๊ฐ์ด๋๋๋ก๋ผ๋ฉด 3090์์๋ CPU์ buffer๋ฅผ ๋๊ณ ํธ์คํธ RAM ์ฝ 100 GB๊ฐ ํ์ํ๋ค. โ29 GPU-hโ๋ GPU ์๊ฐ๋ง ์ผ ๊ฐ์ด๊ณ , ์ด๋ฐ ํธ์คํธ ์์ ๋น์ฉ์ ๋น๊ต์ ๋ค์ด๊ฐ์ง ์๋๋ค.
- ์ค์ธ๊ณ ๊ฒ์ฆ์ ์ ์ฑ์ ์ด๊ณ ๋ฒ์๊ฐ ์ข๋ค. ์ํ ์ยท์ฑ๊ณต๋ฅ ์ด ์๊ณ , ํ ํยทํ ์ ๊ณผ์ 3๊ฐ๋ฟ์ด๋ฉฐ, ๋ฒค์น๋งํฌ ์์ฐ์ด ์๋๋ผ ์๋ก ์บก์ฒํ ์์ฐ์ด๋ค. ์๋ฎฌ๋ ์ด์ ์ ์์ ์๋ชฉ์ด ์์ ๋กญ๊ฒ ๋ ๋ค๋๋ ๊ตฌ์ฑ์ธ๋ฐ ์ด๋ฅผ ์ค์ ๋ก๋ด ํ๋ก ์ด๋ป๊ฒ ์ฎ๊ฒผ๋์ง(ํ IK ๋ฑ)๋ ๋ณธ๋ฌธ์ ์๋ค. ์ ์ฑ ์ ๋ฌผ์ฒด ์์ธยทSDFยท์ ์ด๋ ฅ ๊ฐ์ ํน๊ถ ์ ๋ณด๋ฅผ ์ฐ๋ฏ๋ก ๊ทธ๋๋ก ๋ฐฐํฌํ ์ ์๊ณ , ์ ์๋ ๊ฒฐ๋ก ์์ ์ด๋ฅผ ํ๊ณ๋ก ์ธ์ ํ๋ฉฐ teacher-student ์ฆ๋ฅ๋ฅผ ํ์ ๊ณผ์ ๋ก ๋ ๋ค.
- ์ผ๋ฐํ๋ ๋ฒ์ ๋ฐ์ด๋ค. ์ ์ฑ ์ ํ์ตํ ์์ฐ ์งํฉ๋ง ์ถ์ข ํ๋ค. ๋ณด์ง ์์ ์์ฐยท๋ฌผ์ฒดยท๋ก๋ด ์์ผ๋ก์ ์ผ๋ฐํ๋ ๊ฒฐ๋ก ์ ํฅํ ๊ณผ์ ๋ก ๋จ๊ฒจ ๋์๋ค. ๋ํ ์ ์๋ค์ด ๋ฐํ๋ฏ ๋น๊ต์ ๊นจ๋ํ ๋ชจ์บก ๊ถค์ ๊ณผ ์ ํํ ๋ฌผ์ฒด ๊ธฐํ๊ฐ ์ ์ ๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
์ด ๋ธ๋ก๊ทธ์ ๊ธฐ์กด ๋ฆฌ๋ทฐ์ ์ฎ์ผ๋ฉด ์์น๊ฐ ๋ถ๋ช ํด์ง๋ค.
- ์์ฐ๋ณ RL ๋ฆฌํ๊ฒํ ๊ณ๋ณด: ManipTrans(์ฌ์ ํ์ต ์ ๋ชจ๋ฐฉ๊ธฐ ์ ์์ฐจ ํ์ต) โ DexMachina(๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ์ ์ ์ง์ ๊ฐ์ , ๊ธฐ๋ฅ์ ๋ฆฌํ๊ฒํ ) โ CHORD(contact wrench support๋ก ์ ์ด ํจ๊ณผ๋ฅผ ๋น๊ต). FlashDexRetarget์ ์ด๋ค์ ๋ณด์ ์์(์ ์ถ์ข , BC, ์คํจ ๋ฒ์ )์ DexMachina์ ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ๋ผ(์ฝ๋)์ ๋ฌผ๋ ค๋ฐ๋, ํ์ต ๋จ์๋ฅผ ์์ฐ ํ๋์์ ๋ฐ์ดํฐ์ ์ ์ฒด๋ก ๋ฐ๊พผ๋ค. CHORD์ contact wrench ๋ณด์ ๋์ ํจ์ฌ ๋จ์ํ ๋จ๋ฐฉํฅ ๊ฑฐ๋ฆฌ ๋ณด์์ ํํ ๊ฒ๋ ๋์กฐ์ ์ด๋ค.
- ์ํ๋ง ๊ธฐ๋ฐ ๊ณ๋ณด: SPIDER(๊ฐ์ ์ ์ด๋ ฅ์ผ๋ก ์ ๋ํ annealed sampling)์ ๊ทธ ํ์ฅ์ธ Do as I Do(๋น๋์ค ์ฌ๊ตฌ์ฑ + ๋ฌผ๋ฆฌ ์ ์ ). ์ ์ฑ ์ ํ์ตํ์ง ์์ ์์ฐ๋น ๋น์ฉ์ด ์์ง๋ง(Table I์์ 60 GPU-h๋), ์ ํ ์์ฐ ์์ ์ฑ๊ณต๋ฅ ์ด ๋ฎ๋ค. FlashDexRetarget์ ์ด ๊ณ์ด๋ณด๋ค GPU ์๊ฐ๋ ์ ๊ฒ ์ฐ๋ฉด์ ์ฑ๊ณต๋ฅ ์ ํฌ๊ฒ ์ฌ๋ ธ๋ค.
- multi-reference ์ถ์ข ์ ์ํ: ํด๋จธ๋ ธ์ด๋ ์ ์ ๋ชจ์ ์ SONIC์ด โ๋ชจ์ ์ถ์ข ์ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ํ๋์ ์ ์ฑ ์ผ๋กโ๋ฅผ ๋ณด์ฌ ์คฌ๋ค. FlashDexRetarget์ ๊ทธ ์์ด๋์ด๋ฅผ ๋ฌผ์ฒด ์ ์ด์ด ํต์ฌ์ธ ์์ฌ์ฃผ ์กฐ์์ผ๋ก ์ฎ๊ธฐ๋ฉฐ, ๋ฌผ์ฒด ๊ธฐํ(์ ๊ตฐยทSDF)์ ์๋ณ critic์ ๋ง๋ถ์๋ค. ๋ฆฌํ๊ฒํ ๋จ๊ณ์์ ์ํธ์์ฉ์ ๋ณด์กดํ๋ ค๋ ์๋๋ก๋ ํด๋จธ๋ ธ์ด๋ ์ชฝ์ OmniRetarget(interaction mesh ๊ธฐ๋ฐ ๊ธฐ๊ตฌํ ์ต์ ํ)๋ ๋๋นํด ๋ณผ ๋งํ๋ค. OmniRetarget์ ๋ฌผ๋ฆฌ ์์ด ๊ธฐ๊ตฌํ์ผ๋ก, FlashDexRetarget์ ๋ฌผ๋ฆฌ ์๋ฎฌ๋ ์ด์ ์์ RL๋ก ์ํธ์์ฉ์ ์งํจ๋ค.
- ํ์ต๊ธฐ: FlashSAC์ ์ ์ ์๋น์๊ฐ ๊ฒน์น๋ ๊ฐ์ ๊ทธ๋ฃน์ off-policy ์๊ณ ๋ฆฌ์ฆ์ด๊ณ , ์ด ๋ ผ๋ฌธ์ ์ฌ์ค์ โFlashSAC์ multi-reference ๋ฆฌํ๊ฒํ ์ ๋ง๊ฒ ํค์ด ์์ฉโ์ด๊ธฐ๋ ํ๋ค. ํ์ต๊ธฐ ์ด๋ธ๋ ์ด์ ํจ๊ณผ๊ฐ ๊ฐ์ฅ ํฌ๋ค๋ ๊ฒฐ๊ณผ๋ ์ด ๋ ผ๋ฌธ์ ๊ธฐ์ฌ ์ค ์๋น ๋ถ๋ถ์ด ํ์ต๊ธฐ์์ ์จ๋ค๋ ๊ฒ์ ๋ปํ๋ค.
์์ฝ
FlashDexRetarget์ ์์ฌ์ฃผ ๋ฆฌํ๊ฒํ ์ ์์ฐ๋ณ ์ต์ ํ์์ ์ฐธ์กฐ ์กฐ๊ฑด๋ถ ์ ์ฑ ํ๋์ ๊ณต์ ํ์ต์ผ๋ก ๋ฐ๊ฟจ๋ค. ๋ฌผ์ฒด ์ ๊ตฐยทSDF ๊ฑฐ๋ฆฌยท๋ฏธ๋ 10ํ๋ ์ ๊ด์ธก, ๋์์ ๋ฌผ์ฒด ๋ณด์๊ณผ ๋จ๋ฐฉํฅ ์๋ ๊ฑฐ๋ฆฌ ๋ณด์, ์๋ณ actor-critic, ํฌ๊ฒ ํค์ด FlashSAC์ ๋ฌถ์ด, 50๋ชจ์ ๋ฒค์น๋งํฌ์์ XHand \mathrm{SR}_{\mathrm{MT}} 86%(29 GPU-h), Sharpa 80%(44 GPU-h)๋ฅผ ์ป์๋ค. 1,000๋ชจ์ ์ผ๋ก ํค์ฐ๋ฉด 60 GPU-h์ 600๊ฐ ์ด์์ ๋ณํํด, ๋ฐ์ดํฐ์ ์ด ํด์๋ก ์ฒ๋ฆฌ๋์ด ์ค๋ฅธ๋ค๋ multi-reference์ ์ฝ์์ ์ ๋์ผ๋ก ๋ณด์๋ค.
ํ๊ณ๋ ๋ถ๋ช ํ๋ค. ํค๋๋ผ์ธ โ์ฝ 100๋ฐฐยท44%pโ๋ PPO๋ก ๋๋ CHORD ๊ณต๊ฐ ๊ตฌํ๊ณผ ์ ์ ์ค์ค๋ก ๊ณผ๋ํ๊ฐ ๊ฐ๋ฅ์ฑ์ ๋ฐํ \mathrm{SR}_{\mathrm{SPIDER}} ์์์ ๋์จ ์ซ์๋ค. ๋ฐ๋ผ์ โ๊ณต์ ํ์ตโ์ ์์ ํจ๊ณผ๋ฅผ ๋ถ๋ฆฌํ๋ ค๋ฉด ์์ฐ๋ณ FlashSAC ๋ฒ ์ด์ค๋ผ์ธ์ด ํ์ํ๋ค. ์ฝ๋์ ์๋ ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ๋ผยท์์ฐจ ํ๋ยท์ ์ด๋ ฅ ๊ด์ธก์ ๋ ผ๋ฌธ์ ์๊ณ , ์๋ยท์ค์ฐจ ๋ฒ์์ ์ค์ธ๊ณ ์ ๋ ๊ฒฐ๊ณผ๋ ์๋ค. ๊ทธ๋ผ์๋ โ๊ถค์ ์ด ๋ชฉ์ ์ด๋ฉด ์ ์ฑ ์ ๊ณต์ ํ๋ผโ๋ ๋ฉ์์ง์ ์ด๋ฅผ ๋ท๋ฐ์นจํ๋ ์ค์ผ์ผ๋ง ๊ณก์ ์ ์ฌ๋ ์ ๋ฐ์ดํฐ๋ฅผ ๋ก๋ด ๋ฐ์ดํฐ๋ก ๋๋ ๋ณํํ๋ ค๋ ํ๋ฆ์์ ์ฝ๊ฒ ์ฑํ๋ ๋งํ ๊ธฐ๋ณธ ๋ ์ํผ๋ฅผ ์ ์ํ๋ค.