Curieux.JY
  • JungYeon Lee
  • Post
  • ๐Ÿ•ธ๏ธ Graph
  • Lecture
  • Note

On this page

  • ๐Ÿ” Ping Review
  • ๐Ÿ”” Ring Review
    • ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด
    • ๋ฐฐ๊ฒฝ: ์™œ ์†์žฌ์ฃผ ๋ฆฌํƒ€๊ฒŒํŒ…์€ ๋น„์‹ผ๊ฐ€
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ
      • ์ •์‹ํ™” (ยงIII ์„œ๋‘)
      • ๊ด€์ธก: ๊ธฐํ•˜์™€ ์ƒํ˜ธ์ž‘์šฉ์„ ๋ณด์ด๊ฒŒ ํ•˜๊ธฐ (ยงIII-A)
      • ๋ณด์ƒ: ๋‹จ์œ„๋ฅผ ํ†ต์ผํ•˜๊ณ , ์žฌ๊ตฌ์„ฑ ์˜ค์ฐจ๋ฅผ ์šฉ์„œํ•˜๊ธฐ (ยงIII-B)
      • ์–‘์† ๊ตฌ์กฐ: ์†๋ณ„ actor-critic (ยงIII-C)
      • ํ•™์Šต๊ธฐ: ํฌ๊ฒŒ ํ‚ค์šด off-policy (ยงIII-D)
      • ๊ณต๊ฐœ ์ฝ”๋“œ์™€์˜ ๋Œ€์กฐ (์ฝ๊ธฐ ์ „์šฉ, ์‹คํ–‰ ๊ฒ€์ฆ ์•„๋‹˜)
    • ์ง๊ด€: ์™œ ํ•œ ์ •์ฑ…์ด ์‹œ์—ฐ๋ณ„ ์ •์ฑ…๋ณด๋‹ค ์‹ธ๊ฒŒ ๋จนํžˆ๋Š”๊ฐ€
    • ์‹คํ—˜
      • ์…‹์—… (ยงIV-A)
      • RQ1: ์„ฑ๊ณต๋ฅ ๊ณผ ์—ฐ์‚ฐ (ยงIV-B, Table I)
      • RQ2: ์–ด๋ธ”๋ ˆ์ด์…˜ (ยงIV-C, Fig. 3)
      • RQ3: ๋” ํฐ ์ฐธ์กฐ ์ง‘ํ•ฉ์œผ๋กœ (ยงIV-D, Fig. 5)
      • RQ4: ์‹ค์„ธ๊ณ„ ์žฌ์ƒ (ยงIV-E, Fig. 4)
    • ๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด
      • ๊ฐ•์ 
      • ์•ฝ์ ยทํ•œ๊ณ„
    • ๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€
    • ์š”์•ฝ

๐Ÿ“ƒFlashDexRetarget ๋ฆฌ๋ทฐ

dexterity
rl
retargeting
motion-tracking
off-policy
FlashDexRetarget: Accelerating Dexterous Manipulation Data Generation through Multi-Motion Retargeting
Published

October 7, 2026

  • Paper Link (arXiv:2610.01849v2)

  • Code (GitHub, MIT): ํ•™์Šต๊ธฐ๋Š” ์„œ๋ธŒ๋ชจ๋“ˆ Holiday-Robot/rsl_rl_flashsac. ๋ชจ์…˜ ๋ฐ์ดํ„ฐยทMANO๋Š” ํฌํ•จ๋˜์ง€ ์•Š๋Š”๋‹ค.

  • Project

  • Kyungmin Lee*, Sibeen Kim*, Dongyoon Hwang*, Yoonsang Oh*, Donghu Kim, Youngdo Lee, I Made Aswin Nahrendra, Jaegul Chooโ€ , Hojoon Leeโ€  (* ๋™๋“ฑ ๊ธฐ์—ฌ, โ€  ๊ต์‹ ์ €์ž)

  • KAIST AI ยท Holiday Robotics

  • arXiv preprint, 2026 (v1 2026-10-01, v2 2026-10-04. ์ด ๋ฆฌ๋ทฐ๋Š” v2 ๊ธฐ์ค€์ด๋ฉฐ ํ•™ํšŒ ์ฑ„ํƒ ์ •๋ณด๋Š” ์—†๋‹ค)

  1. ๐Ÿ’ก ์‚ฌ๋žŒ ์†-๋ฌผ์ฒด ์‹œ์—ฐ์„ ๋กœ๋ด‡ ์† ๊ถค์ ์œผ๋กœ ์˜ฎ๊ธฐ๋Š” ๋ฌผ๋ฆฌ ๊ธฐ๋ฐ˜ ๋ฆฌํƒ€๊ฒŒํŒ…์€ ์ง€๊ธˆ๊นŒ์ง€ ์‹œ์—ฐ ํ•˜๋‚˜์— ์ตœ์ ํ™”(๋˜๋Š” ์ •์ฑ…) ํ•˜๋‚˜๋ผ์„œ ๋น„์šฉ์ด ์‹œ์—ฐ ์ˆ˜์— ์„ ํ˜•์œผ๋กœ ๋Š˜์—ˆ๋Š”๋ฐ, FlashDexRetarget์€ ์ด๋ฅผ ์—ฌ๋Ÿฌ ์‹œ์—ฐ์„ ํ•œ ์ •์ฑ…์ด ๋™์‹œ์— ์ถ”์ข…ํ•˜๋Š” multi-reference tracking์œผ๋กœ ๋ฐ”๊ฟ” ํ•™์Šต ๋น„์šฉ์„ ๋ฐ์ดํ„ฐ์…‹ ์ „์ฒด์— ๋ถ„ํ•  ์ƒํ™˜ํ•œ๋‹ค.
  2. โš™๏ธ ๋ฌผ์ฒด ์ ๊ตฐยทSDF ๊ฑฐ๋ฆฌ ๊ด€์ธก๊ณผ ๋ฏธ๋ž˜ K=10 ํ”„๋ ˆ์ž„ ์ธ์ฝ”๋”ฉ์œผ๋กœ ์‹œ์—ฐ์„ ๊ตฌ๋ถ„ํ•˜๊ณ , ์ ๊ตฐ ๋Œ€์‘์  ๊ธฐ๋ฐ˜ ๋ฌผ์ฒด ์ถ”์ข… ๋ณด์ƒ๊ณผ โ€œ์‚ฌ๋žŒ ์†๋๋ณด๋‹ค ๋ฉ€์–ด์ง€์ง€๋งŒ ๋งˆ๋ผโ€๋Š” ๋‹จ๋ฐฉํ–ฅ ๊ฑฐ๋ฆฌ ๋ณด์ƒ์„ ์“ฐ๋ฉฐ, ์†๋ณ„(ๅทฆ/ๅณ) actor-critic์„ replay 50Mยทcritic ํญ 1024๋กœ ํ‚ค์šด FlashSAC์œผ๋กœ ํ•™์Šตํ•œ๋‹ค.
  3. ๐ŸŽฏ TACOยทOakInk2ยทHOT3D 50๊ฐœ ๋ชจ์…˜, XHand์—์„œ \mathrm{SR}_{\mathrm{SPIDER}} 0.90์„ 29 GPU-h๋กœ ๋‹ฌ์„ฑํ•ด CHORD ๊ณต๊ฐœ ๊ตฌํ˜„(0.46, 2,847 GPU-h) ๋Œ€๋น„ ์•ฝ 98๋ฐฐ ์ ์€ ์—ฐ์‚ฐ์„ ์ผ๋‹ค. 1,000๊ฐœ ๋ชจ์…˜์œผ๋กœ ํ‚ค์šฐ๋ฉด 60 GPU-h ์•ˆ์— 600๊ฐœ ์ด์ƒ์„ ๋ณ€ํ™˜ํ•œ๋‹ค(Fig. 5).

๐Ÿ” Ping Review

๐Ÿ” Ping โ€” A light tap on the surface. Get the gist in seconds.

์‚ฌ๋žŒ์ด ๋ฌผ์ฒด๋ฅผ ๋‹ค๋ฃจ๋Š” ๋ชจ์บก ๋ฐ์ดํ„ฐ(TACOยทOakInk2ยทHOT3D ๋“ฑ)๋Š” ์†์žฌ์ฃผ ๋กœ๋ด‡ ํ•™์Šต์˜ ๊ฐ’์‹ผ ์›์ฒœ์ด์ง€๋งŒ, ์‚ฌ๋žŒ ์† ๊ถค์ ์€ ๋กœ๋ด‡์ด ๊ทธ๋Œ€๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์—†๋‹ค. ๊ทธ๋ž˜์„œ ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ ์•ˆ์—์„œ ๋กœ๋ด‡ ์†์ด ์ž๊ธฐ ์ ‘์ด‰์œผ๋กœ ๋ฌผ์ฒด๋ฅผ ์‹œ์—ฐ๋Œ€๋กœ ์›€์ง์ด๊ฒŒ ๋งŒ๋“œ๋Š” ๋ฌผ๋ฆฌ ๊ธฐ๋ฐ˜ ๋ฆฌํƒ€๊ฒŒํŒ…์ด ํ•„์š”ํ•˜๋‹ค. ๊ธฐ์กด ๋ฐฉ๋ฒ•์€ ํฌ๊ฒŒ ๋‘ ๊ฐˆ๋ž˜๋‹ค. SPIDERยทDo as I Do์ฒ˜๋Ÿผ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋กค์•„์›ƒ์œผ๋กœ ํ–‰๋™ ์‹œํ€€์Šค๋ฅผ ์ƒ˜ํ”Œ๋ง ํƒ์ƒ‰ํ•˜๋Š” ์ชฝ๊ณผ, ManipTransยทDexMachinaยทCHORD์ฒ˜๋Ÿผ ์‹œ์—ฐ ํ•˜๋‚˜๋งˆ๋‹ค ์ถ”์ข… ์ •์ฑ…์„ RL๋กœ ํ•™์Šตํ•˜๋Š” ์ชฝ์ด๋‹ค. ๋‘˜ ๋‹ค ์‹œ์—ฐ๋งˆ๋‹ค ์ฒ˜์Œ๋ถ€ํ„ฐ ๋‹ค์‹œ ์ตœ์ ํ™”ํ•˜๋ฏ€๋กœ ๋ฐ์ดํ„ฐ์…‹์ด ์ปค์งˆ์ˆ˜๋ก ๋น„์šฉ๋„ ๊ทธ๋Œ€๋กœ ์ปค์ง„๋‹ค.

FlashDexRetarget์€ ํœด๋จธ๋…ธ์ด๋“œ ๋ชจ์…˜ ์ถ”์ข…(SONIC)์—์„œ ํšจ๊ณผ๋ฅผ ๋ณธ multi-reference tracking์„ ์†์žฌ์ฃผ ์กฐ์ž‘์— ๊ฐ€์ ธ์˜จ๋‹ค. ์‹œ์—ฐ ์ง‘ํ•ฉ ์ „์ฒด์—์„œ ์ฐธ์กฐ ๊ถค์ ์„ ๋ฝ‘์•„ ๋ณ‘๋ ฌ ํ™˜๊ฒฝ์— ๋‚˜๋ˆ  ์ฃผ๊ณ , ์ฐธ์กฐ ์กฐ๊ฑด๋ถ€ ์ •์ฑ… ํ•˜๋‚˜๋ฅผ ๋ชจ๋“  ์‹œ์—ฐ์— ๋Œ€ํ•ด ํ•จ๊ป˜ ํ•™์Šตํ•œ๋‹ค. ํ•™์Šต ์ค‘ ์„ฑ๊ณตํ•œ ๋กค์•„์›ƒ์€ ๊ทธ๋•Œ๊ทธ๋•Œ ๋กœ๋ด‡ ๋ฐ์ดํ„ฐ๋กœ ์ €์žฅ๋œ๋‹ค. ํ•ต์‹ฌ ์งˆ๋ฌธ์€ โ€œํ•œ ์ •์ฑ…์ด ๋ฌผ์ฒด ๋ชจ์–‘๋„, ์†-๋ฌผ์ฒด ๋ฐฐ์น˜๋„, ์–‘์† ์—ญํ• ๋„ ๋‹ค๋ฅธ ์ˆ˜์‹ญ~์ˆ˜์ฒœ ๊ฐœ ์‹œ์—ฐ์„ ๋™์‹œ์— ๋ฐฐ์šธ ์ˆ˜ ์žˆ๋Š”๊ฐ€โ€์ด๊ณ , ์ €์ž๋“ค์€ ๊ด€์ธกยท๋ณด์ƒยท๊ตฌ์กฐยทํ•™์Šต๊ธฐ ๋„ค ๊ตฐ๋ฐ๋ฅผ ์†๋ด์„œ ๊ทธ๋ ‡๋‹ค๊ณ  ๋‹ตํ•œ๋‹ค.


๊ฐœ์š”(Fig. 1): ์™ผ์ชฝ์€ N๊ฐœ ์ฐธ์กฐ ๋ชจ์…˜, ๊ฐ€์šด๋ฐ๋Š” ์‹œ์—ฐ๋งˆ๋‹ค ์ •์ฑ… N๊ฐœ๋ฅผ ๋‘๋Š” ๊ธฐ์กด ๋ฐฉ์‹๊ณผ ๋Œ€๋น„๋˜๋Š” ๋‹จ์ผ ์ •์ฑ… FlashDexRetarget, ์˜ค๋ฅธ์ชฝ์€ XHand 50๋ชจ์…˜ ๋ฒค์น˜๋งˆํฌ์˜ ์„ฑ๊ณต๋ฅ (SRSPIDER)๊ณผ ์ด GPU ์‹œ๊ฐ„(๋กœ๊ทธ ์ถ•). CHORD ์ ์€ PPO๋กœ ํ•™์Šตํ•˜๋Š” ๊ณต๊ฐœ ๊ตฌํ˜„์œผ๋กœ ์–ป์€ ๊ฐ’์ด๋ผ๊ณ  ์บก์…˜์ด ๋ฐํžŒ๋‹ค.

๊ณต์‹ ๋ณด์ถฉ ์˜์ƒ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ ํ˜ธ์ŠคํŒ…, ์•ฝ 32MB).

ํ•ต์‹ฌ ๋ฐฉ๋ฒ•๋ก :

๋ฐ์ดํ„ฐ์…‹ \mathcal{D}=\{\tau_i^{\mathrm{ref}}\}_{i=1}^{N}์˜ ์ฐธ์กฐ ๊ถค์ ์„ ๋ณ‘๋ ฌ ํ™˜๊ฒฝ์— ๋ฐฐ์ •ํ•˜๊ณ , ์ •์ฑ…์€ ํ˜„์žฌ ์ƒํƒœ์™€ ๋‹ค์Œ ์ฐธ์กฐ ์ƒํƒœ๋ฅผ ํ•จ๊ป˜ ๋ฐ›๋Š”๋‹ค(Eq. 2).

\mathbf{s}_{i,t}=\bigl(\mathbf{s}^{\mathrm{cur}}_{t},\,\mathbf{s}^{\mathrm{ref}}_{i,t+1}\bigr),\qquad \mathbf{a}_t\sim\pi_\theta(\cdot\mid\mathbf{s}_{i,t})

์ฐธ์กฐ ์ž…๋ ฅ์—๋Š” ๋‹ค์Œ ํ”„๋ ˆ์ž„ ์ƒํƒœ์™€ ํ•จ๊ป˜ t+1\ldots t+K (K=10) ๋ฏธ๋ž˜ ์ฐธ์กฐ๋ฅผ ์†๋ชฉ ์ขŒํ‘œ๋กœ ํ‘œํ˜„ํ•ด 128์ฐจ์›์œผ๋กœ ์••์ถ•ํ•œ \mathbf{z}^{\mathrm{ref}}_{i,t+1}=\mathrm{Enc}_\psi(\mathbf{x}^{\mathrm{ref}}_{i,t+1:t+K})๊ฐ€ ๋“ค์–ด๊ฐ„๋‹ค. ๋ณด์ƒ์€ ์†๋ณ„๋กœ ์ •์˜ํ•œ๋‹ค(Eq. 5).

r_t^h=w_{\mathrm{obj}}\,r_t^{\mathrm{obj},h}+w_{\mathrm{int}}\,r_t^{\mathrm{int},h}+w_{\mathrm{track}}\,r_t^{\mathrm{track},h}+w_{\mathrm{reg}}\,r_t^{\mathrm{reg},h}

๋ฌผ์ฒด ์ถ”์ข… r^{\mathrm{obj}}๋Š” ๋ฐ˜์ง€๋ฆ„ \rho=0.058 m๋กœ ์ •๊ทœํ™”ํ•œ ๋ฌผ์ฒด ํ‘œ๋ฉด 128์ ์˜ ๋Œ€์‘์  ์˜ค์ฐจ ์ค‘ ์ตœ์•… 3๊ฐœ์˜ ํ‰๊ท ์— \exp(-e/0.1)์„ ์”Œ์šด๋‹ค. ์ƒํ˜ธ์ž‘์šฉ ๋ณด์ƒ r^{\mathrm{int}}๋Š” ๋กœ๋ด‡ ์†๋์˜ SDF ๊ฑฐ๋ฆฌ d^{(f)}๊ฐ€ ์‚ฌ๋žŒ ์†๋ ๊ฑฐ๋ฆฌ d^{\mathrm{ref},(f)}๋ฅผ ๋„˜๋Š” ๋งŒํผ๋งŒ ๋ฒŒํ•œ๋‹ค(Eq. 7).

\epsilon^{(f)}_{h,t}=\max\bigl(0,\;d^{(f)}_{h,t}-d^{\mathrm{ref},(f)}_{h,t}\bigr),\qquad r^{\mathrm{int},h}_t=\frac{1}{5}\sum_{f=1}^{5}\exp\bigl(-\epsilon^{(f)}_{h,t}/0.01\bigr)

์–‘์†์€ ๊ฐ์ž actor-critic ์Œ์„ ๋‘๋˜ ๋‘˜ ๋‹ค ์ „์ฒด ๊ด€์ธก์„ ๋ณธ๋‹ค. ํ•™์Šต๊ธฐ๋Š” off-policy์ธ FlashSAC์ด๊ณ , replay buffer๋ฅผ 10Mโ†’50M, critic ์€๋‹‰ ํญ์„ 256โ†’1024๋กœ ํ‚ค์› ๋‹ค.

์ฃผ์š” ๊ฒฐ๊ณผ:

  • XHand(50๋ชจ์…˜): \mathrm{SR}_{\mathrm{SPIDER}} 0.90 / \mathrm{SR}_{\mathrm{MT}} 0.86 / 29 GPU-h. CHORD 0.46 / 0.00 / 2,847, DexMachina 0.48 / 0.12 / 447, Do as I Do 0.36 / 0.00 / 66 (Table I).
  • Sharpa Wave Hand: 0.86 / 0.80 / 44 GPU-h. CHORD 0.50 / 0.00 / 3,314, Do as I Do 0.64 / 0.10 / 62.
  • ์–ด๋ธ”๋ ˆ์ด์…˜(Fig. 3, \mathrm{SR}_{\mathrm{MT\text{-}Obj}} ๋ˆ„์ , 300M step): PPO๋Š” ๊ฑฐ์˜ 0, ๊ธฐ๋ณธ FlashSAC ์•ฝ 34%, +ํฐ buffer ์•ฝ 60%, +ํฐ critic 86%. ํ•™์Šต๊ธฐ ์ชฝ ํšจ๊ณผ๊ฐ€ ๊ฐ€์žฅ ํฌ๋‹ค.
  • ์Šค์ผ€์ผ๋ง(Fig. 5): 200 / 500 / 1,000 ๋ชจ์…˜ ์ง‘ํ•ฉ์—์„œ ๊ฐ™์€ GPU ์‹œ๊ฐ„ ๋™์•ˆ ๋” ํฐ ์ง‘ํ•ฉ์ด ๋” ๋งŽ์€ ๊ถค์ ์„ ๋ณ€ํ™˜ํ•œ๋‹ค(1,000๋ชจ์…˜์€ 60 GPU-h์— 600๊ฐœ ์ด์ƒ).
  • ์‹ค์„ธ๊ณ„: ์„ฑ๊ณต ๊ถค์  3๊ฐœ(๋‹ฆ๊ธฐยท๋ถ“๊ธฐยท๋šœ๊ป‘ ๋‹ซ๊ธฐ)๋ฅผ ๋กœ๋ด‡ ํŒ”+XHand์—์„œ ์žฌ์ƒ(Fig. 4, ์ •์„ฑ์ ).

๊ฒฐ๋ก :

์ƒˆ๋กœ์šด ๊ฒƒ์€ ๊ฐœ๋ณ„ ๋ณด์ƒ ํ•ญ๋ณด๋‹ค ๋ฌธ์ œ ์„ค์ •์˜ ์ „ํ™˜์ด๋‹ค. ๋ฆฌํƒ€๊ฒŒํŒ…์„ โ€œ์‹œ์—ฐ๋ณ„ ์ตœ์ ํ™”โ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œ์ฐธ์กฐ ์กฐ๊ฑด๋ถ€ ์ •์ฑ… ํ•˜๋‚˜์˜ ํ•™์Šตโ€์œผ๋กœ ๋ณด๊ณ , ๊ทธ ์ •์ฑ…์„ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ๊ธฐ๋กœ๋งŒ ์“ด๋‹ค(์„ฑ๊ณต ๋กค์•„์›ƒ์„ ์ €์žฅํ•˜๊ณ  ์ •์ฑ… ์ž์ฒด๋Š” ๋ฐฐํฌํ•˜์ง€ ์•Š๋Š”๋‹ค). ๋‹ค๋งŒ ํ—ค๋“œ๋ผ์ธ โ€œ์•ฝ 100๋ฐฐโ€๋Š” PPO๋กœ ๋„๋Š” CHORD ๊ณต๊ฐœ ๊ตฌํ˜„๊ณผ์˜ ๋น„๊ต์ด๊ณ , ์ €์ž ์ž์‹ ์˜ ์–ด๋ธ”๋ ˆ์ด์…˜์—์„œ PPO๊ฐ€ ๊ฐ™์€ ์„ค์ •์—์„œ ๊ฑฐ์˜ 0์ด๋ผ๋Š” ์ ์„ ํ•จ๊ป˜ ์ฝ์–ด์•ผ ํ•œ๋‹ค. ์•„๋ž˜ Ring์—์„œ ์ด ๋น„๊ต๊ฐ€ ์‹ค์ œ๋กœ ๋ฌด์—‡์„ ์žฌ๋Š”์ง€ ๋”ฐ์ ธ ๋ณธ๋‹ค.


๐Ÿ”” Ring Review

๐Ÿ”” Ring โ€” An idea that echoes. Grasp the core and its value.

ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด

FlashDexRetarget์˜ ํ†ต์ฐฐ์€ โ€œ๋ฆฌํƒ€๊ฒŒํŒ…์˜ ์‚ฐ์ถœ๋ฌผ์€ ์ •์ฑ…์ด ์•„๋‹ˆ๋ผ ๊ถค์ ์ด๋‹คโ€๋ฅผ ๋๊นŒ์ง€ ๋ฐ€์–ด๋ถ™์ธ ๋ฐ ์žˆ๋‹ค. ๊ถค์ ๋งŒ ํ•„์š”ํ•˜๋‹ค๋ฉด ์‹œ์—ฐ๋งˆ๋‹ค ์ •์ฑ…์„ ๋”ฐ๋กœ ํ•™์Šตํ•ด ๋ฒ„๋ฆด ์ด์œ ๊ฐ€ ์—†๋‹ค. ํ•œ ์ •์ฑ…์ด ๋ฐ์ดํ„ฐ์…‹ ์ „์ฒด๋ฅผ ํ•จ๊ป˜ ์ถ”์ข…ํ•˜๋„๋ก ํ•™์Šตํ•˜๊ณ , ํ•™์Šต ๋„์ค‘ ์–ด๋А ์‹œ์ ์ด๋“  ์–ด๋–ค ์‹œ์—ฐ์ด ํ•œ ๋ฒˆ ์„ฑ๊ณตํ•˜๋ฉด ๊ทธ ๋กค์•„์›ƒ์„ ์ €์žฅํ•˜๊ณ  ์ฒดํฌ ํ‘œ์‹œ๋ฅผ ํ•˜๋ฉด ๋œ๋‹ค. ์ด ๊ด€์ ์—์„œ๋Š” ์ •์ฑ…์˜ ์ตœ์ข… ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ๋„, ๋‹จ์ผ ์‹œ์—ฐ์˜ ์ˆ˜๋ ด ์†๋„๋„ ์•„๋‹Œ โ€œGPU ์‹œ๊ฐ„๋‹น ๋ณ€ํ™˜๋œ ์‹œ์—ฐ ์ˆ˜โ€๊ฐ€ ๋ชฉ์  ํ•จ์ˆ˜๊ฐ€ ๋œ๋‹ค. ๋‚˜๋จธ์ง€ ์„ค๊ณ„(๋ฏธ๋ž˜ ์ฐธ์กฐ ์ธ์ฝ”๋”ฉ, ์ ๊ตฐ ๋ณด์ƒ, ์†๋ณ„ critic, ํฐ replay)๋Š” ๋ชจ๋‘ โ€œํ•œ ์ •์ฑ…์ด ๋„“์€ ์ƒํƒœ ๋ถ„ํฌ๋ฅผ ๊ฐ๋‹นํ•˜๊ฒŒ ๋งŒ๋“œ๋Š”โ€ ๋ณด์กฐ ์žฅ์น˜๋‹ค.

๋ฐฐ๊ฒฝ: ์™œ ์†์žฌ์ฃผ ๋ฆฌํƒ€๊ฒŒํŒ…์€ ๋น„์‹ผ๊ฐ€

์‚ฌ๋žŒ ์†-๋ฌผ์ฒด ๋ฐ์ดํ„ฐ์…‹(DexYCBยทGRABยทOakInkยทHOI4DยทHOT3DยทTACOยทOakInk2ยทARCTICยทGigaHands)์€ ์ด๋ฏธ ํฌ๋‹ค. ๋ฌธ์ œ๋Š” ์‚ฌ๋žŒ ์†๊ณผ ๋กœ๋ด‡ ์†์˜ ํ˜•ํƒœ๊ฐ€ ๋‹ค๋ฅด๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ๋…ผ๋ฌธ์€ UniDexยทVideoManip ๊ฐ™์€ ๊ธฐ๊ตฌํ•™์  ๋ฆฌํƒ€๊ฒŒํŒ…์ด ์ ‘์ด‰์„ ์‚ฌํ›„์— ๊ธฐํ•˜ํ•™์ ์œผ๋กœ ๋งž์ถœ ๋ฟ์ด๋ผ์„œ, ๊ทธ ๊ถค์ ์„ ์‹คํ–‰ํ•ด๋„ ์‹œ์—ฐ๋œ ๋ฌผ์ฒด ์šด๋™์ด ์žฌํ˜„๋œ๋‹ค๋Š” ๋ณด์žฅ์ด ์—†๋‹ค๊ณ  ์ง€์ ํ•œ๋‹ค(ยงII-A). ๊ทธ๋ž˜์„œ ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ์—์„œ ๋กœ๋ด‡์ด ์‹ค์ œ๋กœ ๋ฌผ์ฒด๋ฅผ ๋ฐ€๊ณ  ์ฅ์–ด ๊ฐ™์€ ๋ฌผ์ฒด ๊ถค์ ์„ ๋งŒ๋“ค์–ด ๋‚ด๋Š” ๋ฌผ๋ฆฌ ๊ธฐ๋ฐ˜ ๋ฆฌํƒ€๊ฒŒํŒ…์ด ํ•„์š”ํ•˜๋‹ค.

๋ฌผ๋ฆฌ ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•์€ ๋‘ ๊ณ„์—ด์ด๋‹ค(ยงII-B).

๊ณ„์—ด ๋Œ€ํ‘œ ์‹œ์—ฐ ํ•˜๋‚˜๋ฅผ ์–ด๋–ป๊ฒŒ ํ‘ธ๋Š”๊ฐ€ ๋น„์šฉ ๊ตฌ์กฐ
์ƒ˜ํ”Œ๋ง ๊ธฐ๋ฐ˜ SPIDER, Do as I Do ๊ฐ€์ƒ ํž˜์œผ๋กœ ์œ ๋„ํ•œ annealed sampling์œผ๋กœ ํ–‰๋™ ์‹œํ€€์Šค๋ฅผ ์ง์ ‘ ํƒ์ƒ‰ ์‹œ์—ฐ๋งˆ๋‹ค ํƒ์ƒ‰. ๊ณ ์ฐจ์› ํ–‰๋™ยท๊ธด ์ ‘์ด‰ ์‹œํ€€์Šค์—์„œ ์œ ํ•œ ์˜ˆ์‚ฐ ๋‚ด ์„ฑ๊ณต์ด ์–ด๋ ต๋‹ค
RL ๊ธฐ๋ฐ˜ ManipTrans, DexMachina, CHORD ์‹œ์—ฐ๋งˆ๋‹ค ํ๋ฃจํ”„ ์ถ”์ข… ์ •์ฑ…์„ ํ•™์Šต(์ž”์ฐจ ํ•™์Šต, ๋ฌผ์ฒด ๋ณด์กฐ ๊ฐ์‡ , contact wrench ์œ ๋„ ๋“ฑ) ์‹œ์—ฐ๋งˆ๋‹ค ํ•™์Šต. ์„ฑ๊ณต๋ฅ ์€ ๋†’์ง€๋งŒ ํ•™์Šต๋น„๊ฐ€ ์‹œ์—ฐ ์ˆ˜์— ์„ ํ˜•
multi-reference (๋ณธ ๋…ผ๋ฌธ) FlashDexRetarget ์ฐธ์กฐ ์กฐ๊ฑด๋ถ€ ์ •์ฑ… ํ•˜๋‚˜๋ฅผ ์ „์ฒด ์‹œ์—ฐ์— ๋Œ€ํ•ด ํ•™์Šต ํ•™์Šต๋น„๋ฅผ ๋ฐ์ดํ„ฐ์…‹ ์ „์ฒด์— ๋ถ„ํ•  ์ƒํ™˜

multi-reference ์ถ”์ข…์€ ํœด๋จธ๋…ธ์ด๋“œ ์ „์‹  ๋ชจ์…˜์—์„œ๋Š” ์ด๋ฏธ ํšจ๊ณผ๊ฐ€ ์ž…์ฆ๋๋‹ค(SONIC). ์ €์ž๋“ค์€ ์†์žฌ์ฃผ ์กฐ์ž‘์ด ์ถ”๊ฐ€๋กœ ๋„ค ๊ฐ€์ง€ ์–ด๋ ค์›€์„ ๊ฐ–๋Š”๋‹ค๊ณ  ์ •๋ฆฌํ•œ๋‹ค(ยงI). โ‘  ์‹œ์—ฐ๋งˆ๋‹ค ๋ฌผ์ฒด ๋ชจ์–‘๊ณผ ์†-๋ฌผ์ฒด ๋ฐฐ์น˜๊ฐ€ ๋‹ฌ๋ผ ์ •์ฑ…์ด ์ƒํ˜ธ์ž‘์šฉ ๊ธฐํ•˜๋ฅผ ๊ตฌ๋ถ„ํ•ด์•ผ ํ•œ๋‹ค. โ‘ก ๋ชจ์บก์œผ๋กœ ์žก์€ ์‹œ์—ฐ์กฐ์ฐจ ์ ‘์ด‰ ์˜ค์ฐจ๊ฐ€ ์žˆ์–ด ์ •ํ™•ํ•œ ์ ‘์ด‰ ์ผ์น˜๋ฅผ ์š”๊ตฌํ•˜๋ฉด ๋ถˆ์•ˆ์ •ํ•˜๋‹ค. โ‘ข ์—ฌ๋Ÿฌ ์‹œ์—ฐ์„ ์„ž์œผ๋ฉด ์ƒํƒœ ๋ถ„ํฌ๊ฐ€ ๋„“์–ด์ ธ ๋ชจ๋ธ ์šฉ๋Ÿ‰๊ณผ ๊ฒฝํ—˜ ์žฌ์‚ฌ์šฉ์ด ๋” ์ค‘์š”ํ•ด์ง„๋‹ค. โ‘ฃ ์–‘์† ์‹œ์—ฐ์—์„œ๋Š” ๋‘ ์†์˜ ์—ญํ• (์ฃผ๋™ยท๋ณด์กฐ)์ด ๋‹ฌ๋ผ ํ•™์Šต ์‹ ํ˜ธ๊ฐ€ ๋น„๋Œ€์นญ์ด์–ด์•ผ ํ•œ๋‹ค. ์ดํ›„ ยงIII์˜ ๋„ค ์„ค๊ณ„๊ฐ€ ์ด ๋„ค ๋ฌธ์ œ์— 1:1๋กœ ๋Œ€์‘ํ•œ๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ

์ •์‹ํ™” (ยงIII ์„œ๋‘)

๋ฐ์ดํ„ฐ์…‹ \mathcal{D}=\{\tau^{\mathrm{ref}}_i\}_{i=1}^{N}, \tau^{\mathrm{ref}}_i=\{\mathbf{s}^{\mathrm{ref}}_{i,t}\}_{t=1}^{H_i}์˜ ๊ฐ ์ƒํƒœ๋Š” ์‚ฌ๋žŒ ์† ์ƒํƒœ์™€ ๋ฌผ์ฒด ์ž์„ธ๋ฅผ ๋‹ด๋Š”๋‹ค(Eq. 1). ํ•™์Šต ์ค‘์—๋Š” ์ฐธ์กฐ ๊ถค์ ์„ \mathcal{D}์—์„œ ๋ฝ‘์•„ ๋ณ‘๋ ฌ ํ™˜๊ฒฝ์— ๋ฐฐ์ •ํ•˜๊ณ , ์ •์ฑ…์€ \mathbf{s}_{i,t}=(\mathbf{s}^{\mathrm{cur}}_t,\mathbf{s}^{\mathrm{ref}}_{i,t+1})๋ฅผ ๋ฐ›์•„ ํ–‰๋™์„ ๋‚ธ๋‹ค(Eq. 2). ๋‹จ์ผ ์ฐธ์กฐ RL๊ณผ ๋‹ค๋ฅธ ์ ์€ ์ฐธ์กฐ ์ธ๋ฑ์Šค i๊ฐ€ ๊ด€์ธก์— ๋“ค์–ด๊ฐ„๋‹ค๋Š” ๊ฒƒ, ์ฆ‰ ์ •์ฑ…์ด ์–ด๋–ค ์‹œ์—ฐ์„ ์ถ”์ข… ์ค‘์ธ์ง€๋ฅผ ๊ด€์ธก์œผ๋กœ ์•Œ์•„๋‚ด์•ผ ํ•œ๋‹ค๋Š” ๊ฒƒ๋ฟ์ด๋‹ค.

๊ด€์ธก: ๊ธฐํ•˜์™€ ์ƒํ˜ธ์ž‘์šฉ์„ ๋ณด์ด๊ฒŒ ํ•˜๊ธฐ (ยงIII-A)

\mathbf{s}^{\mathrm{cur}}_t=\bigl(\mathbf{x}^{\mathrm{cur}}_t,\ \mathcal{P}^{\mathrm{cur}}_t,\ \mathbf{d}^{\mathrm{cur}}_t\bigr),\qquad \mathbf{s}^{\mathrm{ref}}_{i,t+1}=\bigl(\mathbf{x}^{\mathrm{ref}}_{i,t+1},\ \mathcal{P}^{\mathrm{ref}}_{i,t+1},\ \mathbf{z}^{\mathrm{ref}}_{i,t+1}\bigr)\quad\text{(Eq. 3)}

  • \mathbf{x}: ๋กœ๋ด‡ยท๋ฌผ์ฒด ์ƒํƒœ(ํ˜„์žฌ) ๋˜๋Š” ์ฐธ์กฐ ์†-๋ฌผ์ฒด ์ƒํƒœ(t+1).
  • \mathcal{P}: ๋ฌผ์ฒด ํ‘œ๋ฉด์—์„œ ๊ท ๋“ฑ ์ƒ˜ํ”Œํ•œ 128์ ์„ ํ˜„์žฌ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์ž์„ธ์™€ ๋‹ค์Œ ์ฐธ์กฐ ์ž์„ธ์— ๊ฐ๊ฐ ๋†“์€ ์ ๊ตฐ. ๋ชจ๋‘ ์†๋ชฉ ์ขŒํ‘œ๊ณ„๋กœ ํ‘œํ˜„ํ•œ๋‹ค. ๋ฌผ์ฒด๊ฐ€ ๋ฐ”๋€Œ์–ด๋„ ์ •์ฑ…์ด ๋ชจ์–‘์„ โ€œ๋ณด๊ณ โ€ ๊ตฌ๋ถ„ํ•˜๊ฒŒ ํ•˜๋ ค๋Š” ์žฅ์น˜๋‹ค.
  • \mathbf{d}: ๋‹ค์„ฏ ์†๋๊ณผ ์†๋ชฉ์—์„œ ๋ฌผ์ฒด ํ‘œ๋ฉด๊นŒ์ง€์˜ ๊ฑฐ๋ฆฌ์™€ ํ‘œ๋ฉด ๋ฒ•์„ (์†๋ชฉ ์ขŒํ‘œ). ๋งค step ๋ฉ”์‹œ์—์„œ ๊ฑฐ๋ฆฌ๋ฅผ ๊ณ„์‚ฐํ•˜๋ฉด ๋น„์‹ธ๋ฏ€๋กœ ๋ฌผ์ฒด ์›์  ์ค‘์‹ฌ 60 cm ์ •์œก๋ฉด์ฒด๋ฅผ 128^3 voxel๋กœ ์ด์‚ฐํ™”ํ•œ SDF๋ฅผ ๋ฏธ๋ฆฌ ๋งŒ๋“ค์–ด ์กฐํšŒํ•œ๋‹ค.
  • \mathbf{z}: ๋ฏธ๋ž˜ ์ฐธ์กฐ t+1\ldots t+K๋ฅผ ์‹œ์  t์˜ ์†๋ชฉ ์ขŒํ‘œ๋กœ ํ‘œํ˜„ํ•ด temporal encoder๋กœ 128์ฐจ์›์— ์••์ถ•(K=10, Eq. 4). ์ธ์ฝ”๋”๋Š” actorยทcritic๊ณผ ํ•จ๊ป˜ ์ฒ˜์Œ๋ถ€ํ„ฐ ํ•™์Šตํ•œ๋‹ค. ๊ธฐ์กด ์†์žฌ์ฃผ ๋ฆฌํƒ€๊ฒŒํŒ…(ManipTransยทDexMachinaยทCHORD)์€ ๋‹ค์Œ ํ•œ ํ”„๋ ˆ์ž„๋งŒ ์กฐ๊ฑด์œผ๋กœ ์คฌ๊ณ , ์—ฌ๋Ÿฌ ๋ฏธ๋ž˜ ํ”„๋ ˆ์ž„ ์กฐ๊ฑด์€ ํœด๋จธ๋…ธ์ด๋“œ ์ถ”์ข…(KungfuBot2, PHUMA)์—์„œ ๋นŒ๋ ค ์˜จ ๊ฒƒ์ด๋‹ค.

๋ณด์ƒ: ๋‹จ์œ„๋ฅผ ํ†ต์ผํ•˜๊ณ , ์žฌ๊ตฌ์„ฑ ์˜ค์ฐจ๋ฅผ ์šฉ์„œํ•˜๊ธฐ (ยงIII-B)

๋ฌผ์ฒด ์ถ”์ข… ๋ณด์ƒ. ๊ธฐ์กด ๋ฐฉ๋ฒ•์€ ๋ฌผ์ฒด ์œ„์น˜ ์˜ค์ฐจ์™€ ํšŒ์ „ ์˜ค์ฐจ๋ฅผ ์†์œผ๋กœ ์ •ํ•œ ๊ฐ€์ค‘์น˜๋กœ ์„ž๋Š”๋‹ค. ๋‹จ์œ„๊ฐ€ ๋‹ค๋ฅธ ๋‘ ์˜ค์ฐจ์˜ ๊ท ํ˜•์„ ๋งž์ถฐ์•ผ ํ•˜๋Š” ๋ฌธ์ œ๋‹ค. FlashDexRetarget์€ ๋ฌผ์ฒด ์ขŒํ‘œ๊ณ„์˜ ํ‘œ๋ฉด 128์ ์„ ๊ณตํ†ต ๋ฐ˜์ง€๋ฆ„์œผ๋กœ ์ •๊ทœํ™”ํ•œ ๋’ค ํ˜„์žฌยท์ฐธ์กฐ ์ž์„ธ๋กœ ๊ฐ๊ฐ ์˜ฎ๊ฒจ ๋Œ€์‘์  ๊ฑฐ๋ฆฌ๋ฅผ ์žฐ๋‹ค(Eq. 6).

\tilde{\mathbf{p}}^h_m=\rho\,\frac{\mathbf{p}^h_m}{\max_n\|\mathbf{p}^h_n\|_2},\qquad e^{\mathrm{obj},h}_t=\frac1k\sum_{m\in\mathcal{I}^{(k)}_{h,t}}\bigl\|\tilde{\mathcal{P}}^{\mathrm{cur},h}_{t+1,m}-\tilde{\mathcal{P}}^{\mathrm{ref},h}_{i,t+1,m}\bigr\|_2,\qquad r^{\mathrm{obj},h}_t=\exp\bigl(-e^{\mathrm{obj},h}_t/\sigma_{\mathrm{obj}}\bigr)

\rho=0.058 m๋Š” โ€œ30ยฐ ํšŒ์ „์ด ์•ฝ 3 cm ์  ๋ณ€์œ„์— ํ•ด๋‹นโ€ํ•˜๋„๋ก ๊ณ ๋ฅธ ๊ฐ’์ด๋‹ค. ์‹ค์ œ๋กœ ๋ฐ˜์ง€๋ฆ„ \rho์ธ ์ ์ด \theta๋งŒํผ ๋Œ๋ฉด ๋ณ€์œ„๋Š” 2\rho\sin(\theta/2)=2\times0.058\times\sin15^\circ\approx0.030 m๋ผ์„œ, ์„ฑ๊ณต ํŒ์ • ๋ฌธํ„ฑ(3 cm, 30ยฐ)๊ณผ ์ •ํ™•ํžˆ ๋งž๋ฌผ๋ฆฐ๋‹ค. ํ‰๊ท  ๋Œ€์‹  ์˜ค์ฐจ ์ƒ์œ„ k=3๊ฐœ ์ ์˜ ํ‰๊ท ์„ ์“ฐ๋Š” ๊ฒƒ์€ ๋ฌผ์ฒด์˜ ํ•œ์ชฝ ๋์ด ํฌ๊ฒŒ ์–ด๊ธ‹๋‚˜๋Š” ํšŒ์ „ ์˜ค์ฐจ๋ฅผ ํ‰๊ท ์ด ํฌ์„ํ•˜์ง€ ์•Š๊ฒŒ ํ•˜๋ ค๋Š” ๊ฒƒ์ด๋‹ค. \sigma_{\mathrm{obj}}=0.1 m.

์†-๋ฌผ์ฒด ์ƒํ˜ธ์ž‘์šฉ ๋ณด์ƒ. DexMachinaยทCHORD๋Š” ๊ณ ์ •๋œ ๊ฑฐ๋ฆฌ ๋ฌธํ„ฑ์œผ๋กœ ์ ‘์ด‰ ์—ฌ๋ถ€๋ฅผ ์ด์ง„ ํŒ์ •ํ•œ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ์žฌ๊ตฌ์„ฑ๋œ ์‚ฌ๋žŒ ์†์€ ๋ฌผ์ฒด์—์„œ ๋–  ์žˆ๊ฑฐ๋‚˜ ํŒŒ๊ณ ๋“œ๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•„์„œ, ์‹ค์ œ๋กœ ์ฅ๊ณ  ์žˆ๋˜ ์†๊ฐ€๋ฝ์ด โ€œ๋น„์ ‘์ด‰โ€์œผ๋กœ ์ž˜๋ชป ๋ผ๋ฒจ๋ง๋œ๋‹ค. ๊ทธ๋ž˜์„œ ์ด์ง„ ๋ผ๋ฒจ ๋Œ€์‹  ์—ฐ์† ๊ฑฐ๋ฆฌ๋ฅผ ์“ฐ๊ณ , ๊ทธ๊ฒƒ๋„ ์ผ์น˜๊ฐ€ ์•„๋‹ˆ๋ผ ์ƒํ•œ์œผ๋กœ ์“ด๋‹ค(Eq. 7).

\epsilon^{(f)}_{h,t}=\max\bigl(0,\;d^{(f)}_{h,t}-d^{\mathrm{ref},(f)}_{h,t}\bigr),\qquad r^{\mathrm{int},h}_t=\frac15\sum_{f=1}^{5}\exp\bigl(-\epsilon^{(f)}_{h,t}/\sigma_{\mathrm{int}}\bigr),\quad\sigma_{\mathrm{int}}=0.01\text{ m}

๋กœ๋ด‡ ์†๋์˜ ๊ฑฐ๋ฆฌ d^{(f)}๋Š” SDF์˜ ๋ถ€ํ˜ธ ์žˆ๋Š” ๊ฑฐ๋ฆฌ์ด๊ณ , ์‚ฌ๋žŒ ์†๋์˜ ๊ฑฐ๋ฆฌ d^{\mathrm{ref},(f)}๋Š” ๋ฌผ์ฒด ๋ฉ”์‹œ ์ตœ๊ทผ์ ‘ ์ •์ ๊นŒ์ง€์˜ ๋ถ€ํ˜ธ ์—†๋Š” ๊ฑฐ๋ฆฌ๋‹ค. ๋ถ€ํ˜ธ ์—†๋Š” ์ฐธ์กฐ๋ฅผ ์“ฐ๋ฉด ์‹œ์—ฐ์˜ ๊ด€ํ†ต(์Œ์ˆ˜ ๊ฑฐ๋ฆฌ)์„ ๋กœ๋ด‡์ด ๋”ฐ๋ผ ํ•  ํ•„์š”๊ฐ€ ์—†๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๋กœ๋ด‡ ์†๋์ด ์‚ฌ๋žŒ ์†๋๋ณด๋‹ค ๋” ๊ฐ€๊นŒ์šฐ๋ฉด ๋ฒŒ์ ์ด ์—†๋‹ค. ์‚ฌ๋žŒ ์†์ด ๋ฌผ์ฒด ์œ„ 5 mm์— ๋–  ์žˆ์—ˆ๋‹ค๋ฉด ๋กœ๋ด‡์€ ๊ทธ ํ‹ˆ์„ 0์œผ๋กœ ๋ฉ”์›Œ๋„ ์ตœ๋Œ€ ๋ณด์ƒ์„ ๋ฐ›๋Š”๋‹ค. ๋…ผ๋ฌธ์˜ ํ‘œํ˜„์œผ๋กœ๋Š” โ€œ์žฌ๊ตฌ์„ฑ ํ‹ˆ์„ ์žฌํ˜„ํ•˜์ง€ ์•Š๊ณ  ๋ฉ”์šธ ์ˆ˜ ์žˆ๊ฒŒโ€ ํ•˜๋Š” ์„ค๊ณ„๋‹ค. ๋ฐ˜๋Œ€๋กœ ์‹œ์—ฐ์—์„œ ์†๊ฐ€๋ฝ์ด ๋ฌผ์ฒด์—์„œ ๋ฉ€๋ฆฌ ๋–จ์–ด์ ธ ์žˆ์—ˆ๋‹ค๋ฉด d^{\mathrm{ref}}๊ฐ€ ์ปค์„œ ์ด ํ•ญ์€ ์‚ฌ์‹ค์ƒ ๊บผ์ง„๋‹ค. ์ฆ‰ ์ด ๋ณด์ƒ์€ โ€œ์ ‘์ด‰ํ•ด์•ผ ํ•  ๊ณณ์—์„œ๋Š” ์ ์–ด๋„ ์‚ฌ๋žŒ๋งŒํผ ๊ฐ€๊นŒ์ดโ€๋งŒ ์š”๊ตฌํ•˜๊ณ , ์ ‘์ด‰ํ•˜์ง€ ๋ง์•„์•ผ ํ•  ๊ณณ์€ ๊ฐ•์ œํ•˜์ง€ ์•Š๋Š”๋‹ค.

์† ์ถ”์ข…ยท์ •๊ทœํ™”. ์†๋ชฉ ์œ„์น˜ยทํšŒ์ „, ์†๋ ์œ„์น˜ ์˜ค์ฐจ์˜ ์ง€์ˆ˜ํ˜• ๋ณด์ƒ๊ณผ, ์ง€๋ น ๊ด€์ ˆ๊ฐ์ด ๊ธฐ๊ตฌํ•™์  ๋ฆฌํƒ€๊ฒŒํŒ… ๊ฒฐ๊ณผ๋ฅผ ๋”ฐ๋ฅด๊ฒŒ ํ•˜๋Š” behavior-cloning ํ•ญ์„ ๋‘”๋‹ค(ManipTransยทDexMachina๋ฅผ ๋”ฐ๋ฆ„). ์ •๊ทœํ™” ํ•ญ์€ ํฐ ํ–‰๋™์„ ๋ฒŒํ•˜๊ณ , ๋ฌผ์ฒด๋‚˜ ์†๋์ด ์ฐธ์กฐ์—์„œ โ€œ๋ฏธ๋ฆฌ ์ •ํ•œ ๋ฌธํ„ฑโ€๋ณด๋‹ค ๋ฒ—์–ด๋‚˜๋Š” ์ถ”์ข… ์‹คํŒจ์— ๋ฒŒ์ ์„ ์ค€๋‹ค. ์‹œ๊ฐ„ ์ดˆ๊ณผยทํด๋ฆฝ ์™„๋ฃŒ๋กœ ์ธํ•œ ์ข…๋ฃŒ๋Š” ๋ฒŒํ•˜์ง€ ์•Š๋Š”๋‹ค. ๊ฐ€์ค‘์น˜ w์™€ ์‹คํŒจ ๋ฌธํ„ฑ์˜ ๊ฐ’์€ ๋…ผ๋ฌธ์— ์—†๋‹ค(์•„๋ž˜ ์ฝ”๋“œ ๋Œ€์กฐ์—์„œ ํ™•์ธ).

์–‘์† ๊ตฌ์กฐ: ์†๋ณ„ actor-critic (ยงIII-C)

๊ธฐ์กด RL ๋ฆฌํƒ€๊ฒŒํŒ…์€ actor-critic ํ•œ ์Œ์ด ๋‘ ์†์„ ํ•จ๊ป˜ ์ œ์–ดํ•˜๊ณ  ๋‘ ์† ๋ณด์ƒ์˜ ํ•ฉ์œผ๋กœ ํ•™์Šตํ–ˆ๋‹ค. ๊ทธ๋Ÿฌ๋ฉด ๊ฒฐ๊ณผ๊ฐ€ ์–ด๋А ์† ํƒ“์ธ์ง€ ์‹ ์šฉ ํ• ๋‹น์ด ์–ด๋ ต๋‹ค. FlashDexRetarget์€ ์†๋งˆ๋‹ค (\pi_{\theta_h},Q_{\phi_h}) ์Œ์„ ๋‘๊ณ  ๊ฐ์ž ์ž๊ธฐ ๋ณด์ƒ r^h_t๋กœ ํ•™์Šตํ•œ๋‹ค. ๋‹จ, ๊ด€์ธก์€ ์–‘์† ์ƒํƒœ๋ฅผ ํฌํ•จํ•œ ์ „์ฒด \mathbf{s}_{i,t}๋ฅผ ๋‘˜ ๋‹ค ๋ฐ›๋Š”๋‹ค(Eq. 8).

\mathbf{a}^h_t\sim\pi_{\theta_h}(\cdot\mid\mathbf{s}_{i,t}),\qquad \mathbf{a}_t=(\mathbf{a}^{\mathrm{left}}_t,\mathbf{a}^{\mathrm{right}}_t)

์ „์ฒด ๊ด€์ธก์„ ์ฃผ๋Š” ์ด์œ ๋Š” ํ•œ ์†์ด ๋‹ค๋ฃจ๋Š” ๋ฌผ์ฒด๊ฐ€ ๋‹ค๋ฅธ ์†์˜ ๋ฌผ์ฒด์— ๋‹ฟ๊ฑฐ๋‚˜ ๊ตฌ์†ํ•˜๋Š” ์ƒํ˜ธ์ž‘์šฉ ๋•Œ๋ฌธ์ด๋‹ค. ๊ฒฐ๊ณผ์ ์œผ๋กœ ๋‘ ์†์€ โ€œ๊ด€์ธก์€ ๊ณต์œ , ๋ณด์ƒ๊ณผ ๊ฐ€์น˜๋Š” ๋ถ„๋ฆฌโ€๋œ ํ˜‘๋ ฅ ์—์ด์ „ํŠธ๊ฐ€ ๋œ๋‹ค.


์ •์„ฑ ๊ฒฐ๊ณผ(Fig. 2): ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ FlashDexRetarget์ด ์ƒ์„ฑํ•œ ๋กœ๋ด‡ ์กฐ์ž‘ ์Šค๋ƒ…์ƒท. ๋„๊ตฌ ์‚ฌ์šฉ(๊ตญ์žยท์ฃผ๊ฑฑยท์ˆŸ๊ฐ€๋ฝ), ์šฉ๊ธฐ ๋‹ค๋ฃจ๊ธฐ(๋จธ๊ทธยท๋ณ‘ยทํ†ต), ์ผ์ƒ ๋ฌผ์ฒด(๋ฃจ๋น…์Šค ํ๋ธŒยทํ‚ค๋ณด๋“œยท์ฃผ์Šค ํŒฉ) ๋“ฑ ์„œ๋กœ ๋‹ค๋ฅธ ๋ฌผ์ฒด ํ˜•์ƒ๊ณผ ์†-๋ฌผ์ฒด ๋ฐฐ์น˜๋ฅผ ํ•œ ์ •์ฑ…์ด ๋‹ค๋ฃฌ๋‹ค.

ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์˜ โ€œOne policy, many motionsโ€ ๊ทธ๋ฆฌ๋“œ: 50๋ชจ์…˜ ๋ฒค์น˜๋งˆํฌ(XHand)์—์„œ ๋‹จ์ผ ์ •์ฑ…์˜ ์„ฑ๊ณต ๋กค์•„์›ƒ.

ํ•™์Šต๊ธฐ: ํฌ๊ฒŒ ํ‚ค์šด off-policy (ยงIII-D)

PPO ๊ฐ™์€ on-policy ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ ์ •์ฑ… ์—…๋ฐ์ดํŠธ๋งˆ๋‹ค ์ „์ด๋ฅผ ๋ฒ„๋ฆฐ๋‹ค. ์ €์ž๋“ค์€ off-policy์ธ FlashSAC์„ ์ฑ„ํƒํ•˜๊ณ , multi-reference๊ฐ€ ๋งŒ๋“œ๋Š” ๋„“์€ ์ƒํƒœ ๋ถ„ํฌ๋ฅผ ๊ฐ๋‹นํ•˜๋„๋ก replay buffer 10M โ†’ 50M, critic ์€๋‹‰ ํญ 256 โ†’ 1024๋กœ ํ‚ค์› ๋‹ค. FlashSAC(arXiv:2604.04539, RSS 2026)์€ Donghu KimยทYoungdo LeeยทI Made Aswin NahrendraยทJaegul ChooยทHojoon Lee ๋“ฑ ์ด ๋…ผ๋ฌธ๊ณผ ์ €์ž๊ฐ€ ๊ฒน์น˜๋Š” Holiday Robotics ์ชฝ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด๋‹ค. ๋…ผ๋ฌธ์€ ์ด ๋‘ ์ˆซ์ž ์™ธ์˜ ํ•™์Šต ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์ ์ง€ ์•Š๋Š”๋‹ค.

๊ณต๊ฐœ ์ฝ”๋“œ์™€์˜ ๋Œ€์กฐ (์ฝ๊ธฐ ์ „์šฉ, ์‹คํ–‰ ๊ฒ€์ฆ ์•„๋‹˜)

๊ณต๊ฐœ ๋ ˆํฌ Holiday-Robot/FlashDexRetarget์˜ ์ปค๋ฐ‹ 7919f8a(2026-10-04)๋ฅผ ์ฝ๊ธฐ ์ „์šฉ์œผ๋กœ ์—ด์–ด ๋…ผ๋ฌธ ยงIII์™€ ๋Œ€์กฐํ–ˆ๊ณ , ๋ณ„๋„์˜ ์ •์  ์ฝ”๋“œ ๋ถ„์„(๋น„๊ณต๊ฐœ ์‹คํ—˜ ๋ ˆํฌ์˜ ์ฝ”๋“œ ๋…ธํŠธ)๊ณผ ํ•ญ๋ชฉ๋ณ„๋กœ ๊ต์ฐจ ํ™•์ธํ–ˆ๋‹ค. ์•„๋ž˜ ๋‚ด์šฉ์€ ๋ชจ๋‘ ์ •์  ํ™•์ธ์ด๋‹ค. Isaac Sim์—์„œ ์‹คํ–‰ํ•ด ๊ฒ€์ฆํ•œ ๊ฒƒ์ด ์•„๋‹ˆ๊ณ , ์ €์ž๊ฐ€ ๋…ผ๋ฌธ ์ˆ˜์น˜๋ฅผ ๋‚ธ ์ฝ”๋“œ๊ฐ€ ์ด ๋ฐฐํฌ๋ณธ๊ณผ ๊ฐ™๋‹ค๋Š” ๋ณด์žฅ๋„ ์—†๋‹ค. โ€œ์ฝ”๋“œโ€ ์—ด์€ ๋ฐฐํฌ๋ณธ ๊ธฐ๋ณธ ์„ค์ •์˜ ๊ฐ’์ด๋‹ค.

ํ•ญ๋ชฉ ๋…ผ๋ฌธ ๊ณต๊ฐœ ์ฝ”๋“œ (๊ธฐ๋ณธ ์„ค์ •) ํŒ์ •
์ ๊ตฐ / SDF โ€œ๊ท ๋“ฑ ์ƒ˜ํ”Œโ€ 128์ , 128^3 voxel, 60 cm ์ •์œก๋ฉด์ฒด ๋ฉ”์‹œ ์ •์  2048๊ฐœ ์œ„ farthest point sampling์œผ๋กœ 128์ (๋ฌผ์ฒด๋ณ„ 1ํšŒ ์บ์‹œ), grid_n: 128, grid_extent: 0.30(ยฑ0.30 m) ๊ฐœ์ˆ˜ยทSDF ์ผ์น˜, ์ƒ˜ํ”Œ๋ง ๋ฐฉ์‹์€ ํ‘œํ˜„ ์ฐจ์ด
๋ฌผ์ฒด ๋ณด์ƒ top-k=3, \rho=0.058 m, \sigma_{\mathrm{obj}}=0.1 m topk: 3, norm_radius: 0.058, scale 10 (=1/0.1) ์ผ์น˜
์ƒํ˜ธ์ž‘์šฉ ๋ณด์ƒ \exp(-\max(0,d-d^{\mathrm{ref}})/0.01) ๋‹ค์„ฏ ์†๋ ํ‰๊ท  tracking_ref_mano_tip_distance_bound_exp, sigma=0.01, ๋™์ผ ์‹ ์ผ์น˜
๋ฏธ๋ž˜ ์ธ์ฝ”๋” K=10, 128์ฐจ์› โ€œtemporal encoderโ€ traj_encoder: conv1d, n_future: 10, latent_dim: 128, 2์ธต ์ผ์น˜(๊ตฌ์กฐ๋Š” ์ฝ”๋“œ๊ฐ€ ๋” ๊ตฌ์ฒด์ )
ํ•™์Šต๊ธฐ ์šฉ๋Ÿ‰ buffer 50M, critic ํญ 1024 buffer_max_length: 50_000_000, critic_hidden_dim: 1024, actor ํญ 128, critic 101-bin ๋ถ„ํฌํ˜• ์ผ์น˜
๋ณด์ƒ ๊ฐ€์ค‘์น˜ ๋ฏธ๊ธฐ์žฌ obj 1.0, int 0.3, ์†๋ชฉ ์œ„์น˜ยทํšŒ์ „ ๊ฐ 0.15, ์†๋ ์œ„์น˜ 0.3, ๊ด€์ ˆ BC 0.3, ํ–‰๋™ โˆ’0.01, ์ข…๋ฃŒ โˆ’100. ์†๋ณ„ ๋ณด์ƒ์œผ๋กœ ๋‚˜๋ˆŒ ๋•Œ ๊ฐ ํ•ญ์€ ์ ˆ๋ฐ˜ ๊ฐ€์ค‘์น˜๋กœ ์–‘์†์— ๋ณต์ œ๋˜๊ณ  ์ข…๋ฃŒ ๋ฒŒ์ ๋งŒ ๊ทธ๋Œ€๋กœ๋‹ค ๋…ผ๋ฌธ์— ์—†์Œ
ํ–‰๋™ ๊ณต๊ฐ„ โ€œ๋กœ๋ด‡ ํ–‰๋™ \mathbf{a}_tโ€ ์ฐธ์กฐ ๊ธฐ์ค€ ์ž”์ฐจ(์†๋ชฉ ์œ„์น˜ ์ž”์ฐจ ์Šค์ผ€์ผ 0.1, ์†๋ชฉ ํšŒ์ „ 1.0, ์†๊ฐ€๋ฝ์€ ๊ด€์ ˆ ๋ฒ”์œ„ ์ ˆ๋Œ€๊ฐ’) + ์†๋ชฉ 5 Hz ์ €์—ญํ†ต๊ณผ ๋…ผ๋ฌธ์— ์—†์Œ
actor ๊ด€์ธก ์ƒํƒœยท์ ๊ตฐยทSDF ๊ฑฐ๋ฆฌ/๋ฒ•์„ ยท๋ฏธ๋ž˜ ์ž ์žฌ ์œ„์— ๋”ํ•ด ๋งํฌ๋ณ„ ์ ‘์ด‰ wrench์™€ ์ ‘์ด‰ ์œ„์น˜(robot_body_contact_wrench_wrist ๋“ฑ). actorยทcritic ๊ด€์ธก ๋ชฉ๋ก์€ ๊ฐ™๊ณ  ์‹ค์ œ๋กœ๋„ ๋Œ€์นญ์ด๋‹ค(asymmetric_observation: true๊ฐ€ ์ ํ˜€ ์žˆ์ง€๋งŒ share_actor_critic_obs: true ๋•Œ๋ฌธ์— ๋นŒ๋“œ ์‹œ false๋กœ ๊ฐ•์ œ๋œ๋‹ค) ์ ‘์ด‰๋ ฅ ๊ด€์ธก์€ ๋…ผ๋ฌธ ์„œ์ˆ ์— ๋ˆ„๋ฝ
๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์–ธ๊ธ‰ ์—†์Œ ๋ฌผ์ฒด๋ฅผ ์ฐธ์กฐ๋กœ ๋Œ์–ด๋‹น๊ธฐ๋Š” PD ์™ธ๋ ฅ(xfrc pin, kp_init 80) + ๋ณด์ƒยท์™„๋ฃŒ์œจ ๊ธฐ๋ฐ˜ ์ ์‘ํ˜• ๊ฐ์‡  ์ปค๋ฆฌํ˜๋Ÿผ. ์™„์ฃผ์œจ์ด ๋–จ์–ด์ง€๋ฉด ์ด๋“์„ ๋‹ค์‹œ ์˜ฌ๋ฆฌ๋Š” dialback ๋‹จ๊ณ„๋„ ์žˆ๋‹ค ๋…ผ๋ฌธ์— ์—†์Œ
ํ‰๊ฐ€ โ€œ์„ฑ๊ณต ๋กค์•„์›ƒ์ด ์ €์žฅ๋˜๋ฉด ๋ˆ„์  ์„ฑ๊ณตโ€ 20M step๋งˆ๋‹ค ๋ชจ๋“  ํด๋ฆฝ์„ ์ฒซ ํ”„๋ ˆ์ž„๋ถ€ํ„ฐ ๊ฒฐ์ •๋ก ์ ์œผ๋กœ 1ํšŒ ๋กค์•„์›ƒ. ํ‰๊ฐ€ ์ค‘์—” ์ข…๋ฃŒ์กฐ๊ฑดยท์ปค๋ฆฌํ˜๋Ÿผยท๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ์„ ๋ˆ๋‹ค(ํ‰๊ฐ€ ์ง„์ž… ์ฝ”๋“œ์— ํ•˜๋“œ์ฝ”๋”ฉ. ํ‰๊ฐ€ yaml์˜ disable_object_pin ๋“ฑ ํ‚ค 4๊ฐœ๋Š” ์ฝ”๋“œ๊ฐ€ ์ฝ์ง€ ์•Š๋Š”๋‹ค). ํด๋ฆฝ ์˜ค์ฐจ์˜ ์‹œ๊ฐ„ ํ‰๊ท ์ด ๋ฌธํ„ฑ ์•ˆ์ด๋ฉด ์„ฑ๊ณต ์„œ์ˆ ๋ณด๋‹ค ๊ตฌ์ฒด์ , ๋ชจ์ˆœ ์—†์Œ
์กฐ๊ธฐ ์ข…๋ฃŒ โ€œ๋ฏธ๋ฆฌ ์ •ํ•œ ๋ฌธํ„ฑโ€ ๋ฌผ์ฒด๊ฐ€ ์ฐธ์กฐ๋ณด๋‹ค z๋กœ 10 cm ์ด์ƒ ์•„๋ž˜๋กœ ๋‚ด๋ ค๊ฐ(3D ์œ„์น˜ ์ดํƒˆ ํ•ญ์€ ์žˆ์œผ๋‚˜ ๋น„ํ™œ์„ฑ), ์†๋ 0.2 m ์ดํƒˆ(์ฒ˜์Œ 15 step ์ œ์™ธ), ์—ํ”ผ์†Œ๋“œ ๋ˆ„์  ๋ฌผ์ฒด ๋ณด์ƒ์ด 0.6ยทk ๋ฏธ๋งŒ(5 step๋งˆ๋‹ค ์ ๊ฒ€, k๋Š” ๊ฒฝ๊ณผ step) ๋“ฑ ๋ฌผ์ฒด ๊ธฐ์ค€์€ ๋…ผ๋ฌธ ์„œ์ˆ ๊ณผ ๋‹ค๋ฅด๊ณ , ๋ˆ„์  ๋ณด์ƒ ๋ฆฌ์…‹์€ ๋…ผ๋ฌธ์— ์—†์Œ
step ์˜ˆ์‚ฐ XHand 300M, Sharpa 400M ๊ธฐ๋ณธ num_env_steps 500M, ๋ชจ๋“  ํด๋ฆฝ์ด ํ†ต๊ณผํ•˜๋ฉด ์กฐ๊ธฐ ์ค‘๋‹จ ์‹คํ—˜๋ณ„ override ํ•„์š”
๋ฉ”๋ชจ๋ฆฌ RTX 3090์—์„œ ์‹คํ—˜ ๋ ˆํฌ ๋ฌธ์„œ ๊ธฐ์ค€(์‹ค์ธก ์•„๋‹˜) 50M buffer = 88 GB. ๊ธฐ๋ณธ(GPU buffer) ์•ฝ 110 GB GPU ๋ฉ”๋ชจ๋ฆฌ, CPU buffer๋กœ ๋Œ๋ฆฌ๋ฉด GPU ์•ฝ 16 GB + ํ˜ธ์ŠคํŠธ RAM ์•ฝ 100 GB ๋…ผ๋ฌธ์— ์—†์Œ
ํด๋ฆฝ ์ถ”์ฒจ ์ฐธ์กฐ๋ฅผ ๋ฝ‘์•„ ๋ณ‘๋ ฌ ํ™˜๊ฒฝ์— ๋ฐฐ์ • ํ™˜๊ฒฝ๋งˆ๋‹ค ๋ฌผ์ฒด slot์„ ๊ณ ์ •ํ•˜๊ณ  ๊ทธ ๋ฌผ์ฒด์˜ ํด๋ฆฝ๋“ค ์ค‘ ๊ท ๋“ฑ ์ถ”์ฒจ, ์‹œ์ž‘ ํ”„๋ ˆ์ž„๋„ ๊ท ๋“ฑ(RSI). ์‹คํŒจ ํด๋ฆฝ์„ ์šฐ์„  ๋ฝ‘๋Š” ์žฅ์น˜๋Š” ์—†๋‹ค ์ผ์น˜(์„ธ๋ถ€๋Š” ์ฝ”๋“œ์—๋งŒ)
์–ด๋ธ”๋ ˆ์ด์…˜ยท๋ฒ ์ด์Šค๋ผ์ธ Fig. 3, Table I PPO ํ•™์Šต ์„ค์ •, ๋ฒ ์ด์Šค๋ผ์ธ 3์ข…, ๋ฏธ๋ž˜ ์กฐ๊ฑด ์ œ๊ฑฐ ์„ค์ •์ด ๋ ˆํฌ์— ์—†๋‹ค. traj_encoder.enable=false๋งŒ์œผ๋กœ๋Š” ์›์‹œ ๋ฏธ๋ž˜ ์ฐฝ์ด ๊ด€์ธก์— ๊ณ„์† ๋ถ™์–ด โ€œ๋ฏธ๋ž˜ ์กฐ๊ฑด ์ œ๊ฑฐโ€๊ฐ€ ๋˜์ง€ ์•Š๋Š”๋‹ค ์žฌํ˜„ ๊ฒฝ๋กœ ์—†์Œ

๊ฐ€์žฅ ์ค‘์š”ํ•œ ๊ฒƒ์€ ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ˜๋Ÿผ์ด๋‹ค. ํ•™์Šต ์ดˆ๊ธฐ์— ๋ฌผ์ฒด๋ฅผ ์ฐธ์กฐ ๊ถค์  ์ชฝ์œผ๋กœ ๋Œ์–ด๋‹น๊ธฐ๋Š” ์™ธ๋ ฅ์„ ๊ฑธ๊ณ , ๋ณด์ƒ๊ณผ ํด๋ฆฝ ์™„๋ฃŒ์œจ์ด ๋ฌธํ„ฑ์„ ๋„˜์„ ๋•Œ๋งˆ๋‹ค ์ด๋“์„ ์ค„์—ฌ ๊ฐ€๋Š” ์žฅ์น˜๋กœ, DexMachina์˜ virtual object controller์™€ ๊ฐ™์€ ๊ณ„์—ด์˜ ์•„์ด๋””์–ด๋‹ค. ๋…ผ๋ฌธ์€ ๊ด€๋ จ ์—ฐ๊ตฌ์—์„œ DexMachina๋ฅผ โ€œ๋ฌผ์ฒด ๋ณด์กฐ๋ฅผ ์ ์ง„์ ์œผ๋กœ ์ค„์ธ๋‹คโ€๊ณ  ์†Œ๊ฐœํ•˜๋ฉด์„œ ์ž๊ธฐ ๋ฐฉ๋ฒ•์—๋„ ๊ฐ™์€ ์žฅ์น˜๊ฐ€ ์žˆ๋‹ค๋Š” ์‚ฌ์‹ค์€ ์ ์ง€ ์•Š๋Š”๋‹ค. ์ด๋“์€ ํ•œ ๋ฐฉํ–ฅ์œผ๋กœ๋งŒ ์ค„์ง€ ์•Š๋Š”๋‹ค. ์™„์ฃผ์œจ์ด ๋–จ์–ด์ง€๋ฉด ๋‹ค์‹œ ์˜ฌ๋ฆฌ๋Š” dialback ๋‹จ๊ณ„๊ฐ€ ์žˆ์–ด์„œ, ํ•™์Šต์ด ํ”๋“ค๋ฆด ๋•Œ๋งˆ๋‹ค ๋ณด์กฐ๋ฅผ ๋˜๋Œ๋ ค ์ฃผ๋Š” ํ๋ฃจํ”„ ์ปค๋ฆฌํ˜๋Ÿผ์ด๋‹ค. ๋‹คํ–‰ํžˆ ์ฝ”๋“œ์ƒ ์„ฑ๊ณต ํŒ์ •์šฉ ํ‰๊ฐ€ ๋กค์•„์›ƒ์—์„œ๋Š” ๋ณด์กฐ๋ ฅ์„ 0์œผ๋กœ ์ง€์šฐ๊ณ  ๋‚˜์„œ ๋Œ๋ฆฌ๋ฏ€๋กœ, ์ €์žฅ๋œ ๊ถค์ ์ด ๋ณด์กฐ๋ ฅ์— ๊ธฐ๋Œ€ ์„ฑ๊ณตํ•œ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ด ์žฅ์น˜๊ฐ€ ํ•™์Šต ์†๋„์— ์–ผ๋งˆ๋‚˜ ๊ธฐ์—ฌํ•˜๋Š”์ง€๋Š” ์–ด๋ธ”๋ ˆ์ด์…˜(Fig. 3)์— ์—†๋‹ค. โ€œ์–ด๋А ์„ค๊ณ„๊ฐ€ ํšจ์œจ์„ ๋งŒ๋“ค์—ˆ๋Š”๊ฐ€โ€๋ฅผ ๋ฌป๋Š” RQ2์˜ ๋‹ต์ด ๋ถˆ์™„์ „ํ•œ ์…ˆ์ด๋‹ค.

์ง๊ด€: ์™œ ํ•œ ์ •์ฑ…์ด ์‹œ์—ฐ๋ณ„ ์ •์ฑ…๋ณด๋‹ค ์‹ธ๊ฒŒ ๋จนํžˆ๋Š”๊ฐ€

์‹œ์—ฐ๋ณ„ RL์€ ๋งค๋ฒˆ โ€œ์†๊ฐ€๋ฝ์„ ๋ฌผ์ฒด์— ๊ฐ–๋‹ค ๋Œ€๊ณ , ์ฅ๊ณ , ๋“ค๊ณ , ๋Œ๋ฆฌ๋Š”โ€ ๊ธฐ์ดˆ ๊ธฐ์ˆ ์„ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋‹ค์‹œ ๋ฐฐ์šด๋‹ค. 50๊ฐœ ์‹œ์—ฐ์ด๋ผ๋ฉด ์ด ๊ณตํ†ต ๋ถ€๋ถ„์„ 50๋ฒˆ ๋ฐฐ์šฐ๋Š” ์…ˆ์ด๋‹ค. ํ•œ ์ •์ฑ…์ด ๋ชจ๋“  ์‹œ์—ฐ์„ ํ•จ๊ป˜ ๋ฐฐ์šฐ๋ฉด ๊ณตํ†ต ๊ธฐ์ˆ ์€ ํ•œ ๋ฒˆ๋งŒ ๋ฐฐ์šฐ๊ณ , ์‹œ์—ฐ๋งˆ๋‹ค ๋‹ค๋ฅธ ๋ถ€๋ถ„(๋ฌผ์ฒด ๋ชจ์–‘, ๊ฒฝ๋กœ)๋งŒ ๊ด€์ธก ์กฐ๊ฑด์œผ๋กœ ๋ถ„๊ธฐํ•˜๋ฉด ๋œ๋‹ค. Fig. 5์˜ ์Šค์ผ€์ผ๋ง ๊ณก์„ ์ด ์ด ์ง๊ด€์„ ์ •๋Ÿ‰์œผ๋กœ ๋ณด์—ฌ ์ค€๋‹ค. ๊ฐ™์€ 60 GPU-h์—์„œ 1,000๋ชจ์…˜ ์ง‘ํ•ฉ์€ 600๊ฐœ ๋‚จ์ง“, 200๋ชจ์…˜ ์ง‘ํ•ฉ์€ 160๊ฐœ ๋‚จ์ง“์„ ๋ณ€ํ™˜ํ–ˆ๋‹ค(๊ทธ๋ฆผ ํŒ๋… ๊ทผ์‚ฌ์น˜, ์•„๋ž˜ RQ3). ์‹œ์—ฐ์„ ๋” ๋„ฃ์„์ˆ˜๋ก ๋ณ€ํ™˜ ์ฒ˜๋ฆฌ๋Ÿ‰(์‹œ๊ฐ„๋‹น ์„ฑ๊ณต ๊ฐœ์ˆ˜)์ด ์˜ค๋ฅธ๋‹ค.

์ด ๊ทธ๋ฆผ์ด ์„ฑ๋ฆฝํ•˜๋ ค๋ฉด ์ •์ฑ…์ด ์‹œ์—ฐ๋“ค์„ ๊ตฌ๋ถ„ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•˜๊ณ (์ ๊ตฐยท๋ฏธ๋ž˜ ์ฐธ์กฐ), ์„œ๋กœ ๋‹ค๋ฅธ ์‹œ์—ฐ์—์„œ ์˜จ ๊ฒฝํ—˜์ด ์„œ๋กœ๋ฅผ ๋ฐฉํ•ดํ•˜๊ธฐ๋ณด๋‹ค ๋„์™€์•ผ ํ•œ๋‹ค. ํ›„์ž๋ฅผ ๋– ๋ฐ›์น˜๋Š” ๊ฒƒ์ด off-policy ์žฌ์‚ฌ์šฉ์ด๋‹ค. PPO๋Š” ๋ฐฉ๊ธˆ ๋ชจ์€ ๋ฐฐ์น˜๋งŒ ์“ฐ๊ณ  ๋ฒ„๋ฆฌ๋ฏ€๋กœ 50๊ฐœ ์‹œ์—ฐ์ด ์„ž์ธ ๋ฐฐ์น˜์—์„œ ๊ฐ ์‹œ์—ฐ์˜ ์‹ ํ˜ธ๊ฐ€ ํฌ์„๋œ๋‹ค. replay buffer๋Š” ์˜ค๋ž˜์ „ ๋‹ค๋ฅธ ์‹œ์—ฐ์—์„œ ์–ป์€ ์„ฑ๊ณต ๊ฒฝํ—˜์„ ๊ณ„์† ๋‹ค์‹œ ์“ฐ๊ฒŒ ํ•ด ์ค€๋‹ค. ์–ด๋ธ”๋ ˆ์ด์…˜์—์„œ buffer๋ฅผ 10Mโ†’50M๋กœ ๋Š˜๋ฆฐ ๊ฒƒ๋งŒ์œผ๋กœ 34%โ†’60%๊ฐ€ ๋œ ๊ฒƒ์€ โ€œ๊ฒฝํ—˜์„ ์˜ค๋ž˜ ๋ณด๊ด€ํ•˜๋Š” ๊ฒƒโ€ ์ž์ฒด๊ฐ€ multi-reference์˜ ํ•ต์‹ฌ ์ž์›์ด๋ผ๋Š” ํ•ด์„๊ณผ ๋งž๋Š”๋‹ค.

์ƒํ˜ธ์ž‘์šฉ ๋ณด์ƒ์˜ ๋‹จ๋ฐฉํ–ฅ ์„ค๊ณ„๋„ ๊ฐ™์€ ๋งฅ๋ฝ์—์„œ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋‹ค. ์‚ฌ๋žŒ ์†๊ณผ ๋กœ๋ด‡ ์†์€ ๋ชจ์–‘์ด ๋‹ฌ๋ผ์„œ ์†๋-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ๋ฅผ ์ •ํ™•ํžˆ ๋งž์ถ”๋Š” ๊ฒƒ์€ ์• ์ดˆ์— ๋ถˆ๊ฐ€๋Šฅํ•˜๊ฑฐ๋‚˜ ๋ถˆํ•„์š”ํ•˜๋‹ค. โ€œ์ตœ์†Œํ•œ ์‚ฌ๋žŒ๋งŒํผ์€ ๋ถ™์–ด๋ผโ€๋Š” ์กฐ๊ฑด์€ ํ˜•ํƒœ ์ฐจ์ด๋ฅผ ํก์ˆ˜ํ•  ์—ฌ์œ ๋ฅผ ๋‚จ๊ธฐ๋ฉด์„œ โ€œ์ฅ๋Š” ์†๊ฐ€๋ฝ์€ ์‹ค์ œ๋กœ ๋‹ฟ์•„์•ผ ํ•œ๋‹คโ€๋Š” ํ•ต์‹ฌ๋งŒ ๊ฐ•์ œํ•œ๋‹ค.

์‹คํ—˜

์…‹์—… (ยงIV-A)

ํ•ญ๋ชฉ ๋‚ด์šฉ
๋ฐ์ดํ„ฐ TACOยทOakInk2(๋‘ ๋ฌผ์ฒด), HOT3D(ํ•œ ๋ฌผ์ฒด). CHORD์˜ ์ „์ฒ˜๋ฆฌ ์ ˆ์ฐจ๋ฅผ ๋”ฐ๋ฆ„. ์†๋„ ๋ฌผ์ฒด๋„ ์›€์ง์ด์ง€ ์•Š๋Š” ๋น„ํ™œ์„ฑ ํด๋ฆฝ์€ ์‚ฌ์†Œํ•œ ์„ฑ๊ณต์„ ๋ง‰๊ธฐ ์œ„ํ•ด ์ œ์™ธ
์ฃผ ๋ฒค์น˜๋งˆํฌ 50๋ชจ์…˜ = ํ•œ ๋ฌผ์ฒด 25 + ๋‘ ๋ฌผ์ฒด 25
๋กœ๋ด‡ ์† XHand, Sharpa Wave Hand(์ œ์–ด ์ฐจ์›์ด ๋” ๋†’์Œ)
๋ฒ ์ด์Šค๋ผ์ธ Do as I Do(๊ณต๊ฐœ ๊ตฌํ˜„), CHORD(๊ณต๊ฐœ ๊ตฌํ˜„, PPO ํ•™์Šต), DexMachina(์‹œ์ž‘ ํ”„๋ ˆ์ž„ ๋Œ€์‹  ์ฐธ์กฐ ๊ถค์ ์˜ ์ž„์˜ ์ƒํƒœ์—์„œ ์ดˆ๊ธฐํ™”ํ•˜๋„๋ก ์ˆ˜์ •). DexMachina๋Š” XHand์—์„œ๋งŒ ๋ณด๊ณ 
์Šค์ผ€์ผ๋ง 200 / 500 / 1,000๋ชจ์…˜, ํ•œ ๋ฌผ์ฒดยท๋‘ ๋ฌผ์ฒด ๋น„์œจ์„ ๋Œ€๋žต ๊ท ํ˜•
์‹œ๋ฎฌ๋ ˆ์ดํ„ฐยทGPU Isaac Sim, NVIDIA RTX 3090
ํ•™์Šต ์˜ˆ์‚ฐ XHand 300M env step, Sharpa 400M, ์–ด๋ธ”๋ ˆ์ด์…˜ 300M, ์Šค์ผ€์ผ๋ง 600M

์ง€ํ‘œ. ์„ธ ๊ฐ€์ง€ ์„ฑ๊ณต๋ฅ ์„ ์“ด๋‹ค.

์ง€ํ‘œ ์ถœ์ฒ˜ ๊ธฐ์ค€ ๋น„๊ณ 
\mathrm{SR}_{\mathrm{MT}} ManipTrans ๋ฌผ์ฒด 3 cmยท30ยฐ, ์†๋ 6 cm, ์† ๊ด€์ ˆ 8 cm ๊ฐ€์žฅ ์—„๊ฒฉ
\mathrm{SR}_{\mathrm{MT\text{-}Obj}} ๋ณธ ๋…ผ๋ฌธ \mathrm{SR}_{\mathrm{MT}}์˜ ๋ฌผ์ฒด ์กฐ๊ฑด๋งŒ ์–ด๋ธ”๋ ˆ์ด์…˜๊ณผ ๋ˆ„์  ์„ฑ๊ณต ์ง‘๊ณ„์— ์‚ฌ์šฉ
\mathrm{SR}_{\mathrm{SPIDER}} SPIDER ๋ฌผ์ฒด 10 cmยท0.5 rad, ํ™œ์„ฑ ์†๋“ค์˜ ๋ฌผ์ฒด ์˜ค์ฐจ๋ฅผ ํ‰๊ท  ํ•œ ๋ฌผ์ฒด๊ฐ€ ๊ฑฐ์˜ ์ •์ง€ํ•œ ์‹œ์—ฐ์—์„œ ์„ฑ๊ณต์„ ๊ณผ๋Œ€ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ €์ž๊ฐ€ ์ง์ ‘ ๋ช…์‹œ

MOPEยทMORE(ํ‰๊ท  ๋ฌผ์ฒด ์œ„์น˜ยทํšŒ์ „ ์˜ค์ฐจ)๋Š” \mathrm{SR}_{\mathrm{SPIDER}}๋ฅผ ํ†ต๊ณผํ•œ ๊ถค์ ๋“ค์— ๋Œ€ํ•ด์„œ๋งŒ ์žฐ๋‹ค.

์—ฐ์‚ฐ ๋น„์šฉ ์ง‘๊ณ„. ์‹œ์—ฐ๋ณ„ ๋ฒ ์ด์Šค๋ผ์ธ์€ ์ฃผ๊ธฐ์ ์œผ๋กœ ํ‰๊ฐ€ํ•ด ์„ฑ๊ณต ๋กค์•„์›ƒ์ด ์ฒ˜์Œ ๋‚˜์˜ค๋ฉด ๊ทธ ์‹œ์—ฐ์˜ ํ•™์Šต์„ ๋ฉˆ์ถ”๊ณ  ๊ทธ๋•Œ๊นŒ์ง€์˜ GPU ์‹œ๊ฐ„์„ ๊ธฐ๋กํ•˜๋ฉฐ, ์‹คํŒจํ•œ ์‹œ์—ฐ์€ ์ „์ฒด ๋น„์šฉ์„ ํ•ฉ์‚ฐํ•œ๋‹ค. FlashDexRetarget์€ ๊ณ ์ • step ์˜ˆ์‚ฐ๊นŒ์ง€์˜ ์ด GPU ์‹œ๊ฐ„์„ ๋ณด๊ณ ํ•˜๊ณ , ํ•™์Šต ์ค‘ ์–ด๋А ์‹œ์ ์ด๋“  \mathrm{SR}_{\mathrm{MT\text{-}Obj}}๋ฅผ ๋งŒ์กฑํ•˜๋Š” ๋กค์•„์›ƒ์ด ์ €์žฅ๋œ ์‹œ์—ฐ์„ ์„ฑ๊ณต์œผ๋กœ ๋ˆ„์  ์ง‘๊ณ„ํ•œ๋‹ค.

RQ1: ์„ฑ๊ณต๋ฅ ๊ณผ ์—ฐ์‚ฐ (ยงIV-B, Table I)

์† ๋ฐฉ๋ฒ• ๋ฐฉ์‹ SRSPIDER โ†‘ SRMT-Obj โ†‘ SRMT โ†‘ MOPE (mm) โ†“ MORE (rad) โ†“ GPU-h โ†“
XHand Do as I Do Single 0.36 0.04 0.00 47.32 0.28 66
XHand DexMachina Single 0.48 0.32 0.12 37.49 0.29 447
XHand CHORD Single 0.46 0.02 0.00 55.70 0.16 2,847
XHand FlashDexRetarget Multi 0.90 0.86 0.86 10.95 0.25 29
Sharpa Do as I Do Single 0.64 0.10 0.10 58.33 0.24 62
Sharpa CHORD Single 0.50 0.22 0.00 60.07 0.19 3,314
Sharpa FlashDexRetarget Multi 0.86 0.80 0.80 16.45 0.32 44

XHand์—์„œ FlashDexRetarget์€ \mathrm{SR}_{\mathrm{SPIDER}}๋กœ ๋ชจ๋“  ๋ฒ ์ด์Šค๋ผ์ธ๋ณด๋‹ค 42%p ์ด์ƒ ๋†’๊ณ (0.90 vs ์ตœ๊ณ  0.48. ๋ณธ๋ฌธ์€ โ€œ์ ์–ด๋„ 40%pโ€), GPU ์‹œ๊ฐ„์€ Do as I Do์˜ ์•ฝ 1/2.3(66 vs 29), CHORD์˜ ์•ฝ 1/98(2,847 vs 29)์ด๋‹ค. ์—„๊ฒฉํ•œ \mathrm{SR}_{\mathrm{MT}}์—์„œ๋Š” ์ฐจ์ด๊ฐ€ ๋” ๋ฒŒ์–ด์ ธ 86% vs DexMachina 12%, Do as I DoยทCHORD 0%๋‹ค. Sharpa์—์„œ๋„ ๊ฐ™์€ ๊ฒฝํ–ฅ์ด๋‹ค(86% vs 64%ยท50%, \mathrm{SR}_{\mathrm{MT}} 80% vs 10%ยท0%). Sharpa์—์„œ CHORD ๋Œ€๋น„ ์—ฐ์‚ฐ ๋น„์œจ์€ 3,314/44 โ‰ˆ 75๋ฐฐ๋กœ, โ€œ์•ฝ 100๋ฐฐโ€๋Š” XHand ์ชฝ ์ˆ˜์น˜๋‹ค.

ํ‘œ๋ฅผ ๊ผผ๊ผผํžˆ ๋ณด๋ฉด ๋ˆˆ์— ๋„๋Š” ์ ์ด ๋‘ ๊ฐ€์ง€ ์žˆ๋‹ค.

  • FlashDexRetarget์€ \mathrm{SR}_{\mathrm{MT\text{-}Obj}}=\mathrm{SR}_{\mathrm{MT}}๋‹ค(0.86=0.86, 0.80=0.80). ๋ฌผ์ฒด ์กฐ๊ฑด์„ ํ†ต๊ณผํ•œ ์‹œ์—ฐ์€ ์ „๋ถ€ ์† ์กฐ๊ฑด๋„ ํ†ต๊ณผํ–ˆ๋‹ค. ์† ์ถ”์ข… ๋ณด์ƒ๊ณผ BC ํ•ญ์ด ๊ฐ•ํ•˜๊ฒŒ ๊ฑธ๋ ค ์žˆ๊ณ , ํ–‰๋™์ด ์ฐธ์กฐ ๊ธฐ์ค€ ์ž”์ฐจ๋กœ ์ •์˜๋ผ ์žˆ์œผ๋‹ˆ(์ฝ”๋“œ ๋Œ€์กฐ) ์†์ด ์ฐธ์กฐ์—์„œ ํฌ๊ฒŒ ๋ฒ—์–ด๋‚˜๊ธฐ ์–ด๋ ค์šด ๊ตฌ์กฐ์™€ ๋งž๋Š”๋‹ค. ๋ฐ˜๋Œ€๋กœ ๋ฒ ์ด์Šค๋ผ์ธ์€ \mathrm{SR}_{\mathrm{SPIDER}}์™€ \mathrm{SR}_{\mathrm{MT\text{-}Obj}} ์‚ฌ์ด๊ฐ€ ํฌ๊ฒŒ ๋ฒŒ์–ด์ง„๋‹ค(CHORD XHand 0.46 โ†’ 0.02). ๋ฒ ์ด์Šค๋ผ์ธ์˜ ์„ฑ๊ณต ์ƒ๋‹น์ˆ˜๊ฐ€ 10 cmยท0.5 rad์˜ ๋А์Šจํ•œ ํ‰๊ท  ๊ธฐ์ค€์—์„œ๋งŒ ์„ฑ๋ฆฝํ•œ๋‹ค๋Š” ๋œป์ด๋‹ค.
  • MORE(ํšŒ์ „ ์˜ค์ฐจ)๋Š” FlashDexRetarget์ด ๊ฐ€์žฅ ์ข‹์ง€ ์•Š๋‹ค. XHand 0.25 rad๋กœ CHORD 0.16๋ณด๋‹ค ํฌ๊ณ , Sharpa์—์„œ๋Š” 0.32๋กœ ์„ธ ๋ฐฉ๋ฒ• ์ค‘ ๊ฐ€์žฅ ํฌ๋‹ค. ๋ฐ˜๋ฉด MOPE(์œ„์น˜)๋Š” 10.95 mm๋กœ ์••๋„์ ์ด๋‹ค. ๋ณธ๋ฌธ์€ MORE๋ฅผ ์–ธ๊ธ‰ํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ ๊ตฐ ๋Œ€์‘์  ๋ณด์ƒ์ด ์œ„์น˜ยทํšŒ์ „์„ โ€œ๊ณตํ†ต ๋‹จ์œ„โ€๋กœ ๋ฌถ๋Š”๋‹ค๋Š” ์„ค๊ณ„์˜ ๋ถ€์ž‘์šฉ์ผ ์ˆ˜ ์žˆ๋‹ค. ์ ๋“ค์€ ๋ฌผ์ฒด ํฌ๊ธฐ์™€ ๋ฌด๊ด€ํ•˜๊ฒŒ ๋ฐ˜์ง€๋ฆ„ \rho=5.8 cm๋กœ ์ •๊ทœํ™”๋˜์ง€๋งŒ ์œ„์น˜ ์˜ค์ฐจ๋Š” ์ •๊ทœํ™”๋˜์ง€ ์•Š์œผ๋ฏ€๋กœ, ๋ฐ˜์ง€๋ฆ„์ด 5.8 cm๋ณด๋‹ค ํฐ ๋ฌผ์ฒด์—์„œ๋Š” ๊ฐ™์€ ํšŒ์ „ ์˜ค์ฐจ๊ฐ€ ๋ณด์ƒ์—์„œ ์‹ค์ œ ํ‘œ๋ฉด ๋ณ€์œ„๋ณด๋‹ค ์ž‘๊ฒŒ ๋งค๊ฒจ์ง„๋‹ค(์ด ํ•ด์„์€ ๋ฆฌ๋ทฐ์–ด ์ถ”๋ก ์ด๊ณ  ๋…ผ๋ฌธ์ด ๊ฒ€์ฆํ•œ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค). ๋˜ MOPEยทMORE๋Š” ๊ฐ ๋ฐฉ๋ฒ•์ด ์„ฑ๊ณตํ•œ ๊ถค์ ๋“ค๋งŒ์œผ๋กœ ๊ณ„์‚ฐํ•˜๋ฏ€๋กœ, ์‹œ์—ฐ ์ง‘ํ•ฉ์ด ๋ฐฉ๋ฒ•๋งˆ๋‹ค ๋‹ฌ๋ผ(FlashDexRetarget 45๊ฐœ vs CHORD 23๊ฐœ, XHand) ์—„๋ฐ€ํ•œ ๋™์ผ ์กฐ๊ฑด ๋น„๊ต๋Š” ์•„๋‹ˆ๋‹ค.

RQ2: ์–ด๋ธ”๋ ˆ์ด์…˜ (ยงIV-C, Fig. 3)


์–ด๋ธ”๋ ˆ์ด์…˜(Fig. 3): 50๋ชจ์…˜ ๋ฒค์น˜๋งˆํฌ์—์„œ 300M env step ๋™์•ˆ SRMT-Obj๋ฅผ ๋งŒ์กฑํ•œ ๋ˆ„์  ์‹œ์—ฐ ์ˆ˜. (a) ๋ฏธ๋ž˜ ์ฐธ์กฐ ์ธ์ฝ”๋”ฉ, (b) ์ ๊ตฐ(PCD)ยท์ƒํ˜ธ์ž‘์šฉ(Int) ๋ณด์ƒ(๋Œ€์‘ ๊ด€์ธก๊ณผ ํ•จ๊ป˜ ์ œ๊ฑฐ), (c) ํ†ตํ•ฉ vs ์†๋ณ„ actor-critic, (d) PPOยท๊ธฐ๋ณธ FlashSACยทํฐ bufferยทํฐ buffer+ํฐ critic.

๊ทธ๋ฆผ์—์„œ ์ฝ์€ 300M step ์‹œ์ ์˜ ๋ˆ„์  ์„ฑ๊ณต ์‹œ์—ฐ ์ˆ˜(50๊ฐœ ์ค‘)๋ฅผ ํ‘œ๋กœ ์˜ฎ๊ธฐ๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. (d)์˜ 34%ยท60%ยท86%๋Š” ๋ณธ๋ฌธ ์ˆ˜์น˜์™€ ์ผ์น˜ํ•œ๋‹ค.

์ถ• ๋ณ€ํ˜• ๋ˆ„์  ์„ฑ๊ณต(/50) ๋น„์œจ
์ „์ฒด FlashDexRetarget (full) 43 86%
(a) ๊ด€์ธก w/o K future latent 38 76%
(b) ๋ณด์ƒ w/o Int 36 72%
(b) ๋ณด์ƒ w/o PCD 33 66%
(b) ๋ณด์ƒ w/o PCD & Int 15 30%
(c) ๊ตฌ์กฐ Unified actor-critic 33 66%
(d) ํ•™์Šต๊ธฐ FlashSAC + ํฐ buffer(50M) 30 60%
(d) ํ•™์Šต๊ธฐ FlashSAC ๊ธฐ๋ณธ(10M, 256) 17 34%
(d) ํ•™์Šต๊ธฐ PPO 1 2%

(ํ‘œ์˜ ์ˆ˜์น˜๋Š” Fig. 3์—์„œ ์ฝ์€ ๊ทผ์‚ฌ์น˜์ด๋ฉฐ, (d)์˜ ์„ธ ๋น„์œจ๋งŒ ๋ณธ๋ฌธ์— ๋ช…์‹œ๋ผ ์žˆ๋‹ค.)

ํ•ด์„์€ ์ด๋ ‡๋‹ค.

  • ํ•™์Šต๊ธฐ๊ฐ€ ์ง€๋ฐฐ์ ์ด๋‹ค. PPO โ†’ ๊ธฐ๋ณธ FlashSAC โ†’ ํฐ buffer โ†’ ํฐ critic์ด 1 โ†’ 17 โ†’ 30 โ†’ 43์œผ๋กœ ๊ฐ€์žฅ ํฐ ํญ์„ ๋งŒ๋“ ๋‹ค. ์ €์ž๋“ค๋„ โ€œ๊ฐ€์žฅ ๋‘๋“œ๋Ÿฌ์ง„ ์ฐจ์ดโ€๋ผ๊ณ  ์“ด๋‹ค.
  • ์ ๊ตฐ๊ณผ ์ƒํ˜ธ์ž‘์šฉ ๋ณด์ƒ์€ ์„œ๋กœ๋ฅผ ๋ณด์™„ํ•œ๋‹ค. ๋‘˜ ์ค‘ ํ•˜๋‚˜๋งŒ ๋นผ๋ฉด 33~36, ๋‘˜ ๋‹ค ๋นผ๋ฉด 15๋กœ ๊ธ‰๋ฝํ•œ๋‹ค. ํ•˜๋‚˜๋งŒ ๋น ์กŒ์„ ๋•Œ์˜ ์†์‹ค ํ•ฉ(7+10=17)๋ณด๋‹ค ๋‘˜ ๋‹ค ๋บ์„ ๋•Œ์˜ ์†์‹ค(28)์ด ์ปค์„œ, ๋‘ ์‹ ํ˜ธ๊ฐ€ ์ผ๋ถ€ ๋Œ€์ฒด ๊ด€๊ณ„์— ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ์‹œ์‚ฌํ•œ๋‹ค.
  • ๋ฏธ๋ž˜ ์ฐธ์กฐ ์ธ์ฝ”๋”ฉ๊ณผ ์†๋ณ„ actor-critic์€ ์ตœ์ข… ๊ฐœ์ˆ˜์—์„œ 5~10๊ฐœ ์ฐจ์ด๋ฅผ ๋‚ธ๋‹ค. (c)์˜ ํ†ตํ•ฉ actor-critic์€ ํ•™์Šต ์ดˆ๋ฐ˜ ๊ณก์„ ๋ถ€ํ„ฐ ๋Šฆ๋‹ค.
  • ๋ชจ๋“  ๋ณ€ํ˜•์€ full ๊ตฌ์„ฑ์—์„œ ํ•˜๋‚˜์”ฉ ๋นผ๋Š” ๋ฐฉ์‹์ด๋‹ค. ํ•™์Šต๊ธฐ๋ฅผ ๊ธฐ๋ณธ FlashSAC์œผ๋กœ ๋‘๊ณ  ๋‚˜๋จธ์ง€๋ฅผ ๋บ์„ ๋•Œ์˜ ํšจ๊ณผ๋Š” ์•Œ ์ˆ˜ ์—†๋‹ค.

RQ3: ๋” ํฐ ์ฐธ์กฐ ์ง‘ํ•ฉ์œผ๋กœ (ยงIV-D, Fig. 5)


์Šค์ผ€์ผ๋ง(Fig. 5): 200ยท500ยท1,000๋ชจ์…˜ ์ง‘ํ•ฉ์— ๋Œ€ํ•œ ๊ณต์œ  ์ •์ฑ…์˜ ๋ˆ„์  ์„ฑ๊ณต ๋ณ€ํ™˜ ์ˆ˜, ํ•™์Šต ์ฒ˜์Œ 60 GPU-h ๊ตฌ๊ฐ„. ๊ฐ™์€ GPU ์‹œ๊ฐ„์—์„œ ๋” ํฐ ์ง‘ํ•ฉ์ด ๋” ๋งŽ์ด ๋ณ€ํ™˜ํ•œ๋‹ค.

์„ธ ์„ค์ • ๋ชจ๋‘ 600M step ์˜ˆ์‚ฐ์œผ๋กœ ํ•™์Šตํ•˜๊ณ , ๊ณตํ†ต ์ถ• ๋น„๊ต๋ฅผ ์œ„ํ•ด ์ฒ˜์Œ 60 GPU-h๋งŒ ๊ทธ๋ ธ๋‹ค. ๊ทธ๋ฆผ์—์„œ ์ฝ์œผ๋ฉด 60 GPU-h ์‹œ์ ์— 1,000๋ชจ์…˜์€ ์•ฝ 617๊ฐœ, 500๋ชจ์…˜์€ ์•ฝ 334๊ฐœ, 200๋ชจ์…˜์€ ์•ฝ 164๊ฐœ๋ฅผ ๋ณ€ํ™˜ํ–ˆ๋‹ค(๊ทผ์‚ฌ์น˜. ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๋Š” 1,000๋ชจ์…˜์„ โ€œ600+โ€๋กœ ์ ๋Š”๋‹ค). ์ ˆ๋Œ€ ๊ฐœ์ˆ˜๋Š” ์ง‘ํ•ฉ ํฌ๊ธฐ์™€ ํ•จ๊ป˜ ์ปค์ง€์ง€๋งŒ ๋ณ€ํ™˜ ๋น„์œจ์€ ๊ฑฐ๊พธ๋กœ ์ค„์–ด๋“ ๋‹ค(์•ฝ 82% โ†’ 67% โ†’ 62%). ์ €์ž ์ฃผ์žฅ(โ€œ๋” ํฐ ์ง‘ํ•ฉ์ด ๊ฐ™์€ ์—ฐ์‚ฐ์œผ๋กœ ๋” ๋งŽ์€ ์‹œ์—ฐ์„ ๋ณ€ํ™˜โ€)์€ ์ •ํ™•ํžˆ ์ ˆ๋Œ€ ๊ฐœ์ˆ˜์— ๋Œ€ํ•œ ๊ฒƒ์ด๊ณ , ๊ทธ ๋ฒ”์œ„์—์„œ๋Š” ๋งž๋‹ค. ์ฒ˜๋ฆฌ๋Ÿ‰์œผ๋กœ ๋ณด๋ฉด 1,000๋ชจ์…˜์€ ์•ฝ 10๊ฐœ/GPU-h๋กœ, 50๋ชจ์…˜ ์‹คํ—˜(43๊ฐœ/29 GPU-h โ‰ˆ 1.5๊ฐœ/GPU-h)๋ณด๋‹ค ํ›จ์”ฌ ๋†’๋‹ค. ๋‹ค๋งŒ 1,000๋ชจ์…˜ ๊ณก์„ ์€ 60 GPU-h์—์„œ๋„ ์•„์ง ์˜ค๋ฅด๋Š” ์ค‘์ด๋ผ ์ตœ์ข… ๋ณ€ํ™˜ ๋น„์œจ์€ ๋ณด๊ณ ๋˜์ง€ ์•Š์•˜๋‹ค.

RQ4: ์‹ค์„ธ๊ณ„ ์žฌ์ƒ (ยงIV-E, Fig. 4)


์‹ค์„ธ๊ณ„ ๊ฒ€์ฆ(Fig. 4): ๋ฆฌํƒ€๊ฒŒํŒ…๋œ ๊ถค์ ์„ ์‹ค์ œ ๋กœ๋ด‡์—์„œ ์žฌ์ƒ. ์œ„๋ถ€ํ„ฐ ๋ณด๋“œ ๋‹ฆ๊ธฐ, ํŒฌ์— ๋ถ“๊ธฐ, ๋šœ๊ป‘ ๋‹ซ๊ธฐ.
์‚ฌ๋žŒ ์ฐธ์กฐ(๋ถ“๊ธฐ)
์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฆฌํƒ€๊ฒŒํŒ…
์‹ค๋กœ๋ด‡(4๋ฐฐ์†)
ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์˜ โ€œReal-World Replayโ€ 3๋‹จ ๋น„๊ต ์ค‘ ๋ถ“๊ธฐ ๊ณผ์ œ.

๋…ผ๋ฌธ ๋ณธ๋ฌธ์€ โ€œ์„ฑ๊ณตํ•œ ๊ถค์ ์„ ๋ฌผ๋ฆฌ ๋กœ๋ด‡์—์„œ ์žฌ์ƒํ–ˆ๊ณ  ์—ฌ๋Ÿฌ ๊ณผ์ œ๋ฅผ ์™„์ˆ˜ํ–ˆ๋‹คโ€๊ณ ๋งŒ ์“ด๋‹ค. ๋กœ๋ด‡ ๊ธฐ์ข…, ์‹œํ–‰ ํšŸ์ˆ˜, ์„ฑ๊ณต๋ฅ , ์žฌ์ƒ์— ์“ด ๊ถค์ ์ด ๋ฒค์น˜๋งˆํฌ 50๋ชจ์…˜์—์„œ ์™”๋Š”์ง€๋Š” ๋ณธ๋ฌธ์— ์—†๋‹ค. ์ด ๊ณต๋ฐฑ์˜ ์ผ๋ถ€๋Š” ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๊ฐ€ ์ฑ„์šด๋‹ค. ๊ฑฐ๊ธฐ์„œ๋Š” ์‹ค์„ธ๊ณ„ ๊ณผ์ œ์— ์“ด ์‚ฌ๋žŒ ์‹œ์—ฐ์ด ์ƒˆ๋กœ ์ง์ ‘ ์บก์ฒ˜ํ•œ ์‹œ์—ฐ์ด๊ณ , ์žฌ์ƒํ•œ ํ•˜๋“œ์›จ์–ด๊ฐ€ ๋กœ๋ด‡ ํŒ” + XHand์ด๋ฉฐ, ์ด ์‹คํ—˜์ด ํ๋ฃจํ”„๋กœ ๋ฐฐํฌํ•œ ์ •์ฑ…์ด ์•„๋‹ˆ๋ผ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์„ฑ๊ณต ๊ถค์ ์˜ ์žฌ์ƒ์ด๋ผ๊ณ  ๋ช…์‹œํ•œ๋‹ค. Fig. 4๋ฅผ ๋ณด๋ฉด ํ•œ ํŒ”ยทํ•œ ์† ๊ตฌ์„ฑ์ด๋ผ ์„ธ ๊ณผ์ œ ๋ชจ๋‘ ํ•œ ์† ๊ณผ์ œ๋‹ค.

๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด

๊ฐ•์ 

  • ๋ฌธ์ œ ์„ค์ • ์ž์ฒด๊ฐ€ ๊ธฐ์—ฌ๋‹ค. โ€œ๋ฆฌํƒ€๊ฒŒํŒ…์˜ ์‚ฐ์ถœ๋ฌผ์€ ๊ถค์ โ€์ด๋ผ๋Š” ๊ด€์ ์—์„œ ์ •์ฑ…์„ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ๊ธฐ๋กœ๋งŒ ์“ฐ๊ณ , ์„ฑ๊ณต ๊ธฐ์ค€์„ ํ•™์Šต ์ „ ๊ตฌ๊ฐ„ ๋ˆ„์ ์œผ๋กœ ์žก์€ ๊ฒƒ์€ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ์ด๋ผ๋Š” ๋ชฉ์ ์— ์ •์งํ•˜๊ฒŒ ๋งž์ถ˜ ์„ค๊ณ„๋‹ค. ๋น„์šฉ ์ง‘๊ณ„ ๋ฐฉ์‹(๋ฒ ์ด์Šค๋ผ์ธ์€ ์ฒซ ์„ฑ๊ณต ์‹œ ์ •์ง€, ์‹คํŒจ ์‹œ ์ „ ๋น„์šฉ ํ•ฉ์‚ฐ)๋„ ๋ฒ ์ด์Šค๋ผ์ธ์— ๋ถˆ๋ฆฌํ•˜์ง€ ์•Š๊ฒŒ ์ •์˜๋ผ ์žˆ๋‹ค.
  • ๋ณด์ƒ ์„ค๊ณ„๊ฐ€ ์ž‘์ง€๋งŒ ์ •ํ™•ํ•˜๋‹ค. ๋Œ€์‘์  ๊ธฐ๋ฐ˜ ๋ฌผ์ฒด ๋ณด์ƒ์€ \rho๋ฅผ ์„ฑ๊ณต ๋ฌธํ„ฑ(3 cm โ†”๏ธŽ 30ยฐ)์—์„œ ์—ญ์‚ฐํ•ด ๋ณด์ƒ๊ณผ ํ‰๊ฐ€ ๊ธฐ์ค€์„ ๊ฐ™์€ ๊ธฐํ•˜๋กœ ๋ฌถ์—ˆ๊ณ (์‚ฐ์ˆ ๋กœ ํ™•์ธ๋จ), ๋‹จ๋ฐฉํ–ฅ ๊ฑฐ๋ฆฌ ๋ณด์ƒ์€ ์žฌ๊ตฌ์„ฑ ์‹œ์—ฐ์˜ ๋–  ์žˆ๋Š” ์†๊ฐ€๋ฝยท๊ด€ํ†ต์„ ๋‘˜ ๋‹ค ์šฐ์•„ํ•˜๊ฒŒ ์ฒ˜๋ฆฌํ•œ๋‹ค. ๋‘˜ ๋‹ค ๊ณต๊ฐœ ์ฝ”๋“œ์— ๋…ผ๋ฌธ ์‹ ๊ทธ๋Œ€๋กœ ๋“ค์–ด ์žˆ๋‹ค.
  • ์–ด๋ธ”๋ ˆ์ด์…˜์ด RQ์™€ ์ •ํ™•ํžˆ ๋งž๋ฌผ๋ฆฐ๋‹ค. ์„œ๋ก ์˜ ๋„ค ๊ฐ€์ง€ ์–ด๋ ค์›€ โ†’ ๋„ค ์„ค๊ณ„ โ†’ Fig. 3์˜ ๋„ค ํŒจ๋„์ด 1:1๋กœ ๋Œ€์‘ํ•˜๊ณ , (b)๋Š” ๋‘ ์„ฑ๋ถ„์„ ๊ฐ๊ฐยท๋™์‹œ์— ๋นผ ๋ณด์™„ ๊ด€๊ณ„๊นŒ์ง€ ๋ณด์—ฌ ์ค€๋‹ค.
  • ์Šค์ผ€์ผ๋ง ๊ณก์„ ์ด ์ฃผ์žฅ์˜ ํ•ต์‹ฌ์„ ์ง์ ‘ ๋ณด์—ฌ ์ค€๋‹ค. ์ฒ˜๋ฆฌ๋Ÿ‰์ด ์ง‘ํ•ฉ ํฌ๊ธฐ์™€ ํ•จ๊ป˜ ๋Š˜์–ด๋‚œ๋‹ค๋Š” ๊ฒƒ์€ multi-reference์˜ ์กด์žฌ ์ด์œ ์ด๊ณ , 1,000๋ชจ์…˜์—์„œ ์•ฝ 10๊ฐœ/GPU-h๋ผ๋Š” ์ฒ˜๋ฆฌ๋Ÿ‰์€ ์‹œ์—ฐ๋ณ„ ๋ฐฉ๋ฒ•์œผ๋กœ๋Š” ๋„๋‹ฌํ•˜๊ธฐ ์–ด๋ ค์šด ์ˆ˜์น˜๋‹ค.
  • ์žฌํ˜„ ์ž๋ฃŒ๊ฐ€ ์ถฉ์‹คํ•˜๋‹ค. MIT ์ฝ”๋“œ, ๋ฐ์ดํ„ฐ์…‹๋ณ„ ์ „์ฒ˜๋ฆฌ ์Šคํฌ๋ฆฝํŠธ(TACOยทOakInk2ยทHOT3D), GPU ๋ฉ”๋ชจ๋ฆฌ ๊ฐ€์ด๋“œ, ์„ฑ๊ณต ๊ถค์  ๋ทฐ์–ด๊นŒ์ง€ ๊ณต๊ฐœ๋๋‹ค. ๋…ผ๋ฌธ์— ์—†๋Š” ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ ๋Œ€๋ถ€๋ถ„์„ ์ฝ”๋“œ์—์„œ ๋ณต์›ํ•  ์ˆ˜ ์žˆ๋‹ค.

์•ฝ์ ยทํ•œ๊ณ„

  • โ€œ์•ฝ 100๋ฐฐโ€๋Š” ์ฃผ๋กœ PPO ๋Œ€ FlashSAC ๋น„๊ต๋‹ค. CHORD ์ˆ˜์น˜๋Š” PPO๋กœ ํ•™์Šตํ•˜๋Š” CHORD ๊ณต๊ฐœ ๊ตฌํ˜„์—์„œ ๋‚˜์™”๋‹ค(Fig. 1 ์บก์…˜, ยงIV-A). ๊ทธ๋Ÿฐ๋ฐ CHORD ๋…ผ๋ฌธ v2 Appendix B๋Š” CHORD๋ฅผ FlashSAC, 2,048 ํ™˜๊ฒฝ, L40S 1์žฅ์—์„œ ์‹œํ€€์Šค๋‹น ์•ฝ 2์‹œ๊ฐ„์œผ๋กœ ํ•™์Šตํ•œ๋‹ค๊ณ  ์ ๋Š”๋‹ค(CHORD ๋ฆฌ๋ทฐ์—์„œ ๋‹ค๋ฃฌ ๊ฐ„๊ทน์ด๋‹ค). ๋‹น์‹œ ๊ณต๊ฐœ ๋ ˆํฌ์—๋Š” PPO๋งŒ ์žˆ์—ˆ๊ณ , ์ €์ž ์ธก์€ FlashSAC ๊ฐ€์† ๊ตฌํ˜„์„ 2026๋…„ 9์›” ๊ณต๊ฐœ ๋ชฉํ‘œ๋กœ ๋ฐํ˜”๋‹ค. ์‹ค์ œ๋กœ nvidia-isaac/video_to_data์—๋Š” 2026-09-23 ๋ฆด๋ฆฌ์Šค(v0.4.0)๋ถ€ํ„ฐ FlashSAC์„ ํฌํ•จํ•œ โ€œFlashCHORDโ€๊ฐ€ ๋“ค์–ด๊ฐ€ ์žˆ๋‹ค(์ด ๋ฆฌ๋ทฐ ์ž‘์„ฑ ์‹œ์  ํ™•์ธ). FlashDexRetarget v1 ์ œ์ถœ(10-01) 8์ผ ์ „์ด๋ผ ์ €์ž๋“ค์ด ์‹คํ—˜์— ์“ฐ๊ธฐ๋Š” ์–ด๋ ค์› ์„ ๊ฒƒ์ด๋‹ค. ๊ทธ๋Ÿผ์—๋„ ๊ฒฐ๊ณผ์ ์œผ๋กœ Table I์˜ CHORD ํ–‰์€ CHORD ๋…ผ๋ฌธ์ด ๋ณด๊ณ ํ•œ ํ•™์Šต ์„ค์ •์ด ์•„๋‹ˆ๋‹ค. ๊ฐ™์€ ๋…ผ๋ฌธ์˜ Fig. 3(d)์—์„œ PPO๊ฐ€ multi-reference ์„ค์ • 300M step์— ๊ฑฐ์˜ 0์ด์—ˆ๋‹ค๋Š” ์ ์„ ์ƒ๊ฐํ•˜๋ฉด, 2,847 GPU-h์˜ ์ƒ๋‹น ๋ถ€๋ถ„์€ โ€œ์‹œ์—ฐ๋ณ„ vs ๊ณต์œ โ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œPPO vs FlashSACโ€์˜ ์ฐจ์ด์ผ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๋‹ค. ๊ฑฐ์นœ ์ƒํ•œ ์ถ”์ •์œผ๋กœ, CHORD ์ž๊ธฐ ๋ณด๊ณ ๊ฐ’(2 h ร— 50 ์‹œ์—ฐ โ‰ˆ 100 L40S-h)์„ ์“ฐ๋ฉด ์—ฐ์‚ฐ ๊ฒฉ์ฐจ๋Š” ์•ฝ 3๋ฐฐ ์ˆ˜์ค€์ด๋‹ค(GPU ๊ธฐ์ข…์ด ๋‹ฌ๋ผ ๋™์ผ ๋น„๊ต๋Š” ์•„๋‹ˆ๋‹ค). โ€œ์‹œ์—ฐ๋ณ„ FlashSAC ๋Œ€ ๊ณต์œ  FlashSACโ€์ด๋ผ๋Š” ๊ฐ€์žฅ ๊ณต์ •ํ•œ ๋น„๊ต, ์ฆ‰ FlashDexRetarget ์ž์ฒด๋ฅผ ์‹œ์—ฐ๋ณ„๋กœ ๋Œ๋ฆฐ ๋ฒ ์ด์Šค๋ผ์ธ์ด ์—†๋‹ค๋Š” ๊ฒƒ์ด ์ด ๋…ผ๋ฌธ์˜ ๊ฐ€์žฅ ํฐ ๋นˆ์นธ์ด๋‹ค.
  • ํ—ค๋“œ๋ผ์ธ ์„ฑ๊ณต๋ฅ ์€ ์ €์ž๊ฐ€ ์Šค์Šค๋กœ โ€œ๊ณผ๋Œ€ํ‰๊ฐ€๋  ์ˆ˜ ์žˆ๋‹คโ€๊ณ  ํ•œ ์ง€ํ‘œ๋‹ค. ์ดˆ๋กยท์„œ๋ก ์˜ โ€œ90%โ€์™€ โ€œ44%p ํ–ฅ์ƒโ€์€ \mathrm{SR}_{\mathrm{SPIDER}} ๊ธฐ์ค€์ธ๋ฐ, ยงIV-A๋Š” ์ด ์ง€ํ‘œ๊ฐ€ ํ•œ ๋ฌผ์ฒด๊ฐ€ ๊ฑฐ์˜ ์ •์ง€ํ•œ ์‹œ์—ฐ์—์„œ ์„ฑ๊ณต์„ ๊ณผ๋Œ€ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ์–ด์„œ ์–ด๋ธ”๋ ˆ์ด์…˜์—๋Š” \mathrm{SR}_{\mathrm{MT\text{-}Obj}}๋ฅผ ์“ด๋‹ค๊ณ  ๋ฐํžŒ๋‹ค. ์˜คํžˆ๋ ค \mathrm{SR}_{\mathrm{MT\text{-}Obj}} ๊ธฐ์ค€(0.86 vs CHORD 0.02)์ด FlashDexRetarget์— ๋” ์œ ๋ฆฌํ•œ๋ฐ๋„, ํ—ค๋“œ๋ผ์ธ์€ ๋ฒ ์ด์Šค๋ผ์ธ ๋น„๊ต์šฉ ๊ด€๋ก€ ์ง€ํ‘œ๋กœ ์žกํ˜€ ์žˆ๋‹ค. ๋…์ž๋Š” ๋‘ ์ง€ํ‘œ๋ฅผ ํ•จ๊ป˜ ์ฝ์–ด์•ผ ํ•œ๋‹ค.
  • โ€œ๋‹จ์ผ ์ •์ฑ…์ด 90%๋ฅผ ๋ฆฌํƒ€๊ฒŒํŒ…ํ•œ๋‹คโ€๋Š” ๋ฌธ์žฅ์€ ๋ˆ„์  ์ง‘๊ณ„๋ฅผ ์ƒ๋žตํ•œ๋‹ค. ์„ฑ๊ณต์€ ํ•™์Šต ์ „ ๊ตฌ๊ฐ„์— ๊ฑธ์นœ ํ•ฉ์ง‘ํ•ฉ์ด๋‹ค. ์ฝ”๋“œ์ƒ 20M step๋งˆ๋‹ค ๋ชจ๋“  ์‹œ์—ฐ์„ ํ•œ ๋ฒˆ์”ฉ ํ‰๊ฐ€ํ•˜๋ฏ€๋กœ, 300M step์ด๋ฉด 15๊ฐœ ์ฒดํฌํฌ์ธํŠธ ์ค‘ ์–ด๋А ํ•˜๋‚˜๋ผ๋„ ์„ฑ๊ณตํ•˜๋ฉด ๊ทธ ์‹œ์—ฐ์€ ์„ฑ๊ณต์ด๋‹ค. ๋ฐ์ดํ„ฐ ์ƒ์„ฑ์ด ๋ชฉ์ ์ด๋ผ ์ •๋‹นํ•œ ์ง‘๊ณ„์ง€๋งŒ, ์ตœ์ข… ์ •์ฑ… ํ•˜๋‚˜๊ฐ€ ๋™์‹œ์— ๋ช‡ %๋ฅผ ์„ฑ๊ณต์‹œํ‚ค๋Š”์ง€๋Š” ๋ณด๊ณ ๋˜์ง€ ์•Š๋Š”๋‹ค. ๋ฒ ์ด์Šค๋ผ์ธ๋„ โ€œ์ฒซ ์„ฑ๊ณต ์‹œ ์ •์ง€โ€๋ผ ๊ฐ™์€ any-success ์ง‘๊ณ„์ด๊ธด ํ•˜๋‚˜, ์‹œ์—ฐ๋ณ„ ํ‰๊ฐ€ ๋นˆ๋„ยท๋กค์•„์›ƒ ์ˆ˜๊ฐ€ ๋ฐฉ๋ฒ• ์‚ฌ์ด์— ๊ฐ™์€์ง€๋Š” ์ ํ˜€ ์žˆ์ง€ ์•Š๋‹ค.
  • ํšŒ์ „ ์ •๋ฐ€๋„ ์—ด์„ธ๊ฐ€ ๋ณธ๋ฌธ์—์„œ ๋‹ค๋ค„์ง€์ง€ ์•Š๋Š”๋‹ค. MORE๋Š” ๋‘ ์† ๋ชจ๋‘์—์„œ CHORD๋ณด๋‹ค ๋‚˜์˜๊ณ  Sharpa์—์„œ๋Š” ์ „์ฒด ์ตœํ•˜์œ„(0.32 rad)๋‹ค. ๋ฐ์ดํ„ฐ ํ’ˆ์งˆ ๊ด€์ ์—์„œ๋Š” ์˜๋ฏธ ์žˆ๋Š” ์•ฝ์ ์ธ๋ฐ ยงIV-B๋Š” ์„ฑ๊ณต๋ฅ ๊ณผ GPU ์‹œ๊ฐ„๋งŒ ๋…ผํ•œ๋‹ค.
  • ๋…ผ๋ฌธ๋งŒ์œผ๋กœ๋Š” ์žฌํ˜„ ๋ถˆ๊ฐ€๋Šฅํ•œ ์„ค๊ณ„๊ฐ€ ์ฝ”๋“œ์— ์žˆ๋‹ค. ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ˜๋Ÿผ, ์ฐธ์กฐ ๊ธฐ์ค€ ์ž”์ฐจ ํ–‰๋™, actor์˜ ์ ‘์ด‰ wrench ๊ด€์ธก, ์กฐ๊ธฐ ์ข…๋ฃŒ ๊ทœ์น™, ๋ณด์ƒ ๊ฐ€์ค‘์น˜๊ฐ€ ์ „๋ถ€ ๋…ผ๋ฌธ์— ์—†๋‹ค. ํ‰๊ฐ€์—์„œ ๋ณด์กฐ๋ ฅ์„ ๋„๋ฏ€๋กœ ๊ฒฐ๊ณผ์˜ ์ •๋‹น์„ฑ์„ ํ•ด์น˜์ง€๋Š” ์•Š์ง€๋งŒ, ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ˜๋Ÿผ์€ DexMachina์˜ ํ•ต์‹ฌ ๊ธฐ๋ฒ•์ด๊ณ  ํ•™์Šต ํšจ์œจ์— ์ง์ ‘ ์˜ํ–ฅ์„ ์ค„ ์žฅ์น˜๋ผ์„œ ์–ด๋ธ”๋ ˆ์ด์…˜ ์—†์ด ๋น ์ ธ ์žˆ๋Š” ๊ฒƒ์ด RQ2์˜ ์„ค๋ช…๋ ฅ์„ ๊นŽ๋Š”๋‹ค.
  • ๋…ผ๋ฌธ ์‹คํ—˜์„ ์žฌํ˜„ํ•  ์„ค์ •์ด ๋ ˆํฌ์— ์—†๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ๋Š” FlashDexRetarget ๋ณธ ๊ตฌ์„ฑ๋งŒ ๋‹ด๊ณ  ์žˆ๋‹ค. Fig. 3(d)์˜ PPO ํ–‰, Fig. 3(a)์˜ ๋ฏธ๋ž˜ ์กฐ๊ฑด ์ œ๊ฑฐ, Table I์˜ ๋ฒ ์ด์Šค๋ผ์ธ 3์ข…์€ ์„ค์ •๋„ ์‹คํ–‰ ์ฝ”๋“œ๋„ ์—†์–ด์„œ, ํ—ค๋“œ๋ผ์ธ ๋น„๊ต์™€ ํ•ต์‹ฌ ์–ด๋ธ”๋ ˆ์ด์…˜์„ ์ œ3์ž๊ฐ€ ๊ฐ™์€ ์ฝ”๋“œ๋กœ ๋‹ค์‹œ ๋‚ผ ์ˆ˜ ์—†๋‹ค(์ •์  ํ™•์ธ). ๊ทธ ๋ฐ–์— ํšจ๊ณผ ์—†๋Š” ์„ค์ •๋„ ์„ž์—ฌ ์žˆ๋‹ค. gravity_curriculum์€ Isaac ๋ฐฑ์—”๋“œ์—์„œ ์‹ค์ œ ๋ฌผ๋ฆฌ์— ๋‹ฟ์ง€ ์•Š๋Š” ๊ฐ์ฒด๋ฅผ ์ˆ˜์ •ํ•˜๊ณ , Sharpa ์ž์‚ฐ README๋Š” ์ถฉ๋Œ ๋ฉ”์‹œ๋ฅผ ์บก์А๋กœ ๋ฐ”๊ฟจ๋‹ค๊ณ  ์ ์ง€๋งŒ MJCFยทURDF์— ์บก์А ํ˜•์ƒ์€ 0๊ฑด์ด๋‹ค.
  • ํ†ต๊ณ„์  ๊ทผ๊ฑฐ๊ฐ€ ์–‡๋‹ค. ์‹œ๋“œ ์ˆ˜ยท๋ฐ˜๋ณต ์‹คํ–‰ยท์˜ค์ฐจ ๋ฒ”์œ„๊ฐ€ ๋…ผ๋ฌธ ์ „์ฒด์— ์—†๋‹ค(โ€œseedโ€๋ผ๋Š” ๋‹จ์–ด ์ž์ฒด๊ฐ€ ๋ณธ๋ฌธ์— ์—†๋‹ค). Fig. 3์˜ ๊ณก์„  ์ฐจ์ด ์ค‘ ์ผ๋ถ€(์˜ˆ: (a) 43 vs 38)๋Š” 50๊ฐœ ์‹œ์—ฐ์—์„œ 5๊ฐœ ์ฐจ์ด๋ผ ๋‹จ์ผ ์‹คํ–‰์˜ ๋ถ„์‚ฐ ์•ˆ์— ์žˆ์„ ์ˆ˜ ์žˆ๋‹ค.
  • ํ•˜๋“œ์›จ์–ด ์š”๊ตฌ๊ฐ€ ์„œ์ˆ ๊ณผ ์–ด๊ธ‹๋‚˜ ๋ณด์ธ๋‹ค. ์‹คํ—˜ GPU๋Š” RTX 3090(24 GB)์ธ๋ฐ ๋ฐฐํฌ ์„ค์ •์˜ 50M replay๋Š” ๋ ˆํฌ ๋ฌธ์„œ ๊ธฐ์ค€ 88 GB๋‹ค(์‹ค์ธก ์•„๋‹˜). ์ฝ”๋“œ ๊ฐ€์ด๋“œ๋Œ€๋กœ๋ผ๋ฉด 3090์—์„œ๋Š” CPU์— buffer๋ฅผ ๋‘๊ณ  ํ˜ธ์ŠคํŠธ RAM ์•ฝ 100 GB๊ฐ€ ํ•„์š”ํ•˜๋‹ค. โ€œ29 GPU-hโ€๋Š” GPU ์‹œ๊ฐ„๋งŒ ์„ผ ๊ฐ’์ด๊ณ , ์ด๋Ÿฐ ํ˜ธ์ŠคํŠธ ์ž์› ๋น„์šฉ์€ ๋น„๊ต์— ๋“ค์–ด๊ฐ€์ง€ ์•Š๋Š”๋‹ค.
  • ์‹ค์„ธ๊ณ„ ๊ฒ€์ฆ์€ ์ •์„ฑ์ ์ด๊ณ  ๋ฒ”์œ„๊ฐ€ ์ข๋‹ค. ์‹œํ–‰ ์ˆ˜ยท์„ฑ๊ณต๋ฅ ์ด ์—†๊ณ , ํ•œ ํŒ”ยทํ•œ ์† ๊ณผ์ œ 3๊ฐœ๋ฟ์ด๋ฉฐ, ๋ฒค์น˜๋งˆํฌ ์‹œ์—ฐ์ด ์•„๋‹ˆ๋ผ ์ƒˆ๋กœ ์บก์ฒ˜ํ•œ ์‹œ์—ฐ์ด๋‹ค. ์‹œ๋ฎฌ๋ ˆ์ด์…˜์˜ ์†์€ ์†๋ชฉ์ด ์ž์œ ๋กญ๊ฒŒ ๋– ๋‹ค๋‹ˆ๋Š” ๊ตฌ์„ฑ์ธ๋ฐ ์ด๋ฅผ ์‹ค์ œ ๋กœ๋ด‡ ํŒ”๋กœ ์–ด๋–ป๊ฒŒ ์˜ฎ๊ฒผ๋Š”์ง€(ํŒ” IK ๋“ฑ)๋„ ๋ณธ๋ฌธ์— ์—†๋‹ค. ์ •์ฑ…์€ ๋ฌผ์ฒด ์ž์„ธยทSDFยท์ ‘์ด‰๋ ฅ ๊ฐ™์€ ํŠน๊ถŒ ์ •๋ณด๋ฅผ ์“ฐ๋ฏ€๋กœ ๊ทธ๋Œ€๋กœ ๋ฐฐํฌํ•  ์ˆ˜ ์—†๊ณ , ์ €์ž๋„ ๊ฒฐ๋ก ์—์„œ ์ด๋ฅผ ํ•œ๊ณ„๋กœ ์ธ์ •ํ•˜๋ฉฐ teacher-student ์ฆ๋ฅ˜๋ฅผ ํ›„์† ๊ณผ์ œ๋กœ ๋“ ๋‹ค.
  • ์ผ๋ฐ˜ํ™”๋Š” ๋ฒ”์œ„ ๋ฐ–์ด๋‹ค. ์ •์ฑ…์€ ํ•™์Šตํ•œ ์‹œ์—ฐ ์ง‘ํ•ฉ๋งŒ ์ถ”์ข…ํ•œ๋‹ค. ๋ณด์ง€ ์•Š์€ ์‹œ์—ฐยท๋ฌผ์ฒดยท๋กœ๋ด‡ ์†์œผ๋กœ์˜ ์ผ๋ฐ˜ํ™”๋Š” ๊ฒฐ๋ก ์˜ ํ–ฅํ›„ ๊ณผ์ œ๋กœ ๋‚จ๊ฒจ ๋‘์—ˆ๋‹ค. ๋˜ํ•œ ์ €์ž๋“ค์ด ๋ฐํžˆ๋“ฏ ๋น„๊ต์  ๊นจ๋—ํ•œ ๋ชจ์บก ๊ถค์ ๊ณผ ์ •ํ™•ํ•œ ๋ฌผ์ฒด ๊ธฐํ•˜๊ฐ€ ์ „์ œ๋‹ค.

๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€

์ด ๋ธ”๋กœ๊ทธ์˜ ๊ธฐ์กด ๋ฆฌ๋ทฐ์™€ ์—ฎ์œผ๋ฉด ์œ„์น˜๊ฐ€ ๋ถ„๋ช…ํ•ด์ง„๋‹ค.

  • ์‹œ์—ฐ๋ณ„ RL ๋ฆฌํƒ€๊ฒŒํŒ… ๊ณ„๋ณด: ManipTrans(์‚ฌ์ „ํ•™์Šต ์† ๋ชจ๋ฐฉ๊ธฐ ์œ„ ์ž”์ฐจ ํ•™์Šต) โ†’ DexMachina(๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ์˜ ์ ์ง„์  ๊ฐ์‡ , ๊ธฐ๋Šฅ์  ๋ฆฌํƒ€๊ฒŒํŒ…) โ†’ CHORD(contact wrench support๋กœ ์ ‘์ด‰ ํšจ๊ณผ๋ฅผ ๋น„๊ต). FlashDexRetarget์€ ์ด๋“ค์˜ ๋ณด์ƒ ์š”์†Œ(์† ์ถ”์ข…, BC, ์‹คํŒจ ๋ฒŒ์ )์™€ DexMachina์‹ ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ˜๋Ÿผ(์ฝ”๋“œ)์„ ๋ฌผ๋ ค๋ฐ›๋˜, ํ•™์Šต ๋‹จ์œ„๋ฅผ ์‹œ์—ฐ ํ•˜๋‚˜์—์„œ ๋ฐ์ดํ„ฐ์…‹ ์ „์ฒด๋กœ ๋ฐ”๊พผ๋‹ค. CHORD์˜ contact wrench ๋ณด์ƒ ๋Œ€์‹  ํ›จ์”ฌ ๋‹จ์ˆœํ•œ ๋‹จ๋ฐฉํ–ฅ ๊ฑฐ๋ฆฌ ๋ณด์ƒ์„ ํƒํ•œ ๊ฒƒ๋„ ๋Œ€์กฐ์ ์ด๋‹ค.
  • ์ƒ˜ํ”Œ๋ง ๊ธฐ๋ฐ˜ ๊ณ„๋ณด: SPIDER(๊ฐ€์ƒ ์ ‘์ด‰๋ ฅ์œผ๋กœ ์œ ๋„ํ•œ annealed sampling)์™€ ๊ทธ ํ™•์žฅ์ธ Do as I Do(๋น„๋””์˜ค ์žฌ๊ตฌ์„ฑ + ๋ฌผ๋ฆฌ ์ •์ œ). ์ •์ฑ…์„ ํ•™์Šตํ•˜์ง€ ์•Š์•„ ์‹œ์—ฐ๋‹น ๋น„์šฉ์ด ์ž‘์ง€๋งŒ(Table I์—์„œ 60 GPU-h๋Œ€), ์œ ํ•œ ์˜ˆ์‚ฐ ์•ˆ์˜ ์„ฑ๊ณต๋ฅ ์ด ๋‚ฎ๋‹ค. FlashDexRetarget์€ ์ด ๊ณ„์—ด๋ณด๋‹ค GPU ์‹œ๊ฐ„๋„ ์ ๊ฒŒ ์“ฐ๋ฉด์„œ ์„ฑ๊ณต๋ฅ ์„ ํฌ๊ฒŒ ์˜ฌ๋ ธ๋‹ค.
  • multi-reference ์ถ”์ข…์˜ ์›ํ˜•: ํœด๋จธ๋…ธ์ด๋“œ ์ „์‹  ๋ชจ์…˜์˜ SONIC์ด โ€œ๋ชจ์…˜ ์ถ”์ข…์„ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์— ํ•˜๋‚˜์˜ ์ •์ฑ…์œผ๋กœโ€๋ฅผ ๋ณด์—ฌ ์คฌ๋‹ค. FlashDexRetarget์€ ๊ทธ ์•„์ด๋””์–ด๋ฅผ ๋ฌผ์ฒด ์ ‘์ด‰์ด ํ•ต์‹ฌ์ธ ์†์žฌ์ฃผ ์กฐ์ž‘์œผ๋กœ ์˜ฎ๊ธฐ๋ฉฐ, ๋ฌผ์ฒด ๊ธฐํ•˜(์ ๊ตฐยทSDF)์™€ ์†๋ณ„ critic์„ ๋ง๋ถ™์˜€๋‹ค. ๋ฆฌํƒ€๊ฒŒํŒ… ๋‹จ๊ณ„์—์„œ ์ƒํ˜ธ์ž‘์šฉ์„ ๋ณด์กดํ•˜๋ ค๋Š” ์‹œ๋„๋กœ๋Š” ํœด๋จธ๋…ธ์ด๋“œ ์ชฝ์˜ OmniRetarget(interaction mesh ๊ธฐ๋ฐ˜ ๊ธฐ๊ตฌํ•™ ์ตœ์ ํ™”)๋„ ๋Œ€๋น„ํ•ด ๋ณผ ๋งŒํ•˜๋‹ค. OmniRetarget์€ ๋ฌผ๋ฆฌ ์—†์ด ๊ธฐ๊ตฌํ•™์œผ๋กœ, FlashDexRetarget์€ ๋ฌผ๋ฆฌ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์•ˆ์˜ RL๋กœ ์ƒํ˜ธ์ž‘์šฉ์„ ์ง€ํ‚จ๋‹ค.
  • ํ•™์Šต๊ธฐ: FlashSAC์€ ์ €์ž ์ƒ๋‹น์ˆ˜๊ฐ€ ๊ฒน์น˜๋Š” ๊ฐ™์€ ๊ทธ๋ฃน์˜ off-policy ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด๊ณ , ์ด ๋…ผ๋ฌธ์€ ์‚ฌ์‹ค์ƒ โ€œFlashSAC์„ multi-reference ๋ฆฌํƒ€๊ฒŒํŒ…์— ๋งž๊ฒŒ ํ‚ค์šด ์‘์šฉโ€์ด๊ธฐ๋„ ํ•˜๋‹ค. ํ•™์Šต๊ธฐ ์–ด๋ธ”๋ ˆ์ด์…˜ ํšจ๊ณผ๊ฐ€ ๊ฐ€์žฅ ํฌ๋‹ค๋Š” ๊ฒฐ๊ณผ๋Š” ์ด ๋…ผ๋ฌธ์˜ ๊ธฐ์—ฌ ์ค‘ ์ƒ๋‹น ๋ถ€๋ถ„์ด ํ•™์Šต๊ธฐ์—์„œ ์˜จ๋‹ค๋Š” ๊ฒƒ์„ ๋œปํ•œ๋‹ค.

์š”์•ฝ

FlashDexRetarget์€ ์†์žฌ์ฃผ ๋ฆฌํƒ€๊ฒŒํŒ…์„ ์‹œ์—ฐ๋ณ„ ์ตœ์ ํ™”์—์„œ ์ฐธ์กฐ ์กฐ๊ฑด๋ถ€ ์ •์ฑ… ํ•˜๋‚˜์˜ ๊ณต์œ  ํ•™์Šต์œผ๋กœ ๋ฐ”๊ฟจ๋‹ค. ๋ฌผ์ฒด ์ ๊ตฐยทSDF ๊ฑฐ๋ฆฌยท๋ฏธ๋ž˜ 10ํ”„๋ ˆ์ž„ ๊ด€์ธก, ๋Œ€์‘์  ๋ฌผ์ฒด ๋ณด์ƒ๊ณผ ๋‹จ๋ฐฉํ–ฅ ์†๋ ๊ฑฐ๋ฆฌ ๋ณด์ƒ, ์†๋ณ„ actor-critic, ํฌ๊ฒŒ ํ‚ค์šด FlashSAC์„ ๋ฌถ์–ด, 50๋ชจ์…˜ ๋ฒค์น˜๋งˆํฌ์—์„œ XHand \mathrm{SR}_{\mathrm{MT}} 86%(29 GPU-h), Sharpa 80%(44 GPU-h)๋ฅผ ์–ป์—ˆ๋‹ค. 1,000๋ชจ์…˜์œผ๋กœ ํ‚ค์šฐ๋ฉด 60 GPU-h์— 600๊ฐœ ์ด์ƒ์„ ๋ณ€ํ™˜ํ•ด, ๋ฐ์ดํ„ฐ์…‹์ด ํด์ˆ˜๋ก ์ฒ˜๋ฆฌ๋Ÿ‰์ด ์˜ค๋ฅธ๋‹ค๋Š” multi-reference์˜ ์•ฝ์†์„ ์ •๋Ÿ‰์œผ๋กœ ๋ณด์˜€๋‹ค.

ํ•œ๊ณ„๋„ ๋ถ„๋ช…ํ•˜๋‹ค. ํ—ค๋“œ๋ผ์ธ โ€œ์•ฝ 100๋ฐฐยท44%pโ€๋Š” PPO๋กœ ๋„๋Š” CHORD ๊ณต๊ฐœ ๊ตฌํ˜„๊ณผ ์ €์ž ์Šค์Šค๋กœ ๊ณผ๋Œ€ํ‰๊ฐ€ ๊ฐ€๋Šฅ์„ฑ์„ ๋ฐํžŒ \mathrm{SR}_{\mathrm{SPIDER}} ์œ„์—์„œ ๋‚˜์˜จ ์ˆซ์ž๋‹ค. ๋”ฐ๋ผ์„œ โ€œ๊ณต์œ  ํ•™์Šตโ€์˜ ์ˆœ์ˆ˜ ํšจ๊ณผ๋ฅผ ๋ถ„๋ฆฌํ•˜๋ ค๋ฉด ์‹œ์—ฐ๋ณ„ FlashSAC ๋ฒ ์ด์Šค๋ผ์ธ์ด ํ•„์š”ํ•˜๋‹ค. ์ฝ”๋“œ์— ์žˆ๋Š” ๋ฌผ์ฒด ๋ณด์กฐ๋ ฅ ์ปค๋ฆฌํ˜๋Ÿผยท์ž”์ฐจ ํ–‰๋™ยท์ ‘์ด‰๋ ฅ ๊ด€์ธก์€ ๋…ผ๋ฌธ์— ์—†๊ณ , ์‹œ๋“œยท์˜ค์ฐจ ๋ฒ”์œ„์™€ ์‹ค์„ธ๊ณ„ ์ •๋Ÿ‰ ๊ฒฐ๊ณผ๋„ ์—†๋‹ค. ๊ทธ๋Ÿผ์—๋„ โ€œ๊ถค์ ์ด ๋ชฉ์ ์ด๋ฉด ์ •์ฑ…์€ ๊ณต์œ ํ•˜๋ผโ€๋Š” ๋ฉ”์‹œ์ง€์™€ ์ด๋ฅผ ๋’ท๋ฐ›์นจํ•˜๋Š” ์Šค์ผ€์ผ๋ง ๊ณก์„ ์€ ์‚ฌ๋žŒ ์† ๋ฐ์ดํ„ฐ๋ฅผ ๋กœ๋ด‡ ๋ฐ์ดํ„ฐ๋กœ ๋Œ€๋Ÿ‰ ๋ณ€ํ™˜ํ•˜๋ ค๋Š” ํ๋ฆ„์—์„œ ์‰ฝ๊ฒŒ ์ฑ„ํƒ๋  ๋งŒํ•œ ๊ธฐ๋ณธ ๋ ˆ์‹œํ”ผ๋ฅผ ์ œ์‹œํ•œ๋‹ค.

Copyright 2026, JungYeon Lee