๐DexOAK ๋ฆฌ๋ทฐ
Code (GitHub): ์์ค๋ ์์ง ๊ณต๊ฐ๋์ง ์์๋ค(README์ โcoming soonโ).
Federica Spinola, Robert Katzschmann, Cordelia Schmid
Inria ยท ENS-PSL(Spinola, Schmid), ETH Zรผrich Soft Robotics Lab(Katzschmann)
arXiv preprint, 2026 (v1 2026-10-19, ํํ ์ฑํ ์ ๋ณด ์์)
- ๐ก ์ฌ๋ ์-๋ฌผ์ฒด ๋ชจ์บก์ ๋ก๋ด ์ ๊ถค์ ์ผ๋ก ์ฎ๊ธฐ๋ kinematic retargeting์ ์ง๊ธ๊น์ง ์ ๋ชจ์๋ง ๋ง์ถ๊ณ ๋ฌผ์ฒด๋ ๋ค์ physics ๋จ๊ณ์ ๋ฏธ๋ค๋๋ฐ, DexOAK๋ kinematic ๋จ๊ณ์์๋ถํฐ ๋ฌผ์ฒด ๊ธฐ์ค์ ์ ์ด ๋ฐฐ์น๋ฅผ ๋ณด์กดํด RL์ด ์ ์ด์ โ์ฐพ๋โ ๋์ dynamics๋ง โ๋ค๋ฌ๊ฒโ ๋ง๋ ๋ค.
- โ๏ธ ์๋ยท์๋ชฉ๊ณผ ๋ฌผ์ฒด anchor 64๊ฐ๋ฅผ ํ๋์ interaction graph๋ก ๋ฌถ์ด Laplacian ์ขํ๋ฅผ ๋ง์ถ๋ per-frame ์ต์ ํ๋ก seed reference๋ฅผ ๋ง๋ค๊ณ , ์ด๋ฅผ feed-forward ๋คํธ์ํฌ๋ก amortizeํ ๋ค surfaceยทobject-partยทcontact-direction ์์ค๋ก fine-tuningํ๋ค. ๊ฒฐ๊ณผ ๊ถค์ ์ residual RL์ base action์ด ๋๋ค.
- ๐ฏ ๊ฐ์ ManipTrans residual RL ์๋์์ hand-only reference ๋๋น ์ฑ๊ณต๋ฅ ์ด 20.6% โ 48.2%(Allegro, ์ค๋ฅธ์ OakInk-v2)๋ก ์ค๋ฅด๊ณ , OakInk-v2๋ก ํ์ตํ retargeter๊ฐ ARCTIC์ zero-shot์ผ๋ก 87.9 ADD-AUC๋ฅผ ๋ด๋ฉฐ, ์ค๊ธฐ open-loop replay๋ 5๊ณผ์ 46/56์ด ์ฑ๊ณตํ๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
์ฌ๋ ์-๋ฌผ์ฒด ๋ชจ์บก(OakInk-v2, ARCTIC)์ ๋ก๋ด ๋ฐ์ดํฐ๋ก ๋ฐ๊พธ๋ ํ์ดํ๋ผ์ธ์ ๋ ๋จ๊ณ๋ก ๋๋๋ค. kinematic retargeting์ด ๋ก๋ด ์์ด ์ด๋์ ๊ฐ์ผ ํ๋์ง๋ฅผ ์ ํ๊ณ , dynamic retargeting(๋๊ฐ residual RL)์ด ์๋ฎฌ๋ ์ดํฐ ์์์ ์ค์ ๋ก ๋ฌผ์ฒด๋ฅผ ์์ง์ด๊ฒ ๋ง๋ ๋ค. ๊ธฐ์กด์ kinematic ๋จ๊ณ๋ AnyTeleopยทDexPilotยทGeoRT์ฒ๋ผ ์ keypoint ๋ฒกํฐ๋ง ๋ง์ถ๊ณ ๋ฌผ์ฒด๋ฅผ ๋ณด์ง ์๋๋ค. ๋ฌผ์ฒด์ ์ ์ด์ ManipTransยทDexMachinaยทSPIDER์ physics ๋จ๊ณ์์์ผ ๋ค์ด์จ๋ค. ๊ทธ๋์ dynamic ๋จ๊ณ๋ dynamics๋ฅผ ๋ง์ถ๋ ์ผ๊ณผ โ์ด๋๋ฅผ ์ฅ์ด์ผ ํ๋๊ฐโ๋ฅผ ์ฐพ๋ ์ผ์ ๋์์ ๋ ์๋๋ค.
DexOAK์ ์ฃผ์ฅ์ ๋จ์ํ๋ค. kinematic reference๊ฐ ์ด๋ฏธ ์์ฐ๋ ์ ์ด ์์น์ ์๋์ ์ฌ๋ ค ๋๋ฉด, RL์ ์ ์ด ํ์์์ ํ๋ ค๋ dynamics ๋ณด์ ์๋ง ์ง์คํ ์ ์๋ค. ์ด๋ฅผ ์ํด OmniRetarget์ interaction mesh๋ฅผ ์๊ฐ๋ฝ ๋จ์๋ก ๊ฐ์ ธ์ seed reference๋ฅผ ๋ง๋ค๊ณ , ๊ทธ ์ต์ ํ๋ฅผ ๋คํธ์ํฌ๋ก amortizeํ ๋ค์, ๋ฏธ๋ถ ๊ฐ๋ฅํ ๋คํธ์ํฌ๋ผ๋ ์ ์ ์ด์ฉํด ๋ฐ์ดํฐ์ ์ ์ฒด์ ๊ฑธ์น ์ ์ด ์์ค๋ก ๋ค์ fine-tuningํ๋ค. ํ์ต์ด ๋๋๋ฉด ์ ์์ฐ์๋ per-frame ์ต์ ํ ์์ด forward pass๋ง ์ด๋ค.

Fig. 1: ์ฌ๋ ์์ฐ(Unplug, Pour, Close Laptop)์ DexOAK reference + RL๋ก ๋ฐ๊พผ ๊ถค์ ์ UR5 + ์ค๋ฅธ์ Allegro์์ open-loop๋ก ์ฌ์ํ ์ฅ๋ฉด. Close Laptop์ retargeter ํ์ต์์ ์ ์ธ๋ ๊ณผ์ ๋ค.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
ํ๋ ์ t์์ ์ฌ๋ ์ keypoint(์๋ยท์๋ชฉ) M_h๊ฐ์ ๋ฌผ์ฒด anchor M_o๊ฐ๋ก source ์งํฉ \mathcal{S}_t๋ฅผ ๋ง๋ค๊ณ , ์ keypoint๋ง ๋ก๋ด์ ๋์์ r^i_t = w_t\,\mathrm{FK}^i(q_t)๋ก ๋ฐ๊พผ target ์งํฉ \mathcal{T}_t(w_t,q_t)๋ฅผ ๋ง๋ ๋ค. ๋ ์งํฉ์ ๊ฐ์ Delaunay ์ด์ \mathcal{N}(i)๋ฅผ ์ฐ๊ณ , ๊ฐ ์ ์ Laplacian ์ขํ \Delta_i=\frac{1}{|\mathcal{N}(i)|}\sum_{j\in\mathcal{N}(i)}(x_i-x_j)๋ฅผ ๋ง์ถ๋ค(Eq. 1).
\min_{w_t,\,q_t}\;\underbrace{\tfrac{1}{N}\sum_{i=1}^{N}\bigl\lVert\Delta_i(\mathcal{S}_t)-\Delta_i(\mathcal{T}_t(w_t,q_t))\bigr\rVert_2^2}_{\mathcal{L}_{\mathrm{IG}}}+\mathcal{L}_{\mathrm{coll}}+\mathcal{L}_{\mathrm{temp}}\quad\text{s.t.}\;\; q_t\in\mathcal{Q},\;\; |q_t-q^\star_{t-1}|\preceq \mathbf{v}_{\max}\,\mathrm{d}t
์ด ํด \tau^\star๋ฅผ ์ง๋ ์ ํธ๋ก ๋คํธ์ํฌ f_\theta(K_t,P_t,\hat q_{t-1},\hat w_{t-1})=(\hat w_t,\hat q_t)๋ฅผ ํ์ตํ ๋ค, ์ฌ๋ ์ ์ ์ด ๋ฌผ์ฒด ํ๋ฉด \epsilon=15 mm ์์ ์์ ๋๋ง ์ผ์ง๋ gate \gamma^i_t๋ก ์ธ ์ ์ด ์์ค์ ๊ฑด๋ค(Eq. 2~4).
\mathcal{L}_{\mathrm{surf}}=\sum_i\gamma^i_t\,d(r^i_t)^2,\qquad \mathcal{L}_{\mathrm{part}}=\sum_i\gamma^i_t\bigl\lVert r^i_t-o(k^i_t)\bigr\rVert_2^2,\qquad \mathcal{L}_{\mathrm{dir}}=\sum_i\gamma^i_t\,(1-\cos\theta^i_t)
d(\cdot)๋ ๋ฌผ์ฒด ์ ๊ตฐ๊น์ง์ ๊ฑฐ๋ฆฌ, o(k^i_t)๋ ์ฌ๋ ์ ์ด์ ์ ๊ฐ์ฅ ๊ฐ๊น์ด ๋ฌผ์ฒด ์ , \theta^i_t๋ r^i_t-o(k^i_t)์ k^i_t-o(k^i_t) ์ฌ์ด์ ๊ฐ๋๋ค. ์ฌ๊ธฐ์ ์ถฉ๋ยท์๊ฐ ํํยทsupervised ์ถ๋ ฅ anchor ํญ์ ๋ํ ๊ฐ์คํฉ์ด fine-tuning ๋ชฉ์ ํจ์๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- Object awareness์ ํจ๊ณผ(Table I, Allegro ์ค๋ฅธ์ OakInk-v2, ๋ชจ๋ ๊ฐ์ ManipTrans residual RL): \mathrm{SR}_{\mathrm{MT}} hand-only ์ต๊ณ 20.6%(ManipTrans imitator) โ IG optimizer 43.2% โ DexOAK 48.2%. contact completeness 5.8% โ 21.9%, tip-position error 49.2 mm โ 3.21 mm.
- Cross-dataset transfer(Table III, Allegro ARCTIC, ๋ชจ๋ DexMachina RL): OakInk-v2 ๋ชจ๋ธ zero-shot 87.9 ADD-AUC(108.9 Hz), ARCTIC fine-tuning ํ 90.0, ARCTIC in-domain DexOAK 91.3, DexMachina 83.4.
- SOTA ์์คํ ๋น๊ต(Table IV, ๊ฐ์์ RL): Inspire OakInk-v2 \mathrm{SR}_{\mathrm{MT}} 39.5(ManipTrans) โ 48.4, Inspire ARCTIC ADD-AUC 62.7(DexMachina) โ 77.9, \mathrm{SR}_{\mathrm{obj}} 42.0(SPIDER) โ 83.4.
- ์ค๊ธฐ(Table V, UR5 + ์ค๋ฅธ์ Allegro): 5๊ณผ์ open-loop replay 46/56(ManipTrans 26/40), held-out Close LaptopยทPress Button ๊ฐ 10/12.
๊ฒฐ๋ก :
์๋ก์ด ๊ฒ์ Laplacian ๋ชฉ์ ํจ์ ์์ฒด๋ณด๋ค โkinematic reference๋ฅผ ์ ์ด ๋ชฉ์ ํจ์๋ก ๋ค๋ฌ์ ์ ์๋ ๋์โ์ผ๋ก ๋ฐ๊พผ ๊ฒ์ด๋ค. ์ต์ ํ ํด๋ ํ๋ ์๋ง๋ค ๋ฐ๋ก ํ๋ฆฌ๊ณ ์ด๊ธฐ๊ฐ์ ๋ฏผ๊ฐํ์ง๋ง, ๊ทธ ํด๋ฅผ ํ๋ด ๋ธ ๋คํธ์ํฌ๋ ๋ฏธ๋ถ ๊ฐ๋ฅํ๊ณ ๋ฐ์ดํฐ์ ์ ์ฒด๋ฅผ ๊ณต์ ํ๋ฏ๋ก ์ ์ด ์์ค๋ก ํ ๋ฒ ๋ ๋ฐ์ด ์ฌ๋ฆด ์ ์๋ค. ๋ค๋ง Table I์ ๋ถํดํ๋ฉด ์ด๋์ ๋๋ถ๋ถ(+27.6 %p ์ค +22.6 %p)์ object anchor๋ฅผ ๋ฃ์ ์ต์ ํ ๋จ๊ณ์์ ๋์ค๊ณ , ํ์ต๋ retargeter์ fine-tuning์ด ๋ํ๋ ๋ชซ์ +5.0 %p๋ค. ํค๋๋ผ์ธ SOTA ๋น๊ต(Table IV)๋ reference์ RL backend๊ฐ ํจ๊ป ๋ฐ๋ ์์คํ ๋น๊ต๋ผ์, reference์ ์์ ๊ธฐ์ฌ๋ Table IยทIII์์ ์ฝ์ด์ผ ํ๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
DexOAK์ ํต์ฐฐ์ โkinematic retargeting์ ๋ชฉํ๋ ์ ๋ชจ์ ์ฌํ์ด ์๋๋ผ ๊ณผ์ ๊ธฐ๋ฅ์ ๋ณด์กด์ด๋คโ๋ผ๋ ๋ฌธ์ฅ ํ๋๋ก ์์ฝ๋๋ค(ยงI: โkinematic retargeting should preserve task function rather than hand-pose fidelityโ). ์ฌ๋๊ณผ ๋ก๋ด์ ์์ ์์ ๋๋ ํฌ๊ธฐ๋ ๋ค๋ฅด๋ฏ๋ก ์ ๋ชจ์์ ๋ฎ๊ฒ ๋ง๋ค์ด๋ ๊ฐ์ ์ ์ด์ด ๋์ค์ง ์๋๋ค. ๊ทธ๋ ๋ค๋ฉด ๋ง์ถฐ์ผ ํ ๊ฒ์ ์ ๊ด์ ์ด ์๋๋ผ ๋ฌผ์ฒด์ ๋ํ ์๋์ ์๋ ๋ฐฐ์น, ์ฆ ์ด๋ ๋ฉด์ ์ด๋ ๋ฐฉํฅ์์ ๋๋ฅด๋์ง๋ค. ์ด ๊ด์ ์ ์ธ ๊ฒน์ผ๋ก ๊ตฌํํ๋ค. ์ฒซ์งธ, ์๋๊ณผ ๋ฌผ์ฒด ์ ์ ํ ๊ทธ๋ํ์ ๋ฃ์ด ์๋ ๋ฐฐ์น๋ฅผ Laplacian ์ขํ๋ก ๊ณ ์ ํ๋ ์ต์ ํ(seed). ๋์งธ, ๊ทธ ์ต์ ํ๋ฅผ ๋คํธ์ํฌ๋ก amortizeํด ์ ๋ฐ์ดํฐ์ forward pass๋ง์ผ๋ก ์ ์ฉ(์ฌ์ฌ์ฉ์ฑ). ์ ์งธ, ๋คํธ์ํฌ๊ฐ ๋ฏธ๋ถ ๊ฐ๋ฅํ๋ค๋ ์ ์ ์ด์ฉํด ์ ์ด ์์ค๋ก ์ต์ ํ ํด๋ณด๋ค ๋ ๋์ reference๋ฅผ ๋ง๋๋ fine-tuning(ํ์ง). ๊ทธ๋ฆฌ๊ณ ์ด reference๋ฅผ residual RL์ base action์ผ๋ก ๋ฃ์ผ๋ฉด RL์ ๋ถ๋ด์ด ์ค์ด๋ ๋ค๋ ๊ฒ์ด ๋ ผ๋ฌธ์ ๊ฐ์ค์ด์ ์คํ์ ์ถ์ด๋ค.
๋ฐฐ๊ฒฝ: kinematic ๋จ๊ณ๋ ์ ๋ฌผ์ฒด๋ฅผ ๋ณด์ง ์์๋ (ยงI, ยงII)
๋ ผ๋ฌธ์ ๋ฆฌํ๊ฒํ ํ์ดํ๋ผ์ธ์ ๋ ๋จ๊ณ๋ก ๋๋๋ค. kinematic retargeting์ ๋ก๋ด ์์ด ํ๊ฒฝ์ ๋ํด ์ด๋์ ์์ด์ผ ํ๋์ง, dynamic retargeting์ ๋ฌผ์ฒด์ ์ํธ์์ฉํ๊ธฐ ์ํด ์ด๋ป๊ฒ ๊ตฌ๋ํด์ผ ํ๋์ง๋ฅผ ์ ํ๋ค(ยงI). ๊ธฐ์กด ๊ณ๋ณด๋ฅผ ์ด ์ถ์ผ๋ก ์ ๋ฆฌํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
| ๋จ๊ณ | ๋ํ ๋ฐฉ๋ฒ | ๋ฌด์์ ๋ง์ถ๋๊ฐ | ๋ฌผ์ฒด ์ ๋ณด |
|---|---|---|---|
| kinematic, ์ต์ ํ | AnyTeleop(PositionยทVector), DexPilot | ์ keypoint ์์นยท๋ฒกํฐ | ์์ |
| kinematic, ํ์ต | GeoRT | ์ฌ๋ ์๋ โ ๋ก๋ด ๊ด์ ์ ๊ธฐํ ๋ชฉ์ ํจ์ | ์์ |
| kinematic, interaction mesh | OmniRetarget | ๋ชธ-๋ฌผ์ฒด-์งํ Laplacian ์ขํ | ์์(๋จ, ํด๋จธ๋ ธ์ด๋ ์ ์ ยท์๋ชฉ ๋ ธ๋ ํ๋) |
| dynamic, residual RL | ManipTrans | ์ ๋ชจ๋ฐฉ ์ ์ฑ + ๊ณผ์ ๋ณ residual RL | physics ๋จ๊ณ์์๋ง |
| dynamic, RL + curriculum | DexMachina | ๊ฐ์ object control์ ์ ์ ์ ๊ฑฐํ๋ curriculum | physics ๋จ๊ณ์์๋ง |
| dynamic, ์ํ๋ง | SPIDER | ๊ฐ์ contact guidance๋ฅผ ๋จ annealed sampling | physics ๋จ๊ณ์์๋ง |
๋ ผ๋ฌธ์ด ์ง๋ ๋น์นธ์ ๋ง์ง๋ง ์ธ ์ค์ ๊ณตํต์ ์ด๋ค. dynamic ๋จ๊ณ ๋ฐฉ๋ฒ๋ค์ โreceive an object-agnostic reference and must discover contacts themselvesโ(ยงII). ์ฆ ๋ฌผ๋ฆฌ์ ํ๋น์ฑ์ ํ๋ณตํ์ง๋ง ์ถ๋ฐ์ ์ด ๋๋ reference์๋ ์ ์ด ๊ธฐํ๊ฐ ์๋ค. OmniRetarget์ ๋ฌผ์ฒด๋ฅผ kinematic ๋จ๊ณ์ ๋ฃ์์ง๋ง ์์ ์๋ชฉ ๋ ธ๋ ํ๋๋ก ํํํด ์๊ฐ๋ฝ ๋จ์ ์ ์ด์ ํ์ง ๋ชปํ๋ค.
๋์๋ ์ฐ๊ตฌ๋ ๋ช ์ํ๋ค. TopoRetarget, C2Dex, ๊ทธ๋ฆฌ๊ณ ์ด ๋ธ๋ก๊ทธ์์ ๋ค๋ฃฌ Regrind(A Minimalist Retargeting-Guided RL Recipe)๊ฐ ๊ฐ์ Laplacian ๊ณ์ด ๋ชฉ์ ํจ์๋ก ์-๋ฌผ์ฒด ๊ตฌ์กฐ๋ฅผ ๋ณด์กดํ๋ค. DexOAK๊ฐ ๋ด์ธ์ฐ๋ ์ฐจ๋ณ์ ์ ์ด๋ค์ด โre-optimize each new frame or demonstration before RLโ์ธ ๋ฐ๋ฉด DexOAK๋ ์ต์ ํ๋ฅผ ํ์ต์ฉ seed๋ฅผ ๋ง๋๋ ๋ฐ๋ง ์ฐ๊ณ , ์ดํ์๋ ์ฌ์ฌ์ฉ ๊ฐ๋ฅํ retargeter๋ฅผ ๋ฐ์ดํฐ์ ๋จ์ ์ ์ด ์์ค๋ก fine-tuningํ๋ค๋ ์ ์ด๋ค(ยงII). ์คํ์์ ์ด ๋์๋ ๋ฐฉ๋ฒ๋ค๊ณผ์ ์ง์ ๋น๊ต๋ ์๋ค.
๋ฐฉ๋ฒ ์์ธ (ยงIII)

Fig. 2: DexOAK ๊ฐ์. ์ผ์ชฝ์ ์ฌ๋-๋ฌผ์ฒด graph์ ๋ก๋ด-๋ฌผ์ฒด graph์ Laplacian ์ขํ๋ฅผ ๋ง์ถ๋ per-frame ์ต์ ํ๋ก seed reference๋ฅผ ๋ง๋๋ ๋จ๊ณ, ์ค๋ฅธ์ชฝ์ ๊ทธ seed๋ก supervised ํ์ตํ ๋ค surfaceยทobject-partยทcontact-direction ์์ค๋ก fine-tuningํ๋ ํ์ต๋ retargeter๋ค. ๋คํธ์ํฌ๋ ๋ฌผ์ฒด feature, ์ฌ๋ ์ feature, ์ง์ ํ๋ ์ ๋ก๋ด ์ํ๋ฅผ ๋ฐ์ ํ์ฌ ๋ก๋ด ์ํ๋ฅผ ๋ธ๋ค. residual RL ๋จ๊ณ(ยงIV)๋ ๊ทธ๋ฆผ์์ ๋น ์ ธ ์๋ค.
๋ฌธ์ ์ค์
์ ๋ ฅ์ Tํ๋ ์ ์ฌ๋ ์-๋ฌผ์ฒด ๋ชจ์บก์ด๋ค. ํ๋ ์ t์์ SMPL-X์์ ๋ฝ์ ์ keypoint K_t\in\mathbb{R}^{N_h\times 3}(N_h=21)๊ณผ ๋ฌผ์ฒด ๋ฉ์์์ ๋ฝ์ ์ ๊ตฐ P_t\in\mathbb{R}^{N_p\times 3}(N_p=1024)์ด ๋ชจ๋ ์ฌ๋ ์๋ชฉ ์ขํ๊ณ(W_t\in\mathrm{SE}(3))๋ก ์ฃผ์ด์ง๋ค. ์ถ๋ ฅ์ ๋ก๋ด ์๋ชฉ ์์ธ w_t=(p_t,R_t)\in\mathrm{SE}(3)์ ๊ด์ ๊ฐ q_t\in\mathcal{Q}=[q_{\mathrm{low}},q_{\mathrm{high}}]\subset\mathbb{R}^J์ด๋ค. w_t๊ฐ ์๋ชฉ ์๋๋์ด๋ฏ๋ก ์บก์ฒ ์ขํ๊ณ์ ๋ก๋ด ์๋ชฉ์ W_t\,w_t๊ฐ ๋๊ณ , ์ ์ญ ๋ฐฐ์น์ ๋ถ๋ณ์ด๋ค. ๊ถค์ ์ ์๋ง๋ค ํ๋์ฉ ๋ง๋ค๋ฉฐ, ์์ ๊ฒฐํฉ์ dynamic ๋จ๊ณ์์๋ง ์ผ์ด๋๋ค(ยงIII ์๋).
III-A. Interaction-graph Laplacian ์ต์ ํ
Graph ๊ตฌ์ฑ. source ์งํฉ \mathcal{S}_t๋ ์ฌ๋ ์ keypoint M_h๊ฐ(์๋ + ์๋ชฉ)์ ๋ฌผ์ฒด anchor M_o=64๊ฐ, target ์งํฉ \mathcal{T}_t๋ ๊ฐ์ anchor์ ๋ก๋ด ๋์์ ์ ๋ฃ๋๋ค. ๊ฐ์ ์ธ๋ฑ์ค๋ ํด๋ถํ์ ๋์(์์งโ๏ธ์์ง)์ด๋ค. ๋ถ๋ก Table S1์ ๋ฐ๋ฅด๋ฉด Allegro๋ ์๊ฐ๋ฝ์ด ๋ท์ด๋ผ ์๋ผ์๊ฐ๋ฝ์ ๋ฒ๋ ค M_h=5, Inspire๋ M_h=6์ด๋ค.
์ด์๊ณผ Laplacian ์ขํ. OmniRetarget์ ๋ฐ๋ผ \mathcal{S}_t์ 3D Delaunay tetrahedralization์ ๊ฑธ๊ณ , ๊ทธ edge๋ฅผ target์๋ ๊ทธ๋๋ก ์ด๋ค. ๋ก๋ด์ด ์ ์ด์ ๊ด๊ณ๋ฅผ ๋ง๋ค์ง ์๊ณ ์ฌ๋์ด ๋ง๋ ์ด์ ๊ด๊ณ๋ฅผ ์ฌํํ๊ฒ ํ๋ ค๋ ๊ฒ์ด๋ค. Laplacian ์ขํ \Delta_i๋ ์ด์ ์ค์ฌ์์์ offset์ด๋ผ ์ ์ญ ํํ์ด๋์ ๋ถ๋ณ์ด๊ณ , ๋ฌผ์ฒด anchor๊ฐ ๊ทธ๋ํ์ ๋ค์ด ์์ผ๋ฏ๋ก ์๋์ ์ขํ๊ฐ ๋ฌผ์ฒด์ ๋ํ ์๋ ์์น๋ฅผ ๋ด๊ฒ ๋๋ค. ์ด๊ฒ์ด โIG (w/o object)โ์ โIG (+ object)โ๋ฅผ ๊ฐ๋ฅด๋ ์ง์ ์ด๋ค(Fig. 3).
OmniRetarget ๋๋น ์ธ ๊ฐ์ง ํ์ฅ(ยงIII-A).
| ํญ๋ชฉ | OmniRetarget | DexOAK |
|---|---|---|
| ์ ํํ | ์๋ชฉ ๋ ธ๋ ํ๋ | ์๋ + ์๋ชฉ(์๊ฐ๋ฝ ๋จ์ ์ ์ด) |
| ๋ฌผ์ฒด | ๋ฌผ์ฒด ํ๋ + ์งํ | ์ฅ๋ฉด์ ๋ชจ๋ ๋ฌผ์ฒด๋ฅผ ํ graph์ |
| ์ค์ผ์ผ | ์ฌ๋ keypoint๋ฅผ ํค ๋น์จ๋ก ๋ก๋ด์ ๋ง๊ฒ ์ถ์ยทํ๋ | ๋ฌผ์ฒด์ ๋ํ ์ค์ ์ค์ผ์ผ ์ ์ง |
์ธ ๋ฒ์งธ๊ฐ ์ ์กฐ์์์ ํนํ ์ค์ํ๋ค. ์ ์ ์ฒด๋ฅผ ๋น์จ๋ก ์ค์ด๋ฉด ์๋๊ณผ ๋ฌผ์ฒด ํ๋ฉด ์ฌ์ด ๊ฑฐ๋ฆฌ๊ฐ ํจ๊ป ๋ฐ๋์ด ์ ์ด์ด ๊นจ์ง๋ค.
Per-frame ์ต์ ํ. ๋ชฉ์ ํจ์๋ Laplacian ํญ, ์ถฉ๋ hinge ํญ \mathcal{L}_{\mathrm{coll}}=\sum_c\max(0,-g_c)^2(g_c๋ ์ถฉ๋ ์ ๊ฑฐ๋ฆฌ โ safety margin, ๋ก๋ด-๋ฌผ์ฒดยท์๊ธฐ์ถฉ๋ ํฌํจ, ์ธ์ ๋งํฌ ์ ์ธ), ์๊ฐ ํํ ํญ \mathcal{L}_{\mathrm{temp}}=\lVert q_t-q^\star_{t-1}\rVert^2+\lVert p_t-p^\star_{t-1}\rVert^2+d^2_{\mathrm{rot}}(R^\star_{t-1},R_t)์ ํฉ์ด๋ค. ๊ด์ ๋ฒ์์ ๊ด์ ์๋ ํ๊ณ๋ง hard constraint์ด๊ณ , ์๋ชฉ ์ด๋์ \mathcal{L}_{\mathrm{temp}}๋ก๋ง softํ๊ฒ ๋ฌถ์ธ๋ค. ๊ฐ ํ๋ ์์ SLSQP๋ก ํ๋ ์ง์ ํด๋ก warm-startํ๋ค.
์ฌ๊ธฐ์ OmniRetarget๊ณผ์ ์ฐจ์ด๋ฅผ ํ๋ ๋ ์ง์ด ๋๋ค. OmniRetarget์ ๋น๊ดํต์ hard constraint๋ก ๊ฑธ๊ณ sequential SOCP๋ก ํ์ด โ์ํฐํฉํธ๋ฅผ ์ ์์ ์ ๊ฑฐโํ๋ ์ชฝ์ด์๋ค. DexOAK๋ ์ถฉ๋์ soft penalty๋ก ๋๋ค. ๊ทธ๋์ seed reference์๋ ๊ดํต์ด ๋จ์ ์ ์๊ณ , ๋ค์ fine-tuning์ด ๊ฐ์ \mathcal{L}_{\mathrm{coll}}์ ๋ค์ ์ฐ๋ ์ด์ ๊ฐ ๋๋ค. ๋ ผ๋ฌธ์ ์ด ์ ํ์ ๊ทผ๊ฑฐ๋ฅผ ๋ฐ๋ก ๋งํ์ง ์๋๋ค.

Fig. 3: OakInk-v2 ๋ ์ฅ๋ฉด(์: ignite, Allegro / ์๋: unplug, Inspire ์์). ์ผ์ชฝ๋ถํฐ ์ฌ๋ ์์ฐ, ๋ฌผ์ฒด๋ฅผ ๋ณด์ง ์๋ AnyTeleop-VectorยทManipTrans imitatorยทIG (w/o object), ๊ทธ๋ฆฌ๊ณ DexOAK์ IG (+ object) โ Object-Aware FT โ RL. hand-only ๋ฐฉ๋ฒ์ ์๋์ด ๋ฌผ์ฒด ๋ฐ์ ๋จ๊ฑฐ๋ ์์ผ๋ก ํ๊ณ ๋ค๊ณ , object-aware ๋จ๊ณ๋ฅผ ๊ฑฐ์น ์๋ก ์๋์ด ์์ก์ด ์๋ก ๋ชจ์ธ๋ค.
III-B. ํ์ต๋ object-aware retargeter
์ amortizeํ๋๊ฐ. ๋ ผ๋ฌธ์ด ๋๋ ์ด์ ๋ ๋ ๊ฐ์ง๋ค. ์ฒซ์งธ, ์ด ์ต์ ํ๋ ์ด๊ธฐ๊ฐ์ ๋ฏผ๊ฐํ๊ณ ์ ์ดยท์ถฉ๋ ํญ์ ๋ ๋ฃ์์๋ก ๋น๋ณผ๋ก์ฑ์ด ์ปค์ง๋ค(ยงI). ๊ทธ๋์ ์ต์ ํ ์์ ์ ์ด ์์ค์ ์ง์ ๋ฃ๋ ๋์ , ์ต์ ํ ํด๋ฅผ ํ๋ด ๋ด๋ ๋คํธ์ํฌ๋ฅผ ๋จผ์ ๋ง๋ค๊ณ ๊ทธ ์์์ ์ ์ด ์์ค์ ๊ฑด๋ค. ๋์งธ, ์ฌ๋ฌ ์ํ์ค์ ๊ณผ์ ์ ๊ฑธ์ณ ํ๋์ ํจ์๋ฅผ ํ์ตํ๋ฏ๋ก ์ ๋ฐ์ดํฐ์ ๋ค์ ์ต์ ํํ ํ์๊ฐ ์๋ค.
๊ตฌ์กฐ. ๊ฐ keypoint๋ ์๋ชฉ ์ขํ๊ณ์ 12์ฐจ์ ์์ฑ(์์น 3 + SMPL-X ๊ด์ ๋ฐฉํฅ์ 6D rotation 6 + ์ ์๋ 3)์ผ๋ก ํํํ๋ค. ๋ฌผ์ฒด ์ ๊ตฐ์ PointNet์ encoder(๊ณต์ pointwise MLP + global max pooling)๋ก ์์ฝํ๊ณ , keypoint ์์ฑ์ ํผ์น ๋ฒกํฐ์ ์ด์ด ๋ถ์ฌ ํ๋ ์ feature \phi_t๋ฅผ ๋ง๋ ๋ค. ๊ด์ decoder์ ์๋ชฉ decoder๋ ๊ฐ๊ฐ \phi_t์ ์๊ธฐ ์ง์ ์์ธก \hat q_{t-1} ๋๋ \hat w_{t-1}์ ์ด์ด ๋ถ์ฌ ์ฝ๋๋ค. ์ด autoregressive ์กฐ๊ฑดํ๋ ์ต์ ํ์ warm-start์ ๋์ํ๋ฉฐ, teacher forcing ์์ด free-running์ผ๋ก ํ์ตํด ํ์ต๊ณผ ๋ฐฐํฌ๊ฐ ๊ฐ์ ์ ๋ ฅ ๋ถํฌ๋ฅผ ๋ณด๊ฒ ํ๋ค. ์ฒซ ํ๋ ์์ 0 ๋ฒกํฐ๋ก ์กฐ๊ฑดํํ๋ค. ๊ด์ ์ถ๋ ฅ์ ๊ด์ ๋ณ sigmoid๋ก \hat q_t=q_{\mathrm{low}}+\sigma(\cdot)(q_{\mathrm{high}}-q_{\mathrm{low}})๋ฅผ ๋ง๋ค์ด joint-limit ์์ค ์์ด ๋ฒ์๋ฅผ ์งํจ๋ค. ์๋ชฉ์ ์์น 3 + 6D rotation์ ๋ด๊ณ \mathrm{SO}(3)๋ก ๋ณํํ๋ค.
III-B1. Supervised ํ์ต
์์ค์ ๊ด์ L_1๊ณผ ์๋ชฉ ์์ค(์์น L_1 + \mathrm{SO}(3) geodesic ๊ฑฐ๋ฆฌ)์ ๋์ผ ๊ฐ์ค ํฉ์ด๋ค. ์ด ๋จ๊ณ์ ๋ชฉํ๋ seed๋ฅผ ๊ฐ์ ํ๋ ๊ฒ์ด ์๋๋ผ ์ฌํํ๋ ๊ฒ์ด๊ณ (Table I์์ ์ค์ ๋ก ๊ฑฐ์ ๊ฐ์ ๊ฐ์ ๋ธ๋ค), ์ญํ ์ fine-tuning์ ์ด๊ธฐํ๋ค. ๋ ผ๋ฌธ์ ์ด ์ด๊ธฐํ ์์ด fine-tuning๋ง ํ๋ฉด โtoo weakly constrained to convergeโ๋ผ๊ณ ์ฐ๊ณ , Table II์ โwithout supervised trainingโ(CC 10.3%, TPE 36.8 mm)์ด ๊ทธ ๊ทผ๊ฑฐ๋ค.
III-B2. Object-aware fine-tuning
Laplacian ์ขํ ์ผ์น๋ ์-๋ฌผ์ฒด ์ด์ ๊ด๊ณ๋ฅผ ๋ณด์กดํ ๋ฟ, ์๋์ ํ๋ฉด ์์ ์ฌ๋ ค๋์ง๋ ์๋๋ค(๋ ผ๋ฌธ์ Fig. 3์ IG (+ object)์์ ์ ์ด์ด ์์ง ๋ถ์ ํํ๊ฒ ๋จ๋๋ค๊ณ ์ด๋ค). fine-tuning์ ์ด ๋ง์ง๋ง ๋ช mm๋ฅผ ์ง์ ๊ฒจ๋ฅํ๋ค. ์ธ ์ ์ด ์์ค์ ์ญํ ์ ๋๋๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
| ์์ค | ๋์ด๋น๊ธฐ๋ ๊ณณ | ํด๊ฒฐํ๋ ค๋ ์คํจ |
|---|---|---|
| \mathcal{L}_{\mathrm{surf}} | ๊ฐ์ฅ ๊ฐ๊น์ด ๋ฌผ์ฒด ํ๋ฉด | ์๋์ด ํ๋ฉด์์ ๋ธ |
| \mathcal{L}_{\mathrm{part}} | ์ฌ๋ ์ ์ด์ ์ ๊ฐ์ฅ ๊ฐ๊น์ด ๋ฌผ์ฒด ์ o(k^i_t) | ํ๋ฉด์๋ ๋ถ์์ง๋ง ์๋ฑํ ๋ถ์์ ๋ถ์ |
| \mathcal{L}_{\mathrm{dir}} | ์ฌ๋๊ณผ ๊ฐ์ ์ชฝ์์ o(k^i_t)๋ก ์ ๊ทผ | ์์ ๋ฌผ์ฒด์ ๋ฐ๋ ๋ฉด์ ๋ถ์ |
์ธ ํญ ๋ชจ๋ ์ฌ๋ ์ ์ ์ด ํ๋ฉด \epsilon ์์ ์์ ๋๋ง ์ผ์ง๋ค. ์ ๊ทผยท๋๋ ๊ตฌ๊ฐ์์๋ ์ ์ด ์์ค์ด ์ ๋ณด๊ฐ ์๊ณ ์ก์๋ง ๋ํ๋ค๋ ์ด์ ๋ค. \mathcal{L}_{\mathrm{surf}}๋ ํ๋ฉด์ ๋ํด ๋์นญ์ด๋ผ ๊ดํต์ ๋ง์ง ๋ชปํ๋ฏ๋ก ๊ดํต์ \mathcal{L}_{\mathrm{coll}}์ด ๋งก๋๋ค. ์ ๊ทํ ํญ์ \mathcal{L}_{\mathrm{coll}}, ์ฐ์ ์์ธก ์ฌ์ด์ \mathcal{L}_{\mathrm{temp}}, ๊ทธ๋ฆฌ๊ณ supervised ๋คํธ์ํฌ์ ๊ฐ์ ํ๋ ์ ์ถ๋ ฅ์ ๋ฌถ๋ \mathcal{L}_{\mathrm{anc}}์ด๋ค. ์ ์ฒด ๋ชฉ์ ์ \mathcal{L}_{\mathrm{ft}}=\sum_\ell\lambda_\ell\mathcal{L}_\ell, \ell\in\{\mathrm{surf},\mathrm{part},\mathrm{dir},\mathrm{coll},\mathrm{anc},\mathrm{temp}\}์ด๊ณ ๊ฐ์ค์น๋ (5,10,1,10,1,1)์ด๋ค(ยงV-A). ์ด ๋จ๊ณ๋ ๋ ์ด๋ธ ์์ด ์งํ๋๋ค.
๋ณธ๋ฌธ๊ณผ ๋ถ๋ก์ด ์ด๊ธ๋๋ ๊ตฌํ ๊ฐ
๋ ผ๋ฌธ์ ยงV-A โImplementationโ๊ณผ ๋ถ๋ก Table S2์ ๊ฐ์ ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ๋ ๋ฒ ์ ๋๋ฐ, ๋ช ๊ตฐ๋ฐ๊ฐ ๋ค๋ฅด๋ค. HTML๊ณผ PDF์ ๊ฐ์ ๊ฐ๋ค.
| ํญ๋ชฉ | ๋ณธ๋ฌธ ยงV-A / ยงIII | ๋ถ๋ก Table S2 / ยงS2 |
|---|---|---|
| ๋ก๋ด-๋ฌผ์ฒด ์ถฉ๋ margin | 5 mm | 2 mm |
| fine-tuning epoch | 24 | 25 |
| decoder | ๋ MLP decoder ๋ชจ๋ 512 unit hidden layer 3๊ฐ | Allegro 8์ธตยทํญ 1024, Inspire 4์ธตยทํญ 512 |
| Delaunay tetrahedralization | ๋งค ํ๋ ์ ๋ค์ ๊ณ์ฐ(ยงIII-A) | source ๋ ธ๋์์ ํ ๋ฒ ๋ง๋ค์ด ์ฌ์ฌ์ฉ(ยงS2) |
| autoregressive ์กฐ๊ฑดํ | ์ง์ ํ๋ ์ ์์ธก ํ๋ | โWindow length 9 frames, autoregressiveโ |
| keypoint ์ ๋ ฅ | ์ ํ๋์ N_h=21๊ฐ, ๊ถค์ ์ ์๋ง๋ค | โKeypoint tokens 2\times21=42โ |
| ์ต์ ํ frame step | (๋ณธ๋ฌธ ๋ฏธ๊ธฐ์ฌ) ๋ฐ์ดํฐ๋ 60 Hz๋ก subsample(ยงS1) | \mathrm{d}t=1/30 s |
| fine-tuning ๊ฐ์ค์น ์ถ์ฒ | ยงV-A์ ์์น ๋ช ์ | โloss weights: see Table IIโ(Table II์๋ ๊ฐ์ค์น ์์น๊ฐ ์๋ค) |
๋๋ถ๋ถ์ ์ฌํ์์๊ฒ ์ด๋ ๊ฐ์ ๋ฏฟ์ด์ผ ํ ์ง ๋ชจ๋ฅด๊ฒ ๋ง๋๋ ์์ค์ ํ๊ธฐ ๋ถ์ผ์น๋ค. ๊ทธ์ค tetrahedralization๊ณผ keypoint ์ ๋ ฅ ๋ ์ค์ ๋ฐฉ๋ฒ์ ์๋ฏธ๋ฅผ ๋ฐ๊ฟ ์ ์๋ค. ๋งค ํ๋ ์ ์ฌ๊ณ์ฐ์ด๋ฉด ์ด์ ๊ด๊ณ๊ฐ ์ ์ด ๋ณํ์ ๋ฐ๋ผ ๋ฐ๋๊ณ , ํ ๋ฒ๋ง ๋ง๋ค๋ฉด ์ฒซ ํ๋ ์์ ์ด์์ด ์ํ์ค ๋ด๋ด ๊ณ ์ ๋๋ค. 42๊ฐ token์ด๋ฉด retargeter๊ฐ ์์์ ํจ๊ป ๋ณธ๋ค๋ ๋ป์ผ ์ ์๋๋ฐ, ๋ณธ๋ฌธ์ โone trajectory per handโ๋ผ๊ณ ํ๋ค. ์ฝ๋๊ฐ ๊ณต๊ฐ๋๋ฉด ๊ฐ์ฅ ๋จผ์ ํ์ธํ ๋ ํญ๋ชฉ์ด๋ค.
Dynamic retargeting (ยงIV)
kinematic reference \hat\tau๋ residual RL์ base action์ด ๋๋ค. ์ ์ฑ ์ ์๋ฎฌ๋ ์ดํฐ ์ํ s_t, reference์ ํ ์คํ ์ ๋ชฉํ \hat\tau_{t+1}, ์์ฐ ๋ฌผ์ฒด ์ํ x^o_{t+1}์ ๋ณด๊ณ residual์ ๋ธ๋ค.
\delta a_t=\pi(s_t,\hat\tau_{t+1},x^o_{t+1}),\qquad a_t=\bar a_t+\delta a_t
์๊ฐ๋ฝ์ base action์ residual์ ๋ํด PD ์์น ๋ชฉํ๋ก, ์๋ชฉ์ PID๊ฐ ์์นยท๋ฐฉํฅ ์ค์ฐจ๋ฅผ ํยทํ ํฌ๋ก ๋ฐ๊พผ ๋ค residual์ ๋ํ๋ค. episode๋ reference์ ์ฒ์ 98% ์ค ๋ฌด์์ ํ๋ ์์์ ์์ํ๋ reference-state initialization(RSI)์ ์ฐ๊ณ , ๊ธฐ์กด ์ฐ๊ตฌ(DexMachina, SPIDER)์ ๋ฌ๋ฆฌ ์๋ฎฌ๋ ์ดํฐ์์ ์ ์ด์ ๋ฏธ๋ฆฌ ํ์ด ๋๋ ์ ์ฒ๋ฆฌ๋ฅผ ํ์ง ์๋๋ค(ยงIV, ยงS3).
์คํ๋ง๋ค RL backend๊ฐ ๋ค๋ฅด๋ค๋ ์ ์ด ๊ฒฐ๊ณผ ํด์์์ ๊ฐ์ฅ ์ค์ํ๋ค.
| ์คํ | RL backend | ๋ชฉ์ |
|---|---|---|
| Table I(OakInk-v2 ablation) | ManipTrans residual RL | reference๋ง ๋ฐ๊ฟ ๋น๊ต |
| Table III(ARCTIC ์ผ๋ฐํ) | DexMachina RL | reference๋ง ๋ฐ๊ฟ ๋น๊ต |
| Table IV(SOTA), Table V(์ค๊ธฐ) | ํตํฉ residual RL: DeepMimic tracking + ManipTrans ๋ณด์ + DexMachina object curriculum | ์์ฑ๋ ์์คํ ๋ผ๋ฆฌ ๋น๊ต |
ํตํฉ RL์ DexMachina curriculum์ ๋ฃ์ ์ด์ ๋ โresidual RL needs the object curriculum on ARCTICโ์ด๋ฉฐ, ํ๋์ ํ๋กํ ์ฝ๋ก ๋ณด๊ณ ํ๋ ค๊ณ OakInk-v2์๋ ์ผฐ๋ค(ยงIV). RL ํ์ดํผํ๋ผ๋ฏธํฐ๋ Table S3์ ์๋ค: 4,096 env, PPO, sim step 1/60 s, episode 1,200 step, \gamma=0.99, GAE \lambda=0.95, clip 0.2, rollout 32, minibatch 1,024, epoch 5, lr 5e-4, H100 ํ ์ฅ. ๋๋ฉ์ธ ๋๋คํ๋ ๋ฌผ์ฒด ๋ง์ฐฐ [0.5,3]๋ฐฐ, ์ง๋ ยฑ20%๋ค.
์ง๊ด: ์ ์ด์ reference์ ๋ฃ์ผ๋ฉด ์ RL์ด ์ฌ์์ง๋
์๋๋ ํ์์ ํด์์ด๋ค. residual RL์ base action ์ฃผ๋ณ์ ํ์ํ๋ค. base action์ด ์๋์ ๋ฌผ์ฒด์์ 3~5 cm ๋จ์ด์ง ๊ณณ์ ๋๋ค๋ฉด(hand-only reference์ TPE๊ฐ 49~78 mm๋ค), residual ์ ์ฑ ์ ์ด๋๋ฅผ ์ฅ์ด์ผ ํ๋์ง๋ถํฐ ํ์ํด์ผ ํ๋ค. ๋ฌผ์ฒด๋ฅผ ์ฅ๊ธฐ ์ ์๋ ๋ฌผ์ฒด ์ถ์ข ๋ณด์์ด ๊ฑฐ์ ์์ง์ด์ง ์์ผ๋ฏ๋ก ์ด ํ์์ sparse reward ๋ฌธ์ ์ ๊ฐ๊น๋ค. ๋ฐ๋๋ก reference๊ฐ ์๋์ ์ด๋ฏธ ์ ์ด์ ๊ทผ๋ฐฉ(TPE 3 mm๋)์ ๋๋ค๋ฉด residual์ด ํ ์ผ์ ์ผ๋ง๋ ์ธ๊ฒ, ์ด๋ ์๊ฐ์ ๋๋ฅผ์ง ๊ฐ์ dynamics ๋ณด์ ์ด ๋๋ค. ์ด์ชฝ์ ๋ณด์์ด ์ด์ดํ ๊ตญ์ ๋ฌธ์ ๋ค.
๋ ผ๋ฌธ์ด ๋ด์ธ์ฐ๋ ๊ฐ์ค๋ ์ด๊ฒ์ด๋ค(ยงI: โWe hypothesize that object-aware references let it focus on dynamics rather than inferring contact locationsโ). ์ ์๋ โhypothesizeโ๋ผ๊ณ ์ฐ๊ณ , ๊ทผ๊ฑฐ๋ Table I์ reference๋ณ RL ์ฑ๊ณต๋ฅ ์๊ด์ด๋ค. ํ์ ๊ณก์ ์ด๋ ํ์ต ์๋ ๋น๊ต ๊ฐ์ ์ง์ ์ฆ๊ฑฐ๋ ์๋ค.
์ด ์ง๊ด์ด ์ด๋์ ๊นจ์ง๋์ง๋ ๋ ผ๋ฌธ์ด ์ค์ค๋ก ๋ณด์ฌ ์ค๋ค. reference๋ kinematic์ด๋ผ ์ด๋๋์ ๋ชจ๋ฅธ๋ค. ํ๋ค๊ธฐ์ฒ๋ผ ๋์ ์ธ ๊ณผ์ ์์๋ ์ ์ด ์์น๊ฐ ๋ง์๋ ์ฅ๋ ํ๊ณผ ๊ฐ์์ RL์ด ํผ์ ๋ง๋ค์ด์ผ ํ๊ณ , ๊ทธ๋ ๊ทธ๋ฆฝ์ด ํ๋ฆฐ๋ค(Fig. 4 ๋ง์ง๋ง ํ, ยงV-E). ์ฆ object-aware reference๋ โ์ด๋โ๋ฅผ ํด๊ฒฐํ์ง๋ง โ์ด๋ป๊ฒโ๋ ์ฌ์ ํ RL ๋ชซ์ด๋ค.
์คํ (ยงV)
์ ์ (ยงV-A)
| ํญ๋ชฉ | OakInk-v2 | ARCTIC |
|---|---|---|
| ์ฑ๊ฒฉ | ์์ยทํ์ ๋ฌผ์ฒด ์กฐ์ | ์์ articulated object ์กฐ์ |
| ํ์ต ๋ฐ์ดํฐ | ManipTrans ์ธํธ 77 ์ํ์ค, ๋ฌผ์ฒด 42๊ฐ(์์ 39ยท์ค๋ฅธ์ 27ยท์ผ์ 11) | 30 ์ํ์ค(๋ฌผ์ฒด 5 ร ํด๋ฆฝ 6) |
| ํ๊ฐ | ์์ ์ธํธ(SOTA, Table IV), ์ค๋ฅธ์ ์ธํธ(ablation, Table IยทII) | DexMachinaยทSPIDER๊ฐ ์ด 7ํด๋ฆฝ ๋ถ๋ถ์งํฉ(Table IIIยทIV) |
| ์ ์ฒ๋ฆฌ | 120 โ 60 Hz subsample, DexManipNet ๋ถํ ์ ๋ฐ๋ฅธ manipulation primitive | ๋ถ๋ก Table S4ยทS5์ ํด๋ฆฝ ๋ชฉ๋ก |
๋ก๋ด ์์ Allegro(์๊ฐ๋ฝ 4, ์ ์ด DoF 16)์ Inspire(์๊ฐ๋ฝ 5, ์ ์ด DoF 6 + mimic ๊ด์ 6)๋ค. ์งํ๋ ๋ค์๊ณผ ๊ฐ๋ค.
| ์งํ | ์ ์ | ์ถ์ฒ |
|---|---|---|
| TPE (mm) | ๋ก๋ด ์๋๊ณผ ์ฌ๋ ์๋์ ํ๊ท ์ ํด๋ฆฌ๋ ๊ฑฐ๋ฆฌ | ์ด ๋ ผ๋ฌธ |
| Contact completeness, CC (%) | ์ฌ๋ ์๋์ด ํ๋ฉด 10 mm ์์ธ ์ ์ด์ด ํ๋๋ผ๋ ์๋ ํ๋ ์ ์ค, ์ ์ดํ ๋ชจ๋ ๋ก๋ด ์๋์ด ํ๋ฉด 10 mm ์์ ์๋ ํ๋ ์ ๋น์จ | ์ด ๋ ผ๋ฌธ |
| \mathrm{SR}_{\mathrm{MT}} | ๋ฌผ์ฒด ํ์ 30ยฐ, ๋ฌผ์ฒด ์ด๋ 3 cm, ๊ด์ ์์น 8 cm, ์๋ 6 cm ์ดํ | ManipTrans |
| \mathrm{SR}_{\mathrm{obj}} | ๋ฌผ์ฒด๋ง, ํ์ 28.6ยฐ(0.5 rad)ยท์ด๋ 10 cm | SPIDER |
| ADD-AUC | ๋ฌ์ฑ ์์ธ์ ์์ฐ ์์ธ์ ๋ฌผ์ฒด ํ๋ฉด ์ ๊ฑฐ๋ฆฌ ๊ธฐ๋ฐ ์ถ์ข ์ ์ | DexMachina |
๋ ผ๋ฌธ์ TPE์ CC๊ฐ โdiagnostic rather than complete predictors of downstream successโ๋ผ๊ณ ์ค์ค๋ก ์ ์ ๊ธ๋๋ค. ํ๊ฐ๋ Table I~III์ด 3 seed ํ๊ท , Table IV๊ฐ 5 seed ํ๊ท ์ด๊ณ ์ ์ฑ ๋ง๋ค 256 rollout์ด๋ค. Table IIIยทIV์ ๋ฒ ์ด์ค๋ผ์ธ ๊ฐ์ ์ ๋ ผ๋ฌธ์์ ๊ฐ์ ธ์จ ๊ฒ์ด๋ค. ๋ชจ๋ ํ์ ํ์คํธ์ฐจ๋ ์ ๋ขฐ๊ตฌ๊ฐ์ ์๋ค.
Object awareness์ ํจ๊ณผ (ยงV-B, Table I)
Allegro ์ค๋ฅธ์ OakInk-v2 27๊ณผ์ , ๋ชจ๋ ๊ฐ์ ManipTrans residual RL์ด๋ค. ๋ฒ ์ด์ค๋ผ์ธ ์์น๋ ์ ์๋ค์ ์ฌํ๊ฐ์ด๋ค.
| Kinematic reference | CC (%) โ | TPE (mm) โ | \mathrm{SR}_{\mathrm{MT}} (%) โ |
|---|---|---|---|
| Hand-only reference | |||
| AnyTeleop-Vector | 3.5 | 59.5 | 18.3 |
| AnyTeleop-Position | 0.5 | 77.9 | 11.1 |
| AnyTeleop-DexPilot | 0.3 | 53.8 | 0.0 |
| GeoRT | 1.0 | 58.6 | 0.8 |
| ManipTrans (imitator) | 5.8 | 49.2 | 20.6 |
| Object-aware reference (DexOAK) | |||
| IG optimizer | 19.6 | 3.50 | 43.2 |
| + supervised training | 19.2 | 3.50 | 43.6 |
| + Object-Aware FT (Full) | 21.9 | 3.21 | 48.2 |
๋ณธ๋ฌธ์ 48.2%๊ฐ ManipTrans ๊ฒฐ๊ณผ์ 2.3๋ฐฐ์ด๊ณ (48.2/20.6 = 2.34, ํ์ ๊ฒ์ฐ ์ผ์น) fine-tuning์ด ์ต์ ํ ๋๋น +5.0 %p๋ฅผ ๋ํ๋ค๊ณ ์ด๋ค. ์ด ํ๋ฅผ ๋จ๊ณ๋ณ๋ก ๋ถํดํ๋ฉด ์ด ๋ ผ๋ฌธ์ ๊ธฐ์ฌ ๊ตฌ์กฐ๊ฐ ๋๋ฌ๋๋ค(ํ์ ๊ณ์ฐ).
| ๋จ๊ณ | \mathrm{SR}_{\mathrm{MT}} ์ฆ๋ถ | ์ ์ฒด +27.6 %p ์ค ๋น์จ |
|---|---|---|
| hand-only ์ต๊ณ (ManipTrans 20.6) โ IG optimizer(43.2) | +22.6 %p | 82% |
| IG optimizer โ + supervised(43.6) | +0.4 %p | 1% |
| + supervised โ + Object-Aware FT(48.2) | +4.6 %p | 17% |
์ฆ ์ฑ๊ณต๋ฅ ์ ๋ ๋ฐฐ๋ก ๋ง๋ ๊ฒ์ ๋ฌผ์ฒด anchor๋ฅผ ๋ฃ์ interaction-graph ์ต์ ํ์ด๊ณ , ์ด๋ OmniRetarget ๋ชฉ์ ํจ์๋ฅผ ์๊ฐ๋ฝ ๋จ์๋ก ํ์ฅํ ๋ถ๋ถ์ด๋ค. ํ์ต๋ retargeter์ ์ ์ด fine-tuning์ ๊ทธ ์์ ์ฝ 5 %p๋ฅผ ๋ํ๋ค. 3 seed ํ๊ท ์ ๋ถ์ฐ์ด ๋ณด๊ณ ๋์ง ์์ ์ด 5 %p๊ฐ seed ์ก์๋ณด๋ค ํฐ์ง๋ ํ๋ง์ผ๋ก ํ๋จํ ์ ์๋ค.
ํ์์ ํ๋ ๋ ๋์ ๋๋ ๊ฒ์ hand-only ๋ฐฉ๋ฒ์ TPE๋ค. TPE๋ ๋ก๋ด ์๋๊ณผ ์ฌ๋ ์๋ ์ฌ์ด ๊ฑฐ๋ฆฌ์ธ๋ฐ, ์๋ ์์น๋ฅผ ์ง์ ๋ง์ถ๋ AnyTeleop-Position์ด 77.9 mm๋ก ๊ฐ์ฅ ๋์๋ค. ๋ ผ๋ฌธ์ ์ด ์ญ์ ์ ์ค๋ช ํ์ง ์๋๋ค. AnyTeleop๋ฅ๋ ์๋ชฉ์ ์ฌ๋ ์๋ชฉ์ ๊ณ ์ ํ๊ณ ์๊ฐ๋ฝ ๊ด์ ๋ง ์ต์ ํํ๊ฑฐ๋ ์ ํฌ๊ธฐ๋ฅผ ์ค์ผ์ผ๋งํ๋ฏ๋ก, ํฌ๊ธฐ๊ฐ ๋ค๋ฅธ ๋ก๋ด ์์์๋ ์๋ชฉ ๊ธฐ์ค์ ์๋ ๋ฐฐ์น๊ฐ ๋ง์๋ ์ ๋ ์๋ ์์น๊ฐ cm ๋จ์๋ก ์ด๊ธ๋ ์ ์๋ค(ํ์์ ํด์). ๋ฐ๋๋ก DexOAK๋ ์๋ชฉ ์์ธ๊น์ง ์ต์ ํ ๋ณ์์ด๊ณ ์ค์ ์ค์ผ์ผ์ ์ ์งํ๋ฏ๋ก TPE๊ฐ ์ ์์ ์ ๋ฆฌํ๋ค. TPE์ CC๋ ๊ฐ๊ฐ \mathcal{L}_{\mathrm{IG}}ยท\mathcal{L}_{\mathrm{part}}, \mathcal{L}_{\mathrm{surf}}์ ๊ฑฐ์ ๊ฐ์ ์์ ์ฌ๋ฏ๋ก, ์ด ๋ ์ด์์์ ์์น์ ์๋น ๋ถ๋ถ ๋ชฉ์ ํจ์๊ฐ ๊ณง ์งํ์ธ ๊ตฌ์กฐ์์ ๋์จ๋ค. ๋ ๋ฆฝ์ ์ธ ๊ทผ๊ฑฐ๋ RL ์ฑ๊ณต๋ฅ ์ด์ด๋ค.
๊ตฌ์ฑ์์ ablation (ยงV-C, Table II)
๊ฐ์ Allegro ์ค๋ฅธ์ ๊ณผ์ , kinematic ์งํ๋ง(RL ์์). ๊ฐ ํ์ Full ๋ชจ๋ธ์์ ํ๋๋ง ๋ฐ๊พผ๋ค.
| ๋ณํ | CC (%) โ | TPE (mm) โ |
|---|---|---|
| Interaction-graph Laplacian optimizer | ||
| without object anchors | 2.8 | 41.5 |
| without wrist node | 19.6 | 3.51 |
| Architecture and training | ||
| without object cloud | 20.0 | 3.83 |
| without autoregression | 16.1 | 9.29 |
| single-sequence training | 20.9 | 3.53 |
| without supervised training | 10.3 | 36.8 |
| Object-aware losses (leave-one-out) | ||
| without surface-contact | 13.2 | 6.84 |
| without object-part | 19.2 | 7.71 |
| without contact-direction | 18.8 | 7.25 |
| Loss-weight configurations | ||
| uniform (1,1,1,1,1,1) | 19.2 | 5.03 |
| contact-heavy (50,100,20,10,1,1) | 20.8 | 4.11 |
| regularization-heavy (5,10,1,100,50,10) | 19.3 | 3.85 |
| Full model (5,10,1,10,1,1) | 21.9 | 3.21 |
์ฝ์๊ฑฐ๋ฆฌ๋ ๋ค ๊ฐ์ง๋ค.
- ๋ฌผ์ฒด anchor๊ฐ ์ ๋ถ๋ค. anchor๋ฅผ ๋นผ๋ฉด CC 2.8%, TPE 41.5 mm๋ก hand-only ๋ฒ ์ด์ค๋ผ์ธ ์์ค์ผ๋ก ๋จ์ด์ง๋ค. Table I ๋ถํด์ ๊ฐ์ ๊ฒฐ๋ก ์ด๋ค.
- supervised ์ด๊ธฐํ ์์ด๋ fine-tuning์ด ๋ฌด๋์ง๋ค(10.3%, 36.8 mm). ์ ์ด ์์ค๋ง์ผ๋ก๋ ์์ ์ด๋์ ๋์ง ์ ํ์ง ๋ชปํ๋ค๋ ๋ป์ด๊ณ , seed ์ต์ ํ๊ฐ ๋จ์ํ โ๊ฐ์์ฉ ๋์ฒด๋ฌผโ์ด ์๋๋ผ ํ์ต ๋ฌธ์ ๋ฅผ ์ฑ๋ฆฝ์ํค๋ ์กฐ๊ฑด์์ ๋ณด์ฌ ์ค๋ค.
- ๋คํธ์ํฌ ์ ๋ ฅ์์ ๋ฌผ์ฒด ์ ๊ตฐ์ ๋นผ๋ ์์ค์ด ์๋ค(20.0%, 3.83 mm). ๋ณธ๋ฌธ์ โobject information still enters through the lossesโ๋ผ๊ณ ์ค๋ช ํ๋ค. ์ด๊ฒ์ ํฅ๋ฏธ๋ก์ด ์๊ธฐ ์ ํ์ด๋ค. ์ ๋ชฉ์ โobject-awareโ๊ฐ ๋คํธ์ํฌ์ ์ ๋ ฅ๋ณด๋ค ํ์ต ์ ํธ์์ ์ฃผ๋ก ์จ๋ค๋ ๋ป์ด๊ณ , ๋ฌผ์ฒด ํ์์ ๋ณด์ง ์๋ ๋คํธ์ํฌ๋ ํ์ต ๋ถํฌ ์์์๋ ๊ฑฐ์ ๊ฐ์ reference๋ฅผ ๋ธ๋ค. ๋ค๋ง ARCTIC ์ ์ด์ฒ๋ผ ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด์์ ๋ฌผ์ฒด ์ ๋ ฅ์ ๊ธฐ์ฌ๊ฐ ์ปค์ง๋์ง๋ ์ด ํ๋ก ์ ์ ์๋ค(๊ทธ ์กฐ๊ฑด์ ablation์ ์๋ค).
- ๊ฐ์ค์น ๋ฐฐ์น์ ๋๊ฐํ๋ค. ์ธ ๋์ ๋ชจ๋ hand-only๋ณด๋ค ํจ์ฌ ๋ซ๋ค. ๋ค๋ง contact-heavy๊ฐ ์ ์ด ๊ฐ์ค์น๋ฅผ 10๋ฐฐ ํค์ ๋๋ฐ๋ CC๊ฐ Full๋ณด๋ค ๋ฎ๋ค(20.8 < 21.9)๋ ๋น๋จ์กฐ์ฑ์ ์ธ๊ธ๋์ง ์๋๋ค.
ํด์์ ํ์ธ์ด ํ์ํ ๊ณณ๋ ์๋ค. ๋งจ ์ ๋ ํ์ โoptimizerโ ๋ธ๋ก์ ์์ง๋ง ํ ์บก์ ์ โFull model์์ ํ๋์ฉ ๋ฐ๊พผ๋คโ๊ณ ํ๋ค. โwithout wrist nodeโ(19.6, 3.51)๋ Table I์ IG optimizer ํ(19.6, 3.50)๊ณผ ๊ฑฐ์ ๊ฐ์์, ์ด ๋ ํ์ด ์ต์ ํ ์ถ๋ ฅ์์ ์ฐ ๊ฐ์ธ์ง ๊ทธ seed๋ก ํ์ตํ Full ํ์ดํ๋ผ์ธ์์ ์ฐ ๊ฐ์ธ์ง๊ฐ ๋ชจํธํ๋ค. ๊ทธ๋ฆฌ๊ณ ์ด ํ์๋ RL ์ฑ๊ณต๋ฅ ์ด ์์ผ๋ฏ๋ก, ๊ฐ ๊ตฌ์ฑ์์๊ฐ downstream ์ฑ๊ณต์ ์ผ๋ง๋ ๊ธฐ์ฌํ๋์ง๋ ์ธก์ ๋์ง ์์๋ค.
์ผ๋ฐํ: ๋ค์ ํ์ง ์๊ณ ์ฎ๊ธฐ๊ธฐ (ยงV-D, Table III)
Allegro, ARCTIC, ๋ชจ๋ DexMachina RL. ์๋๋ โํ๊ฐ ํ๋ ์ ์ รท target ๋ฐ์ดํฐ์ kinematic ๋จ๊ณ ์ด wall-clockโ์ด๋ฉฐ, ์ต์ ํยทํ์ตยทfine-tuning์ ํฌํจํ๊ณ RL์ ์ ์ธํ๋ค.
| ๋ฐฉ๋ฒ | Speed (Hz) โ | ADD-AUC (%) โ |
|---|---|---|
| In-domain on ARCTIC | ||
| DexMachina | 13.4 | 83.4 |
| Ours: IG optimizer | 15.5 | 88.9 |
| Ours: DexOAK | 1.4 | 91.3 |
| Generalization OakInk-v2 โ ARCTIC | ||
| Zero-shot | 108.9 | 87.9 |
| + Object-Aware FT on ARCTIC | 57.2 | 90.0 |
OakInk-v2 ๋ชจ๋ธ์ด ARCTIC์ zero-shot์ผ๋ก 87.9๋ฅผ ๋ด DexMachina(83.4)๋ฅผ ๋๊ณ , in-domain ์ต์ ํ๋ณด๋ค 7๋ฐฐ ๋น ๋ฅด๋ค(108.9/15.5 = 7.03, ํ์ ๊ฒ์ฐ ์ผ์น). ARCTIC์์ fine-tuning๋ง ํ๋ฉด 90.0์ผ๋ก in-domain DexOAK(91.3)์ ๊ทผ์ ํ๋ค.
์ด ํ๋ ์ ์งํ๊ฒ ์ฝ์ผ๋ฉด ๋ ๊ฐ์ง๋ฅผ ๋ ๋งํ๋ค.
- In-domain DexOAK๋ ๊ฐ์ฅ ๋๋ฆฌ๋ค(1.4 Hz). 30 ์ํ์ค์ง๋ฆฌ ARCTIC์์ seed ์ต์ ํ + 600 epoch supervised + fine-tuning์ ๋ชจ๋ target ๋ฐ์ดํฐ ๋น์ฉ์ผ๋ก ์ ๊ธฐ ๋๋ฌธ์ด๋ค. amortization์ ๊ฐ์ retargeter๋ฅผ ์ฌ๋ฌ ๋ฒ ์ฌ์ฌ์ฉํ ๋๋ง ์ด๋์ด๊ณ , ๋ฐ์ดํฐ๊ฐ ์์ผ๋ฉด ์ต์ ํ(15.5 Hz)๋ฅผ ๊ทธ๋ฅ ์ฐ๋ ํธ์ด ๋น ๋ฅด๋ค.
- Zero-shot์ 108.9 Hz๋ OakInk-v2 ์ชฝ ๋น์ฉ์ ํฌํจํ์ง ์๋๋ค. ์ ์์ โtarget-dataโ ๋น์ฉ๋ง ์ธ๋ฏ๋ก ๋ง๋ ๊ณ์ฐ์ด์ง๋ง, ๋ ์๊ฐ โ7๋ฐฐ ๋น ๋ฅธ ๋ฐฉ๋ฒโ์ผ๋ก ์ฝ์ผ๋ฉด source ์ชฝ ์ต์ ํยทํ์ต ๋น์ฉ์ด ์ฌ๋ผ์ง๋ค. ์ ํํ๋ ์ด๋ฏธ ํ์ต๋ retargeter์ ํ๊ณ ๋น์ฉ์ด๋ค.
ADD-AUC ๋ถํด๋ Table I๊ณผ ๊ฐ์ ๋ชจ์์ด๋ค(ํ์ ๊ณ์ฐ). DexMachina 83.4 ๋๋น in-domain DexOAK์ +7.9 ์ค IG optimizer๊ฐ +5.5(70%), ํ์ต + fine-tuning์ด +2.4(30%)๋ค.
SOTA ๋น๊ต (ยงV-E, Table IV, Fig. 4)
๊ฐ ๋ฐฉ๋ฒ์ ์๊ธฐ dynamic refinement๋ฅผ ์ฐ๊ณ , DexOAK+RL์ ยงIV์ ํตํฉ residual RL์ ์ด๋ค. ๋ฒ ์ด์ค๋ผ์ธ ๊ฐ์ ์ ๋ ผ๋ฌธ ๊ฐ์ด๋ฉฐ โโโ๋ ๋ฏธ๋ณด๊ณ ๋ค.
| ๋ฐ์ดํฐ์ ยท์ | ๋ฐฉ๋ฒ | \mathrm{SR}_{\mathrm{MT}} (%) | \mathrm{SR}_{\mathrm{obj}} (%) | ADD-AUC (%) |
|---|---|---|---|---|
| OakInk-v2 ์์, Inspire | ManipTrans | 39.5 | โ | โ |
| SPIDER | โ | 47.9* | โ | |
| DexOAK+RL | 48.4 | 58.7 | 55.1 | |
| OakInk-v2 ์์, Allegro | SPIDER | โ | 45.9* | โ |
| DexOAK+RL | 58.6 | 64.1 | 61.5 | |
| ARCTIC, Inspire | DexMachina | โ | 67.1 | 62.7 |
| SPIDER | โ | 42.0 | โ | |
| DexOAK+RL | 58.3 | 83.4 | 77.9 | |
| ARCTIC, Allegro | DexMachina | โ | โ | 83.4 |
| DexOAK+RL | 67.2 | 97.3 | 92.1 |
* SPIDER๋ OakInk-v2 ์ํ์ค๋ฅผ ๋ ๋ง์ด ์จ์ ๋น๊ต๊ฐ ์ฐธ๊ณ ์ฉ์ด๋ค(๋ ผ๋ฌธ ์บก์ ). SPIDER ๋ฆฌ๋ทฐ์ ์ ๋ฆฌํด ๋ ์ ๋ ผ๋ฌธ ๊ฐ๊ณผ ๋์กฐํ๋ฉด OakInk 47.9%(Inspire)ยท45.9%(Allegro)๋ SPIDER๊ฐ OakInk 1,022๊ฐ ๊ถค์ ์ ์ฒด์์ ๋ณด๊ณ ํ ๊ฐ์ด๊ณ , ARCTIC 42.0%์ DexMachina 67.1%๋ SPIDER์ RL ๋ฐฉ๋ฒ ๋น๊ตํ ๊ฐ๊ณผ ๊ฐ๋ค. ์ฆ SPIDER ์ชฝ OakInk ์์น๋ ํ๊ฐ ์งํฉ ์์ฒด๊ฐ ๋ค๋ฅด๋ค. ManipTrans 39.5%๋ ManipTrans ๋ฆฌ๋ทฐ์ ์์ ์ฑ๊ณต๋ฅ ๊ณผ ๊ฐ๋ค. ๋ฒ ์ด์ค๋ผ์ธ ์ซ์ ์์ฒด๋ ์ ๋ ผ๋ฌธ๊ณผ ๋ง๋๋ค.

Fig. 4: ์ผ์ชฝ์ kinematic ๊ถค์ , ์ค๋ฅธ์ชฝ์ dynamic ๊ถค์ . ์ ์ธ ํ์ Inspire ์์ uncap alcohol lamp(OakInk-v2)์์ ManipTrans(๋๊ป์ ๋ชป ์ก๊ณ ์ผ์ฐ ์คํจ), SPIDER(๋๊ป์ ๋๋ฌด ์ผ์ฐ ๋๊ณ ๋ฒ๋๊ฐ ๊ธฐ์บ), DexOAK+RL(์ ์ฒด ๋์ ์ํ). ๋ท์งธ ํ์ Allegro ์์ use box(ARCTIC). ๋ง์ง๋ง ํ์ Allegro ์ค๋ฅธ์ shake lab container์์ ํ๋๋ ๋์ค ๋น์ปค๋ฅผ ๋จ์ด๋จ๋ฆฌ๋ ์คํจ ์ฌ๋ก๋ค.
์ด ํ๋ฅผ ์ฝ์ ๋ ๋ฐ๋์ ๋ถ์ฌ์ผ ํ ๋จ์๋ ํ์ดํ ํ๋์ ์ฌ๋ฌ ๋ณ๊ฒฝ์ด ๋ฌถ์ฌ ์๋ค๋ ์ ์ด๋ค. Inspire OakInk-v2์ 39.5 โ 48.4(+8.9 %p)๋ โ kinematic reference(hand-only imitator โ DexOAK), โก RL backend(ManipTrans residual RL โ ManipTrans ๋ณด์ + DexMachina curriculum + DeepMimic tracking), โข ์คํ ์ฃผ์ฒด(์ ๋ ผ๋ฌธ์ ํ๋์จ์ดยทseed โ ์ ์์ 5 seed)๊ฐ ๋์์ ๋ฐ๋ ๊ฐ์ด๋ค. ๋ ผ๋ฌธ๋ ์ด๋ฅผ ์๊ณ โthis table compares complete systems rather than isolating the kinematic referenceโ๋ผ๊ณ ์บก์ ๊ณผ ๋ณธ๋ฌธ์ ์ ์๋ค. reference์ ์์ ํจ๊ณผ๋ ๊ฐ์ backend๋ก ๊ณ ์ ํ Table I(+27.6 %p, Allegro ์ค๋ฅธ์)๊ณผ Table III(+7.9 ADD-AUC, Allegro ARCTIC)์์ ์ฝ์ด์ผ ํ๋ค.
backend ํจ๊ณผ๋ฅผ ๊ฐ๋ ํ ๋จ์๊ฐ ํ๋ ์๋ค. Allegro ARCTIC์ DexOAK๋ DexMachina RL์์ 91.3(Table III), ํตํฉ RL์์ 92.1(Table IV)์ด๋ค. ์ด ์กฐ๊ฑด์์๋ backend๋ฅผ ๋ฐ๊ฟ๋ 0.8๋ฐ์ ์์ง์ด์ง ์์ผ๋ฏ๋ก, ์ ์ด๋ Allegro ARCTIC์ ์ฐ์๋ backend๋ณด๋ค reference์์ ์จ๋ค๊ณ ์ฝ์ ์ ์๋ค(ํ์์ ํด์, ๋ ์์น๋ seed ์๊ฐ 3๊ณผ 5๋ก ๋ค๋ฅด๋ค). Inspire์ OakInk-v2์ ๋ํด์๋ ์ด๋ฐ ํต์ ๋น๊ต๊ฐ ์๋ค.
Allegro๊ฐ Inspire๋ณด๋ค RL ์ฑ๊ณต๋ฅ ์ด ๋์ ๊ฒ(ARCTIC \mathrm{SR}_{\mathrm{MT}} 67.2 vs 58.3)์ ์ ์๋ โmay reflect Allegroโs 16 controllable DoF versus Inspireโs 6โ๋ก ์กฐ์ฌ์ค๋ฝ๊ฒ ํด์ํ๋ค. ์ด๋ DexMachina ๋ฆฌ๋ทฐ์์ ์ ๋ฆฌํ hand embodiment ๋ถ์, ์ฆ ํฌ๊ธฐ๋ณด๋ค DoF๊ฐ ์ค์ํ๊ณ ์์ ๊ตฌ๋ ์์ด ๋ ์ ๋ฐฐ์ด๋ค๋ ๊ด์ฐฐ๊ณผ ๊ฐ์ ๋ฐฉํฅ์ด๋ค. DexOAK๊ฐ ์๋ก ๋ฐ๊ฒฌํ ์ฌ์ค์ด๋ผ๊ธฐ๋ณด๋ค ๊ธฐ์กด ๊ด์ฐฐ์ ์ฌํ์ธ์ผ๋ก ๋ณด๋ ๊ฒ์ด ๋ง๋ค.
์ค๊ธฐ ์คํ (ยงV-F, Table V)
์ ์ฐจ๊ฐ ๊ฒฐ๊ณผ์ ์๋ฏธ๋ฅผ ์ ํ๋ฏ๋ก ๋จผ์ ์ ๋ฆฌํ๋ค.
- OakInk-v2 5๊ณผ์ ๋ง๋ค DexOAK+RL๊ณผ ManipTrans๋ฅผ ๊ฐ๊ฐ 3 seed๋ก ํ์ตํ๋ค.
- ๊ฐ ์ ์ฑ ์์ ์ ํด์ง ํ๊ฐ ์์๋ก ์ฒ์ \mathrm{SR}_{\mathrm{MT}}๋ฅผ ๋ง์กฑํ rollout ํ๋๋ฅผ ๊ณจ๋ผ ์๋ชฉ ์์ธ์ ์๊ฐ๋ฝ ๊ด์ ๊ฐ์ ๊ธฐ๋กํ๋ค.
- ๊ทธ ๊ถค์ ์ UR5 + ์ค๋ฅธ์ Allegro์์ open-loop๋ก 4๋ฒ ์ฌ์ํ๋ค. UR5 ๋ชฉํ๋ ๊ธฐ๋ก๋ ์๋ชฉ ์์ธ์ IK๋ก ์ป๊ณ , 60 Hz๋ก ๊ด์ ๊ณต๊ฐ์์ ์ฌ์ํ๋ค.
- ์ฌ์ ์ ๋ง๋ค ๋ฌผ์ฒด๋ฅผ ํ์๋ ์ด๊ธฐ ์์ธ(์๋ฎฌ๋ ์ด์ ์ด๊ธฐํ์ 5 mm ์ด๋ด)๋ก ์์ผ๋ก ๋๋๋ฆฐ๋ค. ๋ฌผ์ฒด ์น์๋ ๋ชจ์บก ๋ฌผ์ฒด์ 2 mm ์ด๋ด๋ก ๋ง์ท๋ค.
| ๋ฐฉ๋ฒ | Take out | Close gate | Pour | Unplug | Cut |
|---|---|---|---|---|---|
| DexOAK+RL | 12/12 [90%] | 12/12 [41%] | 10/12 [95%] | 8/12 [93%] | 4/8 [3%] |
| ManipTrans | 6/12 [83%] | 12/12 [12%] | 8/12 [16%] | 0/4 [1%] | โ [0%] |
์นธ์ โํ๋์จ์ด ์ฑ๊ณต/์๋ [์๋ฎฌ๋ ์ด์ \mathrm{SR}_{\mathrm{MT}} seed ํ๊ท ]โ์ด๋ค. ๋ถ๋ชจ๊ฐ 12๋ณด๋ค ์์ผ๋ฉด 3๊ฐ ์ ์ฑ ์ค ์ผ๋ถ๊ฐ ์ฑ๊ณต rollout์ ํ๋๋ ๋ชป ๋ง๋ ๊ฒฝ์ฐ์ด๊ณ , โโโ๋ ์ฌ์ํ ์ฑ๊ณต rollout์ด ์๋ค๋ ๋ป์ด๋ค. held-out ๊ณผ์ (retargeter ํ์ต์์ ์ ์ธ, ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด ๋ฒ์ฃผ์ non-prehensile ์ํธ์์ฉ) Close Laptop๊ณผ Press Button์ ์๋ฎฌ๋ ์ด์ 99%ยท100%, ํ๋์จ์ด ๊ฐ 10/12๋ค. ์ด ๋์ 46/56์ ํฌํจ๋์ง ์๋๋ค.
์ ์์ ๊ฒฐ๋ก ์ DexOAK+RL์ด ์ ์ธ ๊ณผ์ ์์ ๊ฑฐ์ ์๋ฒฝํ๊ณ , 5๊ณผ์ ๋ชจ๋์์ ์๋ฎฌ๋ ์ด์ \mathrm{SR}_{\mathrm{MT}}๋ฅผ ์ฌ๋ฆฌ๋ฉฐ, ํ๋์จ์ด ์ฑ๊ณต์์ ManipTrans์ ๊ฐ๊ฑฐ๋ ํฌ๊ฒ ์์ ๋ค๋ ๊ฒ์ด๋ค(Unplug๊ฐ ๊ฐ์ฅ ๋๋ ท). Unplug์ Cut์ ์คํจ๋ ๊ธํ๊ฑฐ๋ ๊ณ ์ฃผํ์ธ ์์ง์์์ ํ๋ฌ๊ทธ๋ ์นผ์ด ๋ฏธ๋๋ฌ์ง๋ ๊ฒ์ผ๋ก, open-loop์ ์ด๊ธฐํ ๋ฏผ๊ฐ์ฑ์ด ๊ฒน์น๋ค๊ณ ์ค๋ช ํ๋ค.
์ด ํ์์ 46/56์ด๋ผ๋ ์ซ์๊ฐ ๋ฌด์์ ์ธ๋์ง๋ ๋ถ๋ช ํ ํด ๋ ํ์๊ฐ ์๋ค.
- ๋ ๋ฆฝ ์ํ์ด ์๋๋ค. 56ํ๋ ์๋ก ๋ค๋ฅธ ๊ถค์ 14๊ฐ(3+3+3+3+2)๋ฅผ ๊ฐ๊ฐ 4๋ฒ ์ฌ์ํ ๊ฒ์ด๋ค. ๊ฐ์ ๊ถค์ ์ ๋ฐ๋ณต ์ฌ์์ โ๊ทธ ๊ถค์ ์ด ํ๋์จ์ด์์ ์ฌํ ๊ฐ๋ฅํ๊ฐโ๋ฅผ ์ฌ๋ ๊ฒ์ด๊ณ , ์ ์ฑ ์ ์ฑ๊ณต๋ฅ ์ด ์๋๋ค.
- ์๋ฎฌ๋ ์ด์ ์ฑ๊ณต์ ์กฐ๊ฑด๋ถ๋ค. ์ฌ์ ๋์์ ์ฒ์ ์ฑ๊ณตํ rollout๋ฟ์ด๋ค. ๋ ผ๋ฌธ๋ โHardware success is therefore conditional on simulation successโ๋ผ๊ณ ์ด๋ค. Close gate๋ ์๋ฎฌ๋ ์ด์ 41%์ธ๋ฐ ํ๋์จ์ด 12/12์ด๊ณ , ManipTrans๋ ์๋ฎฌ๋ ์ด์ 12%์์ ํ๋์จ์ด 12/12๋ค. ์ด ๊ณผ์ ์์ ํ๋์จ์ด ์์น๋ ๋ ๋ฐฉ๋ฒ์ ๊ฐ๋ฅด์ง ๋ชปํ๋ค.
- ์ํ๋ณธ ํต๊ณ. ์ฌ์์ ๋ ๋ฆฝ ์ํ์ผ๋ก ๊ฐ์ ํด๋ ๊ณผ์ ๋ณ Fisher exact p๋ Take out 0.014, Unplug 0.077, Pour 0.64, Close gate 1.0์ด๋ค(ํ์ ๊ณ์ฐ). ํฉ๊ณ 46/56(82%, Wilson 95% ๊ตฌ๊ฐ 70~90%) ๋ 26/40(65%, 50~78%)์ p๋ 0.093์ด๋ค. ์ค์ ๋ก๋ ๊ถค์ ๋จ์๋ก ๋ฌถ์ฌ ์์ด ์ ํจ ํ๋ณธ์ด ๋ ์๋ค. ๋ฐ๋ผ์ ํ๋์จ์ด ์คํ์ด ๋ณด์ฌ ์ฃผ๋ ๊ฒ์ โRL๋ก ๋ค๋ฌ์ DexOAK ๊ถค์ ์ด ์ค๊ธฐ์์ open-loop๋ก ์ฌํ๋๋คโ๋ ์คํ ๊ฐ๋ฅ์ฑ์ด๊ณ , ManipTrans ๋๋น ์ฐ์์ฑ์ ๊ทผ๊ฑฐ๋ ์๋ฎฌ๋ ์ด์ \mathrm{SR}_{\mathrm{MT}} ์ด์ด ๋ ๊ฐํ๋ค(Pour 95% vs 16%, Unplug 93% vs 1%).
์ด๋ OakInk-v2 ์ํ์ค๊ฐ ํ๋์จ์ด ๊ณผ์ ์ ์ฐ์๋์ง๋ ๋ ผ๋ฌธ์ ๋ช ์๋ผ ์์ง ์๋ค. ๋ถ๋ก Table S6์์ Take outยทClose gateยทCutยทremove plug๋ ์์ ๋ชฉ๋ก์๋ง ์๊ณ ์ค๋ฅธ์ ๋ชฉ๋ก์๋ Pour๋ง ์์ผ๋ฏ๋ก, ์์ ๊ณผ์ ์ ์ค๋ฅธ์๋ง ์ฌ์ํ ๊ฒ์ผ ๊ฐ๋ฅ์ฑ์ด ์์ง๋ง ํ์ธํ ์ ์๋ค.
์ธก์ ๋ ๊ฒ๊ณผ ์ ์ธ๋ ๊ฒ
| ์ฃผ์ฅ | ๊ทผ๊ฑฐ์ ์ข ๋ฅ | ๊ทผ๊ฑฐ |
|---|---|---|
| object-aware reference๊ฐ downstream RL ์ฑ๊ณต์ ์ฌ๋ฆฐ๋ค | ์ธก์ (๊ฐ์ backend) | Table I(20.6 โ 48.2), Table III(83.4 โ 91.3) |
| ์ด๋์ ์ฃผ์์ฒ์ object anchor | ์ธก์ | Table I ๋ถํด, Table II โwithout object anchorsโ |
| ํ์ต + fine-tuning์ด ์ต์ ํ๋ณด๋ค ๋ซ๋ค | ์ธก์ , ๋ถ์ฐ ๋ฏธ๋ณด๊ณ | Table I(+5.0 %p), Table III(+2.4) |
| RL์ด ์ ์ด ํ์ ๋์ dynamics์ ์ง์คํ๊ฒ ๋๋ค | ๊ฐ์ค(โWe hypothesizeโ) | ํ์ต ๊ณก์ ยทํ์ ๋ถ์ ์์ |
| ํ์ต๋ retargeter๊ฐ ์ ๋ฐ์ดํฐ์ ์ zero-shot ์ ์ด | ์ธก์ (1๊ฐ ์ ์ด ๋ฐฉํฅ) | Table III, OakInk-v2 โ ARCTIC๋ง |
| ๊ฐ ๊ตฌ์ฑ์์๊ฐ ํ์ํ๋ค | ์ธก์ (kinematic ์งํ๋ง) | Table II, RL ์ฑ๊ณต๋ฅ ์์ |
| SOTA๋ฅผ ๋๋๋ค | ์์คํ ๋น๊ต(referenceยทbackendยท์คํ ์ฃผ์ฒด๊ฐ ํจ๊ป ๋ฐ๋) | Table IV |
| ํ๋์จ์ด ์คํ ๊ฐ๋ฅ | ์ธก์ (๊ถค์ 14๊ฐ ร 4ํ, open-loop) | Table V |
| ์ DoF๊ฐ RL ์ฑ๊ณต ์ฐจ์ด๋ฅผ ๋ง๋ ๋ค | ์ถ์ธก(โmay reflectโ) | ํต์ ์คํ ์์ |
| ๋์๋ Laplacian ๋ฐฉ๋ฒ๋ณด๋ค ๋ซ๋ค | ์ ์ธ(์ฌ์ต์ ํ๊ฐ ํ์ ์๋ค๋ ์ค๊ณ ๋ ผ์ฆ) | ์ง์ ๋น๊ต ์์ |
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ๋ฌธ์ ๋ถํด๊ฐ ์ ํํ๋ค. โkinematic ๋จ๊ณ๋ ์ด๋, dynamic ๋จ๊ณ๋ ์ด๋ป๊ฒโ๋ผ๋ ๋ถํด์ โ๊ธฐ์กด kinematic ๋จ๊ณ๋ ๋ฌผ์ฒด๋ฅผ ์ ๋ณธ๋คโ๋ ์ง๋จ์ด ๋ช ๋ฃํ๊ณ , ๊ฐ์ RL backend๋ก reference๋ง ๋ฐ๊พธ๋ ํต์ ์คํ(Table IยทIII)์ด ์ด ์ง๋จ์ ์ ๋์ผ๋ก ๋ท๋ฐ์นจํ๋ค. hand-only 5์ข ์ ๋ชจ๋ ๊ฐ์ backend๋ก ๋ค์ ๋๋ฆฐ Table I์ ์ด ๋ถ์ผ์์ ๋๋ฌธ ๊นจ๋ํ ๋น๊ต๋ค.
- amortize์ ์ฐ์์๊ฐ ๋ถ๋ช ํ๋ค. ๋คํธ์ํฌ๋ฅผ ๋จ์ง ๋น ๋ฅธ ๊ทผ์ฌ๊ธฐ๋ก ์ฐ๋ ๊ฒ์ด ์๋๋ผ โ๋ฏธ๋ถ ๊ฐ๋ฅํ๋ ๋ฐ์ดํฐ์ ๋จ์ ์์ค๋ก ํด๋ฅผ ๊ฐ์ ํ ์ ์๋คโ๋ ์ชฝ์ผ๋ก ์ด๋ค. supervised ์ด๊ธฐํ ์์ด๋ fine-tuning์ด ๋ฌด๋์ง๋ค๋ ablation(Table II)์ด โ์ต์ ํ โ amortize โ fine-tuneโ ์์๊ฐ ํ์ฐ์์ ๋ณด์ฌ ์ค๋ค.
- ์ ์ด ์์ค์ ์ค๊ณ๊ฐ ์คํจ ์ ํ๋ณ๋ก ๊น๋ํ๋ค. surface(๋ธ), part(์๋ฑํ ๋ถ์), direction(๋ฐ๋ ๋ฉด)์ ์ธ ํญ๊ณผ ์ ๊ทผยท๋๊ธฐ ๊ตฌ๊ฐ์ ๋๋ gate๋ ๊ฐ๊ฐ์ ์ญํ ์ด ๊ฒน์น์ง ์๊ณ , leave-one-out์์ ์ ๋ค TPE๋ฅผ 2๋ฐฐ ์ด์ ์ ํ์ํจ๋ค.
- ์๊ธฐ ํ๊ณ๋ฅผ ์จ๊ธฐ์ง ์๋๋ค. kinematic ์งํ์ ์ง๋จ์ ์ฑ๊ฒฉ, SPIDER ๋น๊ต์ ์ฐธ๊ณ ์ฉ ์ฑ๊ฒฉ, ์์คํ ๋น๊ต๋ผ๋ Table IV์ ์ฑ๊ฒฉ, ํ๋์จ์ด ์ฑ๊ณต์ ์กฐ๊ฑด๋ถ์ฑ, ํ๋ค๊ธฐ ๊ฐ์ ๋์ ๊ณผ์ ์ ์คํจ๋ฅผ ๋ชจ๋ ๋ณธ๋ฌธ์ ์ ์๋ค. ๋ฌผ์ฒด ์ ๊ตฐ ์ ๋ ฅ์ด ๋ณ๋ก ์ค์ํ์ง ์๋ค๋ ์๊ธฐ ๋ถ๋ฆฌํ ablation๋ ๊ทธ๋๋ก ์ฃ๋๋ค.
- ์ฌํ ๋จ์๊ฐ ๋น๊ต์ ๋ง๋ค. ๋ถ๋ก์ IG ๋ ธ๋ ๋งํฌ ์ด๋ฆ(Table S1), RL ํ์ดํผํ๋ผ๋ฏธํฐ(Table S3), ARCTIC ํด๋ฆฝยทOakInk-v2 ์ํ์ค ํด์ ๋ชฉ๋ก(Table S4~S6)๊ณผ seed ๊ฐ์ด ์๋ค.
์ฝ์ ยทํ๊ณ
- ํต์ฌ ๊ธฐ์ฌ์ ๋ชซ์ด ์๋ค. ์ด๋์ 82%(Table I)ยท70%(Table III)๋ object anchor๋ฅผ ๋ฃ์ interaction-graph ์ต์ ํ์์ ๋์ค๋๋ฐ, ์ด ๋ถ๋ถ์ OmniRetarget์ ์๊ฐ๋ฝ ๋จ์ ํ์ฅ์ด๊ณ ๋์๋ RegrindยทTopoRetargetยทC2Dex๋ ๊ฐ์ ๊ณ์ด ๋ชฉ์ ํจ์๋ฅผ ์ด๋ค. ์ด ๋ ผ๋ฌธ๋ง์ ๊ธฐ์ฌ์ธ ํ์ต + ์ ์ด fine-tuning์ +5.0 %p, +2.4 ADD-AUC์ด๊ณ , ๋ถ์ฐ์ด ๋ณด๊ณ ๋์ง ์์ seed ์ก์๊ณผ ๊ตฌ๋ถ๋๋์ง ์ ์ ์๋ค. ๋์๋ Laplacian ๋ฐฉ๋ฒ๊ณผ์ ์ง์ ๋น๊ต๋ ์๋ค.
- ํค๋๋ผ์ธ SOTA ์์น๋ ์ฌ๋ฌ ๋ณ๊ฒฝ์ ํฉ์ด๋ค. ์ด๋ก์ 39.5 โ 48.4์ 62.7 โ 77.9๋ reference, RL backend(DexMachina curriculum ์ถ๊ฐ), ์คํ ์ฃผ์ฒด๊ฐ ํจ๊ป ๋ฐ๋ ๋น๊ต๋ค. ์ ์๊ฐ ์บก์ ์ ๋ฐํ์ง๋ง ์ด๋ก์๋ ์ด ๋จ์๊ฐ ์๋ค. ํต์ ๋น๊ต๊ฐ ์๋ ๊ฒ์ Allegro ์ค๋ฅธ์ OakInk-v2์ Allegro ARCTIC๋ฟ์ด๊ณ , ์ด๋ก์ด ์ธ์ฉํ Inspire ์กฐ๊ฑด์๋ ์๋ค.
- โ์ฌ์ฌ์ฉ ๊ฐ๋ฅํ retargeterโ์ ๋ฒ์๊ฐ kinematic ๋จ๊ณ์์ ๋ฉ์ถ๋ค. held-out ๊ณผ์ ๋ โfollowed by the same task-specific RL stageโ์ด๊ณ , RL์ ๊ณผ์ (์ํ์ค)๋ง๋ค 4,096 env๋ก ๋ค์ ํ์ตํ๋ค. ํ์ดํ๋ผ์ธ ์ ์ฒด ๋น์ฉ์์ RL์ด ์ฐจ์งํ๋ ๋ชซ์ ๋ณด๊ณ ๋์ง ์๋๋ค. ์ ์๋ ๊ฒฐ๋ก ์์ ๊ณผ์ ยทembodiment ์กฐ๊ฑด๋ถ residual ์ ์ฑ ํ๋๋ก dynamics ๋ณด์ ์ ๊ณต์ ํ๋ ๊ฒ์ future work๋ก ๋ ๋ค. ์ด ๋ฐฉํฅ์ ์์ฐ ์์ญ~์์ฒ ๊ฐ๋ฅผ ํ ์ ์ฑ ์ผ๋ก ์ถ์ข ํ๋ FlashDexRetarget์ด ์ด๋ฏธ ๋ค๋ฃฌ ๋ฌธ์ ์ด๊ณ , ๋ ๋ฐฉ๋ฒ์ ๊ฐ๊ฐ kinematic ๋จ๊ณ์ dynamic ๋จ๊ณ์ amortization์ด๋ผ ์๋ณด์ ์ด๋ค.
- kinematic ์งํ๊ฐ ๋ชฉ์ ํจ์์ ๊ฒน์น๋ค. TPE๋ ์๋ ์๋ ๋ฐฐ์น, CC๋ ํ๋ฉด ๊ฑฐ๋ฆฌ๋ผ ๊ฐ๊ฐ \mathcal{L}_{\mathrm{IG}}ยท\mathcal{L}_{\mathrm{part}}์ \mathcal{L}_{\mathrm{surf}}๊ฐ ์ง์ ์ต์ํํ๋ ์์ด๋ค. Table II์ฒ๋ผ kinematic ์งํ๋ง ์๋ ablation์ โ๋ชฉ์ ํจ์๋ฅผ ๋บ๋๋ ๊ทธ ๋ชฉ์ ํจ์๊ฐ ๋๋น ์ก๋คโ์ ๊ฐ๊น๋ค. ๊ตฌ์ฑ์์๋ณ downstream RL ์ฑ๊ณต๋ฅ ์ด ์์์ด์ผ ํ๋ค.
- ๋ณธ๋ฌธ๊ณผ ๋ถ๋ก์ ๊ตฌํ ๊ฐ์ด ์ฌ๋ฌ ๊ณณ์์ ๋ค๋ฅด๋ค. ์ถฉ๋ margin(5 vs 2 mm), fine-tuning epoch(24 vs 25), decoder ํฌ๊ธฐ, tetrahedralization ์ฌ๊ณ์ฐ ์ฌ๋ถ, autoregressive window(1 vs 9 ํ๋ ์), keypoint token ์(21 vs 42), frame step(๋ฐ์ดํฐ 60 Hz vs \mathrm{d}t=1/30 s)๊ฐ ์๊ฐ๋ฆฌ๊ณ , โ๊ฐ์ค์น๋ Table II ์ฐธ์กฐโ๋ ๊ฐ์ค์น๊ฐ ์๋ ํ๋ฅผ ๊ฐ๋ฆฌํจ๋ค. ์ฝ๋๊ฐ ๊ณต๊ฐ๋์ง ์์ ์ํ๋ผ ์ด๋ ์ชฝ์ด ์ค์ ์คํ ์ค์ ์ธ์ง ํ์ธํ ๋ฐฉ๋ฒ์ด ์๋ค.
- ํ๋์จ์ด ์คํ์ ์คํ ๊ฐ๋ฅ์ฑ ์์ฐ์ด๋ค. 14๊ฐ ๊ถค์ ์ ๋ฐ๋ณต ์ฌ์์ด๊ณ , ์๋ฎฌ๋ ์ด์ ์ฑ๊ณต rollout์ ๊ณจ๋ผ ์ฌ์ํ๋ฏ๋ก ์ ์ฑ ์ ์ค๊ธฐ ์ฑ๊ณต๋ฅ ์ด ์๋๋ค. ๊ณผ์ ๋ณ ๋น๊ต์์ ๋ ๋ฆฝ ์ํ์ ๊ฐ์ ํด๋ ํต๊ณ์ ์ผ๋ก ๊ตฌ๋ณ๋๋ ๊ฒ์ Take out ํ๋๋ค. ์ด๋ค ์ํ์ค(์์ ๊ณผ์ ์ ์ค๋ฅธ์์ธ์ง)๋ฅผ ์ผ๋์ง๋ ๋ช ์๋ผ ์์ง ์๋ค.
- ์ผ๋ฐํ ์ฆ๊ฑฐ๊ฐ ํ ๋ฐฉํฅ์ด๋ค. OakInk-v2 โ ARCTIC, Allegro ํ ์, DexMachina RL ํ ์กฐ๊ฑด์์๋ง ์ธก์ ํ๋ค. ์ญ๋ฐฉํฅ(ARCTIC 30 ์ํ์ค๋ก ํ์ต โ OakInk-v2)์ด๋ Inspire ์ ์ด๋ ์๋ค. ์๋ 108.9 Hz๋ source ์ชฝ ๋น์ฉ์ ๋บ ํ๊ณ ๋น์ฉ์ด๋ค.
- ๋์ ๊ณผ์ ์์ ๊ตฌ์กฐ์ ์ผ๋ก ์ฝํ๋ค. reference๊ฐ kinematic์ด๋ผ ์ด๋๋ยทํ ์ ๋ณด๋ฅผ ๋ด์ง ์๋๋ค. ํ๋ค๊ธฐยท์๋ฅด๊ธฐ์ฒ๋ผ ๊ฐ์์ด ์ค์ํ ๊ณผ์ ์์ ์คํจ๊ฐ ์ง์ค๋๊ณ (Fig. 4, Cut ์๋ฎฌ๋ ์ด์ 3%), ์ด๊ฒ์ fine-tuning ์์ค์ ๋๋ ค์ ํด๊ฒฐํ ์ ์๋ ์ข ๋ฅ์ ๋ฌธ์ ๊ฐ ์๋๋ค. ์ ์ด ํ์ด๋ wrench๋ฅผ reference์ ๋ด๋ CHORD ๊ฐ์ ๋ฐฉํฅ๊ณผ ๊ฒฐํฉํ ์ฌ์ง๊ฐ ์๋ค.
- ์ถฉ๋์ soft penalty๋ก๋ง ๋ค๋ฃฌ๋ค. OmniRetarget์ด ๋น๊ดํต์ hard constraint๋ก ๊ฑธ์ด ์ ์์ ์ ๊ฑฐํ ๊ฒ๊ณผ ๋ฌ๋ฆฌ, DexOAK๋ seed ์ต์ ํ์ fine-tuning ๋ชจ๋์์ hinge penalty๋ง ์ด๋ค. reference์ ๋จ๋ ๊ดํต์ ์์ ๋ณด๊ณ ๋์ง ์๋๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
DexOAK๋ ์์ฌ์ฃผ ๋ฆฌํ๊ฒํ ๊ณ๋ณด์ kinematic ๋จ๊ณ๋ฅผ ๋ค์ ์ค๊ณํ ๋ ผ๋ฌธ์ด๋ค. ์์ชฝ์๋ ๋ฌผ์ฒด๋ฅผ ๋ณด์ง ์๋ keypoint ๋งค์นญ(DexPilot, AnyTeleop)๊ณผ ํ์ตํ ๋งคํ(GeoRT)์ด ์๊ณ , ์์๋ interaction mesh๋ก ๋ชธ-๋ฌผ์ฒด ๊ด๊ณ๋ฅผ ๋ณด์กดํ ํด๋จธ๋ ธ์ด๋ ์ชฝ OmniRetarget์ด ์๋ค. DexOAK๋ OmniRetarget์ Laplacian ๋ชฉ์ ํจ์๋ฅผ ์๊ฐ๋ฝ ๋จ์ยท๋ค๋ฌผ์ฒดยท์ค์ ์ค์ผ์ผ๋ก ํ์ฅํ๊ณ , ๊ทธ ํด๋ฅผ ๋คํธ์ํฌ๋ก amortizeํด ์ ์ด ์์ค๋ก ๋ค๋ฌ๋๋ค.
๊ฐ์ ๋ชฉ์ ํจ์๋ฅผ ์์ ๊ฐ์ ธ์จ ๋์๋ ์ฐ๊ตฌ๋ก๋ Regrind๊ฐ ๊ฐ์ฅ ๊ฐ๊น๋ค. Regrind๋ ์-๋ฌผ์ฒด interaction mesh๋ก reference๋ฅผ ๋ง๋ค๊ณ residual RL๋ก ์ค๊ธฐ ์ ์ด๊น์ง ๊ฐ๋๋ฐ, ์์ฐ๋ง๋ค ์ต์ ํ๋ฅผ ๋ค์ ํผ๋ค. DexOAK๋ ์ด per-demonstration ์ต์ ํ๋ฅผ ํ์ต ๋ฐ์ดํฐ ์์ฑ์ฉ์ผ๋ก๋ง ์ฐ๊ณ ์ดํ์๋ forward pass๋ก ๋์ฒดํ๋ค๋ ์ ์ด ๋ค๋ฅด๋ค. ๋ ๋ ผ๋ฌธ ์ฌ์ด์ ์ง์ ๋น๊ต๋ ์๋ค.
๋ค์ชฝ์ dynamic ๋จ๊ณ์์๋ ManipTrans(residual RL), DexMachina(virtual object control curriculum), SPIDER(์ํ๋ง)๊ฐ ๊ธฐ์ค์ ์ด๋ค. DexOAK๋ ์ด๋ค์ ๋์ฒดํ์ง ์๊ณ ์ ๋ ฅ์ ๋ฐ๊พผ๋ค. ์ค์ ๋ก Table IยทIII์ ManipTrans์ DexMachina์ RL์ ๊ทธ๋๋ก ์ฐ๊ณ reference๋ง ๊ต์ฒดํ๋ค. ์ด ์ ์์ DexOAK๋ โ์ด๋ค dynamic ๋ฐฉ๋ฒ์๋ ๊ฝ์ ์ ์๋ ๋ ์ข์ reference ๊ณต๊ธ์โ๋ก ์ฝ๋ ๊ฒ์ด ์ ํํ๋ค. human reference๋ฅผ ๋ฒ์ฉ ์ถ์ข ์ ์ฑ ์ผ๋ก ๋ค๋ฃจ๋ DexTrack, ์ฌ๋ฌ ์์ฐ์ ํ ์ ์ฑ ์ผ๋ก ์ถ์ข ํด dynamic ๋จ๊ณ ๋น์ฉ์ amortizeํ๋ FlashDexRetarget๊ณผ ๊ฒฐํฉํ๋ฉด, kinematic๊ณผ dynamic ์์ชฝ์์ ์์ฐ๋ณ ์ฌํ์ต์ด ์ฌ๋ผ์ง ํ์ดํ๋ผ์ธ์ด ๋๋ค. ์ ์๊ฐ future work๋ก ๋ RGB ์์ ๊ธฐ๋ฐ ์-๋ฌผ์ฒด ์ฌ๊ตฌ์ฑ๊ณผ์ ์ฐ๊ฒฐ์ ๋์๋ C2Dex๊ฐ ๊ฒจ๋ฅํ ๋ฐฉํฅ์ด๊ธฐ๋ ํ๋ค.
์์ฝ
DexOAK๋ kinematic retargeting์ ๋ชฉํ๋ฅผ ์ ๋ชจ์์์ ์-๋ฌผ์ฒด ์ํธ์์ฉ์ผ๋ก ์ฎ๊ธด๋ค. interaction-graph Laplacian ์ต์ ํ๋ก ๋ฌผ์ฒด ๊ธฐ์ค ์๋ ๋ฐฐ์น๋ฅผ ๋ณด์กดํ seed๋ฅผ ๋ง๋ค๊ณ , ์ด๋ฅผ autoregressive ๋คํธ์ํฌ๋ก amortizeํ ๋ค surfaceยทpartยทdirection ์ ์ด ์์ค๋ก fine-tuningํ๋ค. ๊ฐ์ RL backend์์ reference๋ง ๋ฐ๊พธ๋ฉด ์ฑ๊ณต๋ฅ ์ด 20.6%์์ 48.2%๋ก ์ค๋ฅด๊ณ (Allegro ์ค๋ฅธ์ OakInk-v2), OakInk-v2๋ก ํ์ตํ retargeter๋ ARCTIC์ zero-shot์ผ๋ก ์ ์ด๋๋ฉฐ, ์ค๊ธฐ์์ RL๋ก ๋ค๋ฌ์ ๊ถค์ ์ด open-loop๋ก ์ฌํ๋๋ค.
์ ์งํ๊ฒ ๋๋๋ฉด, ์ฑ๊ณต๋ฅ ์ ๋ ๋ฐฐ๋ก ๋ง๋ ์ฃผ์ญ์ object anchor๋ฅผ ๋ฃ์ ์ต์ ํ์ด๊ณ ์ด ๋ ผ๋ฌธ์ ๊ณ ์ ๊ธฐ์ฌ์ธ ํ์ต + ์ ์ด fine-tuning์ ๊ทธ ์์ ์ฝ 5 %p์ ์ฌ์ฌ์ฉ์ฑ์ ๋ํ๋ค. ์ด๋ก์ SOTA ์์น๋ RL backend๊น์ง ๋ฐ๋ ์์คํ ๋น๊ต์ด๊ณ , ํ๋์จ์ด 46/56์ ๊ถค์ 14๊ฐ์ ๋ฐ๋ณต ์ฌ์์ด๋ค. ๋ณธ๋ฌธ๊ณผ ๋ถ๋ก์ ๊ตฌํ ๊ฐ์ด ์ฌ๋ฌ ๊ณณ์์ ์๊ฐ๋ฆฌ๋๋ฐ ์ฝ๋๊ฐ ์์ง ๊ณต๊ฐ๋์ง ์์ ํ์ธํ ์ ์๋ค. ๊ทธ๋ผ์๋ โdynamic ๋จ๊ณ๊ฐ ์ ์ด์ ์ฐพ๊ฒ ๋์ง ๋ง๊ณ reference์ ๋ฃ์ด ์ฃผ์โ๋ ๋ ผ์ง๋ ํต์ ์คํ์ผ๋ก ์ ๋ท๋ฐ์นจ๋๊ณ , ์ด๋ค dynamic retargeting ๋ฐฉ๋ฒ์๋ ๋ถ์ผ ์ ์๋ reference ๊ณต๊ธ์๋ผ๋ ์์น๋ ๋ช ํํ๋ค. ๋จ์ ๊ณผ์ ๋ ์ ์ ์ค์ค๋ก ๊ผฝ์ ๋๋ก dynamic ๋จ๊ณ์ ๊ณผ์ ๋ณ ์ฌํ์ต์ ์์ ๋ ๊ฒ์ด๊ณ , kinematic reference๊ฐ ๋ด์ง ๋ชปํ๋ ์ด๋๋ยทํ์ ์ด๋์ ๊ฐ์ ธ์ฌ์ง๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v1(2026-10-19)์ HTML ๋ณธ๋ฌธ๊ณผ PDF๋ฅผ ํจ๊ป ์ฝ์๊ณ , ํ์ ์์น์ ๋ณธ๋ฌธยท๋ถ๋ก ๋ถ์ผ์น ํญ๋ชฉ์ PDF์์ ๋ค์ ํ์ธํ๋ค. ๋ถ๋ก(S1~S5)์ ํฌํจํ๋ค. ๊ทธ๋ฆผ 1~4๋ arXiv HTML์ ์๋ณธ ๊ทธ๋ฆผ์ด๊ณ , ๋ ผ๋ฌธ์ ๊ทธ๋ฆผ์ ์ด 4์ฅ์ด ์ ๋ถ๋ค. ์ค๊ธฐ ์์ 4๊ฐ๋ ํ๋ก์ ํธ ํ์ด์ง์ ์๋ณธ mp4(18~35 MB)๋ฅผ ํด์๋๋ง ์ค์ฌ ์ค์๊ณ , ํ๋ก์ ํธ ํ์ด์ง์ ์ ์ฒด ์๊ฐ ์์(์ฝ 51 MB)์ ํค๋์ ๋งํฌ๋ง ๊ฑธ์๋ค.
- ๊ณต๊ฐ ๋ฒ์: ์ฝ๋๋ ๊ณต๊ฐ๋์ง ์์๋ค. GitHub ์ ์ฅ์์๋ README, CITATION.cff, ๋ก๊ณ ยท๋ฐฉ๋ฒ ๊ทธ๋ฆผ๋ง ์๊ณ , README๋ โResearch code and checkpoints are not released yetโ๋ผ๊ณ ์ ๊ณ ์๋ค. ๊ทธ๋์ ์ด ๊ธ์ ๊ตฌํ ์ธ๋ถ๋ ๋ ผ๋ฌธ ์์ ๋ฒ์๋ก ํ์ ํ๊ณ , ๋ณธ๋ฌธยท๋ถ๋ก ๋ถ์ผ์น๋ ์ด๋ ์ชฝ์ด ๋ง๋์ง ํ์ ํ์ง ์์๋ค. ๋ชจ๋ ์ฑ๊ณต๋ฅ ยท์งํ๋ ๋ ผ๋ฌธ์ด ๋ณด๊ณ ํ ๊ฐ์ด๋ฉฐ ์ด ๋ธ๋ก๊ทธ๊ฐ ์ฌํํ ๊ฒ์ด ์๋๋ค.
- ํ๊ธฐ: โํ์ ๊ณ์ฐยท๊ฒ์ฐโ์ ๋ ผ๋ฌธ ํ์ ๊ฐ์ผ๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(๋จ๊ณ๋ณ ์ฆ๋ถ ๋ถํด, ๋น์จ ๊ฒ์ฐ, Fisher exact p์ Wilson ๊ตฌ๊ฐ)์ด๋ค. FisherยทWilson ๊ณ์ฐ์ ์ฌ์์ ๋ ๋ฆฝ ์ํ์ผ๋ก ๊ฐ์ ํ ๊ฒ์ด๋ผ ์ค์ ๋ถํ์ค์ฑ์ ๊ณผ์ํ๊ฐํ๋ค. โํ์์ ํด์โ์ ๋ ผ๋ฌธ์ด ์ง์ ์ฃผ์ฅํ์ง ์์ ํด์์ด๋ค. ๋ฒ ์ด์ค๋ผ์ธ ์ ๋ ผ๋ฌธ ๊ฐ๊ณผ์ ๋์กฐ์๋ ์ด ๋ธ๋ก๊ทธ์ ๊ธฐ์กด ๋ฆฌ๋ทฐ๋ฅผ ์ผ๋ค.