๐HydroShear ๋ฆฌ๋ทฐ
An Dang*, Jayjun Lee*, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli (*๊ณต๋ 1์ ์)
University of Michigan Robotics Department, Amazon Industrial Robotics Group, RSS 2026
- ๐ก vision-based ์ด๊ฐ ์ผ์ ์๋ฎฌ๋ ์ด์ ์ ์ด๋ฏธ์ง ๋ ๋๋ง์ ์ ๊ตํด์ก์ง๋ง shear(์ ์ ๋ฐฉํฅ marker ๋ณ์)๋ ์๊ฐ ์นจํฌ๋ยท์๋๋ก ๊ทผ์ฌํ๊ฑฐ๋ SE(2)๋ก๋ง ๋ค๋ค ์๋ค. HydroShear๋ indenter ํ๋ฉด์ ์ ์ด๋ ๊ฒฝ๋ก๋ฅผ ๊ธฐ์ตํ๋ hydroelastic ํ ์ถ์ ์ผ๋ก stick-slip, ๊ฒฝ๋ก ์์กด ๋์ , SE(3) ์ํธ์์ฉ์ ํ ์ ์์์ ์๋ฎฌ๋ ์ด์ ํ๋ค.
- โ๏ธ ํ๋ฉด์ ๋ง๋ค elastomer SDF ์์ผ๋ก ๋ค์ด๊ฐ ๋ณ์๋ง ๊ณจ๋ผ ์ ํ ๊ฐ์ฑ์ผ๋ก ํ์ ๋์ ํ๊ณ , Coulomb cone์ผ๋ก ์๋ฅด๊ณ , ์ ์ด์ด ๋๊ธฐ๋ฉด ๋ฆฌ์ ํ๋ค. ๊ทธ ํ์ Gaussian kernel๋ก marker grid์ ํผ๋จ๋ ค shear field๋ฅผ ๋ง๋ค๊ณ , ํ๋ผ๋ฏธํฐ 4๊ฐ (\lambda_d,\lambda_s,K,\mu)๋ฅผ GelSight Mini ์ค์ธก์ผ๋ก ํ๋์ฉ ๋ณด์ ํ ๋ค Isaac Gym์์ teacher-student(AACD) RL์ ๋๋ฆฐ๋ค.
- ๐ฏ sphere ์ค์ธก 40์ํ์์ per-taxel RMSEยทcosine similarity ๋ชจ๋ TacSLยทFOTS๋ณด๋ค ์ข๊ณ (Table I), Franka Panda์ zero-shot sim-to-real 4๊ฐ ๊ณผ์ ์์ 112/120(93%) ์ผ๋ก TacSL Gray 41/120, TacSL Shear 70/120, ์ ์ ๊ฐ๋ FOTS 73/120์ ์์ ๋ค(Table II).
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
์ด๊ฐ sim-to-real์ ๋ณ๋ชฉ์ โ๊ทธ๋ฆผ์ด ์ผ๋ง๋ ์ง์ง ๊ฐ์๊ฐโ๊ฐ ์๋๋ผ โํ์ด ์ผ๋ง๋ ์ง์ง์ฒ๋ผ ์์ด๋๊ฐโ๋ผ๋ ๊ฒ์ด ์ด ๋ ผ๋ฌธ์ ์ถ๋ฐ์ ์ด๋ค. GelSight ๊ฐ์ vision-based ์ผ์์ RGB ์ด๋ฏธ์ง๋ TaximยทTacSL ๋ฑ์ผ๋ก ๊ฝค ์ฌ์ค์ ์ผ๋ก ๋ ๋๋ง๋์ง๋ง, ๊ทธ ์ด๋ฏธ์ง๋ ์ฃผ๋ก ์ ์ด ๊ธฐํ๋ฅผ ๋ด๋๋ค. ๋ฌผ์ฒด์ ์ผ์ ์ฌ์ด์ ์ค๊ฐ๋ ํ์ ์ ๋ณด๋ marker์ ์ ์ ๋ณ์, ์ฆ tactile shear์ ์๋ค. ๊ธฐ์กด shear ์๋ฎฌ๋ ์ด์ ์ FEM(์ ํํ์ง๋ง RL์ ์ฐ๊ธฐ์ ๋๋ฆผ), penalty ๊ธฐ๋ฐ(๋น ๋ฅด์ง๋ง ์๊ฐ ์นจํฌยท์๋๋ง ๋ด), FOTS ๊ฐ์ marker ๋ชจ๋ธ(SE(2)๋ง ์ถ์ ) ์ค ํ๋์๊ณ , ์ด๋ ๊ฒ๋ โํ๋ฒ ๋ถ์ ์ ์ด์ ์ด ๋ฏธ๋๋ฌ์ง๊ธฐ ์ ๊น์ง ๋ณํ์ด ์์ด๋โ ๊ฒฝ๋ก ์์กด์ฑ์ ๋ค๋ฃจ์ง ๋ชปํ๋ค.
HydroShear๋ indenter(๋ฌผ์ฒด) ํ๋ฉด์ ์ ์ ๋ฟ๋ฆฌ๊ณ , ๊ฐ ์ ์ด elastomer ์์ผ๋ก ๋ค์ด๊ฐ ๋ค ์์ง์ธ ๊ฒฝ๋ก๋ฅผ ์๊ฐ์ ๋ฐ๋ผ ๋์ ํด ํ์ผ๋ก ๋ฐ๊พผ๋ค. ํ์ด ๋ง์ฐฐ ํ๊ณ๋ฅผ ๋์ผ๋ฉด ์๋ผ์ slip์, ์ ์ด์ด ๋๊ธฐ๋ฉด 0์ผ๋ก ๋๋ ค ๋ฆฌ์ ์ ํํํ๋ค. ๊ฒฐ๊ณผ ํ์ ์ฒ์ ๋ถ์ ์์น๋ฅผ ์ค์ฌ์ผ๋ก Gaussian kernel๋ก ํผ์ ธ ์ด์ marker๊น์ง ๋๊ณ ๊ฐ๋ tactile shadowing์ ๋ง๋ ๋ค.

Fig. 1. ๋ค ๊ฐ์ ์ค์ ๊ณผ์ (์๋)์ ๋์ํ๋ Isaac Gym ํ๊ฒฝ(์). (a) Peg Insertion: ์ ์ ์์ธ๊ฐ ๋ถํ์คํ peg ์ฝ์ , (b) Bin Packing: ์ด์ cube๊ฐ ๋ชฉํ๋ฅผ ๊ฐ๋ฆฌ๋ 4ร4 bin์ cube ๋ฐ์ด ๋ฃ๊ธฐ, (c) Book Shelving: ์ค๋ ฅ์ด ์ฝ์ ์ถ๊ณผ ์ง๊ตํ๋ ์ธก๋ฉด ์ฝ์ , (d) Drawer Pulling: ์ธ๋์ผ๋ก ๋ฏธ๋๋ฌ์ง๋ ์์ก์ด๋ฅผ gripper ํญ ์กฐ์ ๋ก ๋ถ์ก๊ธฐ.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
marker ๋ณ์์ฅ \mathbf{M}_t๋ฅผ ๋ฒ์ ์์ ์ ์ํ dilation \mathbf{M}^d_t์, ์์ธ ์ด๋ ฅ {}^E\mathbf{X}^I_{0:t}์ ์์กดํ๋ shear \mathbf{M}^s_t์ ํฉ์ผ๋ก ๋๋ค. ํต์ฌ์ shear ์ชฝ์ ์ฌ๊ท์ ํ ์ถ์ ์ด๋ค. indenter ํ๋ฉด์ j์ ์ ์ด ๋ด ๋ณ์ \mathbf{d}_{j,t}๋ฅผ ๋ฒ์ ยท์ ์ ์ผ๋ก ๋๋ ๋์ ํ๊ณ , ์์ ๋ฒ์ ๋ ฅ์ 0์ผ๋ก, ์ ์ ๋ ฅ์ Coulomb cone์ผ๋ก ์๋ฅธ๋ค.
\mathbf{f}^{xy}_{j,t}=\tilde{\mathbf{f}}^{xy}_{j,t-1}+K A_j\,\mathbf{d}^{xy}_{j,t},\qquad \bar{\mathbf{f}}^{xy}_{j,t}=\min\Big\{1,\frac{\mu\,\bar f^n_{j,t}}{\lVert\mathbf{f}^{xy}_{j,t}\rVert_2}\Big\}\,\mathbf{f}^{xy}_{j,t}
์ฒซ ์์ด ๊ฒฝ๋ก ์์กด ๋์ (stick), ๋์งธ ์์ clipping์ด slip์ด๋ค. ์ด ํ์ ์นจํฌ ๊น์ด๋ก ๊ฐ์คํด marker grid ์ขํ (x,y)์ Gaussian kernel๋ก ๋ฟ๋ฆฌ๋ฉด shear field๊ฐ ๋๋ค.
\mathbf{M}^s_t(x,y)=\sum_{k\in K_t}-\phi_E(\mathbf{o}_{k,t})\cdot\big(-\tilde{\mathbf{f}}^{xy}_{k,t}\big)\cdot\exp\{-\lambda_s\lVert(x,y)-\hat{\mathbf{o}}^{xy}_{k,t}\rVert_2^2\}
์ฌ๊ธฐ์ \phi_E๋ elastomer SDF, \hat{\mathbf{o}}_{k,t}๋ ๊ทธ ์ ์ด elastomer์ ์ฒ์ ๋ฟ์(๋ฏธ๋๋ฌ์ง๋ฉด ์ด๋ํ๋) ์์น๋ค. ๋ชจ๋ธ ์ ์ฒด์ ์์ ํ๋ผ๋ฏธํฐ๋ dilation ๊ฐ์ \lambda_d, shear ๊ฐ์ \lambda_s, ์ ์ ๊ฐ์ฑ K, ๋ง์ฐฐ๊ณ์ \mu ๋ค ๊ฐ๋ฟ์ด๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- Shear ์ถฉ์ค๋ (Table I, 35 mm sphere, ์ค์ธก 40์ํ): per-taxel RMSE [px]๊ฐ dilation 1.000 / shear 1.719 / twist 2.021 / roll 1.576์ผ๋ก ๋ค ์ ํ ๋ชจ๋ ์ต์ . cosine similarity๋ 0.976 / 0.951 / 0.974 / 0.904. FOTS๋ twistยทroll์์ CS๊ฐ 0.683ยท0.561๋ก ๋จ์ด์ง๊ณ , TacSL์ ๋ชจ๋ ์ ํ์์ CS 0.12~0.32์ ๋จธ๋ฌธ๋ค.
- Zero-shot sim-to-real (Table II, ๊ณผ์ ๋น 30ํ): HydroShear 25/29/28/30 = 112/120(93.3%). TacSL Gray 41/120(34.2%), TacSL Shear 70/120(58.3%), ์ FOTS(์ ์ ๋ณ๋ ฌํ) 41/120(34.2%), ์ ์ ๊ฐ๋ FOTS(Reimpl.) 73/120(60.8%).
- ์๋ (Table XI): 1024 ํ๊ฒฝ ๊ธฐ์ค shear ๊ณ์ฐ ์๊ฐ์ด ์ FOTS 446.7 ms, FOTS (Reimpl.) 12.0 ms, HydroShear 103.7 ms. ์ FOTS๋ณด๋ค๋ ๋น ๋ฅด์ง๋ง ์ ์๊ฐ ๋ณ๋ ฌํํ FOTS๋ณด๋ค๋ ์ฝ 3~9๋ฐฐ ๋๋ฆฌ๋ค(ํ์ ๊ณ์ฐ).
๊ฒฐ๋ก :
์ด ๋ ผ๋ฌธ์ ๊ธฐ์ฌ๋ shear๋ฅผ โ์ง๊ธ ์ผ๋ง๋ ๋๋ ธ๋โ๊ฐ ์๋๋ผ โ๋ถ์ ๋ค๋ก ์ผ๋ง๋ ๋๋ ค์๋โ๋ก ์ ์ํ ๋ฐ ์๋ค. ๊ทธ ์ ์ ํ๋๋ก stick-slip, hysteresis, SE(3) ํ์ ยทrolling์ด ๊ฐ์ ์์์ ๋์ค๊ณ , ํ๋ผ๋ฏธํฐ๋ 4๊ฐ๋ก ์ค์ด๋ ๋ค. ์คํ์ ๊ทธ ์ฐจ์ด๊ฐ ์ ์ฑ ์ฑ๊ณต๋ฅ ๋ก ์ด์ด์ง๋ค๋ ๊ฒ์ ๋ณด์ฌ ์ฃผ์ง๋ง, ๊ณผ์ ๋น 30ํ๋ผ ๊ณผ์ ๋ณ ์ฐ์๋ ๋๋ถ๋ถ ํต๊ณ์ ์ผ๋ก ํฌ์ง ์๊ณ , ํค๋๋ผ์ธ ๊ฒฉ์ฐจ์ ์๋น ๋ถ๋ถ์ ๋ฒ ์ด์ค๋ผ์ธ์ด ์๋ฎฌ๋ ์ด์ ์์์๋ถํฐ ํ์ต์ ์คํจํ Drawer Pulling ํ ๊ณผ์ ์์ ๋์จ๋ค. ์ ํํ shear๊ฐ sim-to-real์ ์ค์ํ๋ค๋ ๋ฐฉํฅ์ฑ์ ์ค๋๋ ฅ ์๊ฒ ์ ์๋๊ณ , ์ผ๋ง๋ ์ค์ํ์ง๋ ๋ ํฐ ํ๋ณธ์ผ๋ก ๋ค์ ์ฌ์ผ ํ๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
์ ค ์์ ์๊ฐ๋ฝ์ ๋๊ณ ์์ผ๋ก ์ด์ง ๋ฐ๋ฉด, ์๊ฐ๋ฝ์ด ๋ฏธ๋๋ฌ์ง๊ธฐ ์ ๊น์ง ์ ค ํ๋ฉด์ ์๊ฐ๋ฝ์ ๋ถ์ ์ฑ ํจ๊ป ๋๋ ค๊ฐ๋ค. ๊ทธ ์๊ฐ marker๊ฐ ์์ง์ธ ์์ ์ง๊ธ ์๊ฐ๋ฝ์ด ์ผ๋ง๋ ๊น์ด ๋๋ ธ๋์ง๋ ์ง๊ธ ์ผ๋ง๋ ๋นจ๋ฆฌ ์์ง์ด๋์ง๊ฐ ์๋๋ผ, ์ฒ์ ๋ถ์ ๋ค ์ผ๋ง๋ ๋๋ ค์๋์ง๋ก ์ ํด์ง๋ค. ๊ทธ๋ฆฌ๊ณ ๋๋ฆผ์ด ๋ง์ฐฐ ํ๊ณ๋ฅผ ๋์ผ๋ฉด ๊ทธ๋๋ถํฐ๋ ๋ ์์ด์ง ์๋๋ค. HydroShear๋ ์ด ๋จ์ํ ๋ฌผ๋ฆฌ๋ฅผ indenter ํ๋ฉด์ ๋จ์๋ก ๊ธฐ๋กํ๋ ์๋ฎฌ๋ ์ดํฐ๋ค. ์ด์ penalty ๊ธฐ๋ฐ ๋ชจ๋ธ์ ์ด โ๊ธฐ์ตโ์ด ์์๊ณ , FOTS๋ ๊ธฐ์ต์ ์์ง๋ง ๋ฌผ์ฒด ์ค์ฌ ํ๋์ SE(2) ์ด๋๋ง ๊ธฐ์ตํ๋ค. ์ ์๋ค์ ์ด ์ฐจ์ด๊ฐ ์ ์ฑ ์ sim-to-real ์ฑ๊ณต๋ฅ ์ฐจ์ด๋ก ๊ทธ๋๋ก ์ด์ด์ง๋ค๊ณ ์ฃผ์ฅํ๊ณ , 4๊ฐ ๊ณผ์ 120ํ์ ์ค์ ์คํ์ผ๋ก ๊ทธ ์ฃผ์ฅ์ ๋ท๋ฐ์นจํ๋ค.
๋ฐฐ๊ฒฝ: ์ด๊ฐ sim-to-real์์ shear๊ฐ ๋น ์ ธ ์๋ ์ด์ (ยงIยทยงII)
์ ์๋ค์ ์ด๊ฐ ์๋ฎฌ๋ ์ด์ ์ ํ์ฌ๋ฅผ โvisual fidelity๊ฐ dynamic fidelity๋ฅผ ์์ง๋ ๋คโ๋ ๋ง๋ก ์์ฝํ๋ค. Taxim, TacSL, TacEx ๊ฐ์ ์๋ฎฌ๋ ์ดํฐ๋ GelSight๋ฅ ์ผ์์ RGB ์ด๋ฏธ์ง๋ฅผ ๊ทธ๋ด๋ฏํ๊ฒ ๋ง๋ค๊ณ , ์ผ๋ถ ๊ณผ์ ์์๋ zero-shot ๋ฐฐํฌ๊น์ง ์ฑ๊ณตํ๋ค. ํ์ง๋ง ์ด๋ฏธ์ง๋ ์ฃผ๋ก ์ ์ด ๊ธฐํ๋ฅผ ๋ด๊ณ , ์ผ์์ ๋ฌผ์ฒด ์ฌ์ด์ ํ ์ํธ์์ฉ์ marker์ ์ ์ ๋ณ์์ธ tactile shear์ ๋ด๊ธด๋ค.
๊ธฐ์กด shear ์๋ฎฌ๋ ์ด์ ์ ์ ํ์ง๋ ์ธ ๊ฐ๋์๋ค.
| ๊ณ์ด | ๋ํ | ์ฅ์ | ๋ ผ๋ฌธ์ด ์ง์ ํ ํ๊ณ |
|---|---|---|---|
| FEM | Narang et al., DiffTactile | ์ ํํ ๋ณํ | ๋๊ท๋ชจ RL์ ์ฐ๊ธฐ์ ๊ณ์ฐ์ด ๋๋ฌด ๋น์ธ๋ค |
| penalty ๊ธฐ๋ฐ force field | TacSL(Isaac Gym) | ๋น ๋ฅด๊ณ GPU ๋ณ๋ ฌ | ์๊ฐ ์นจํฌยท์๋ ์๋๋ง ๋ณด๊ณ shear๋ฅผ ๊ทผ์ฌํด tactile shadowing๊ณผ ๊ฒฝ๋ก ์์กด ๋ณํ์ ๋์น๋ค. ๊ทธ๋์ ์ ์ฑ ํ์ต ๋ per-taxel๋ก unit vector๋ก ์ ๊ทํํด ํฌ๊ธฐ ์ ๋ณด๋ฅผ ๋ฒ๋ฆฐ๋ค |
| marker ๋ณ์ ๋ชจ๋ธ | FOTS | tactile shadowing์ kernel๋ก ๋ชจ๋ธ๋ง, sim-to-real ์ฌ๋ก ์์ | ๋ฌผ์ฒด ์ด๋์ SE(2)๋ก๋ง ์ถ์ ํด rolling ๊ฐ์ SE(3) ์ด๋์ shear๋ฅผ ํํํ์ง ๋ชปํ๋ค. ์ ๊ตฌํ์ GPU ๋ณ๋ ฌํ๊ฐ ์ ๋ผ ์๋ค |
์ฌ๊ธฐ์ tactile shadowing์ ํ ์ ์ด ์์ญ์์ ์๊ธด ๋ณํ์ด ์ด์ ์์ญ์ shear ์ ๋ณด๋ฅผ ๊ฐ๋ฆฌ๊ฑฐ๋ ์๊ณกํ๋ ํจ๊ณผ๋ค. ์ค์ elastomer๋ ์ฐ์์ฒด๋ผ ํ ์ ์ ๋๋ฉด ์ฃผ๋ณ marker๋ ํจ๊ป ๋๋ ค๊ฐ๋๋ฐ, penalty ๊ธฐ๋ฐ ๋ชจ๋ธ์ ๊ฐ grid ์ ์ ๋ ๋ฆฝ์ ์ผ๋ก ๊ณ์ฐํ๋ฏ๋ก ์ด ํจ๊ณผ๊ฐ ์๋ค. ์ ์๋ค์ด TacSL์ ์ ๊ทํ ๊ดํ์ โshadowing์ด ์๋ ์๋ฎฌ๋ ์ด์ ๊ณผ ์ค์ธก์ ์ฐจ์ด๋ฅผ ๋ฉ์ฐ๋ ค๋ ์ฐํโ๋ก ํด์ํ๋ ์ด์ ๊ฐ ์ฌ๊ธฐ ์๋ค.
์ด๊ฐ ์๋ฎฌ๋ ์ดํฐ ์งํ ์ ๋ฐ์ ์ด ๋ธ๋ก๊ทธ์ TACTO, TacEx(FOTS๋ฅผ marker ์๋ฎฌ๋ ์ด์ ์ ์ฌ์ฉ), FEM ๊ณ์ด TaCauchy ๋ฆฌ๋ทฐ์์ ๋ค๋ค๋ค. HydroShear๋ ๊ทธ์ค โrigid-body ์๋ฎฌ๋ ์ด์ ์์์ ํ์ฒ๋ฆฌ๋ก ์ด๊ฐ์ ๊ณ์ฐํ๋ ๋น ๋ฅธ ๊ณ์ดโ์ ์ํ๋ฉด์ FEM์ด ์ฃผ๋ ๊ฒฝ๋ก ์์กด์ฑ ์ผ๋ถ๋ฅผ ๊ฐ์ ธ์ค๋ ค๋ ์๋๋ค.
๋ฌธ์ ์ ์: marker ๋ณ์์ฅ (ยงIII ์๋)
elastomer ์์ tactile grid query point(= marker ์์น) \{\mathbf{p}_i\}_{i=1}^N, \mathbf{p}_i\in\mathbb{R}^3์ ๋ํด 2D shear ๋ฒกํฐ \mathbf{s}_i=(d_x,d_y)๋ฅผ ๊ตฌํ๋ ๊ฒ์ด ๋ชฉํ๋ค. ์ ์๋ค์ ์ด๋ฅผ query ์ขํ์ elastomer ์ขํ๊ณ์์ ๋ณธ indenter ์์ธ ์ด๋ ฅ์ ๋ฐ๋ ์ฌ์์ผ๋ก ์ด๋ค.
\mathbf{M}:\big((x,y),\{{}^E\mathbf{X}^I_t\}_{t=0}^T\big)\rightarrow\mathbf{s}_i, \qquad \mathbf{M}_t\big((x,y),{}^E\mathbf{X}^I_{0:t}\big)=\mathbf{M}^d_t\big((x,y)\big)+\mathbf{M}^s_t\big((x,y),{}^E\mathbf{X}^I_{0:t}\big)
dilation \mathbf{M}^d_t๋ ์ผ์ ๋ฒ์ ๋ฐฉํฅ ์นจํฌ์์ ์๊ธฐ๊ณ ํ์ฌ ์ํ๋ง์ผ๋ก ์ ํด์ง๋ค. shear \mathbf{M}^s_t๋ ์ ์ด ์ค ์ ์ ์ด๋์ด๋ SO(3) ํ์ ์์ ์๊ธฐ๋ฉฐ ์์ธ ์ด๋ ฅ์ ์์กดํ๋ค. ์ ์ ๋จ๊ณ์์ ์ด๋ฏธ shear๋ฅผ ์ด๋ ฅ์ ํจ์๋ก ๋ ๊ฒ์ด ์ด ๋ ผ๋ฌธ์ ๋ชจ๋ ์ค๊ณ๋ฅผ ๊ฒฐ์ ํ๋ค. ์ ์๋ค์ด HydroShear๋ฅผ โnon-holonomicโ hydroelastic ๋ชจ๋ธ์ด๋ผ๊ณ ๋ถ๋ฅด๋ ๊ฒ๋ ์ด ๋ป์ด๋ค. ์ํ๊ฐ ํ์ฌ ์์ธ๋ง์ผ๋ก ์ ํด์ง์ง ์๊ณ ๊ฒฝ๋ก์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋ค๋ ์๋ฏธ๋ก ์ด ํํ์ด๋ค.

Fig. 3. HydroShear ํ์ดํ๋ผ์ธ. (a) indenter ํ๋ฉด์ \{\mathbf{o}_{j,t}\}์ indenter SDF, (b) elastomer SDF์ tactile grid query point \{\mathbf{p}_i\}, (c) \phi_I(\mathbf{p}_i)<0์ธ grid ์ (๋ ธ๋์)์ผ๋ก ๊ณ์ฐํ๋ dilation, (d) elastomer ์์ผ๋ก ๋ค์ด๊ฐ ํ๋ฉด์ (\phi_E(\mathbf{o}_t)<0)์ 3D ๋ณ์ -\hat{\mathbf{f}}_{j,t}(๋นจ๊ฐ ํ์ดํ)๋ก ๊ณ์ฐํ๋ shear, (e) ๋ ์ฅ์ ๋ํ ์ ์ฒด marker ๋ณ์์ฅ \mathbf{M}_t.
๋ฐฉ๋ฒ ์์ธ 1: Dilation (ยงIII-A)
dilation์ FOTS์ ๊ฐ์ ์์ ์ด๋ค. indenter SDF \phi_I๊ฐ ์์์ธ grid ์ ์ ์ ์ด์ ์งํฉ C=\{c_i\mid\phi_I(\mathbf{p}_{c_i})<0\}์ผ๋ก ๋ชจ์ผ๊ณ , ๊ฐ ์ ์ด์ ์ด query ์ขํ๋ฅผ ๋ฐ๊นฅ์ผ๋ก ๋ฐ์ด๋ด๋ ํจ๊ณผ๋ฅผ ์นจํฌ ๊น์ด๋ก ๊ฐ์คํด ํฉํ๋ค.
\mathbf{M}^d_t=\sum_{i=1}^{|C|}-\phi_I(\mathbf{p}_{c_i})\cdot\mathbf{v}_{c_i}\cdot\exp\{-\lambda_d\lVert\mathbf{v}_{c_i}\rVert_2^2\}, \qquad \mathbf{v}_{c_i}=\begin{bmatrix}x\\y\end{bmatrix}-\mathbf{p}^{xy}_{c_i}
- -\phi_I(\mathbf{p}_{c_i})>0: ๊ทธ grid ์ ์ด indenter ์์ผ๋ก ๋ค์ด๊ฐ ๊น์ด. ๊น๊ฒ ๋๋ฆฐ ๊ณณ์ผ์๋ก ํฌ๊ฒ ๋ฏผ๋ค.
- \mathbf{v}_{c_i}: ์ ์ด์ ์์ query ์ขํ๋ก ํฅํ๋ ๋ฒกํฐ. dilation์ด ๋ฐฉ์ฌํ์ผ๋ก ๋ฐ๊นฅ์ ํฅํ๋ ์ด์ ๋ค.
- \exp\{-\lambda_d\lVert\mathbf{v}\rVert^2\}: ๊ฑฐ๋ฆฌ์ ๋ฐ๋ฅธ ๊ฐ์ . ์ ์ด ๋ฐ marker๋ ๋๋ ค ๋๊ฐ๋ shadowing์ ์ด kernel ํ๋๋ก ํํํ๋ค.
์ด ํญ์ FOTS์ ๊ณต์ ๋๋ฏ๋ก(๋ถ๋ก A๊ฐ ๋ช ์) ๋ ๋ฐฉ๋ฒ์ ์ฐจ์ด๋ ์ ๋ถ shear ์ชฝ์์ ๋์จ๋ค. Table I์ dilation ์ด์์ ๋ ๋ฐฉ๋ฒ์ CS๊ฐ 0.976์ผ๋ก ๊ฐ์ ๊ฒ๋ ์ด ๊ตฌ์กฐ์ ๋ง๋๋ค.
๋ฐฉ๋ฒ ์์ธ 2: Shear, hydroelastic ํ ์ถ์ (ยงIII-B)
ํ๋ฉด์ ๊ณผ ์ฌ๊ท ๊ตฌ์กฐ
indenter ํ๋ฉด์ M๊ฐ์ ์ \bar{\mathbf{o}}_j(indenter ์ขํ๊ณ)๋ฅผ ์ํ๋งํ๊ณ , ๋งค ์์ ์์ธ๋ก ์ฎ๊ฒจ \mathbf{o}_{j,t}={}^E\mathbf{X}^I_t\,\bar{\mathbf{o}}_j๋ฅผ ์ป๋๋ค. ํ๋ฉด์ ์ํ๋ง์ ์ง๋ฆ 1.5 mm surfel๋ก ํ๋๋ฐ, GelSight Mini์ marker ๊ฐ๊ฒฉ ์ฝ 2 mm์ ๋ง์ถ ๊ฐ์ด๋ค(๋ถ๋ก Point Cloud Density). ๊ฐ ์ ์ ์ ์ด๋ ฅ \tilde{\mathbf{f}}_{j,t}๋ ์ง์ ํ๊ณผ ๋ ์์ ์ ์์ธ๋ก ์ ํด์ง๋ ์ฌ๊ท์์ผ๋ก ์ถ์ ํ๋ค.
\tilde{\mathbf{f}}_{j,t}=F\big(\tilde{\mathbf{f}}_{j,t-1},{}^E\mathbf{X}^I_t,{}^E\mathbf{X}^I_{t-1},\bar{\mathbf{o}}_j;\,E,K,A_j,\mu\big),\qquad \tilde{\mathbf{f}}_{j,0}=0
E๋ indenter ๋ฒ์ ๋ฐฉํฅ ๊ฐ์ฑ, K๋ ์ผ์ ๋ฒ์ ์ ์ ์ ์ธ ๋ฐฉํฅ์ ๊ฐ์ฑ, A_j๋ ํ๋ฉด์ ์ด ๋ํํ๋ ๋ฉด์ ์ด๋ค. ๋ ผ๋ฌธ์ ์ด ๋ชจ๋ธ์ด hydrostatic pressure field contact model์ ํ์ฅํ ๊ฒ์ด๋ผ ์๊ฐํ์ง๋ง, ์๋ ฅ์ฅ ์์ฒด๋ฅผ ์์ผ๋ก ์ฐ์ง๋ ์๋๋ค. ์ค์ ๋ก ์ฐ์ด๋ ๊ฒ์ โSDF ์นจํฌ๋ก ์ ์ด ์ฌ๋ถ๋ฅผ ์ ํ๊ณ , ์นจํฌ ๋ณ์๋ฅผ ์ ํ ๊ฐ์ฑ์ผ๋ก ํ์ ์ฎ๊ธฐ๋โ ์ ๋จ์ ๊ทผ์ฌ๋ค. hydroelastic contact ์์ฒด์ ์๋ ฅ์ฅ ์ ์ํ๊ฐ ๊ถ๊ธํ๋ฉด GPU-Accelerated Hydroelastic Contact ๋ฆฌ๋ทฐ๊ฐ ๊ทธ ๋ฐฐ๊ฒฝ์ ๋ค๋ฃฌ๋ค.
1๋จ๊ณ: ์ ์ด ์์์ ์์ง์ธ ๋ชซ๋ง ๊ณ ๋ฅธ๋ค
ํ ์คํ ๋์ ํ๋ฉด์ ์ด \mathbf{o}_{j,t-1}\to\mathbf{o}_{j,t}๋ก ์์ง์์ ๋, ๊ทธ ๋ณ์ ์ค elastomer ์์์ ์ผ์ด๋ ๋ถ๋ถ๋ง ํ์ผ๋ก ๋ฐ๊ฟ์ผ ํ๋ค. ์ ์๋ค์ elastomer SDF \phi_E์ ๋ณํ๋ ์ค ์์ ์์ญ์ ํด๋นํ๋ ๋น์จ \alpha_{j,t}๋ก ์ด๋ฅผ ๊ทผ์ฌํ๋ค.
\alpha_{j,t}=\frac{\mathrm{ReLU}\big(-\phi_E(\mathbf{o}_{j,t})\big)-\mathrm{ReLU}\big(-\phi_E(\mathbf{o}_{j,t-1})\big)}{\phi_E(\mathbf{o}_{j,t})-\phi_E(\mathbf{o}_{j,t-1})}, \qquad \mathbf{d}_{j,t}=\alpha_{j,t}\big(\mathbf{o}_{j,t}-\mathbf{o}_{j,t-1}\big)
ReLU ํ๋๋ก ์ธ ๊ฒฝ์ฐ๊ฐ ์ ๋ฆฌ๋๋ค. ๋ ์์ ๋ชจ๋ elastomer ์(\phi_E<0)์ด๋ฉด \alpha=1๋ก ๋ณ์ ์ ์ฒด๊ฐ ์ ์ด ์ค์ด๊ณ , ๋ ๋ค ๋ฐ์ด๋ฉด \alpha=0, ๋ถํธ๊ฐ ๋ค๋ฅด๋ฉด(๋ง ๋ค์ด์ค๊ฑฐ๋ ๋ง ๋๊ฐ๋ ์ค) 0<\alpha<1๋ก ๊ฒฝ๊ณ๋ฅผ ์ง๋ ๋น์จ๋ง ์ผ๋ค. ๋ ผ๋ฌธ ์์๋ \alpha^d_{j,t}๋ก ์์ฒจ์ d๊ฐ ๋ถ์ด ์๋๋ฐ, ๋ฐ๋ก ์ ์ ์๋ \alpha_{j,t}๋ฟ์ด๋ผ ์ค๊ธฐ๋ก ๋ณด์ธ๋ค.
2๋จ๊ณ: ๋ฒ์ ยท์ ์ ์ผ๋ก ๋๋ ํ์ผ๋ก ๋์ ํ๋ค
\mathbf{d}_{j,t}๋ฅผ indenter ๋ฒ์ \hat{\mathbf{n}}_j์ ์ฌ์ํด ๋ฒ์ ์ฑ๋ถ d^n_{j,t}=\langle\mathbf{d}_{j,t},\hat{\mathbf{n}}_j\rangle์, ๋๋จธ์ง๋ฅผ ์ ์ ์ฑ๋ถ \mathbf{d}^{xy}_{j,t}=\mathbf{d}_{j,t}-d^n_{j,t}\hat{\mathbf{n}}_j๋ก ๋๋ค. ๊ฐ๊ฐ์ ์ ํ ๊ฐ์ฑ์ผ๋ก ์ง์ ํ์ ๋ํ๋ค.
f^n_{j,t}=\tilde f^n_{j,t-1}+E A_j\,d^n_{j,t},\qquad \mathbf{f}^{xy}_{j,t}=\tilde{\mathbf{f}}^{xy}_{j,t-1}+K A_j\,\mathbf{d}^{xy}_{j,t}
์ด ๋ง์ ์ด ๊ฒฝ๋ก ์์กด์ฑ์ ์ ๋ถ๋ค. ๊ฐ์ ์์น์ ์์ด๋ ๊ฑฐ๊ธฐ๊น์ง ์ด๋ป๊ฒ ์๋๋์ ๋ฐ๋ผ ๋์ ๋ ์ ์ ๋ ฅ์ด ๋ค๋ฅด๊ณ , ๋๋์์ค๋ฉด ๋ฐ๋ ๋ฐฉํฅ ๋ณ์๊ฐ ๋ํด์ ธ ์ค์ด๋ ๋ค. ์ ์๋ค์ด hysteresis๋ผ๊ณ ๋ถ๋ฅด๋ ํ์์ด ์ด ๋์ ์์ ๋์จ๋ค.
3๋จ๊ณ: ์ ์ฐฉ ์์, Coulomb ๋ง์ฐฐ, ๋ฆฌ์
\bar f^n_{j,t}=\mathrm{ReLU}(f^n_{j,t}),\qquad \bar{\mathbf{f}}^{xy}_{j,t}=\min\Big\{1,\frac{\mu\,\bar f^n_{j,t}}{\lVert\mathbf{f}^{xy}_{j,t}\rVert_2}\Big\}\mathbf{f}^{xy}_{j,t},\qquad \tilde{\mathbf{f}}_{j,t}=H\big(-\phi_E(\mathbf{o}_{j,t})\big)\cdot\big(\bar f^n_{j,t}\hat{\mathbf{n}}_j+\bar{\mathbf{f}}^{xy}_{j,t}\big)
- ๋ฒ์ ๋ ฅ์ ์์๊ฐ ๋ ์ ์๋ค(elastomer๊ฐ ๋ฌผ์ฒด๋ฅผ ๋น๊ธฐ์ง ์๋๋ค).
- ์ ์ ๋ ฅ ํฌ๊ธฐ๊ฐ \mu\bar f^n์ ๋์ผ๋ฉด ๋ฐฉํฅ์ ์ ์งํ ์ฑ ํฌ๊ธฐ๋ง ์๋ฆฐ๋ค. ์๋ฆฌ๋ ์๊ฐ์ด slip์ด๊ณ , ๊ทธ ๋ค๋ก๋ ๋ ๋์ด๋ ์ ์ ๋ ฅ์ด ๋์ง ์๋๋ค. stick-slip ํ์ ์ ๋ณ๋ ๋ ผ๋ฆฌ ์์ด ์ด clipping ํ๋๋ก ์ด๋ค์ง๋ค.
- Heaviside H๋ก elastomer ๋ฐ์ผ๋ก ๋๊ฐ ์ ์ ํ์ 0์ผ๋ก ๋ฆฌ์ ํ๋ค. ๋ค์ ๋ฟ์ผ๋ฉด ์ฒ์๋ถํฐ ์๋๋ค.
4๋จ๊ณ: ํ์ด ๊ฑธ๋ฆฌ๋ elastomer ์์ ์์น
ํ์ marker grid์ ๋ฟ๋ฆฌ๋ ค๋ฉด ๊ฐ ํ์ด elastomer์ ์ด๋์ ๊ฑธ๋ฆฌ๋์ง ์์์ผ ํ๋ค. stick ์ํ๋ฉด ๊ทธ ์์น๋ ์ฒ์ ๋ฟ์ ๊ณณ์์ ๋ณํ์ง ์๊ณ , slip ์ํ๋ฉด ๋ฏธ๋๋ฌ์ง ๋งํผ ์ฎ๊ฒจ ๊ฐ๋ค. ์ ์๋ค์ ์ด๋ฅผ ํ๋ฉด์ ์ ๋ํ๋ ๋ณ์ \hat{\mathbf{f}}_{j,t}๋ก ํํํ๊ณ (\hat{\mathbf{o}}_{j,t}=\mathbf{o}_{j,t}+\hat{\mathbf{f}}_{j,t}), ๊ฐ์ ์ถ์ ๊ธฐ F๋ฅผ ๊ฐ์ฑยท๋ฉด์ ์ 1๋ก ๋ ์ฑ ๋ค์ ๋๋ ค ์ด ๋ณ์๋ฅผ ์ป๋๋ค.
\hat{\mathbf{f}}_{j,t}=F\big(\hat{\mathbf{f}}_{j,t-1},{}^E\mathbf{X}^I_t,{}^E\mathbf{X}^I_{t-1},\bar{\mathbf{o}}_j;\,1,1,1,\hat\mu\big)
์ถ์ ๊ธฐ๋ฅผ ๋ ๋ฒ ๋๋ฆด ํ์๋ ์๋ค๋ ๊ฒ์ด ์ ์๋ค์ ๊ด์ฐฐ์ด๋ค. E=K, \mu=\hat\mu, A_j=A(ํ๋ฉด์ ๋ฉด์ ๊ท ์ผ)๋ฅผ ๊ฐ์ ํ๋ฉด ๋ ์ถ์ ๊ธฐ๋ ์์๋ฐฐ ๊ด๊ณ๊ฐ ๋์ด \tilde{\mathbf{f}}_{j,t}=KA\cdot\hat{\mathbf{f}}_{j,t}๋ก ํ์ ๋ณ์์์ ๋ฐ๋ก ์ป๋๋ค. ๋ฒ์ ยท์ ์ ๊ฐ์ฑ์ด ๊ฐ๋ค๋ ๊ฐ์ ์ ๊ฝค ๊ฐํ๋ฐ, ๊ทธ ๋๊ฐ๋ก E๊ฐ ๋ฐ๋ก ๋ณด์ ํ ํ๋ผ๋ฏธํฐ์์ ๋น ์ง๋ค.
5๋จ๊ณ: shear field
์ ์ด ์ค์ธ ํ๋ฉด์ ์งํฉ K_t=\{k_i\mid\phi_E(\mathbf{o}_{k_i,t})<0\}์ ๋ํด(๊ฐ์ฑ K์ ๊ฐ์ ๊ธ์์ง๋ง ๋ค๋ฅธ ๋ป์ด๋ค), ๊ฐ ์ ์ ์ ์ ๋ ฅ์ ์นจํฌ ๊น์ด๋ก ๊ฐ์คํ๊ณ ํ์ด ๊ฑธ๋ฆฐ ์์น \hat{\mathbf{o}}^{xy}์์ Gaussian์ผ๋ก ๊ฐ์ ์์ผ ํฉํ๋ค.
\mathbf{M}^s_t=\sum_{i=1}^{|K_t|}-\phi_E(\mathbf{o}_{k_i,t})\cdot\big(-\tilde{\mathbf{f}}^{xy}_{k_i,t}\big)\cdot\exp\{-\lambda_s\lVert\mathbf{v}_{k_i}\rVert_2^2\},\qquad \mathbf{v}_{k_i}=\begin{bmatrix}x\\y\end{bmatrix}-\hat{\mathbf{o}}^{xy}_{k_i,t}
๋ฒ์ ๋ ฅ \bar f^n์ ์ด ์์ ์ง์ ๋ค์ด๊ฐ์ง ์๊ณ ๋ง์ฐฐ ํ๊ณ๋ฅผ ์ ํ๋ ๋ฐ๋ง ์ฐ์ธ๋ค. ์นจํฌ ๊น์ด ๊ฐ์ค -\phi_E๋ ๊น์ด ๋๋ฆฐ ๊ณณ์ ๋๋ฆผ์ ๋ ํฌ๊ฒ ๋ณด์ด๊ฒ ํ๋ ์ญํ ์ด๋ค.
์์ ๊ทธ๋๋ก ๋ฐ๋ผ๊ฐ๋ฉด ๋ถํธ๊ฐ ๋ง์ง ์๋ ๊ณณ์ด ์๋ค. ์ถ์ ๊ธฐ F๋ ๋ณ์ \mathbf{d}=\alpha(\mathbf{o}_t-\mathbf{o}_{t-1})๋ฅผ ๋ํด ๊ฐ๋ฏ๋ก, stick ์ํ์์ \hat{\mathbf{f}}_{j,t}\approx(\mathbf{o}_{j,t}-\mathbf{o}_{j,t_0})์ ์ ์ ์ฑ๋ถ์ด ๋๋ค(t_0์ ์ฒ์ ๋ฟ์ ์์ ). ๊ทธ๋ฐ๋ฐ \hat{\mathbf{o}}_{j,t}=\mathbf{o}_{j,t}+\hat{\mathbf{f}}_{j,t}๊ฐ โ์ฒ์ ๋ฟ์ ์์นโ๊ฐ ๋๋ ค๋ฉด \hat{\mathbf{f}}๋ \mathbf{o}_{j,t_0}-\mathbf{o}_{j,t}์ฌ์ผ ํ๋ค. Fig. 3 ์บก์ ๋ -\hat{\mathbf{f}}_{j,t}๋ฅผ โ์ฒ์ ๋ฟ์ ์์น์์ ํ์ฌ ์์น๋ก ๊ฐ๋โ ํ์ดํ๋ก ์ค๋ช ํ๋ค. ๋ง์ฐฌ๊ฐ์ง๋ก \mathbf{M}^s์ -\tilde{\mathbf{f}}^{xy}๋ ๋์ ๋ฐฉํฅ์ ๋ฐ๋ฅด๋ฉด ๋ฌผ์ฒด ์ด๋๊ณผ ๋ฐ๋๋ฅผ ํฅํ๋๋ฐ, Fig. 5์ ์ค์ธกยท์๋ฎฌ๋ ์ด์ shear๋ ์ด๋ ๋ฐฉํฅ์ ํฅํ๋ค. ๋ณธ๋ฌธ๊ณผ Fig. 3 ์บก์ ์ด ๊ทธ๋ฆผ์ ๊ฐ์ ํ์ดํ๋ฅผ ๊ฐ๊ฐ (e)์ (d)์ ์๋ค๊ณ ์ฐ๋ ๊ฒ๋ ๊ฐ์ ๋ถ๋ฅ์ ํ๊ธฐ ํ๋ค๋ฆผ์ด๋ค. ๊ฒฐ๊ณผ ๊ทธ๋ฆผ์ด ์ค์ธก๊ณผ ๋ง์ผ๋ฏ๋ก ๊ตฌํ์ ์ผ๊ด๋ ๋ถํธ๋ฅผ ์ฐ๊ณ ์์ ๊ฐ๋ฅ์ฑ์ด ๋๋ค๊ณ ๋ดค๋๋ฐ, ๊ณต๊ฐ ์ฝ๋๋ฅผ ํ์ธํ๋ ๊ทธ๋ฌ๋ค. ๊ตฌํ์ ๋ณ์๋ฅผ \mathbf{o}_{t-1}-\mathbf{o}_t ๋ฐฉํฅ์ผ๋ก ๋์ ํด \hat{\mathbf{o}}=\mathbf{o}+\hat{\mathbf{f}}๊ฐ ์ฒ์ ๋ฟ์ ์์น๊ฐ ๋๊ฒ ํ๋ค. ๋ ผ๋ฌธ ์์ ํ๊ธฐ๋ง ์ด๊ธ๋ ์์๋ค.
๋ฌด์์ด ๋ฌด์์ ํํํ๋๊ฐ
| ํ์ | ๋ด๋นํ๋ ์ | FOTS์์ ์ฐจ์ด |
|---|---|---|
| ๊ฒฝ๋ก ์์กด ๋์ (stick), hysteresis | 2๋จ๊ณ์ ์ฌ๊ท ๋ง์ | FOTS๋ ๊ธฐ์ค ์์ k ๋๋น ๋ฌผ์ฒด ์ค์ฌ์ SE(2) ์ด๋ ํ๋๋ง ๋ณธ๋ค |
| slip | 3๋จ๊ณ์ Coulomb clipping(\mu) | FOTS๋ ์ํ \Delta s^{\max}๋ก ํฌ๊ธฐ๋ง ์๋ฅธ๋ค |
| ์ ์ด ๋๊น ํ ๋ฆฌ์ | 3๋จ๊ณ์ Heaviside | ๋ถ๋ก A์ FOTS ์์๋ ๋ณ๋ ๋ฆฌ์ ํญ์ด ์๋ค |
| SE(3) ํ์ ยทrolling | ํ๋ฉด์ ๋ง๋ค 3D ๋ณ์๋ฅผ ์ถ์ | FOTS๋ yaw ํ์ ๋ง ๋ณ๋ twist ํญ์ผ๋ก ๋ค๋ฃฌ๋ค |
| tactile shadowing | dilationยทshear์ Gaussian kernel(\lambda_d,\lambda_s) | FOTS๋ kernel์ด ์์ง๋ง ๋ฌผ์ฒด ์ค์ฌ ํ ์ \mathbf{G}_t ๊ธฐ์ค์ด๋ค |
| ๋ณต์กํ ๊ธฐํยท๋ค์ค ์ ์ด patch | indenterยทelastomer ๋ชจ๋ SDF | FOTS๋ ๋ฌผ์ฒด ์ค์ฌ ์ขํ๊ณ ํ๋๋ก ์ ์ด์ ๋ํํ๋ค |
๋ฐฉ๋ฒ ์์ธ 3: ๋ณด์ (ยงIII-C, ยงIV-A, ๋ถ๋ก)
ํ๋ผ๋ฏธํฐ 4๊ฐ๋ฅผ ํ๊บผ๋ฒ์ ์ต์ ํํ์ง ์๊ณ ํ๋์ฉ ์์๋๋ก ๋ง์ถ๋ค. ์ ์๋ค์ ์ด์ ๋ ๊ณ ๋๋ก ๋น์ ํ์ธ ๊ฒฐํฉ ์ต์ ํ๊ฐ ์ข์ ์ต์ ์ ์ ์์ ์ ์ผ๋ก ์๋ ดํ๋ค๋ ๋ณด์ฅ์ด ์์ด์, ๋จ๋ณ์ ๋ฌธ์ ๋ก ์ชผ๊ฐ ์กฐ๊ฑด์๋ฅผ ๊ฐ์ ํ๋ค๋ ๊ฒ์ด๋ค.
| ์์ | ํ๋ผ๋ฏธํฐ | ์๋ฏธ | ์ค์ธก ๋ฐ์ดํฐ(ยงIV-A) | ๊ณ ์ ํ ๊ฐ |
|---|---|---|---|---|
| 1 | \lambda_d | dilation ๊ฐ์ | ๋ฌด์์ ์์น์ ์์ง ์์ 10์ํ | ์์ (dilation ํญ๋ง ์ฌ์ฉ) |
| 2 | \lambda_s | ์ ์ shear ๊ฐ์ | ์์ ํ ์ ์ด ์ํ๋ก ๋ฌด์์ ๋ฐฉํฅ ์ด๋ 10์ํ, ํฌ๊ธฐ ์ ๊ทํ | K=1, \mu=10^5 |
| 3 | K | ์ ์ ๊ฐ์ฑ | 2์ ๊ฐ์ ๋ฐ์ดํฐ, ์ ๊ทํ ์์ | \lambda_d^\star,\lambda_s^\star, \mu=10^5 |
| 4 | \mu | ๋ง์ฐฐ๊ณ์ | ์ ์ด ์ ์งํ ์ฑ slip์ํค๋ 10์ํ | \lambda_d^\star,\lambda_s^\star,K^\star |
๊ฐ ๋จ๊ณ๋ ์ค์ธก marker ๋ณ์ \mathbf{Y}_i์ ๋ชจ๋ธ ์ถ๋ ฅ์ ์ ๊ณฑ์ค์ฐจ ์ต์ํ๋ค. ์๋ฅผ ๋ค์ด ๋ง์ง๋ง ๋จ๊ณ๋ ๋ค์๊ณผ ๊ฐ๋ค.
\mu^\star=\arg\min_{\mu}\sum_{i=1}^n\big\lVert\mathbf{Y}^\mu_i-\mathbf{M}_t\big((x_i,y_i);\lambda_d^\star,\lambda_s^\star,K^\star,\mu\big)\big\rVert_2^2
\mu=10^5๋ก ๋๋ฉด Coulomb cone์ด ์ฌ์ค์ ์ด๋ ค slip์ด ์ผ์ด๋์ง ์์ผ๋ฏ๋ก, 2ยท3๋จ๊ณ๋ ์์ํ stick ์ํฉ์์ ๊ฐ์ ์ ๊ฐ์ฑ๋ง ๋ณธ๋ค. 2๋จ๊ณ์ ์ ๊ทํ(๋ถ๋ก)๋ ์ค์ธก shear ํฌ๊ธฐ์ ํ๊ท ยทํ์คํธ์ฐจ๋ฅผ ์๋ฎฌ๋ ์ด์ ์ชฝ ํต๊ณ์ ๋ง์ถ๋ ๋ฐฉํฅ์ ์ ์งํ๋ ๋ณํ์ด๋ค.
\hat{\mathbf{Y}}^s_i=\Big[\Big(\frac{\lVert\mathbf{Y}^s_i\rVert-\mu_y}{\sigma_y}\Big)\sigma_m+\mu_m\Big]\frac{\mathbf{Y}^s_i}{\lVert\mathbf{Y}^s_i\rVert}
K์ \lambda_s๊ฐ ๋ ๋ค shear ํฌ๊ธฐ์ ์ํฅ์ ์ฃผ๋ฏ๋ก, \lambda_s๋ฅผ ๋ง์ถ ๋๋ ํฌ๊ธฐ๋ฅผ ๋ผ์ด ๋ด๊ณ shadowing์ ๊ณต๊ฐ ๊ตฌ์กฐ๋ง ๋ณด๊ฒ ๋ค๋ ์๋๋ค. \mu๋ ์ ์ ์ด๋ ์ค shear๊ฐ ์ ํ์ผ๋ก ๋๋ค๊ฐ ํฌํํ๋ ์ง์ ์ ๋ง์ถฐ ์ถ์ ํ๋ฉฐ, ์ ์๋ค์ ์ด ๋๋ถ์ ๋ณ๋ force-torque ์ผ์ ์์ด ๋ง์ฐฐ์ ์ถ์ ํ ์ ์๋ค๊ณ ์ด๋ค. ๋ฏธํฐ ๋จ์ ๋ณ์๋ฅผ ํฝ์ ๋ก ๋ฐ๊พธ๋ ๋ฐฐ์จ์ GelSight Mini ์นด๋ฉ๋ผ ํด์๋์์ 1000/0.065 [px/m]๋ก ๋๋ค.

Fig. 4. Digital twin ๋ณด์ ์ ์ . 7-DoF KUKA MED LBR ๋๋จ์ 35 mm sphere indenter๊ฐ ํ ์ด๋ธ์ ๊ณ ์ ๋ GelSight Mini๋ฅผ ๋๋ฅด๊ณ ๋๋ค. ๊ฐ์ ๊ถค์ ์ digital twin์์ ์ฌ์ํด ๊ฐ ๋ฐฉ๋ฒ์ ์ถ๋ ฅ๊ณผ ์ค์ธก์ ๋น๊ตํ๋ค. ๋ณด์ ์ค ์ผ์์ indenter์ ์ ์ฒด ์์ธ๋ ์๋ ค์ ธ ์๋ค๊ณ ๊ฐ์ ํ๋ค.
๋ณด์ ์ ์ฐจ์๋ ๋ณธ๋ฌธ ์์์ ์๋ก ๋ค๋ฅธ ์์ ์ด ์๋ค. ยงIII-C์ ๋ถ๋ก์ \lambda_s์ K๋ฅผ ๋ฐ๋ก ์์๋๋ก ๋ง์ถ๋ค๊ณ ์ฐ๋๋ฐ, ยงIV-A๋ ๊ฐ์ 10์ํ๋ก โ\lambda_s์ K๋ฅผ ํจ๊ป(jointly) ์ต์ ํํ๋คโ๊ณ ์ด๋ค. ๋ ๋ณด์ ์ด ๋๋ ๋ค ๊ฐ ์์ฒด๋ ๋ ผ๋ฌธ ์ด๋์๋ ์ซ์๋ก ๋์ค์ง ์๋๋ค. ๊ฐ์ GelSight Mini๋ฅผ ์ฐ๋ ๋ ์๊ฐ ๊ฐ์ ๊ทธ๋๋ก ๊ฐ์ ธ๋ค ์ธ ์๋ ์๊ณ , ๊ณต๊ฐ ์ฝ๋์์ ํ์ธํด์ผ ํ๋ค.
๋ฐฉ๋ฒ ์์ธ 4: Sim-to-real RL (ยงIII-D, ๋ถ๋ก)
์ ์ํ์ ํ์ต ํ์ดํ๋ผ์ธ
๊ณผ์ ๋ ๋ฌดํ ์งํ discrete-time POMDP \mathcal{M}=(\mathcal{S},\mathcal{O},\mathcal{A},\mathcal{R},\mathcal{P},\rho_0,\gamma)๋ก ๋๋ค. ์๋ฎฌ๋ ์ด์ ๊ณผ ์ค์ ์ ์ฐจ์ด๋ ์ํ ์ ๊ทผ ์ฌ๋ถ ํ๋๋ฟ์ด๋ค. ํ์ต์ Isaac Gym์ ๋ณ๋ ฌ ํ๊ฒฝ์์ PPO๋ก ํ๊ณ , ์ค์ ๋ฐฐํฌ๋ ์์ ยทfine-tuning ์๋ zero-shot์ด๋ค. ์์๋ ๋ค์๊ณผ ๊ฐ๋ค(๋ถ๋ก Sim-to-Real Transfer Pipeline).
- privileged ์ํ(๋ฌผ์ฒด ์์ธยท์๋, ์ ์ด๋ ฅ, ๋ฌผ๋ฆฌ ํ๋ผ๋ฏธํฐ ๋ฑ)๋ฅผ ๋ฐ๋ teacher actor-critic์ contact penalty ์์ด ํ์ตํด ๊ฐ์ฅ ํจ์จ์ ์ธ ํด๋ฅผ ์ฐพ๋๋ค.
- ๊ฐ์ teacher๋ฅผ contact penalty๋ฅผ ์ผ๊ณ fine-tuningํ๋ค. ์ฒ์๋ถํฐ penalty๋ฅผ ๊ฑธ๋ฉด ๋ชฉํ์์ ์ ์ด์ ์์ ํผํ๋ ์ ์ฑ ์ผ๋ก ๋ถ๊ดดํ๊ธฐ ๋๋ฌธ์ด๋ค.
- fine-tuning๋ teacher์ critic์ผ๋ก student actor๋ฅผ ์ฒ์๋ถํฐ ํ์ตํ๋ค. TacSL์ด ์ ์ํ Asymmetric Actor-Critic Distillation(AACD)์ด๋ค. ๊ณผ์ ๋ง๋ค ํ๋์ teacher critic checkpoint๋ฅผ ๋ชจ๋ student(๋ชจ๋ ์๋ฎฌ๋ ์ดํฐ ์กฐ๊ฑด)๊ฐ ๊ณต์ ํ๋ค.
- student actor๋ฅผ ์ค์ ๋ก๋ด์ ๊ทธ๋๋ก ์ฌ๋ฆฐ๋ค.

Fig. 2. AACD ๊ธฐ๋ฐ teacher-student ํ์ต. Stage 1: privileged state๋ก teacher actor-critic ํ์ต. Stage 2: ์ฌ์ ํ์ต๋ teacher critic์ผ๋ก ์ด๊ธฐํํ critic๊ณผ, ์ฒ์๋ถํฐ ํ์ตํ๋ student actor(EE ์์ธ, EE-๋ชฉํ ์๋ ์์ธ, ์ข์ฐ tactile shear ์ ๋ ฅ). ๋ ๋ค PPO๋ก ์ต์ ํํ๊ณ encoder-LSTM-MLP ๊ตฌ์กฐ๋ค. Stage 3: student actor๋ฅผ ์ค์ ์ ๋ฐฐํฌ.
AACD๋ ํ๋ ๋ณต์ ๊ฐ ์๋๋ค. student๋ teacher์ ํ๋์ ๋ฐ๋ผ ํ๋ ๊ฒ์ด ์๋๋ผ teacher์ ๊ฐ์น ํจ์๋ก ์์ํ critic ์๋์ ์๊ธฐ ๊ด์ธก์ผ๋ก PPO๋ฅผ ๋๋ค. ๊ทธ๋์ student๋ ์ด๊ฐ์ผ๋ก ์ป์ ์ ์๋ ์ ๋ณด๋ก ํ ์ ์๋ ํด๋ฅผ ์ค์ค๋ก ์ฐพ๋๋ค. ๊ฐ์ ๋ธ๋ก๊ทธ์ Which Taxels๊ฐ DAgger๋ก teacher ํ๋์ ํ๊ทํ๋ ๊ฒ๊ณผ ๋์กฐ๋๋ค.
๊ด์ธกยทํ๋ยท๋ณด์
student ๊ด์ธก์ EE ์์ธ(๋ชฉํ ๋๋ socket ์ขํ๊ณ, 7์ฐจ์; Drawer Pulling์ 9์ฐจ์)์ ์ข์ฐ ์ผ์์ tactile shear field๋ค. ์๊ฐ ์ ๋ ฅ์ ์๋ค. ๋ชฉํ ์์ธ๋ ์๋ ค์ ธ ์์ผ๋ฏ๋ก ์ด ๊ณผ์ ๋ค์ โ์ด๋๋ก ๊ฐ์ผ ํ๋์ง๋ ์์ง๋ง, ์ ์์ ๋ฌผ์ฒด๊ฐ ์ ํํ ์ด๋ป๊ฒ ๋์๋์ง์ ๋ฌด์์ ๊ฑธ๋ ธ๋์ง๋ ์ด๊ฐ์ผ๋ก๋ง ์๋คโ๋ ์ค์ ์ด๋ค.
ํ๋์ ๊ณผ์ ๊ณตํต์ผ๋ก EE ์์ธ ๋ณํ๋ \Delta\mathbf{X}^{ee}\in\mathbb{R}^7์ Cartesian impedance์ stiffness \mathbf{K}_p\in\mathbb{R}^6, damping \mathbf{K}_d\in\mathbb{R}^6์ด๋ค. ์ ์ฑ ์ด impedance gain๊น์ง ์ง์ ๊ณ ๋ฅธ๋ค๋ ์ ์ด ์ ์ด ๊ณผ์ ์์ ์ค์ํ๋ค. Drawer Pulling์ ์ฌ๊ธฐ์ gripper ๋ชฉํ ์์น 1์ฐจ์์ด ๋ํด์ง๋ค(Table VI).
์ฝ์ ๊ณผ์ ์ ๋ณด์์ keypoint ์ ๋ ฌ, contact penalty, action ๋ณํ penalty์ ํฉ์ด๋ค.
R=\alpha_{\text{keypoint}}\,r_{\text{keypoint}}+\alpha_{\text{centered}}\,r_{\text{contact}}+r_{\text{action\_grad}}
r_{\text{keypoint}}=\sum_{i=1}^4-\lambda_{\text{kpt}}e_i+\frac{\lambda_{\text{exp}}}{n+e^{me_i}+e^{-me_i}},\quad e_i=\lVert\hat{\mathbf{y}}_i-\mathbf{y}_i\rVert_2^2
r^{(t)}_{\text{contact}}=-\lambda_{\text{contact}}\sum_{b\in\mathcal{B}^{\text{task}}_{\text{env}}}\lVert\mathbf{f}^{(t)}_{\text{obj},b}\rVert_2,\qquad r_{\text{action\_grad}}=-\lambda_{\text{action}}\lVert\mathbf{a}_t-\mathbf{a}_{t-1}\rVert_2^2
\alpha_{\text{keypoint}}๋ ๋ฌผ์ฒด๊ฐ ๋ชฉํ ๋์ด์ ์๋๋ฐ xy๊ฐ ์ด๊ธ๋ ์์ผ๋ฉด(์์์ ์ ๊ทผ) 10, ์๋๋ฉด 1์ด๋ค. \alpha_{\text{centered}}๋ ๋ฌผ์ฒด๊ฐ ๋ชฉํ ์ค์ฌ์ ์ ๋ ฌ๋๋ฉด 0.001, ์๋๋ฉด 1.0์ผ๋ก, ์ ๋ ฌ๋ ๋ค์ ์ฝ์ ์ ์ด์ ๋ฒํ์ง ์๊ฒ ํ๋ค. Drawer Pulling์ ๋ \alpha๋ฅผ ๋นผ๊ณ ์ธ๋ ์ ์ gripper๋ฅผ ๋ฏธ๋ฆฌ ์ธ๊ฒ ์ฅ๋ฉด ๋ฒํ๋ ํญ์ ๋ํ๋ค.
r_{\text{perturb}}=\begin{cases}-\lambda_{\text{perturb}} & \text{grasp\_width}<\beta\ \&\ \text{perturb}>0\\ 0 & \text{else}\end{cases}
๋ถ๋ก์ ์ด ํญ์ โ์ธ๋์ด ์ผ์ด๋๊ธฐ ์ ์ ์ธ๊ฒ ์ฅ๋ฉด ๋ฒํ๋คโ๊ณ ์ค๋ช ํ๋๋ฐ, ์กฐ๊ฑด์์ ์ธ๋ ํฌ๊ธฐ๊ฐ 0๋ณด๋ค ํด ๋๋ก ์ ํ ์์ด ๋ฌธ์ฅ๊ณผ ์์ด ๋ฐ๋๋ก ์ฝํ๋ค. Table VI์ ๋ณด์ ๋ชฉ๋ก์ โPre-ForcePerturb Gripper Penaltyโ์ ๋ณ๊ฐ๋ก ์ธ๋ ์ค ๋ฒ์ ๋ ฅ ํฉ์ ์ฃผ๋ โPost-ForcePerturb Gripper Rewardโ๊น์ง ๋ ํญ์ ๋์ดํด, ๋ถ๋ก ์๊ณผ Table VI์ ํญ ๊ตฌ์ฑ๋ ์ผ์นํ์ง ์๋๋ค.
| ๋ณด์ ํ๋ผ๋ฏธํฐ (Table X) | ๊ฐ |
|---|---|
| m | 50 |
| n | 0.0001 |
| \beta (grasp ํญ ๋ฌธํฑ, m) | 0.0029 |
| \lambda^{\text{stage\_1}}_{\text{contact}} / \lambda^{\text{stage\_2}}_{\text{contact}} | 0 / 0.001 |
| \lambda_{\text{action}} | 0.001 |
| \lambda_{\text{exp}}, \lambda_{\text{kpt}}, \lambda_{\text{perturb}} | 0.1, 0.1, 0.1 |
๋คํธ์ํฌ์ ํ์ดํผํ๋ผ๋ฏธํฐ (๋ถ๋ก B)
actor์ critic์ ๊ฐ์ backbone(2-layer LSTM 256 unit โ MLP [512, 128, 64], ELU)์ ๋ฐ๋ก ๊ฐ์ง๋ค. ์ ๋ ฅ encoder๋ง ๋ค๋ฅด๋ค.
| ์ ๋ ฅ | ํด์๋ | encoder |
|---|---|---|
| shear (HydroShearยทFOTSยทTacSL Shear) | ์ผ์๋น [2\times7\times9] marker grid (์ค์ GelSight Mini dotted gel ๋ฐฐ์น์ ์ผ์น) | Conv 3์ธต [32, 64, 64], kernel 3, stride 1, ์ ๋ ์ธต๋ง padding, ReLU, spatial soft-argmax |
| TacSL grayscale ์ด๋ฏธ์ง | [3\times320\times240] โ [3\times80\times60] | Conv 3์ธต [32, 64, 64], kernel [8, 4, 3], ์ฒซ ์ธต stride 2, padding ์์, ReLU, spatial soft-argmax |
MDP ํ(Table III~VI)๋ shear ๊ด์ธก์ \mathbb{R}^{H\times W\times3}๋ก ์ ์ด ๋ถ๋ก ๋ณธ๋ฌธ์ 2์ฑ๋ grid์ ์ฑ๋ ์๊ฐ ๋ค๋ฅด๋ค. ์ฌ์ํ์ง๋ง ์ฌํํ ๋ ํ์ธํ ๋ถ๋ถ์ด๋ค.
| PPO (Table VIIยทVIII) | teacher | student |
|---|---|---|
| discount / GAE | 0.99 / 0.95 | 0.99 / 0.95 |
| clip / grad norm / entropy | 0.2 / 1.0 / 0.0 | 0.2 / 1.0 / 0.0 |
| policy / value loss coeff. | 1.0 / 2.0 | 1.0 / 2.0 |
| base LR / max LR | 1e-4 / 1e-2 | 1e-4 / 1e-4 |
| adaptive LR KL target | 2e-3 | 8e-3 |
| ํ๊ฒฝ ์ | 1024 | 256 |
| episode ๊ธธ์ด / mini-epochs / minibatch | 256 / 4 / 1024 | 256 / 4 / 1024 |

Fig. 8. ๊ณผ์ ๋ณ teacher ํ์ต ๊ณก์ . ๋น ์์์ ์ฑ์ด ์์ผ๋ก ๋จ์ด์ง๋ ์ง์ ์ด contact penalty๋ฅผ ์ผ fine-tuning ์์์ด๋ค. Drawer Pulling์ ๊ทธ ์๊ฐ ์ฑ๊ณต๋ฅ ์ด 0 ๊ทผ์ฒ๊น์ง ๋จ์ด์ก๋ค๊ฐ ํ๋ณตํ๊ณ , Book Shelving์ ์ฝ 0.45๊น์ง, Bin Packing์ ์ฝ 0.9๊น์ง ๋จ์ด์ง๋ค(๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ).
์ง๊ด: ์ ๊ทํ๋ shear์ ๊ธฐ์ตํ๋ shear
์ธ ๋ฐฉ๋ฒ์ ์ฐจ์ด๋ฅผ โ๋ฌด์์ ๊ธฐ์ตํ๋๋โ๋ก ์ ๋ฆฌํ๋ฉด ๊ฒฐ๊ณผํ๊ฐ ์ฝํ๋ค.
- TacSL Shear๋ ์๋ฌด๊ฒ๋ ๊ธฐ์ตํ์ง ์๊ณ , ํฌ๊ธฐ๋ฅผ ๋ฒ๋ฆฐ๋ค. ๊ฐ taxel์ shear๋ฅผ unit vector๋ก ์ ๊ทํํ๋ฉด ๋ฐฉํฅ ํจํด๋ง ๋จ๋๋ค. ์ ์ ์์ธ๋ ๋ฏธ๋๋ฌ์ง ๋ฐฉํฅ์ฒ๋ผ ๋ฐฉํฅ์ด ํต์ฌ์ธ ๊ณผ์ (Peg Insertion, Drawer Pulling)์์๋ ์ด๊ฒ์ผ๋ก ์ถฉ๋ถํ๋ค. ํ์ง๋ง Bin Packing์ฒ๋ผ ์ฌ๋ฌ cube์ ๋นํ๋ฆฌ๋ฉฐ ๋ถ๋ชํ elastomer ์ ์ฒด๊ฐ ํฌ๊ฒ ๋ณํ๋๋ฉด, ์ ๊ทํ๋ field๋ ํ์ต ๋ ๋ณธ ๊ฒ๋ณด๋ค ํจ์ฌ ๋์ patch์์ ๊ฐ์ ํฌ๊ธฐ์ ํ์ดํ๋ฅผ ๋ด๋๋๋ค. ์ ์๋ค์ ์ด๊ฒ์ Bin Packing 4/30์ ์์ธ์ผ๋ก ๋ ๋ค.
- FOTS๋ ๋ฌผ์ฒด ์ค์ฌ ํ๋๋ง ๊ธฐ์ตํ๋ค. shear์ twist๊ฐ ๋ชจ๋ ๋ฌผ์ฒด ์ขํ๊ณ ์์ ์ 2D ์ฌ์ \mathbf{G}_t ๊ธฐ์ค์ด๋ผ, ์์ ์ด ์ค์ ์ ์ด patch์ ๋ฉ๋ฉด shear field๊ฐ ์๋ฑํ ๊ณณ์ ์ค์ฌ์ผ๋ก ๊ทธ๋ ค์ง๋ค. ์ FOTS๊ฐ peg(์์ ์ด peg ์ค์ฌ, ์ ์ด์ ์ธก๋ฉด)์ cube์์ 1/30, 5/30์ ๊ทธ์น ๋ฐ๋ฉด, ์์ ๊ณผ ์ ์ด patch๊ฐ ๊ฐ๊น์ด ์ฑ ยท์์ก์ด์์ 20/30, 15/30์ด ๋์จ ๊ฒ๊ณผ ๋ง๋๋ค. ์ ์ ๊ฐ๋ํ์ ๊ธฐ์ค์ ์ ์ด๊ธฐ ์ ์ด patch ์ค์ฌ์ผ๋ก ์ฎ๊ฒจ ์ด ๋ฌธ์ ๋ฅผ ๊ณ ์น๋ค. ๊ทธ๋ฌ๋ ์ ์ด์ด ์์ฃผ ๋ฐ๋๋ Drawer Pulling์์๋ โ์ด๊ธฐ patchโ ์์ฒด๊ฐ ์ ์ ์๋์ง ์๋๋ค.
- HydroShear๋ ์ ์ด์ ๋ง๋ค ๋ฐ๋ก ๊ธฐ์ตํ๋ค. ๊ธฐ์ค์ ์ด ํ๋๊ฐ ์๋๋ผ ํ๋ฉด์ ์์ฒ ๊ฐ์ด๊ณ , ๊ฐ์ ๋ถ์ ์์น์ ๋๋ ค์จ ์์ ๋ฐ๋ก ๋ค๊ณ ์๋ค. ์ ์ด์ด ๋ฐ๋๋ฉด ์๋ก ๋ฟ์ ์ ์ 0๋ถํฐ, ๋จ์ด์ง ์ ์ ๋ฆฌ์ ๋๋ค. ๊ทธ๋์ ์ ์ด ๊ตฌ์ฑ์ด ๊ณ์ ๋ณํด๋ shear field๊ฐ ์ค์ elastomer์ ์ํ์ ์ด๊ธ๋์ง ์๋๋ค๋ ๊ฒ์ด ์ ์๋ค์ ์ค๋ช ์ด๋ค.
๋ค๋ง ์ด ์ค๋ช ์๋ ํ ๊ฐ์ง ๋จ์๊ฐ ๋ถ๋๋ค. ๋ถ๋ก B๋ student์ ์๋ฎฌ๋ ์ด์ ํ์ต ๊ณก์ ์ด ๋ฐฉ๋ฒ ๊ฐ์ โon parโ๋ผ๊ณ ์ฐ๊ณ , ๋ ์ ํํ ๋ฌผ๋ฆฌ๋ stick-slip๊ณผ ๊ฒฝ๋ก ์์กด์ฑ ๋๋ฌธ์ ์๋ฎฌ๋ ์ด์ ํ์ต์ ์คํ๋ ค ์ด๋ ต๊ฒ ๋ง๋ค ์ ์๋ค๊ณ ๋ง๋ถ์ธ๋ค. ์ฆ HydroShear๋ ์๋ฎฌ๋ ์ด์ ์์์ ๋ ์ํ๋ ๋ฐฉ๋ฒ์ด ์๋๋ผ, ์๋ฎฌ๋ ์ด์ ์์ ๋ฐฐ์ด ๊ฒ์ด ์ค์ ์์๋ ์ฑ๋ฆฝํ๊ฒ ๋ง๋๋ ๋ฐฉ๋ฒ์ด๋ผ๋ ๊ฒ์ด ์ ์๋ค์ ์ ์ฅ์ด๋ค. ์ด ์ ์ฅ์ด ์คํ๊ณผ ์ผ๋ง๋ ๋ง๋์ง๋ ์๋ ์คํ ์ ์์ Fig. 9~12์ ํจ๊ป ๋ค์ ๋ณธ๋ค.
์คํ 1: Shear ์ถฉ์ค๋ (ยงIV-A, Table I, Fig. 5ยท6ยท13)
์ ์ ๊ณผ ๋ฒ ์ด์ค๋ผ์ธ
๋ณด์ 30์ํ๊ณผ ๋ณ๋๋ก, ์ฒ์ ๋ณด๋ ์ ์ด ๊ตฌ์ฑ์ ๊ฒ์ฆ ๋ฐ์ดํฐ๋ฅผ dilation, translational shear, twist(torsional shear), roll ์ ํ๋ณ๋ก 10์ํ์ฉ ์ด 40์ํ ๋ชจ์๋ค. ๋ชจ๋ ์ํ์ ๊ฐ์ 35 mm sphere indenter๋ค. ์งํ๋ ์์ธกยท์ค์ธก shear ๋ฒกํฐ์ per-taxel RMSE [px]์ ํ๊ท cosine similarity(CS)์ด๊ณ , taxel ์ ์ฒด์ ๋ํด ํ๊ท ํ๋ค.
๋ฒ ์ด์ค๋ผ์ธ ๋ ๊ฐ๋ ๊ฐ์์ ์๋ ๋ณด์ ์ ์ฐจ๋ฅผ ๋ฐ๋ฅด๋ ๊ฐ์ ์ค์ธก ๋ณด์ ๋ฐ์ดํฐ๋ก ํ๋ผ๋ฏธํฐ๋ฅผ ๋ง์ท๋ค.
- TacSL: Isaac Gym์ penalty ๊ธฐ๋ฐ force field. ๋ฌผ์ฒด SDF์ elastomer ๋๋น ์๋ ์๋๋ก grid ์ ์ ์ ์ด๋ ฅ์ ์ถ์ ํ๋ค.
- FOTS: marker ๋ณ์์ฅ์ dilation, shear, twist ์ธ ์ฑ๋ถ์ ํฉ์ผ๋ก ๋๊ณ ๋ฌผ์ฒด ์ด๋์ SE(2)๋ก ์ถ์ ํ๋ค(๋ถ๋ก A).
๊ฒฐ๊ณผ
| ๋ฐฉ๋ฒ | Dilation RMSEโ | CSโ | Shear RMSE | CS | Twist RMSE | CS | Roll RMSE | CS |
|---|---|---|---|---|---|---|---|---|
| TacSL | 2.187 | 0.323 | 4.262 | 0.126 | 4.022 | 0.157 | 3.861 | 0.137 |
| FOTS | 1.333 | 0.976 | 2.146 | 0.930 | 3.596 | 0.683 | 2.841 | 0.561 |
| HydroShear | 1.000 | 0.976 | 1.719 | 0.951 | 2.021 | 0.974 | 1.576 | 0.904 |
๋ค ์ ํ์ ๋จ์ ํ๊ท ํ๋ฉด RMSE๋ HydroShear 1.58, FOTS 2.48, TacSL 3.58์ด๊ณ CS๋ 0.951, 0.788, 0.186์ด๋ค(ํ์ ๊ณ์ฐ). ์ฝ์ ์ง์ ์ ์ธ ๊ฐ์ง๋ค.
- dilation๊ณผ translational shear์์๋ FOTS์์ ์ฐจ์ด๊ฐ ์๋ค. dilation CS๋ ๊ฐ๊ณ (๊ณต์ ํ๋ ์์ด๋ ๋น์ฐํ๋ค), shear CS๋ 0.930 vs 0.951์ด๋ค. ์ฐจ์ด๋ twist์ roll์์ ๋ฒ์ด์ง๋ค(CS 0.683 โ 0.974, 0.561 โ 0.904).
- ๋ณธ๋ฌธ ํด์๊ณผ ํ ์ฌ์ด์ ์ด๊ธ๋จ์ด ํ๋ ์๋ค. ๋ณธ๋ฌธ์ โFOTS๋ in-plane ์ด๋์์๋ ๋น์ทํ๊ณ , out-of-plane ์ฑ๋ถ์ด ์๋ tilt ์ด๋์์ ์ ํ๋๊ฐ ๋จ์ด์ง๋คโ๊ณ ์ด๋ค. ๊ทธ๋ฐ๋ฐ twist๋ ์ผ์ ๋ฒ์ ์ถ ํ์ , ์ฆ in-plane ์ด๋์ด๊ณ FOTS๊ฐ ๋ณ๋ twist ํญ์ผ๋ก ๋ชจ๋ธ๋งํ๋ ์ ํ์ธ๋ฐ๋ CS 0.683์ผ๋ก ํฌ๊ฒ ๋จ์ด์ง๋ค. Fig. 5์ FOTS twist ์ํ์ ํ์ ํจํด์ด ๊ฑฐ์ ๋ณด์ด์ง ์๋๋ค. FOTS์ ์ฝ์ ์ out-of-plane๋ง์ด ์๋๋ผ โํ์ ์ค์ฌ์ ๋ฌผ์ฒด ์์ ํ ์ ์ผ๋ก ๋๋ ๊ฒโ ์ ๋ฐ์ด๋ผ๊ณ ์ฝ๋ ํธ์ด ํ์ ๋ง๋๋ค.
- TacSL์ CS๊ฐ 0.12~0.32๋ก ๋งค์ฐ ๋ฎ๋ค. ๋ฐฉํฅ์กฐ์ฐจ ๊ฑฐ์ ๋ง์ง ์๋๋ค๋ ๋ป์ธ๋ฐ, ์ ์๋ค์ shadowing ๋ถ์ฌ๋ฅผ ์์ธ์ผ๋ก ๋ ๋ค. ๊ทธ๋ ๋ค๋ฉด ๊ฐ์ TacSL shear๋ฅผ per-taxel๋ก ์ ๊ทํํ TacSL Shear ์ ์ฑ ์ด Table II์์ 70/120์ผ๋ก ์ FOTS(41/120)๋ณด๋ค ๋๋ค๋ ๊ฒฐ๊ณผ์ ํจ๊ป ์ฝ์ด์ผ ํ๋ค. shear field ์ถฉ์ค๋์ ์ ์ฑ ์ฑ๊ณต๋ฅ ์ด ๋จ์กฐ ๊ด๊ณ๋ ์๋๋ค.

Fig. 5. ๋ณด์ ์ํ. ํ์ dilation, translational shear, twist, roll์ด๊ณ ์ด์ ์ค์ธก, HydroShear, FOTS, TacSL. ๋นจ๊ฐ ์์ sphere์ ์ ์ด patch, ์ด๋ก ํ์ดํ๋ shear field(์ค์ ํฌ๊ธฐ ์๋, ์ํ ๊ฐ ์ถ์ฒ์ ๊ฐ์). ์๋ ์ซ์๋ ์ด ์ํ ํ ๊ฐ์ RMSEยทCS๋ก, Table I ํ๊ท ๊ณผ ๋ค๋ฅด๋ค(์: dilation ์ํ์์๋ FOTS CS 0.963์ด HydroShear 0.962๋ณด๋ค ๊ทผ์ํ๊ฒ ๋๋ค).

Fig. 6. ๋ณต์กํ ๊ธฐํ(cow, ring torus)์ dilationยทshear๋ฅผ HydroShear, FOTS, TacSL๋ก ์๋ฎฌ๋ ์ด์ ํ ๊ฒฐ๊ณผ. ์ค์ธก ์ด์ด ์๋ ์ ์ฑ ๋น๊ต๋ค.
Fig. 6์ SDF ๊ธฐ๋ฐ ์ ์ํ๊ฐ ์ฌ๋ฌ ์ ์ด patch๋ฅผ ๋ค๋ฃฐ ์ ์๋ค๋ ๊ฒ์ ๋ณด์ฌ ์ฃผ๋ ค๋ ๊ทธ๋ฆผ์ด์ง๋ง, ์ค์ธก ground truth๊ฐ ์๋ค. โ๋ค๋ฅธ ๋ฐฉ๋ฒ๋ณด๋ค ํจ๊ณผ์ ์ผ๋ก ์๋ฎฌ๋ ์ด์ ํ๋คโ๋ ์บก์ ์ ์ฃผ์ฅ์ ํ์ ํ ๊ธฐ์ค์ด ๊ทธ๋ฆผ ์์ ์๋ ์ ์ด๋ค. ์ค์ ๋ก torus shear์์ FOTS์ field๋ ๋ฌผ์ฒด ์ ์ฒด๋ฅผ ํ ๋ฉ์ด๋ฆฌ๋ก ๋๊ณ , HydroShear๋ ๊ณ ๋ฆฌ ์์ชฝ ๋น ๊ณต๊ฐ์ marker๋ฅผ ๊ฑฐ์ ์์ง์ด์ง ์๋๋ฐ, ์ด๋ ์ชฝ์ด ์ค์ GelSight์ ๊ฐ๊น์ด์ง๋ ์ธก์ ๋์ง ์์๋ค. ์ ๋ ๊ฒ์ฆ์ sphere ํ๋๋ฟ์ด๋ค.

Fig. 13. ํ๋ฉด์ ๋ฐ๋(surfel ์ง๋ฆ)์ ์ํฅ. ์ผ์ชฝ: ๋ณด์ ๋ฐ์ดํฐ ๋๋น RMSEยทCS, ์ค๋ฅธ์ชฝ: ๊ณ์ฐ ์๊ฐ๊ณผ ํ๋ฉด์ ์(๋ก๊ทธ ์ถ). ๋นจ๊ฐ ์ ์ ์ด ์ฑํ๊ฐ 1.5 mm.
๊ทธ๋ฆผ์์ ์ฝ์ผ๋ฉด surfel ์ง๋ฆ์ด 5 mm๊น์ง๋ RMSEยทCS๊ฐ ๊ฑฐ์ ๊ทธ๋๋ก์ด๊ณ , 10 mm ๊ทผ์ฒ๋ถํฐ CS๊ฐ 0.9 ์๋๋ก ๋ฌด๋์ง๋ค. ๋ฐ๋๋ก 1.5 mm๋ณด๋ค ๋ ์ด์ดํ๊ฒ ๊ฐ๋ฉด ๊ณ์ฐ ์๊ฐ์ด ์ ์ด ์์ค์์ ์๋ฐฑ ์ด ์์ค์ผ๋ก ๋ด๋ค. 1.5 mm๋ ์ ํ๋ ๊ณก์ ์ ํํํ ๊ตฌ๊ฐ ๋์ ๊ฐ๊น์ด ์ ํ์ด๋ผ, 3~5 mm๋ก ํค์๋ ์ ํ๋ ์์ค์ด ์์ ๊ฐ๋ฅ์ฑ์ด ๊ทธ๋ฆผ์ ๋ณด์ธ๋ค. ์ ์๋ค์ ๊ทธ ์ง์ ์ ๋ฐ๋ก ๋ ผ์ํ์ง ์๋๋ค.
์คํ 2: Zero-shot sim-to-real RL (ยงIV-B, Table II)
์ค์ ์ ์
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ๋ก๋ด | 7-DoF Franka Emika Panda |
| ์ผ์ | GelSight Mini ํ ์(์ ์๊ฐ๋ฝ). shear ์ ์ฑ ์ dotted gel, ์ด๋ฏธ์ง ์ ์ฑ ์ non-dotted gel. ์ค์ shear๋ marker์ optical flow [px] |
| gripper | PegยทBinยทBook์ ๊ธฐ๋ณธ Franka hand, Drawer๋ grasp force๋ฅผ ๋ ์ ๋ฐํ๊ฒ ์กฐ์ ํ๋ Weiss WSG-50 |
| ์๊ฐ ํผ๋๋ฐฑ | ์์ |
| ํ๊ฐ | ๊ณผ์ ๋น ์ ์ฑ ๋ง๋ค 30ํ |
๋ณด์ ์ ์ด KUKA์ ์ ์ฑ ์ ๋๋ฆฐ Franka๋ ๋ค๋ฅธ ๋ก๋ด์ด๋ค. ๋ณด์ ์ ์ผ์๋ฅผ ํ ์ด๋ธ์ ๊ณ ์ ํ๊ณ KUKA๋ก indenter๋ฅผ ์์ง์ด๋ ๋ณ๋ ์ ์ ์์ ํ๋ค.
| ๊ณผ์ | ๋ ธ๋ฆฌ๋ ์ด๋ ค์ | ์ค์ ํ๊ฐ ์กฐ๊ฑด |
|---|---|---|
| Peg Insertion | ์ ์ ์์ธ ๋ถํ์ค์ฑ ์๋ ํ์ด ๋ง์ด ๋๋ ์ฝ์ | IndustReal ๋ณด๋, ์ํต peg. ๋ชฉํ 3๊ณณ ร ์ ์ ํ์ 10๊ฐ์ง([-30^\circ,30^\circ]) = 30ํ |
| Bin Packing | ์ฝ์ ์ค ๋ค์ค ๋ฌผ์ฒด ์ํธ์์ฉ | 15๊ฐ cube๊ฐ ๋ 4ร4 bin์ ์ง์ ์นธ์ ๋๋ฌด cube ์ฝ์ . ๋ชฉํ ์ cube 1~2๊ฐ๊ฐ ๊ฐ๋กยท์ธ๋ก๋ก ๋ฐ๋ ค ๋ชฉํ๋ฅผ ์ผ๋ถ ๋๋ ํฌ๊ฒ ๊ฐ๋ฆฐ๋ค |
| Book Shelving | ์ค๋ ฅ์ด ์ฝ์ ์ถ๊ณผ ์ง๊ตํ๋ ์ธก๋ฉด ์ฝ์ , ์๊ฐ๋ฝ๋ณด๋ค ํฐ ๋ฌผ์ฒด | ์ ์ ์์ธ๋ ์ผ์ . ์ด์ ์ฑ ์ด ํํ ์ด๋์ด๋ ๊ธฐ์ธ์์ผ๋ก ๋ชฉํ๋ฅผ ๊ฐ๋ฆฐ๋ค. ํฌ๊ธฐ๊ฐ ๋ค๋ฅธ ์ฑ ๋ค๋ก๋ ํ๊ฐ |
| Drawer Pulling | ๋ฏธ๋๋ฌ์ง ๊ฐ์ง์ gripper ํญ ์ฐ์ ์กฐ์ | 7 mm ํญ์ผ๋ก ๋์จํ๊ฒ ์ฅ๊ณ ์์, ์ต์ 4 mm๊น์ง ์กฐ์ ๊ฐ๋ฅ. ์๋ ๋ฌด๊ฒ 3์ข , ์ธ๋ ์์นยท์ง์์๊ฐ ๋ณํ. ์์ก์ด๋ฅผ ๋์น๋ฉด ์คํจ |
Peg Insertion ์ธ์๋ 30ํ๊ฐ ์ด๋ค ์กฐ๊ฑด ์กฐํฉ์ผ๋ก ๋๋์๋์ง(์ด๋ค cube ๋ฐฐ์น๋ฅผ ๋ช ๋ฒ, ์ด๋ค ์ฑ ํฌ๊ธฐ๋ฅผ ๋ช ๋ฒ, ๋ฌด๊ฒ๋ณ๋ก ๋ช ๋ฒ) ๋ ผ๋ฌธ์ ์๋ค.

Fig. 7. ๊ณผ์ ๋ณ ์๋ฎฌ๋ ์ด์ randomization. Peg: socket ์์น์ peg์ ์ ์ ์์ธ. Bin: 16์นธ ์ค ๋ชฉํ, ๋ฐ๋ฆฐ ์ ๋ยท๋ฐฉํฅ(๊ฐ๋ก/์ธ๋ก)ยท๋ฐ๋ฆฐ cube ์(1/2). Book: ์ด์ ์ฑ ์ ํํ ์ด๋ํ๊ฑฐ๋ ๊ธฐ์ธ์ฌ ๋ชฉํ๋ฅผ ๊ฐ๋ฆผ. Drawer: ์ธ๋์ ํฌ๊ธฐ์ ์์ .
๋น๊ตํ๋ ๋ค์ฏ ์ ์ฑ
๋ค์ฏ ์ ์ฑ ์ ๊ณผ์ ๋ง๋ค ๊ฐ์ teacher critic checkpoint๋ก AACD๋ฅผ ๋๋ฆฌ๊ณ , ๋คํธ์ํฌยท๊ด์ธก ๊ตฌ์ฑ(EE ์์ธ, EE-๋ชฉํ ์๋ ์์ธ, ์ด๊ฐ)์ด ๋ชจ๋ ๊ฐ๋ค. ๋ค๋ฅธ ๊ฒ์ ์ด๊ฐ ์๋ฎฌ๋ ์ดํฐ ํ๋๋ค.
| ์ ์ฑ | ์ด๊ฐ ์ ๋ ฅ | ๋น๊ณ |
|---|---|---|
| TacSL Gray | TacSL RGB ์ด๊ฐ ์ด๋ฏธ์ง๋ฅผ grayscale๋ก | ์ ์๋ค์ด ๊ฒฝํ์ ์ผ๋ก ์ ๋๋ค๊ณ ํ๋จํด grayscale ์ฌ์ฉ |
| TacSL Shear | TacSL shear๋ฅผ per-taxel unit vector๋ก ์ ๊ทํ | ์ ํ ์ฐ๊ตฌ๋ค์ ๊ดํ์ ๋ฐ๋ฆ |
| FOTS | ์ FOTS ์ ์ํ | GPU ๋ณ๋ ฌํ๋ง ์ ์๊ฐ ์๋ก ๊ตฌํ |
| FOTS (Reimpl.) | FOTS + ๊ธฐ์ค์ ์ ๋ฌผ์ฒด ์ค์ฌ ๋์ ์ด๊ธฐ ์ ์ด patch ์ค์ฌ์ผ๋ก | ์ ์ ๊ฐ๋ํ. โํจ์ฌ ๊ฐํ ๋ฒ ์ด์ค๋ผ์ธโ์ผ๋ก ์ ์ |
| HydroShear | HydroShear shear field |
FOTS ๊ณ์ด๊ณผ HydroShear์๋ ์๋ฎฌ๋ ์ด์ ์์ ์ค๋ ฅ ํจ๊ณผ augmentation์ ๋ํ๋ค(๋ถ๋ก Gravity Effect). Isaac Gym์์๋ ์ฅ ๋ฌผ์ฒด๊ฐ ๋ค๋ฅธ ๋ฌผ์ฒด์ ๋ฟ๊ธฐ ์ ๊น์ง ์ ์์์ ์์ง์ด์ง ์์ ์ค์ ์์ ์ค๋ ฅ์ด ๋ง๋๋ shear๊ฐ ์๊ธฐ์ง ์๋๋ค. ๊ทธ๋์ ํ์ฌ ์์ธ์ ๋ณํ {}^G\mathbf{X}^E๋ฅผ ๊ฐํ ์์ธ๋ก HydroShear๋ฅผ ํ ๋ฒ ๋ ๋๋ ค ์ค๋ ฅ shear \mathbf{g}_{j,t}๋ฅผ ์ป๋, ๋ค์ ์คํ ์ ์ฌ๊ท ๊ณ์ฐ์๋ ์ฐ์ง ์๋๋ค. TacSL ๋ ์ ์ฑ ์๋ ์ด augmentation์ด ์ธ๊ธ๋์ง ์๋๋ค.
๊ฒฐ๊ณผ
| ์ ์ฑ | Peg Insertion | Bin Packing | Book Shelving | Drawer Pulling | Total |
|---|---|---|---|---|---|
| TacSL Gray | 16/30 | 16/30 | 6/30 | 3/30 | 41/120 |
| TacSL Shear | 19/30 | 4/30 | 23/30 | 24/30 | 70/120 |
| FOTS | 1/30 | 5/30 | 20/30 | 15/30 | 41/120 |
| FOTS (Reimpl.) | 20/30 | 24/30 | 26/30 | 3/30 | 73/120 |
| HydroShear | 25/30 | 29/30 | 28/30 | 30/30 | 112/120 |

Fig. 18. HydroShear ์ ์ฑ ์ ์ค์ rollout keyframe. (a)~(c)๋ reset โ ์ฒซ ์ธ๋ถ ์ ์ด โ ์ ์ด์ ๋ํ ๋ฐ์(repositionยทunsquish) โ ์ฝ์ ์ฑ๊ณต, (d)๋ reset โ ์ธ๋ โ grasp ์กฐ์ (๋นจ๊ฐ ํ ๋๋ฆฌ) โ ์๋ ์ด๊ธฐ. ๊ฐ ๊ณผ์ ์๋ ์ค์ ๊ฐ์ ์์ ์ ์ค์ GelSight ์ด๋ฏธ์ง(๋ณธ๋ฌธ ์์ ์ marker ๋ณ์ ํ์ดํ๊ฐ ๊ฒน์ณ ์๋ค).
๊ณผ์ ๋ณ ํด์ (์ ์ ์ค๋ช )
- TacSL Gray๋ ์ ์ด patch๊ฐ ์๊ณ ๊ตญ์์ ์ธ PegยทBin์์๋ ์ค๊ฐ ์ฑ๋ฅ(16/30)์ด์ง๋ง, ์ฑ ์ด ์๊ฐ๋ฝ๋ณด๋ค ์ปค์ elastomer ์ ์ฒด๊ฐ ๋ฎ์ด๋ Book Shelving(6/30)๊ณผ shear์ ๋ฐฉํฅยท๋์ ยทslip ๋จ์๊ฐ ํ์ํ Drawer Pulling(3/30)์์ ๋ฌด๋์ง๋ค. ๋ถ๋ก Fig. 16์์ TacSL Gray์ ์ฑ ์ด๊ฐ ์ด๋ฏธ์ง๋ ๊ฑฐ์ ํน์ง์ด ์๋ค.
- TacSL Shear๋ ์ ๊ทํ๊ฐ ์ ์ ์์ธ ์ ๋ณด๋ฅผ ๋ณด์กดํ๋ Peg(19/30)์ slip์ด ์์ฐ์ค๋ฝ๊ฒ ๋๋ฌ๋๋ Drawer(24/30)์์๋ ๊ฐํ์ง๋ง, ๋์ patch์ ๋นํ๋ฆผ์ด ์๊ธฐ๋ Bin Packing(4/30)์์ ๋ฌด๋์ง๋ค.
- ์ FOTS๋ ๋ฌผ์ฒด ์์ ์ด ์ ์ด patch์ ๋จผ Peg(1/30)ยทBin(5/30)์์ ์คํจํ๊ณ , ๊ฐ๊น์ด Book(20/30)ยทDrawer(15/30)์์๋ ๊ด์ฐฎ๋ค.
- FOTS (Reimpl.) ์ ๊ธฐ์ค์ ์ ์ด๊ธฐ ์ ์ด patch๋ก ์ฎ๊ฒจ ์์ ์ ์ ์ด ๊ณผ์ ๋ฅผ ํฌ๊ฒ ๊ฐ์ ํ์ง๋ง(Peg 20, Bin 24, Book 26), ์ ์ด์ด ์์ฃผ ๋ฐ๋๋ Drawer(3/30)์์ ๋ฌด๋์ง๋ค.
- HydroShear๋ ๋ค ๊ณผ์ ๋ชจ๋ 25/30 ์ด์์ด๋ค.

Fig. 17. Drawer Pulling์ ๊ฐ์ ์๋ฎฌ๋ ์ด์ rollout์ ์๋ฎฌ๋ ์ดํฐ๋ณ ์ด๊ฐ์ผ๋ก ๋ณธ keyframe. ์ ์ ์ค๋ช ์ผ๋ก๋ ์์ก์ด๊ฐ ๋ฏธ๋๋ฌ์ง๊ธฐ ์์ํ ๋ค์๋ FOTS์ shear ํฌ๊ธฐ๋ ๊ณ์ ์ปค์ง๊ณ , HydroShear๋ slip์ ๋ฐ์ํ๋ค. TacSL Shear๋ ์ ๊ทํ๋ ์งง์ ํ์ดํ๋ง ๋ณด์ธ๋ค.
๋๋จธ์ง ๊ณผ์ ์ ์๋ฎฌ๋ ์ด์ rollout ๋น๊ต (Fig. 14~16)

Fig. 14. Peg Insertion์ ๊ฐ์ rollout์ ๋ํ ์๋ฎฌ๋ ์ดํฐ๋ณ ์ด๊ฐ keyframe.

Fig. 15. Bin Packing์ ๊ฐ์ rollout์ ๋ํ ์๋ฎฌ๋ ์ดํฐ๋ณ ์ด๊ฐ keyframe.

Fig. 16. Book Shelving์ ๊ฐ์ rollout์ ๋ํ ์๋ฎฌ๋ ์ดํฐ๋ณ ์ด๊ฐ keyframe. TacSL Gray ์ด๋ฏธ์ง๋ ์ฑ ์ด elastomer ์ ์ฒด๋ฅผ ๋ฎ์ด ํน์ง์ด ๊ฑฐ์ ์๋ค.
์ฑ๊ณต๊น์ง ๊ฑธ๋ฆฐ ์๊ฐ (๋ถ๋ก Table IX)
| ์ ์ฑ | Peg Insertion | Bin Packing | Book Shelving | Drawer Pulling |
|---|---|---|---|---|
| TacSL Gray | 76.9 / 74.0 | 96.9 / 89.5 | 178.2 / 176.5 | 63.7 / 63.0 |
| TacSL Shear | 87.1 / 81.0 | 97.7 / 91.0 | 99.4 / 93.0 | 155.6 / 125.0 |
| FOTS | 197.0 / 197.0 | 237.6 / 213.0 | 158.2 / 163.0 | 96.8 / 90.0 |
| FOTS (Reimpl.) | 74.9 / 73.5 | 169.2 / 148.5 | 126.7 / 114.0 | 75.7 / 72.0 |
| HydroShear | 85.2 / 82.0 | 108.8 / 86.0 | 180.2 / 182.5 | 120.6 / 116.5 |
HydroShear๋ ์ด๋ ๊ณผ์ ์์๋ ๊ฐ์ฅ ๋น ๋ฅด์ง ์๊ณ , Book Shelving์์๋ ์ฑ๊ณตํ ์ ์ฑ ์ค ๊ฐ์ฅ ๋๋ฆฌ๋ค(180.2). ์ฑ๊ณตํ episode๋ง ํ๊ท ํ ๊ฐ์ด๋ผ ํด์์ ์ฃผ์๊ฐ ํ์ํ๋ค. ์ FOTS Peg์ 197.0/197.0์ ์ฑ๊ณต 1ํ์ ๊ฐ์ด๊ณ , TacSL Gray Drawer 63.7์ ์ฑ๊ณต 3ํ์ ๊ฐ์ด๋ค. ๋ ์ด๋ ค์ด ์ด๊ธฐ ์กฐ๊ฑด๊น์ง ์ฑ๊ณตํ๋ ์ ์ฑ ์ผ์๋ก ํ๊ท ์๊ฐ์ด ๋์ด๋๋ ์ ํ ํจ๊ณผ๊ฐ ์์ผ๋ฏ๋ก, ์ด ํ๋ โHydroShear ์ ์ฑ ์ด ๋๋ฆฌ๋คโ๋ณด๋ค โ์ฑ๊ณต๋ฅ ์ฐ์๊ฐ ์๋ ์ฐ์๋ก ์ด์ด์ง์ง๋ ์๋๋คโ ์ ๋๋ก ์ฝ๋ ๊ฒ์ด ๋ง๋ค. timestep์ ์ค์ ์๊ฐ ๊ธธ์ด(์ ์ด ์ฃผ๊ธฐ)๋ ๋ ผ๋ฌธ์ ์๋ค.
Student ํ์ต ๊ณก์ (๋ถ๋ก Fig. 9~12)

Fig. 9~12๋ฅผ 2ร2๋ก ํฉ์ฑ. ์ผ์ชฝ ์ Peg Insertion(Fig. 9), ์ค๋ฅธ์ชฝ ์ Bin Packing(Fig. 10), ์ผ์ชฝ ์๋ Book Shelving(Fig. 11), ์ค๋ฅธ์ชฝ ์๋ Drawer Pulling(Fig. 12). ์๋ฎฌ๋ ์ด์ ์์ student ์ฑ๊ณต๋ฅ ์ด๋ค.
๋ถ๋ก์ ์ด ๊ณก์ ๋ค์ด ๋ฐฉ๋ฒ ๊ฐ์ โon parโ๋ผ๊ณ ์์ฝํ์ง๋ง, ๊ณผ์ ๋ณ๋ก ๋ณด๋ฉด ๊ทธ๋ ์ง ์์ ๊ณณ์ด ์๊ณ ๊ทธ ์ฐจ์ด๊ฐ Table II์ ํด์์ ๋ฐ๊พผ๋ค.
- Drawer Pulling์ FOTS (Reimpl.)์ ์๋ฎฌ๋ ์ด์ ์์ ํ์ต ์์ฒด๊ฐ ์ ๋๋ค. ์ฑ๊ณต๋ฅ ์ด 40M step ๋ด๋ด 0.01 ๊ทผ์ฒ๋ค(๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ). ์ค์ 3/30์ sim-to-real gap์ด ์๋๋ผ ํ์ต ์คํจ์ ๊ฒฐ๊ณผ๋ค. ๋ณธ๋ฌธ์ ์ด 3/30์ โ๋จ์ผ ๊ธฐ์ค patch ๊ฐ์ ์ด ์ ์ด ์ ํยทslipยท์ธ๋์์ ๊นจ์ง๋คโ๋ sim-to-real ์คํจ๋ก ์ค๋ช ํ๋๋ฐ, ํ์ต ๊ณก์ ์ด ๋ณด์ฌ ์ฃผ๋ ๊ฒ์ ๊ทธ ๊ฐ์ ์ด ์๋ฎฌ๋ ์ด์ ์์์๋ถํฐ ํ์ต์ ๋ง์๋ค๋ ๊ฒ์ด๋ค.
- ๊ฐ์ ๊ณผ์ ์ ์ FOTS ๊ณก์ ์ ์ฝ 13M step, ์ฑ๊ณต๋ฅ ์ฝ 0.27์์ ๋๊ธด๋ค. TacSL Shear๋ ์ฝ 0.8๊น์ง ์ฌ๋๋ค๊ฐ 40M์์ ์ฝ 0.43์ผ๋ก ๋ด๋ ค๊ฐ๋ค. ๊ทธ๋ฐ๋ฐ ์ค์ ์ฑ๊ณต์ ๊ฐ๊ฐ 15/30(50%), 24/30(80%)๋ก ์๋ฎฌ๋ ์ด์ ์ข ์ ๋ณด๋ค ๋๋ค. ์ด๋ checkpoint๋ฅผ ๋ฐฐํฌํ๋์ง ๋ ผ๋ฌธ์ ์๊ณ , ์ค์ Drawer ํ๊ฐ๊ฐ ์๋ฎฌ๋ ์ด์ randomization๋ณด๋ค ์ฌ์ ์ ๊ฐ๋ฅ์ฑ๋ ๋ฐฐ์ ๋์ง ์๋๋ค.
- TacSL Gray๋ ๋ฐ๋๋ค. Drawer ์๋ฎฌ๋ ์ด์ ์์ ์ฝ 0.96์ผ๋ก HydroShear์ ๊ฐ์ ์์ค์ธ๋ฐ ์ค์ ๋ 3/30์ด๋ค. ์ด๊ฒ์ ์ง์ง sim-to-real gap์ด๋ค. Bin Packing์ TacSL Shear๋ ์๋ฎฌ๋ ์ด์ ์ฝ 0.93 โ ์ค์ 4/30์ผ๋ก ๊ฐ์ ๋ถ๋ฅ๋ค.
- Peg Insertion์์๋ HydroShear(์ฝ 0.88)๊ฐ TacSL ShearยทFOTS (Reimpl.)(์ฝ 0.90)์ ๋น์ทํ๊ณ , TacSL Gray๋ ์ฝ 0.70์ด๋ค.
- Book Shelving ๊ณก์ ์๋ teacher ๊ณก์ (Fig. 8)๊ณผ ๊ฐ์ ๋น ์โ์ฑ์ด ์ ํ์์ ๊ธ๋ฝ์ด ๋ฐฉ๋ฒ๋ง๋ค ๋ค๋ฅธ ์์ ์ ์๋ค. student๋ ์ด๋ฏธ fine-tuning๋ teacher critic ํ๋๋ก ํ์ตํ๋ค๊ณ ํ์ผ๋ฏ๋ก ์ด ๊ธ๋ฝ์ด ๋ฌด์์ธ์ง ๋ณธ๋ฌธ์ ์ค๋ช ์ด ์๋ค.
์ ๋ฆฌํ๋ฉด, โstudent๋ค์ด ์๋ฎฌ๋ ์ด์ ์์๋ ๋น์ทํ์ง๋ง ์ค์ ์์ ๊ฐ๋ฆฐ๋คโ๋ ์์ฌ๋ Bin Packing์ TacSL Shear, BookยทDrawer์ TacSL Gray์๋ ๋ง๊ณ , Drawer Pulling์ FOTS ๋ ์ ์ฑ ์๋ ๋ง์ง ์๋๋ค.
Contact penalty ablation
์ ์๋ค์ contact penalty๋ก fine-tuningํ teacher๊ฐ student์ ์ค์ ํ๋์ ํฌ๊ฒ ๊ฐ์ ํ๋ค๊ณ ๋ณด๊ณ ํ๋ค. penalty ์์ด ํ์ตํ Peg Insertion ์ ์ฑ ์ socket๊ณผ ์ง๋์น๊ฒ ์ธ๊ฒ ๋ถ๋ชํ๊ณ ๊ฐ์ ๋ฐ์์ ๋ฐ๋ณตํด GelSight Mini์ elastomer๋ฅผ ์์์์ผฐ๊ณ , penalty ์ปค๋ฆฌํ๋ผ์ ์ฐ๋ฉด ํต์ ๋ ์ ์ด๊ณผ emergentํ ๋ชฉํ ํ์ ํ๋์ด ๋์๋ค๋ ๊ฒ์ด๋ค. ์ด ablation์ ์ ์ฑ ์์ ๋ฟ์ด๊ณ ์ฑ๊ณต๋ฅ ์ด๋ ์ ์ด๋ ฅ ์์น๋ ์๋ค.
์คํ 3: ๊ณ์ฐ ์๋ (๋ถ๋ก, Table XI)
Peg Insertion teacher rollout์์ shear field๋ฅผ ๊ณ์ฐํ๋ ๋ฐ ๊ฑธ๋ฆฐ ์๊ฐ์ ํ๊ฒฝ ์๋ณ๋ก ์๋ค.
| ๋ฐฉ๋ฒ | 256 env ํ๊ท (std) | 512 env | 1024 env |
|---|---|---|---|
| FOTS | 122.829 (3.445) | 230.884 (6.360) | 446.656 (4.028) |
| FOTS (Reimpl.) | 11.145 (1.826) | 11.827 (1.621) | 12.040 (1.593) |
| HydroShear | 33.805 (1.505) | 57.042 (1.787) | 103.736 (1.569) |
HydroShear๋ ์ FOTS๋ณด๋ค 3.6~4.3๋ฐฐ ๋น ๋ฅด์ง๋ง, ์ ์๋ค์ด ๋ณ๋ ฌํํ FOTS๋ณด๋ค๋ 256 env์์ 3.0๋ฐฐ, 1024 env์์ 8.6๋ฐฐ ๋๋ฆฌ๋ค(ํ์ ๊ณ์ฐ). FOTS (Reimpl.)์ ํ๊ฒฝ ์๊ฐ 4๋ฐฐ๊ฐ ๋ผ๋ ์ฝ 1 ms๋ง ๋์ด๋๋ ๋ฐ๋ฉด HydroShear๋ ๊ฑฐ์ ์ ํ์ผ๋ก ๋์ด๋๋ค. ์ ์๋ค์ ์ด ์ฆ๊ฐ๊ฐ batched SDF ๊ณ์ฐ์์ ์จ๋ค๊ณ ๋ณด๊ณ , ๋ช ๋ชฉ ๋ณต์ก๋๋ฅผ FOTS์ O(N) ๋๋น O(N\times|K_t|)๋ก ์ ๋๋ค. ์ด๋ก์ โcomputationally efficientโ๋ ์ FOTS๋ FEM๊ณผ ๋น๊ตํ ๋์ ํํ์ด๊ณ , ๊ฐ์ ์กฐ๊ฑด์ ๋ณ๋ ฌ ๊ตฌํ๋ผ๋ฆฌ ๋น๊ตํ๋ฉด HydroShear๊ฐ ๋ ๋น์ธ๋ค. 1024 env์์ ์คํ ๋ง๋ค ์ฝ 0.1 s๊ฐ ์ถ๊ฐ๋๋ ์ ์ธ๋ฐ, ์ด๊ฒ์ด PPO ํ์ต ์ ์ฒด wall-clock์์ ์ด๋ ์ ๋ ๋น์ค์ธ์ง๋ ๋ณด๊ณ ๋์ง ์๋๋ค.
ํค๋๋ผ์ธ ์์น ๊ฒ์ฐ
์ด๋ก๊ณผ ์๋ก ์ ์์น๋ฅผ Table II๋ก ๋๊ณ์ฐํ๋ค.
| ๋ฌธ์ฅ | ์ถ์ฒ | Table II๋ก ๊ณ์ฐํ ๊ฐ | ํ์ |
|---|---|---|---|
| โ93% average success rateโ | ์ด๋ก | 112/120 = 93.3% | ์ผ์น |
| โtactile images (34%)โ | ์ด๋ก | TacSL Gray 41/120 = 34.2% | ์ผ์น. ๋จ ์ FOTS shear ์ ์ฑ ๋ 41/120 = 34.2% |
| โalternative shear simulation methods (58%โ61%)โ | ์ด๋ก | TacSL Shear 58.3%, FOTS (Reimpl.) 60.8% | ๋ฒ์์์ ์ FOTS(34.2%)๊ฐ ๋น ์ ธ ์๋ค |
| โ32% increase compared to the best performing baselineโ | ยงI | 93.3 โ 60.8 = 32.5 %p | percentage point๋ค. ์๋ ์ฆ๊ฐ์จ๋ก๋ 53.4% |
์ด๋ก์ โ์ด๋ฏธ์ง 34% vs shear ์๋ฎฌ๋ ์ดํฐ 58~61%โ ๊ตฌ๋๋ โ์ด๋ฏธ์ง ์ ์ฑ < shear ์ ์ฑ โ์ผ๋ก ์ฝํ์ง๋ง, ์ FOTS shear ์ ์ฑ ์ ์ด๋ฏธ์ง ์ ์ฑ ๊ณผ ์ ํํ ๊ฐ์ 41/120์ด๋ค. shear๋ผ๋ ๊ด์ธก ํ์์ด ์๋๋ผ shear๋ฅผ ์ด๋ป๊ฒ ์๋ฎฌ๋ ์ด์ ํ๋๋๊ฐ ๊ฒฐ์ ์ ์ด๋ผ๋ ๊ฒ์ด ์ด ๋ ผ๋ฌธ์ ์ฃผ์ฅ์ด๋ฏ๋ก, ์คํ๋ ค ์ FOTS๋ฅผ ๋ฒ์์ ๋ฃ๋ ํธ์ด ๋ ผ์ง๋ฅผ ๋ ์ ๋ฐ์น๋ค.
โ32%โ ๊ฒฉ์ฐจ์ ๊ตฌ์ฑ๋ ๋ณผ ํ์๊ฐ ์๋ค. ๋ฒ ์ด์ค๋ผ์ธ ํฉ๊ณ 1์์ธ FOTS (Reimpl.)์ 73/120์๋ ์๋ฎฌ๋ ์ด์ ์์ ํ์ต์ด ์ ๋ Drawer 3/30์ด ๋ค์ด ์๋ค. ๋ช ๊ฐ์ง ๋ค๋ฅธ ๊ธฐ์ค์ผ๋ก ๋ค์ ๊ณ์ฐํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค(๋ชจ๋ ํ์ ๊ณ์ฐ).
| ๋น๊ต ๊ธฐ์ค | HydroShear | ๋ฒ ์ด์ค๋ผ์ธ | ์ฐจ์ด |
|---|---|---|---|
| ํฉ๊ณ 1์ ๋ฒ ์ด์ค๋ผ์ธ FOTS (Reimpl.), 4๊ณผ์ | 112/120 (93.3%) | 73/120 (60.8%) | 32.5 %p |
| ๊ฐ์ ๋น๊ต์์ Drawer ์ ์ธ, 3๊ณผ์ | 82/90 (91.1%) | 70/90 (77.8%) | 13.3 %p |
| ๊ณผ์ ๋ง๋ค ๊ทธ ๊ณผ์ ์ ์ต๊ณ ๋ฒ ์ด์ค๋ผ์ธ์ ๊ณ ๋ฅธ ํฉ์ฑ ์ค๋ผํด(20+24+26+24) | 112/120 (93.3%) | 94/120 (78.3%) | 15.0 %p |
๊ณผ์ ๋ง๋ค ๊ฐ์ฅ ์ํ ๋ฒ ์ด์ค๋ผ์ธ๊ณผ ์ผ๋์ผ๋ก ๋น๊ตํ๋ฉด, 30ํ ํ๋ณธ์์ ์ฐจ์ด๊ฐ ํต๊ณ์ ์ผ๋ก ๋๋ ทํ ๊ฒ์ Drawer Pulling ํ๋๋ค.
| ๊ณผ์ | HydroShear | ๊ทธ ๊ณผ์ ์ ์ต๊ณ ๋ฒ ์ด์ค๋ผ์ธ | Fisher exact ์์ธก p |
|---|---|---|---|
| Peg Insertion | 25/30 (95% CI 66~93%) | FOTS (Reimpl.) 20/30 (49~81%) | 0.23 |
| Bin Packing | 29/30 (83~99%) | FOTS (Reimpl.) 24/30 (63~91%) | 0.10 |
| Book Shelving | 28/30 (79~98%) | FOTS (Reimpl.) 26/30 (70~95%) | 0.67 |
| Drawer Pulling | 30/30 (89~100%) | TacSL Shear 24/30 (63~91%) | 0.024 |
HydroShear๊ฐ ๋ค ๊ณผ์ ๋ชจ๋์์ ์ต๊ณ ์ด๊ณ ์ด๋ ๊ณผ์ ์์๋ ๋ฌด๋์ง์ง ์๋๋ค๋ ๊ฒ์ด ์ด ์คํ์ ๊ฐ์ฅ ๋จ๋จํ ๊ฒฐ๊ณผ๋ค. ๋ฒ ์ด์ค๋ผ์ธ์ ๋ชจ๋ ์ ์ด๋ ํ ๊ณผ์ ์์ 30ํ ์ค 6ํ ์ดํ๋ก ๋ฌด๋์ง๋ค. ๋ฐ๋ฉด โ๊ณผ์ X์์ HydroShear๊ฐ ์ต์ ์ ๋์๋ณด๋ค ๋ซ๋คโ๋ ๊ณผ์ ๋ณ ์ฃผ์ฅ์ Drawer ์ธ์๋ ์ด ํ๋ณธ ํฌ๊ธฐ๋ก ํ์ ๋์ง ์๋๋ค. ์๋ ์๋ ๋ฐ๋ณต ํ์ต์ ๋ํ ์ธ๊ธ๋ ์์ด, ๊ฐ ์นธ์ด ์ ์ฑ ํ๋๋ฅผ 30ํ ๋๋ฆฐ ๊ฒฐ๊ณผ๋ก ๋ณด์ธ๋ค.
์ ์๊ฐ ๋ฐํ ํ๊ณ (ยงV)
- ๋ฌผ๋ฆฌ ์์ง์ด ์นจํฌ๋ฅผ ํ์ฉํ๋ ์ ์ด์ ์ง์ํด์ผ ํ๋ค. ์ด ๋ ผ๋ฌธ์ Isaac Gym TacSL์ Kelvin-Voigt compliant contact ๊ตฌํ์ ์์กดํ๋ค. hydroelastic ์ ์ด์ ๊ธฐ๋ณธ ์ง์ํ๋ ์์ง์ผ๋ก ํ์ฅํ๋ ๊ฒ์ด ํฅํ ๊ณผ์ ๋ค.
- SDF ํด์๋๋ฅผ ๋์ด๋ฉด ์ ํ๋๊ฐ ์ค๋ฅด์ง๋ง ์ถ์ ํ ์ ์ด ๋์ด ๋๋ ค์ง๋ค. SDF๋ rigid body์ ํนํ ์ ํฉํ๊ณ , ๋ณํ์ฒด๋ ๋ค๋ฅธ ํํ๊ณผ ์ถ์ ยทํ ๊ณ์ฐ ์๊ณ ๋ฆฌ์ฆ์ด ํ์ํ๋ค.
- elastomer๊ฐ ํํํ๋ค๊ณ ๊ฐ์ ํ๋ค. dexterous hand ์๋์ ๊ณก๋ฉด elastomer๋ก์ ํ์ฅ์ ํฅํ ๊ณผ์ ๋ค.
- ๋ณํ ๋จ์์ ์์กดํ๋ vision-based ์ด๊ฐ ์ผ์์ ํจ๊ณผ์ ์ด๋ฉฐ, ๋ค๋ฅธ ์ด๊ฐ ์ผ์๋ก์ ํ์ฅ์ ํ๊ฐ ๋ฒ์ ๋ฐ์ด๋ค.
๊ณต๊ฐ ์ฝ๋์ ๋์กฐ (์ ์ ํ์ธ)
๊ณต์ ์ฝ๋(MIT)๋ฅผ ์ฝ์ด ๋ ผ๋ฌธ๊ณผ ๋ง์ถฐ ๋ณธ ๊ฒฐ๊ณผ๋ค. ํ์ต์ด๋ ์๋ฎฌ๋ ์ด์ ์ ๋๋ฆฌ์ง ์์๋ค.
- ํต์ฌ์ ๋ ๋ฉ์๋๋ค. ๊ฒฝ๋ก ์์กด ํ ์ถ์ (Coulomb clipping๊ณผ ์ ์ด ์ดํ reset ํฌํจ)๊ณผ marker shear ๊ณ์ฐ์ด ๊ฐ๊ฐ ํ ํจ์์ ๋ค์ด ์๊ณ , dilation์ ๋ณ๋ ๊ตฌ๊ฐ์ด๋ค. ์ผ์ ํด๋์ค๋ ์ ํ ์ฐ๊ตฌ(FOTS)์ ์ด๋ฆ์ ๊ทธ๋๋ก ์ด๋ค.
- Eq. 6์ ๋ถํธ์ 0/0. ์์ ๋ฌธ์ ๊ทธ๋๋ก ๊ณ์ฐํ๋ฉด ๋ ์์ ๋ชจ๋ elastomer ์์ผ ๋ \alpha=-1์ด ๋์จ๋ค. ์ฝ๋๋ \alpha์ ๋ณ์ ๋ฐฉํฅ์ ํจ๊ป ๋ค์ง์ด ๊ฒฐ๊ณผ \mathbf{d}๋ ๊ฐ๋ค. ๋ค๋ง SDF ๊ฐ์ด ๋ณํ์ง ์๋ ์์ ์ ์ ๋ฏธ๋๋ผ(ํํํ elastomer์์ shear๊ฐ ์๊ธฐ๋ ๋ฐ๋ก ๊ทธ ๊ฒฝ์ฐ)์ Eq. 6์ด 0/0์ด ๋๋๋ฐ, ์ฝ๋๋ โ์์ด๋ฉด 1, ๋ฐ์ด๋ฉด 0โ์ผ๋ก ๋ฉ์ด๋ค. ๋ ผ๋ฌธ์๋ ์ด ๊ท์น์ด ์๋ค.
- ๋จ์ผ tracker ๋จ์ํ(E=K=A=1). ์ถ์ ๋๋ ๊ฐ์ ์ฌ์ค์ ๋ฏธํฐ ๋จ์ ๋ณ์๋ค.
- ๋ณด์ ๊ฐ์ ์ค์ ํ์ผ์๋ง ์๋ค. ๋ ผ๋ฌธ์ด ์ฃ์ง ์์ \mu, \lambda_d, \lambda_s, K๊ฐ sensor yaml์ ์๊ณ (์๋ ๋นํ 4๋ฒ), Drawer ๊ณผ์ ๋ \mu์ \lambda_s๋ฅผ ๋ฐ๋ก ๋ฎ์ด์ด๋ค. ๋ณด์ ์ฝ๋์ ์ค์ธก ๋ฐ์ดํฐ๋ ๊ณต๊ฐ๋ผ ์์ง ์๋ค.
- AACD๋ ๋ณ๋ distillation loss๊ฐ ์๋๋ค. student๊ฐ teacher์ critic(๊ฐ์ค์น, optimizer, ํ์ต๋ฅ , ์ ๊ทํ ํต๊ณ)๋ง ๋ถ๋ฌ์ค๋ PPO๋ค.
- ๋ ผ๋ฌธ ํ์ ์ค์ ์ด ๋ค๋ฅธ ๊ณณ. peg์ stage 2 \lambda_{\text{contact}}์ \alpha_{\text{centered}}, student์ ํ์ต๋ฅ ยทminibatch, ํ๋ ์ฐจ์(gain์ ์ ์ฑ ์ด ์ถ๋ ฅํ์ง ์๊ณ ๋ฌด์์ํ), ์ด๊ฐ ๊ด์ธก ์ฑ๋ ์๊ฐ ๋ ผ๋ฌธ Table๊ณผ ๋ค๋ฅด๋ค. README์ ์ผ๋ถ ๋ช ๋ น์ ๊ทธ๋๋ก๋ ์ค์ ์กฐํฉ์ ์คํจํ๋ค.
- ๊ณต๊ฐ ๋ฒ์. 4๊ฐ ๊ณผ์ ํ๊ฒฝ, teacher ํ์ต, student, ๋ฒ ์ด์ค๋ผ์ธ(TacSL, FOTS)์ ์๋ค. ์ค๋ก๋ด ๋ฐฐํฌ, Table IยทXI ํ๊ฐ ์คํฌ๋ฆฝํธ, ๋ณด์ ์ ์ฐจ๋ ์๋ค. ์ฒดํฌํฌ์ธํธ๋ peg insertion์ teacher์ student๋ฟ์ด๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- shear๋ฅผ ์ด๋ ฅ์ ํจ์๋ก ์ ์ํ ๊ฒ ์์ฒด๊ฐ ๊ธฐ์ฌ๋ค. stick, slip, hysteresis, ๋ฆฌ์ ์ด โ๋ณ์ ๋์ + Coulomb clipping + Heavisideโ ์ธ ์ค์์ ํจ๊ป ๋์ค๊ณ , ๋ณ๋์ ์ํ ๊ธฐ๊ณ๋ ํ์ ๊ท์น์ด ์๋ค. ํ๋ฉด์ ๋จ์๋ผ SE(3) ํ์ ๊ณผ rolling๋ ๋ฐ๋ก ๋ชจ๋ธ๋งํ์ง ์๊ณ ์์ฐ์ค๋ฝ๊ฒ ๋ค์ด์จ๋ค. ํ๋ผ๋ฏธํฐ๊ฐ 4๊ฐ๋ฟ์ด๋ผ ๋ณด์ ์ด ๊ฐ๋ณ๋ค.
- ๋ฒ ์ด์ค๋ผ์ธ์ ์ฑ์คํ๊ฒ ๊ฐํํ๋ค. ์ FOTS๋ฅผ GPU ๋ณ๋ ฌ๋ก ๋ค์ ๊ตฌํํ์ ๋ฟ ์๋๋ผ ๊ธฐ์ค์ ๋ฌธ์ ๋ฅผ ๊ณ ์น ๊ฐ๋ํ๊น์ง ๋ง๋ค์ด ๋น๊ตํ๋ค. ๊ฐ๋ํ์ด ์ํ๋ณด๋ค 32ํ ๋ ์ฑ๊ณต(41 โ 73)ํ๋ค๋ ๊ฒ์ ๊ทธ๋งํผ ๊ฐํ ๋ฒ ์ด์ค๋ผ์ธ์ด๋ผ๋ ๋ป์ด๊ณ , ๊ทธ๊ฒ์ ๋์๋ค๋ ์ ์์ ๊ฒฐ๊ณผ์ ๋ฌด๊ฒ๊ฐ ์ปค์ง๋ค.
- ๋น๊ต์ ํต์ ๊ฐ ๊น๋ํ๋ค. ๊ณผ์ ๋ง๋ค teacher critic์ ํ๋๋ก ๊ณ ์ ํ๊ณ ๋คํธ์ํฌยท๊ด์ธก์ ๋ง์ถฐ โ์ด๊ฐ ์๋ฎฌ๋ ์ดํฐ๋ง ๋ฐ๊พผโ ๋น๊ต๊ฐ ๋๋ค.
- ๊ณผ์ ์ค๊ณ๊ฐ ๊ฐ ์คํจ ๋ชจ๋๋ฅผ ๊ฒจ๋ฅํ๋ค. ์ ์ ์์ธ(Peg), ๋ค์ค ์ ์ด(Bin), ์ ๋ฉด ์ ์ด(Book), slip(Drawer)์ด ๊ฐ๊ฐ ๋ค๋ฅธ ๋ฒ ์ด์ค๋ผ์ธ์ ์ฝ์ ์ ๋๋ฌ๋ด๊ณ , Table II์ ํจํด์ด ๊ทธ ์ค๊ณ ์๋์ ๊ฑฐ์ ๊ทธ๋๋ก ๋ง์๋จ์ด์ง๋ค.
- ์๊ธฐ ๋ฐฉ๋ฒ์ ๋ถ๋ฆฌํ ๊ฒฐ๊ณผ๋ฅผ ์จ๊ธฐ์ง ์์๋ค. ๋ณ๋ ฌ FOTS๋ณด๋ค ๋๋ฆฌ๋ค๋ ์๋ํ, ์ฑ๊ณต๊น์ง ์๊ฐ์ด ๊ฐ์ฅ ๋น ๋ฅด์ง ์๋ค๋ Table IX, ์๋ฎฌ๋ ์ด์ ํ์ต ๊ณก์ ์ด ๋น์ทํ๋ค๋ ์์ ์ ๋ชจ๋ ๋ถ๋ก์ ์ค์๋ค.
- ์ฝ๋๊ฐ MIT ๋ผ์ด์ ์ค๋ก ๊ณต๊ฐ๋ผ ์๋ค(์ โ๊ณต๊ฐ ์ฝ๋์ ๋์กฐโ ์ ).
์ฝ์ ยทํ๊ณ
- Table II์ ๊ฒฉ์ฐจ๋ ๊ณผ์ ๋ณ๋ก ๋ณด๋ฉด ํ๋ณธ ํฌ๊ธฐ ์์ ์๋ค. ๊ณผ์ ๋น 30ํ, ์ ์ฑ 1๊ฐ(์๋ ์ธ๊ธ ์์)๋ก๋ PegยทBinยทBook์์ HydroShear์ ์ต๊ณ ๋ฒ ์ด์ค๋ผ์ธ์ ์ฐจ์ด๊ฐ ์ ์ํ์ง ์๋ค(p = 0.23, 0.10, 0.67). ํค๋๋ผ์ธ 32.5 %p ์ค ์ ๋ฐ ์ด์์ Drawer ํ ๊ณผ์ ์์ ๋์ค๊ณ , ๊ทธ ๊ณผ์ ์ ๋น๊ต ์๋ FOTS (Reimpl.)์ ์๋ฎฌ๋ ์ด์ ์์ ํ์ตํ์ง ๋ชปํ ์ ์ฑ ์ด๋ค. ๊ณผ์ ๋น ์ฌ๋ฌ ์๋์ ๋ ๋ง์ trial์ด ์์๋ค๋ฉด ์ฃผ์ฅ์ด ํจ์ฌ ๋จ๋จํด์ก์ ๊ฒ์ด๋ค.
- โsim-to-real gapโ๊ณผ โ์๋ฎฌ๋ ์ด์ ํ์ต ์คํจโ๊ฐ ๊ตฌ๋ถ๋์ง ์๋๋ค. ๋ถ๋ก Fig. 12๋ Drawer์ FOTS (Reimpl.)์ด ์๋ฎฌ๋ ์ด์ ์์ ๊ฑฐ์ 0์ด๋ผ๋ ๊ฒ์ ๋ณด์ฌ ์ฃผ๋๋ฐ, ๋ณธ๋ฌธ์ ๊ทธ ์ค์ 3/30์ sim-to-real ์คํจ๋ก ์ค๋ช ํ๋ค. ๋ฐฐํฌ checkpoint ์ ํ ๊ธฐ์ค๋ ์์ด์, ์๋ฎฌ๋ ์ด์ ์ข ์ ๋ณด๋ค ์ค์ ์ฑ๊ณต๋ฅ ์ด ๋์ ์ ์ฑ (์ FOTS, TacSL Shear์ Drawer)์ ํด์ํ ๊ทผ๊ฑฐ๊ฐ ์๋ค. ํ์ ์๋ฎฌ๋ ์ด์ ์ฑ๊ณต๋ฅ ์ด์ ํจ๊ป ๋์๋ค๋ฉด gap์ ์ง์ ์ฝ์ ์ ์์๋ค.
- shear ์ถฉ์ค๋ ๊ฒ์ฆ์ด sphere ํ๋๋ฟ์ด๋ค. Table I์ 70์ํ(๋ณด์ 30 + ๊ฒ์ฆ 40)์ ๋ชจ๋ 35 mm sphere๋ค. ์ ์ฑ ๊ณผ์ ์ peg, cube, ์ฑ , ์์ก์ด๋ ํ๋ฉด ๋ชจ์๋ฆฌ์ ๋์ ๋ฉด ์ ์ด์ด ํต์ฌ์ธ๋ฐ, ๊ทธ ๊ธฐํ์์ shear ์ ํ๋๋ฅผ ์ฐ ์ค์ธก์ ์๋ค. Fig. 6์ cowยทtorus๋ ์ค์ธก ์ด์ด ์๋ ์๋ฎฌ๋ ์ดํฐ ๊ฐ ๋น๊ต๋ผ โ๋ ์ ํํ๋คโ๋ ํ์ ์ ๋ด๋ฆด ์ ์๋ค.
- ๋ณด์ ๊ฒฐ๊ณผ์ ๋ณด์ ์ ์ฐจ๊ฐ ์์ ํ ๋ณด๊ณ ๋์ง ์์๋ค. ๋ณด์ ๋ (\lambda_d,\lambda_s,K,\mu) ๊ฐ์ด ์๊ณ , \lambda_s์ K๋ฅผ ๋ฐ๋ก ๋ง์ถ๋์ง ํจ๊ป ๋ง์ถ๋์ง๊ฐ ยงIII-Cยท๋ถ๋ก๊ณผ ยงIV-A์์ ๋ค๋ฅด๊ฒ ์ ํ ์๋ค. ๋ณด์ ๋ฐ์ดํฐ๊ฐ ๊ฐ 10์ํ๋ก ์์๋ฐ, ๋ณด์ ๊ฐ์ ๋ถ์ฐ์ด๋ ์ผ์ ๊ฐ์ฒด ๊ฐ ์ฐจ์ด๋ ๋ค๋ฃจ์ง ์๋๋ค.
- ๋ชจ๋ธ ๊ฐ์ ์ด ๊ฐํ๊ณ ๊ทธ ์ํฅ์ด ์ธก์ ๋์ง ์์๋ค. E=K(๋ฒ์ ยท์ ์ ๊ฐ์ฑ ๋์ผ), ํ๋ฉด์ ๋ฉด์ ๊ท ์ผ, ํํํ elastomer, ๊ฐ์ฑ์ ์ ํ์ฑ์ด ๋ชจ๋ ๊ฐ์ ์ด๋ค. ๋จ์ผ ์ถ์ ๊ธฐ๋ก ์ค์ด๋ E=K ๊ฐ์ ์ ๊ณ์ฐ์ ๋ฐ์ผ๋ก ์ค์ด์ง๋ง, ์ด ๊ฐ์ ์ ํ์์ ๋ ์ ํ๋๊ฐ ์ผ๋ง๋ ๋ฌ๋ผ์ง๋์ง๋ ์๋ค. ์ ์๋ค์ด ์๊ฐ์์ โhydroelastic pressure field ๋ชจ๋ธ์ ํ์ฅโ์ด๋ผ ๋ถ๋ฅด์ง๋ง ์ค์ ์์ ์ ๋จ์ ์ ํ ์คํ๋ง ๋์ ์ด๋ผ๋ ์ ๋ ๋ ์๊ฐ ์๊ณ ์ฝ์ ํ์๊ฐ ์๋ค.
- ์ ํ๊ธฐ์ ์ผ๊ด์ฑ ๋ฌธ์ ๊ฐ ์๋ค. \alpha^d ์ค๊ธฐ, ์ถ์ ๋ณ์ \hat{\mathbf{f}}์ ํฌ์์ \hat{\mathbf{o}}์ ๋ถํธ ๊ท์ฝ(์ callout), Drawer ๋ณด์์ r_{\text{perturb}} ์กฐ๊ฑด์์ด ์ค๋ช ๊ณผ ๋ฐ๋๋ก ์ฝํ๋ ์ , MDP ํ์ shear ์ฑ๋ ์(3 vs 2), ๊ฐ์ฑ K์ ์ ์ด ์งํฉ K_t์ ๊ธฐํธ ์ค๋ณต์ด ์๋ค. ํ๋ํ๋๋ ์ฌ์ํ์ง๋ง, ๋ฐฉ๋ฒ ์ ์ ์๋ง์ผ๋ก ๊ตฌํ์ ์ฌํํ๋ ค๋ ๋ ์์๊ฒ๋ ๊ฑธ๋ฆผ๋์ด๋ค.
- ๋ฒ ์ด์ค๋ผ์ธ ๊ฐ ํ๋์จ์ดยท์ฒ๋ฆฌ ์กฐ๊ฑด์ด ์์ ํ ๊ฐ์ง๋ ์๋ค. ์ด๋ฏธ์ง ์ ์ฑ ์ non-dotted gel, shear ์ ์ฑ ์ dotted gel๋ก ์ค์ ์ผ์๊ฐ ๋ค๋ฅด๋ค. ์ค๋ ฅ augmentation์ FOTS ๊ณ์ด๊ณผ HydroShear์๋ง ์ ์ฉ๋๋ค๊ณ ์ ํ ์๊ณ TacSL ๋ ์ ์ฑ ์๋ ์ธ๊ธ์ด ์๋ค. Book Shelving์์ TacSL Gray๊ฐ 6/30์ผ๋ก ๋ฌด๋์ง ์์ธ ์ค ์ผ๋ถ๊ฐ ์ด๊ฐ ์๋ฎฌ๋ ์ดํฐ๊ฐ ์๋๋ผ ์ด๋ฐ ์กฐ๊ฑด ์ฐจ์ด์ผ ๊ฐ๋ฅ์ฑ์ ๋ถ๋ฆฌ๋์ง ์์๋ค.
- โcomputationally efficientโ๋ ๋น๊ต ๋์์ ๋ฐ๋ผ ๋ค๋ฅด๋ค. ์ FOTS๋ณด๋ค๋ 4๋ฐฐ ๋น ๋ฅด์ง๋ง ๋ณ๋ ฌํํ FOTS๋ณด๋ค๋ 3~9๋ฐฐ ๋๋ฆฌ๊ณ , ํ๊ฒฝ ์์ ๊ฑฐ์ ์ ํ์ผ๋ก ๋์ด๋๋ค. Fig. 13์ ๋ณด๋ฉด surfel์ 3~5 mm๋ก ํค์๋ ์ ํ๋ ์์ค์ด ์์ ์ ์์ด ์๋๋ฅผ ํ์ํ ์ฌ์ง๊ฐ ์๋๋ฐ, ์ด trade-off๊ฐ ์ ์ฑ ์ฑ๊ณต๋ฅ ์ ๋ฏธ์น๋ ์ํฅ์ ์คํ๋์ง ์์๋ค.
- Contact penalty ์ปค๋ฆฌํ๋ผ์ ํจ๊ณผ๋ ์ ์ฑ ์์ ๋ฟ์ด๋ค. โ์ผ์๋ฅผ ์ฐข์ง ์๊ฒ ํ๋คโ๋ ์ค์ฉ์ ์ผ๋ก ์ค์ํ ์ฃผ์ฅ์ธ๋ฐ ์์น๊ฐ ์๋ค. ์ปค๋ฆฌํ๋ผ์ด student ์ฑ๊ณต๋ฅ ์ ๊ธฐ์ฌํ๋ ์ ๋์ HydroShear์ ๊ธฐ์ฌ๋ฅผ ๋ถ๋ฆฌํ ์ ์๋ค.
- ์ 3์ ๋น๊ต์์๋ ๊ฒฐ๊ณผ๊ฐ ๋ค๋ฅด๊ฒ ๋์จ ์ฌ๋ก๊ฐ ์๋ค. HydroShear๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ถ์ฑ ํญ๊ณผ clamped ๊ฒฝ๊ณ์กฐ๊ฑด์ ๋ํ Tactile Genesis์ Fig. 2(์๋ RMSE, ์ฐ๋ฆฌ ๋ฆฌ๋ทฐ์ ์ฎ๊ธด ๊ฐ)์์ shear ์ค์ฐจ๋ FOTS 0.210, HydroShear 0.217๋ก HydroShear๊ฐ FOTS๋ณด๋ค ๊ทผ์ํ๊ฒ ๋๊ณ , dilation์ 0.514 vs 0.403์ผ๋ก HydroShear๊ฐ ๋ฎ๋ค. ์งํยท๋ฐ์ดํฐยท๊ตฌํ์ด ์ด ๋ ผ๋ฌธ๊ณผ ๋ฌ๋ผ ์ง์ ๋น๊ตํ ์๋ ์์ง๋ง, translational shear์์ ๋ ๋ฐฉ๋ฒ์ ์ฐจ์ด๊ฐ ์๋ค๋ Table I์ ๊ด์ฐฐ๊ณผ๋ ๋ฐฉํฅ์ด ๋ง๋๋ค. HydroShear์ ์ฐ์๋ twistยทrollยท์ ์ด ์ ํ์ ์ง์ค๋ผ ์๋ค๊ณ ๋ณด๋ ํธ์ด ์์ ํ๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
HydroShear๋ ์ด๊ฐ ์๋ฎฌ๋ ์ด์ ์ โ๋น ๋ฅธ ๊ทผ์ฌโ ๊ณ์ด์์ shear์ ๋์ญํ์ ๋ค๋ฃฌ ์์ ์ผ๋ก ์๋ฆฌ ์ก๋๋ค. ๊ฐ์ ๊ณ์ด์ TACTO์ TacSL์ ์ด๋ฏธ์งยท์ ์ด๋ ฅ์, FOTS์ ์ด๋ฅผ marker ์๋ฎฌ๋ ์ด์ ์ ์ด TacEx๋ marker ๋ณ์์ ์ด๋ํ์ ์ง์คํ๋ค. HydroShear๋ FOTS์ dilation ์๊ณผ Gaussian shadowing์ ๊ทธ๋๋ก ๋ฌผ๋ ค๋ฐ๊ณ , ๊ธฐ์ค์ ํ๋๋ฅผ ํ๋ฉด์ ์์ฒ ๊ฐ์ ์ด๋ ฅ์ผ๋ก ๋ฐ๊ฟจ๋ค. FEM ๊ณ์ด(TaCauchy, DiffTactile)์ด ์ฐ์์ฒด ์ญํ์ผ๋ก ์ป๋ ๊ฒฝ๋ก ์์กด์ฑ์, ํ๋ฉด์ ๋จ์์ 1์ฐจ ๊ทผ์ฌ๋ก RL ๊ท๋ชจ์์ ์ธ ์ ์๊ฒ ๋ง๋ ์ ์ด๋ค.
shear๋ฅผ sim-to-real์ ํต์ฌ์ผ๋ก ๋ณธ ๋ค๋ฅธ ์๋๋ก๋ TactileLab์ด ์๊ณ , hydroelastic ์ ์ด ์์ฒด๋ฅผ GPU์์ SDF๋ก ๊ณ์ฐํ๋ ์ ์ํ๋ GPU-Accelerated Hydroelastic Contact์์ ๋ณผ ์ ์๋ค. HydroShear๊ฐ ํ๊ณ๋ก ๋ โ์นจํฌ๋ฅผ ํ์ฉํ๋ ์์ง ์์กดโ์ ์ด๋ฐ hydroelastic ์์ง์ด ์ฑ์ํ๋ฉด ํ๋ฆด ์ ์๋ ๋ฌธ์ ๋ค.
HydroShear ์ดํ์ ํ๋ฆ๋ ์ด๋ฏธ ์๋ค. Tactile Genesis์ ElastomerTaxel์ HydroShear๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ถ์ฑ๊ณผ ๊ฒฝ๊ณ์กฐ๊ฑด์ ์ถ๊ฐํ๊ณ , ์ฌ๋ฌ ์ด๊ฐ ์ถ์ ์ค ํ๋๋ก ํตํฉํ๋ค. RL ์ชฝ์์๋ TacSL์ AACD๋ฅผ ๊ทธ๋๋ก ์ฐ๋๋ฐ, privileged teacher์์ ์ด๊ฐ student๋ก ์ฎ๊ธฐ๋ ๋ฐฉ๋ฒ๋ก ์์ฒด๋ PTLD๋ Which Taxels์ฒ๋ผ DAggerยทlatent distillation์ ์ฐ๋ ์์
๋ค๊ณผ ๋น๊ตํด ๋ณผ ๋งํ๋ค. ์ด ๋
ผ๋ฌธ์ student ํ์ต ๋ฐฉ์์ ๊ณ ์ ํ๊ณ ์ด๊ฐ ์๋ฎฌ๋ ์ดํฐ๋ง ๋ฐ๊ฟจ์ผ๋ฏ๋ก, distillation ๋ฐฉ์๊ณผ ์๋ฎฌ๋ ์ดํฐ ์ถฉ์ค๋์ ์ํธ์์ฉ์ ์ด๋ฆฐ ์ง๋ฌธ์ผ๋ก ๋จ๋๋ค.
์์ฝ
HydroShear๋ tactile shear๋ฅผ โํ์ฌ ์นจํฌโ๊ฐ ์๋๋ผ โ์ ์ด ํ ๊ฒฝ๋กโ์ ํจ์๋ก ์ ์ํ๊ณ , ์ด๋ฅผ indenter ํ๋ฉด์ ๋ง๋ค ๋ณ์๋ฅผ ๋์ ํ๊ณ Coulomb cone์ผ๋ก ์๋ฅด๋ ์ฌ๊ท์์ผ๋ก ๊ตฌํํ๋ค. ํ๋ผ๋ฏธํฐ 4๊ฐ๋ฅผ ๋จ๊ณ๋ณ๋ก ๋ณด์ ํ๋ฉด sphere ์ค์ธก์์ twistยทroll์ ํฌํจํ ๋ชจ๋ ์ ํ์ shear๋ฅผ FOTSยทTacSL๋ณด๋ค ์ ํํ๊ฒ ์ฌํํ๊ณ (ํ๊ท CS 0.951 vs 0.788 vs 0.186), ์ด shear๋ก ํ์ตํ ์ ์ฑ ์ Franka Panda์ 4๊ฐ ๊ณผ์ ์์ 112/120์ผ๋ก ์ฑ๊ณตํ๋ค.
๊ฐ์ฅ ๋จ๋จํ ๊ฒฐ๊ณผ๋ โHydroShear๋ง์ด ๋ค ๊ณผ์ ๋ชจ๋์์ ๋ฌด๋์ง์ง ์๋๋คโ๋ ๊ฒ์ด๋ค. ๋ค๋ฅธ ๋ชจ๋ ๋ฒ ์ด์ค๋ผ์ธ์ ์ ์ด๋ ํ ๊ณผ์ ์์ 30ํ ์ค 6ํ ์ดํ๋ก ๋จ์ด์ง๋ค. ๋ฐ๋ฉด ๊ณผ์ ๋ณ ์ฐ์๋ ๋๋ถ๋ถ 30ํ ํ๋ณธ์ ์ ๋ขฐ๊ตฌ๊ฐ ์์ ์๊ณ , ํค๋๋ผ์ธ ๊ฒฉ์ฐจ์ ์๋น ๋ถ๋ถ์ ์๋ฎฌ๋ ์ด์ ์์ ํ์ต๋์ง ์์ ๋ฒ ์ด์ค๋ผ์ธ๊ณผ์ Drawer ๋น๊ต์์ ๋์จ๋ค. ๋ณด์ ๊ฐ ๋ฏธ๋ณด๊ณ , sphere ์ธ ๊ธฐํ์ ์ค์ธก ๊ฒ์ฆ ๋ถ์ฌ, ์ ํ๊ธฐ์ ๋ถํธ ํ๋ค๋ฆผ๋ ์ฌํํ๋ ค๋ ๋ ์๊ฐ ์์๋ ์ง์ ์ด๋ค. ๊ทธ๋๋ โ์ ๊ทํ๋ ์ด๋ฏธ์ง๋ก ์ฐํํ์ง ๋ง๊ณ shear๋ฅผ ๋ฌผ๋ฆฌ์ ์ผ๋ก ๋ง์ถฐ๋ผโ๋ ๋ฉ์์ง๋ฅผ ๊ฐํ ๋ฒ ์ด์ค๋ผ์ธ๊ณผ ๋ค์ํ ์คํจ ๋ชจ๋์ ๊ณผ์ ๋ก ๋ณด์ฌ ์ค ์์ ์ด๊ณ , ๊ณก๋ฉด elastomer์ ๋ณํ์ฒด๋ก์ ํ์ฅ, ๊ทธ๋ฆฌ๊ณ ๋ ํฐ ํ๋ณธ์ ์ฌ๊ฒ์ฆ์ด ๋ค์ ๋จ๊ณ๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v2(2603.00446v2)์ LaTeX ์์ค์ PDF. ๋ณธ๋ฌธ๊ณผ ๋ถ๋ก์ ๋ชจ๋ ํ(Table I~XI)๋ฅผ ํ์ธํ๊ณ , ๊ฒฐ๊ณผยทํ์ดํผํ๋ผ๋ฏธํฐ ํ๋ ์ ํ์ ์ซ์๋ฅผ ๊ทธ๋๋ก ๋งํฌ๋ค์ด์ผ๋ก ์ฎ๊ฒผ๋ค(Table III~VI์ MDP ๊ตฌ์ฑ์ ๋ณธ๋ฌธ ์์ ๋ก ์์ฝํ๋ค). ๊ทธ๋ฆผ์ Fig. 1~18 ์ ๋ถ๋ฅผ ์ค์๊ณ Fig. 9~12๋ ํ ์ฅ์ผ๋ก ํฉ์ฑํ๋ค. ์์์ ํ๋ก์ ํธ ํ์ด์ง์ ๊ฒ์ด๋ค.
- ์ฝ๋: ๊ณต์ ์ฝ๋๊ฐ MIT ๋ผ์ด์ ์ค๋ก ๊ณต๊ฐ๋ผ ์๋ค. ๋ณธ๋ฌธ์ ๋ ผ๋ฌธ์ ๊ทผ๊ฑฐ๋ก ์ผ๊ณ , โ๊ณต๊ฐ ์ฝ๋์ ๋์กฐโ ์ ๋ง ์ฝ๋๋ฅผ ์ ์ ์ผ๋ก ์ฝ์ด ํ์ธํ ๋ด์ฉ์ด๋ค(์คํ์ ํ์ง ์์๋ค).
- ํ๊ธฐ: โํ์ ๊ณ์ฐโ์ ๋ ผ๋ฌธ ์์น๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(ํ๊ท , ๋น์จ, Wilson 95% ์ ๋ขฐ๊ตฌ๊ฐ, Fisher exact p)์ด๋ค. โ๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐโ์ ํ์ต ๊ณก์ ๊ณผ Fig. 13์์ ๋์ผ๋ก ์ฝ์ ๊ทผ์ฌ๊ฐ์ด๋ค. โํ์ ํด์โ์ ๋ ผ๋ฌธ์ด ๋ช ์ํ์ง ์์ ํด์์ด๋ค(๋ถํธ ๊ท์ฝ ๋ฉ๋ชจ, Fig. 13์ surfel ํฌ๊ธฐ ์ฌ์ง, ํ์ต ๊ณก์ ๊ณผ Table II๋ฅผ ์ฎ์ ํด์). ์ธ์ฉ ๋ฌธํ์ ๋ฒํธ ๋์ ์ด๋ฆ์ผ๋ก ์ ์๋ค.
- ๊ด๋ จ ์๋ฃ: Amazon Science ๋ธ๋ก๊ทธ์ ์ด ๋ ผ๋ฌธ์ ์๊ฐํ๋ ๊ธ์ด ์๋ค. ์ด ๊ธ์ ์์น์ ์คํ ์กฐ๊ฑด์ ๋ชจ๋ ๋ ผ๋ฌธ ์๋ฌธ์ ๊ธฐ์ค์ผ๋ก ํ๋ค.