flowchart TD
A["Soft gripper challenge:<br/>integrate sensing into<br/>a deforming body"] --> B["Inspiration:<br/>elephant trunk TIP<br/>(pinch grasp)"]
B --> C["Hollow soft body<br/>actuated by<br/>NEGATIVE pressure"]
B --> D["Full-surface<br/>tactile feedback"]
C --> E["EleTac gripper"]
D --> F["Single camera at base<br/>sees inner surface"]
F --> E
E --> G["manipulator-as-sensor:<br/>contact + geometry +<br/>proprioception"]
๐EleTac
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
์๋ก
์ ์ฝ๋ผ๋ฆฌ ์ฝ์ธ๊ฐ
๋ก๋ด ๊ทธ๋ฆฌํผ๋ฅผ ์ค๊ณํ ๋ ์ฐ๋ฆฌ๋ ๋ ๋ ๊ฐ์ง ์๋ฐ๋ ์๊ตฌ ์ฌ์ด์์ ์ค๋ค๋ฆฌ๊ธฐ๋ฅผ ํฉ๋๋ค. ํ๋๋ ๋ค์ํ ํ์์ ์ ์ํด ์์ ํ๊ฒ ์ฅ๋ ๋ฅ๋ ฅ์ด๊ณ , ๋ค๋ฅธ ํ๋๋ ์ง๊ธ ๋ฌด์์ ์ด๋ป๊ฒ ๋ฟ์ ์๋์ง๋ฅผ ์ค์ค๋ก ๋๋ผ๋ ๋ฅ๋ ฅ์ ๋๋ค. ๋ถ๋๋ฌ์ด ์ํํธ ๊ทธ๋ฆฌํผ๋ ๊นจ์ง๊ธฐ ์ฌ์ด ๋ฌผ์ฒด๋ฅผ ๋ค์น์ง ์๊ฒ ๋ค๋ฃจ๋ ๋ฐ ํ์ํ์ง๋ง, ๋ณต์กํ ํํ๋ก ๋ณํ๋๋ ๋ณธ์ง ๋๋ฌธ์ ์ผ์ฑ ๊ธฐ๋ฅ์ ํตํฉํ๊ธฐ๊ฐ ์ค๋ซ๋์ ๋์ ์์ต๋๋ค.
์์ฐ์ ์ด ๋ฌธ์ ๋ฅผ ์ฝ๋ผ๋ฆฌ ์ฝ์ ๋๋ถ๋ถ์์ ์ฐ์ํ๊ฒ ํ์ด ๋์์ต๋๋ค. ์ฝ๋ผ๋ฆฌ ์ฝ๋(trunk tip) ์
- ๋ ๊ฐ๋์ ๋๊ธฐ๋ก ๋ฌผ์ฒด๋ฅผ ์ง๋ฏ์ด(pinch) ์ฅ๊ณ ,
- ํ๋ฉด ์ ์ฒด๋ก ์ ์ด์ ๋๋ผ๋ฉฐ,
- ๋ถ๋๋ฝ๊ฒ ๋ณํํ๋ฉด์๋ ๋์๊ณผ ๊ฐ๊ฐ์ ํ ๋ชธ์์ ๋์์ ์ํํฉ๋๋ค.
EleTac์ ๋ฐ๋ก ์ด ์ฝ๋์ ์ง๊ธฐ ๋์ + ํ๋ฉด ์ ์ฒด ์ด๊ฐ์ ๋ชจ์ฌํ ๊ทธ๋ฆฌํผ์ ๋๋ค. ์ ๋ชฉ์ ๊ทธ๋๋ก ํ๋ฉด Elephant trunk + Tactile์ ๋๋ค. ํฅ๋ฏธ๋กญ๊ฒ๋, ํํ ๋ ์ฌ๋ฆฌ๋ โํต๋๋ฌด๋ฅผ ๊ฐ๋ ๊ฐ๋ ฅํ ์ฝ ์ ์ฒดโ๊ฐ ์๋๋ผ ์ฝ๋์ ์ฌ์ธํ ์ง๊ธฐ์ ์ด์ ์ ๋ง์ถ ์ ์ด ์ด ๋ ผ๋ฌธ์ ์ ์ฒด์ฑ์ ๊ท์ ํฉ๋๋ค.
ํต์ฌ ์ฃผ์ฅ: โ์กฐ์๊ธฐ๊ฐ ๊ณง ์ผ์โ
์ ์๋ค์ด ๋ด์ธ์ฐ๋ ์ค๊ณ ์ฒ ํ์ ํ ๋ฌธ์ฅ์ ๋๋ค โ manipulator-as-sensor. ๋ณ๋์ ์ผ์ฑ ๋ชจ๋์ ๋ง๋ถ์ด์ง ์๊ณ , ๊ทธ๋ฆฌํผ์ ๋ชธ ๊ทธ ์์ฒด๊ฐ ๊ณ ํด์๋ ์ด๊ฐ ์ผ์๊ฐ ๋๊ฒ ํ๋ค๋ ๊ฒ์ ๋๋ค.
์ฌ๊ธฐ์ EleTac์ด ๊ธฐ์กด ๋น์ ๊ธฐ๋ฐ ์ด๊ฐ ์ผ์(GelSight, GelTip ๋ฑ)์ ๊ฒฐ์ ์ ์ผ๋ก ๋ค๋ฅธ ์ง์ ์ด ๋๋ฌ๋ฉ๋๋ค. ๊ธฐ์กด VBTS๋ ์ค์ค๋ก ์์ง์ด์ง ์๋(no intrinsic movement) ์ผ์์ฌ์, ์ธํผ์ ๋ณํ์ ์ค์ง ์ธ๋ถ ์๊ทน ๋๋ฌธ์๋ง ์ผ์ด๋ฉ๋๋ค. ๋ฐ๋ฉด ์ํํธ ๊ทธ๋ฆฌํผ๋ ์๊ธฐ ์์ ์ ๊ตฌ๋(actuation)์ ์ํ ๋ณํ๊ณผ ์ธ๋ถ ์ ์ด์ ์ํ ๋ณํ์ด ๋์์ ๋ฐ์ํฉ๋๋ค. EleTac์ ์ด ๋์ด ๋ค์์ธ ์์์์ ์๋ฏธ ์๋ ์ด๊ฐ ์ ๋ณด๋ฅผ ๋ฝ์๋ด๋ ๊ฒ์ ๋ชฉํ๋ก ์ผ์ต๋๋ค.
๋ฐฉ๋ฒ
1) ๊ทธ๋ฆฌํผ ์ค๊ณ โ ์์์ผ๋ก ๋ซํ๋ ์ ๋น ๋ชธ์ฒด
EleTac์ ๊ตฌ๋ ๋ฐฉ์์ ํํ ์์๊ณผ ์ ๋ฐ๋์ ๋๋ค. ๊ณต๊ธฐ๋ฅผ ๋ถ์ด๋ฃ์ด ๋ถํ๋ ค ํ๋ PneuNet ๋ฐฉ์์ด ์๋๋ผ, ์์(negative pressure) ์ผ๋ก ์์ ๋น์ ๋ซํ๋ ๋ฐฉ์์ ๋๋ค. ๋ณธ์ฒด๋ ์์ด ๋น(hollow) ๊ธฐํ ๊ตฌ์กฐ์ฌ์, ์์์ด ๊ฑธ๋ฆฌ๋ฉด ์ฐ๊ทธ๋ฌ์ง๋ฏ ๋ณํํ๋ฉฐ ๋ ์๊ฐ๋ฝ์ด ๋ง์ฃผ ๋ซํ๋ ์ง๊ธฐ ๋์์ ๋ง๋ค์ด๋ ๋๋ค. ๋์์ ๋ณต์กํ ์๋ ฅ ํ๋กํ์ผ ์์ด on-off ๋ก ๋จ์ํ๊ฒ ์ ์ด๋๋ฉฐ, 30 kPa ์ ์ผ์ ํ ์์์์ ๋ ์๊ฐ๋ฝ์ด ์์ ํ ๋ซํ ๋ฌผ์ฒด์ ์์ ํ ์ ์ด์ ํ์ฑํฉ๋๋ค.
๋ณธ์ฒด๋ ๋ ๊ฒน์ ์๋ผ์คํ ๋จธ ์ธต์ผ๋ก ์ด๋ฃจ์ด์ง๋๋ค.
| ์ธต | ์ฌ์ง/ํน์ฑ | ์ญํ |
|---|---|---|
| ์์ชฝ ์ธต(inner layer) | ํฌ๋ช ์๋ผ์คํ ๋จธ | ์ฃผ๋ ๋ณํ๊ณผ ์ง์ง๋ฅผ ๋ด๋นํ๋ฉฐ, ์นด๋ฉ๋ผ๊ฐ ๋ค์ฌ๋ค๋ณด๋ ๊ดํ ํ๋ฉด |
| ๋ฐ๊นฅ์ชฝ ์ธต(outer layer) | ์์(silver) ์ฝํ | ๋ด๋ถ ๋น์ ๋ฐ์ฌํ๊ณ ์ธ๋ถ ๋น์ ์ฐจ๋จ(๊ดํ์ ๊ฒฉ๋ฆฌ) |
๊ด์์ผ๋ก๋ ๋นจ๊ฐยท์ด๋กยทํ๋์ด ๊ณ ๋ฅด๊ฒ ๋ถํฌ๋ 18๊ฐ์ LED ๋ง์ด ์๋ผ์คํ ๋จธ ์๋์ ๋ฐฐ์น๋์ด ๋ด๋ถ๋ฅผ ์กฐ๋ช ํฉ๋๋ค. ์นด๋ฉ๋ผ๋ ๋ณธ์ฒด์ ๋ฒ ์ด์ค(base)์ ํ ๋ ๋์ฌ, ์์ชฝ ํ๋ฉด ์ ์ฒด๋ฅผ ํ๋์ ๋ค์ฌ๋ค๋ด ๋๋ค. ์ด ๋จ์ผ ์นด๋ฉ๋ผ๊ฐ ๋ณด๋ ๋ณํ ์์์ด ๋ชจ๋ ์ด๊ฐ ๊ธฐ๋ฅ์ ์ ๋ ฅ์ ๋๋ค. ์ด๋ ์นด๋ฉ๋ผ๊ฐ ํฌ์ฐฉํ๋ ๋ณํ์ (i) ๊ตฌ๋์ ์ํ ๋ด์ฌ์ (intrinsic) ๋ณํ ๊ณผ (ii) ์ ์ด์ ์ํ ์ธ์ฌ์ (extrinsic) ๋ณํ ์ด ํฉ์ณ์ง ๊ฒ์ด๋ผ๋ ์ ์ด ํต์ฌ์ ๋๋ค.
์ง๊ด์ ์ผ๋ก, ์์ ๊ตฌ๋์ ๋ซํ์ ๋ค์๊ณผ ๊ฐ์ ๊ด๊ณ๋ก ์ดํดํ ์ ์์ต๋๋ค. ์ฑ๋ฒ ๋ด๋ถ ์๋ ฅ P_{\text{in}} ์ด ์ธ๋ถ ๋๊ธฐ์ P_{\text{atm}} ๋ณด๋ค ๋ฎ์์ง๋ฉด, ๊ทธ ์ฐจ์ด๋งํผ์ ์์ง ํ์ด ๋ฒฝ์ ์์ชฝ์ผ๋ก ๋์ด๋น๊น๋๋ค.
\Delta P = P_{\text{atm}} - P_{\text{in}} \quad\Rightarrow\quad F_{\text{close}} \;\propto\; \Delta P \cdot A_{\text{wall}}
์ฌ๊ธฐ์ A_{\text{wall}} ์ ์๋ ฅ์ฐจ๊ฐ ์์ฉํ๋ ์ ํจ ๋ฒฝ ๋ฉด์ ์ ๋๋ค. EleTac์ \Delta P \approx 30~\text{kPa} ์ ๋จ์ผ ๋์์ ์์ ์๊ฐ๋ฝ์ ์์ ํ ๋ซ์ต๋๋ค.
2) ์ด๊ฐ ์ผ์ฑ โ ์ธ ๊ฐ์ง ๊ธฐ๋ฅ, ์ธ ๊ฐ์ง ํ์ต ๋ชจ๋ธ
EleTac์ ํ๋์ ์นด๋ฉ๋ผ ์์์ผ๋ก๋ถํฐ ์๋ก ๋ค๋ฅธ ์ธ ๊ฐ์ง ์ด๊ฐ ๊ธฐ๋ฅ์ ํ์ต ๊ธฐ๋ฐ์ผ๋ก ๋ณต์ํฉ๋๋ค. ๊ฐ๊ฐ ๋ณ๋์ ๋ฐ์ดํฐ์ ๊ณผ ๋คํธ์ํฌ๋ฅผ ์ฌ์ฉํฉ๋๋ค.
(a) ์ ์ด ์ถ์ (Contact Estimation)
์๋ ค์ง ์๊ทน์ ๊ฐํด ์ ๋ต์ ๋ง๋๋ ๊ณ ์ ์ ์ง๋ํ์ต์ ๋๋ค. Nano17 ํ ์ผ์์ ๋ฐ๊ตฌํ ์ธ๋ดํฐ(hemispherical indenter) ๋ฅผ ๋ฌ์ Dobot Magician ๋ก๋ด ํ์ ์๋์ดํํฐ์ ์ฅ์ฐฉํ๊ณ , ๋ ์๊ฐ๋ฝ ๊ฐ๊ฐ์ ์์ง์ผ๋ก ๋๋ฌ ๋ฐ์ดํฐ๋ฅผ ์์งํ์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ 2,536์ฅ์ ์ด๊ฐ ์์์ ๋ชจ์๊ณ , ๊ฐ ์์์ ๋ค์ ์ ๋ต ๋ฒกํฐ์ ์ง์ง์ด์ง๋๋ค.
\mathbf{y} = \big(x,\; y,\; d,\; f\big)
- (x, y): 2์ฐจ์ ์ธ๋ดํ ์ด์ ์์น
- d: ์ธ๋ดํ ์ด์ ๊น์ด(indentation depth)
- f: ์ ์ด๋ ฅ(contact force)
์ฆ ์์ ํ ์ฅ์์ ์ด๋๋ฅผ, ์ผ๋ง๋ ๊น๊ฒ, ์ผ๋ง์ ํ์ผ๋ก ๋๋ ๋์ง๋ฅผ ํ๊ทํ๋ ์ฌ์ธต ์ ๊ฒฝ๋ง์ ํ์ตํฉ๋๋ค.
(b) ํ์ ๋ถ๋ฅ (Geometry Classification)
์ฌ์ฏ ๊ฐ์ง ์๋ก ๋ค๋ฅธ ๋จธ๋ฆฌ ํ์์ ์ธ๋ดํฐ๋ก ๊ฐ ์๊ฐ๋ฝ์ ๋๋ฌ ์ ์ด ์์์ ๋ชจ์์ต๋๋ค. ํ์์ ์(circle), ๋๋(doughnut), ์ ๋ค(dots), ์ฌ๊ฐํ(square), ์ค๋ฌด๋ฌ(stripes), ์ผ๊ฐํ(triangle) ์ 6์ข ์ด๋ฉฐ, ๋ฐ์ดํฐ์ ์ 2,016์ฅ์ ์์๊ณผ ๋ผ๋ฒจ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ์ ์ด๋ฉด์ ํ ์ค์ฒ ํจํด์ ๋ณด๊ณ ์ด๋ค ํ์์ ๋ฟ์๋์ง๋ฅผ ๋ถ๋ฅํ๋ ๋ฌธ์ ์ ๋๋ค.
(c) ๊ณ ์ ์์ฉ๊ฐ๊ฐ (Proprioception) โ ์๋ฎฌ๋ ์ด์ ๊ธฐ๋ฐ ํ์ด๋ธ๋ฆฌ๋ ํ๋ ์์ํฌ
๊ฐ์ฅ ์ ๊ตํ ๋ถ๋ถ์ ๋๋ค. โ์ง๊ธ ์๊ฐ๋ฝ์ด ์ด๋ค ์์ธ(posture)์ธ๊ฐโ๋ฅผ ์ด๊ฐ ์์๋ง์ผ๋ก ์ถ์ ํ๋๋ฐ, ์ ๋ต์ ์ผ์ผ์ด ์ธก์ ํ๊ธฐ ์ด๋ ต๋ค๋ ๋ฌธ์ ๊ฐ ์์ต๋๋ค. ์ ์๋ค์ ์๋ฎฌ๋ ์ด์ ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์์ฑ + ๋๋ฉ์ธ ๊ฐ ์์ ๋ณํ + ํ์ต ๊ธฐ๋ฐ ์์น ํ๊ท๋ฅผ ๊ฒฐํฉํ ํ์ด๋ธ๋ฆฌ๋ ํ๋ ์์ํฌ๋ฅผ ์ ์ํฉ๋๋ค.
- ์ค์ ๊ทธ๋ฆฌํผ์ ์ฌ๋ซ๋ ๋์ ์ค ์ด๊ฐ ์์์ ์ดฌ์ํด ์ค์ ์์ธ ๋ฐ์ดํฐ๋ฅผ ๋ชจ์๋๋ค.
- SOFA ํ๋ ์์ํฌ๋ก FEM ๋ชจ๋ธ์ ๋ง๋ค์ด ๊ฐ์ ์ฌ๋ซ๊ธฐ ๋์์ ์ฌํํฉ๋๋ค.
- SOFA ์๋ฎฌ๋ ์ด์ ์ด ์์ฑํ ๋ฉ์๋ฅผ ๋ฐํ์ผ๋ก Blender๋ก ํฉ์ฑ ์ด๊ฐ ์์์ ๋ ๋๋งํฉ๋๋ค.
- ์ค์ ์ ์๋ฎฌ๋ ์ด์ ์์ชฝ์์ 150๊ฐ์ ์๋ก ๋ค๋ฅธ ์๊ฐ๋ฝ ์์ธ๋ฅผ ์์งํด 150์์ ์์์ ์ป์ต๋๋ค.
- ์ด ๋ฐ์ดํฐ๋ก ๊ณ ์ ์์ฉ๊ฐ๊ฐ์ฉ U-Net ๊ณผ, ํฉ์ฑ-์ค์ ๋๋ฉ์ธ ๊ฐ๊ทน์ ๋ฉ์ฐ๋ CycleGAN ์ ์์ฑ๊ธฐ ๋คํธ์ํฌ๋ฅผ ํ์ตํฉ๋๋ค.
์ฌ๊ธฐ์ CycleGAN์ ์ญํ ์ด ์ง๊ด์ ์ผ๋ก ์ค์ํฉ๋๋ค. ์๋ฎฌ๋ ์ด์ ์ผ๋ก ๋ง๋ ์์์ ์ค์ ์นด๋ฉ๋ผ ์์๊ณผ ๋ฏธ๋ฌํ๊ฒ ๋ฌ๋ผ(sim-to-real gap), ๊ทธ๋๋ก ํ์ตํ๋ฉด ์ค์ ์์ ์ฑ๋ฅ์ด ๋จ์ด์ง๋๋ค. CycleGAN์ ์ง์ด ๋ง์ง ์๋(unpaired) ๋ ๋๋ฉ์ธ์ ์์์ ์๋ก ๋ฒ์ญํด ์ด ๊ฐ๊ทน์ ๋ฉ์๋๋ค. ๊ฐ๋ ์ ์ผ๋ก ๋ค์ ์ํ ์ผ๊ด์ฑ์ ๋ง์กฑํ๋๋ก ํ์ตํฉ๋๋ค.
G_{\text{sim}\to\text{real}}(x_{\text{sim}}) \approx x_{\text{real}}, \qquad G_{\text{real}\to\text{sim}}\big(G_{\text{sim}\to\text{real}}(x_{\text{sim}})\big) \approx x_{\text{sim}}
์ฆ ์๋ฎฌ๋ ์ด์ ์์์ ์ค์ ์ฒ๋ผ ๋ฐ๊พธ๋, ๋ค์ ๋๋๋ ธ์ ๋ ์๋ณธ์ผ๋ก ๋ณต์๋๋๋ก ๊ฐ์ ํด ์๋ฏธ๊ฐ ๋ณด์กด๋๊ฒ ํฉ๋๋ค.
flowchart LR
subgraph Actuation
P["Negative pressure<br/>30 kPa on-off"] --> CL["Two fingers close"]
end
subgraph DataGen["Proprioception data"]
REAL["Real images<br/>(open/close motion)"]
SOFA["SOFA FEM mesh"] --> BL["Blender render<br/>synthetic images"]
end
CAM["Single base camera"] --> IMG["Tactile image"]
IMG --> NET1["DNN: contact<br/>x,y,d,f"]
IMG --> NET2["Classifier:<br/>6 geometries"]
BL --> CG["CycleGAN<br/>sim-to-real"]
REAL --> CG
CG --> UNET["U-Net:<br/>proprioception"]
IMG --> UNET
NET1 --> CTRL["Real-time<br/>tactile control"]
UNET --> CTRL
์์ฌ์ฝ๋: ์ด๊ฐ ์์์์ ํ๋๊น์ง
function ELETAC_PERCEIVE(frame):
img = capture(camera_at_base) # single global view
x, y, d, f = contact_net(img) # regression
shape = geometry_classifier(img) # 6-class
posture = unet_proprioception(img) # finger pose
return Contact(x, y, d, f, shape, posture)
function EXCAVATE(sand_surface):
for probe in scan_grid(sand_surface):
c = ELETAC_PERCEIVE(probe)
if classify_contact(c) == OBJECT: # object vs sand
hits.append(probe.position)
pose = cluster(hits) # estimate pos + orientation
align_and_grasp(pose)์คํ
ํ์ง ์ฑ๋ฅ
EleTac์ ๋ค์ํ ํฌ๊ธฐ์ ํ์์ ๋ฌผ์ฒด๋ฅผ ๋ก๋ด ํ(Dobot Magician ๋๋ UR5e)์ ์ฅ์ฐฉ๋ ์ํ๋ก ์ฑ๊ณต์ ์ผ๋ก ์ง์ด ๋ค์ด ์ฌ๋ ธ์ต๋๋ค. ์ ๋์ ์ผ๋ก, ํฌ์คํฐ์ Table 1 ์์ฝ์ ๋ฐ๋ฅด๋ฉด EleTac์ ์๊ณ ๊ฐ๋ฒผ์ด ๋ฌผ์ฒด์ ์ ํฉํ๋ฉฐ, ์ต๋ ์ฝ 45.9 g๊น์ง ํ์ง ๊ฐ๋ฅํฉ๋๋ค. ์ด๋ ์ฝ๋ผ๋ฆฌ ์ฝ๋์ ๋ชจ์ฌํ ์ฌ์ธํ ์ง๊ธฐ์ ์ด์ ์ ๋ ์ค๊ณ๋ผ๋ ์ ๊ณผ ์ผ๊ด๋ฉ๋๋ค โ ๋ฌด๊ฑฐ์ด ๋ฌผ์ฒด๋ฅผ ๊ฐ์ ๋๋ ํธ๋ ํฌ ์ ์ฒด๊ฐ ์๋๋ผ ์ ๋ฐํ ๋๋จ ์ง๊ธฐ์ธ ๊ฒ์ ๋๋ค.
์ด๊ฐ ์ผ์ฑ ์ ํ๋
ํฌ์คํฐ์ ๋ณด๊ณ ๋ ํต์ฌ ์ ๋ ์์น๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
| ๊ธฐ๋ฅ | ์งํ | ๊ฒฐ๊ณผ | ์กฐ๊ฑด |
|---|---|---|---|
| ์ ์ด ์์น ์ถ์ | ํ๊ท ์์น ์ค์ฐจ | 2.36 mm | ์ธ๋ดํ ์ด์ ๊น์ด > 4 mm |
| ํ์ ๋ถ๋ฅ | ํ๊ท ์ ํ๋ | 81.67 % | ์ธ๋ดํ ์ด์ ๊น์ด > 4 mm |
| ๊ณ ์ ์์ฉ๊ฐ๊ฐ | ํ๊ท ์ค์ฐจ | 2.87 mm | โ |
์ฌ๊ธฐ์ ์ฃผ๋ชฉํ ์ ์ ๋ ๊ฐ์ง์ ๋๋ค. ์ฒซ์งธ, ์์น/ํ์ ์ฑ๋ฅ์ด โ๊น์ด > 4 mmโ ๋ผ๋ ๋จ์๋ฅผ ๋ฌ๊ณ ๋ณด๊ณ ๋๋ค๋ ์ฌ์ค์ ๋๋ค. ์ฆ ์ ์ด์ด ์ถฉ๋ถํ ๊น์ด ์ธํผ ๋ณํ์ด ๋๋ ทํ ๋ ์ฑ๋ฅ์ด ๋ณด์ฅ๋๋ฉฐ, ์์ ์ ์ด์์๋ ์ ํธ๊ฐ ์ฝํด ์ฑ๋ฅ์ด ๋จ์ด์ง ์ ์์์ ์์ฌํฉ๋๋ค(๊ตฌ๋ ๋ณํ๊ณผ ์ ์ด ๋ณํ์ด ์์ด๋ EleTac์ ๋ณธ์ง์ ๋์ ์ ์ง๊ฒฐ๋ฉ๋๋ค). ๋์งธ, ํ์ ๋ถ๋ฅ 81.67%๋ 6ํด๋์ค ๋ฌธ์ ์์ ๋ฌด์์(์ฝ 16.7%)๋ณด๋ค ํจ์ฌ ๋์ง๋ง, ์๋ฒฝ๊ณผ๋ ๊ฑฐ๋ฆฌ๊ฐ ์์ด ํ์ ์๋ณ์ด ๊ฐ์ฅ ์ด๋ ค์ด ๊ธฐ๋ฅ์์ ๋ณด์ฌ์ค๋๋ค.
์์ฉ 1: ๋ชจ๋ ์ ๋ฌผ์ฒด ๋ฐ๊ตด(Excavation)
EleTac์ UR5 ํ์ ์ฅ์ฐฉํ๊ณ , ์ค์ง ์ด๊ฐ ํผ๋๋ฐฑ๋ง์ผ๋ก ๋ชจ๋์ ๋ฌปํ ๊ฐ๋๊ณ ๊ธด ๋ฌผ์ฒด๋ฅผ ์ฐพ์ ๊บผ๋ด๋ ๊ณผ์ ๋ฅผ ์ํํ์ต๋๋ค. ๋์์ ์ง๊ฒฝ 10 mm์ ํ์ผ๋ก, ์ด๋ฆฐ์ด์ฉ ๋์ด ๋ชจ๋ ์ฝ 3~5 mm ์๋์ ๋ฌปํ ์์์ต๋๋ค. ์ ์ฐจ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ๊ทธ๋ฆฌํผ๊ฐ ๋ชจ๋ ํ๋ฉด ์๋ฅผ ํ์นจ(probing)ํ๋ฉฐ ์ด๊ฐ ์ ํธ๋ฅผ ์์ง.
- ๋ถ๋ฅ ๋คํธ์ํฌ๊ฐ ๋ชจ๋์์ ์ ์ด vs ๋ฌผ์ฒด์์ ์ ์ด์ ๊ตฌ๋ถ.
- ํด๋ฌ์คํฐ๋ง์ผ๋ก ๋ฌผ์ฒด์ ์์น์ ๋ฐฉํฅ(orientation) ์ ์ถ์ .
- ๊ทธ๋ฆฌํผ๋ฅผ ์ ๋ ฌํด ํ์งยท๋ฐ๊ตด.
์ด ์คํ์ EleTac์ด ๋จ์ํ ์ ์ ์ธ์๊ธฐ๊ฐ ์๋๋ผ, ์ด๊ฐ๋ง์ผ๋ก ํ๊ฒฝ์ ๋ฅ๋ ํ์ํ๋ ํ ํฑ ํ์(haptic-exploratory) ํ๋์ ํ ์ ์์์ ๋ณด์ฌ์ค๋๋ค(์์์ ๋ชจ๋/๋ฌผ์ฒด ์ ์ด ํจํด ์ฐจ์ด๊ฐ ๋ถ๋ฅ์ ๋จ์๊ฐ ๋ฉ๋๋ค).
์์ฉ 2: ์ ์ํ ํ๋ฉด ์ถ์ข (Surface-Following) ์ฒญ์
EleTac์ด ์คํ์ง๋ฅผ ์ฅ๊ณ , ๋ค์ํ ์๊ธฐ ํ๋ฉด ์๋ฅผ ์ด๋ํ๋ฉฐ ๊ทธ๋ ค์ง ๋นจ๊ฐ ์ ์ ๋ฆ๋ ์ฒญ์ ๊ณผ์ ์ ๋๋ค. ํต์ฌ์ ๊ณ ์ ์์ฉ๊ฐ๊ฐ ๊ธฐ๋ฅ์ผ๋ก ๊ทธ๋ฆฌํผ์ ๋์ด๋ฅผ ์ถ์ ํ๊ณ , ์ด๋ฅผ UR5 ํ์ ์ ์ด ํผ๋๋ฐฑ์ผ๋ก ์ฌ์ฉํด ๊ณก๋ฉด(์์ ์ ์ยท๊น์ ์ ์)์์๋ ์คํ์ง์ ํ๋ฉด ์ฌ์ด์ ์ ์ ํ ์ ์ด์ ์ ์งํ ์ ์ ๋๋ค. ๊ทธ๋ฆฌํผ ์ค์ค๋ก์ ์์ธ ๊ฐ๊ฐ์ด ๊ณง ์ธ๋ถ ํ๋ฉด๊ณผ์ ์ ์ด ์ ์ง๋ฅผ ๊ฐ๋ฅ์ผ ํ๋ค๋, โmanipulator-as-sensorโ ์ฒ ํ์ ์ค์ฉ์ ์์์ ๋๋ค.
๋นํ์ ๊ณ ์ฐฐ
๊ฐ์
- ๋์๊ณผ ๊ฐ๊ฐ์ ์ง์ ํ ํตํฉ: ๋ณ๋ ์ผ์ ๋ชจ๋ ์์ด ์นด๋ฉ๋ผ ํ ๋๋ก ์ ์ด(x,y,d,f), ํ์, ๊ณ ์ ์์ฉ๊ฐ๊ฐ์ ์ธ ๊ธฐ๋ฅ์ ๋ชจ๋ ๋ณต์ํฉ๋๋ค. ํฌ๊ฒ ๋ณํ๋๋ ์ํํธ ๋ณธ์ฒด์ ์ ์์ ์ด๊ฐ ๋ฐฐ์ด์ ๋ถ์ด๋ ๋ด๊ตฌ์ฑยท๋ฐฐ์ ์ ๋ชฝ์ ๋จ์ผ ์นด๋ฉ๋ผ๋ก ์ฐํํ ์ ์ด ์ฐ์ํฉ๋๋ค.
- ๊ตฌ๋ ๋ณํ๊ณผ ์ ์ด ๋ณํ์ ๊ณต์กด ๋ฌธ์ ๋ฅผ ์ ๋ฉด์ผ๋ก ๋ค๋ฃธ: ๊ธฐ์กด VBTS๊ฐ โ์์ง์ด์ง ์๋ ์ผ์โ์๋ ๋ฐ ๋ฐํด, EleTac์ ์๊ธฐ ๊ตฌ๋ ๋ณํ์ด ์์ธ ์์์์ ์ด๊ฐ์ ๋ฝ๋ ๋ ์ด๋ ค์ด ๋ฌธ์ ๋ฅผ ํ์ต์ผ๋ก ํ๋๋ค.
- ์๋ฎฌ๋ ์ด์ ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์์ฑ์ ์๋ฆฌํจ: ์ ๋ต ์ธก์ ์ด ์ด๋ ค์ด ๊ณ ์ ์์ฉ๊ฐ๊ฐ์ SOFA(FEM) + Blender(๋ ๋๋ง) + CycleGAN(sim-to-real)์ผ๋ก ํด๊ฒฐํด, ๋จ 150์์ ๋ฐ์ดํฐ๋ก ์์ธ๋ฅผ ์ถ์ ํฉ๋๋ค.
- ์ค์ ์์ฉ ์์ฐ: ๋ชจ๋ ๋ฐ๊ตด, ํ๋ฉด ์ถ์ข ์ฒญ์์ฒ๋ผ ์ด๊ฐยท๊ณ ์ ์์ฉ๊ฐ๊ฐ์ ์ค์ ์ ์ด ๋ฃจํ์ ๋ฃ์ ๋ฐ๋ชจ๊ฐ ์ค๋๋ ฅ์ ๋ํฉ๋๋ค.
์ฝ์ ยทํ๊ณ
- ํ์ง ํ์ด๋ก๋๊ฐ ๋งค์ฐ ์์: ์ต๋ ์ฝ 45.9 g๋ก, ๊ฐ๋ณ๊ณ ์์ ๋ฌผ์ฒด์ ๊ตญํ๋ฉ๋๋ค. ์ฝ๋ผ๋ฆฌ โ์ฝ๋โ์ ์ฌ์ธํจ์ ์ด๋ ธ์ง๋ง ์ฝ ์ ์ฒด์ ๊ฐ๋ ฅํจ์ ์์ต๋๋ค. ์ผ๋ฐ ๋งค๋ํฐ๋ ์ด์ ์ผ๋ก์ ์ผ๋ฐํ์๋ ์ ์ฝ์ด ํฝ๋๋ค.
- ์์ ์ ์ด์์์ ์ฑ๋ฅ ์ ํ ์์ฌ: ํต์ฌ ์งํ๋ค์ด โ๊น์ด > 4 mmโ ์กฐ๊ฑด์์ ๋ณด๊ณ ๋ฉ๋๋ค. ๊ฐ๋ฒผ์ด ์ ์ด์ด๋ ๋ฏธ์ธ ์ฌ๋ฆฝ ๊ฐ์ง์ฒ๋ผ ์์ ๋ณํ ์์ญ์ ์ฑ๋ฅ์ ๋ถํ์คํฉ๋๋ค.
- ํ์ ๋ถ๋ฅ 81.67%: 6ํด๋์ค ๊ธฐ์ค์ผ๋ก ์ค์ฉ์ ๋ ๊ฐ์ ์ด ํ์ํ๋ฉฐ, ์ ์๋ค๋ future work๋ก โ์ผ์ฑ ์ ํ๋ ๊ฐ์ โ์ ๋ช ์ํฉ๋๋ค.
- ๋ฐ์ดํฐ ๊ท๋ชจ์ ๋์์ ์ ํ์ํจ: ๊ณ ์ ์์ฉ๊ฐ๊ฐ ๋ฐ์ดํฐ๊ฐ 150์์ผ๋ก ์๊ณ , ๊ตฌ๋์ด 30 kPa on-off ๋จ์ผ ๋์์ ์ ๋๋ค. ์ฐ์์ ์ธ ํ ์กฐ์ ์ด๋ ๋ค์ํ ์๋ ฅ ์์ญ์์์ ์ผ๋ฐํ๋ ๊ฒ์ฆ๋์ง ์์์ต๋๋ค.
- ๊ณต์ ์์คํ ๊ณตํต ํ๊ณ: ์ธ๋ถ ํํยทํ๋ธ๊ฐ ํ์ํด ์์คํ ์ด ๋ฌด๊ฒ๊ณ , ๋์ ์กฐ์ ์๋์ ์ ์ฝ์ด ์์ ์ ์์ต๋๋ค.
- ์ํฌ์ ๋จ์ ๋ถ๋: ์งง์ ํ์ดํผ ํน์ฑ์ ๋๊ท๋ชจ ์ ๋ ํ๊ฐ๋ ์ฅ๊ธฐ ๋ด๊ตฌ์ฑ ๋ฐ์ดํฐ๋ ์ ํ์ ์ ๋๋ค.
๊ด๋ จ ์ฐ๊ตฌ ๋น๊ต
EleTac์ ์์น๋ฅผ ๊ธฐ์กด ๋น์ ๊ธฐ๋ฐ ์ด๊ฐ/์ํํธ ๊ทธ๋ฆฌํผ ์ฐ๊ตฌ ์์์ ์ ๋ฆฌํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค(๋ ผ๋ฌธ ์ธ์ฉ ๋ฐ ๊ณต๊ฐ ์๋ฃ ๊ธฐ์ค).
| ์์คํ | ๊ตฌ์กฐ/์๊ฐ | ๊ตฌ๋ | ๋ณํ์ ์์ฒ | EleTac๊ณผ์ ์ฐจ์ด |
|---|---|---|---|---|
| EleTac (๋ณธ ๋ ผ๋ฌธ) | ์ฝ๋ผ๋ฆฌ ์ฝ๋ | ์์ ๊ณต์(30 kPa) | ๊ตฌ๋ + ์ ์ด (๋ ๋ค) | ์์ง์ด๋ ๋ณธ์ฒด์์ ์ด๊ฐยท๊ณ ์ ์์ฉ๊ฐ๊ฐ ํตํฉ |
| GelSight [3] | ๊ฐ์ฒด ํ๊ฑฐํ | ์์(๊ณ ์ ) | ์ ์ด๋ง | ๊ฐ์ฒดยท์ํ, ์๊ธฐ ๋ณํ ์์ |
| GelTip [4] | ์๊ฐ๋ฝํ ๊ดํ ์ผ์ | ์์(๊ณ ์ ) | ์ ์ด๋ง | ๊ณก๋ฉด ํ๊ฑฐํ์ด๋ ๋น๊ตฌ๋ ์ผ์ |
| ConTac [5] (์ ์ ๊ทธ๋ฃน) | ์ฐ์์ฒด ๋ชจ์ฌ ์ํํธ ํ | ๊ตฌ๋ํ | ๊ตฌ๋ + ์ ์ด | EleTac์ ์ง์ ์ ๊ธฐ์ ๊ณ๋ณด(ํ์ยท์ ์ด ์ธ์ง) |
ํต์ฌ ๋๋น๋ ๋ช ํํฉ๋๋ค. GelSightยทGelTip ๊ฐ์ ๊ณ ์ VBTS๋ ์ค์ค๋ก ์์ง์ด์ง ์๋ ์ผ์๋ผ ์ธํผ ๋ณํ์ด ๊ณง ์ ์ด์ ์๋ฏธํฉ๋๋ค. EleTac์ ์ค์ค๋ก ๋ซํ๋ฉฐ ๋ณํํ๋ ๊ทธ๋ฆฌํผ์ด๋ฏ๋ก, ์์ ์ ๋ณํ์์ โ๋ด ๊ตฌ๋ ๋๋ฌธ์ธ์ง, ๋ฌผ์ฒด ์ ์ด ๋๋ฌธ์ธ์งโ๋ฅผ ํ์ต์ผ๋ก ๋ถ๋ฆฌํด์ผ ํฉ๋๋ค. ์ ์ ๊ทธ๋ฃน์ ์ ํ ์ฐ๊ตฌ ConTac์ด ์ฐ์์ฒด ์ํํธ ํ์์ ํ์ยท์ ์ด ์ธ์ง๋ฅผ ๋ค๋ฃฌ ๊ณ๋ณด ์์์, EleTac์ ์ด๋ฅผ ์ฝ๋ผ๋ฆฌ ์ฝ๋ํ ์ง๊ธฐ ๊ทธ๋ฆฌํผ๋ก ๊ฐ์ ธ์ค๊ณ ๊ณ ์ ์์ฉ๊ฐ๊ฐ๊น์ง ๊ฒฐํฉํ ์ ์ ๋๋ค.
์์ฝ ๋ฐ ๊ฒฐ๋ก
EleTac์ ์ฝ๋ผ๋ฆฌ ์ฝ๋์ ์ฌ์ธํ ์ง๊ธฐ ๋์๊ณผ ํ๋ฉด ์ ์ฒด ์ด๊ฐ์, ์์์ผ๋ก ๋ซํ๋ ์ ๋น ์ํํธ ๋ณธ์ฒด์ ๋ฒ ์ด์ค์ ๋์ธ ๋จ์ผ ์นด๋ฉ๋ผ๋ก ํ ๋ชธ์ ๋ด์ ๊ทธ๋ฆฌํผ์ ๋๋ค. ํต์ฌ์ ํ ๋ฌธ์ฅ์ผ๋ก ์์ฝํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ค์ค๋ก ์์ง์ด๋ฉฐ ๋ณํํ๋ ๊ทธ๋ฆฌํผ์ ๋ชธ ์์ฒด๊ฐ ๊ณ ํด์๋ ์ด๊ฐ ์ผ์๊ฐ ๋์ด, ๋ณ๋ ์ผ์ฑ ๋ชจ๋ ์์ด ์ ์ด(์์นยท๊น์ดยทํ)ยทํ์ยท๊ณ ์ ์์ฉ๊ฐ๊ฐ์ ๋์์ ๋ณต์ํ๋ค(manipulator-as-sensor).
์ ๋์ ์ผ๋ก๋ ์ ์ด ์์น ์ค์ฐจ 2.36 mm, ํ์ ๋ถ๋ฅ 81.67%(์ด์ ๊น์ด > 4 mm ์กฐ๊ฑด), ๊ณ ์ ์์ฉ๊ฐ๊ฐ ์ค์ฐจ 2.87 mm, ํ์ง ํ์ด๋ก๋ ์ต๋ 45.9 g ๋ฅผ ๋ณด๊ณ ํฉ๋๋ค. ํ์ด๋ก๋์ ์ ํ๋ ๋ชจ๋ ์์ง ์ด๊ธฐ ๋จ๊ณ์ง๋ง, ์ด ์ฐ๊ตฌ์ ๊ฐ์น๋ ์ ๋ ์์น๋ณด๋ค ๊ตฌ๋๊ณผ ๊ฐ๊ฐ์ด ํ ๋ชธ์์ ๊ณต์กดํ๋ ์์์ ํ์ต์ผ๋ก ํด์ํด ์ค์ ์ ์ด ๋ฃจํ(๋ชจ๋ ๋ฐ๊ตดยทํ๋ฉด ์ถ์ข )์ ๋ฃ์๋ค๋ ํตํฉ์ ์์ฑ๋์ ์์ต๋๋ค. SOFA FEM๊ณผ Blender ๋ ๋๋ง, CycleGAN์ ์ฎ์ด ์์ ๋ฐ์ดํฐ๋ก ๊ณ ์ ์์ฉ๊ฐ๊ฐ์ ํ์ตํ ์ ์ ์ํํธ ๋ก๋ด ์ด๊ฐ ์ฐ๊ตฌ์ ๋ฐ์ดํฐ ๋ณ๋ชฉ์ ํธ๋ ์ค์ฉ์ ๋ ์ํผ๋ก๋ ์ฝํ๋๋ค.
์ ์๋ค์ ํฅํ ๊ณผ์ ๋ก ์ผ์ฑ ์ ํ๋ ๊ฐ์ ๊ณผ ์ ์ฒด ๊ธธ์ด์ ์ฝ๋ผ๋ฆฌ ์ฝ ๋ก๋ด ๊ฐ๋ฐ์ ์ ์ํฉ๋๋ค. ์ฆ ์ด๋ฒ EleTac์ด โ์ฝ๋โ์ด๋ผ๋ฉด, ๋ค์ ๋ชฉํ๋ โ์ฝ ์ ์ฒดโ์ธ ์ ์ ๋๋ค.