flowchart LR
A[Surface defect: crack / rivet / braille] --> B[Soft elastomer deforms]
B --> C[Reflective coating reveals shape]
C --> D[Event camera inside roller]
D -->|microsecond events| E[Event stream e_k]
E --> F[Pose interpolation from UR10 at 100 Hz]
F --> G[EMVS multi-view stereo]
G --> H[Three DSIs at t_s, t_m, t_e]
H --> I[BMA fusion]
I --> J[Fused depth map Z_f]
J --> K[3D surface reconstruction]
๐Event Roller Tactile Sensor
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
๋ณธ ๋ฆฌ๋ทฐ๋ ViTac 2026 ์ํฌ์์ ๊ฒ์ฌ๋ ์งง์ ์ด๋ก๊ณผ, ๋์ผ ์ฐ๊ตฌ์ ํ์ฅํ ์ ๋ ๋ ผ๋ฌธ(arXiv:2507.19914, โThey See Me Rolling: High-Speed Event Vision-Based Tactile Roller Sensor for Large Surface Inspectionโ)์ ๊ณต๊ฐ ๋ด์ฉ์ ๊ทผ๊ฑฐํด ์์ฑํ์ต๋๋ค. ์ผ๋ถ ์์น์ ์ธ๋ถ ์ฌํญ์ ํ์ฅํ์์ ๊ฐ์ ธ์์ผ๋ฉฐ, ์ํฌ์ ์ด๋ก๋ง์ผ๋ก ํ์ธํ๊ธฐ ์ด๋ ค์ด ๋ถ๋ถ์ ๋ณธ๋ฌธ์ (์ถ์ธก) ์ผ๋ก ํ์ํ์ต๋๋ค.
์๋ก
ํฐ ํ๋ฉด์ โ๋ง์ ธ์โ ๊ฒ์ฌํ๋ค๋ ๊ฒ
ํญ๊ณต๊ธฐ ๋์ฒด(fuselage)๋ ๋ํ ํจ๋์ฒ๋ผ ๋์ ๊ธ์ ํ๋ฉด์ ๊ฒ์ฌํ๋ ์ผ์ ์์ํด ๋ด ์๋ค. ์ฐ๋ฆฌ๊ฐ ์ฐพ๊ณ ์ถ์ ๊ฒ์ ๋ฏธ์ธํ ๊ท ์ด, ์คํฌ๋์น, ์ฐํ(dent), ๋ฆฌ๋ฒณยท๋์ฌ์ ๋จ์ฐจ์ฒ๋ผ ์์ญ~์๋ฐฑ ๋ง์ดํฌ๋ก๋ฏธํฐ(ยตm) ์์ค์ ๊ธฐํํ์ ๊ฒฐํจ์ ๋๋ค. ์นด๋ฉ๋ผ๋ก ๋ฉ๋ฆฌ์ ์ฐ๋ ๊ดํ ๊ฒ์ฌ๋ ์์ง๋ง, ๋น ๋ฐ์ฌยท๊ฐ๋์ ๋ฏผ๊ฐํ๊ณ ๊น์ด ์ ๋ณด๋ฅผ ์ ๋ฐํ๊ฒ ์ป๊ธฐ ์ด๋ ต์ต๋๋ค.
๊ทธ๋์ ๋ฑ์ฅํ ๊ฒ์ด ์๊ฐ ๊ธฐ๋ฐ ์ด๊ฐ ์ผ์(Vision-Based Tactile Sensor, VBTS) ์ ๋๋ค. ๋ํ์ ์ผ๋ก GelSight ๊ณ์ด์ด ์์ต๋๋ค. ๋์ ์๋ฆฌ๋ฅผ ๋น์ ํ์๋ฉด ์ด๋ ์ต๋๋ค.
- ํฌ๋ช ํ ์ ค(elastomer) ๋ฉ์ด๋ฆฌ๋ฅผ ํ๋ฉด์ ๊พน ๋๋ฆ ๋๋ค.
- ์ ค ํ๋ฉด์ ๊ฒ์ฌ ๋์์ ํ์๋๋ก ๋ฏธ์ธํ๊ฒ ๋ณํ๋ฉ๋๋ค.
- ์ ค ์์ชฝ์์ ์นด๋ฉ๋ผ๊ฐ ์ด ๋ณํ์ ๋ค์ฌ๋ค๋ด ๋๋ค.
- ๋ณํ๋ ํ๋ฉด์ ์์/ํจํด์ผ๋ก๋ถํฐ 3D ๊น์ด๋ฅผ ๋ณต์ํฉ๋๋ค.
์ด ๋ฐฉ์์ ๊ตญ์(local) ํด์๋๊ฐ ๋งค์ฐ ๋๋ค๋ ์ฅ์ ์ด ์์ต๋๋ค. ๋ง์น ์๋์ผ๋ก ์ ์๋ฅผ ์ฝ๋ฏ ๋ฏธ์ธํ ์์ฒ ์ ์ก์๋ ๋๋ค. ๊ทธ๋ฌ๋ ์น๋ช ์ ์ธ ํ๊ณ๊ฐ ์์ต๋๋ค. ํ ๋ฒ์ ์์ ์์ญ(๋ณดํต ์๊ฐ๋ฝ ๋๋ง ํ ๋์ด)๋ง ๋ณผ ์ ์์ด์, ๋์ ํ๋ฉด์ ๊ฒ์ฌํ๋ ค๋ฉด โ๋๋ ๋ค ๋ผ๊ณ ์ฎ๊ธฐ๊ณ ๋ค์ ๋๋ฅด๋(press-and-lift)โ ๋์์ ์์์ด ๋ฐ๋ณตํด์ผ ํฉ๋๋ค. ๋นํ๊ธฐ ํ ๋๋ฅผ ์ด๋ ๊ฒ ๊ฒ์ฌํ๋ค๊ณ ์์ํ๋ฉด ๋์ฐํ๊ฒ ๋๋ฆฝ๋๋ค.
์ฐ์ ์ธก์ ์ ๋ ๊ฐ๋์ ๊ฐ๊ฐ์ ๋ฒฝ
์ด โ๋๋ฆผโ ๋ฌธ์ ๋ฅผ ํ๊ธฐ ์ํด ๋ ๊ฐ์ง ์ฐ์ ์ธก์ ๋ฐฉ์์ด ์ ์๋์ด ์์ต๋๋ค.
์ฌ๋ผ์ด๋ฉ(sliding) ๋ฐฉ์: ์ ค์ ํ๋ฉด ์์ ๋๊ณ ๊ทธ๋๋ก ๋ฏธ๋๋ฌ๋จ๋ฆฝ๋๋ค. ์ง๊ด์ ์ด์ง๋ง, ๋ง์ฐฐ๊ณผ ๋ง๋ชจ(wear)๊ฐ ๋ฐ์ํ๊ณ ๋ณดํธ๋ง์ด ๊ดํ์ ์ผ๋ก ๋น์ ์ฐ๋์์ผ ํ์ง์ ๋จ์ด๋จ๋ฆฝ๋๋ค. ์๋ฐ๋ฅ์ผ๋ก ๊ฑฐ์น ๋ฒฝ์ ๋ฌธ์ง๋ฅด๋ฉด ์์ด ์ํ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค.
๋กค๋ฌ/๋ฒจํธ(roller/belt) ๋ฐฉ์: ์ ค์ ์ํต(๋กค๋ฌ)์ด๋ ์ปจ๋ฒ ์ด์ด ๋ฒจํธ์ฒ๋ผ ๋ง๋ค์ด ํ๋ฉด ์๋ฅผ ๊ตด๋ฆฝ๋๋ค. ๋ง์ฐฐยท๋ง๋ชจ๊ฐ ๊ฑฐ์ ์์ด ์ฌ๋ผ์ด๋ฉ๋ณด๋ค ์ ๋ฆฌํฉ๋๋ค. ํ์ธํธ ๋กค๋ฌ๋ฅผ ๋ฒฝ์ ๊ตด๋ฆฌ๋ ๋ชจ์ต์ ๋ ์ฌ๋ฆฌ๋ฉด ๋ฉ๋๋ค.
ํ์ง๋ง ๋กค๋ฌ/๋ฒจํธ ๋ฐฉ์์๋ ๊ณตํต์ ๋ฒฝ์ด ์์ต๋๋ค. ๋ฐ๋ก ์นด๋ฉ๋ผ์ ํ๋ ์ ๋ ์ดํธ(frame rate) ์ ๋๋ค. ์ผ๋ฐ ์นด๋ฉ๋ผ๋ ์ ํด์ง ์๊ฐ ๊ฐ๊ฒฉ์ผ๋ก ์ฌ์ง์ โ์ฐฐ์นต์ฐฐ์นตโ ์ฐ๋๋ฐ, ๋กค๋ฌ๋ฅผ ๋นจ๋ฆฌ ๊ตด๋ฆฌ๋ฉด ๋ ธ์ถ ์๊ฐ ๋์ ํผ์ฌ์ฒด๊ฐ ์์ง์ฌ ๋ชจ์ ๋ธ๋ฌ(motion blur) ๊ฐ ์๊น๋๋ค. ํ๋ค๋ฆฐ ์ฌ์ง์ผ๋ก๋ ยตm ๋จ์ ํ์์ ๋ณต์ํ ์ ์์ผ๋, ๊ฒฐ๊ตญ ์ฒ์ฒํ ๊ตด๋ ค์ผ ํฉ๋๋ค. ๊ธฐ์กด ๋ฒจํธํ ์ผ์(GelBelt)๊ฐ 45 mm/s, ๋กค๋ฌํ(TouchRoller)์ด 11 mm/s์ ๋จธ๋ฌด๋ ์ด์ ์ ๋๋ค.
์ด ๋ ผ๋ฌธ์ ํ ์ค ์์ด๋์ด
์ด ๋ ผ๋ฌธ์ ๊ทธ ๋ฒฝ์ ์นด๋ฉ๋ผ ์์ฒด๋ฅผ ๋ฐ๊ฟ์ ๋์ต๋๋ค. ์ผ๋ฐ ํ๋ ์ ์นด๋ฉ๋ผ ๋์ ์ด๋ฒคํธ ์นด๋ฉ๋ผ(event camera, ๋ด๋ก๋ชจํฝ ๋น์ ์ผ์) ๋ฅผ ๋กค๋ฌ ์์ ๋ฃ์ ๊ฒ์ ๋๋ค. ํต์ฌ ์ฑ๊ณผ๋ฅผ ๋จผ์ ์์ฝํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
| ํญ๋ชฉ | ์ฑ๋ฅ | ๊ธฐ์กด ๋๋น |
|---|---|---|
| ์ค์บ ์๋ | 0.5 m/s (500 mm/s) | GelBelt ๋๋น ์ฝ 11๋ฐฐ, TouchRoller ๋๋น ์ฝ 45๋ฐฐ |
| ๊น์ด ์ ํ๋(MAE) | 100 ยตm ๋ฏธ๋ง (์ ์ฒด ํ๊ท ์ฝ 62 ยตm) | sub-100ยตm ์ ๋ฐ๋ ์ ์ง |
| ์ ์(Braille) ํ๋ | 0.5 m/s์์ 100% ์ ํ๋ | ์ ํ ์ฐ๊ตฌ(0.18 m/s) ๋๋น ์ฝ 2.6๋ฐฐ ๋น ๋ฆ |
์ฆ โ๋น ๋ฅด๋ฉด ํ๋ ค์ง๋คโ๋ ํธ๋ ์ด๋์คํ๋ฅผ ์ด๋ฒคํธ ์นด๋ฉ๋ผ๋ก ๊นจ๊ณ , ๊ฑฐ๊ธฐ์ BMA(Bayesian Model Averaging)๋ผ๋ ๋ค์ค ์์ ์ตํฉ ๊ธฐ๋ฒ์ ๋ํด ์ ํ๋๊น์ง ๋์ด์ฌ๋ฆฐ ๊ฒ์ด ์ด ์ฐ๊ตฌ์ ์ ์ฒด์ฑ์ ๋๋ค.
๋ฐฉ๋ฒ
1. ์ด๋ฒคํธ ์นด๋ฉ๋ผ: โ๋ณํโ๋ง ๋น๋๊ธฐ์ ์ผ๋ก ๋ณธ๋ค
์ด๋ฒคํธ ์นด๋ฉ๋ผ๋ฅผ ์ดํดํ๋ ๊ฐ์ฅ ์ข์ ๋น์ ๋ โ์์ง์์ ๊ฐ์งํ๋ ์๋ ์ ๋ฑ ์ผ์ ์๋ฐฑ๋ง ๊ฐโ ์ ๋๋ค. ์ผ๋ฐ ์นด๋ฉ๋ผ๊ฐ ๋ชจ๋ ํ์์ ๋ฐ๊ธฐ๋ฅผ ์ ํด์ง ์๊ฐ๋ง๋ค ํ๊บผ๋ฒ์ ์ฝ๋๋ค๋ฉด, ์ด๋ฒคํธ ์นด๋ฉ๋ผ์ ๊ฐ ํ์๋ ๋ ๋ฆฝ์ ยท๋น๋๊ธฐ์ ์ผ๋ก ๋์ํฉ๋๋ค. ํ์๊ฐ ๋ณด๋ ๋ก๊ทธ ๋ฐ๊ธฐ(log brightness)์ ๋ณํ๋ \Delta L ์ด ๋๋น ์๊ณ๊ฐ(contrast threshold) C ๋ฅผ ๋๋ ์๊ฐ์๋ง โ์ด๋ฒคํธโ๋ฅผ ๋ฐ์ฌํฉ๋๋ค.
ํ๋์ ์ด๋ฒคํธ๋ ๋ค์๊ณผ ๊ฐ์ด ํํ๋ฉ๋๋ค.
e_k = (x_k,\; y_k,\; t_k,\; p_k)
- (x_k, y_k): ํ์ ์ขํ
- t_k: ๋ง์ดํฌ๋ก์ด(ยตs) ๋จ์ ํ์์คํฌํ
- p_k \in \{-1, +1\}: ๊ทน์ฑ(๋ฐ์์ง/์ด๋์์ง)
์ด ๊ตฌ์กฐ์์ ๋์ค๋ ์ด์ ์ด ๊ณง ์ด ์ผ์์ ๋ฌด๊ธฐ์ ๋๋ค.
- ๋ง์ดํฌ๋ก์ด ์๊ฐ ํด์๋: ๋กค๋ฌ๊ฐ ๋นจ๋ฆฌ ๊ตด๋ฌ๋ โ์ธ์ ๋ฌด์จ ๋ณํ๊ฐ ์์๋์งโ๋ฅผ ์ ๋ฐํ๊ฒ ์๋ค โ ๋ชจ์ ๋ธ๋ฌ๊ฐ ๋ณธ์ง์ ์ผ๋ก ์์
- ๋์ ๋์ ๋ฒ์(HDR): ์กฐ๋ช ๋ณํ์ ๊ฐํจ
- ํฌ์(sparse) ์ถ๋ ฅ: ๋ณํ ์๋ ๊ณณ๋ง ๋ฐ์ดํฐ๊ฐ ์๊น โ ์ฐ์ฐยท์ ์ก ๋ถ๋ด์ด ์์
๋น์ ํ์๋ฉด, ์ผ๋ฐ ์นด๋ฉ๋ผ๊ฐ โ1์ด์ 30๋ฒ ๋ฐฉ ์ ์ฒด๋ฅผ ์ฌ์ง ์ฐ๋ ์ฌ๋โ์ด๋ผ๋ฉด, ์ด๋ฒคํธ ์นด๋ฉ๋ผ๋ โ๋ฐฉ ์์์ ๋ฌด์์ด๋ ์์ง์ด๋ ์๊ฐ ๊ทธ ์์น์ ์๊ฐ์ ์ฆ์ ์์ญ์ฌ ์ฃผ๋ ์์ญ๋ง ๊ฐ์ ๊ฐ์ ๋โ์ ๋๋ค. ๋น ๋ฅธ ๋กค๋ง ๊ฒ์ฌ์ ์ด์์ ์ ๋๋ค.
2. ๊ธฐ๊ณ ์ค๊ณ: ๊ตด๋ฌ๊ฐ๋ ํฌ๋ช ์ํต ์์ ๋
์ผ์์ ๋ฌผ๋ฆฌ์ ๊ตฌ์ฑ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค (์์น๋ ํ์ฅํ ๊ธฐ์ค).
- ํฌ๋ช ์ํฌ๋ฆด ์ํต + ๋ฐํฌ๋ช ์๋ผ์คํ ๋จธ(Smooth-On Sorta-Clear 18, Shore A ๊ฒฝ๋ 18) ์ธต: ๋น์ด ํต๊ณผํ๋ฉด์๋ ํ๋ฉด ํ์์ ๋ฐ๋ผ ๋ณํ
- ๋ฐ์ฌ ์ฝํ (์๋น mica ๊ธฐ๋ฐ): ์คํฌ์คํฌ๋ฆฐ ์ธ์๋ก ๋ํฌ โ ๋น์ ์ ๋ฐ์ฌ์์ผ, GelSight์ ๊ด๋ ์ ์ฒด(photometric stereo)์ ์์กดํ์ง ์๊ณ ๋ ํ์์ ๋๋ฌ๋ โ ์กฐ๋ช ๋ณํ์ ๊ฐ๊ฑด
- ์ด๋ฒคํธ ์นด๋ฉ๋ผ(DVXplorer mini, 640ร480): ์ํต ๋ด๋ถ์ ๊ณ ์
- ๋ฐฑ์ LED ๋ง + ๋ํจ์ : ๋ด๋ถ ๊ท ์ผ ์กฐ๋ช
- ๊ตฌ๋: UR10 ๋ก๋ด ํ ์๋์ดํํฐ์ ์ฅ์ฐฉ, ํ๋ฉด ์๋ฅผ ๊ตด๋ฆผ
3. 3D ๋ณต์์ ํ ๋: ์ด๋ฒคํธ ๊ธฐ๋ฐ ๋ค์ค ์์ ์คํ ๋ ์ค (EMVS)
๊น์ด ๋ณต์์ ํต์ฌ ์๋ฆฌ๋ ์ด๋ ์์ฐจ(motion parallax) ์ ๋๋ค. ์ฐจ๋ฅผ ํ๊ณ ๊ฐ ๋ ๊ฐ๊น์ด ๊ฐ๋ก์๋ ๋น ๋ฅด๊ฒ ์ค์ณ๊ฐ๊ณ ๋จผ ์ฐ์ ์ฒ์ฒํ ์์ง์ด๋ ๊ทธ ํ์์ ๋๋ค. ์ฆ, ์นด๋ฉ๋ผ(๋กค๋ฌ)๊ฐ ์์ง์ผ ๋ ์ด๋ฒคํธ๊ฐ ํ๋ฉด์์ ์์ง์ด๋ ์๋๊ฐ ๊ทธ ์ ๊น์ง์ ๊น์ด๋ฅผ ์๋ ค์ค๋๋ค.
EMVS๋ ์ด๋ฅผ ๋ค์์ฒ๋ผ ๊ตฌํํฉ๋๋ค.
๊ด์ฌ ๋ณผ๋ฅจ์ ๊น์ด ํ๋ฉด์ผ๋ก ๋ถํ (discretization): ๊น์ด ๋ฒ์ 43โ47 mm(์๋ผ์คํ ๋จธ๊ฐ ๋ณํ๋ ์ ์๋ ๋ฒ์)๋ฅผ 500๊ฐ ํ๋ฉด์ผ๋ก ์ชผ๊ฐฌ โ ํ๋ฉด๋น ์ฝ 8 ยตm ํด์๋. ๋ถํผ๋ \bar{D} \in \mathbb{R}^{w \times h \times N_z} (์ฌ๊ธฐ์ w \times h = 640 \times 480, N_z = 500).
๊ฐ ์ด๋ฒคํธ๋ฅผ ๊ด์ (ray)์ผ๋ก ์ญํฌ์(back-projection): ๋ณด์ ๋ ์นด๋ฉ๋ผ ๋ด๋ถ ํ๋ผ๋ฏธํฐ์ ํฌ์ฆ๋ฅผ ์ฌ์ฉํด ์ด๋ฒคํธ๋ฅผ 3D ๊ณต๊ฐ์ ๊ด์ ์ผ๋ก ์์ ๋ณด๋. ํํ ๋ชจ๋ธ์
z\,\mathbf{p} = \mathbf{K}\,[\mathbf{R} \mid \mathbf{t}]\,\mathbf{P}_w
์ฌ๊ธฐ์ \mathbf{K} ๋ ๋ด๋ถ ํ๋ผ๋ฏธํฐ ํ๋ ฌ, [\mathbf{R}\mid\mathbf{t}] ๋ ์ธ๋ถ ํ๋ผ๋ฏธํฐ(ํ์ ยท์ด๋), \mathbf{P}_w ๋ ์๋ ์ขํ์ 3D ์ ์ ๋๋ค.
DSI(Disparity Space Image) ๋์ : 3D ๊ณต๊ฐ์ voxel๋ก ๋๋๊ณ , ๊ด์ ์ด ์ง๋๊ฐ voxel์ โํ(vote)โ๋ฅผ ๋์ง๋๋ค. ์ค์ ํ๋ฉด์ด ์๋ ๊ณณ์์ ์ฌ๋ฌ ์์ ์ ๊ด์ ์ด ๊ต์ฐจํ๋ฏ๋ก ๊ทธ voxel์ ํ๊ฐ ๋ชฐ๋ฆฝ๋๋ค. ๊ฐ ํ์ ๊ด์ ์ ๋ฐ๋ผ ํ๊ฐ ๊ฐ์ฅ ๋ง์(local maxima) ์ง์ ์ ์ ์์ ๊ฐ์ฐ์์ ์๊ณํ(Adaptive Gaussian Thresholding)๋ก ๊ณจ๋ผ๋ด๋ฉด ์ค-์กฐ๋ฐ(semi-dense) ๊น์ด ๋งต์ด ๋์ต๋๋ค.
ํฌ์ฆ ์ถ์ ยท๋ณด๊ฐ: ๋ก๋ด ์๋์ดํํฐ ํฌ์ฆ๋ 100 Hz๋ก ๊ธฐ๋ก๋์ง๋ง ์ด๋ฒคํธ๋ ยตs ๋จ์๋ผ ํจ์ฌ ์ด์ดํฉ๋๋ค. ๊ทธ๋์ ์ด๋ฒคํธ๋ฅผ 256๊ฐ์ฉ ๋ฌถ๊ณ (packet) ๊ทธ ์ค์๊ฐ ํ์์คํฌํ์ ํด๋นํ๋ ํฌ์ฆ๋ฅผ ์ ํ ๋ณด๊ฐํฉ๋๋ค. ์นด๋ฉ๋ผ์ ์ ๋ ํฌ์ฆ๋ ์๊ธฐ๊ตฌํ๊ณผ ์-๋ ๋ณด์ (hand-eye calibration)์ ํฉ์ฑ์ผ๋ก ์ป์ต๋๋ค.
\mathbf{T}_C^B(t) = \mathbf{T}_E^B(t)\cdot \mathbf{T}_C^E
(\mathbf{T}_E^B: ๋ฒ ์ด์ค ๋๋น ์๋์ดํํฐ, \mathbf{T}_C^E: ์๋์ดํํฐ ๋๋น ์นด๋ฉ๋ผ)
4. ์ด ๋ ผ๋ฌธ์ ํต์ฌ ๊ธฐ์ฌ: BMA(๋ฒ ์ด์ง์ ๋ชจ๋ธ ํ๊ท ) ์ตํฉ
๊ธฐ๋ณธ EMVS๋ ํ๋์ ๊ธฐ์ค ์์ (reference view) ์ ์ ํด ๊ทธ ์์ ๊ธฐ์ค์ผ๋ก ๋จ ํ๋์ ๊น์ด ๋งต์ ๋ง๋ญ๋๋ค. ๊ทธ๋ฐ๋ฐ ๋กค๋ฌ๋ ํ๋ฉด์ด ๊ณก๋ฉด์ด๋ผ ์์ ์ ๋ฐ๋ผ ๊น์ด๊ฐ ๋ค์ญ๋ ์ญํด์ง๊ณ , voxel ์ด์ฐํ๋ก ์ธํ ์ก์๋ ์์ ๋๋ค.
์ ์๋ค์ ์์ด๋์ด๋ ๋จ์ํ๋ฉด์ ํจ๊ณผ์ ์ ๋๋ค. ๊ฐ์ ์ด๋ฒคํธ ์คํธ๋ฆผ์ผ๋ก ์๋ก ๋ค๋ฅธ ์ธ ๊ธฐ์ค ์์ ์์ ์ธ ๊ฐ์ DSI(๊น์ด ๋งต)๋ฅผ ๋ง๋ค์ด ํ๊ท ๋ด์. 20 ms ์๊ฐ ์ฐฝ(window) ์์์ ๋ค์ ์ธ ์์ ์ ์ก์ต๋๋ค.
- t_s: ์ฐฝ์ ์์
- t_m: ์ฐฝ์ ์ค์
- t_e: ์ฐฝ์ ๋
๊ฐ๊ฐ์์ ๊น์ด ๋งต Z_s, Z_m, Z_e ๋ฅผ ์ป์ ๋ค, ๊ณตํต ๊ธฐ์ค ํ๋ ์(t_m)์ผ๋ก ์ํ(warping)ํ ๋ค์ ๊ฐ์ค ํ๊ท ํฉ๋๋ค.
Z_f = \sum_{i \in \{s, m, e\}} w_i \cdot \mathcal{W}_i(Z_i)
์ฌ๊ธฐ์ \mathcal{W}_i ๋ ์ํ ํจ์, w_i ๋ ๋ณด์ ์ผ๋ก ํ์ต๋ ์ตํฉ ๊ฐ์ค์น์ ๋๋ค. ๊ทธ๋ฆฌ๋ ํ์์ผ๋ก MAE๋ฅผ ์ต์ํํด ์ป์ ์ต์ ๊ฐ์ค์น๋
w_s = 0.445,\quad w_m = 0.333,\quad w_e = 0.222
์ง๊ด๊ณผ ์ด๊ธ๋๋ ํฅ๋ฏธ๋ก์ด ๋ฐ๊ฒฌ: ๋ณดํต โ์ค์ ์์ ์ด ๊ฐ์ฅ ์์ ์ ์ด๋ ๊ฐ์ฅ ํฐ ๊ฐ์ค์น๋ฅผ ๋ฐ๊ฒ ์งโ๋ผ๊ณ ์๊ฐํ๊ธฐ ์ฝ์ง๋ง, ์ค์ ๋ก๋ ์์ ์์ t_s ๊ฐ ๊ฐ์ฅ ํฐ ๊ฐ์ค์น๋ฅผ ๋ฐ์์ต๋๋ค. ์ ์๋ค์ ๊ทธ ์ด์ ๋ฅผ (์ถ์ ) ๋ค์์ผ๋ก ํด์ํฉ๋๋ค.
- t_s ์์๋ ๋ก๋ด ์ํ(ํฌ์ฆ)๋ฅผ ์ง์ ์ธก์ ํ ์ ์์ด ๋ณด๊ฐ ์ค์ฐจ๊ฐ ์์
- ์ฐฝ ํ๋ฐ๋ถ๋ก ๊ฐ์๋ก ์ ๋ถ ์ค์ฐจ๊ฐ ๋์ ๋จ
- ์ด๋ฐ ํน์ง์ด ๊ฐ๋ฆผ(occlusion) ๋ฐ์ ์ ์ด๋ผ ๋ ์์ ์
์ฌ๋ฌ ์ฝํ ์ถ์ ์น๋ฅผ ์ ์ ํ ๊ฐ์ค ํ๊ท ํ๋ฉด ๊ฐํ ์ถ์ ์น๊ฐ ๋๋ค๋ ์ ์์, ์์๋ธ ํ์ต์ด๋ ์นผ๋ง ํํฐ์ โ์ฌ๋ฌ ๊ด์ธก ์ตํฉโ ์ฒ ํ๊ณผ ๊ฐ์ ๊ฒฐ์ ๊ฐ์ง๋๋ค.
์ง๊ด์ ์ธ ์์ฌ์ฝ๋๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
Input: event stream E, robot poses P, window length = 20 ms
Output: fused depth map Z_f
for each 20 ms window W in E:
t_s, t_m, t_e = start, middle, end of W
for t_ref in {t_s, t_m, t_e}:
DSI = build_DSI(W, P, ref_time = t_ref) # back-project + vote
Z[t_ref] = extract_depth(DSI) # ray-count maxima
# warp each depth map to common frame t_m, then weighted-average
Z_f = 0.445 * warp(Z[t_s]) + 0.333 * warp(Z[t_m]) + 0.222 * warp(Z[t_e])
emit Z_f5. ํ๋ผ๋ฏธํฐ ๋ณด์ : ์์ ๊ธ์ ๊ตฌ๋ก ์ ๋ต์ ๋ง๋ ๋ค
EMVSยทBMA์๋ ํ๋ํ ํ๋ผ๋ฏธํฐ๋ค์ด ์์ต๋๋ค: ๋๋น ์๊ณ๊ฐ C, ์ค์๊ฐ ํํฐ ํฌ๊ธฐ G_f, ์ตํฉ ๊ฐ์ค์น w_s, w_m, w_e. ์ด๋ฅผ ๋ฐ์ง๋ฆ 4 mm ๊ธ์ ๊ตฌ(sphere) ํ ๋ฒ์ ์ธก์ ์ผ๋ก ๋ณด์ ํฉ๋๋ค. ๊ตฌ๋ ๊ธฐํ๊ฐ ์ ํํ ์๋ ค์ ธ ์์ผ๋ฏ๋ก, ์ ์ด ์์ ๋ฐ์ง๋ฆ r(ํฝ์ )๊ณผ ์ค์ผ์ผ ์ธ์ f = 0.0422 mm/ํฝ์ ์ ์ด์ฉํด ๊ฐ ํฝ์ ์ ์ ๋ต ๊น์ด Z_{gt} ๋ฅผ ํด์์ ์ผ๋ก ๊ณ์ฐํ ์ ์์ต๋๋ค.
\big((x_i - x_b)\,f\big)^2 + \big((y_i - y_b)\,f\big)^2 + (z_i - z_b)^2 = R_{sphere}^2
๊ทธ๋ฆฌ๊ณ ๋ค์ ๋ชฉ์ ํจ์๋ฅผ ์ต์ํํฉ๋๋ค.
\min_{\theta}\; \mathbb{E}\big[\,\lVert Z_f - Z_{gt} \rVert_1\,\big],\qquad \theta = \{C, G_f, w_s, w_m, w_e\}
ํต์ฌ์ ๊ตฌ ํ๋๋ก ๋ณด์ ํ ํ๋ผ๋ฏธํฐ๊ฐ ๊ณ๋จยทํผ๋ผ๋ฏธ๋ยท์ก๊ฐํ ๋ฑ ๋ค์ํ ํ์์๋ ์ ์ผ๋ฐํ๋์๋ค๋ ์ ์ ๋๋ค(๊ต์ฐจ ๊ฒ์ฆ ํ์ธ). ๋ณด์ ๋น์ฉ์ด ๋งค์ฐ ๋ฎ๋ค๋ ์ค์ฉ์ ์ฅ์ ์ ๋๋ค.
6. ๋ณด๋์ค ํ์ดํ๋ผ์ธ: ์ ์ ์ฝ๊ธฐ
3D ๋ณต์๊ณผ ๋ณ๊ฐ๋ก, ๋ฏธ์ธ ํน์ง์ ๊ณ ์์์ ์ก์๋ด๋ ๋ฅ๋ ฅ์ ์ ์(Braille) ํ๋ ์ผ๋ก ์์ฐํฉ๋๋ค. ๋กค๋ฌ๊ฐ ๋ฑ์ v_{roller} ๋ก ๊ตด๋ฌ๊ฐ๋ค๋ ์ ์ ์ด์ฉํด ์ด๋ฒคํธ์ ๊ดํ ํ๋ฆ(optical flow)์ ๋ณด์ํฉ๋๋ค.
\dot{u} = -\frac{F}{Z}\,v_{roller}
(F: ์ด์ ๊ฑฐ๋ฆฌ, Z \approx 47 mm: ๊ฑฐ์ ์ผ์ ํ ๊น์ด). ๊ฐ ์ด๋ฒคํธ๋ฅผ ๊ธฐ์ค ์๊ฐ t_{ref} ๋ก ์ํํ์ฌ
\mathbf{x}'_k = \mathbf{x}_k - \dot{\mathbf{U}}\,(t_k - t_{ref})
์ด๋ ๊ฒ ์ ๋ ฌ๋ ์ด๋ฒคํธ๋ฅผ ๋์ ํ๋ฉด IWE(Image of Warped Events) ๋ผ๋ ์ ๋ช ํ ์ด๋ฏธ์ง๊ฐ ๋ง๋ค์ด์ง๋๋ค. ๋ชจ์ ๋ธ๋ฌ๋ฅผ ์ฌํ์ โ๋๊ฐ์โ ์ ๊ฑฐํ๋ ์ ์ ๋๋ค. ์ดํ ROI ์ถ์ถ, ์๋ฐฉํฅ ํํฐ, CLAHE ๋๋น ๋ณด์ , ์ด์งํ, ํํํ ์ฐ์ฐ, ๊ทธ๋ฆฌ๊ณ Hough ์ ๋ณํ์ผ๋ก ์ ์ ์ ์ ์ฐพ์ ๋ฃฉ์ ํ ์ด๋ธ๊ณผ ๋์กฐํฉ๋๋ค.
์คํ
์คํ ์ค์
- ํ๋ซํผ: UR10 ํ๋ ๋ก๋ด, ์๋์ดํํฐ์ ๋กค๋ฌ ์ผ์ ์ฅ์ฐฉ
- ์๋ ๋ฒ์: 0.05 โ 0.5 m/s (ํฌ์ฆ/์๋๋ 100 Hz ๋ก๊น )
- ๋์ ๋ฌผ์ฒด: ๋ณด์ ์ฉ ๊ตฌ, 3D ํ๋ฆฐํ ํ์(๊ณ๋จยท๊ตฌยท์ก๊ฐํยท๋ฒํยทํผ๋ผ๋ฏธ๋), ๋ํ ํ๋ฉด(์ ํ ์ด๋ ์ด 0.1โ1.2 mm ๋์ด, ๋ฌธ์ ํ๋ ์ดํธ 0.4โ0.6 mm + ์ธ๊ณต ๊ฒฐํจ), ํ์ค ์ ์ํ, ์ค์ ๋ถํ(๋ฆฌ๋ฒณ ๋จธ๋ฆฌ, M2 ๋์ฌ์ฐ, ์ง๋ฌผ ํ ์ค์ฒ)
- ์ฒ๋ฆฌ: 13์ธ๋ Intel i7 CPU์์ ์คํ๋ผ์ธ ์ฒ๋ฆฌ. ์ ์ ํ์ดํ๋ผ์ธ ์ฝ 19.3 ms/ํ๋ ์, EMVS 3D ๋ณต์ ์ฝ 377 ms/ํ๋ ์
์ฃผ์ ๊ฒฐ๊ณผ 1 โ ๋จ์ผ ๋ฌผ์ฒด 3D ๋ณต์ ์ ํ๋
์ ์ฒด ํ๊ท MAE๋ ์ฝ 0.062 mm(62 ยตm) ๋ก sub-100ยตm๋ฅผ ๋ฌ์ฑํ์ต๋๋ค.
| ๋ฌผ์ฒด | MAE (mm) | ํ์คํธ์ฐจ (mm) |
|---|---|---|
| Sparse Sphere | 0.0120 | 0.0010 |
| Stairs | 0.0581 | 0.0026 |
| Bumps | 0.0589 | 0.0024 |
| Pyramid | 0.0677 | 0.0058 |
| Hexagon | 0.0808 | 0.0042 |
| Sphere(๊ฝ ์ฐฌ ๊ตฌ) | 0.0946 | 0.0081 |
| ์ ์ฒด | 0.0620 | 0.0047 |
ํด์: โSparse Sphereโ(ํน์ง/์์ง๊ฐ ๋ง์ ๊ตฌ)๋ 12 ยตm๋ก ์๋์ ์ผ๋ก ์ ํํ ๋ฐ๋ฉด, ๋งค๋ํ โSphereโ๋ 95 ยตm๋ก ๊ฐ์ฅ ๋ถ์ ํํฉ๋๋ค. ์ด๋ EMVS๊ฐ ์์งยท๋ ์นด๋ก์ด ํน์ง์ด ์๋ ๊ณณ์์ ๊ฐํ๊ณ , ๋งค๋ํ ๋ฉด์์๋ ์ฝํ๋ค๋ ๋ณธ์ง์ ๊ทธ๋๋ก ๋ณด์ฌ์ค๋๋ค(์ด๋ ์์ฐจ๋ก ํ๋ฅผ ๋ชจ์ผ๋ ค๋ฉด โ๋ณํโ๊ฐ ์์ด์ผ ํ๊ธฐ ๋๋ฌธ).
์ฃผ์ ๊ฒฐ๊ณผ 2 โ BMA์ ํจ๊ณผ
BMA๋ ๊ธฐ๋ณธ EMVS ๋๋น ํ๊ท MAE 25.2% ๊ฐ์(0.3 m/s ๊ธฐ์ค)๋ฅผ ๋ณด์์ต๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ ์ ์๋๊ฐ ๋น ๋ฅผ์๋ก BMA์ ์ด๋์ด ์ปค์ง๋ค๋ ๊ฒ์ ๋๋ค.
| ์๋ | BMA์ MAE ๊ฐ์ |
|---|---|
| 0.05 m/s | ์ฝ 5.3% |
| 0.3 m/s | ์ฝ 25.2% |
| 0.5 m/s | ์ฝ 26.4% |
๋๋ฆฐ ์๋์์๋ ์ธ ๊ธฐ์ค ์์ ์ด ๊ฑฐ์ ๊ฐ์ ์ฅ๋ฉด์ด๋ผ ์ตํฉ ํจ๊ณผ๊ฐ ๋ฏธ๋ฏธํ์ง๋ง, ๋น ๋ฅผ์๋ก ์์ ์ฐจ์ด๊ฐ ์ปค์ ธ ๋ค์ค ์์ ํ๊ท ์ ๊ฐ์น๊ฐ ์ด์๋ฉ๋๋ค. ๋ํ ์ ํ ์ด๋ ์ด ๋ณต์์์ ๊น์ด์ ํ์คํธ์ฐจ๊ฐ 0.067 mm(EMVS) โ 0.028 mm(BMA)๋ก ์ฝ 58% ์ค์ด, ๊ท ์ผ์ฑ(consistency) ๋ ํฌ๊ฒ ๊ฐ์ ๋์์ต๋๋ค.
์ฃผ์ ๊ฒฐ๊ณผ 3 โ ๋ํ ํ๋ฉด๊ณผ ์๋ ๋น๊ต
- ์ ํ ์ด๋ ์ด: 0.0638 ยฑ 0.0055 mm MAE
- ๋ฌธ์ ํ๋ ์ดํธ: 0.0596 ยฑ 0.0035 mm MAE, ๊ธ์์ ์ธ๊ณต ๊ฒฐํจ์ ์ฑ๊ณต์ ์ผ๋ก ํฌ์ฐฉ
๋ค๋ฅธ ๋กค๋ฌ/๋ฒจํธ ์ผ์์์ ๋น๊ต๋ ์ด ๋ ผ๋ฌธ์ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์ฃผ์ฅ์ ๋๋ค.
| ์ผ์ | ์ต๋ ์๋ (mm/s) | MAE (ยตm) | ๋น๊ณ |
|---|---|---|---|
| GelBelt | 45 | ์ฝ 13.5 | ์ ํํ๋ ๋๋ฆผ |
| GelRoller | โ | 175 | |
| TouchRoller | 11 | โ | 2D ํ ์ค์ฒ๋ง |
| ์ ์ ์ผ์ | 500 | 62.0 | 3D ๋ณต์ + sub-100ยตm |
GelBelt๋ณด๋ค ์ ํ๋(13.5 ยตm)๋ ๋จ์ด์ง์ง๋ง, ์๋๊ฐ 11๋ฐฐ ๋น ๋ฅด๋ฉด์๋ sub-100ยตm๋ฅผ ์ ์งํ๋ค๋ ์ ์ด ํต์ฌ์ ๋๋ค. ์ฐ์ ๊ฒ์ฌ์์ ์๋๋ ๊ณง ๋น์ฉ์ด๋ฏ๋ก ์ด ํธ๋ ์ด๋์คํ๋ ๋งค๋ ฅ์ ์ ๋๋ค.
์ฃผ์ ๊ฒฐ๊ณผ 4 โ ์ ์ ํ๋
- 0.5 m/s์์ 100% ๋ฌธ์ ์ธ์
- ์ ํ ์ฐ๊ตฌ(0.18 m/s, 87.5% ์ ํ๋) ๋๋น ์ฝ 2.6๋ฐฐ ๋น ๋ฅธ ์๋์์ ๋ ๋์ ์ ํ๋
IWE ๊ธฐ๋ฐ ๋ชจ์ ๋ณด์์ด ๊ณ ์์์๋ ๋ฏธ์ธ ํน์ง์ ๋๋ ทํ๊ฒ ๋ง๋ ๋ค๋ ๊ฒ์ ์ ๋์ ์ผ๋ก ์ ์ฆํ ์ฌ๋ก์ ๋๋ค.
๋นํ์ ๊ณ ์ฐฐ
๊ฐ์
- ํธ๋ ์ด๋์คํ ์์ฒด๋ฅผ ๊นฌ ๋ฐ์: โ๋น ๋ฅด๋ฉด ํ๋ ค์ง๋คโ๋ ํ๋ ์ ์นด๋ฉ๋ผ์ ๊ทผ๋ณธ ํ๊ณ๋ฅผ ์ด๋ฒคํธ ์นด๋ฉ๋ผ๋ก ์ฐํ. ๋จ์ํ ๋ ์ข์ ์นด๋ฉ๋ผ๊ฐ ์๋๋ผ, ๋ฌธ์ ์ ๋ฌผ๋ฆฌ์ ๋ง๋ ์ผ์๋ฅผ ๊ณ ๋ฅธ ํต์ฐฐ.
- ์ ๋น์ฉยท๊ฐ๊ฑดํ ๋ณด์ : ๊ธ์ ๊ตฌ ํ๋๋ก ์ ์ฒด ํ๋ผ๋ฏธํฐ๋ฅผ ๋ณด์ ํ๊ณ ๋ ๋ค์ํ ํ์์ ์ผ๋ฐํ. ์ฐ์ ํ์ฅ ์นํ์ .
- BMA์ ์ฐ์ํจ: ์ถ๊ฐ ํ๋์จ์ด ์์ด ๊ฐ์ ์ด๋ฒคํธ ์คํธ๋ฆผ์์ ์์ ๋ง ๋ฌ๋ฆฌํด ์ ํ๋์ ๊ท ์ผ์ฑ์ ํจ๊ป ๋์ด์ฌ๋ฆผ. ๊ณ ์์ผ์๋ก ์ด๋์ด ์ปค์ง๋ ์ ์ด ๋ณธ ์์คํ ์ ๋ชฉ์ (๊ณ ์)๊ณผ ์ ๋ง๋ฌผ๋ฆผ.
- ํ์ค์ ๊ฒ์ฆ: ํฉ์ฑ ํ์๋ฟ ์๋๋ผ ๋ฆฌ๋ฒณยท๋์ฌ์ฐยท์ง๋ฌผ ๋ฑ ์ค์ ์ฐ์ ๋ถํ์ผ๋ก ํ์ฅ ์์ฐ.
์ฝ์ ยทํ๊ณ
- ๋งค๋ํ ํ๋ฉด์ ์ฝํจ: EMVS๋ ์์งยท๋ ์นด๋ก์ด ํน์ง์ ์์กดํ๋ฏ๋ก ๋งค๋ํ ๊ณก๋ฉด(๊ตฌ์ ์๋ถ๋ถ, ๋ฐ์ํต ์บก)์ ํฌ์ยท๋ถ์์ ํ๊ฒ ๋ณต์๋จ. ์ ์๋ค์ โ์ฐ์ ๊ฒฐํจ์ ๋ณธ๋ ๋ ์นด๋ก์ด ์์ง๋ก ์ ์๋๋คโ๋ฉฐ ๋ณํธํ์ง๋ง, ๋ถํฌํ(distributed)ยท์๋งํ ๊ฒฐํจ์ ๋์น ์ํ์ด ๋จ์ต๋๋ค.
- ์ค์๊ฐ์ด ์๋: EMVS ๋ณต์์ด ์ฝ 377 ms/ํ๋ ์์ผ๋ก, 20 ms ์ทจ๋ ์ฐฝ์ ํ์ฐธ ์ด๊ณผ. ํ์ฌ๋ CPU ์คํ๋ผ์ธ ์ฒ๋ฆฌ์ด๋ฉฐ ์ค์๊ฐ ์ด์ฉ์๋ GPU ๊ฐ์์ด ํ์ํ๋ฐ ์์ง ๊ตฌํยท๋ฒค์น๋งํฌ๋์ง ์์. (์ ์ ํ์ดํ๋ผ์ธ์ ์ฝ 19 ms๋ก ํจ์ฌ ๊ฐ๋ฒผ์.)
- ํด์๋ ์ ์ฝ: DVXplorer mini์ 640ร480 VGA ํด์๋๊ฐ ๊ณต๊ฐ ๋ถํด๋ฅ์ ์ ํ. ๊ณ ํด์๋ ์ด๋ฒคํธ ์นด๋ฉ๋ผ๊ฐ ๋์ค๋ฉด ๋น๋กํด ๊ฐ์ ๋ ์ฌ์ง.
- ๊ฐ๋ฆผ(occlusion)ยท์ฐ์ง ํ๊ณ: Shore A 18 ์๋ผ์คํ ๋จธ๊ฐ ๊น์ ์์ฒ (์ก๊ฐํ ๋ฆฌ์ธ์ค)์ ์์ ํ ๋ค์ด๊ฐ์ง ๋ชปํด ์ค์ฐจ ์ฆ๊ฐ.
- ๋ด๊ตฌ์ฑ ๋ฏธ๊ฒ์ฆ: ์๋ผ์คํ ๋จธ์ ์ฅ๊ธฐ ๋ง๋ชจ, ๋ ธํ, ์จ๋ ์ํฅ์ด ์ ๋ํ๋์ง ์์. ์ฐ์ ์ฅ๊ธฐ ์ด์ฉ ๊ด์ ์์ ์ค์ํ ๊ณต๋ฐฑ.
- ์ค-์กฐ๋ฐ ์ถ๋ ฅ: ์ ์ด ํจ์น์ ์ผ๋ถ๋ง ์ธก์ ๋์ด ๊ฒฐํจ์ ๋์น ์ ์์. ๊ด๋ ์ ์ฒด/๊ตฌ์กฐ๊ด ๊ฐ์ ์กฐ๋ฐ ๋ณต์๊ณผ์ ๊ฒฐํฉ์ ๋ฏธ๋ ๊ณผ์ ๋ก ๋จ๊น.
๊ด๋ จ ์ฐ๊ตฌ์์ ์์น
flowchart TD
VBTS[Vision-Based Tactile Sensors] --> PL[Press-and-lift: GelSight-style]
VBTS --> CONT[Continuous]
CONT --> SLIDE[Sliding: DIGIT-style]
CONT --> ROLL[Roller / Belt]
ROLL --> GB[GelBelt: accurate, slow 45 mm/s]
ROLL --> TR[TouchRoller: 2D only, 11 mm/s]
ROLL --> THIS[This work: event camera + BMA, 3D, 500 mm/s]
SLIDE --> WEAR[friction and wear]
PL --> SLOW[slow, discrete coverage]
- GelSight ๊ณ์ด ๋๋น: press-and-lift ์ ๊ฑฐ, ๋ชจ์ ๋ธ๋ฌ ์ ์ฝ ํด์, ์กฐ๋ช ๋ณํ์ ๊ฐ๊ฑด.
- ์ฌ๋ผ์ด๋ฉ(DIGIT) ๋๋น: ๋ง์ฐฐยท๋ง๋ชจ ์์, ๋ณดํธ๋ง ๊ดํ ์ฐ๋ ์์.
- GelBelt ๋๋น: ์ฝ 11๋ฐฐ ๋น ๋ฆ, ์ข์ ์ค๊ณ๋ก ๊ณก๋ฉด ์ ๊ทผ ์ ๋ฆฌ(๋จ ์ ๋ ์ ํ๋๋ GelBelt๊ฐ ์ฐ์).
- TouchRoller ๋๋น: 2D ํ ์ค์ฒ๋ง ๊ฐ๋ฅํ ๊ฒ๊ณผ ๋ฌ๋ฆฌ 3D ๋ณต์ ๊ฐ๋ฅ, ์ฝ 45๋ฐฐ ๋น ๋ฆ.
ํ๋ง๋๋ก ์ด ์ฐ๊ตฌ๋ โ๋กค๋ฌ VBTSโ ๊ฐ์ง์ ์๋ ์ถ์ ํ ์ฐจ์ ๋ฐ์ด ์ฌ๋ฆฌ๋ฉด์ 3D ๋ณต์ ๋ฅ๋ ฅ๊น์ง ๊ฐ์ถ ์๋ก์ด ์ขํ๋ฅผ ์ฐจ์งํฉ๋๋ค.
์์ฝ ๋ฐ ๊ฒฐ๋ก
์ด ๋ ผ๋ฌธ์ ํต์ฌ์ โํ๋ ์ ์นด๋ฉ๋ผ์ ๋ชจ์ ๋ธ๋ฌ๋ผ๋ ์๋์ ๋ฒฝ์, ์ด๋ฒคํธ ์นด๋ฉ๋ผ๋ผ๋ ๋ค๋ฅธ ์ผ์ฑ ํจ๋ฌ๋ค์์ผ๋ก ๋ํํ๋คโ ๋ ํ ๋ฌธ์ฅ์ผ๋ก ์์ถ๋ฉ๋๋ค. ์ฌ๊ธฐ์ ๊ฐ์ ์ด๋ฒคํธ ์คํธ๋ฆผ์์ ์๋ก ๋ค๋ฅธ ์ธ ์์ ์ ๊น์ด ๋งต์ ๊ฐ์ค ํ๊ท ํ๋ BMA ์ตํฉ์ ๋ํด, ๊ณ ์์์๋ ์ ํ๋์ ๊ท ์ผ์ฑ์ ํจ๊ป ํ๋ณดํ์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ 0.5 m/s ์ฐ์ ์ค์บ์์ sub-100ยตm(ํ๊ท ์ฝ 62 ยตm) 3D ๋ณต์, ๊ทธ๋ฆฌ๊ณ 0.5 m/s ์ ์ 100% ํ๋ ์ด๋ผ๋, ๊ธฐ์กด ๋กค๋ฌ/๋ฒจํธ ์ผ์๋ฅผ ํ ์๋ฆฟ์ ์ด์ ์์๋ ์๋๋ฅผ ๋ฌ์ฑํ์ต๋๋ค.
๋ก๋ด๊ณตํ ์ค๋ฌด์ ๊ด์ ์์ ์ธ์์ ์ธ ์ ์, ์ด ์์คํ ์ด ์ผ์ยท๊ธฐ๊ตฌยท์๊ณ ๋ฆฌ์ฆ์ด ํ ๋ฐฉํฅ(๊ณ ์ยท๋๋ฉด์ ์ฐ์ ๊ฒ์ฌ)์ผ๋ก ์ ์ ๋ ฌ๋์ด ์๋ค๋ ๊ฒ์ ๋๋ค. ์ด๋ฒคํธ ์นด๋ฉ๋ผ์ ยตs ์๊ฐ ํด์๋, ๋ง๋ชจ ์๋ ๋กค๋ง ๊ธฐ๊ตฌ, ์ด๋ ์์ฐจ ๊ธฐ๋ฐ EMVS, ๊ณ ์์ผ์๋ก ์ด๋์ด ์ปค์ง๋ BMA๊ฐ ๋ชจ๋ ๊ฐ์ ๋ชฉํ๋ฅผ ํฅํฉ๋๋ค.
๋ค๋ง ์ค์ฉํ๊น์ง๋ ๋ ๊ฐ์ ํ์ค์ ๊ณผ์ ๊ฐ ๋จ์ต๋๋ค. (1) GPU ๊ธฐ๋ฐ ์ค์๊ฐ ์ฒ๋ฆฌ(ํ์ฌ 377 ms/ํ๋ ์), (2) ์๋ผ์คํ ๋จธ ๋ด๊ตฌ์ฑ๊ณผ ๋งค๋ํ ๋ฉด ๋ณต์์ ๋๋ค. ์ ์๋ค๋ ํยท์ ์ด๊ฐ ์ผ์ฑ(๋ซํ ๋ฃจํ ์ ์ด๋ก ๊ณก๋ฉด์์ ์ผ์ ์ ์ด ์ ์ง), ์ด๋ฒคํธ ๊ธฐ๋ฐ ๊ตฌ์กฐ๊ด/๊ด๋ ์ ์ฒด๋ฅผ ํตํ ์กฐ๋ฐ ๋ณต์, ๊ณก๋ฉด ์ผ๋ฐํ ๋ฑ์ ํ์ ๊ณผ์ ๋ก ๋ช ์ํฉ๋๋ค.
์ข ํฉํ๋ฉด, ์ด ์ฐ๊ตฌ๋ ๋ด๋ก๋ชจํฝ ๋น์ ๊ณผ ์ด๊ฐ ์ผ์ฑ์ ๊ฒฐํฉ์ด ๋จ์ํ ๊ธฐ์ ์์ฐ์ ๋์ด ์ฐ์ ๊ฒ์ฌ๋ผ๋ ๊ตฌ์ฒด์ ๋ณ๋ชฉ์ ์ค์ ๋ก ํธ๋ ๋ฐฉํฅ์ ์ค๋๋ ฅ ์๊ฒ ๋ณด์ฌ ์ค๋๋ค. ํญ๊ณต๊ธฐ ๋์ฒด์ฒ๋ผ ๋๊ณ ์ ๋ฐํ ๊ฒ์ฌ๊ฐ ํ์ํ ๋ถ์ผ์์, โ๋ง์ง๋ ๊ฒ์ฌโ๊ฐ โ๊ตด๋ฆฌ๋ ๊ฒ์ฌโ๋ก, ๊ทธ๋ฆฌ๊ณ โ๋๋ฆฐ ๊ฒ์ฌโ๊ฐ โ๋น ๋ฅธ ๊ฒ์ฌโ๋ก ์ ํ๋๋ ํ๋ฆ์ ์ข์ ์ด์ ํ๋ผ ํ ์ ์์ต๋๋ค.