Curieux.JY
  • JungYeon Lee
  • Post
  • ๐Ÿ•ธ๏ธ Graph
  • Lecture
  • Note

On this page

  • ๐Ÿ” Ping Review
  • ๐Ÿ”” Ring Review
    • ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด
    • ๋ฐฐ๊ฒฝ: ์™œ wire fishing์ธ๊ฐ€
    • ํ•˜๋“œ์›จ์–ด: ๋ฌด์—‡์œผ๋กœ ์ฐ์—ˆ๋Š”๊ฐ€
    • ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘: ๋‚œ์ˆ˜ ํƒ์ƒ‰๊ณผ ์‚ฌ๋žŒ ์‹œ์—ฐ
    • ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ: ํ”„๋ ˆ์ž„์€ ๋งŽ๊ณ , trial์€ ๋ชจ๋ฅธ๋‹ค
    • ์ƒ˜ํ”Œ์ด ์‹ค์ œ๋กœ ์–ด๋–ป๊ฒŒ ์ƒ๊ฒผ๋‚˜
    • ์ง๊ด€: ์ด ๋ฐ์ดํ„ฐ์˜ ์ง„์งœ ๊ตฌ์กฐ
    • ์ €์žฅ์†Œ ์‹ค์‚ฌ: ์‹ค์ œ๋กœ ๋ฌด์—‡์ด ์˜ฌ๋ผ์™€ ์žˆ๋‚˜
    • ์‹คํ—˜: ์—†๋‹ค
    • ๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด
      • ๊ฐ•์ 
      • ์•ฝ์ ยทํ•œ๊ณ„
      • ์ข…ํ•ฉ ํŒ์ •
    • ๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€
    • ์š”์•ฝ

๐Ÿ“ƒWireFishing-M ๋ฆฌ๋ทฐ

dataset
tactile
DIGIT
deformable
manipulation
contact
multimodal
force
il
real-robot
WireFishing-M: A multimodal dataset for deformable cable insertion using tactile, visual, and proprioceptive sensing
Published

September 21, 2026

  • Paper Link (Data in Brief 63 (2025) 112136) โ€” CC BY ์˜คํ”ˆ์•ก์„ธ์Šค ๋ฐ์ดํ„ฐ ๋…ผ๋ฌธ์ด๋‹ค. ์ด ๋ฆฌ๋ทฐ์˜ ์ •๋ณธ์€ ๋กœ์ปฌ PDF(์ €์ž ์ตœ์ข…๋ณธ, Elsevier ์กฐํŒ, 9์ชฝ, 2025-10-09 ์˜จ๋ผ์ธ ๊ณต๊ฐœ)์ด๊ณ , ScienceDirect ์›นํŽ˜์ด์ง€๋Š” ๋Œ€์กฐ์šฉ์œผ๋กœ๋งŒ ์ผ๋‹ค. arXiv ๋ฏธ๋Ÿฌ๋Š” ์—†๋‹ค(DiB ์ „์šฉ ๊ฒŒ์žฌ).

  • Dataset โ€” WireFishing-M-1 (Harvard Dataverse, doi:10.7910/DVN/MUOJXI)

  • Dataset โ€” WireFishing-M-2 (Harvard Dataverse, doi:10.7910/DVN/XOPUXY)

  • Code: ์—†๋‹ค. ๋…ผ๋ฌธ ์–ด๋””์—๋„ ์ €์žฅ์†Œ ๋งํฌ๊ฐ€ ์—†๊ณ (์ „์ˆ˜ ํ™•์ธ), ์ˆ˜์ง‘ ํŒŒ์ดํ”„๋ผ์ธ์€ โ€œcustom Python scriptsโ€๋ผ๊ณ ๋งŒ ์„œ์ˆ ๋œ๋‹ค. ๊ณต๊ฐœ๋œ ๊ฒƒ์€ ๋ฐ์ดํ„ฐ๋ฟ์ด๋‹ค.

  • ์ €์ž: Tianyu Zhou, Hengxu You, Fang Xu, Jing Du

  • ์†Œ์†: Informatics, Cobots and Intelligent Construction (ICIC) Lab, University of Florida

  • Data in Brief 63, 112136 (2025) โ€” Data Article

  1. ๐Ÿ’ก ์ „์„ ์„ ์ข๊ณ  ๊บพ์ธ ๊ด€์— ๋ฐ€์–ด ๋„ฃ๋Š” wire fishing(์ „๊ธฐยท๊ฑด์„ค ํ˜„์žฅ์˜ ์‹ค์ œ ์ž‘์—…)์„ ๋กœ๋ด‡์œผ๋กœ ๋ฐ˜๋ณต์‹œํ‚ค๋ฉด์„œ, ์ด‰๊ฐยท๋‹ค์‹œ์  RGBยท๊ณ ์œ ์ˆ˜์šฉยทํž˜์„ ๋™๊ธฐํ™”ํ•ด ํ†ต์งธ๋กœ ๊ณต๊ฐœํ•œ ๋ฐ์ดํ„ฐ์…‹ ๋…ผ๋ฌธ์ด๋‹ค.
  2. โš™๏ธ Franka Panda + Allegro Hand + DIGIT ์ด‰๊ฐ ์„ผ์„œ๊ฐ€ 7์ข… ์ผ€์ด๋ธ”์„ ํˆฌ๋ช… L์ž PVC ๊ด€์— ์‚ฝ์ž…ํ•˜๊ณ , 3๋Œ€์˜ RGB ์นด๋ฉ”๋ผ(์ „๋ฉดยทํ•˜๋ถ€ยท๊ด€ ๋‚ด๋ถ€)์™€ ๋กœ๋ด‡ ์ƒํƒœ๋ฅผ 5 fps ROS ํƒ€์ž„์Šคํƒฌํ”„๋กœ ์ •๋ ฌํ•ด ๊ธฐ๋กํ•œ๋‹ค. ์„ฑ๊ณต/์‹คํŒจ ๋ผ๋ฒจ์€ ๊ด€ ์ถœ๊ตฌ ์นด๋ฉ”๋ผ์˜ ์–ด๋‘์šด ํ”ฝ์…€ ์ˆ˜๋ฅผ ์ž„๊ณ„๊ฐ’์œผ๋กœ ์„ธ์–ด ์ž๋™ ๋ถ€์—ฌํ•œ๋‹ค.
  3. ๐ŸŽฏ ๋žœ๋ค ์กฐ์ž‘ ์•ฝ 3,907,477 ํ”„๋ ˆ์ž„ + ์‚ฌ๋žŒ ์‹œ์—ฐ 44,288 ํ”„๋ ˆ์ž„, ์ผ€์ด๋ธ” 7์ข…, Harvard Dataverse์— CC0๋กœ ์•ฝ 1.54 TB(1: 1,127.6 GB / 2: 412.1 GB, 2026-09-22 API ํ™•์ธ). ๋‹จ ๋ฒ ์ด์Šค๋ผ์ธยท๋ฒค์น˜๋งˆํฌ ๊ฒฐ๊ณผ๋Š” ํ•˜๋‚˜๋„ ์—†๋‹ค โ€” ๋ฐ์ดํ„ฐ๋งŒ ์žˆ๋Š” ๋…ผ๋ฌธ์ด๋‹ค.

๐Ÿ” Ping Review

๐Ÿ” Ping โ€” A light tap on the surface. Get the gist in seconds.

์ผ€์ด๋ธ” ๊ฐ™์€ ๋ณ€ํ˜• ์„ ํ˜•์ฒด(deformable linear object, DLO)๋Š” ๋กœ๋ด‡ ์กฐ์ž‘์—์„œ ๊ฐ€์žฅ ์˜ค๋ž˜๋œ ๋‚œ์ œ ์ค‘ ํ•˜๋‚˜๋‹ค. ์ž์œ ๋„๊ฐ€ ์‚ฌ์‹ค์ƒ ๋ฌดํ•œ์ด๊ณ , ์ ‘์ด‰ํ•˜๋Š” ์ˆœ๊ฐ„ ๋ชจ์–‘์ด ๋ฐ”๋€Œ๋ฉฐ, ๊ทธ๋ž˜์„œ โ€œ์ง€๊ธˆ ๋ฌผ์ฒด๊ฐ€ ์–ด๋–ค ์ƒํƒœ์ธ๊ฐ€โ€๋ฅผ ์‹œ๊ฐ๋งŒ์œผ๋กœ ์•Œ์•„๋‚ด๊ธฐ๊ฐ€ ์–ด๋ ต๋‹ค. ์ด ๋…ผ๋ฌธ์ด ๊ณ ๋ฅธ ์‹œ๋‚˜๋ฆฌ์˜ค๋Š” ๊ทธ ๋‚œ์ œ์˜ ์‚ฐ์—… ๋ฒ„์ „์ธ wire fishing โ€” ๋ฒฝ ์† ์ „์„ ๊ด€(conduit)์— ์ „์„ ์„ ๋ฐ€์–ด ๋„ฃ๋Š” ์ž‘์—…์ด๋‹ค. ๊ด€์ด ๊บพ์—ฌ ์žˆ์œผ๋ฉด ์ผ€์ด๋ธ” ๋์ด ๋ฒฝ์— ๊ฑธ๋ฆฌ๊ณ  ์ขŒ๊ตดํ•˜๋Š”๋ฐ, ๊ทธ ์ˆœ๊ฐ„์˜ ์ •๋ณด๋Š” ์†๋ ์ด‰๊ฐ๊ณผ ํž˜์—๋งŒ ๋‚จ๋Š”๋‹ค.

๋…ผ๋ฌธ์˜ ๊ธฐ์—ฌ๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด ์•„๋‹ˆ๋ผ ๊ธฐ๋ก์ด๋‹ค. ๋กœ๋ด‡์ด ๊ฐ™์€ ์‚ฝ์ž…์„ ์ˆ˜์‹ญ๋งŒ ๋ฒˆ ๋ฐ˜๋ณตํ•˜๋Š” ๋™์•ˆ ์ด‰๊ฐ ์ด๋ฏธ์ง€ยท์„ธ ์‹œ์  RGBยท๊ด€์ ˆ๊ฐยท์—”๋“œ์ดํŽ™ํ„ฐ ํฌ์ฆˆยท์ถ”์ • ํž˜/ํ† ํฌ๋ฅผ ํ•œ ํƒ€์ž„๋ผ์ธ์— ์ •๋ ฌํ•ด ์ €์žฅํ–ˆ๊ณ , ๊ทธ๊ฒƒ์„ ํ†ต์งธ๋กœ ๊ณต๊ฐœํ–ˆ๋‹ค. ์ €์ž๋“ค์ด ๋‚ด์„ธ์šฐ๋Š” ์šฉ์ฒ˜๋Š” ์ ‘์ด‰ ๊ฐ์ง€, ํž˜ ์ถ”์ •, ์„ผ์„œ ์œตํ•ฉ(early/late fusion) ๋ฒค์น˜๋งˆํ‚น, ์„ฑ๊ณต ๊ฒ€์ถœ๊ธฐ ํ•™์Šต, ๊ทธ๋ฆฌ๊ณ  ์ผ€์ด๋ธ” 7์ข…์— ๊ฑธ์นœ ์ผ๋ฐ˜ํ™” ์—ฐ๊ตฌ๋‹ค.


๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์…‹์—…๊ณผ ์‚ฝ์ž… ์ค‘ ์‹œ๊ฐ ํ”ผ๋“œ๋ฐฑ(Fig. 2). (a) ์ดˆ๊ธฐ ์ž์„ธ, (b) ์ข…๋ฃŒ ์ž์„ธ. ๊ฐ€์šด๋ฐ๊ฐ€ ์ „์ฒด ์…‹์—…(Franka Panda + Allegro Hand + ํˆฌ๋ช… L์ž PVC ๊ด€), ์ขŒ์ƒ๋‹จ์ด DIGIT ์ด‰๊ฐ ์ด๋ฏธ์ง€, ์ขŒํ•˜๋‹จยทํ•˜๋‹จ์ด ์ „๋ฉด/ํ•˜๋ถ€ ์นด๋ฉ”๋ผ, ์šฐํ•˜๋‹จ์ด ๊ด€ ์นด๋ฉ”๋ผ์™€ ์„ฑ๊ณต ํŒ์ •์— ์“ฐ์ด๋Š” ์ด์ง„ํ™” ์˜์ƒ์ด๋‹ค.

ํ•ต์‹ฌ ๊ตฌ์„ฑ:

๋ฐ์ดํ„ฐ๋Š” ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด ์•„๋‹ˆ๋ผ ์ˆ˜์ง‘ ์ ˆ์ฐจ๊ฐ€ ํ•ต์‹ฌ์ด๋‹ค. ํ•œ ์Šคํ…๋งˆ๋‹ค ์—”๋“œ์ดํŽ™ํ„ฐ๋ฅผ

\Delta x \sim \mathcal{U}(0,\ 2\,\text{cm}),\qquad \Delta y,\ \Delta z \sim \mathcal{U}(-1,\ 1\,\text{cm}),\qquad \Delta\theta_{\text{pitch}},\ \Delta\theta_{\text{yaw}} \sim \mathcal{U}(-15^\circ,\ 15^\circ)

๋งŒํผ ์›€์ง์ด๊ณ , ๋ˆ„์  ์ „์ง„๋Ÿ‰์ด ๋ฏธ๋ฆฌ ์ •ํ•œ ์‚ฝ์ž… ๊นŠ์ด๋ฅผ ๋„˜์œผ๋ฉด ์ƒˆ ๋žœ๋ค ์‹œ์ž‘ ์ž์„ธ๋กœ ๋ฆฌ์…‹ํ•œ๋‹ค. ํ๋ฃจํ”„ ์ •์ฑ…์ด ์•„๋‹ˆ๋ผ ์—ด๋ฆฐ ๋ฃจํ”„ ๋‚œ์ˆ˜ ํƒ์ƒ‰์ด๋‹ค โ€” ์˜๋„์ ์œผ๋กœ ์„ฑ๊ณตยท๋ถ€๋ถ„ ์‚ฝ์ž…ยท์˜ค์ •๋ ฌยท์ถฉ๋Œ์„ ๊ณจ๊ณ ๋ฃจ ๋งŒ๋“ค์–ด๋‚ด๊ธฐ ์œ„ํ•œ ์„ค๊ณ„๋‹ค. ๋ชจ๋“  ๋™์ž‘์€ Franka ๋„ค์ดํ‹ฐ๋ธŒ ์ž„ํ”ผ๋˜์Šค ์ œ์–ด๋กœ ์‹คํ–‰๋ผ ์ ‘์ด‰์ด ์ปดํ”Œ๋ผ์ด์–ธํŠธํ•˜๊ฒŒ ํก์ˆ˜๋œ๋‹ค.

๋ผ๋ฒจ์€ ๊ด€ ์˜† ์นด๋ฉ”๋ผ ์˜์ƒ์„ ๊ทธ๋ ˆ์ด์Šค์ผ€์ผ๋กœ ๋ฐ”๊พผ ๋’ค, ๊ด€ ์ถœ๊ตฌ ๊ทผ์ฒ˜ ์ง€์ • ์˜์—ญ์—์„œ ๋ฐ๊ธฐ I < 50์ธ ํ”ฝ์…€ ์ˆ˜ N์„ ์„ธ์–ด

y=\begin{cases}1 & N > 40\\ 0 & \text{otherwise}\end{cases}

๋กœ ์ž๋™ ๋ถ€์—ฌํ•œ๋‹ค. ์‚ฌ๋žŒ์ด ์ˆ˜๋งŒ ๋ฒˆ์„ ๋ณด์ง€ ์•Š์•„๋„ ๋˜๊ฒŒ ๋งŒ๋“  ๊ฒƒ์ด ์ด ๋ฐ์ดํ„ฐ๊ฐ€ ๋ฐฑ๋งŒ ๋‹จ์œ„๋กœ ์ปค์งˆ ์ˆ˜ ์žˆ์—ˆ๋˜ ์ด์œ ๋‹ค.

์ €์žฅ ๊ตฌ์กฐ: ์ตœ์ƒ์œ„๊ฐ€ Cable_{n}_Random/ ๋˜๋Š” Cable_{n}_Human/, ๊ทธ ์•„๋ž˜ ์ˆ˜์ง‘ ๋‚ ์งœ, ๊ทธ ์•„๋ž˜ trial ํด๋”๋‹ค. ๊ฐ trial ํด๋”์—๋Š” global_view/(ํ•˜๋ถ€ RGB), inner_view/(๊ด€ ์ถœ๊ตฌ RGB), local_view/(์ „๋ฉด RGB), tactile_view/(DIGIT), robot_data/(NumPy .npy)๊ฐ€ ๋“ค์–ด๊ฐ„๋‹ค. ๋กœ๋ด‡ ์ƒํƒœ ๋ฒกํ„ฐ๋Š” 20์ฐจ์›์ด๋‹ค.

์ธ๋ฑ์Šค ๋‚ด์šฉ
0โ€“2 ์—”๋“œ์ดํŽ™ํ„ฐ ํž˜ (F_x, F_y, F_z)
3โ€“5 ์—”๋“œ์ดํŽ™ํ„ฐ ํ† ํฌ (T_x, T_y, T_z)
6โ€“11 ์—”๋“œ์ดํŽ™ํ„ฐ ํฌ์ฆˆ (์œ„์น˜ x,y,z + ์ฟผํ„ฐ๋‹ˆ์–ธ x,y,z,w)
12โ€“18 Franka Panda 7๊ด€์ ˆ ๊ฐ๋„
19 ํƒœ์Šคํฌ ๊ฒฐ๊ณผ (1 = ์„ฑ๊ณต, 0 = ์‹คํŒจ)

์ฃผ์š” ์ˆ˜์น˜:

  • ์ผ€์ด๋ธ” 7์ข…(๊ฐ•์„ฑยทํ‘œ๋ฉด ์งˆ๊ฐยท๊ตต๊ธฐ๊ฐ€ ๋‹ค๋ฆ„), ๋žœ๋ค ์กฐ์ž‘ ์•ฝ 3,907,477 ํ”„๋ ˆ์ž„, ์‚ฌ๋žŒ ์‹œ์—ฐ 44,288 ํ”„๋ ˆ์ž„.
  • ์ด‰๊ฐ: DIGIT 3๊ฐœ(indexยทthumbยทmiddle)๋ฅผ ์„ธ๋กœ๋กœ ์ด์–ด ๋ถ™์ธ 240ร—960 ์ด๋ฏธ์ง€.
  • RGB: ์ „๋ฉด Femto Mega 1280ร—720, ํ•˜๋ถ€ Azure Kinect DK 1280ร—720, ๊ด€ ์นด๋ฉ”๋ผ(USB ๋‚ด์‹œ๊ฒฝ) 640ร—480. ์ „๋ถ€ 5 fps.
  • ๊ด€: L์ž๋ถ€ ๋‚ด๊ฒฝ 1.3 in / ์™ธ๊ฒฝ 1.6 in, ๊ทธ ์œ„์— ๋‚ด๊ฒฝ 1.0 in ์ง๊ด€์ด 2 in ์—ฐ์žฅ. ์ „์ฒด ๋†’์ด ์•ฝ 18.5 in.
  • ์†Œํ”„ํŠธ์›จ์–ด: ROS Melodic / Ubuntu 18.04, /franka_state_controller/franka_states์—์„œ ์ƒํƒœ ์ทจ๋“, ๋™๊ธฐํ™”๋Š” ์˜คํ”„๋ผ์ธ ์†Œํ”„ํŠธ์›จ์–ด ํƒ€์ž„์Šคํƒฌํ”„(ํ•˜๋“œ์›จ์–ด ๋™๊ธฐํ™” ์—†์Œ).

๊ฒฐ๋ก :

์ ‘์ด‰์ด ํ’๋ถ€ํ•œ DLO ์‚ฝ์ž…์„ ์ด‰๊ฐ+์‹œ๊ฐ+๊ณ ์œ ์ˆ˜์šฉ+ํž˜์œผ๋กœ ๋™์‹œ์— ๋‹ด์€ ๊ณต๊ฐœ ๋ฐ์ดํ„ฐ๋กœ๋Š” ๋“œ๋ฌผ๊ฒŒ ๊ทœ๋ชจ๊ฐ€ ํฌ๋‹ค. ๋‹ค๋งŒ ์ด ๋…ผ๋ฌธ์€ Data in Brief์˜ ๋ฐ์ดํ„ฐ ์•„ํ‹ฐํด์ด๋ผ ๋ชจ๋ธ๋„, ๋ฒ ์ด์Šค๋ผ์ธ๋„, ์„ฑ๊ณต๋ฅ ๋„ ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋ฐ์ดํ„ฐ์˜ ๊ฐ€์น˜๋Š” ์ „์ ์œผ๋กœ ๋‚ด๋ ค๋ฐ›์•„ ์“ฐ๋Š” ์ชฝ์—์„œ ์ฆ๋ช…ํ•ด์•ผ ํ•˜๊ณ , ๋’ค์—์„œ ๋ณด๊ฒ ์ง€๋งŒ ๊ทธ ๊ณผ์ •์—์„œ ๋งˆ์ฃผ์น  ํ•จ์ •์ด ์ ์ง€ ์•Š๋‹ค.


๐Ÿ”” Ring Review

๐Ÿ”” Ring โ€” An idea that echoes. Grasp the core and its value.

ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด

โ€œ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์—†์ด ๋ฐ์ดํ„ฐ๋งŒ ๋‚ธ๋‹คโ€๋Š” ์„ ์–ธ์ด๊ณ , ๊ทธ ์„ ์–ธ์ด ์ •์งํ•œ ๋งŒํผ ๋…์ž๊ฐ€ ์ง์ ‘ ๊ฒ€์ฆํ•  ๊ฒƒ๋„ ๋งŽ์€ ๋…ผ๋ฌธ์ด๋‹ค.

๋ฐฐ๊ฒฝ: ์™œ wire fishing์ธ๊ฐ€

๋…ผ๋ฌธ์˜ Background๋Š” ์งง์ง€๋งŒ ์ดˆ์ ์ด ๋ถ„๋ช…ํ•˜๋‹ค. ๋ณ€ํ˜•์ฒด ์กฐ์ž‘์ด ์–ด๋ ค์šด ์ด์œ ๋Š” โ‘  ๋†’์€ ์ž์œ ๋„, โ‘ก ์˜ˆ์ธกํ•˜๊ธฐ ์–ด๋ ค์šด ๊ฑฐ๋™, โ‘ข ์ ‘์ด‰ ์ƒํ˜ธ์ž‘์šฉ์— ๋Œ€ํ•œ ๋ฏผ๊ฐ์„ฑ์ด๊ณ , ์ „ํ†ต์  ์กฐ์ž‘ ์ „๋žต์€ ๊ฐ•์ฒด ์—ญํ•™์— ๋งž์ถฐ์ ธ ์žˆ์–ด ์‹ค์‹œ๊ฐ„ ๊ฐ์ง€์™€ ์ ์‘ ์ œ์–ด๊ฐ€ ํ•„์š”ํ•˜๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ์—ฌ๊ธฐ๊นŒ์ง€๋Š” DLO ์„œ๋ฒ ์ด๋“ค์ด ๊ณต์œ ํ•˜๋Š” ์ง„๋‹จ์ด๋‹ค.

ํฅ๋ฏธ๋กœ์šด ๊ฑด ํƒœ์Šคํฌ ์„ ํƒ์ด๋‹ค. wire fishing์€ ๊ฑด์„คยท์ „๊ธฐ ์กฐ๋ฆฝ ํ˜„์žฅ์—์„œ ๋งค์ผ ์ผ์–ด๋‚˜๋Š” ์ž‘์—…์ธ๋ฐ, ๋กœ๋ด‡ ์—ฐ๊ตฌ์—์„œ ํ”ํžˆ ์“ฐ์ด๋Š” ์ผ€์ด๋ธ” ๋ผ์šฐํŒ…ยท๋งค๋“ญ ๋ฌถ๊ธฐ์™€ ๋‹ฌ๋ฆฌ ๊ด€ ๋‚ด๋ถ€๊ฐ€ ๋ณด์ด์ง€ ์•Š๋Š”๋‹ค. ๊ด€์ด ๊บพ์ธ ์ง€์ ์—์„œ ์ผ€์ด๋ธ” ๋์ด ์–ด๋””์— ๊ฑธ๋ ธ๋Š”์ง€๋Š” ์นด๋ฉ”๋ผ๋กœ ์•Œ ์ˆ˜ ์—†๊ณ , ์†์— ์ „ํ•ด์ง€๋Š” ์ €ํ•ญ๊ณผ ๋ฏธ์„ธํ•œ ์ง„๋™์œผ๋กœ๋งŒ ์œ ์ถ”ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด‰๊ฐ์„ ๋ฐ˜๋“œ์‹œ ํ•„์š”๋กœ ํ•˜๋Š” ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๊ณ ๋ฅธ ์…ˆ์ด๋ผ, โ€œ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ฐ์ดํ„ฐ์…‹โ€์ด๋ผ๋Š” ๊ฐ„ํŒ์ด ์žฅ์‹์ด ์•„๋‹ˆ๊ฒŒ ๋œ๋‹ค. ์ €์ž ๋žฉ(ICIC Lab)์ด ๊ฑด์„ค ์ •๋ณดํ•™ ์—ฐ๊ตฌ์‹ค์ด๋ผ๋Š” ์ ๋„ ํƒœ์Šคํฌ ์„ ํƒ์„ ์„ค๋ช…ํ•œ๋‹ค.

๊ฐ™์€ ๋ฌธ์ œ์˜์‹์œผ๋กœ ์ด‰๊ฐ์„ ๋ถ™์ธ ๋ณ€ํ˜•์ฒด ์กฐ์ž‘ ์—ฐ๊ตฌ๋กœ๋Š” ViTac-Tracing(์‹œ๊ฐ-์ด‰๊ฐ ๋ชจ๋ฐฉํ•™์Šต์œผ๋กœ ๋ณ€ํ˜•์ฒด๋ฅผ ํ›‘์–ด ํŽด๋Š” ์ž‘์—…)๊ณผ HEPI(ํ˜•์ƒ์ด ๋ณ€ํ•˜๋Š” ๋ฌผ์ฒด์— ๋Œ€ํ•œ ๊ธฐํ•˜ ์ธ์ง€ RL)๊ฐ€ ์ด ๋ธ”๋กœ๊ทธ์— ์žˆ๋‹ค. WireFishing-M์€ ๊ทธ ๊ณ„์—ด์˜ ์ •์ฑ… ๋…ผ๋ฌธ์ด ์•„๋‹ˆ๋ผ ์›์žฌ๋ฃŒ ๋…ผ๋ฌธ์ด๋‹ค.

ํ•˜๋“œ์›จ์–ด: ๋ฌด์—‡์œผ๋กœ ์ฐ์—ˆ๋Š”๊ฐ€


์ดˆ๊ธฐ ์ž์„ธ์—์„œ์˜ ์‹œ์Šคํ…œ ๊ตฌ์„ฑ(Fig. 2a). ๊ฐ€์šด๋ฐ ์ „์ฒด ์…‹์—…, ์ขŒ์ƒ๋‹จ DIGIT ์ด‰๊ฐ ์ด๋ฏธ์ง€(Right Thumb / Right Index), ์ขŒํ•˜๋‹จ ์ „๋ฉด ์นด๋ฉ”๋ผ, ํ•˜๋‹จ ํ•˜๋ถ€ ์นด๋ฉ”๋ผ, ์šฐ์ธก ๊ด€ ๋‚ด๋ถ€ ๋ทฐ์™€ ๊ด€ ์นด๋ฉ”๋ผ ์ด์ง„ ์˜์ƒ. ์ด ์‹œ์ ์˜ ๊ด€ ์นด๋ฉ”๋ผ ์˜์ƒ์€ ๊ฑฐ์˜ ์ „๋ถ€ ์–ด๋‘ก๋‹ค.
  • ๋กœ๋ด‡: Franka Emika Panda 7-DOF, Vention ์›Œํฌ์Šคํ…Œ์ด์…˜ ์œ„์— ์„ค์น˜. ์ „ ๊ตฌ๊ฐ„ ์ž„ํ”ผ๋˜์Šค ์ œ์–ด.
  • ์†: Allegro Robot Hand, 4์ง€ 16 DOF. (๋…ผ๋ฌธ์€ ์ œ์กฐ์‚ฌ๋ฅผ Shadow Robot Company๋ผ๊ณ  ์ ๋Š”๋ฐ โ€” ์•„๋ž˜ ์•ฝ์  ์ ˆ ์ฐธ์กฐ.)
  • ์ด‰๊ฐ: DIGIT. ยง4.1์€ indexยทmiddleยทthumb ์„ธ ์†๊ฐ€๋ฝ ๋์— ์žฅ์ฐฉํ•ด ์„ธ ์ŠคํŠธ๋ฆผ์„ ์ด์–ด ๋ถ™์—ฌ 240ร—960์œผ๋กœ ๋งŒ๋“ ๋‹ค๊ณ  ํ•˜๊ณ , 5 fps๋ผ๊ณ  ์ ๋Š”๋‹ค.
  • ์นด๋ฉ”๋ผ 3๋Œ€: ์ „๋ฉด Femto Mega RGB-D(ํ”Œ๋žซํผ ์œ„ ์•ฝ 18.5 in, ๊ด€์—์„œ ์•ฝ 20 in), ํ•˜๋ถ€ Azure Kinect DK(ํ”Œ๋žซํผ ์œ„ ์•ฝ 7 in, ํˆฌ๋ช… ์ž‘์—…๋ฉด ์•„๋ž˜์—์„œ ์ดฌ์˜), ๊ด€ ์นด๋ฉ”๋ผ๋Š” LED ๋‚ด์žฅ 16.4 ft USB ๋‚ด์‹œ๊ฒฝ.
  • ์บ˜๋ฆฌ๋ธŒ๋ ˆ์ด์…˜: ์ฒด์ปค๋ณด๋“œ๋กœ ์นด๋ฉ”๋ผ ๋‚ด๋ถ€ยท์™ธ๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ, DIGIT๋Š” ์ œ์กฐ์‚ฌ ์ ˆ์ฐจ๋Œ€๋กœ ๊ทธ๋ ˆ์ด์Šค์ผ€์ผ ๊ฐ•๋„ยท์ •๋ ฌ ๋ณด์ •.
  • ๋™๊ธฐํ™”: ์ค‘์•™ ROS ๋…ธ๋“œ๊ฐ€ ํƒ€์ž„์Šคํƒฌํ”„๋ฅผ ์ฐ๊ณ  ์˜คํ”„๋ผ์ธ์—์„œ ์ •๋ ฌ. ํ•˜๋“œ์›จ์–ด ๋™๊ธฐํ™”๋Š” ์—†๋‹ค๊ณ  ๋ช…์‹œํ•œ๋‹ค.

๋ฐ์ดํ„ฐ ์ˆ˜์ง‘: ๋‚œ์ˆ˜ ํƒ์ƒ‰๊ณผ ์‚ฌ๋žŒ ์‹œ์—ฐ

๊ฐ trial์€ ๋ฏธ๋ฆฌ ์ •ํ•ด์ง„ ์œ„์น˜์—์„œ ์ผ€์ด๋ธ”์„ ์žก๋Š” ๊ฒƒ์œผ๋กœ ์‹œ์ž‘ํ•œ๋‹ค. Allegro ์†์€ ๊ณ ์ • ๊ด€์ ˆ ๋ช…๋ น์œผ๋กœ ๊ทธ๋ฆฝ์„ ์œ ์ง€ํ•œ๋‹ค โ€” ์ฆ‰ ์†๊ฐ€๋ฝ์€ ๋Šฅ๋™์ ์œผ๋กœ ์›€์ง์ด์ง€ ์•Š๋Š”๋‹ค. ๊ทธ ์ƒํƒœ์—์„œ ์•ž์„œ ๋ณธ ๊ท ๋“ฑ๋ถ„ํฌ ๋‚œ์ˆ˜ ์Šคํ…์„ ์Œ“์•„ ๊ด€ ์ž…๊ตฌ๋กœ ์ ‘๊ทผํ•˜๊ณ , ์‚ฝ์ž… ๊นŠ์ด๋ฅผ ๋„˜๊ธฐ๋ฉด ๋ฆฌ์…‹ํ•œ๋‹ค. ์ด ์—ด๋ฆฐ ๋ฃจํ”„ ์ „๋žต์ด ์„ฑ๊ณตยท๋ถ€๋ถ„ ์‚ฝ์ž…ยท์˜ค์ •๋ ฌยท์ถฉ๋Œ์„ ์ž์—ฐํžˆ ๋’ค์„ž์–ด ์ค€๋‹ค.

๋‘ ๋ฒˆ์งธ ๋ชจ๋“œ๋Š” ์‚ฌ๋žŒ ์‹œ์—ฐ์ด๋‹ค. ์‚ฌ๋žŒ์ด ์—”๋“œ์ดํŽ™ํ„ฐ๋ฅผ ์ง์ ‘ ์žก๊ณ  ๋Œ์–ด(kinesthetic teaching) ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€์˜ ์‚ฝ์ž…์„ ์žฌํ˜„ํ•œ๋‹ค. ๋…ผ๋ฌธ์€ ์ด์ชฝ์ด ์„ฑ๊ณต๋ฅ ์ด ๋†’๊ณ  ๊ถค์ ์ด ๋งค๋„๋Ÿฝ๋‹ค๊ณ  ์„œ์ˆ ํ•œ๋‹ค โ€” ๋‹ค๋งŒ โ€œ๋†’๋‹คโ€์˜ ์ˆ˜์น˜๋Š” ๋๋‚ด ๋‚˜์˜ค์ง€ ์•Š๋Š”๋‹ค.


์„ฑ๊ณต ์‚ฝ์ž… ์‹œ์ ์˜ ๋™์ผ ๊ตฌ์„ฑ(Fig. 2b). ๋…ผ๋ฌธ ๋ณธ๋ฌธ์€ โ€œ(b)์˜ ์šฐํ•˜๋‹จ ๊ทธ๋ ˆ์ด์Šค์ผ€์ผ ์˜์ƒ์— ๊ด€ ์ถœ๊ตฌ ๊ทผ์ฒ˜ ์–ด๋‘์šด ํ”ฝ์…€์ด ๋งŽ๋‹คโ€๊ณ  ์„ค๋ช…ํ•˜๋Š”๋ฐ, ์‹ค์ œ ๊ฒŒ์žฌ ์˜์ƒ์—์„œ ๋ˆˆ์— ๋„๋Š” ๊ฒƒ์€ ๊ฒ€์€ ๋ฐฐ๊ฒฝ ์œ„์˜ ๋ฐ์€ ์ค„๊ธฐ๋‹ค(์•„๋ž˜ ์•ฝ์  ์ ˆ ์ฐธ์กฐ).

๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ: ํ”„๋ ˆ์ž„์€ ๋งŽ๊ณ , trial์€ ๋ชจ๋ฅธ๋‹ค


์ผ€์ด๋ธ” 7์ข…๊ณผ ์กฐ๊ฑด๋ณ„ ๋ฐ์ดํ„ฐ๋Ÿ‰(Table 1). ๊ตต๊ธฐยท๊ฐ•์„ฑยทํ”ผ๋ณต(๋ธŒ๋ ˆ์ด๋“œ ๋‚˜์ผ๋ก  ์œ ๋ฌด)์ด ๋‹ค๋ฅธ 7์ข…์ด๋ฉฐ, ์˜ค๋ฅธ์ชฝ ๋‘ ์—ด์ด ๋žœ๋ค ์กฐ์ž‘ / ์‚ฌ๋žŒ ์‹œ์—ฐ ๋ฐ์ดํ„ฐ๋Ÿ‰์ด๋‹ค.
# ์„ค๋ช… Random Human Demo
1 Flexible, Thin, Lightweight, Braided nylon cover ~2,900,000 5,962
2 Rigid, Thick, Heavy-duty, No cover 84,621 5,994
3 Rigid, Thin, Lightweight, No cover 57,285 6,668
4 Less Flexible, Thin, Lightweight, Braided nylon cover 169,602 6,170
5 Less Rigid, Thin, Lightweight, No cover 284,262 7,624
6 Rigid, Thin, Lightweight, Braided nylon cover 27,232 4,949
7 Flexible, Thin, Lightweight, No cover 384,475 7,141
Total (๋…ผ๋ฌธ ํ‘œ๊ธฐ) ~3,907,477 44,288

ํ‘œ์˜ ์—ด ์ œ๋ชฉ์€ Trial Counts์ง€๋งŒ ๋ณธ๋ฌธ์€ ์ด ์ˆซ์ž๋“ค์„ ํ”„๋ ˆ์ž„ ์ˆ˜๋กœ ์„ค๋ช…ํ•œ๋‹ค(โ€œover 3.9 million frames collected in randomized trials and 44,288 frames in human demonstrationsโ€). ์ฆ‰ ํ‘œ ์ œ๋ชฉ์ด ํ‹€๋ ธ๋‹ค๊ณ  ๋ณด๋Š” ํŽธ์ด ๋งž๋‹ค.

์—ฌ๊ธฐ์„œ ๋ˆˆ์— ๋„๋Š” ๊ฑด ๋‘ ๊ฐ€์ง€๋‹ค.

(1) ์ผ€์ด๋ธ” 1๋ฒˆ์ด ์ „์ฒด์˜ 74%๋ฅผ ์ฐจ์ง€ํ•œ๋‹ค. 2,900,000 / 3,907,477 โ‰ˆ 74.2%(์ง์ ‘ ๊ณ„์‚ฐ). ๋‚˜๋จธ์ง€ 6์ข…์ด 100๋งŒ ํ”„๋ ˆ์ž„์„ ๋‚˜๋ˆ  ๊ฐ–๋Š”๋ฐ 6๋ฒˆ์€ 27,232 ํ”„๋ ˆ์ž„๋ฟ์ด๋‹ค โ€” ์ตœ๋Œ€/์ตœ์†Œ ๋น„๊ฐ€ 106๋ฐฐ๋‹ค. ๋…ผ๋ฌธ์€ ์ด ๋ฐ์ดํ„ฐ๊ฐ€ โ€œ์ผ๋ฐ˜ํ™”ยท๊ฐ•๊ฑด์„ฑ ์—ฐ๊ตฌ๋ฅผ ๋’ท๋ฐ›์นจํ•œ๋‹คโ€๊ณ  ์“ฐ์ง€๋งŒ, ์ด ์ •๋„ ๋ถˆ๊ท ํ˜•์ด๋ฉด ์žฌ๊ฐ€์ค‘ ์—†์ด ํ•™์Šตํ•˜๋ฉด ์‚ฌ์‹ค์ƒ ์ผ€์ด๋ธ” 1๋ฒˆ ์ „์šฉ ๋ชจ๋ธ์ด ๋‚˜์˜จ๋‹ค.

(2) ์‚ฌ๋žŒ ์‹œ์—ฐ ํ•ฉ๊ณ„๊ฐ€ ๋งž์ง€ ์•Š๋Š”๋‹ค. 7๊ฐœ ๊ฐ’์„ ๋”ํ•˜๋ฉด 5,962+5,994+6,668+6,170+7,624+4,949+7,141 = 44,508์ธ๋ฐ ํ‘œ์˜ Total์€ 44,288์ด๋‹ค. 220 ํ”„๋ ˆ์ž„ ์ฐจ์ด๋‹ค(์ง์ ‘ ๊ฒ€์‚ฐ). ๋žœ๋ค ์ชฝ์€ 1,007,477 + 2,900,000 = 3,907,477๋กœ ์ •ํ™•ํžˆ ๋งž์œผ๋ฏ€๋กœ, ์–ด๊ธ‹๋‚œ ๊ฑด ์‚ฌ๋žŒ ์‹œ์—ฐ ์—ด ํ•˜๋‚˜๋‹ค. ํฐ ์ˆ˜์น˜๋Š” ์•„๋‹ˆ์ง€๋งŒ ํ‘œ์˜ ์ด๊ณ„๊ฐ€ ๊ฒ€์‚ฐ์„ ํ†ต๊ณผํ•˜์ง€ ๋ชปํ•œ๋‹ค๋Š” ์‚ฌ์‹ค ์ž์ฒด๊ฐ€ ๋ฐ์ดํ„ฐ ๋…ผ๋ฌธ์—์„œ๋Š” ์‹ ํ˜ธ๋‹ค.

ํ”„๋ ˆ์ž„ ์ˆ˜๋ฅผ ์‹œ๊ฐ„์œผ๋กœ ๋ฐ”๊ฟ” ๋ณด๋ฉด ๊ทœ๋ชจ๊ฐ€ ์‹ค๊ฐ๋‚œ๋‹ค. ์ „ ์ŠคํŠธ๋ฆผ 5 fps์ด๋ฏ€๋กœ ๋žœ๋ค 3,907,477 ํ”„๋ ˆ์ž„ โ‰ˆ 217์‹œ๊ฐ„(์•ฝ 9์ผ์น˜ ์—ฐ์† ๊ธฐ๋ก), ์‚ฌ๋žŒ ์‹œ์—ฐ 44,288 ํ”„๋ ˆ์ž„ โ‰ˆ 2.5์‹œ๊ฐ„์ด๋‹ค(์ง์ ‘ ๊ณ„์‚ฐ). ์‚ฌ๋žŒ ์‹œ์—ฐ์ด ์ „์ฒด์˜ 1.1%์— ๋ถˆ๊ณผํ•˜๋‹ค๋Š” ๋œป์ด๊ธฐ๋„ ํ•˜๋‹ค.

์ƒ˜ํ”Œ์ด ์‹ค์ œ๋กœ ์–ด๋–ป๊ฒŒ ์ƒ๊ฒผ๋‚˜


๋ฐ์ดํ„ฐ ์ƒ˜ํ”Œ ์˜ˆ์‹œ(Fig. 1). (a) ํ•˜๋ถ€ ๋ทฐ โ€” ๊ด€๊ณผ ์ผ€์ด๋ธ”, ์นด๋ฉ”๋ผ ๋ฆฌ๊ทธ๊ฐ€ ๋ณด์ธ๋‹ค. (b) ๊ด€ ์นด๋ฉ”๋ผ ์ธก๋ฉด ๋ทฐ โ€” ๊ด€ ๋ฒฝ๋ฉด์— ์ดˆ์ ์ด ๋งž์•„ ํ๋ฆฟํ•˜๋‹ค. (c) ์ „๋ฉด ๋ทฐ โ€” ์›Œํฌ์ŠคํŽ˜์ด์Šค ์ „๊ฒฝ. (d) DIGIT ์ด‰๊ฐ ์ด๋ฏธ์ง€ โ€” ์œ„์—์„œ๋ถ€ํ„ฐ index / thumb / middle.

์ด ๊ทธ๋ฆผ์ด ๋ฆฌ๋ทฐ์—์„œ ๊ฐ€์žฅ ์ค‘์š”ํ•œ ํ•œ ์žฅ์ด๋‹ค. ์บก์…˜์ด ์•„๋‹ˆ๋ผ ํ”ฝ์…€์„ ๋ณด๋ฉด ๋ฐ์ดํ„ฐ์˜ ์‹ค์ œ ํ’ˆ์งˆ์ด ๋“œ๋Ÿฌ๋‚˜๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค.

  • (d) ์ด‰๊ฐ ์ด๋ฏธ์ง€๋Š” ์ปฌ๋Ÿฌ๋‹ค. ๋ณธ๋ฌธ ยง3์€ tactile_view/๋ฅผ โ€œGrayscale tactile images (.jpg)โ€๋ผ๊ณ  ๋ช…์‹œํ•˜๋Š”๋ฐ, ๊ฒŒ์žฌ๋œ Fig. 1(d)์™€ Fig. 2์˜ ์ธ์…‹์€ ๋ชจ๋‘ DIGIT ํŠน์œ ์˜ RGB(์ /๋…น/์ฒญ ์กฐ๋ช…) ์ด๋ฏธ์ง€๋‹ค. ์‹ค์ œ ํŒŒ์ผ์ด ๋ฌด์—‡์ธ์ง€๋Š” ๋‚ด๋ ค๋ฐ›์•„ ํ™•์ธํ•  ์ˆ˜๋ฐ–์— ์—†๋‹ค.
  • (d)์˜ ์ ‘์ด‰ ์‹ ํ˜ธ๊ฐ€ ํฌ๋ฏธํ•˜๋‹ค. ์„ธ ํŒจ์น˜ ๋ชจ๋‘ ๋ถ€๋“œ๋Ÿฌ์šด ์ƒ‰ ๊ทธ๋ผ๋””์–ธํŠธ๋งŒ ๋ณด์ด๊ณ , ์ผ€์ด๋ธ”์ด ๋ˆŒ๋ฆฐ ์ž๊ตญ ๊ฐ™์€ ์„ ๋ช…ํ•œ ๊ตญ์†Œ ๋ณ€ํ˜•์ด ๋ณด์ด์ง€ ์•Š๋Š”๋‹ค. DIGIT์€ ์ ค ํ‘œ๋ฉด์˜ ๊ตญ์†Œ ์••ํ”์„ ์žก๋Š” ์„ผ์„œ์ธ๋ฐ, ๊ทธ๋ฆฝ์„ ๊ณ ์ • ๊ด€์ ˆ ๋ช…๋ น์œผ๋กœ ์œ ์ง€ํ•˜๋Š” ์„ค๊ณ„์—์„œ๋Š” ์ ‘์ด‰ ํŒจํ„ด์ด ๊ฑฐ์˜ ๋ณ€ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ๋‹ค. ์ฆ‰ ์ด ์ด‰๊ฐ ์ŠคํŠธ๋ฆผ์ด ์‚ฝ์ž… ์‚ฌ๊ฑด(๊ฑธ๋ฆผยท์ขŒ๊ตดยท๋ฏธ๋„๋Ÿฌ์ง)์„ ์–ผ๋งˆ๋‚˜ ๋‹ด๊ณ  ์žˆ๋Š”์ง€๋Š” ๋…ผ๋ฌธ๋งŒ์œผ๋กœ๋Š” ์•Œ ์ˆ˜ ์—†๋‹ค.
  • (b) ๊ด€ ์นด๋ฉ”๋ผ ๋ทฐ๊ฐ€ ํ๋ฆฌ๋‹ค. ์„ฑ๊ณต ํŒ์ •์˜ ๊ทผ๊ฑฐ๊ฐ€ ๋˜๋Š” ์ŠคํŠธ๋ฆผ์ธ๋ฐ ์ดˆ์ ์ด ๊ด€ ๋ฒฝ์— ๋งž์•„ ์žˆ๋‹ค. ์ž„๊ณ„๊ฐ’ ๊ธฐ๋ฐ˜ ๋ผ๋ฒจ๋ง์ด ์ด๋Ÿฐ ์˜์ƒ ์œ„์—์„œ ๋ˆ๋‹ค๋Š” ๋œป์ด๋‹ค.

์ง๊ด€: ์ด ๋ฐ์ดํ„ฐ์˜ ์ง„์งœ ๊ตฌ์กฐ

์ด ๋ฐ์ดํ„ฐ์…‹์˜ ํ•ต์‹ฌ์€ โ€œ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌโ€์ด๋ผ๋Š” ๊ฐ„ํŒ๋ณด๋‹ค ๋ผ๋ฒจ ์ƒ์„ฑ ๋ฐฉ์‹์— ์žˆ๋‹ค๊ณ  ๋ณธ๋‹ค. ์„ฑ๊ณต/์‹คํŒจ๊ฐ€ ์‚ฌ๋žŒ ํŒ๋‹จ์ด ์•„๋‹ˆ๋ผ N>40์ด๋ผ๋Š” ํ”ฝ์…€ ์นด์šดํŠธ์—์„œ ๋‚˜์˜ค๊ธฐ ๋•Œ๋ฌธ์—, ๋ผ๋ฒจ y๋Š” ์‚ฌ์‹ค์ƒ

y = \mathbb{1}\left[\,\big|\{\,p \in \mathcal{R}\ :\ I(p) < 50\,\}\big| > 40\,\right]

๋ผ๋Š” ๊ฒฐ์ •๋ก ์  ํ•จ์ˆ˜๋‹ค(\mathcal{R}์€ ๊ด€ ์ถœ๊ตฌ ๊ทผ์ฒ˜ ๊ณ ์ • ์˜์—ญ). ์ด ํ•จ์ˆ˜๊ฐ€ ๋ฌผ๋ฆฌ์  ์„ฑ๊ณต๊ณผ ์ผ์น˜ํ•˜๋Š” ์ •๋„๊ฐ€ ๋ฐ์ดํ„ฐ ์ „์ฒด์˜ ์‹ ๋ขฐ๋„ ์ƒํ•œ์ด ๋œ๋‹ค. ์กฐ๋ช…์ด ๋ฐ”๋€Œ๊ฑฐ๋‚˜ ๊ด€ ์นด๋ฉ”๋ผ๊ฐ€ ๋ฐ€๋ฆฌ๊ฑฐ๋‚˜ ๊ฒ€์€ ์ผ€์ด๋ธ” ๋Œ€์‹  ํฐ ์ผ€์ด๋ธ”(ํ‘œ 3ยท5๋ฒˆ)์„ ์“ฐ๋ฉด ์ด ํ•จ์ˆ˜๋Š” ํ”๋“ค๋ฆฐ๋‹ค โ€” ์‹ค์ œ๋กœ 7์ข… ์ค‘ 2์ข…์ด ๋ฐ์€ ์ƒ‰์ด๊ณ , โ€œ์–ด๋‘์šด ํ”ฝ์…€ ์นด์šดํŠธโ€๋Š” ์ผ€์ด๋ธ” ์ƒ‰์— ์ง์ ‘ ์˜์กดํ•œ๋‹ค. ๋…ผ๋ฌธ์€ ์ด ๊ต๋ž€์„ ์–ธ๊ธ‰ํ•˜์ง€ ์•Š๋Š”๋‹ค.

๋‹ฌ๋ฆฌ ๋งํ•ด, ์„ฑ๊ณต ๊ฒ€์ถœ๊ธฐ๋ฅผ ์ด ๋ผ๋ฒจ๋กœ ํ•™์Šตํ•˜๋ฉด ๋ชจ๋ธ์ด ๋ฐฐ์šฐ๋Š” ๊ฒƒ์€ โ€œ์‚ฝ์ž…์— ์„ฑ๊ณตํ–ˆ๋Š”๊ฐ€โ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œ๊ด€ ์ถœ๊ตฌ ์˜์—ญ์ด ์–ด๋‘์›Œ์กŒ๋Š”๊ฐ€โ€์ผ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๋‹ค. ์ด๊ฑด ๋ฐ์ดํ„ฐ์˜ ๊ฒฐํ•จ์ด๋ผ๊ธฐ๋ณด๋‹ค ์‚ฌ์šฉ์ž๊ฐ€ ๋ฐ˜๋“œ์‹œ ์•Œ๊ณ  ์จ์•ผ ํ•  ์„ฑ์งˆ์ด๋‹ค.

์ €์žฅ์†Œ ์‹ค์‚ฌ: ์‹ค์ œ๋กœ ๋ฌด์—‡์ด ์˜ฌ๋ผ์™€ ์žˆ๋‚˜

๋…ผ๋ฌธ์˜ Data Availability๋Š” ๋‘ ๊ฐœ์˜ Harvard Dataverse DOI๋งŒ ์ค€๋‹ค. ์‹ค์ œ๋กœ ์—ด์–ด ํ™•์ธํ–ˆ๋‹ค(Dataverse API, 2026-09-22).

DOI ์ด๋ฆ„ ํŒŒ์ผ ์ˆ˜ ์šฉ๋Ÿ‰ ๊ตฌ์„ฑ
10.7910/DVN/MUOJXI WireFishing-M-1 529 ์•ฝ 1,127.6 GB Cable_1~7_{Random,Human} ์ „๋ถ€
10.7910/DVN/XOPUXY WireFishing-M-2 186 ์•ฝ 412.1 GB Cable_1_Random๋งŒ (๋‚ ์งœ๋ณ„ ๋ถ„ํ•  continuation)
  • ๋ผ์ด์„ ์Šค๋Š” ๋‘˜ ๋‹ค CC0 1.0, ๊ธฐํƒ์ผ 2025-07-14.
  • ํŒŒ์ผ์€ ์ „๋ถ€ .7z ์•„์นด์ด๋ธŒ์ด๊ณ  20241130_101-104.7z์ฒ˜๋Ÿผ trial ๋ฒˆํ˜ธ ๊ตฌ๊ฐ„์œผ๋กœ ์ชผ๊ฐœ์ ธ ์žˆ๋‹ค. ์ฆ‰ trial ํด๋” ๋‹จ์œ„ ๋ฒˆํ˜ธ๋Š” ์กด์žฌํ•˜๋Š”๋ฐ ๋…ผ๋ฌธ์€ ๊ทธ ์ด ๊ฐœ์ˆ˜๋ฅผ ๋๋‚ด ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค.
  • ํ•ฉ๊ณ„ ์•ฝ 1.54 TB. ๋‚ด๋ ค๋ฐ›์•„ ์“ฐ๋ ค๋ฉด ์Šคํ† ๋ฆฌ์ง€ ๊ณ„ํš์ด ๋จผ์ € ํ•„์š”ํ•˜๋‹ค.
  • ๋…ผ๋ฌธ ๋ณธ๋ฌธยทPDF ์ „์ฒด๋ฅผ ํ›‘์–ด๋„ GitHub ๋“ฑ ์ฝ”๋“œ ์ €์žฅ์†Œ ๋งํฌ๋Š” ์—†๋‹ค. ์ˆ˜์ง‘ ์Šคํฌ๋ฆฝํŠธ๋„, ์••์ถ• ํ•ด์ œยท๋กœ๋”ฉ ์œ ํ‹ธ๋ฆฌํ‹ฐ๋„, ๋ฒ ์ด์Šค๋ผ์ธ๋„ ๊ณต๊ฐœ๋˜์ง€ ์•Š์•˜๋‹ค.

Dataverse ๊ตฌ์„ฑ์ด ๋…ผ๋ฌธ ์„œ์ˆ ์„ ๋ณด์™„ํ•ด ์ฃผ๋Š” ์ง€์ ์ด ํ•˜๋‚˜ ์žˆ๋‹ค. ์ผ€์ด๋ธ” 1๋ฒˆ์ด 74%๋ฅผ ์ฐจ์ง€ํ•˜๋Š” ์ด์œ ๊ฐ€ ๋ณ„๋„ DOI ํ•˜๋‚˜๋ฅผ ํ†ต์งธ๋กœ ์“ธ ๋งŒํผ ์ด์–ด์„œ ์ˆ˜์ง‘ํ–ˆ๊ธฐ ๋•Œ๋ฌธ์ด๋ผ๋Š” ๊ฒŒ ํŒŒ์ผ ๋ฐฐ์น˜์—์„œ ๋“œ๋Ÿฌ๋‚œ๋‹ค. ์˜๋„์  ์„ค๊ณ„๋ผ๊ธฐ๋ณด๋‹ค ์ˆ˜์ง‘ ์ผ์ •์˜ ์‚ฐ๋ฌผ๋กœ ๋ณด์ธ๋‹ค.

์‹คํ—˜: ์—†๋‹ค

๋ฐ์ดํ„ฐ ์•„ํ‹ฐํด์ด๋ฏ€๋กœ ๋‹น์—ฐํ•˜๋‹ค๊ณ  ๋ณผ ์ˆ˜๋„ ์žˆ์ง€๋งŒ, ์งš์–ด ๋‘˜ ํ•„์š”๊ฐ€ ์žˆ๋‹ค. ์ด ๋…ผ๋ฌธ์—๋Š”

  • ํ•™์Šต๋œ ๋ชจ๋ธ์ด ์—†๊ณ ,
  • ๋ฒ ์ด์Šค๋ผ์ธ ์„ฑ๋Šฅ(์„ฑ๊ณต ๊ฒ€์ถœ ์ •ํ™•๋„, ํž˜ ์ถ”์ • ์˜ค์ฐจ ๋“ฑ)์ด ์—†๊ณ ,
  • ๋ฐ์ดํ„ฐ์…‹ ์ „์ฒด์˜ ์„ฑ๊ณต/์‹คํŒจ ๋น„์œจ์กฐ์ฐจ ์—†๊ณ ,
  • train/val/test split ์ •์˜๊ฐ€ ์—†๊ณ ,
  • ๋‹ค๋ฅธ DLO ๋ฐ์ดํ„ฐ์…‹๊ณผ์˜ ๋น„๊ตํ‘œ๊ฐ€ ์—†๋‹ค.

Data in Brief์˜ โ€œRelated research articleโ€ ํ•ญ๋ชฉ๋„ None์ด๋‹ค โ€” ์ฆ‰ ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์‹ค์ œ๋กœ ์‚ฌ์šฉํ•œ ์ง ๋…ผ๋ฌธ์ด ์•„์ง ์—†๋‹ค๋Š” ๋œป์ด๋‹ค. Value of the Data๊ฐ€ ์ œ์‹œํ•˜๋Š” 6๊ฐ€์ง€ ์šฉ์ฒ˜๋Š” ์ „๋ถ€ ๊ฐ€๋Šฅ์„ฑ์œผ๋กœ๋งŒ ์„œ์ˆ ๋œ๋‹ค.

๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด

๊ฐ•์ 

  • ํƒœ์Šคํฌ ์„ ํƒ์ด ์ข‹๋‹ค. ๊ด€ ๋‚ด๋ถ€๊ฐ€ ๋ณด์ด์ง€ ์•Š๋Š” wire fishing์€ ์ด‰๊ฐยทํž˜์ด ์ •๋ณด์ƒ ํ•„์ˆ˜์ธ ๋ช‡ ์•ˆ ๋˜๋Š” ์‹ค์ œ ์ž‘์—…์ด๋‹ค. โ€œ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ์ด๋ฉด ์ข‹๋‹คโ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ์ด ์•„๋‹ˆ๋ฉด ์•ˆ ๋œ๋‹คโ€์— ๊ฐ€๊นŒ์šด ์„ธํŒ…์ด๋‹ค.
  • ๊ทœ๋ชจ๊ฐ€ ํฌ๊ณ  ์ •์งํ•˜๊ฒŒ ํฌ๋‹ค. 217์‹œ๊ฐ„ ๋ถ„๋Ÿ‰์˜ ์‹ค๊ธฐ ์ ‘์ด‰ ๋ฐ์ดํ„ฐ๋Š” ํ•™๊ณ„ ๋‹จ์ผ ๋žฉ ๊ธฐ์ค€์œผ๋กœ ํ”์น˜ ์•Š๋‹ค. ์‹œ๋ฎฌ๋ ˆ์ด์…˜์ด ์•„๋‹ˆ๋ผ ์ „๋ถ€ ์‹ค๊ธฐ๋‹ค.
  • ๋ผ๋ฒจ๋ง์„ ์ž๋™ํ™”ํ•œ ๊ฒƒ์ด ๊ทœ๋ชจ๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ–ˆ๋‹ค. ์ž„๊ณ„๊ฐ’ ๋ฐฉ์‹์ด ๊ฑฐ์น ๊ธด ํ•ด๋„, ์ˆ˜์‹ญ๋งŒ ๋ฒˆ์˜ ์‚ฝ์ž…์„ ์‚ฌ๋žŒ์ด ๋ณผ ์ˆ˜๋Š” ์—†๋‹ค. ์„ค๊ณ„ ๊ฒฐ์ •์œผ๋กœ๋Š” ํ•ฉ๋ฆฌ์ ์ด๋‹ค.
  • CC0์— Harvard Dataverse. ๊ธฐ๊ด€ ์ €์žฅ์†Œ + ํผ๋ธ”๋ฆญ ๋„๋ฉ”์ธ ์กฐํ•ฉ์ด๋ผ ์ ‘๊ทผ์„ฑยท์˜์†์„ฑ์ด ์ข‹๋‹ค(arXiv-only ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๋ณด๋‹ค ํ›จ์”ฌ ๋‚ซ๋‹ค).
  • ๋กœ๋ด‡ ์ƒํƒœ ๋ฒกํ„ฐ ๊ทœ๊ฒฉ์„ ์ธ๋ฑ์Šค ๋‹จ์œ„๋กœ ๋ช…์‹œํ–ˆ๋‹ค. 20์ฐจ์› ๋ฐฐ์—ด์˜ ๊ฐ ์Šฌ๋กฏ์ด ๋ฌด์—‡์ธ์ง€ ์ ์–ด ๋‘” ๋•์— ์ฝ”๋“œ ์—†์ด๋„ ํŒŒ์‹ฑ์ด ๊ฐ€๋Šฅํ•˜๋‹ค โ€” ์ฝ”๋“œ๋ฅผ ๊ณต๊ฐœํ•˜์ง€ ์•Š์€ ๋…ผ๋ฌธ์—์„œ ์ด๊ฑด ์ตœ์†Œํ•œ์˜ ์„ฑ์˜๋‹ค.
  • ํ•œ๊ณ„ ์ ˆ์ด ์†”์งํ•˜๋‹ค. ๋ฌผ์ฒด ๋‹ค์–‘์„ฑ ๋ถ€์กฑ, ๊ณ ์ • ํ™˜๊ฒฝ, ์„ผ์„œ ๋น„๋™๊ธฐ, ์ด์ง„ ๋ผ๋ฒจ์„ ์Šค์Šค๋กœ ์ ์—ˆ๋‹ค.

์•ฝ์ ยทํ•œ๊ณ„

์›๋ฌธ ๋Œ€์กฐ์—์„œ ํ™•์ธํ•œ ๋ถˆ์ผ์น˜๋ถ€ํ„ฐ ์ ๋Š”๋‹ค. ๋ฐ์ดํ„ฐ ๋…ผ๋ฌธ์€ ์„œ์ˆ ์ด ๊ณง ์ŠคํŽ™์ด๋ฏ€๋กœ, ์ด๋Ÿฐ ๋ถˆ์ผ์น˜๋Š” ์‚ฌ์šฉ์ž๊ฐ€ ์‹ค์ œ๋กœ ๊ฑธ๋ ค ๋„˜์–ด์งˆ ์ง€์ ์ด๋‹ค.

  1. ์ด‰๊ฐ ํ”„๋ ˆ์ž„๋ ˆ์ดํŠธ๊ฐ€ ๋ณธ๋ฌธ ์•ˆ์—์„œ ์„ธ ๋ฒˆ ๋‹ค๋ฅด๊ฒŒ ์ ํžŒ๋‹ค. ยง4.1 โ€œ240ร—960 pixels at 5 fpsโ€, ยง4.2 โ€œrecords at approximately 30 frames per secondโ€, ยง4.4 โ€œtactile images from the DIGIT sensor at approximately 5 FPSโ€. 2:1๋กœ 5 fps๊ฐ€ ์šฐ์„ธํ•˜์ง€๋งŒ, ์ด‰๊ฐ์„ ์“ฐ๋ ค๋Š” ์‚ฌ๋žŒ์—๊ฒŒ ์ด๊ฑด ์‚ฌ์†Œํ•œ ์˜คํƒ€๊ฐ€ ์•„๋‹ˆ๋‹ค.
  2. DIGIT ๊ฐœ์ˆ˜๊ฐ€ ๋‘ ๋ฒˆ ๋‹ค๋ฅด๊ฒŒ ์ ํžŒ๋‹ค. ยง4.1์€ indexยทmiddleยทthumb ์„ธ ์†๊ฐ€๋ฝ์— ์žฅ์ฐฉํ•ด ์„ธ ๋ทฐ๋ฅผ ์ด์–ด ๋ถ™์ธ๋‹ค๊ณ  ํ•˜๊ณ , ยง4.2๋Š” โ€œmounted on one of the Allegro fingersโ€๋ผ๊ณ  ํ•œ๋‹ค. Fig. 1(d)๋Š” 3๊ฐœ ์Šคํƒ์„ ๋ณด์—ฌ์ฃผ๋ฏ€๋กœ ยง4.1์ด ๋งž์•„ ๋ณด์ด์ง€๋งŒ, Fig. 2 ์ธ์…‹์˜ ๋ผ๋ฒจ์€ Right Thumb / Right Index ๋‘˜๋งŒ ๋ณด์ธ๋‹ค.
  3. ๋ผ๋ฒจ๋ง ๋ฐฉ์‹์ด ๋ณธ๋ฌธ๊ณผ Limitations์—์„œ ๋ชจ์ˆœ๋œ๋‹ค. ยง4.3์€ ๊ทธ๋ ˆ์ด์Šค์ผ€์ผ ์ž„๊ณ„๊ฐ’ ๊ธฐ๋ฐ˜ ์ž๋™ ๋ผ๋ฒจ๋ง์„ โ€œthousands of trials์— ๊ฑธ์ณ ์ผ๊ด€๋˜๊ณ  ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ์ฃผ์„์„ ๋ณด์žฅํ–ˆ๋‹คโ€๊ณ  ์„ค๋ช…ํ•˜๋Š”๋ฐ, Limitations๋Š” โ€œInsertion outcomes were labeled manually โ€ฆ using visual inspectionโ€์ด๋ผ๊ณ  ์“ด๋‹ค. ๋‘˜ ๋‹ค์ผ ์ˆ˜๋Š” ์—†๋‹ค.
  4. Fig. 2(b)๊ฐ€ ๋ณธ๋ฌธ ์„ค๋ช…๊ณผ ์–ด๊ธ‹๋‚˜ ๋ณด์ธ๋‹ค. ๋ณธ๋ฌธ์€ ์„ฑ๊ณต ์‹œ ๊ด€ ์ถœ๊ตฌ ๊ทผ์ฒ˜์— ์–ด๋‘์šด ํ”ฝ์…€์ด ๋งŽ์•„์ง„๋‹ค๊ณ  ํ•˜๋Š”๋ฐ, ๊ฒŒ์žฌ๋œ (b)์˜ ๊ด€ ์นด๋ฉ”๋ผ ์ด์ง„ ์˜์ƒ์—์„œ ๋‘๋“œ๋Ÿฌ์ง€๋Š” ๊ฒƒ์€ ๊ฒ€์€ ๋ฐฐ๊ฒฝ ์œ„์˜ ๋ฐ์€ ์ค„๊ธฐ๋‹ค. ๋ฐ˜๋Œ€๋กœ (a)๋Š” ๊ฑฐ์˜ ์ „๋ถ€ ๊ฒ€๋‹ค โ€” ์ฆ‰ ๊ทธ๋ฆผ๋งŒ ๋ณด๋ฉด โ€œ์„ฑ๊ณต = ๋ฐ์€ ํ”ฝ์…€ ์ฆ๊ฐ€โ€๋กœ ์ฝํžŒ๋‹ค. ์ด์ง„ํ™” ๊ฒฐ๊ณผ์˜ ๊ทน์„ฑ(polarity) ์„œ์ˆ ์ด ๋’ค์ง‘ํ˜”๊ฑฐ๋‚˜ ๊ทธ๋ฆผ์ด ๋ฐ˜์ „๋œ ๊ฒƒ์œผ๋กœ ๋ณด์ด๋Š”๋ฐ, ๋…ผ๋ฌธ๋งŒ์œผ๋กœ๋Š” ์–ด๋А ์ชฝ์ธ์ง€ ํ™•์ •ํ•  ์ˆ˜ ์—†๋‹ค. ๋ผ๋ฒจ ์ •์˜์˜ ํ•ต์‹ฌ์ด๋ผ ๊ทธ๋ƒฅ ๋„˜๊ธธ ์ˆ˜ ์—†๋Š” ๋ถˆ์ผ์น˜๋‹ค.
  5. ์ด‰๊ฐ ์ด๋ฏธ์ง€ ์ƒ‰์ƒ ์„œ์ˆ ์ด ๊ทธ๋ฆผ๊ณผ ๋‹ค๋ฅด๋‹ค. ยง3์€ โ€œGrayscale tactile imagesโ€๋ผ๊ณ  ํ•˜๋Š”๋ฐ Fig. 1(d)ยทFig. 2 ์ธ์…‹์€ ์ปฌ๋Ÿฌ๋‹ค.
  6. ํ•˜๋“œ์›จ์–ด ์ถœ์ฒ˜ ํ‘œ๊ธฐ๊ฐ€ ํ‹€๋ ธ๋‹ค. Allegro Hand๋ฅผ โ€œ(Shadow Robot Company)โ€๋ผ๊ณ  ์ ๋Š”๋ฐ, Allegro Hand๋Š” Wonik Robotics(๊ตฌ SimLab) ์ œํ’ˆ์ด๊ณ  Shadow Robot Company๋Š” ๋ณ„๊ฐœ ํšŒ์‚ฌ์˜ ๋ณ„๊ฐœ ์†์ด๋‹ค. DIGIT์„ โ€œ(GelSight Inc.)โ€๋ผ ํ•œ ๊ฒƒ๋„ ๋А์Šจํ•˜๋‹ค โ€” DIGIT์˜ ์„ค๊ณ„ยท๊ณต๊ฐœ๋Š” Meta AI(Lambeta et al. 2020, ๋…ผ๋ฌธ์˜ ์ฐธ๊ณ ๋ฌธํ—Œ [7])์ด๊ณ  GelSight Inc.๋Š” ์ƒ์šฉ ๊ณต๊ธ‰์ž๋‹ค. ์ดˆ๋ก์ด DIGIT ๋ฐ์ดํ„ฐ๋ฅผ โ€œGelSight tactile imagesโ€๋ผ ๋ถ€๋ฅด๋Š” ๊ฒƒ๋„ ๊ฐ™์€ ํ˜ผ๋™์˜ ์—ฐ์žฅ์ด๋‹ค.
  7. ํ‘œ ์ด๊ณ„๊ฐ€ ๊ฒ€์‚ฐ์„ ํ†ต๊ณผํ•˜์ง€ ๋ชปํ•œ๋‹ค. ์‚ฌ๋žŒ ์‹œ์—ฐ 44,508(ํ•ฉ) vs 44,288(ํ‘œ๊ธฐ), 220 ์ฐจ์ด.
  8. ํ‘œ ์ œ๋ชฉ์ด ๋‚ด์šฉ๊ณผ ๋‹ค๋ฅด๋‹ค. โ€œTrial Countsโ€์ธ๋ฐ ๊ฐ’์€ ํ”„๋ ˆ์ž„ ์ˆ˜๋‹ค.
  9. trial ์ˆ˜๋ฅผ ๋๊นŒ์ง€ ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค. โ€œ๊ฐ trial ํด๋”๋Š” ์ˆ˜์ฒœ ํ”„๋ ˆ์ž„์„ ๋‹ด๋Š”๋‹คโ€๋งŒ ์žˆ๊ณ , ์ด trial ์ˆ˜๋„ ์ผ€์ด๋ธ”๋ณ„ trial ์ˆ˜๋„ ์—†๋‹ค. 5 fps์—์„œ โ€œ์ˆ˜์ฒœ ํ”„๋ ˆ์ž„โ€์ด๋ฉด ํ•œ trial์ด 10๋ถ„ ์ด์ƒ์ด๋ผ๋Š” ๋œป์ธ๋ฐ, ๊ฐ™์€ ๋ฌธ์žฅ์ด ๊ทธ๊ฒƒ์„ โ€œa single cable insertion attemptโ€๋ผ ๋ถ€๋ฅธ๋‹ค โ€” 10๋ถ„์งœ๋ฆฌ ๋‹จ์ผ ์‚ฝ์ž… ์‹œ๋„๋Š” ๋ฌผ๋ฆฌ์ ์œผ๋กœ ์ด์ƒํ•˜๋‹ค. trial = ๋‹ค์ˆ˜์˜ ์‚ฝ์ž… ์‹œ๋„๋ฅผ ๋‹ด์€ ์„ธ์…˜์œผ๋กœ ์ฝ๋Š” ๊ฒŒ ๋งž์•„ ๋ณด์ด์ง€๋งŒ, ๊ทธ๋ ‡๋‹ค๋ฉด 20๋ฒˆ ์ธ๋ฑ์Šค์˜ ์„ฑ๊ณต ๋ผ๋ฒจ์ด ์„ธ์…˜ ๋‹จ์œ„์ธ์ง€ ํ”„๋ ˆ์ž„ ๋‹จ์œ„์ธ์ง€๊ฐ€ ๋ชจํ˜ธํ•ด์ง„๋‹ค. ์ด ๋ฐ์ดํ„ฐ๋กœ ์„ฑ๊ณต ๊ฒ€์ถœ๊ธฐ๋ฅผ ๋งŒ๋“ค๋ ค๋ฉด ๊ฐ€์žฅ ๋จผ์ € ํ’€์–ด์•ผ ํ•  ์˜๋ฌธ์ด๋‹ค.
  10. ์„ฑ๊ณต/์‹คํŒจ ๋น„์œจ์ด ์—†๋‹ค. ์ด์ง„ ๋ถ„๋ฅ˜ ๋ฐ์ดํ„ฐ์…‹์ธ๋ฐ ํด๋ž˜์Šค ๊ท ํ˜•์„ ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค. ์—ด๋ฆฐ ๋ฃจํ”„ ๋‚œ์ˆ˜ ํƒ์ƒ‰์ด๋ฏ€๋กœ ์‹คํŒจ๊ฐ€ ์••๋„์ ์œผ๋กœ ๋งŽ์„ ๊ฒƒ์œผ๋กœ ์ง์ž‘๋˜์ง€๋งŒ, ์ง์ž‘์ผ ๋ฟ์ด๋‹ค.
  11. ํž˜์€ ์„ผ์„œ๊ฐ’์ด ์•„๋‹ˆ๋ผ ์ถ”์ •๊ฐ’์ด๋‹ค. /franka_state_controller/franka_states์˜ ์™ธ๋ถ€ ํž˜ ์ถ”์ •์€ ๊ด€์ ˆ ํ† ํฌ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ ์ถ”์ •์ด๋ผ ํŽธํ–ฅยท์ €์—ญํ†ต๊ณผ ํŠน์„ฑ์ด ์žˆ๋‹ค. ๋…ผ๋ฌธ๋„ โ€œexternally estimatedโ€๋ผ๊ณ  ์ •์งํ•˜๊ฒŒ ์“ฐ์ง€๋งŒ, ํž˜ ์ถ”์ • ์—ฐ๊ตฌ์— ์“ฐ๋ ค๋Š” ์‚ฌ๋žŒ์—๊ฒŒ ์ด๊ฑด ground truth๊ฐ€ ์•„๋‹ˆ๋‹ค.
  12. ํ•˜๋“œ์›จ์–ด ๋™๊ธฐํ™”๊ฐ€ ์—†๋‹ค. 5 fps ์ €ํ”„๋ ˆ์ž„๋ ˆ์ดํŠธ์—์„œ ์†Œํ”„ํŠธ์›จ์–ด ํƒ€์ž„์Šคํƒฌํ”„ ์ •๋ ฌ๋งŒ ํ–ˆ๋‹ค๋ฉด, ์ ‘์ด‰ ์‚ฌ๊ฑด ๊ฐ™์€ ๋น ๋ฅธ ์ „์ด๋ฅผ ๋ชจ๋‹ฌ๋ฆฌํ‹ฐ ๊ฐ„์— ์ •๋ฐ€ ์ •ํ•ฉํ•˜๊ธฐ ์–ด๋ ต๋‹ค. ๋…ผ๋ฌธ์˜ Limitations๋„ ์ด๋ฅผ ์ธ์ •ํ•œ๋‹ค.
  13. ์†๊ฐ€๋ฝ์ด ์›€์ง์ด์ง€ ์•Š๋Š”๋‹ค. Allegro 16 DOF๋ฅผ ๋‹ฌ์•„ ๋†“๊ณ  ๊ณ ์ • ๊ด€์ ˆ ๋ช…๋ น์œผ๋กœ ๊ทธ๋ฆฝ๋งŒ ์œ ์ง€ํ•œ๋‹ค. ์‚ฌ์‹ค์ƒ ํ‰ํ–‰ ๊ทธ๋ฆฌํผ + ์ด‰๊ฐ ํŒจ์น˜์ด๊ณ , ๋ฐ์ดํ„ฐ์— in-hand ์กฐ์ž‘ ์ •๋ณด๋Š” ์—†๋‹ค. 16 DOF ์†์˜ ๊ด€์ ˆ๊ฐ์ด .npy ์ŠคํŽ™์— ํฌํ•จ๋˜์ง€ ์•Š์€ ๊ฒƒ๋„ ์ด ์„ค๊ณ„์™€ ์ผ๊ด€๋œ๋‹ค(12โ€“18์€ Franka 7๊ด€์ ˆ๋ฟ).
  14. ์žฌํ˜„ ๋„๊ตฌ๊ฐ€ ์ „ํ˜€ ์—†๋‹ค. 1.54 TB์˜ .7z ์•„์นด์ด๋ธŒ๋งŒ ์žˆ๊ณ  ๋กœ๋”ยท์ธ๋ฑ์Šคยท๋ฉ”ํƒ€๋ฐ์ดํ„ฐ CSVยท์˜ˆ์ œ ๋…ธํŠธ๋ถ์ด ์—†๋‹ค. ์ง„์ž… ์žฅ๋ฒฝ์ด ์šฉ๋Ÿ‰๋ณด๋‹ค ์ด์ชฝ์—์„œ ๋” ๋†’๋‹ค.
  15. ํ™˜๊ฒฝ์ด ํ•˜๋‚˜๋‹ค. ๊ด€ ๊ธฐํ•˜๊ฐ€ ๋‹จ์ผ L์ž ํ˜•์ƒ์ด๊ณ  ์กฐ๋ช…ยท๋ฐฐ๊ฒฝ์ด ๊ณ ์ •์ด๋ผ, ์—ฌ๊ธฐ์„œ ํ•™์Šตํ•œ ์„ฑ๊ณต ๊ฒ€์ถœ๊ธฐ๊ฐ€ ๋‹ค๋ฅธ ๊ด€์—์„œ ์ž‘๋™ํ•  ์ด์œ ๊ฐ€ ์—†๋‹ค. ์ €์ž๋„ ํ•œ๊ณ„๋กœ ์ ๋Š”๋‹ค.

์ข…ํ•ฉ ํŒ์ •

๋ฐ์ดํ„ฐ ์ž์ฒด์˜ ์›์žฌ๋ฃŒ ๊ฐ€์น˜๋Š” ์‹ค์žฌํ•œ๋‹ค โ€” ์‹ค๊ธฐ 217์‹œ๊ฐ„, ์ด‰๊ฐยท๋‹ค์‹œ์  RGBยท๊ณ ์œ ์ˆ˜์šฉยทํž˜, CC0. ๋ฐ˜๋ฉด ๋ฌธ์„œ๋กœ์„œ์˜ ์™„์„ฑ๋„๋Š” ๋‚ฎ๋‹ค. ์œ„ 15๊ฐœ ์ค‘ 1~8๋ฒˆ์€ ๋…ผ๋ฌธ ๋‚ด๋ถ€์—์„œ ์ž๊ธฐ๋ชจ์ˆœ์ด๊ฑฐ๋‚˜ ๋ช…๋ฐฑํ•œ ์˜ค๊ธฐ์ด๊ณ , 9~10๋ฒˆ์€ ๋ฐ์ดํ„ฐ์…‹ ๋…ผ๋ฌธ์ด๋ผ๋ฉด ๋ฐ˜๋“œ์‹œ ์žˆ์–ด์•ผ ํ•  ํ†ต๊ณ„์˜ ๋ถ€์žฌ๋‹ค. Data in Brief์˜ ๋ฆฌ๋ทฐ ๊ฐ•๋„๋ฅผ ๊ฐ์•ˆํ•ด๋„ ์ด‰๊ฐ fpsยท์„ผ์„œ ๊ฐœ์ˆ˜ยท๋ผ๋ฒจ๋ง ๋ฐฉ์‹ยท์„ฑ๊ณต ํ”ฝ์…€์˜ ๊ทน์„ฑ์ด ๋ณธ๋ฌธ ์•ˆ์—์„œ ์—‡๊ฐˆ๋ฆฐ ์ฑ„ ๊ฒŒ์žฌ๋œ ๊ฒƒ์€ ์•„์‰ฝ๋‹ค.

ํ˜„์‹ค์ ์ธ ์‚ฌ์šฉ ๊ถŒ๊ณ ๋Š” ์ด๋ ‡๋‹ค: ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์“ฐ๋ ค๋ฉด ๋…ผ๋ฌธ์„ ์ŠคํŽ™ ๋ฌธ์„œ๋กœ ์‹ ๋ขฐํ•˜์ง€ ๋ง๊ณ , .7z ํ•˜๋‚˜๋ฅผ ๋จผ์ € ํ’€์–ด robot_data/*.npy์˜ 20๋ฒˆ ์ธ๋ฑ์Šค ๋ถ„ํฌ์™€ tactile_view/ ์ด๋ฏธ์ง€์˜ ์ฑ„๋„ยทํ•ด์ƒ๋„ยท์‹ค์ œ ํ”„๋ ˆ์ž„ ๊ฐ„๊ฒฉ์„ ์ง์ ‘ ํ™•์ธํ•˜๋Š” ๊ฒƒ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•ด์•ผ ํ•œ๋‹ค. ๋…ผ๋ฌธ์ด ๋‹ตํ•˜์ง€ ๋ชปํ•˜๋Š” ์งˆ๋ฌธ(trial ์ •์˜, ํด๋ž˜์Šค ๊ท ํ˜•, ์ด‰๊ฐ ์ƒ˜ํ”Œ๋ง)์ด ๋ฐ”๋กœ ๊ทธ ํ•œ ํด๋” ์•ˆ์— ์žˆ๋‹ค.

๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€

๋…ผ๋ฌธ์˜ ์ฐธ๊ณ ๋ฌธํ—Œ์€ 7๊ฐœ๋ฟ์ด๊ณ , ์ขŒํ‘œ๋Š” ์„ธ ์ถ•์ด๋‹ค.

  • DLO ์กฐ์ž‘ ์„œ๋ฒ ์ด([1] Gu et al. 2023, [2] Zhu et al. 2022)์™€ ์กฐ์ž‘ ์ผ๋ฐ˜ ๋™ํ–ฅ([3] Billard & Kragic, Science 2019), ๋น„๊ฐ•์ฒด ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๊ฐ์ง€ ์„œ๋ฒ ์ด([4] Nadon et al. 2018) โ€” ๋ฌธ์ œ์˜ ๋‚œ์ด๋„๋ฅผ ์„ธ์šฐ๋Š” ๋ฐ ์“ฐ์ธ๋‹ค.
  • ์‚ฐ์—… ์ผ€์ด๋ธ”๋ง([5] Tanureza et al., SII 2025)๊ณผ ์ด‰๊ฐ ๊ธฐ๋ฐ˜ ์ผ€์ด๋ธ” ๋ผ์šฐํŒ…([6] Wilson et al., ICRA 2023) โ€” ํƒœ์Šคํฌ์˜ ์‹ค๋ฌด์  ๊ทผ๊ฑฐ๋‹ค. ํŠนํžˆ [6]์€ ์ด‰๊ฐ ๊ตฌ๋™ ๋ชจ์…˜ ํ”„๋ฆฌ๋ฏธํ‹ฐ๋ธŒ๋กœ ์ผ€์ด๋ธ” ๋ผ์šฐํŒ…์„ ํ‘ธ๋Š” ์—ฐ๊ตฌ๋กœ, WireFishing-M์ด โ€œ์ •์ฑ…โ€์ด ์•„๋‹ˆ๋ผ โ€œ๋ฐ์ดํ„ฐโ€๋ฅผ ๋‚ด๋†“๋Š” ์ž๋ฆฌ๋ฅผ ์—ญ์œผ๋กœ ๊ทœ์ •ํ•œ๋‹ค.
  • DIGIT([7] Lambeta et al., RA-L 2020) โ€” ์„ผ์„œ ๊ทผ๊ฑฐ.

์ด ๋ธ”๋กœ๊ทธ ์•ˆ์—์„œ์˜ ์ž๋ฆฌ๋Š” ์ด๋ ‡๊ฒŒ ์žกํžŒ๋‹ค. DIGIT ์ด‰๊ฐ์„ ์ •์ฑ…์— ์ง์ ‘ ๋ฌผ๋ฆฐ ์—ฐ๊ตฌ๋กœ๋Š” TacFILM(์ด‰๊ฐ์„ VLA์— ์œตํ•ฉ)์ด ์žˆ๊ณ , ๋ณ€ํ˜•์ฒด๋ฅผ ์ด‰๊ฐ์œผ๋กœ ๋‹ค๋ฃจ๋Š” ๋ชจ๋ฐฉํ•™์Šต์œผ๋กœ๋Š” ViTac-Tracing์ด, ํ˜•์ƒ ๋ณ€ํ™” ๋ฌผ์ฒด์— ๋Œ€ํ•œ RL๋กœ๋Š” HEPI๊ฐ€ ์žˆ๋‹ค. WireFishing-M์€ ์ด๋“ค ์•„๋ž˜์ธต์— ํ•ด๋‹นํ•œ๋‹ค โ€” ๋ชจ๋ธ์„ ์ œ์•ˆํ•˜์ง€ ์•Š๊ณ , ๊ทธ ๋ชจ๋ธ๋“ค์ด ํ•™์Šตํ•  ์‹ค๊ธฐ ์ ‘์ด‰ ๋ฐ์ดํ„ฐ๋ฅผ ์Œ“๋Š”๋‹ค. ๋‹ค๋งŒ ์œ„ ์—ฐ๊ตฌ๋“ค์ด ๊ฐ์ž ์ž๊ธฐ ๋ฐ์ดํ„ฐ๋ฅผ ์Šค์Šค๋กœ ๋ชจ์•„ ์“ฐ๋Š” ํ˜„์‹ค์—์„œ, ์ด ๋ฐ์ดํ„ฐ์…‹์ด ์‹ค์ œ๋กœ ์žฌ์‚ฌ์šฉ๋˜๋ ค๋ฉด ๋กœ๋”์™€ ๋ฒ ์ด์Šค๋ผ์ธ์ด ๋”ฐ๋ผ์™€์•ผ ํ•œ๋‹ค.

์š”์•ฝ

WireFishing-M์€ ๊ด€ ์•ˆ์ด ๋ณด์ด์ง€ ์•Š๋Š” ์‹ค์ œ ์ž‘์—…์„ ๊ณ ๋ฅด๊ณ , ๊ฑฐ๊ธฐ์— ์ด‰๊ฐยท๋‹ค์‹œ์  ์‹œ๊ฐยท๊ณ ์œ ์ˆ˜์šฉยทํž˜์„ ๋ถ™์—ฌ 217์‹œ๊ฐ„์„ ๊ธฐ๋กํ•ด CC0๋กœ ํ‘ผ ๋ฐ์ดํ„ฐ์…‹์ด๋‹ค. ํƒœ์Šคํฌ ์„ ํƒ๊ณผ ๊ฐœ๋ฐฉ์„ฑ์€ ๋ถ„๋ช…ํ•œ ๊ฐ•์ ์ด๊ณ , ์ž„๊ณ„๊ฐ’ ์ž๋™ ๋ผ๋ฒจ๋ง์ด๋ผ๋Š” ์‹ค์šฉ์  ํƒ€ํ˜‘์ด ์ด ๊ทœ๋ชจ๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ–ˆ๋‹ค.

๋ฐ˜๋Œ€๋กœ ์ด ๋…ผ๋ฌธ์€ ๋ฐ์ดํ„ฐ๋ฅผ ์„ค๋ช…ํ•˜๋Š” ๋ฌธ์„œ๋กœ์„œ ์—ฌ๋Ÿฌ ๊ตฐ๋ฐ๊ฐ€ ์–ด๊ธ‹๋‚˜ ์žˆ๋‹ค. ์ด‰๊ฐ fps๊ฐ€ ์„ธ ๋ฒˆ ๋‹ค๋ฅด๊ฒŒ ์ ํžˆ๊ณ , DIGIT ๊ฐœ์ˆ˜๊ฐ€ ๋‘ ๋ฒˆ ๋‹ค๋ฅด๊ฒŒ ์ ํžˆ๊ณ , ๋ผ๋ฒจ๋ง์ด ์ž๋™์ธ์ง€ ์ˆ˜๋™์ธ์ง€ ๋ณธ๋ฌธ๊ณผ ํ•œ๊ณ„ ์ ˆ์ด ์ถฉ๋Œํ•˜๋ฉฐ, ์„ฑ๊ณต ํŒ์ • ํ”ฝ์…€์˜ ๊ทน์„ฑ์ด ๊ทธ๋ฆผ๊ณผ ๋ณธ๋ฌธ์—์„œ ๋ฐ˜๋Œ€๋กœ ์ฝํžˆ๊ณ , ์‚ฌ๋žŒ ์‹œ์—ฐ ์ด๊ณ„๋Š” 220๋งŒํผ ๊ฒ€์‚ฐ์ด ์•ˆ ๋งž๋Š”๋‹ค. trial ์ˆ˜๋„ ํด๋ž˜์Šค ๊ท ํ˜•๋„ ์—†๋‹ค. ๊ทธ๋ž˜์„œ ์ด ๋ฐ์ดํ„ฐ์˜ ๊ฐ€์น˜๋Š” โ€œ์“ฐ๋Š” ์‚ฌ๋žŒ์ด ์ง์ ‘ ์—ด์–ด ํ™•์ธํ•œ ๋งŒํผโ€์œผ๋กœ ๊ฒฐ์ •๋œ๋‹ค. 1.54 TB๋ฅผ ๋‚ด๋ ค๋ฐ›๊ธฐ ์ „์—, ์•„์นด์ด๋ธŒ ํ•œ ์กฐ๊ฐ์„ ๋จผ์ € ํ’€์–ด๋ณด๋Š” ๊ฒƒ์ด ์ด ๋…ผ๋ฌธ์— ๋Œ€ํ•œ ๊ฐ€์žฅ ์„ฑ์‹คํ•œ ๋…ํ•ด๋‹ค.

Copyright 2026, JungYeon Lee