Curieux.JY
  • JungYeon Lee
  • Post
  • ๐Ÿ•ธ๏ธ Graph
  • Lecture
  • Note

On this page

  • ๐Ÿ” Ping Review
  • ๐Ÿ”” Ring Review
    • ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด
    • ๋ฐฐ๊ฒฝ: articulated tool์ด ๊ฐ•์ฒด ๋„๊ตฌ์™€ ๋‹ค๋ฅธ ์  (ยงIยทยงII)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 1: ๋ฌธ์ œ ์ •์‹ํ™”์™€ ํ•™์Šต ์ˆœ์„œ (ยงIII-A)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 2: ๋„๊ตฌ ์ƒํƒœ ์ถ”์ถœ (ยงIII-B, Fig. 3)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 3: ์ €์ˆ˜์ค€ ์ •์ฑ… (ยงIII-B2ยทB3)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 4: ๊ณ ์ˆ˜์ค€ ์ •์ฑ… (ยงIII-C)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 5: privileged heuristic replay buffer (ยงIII-C3)
    • ์ง๊ด€: ์‹œ๊ฐ„์ด ์•„๋‹ˆ๋ผ ํ–‰๋™ ๊ณต๊ฐ„์„ ๋‚˜๋ˆˆ ๊ณ„์ธต
    • ์‹คํ—˜ 1: ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์„ค์ •๊ณผ domain randomization (ยงIV-A)
    • ์‹คํ—˜ 2: ์ €์ˆ˜์ค€ ์ •์ฑ…๊ณผ effort reward (ยงIV-A, Fig. 4)
    • ์‹คํ—˜ 3: ๊ณ ์ˆ˜์ค€ ์ •์ฑ…๊ณผ privileged buffer (ยงIV-A, Fig. 5)
    • ์‹คํ—˜ 4: ์‹ค๊ธฐ ๊ฒ€์ฆ (ยงIV-B)
    • ์‹คํ—˜ 5: ์‹คํŒจ ๋ถ„์„ (ยงIV-B, Fig. 10)
    • ๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด
      • ๊ฐ•์ 
      • ์•ฝ์ ยทํ•œ๊ณ„
    • ๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€
    • ์š”์•ฝ
    • ์ด ๊ธ€์— ๋Œ€ํ•ด

๐Ÿ“ƒHRL for Articulated Tool ๋ฆฌ๋ทฐ

dexterity
rl
hierarchical-rl
goal-conditioned
point-cloud
Hierarchical Reinforcement Learning for Articulated Tool Manipulation with Multifingered Hand
Published

November 16, 2026

  • Paper Link (arXiv:2507.06822)

  • CodeยทProject: ๊ณต๊ฐœ๋œ ์ฝ”๋“œ ์ €์žฅ์†Œ, ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€, ์‹œ์—ฐ ์˜์ƒ ๋ชจ๋‘ ์—†๋‹ค. ๋…ผ๋ฌธ ๋ณธ๋ฌธ๊ณผ arXiv ํŽ˜์ด์ง€์— ๋งํฌ๊ฐ€ ์—†๊ณ , Hugging Face ๋…ผ๋ฌธ ํŽ˜์ด์ง€์—๋„ ์—ฐ๊ฒฐ๋œ ์ €์žฅ์†Œ๊ฐ€ ์—†๋‹ค.

  • Wei Xu, Yanchao Zhao, Weichao Guo, Xinjun Sheng

  • Shanghai Jiao Tong University (State Key Laboratory of Mechanical System and Vibration, Meta Robotics Institute) / IROS 2025

  1. ๐Ÿ’ก ํ•€์…‹ยท๊ฐ€์œ„ยท์ “๊ฐ€๋ฝ์ฒ˜๋Ÿผ ๋ชจ์–‘์ด ๋ฐ”๋€Œ๋Š” articulated tool์„ ๋‹ค์ง€ ์†์œผ๋กœ ์“ฐ๊ฒŒ ํ•˜๋ ค๊ณ , ๋ฌธ์ œ๋ฅผ โ€œ์†๊ฐ€๋ฝ์œผ๋กœ ๋„๊ตฌ ๋ชจ์–‘์„ ๋งŒ๋“œ๋Š” ์ €์ˆ˜์ค€ ์ •์ฑ…โ€๊ณผ โ€œํŒ”์„ ์›€์ง์ด๊ณ  ๋„๊ตฌ๊ฐ€ ์–ด๋–ค ๋ชจ์–‘์ด์–ด์•ผ ํ•˜๋Š”์ง€ ์ •ํ•˜๋Š” ๊ณ ์ˆ˜์ค€ ์ •์ฑ…โ€์œผ๋กœ ์ชผ๊ฐ  goal-conditioned ๊ณ„์ธต RL์„ ์ œ์•ˆํ•œ๋‹ค.
  2. โš™๏ธ ๋„๊ตฌ point cloud๋ฅผ SVD registration์œผ๋กœ canonical ์ขŒํ‘œ๊ณ„์— ๋งž์ถ˜ ๋’ค PointNet VAE ์ธ์ฝ”๋”๋กœ 2์ฐจ์› shape latent \mathbf{z} ๋ฅผ ๋ฝ‘๊ณ , ์ €์ˆ˜์ค€ ์ •์ฑ…์€ ์ด latent๋ฅผ ๋ชฉํ‘œ๊ฐ’์— ๋งž์ถ”๋„๋ก, ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์€ latent ๋ชฉํ‘œ์™€ ํŒ” ์†๋„๋ฅผ ๋‚ด๋„๋ก MuJoCo์—์„œ SAC๋กœ ์ฐจ๋ก€๋กœ ํ•™์Šตํ•œ๋‹ค. ๊ณ ์ˆ˜์ค€ ํ•™์Šต์€ ํ•€์…‹ ๋์  ์œ„์น˜์™€ hinge joint๋ฅผ ์ง์ ‘ ์•„๋Š” privileged heuristic controller๋กœ ์ฑ„์šด replay buffer๊ฐ€ ๊ฐ€์†ํ•œ๋‹ค.
  3. ๐ŸŽฏ Schunk SVH ์† + Jaka Zu7 ํŒ” ์‹ค๊ธฐ์—์„œ 1.5โ€“2.5 cm ๋ฌผ์ฒด 4์ข…(๊ตฌยท์ •์œก๋ฉด์ฒดยท์›๊ธฐ๋‘ฅยท์ •์‚ฌ๋ฉด์ฒด)์„ ํ•€์…‹์œผ๋กœ ์ง‘๋Š” ๊ณผ์ œ๋ฅผ ๋ฌผ์ฒด๋‹น 12ํšŒ ์‹œ๋„ํ•ด ์ฒซ ์‹œ๋„ 54.2%, ์žฌ์‹œ๋„ ํฌํ•จ 70.8% ์„ฑ๊ณต๋ฅ ์„ ๋ƒˆ๋‹ค. ๋น„๊ต ๊ธฐ์ค€์„ ์€ ์‹ค๊ธฐ์— ์—†๊ณ , ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ•™์Šต ๊ณก์„ ์—์„œ effort reward์™€ privileged buffer์˜ ํšจ๊ณผ๋งŒ ๋ณด์ธ๋‹ค.

๐Ÿ” Ping Review

๐Ÿ” Ping โ€” A light tap on the surface. Get the gist in seconds.

๋‹ค์ง€ ์† RL์€ ํŒŒ์ง€, ์† ์•ˆ ํšŒ์ „, ๋ฐธ๋ธŒ ๋Œ๋ฆฌ๊ธฐ์—์„œ ๋งŽ์ด ๋ฐœ์ „ํ–ˆ๊ณ  ๋ง์น˜ยท๋ถ“ ๊ฐ™์€ ๊ฐ•์ฒด ๋„๊ตฌ๋กœ๋„ ๋„˜์–ด๊ฐ”๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ์ผ์ƒ ๋„๊ตฌ ์ƒ๋‹น์ˆ˜๋Š” ๊ฐ•์ฒด๊ฐ€ ์•„๋‹ˆ๋‹ค. ํ•€์…‹์€ ๋‘ ๋‹ค๋ฆฌ๋ฅผ ์˜ค๋ฏ€๋ ค์•ผ ๊ธฐ๋Šฅํ•˜๊ณ , ๊ฐ€์œ„๋Š” ๋‚ ์„ ๋ฒŒ๋ ธ๋‹ค ๋‹ซ์•„์•ผ ํ•œ๋‹ค. ์ด๋Ÿฐ articulated tool์€ ์ฅ๋Š” ๊ฒƒ๋งŒ์œผ๋กœ ๋๋‚˜์ง€ ์•Š๊ณ , ์ฅ” ์ƒํƒœ๋ฅผ ์œ ์ง€ํ•˜๋ฉด์„œ ์†๊ฐ€๋ฝ์œผ๋กœ ๋„๊ตฌ์˜ ๊ด€์ ˆ ๊ฐ๋„๋ฅผ ์กฐ์ ˆํ•ด์•ผ ํ•œ๋‹ค. ์ €์ž๋“ค์€ ์–ด๋ ค์›€์„ ์…‹์œผ๋กœ ์ •๋ฆฌํ•œ๋‹ค. ์—ฌ๋Ÿฌ ์†๊ฐ€๋ฝ์ด ๋„๊ตฌ์˜ ๊ด€์ ˆ ๊ฐ๋„(ํ•€์…‹ ๋ฒŒ๋ฆผ)๋ฅผ ํ•จ๊ป˜ ๋งž์ถฐ์•ผ ํ•˜๊ณ , ์‹œ๊ฐ์ด ๊ฐ€๋ฆผ ์†์—์„œ ๋„๊ตฌ ์ž์„ธยท๋ชจ์–‘ ๋ณ€ํ™”ยท๋ฌผ์ฒด ์œ„์น˜๋ฅผ ๋™์‹œ์— ์ถ”์ ํ•ด์•ผ ํ•˜๋ฉฐ, ํŒ”์˜ ํฐ ์›€์ง์ž„๊ณผ ์†๊ฐ€๋ฝ์˜ ๋ฏธ์„ธ ์กฐ์ •์ด ์„œ๋กœ ๋‹ค๋ฅธ ์ œ์–ด ์ „๋žต์„ ์š”๊ตฌํ•œ๋‹ค.


์‹คํ—˜ ๊ตฌ์„ฑ(Fig. 1). (a) Azure Kinect DK ์นด๋ฉ”๋ผ, Jaka Zu7 6์ž์œ ๋„ ํŒ”, Schunk SVH ์†. (b) ์•ˆ์ •์„ฑ์„ ์œ„ํ•ด ์—„์ง€ ํ™ˆ(๊ฒ€์€ ๋Œ๊ธฐ)์„ ๋ถ™์ธ 3D ํ”„๋ฆฐํŠธ ํ•€์…‹. ๋‘ ๋‹ค๋ฆฌ๊ฐ€ V์ž ์Šคํ”„๋ง๋ถ€๋กœ ์ด์–ด์ ธ ์žˆ๋‹ค. (c) ํŒ”๊ณผ ์†์ด ํ•€์…‹์„ ์กฐ์ž‘ํ•ด ํ…Œ์ด๋ธ” ์œ„ ๋ฌผ์ฒด๋ฅผ ์ง‘๋Š” ๊ณผ์ œ.

์ด ๋…ผ๋ฌธ์˜ ๋‹ต์€ ๊ณ„์ธต ๋ถ„ํ•ด๋‹ค. ์‚ฌ๋žŒ์ด ํ•€์…‹์„ ์“ธ ๋•Œ ์† ์•ˆ์—์„œ ๋„๊ตฌ ์ž์„ธ๋Š” ๊ณ ์ •ํ•ด ๋‘๊ณ  ์†๊ฐ€๋ฝ์œผ๋กœ ๋ฒŒ๋ฆผ๋งŒ ์กฐ์ ˆํ•œ๋‹ค๋Š” ๊ด€์ฐฐ์—์„œ, ์ €์ˆ˜์ค€ ์ •์ฑ…์€ ์†๊ฐ€๋ฝ๋งŒ์œผ๋กœ ๋„๊ตฌ ๋ชจ์–‘์„ ๋ชฉํ‘œ ์ƒํƒœ์— ๋งž์ถ”๊ฒŒ ํ•˜๊ณ , ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์€ ํŒ”์„ ์›€์ง์—ฌ ๋„๊ตฌ๋ฅผ ๋ฌผ์ฒด ๊ทผ์ฒ˜๋กœ ์˜ฎ๊ธฐ๋ฉด์„œ โ€œ์ง€๊ธˆ ๋„๊ตฌ๊ฐ€ ์–ด๋–ค ๋ชจ์–‘์ด์–ด์•ผ ํ•˜๋Š”์ง€โ€๋ฅผ ์ €์ˆ˜์ค€์— ๋ชฉํ‘œ๋กœ ๋‚ด๋ ค๋ณด๋‚ธ๋‹ค. ๋‘ ์ •์ฑ…์„ ์ž‡๋Š” ์ธํ„ฐํŽ˜์ด์Šค๊ฐ€ point cloud์—์„œ ํ•™์Šตํ•œ 2์ฐจ์› shape latent๋‹ค.


๊ณ„์ธต ๊ตฌ์กฐ(Fig. 2). ๊ณ ์ˆ˜์ค€ ์ •์ฑ…(์ดˆ๋ก)์€ ๋„๊ตฌยท๋ฌผ์ฒด ์ƒํƒœ๋ฅผ ๋ฐ›์•„ ํŒ”์„ ์›€์ง์ด๊ณ  ๋„๊ตฌ ๋ชฉํ‘œ(Setting Tool Goal)๋ฅผ ๋‚ด๋ฆฐ๋‹ค. privileged heuristic policy๊ฐ€ ์ฑ„์šด replay buffer๊ฐ€ ๊ณ ์ˆ˜์ค€ ํ•™์Šต์— ์“ฐ์ธ๋‹ค. ์ €์ˆ˜์ค€ ์ •์ฑ…(์ฃผํ™ฉ)์€ ํ•ฉ์„ฑ point cloud๋กœ ์‚ฌ์ „ํ•™์Šตํ•œ ์ธ์ฝ”๋”๊ฐ€ ๋‚ธ ๋„๊ตฌ ์ƒํƒœ์™€ ์† ์ƒํƒœ๋ฅผ ๋ฐ›์•„ ์†๊ฐ€๋ฝ์„ ์›€์ง์ธ๋‹ค. ์˜ค๋ฅธ์ชฝ์€ ์‹ค๊ธฐ์—์„œ ์ •์‚ฌ๋ฉด์ฒด๋ฅผ ์ง‘๋Š” ์—ฐ์† ์žฅ๋ฉด์ด๋‹ค.

ํ•ต์‹ฌ ๋ฐฉ๋ฒ•๋ก :

๋„๊ตฌ point cloud \mathbf{P}_t(256์ )๋ฅผ canonical point cloud \mathbf{P}_c์— SVD ๊ธฐ๋ฐ˜์œผ๋กœ ์ •ํ•ฉํ•ด ๋ณ€ํ™˜ (\mathbf{t}_t,\boldsymbol{\theta}_t)๋ฅผ ์–ป๊ณ , ์ด์ „ ์Šคํ…๊ณผ์˜ ์ฐจ๋ถ„์œผ๋กœ ์†๋„ (\mathbf{v}_t,\boldsymbol{\omega}_t)๋ฅผ ๊ตฌํ•œ๋‹ค. canonical ์ขŒํ‘œ๊ณ„๋กœ ์˜ฎ๊ธด ์ ๋“ค์€ PointNet ์ธ์ฝ”๋”๊ฐ€ 2์ฐจ์› latent \mathbf{z}๋กœ ์••์ถ•ํ•œ๋‹ค. ์ธ์ฝ”๋”๋Š” Chamfer ์žฌ๊ตฌ์„ฑ ์†์‹ค๊ณผ KL ํ•ญ์œผ๋กœ ์‚ฌ์ „ํ•™์Šตํ•œ๋‹ค.

\mathcal{L}=\mathcal{L}_R+\beta_t\mathcal{L}_{KL}

์ €์ˆ˜์ค€ ์ •์ฑ…์˜ ์ƒํƒœ๋Š” ์† ๊ด€์ ˆ ๊ฐ๋„ยท์†๋„์™€ ๋„๊ตฌ ์ƒํƒœ [\mathbf{v}_t,\boldsymbol{\omega}_t,\mathbf{z}_t]์ด๊ณ , ๋ณด์ƒ์€ latent ๋ชฉํ‘œ ๋„๋‹ฌ ํ•ญ๊ณผ effort ํ•ญ์˜ ํ•ฉ์ด๋‹ค.

r^{goal}_t=\exp\!\left(-c_{l1}\lVert\bar{\mathbf{z}}_t-\mathbf{z}^{goal}_t\rVert_2\right),\qquad r^{effort}_t=-c_{l2}\!\sum_{\mathbf{p}_i\in\mathbf{P}_c}\!\lVert T(\bar{\mathbf{v}}_t,\bar{\boldsymbol{\omega}}_t)\mathbf{p}_i-\mathbf{p}_i\rVert_2-c_{l3}\lVert\dot{\mathbf{q}}^{hand}_t\rVert_2

๊ณ ์ˆ˜์ค€ ์ •์ฑ…์€ ๋„๊ตฌ ์ž์„ธยทlatent์™€ ๋ฌผ์ฒดยท๋ชฉํ‘œ ์œ„์น˜(14์ฐจ์›)๋ฅผ ๋ฐ›์•„ \mathbf{a}^{high}_t=[\mathbf{z}^{goal},\mathbf{a}^{arm}_t](5์ฐจ์›)๋ฅผ ๋‚ธ๋‹ค. ํŒ” ์†๋„ ๋ช…๋ น์€ Jacobian pseudoinverse \dot{\mathbf{q}}^{arm}=\mathbf{J}^{+}\mathbf{a}^{arm}_t๋กœ ๊ด€์ ˆ ์†๋„๊ฐ€ ๋œ๋‹ค. ๋ณด์ƒ์€ ์„ฑ๊ณต ์‹œ sparse ๋ณด์ƒ(๋ฌผ์ฒด๊ฐ€ ๋ชฉํ‘œ์—์„œ 1 cm ์ด๋‚ด), ๋„๊ตฌ-๋ฌผ์ฒดยท๋ฌผ์ฒด-๋ชฉํ‘œ ๊ฑฐ๋ฆฌ์˜ ์ง€์ˆ˜ํ˜• dense ๋ณด์ƒ, ๊ฑฐ๋ฆฌ 20 cm ์ดˆ๊ณผยทํ…Œ์ด๋ธ” ์ถฉ๋Œ penalty์˜ ํ•ฉ์ด๋‹ค.

์ฃผ์š” ๊ฒฐ๊ณผ:

  • effort reward ์ ˆ์ œ(Fig. 4a, ์‹œ๋“œ 3๊ฐœ): effort reward๊ฐ€ ์žˆ์œผ๋ฉด ์ €์ˆ˜์ค€ ์ •์ฑ…์˜ ์„ฑ๊ณต๋ฅ ์ด ์•ฝ 0.75M ์Šคํ…์—์„œ 0.8 ๊ทผ์ฒ˜์— ์˜ค๋ฅด๊ณ , ์—†์œผ๋ฉด 2M ์Šคํ… ๋์—์„œ์•ผ 0.7 ์–ธ์ €๋ฆฌ์— ๋‹ฟ๋Š”๋‹ค(๊ทธ๋ฆผ์—์„œ ์ฝ์€ ๊ฐ’).
  • privileged buffer ์ ˆ์ œ(Fig. 5a, ์‹œ๋“œ 3๊ฐœ): buffer๊ฐ€ ์žˆ์œผ๋ฉด ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์˜ ๋ˆ„์  return์ด ์•ฝ 1M ์Šคํ…์—์„œ 60โ€“70๋Œ€๋กœ ์˜ค๋ฅด๊ณ  ์ดํ›„ 70โ€“80๋Œ€์—์„œ ์›€์ง์ธ๋‹ค. buffer๊ฐ€ ์—†์œผ๋ฉด 3.5M ์Šคํ…๊นŒ์ง€ 20 ๊ทผ์ฒ˜์— ๋จธ๋ฌผ๊ณ , ๊ณ„์ธต ์—†์ด ํ•™์Šตํ•œ ์ •์ฑ…์€ 4M ์Šคํ… ๋‚ด๋‚ด 10โ€“15 ๊ทผ์ฒ˜๋‹ค(๊ทธ๋ฆผ์—์„œ ์ฝ์€ ๊ฐ’).
  • ์‹ค๊ธฐ ์ „์ฒด ๊ณ„์ธต ์ •์ฑ…(Fig. 8, ๋ฌผ์ฒด๋‹น 12ํšŒ): ์ฒซ ์‹œ๋„ ํ‰๊ท  54.2%, ์žฌ์‹œ๋„ ํฌํ•จ 70.8%. ์ •์œก๋ฉด์ฒด๊ฐ€ ๊ฐ€์žฅ ์‰ฝ๊ณ (์ฒซ ์‹œ๋„ 75%), ๊ตฌ๊ฐ€ ๊ฐ€์žฅ ์–ด๋ ต๋‹ค(์ฒซ ์‹œ๋„ ์•ฝ 33%).
  • ์ผ์ƒ ๋ฌผ์ฒด(Fig. 9): ๋น„ํƒ€๋ฏผ ๋ณ‘, ํ…Œ์ดํ”„, ๋ฐ”์ธ๋” ํด๋ฆฝ, ์ปคํ”ผ ์บก์А, ์ถฉ์ „๊ธฐ, ํผ ํŒจ๋”ฉ 6์ข…์˜ ์„ฑ๊ณต ์žฅ๋ฉด์„ ๋ณด์ด์ง€๋งŒ ์‹œ๋„ ํšŸ์ˆ˜์™€ ์„ฑ๊ณต๋ฅ ์€ ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค.

๊ฒฐ๋ก :

์ด ๋…ผ๋ฌธ์˜ ๊ธฐ์—ฌ๋Š” ๋ฌธ์ œ ์ •์˜์™€ ์ธํ„ฐํŽ˜์ด์Šค ์„ค๊ณ„์— ์žˆ๋‹ค. articulated tool ์กฐ์ž‘์„ โ€œ๋„๊ตฌ ๋ชจ์–‘ ์ œ์–ดโ€์™€ โ€œ๋„๊ตฌ ์šด๋ฐ˜ + ๋ชจ์–‘ ์ง€์‹œโ€๋กœ ๋‚˜๋ˆ„๊ณ , ๋‘˜ ์‚ฌ์ด๋ฅผ point cloud์—์„œ ๋ฝ‘์€ ์ €์ฐจ์› shape latent๋กœ ์ž‡๋Š” ๊ตฌ์„ฑ์€ ๊น”๋”ํ•˜๋‹ค. ๋‹ค๋งŒ ํ‰๊ฐ€๋Š” ์–‡๋‹ค. ์‹ค๊ธฐ ๊ฒฐ๊ณผ๋Š” ๊ธฐ์ค€์„  ์—†์ด 48ํšŒ ์‹œ๋„๋ฟ์ด๊ณ , ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ๋ฐ˜์ง€๋ฆ„ 1 cm ๊ตฌ ํ•˜๋‚˜๋กœ๋งŒ ํ•™์Šตํ–ˆ์œผ๋ฉฐ, ์ƒํƒœ์— ๋ฌผ์ฒด ํฌ๊ธฐ ์ •๋ณด๊ฐ€ ์—†์–ด์„œ โ€œ๋ฌผ์ฒด ํฌ๊ธฐ์— ๋งž์ถฐ ๋„๊ตฌ ๋ชจ์–‘์„ ๊ณ ๋ฅธ๋‹คโ€๋Š” affordance ์„œ์ˆ ์€ ์‹คํ—˜์œผ๋กœ ์ง์ ‘ ๊ฒ€์ฆ๋˜์ง€ ์•Š์•˜๋‹ค. ๋ณด์ƒ ๊ณ„์ˆ˜์™€ ํ•™์Šต ์„ค์ •๋„ ์ƒ๋‹น์ˆ˜ ๋น ์ ธ ์žˆ๊ณ  ์ฝ”๋“œ๊ฐ€ ์—†์–ด ํ™•์ธํ•  ๋ฐฉ๋ฒ•์ด ์—†๋‹ค.

๐Ÿ”” Ring Review

๐Ÿ”” Ring โ€” An idea that echoes. Grasp the core and its value.

ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด

ํ•€์…‹์„ ์“ฐ๋Š” ๋‹ค์ง€ ์†์„ RL๋กœ ํ•™์Šต์‹œํ‚ค๋ ค๋ฉด ๊ฒฐ๊ตญ โ€œ๋„๊ตฌ๊ฐ€ ์ง€๊ธˆ ์–ผ๋งˆ๋‚˜ ๋ฒŒ์–ด์ ธ ์žˆ๋Š”๊ฐ€โ€๋ฅผ ์ •์ฑ…์ด ์ฝ๊ณ  ์ง€์‹œํ•  ์ˆ˜ ์žˆ๋Š” ํ˜•ํƒœ๋กœ ๋งŒ๋“ค์–ด์•ผ ํ•œ๋‹ค. ์ด ๋…ผ๋ฌธ์€ ๊ทธ ์–‘์„ ์‚ฌ๋žŒ์ด ์ •์˜ํ•œ ๊ฐ๋„๊ฐ€ ์•„๋‹ˆ๋ผ point cloud์—์„œ ํ•™์Šตํ•œ 2์ฐจ์› latent๋กœ ๋‘๊ณ , ์†๊ฐ€๋ฝ์€ ๊ทธ latent๋ฅผ ๋ชฉํ‘œ์— ๋งž์ถ”๋Š” ์ผ๋งŒ, ํŒ”์€ ๋„๊ตฌ๋ฅผ ์˜ฎ๊ธฐ๋ฉด์„œ latent ๋ชฉํ‘œ๋ฅผ ๊ณ ๋ฅด๋Š” ์ผ๋งŒ ๋งก๊ธด๋‹ค. ๋‚˜๋จธ์ง€ ์„ค๊ณ„(SVD๋กœ ์ž์„ธ์™€ ๋ชจ์–‘ ๋ถ„๋ฆฌ, effort reward, privileged heuristic buffer)๋Š” ์ด ๋ถ„์—…์ด ์‹ค๊ธฐ์—์„œ ๋ฒ„ํ‹ฐ๊ฒŒ ํ•˜๋Š” ๋ถ€ํ’ˆ์ด๋‹ค.

๋ฐฐ๊ฒฝ: articulated tool์ด ๊ฐ•์ฒด ๋„๊ตฌ์™€ ๋‹ค๋ฅธ ์  (ยงIยทยงII)

์ €์ž๋“ค์ด ์ •๋ฆฌํ•˜๋Š” ์„ ํ–‰ ์—ฐ๊ตฌ์˜ ํ๋ฆ„์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

๊ณ„์—ด ๋ฌด์—‡์„ ํ–ˆ๋‚˜ ์ด ๋…ผ๋ฌธ์ด ๋ณด๋Š” ๋นˆ ๊ณณ
ํ•ด์„์  ์กฐ์ž‘(prehensile pushing, sliding manipulation ๋“ฑ) ์†-๋„๊ตฌ ๊ณ„์˜ ๊ธฐ๊ตฌํ•™ยท๋™์—ญํ•™์„ ๋ชจ๋ธ๋ง ์ ‘์ด‰์ ยทํž˜ยท๋งˆ์ฐฐ์„ ๋‹ค ์•ˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•˜๊ณ  ์ ‘์ด‰์„ ์†๋์œผ๋กœ ์ œํ•œ. ์‹œ๊ฐยท์ด‰๊ฐ์—์„œ ๊ทธ ์ •๋ณด๋ฅผ ์–ป๊ธฐ ์–ด๋ ต๋‹ค
๋‹ค์ง€ ์† RL(in-hand ์žฌ๋ฐฐํ–ฅ, functional grasp, ๋ฐธ๋ธŒยท๋ฌธ) ๊ณ ์ฐจ์› ์ œ์–ด์™€ ๋ณต์žกํ•œ ์ ‘์ด‰์„ ํ•™์Šต์œผ๋กœ ํ•ด๊ฒฐ ๋Œ€์ƒ์ด ๋Œ€๋ถ€๋ถ„ ๊ฐ•์ฒด ๋ฌผ์ฒด๋‚˜ ๊ฐ•์ฒด ๋„๊ตฌ
๋„๊ตฌ ์‚ฌ์šฉ RL(๋ถ“ยท๋ง์น˜, ์ “๊ฐ€๋ฝ) ๊ฐ•์ฒด ๋„๊ตฌ ์‚ฌ์šฉ์œผ๋กœ ํ™•์žฅ ์ “๊ฐ€๋ฝ์€ ์ฃผ๋กœ ๋‘ ์†๊ฐ€๋ฝ ๊ทธ๋ฆฌํผ์ฒ˜๋Ÿผ ๋‹ค๋ค˜๊ณ , ๋‹ค์ง€ ์†์œผ๋กœ ๋„๊ตฌ๋ฅผ ์จ์„œ ๋ฌผ์ฒด๋ฅผ ๊ฐ„์ ‘์ ์œผ๋กœ ์ง‘๋Š” ์—ฐ๊ตฌ๋Š” ๋“œ๋ฌผ๋‹ค
๋ฌผ์ฒด ํ‘œํ˜„(RGB-D ์ž์„ธ ์ถ”์ •, DexRepNet, Visual Dexterity์˜ teacher-student point cloud) ๋ฌผ์ฒด ์ž์„ธยท์†๋„ยท์†-๋ฌผ์ฒด ๊ด€๊ณ„๋ฅผ ์ •์ฑ… ์ž…๋ ฅ์œผ๋กœ ํ•€์…‹์€ ๋ณ€ํ˜•์œผ๋กœ ๊ธฐ๋Šฅํ•˜๋ฏ€๋กœ ์ž์„ธ์™€ ์†๋„๋งŒ์œผ๋กœ ๋ถ€์กฑํ•˜๋‹ค. ๋ชจ์–‘ ์ƒํƒœ๋ฅผ ๋”ฐ๋กœ ๋ฝ‘์•„์•ผ ํ•œ๋‹ค

๋งˆ์ง€๋ง‰ ํ–‰์ด ์ด ๋…ผ๋ฌธ์˜ ์„ค๊ณ„ ์ถœ๋ฐœ์ ์ด๋‹ค. ๊ฐ•์ฒด ๋„๊ตฌ๋ผ๋ฉด 6D ์ž์„ธ๊ฐ€ ์ƒํƒœ์˜ ์ „๋ถ€์ง€๋งŒ, ํ•€์…‹์€ ์ž์„ธ๊ฐ€ ๊ฐ™์•„๋„ ๋ฒŒ๋ฆผ์ด ๋‹ค๋ฅด๋ฉด ๊ธฐ๋Šฅ์ด ๋‹ค๋ฅด๋‹ค. ๊ทธ๋ž˜์„œ ์ƒํƒœ๋ฅผ โ€œ์ž์„ธ(์†๋„)โ€์™€ โ€œ๋ชจ์–‘(latent)โ€์œผ๋กœ ๋‚˜๋ˆ„๊ณ , ๋ชจ์–‘์ด ๊ณง affordance๋ผ๊ณ  ๋ณธ๋‹ค. ์ €์ž๋“ค์˜ ํ‘œํ˜„์œผ๋กœ๋Š” ํ•€์…‹ ๋ฒŒ๋ฆผ ๊ฐ๋„๋งˆ๋‹ค ์ง‘์„ ์ˆ˜ ์žˆ๋Š” ๋ฌผ์ฒด ํฌ๊ธฐ๊ฐ€ ๋‹ฌ๋ผ์ง€๋ฏ€๋กœ, ๋ชจ์–‘ ์ƒํƒœ๊ฐ€ ๋„๊ตฌ์˜ ๊ธฐ๋Šฅ์  ๋Šฅ๋ ฅ์„ ๋‚˜ํƒ€๋‚ธ๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 1: ๋ฌธ์ œ ์ •์‹ํ™”์™€ ํ•™์Šต ์ˆœ์„œ (ยงIII-A)

์ €์ˆ˜์ค€ ๋ฌธ์ œ๋Š” goal-conditioned MDP \mathcal{M}_G=(\mathcal{S},\mathcal{A},\mathcal{G},\mathcal{T},r,\gamma)๋กœ ์ •์˜ํ•˜๊ณ , ๋ณด์ƒ r:\mathcal{S}\times\mathcal{A}\times\mathcal{G}\to\mathbb{R}์€ ์ง€์ •๋œ ๋ชฉํ‘œ์— ํšจ์œจ์ ์œผ๋กœ ๋„๋‹ฌํ•˜๋„๋ก ์„ค๊ณ„ํ•œ๋‹ค. ํ•™์Šต์€ ์ˆœ์ฐจ์ ์ด๋‹ค.

  1. ํ•ฉ์„ฑ point cloud๋กœ ์ธ์ฝ”๋”๋ฅผ ์‚ฌ์ „ํ•™์Šตํ•œ๋‹ค.
  2. ๊ทธ ์ธ์ฝ”๋” ์œ„์—์„œ ์ €์ˆ˜์ค€ ์ •์ฑ…์„ GCRL๋กœ ํ•™์Šตํ•ด ๋„๊ตฌ ๋ชจ์–‘ ์ œ์–ด๋ฅผ ์ตํžŒ๋‹ค.
  3. ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ์ˆ˜๋ ดํ•˜๋ฉด ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์–ผ๋ฆฌ๊ณ , privileged heuristic policy๊ฐ€ ๋งŒ๋“  replay buffer์™€ ํ•จ๊ป˜ ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์„ ํ•™์Šตํ•œ๋‹ค.

๊ณต๋™ ํ•™์Šต(joint training)์ด ์•„๋‹ˆ๋ฏ€๋กœ ๊ณ ์ˆ˜์ค€ ์ •์ฑ… ์ž…์žฅ์—์„œ ์ €์ˆ˜์ค€ ์ •์ฑ…์€ ํ™˜๊ฒฝ์˜ ์ผ๋ถ€๋‹ค. ์ด ์„ ํƒ์€ ๋น„์ •์ƒ์„ฑ(non-stationarity) ๋ฌธ์ œ๋ฅผ ํ”ผํ•˜๋Š” ๋Œ€์‹ , ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š” ๋ชจ์–‘ ๋ฒ”์œ„๊ฐ€ ๊ณง ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์˜ ํ–‰๋™ ๊ณต๊ฐ„ ์ƒํ•œ์ด ๋œ๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 2: ๋„๊ตฌ ์ƒํƒœ ์ถ”์ถœ (ยงIII-B, Fig. 3)


๋„๊ตฌ ์ƒํƒœ ์ถ”์ถœ(Fig. 3). ์ž…๋ ฅ point cloud P_t๋ฅผ canonical point cloud P_c์— SVD๋กœ ์ •ํ•ฉํ•ด ๋ณ€ํ™˜ (t_t,\theta_t)๋ฅผ ์–ป๊ณ , ์ด์ „ ์Šคํ… ๋ณ€ํ™˜๊ณผ์˜ ์ฐจ๋ถ„์œผ๋กœ ์†๋„ (v_t,\omega_t)๋ฅผ ๋งŒ๋“ ๋‹ค. ๊ฐ™์€ ๋ณ€ํ™˜์„ P_t์— ์ ์šฉํ•ด canonical ์ขŒํ‘œ๊ณ„๋กœ ์˜ฎ๊ธด ๋’ค PointNet ์ธ์ฝ”๋”๊ฐ€ latent z๋ฅผ ๋‚ธ๋‹ค. ์ ์„  ๋””์ฝ”๋”๋Š” ์‚ฌ์ „ํ•™์Šต(์žฌ๊ตฌ์„ฑ)์—๋งŒ ์“ด๋‹ค.

์ˆœ์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

  1. ์ •ํ•ฉ: ๋งค ์Šคํ… 256์  point cloud \mathbf{P}_t๋ฅผ canonical point cloud \mathbf{P}_c์— SVD ๊ธฐ๋ฐ˜์œผ๋กœ ์ •ํ•ฉํ•ด ๊ฑฐ์นœ ๋ณ€ํ™˜ (\mathbf{t}_t,\boldsymbol{\theta}_t)๋ฅผ ์–ป๋Š”๋‹ค.
  2. ์†๋„: ์ด์ „ ์Šคํ… ๋ณ€ํ™˜๊ณผ ๋‹จ์ˆœ ์ฐจ๋ถ„์œผ๋กœ (\mathbf{v}_t,\boldsymbol{\omega}_t)๋ฅผ ๊ตฌํ•œ๋‹ค. ์ด ์†๋„๋Š” ์† base frame ๊ธฐ์ค€ ๋„๊ตฌ frame ์ „์ฒด์˜ ์†๋„์ด๊ณ  ๊ฐ ๋์ ์˜ ์†๋„๊ฐ€ ์•„๋‹ˆ๋ผ๊ณ  ๋…ผ๋ฌธ์ด ๋ช…์‹œํ•œ๋‹ค.
  3. ๋ชจ์–‘: \mathbf{P}_t๋ฅผ canonical frame์œผ๋กœ ์˜ฎ๊ฒจ PointNet(shared MLP + max pooling)์— ๋„ฃ๋Š”๋‹ค. ์ž์„ธ๊ฐ€ ์ด๋ฏธ ์ œ๊ฑฐ๋์œผ๋ฏ€๋กœ ์ธ์ฝ”๋” ์ถœ๋ ฅ์€ ์ฃผ๋กœ ๋ชจ์–‘์„ ๋ฐ˜์˜ํ•œ๋‹ค. latent ์ฐจ์›์€ 2๋‹ค.
  4. ์‚ฌ์ „ํ•™์Šต: ์‹œ๋ฎฌ๋ ˆ์ด์…˜ point cloud 1๋งŒ ๊ฐœ์™€ ์ •๋‹ต ์Œ์œผ๋กœ ์žฌ๊ตฌ์„ฑ ๊ณผ์ œ๋ฅผ ํ•™์Šตํ•œ๋‹ค. ์‹ค์ œ ์„ผ์„œ๋ฅผ ํ‰๋‚ด ๋‚ด๋ ค๊ณ  ์  20%๋ฅผ ์ง€์›Œ ๊ฐ€๋ฆผ์„ ๋งŒ๋“ค๊ณ , ๋ฌด์ž‘์œ„ ํšŒ์ „ยท์ด๋™์„ ์ฃผ๊ณ , ์ ๋งˆ๋‹ค ํ‘œ์ค€ํŽธ์ฐจ 5 mm ๊ฐ€์šฐ์‹œ์•ˆ ์žก์Œ์„ ๋”ํ•œ๋‹ค. ์†์‹ค์€ Chamfer ์žฌ๊ตฌ์„ฑ + KL ์ •๊ทœํ™”(\mathcal{L}=\mathcal{L}_R+\beta_t\mathcal{L}_{KL})๋กœ, ์‚ฌ์‹ค์ƒ VAE๋‹ค.

์ €์ž๋“ค์€ ์ด ๊ตฌ์„ฑ์ด raw point cloud์—์„œ ํ•€์…‹ ๋ ์‚ฌ์ด ๊ฑฐ๋ฆฌ๋ฅผ ์ง์ ‘ ์žฌ๋Š” ๋ฐฉ์‹๋ณด๋‹ค ๋‚ซ๋‹ค๊ณ  ์ฃผ์žฅํ•œ๋‹ค. ์„ผ์„œ ํ•œ๊ณ„ยท๊ฐ€๋ฆผยท๋ณด์ • ์˜ค์ฐจ๋กœ ์ง์ ‘ ์ธก์ •์€ ์žก์Œ์ด ํฌ๋‹ค๋Š” ์ด์œ ๋‹ค. ๋‹ค๋งŒ ์ด ๋น„๊ต ์‹คํ—˜์€ ๋…ผ๋ฌธ์— ์—†๋‹ค(์•„๋ž˜ ์•ฝ์  ์ฐธ๊ณ ).

๋ฐฉ๋ฒ• ์ƒ์„ธ 3: ์ €์ˆ˜์ค€ ์ •์ฑ… (ยงIII-B2ยทB3)

ํ•ญ๋ชฉ ๋‚ด์šฉ
์† ์ƒํƒœ \mathbf{s}^{hand}_t=[\mathbf{q}^{hand}_t,\dot{\mathbf{q}}^{hand}_t]
๋„๊ตฌ ์ƒํƒœ \mathbf{s}^{tool,low}_t=[\mathbf{v}_t,\boldsymbol{\omega}_t,\mathbf{z}_t] (์† base frame)
์ •์ฑ… ์ƒํƒœ ์ฐจ์› 26
ํ–‰๋™ ์ƒ๋Œ€ ๊ด€์ ˆ ์œ„์น˜ ๋ณ€ํ™” \mathbf{a}^{low}_t, ๋‹ค์Œ ๋ชฉํ‘œ \hat{\mathbf{q}}^{hand}_t=\mathbf{q}^{hand}_t+\mathbf{a}^{low}_t
์ฃผ๊ธฐ 20 Hz
์† Schunk SVH, ๊ด€์ ˆ 20๊ฐœ, ๋Šฅ๋™ ์ž์œ ๋„ 9
๋ชฉํ‘œ ์ƒ˜ํ”Œ๋ง \mathbf{z}^{goal}\sim\mathcal{N}(0,1)

26์ฐจ์›์€ ๋Šฅ๋™ ์ž์œ ๋„ 9์˜ ๊ฐ๋„ยท์†๋„(18) + \mathbf{v}(3) + \boldsymbol{\omega}(3) + \mathbf{z}(2)๋กœ ์ •ํ™•ํžˆ ๋งž๋Š”๋‹ค(ํ•„์ž ๊ฒ€์‚ฐ). ๋…ผ๋ฌธ์€ ์ƒํƒœ ๊ณต๊ฐ„์— โ€œ์ฃผ์–ด์ง„ ๋ชฉํ‘œโ€๋„ ํฌํ•จ๋œ๋‹ค๊ณ  ์“ฐ์ง€๋งŒ 26์ฐจ์› ์‹ (2)์—๋Š” ๋ชฉํ‘œ๊ฐ€ ์—†๋‹ค. ๋ชฉํ‘œ 2์ฐจ์›์€ ๋”ฐ๋กœ ๋ถ™๋Š” ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค. ํ–‰๋™ ์ฐจ์›๋„ ์ ํ˜€ ์žˆ์ง€ ์•Š์€๋ฐ, ๋Šฅ๋™ ์ž์œ ๋„ 9๋ฅผ ๋”ฐ๋ฅธ๋‹ค๋ฉด 9์ฐจ์›์ผ ๊ฒƒ์ด๋‹ค(ํ•„์ž ์ถ”์ •).

๋„๊ตฌ ์ƒํƒœ๋Š” ์„ผ์„œ ์žก์Œ๊ณผ ๊ตฌ๋™ ์ง€์—ฐ์„ ์ค„์ด๋ ค๊ณ  ํ‰ํ™œํ•œ๋‹ค.

\bar{\mathbf{s}}^{tool,low}_t=\alpha\,\mathbf{s}^{tool,low}_t+(1-\alpha)\,\mathbf{s}^{tool,low}_{t-1},\qquad\alpha=0.9

๋…ผ๋ฌธ์€ ์ด๊ฒƒ์„ exponential moving average๋ผ๊ณ  ๋ถ€๋ฅด์ง€๋งŒ, ์‹ ๊ทธ๋Œ€๋กœ๋ฉด ์šฐ๋ณ€ ๋‘ ๋ฒˆ์งธ ํ•ญ์ด ํ‰ํ™œ๋œ ๊ฐ’ \bar{\mathbf{s}}_{t-1}์ด ์•„๋‹ˆ๋ผ ์›๋ž˜ ๊ฐ’ \mathbf{s}_{t-1}์ด๋ผ ๋‘ ์Šคํ… ๊ฐ€์ค‘ ํ‰๊ท ์ด๋‹ค. ํ‘œ๊ธฐ ์‹ค์ˆ˜์ผ ์ˆ˜ ์žˆ๊ณ , ์–ด๋А ์ชฝ์ด๋“  \alpha=0.9๋ฉด ํ‰ํ™œ ํšจ๊ณผ๋Š” ์•ฝํ•˜๋‹ค.

๋ณด์ƒ์€ ๋‘ ํ•ญ์ด๋‹ค.

  • goal reward r^{goal}_t=\exp(-c_{l1}\lVert\bar{\mathbf{z}}_t-\mathbf{z}^{goal}_t\rVert_2): ํ‰ํ™œ๋œ latent์™€ ๋ชฉํ‘œ latent์˜ ๊ฑฐ๋ฆฌ๋ฅผ ์ค„์ธ๋‹ค.
  • effort reward: ์‚ฌ๋žŒ์€ ๋„๊ตฌ ์ž์„ธ๋ฅผ ์†์— ๋Œ€ํ•ด ๊ณ ์ •ํ•˜๊ณ  ์†๊ฐ€๋ฝ ์›€์ง์ž„์„ ์ตœ์†Œํ™”ํ•œ๋‹ค๋Š” ๊ด€์ฐฐ์—์„œ ๋‚˜์˜จ ํ•ญ์ด๋‹ค. ๋„๊ตฌ ์†๋„๋กœ ์ •์˜ํ•œ ๋ณ€ํ™˜ T(\bar{\mathbf{v}}_t,\bar{\boldsymbol{\omega}}_t)๋ฅผ canonical point cloud์˜ ๊ฐ ์ ์— ์ ์šฉํ–ˆ์„ ๋•Œ ์ด๋™ํ•œ ๊ฑฐ๋ฆฌ์˜ ํ•ฉ์„ ๋ฒŒํ•˜๊ณ (๋„๊ตฌ ํ”๋“ค๋ฆผ ์–ต์ œ), ์†๊ฐ€๋ฝ ๊ด€์ ˆ ์†๋„ ๋…ธ๋ฆ„์„ ๋ฒŒํ•œ๋‹ค.

r^{low}_t=r^{goal}_t+r^{effort}_t

effort ํ•ญ์—์„œ ๋„๊ตฌ ์†๋„๋ฅผ ์  ์ด๋™ ๊ฑฐ๋ฆฌ๋กœ ๋ฐ”๊พผ ๊ฒƒ์€ ์„ ์†๋„์™€ ๊ฐ์†๋„์˜ ๋‹จ์œ„๋ฅผ ๋งž์ถ”๋Š” ์‹ค์šฉ์  ๋ฐฉ๋ฒ•์ด๋‹ค. ํšŒ์ „์ด ๊ฐ™์•„๋„ ๋„๊ตฌ๊ฐ€ ๊ธธ๋ฉด ๋์ด ๋” ๋งŽ์ด ์›€์ง์ด๋ฏ€๋กœ, ๊ฐ์†๋„๋ฅผ ๊ทธ๋Œ€๋กœ ๋ฒŒํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค ๋„๊ตฌ ๊ธฐํ•˜์— ๋งž๋Š” ๋ฒŒ์ ์ด ๋œ๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 4: ๊ณ ์ˆ˜์ค€ ์ •์ฑ… (ยงIII-C)

ํ•ญ๋ชฉ ๋‚ด์šฉ
๋„๊ตฌ ์ƒํƒœ \mathbf{s}^{tool,high}_t=[\bar{\mathbf{t}}_t,\bar{\boldsymbol{\theta}}_t,\mathbf{z}_t] (ํ‰ํ™œํ•œ ์ด๋™ยทEuler ๊ฐ + latent)
๋ฌผ์ฒด ์ƒํƒœ \mathbf{s}^{obj}_t=[\mathbf{p}^{obj}_t,\mathbf{p}^{tgt}_t] (๋ฌผ์ฒด ์œ„์น˜, ๋†“์„ ๋ชฉํ‘œ ์œ„์น˜)
๊ธฐ์ค€ ์ขŒํ‘œ๊ณ„ ๋ชจ๋‘ ํŒ” ๋๋‹จ์— ๊ณ ์ •๋œ ์† base frame
์ •์ฑ… ์ƒํƒœ ์ฐจ์› 14
ํ–‰๋™ [\mathbf{z}^{goal},\mathbf{a}^{arm}_t], 5์ฐจ์›. \mathbf{a}^{arm}_t๋Š” ํŒ” base ๋Œ€๋น„ ์† ์ขŒํ‘œ๊ณ„ ์†๋„
ํŒ” ์ œ์–ด \dot{\mathbf{q}}^{arm}=\mathbf{J}^{+}\mathbf{a}^{arm}_t, \mathbf{J}^{+}=\mathbf{J}^T(\mathbf{J}\mathbf{J}^T)^{-1}
์ฃผ๊ธฐ 20 Hz (์ €์ˆ˜์ค€๊ณผ ๊ฐ™์Œ)

14์ฐจ์›์€ ์ด๋™ 3 + Euler ๊ฐ 3 + latent 2 + ๋ฌผ์ฒด ์œ„์น˜ 3 + ๋ชฉํ‘œ ์œ„์น˜ 3์ด๋‹ค(ํ•„์ž ๊ฒ€์‚ฐ). ํ–‰๋™ 5์ฐจ์›์—์„œ latent ๋ชฉํ‘œ 2๋ฅผ ๋นผ๋ฉด ํŒ” ๋ช…๋ น์€ 3์ฐจ์›์ด๋ฏ€๋กœ, ํŒ”์€ ์† ์ขŒํ‘œ๊ณ„์˜ ๋ณ‘์ง„ ์†๋„๋งŒ ๋ฐ›๊ณ  ์ž์„ธ๋Š” ๊ณ ์ •๋˜๋Š” ๊ฒƒ์œผ๋กœ ์ฝํžŒ๋‹ค(ํ•„์ž ์ถ”์ •, ๋…ผ๋ฌธ์€ ์ฐจ์› ๋ถ„ํ•ด๋ฅผ ์ ์ง€ ์•Š๋Š”๋‹ค). ๋ชจ๋“  ์œ„์น˜๋ฅผ ์† base frame์—์„œ ํ‘œํ˜„ํ•œ ์ด์œ ๋ฅผ ์ €์ž๋“ค์€ ํŒ” ์ž์„ธ์™€ ๋ฌด๊ด€ํ•˜๊ฒŒ ์ƒ๋Œ€ ์œ„์น˜์—๋งŒ ์˜์กดํ•˜๊ฒŒ ํ•ด ๋ฌผ์ฒดยท๋ชฉํ‘œ ์œ„์น˜ ์ผ๋ฐ˜ํ™”๋ฅผ ๋•๊ธฐ ์œ„ํ•ด์„œ๋ผ๊ณ  ์„ค๋ช…ํ•œ๋‹ค.

๋ณด์ƒ์€ ์„ธ ํ•ญ์˜ ํ•ฉ์ด๋‹ค.

r^{sparse}_t=c_{h1}\ \ (\lVert\mathbf{p}^{obj}_t-\mathbf{p}^{tgt}_t\rVert_2<1\text{ cm}),\qquad r^{dense}_t=\exp(-c_{h2}\lVert\mathbf{t}^{tool}_t-\mathbf{p}^{obj}_t\rVert_2)+c_{h3}\exp(-c_{h4}\lVert\mathbf{p}^{obj}_t-\mathbf{p}^{tgt}_t\rVert_2)

r^{penalty}_t=-c_{h5}\ \ (\text{๋„๊ตฌ-๋ฌผ์ฒด ๋˜๋Š” ๋ฌผ์ฒด-๋ชฉํ‘œ ๊ฑฐ๋ฆฌ}>20\text{ cm, ๋˜๋Š” ํ…Œ์ด๋ธ” ์ถฉ๋Œ}),\qquad r^{high}_t=r^{sparse}_t+r^{dense}_t+r^{penalty}_t

๊ณ ์ˆ˜์ค€ ์ƒํƒœ์— ๋ฌผ์ฒด ํฌ๊ธฐยท๋ชจ์–‘ ์ •๋ณด๊ฐ€ ์—†๋‹ค๋Š” ์ ์€ ๊ธฐ์–ตํ•ด ๋‘˜ ๋งŒํ•˜๋‹ค. ๋ฌผ์ฒด ์ƒํƒœ๋Š” ์œ„์น˜(์‹ค๊ธฐ์—์„œ๋Š” point cloud ์ค‘์‹ฌ)๋ฟ์ด๋‹ค. ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์ด latent ๋ชฉํ‘œ๋ฅผ ๊ณ ๋ฅผ ๋•Œ ์“ธ ์ˆ˜ ์žˆ๋Š” ๋ฌผ์ฒด ์ •๋ณด๋Š” ์œ„์น˜์™€, ๋„๊ตฌ๊ฐ€ ๋ฌผ์ฒด์— ๋‹ฟ์œผ๋ฉด์„œ ์ƒ๊ธฐ๋Š” ๊ฒฐ๊ณผ๋ฟ์ด๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 5: privileged heuristic replay buffer (ยงIII-C3)

์†-๋„๊ตฌ์˜ ๋‹ค์  ์ ‘์ด‰๊ณผ ๋„๊ตฌ-๋ฌผ์ฒด ์ ‘์ด‰ ๋•Œ๋ฌธ์— ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์„ ๋ฌด์ž‘์œ„ ํƒ์ƒ‰์œผ๋กœ ํ•™์Šตํ•˜๋ฉด ๋А๋ฆฌ๊ณ  ๋ถ„์‚ฐ์ด ํฌ๋‹ค. ๊ทธ๋ž˜์„œ ํ•™์Šต์ž๊ฐ€ ๋ณผ ์ˆ˜ ์—†๋Š” ์ •๋ณด๋ฅผ ์“ฐ๋Š” ์† ์„ค๊ณ„ ์ œ์–ด๊ธฐ๋กœ replay buffer๋ฅผ ์ฑ„์šด๋‹ค.

  • privileged ์ •๋ณด: ํ•€์…‹ ๋‘ ๋์ ์˜ ์ •ํ™•ํ•œ ๊ณต๊ฐ„ ์œ„์น˜, ๊ทธ๋ฆฌ๊ณ  hinge joint์— ๋Œ€ํ•œ ์ง์ ‘ ์ œ์–ด ๋ช…๋ น.
  • ๋™์ž‘: ๋์ ์ด ๋ฌผ์ฒด์—์„œ ๋ฉ€๋ฉด ๋น„๋ก€ ์ œ์–ด๊ธฐ๋กœ ๋„๊ตฌ๋ฅผ ๋ฌผ์ฒด ์ชฝ์œผ๋กœ ์˜ฎ๊ธด๋‹ค. ๋์ ์ด ๊ฐ€๊นŒ์›Œ์ง€๋ฉด hinge joint๋ฅผ ์ง์ ‘ ๋ช…๋ นํ•ด ํ•€์…‹์„ ๋‹ซ๋Š”๋‹ค. ํ•€์…‹ ์•ˆ์ชฝ ๊ฐ„๊ฒฉ์ด ๋ฌผ์ฒด ์ง€๋ฆ„๊ณผ ๊ฐ™์•„์ง€๋ฉด(์•ˆ์ • ํŒŒ์ง€) ๋„๊ตฌ๋ฅผ ๋ชฉํ‘œ ์œ„์น˜๋กœ ์˜ฎ๊ธด๋‹ค.
  • ๊ธฐ๋ก: ๋„๊ตฌยทํŒ” ์ƒํƒœ์™€ ํŒ” ํ–‰๋™์„ ๋งค ์Šคํ… ์ €์žฅํ•œ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ํ˜„์žฌ ํ•€์…‹์˜ latent ์ƒํƒœ๋ฅผ ์ง์ „ ์Šคํ…์˜ ๊ณ ์ˆ˜์ค€ ํ–‰๋™ ์ถœ๋ ฅ์œผ๋กœ ๊ฐ„์ฃผํ•ด latent ๋ชฉํ‘œ ํ–‰๋™์„ ์ฑ„์šด๋‹ค.

๋งˆ์ง€๋ง‰ ํ•ญ๋ชฉ์ด ์ด buffer์˜ ํ•ต์‹ฌ ํŠธ๋ฆญ์ด๋‹ค. heuristic์€ ์†๊ฐ€๋ฝ์„ ์“ฐ์ง€ ์•Š๊ณ  hinge๋ฅผ ์ง์ ‘ ๋Œ๋ฆฌ๋ฏ€๋กœ โ€œlatent ๋ชฉํ‘œโ€๋ผ๋Š” ํ–‰๋™์ด ์›๋ž˜ ์—†๋‹ค. ๊ทธ๋ž˜์„œ ๋‹ค์Œ ์Šคํ…์— ์‹ค์ œ๋กœ ๋„๋‹ฌํ•œ latent๋ฅผ ๊ทธ ์ „ ์Šคํ…์˜ ๋ชฉํ‘œ์˜€๋˜ ๊ฒƒ์ฒ˜๋Ÿผ ์‚ฌํ›„์— ๋ถ™์ธ๋‹ค. hindsight relabeling๊ณผ ๊ฐ™์€ ๋ฐœ์ƒ์ด๋‹ค. ๋‹ค๋งŒ ์ด ์ „์ด๋Š” โ€œ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ์†๊ฐ€๋ฝ์œผ๋กœ ํ•€์…‹์„ ์›€์ง์ด๋Š” ์‹œ์Šคํ…œโ€์ด ์•„๋‹ˆ๋ผ โ€œhinge๊ฐ€ ๋ช…๋ น๋Œ€๋กœ ์ฆ‰์‹œ ์›€์ง์ด๋Š” ์‹œ์Šคํ…œโ€์—์„œ ๋‚˜์™”๋‹ค. ์‹ค์ œ ๊ณ„์ธต ์‹œ์Šคํ…œ์—์„œ ๊ฐ™์€ latent ๋ชฉํ‘œ๋ฅผ ์คฌ์„ ๋•Œ ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ํ•œ ์Šคํ… ์•ˆ์— ๊ฑฐ๊ธฐ ๋„๋‹ฌํ•œ๋‹ค๋Š” ๋ณด์žฅ์€ ์—†๋‹ค. ์ €์ž๋“ค๋„ ์ด buffer๋ฅผ โ€œimperfect yet highly informativeโ€๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค.

ยงIII-D๋Š” ๋‘ ๊ฐ€์ง€๋ฅผ ๋ง๋ถ™์ธ๋‹ค. ์ดˆ๊ธฐ ํŒŒ์ง€๋Š” ๋ฏธ๋ฆฌ ์ •์˜๋˜๊ณ  ๋„๊ตฌ๊ฐ€ ์†์— ๋‹จ๋‹จํžˆ ๊ณ ์ •๋œ ์ƒํƒœ๋กœ ์‹œ์ž‘ํ•ด ํŒŒ์ง€ ๋ณ€๋™์„ ์—†์•ด๊ณ , ๋„๊ตฌยท๋ฌผ์ฒด ๋‚™ํ•˜์— ๋Œ€ํ•œ ๋ช…์‹œ์  penalty๋Š” ๋„ฃ์ง€ ์•Š์•˜๋‹ค. ๊ณ ์ •๋œ ๋„๊ตฌ ๋ฐฐ์น˜๊ฐ€ ๋‚™ํ•˜ ์œ„ํ—˜์„ ๋ณธ์งˆ์ ์œผ๋กœ ์ค„์ธ๋‹ค๋Š” ์ด์œ ๋‹ค.

์ง๊ด€: ์‹œ๊ฐ„์ด ์•„๋‹ˆ๋ผ ํ–‰๋™ ๊ณต๊ฐ„์„ ๋‚˜๋ˆˆ ๊ณ„์ธต

๊ณ„์ธต RL์ด๋ผ๊ณ  ํ•˜๋ฉด ๋ณดํ†ต ์ƒ์œ„ ์ •์ฑ…์ด ๋А๋ฆฌ๊ฒŒ, ํ•˜์œ„ ์ •์ฑ…์ด ๋น ๋ฅด๊ฒŒ ๋„๋Š” ์‹œ๊ฐ„ ์ถ”์ƒํ™”(option, feudal)๋ฅผ ๋– ์˜ฌ๋ฆฐ๋‹ค. ์ด ๋…ผ๋ฌธ์˜ ๋‘ ์ •์ฑ…์€ ๋‘˜ ๋‹ค 20 Hz๋‹ค. ์ƒ์œ„ ์ •์ฑ…์€ ๋งค ์Šคํ… latent ๋ชฉํ‘œ์™€ ํŒ” ์†๋„๋ฅผ ์ƒˆ๋กœ ๋‚ธ๋‹ค. ๋”ฐ๋ผ์„œ ์ด ๊ณ„์ธต์˜ ๋ณธ์งˆ์€ ์‹œ๊ฐ„ ์ถ”์ƒํ™”๊ฐ€ ์•„๋‹ˆ๋ผ ํ–‰๋™ ๊ณต๊ฐ„์˜ ๋ถ„ํ•ด๋‹ค. ํŒ”(๋ณ‘์ง„ 3์ฐจ์›)๊ณผ ์†๊ฐ€๋ฝ(9์ฐจ์› ๊ด€์ ˆ)์„ ํ•œ ์ •์ฑ…์ด ๋‹ค๋ฃจ๋Š” ๋Œ€์‹ , ์†๊ฐ€๋ฝ 9์ฐจ์›์„ โ€œ๋„๊ตฌ ๋ชจ์–‘ 2์ฐจ์›โ€์ด๋ผ๋Š” ์˜๋ฏธ ์žˆ๋Š” ์ถ•์œผ๋กœ ์••์ถ•ํ•ด ์ƒ์œ„ ์ •์ฑ…์— ๋„˜๊ธด๋‹ค. ์ƒ์œ„ ์ •์ฑ… ์ž…์žฅ์—์„œ ํ•€์…‹์€ โ€œ2์ฐจ์› ๋‹ค์ด์–ผ์ด ๋‹ฌ๋ฆฐ ๊ทธ๋ฆฌํผโ€๊ฐ€ ๋œ๋‹ค.

์ด๋ ‡๊ฒŒ ๋ณด๋ฉด Fig. 5(a)์˜ โ€œw/o hierarchical structureโ€ ๊ณก์„ ์ด ์™œ ๋‚ฎ์€์ง€ ์ดํ•ด๋œ๋‹ค. ํ‰๋ฉด ์ •์ฑ…์€ ํŒ” 3 + ์†๊ฐ€๋ฝ 9 = 12์ฐจ์› ํ–‰๋™์œผ๋กœ ํ•€์…‹ ๋ชจ์–‘๊ณผ ์œ„์น˜๋ฅผ ๋™์‹œ์— ํƒ์ƒ‰ํ•ด์•ผ ํ•˜์ง€๋งŒ, ๊ณ„์ธต ์ •์ฑ…์€ ์ด๋ฏธ ํ•™์Šต๋œ ๋ชจ์–‘ ๋‹ค์ด์–ผ์„ ๋Œ๋ฆฌ๊ธฐ๋งŒ ํ•˜๋ฉด ๋œ๋‹ค. ๊ฐ™์€ ์ด์œ ๋กœ ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์˜ ๋Šฅ๋ ฅ ์ƒํ•œ๋„ ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ๋ฎ๋Š” latent ์˜์—ญ์— ๋ฌถ์ธ๋‹ค. ์ €์ˆ˜์ค€ ํ•™์Šต์—์„œ ๋ชฉํ‘œ๋ฅผ \mathcal{N}(0,1)์—์„œ ๋ฝ‘์•„ โ€œgoal space coverageโ€๋ฅผ ์žฅ๋ คํ•œ ๊ฒƒ์ด ๊ทธ๋ž˜์„œ ์ค‘์š”ํ•˜๋‹ค.

์‹คํ—˜ 1: ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์„ค์ •๊ณผ domain randomization (ยงIV-A)

MuJoCo์™€ SAC๋กœ ๋‘ ์ •์ฑ…์„ ํ•™์Šตํ•œ๋‹ค. ์ •์ฑ… ๋„คํŠธ์›Œํฌ๋Š” ๋‘ ์ธต 256 ์œ ๋‹› MLP์— ReLU๋‹ค.

๋Œ€์ƒ randomization ๋ฒ”์œ„
์ €์ˆ˜์ค€ ํ”ผ๋“œ๋ฐฑ ์ƒํƒœ ์ง€์—ฐ ์ตœ๋Œ€ 150 ms
์ €์ˆ˜์ค€ ์ œ์–ด ํŒŒ๋ผ๋ฏธํ„ฐ(์‹ค๊ธฐ ์„ค์ • ๊ธฐ์ค€) 60%โ€“150%, ์—ํ”ผ์†Œ๋“œ ์‹œ์ž‘๋งˆ๋‹ค
์ €์ˆ˜์ค€ ์†๊ฐ€๋ฝยทํ•€์…‹ ๋งˆ์ฐฐ ๊ณ„์ˆ˜ 0.2โ€“1, ์†๊ฐ€๋ฝ ๋งˆ๋””๋งˆ๋‹ค ๋‹ค๋ฅด๊ฒŒ
์ €์ˆ˜์ค€ ๋„๊ตฌ point cloud ์ž์„ธ ๊ต๋ž€ ์ด๋™ ยฑ2 cm, Euler ๊ฐ ยฑ30ยฐ
์ €์ˆ˜์ค€ ์ ๋ณ„ ๊ฐ€์šฐ์‹œ์•ˆ ์žก์Œ ํ‘œ์ค€ํŽธ์ฐจ 3 mm
์ €์ˆ˜์ค€ ์  ์ œ๊ฑฐ(๊ฐ€๋ฆผ) 20%
๊ณ ์ˆ˜์ค€ ๊ด€์ธก ์ง€์—ฐ, ํŒ” ์ œ์–ด๊ธฐ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฒ”์œ„ ๋ฏธ๊ธฐ์žฌ
๊ณ ์ˆ˜์ค€ ๋ฌผ์ฒด ์œ„์น˜ 10ร—10 cm ์˜์—ญ ๋ฌด์ž‘์œ„, ๋ชฉํ‘œ๋Š” ๊ทธ 5 cm ์œ„
๊ณ ์ˆ˜์ค€ ๋งˆ์ฐฐ ๊ณ„์ˆ˜ 1โ€“5 (์•ˆ์ •์  ํ•™์Šต์„ ์œ„ํ•ด)
๊ณ ์ˆ˜์ค€ ๋ฌผ์ฒด ์œ„์น˜ ๊ด€์ธก ์žก์Œ ํ‘œ์ค€ํŽธ์ฐจ 2 mm

์‹œ๋ฎฌ๋ ˆ์ด์…˜์˜ ๋„๊ตฌ point cloud๋Š” ๋ Œ๋”๋งํ•˜์ง€ ์•Š๊ณ , ํ•€์…‹ ๋‘ ๋ถ€ํ’ˆ์—์„œ ๊ท ์ผ ์ƒ˜ํ”Œํ•œ ์ ์— ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ์˜ ๋ถ€ํ’ˆ ์ž์„ธ๋ฅผ ์ ์šฉํ•ด ํ•ฉ์„ฑํ•œ๋‹ค. ํšจ์œจ์„ ์œ„ํ•œ ์„ ํƒ์ธ๋ฐ, ๊ทธ ๊ฒฐ๊ณผ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์˜ ๊ฐ€๋ฆผ์€ โ€œ๋ฌด์ž‘์œ„ 20% ์ œ๊ฑฐโ€์ด์ง€ ์†๊ฐ€๋ฝ์ด ์‹ค์ œ๋กœ ๊ฐ€๋ฆฌ๋Š” ๊ตฌ์กฐ์  ๊ฐ€๋ฆผ์ด ์•„๋‹ˆ๋‹ค. ๊ณ ์ˆ˜์ค€ ํ•™์Šต์˜ ๋Œ€์ƒ ๋ฌผ์ฒด๋Š” ๋ฐ˜์ง€๋ฆ„ 1 cm, ๋ฌด๊ฒŒ 10 g์˜ ์ง™์€ ํŒŒ๋ž€ ๊ตฌ ํ•˜๋‚˜๋‹ค.

์‹คํ—˜ 2: ์ €์ˆ˜์ค€ ์ •์ฑ…๊ณผ effort reward (ยงIV-A, Fig. 4)


์ €์ˆ˜์ค€ ์ •์ฑ… ํ•™์Šต(Fig. 4). (a) effort reward ์œ ๋ฌด์— ๋”ฐ๋ฅธ ์„ฑ๊ณต๋ฅ  ๊ณก์„ (์‹œ๋“œ 3๊ฐœ, 2M ์Šคํ…). (b) ๋ฌด์ž‘์œ„๋กœ ์ƒ์„ฑํ•œ latent ๋ชฉํ‘œ 4๊ฐœ๋ฅผ ์ˆ˜ํ–‰ํ•˜๋Š” ์žฅ๋ฉด.

effort reward๊ฐ€ ์žˆ๋Š” ์ชฝ(ํŒŒ๋ž‘)์€ ์•ฝ 0.75M ์Šคํ…์— ์„ฑ๊ณต๋ฅ  0.8 ๊ทผ์ฒ˜์— ์ด๋ฅด๊ณ  ์ดํ›„ 0.75โ€“0.9์—์„œ ์˜ค๋ฅด๋‚ด๋ฆฐ๋‹ค. ์—†๋Š” ์ชฝ(์ฃผํ™ฉ)์€ 1M ์Šคํ…์— 0.4โ€“0.5, 2M ์Šคํ… ๋์— 0.7 ์•ˆํŒŽ์ด๋‹ค(๊ทธ๋ฆผ์—์„œ ์ฝ์€ ๊ฐ’). ์ˆ˜๋ ด ์†๋„ ์ฐจ์ด๋Š” ๋ถ„๋ช…ํ•˜๋‹ค. ๋‹ค๋งŒ 1.75M ์Šคํ… ์ดํ›„ ๋‘ ๊ณก์„ ์˜ ์‹ ๋ขฐ ๊ตฌ๊ฐ„์ด ์ƒ๋‹น ๋ถ€๋ถ„ ๊ฒน์น˜๋ฏ€๋กœ, โ€œoverall performance๋„ ๊ฐœ์„ ํ•œ๋‹คโ€๋Š” ๋ณธ๋ฌธ ์„œ์ˆ ์€ ์ตœ์ข… ์„ฑ๋Šฅ๋ณด๋‹ค ์ˆ˜๋ ด ์†๋„์— ๋Œ€ํ•œ ์ฃผ์žฅ์œผ๋กœ ์ฝ๋Š” ํŽธ์ด ์ •ํ™•ํ•˜๋‹ค. ์ €์ˆ˜์ค€์˜ โ€œ์„ฑ๊ณตโ€์ด latent ๊ฑฐ๋ฆฌ ์–ผ๋งˆ ์ด๋‚ด์ธ์ง€๋Š” ๋…ผ๋ฌธ์— ์ •์˜๋ผ ์žˆ์ง€ ์•Š๋‹ค.

Fig. 4(b)์˜ ์ •์„ฑ ๊ด€์ฐฐ์ด ํฅ๋ฏธ๋กญ๋‹ค. ํ•™์Šต๋œ ์ •์ฑ…์€ ๊ฒ€์ง€๊ฐ€ ํ•œ์ชฝ ๋‹ค๋ฆฌ๋ฅผ ๊ฑธ์–ด ๊ณ ์ •ํ•˜๊ณ , ์—„์ง€ยท์ค‘์ง€ยท๊ฒ€์ง€๊ฐ€ ํ•จ๊ป˜ ๋ฒŒ๋ฆผ์„ ์กฐ์ ˆํ•œ๋‹ค. ์ €์ž๋“ค์€ ์ด๊ฒƒ์ด ์‚ฌ๋žŒ์˜ ํ•€์…‹ยท์ “๊ฐ€๋ฝ ์‚ฌ์šฉ๋ฒ•๊ณผ ๋‹ค๋ฅด๋‹ค๊ณ  ์ธ์ •ํ•œ๋‹ค. ์‚ฌ๋žŒ์€ ๋ถ€๋“œ๋Ÿฌ์šด ์†๋๊ณผ ๋งˆ์ฐฐ์— ๊ธฐ๋Œ€์ง€๋งŒ, ๋ฏธ๋„๋Ÿฝ๊ณ  ๋‹จ๋‹จํ•œ ๋กœ๋ด‡ ์†์—์„œ๋Š” ๊ทธ๋Ÿฐ ์ „๋žต์ด ์–ด๋ ต๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ๋ชฉํ‘œ๋ฅผ โ€œ์‚ฌ๋žŒ์ฒ˜๋Ÿผ ์ฅ๊ธฐโ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œlatent ๋ชจ์–‘ ๋„๋‹ฌโ€๋กœ ์ค€ ๋•๋ถ„์— ์† ๊ตฌ์กฐ์— ๋งž๋Š” ๋‹ค๋ฅธ ์ „๋žต์ด ๋‚˜์™”๋‹ค๋Š” ํ•ด์„์ด๋‹ค.

์‹คํ—˜ 3: ๊ณ ์ˆ˜์ค€ ์ •์ฑ…๊ณผ privileged buffer (ยงIV-A, Fig. 5)


๊ณ ์ˆ˜์ค€ ์ •์ฑ… ํ•™์Šต(Fig. 5). (a) privileged buffer ์œ ๋ฌด์™€ ๊ณ„์ธต ๊ตฌ์กฐ ์œ ๋ฌด์— ๋”ฐ๋ฅธ ๋ˆ„์  return(์‹œ๋“œ 3๊ฐœ, 4M ์Šคํ…). (b) ํŒ”๊ณผ ์†์ด ํ˜‘์‘ํ•ด ์ž‘์€ ๊ตฌ๋ฅผ ์ง‘์–ด ๋ชฉํ‘œ(์˜…์€ ํŒŒ๋ž€ ๊ตฌ)๋กœ ์˜ฎ๊ธฐ๋Š” ์žฅ๋ฉด.
์กฐ๊ฑด ๋ˆ„์  return ์ถ”์ด (๊ทธ๋ฆผ์—์„œ ์ฝ์€ ๊ฐ’)
w/ privileged buffer 0.5M ์Šคํ…๊นŒ์ง€ ์•ฝ 20, ์ดํ›„ ๊ธ‰์ƒ์Šนํ•ด 1M์— 60๋Œ€, 2.5M ์ดํ›„ 70โ€“80๋Œ€
w/o privileged buffer 3.5M ์Šคํ…๊นŒ์ง€ ์•ฝ 15โ€“20 ์ •์ฒด, 3.6M ์ดํ›„ ์ƒ์Šนํ•ด 4M์— ์•ฝ 30
w/o hierarchical structure 4M ์Šคํ… ๋‚ด๋‚ด ์•ฝ 10โ€“15

privileged buffer์˜ ํšจ๊ณผ๋Š” ํฌ๊ณ  ๋ถ„๋ช…ํ•˜๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ๋‘ ๊ฐ€์ง€๋ฅผ ์งš์–ด์•ผ ํ•œ๋‹ค. ์ฒซ์งธ, buffer ์—†๋Š” ๊ณก์„ ์€ ๊ทธ๋ฆผ ๋์—์„œ ์˜ค๋ฅด๊ธฐ ์‹œ์ž‘ํ•œ๋‹ค. 4M ์Šคํ…์ด ๊ทธ ์กฐ๊ฑด์˜ ์ˆ˜๋ ด์ ์ด ์•„๋‹ˆ๋ฏ€๋กœ, ์ด ๊ทธ๋ฆผ์€ โ€œbuffer๊ฐ€ ํ•™์Šต์„ ๋น ๋ฅด๊ฒŒ ํ•œ๋‹คโ€๋Š” ๊ทผ๊ฑฐ์ด์ง€ โ€œbuffer ์—†์ด๋Š” ๋ชป ๋ฐฐ์šด๋‹คโ€๋Š” ๊ทผ๊ฑฐ๊ฐ€ ์•„๋‹ˆ๋‹ค. ๋ณธ๋ฌธ๋„ โ€œsignificantly acceleratesโ€๋ผ๊ณ  ์“ฐ๋‹ˆ ์„œ์ˆ  ์ž์ฒด๋Š” ๋งž๋‹ค. ๋‘˜์งธ, ๋…น์ƒ‰ โ€œw/o hierarchical structureโ€ ๊ณก์„ ์€ ๊ทธ๋ฆผ ๋ฒ”๋ก€์—๋Š” ์žˆ์ง€๋งŒ ์บก์…˜์— ์—†๊ณ , ๋ณธ๋ฌธ์€ ํ•œ ๋ฌธ์žฅ(โ€œhierarchical RL์„ ์“ฐ๋ฉด ํ•™์Šต ํšจ์œจ์ด ๋” ์˜ค๋ฅธ๋‹คโ€)์œผ๋กœ๋งŒ ๋‹ค๋ฃฌ๋‹ค. ์ด ํ‰๋ฉด ์ •์ฑ…์˜ ํ–‰๋™ ๊ณต๊ฐ„, ๋ณด์ƒ, privileged buffer ์‚ฌ์šฉ ์—ฌ๋ถ€๊ฐ€ ์ „ํ˜€ ์„ค๋ช…๋˜์ง€ ์•Š๋Š”๋‹ค. ๊ณ„์ธต ๊ตฌ์กฐ๊ฐ€ ์ด ๋…ผ๋ฌธ์˜ ์ฒซ ๋ฒˆ์งธ ๊ธฐ์—ฌ์ธ๋ฐ ๊ทธ๊ฒƒ์„ ๋ฐ›์น˜๋Š” ๋Œ€์กฐ๊ฐ€ ๊ฐ€์žฅ ์„ค๋ช…์ด ์ ์€ ์…ˆ์ด๋‹ค.

์‹คํ—˜ 4: ์‹ค๊ธฐ ๊ฒ€์ฆ (ยงIV-B)

์‹ค๊ธฐ ์ธ์‹ ํŒŒ์ดํ”„๋ผ์ธ์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. Azure Kinect DK์˜ RGB์—์„œ ๋Œ€์ƒ ๋ฌผ์ฒด์™€ ๋„๊ตฌ๋ฅผ ๋ถ„ํ• ํ•˜๊ณ  point cloud๋ฅผ ๋ฝ‘๋Š”๋‹ค. ๋„๊ตฌ๋Š” outlier ์ œ๊ฑฐ โ†’ 2 mm voxel-grid downsampling โ†’ ๋ฌด์ž‘์œ„ 256์  ์„ ํƒ์œผ๋กœ ์ž…๋ ฅ์„ ๋งŒ๋“ ๋‹ค. ๋ฌผ์ฒด๋Š” point cloud ์ค‘์‹ฌ์„ ์œ„์น˜๋กœ ์“ฐ๊ณ , ๋ชฉํ‘œ ์œ„์น˜๋Š” ๊ทธ ์ค‘์‹ฌ์˜ 5 cm ์œ„๋กœ ๋‘”๋‹ค.


์‹ค๊ธฐ์—์„œ ๋„ค ๊ฐ€์ง€ ๋ชจ์–‘์„ ํ•€์…‹์œผ๋กœ ์ง‘๋Š” ์žฅ๋ฉด(Fig. 6). (a) ๊ตฌ, (b) ์ •์œก๋ฉด์ฒด, (c) ์›๊ธฐ๋‘ฅ, (d) ์ •์‚ฌ๋ฉด์ฒด. ๊ฐ ํ–‰์€ ์ ‘๊ทผ โ†’ ์ •๋ ฌ โ†’ ์˜ค๋ฏ€๋ฆฌ๊ธฐ โ†’ ๋“ค์–ด์˜ฌ๋ฆฌ๊ธฐ ์ˆœ์„œ๋‹ค. ๋ฌผ์ฒด๋Š” ๋†’์ด 20 cm ๋ฐ›์นจ๋Œ€ ์œ„์— ์žˆ๋‹ค.

์‹ค๊ธฐ ์ €์ˆ˜์ค€ ์ •์ฑ…(Fig. 7). ๊ฐ™์€ ์† ์ž์„ธ์—์„œ ํ•€์…‹์„ ์„œ๋กœ ๋‹ค๋ฅธ ๋ฒŒ๋ฆผ์œผ๋กœ ์กฐ์ž‘ํ•œ๋‹ค. ์™ผ์ชฝ์—์„œ ์˜ค๋ฅธ์ชฝ์œผ๋กœ ๊ฐˆ์ˆ˜๋ก ๋‹ค๋ฆฌ ๋์ด ๋ชจ์ธ๋‹ค.

์ „์ฒด ๊ณ„์ธต ์ •์ฑ… ํ‰๊ฐ€ ์กฐ๊ฑด์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. ํฌ๊ธฐ 1.5โ€“2.5 cm์ธ ๋ฌผ์ฒด 4์ข…์„ ๋†’์ด 20 cm ๋ฐ›์นจ๋Œ€์— ์˜ฌ๋ ค(ํŒ”ยท์†์ด ํ…Œ์ด๋ธ”๊ณผ ์ถฉ๋Œํ•˜์ง€ ์•Š๊ฒŒ) ๋ฌผ์ฒด๋‹น 12ํšŒ ์‹œ๋„ํ–ˆ๋‹ค. ์„ฑ๊ณต์€ 200 ์Šคํ…(์•ฝ 10์ดˆ) ์•ˆ์— ๋ฐ›์นจ๋Œ€์—์„œ ๋ฌผ์ฒด๋ฅผ ์ง‘์–ด ๋“œ๋Š” ๊ฒƒ์ด๋‹ค.


๋ฌผ์ฒด๋ณ„ ์„ฑ๊ณต๋ฅ (Fig. 8). ๋ฏผ๋ฌด๋Šฌ ๋ง‰๋Œ€๋Š” ์ฒซ ์‹œ๋„(Single Grasp), ๋น—๊ธˆ ๋ง‰๋Œ€๋Š” ์žฌ์‹œ๋„ ํฌํ•จ(Multiple Grasp).
๋ฌผ์ฒด ์ฒซ ์‹œ๋„ ์žฌ์‹œ๋„ ํฌํ•จ
๊ตฌ 33.3% (4/12) 58.3% (7/12)
์ •์œก๋ฉด์ฒด 75.0% (9/12) 83.3% (10/12)
์›๊ธฐ๋‘ฅ 58.3% (7/12) 66.7% (8/12)
์ •์‚ฌ๋ฉด์ฒด 50.0% (6/12) 75.0% (9/12)
ํ‰๊ท  54.2% (26/48) 70.8% (34/48)

๋ฌผ์ฒด๋ณ„ ๊ฐ’์€ Fig. 8 ๋ง‰๋Œ€์—์„œ ์ฝ์€ ๊ฐ’์„ 12ํšŒ ๊ธฐ์ค€ ํšŸ์ˆ˜๋กœ ํ™˜์‚ฐํ•œ ๊ฒƒ์ด๊ณ , ๊ทธ ํ•ฉ(26/48, 34/48)์ด ๋ณธ๋ฌธ์˜ ํ‰๊ท  54.2%์™€ 70.8%์™€ ์ •ํ™•ํžˆ ์ผ์น˜ํ•œ๋‹ค(ํ•„์ž ๊ฒ€์‚ฐ). ํ‰๊ท  ํ‘œ๋ณธ์ด 48ํšŒ์ด๋ฏ€๋กœ 70.8%์˜ 95% ์ •๊ทœ๊ทผ์‚ฌ ๊ตฌ๊ฐ„์€ ์•ฝ ยฑ13%p๋‹ค(ํ•„์ž ๊ณ„์‚ฐ). ๋ฌผ์ฒด๋ณ„ 12ํšŒ๋กœ๋Š” ๋ฌผ์ฒด ๊ฐ„ ์ฐจ์ด๋ฅผ ํ†ต๊ณ„์ ์œผ๋กœ ๊ตฌ๋ถ„ํ•˜๊ธฐ ์–ด๋ ต๋‹ค. โ€œ์žฌ์‹œ๋„โ€๊ฐ€ ์ตœ๋Œ€ ๋ช‡ ๋ฒˆ๊นŒ์ง€์ธ์ง€, 200 ์Šคํ… ์ œํ•œ์ด ์žฌ์‹œ๋„์—๋„ ๊ทธ๋Œ€๋กœ ์ ์šฉ๋˜๋Š”์ง€๋Š” ๋…ผ๋ฌธ์— ์—†๋‹ค.

๊ตฌ๊ฐ€ ๊ฐ€์žฅ ์–ด๋ ต๋‹ค๋Š” ๊ฒฐ๊ณผ๋Š” ์ง๊ด€๊ณผ ๋งž๋Š”๋‹ค. ๊ตฌ๋Š” ๋‘ ์  ์ ‘์ด‰์œผ๋กœ ์ง‘์„ ๋•Œ ์ ‘์ด‰ ๋ฒ•์„ ์ด ์ •ํ™•ํžˆ ๋งˆ์ฃผ ๋ณด์ง€ ์•Š์œผ๋ฉด ๋ฏธ๋„๋Ÿฌ์ ธ ๋‚˜๊ฐ€๊ณ , ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ํ•™์Šตํ•œ ๋Œ€์ƒ(๋ฐ˜์ง€๋ฆ„ 1 cm ๊ตฌ)๊ณผ ๊ฐ™์€ ๋ชจ์–‘์ธ๋ฐ๋„ ๊ฐ€์žฅ ๋‚ฎ๋‹ค. ์ •์œก๋ฉด์ฒด๋Š” ํ‰ํ–‰ํ•œ ๋ฉด ๋‘ ๊ฐœ๊ฐ€ ์žˆ์–ด ํ•€์…‹ ๋‘ ๋‹ค๋ฆฌ์™€ ๋ฉด ์ ‘์ด‰์„ ๋งŒ๋“ค๊ธฐ ์‰ฝ๋‹ค(ํ•„์ž ํ•ด์„).


์ผ์ƒ ๋ฌผ์ฒด 6์ข…์˜ ์„ฑ๊ณต ํŒŒ์ง€(Fig. 9). ์œ„ ์™ผ์ชฝ๋ถ€ํ„ฐ ๋น„ํƒ€๋ฏผ ๋ณ‘, ํ…Œ์ดํ”„, ๋ฐ”์ธ๋” ํด๋ฆฝ, ์•„๋ž˜ ์™ผ์ชฝ๋ถ€ํ„ฐ ์ปคํ”ผ ์บก์А, ์ถฉ์ „๊ธฐ, ํผ ํŒจ๋”ฉ.

Fig. 9๋Š” ์„ฑ๊ณต ์žฅ๋ฉด๋งŒ ๋ณด์ธ๋‹ค. ์‹œ๋„ ํšŸ์ˆ˜์™€ ์„ฑ๊ณต๋ฅ ์ด ์—†์œผ๋ฏ€๋กœ ์ผ๋ฐ˜ํ™”์˜ ์ •๋Ÿ‰ ๊ทผ๊ฑฐ๋กœ๋Š” ์“ธ ์ˆ˜ ์—†๋‹ค. ์ €์ž๋“ค์€ ๋Œ€์ƒ ๋ฌผ์ฒด ๊ธฐํ•˜๋ฅผ ์ž…๋ ฅ์œผ๋กœ ๋„ฃ์ง€ ์•Š์•˜๋Š”๋ฐ๋„ ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ๋‹ค์–‘ํ•œ ๋„๊ตฌ ๋ชจ์–‘์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์–ด ๋‹ค๋ฅธ ๊ธฐํ•˜์— ์ ์‘ํ•œ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.

์‹คํ—˜ 5: ์‹คํŒจ ๋ถ„์„ (ยงIV-B, Fig. 10)


์‹คํŒจ ์‚ฌ๋ก€(Fig. 10). (a) ๋ฌผ์ฒด ์œ„์น˜ ์ถ”์ •์ด ๋ถ€์ •ํ™•ํ•ด ํ•€์…‹ ๋์ด ๊ตฌ๋ฅผ ๋น—๋‚˜๊ฐ„๋‹ค. (b) ์ฅ๋Š” ํž˜์ด ๋ถ€์กฑํ•ด ์ •์œก๋ฉด์ฒด์™€ ์ •์‚ฌ๋ฉด์ฒด๊ฐ€ ๋ฏธ๋„๋Ÿฌ์ง„๋‹ค.

์ €์ž๋“ค์ด ๋ณด๊ณ ํ•˜๋Š” ์‹คํŒจ ์›์ธ์€ ์„ธ ๊ฐ€์ง€๋‹ค.

  1. ๋ฌผ์ฒด ์œ„์น˜ ์ถ”์ • ์˜ค์ฐจ๊ฐ€ ์ฒซ ์‹œ๋„ ์‹คํŒจ์˜ ์ฃผ์›์ธ์ด๋‹ค. ํฅ๋ฏธ๋กญ๊ฒŒ๋„ ์‹คํŒจํ•œ ์‹œ๋„๊ฐ€ ๋ฌผ์ฒด ์ž์„ธ๋ฅผ ๋ฐ”๊ฟ” ๋‹ค์Œ ์‹œ๋„๋ฅผ ์‰ฝ๊ฒŒ ๋งŒ๋“œ๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•˜๊ณ , ์ž์„ธ์— ๋”ฐ๋ผ ๋‚œ์ด๋„๊ฐ€ ํฌ๊ฒŒ ๋‹ฌ๋ผ์ง€๋Š” ์ •์‚ฌ๋ฉด์ฒด์—์„œ ํŠนํžˆ ๊ทธ๋žฌ๋‹ค. ์ •์‚ฌ๋ฉด์ฒด์˜ ์ฒซ ์‹œ๋„โ†’์žฌ์‹œ๋„ ์ƒ์Šนํญ(50%โ†’75%)์ด ๋„ค ๋ฌผ์ฒด ์ค‘ ๊ฐ€์žฅ ํฐ ๊ฒƒ๊ณผ ๋งž๋Š”๋‹ค.
  2. ์ฅ๋Š” ํž˜ ๋ถ€์กฑ์œผ๋กœ ์ธํ•œ ๋ฏธ๋„๋Ÿฌ์ง.
  3. ํ™•์‹คํžˆ ์ฅ๊ธฐ ์ „์— ๋„ˆ๋ฌด ์ผ์ฐ ๋“ค์–ด ์˜ฌ๋ฆผ.

2์™€ 3์„ ์ €์ž๋“ค์€ ์†๋ ์ด‰๊ฐ ์„ผ์„œ๊ฐ€ ์—†๋Š” ํƒ“์œผ๋กœ ๋ณธ๋‹ค. ์‹œ๊ฐ์—๋งŒ ์˜์กดํ•˜๋ฉด ํŒŒ์ง€ ์ค‘ ๋™์ž‘์„ ๋™์ ์œผ๋กœ ์กฐ์ •ํ•˜๊ธฐ ์–ด๋ ต๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ๋ง๋ถ™์ด๋ฉด, ๊ณ ์ˆ˜์ค€ ๋ณด์ƒ์— ์ฅ๋Š” ํž˜์ด๋‚˜ ํŒŒ์ง€ ์•ˆ์ •์„ฑ ํ•ญ์ด ์—†๊ณ  ์„ฑ๊ณต ์กฐ๊ฑด์ด โ€œ๋ชฉํ‘œ ์œ„์น˜ 1 cm ์ด๋‚ดโ€๋ฟ์ด๋ผ๋Š” ์ ๋„ 3๋ฒˆ ์‹คํŒจ(์กฐ๊ธฐ ๋“ค์–ด์˜ฌ๋ฆผ)์™€ ๋ฌด๊ด€ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ๋‹ค(ํ•„์ž ํ•ด์„).

๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด

๊ฐ•์ 

  • ๋ฌธ์ œ ์„ค์ • ์ž์ฒด๊ฐ€ ์ƒˆ๋กญ๋‹ค. ๋‹ค์ง€ ์†์œผ๋กœ ๋ชจ์–‘์ด ๋ฐ”๋€Œ๋Š” ๋„๊ตฌ๋ฅผ ์จ์„œ ๋‹ค๋ฅธ ๋ฌผ์ฒด๋ฅผ ๊ฐ„์ ‘์ ์œผ๋กœ ์ง‘๋Š” ๊ณผ์ œ๋ฅผ ์‹ค๊ธฐ๊นŒ์ง€ ๋Œ๊ณ  ๊ฐ”๋‹ค. ๊ฐ•์ฒด ๋„๊ตฌ๋‚˜ ๊ทธ๋ฆฌํผํ˜• ์ “๊ฐ€๋ฝ์— ๋จธ๋ฌผ๋˜ ์„ ํ–‰ ์—ฐ๊ตฌ์™€ ๊ตฌ๋ถ„๋œ๋‹ค.
  • ์ž์„ธ์™€ ๋ชจ์–‘์„ ๋‚˜๋ˆ„๋Š” ํ‘œํ˜„์ด ๊ฐ„๋‹จํ•˜๊ณ  ์„ค๋ช… ๊ฐ€๋Šฅํ•˜๋‹ค. SVD ์ •ํ•ฉ์œผ๋กœ ์ž์„ธ๋ฅผ ๋จผ์ € ๋นผ๊ณ  ๋‚˜๋จธ์ง€๋ฅผ PointNet VAE์— ๋„ฃ๋Š” ๊ตฌ์„ฑ์€, 2์ฐจ์› latent๊ฐ€ โ€œ๋ชจ์–‘โ€์„ ๋‹ด๋„๋ก ๊ตฌ์กฐ์ ์œผ๋กœ ์œ ๋„ํ•œ๋‹ค. ์ •์ฑ… ์ž…๋ ฅ์ด 26์ฐจ์›๊ณผ 14์ฐจ์›์œผ๋กœ ์ž‘์•„ SAC๋กœ ํ•™์Šตํ•˜๊ธฐ ์‰ฝ๋‹ค.
  • ๋‘ ์ •์ฑ… ์‚ฌ์ด์˜ ์ธํ„ฐํŽ˜์ด์Šค๊ฐ€ ์˜๋ฏธ ์žˆ๋Š” ์–‘์ด๋‹ค. ์ƒ์œ„ ์ •์ฑ…์€ ์†๊ฐ€๋ฝ 9๊ฐœ ๊ด€์ ˆ์ด ์•„๋‹ˆ๋ผ โ€œ๋„๊ตฌ ๋ชจ์–‘ 2์ฐจ์›โ€์„ ์ง€์‹œํ•œ๋‹ค. ๊ณ„์ธต์ด ๋‹จ์ˆœํ•œ ์ •์ฑ… ๋ถ„ํ• ์ด ์•„๋‹ˆ๋ผ ์ถ”์ƒํ™”๊ฐ€ ๋œ๋‹ค.
  • effort reward์˜ ์„ค๊ณ„๊ฐ€ ๊ธฐํ•˜์— ๋งž๋‹ค. ๋„๊ตฌ ์†๋„๋ฅผ canonical point cloud ์  ์ด๋™๋Ÿ‰์œผ๋กœ ๋ฐ”๊ฟ” ๋ฒŒํ•˜๋Š” ๋ฐฉ์‹์€ ์„ ์†๋„ยท๊ฐ์†๋„ ๋‹จ์œ„ ๋ฌธ์ œ๋ฅผ ํ”ผํ•˜๊ณ  ๋„๊ตฌ ๊ธธ์ด๋ฅผ ๋ฐ˜์˜ํ•œ๋‹ค. ์ ˆ์ œ(Fig. 4a)๋กœ ์ˆ˜๋ ด ๊ฐ€์† ํšจ๊ณผ๋ฅผ ๋ณด์˜€๋‹ค.
  • ์‹คํŒจ๋ฅผ ์ˆจ๊ธฐ์ง€ ์•Š๋Š”๋‹ค. ์ฒซ ์‹œ๋„์™€ ์žฌ์‹œ๋„ ์„ฑ๊ณต๋ฅ ์„ ๋‚˜๋ˆ  ๋ณด๊ณ ํ–ˆ๊ณ , ์‹คํŒจ ์žฅ๋ฉด(Fig. 10)๊ณผ ์›์ธ์„ ๊ตฌ์ฒด์ ์œผ๋กœ ์ ์—ˆ๋‹ค. ํ—ค๋“œ๋ผ์ธ 70.8%๊ฐ€ ์žฌ์‹œ๋„ ํฌํ•จ ๊ฐ’์ด๋ผ๋Š” ๊ฒƒ๋„ ๋ณธ๋ฌธ์—์„œ ๋ฐ”๋กœ ํ™•์ธ๋œ๋‹ค.

์•ฝ์ ยทํ•œ๊ณ„

  • ์‹ค๊ธฐ์— ๊ธฐ์ค€์„ ์ด ์—†๋‹ค. 70.8%๊ฐ€ ๋†’์€์ง€ ๋‚ฎ์€์ง€ ํŒ๋‹จํ•  ๋น„๊ต ๋Œ€์ƒ์ด ์—†๋‹ค. ๊ฐ™์€ ํ•˜๋“œ์›จ์–ด์—์„œ ๊ณ ์ • ํŒจํ„ด์œผ๋กœ ํ•€์…‹์„ ๋‹ซ๋Š” ์Šคํฌ๋ฆฝํŠธ ์ œ์–ด๊ธฐ, ํ‰๋ฉด RL ์ •์ฑ…, ๋์  ๊ฑฐ๋ฆฌ๋ฅผ ์ง์ ‘ ์žฌ๋Š” ํ‘œํ˜„ ๋“ฑ ์–ด๋–ค ๋Œ€์กฐ๋„ ์‹ค๊ธฐ์—์„œ ๋Œ๋ฆฌ์ง€ ์•Š์•˜๋‹ค.
  • โ€œ์ธ์ฝ”๋”๊ฐ€ ์ง์ ‘ ๊ฑฐ๋ฆฌ ์ถ”์ •๋ณด๋‹ค ๋‚ซ๋‹คโ€๋Š” ์ฃผ์žฅ์— ์‹คํ—˜์ด ์—†๋‹ค. ์„œ๋ก ์€ raw point cloud์—์„œ ๊ฑฐ๋ฆฌ๋ฅผ ์ง์ ‘ ์žฌ๋Š” ๋ฐฉ์‹์ด ์žก์Œ์— ์•ฝํ•˜๋‹ค๋ฉฐ ์ธ์ฝ”๋” ๋ฐฉ์‹์ด ์ด๋ฅผ ์™„ํ™”ํ•œ๋‹ค๊ณ  ์“ฐ์ง€๋งŒ, ๋‘ ํ‘œํ˜„์„ ๋น„๊ตํ•œ ๊ฒฐ๊ณผ๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—๋„ ์‹ค๊ธฐ์—๋„ ์—†๋‹ค. 2์ฐจ์› latent๊ฐ€ ๋ฌด์—‡์„ ๋‹ด๋Š”์ง€(๋ฒŒ๋ฆผ + ๋ฌด์—‡?) ์‹œ๊ฐํ™”๋„ ์—†๋‹ค.
  • affordance ์„œ์ˆ ๊ณผ ์‹คํ—˜ ์‚ฌ์ด์˜ ๊ฐ„๊ทน. ์ดˆ๋ก๊ณผ ์„œ๋ก ์€ latent๊ฐ€ โ€œ์–ด๋–ค ๋ชจ์–‘์ด ์–ด๋–ค ํฌ๊ธฐ์˜ ๋ฌผ์ฒด๋ฅผ ์ง‘๊ฒŒ ํ•˜๋Š”์ง€โ€๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค๊ณ  ๊ฐ•์กฐํ•œ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ๋ฐ˜์ง€๋ฆ„ 1 cm ๊ตฌ ํ•˜๋‚˜๋กœ๋งŒ ํ•™์Šตํ–ˆ๊ณ , ์ƒํƒœ์— ๋ฌผ์ฒด ํฌ๊ธฐยท๋ชจ์–‘ ์ •๋ณด๊ฐ€ ์—†์œผ๋ฉฐ(์œ„์น˜๋งŒ), ์‹ค๊ธฐ ๋ฌผ์ฒด๋„ 1.5โ€“2.5 cm์˜ ์ข์€ ๋ฒ”์œ„๋‹ค. ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์ด ๋ฌผ์ฒด ํฌ๊ธฐ์— ๋งž์ถฐ latent ๋ชฉํ‘œ๋ฅผ ๊ณ ๋ฅธ๋‹ค๋Š” ์ฆ๊ฑฐ๋Š” ์ œ์‹œ๋˜์ง€ ์•Š์•˜๋‹ค. ์‹ค์ œ๋กœ๋Š” โ€œ๋์ด ๋ฌผ์ฒด์— ๋‹ฟ์„ ๋•Œ๊นŒ์ง€ ์˜ค๋ฏ€๋ฆฐ๋‹คโ€๋Š” ๋‹จ์ผ ์ „๋žต์œผ๋กœ๋„ ์ด ๋ฒ”์œ„๋Š” ๋ฎ์ผ ์ˆ˜ ์žˆ๋‹ค.
  • ํ‰๋ฉด ์ •์ฑ… ๋Œ€์กฐ๊ฐ€ ๊ฑฐ์˜ ์„ค๋ช…๋˜์ง€ ์•Š๋Š”๋‹ค. ๊ณ„์ธต ๊ตฌ์กฐ๊ฐ€ ์ฒซ ๋ฒˆ์งธ ๊ธฐ์—ฌ์ธ๋ฐ, Fig. 5(a)์˜ โ€œw/o hierarchical structureโ€ ๊ณก์„ ์€ ์บก์…˜์— ์—†๊ณ  ๋ณธ๋ฌธ ํ•œ ๋ฌธ์žฅ๋ฟ์ด๋‹ค. ํ–‰๋™ ๊ณต๊ฐ„, ๋ณด์ƒ, privileged buffer ์‚ฌ์šฉ ์—ฌ๋ถ€๋ฅผ ์•Œ ์ˆ˜ ์—†์–ด ์ด ๊ณก์„ ์ด ๊ณ„์ธต์˜ ํšจ๊ณผ์ธ์ง€ buffer์˜ ํšจ๊ณผ์ธ์ง€ ๋ถ„๋ฆฌํ•  ์ˆ˜ ์—†๋‹ค.
  • privileged buffer์˜ ๋™์—ญํ•™ ๋ถˆ์ผ์น˜. buffer์˜ ์ „์ด๋Š” hinge joint๋ฅผ ์ง์ ‘ ๋ช…๋ นํ•œ ์‹œ์Šคํ…œ์—์„œ ๋‚˜์™”๊ณ , latent ๋ชฉํ‘œ ํ–‰๋™์€ ๋‹ค์Œ ์Šคํ…์˜ ์‹ค์ œ latent๋กœ ์‚ฌํ›„์— ์ฑ„์› ๋‹ค. ์ €์ˆ˜์ค€ ์ •์ฑ…์ด ๊ทธ latent์— ํ•œ ์Šคํ… ์•ˆ์— ๋„๋‹ฌํ•˜์ง€ ๋ชปํ•˜๋ฉด buffer ์ „์ด๋Š” ์‹ค์ œ ๊ณ„์ธต ์‹œ์Šคํ…œ์˜ ์ „์ด์™€ ์–ด๊ธ‹๋‚œ๋‹ค. buffer ํฌ๊ธฐ, ์ •์ฑ… ๋ฐ์ดํ„ฐ์™€์˜ ํ˜ผํ•ฉ ๋น„์œจ, ์–ธ์ œ๊นŒ์ง€ ์“ฐ๋Š”์ง€๋„ ์ ํ˜€ ์žˆ์ง€ ์•Š๋‹ค.
  • ์‹œ๋ฎฌ๋ ˆ์ด์…˜๊ณผ ์‹ค๊ธฐ์˜ ์„ฑ๊ณต ์ •์˜๊ฐ€ ๋‹ค๋ฅด๋‹ค. ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์€ โ€œ๋ฌผ์ฒด๋ฅผ ๋ชฉํ‘œ(5 cm ์œ„)์˜ 1 cm ์ด๋‚ด๋กœ ์˜ฎ๊ธฐ๊ธฐโ€๋กœ ๋ณด์ƒ๋ฐ›๊ณ , ์‹ค๊ธฐ ํ‰๊ฐ€๋Š” โ€œ200 ์Šคํ… ์•ˆ์— ๋ฐ›์นจ๋Œ€์—์„œ ์ง‘์–ด ๋“ค๊ธฐโ€๋‹ค. ์‹ค๊ธฐ ์„ฑ๊ณต ๊ธฐ์ค€์ด ๋” ๋А์Šจํ•  ์ˆ˜ ์žˆ๋Š”๋ฐ ๋‘ ๊ธฐ์ค€์˜ ๊ด€๊ณ„๋Š” ๋…ผ์˜๋˜์ง€ ์•Š๋Š”๋‹ค. ์žฌ์‹œ๋„ ํšŸ์ˆ˜ ์ƒํ•œ๋„ ์—†๋‹ค.
  • ์žฌํ˜„์— ํ•„์š”ํ•œ ์ƒ์ˆ˜๊ฐ€ ๋Œ€๋ถ€๋ถ„ ๋น ์ ธ ์žˆ๋‹ค. c_{l1}โ€“c_{l3}, c_{h1}โ€“c_{h5}, \beta_t ์Šค์ผ€์ค„, SAC ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ, ํ•™์Šต ์Šคํ…(๊ทธ๋ฆผ ์ถ•์œผ๋กœ ์ €์ˆ˜์ค€ 2Mยท๊ณ ์ˆ˜์ค€ 4M์„ ์ง์ž‘ํ•  ๋ฟ), ์ €์ˆ˜์ค€ โ€œ์„ฑ๊ณตโ€์˜ latent ๊ฑฐ๋ฆฌ ๊ธฐ์ค€, ๊ณ ์ˆ˜์ค€ randomization ๋ฒ”์œ„๊ฐ€ ์—†๋‹ค. ์‹ (9) ์•„๋ž˜ ๊ณ„์ˆ˜ ๋ชฉ๋ก์˜ c_{lh4}๋Š” c_{h4}์˜ ์˜คํƒ€๋กœ ๋ณด์ด๊ณ , ์‹ (1)์€ EMA๋ผ๊ณ  ๋ถ€๋ฅด์ง€๋งŒ ๋‘ ์Šคํ… ๊ฐ€์ค‘ ํ‰๊ท ์ด๋‹ค. ์ฝ”๋“œ๋„ ์—†๋‹ค.
  • SVD ์ •ํ•ฉ์˜ ์ „์ œ๊ฐ€ ๋ถˆ๋ถ„๋ช…ํ•˜๋‹ค. SVD(Kabsch) ์ •ํ•ฉ์€ ์  ๋Œ€์‘์„ ์ „์ œํ•˜๋Š”๋ฐ, ๊ฐ€๋ฆผ์ด ์žˆ๋Š” ๋ถ€๋ถ„ point cloud์™€ canonical point cloud ์‚ฌ์ด์˜ ๋Œ€์‘์„ ์–ด๋–ป๊ฒŒ ์–ป๋Š”์ง€ ์„ค๋ช…์ด ์—†๋‹ค. ๋˜ ํ•€์…‹์ด ๋ฒŒ์–ด์ง€๋ฉด canonical ํ˜•์ƒ๊ณผ ๋‹ฌ๋ผ์ง€๋ฏ€๋กœ, ๊ฐ•์ฒด ์ •ํ•ฉ ๊ฒฐ๊ณผ ์ž์ฒด๊ฐ€ ๋ฒŒ๋ฆผ์— ๋”ฐ๋ผ ํ”๋“ค๋ฆด ์ˆ˜ ์žˆ๋‹ค. ๊ทธ ํ”๋“ค๋ฆผ์ด ์†๋„ ์ถ”์ •๊ณผ latent์— ์„ž์ผ ๊ฐ€๋Šฅ์„ฑ์€ ๋‹ค๋ค„์ง€์ง€ ์•Š๋Š”๋‹ค.
  • ๋ฒ”์œ„๊ฐ€ ์ข๋‹ค. 3D ํ”„๋ฆฐํŠธ ํ•€์…‹ ํ•˜๋‚˜, ์—„์ง€ ํ™ˆ์œผ๋กœ ์†์— ๋ฏธ๋ฆฌ ๊ณ ์ •ํ•œ ์ดˆ๊ธฐ ํŒŒ์ง€, ์ด‰๊ฐ ์—†์Œ. ์ €์ž๋“ค๋„ ๊ฒฐ๋ก ์—์„œ ๋‹จ์ผ ๋„๊ตฌ์™€ โ€œ๋„๊ตฌ๊ฐ€ ์ด๋ฏธ ์†์— ์žˆ๋‹คโ€๋Š” ๊ฐ€์ •์„ ํ•œ๊ณ„๋กœ ๋“ ๋‹ค. ๊ฐ€์œ„์ฒ˜๋Ÿผ ๋‘ ์†์žก์ด๋ฅผ ๋”ฐ๋กœ ์›€์ง์ด๋Š” ๋„๊ตฌ๋‚˜ ๋„๊ตฌ ํŒŒ์ง€ ํš๋“๊นŒ์ง€ ๊ฐ€๋ ค๋ฉด ์ƒ๋‹นํ•œ ํ™•์žฅ์ด ํ•„์š”ํ•˜๋‹ค.

๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€

articulated tool ์กฐ์ž‘. ๊ฐ™์€ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฅธ ๊ธธ๋กœ ํ‘ผ ์ตœ๊ทผ ์—ฐ๊ตฌ๋กœ Mana๊ฐ€ ์žˆ๋‹ค. Mana๋Š” ์ง‘๊ฒŒยทํŽœ์น˜ยท๋นจ๋ž˜์ง‘๊ฒŒยท์ฃผ์‚ฌ๊ธฐ 4์ข…์„ ํ…Œ์ด๋ธ”์—์„œ ์ง‘์–ด ๋“œ๋Š” ๊ฒƒ๋ถ€ํ„ฐ ์ž‘๋™๊นŒ์ง€ ๋‹ค๋ฃจ๊ณ , affordance ์ฃผ์„ โ†’ ๋Œ€๋Ÿ‰ ํŒŒ์ง€ ํ‚คํ”„๋ ˆ์ž„ ์ƒ์„ฑ โ†’ ๋ชจ์…˜ํ”Œ๋ž˜๋‹๊ณผ ์งง์€ ํ˜ธ๋ผ์ด์ฆŒ RL๋กœ ๊ถค์  ํ•ฉ์„ฑ โ†’ point cloud ์กฐ๊ฑด๋ถ€ diffusion policy ์ฆ๋ฅ˜๋ผ๋Š” ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ๊ฒฝ๋กœ๋ฅผ ํƒํ•œ๋‹ค. ์ด ๋…ผ๋ฌธ์€ ๋„๊ตฌ๋ฅผ ์†์— ๊ณ ์ •ํ•œ ์ฑ„ ์‹œ์ž‘ํ•˜๊ณ  RL ์ •์ฑ…์„ ๊ทธ๋Œ€๋กœ ์‹ค๊ธฐ์— ์˜ฌ๋ฆฐ๋‹ค๋Š” ์ ์—์„œ ๋ฒ”์œ„๊ฐ€ ์ข์ง€๋งŒ, ๋„๊ตฌ ๋ชจ์–‘์„ ๋ช…์‹œ์ ์ธ latent ์ƒํƒœ๋กœ ๋‘๊ณ  ์ •์ฑ… ์‚ฌ์ด ์ธํ„ฐํŽ˜์ด์Šค๋กœ ์“ด๋‹ค๋Š” ์ ์ด ๋‹ค๋ฅด๋‹ค. From Grasps to Dexterity๋„ ๋ถ„์ ˆ ๋„๊ตฌ ์‚ฌ์šฉ์„ ๊ณ„์ธต์œผ๋กœ ํ‘ผ๋‹ค. ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์ด 16๊ฐœ ์† keypoint sub-goal์„ ๋‚ด๊ณ  ๋Œ€๊ทœ๋ชจ ํŒŒ์ง€ ๋ฐ์ดํ„ฐ๋กœ ์‚ฌ์ „ํ•™์Šตํ•œ goal-conditioned ์ €์ˆ˜์ค€ ์ปจํŠธ๋กค๋Ÿฌ๊ฐ€ ๊ทธ๊ฒƒ์„ ๋”ฐ๋ฅธ๋‹ค. ๋‘ ๋…ผ๋ฌธ ๋ชจ๋‘ โ€œ์ƒ์œ„๊ฐ€ ๋ชฉํ‘œ๋ฅผ ๋‚ด๊ณ  ํ•˜์œ„๊ฐ€ ์†์œผ๋กœ ๋งž์ถ˜๋‹คโ€๋Š” ๊ตฌ์กฐ๋ฅผ ๊ณต์œ ํ•˜์ง€๋งŒ, ๋ชฉํ‘œ ๊ณต๊ฐ„์ด ์† keypoint(์† ์ค‘์‹ฌ)๋ƒ ๋„๊ตฌ shape latent(๋„๊ตฌ ์ค‘์‹ฌ)๋ƒ๊ฐ€ ๊ฐˆ๋ฆฐ๋‹ค.

๋‹ค์ง€ ์† ๊ณ„์ธต RL. From Simple to Complex Skills๋Š” ๋ฏธ๋ฆฌ ํ•™์Šตํ•œ ํšŒ์ „ skill ์œ„์— planner๋ฅผ ๋‘ฌ in-hand ์žฌ๋ฐฐํ–ฅ์„ ํ‘ผ๋‹ค. HiFun์€ ๊ณต๊ตฌ ์‚ฌ์šฉ์„ hand skill(์–ด๋–ป๊ฒŒ ์ ‘์ด‰ํ•˜๋‚˜)๊ณผ coordination policy(์–ด๋””์„œ ์–ธ์ œ ์“ฐ๋‚˜)๋กœ ๋‚˜๋ˆ  ์‹ค๊ธฐ RL๋กœ ๋ฐฐ์šด๋‹ค. HiFun์˜ coordination policy๊ฐ€ ๊ณ ๋ฅด๋Š” ์† ์ถ•์€ ์Šคํ‚ฌ์˜ ํ™œ์„ฑ ์ •๋„ ์Šค์นผ๋ผ ํ•˜๋‚˜์ด๊ณ , ์ด ๋…ผ๋ฌธ์˜ ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์ด ๊ณ ๋ฅด๋Š” ์† ์ถ•์€ ๋„๊ตฌ ๋ชจ์–‘ 2์ฐจ์›์ด๋‹ค. ๋‘˜ ๋‹ค โ€œ์†๊ฐ€๋ฝ ์ „์ฒด๋ฅผ ์ƒ์œ„ ์ •์ฑ…์—์„œ ๋–ผ์–ด ๋‚ด๊ณ  ์ €์ฐจ์› ์†์žก์ด๋งŒ ๋‚จ๊ธด๋‹คโ€๋Š” ๊ฐ™์€ ์›๋ฆฌ๋ฅผ ์“ด๋‹ค.

๋„๊ตฌ ์‚ฌ์šฉ RL๊ณผ demonstration buffer. SimToolReal์€ ๊ฐ•์ฒด ๋„๊ตฌ๋ฅผ ๋ชฉํ‘œ ์ž์„ธ ์‹œํ€€์Šค๋กœ ์กฐ์ž‘ํ•˜๋Š” object-centric RL ์ •์ฑ… ํ•˜๋‚˜๋กœ ๋‹ค์–‘ํ•œ ๋„๊ตฌ ์ž‘์—…์— zero-shot ์ „์ดํ•œ๋‹ค. ๋„๊ตฌ ์ƒํƒœ๋ฅผ 6D ์ž์„ธ๋กœ ๋‘๋Š” ๊ฐ•์ฒด ๋„๊ตฌ ๊ด€์ ์˜ ๋Œ€ํ‘œ์ ์ธ ์˜ˆ์ด๊ณ , ์ด ๋…ผ๋ฌธ์€ ๊ฑฐ๊ธฐ์— โ€œ๋ชจ์–‘โ€ ์ถ•์„ ๋”ํ•ด์•ผ ํ•˜๋Š” ๊ฒฝ์šฐ๋ฅผ ๋‹ค๋ฃฌ๋‹ค. replay buffer๋ฅผ ์‚ฌ์ „ ๋ฐ์ดํ„ฐ๋กœ ์ฑ„์›Œ ํƒ์ƒ‰์„ ๋•๋Š” ๋ฐœ์ƒ์€ ์‚ฌ๋žŒ ์‹œ์—ฐ์„ ์“ฐ๋Š” DAPG ๊ณ„์—ด๊ณผ ๊ฐ™์€ ๋ฌธ์ œ์˜์‹์ด์ง€๋งŒ, ์ด ๋…ผ๋ฌธ์€ ์‹œ์—ฐ ๋Œ€์‹  privileged ์ •๋ณด๋ฅผ ๊ฐ€์ง„ ์Šคํฌ๋ฆฝํŠธ ์ œ์–ด๊ธฐ๋ฅผ ์“ด๋‹ค๋Š” ์ ์ด ๋‹ค๋ฅด๋‹ค.

์š”์•ฝ

์ด ๋…ผ๋ฌธ์€ ๋‹ค์ง€ ์†์œผ๋กœ ํ•€์…‹ ๊ฐ™์€ articulated tool์„ ์จ์„œ ์ž‘์€ ๋ฌผ์ฒด๋ฅผ ์ง‘๋Š” ๋ฌธ์ œ๋ฅผ, ๋„๊ตฌ ๋ชจ์–‘์„ ๋งž์ถ”๋Š” ์ €์ˆ˜์ค€ ์ •์ฑ…๊ณผ ๋„๊ตฌ๋ฅผ ์˜ฎ๊ธฐ๋ฉฐ ๋ชจ์–‘์„ ์ง€์‹œํ•˜๋Š” ๊ณ ์ˆ˜์ค€ ์ •์ฑ…์œผ๋กœ ๋‚˜๋ˆˆ๋‹ค. ๋‘ ์ •์ฑ…์€ SVD ์ •ํ•ฉ๊ณผ PointNet VAE๋กœ point cloud์—์„œ ๋ฝ‘์€ 2์ฐจ์› shape latent๋กœ ์ด์–ด์ง€๊ณ , effort reward๊ฐ€ ์ €์ˆ˜์ค€ ํ•™์Šต์„, privileged heuristic buffer๊ฐ€ ๊ณ ์ˆ˜์ค€ ํ•™์Šต์„ ๊ฐ€์†ํ•œ๋‹ค. Schunk SVH ์† ์‹ค๊ธฐ์—์„œ 1.5โ€“2.5 cm ๋ฌผ์ฒด 4์ข…์„ ์ฒซ ์‹œ๋„ 54.2%, ์žฌ์‹œ๋„ ํฌํ•จ 70.8%๋กœ ์ง‘์—ˆ๋‹ค.

์„ค๊ณ„์˜ ํ•ต์‹ฌ์€ ์‹œ๊ฐ„ ์ถ”์ƒํ™”๊ฐ€ ์•„๋‹ˆ๋ผ ํ–‰๋™ ๊ณต๊ฐ„ ์ถ”์ƒํ™”๋‹ค. ์†๊ฐ€๋ฝ 9์ž์œ ๋„๋ฅผ ๋„๊ตฌ ๋ชจ์–‘ 2์ฐจ์›์œผ๋กœ ์ ‘์–ด ์ƒ์œ„ ์ •์ฑ…์— ๋„˜๊ธฐ๋ฉด ์ƒ์œ„ ์ •์ฑ…์—๊ฒŒ ํ•€์…‹์€ ๋‹ค์ด์–ผ ๋‹ฌ๋ฆฐ ๊ทธ๋ฆฌํผ๊ฐ€ ๋œ๋‹ค. ๋‹ค๋งŒ ํ‰๊ฐ€๊ฐ€ ์ด ์„ค๊ณ„๋ฅผ ์ถฉ๋ถ„ํžˆ ๋ฐ›์น˜์ง€๋Š” ๋ชปํ•œ๋‹ค. ์‹ค๊ธฐ ๊ธฐ์ค€์„ ์ด ์—†๊ณ , ๊ณ„์ธต ๊ตฌ์กฐ ๋Œ€์กฐ๋Š” ์„ค๋ช…์ด ๊ฑฐ์˜ ์—†์œผ๋ฉฐ, affordance(๋ฌผ์ฒด ํฌ๊ธฐ์— ๋งž์ถ˜ ๋ชจ์–‘ ์„ ํƒ)๋Š” ๋‹จ์ผ ํฌ๊ธฐ ๊ตฌ๋กœ ํ•™์Šตํ•œ ์ •์ฑ…์—์„œ ์ง์ ‘ ๊ฒ€์ฆ๋˜์ง€ ์•Š์•˜๋‹ค. ์žฌํ˜„์— ํ•„์š”ํ•œ ์ƒ์ˆ˜๋„ ์ƒ๋‹น์ˆ˜ ๋น ์ ธ ์žˆ๋‹ค. ์ด ๋…ผ๋ฌธ์€ articulated tool ์กฐ์ž‘์—์„œ โ€œ๋„๊ตฌ ๋ชจ์–‘์„ ์ •์ฑ…์ด ์ฝ๊ณ  ์ง€์‹œํ•  ์ƒํƒœ๋กœ ๋งŒ๋“ ๋‹คโ€๋Š” ๋ฐฉํ–ฅ์„ ๋ณด์ธ ์ดˆ๊ธฐ ์‹ค์ฆ์œผ๋กœ ์ฝ๋Š” ๊ฒƒ์ด ์ ์ ˆํ•˜๋‹ค.

์ด ๊ธ€์— ๋Œ€ํ•ด

  • ์ฝ์€ ๋ฒ”์œ„: arXiv v1(2025-07-09, 8์ชฝ, IROS 2025 ์ฑ„ํƒํŒ ํ‘œ๊ธฐ)์„ HTML๊ณผ PDF๋กœ ์ฝ์—ˆ๋‹ค. HTML ๋ณ€ํ™˜์—์„œ ์ž˜๋ฆฐ ๊ณ ์ˆ˜์ค€ ์„ฑ๊ณต ์กฐ๊ฑด(1 cm)์€ PDF์—์„œ ํ™•์ธํ–ˆ๋‹ค. ๊ทธ๋ฆผ 10์žฅ์€ ๋ชจ๋‘ arXiv HTML์˜ ์›๋ณธ์ด๊ณ , ๋ฐฐ์น˜๋Š” ๋…ผ๋ฌธ ๋ฒˆํ˜ธ ์ˆœ์„œ๋ฅผ ๋”ฐ๋ž๋‹ค.
  • ๊ณต๊ฐœ ๋ฒ”์œ„: ์ฝ”๋“œ, ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€, ์‹œ์—ฐ ์˜์ƒ์ด ์—†๋‹ค. ๊ทธ๋ž˜์„œ ์ด ๋ฆฌ๋ทฐ์˜ ๋ชจ๋“  ์ˆ˜์น˜๋Š” ๋…ผ๋ฌธ์ด ๋ณด๊ณ ํ•œ ๊ฐ’์ด๋ฉฐ ์ฝ”๋“œ ๋Œ€์กฐ๋‚˜ ์žฌํ˜„ ํ™•์ธ์€ ํ•˜์ง€ ์•Š์•˜๋‹ค. ์˜์ƒ์ด ์—†์–ด ๋ณธ๋ฌธ์— ์˜์ƒ์„ ๋„ฃ์ง€ ์•Š์•˜๋‹ค.
  • ํ‘œ๊ธฐ: โ€œ๊ทธ๋ฆผ์—์„œ ์ฝ์€ ๊ฐ’โ€์€ Fig. 4ยท5ยท8์—์„œ ๋ˆˆ์œผ๋กœ ์ฝ์€ ๊ทผ์‚ฌ์น˜๋‹ค. ์‹ค๊ธฐ ๋ฌผ์ฒด๋ณ„ ํ‘œ์˜ ๋ถ„์ˆ˜๋Š” Fig. 8 ๋ง‰๋Œ€ ๊ฐ’์„ ๋ฌผ์ฒด๋‹น 12ํšŒ๋กœ ํ™˜์‚ฐํ•œ ๊ฒƒ์œผ๋กœ, ํ•ฉ์ด ๋ณธ๋ฌธ ํ‰๊ท ๊ณผ ์ผ์น˜ํ•œ๋‹ค. โ€œํ•„์ž ๊ฒ€์‚ฐยท๊ณ„์‚ฐโ€์€ ๋…ผ๋ฌธ ๊ฐ’์œผ๋กœ ์ง์ ‘ ๊ณ„์‚ฐํ•œ ๊ฐ’(์ƒํƒœ ์ฐจ์› ๋ถ„ํ•ด, ์‹ ๋ขฐ ๊ตฌ๊ฐ„)์ด๊ณ , โ€œํ•„์ž ์ถ”์ •ยทํ•ด์„โ€์€ ๋…ผ๋ฌธ์ด ์ง์ ‘ ๋งํ•˜์ง€ ์•Š์€ ์ถ”๋ก (ํ–‰๋™ ์ฐจ์›, ํŒ” ๋ช…๋ น์˜ ๋ณ‘์ง„ ์ „์šฉ ์—ฌ๋ถ€, ์กฐ๊ธฐ ๋“ค์–ด์˜ฌ๋ฆผ๊ณผ ๋ณด์ƒ ๊ตฌ์กฐ์˜ ๊ด€๊ณ„)์ด๋‹ค.

Copyright 2026, JungYeon Lee