Curieux.JY
  • JungYeon Lee
  • Post
  • ๐Ÿ•ธ๏ธ Graph
  • Lecture
  • Note

On this page

  • ๐Ÿ” Ping Review
  • ๐Ÿ”” Ring Review
    • ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด
    • ๋ฐฐ๊ฒฝ: ์™œ 3D ์œ„์น˜๋ฅผ ๋ฒ„๋ฆฌ๋Š”๊ฐ€ (ยงI, ยงII-A)
    • ์‹œ์Šคํ…œ ๊ตฌ์„ฑ (ยงIII)
      • ์‹ค๋ฌผ ํ•˜๋“œ์›จ์–ด (ยงIII-B)
      • ์‹œ๋ฎฌ๋ ˆ์ด์…˜๊ณผ ๋ฌผ์ฒดยท๊ถค์  (ยงIII-C)
    • ๋ฐฉ๋ฒ• โ‘ : Multi-Agent MDP ์ •์‹ํ™” (ยงIV-A)
    • ๋ฐฉ๋ฒ• โ‘ก: pixel-level feature (ยงIV-B)
    • ๋ฐฉ๋ฒ• โ‘ข: ์ƒํƒœยทํ–‰๋™ ๊ณต๊ฐ„ (ยงIV-C)
    • ๋ฐฉ๋ฒ• โ‘ฃ: ๋ณด์ƒ ์„ค๊ณ„ (ยงIV-D)
    • ๋ฐฉ๋ฒ• โ‘ค: ํ•™์Šต ์ ˆ์ฐจ์™€ ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ (ยงIV-E)
    • ๋ฐฉ๋ฒ• โ‘ฅ: system identification๊ณผ domain randomization (ยงIV-F)
    • ์ง๊ด€: box 6๊ฐœ ์ˆซ์ž๊ฐ€ ๋ฌด์—‡์„ ๋งํ•ด ์ฃผ๊ณ  ๋ฌด์—‡์„ ๋ชป ํ•˜๋Š”๊ฐ€
    • ์‹คํ—˜ (ยงV)
      • ํ‰๊ฐ€ ์ง€ํ‘œ์™€ ํ”„๋กœํ† ์ฝœ (ยงV ์„œ๋‘)
      • ๋น„๊ต๊ตฐ (ยงV-A)
      • ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ฒฐ๊ณผ: ํ•™์Šต ๊ณก์„ ๊ณผ Table II (ยงV-B, ยงV-C)
      • ์‹ค๋ฌผ ๊ฒฐ๊ณผ: Table III, Fig. 6 (ยงV-D)
    • ํŒ ์ฐจ์ด: arXiv v1๊ณผ RA-LํŒ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€)
    • ๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋Œ€์กฐ (์ •์  ํ™•์ธ)
      • ๊ณต๊ฐœ ๋ฒ”์œ„
      • ๋…ผ๋ฌธ์— ์—†๋˜ ๊ฐ’์ด ์ฝ”๋“œ์— ์žˆ๋Š” ๊ฒƒ
      • ๋…ผ๋ฌธ ์„œ์ˆ ๊ณผ ์ฝ”๋“œ๊ฐ€ ๋‹ค๋ฅธ ๊ณณ
      • ์ฝ”๋“œ๋กœ ๋ณธ ํฌ๊ธฐ ํŠน์ง•์˜ ์‹ ํ˜ธ ๋Œ€ ์žก์Œ๋น„
    • ๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด
      • ๊ฐ•์ 
      • ์•ฝ์ ยทํ•œ๊ณ„
    • ๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€
    • ์š”์•ฝ
    • ์ด ๊ธ€์— ๋Œ€ํ•ด

๐Ÿ“ƒPixel2Catch ๋ฆฌ๋ทฐ

rl
sim2real
dexterity
catching
multi-agent
Pixel2Catch: Multi-Agent Sim-to-Real Transfer for Agile Manipulation with a Single RGB Camera
Published

November 15, 2026

  • Paper Link (arXiv:2602.22733)

  • Paper Link (IEEE RA-L)

  • Code Link

  • Project

  • Video (YouTube)

  • Seongyong Kim, Junhyeon Cho, Kang-Won Lee, Soo-Chul Lim

  • Dongguk University / IEEE Robotics and Automation Letters (RA-L), 2026 (arXiv v1: 2026-02-26)

  1. ๐Ÿ’ก ๋‚ ์•„์˜ค๋Š” ๋ฌผ์ฒด๋ฅผ ์žก์œผ๋ ค๋ฉด ๋ณดํ†ต motion capture๋‚˜ depth ์นด๋ฉ”๋ผ๋กœ ๋ฌผ์ฒด์˜ 3D ์œ„์น˜๋ฅผ ์ถ”์ •ํ•œ๋‹ค. Pixel2Catch๋Š” 3D ์œ„์น˜๋ฅผ ๋ฒ„๋ฆฌ๊ณ , RGB ์นด๋ฉ”๋ผ ํ•œ ๋Œ€์˜ ์˜์ƒ์—์„œ ๋ฌผ์ฒด bounding box์˜ ์ค‘์‹ฌ ์ขŒํ‘œ์™€ ๊ทธ ๋ณ€ํ™”๋Ÿ‰ยทํฌ๊ธฐ ๋ณ€ํ™”๋Ÿ‰ 6๊ฐœ ์ˆซ์ž(z_{pixel})๋งŒ์œผ๋กœ ๋ฌผ์ฒด ์šด๋™์„ ํ‘œํ˜„ํ•œ๋‹ค. 6-DoF ํŒ” + 13-DoF ์†์ด๋ผ๋Š” high-DoF ์‹œ์Šคํ…œ์€ ํŒ”๊ณผ ์†์„ ์„œ๋กœ ๋‹ค๋ฅธ agent๋กœ ๋‚˜๋ˆˆ heterogeneous MARL(MAPPO)๋กœ ํ•œ ๋ฒˆ์— ํ•™์Šตํ•œ๋‹ค.
  2. โš™๏ธ Isaac Lab์—์„œ UR5e + Allegro Hand๋ฅผ ์‹ค๋ฌผ๊ณผ ๊ฐ™์€ USD๋กœ ๋งŒ๋“ค๊ณ , system identification๊ณผ domain randomization์„ ๊ฑฐ์ณ 30 Hz ์ •์ฑ…์„ ํ•™์Šตํ•œ๋‹ค. ํŒ” agent๋Š” ์†๋ฐ”๋‹ฅ์„ ๋ฌผ์ฒด๋กœ ๊ฐ€์ ธ๊ฐ€๋Š” ๋ณด์ƒ์„, ์† agent๋Š” ์†๋ฐ”๋‹ฅ๊ณผ ์†๋ 4๊ฐœ๋ฅผ ๋ฌผ์ฒด๋กœ ๋ชจ์œผ๋Š” ๋ณด์ƒ์„ ๋ฐ›๊ณ , ์„ฑ๊ณตยท๋‚™ํ•˜ยท์ถฉ๋Œ ํ•ญ์€ ๊ณต์œ ํ•œ๋‹ค. ์‹ค๋ฌผ์—์„œ๋Š” SAM2๋กœ ๋ฌผ์ฒด๋ฅผ ๋ถ„ํ• ํ•ด ๊ฐ™์€ 6๊ฐœ ํŠน์ง•์„ ๋งŒ๋“ ๋‹ค.
  3. ๐ŸŽฏ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ tracking rate 89.97%ยทsuccess rate 84.13%(ํ•™์Šต ๋ฌผ์ฒด ๊ธฐ์ค€, 3 seed)๋กœ single-agent PPO(78.2%ยท63.5%)๋ฅผ ์•ž์„œ๊ณ , ์‚ฌ๋žŒ์ด ๋˜์ง„ ๋ฌผ์ฒด 3์ข… ์‹คํ—˜(๋ฌผ์ฒด๋‹น 30ํšŒ)์—์„œ ์„ฑ๊ณต๋ฅ  63/43/43%๋กœ ๋น„๊ต๊ตฐ ์ค‘ ๊ฐ€์žฅ ๋†’๋‹ค. ๋‹ค๋งŒ arXivํŒ์—๋Š” 3D ์œ„์น˜๋ฅผ ์“ฐ๋Š” ๋น„๊ต๊ตฐ์ด ์—†๊ณ , single-agent ๋น„๊ต๊ตฐ์€ ํ•™์Šต ๊ณก์„ ์ด ์•„์ง ์˜ค๋ฅด๋Š” ์ค‘์ด๋ฉฐ, ์‹ค๋ฌผ ์„ฑ๋Šฅ ์ฐจ์ด์˜ ์ƒ๋‹น ๋ถ€๋ถ„์€ n=30 ํ•œ ๋ฒˆ์˜ ํ‰๊ฐ€์— ๊ธฐ๋Œ€๊ณ  ์žˆ๋‹ค.

๐Ÿ” Ping Review

๐Ÿ” Ping โ€” A light tap on the surface. Get the gist in seconds.

๋˜์ง„ ๋ฌผ์ฒด๋ฅผ ๋กœ๋ด‡์ด ์žก๋Š” ์—ฐ๊ตฌ๋Š” ๋Œ€๋ถ€๋ถ„ ๋ฌผ์ฒด์˜ 3D ์œ„์น˜๋ฅผ ๋จผ์ € ๊ตฌํ•œ๋‹ค. ๋ฐ˜์‚ฌ ๋งˆ์ปค๋ฅผ ๋ถ™์ธ motion capture๋ฅผ ์“ฐ๊ฑฐ๋‚˜(Catching Objects in Flight, CushionCatch, IMA-Catcher), RGB-D ์นด๋ฉ”๋ผ๋กœ ์ƒ‰ ๋ถ„ํ• ํ•œ ์˜์—ญ์˜ depth๋ฅผ ์ฝ๋Š”๋‹ค(Dynamic Handover, Catch It!). ์ €์ž๋“ค์€ ์—ฌ๊ธฐ์„œ ๋‘ ๊ฐ€์ง€ ๋ฌธ์ œ๋ฅผ ๋ณธ๋‹ค. motion capture๋Š” ๋งˆ์ปค์™€ ์„ค์น˜ ๋น„์šฉ์ด ๋“ค๊ณ , depth ๊ธฐ๋ฐ˜ 3D ์ถ”์ •์€ ์‹ค๋ฌผ์—์„œ ์‹œ๋ฎฌ๋ ˆ์ด์…˜๋งŒํผ ์ •ํ™•ํ•˜์ง€ ์•Š์•„ sim-to-real gap์˜ ์›์ธ์ด ๋œ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค(ยงI, ยงII-A).

Pixel2Catch์˜ ๋‹ต์€ โ€œ์‚ฌ๋žŒ์ฒ˜๋Ÿผ ๋ณด๋ผโ€์ด๋‹ค. ์‚ฌ๋žŒ์€ ๊ณต์˜ 3D ์ขŒํ‘œ๋ฅผ ๊ณ„์‚ฐํ•˜์ง€ ์•Š๊ณ  ์‹œ์•ผ ์•ˆ์—์„œ ๊ณต์ด ์–ด๋””๋กœ ์›€์ง์ด๋Š”์ง€, ์–ผ๋งˆ๋‚˜ ์ปค์ง€๋Š”์ง€๋ฅผ ๋ณด๊ณ  ์†์„ ๋ป—๋Š”๋‹ค. ๊ทธ๋ž˜์„œ ๊ณ ์ •๋œ RGB ์นด๋ฉ”๋ผ ํ•œ ๋Œ€์˜ ์˜์ƒ์—์„œ ๋ฌผ์ฒด bounding box๋ฅผ ๋ฝ‘๊ณ , ๊ทธ ์ค‘์‹ฌยทํฌ๊ธฐ์˜ ์‹œ๊ฐ„ ๋ณ€ํ™”๋งŒ ์ •์ฑ…์— ๋„ฃ๋Š”๋‹ค. ๋‹ค๋ฅธ ํ•œ ์ถ•์€ ํ•™์Šต ๊ตฌ์กฐ๋‹ค. ํŒ”(6-DoF)๊ณผ ์†(13-DoF)์„ ํ•œ ์ •์ฑ…์œผ๋กœ ๋ฌถ์ง€ ์•Š๊ณ , ์—ญํ• ์ด ๋‹ค๋ฅธ ๋‘ agent๋กœ ๋‚˜๋ˆ  MAPPO๋กœ ํ•œ ๋‹จ๊ณ„์— ํ•จ๊ป˜ ํ•™์Šตํ•œ๋‹ค. ์†๊ฐ€๋ฝ ๋‹ฌ๋ฆฐ catching์˜ ์„ ํ–‰ ์—ฐ๊ตฌ์ธ Catch It!์ด ๋‘ ๋‹จ๊ณ„ RL์„ ์ผ๋˜ ๊ฒƒ๊ณผ ๋Œ€๋น„๋˜๋Š” ์„ ํƒ์ด๋‹ค(ยงII-B).


Pixel2Catch ๊ฐœ์š”(Fig. 1). ์™ผ์ชฝ์€ ํ•™์Šต ์„ค์ •: ๋‹จ์•ˆ RGB ์นด๋ฉ”๋ผ, ํŒ”+๋‹ค์ง€ ์†, 3D ์œ„์น˜ ์—†์ด bounding box์˜ ์ค‘์‹ฌ (C_x, C_y)์™€ ํญยท๋†’์ด (W, H)๋กœ ๋ฌผ์ฒด๋ฅผ ์ธ์‹ํ•œ๋‹ค. ์˜ค๋ฅธ์ชฝ์€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ํ•™์Šต๊ณผ ์‹ค๋ฌผ ๋ฐฐ์น˜์˜ ์‹œ๊ฐ„ ์ˆœ ์žฅ๋ฉด.

ํ•ต์‹ฌ ๋ฐฉ๋ฒ•๋ก :

๋ฌผ์ฒด ํ‘œํ˜„์€ 6์ฐจ์› ๋ฒกํ„ฐ ํ•˜๋‚˜๋‹ค(ยงIV-B, ์‹ (1)).

z_{pixel} = \{c_x,\ c_y,\ \Delta c_x,\ \Delta c_y,\ \Delta w,\ \Delta h\} \in \mathbb{R}^6

c_x, c_y๋Š” bounding box ์ค‘์‹ฌ์˜ ์˜์ƒ ์ขŒํ‘œ, \Delta๋Š” ์ง์ „ control step ๋Œ€๋น„ ๋ณ€ํ™”๋Ÿ‰์ด๋‹ค. ์ค‘์‹ฌ์€ ๋ฌผ์ฒด์˜ ์ขŒ์šฐยท์ƒํ•˜ ์œ„์น˜๋ฅผ, ํญยท๋†’์ด์˜ ๋ณ€ํ™”๋Š” ์นด๋ฉ”๋ผ์™€์˜ ๊ฑฐ๋ฆฌ ๋ณ€ํ™”๋ฅผ ๊ฐ„์ ‘์ ์œผ๋กœ ๋‹ด๋Š”๋‹ค. ํ•™์Šต ๋•Œ๋Š” box ๊ผญ์ง“์ ์— ์ตœ๋Œ€ 5 px์˜ ๋ฌด์ž‘์œ„ ์„ญ๋™์„ ๋„ฃ์–ด ์‹ค๋ฌผ ๋ถ„ํ• ์˜ ํ”๋“ค๋ฆผ์— ๋Œ€๋น„ํ•œ๋‹ค.

ํ•™์Šต์€ Multi-Agent MDP๋‹ค. ํŒ” ์ •์ฑ… \pi_{arm}๊ณผ ์† ์ •์ฑ… \pi_{hand}๋Š” ๊ฐ์ž์˜ ๊ด€์ธก s_t^i๋ฅผ ๋ฐ›์•„ ๊ฐ์ž์˜ ๋ณด์ƒ r^i์˜ ํ• ์ธ ํ•ฉ์„ ์ตœ๋Œ€ํ™”ํ•œ๋‹ค. ๋ณด์ƒ์€ ๋‘˜ ๋‹ค โ€œ๋งํฌ์™€ ๋ฌผ์ฒด ์‚ฌ์ด ๊ฑฐ๋ฆฌ๊ฐ€ ์ด๋ฒˆ step์— ์–ผ๋งˆ๋‚˜ ์ค„์—ˆ๋‚˜โ€๋ฅผ ๊ธฐ๋ณธ์œผ๋กœ ํ•œ๋‹ค.

r_{\text{dist}}^{k} = d(p_{t-1}^{k}, p_{t-1}^{\text{obj}}) - d(p_{t}^{k}, p_{t}^{\text{obj}}),\quad k \in \{\text{palm, thumb, index, middle, ring}\}

ํŒ”์€ ์†๋ฐ”๋‹ฅ ํ•ญ๋งŒ, ์†์€ ์†๋ฐ”๋‹ฅ๊ณผ ์†๋ 4๊ฐœ์˜ ํ‰๊ท ์„ ๋ฐ›๊ณ , ์„ฑ๊ณต(+10)ยท๋‚™ํ•˜/์ถฉ๋Œ(โˆ’5)ยทaction ํฌ๊ธฐ ํŽ˜๋„ํ‹ฐ๋Š” ๊ณต์œ ํ•œ๋‹ค(์‹ (2), (3)). ํ•™์Šต ์ค‘์—๋Š” ๋ฌผ์ฒด 3D ์œ„์น˜๋ฅผ critic๋งŒ ๋ณด๋Š” privileged ์ •๋ณด๋กœ ์“ด๋‹ค(CTDE).

์ฃผ์š” ๊ฒฐ๊ณผ:

  • ์‹œ๋ฎฌ๋ ˆ์ด์…˜(Table II, 3 seed ํ‰๊ท ): ์ œ์•ˆ๋ฒ• T.R. 89.97% / S.R. 84.13%(ํ•™์Šต ๋ฌผ์ฒด), 89.28% / 84.83%(์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด). single-agent PPO(S-A RL)๋Š” 78.2% / 63.5%, ์ค‘์‹ฌ ์ขŒํ‘œ๋งŒ ์“ฐ๋Š” Only-Center๋Š” 87.07% / 81.27%, ํญยท๋†’์ด๋งŒ ์“ฐ๋Š” Only-WH๋Š” 8.03% / 5.53%.
  • ์‹ค๋ฌผ(Table III, ๋ฌผ์ฒด๋‹น 30ํšŒ): ์ œ์•ˆ๋ฒ• S.R. Cube 63% ยท L-block 43% ยท Triangle 43%(ํ‰๊ท  ์•ฝ 50%), T.R. 73/73/70%. S-A RL์€ S.R. 33/20/20%, Only-Center๋Š” 13/3/23%, Only-WH๋Š” 0%.
  • ํŒ ์ฐจ์ด: RA-LํŒ์„ ๋ฐ˜์˜ํ•œ ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ ํ‘œ์—๋Š” arXivํŒ์— ์—†๋Š” 3D Pos ๋น„๊ต๊ตฐ๊ณผ ๋ฌผ์ฒด๋‹น 120ํšŒ(2๋ช…์˜ thrower ร— 2๊ฐœ ๋ฐฐ๊ฒฝ) ์‹ค๋ฌผ ํ‰๊ฐ€๊ฐ€ ์ถ”๊ฐ€๋ผ ์žˆ๊ณ , ์ˆ˜์น˜๋„ ๋‹ค๋ฅด๋‹ค(์•„๋ž˜ ํŒ ์ฐจ์ด ์ ˆ).

๊ฒฐ๋ก :

์ด ๋…ผ๋ฌธ์ด ๋ณด์ธ ๊ฒƒ์€ โ€œ3D ์œ„์น˜ ์ถ”์ • ์—†์ด RGB bounding box 6๊ฐœ ์ˆซ์ž๋งŒ์œผ๋กœ๋„, ํŒ”๊ณผ ์†์„ ๋‚˜๋ˆ  ํ•™์Šตํ•œ ์ •์ฑ…์ด ์‚ฌ๋žŒ์ด ๋˜์ง„ ๋ฌผ์ฒด๋ฅผ ์‹ค๋ฌผ์—์„œ ์ ˆ๋ฐ˜์ฏค ์žก๋Š”๋‹คโ€๋Š” ๊ฒƒ์ด๋‹ค. ํ‘œํ˜„์€ ๊ทน๋„๋กœ ๋‹จ์ˆœํ•˜๊ณ , MARL ๋ถ„ํ•ด๋Š” single-agent๋ณด๋‹ค ํ•™์Šต์ด ๋น ๋ฅด๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ arXivํŒ๋งŒ ๋ณด๋ฉด โ€œ3D ์œ„์น˜๋ณด๋‹ค ๋‚ซ๋‹คโ€๋Š” ๋™๊ธฐ ์ฃผ์žฅ์€ ์ง์ ‘ ๋น„๊ต๋˜์ง€ ์•Š์•˜๊ณ , ํฌ๊ธฐ ๋ณ€ํ™” ํŠน์ง•์˜ ๊ธฐ์—ฌ๋Š” ์‹œ๋ฎฌ์—์„œ 3%p ๋‚จ์ง“์ด๋ฉฐ ์‹ค๋ฌผ์—์„œ๋งŒ ํฌ๊ฒŒ ๋ฒŒ์–ด์ง„๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ๋ฅผ ๋ณด๋ฉด ์‹œ๋ฎฌ ํ•™์Šต์€ ์ƒ‰ ๋ถ„ํ•  + ๋…ธ์ด์ฆˆ + ์ง€์—ฐ์œผ๋กœ ์‹ค๋ฌผ SAM2 ํŒŒ์ดํ”„๋ผ์ธ์„ ํ‰๋‚ด ๋‚ด๋Š”๋ฐ, ๊ทธ ์ง€์—ฐ ๋ชจ๋ธ์€ ๋…ผ๋ฌธ์— ์ ํ˜€ ์žˆ์ง€ ์•Š๋‹ค.


๐Ÿ”” Ring Review

๐Ÿ”” Ring โ€” An idea that echoes. Grasp the core and its value.

ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด

Pixel2Catch๋Š” catching์„ โ€œ3D ๊ถค์ ์„ ์˜ˆ์ธกํ•˜๋Š” ๋ฌธ์ œโ€์—์„œ โ€œ์˜์ƒ ์† box๊ฐ€ ์–ด๋””๋กœ ์›€์ง์ด๊ณ  ์–ผ๋งˆ๋‚˜ ์ปค์ง€๋Š”์ง€์— ๋ฐ˜์‘ํ•˜๋Š” ๋ฌธ์ œโ€๋กœ ๋ฐ”๊พผ๋‹ค. ๋ฌผ์ฒด ์ƒํƒœ๋ฅผ metric ์ขŒํ‘œ๋กœ ๋ณต์›ํ•˜์ง€ ์•Š์œผ๋‹ˆ depth ํ’ˆ์งˆ์ด๋‚˜ marker์— ๋ฌถ์ด์ง€ ์•Š๊ณ , ์‹œ๋ฎฌ๊ณผ ์‹ค๋ฌผ์—์„œ ๊ฐ™์€ ์ •์˜๋กœ ๊ฐ™์€ 6๊ฐœ ์ˆซ์ž๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋‹ค. ๊ทธ ๋Œ€๊ฐ€๋กœ ์ •์ฑ…์€ ๊ณ ์ •๋œ ์นด๋ฉ”๋ผ ํ•œ ๋Œ€์˜ ์‹œ์ ์— ๋‹จ๋‹จํžˆ ๋ฌถ์ธ๋‹ค. ํ•™์Šต ๊ตฌ์กฐ์—์„œ๋Š” ํŒ”์„ โ€œ๋ฐ๋ ค๋‹ค ๋†“๋Š”โ€ agent, ์†์„ โ€œ๊ฐ์‹ธ ์ฅ๋Š”โ€ agent๋กœ ๋‚˜๋ˆ  ์„œ๋กœ ๋‹ค๋ฅธ ๊ด€์ธก๊ณผ ๋ณด์ƒ์„ ์ฃผ๊ณ  MAPPO๋กœ ๋™์‹œ์— ํ•™์Šตํ•œ๋‹ค. ์ด ๊ธ€์€ arXiv v1 ์›๋ฌธ์„ ๋”ฐ๋ผ๊ฐ€๋ฉด์„œ, ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์— ์‹ค๋ฆฐ RA-LํŒ์˜ ์ˆ˜์น˜์™€ ๊ณต๊ฐœ๋œ ์‹œ๋ฎฌ ํ•™์Šต ์ฝ”๋“œ๋กœ ์›๋ฌธ์˜ ๋นˆ์นธ์„ ์–ด๋””๊นŒ์ง€ ๋ฉ”์šธ ์ˆ˜ ์žˆ๋Š”์ง€ ํ•จ๊ป˜ ๋ณธ๋‹ค.

๋ฐฐ๊ฒฝ: ์™œ 3D ์œ„์น˜๋ฅผ ๋ฒ„๋ฆฌ๋Š”๊ฐ€ (ยงI, ยงII-A)

๋™์  ์กฐ์ž‘ ์—ฐ๊ตฌ๋Š” ์ •์ ์ธ ์กฐ์ž‘(์ด๋ฏธ ์ฅ” ๋ฌผ์ฒด๋ฅผ ๋Œ๋ฆฌ๊ธฐ, ๊ณ ์ •๋œ ๋ฌผ์ฒด๋ฅผ ์ง‘๊ธฐ)์—์„œ ์ถœ๋ฐœํ•ด ์›€์ง์ด๋Š” ๋ฌผ์ฒด๋กœ ๋„˜์–ด์™”๋‹ค. ์ดˆ๊ธฐ์—๋Š” ์ปจ๋ฒ ์ด์–ด ์œ„ ๋ฌผ์ฒด๋‚˜ ๋ฐ”๋‹ฅ์„ ๊ตฌ๋ฅด๋Š” ๊ณต์ฒ˜๋Ÿผ 2D ํ‰๋ฉด์— ๋ฌถ์ธ ์šด๋™์„ ๋‹ค๋ค˜๊ณ , 3D ๊ณต๊ฐ„์„ ์ž์œ ๋กญ๊ฒŒ ๋‚˜๋Š” ๋ฌผ์ฒด๋กœ ๋„˜์–ด์˜ค๋ฉด์„œ ๋Œ€๋ถ€๋ถ„ 3D ์œ„์น˜ ์ถ”์ •์— ๊ธฐ๋Œ”๋‹ค(ยงII-A). ์ €์ž๋“ค์ด ์ •๋ฆฌํ•œ ๋‘ ํ๋ฆ„์€ ์ด๋ ‡๋‹ค.

ํ๋ฆ„ ๋Œ€ํ‘œ ์—ฐ๊ตฌ(๋…ผ๋ฌธ์ด ์ธ์šฉํ•œ ๊ฒƒ) ์ €์ž๋“ค์ด ์ง€์ ํ•œ ํ•œ๊ณ„
RGB-D ์นด๋ฉ”๋ผ Dynamic Handover (Huang et al., CoRL 2023), Catch It! (Zhang et al., 2024) ์ƒ‰ ๋ถ„ํ•  ์˜์—ญ์˜ depth๋กœ 3D ์ขŒํ‘œ ๊ณ„์‚ฐ. ์„ผ์„œ ์‹ ๋ขฐ๋„์— ์˜์กดํ•ด ์‹ค๋ฌผ์—์„œ ์„ฑ๋Šฅ ์ €ํ•˜
marker ๊ธฐ๋ฐ˜ motion capture CushionCatch (Chen et al., 2024), IMA-Catcher (Tassi et al., IJRR 2025), Catching Objects in Flight (Kim et al., 2014) ์œ„์น˜๋Š” ์ •ํ™•ํ•˜์ง€๋งŒ ๋ฌผ์ฒด์— marker๋ฅผ ๋ถ™์—ฌ์•ผ ํ•˜๊ณ  ์„ค์น˜ ๋น„์šฉ์ด ํฌ๋‹ค

์—ฌ๊ธฐ์„œ Pixel2Catch๊ฐ€ ๋‚ด์„ธ์šฐ๋Š” ๋™๊ธฐ๋Š” โ€œ์‚ฌ๋žŒ์˜ ์‹œ์ง€๊ฐโ€์ด๋‹ค. ์‚ฌ๋žŒ์€ ๊ณต์˜ 3D ์ขŒํ‘œ ๋Œ€์‹  ์‹œ์•ผ ์† ์œ„์น˜์™€ ํฌ๊ธฐ์˜ ์ƒ๋Œ€์  ๋ณ€ํ™”๋ฅผ ๋ณด๊ณ  ์žก๋Š”๋‹ค๋Š” ๊ฒƒ์ด๋‹ค(ยงI). ์ด ์ง๊ด€์€ ์˜ค๋ž˜๋œ ์ง€๊ฐ ์‹ฌ๋ฆฌํ•™์˜ ์ฃผ์ œ์ด๊ธฐ๋„ ํ•˜๋‹ค. ๋‹ค๊ฐ€์˜ค๋Š” ๋ฌผ์ฒด์˜ ์‹œ๊ฐ์  ํฌ๊ธฐ \theta์™€ ๊ทธ ๋ณ€ํ™”์œจ \dot\theta์˜ ๋น„ \tau=\theta/\dot\theta๊ฐ€ ์ถฉ๋Œ๊นŒ์ง€ ๋‚จ์€ ์‹œ๊ฐ„์„ ์ค€๋‹ค๋Š” Lee(1976)์˜ time-to-contact ์ด๋ก ์ด๋‚˜, ์™ธ์•ผ์ˆ˜๊ฐ€ ๊ณต์˜ ์‹œ์„  ๊ฐ๋„ ๋ณ€ํ™”๋ฅผ ์ผ์ •ํ•˜๊ฒŒ ์œ ์ง€ํ•˜๋ฉฐ ๋‹ฌ๋ฆฐ๋‹ค๋Š” Chapman(1968)์˜ ์„ค๋ช…์ด ๊ทธ๋ ‡๋‹ค. ๋…ผ๋ฌธ์€ ์ด ๋ฌธํ—Œ๋“ค์„ ์ธ์šฉํ•˜์ง€ ์•Š๊ณ  โ€œhuman visual perceptionโ€์ด๋ผ๋Š” ์ผ๋ฐ˜์  ์„œ์ˆ ์— ๋จธ๋ฌธ๋‹ค. ์ด ๋งฅ๋ฝ์€ ์•„๋ž˜ ์ง๊ด€ ์ ˆ์—์„œ ์ด ๋…ผ๋ฌธ์˜ ํŠน์ง• ์„ค๊ณ„๋ฅผ ํ‰๊ฐ€ํ•˜๋Š” ๊ธฐ์ค€์œผ๋กœ ๋‹ค์‹œ ์“ด๋‹ค.

ํ•™์Šต ์ชฝ ๋ฐฐ๊ฒฝ์€ ยงII-B์— ์žˆ๋‹ค. ๋ฐ”๊ตฌ๋‹ˆ๋‚˜ ๊ตญ์ž ๋ชจ์–‘์˜ ๋‹จ์ˆœํ•œ end-effector๋ฅผ ์“ฐ๋Š” catching์€ ์‚ฌ์‹ค์ƒ ํŒ”์˜ ์ ‘๊ทผ ๊ถค์  ๋ฌธ์ œ๋ผ ๋‹จ์ผ ์ •์ฑ…์œผ๋กœ ์ถฉ๋ถ„ํ–ˆ๋‹ค(Abeyruwan et al., L4DC 2023 ๋“ฑ). ๋‹ค์ง€ ์†์ด ๋ถ™์œผ๋ฉด ํŒ”์˜ ์ ‘๊ทผ๊ณผ ์†์˜ ํŒŒ์ง€๊ฐ€ ํ•จ๊ป˜ ๋งž์•„์•ผ ํ•˜๊ณ , ์ž์œ ๋„๊ฐ€ 19๊ฐœ๋กœ ์ปค์ง„๋‹ค. Catch It!์€ ์ด๋ฅผ ๋‘ ๋‹จ๊ณ„ RL๋กœ ํ’€์—ˆ๋Š”๋ฐ, ์ €์ž๋“ค์€ ๋‹จ๊ณ„๋ณ„ ๋ณด์ƒ ์„ค๊ณ„์™€ ๋‹จ๊ณ„ ๊ฐ„ ์ •์ฑ… ์ด์ „์ด ํ•™์Šต ํŒŒ์ดํ”„๋ผ์ธ์„ ๋ณต์žกํ•˜๊ฒŒ ๋งŒ๋“ ๋‹ค๊ณ  ๋ณธ๋‹ค. ๊ทธ๋ž˜์„œ ํŒ”๊ณผ ์†์„ ๋ณ„๊ฐœ agent๋กœ ๋‚˜๋ˆˆ MARL์„ ํ•œ ๋‹จ๊ณ„ ํ•™์Šต์˜ ๋Œ€์•ˆ์œผ๋กœ ์ œ์‹œํ•œ๋‹ค. ์ €์ž๋“ค์˜ ์ •๋ฆฌ๋กœ๋Š” ๊ธฐ์กด MARL ๋กœ๋ด‡ ์—ฐ๊ตฌ๋Š” ๋“œ๋ก  ๊ตฐ์ง‘ยท์ž์œจ์ฃผํ–‰ยท์–‘ํŒ”ยท๋‹ค์ˆ˜ ์‚ฌ์กฑ ๋กœ๋ด‡์ฒ˜๋Ÿผ ๊ฐ™์€ ๊ตฌ์กฐ์˜ ๋กœ๋ด‡ ์—ฌ๋Ÿฌ ๋Œ€๋ฅผ ๋‹ค๋ค˜๊ณ , ํ•œ ๋กœ๋ด‡์„ ์ด์งˆ์ ์ธ ๋ถ€ํ’ˆ์œผ๋กœ ์ชผ๊ฐ  ๊ฒฝ์šฐ๋Š” ๋“œ๋ฌผ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ์ด ์ •๋ฆฌ๊ฐ€ ์–ผ๋งˆ๋‚˜ ์ •ํ™•ํ•œ์ง€๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ ์ ˆ์—์„œ ๋”ฐ๋กœ ๋ณธ๋‹ค.

์‹œ์Šคํ…œ ๊ตฌ์„ฑ (ยงIII)

์‹ค๋ฌผ ํ•˜๋“œ์›จ์–ด (ยงIII-B)

๊ตฌ์„ฑ ์‚ฌ์–‘(๋…ผ๋ฌธ ๊ธฐ์žฌ)
ํŒ” Universal Robots UR5e(6-DoF), ๋†’์ด 0.81 m ํ…Œ์ด๋ธ”์— ์„ค์น˜. ์ดˆ๊ธฐ ์ž์„ธ๋Š” ์†์ด ๋ฌผ์ฒด ์˜ˆ์ƒ ๊ถค์ ์„ ํ–ฅํ•˜๋„๋ก ์„ค์ •
์† Allegro Hand. ๊ด€์ ˆ 3๊ฐœ๋ฅผ ๊ณ ์ •ํ•ด 13๊ฐœ ๊ด€์ ˆ์„ target joint position์œผ๋กœ ์ œ์–ด
์นด๋ฉ”๋ผ Intel RealSense D435 ํ•œ ๋Œ€๋ฅผ ํ™˜๊ฒฝ์— ๊ณ ์ •. RGB๋งŒ ์‚ฌ์šฉ(depth ๋ฏธ์‚ฌ์šฉ). ๋กœ๋ด‡ ๋’ค 0.5 m, ์œ„ 2.2 m(Fig. 2)
ํ†ต์‹ ยท์ฃผ๊ธฐ ROS2, ์ •์ฑ…์ด 30 Hz๋กœ ํŒ”ยท์† ์ปจํŠธ๋กค๋Ÿฌ์— target joint position ์ „์†ก(ยงV-D)

๋…ผ๋ฌธ์€ Allegro์˜ ์–ด๋А ๊ด€์ ˆ 3๊ฐœ๋ฅผ ๊ณ ์ •ํ–ˆ๋Š”์ง€ ๋ณธ๋ฌธ์—์„œ ๋ฐํžˆ์ง€ ์•Š๋Š”๋‹ค. Fig. 2์˜ ์† ์‚ฌ์ง„์—๋Š” ์ž๋ฌผ์‡  ์•„์ด์ฝ˜์ด ์—„์ง€๊ฐ€ ์•„๋‹Œ ์„ธ ์†๊ฐ€๋ฝ์˜ ๋ฟŒ๋ฆฌ ์ชฝ์— ๊ทธ๋ ค์ ธ ์žˆ๋‹ค. ๊ณต๊ฐœ๋œ ๋กœ๋ด‡ USD์—์„œ๋Š” joint10, joint20, joint30์ด ๊ณ ์ • ๊ด€์ ˆ(PhysicsFixedJoint)์ด๊ณ , ์ œ์–ด ๋Œ€์ƒ ๋ชฉ๋ก๋„ ์—„์ง€ 4๊ฐœ(joint00~03)์™€ ์„ธ ์†๊ฐ€๋ฝ์˜ ๋‚˜๋จธ์ง€ 3๊ฐœ์”ฉ์ด๋‹ค. ์ฆ‰ ๊ฒ€์ง€ยท์ค‘์ง€ยท์•ฝ์ง€์˜ ์ฒซ ๊ด€์ ˆ์„ ๊ณ ์ •ํ•œ ๊ตฌ์„ฑ์ด๋‹ค.

์‹œ๋ฎฌ๋ ˆ์ด์…˜๊ณผ ๋ฌผ์ฒดยท๊ถค์  (ยงIII-C)

์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ๋Š” NVIDIA Isaac Lab์ด๊ณ , ๋กœ๋ด‡์€ ์‹ค๋ฌผ๊ณผ ๊ฐ™์€ USD ๋ชจ๋ธ, ์นด๋ฉ”๋ผ๋Š” D435์™€ ๊ฐ™์€ ์‹œ์•ผ๊ฐ์˜ pinhole ๋ชจ๋ธ์ด๋‹ค. ๋งค ์—ํ”ผ์†Œ๋“œ ์‹œ์ž‘์— ๋ฌผ์ฒด์˜ ์œ„์น˜ยท์ž์„ธยท์„ ์†๋„ยท์งˆ๋Ÿ‰์„ ๋ฌด์ž‘์œ„๋กœ ์ •ํ•œ๋‹ค. ํ•™์Šต ๋ฌผ์ฒด๋Š” ์„œ๋กœ ๋‹ค๋ฅธ ๋ชจ์–‘ 5์ข…์ด๊ณ  ํฌ๊ธฐ๋ฅผ ๋ฐ”๊ฟ” ๊ฐ€๋ฉฐ ์“ด๋‹ค. 120 Hz ๋ฌผ๋ฆฌ์— decimation 4๋ฅผ ๊ฑธ์–ด 30 Hz ์ •์ฑ…์„ ๋งŒ๋“ ๋‹ค.


(a) ์‹œ๋ฎฌ ํ•™์Šต ๋ฌผ์ฒด(์œ„: ์›๋ฟ”ยท์ •์œก๋ฉด์ฒดยท๊ตฌยท์›๊ธฐ๋‘ฅยท์บก์А ๊ฐ 2๊ฐ€์ง€ ํฌ๊ธฐ), ์‹œ๋ฎฌ ๊ฒ€์ฆ์šฉ ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด 6์ข…(๊ฐ€์šด๋ฐ), ์‹ค๋ฌผ ์‹คํ—˜ ๋ฌผ์ฒด(์•„๋ž˜: L-block, ์‚ผ๊ฐํ˜•, cube). (b) ์‹œ๋ฎฌ์—์„œ ์ƒ์„ฑํ•œ ๋ฌด์ž‘์œ„ ๊ถค์ . ์—ฐ๋…น์ƒ‰ ์›์ด ์ถœ๋ฐœ์ , ์ง„๋…น์ƒ‰ ์‚ผ๊ฐํ˜•์ด ๋„์ฐฉ์ , ํ•˜๋Š˜์ƒ‰ ์›์ด ๋กœ๋ด‡ ์œ„์น˜(Fig. 3).

Fig. 3์—์„œ ๋‘ ๊ฐ€์ง€๊ฐ€ ๋ˆˆ์— ๋ˆ๋‹ค. ์ฒซ์งธ, ํ•™์Šตยท๊ฒ€์ฆ ๋ฌผ์ฒด๋Š” ๋ชจ๋‘ ๊ฐ•์ฒด์ธ๋ฐ ์‹ค๋ฌผ ๋ฌผ์ฒด 3์ข…์€ ์ฒœ์œผ๋กœ ์‹ผ ์ฝฉ์ฃผ๋จธ๋‹ˆ ๊ฐ™์€ ๋ถ€๋“œ๋Ÿฌ์šด ๋ฌผ์ฒด๋‹ค. ์ €์ž๋“ค๋„ ยงV-D์—์„œ ์‹ค๋ฌผ ๊ถค์ ์ด โ€œ๋ฌผ์ฒด์˜ ๋ณ€ํ˜•ยทํƒ„์„ฑยท๊ณต๊ธฐ์—ญํ•™โ€์œผ๋กœ ์‹œ๋ฎฌ ๋ถ„ํฌ์™€ ๋‹ฌ๋ผ์ง„๋‹ค๊ณ  ์“ด๋‹ค. ๋‘˜์งธ, Fig. 3(b)์˜ ๊ถค์ ์€ ๋ชจ๋‘ x โ‰ˆ 2.5~3 m์—์„œ ์ถœ๋ฐœํ•ด ์ •์  1.5~1.9 m ๊ทผ์ฒ˜๋ฅผ ์ง€๋‚˜ ๋กœ๋ด‡ ์•ž์œผ๋กœ ๋–จ์–ด์ง€๋Š” ๋†’์€ ํฌ๋ฌผ์„ (lob)์ด๋‹ค. ๋…ผ๋ฌธ์€ ์ถœ๋ฐœ ์œ„์น˜ยท์†๋„ยท์ •์  ๋†’์ด์˜ ๋ฒ”์œ„๋ฅผ ๋ณธ๋ฌธ์— ์ˆซ์ž๋กœ ์ ์ง€ ์•Š๋Š”๋‹ค(์ด ๋ฒ”์œ„๋Š” ๊ณต๊ฐœ ์ฝ”๋“œ์— ์žˆ๋‹ค. ์•„๋ž˜ ์ฝ”๋“œ์™€ ๋Œ€์กฐ ์ ˆ).

๋ฐฉ๋ฒ• โ‘ : Multi-Agent MDP ์ •์‹ํ™” (ยงIV-A)

catching์„ Multi-Agent MDP๋กœ ๋‘๊ณ , ํŒ” ์ •์ฑ… \pi_{arm}์€ ์œ„์น˜ ์žก๊ธฐ๋ฅผ, ์† ์ •์ฑ… \pi_{hand}๋Š” ํŒŒ์ง€๋ฅผ ๋งก๋Š”๋‹ค. ๊ฐ ์ •์ฑ… \pi_i\ (i\in\{\text{arm},\text{hand}\})๋Š” ์ž๊ธฐ ๊ด€์ธก s_t^i๋กœ action a_t^i๋ฅผ ๊ณ ๋ฅด๊ณ , ์ž๊ธฐ ๋ณด์ƒ์˜ ๊ธฐ๋Œ€ ํ• ์ธํ•ฉ E[\sum_{k=0}^{T}\gamma^k r_k^i]๋ฅผ ์ตœ๋Œ€ํ™”ํ•œ๋‹ค. ๋ฌผ์ฒด๋ฅผ ๋–จ์–ด๋œจ๋ฆฌ๊ฑฐ๋‚˜ ์ตœ๋Œ€ step T์— ์ด๋ฅด๋ฉด ์—ํ”ผ์†Œ๋“œ๊ฐ€ ๋๋‚œ๋‹ค. ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ MAPPO(Yu et al., NeurIPS 2022)๋‹ค.

์—ฌ๊ธฐ์„œ โ€œmulti-agentโ€์˜ ์˜๋ฏธ๋ฅผ ์ •ํ™•ํžˆ ํ•ด ๋‘˜ ํ•„์š”๊ฐ€ ์žˆ๋‹ค. ๋‘ agent๋Š” ๊ฐ™์€ ๋กœ๋ด‡์˜ ์„œ๋กœ ๋‹ค๋ฅธ ๊ด€์ ˆ ์ง‘ํ•ฉ์„ ์›€์ง์ด๊ณ , ๊ฐ™์€ ๋ฌผ๋ฆฌ ์ƒํƒœ๋ฅผ ๊ณต์œ ํ•˜๋ฉฐ, ๊ฐ™์€ ์„ฑ๊ณตยท์‹คํŒจ ์‚ฌ๊ฑด์—์„œ ๊ฐ™์€ ๋ณด์ƒ์„ ๋ฐ›๋Š”๋‹ค. ๊ฒŒ์ž„ ์ด๋ก ์ ์ธ ์˜๋ฏธ์˜ ๋…๋ฆฝ๋œ ์ฃผ์ฒด๋ผ๊ธฐ๋ณด๋‹ค action ๊ณต๊ฐ„๊ณผ ๋ณด์ƒ์„ ๋ถ„ํ•ดํ•œ ํ•˜๋‚˜์˜ ์ œ์–ด ๋ฌธ์ œ์— ๊ฐ€๊น๋‹ค. ๋…ผ๋ฌธ์ด ๊ธฐ๋Œ€๋Š” ์ด์ ๋„ ๊ทธ์ชฝ์ด๋‹ค. ๊ฐ agent๊ฐ€ ๋œ ์„ž์ธ ํ•™์Šต ์‹ ํ˜ธ๋ฅผ ๋ฐ›๋Š”๋‹ค๋Š” ๊ฒƒ(ยงV-C).

๋ฐฉ๋ฒ• โ‘ก: pixel-level feature (ยงIV-B)


์‹œ๋ฎฌ(์™ผ์ชฝ)๊ณผ ์‹ค๋ฌผ(์˜ค๋ฅธ์ชฝ)์˜ pixel-level feature ์‹œ๊ฐํ™”. RGB ์˜์ƒ์—์„œ ๋ฌผ์ฒด bounding box๋ฅผ ๋งŒ๋“ค๊ณ  ๊ผญ์ง“์ ยท์ค‘์‹ฌ ์ขŒํ‘œ์™€ ํญยท๋†’์ด๋ฅผ ๋ฝ‘๋Š”๋‹ค(Fig. 4).

๋ฌผ์ฒด ์˜์—ญ์˜ bounding box์—์„œ ์ค‘์‹ฌ ์ขŒํ‘œ (c_x, c_y)์™€ ํญยท๋†’์ด (w, h)๋ฅผ ๋ฝ‘๋Š”๋‹ค. ์ค‘์‹ฌ์˜ ๊ฐ€๋กœยท์„ธ๋กœ ์„ฑ๋ถ„์€ ๋ฌผ์ฒด์˜ ์ƒ๋Œ€์  ์ขŒ์šฐยท์ƒํ•˜ ์œ„์น˜๋ฅผ, ํญยท๋†’์ด๋Š” ํฌ๊ธฐ ๋ณ€ํ™”๋ฅผ ํ†ตํ•ด ๋กœ๋ด‡๊ณผ ๋ฌผ์ฒด ์‚ฌ์ด ๊ฑฐ๋ฆฌ ๋ณ€ํ™”๋ฅผ ๊ฐ„์ ‘์ ์œผ๋กœ ๋ฐ˜์˜ํ•œ๋‹ค๋Š” ๊ฒƒ์ด ์ €์ž๋“ค์˜ ์„ค๋ช…์ด๋‹ค. ํ•œ ์‹œ์ ์˜ ๊ฐ’์œผ๋กœ๋Š” ์šด๋™์„ ์•Œ ์ˆ˜ ์—†์œผ๋‹ˆ ์—ฐ์† ๋‘ step ์‚ฌ์ด์˜ ์ฐจ๋ถ„์„ ๋„ฃ๋Š”๋‹ค. ๊ทธ๋ ‡๊ฒŒ ๋งŒ๋“  ์ตœ์ข… ๋ฒกํ„ฐ๊ฐ€ Ping์˜ ์‹ (1)์ด๋‹ค.

์—ฌ๊ธฐ์„œ ์›๋ฌธ์„ ๊ผผ๊ผผํžˆ ์ฝ์œผ๋ฉด ํ•œ ๊ฐ€์ง€๊ฐ€ ๊ฑธ๋ฆฐ๋‹ค. ์‹ (1)์—๋Š” ํญยท๋†’์ด์˜ ์ ˆ๋Œ€๊ฐ’ w, h๊ฐ€ ์—†๊ณ  ๋ณ€ํ™”๋Ÿ‰ \Delta w, \Delta h๋งŒ ์žˆ๋‹ค. ๋ฐ˜๋ฉด ๊ฐ™์€ ์ ˆ์˜ ์„œ์ˆ ๊ณผ Fig. 4 ์บก์…˜์€ โ€œํญยท๋†’์ด๋ฅผ ๋ฝ‘์•„ ๊ทธ ๊ฐ’๊ณผ ์ฐจ๋ถ„์„ ์ž…๋ ฅ์œผ๋กœ ์“ด๋‹คโ€๊ณ  ์ฝํžˆ๊ณ , ยงV-A์˜ Only-WH ๋น„๊ต๊ตฐ๋„ โ€œw, h๋งŒ ์“ด๋‹คโ€๊ณ  ์ ํ˜€ ์žˆ๋‹ค. ์ฆ‰ ์ œ์•ˆ๋ฒ•์€ ๋ฌผ์ฒด์˜ ํ˜„์žฌ ์‹œ๊ฐ์  ํฌ๊ธฐ๋ฅผ ๋ชจ๋ฅด๊ณ  ํฌ๊ธฐ์˜ ๋ณ€ํ™”๋Ÿ‰๋งŒ ์•ˆ๋‹ค. Lee์˜ \tau=\theta/\dot\theta์ฒ˜๋Ÿผ ํฌ๊ธฐ์™€ ๋ณ€ํ™”์œจ์˜ ๋น„๋กœ ๊ฑฐ๋ฆฌยท์‹œ๊ฐ„์„ ์ฝ์œผ๋ ค๋ฉด ๋‘˜ ๋‹ค ํ•„์š”ํ•˜๋‹ค. ์ด ์ฐจ์ด๊ฐ€ ์˜๋„์ธ์ง€ ์„œ์ˆ ์˜ ๋ถ€์ •ํ™•ํ•จ์ธ์ง€๋Š” ์›๋ฌธ๋งŒ์œผ๋กœ ํŒ๋‹จํ•  ์ˆ˜ ์—†๋‹ค(๊ณต๊ฐœ ์ฝ”๋“œ๋Š” ์‹ (1)๊ณผ ๊ฐ™๋‹ค. ์•„๋ž˜ ์ฝ”๋“œ ์ ˆ).

์‹ค๋ฌผ ๋ถ„ํ• ์˜ ํ”๋“ค๋ฆผ์— ๋Œ€๋น„ํ•ด ํ•™์Šต ์ค‘ box ๊ผญ์ง“์ ์— ์ตœ๋Œ€ 5 px์˜ ๋ฌด์ž‘์œ„ ์„ญ๋™์„ ์ค€๋‹ค. ์ €์ž๋“ค์€ ResNet ๊ฐ™์€ ์ด๋ฏธ์ง€ ์ธ์ฝ”๋”์˜ ๊ณ ์ฐจ์› latent ๋Œ€์‹  ๊ณผ์ œ์— ํ•„์š”ํ•œ ์‹œ๊ฐ๋Ÿ‰์„ ์ง์ ‘ ์“ฐ๋ฉด sim-to-real ํ‘œํ˜„ ๋ถˆ์ผ์น˜๊ฐ€ ์ค„๊ณ  ํ•™์Šต ํšจ์œจ์ด ์˜ค๋ฅธ๋‹ค๊ณ  ์ฃผ์žฅํ•œ๋‹ค. ์‹ค๋ฌผ์—์„œ๋Š” ์ƒ‰ ๊ธฐ๋ฐ˜ ๋งˆ์Šคํ‚น์ด ์กฐ๋ช…ยท๋ฐฐ๊ฒฝ์— ๋ฏผ๊ฐํ•˜๋‹ค๋Š” ์ด์œ ๋กœ SAM2(Ravi et al., 2024)๋กœ ๋ถ„ํ• ํ•œ๋‹ค. ๋‹ค๋งŒ SAM2์˜ ์ถ”๋ก  ์ง€์—ฐ, ์‹คํ–‰ GPU, ์ฒซ ํ”„๋ ˆ์ž„ prompt๋ฅผ ์–ด๋–ป๊ฒŒ ์ฃผ๋Š”์ง€(ํด๋ฆญ์ธ์ง€ ์ž๋™ ๊ฒ€์ถœ์ธ์ง€), ๋ฌผ์ฒด๊ฐ€ ์†์— ๊ฐ€๋ ค์งˆ ๋•Œ box๋ฅผ ์–ด๋–ป๊ฒŒ ์ฒ˜๋ฆฌํ•˜๋Š”์ง€๋Š” ๋…ผ๋ฌธ์— ์—†๋‹ค.

๋ฐฉ๋ฒ• โ‘ข: ์ƒํƒœยทํ–‰๋™ ๊ณต๊ฐ„ (ยงIV-C)


์‹œ์Šคํ…œ ํŒŒ์ดํ”„๋ผ์ธ๊ณผ ์‹คํ—˜ ์„ค์ •(Fig. 2). ์ƒํƒœ๋Š” ํŒ” ์ „์šฉ(dim 18), ๊ณต์œ (dim 16), ์† ์ „์šฉ(dim 39), privileged(dim 9)๋กœ ๋‚˜๋‰˜๊ณ  ๋‘ ์—ฐ์† step์„ ์Œ“์•„ ์“ด๋‹ค. \pi_{arm}์€ 6์ฐจ์›, \pi_{hand}๋Š” 13์ฐจ์› action์„ ๋‚ธ๋‹ค. privileged ์ •๋ณด๋Š” value network ํ•™์Šต์—๋งŒ ์“ด๋‹ค. ์นด๋ฉ”๋ผ๋Š” ๋กœ๋ด‡ ๋’ค 0.5 m, ์œ„ 2.2 m.

๋ณธ๋ฌธ(ยงIV-C)๊ณผ Fig. 2๊ฐ€ ๋งํ•˜๋Š” ์ƒํƒœ ๊ตฌ์„ฑ์ด ๋‹ค๋ฅด๋‹ค. ํ‘œ๋กœ ๋งž๋Œ€๋ฉด ์ด๋ ‡๋‹ค.

ํ•ญ๋ชฉ ๋ณธ๋ฌธ ยงIV-C Fig. 2
๊ณต์œ  ์ƒํƒœ z_{pixel}(6), end-effector pose pose_{eef}(7) p_{eef}, \Delta pos_{eef}, z_{pixel}, ํ•ฉ๊ณ„ 16
ํŒ” ์ „์šฉ q_{arm}(6), a_{arm}(6) q_{arm}, a_{arm}, target joint t_{arm}, ํ•ฉ๊ณ„ 18
์† ์ „์šฉ q_{hand}(13), a_{hand}(13) q_{hand}, a_{hand}, target joint t_{hand}, ํ•ฉ๊ณ„ 39
privileged(critic ์ „์šฉ) ๋ฌผ์ฒด ์œ„์น˜ p_{object}(3) pos_{obj}, \Delta pos_{obj}, ์†-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ d^{obj}_{hand}, ํ•ฉ๊ณ„ 9
์‹œ๊ฐ„ ๋ฌธ๋งฅ 2 step ์—ฐ๊ฒฐ 2 step ์—ฐ๊ฒฐ

๊ตต๊ฒŒ ํ‘œ์‹œํ•œ ํ•ญ๋ชฉ์€ Fig. 2์—๋งŒ ์žˆ๋‹ค. LaTeX ์†Œ์Šค์—๋Š” \Delta pos_{eef}๋ฅผ ํฌํ•จํ•œ ์˜› ์„œ์ˆ ์ด ์ฃผ์„์œผ๋กœ ๋‚จ์•„ ์žˆ์–ด, ๋ณธ๋ฌธ์ด ๊ฐœ์ • ๊ณผ์ •์—์„œ ์ค„์–ด๋“  ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค. Fig. 2์˜ ์ฐจ์› ํ•ฉ(ํŒ” 34, ์† 55)์€ ๊ณต๊ฐœ ์ฝ”๋“œ์˜ ๊ด€์ธก ์ฐจ์›๊ณผ ์ •ํ™•ํžˆ ๊ฐ™๋‹ค. ์žฌํ˜„ํ•˜๋ ค๋Š” ๋…์ž๋Š” ๋ณธ๋ฌธ์ด ์•„๋‹ˆ๋ผ Fig. 2๋ฅผ ๊ธฐ์ค€์œผ๋กœ ์‚ผ์•„์•ผ ํ•œ๋‹ค.

action์€ ์ด๋ ‡๋‹ค. ํŒ”์˜ a_{arm}์€ ํ˜„์žฌ ๊ด€์ ˆ ์œ„์น˜์— ๋”ํ•ด์ ธ PD ์ œ์–ด๊ธฐ๋กœ ์‹คํ–‰๋˜๋Š” ์ฆ๋ถ„์ด๊ณ , ์†์˜ a_{hand}๋Š” ๊ด€์ ˆ ํ•œ๊ณ„์— ๋งž์ถฐ rescale๋œ ์ ˆ๋Œ€ target joint position์ด๋‹ค. ์ฆ๋ถ„์˜ ํฌ๊ธฐ(์Šค์ผ€์ผ)๋Š” ๋ณธ๋ฌธ์— ์—†๋‹ค.

critic์€ ๋‘ agent์˜ ๊ด€์ธก๊ณผ privileged ์ •๋ณด๋ฅผ 2 step ๋ชจ์•„ ๋ฐ›๋Š”๋‹ค. ์ •์ฑ…์€ ๋ฌผ์ฒด์˜ 3D ์œ„์น˜๋ฅผ ๋๊นŒ์ง€ ๋ณด์ง€ ์•Š๋Š”๋‹ค. ์ด asymmetric actor-critic ๊ตฌ์กฐ ์ž์ฒด๋Š” sim-to-real RL์—์„œ ํ”ํ•œ ์„ค๊ณ„๋‹ค(Arm-assisted Fall Recovery์—์„œ๋„ ๊ฐ™์€ ๋ฐฉ์‹์„ ์ผ๋‹ค).

๋ฐฉ๋ฒ• โ‘ฃ: ๋ณด์ƒ ์„ค๊ณ„ (ยงIV-D)

\begin{aligned} R_t^{\text{arm}} &= r_{time} + r_{\text{dist}}^{\text{palm}} + \lambda_{succ}\mathbb{1}_{succ} + \lambda_{app}\mathbb{1}_{app} - \lambda_{fail}(\mathbb{1}_{drop}+\mathbb{1}_{coll}) - \lambda_{act}\lVert a_t^{\text{arm}}\rVert^2 \\ R_t^{\text{hand}} &= \tfrac{1}{5}\Big(r_{\text{dist}}^{\text{palm}} + \textstyle\sum_{i\in\mathcal{F}} r_{\text{dist}}^{i}\Big) + \lambda_{succ}\mathbb{1}_{succ} - \lambda_{fail}(\mathbb{1}_{drop}+\mathbb{1}_{coll}) - \lambda_{act}\lVert a_t^{\text{hand}}\rVert^2 \end{aligned}

๊ณ„์ˆ˜๋Š” \lambda_{succ}=10.0, \lambda_{fail}=5.0, \lambda_{app}=0.1, \lambda_{act}=0.01, r_{time}=-0.01์ด๋‹ค. ํ•ญ๋ณ„๋กœ ์ •๋ฆฌํ•˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

ํ•ญ ํŒ” ์† ์˜๋ฏธ ํฌ๊ธฐ ๊ฐ๊ฐ(ํ•„์ž ๊ณ„์‚ฐ)
r_{time} โˆ’0.01 ์—†์Œ ์‹œ๊ฐ„ ํŽ˜๋„ํ‹ฐ 3์ดˆ ์—ํ”ผ์†Œ๋“œ(90 step, ์ฝ”๋“œ ๊ธฐ์ค€)๋ฉด ์ตœ๋Œ€ โˆ’0.9
r_{\text{dist}} ์†๋ฐ”๋‹ฅ (์†๋ฐ”๋‹ฅ + ์†๋ 4)/5 ๊ฑฐ๋ฆฌ ๊ฐ์†Œ๋Ÿ‰(m) ์—ํ”ผ์†Œ๋“œ ํ•ฉ์ด โ€œ์ฒ˜์Œ ๊ฑฐ๋ฆฌ โˆ’ ๋งˆ์ง€๋ง‰ ๊ฑฐ๋ฆฌโ€๋กœ telescoping, ์ˆ˜ m ์ดํ•˜
\mathbb{1}_{app} +0.1 ์—†์Œ ์ ‘๊ทผ ์ƒํƒœ(๋งค step) ์ •์˜ ๋ฌธํ„ฑ์€ ๋ณธ๋ฌธ์— ์—†์Œ
\mathbb{1}_{succ} +10 +10 ์žก๊ธฐ ์„ฑ๊ณต ์—ํ”ผ์†Œ๋“œ ๋ณด์ƒ์˜ ์ง€๋ฐฐ์  ํ•ญ
\mathbb{1}_{drop}+\mathbb{1}_{coll} โˆ’5 โˆ’5 ๋‚™ํ•˜ยท์ถฉ๋Œ ๊ณต์œ 
\lVert a\rVert^2 โˆ’0.01 โˆ’0.01 ๊ธ‰ํ•œ ์›€์ง์ž„ ์–ต์ œ action ๋ฒ”์œ„ [โˆ’1, 1]์ด๋ฉด step๋‹น ์ตœ๋Œ€ โˆ’0.06(ํŒ”)/โˆ’0.13(์†)

๋‘ ๊ฐ€์ง€๋ฅผ ์งš์–ด ๋‘”๋‹ค.

  • ๊ฑฐ๋ฆฌ ๋ณด์ƒ์€ ๋Œ€๋ถ€๋ถ„ โ€œ๊ณต์ด ํ˜ผ์ž ๋‚ ์•„์™€์„œโ€ ์ƒ๊ธด๋‹ค. r_{\text{dist}}๋Š” ๋ฌผ์ฒด ์œ„์น˜๋„ ์‹œ์ ๋ณ„๋กœ ๋ฐ”๋€Œ๋Š” ์ฐจ๋ถ„์ด๋ผ, ํŒ”์ด ๊ฐ€๋งŒํžˆ ์žˆ์–ด๋„ ๋ฌผ์ฒด๊ฐ€ ์† ์ชฝ์œผ๋กœ ๋‚ ์•„์˜ค๋ฉด ์–‘์ˆ˜๊ฐ€ ์Œ“์ธ๋‹ค. ์—ํ”ผ์†Œ๋“œ ํ•ฉ์€ ์ฒ˜์Œ๊ณผ ๋งˆ์ง€๋ง‰ ๊ฑฐ๋ฆฌ์˜ ์ฐจ๋กœ ์ •๋ฆฌ๋˜๋ฏ€๋กœ ๊ฒฝ๋กœ์— ๋œ ๋ฏผ๊ฐํ•˜๋‹ค. ๊ฒฐ๊ตญ ์ •์ฑ…์„ ์‹ค์งˆ์ ์œผ๋กœ ๊ฐ€๋ฅด๋Š” ์‹ ํ˜ธ๋Š” ๋งˆ์ง€๋ง‰ ์ˆœ๊ฐ„์˜ ์ ‘๊ทผ ๋ณด์ƒ๊ณผ +10์˜ ์„ฑ๊ณต ๋ณด์ƒ์ด๋‹ค(ํ•„์ž์˜ ํ•ด์„).
  • ์„ฑ๊ณตยท์ ‘๊ทผยท์ถฉ๋Œ์˜ ํŒ์ • ๊ธฐ์ค€์ด ๋ณธ๋ฌธ์— ์—†๋‹ค. โ€œsuccessful catchโ€, โ€œapproachโ€, โ€œcollisionโ€์ด binary indicator๋ผ๋Š” ๋ง๋ฟ์ด๊ณ , ๋ช‡ cm ์•ˆ์— ๋ช‡ step ๋จธ๋ฌผ๋Ÿฌ์•ผ ์„ฑ๊ณต์ธ์ง€, ์ ‘๊ทผ ๋ฌธํ„ฑ์ด ๋ฌด์—‡์ธ์ง€, ๋ฌด์—‡๊ณผ์˜ ์ถฉ๋Œ์ธ์ง€๊ฐ€ ๋น ์กŒ๋‹ค. ์ด ์ •์˜๊ฐ€ ๊ณง Table II์˜ S.R.๊ณผ T.R.์˜ ์ •์˜๋ผ๋Š” ์ ์—์„œ ์ค‘์š”ํ•œ ๋ˆ„๋ฝ์ด๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ์—์„œ ํ™•์ธํ•œ ๊ฐ’์€ ์•„๋ž˜ ์ฝ”๋“œ ์ ˆ์— ์ •๋ฆฌํ–ˆ๋‹ค.

์† agent์˜ ๋ณด์ƒ์— ์†๋ฐ”๋‹ฅ ํ•ญ์ด ๋“ค์–ด ์žˆ๋Š” ๊ฒƒ๋„ ํฅ๋ฏธ๋กญ๋‹ค. ์†์€ ์†๋ฐ”๋‹ฅ ์œ„์น˜๋ฅผ ์ง์ ‘ ์›€์ง์ผ ์ˆ˜ ์—†์œผ๋‹ˆ, ์ด ํ•ญ์€ ํŒ”์ด ์ž˜ํ•˜๋ฉด ์†๋„ ๋ณด์ƒ์„ ๋ฐ›๋Š” ํ˜‘๋ ฅ ์‹ ํ˜ธ๋‹ค. ๋ฐ˜๋Œ€๋กœ ํŒ” ๋ณด์ƒ์—๋Š” ์†๋ ํ•ญ์ด ์—†๋‹ค. ์—ญํ• ์„ ๋‚˜๋ˆด์ง€๋งŒ ๋ณด์ƒ์€ ์† ์ชฝ์œผ๋กœ๋งŒ ๋น„๋Œ€์นญํ•˜๊ฒŒ ๊ฒฐํ•ฉ๋ผ ์žˆ๋‹ค.

๋ฐฉ๋ฒ• โ‘ค: ํ•™์Šต ์ ˆ์ฐจ์™€ ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ (ยงIV-E)

skrl ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ MAPPO๋ฅผ ์“ฐ๋˜, ๋ณดํ†ต์˜ MAPPO๊ฐ€ agent ๊ฐ„ policyยทvalue network๋ฅผ ๊ณต์œ ํ•˜๋Š” ๊ฒƒ๊ณผ ๋‹ฌ๋ฆฌ ์ž์œ ๋„์™€ ์—ญํ• ์ด ๋‹ค๋ฅธ ๋‘ agent์— ๊ฐ์ž์˜ network๋ฅผ ์ค€๋‹ค. CTDE(centralized training, decentralized execution)๋ฅผ ๋”ฐ๋ฅธ๋‹ค.

ํ•ญ๋ชฉ ๋…ผ๋ฌธ ๊ธฐ์žฌ ๊ฐ’
network policyยทvalue ๋ชจ๋‘ FC 3์ธต [512, 256, 128], ELU
PPO clip \epsilon 0.2
ํ• ์ธ์œจ \gamma 0.99
KL divergence ๋ฌธํ„ฑ 0.016
๋ณ‘๋ ฌ ํ™˜๊ฒฝ 512๊ฐœ, NVIDIA RTX A6000 2์žฅ
ํ•™์Šต stepยท์‹œ๊ฐ„, learning rate, rollout ๊ธธ์ด, mini-batch ๋ฏธ๊ธฐ์žฌ

โ€œKL divergence ๋ฌธํ„ฑ 0.016โ€์ด PPO์˜ ์กฐ๊ธฐ ์ข…๋ฃŒ ๊ธฐ์ค€์ธ์ง€ learning rate ์Šค์ผ€์ค„๋Ÿฌ์˜ ๊ธฐ์ค€์ธ์ง€ ๋ณธ๋ฌธ๋งŒ์œผ๋กœ๋Š” ์•Œ ์ˆ˜ ์—†๋‹ค. ๊ณต๊ฐœ ์„ค์ •์—์„œ๋Š” ํ›„์ž๋‹ค(์•„๋ž˜ ์ฝ”๋“œ ์ ˆ).

๋ฐฉ๋ฒ• โ‘ฅ: system identification๊ณผ domain randomization (ยงIV-F)

ํ•™์Šต ์ „์— ์‹ค๋ฌผ ๋กœ๋ด‡์œผ๋กœ ๋‹ค์–‘ํ•œ ๊ด€์ ˆ ๊ณต๊ฐ„ ๊ถค์ ์„ ์‹คํ–‰ํ•ด ๊ธฐ๋กํ•˜๊ณ , ์‹œ๋ฎฌ์˜ ๊ด€์ ˆ ๋™์—ญํ•™ ํŒŒ๋ผ๋ฏธํ„ฐ(actuation gain, damping, friction, armature)๋ฅผ ๊ถค์  ์ถ”์ข… ์˜ค์ฐจ๊ฐ€ ์ตœ์†Œ๊ฐ€ ๋˜๋„๋ก ์ตœ์ ํ™”ํ•œ๋‹ค. ์‹๋ณ„ ๊ฒฐ๊ณผ์˜ ์˜ค์ฐจ๋‚˜ ์ตœ์ ํ™” ๋ฐฉ๋ฒ•์€ ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค. ๊ทธ ์œ„์— ๊ด€์ธกยทaction ๋…ธ์ด์ฆˆ์™€ Table I์˜ ๋ฌด์ž‘์œ„ํ™”๋ฅผ ๊ฑด๋‹ค.

๋Œ€์ƒ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฐฉ์‹ ๋ถ„ํฌ ๋ฒ”์œ„
ํŒ” ๊ด€์ ˆ stiffness scaling uniform [0.8, 1.2]
ํŒ” ๊ด€์ ˆ damping scaling uniform [0.8, 1.2]
ํŒ” action ๋…ธ์ด์ฆˆ additive Gaussian ฮผ=0, ฯƒ=0.03
ํŒ” ๊ด€์ธก ๋…ธ์ด์ฆˆ additive Gaussian ฮผ=0, ฯƒ=0.005
ํŒ” ์ดˆ๊ธฐ ๊ด€์ ˆ ์œ„์น˜ additive uniform [โˆ’0.125, 0.125]
์† ๊ด€์ ˆ stiffness scaling uniform [0.7, 1.3]
์† ๊ด€์ ˆ damping scaling uniform [0.7, 1.3]
์† action ๋…ธ์ด์ฆˆ additive Gaussian ฮผ=0, ฯƒ=0.02
์† ๊ด€์ธก ๋…ธ์ด์ฆˆ additive Gaussian ฮผ=0, ฯƒ=0.005
๋ฌผ์ฒด ์งˆ๋Ÿ‰ scaling uniform [0.5, 1.5]
๋ฌผ์ฒด ๋ฐ˜๋ฐœ๊ณ„์ˆ˜(restitution) set uniform [0.0, 0.5]

Table I์— ์นด๋ฉ”๋ผ์— ๊ด€ํ•œ ํ•ญ๋ชฉ์ด ํ•˜๋‚˜๋„ ์—†๋‹ค๋Š” ์ ์„ ๊ธฐ์–ตํ•ด ๋‘˜ ๋งŒํ•˜๋‹ค. ์ •์ฑ…์˜ ์œ ์ผํ•œ ๋ฌผ์ฒด ์ •๋ณด๊ฐ€ ๊ณ ์ • ์นด๋ฉ”๋ผ ์˜์ƒ ์ขŒํ‘œ์ธ๋ฐ, ์นด๋ฉ”๋ผ ์œ„์น˜ยท์ž์„ธยท๋‚ด๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐยท๋…ธ์ถœ ์ง€์—ฐ์„ ๋ฌด์ž‘์œ„ํ™”ํ•˜์ง€ ์•Š์•˜๋‹ค. ์‹ค๋ฌผ ์นด๋ฉ”๋ผ๋ฅผ ์‹œ๋ฎฌ๊ณผ ๊ฐ™์€ ์ž๋ฆฌ์— ์ •ํ™•ํžˆ ๋‘๋Š” ๊ฒƒ์ด ์ด ๋ฐฉ๋ฒ•์˜ ์ˆจ์€ ์ „์ œ๋‹ค.

์ง๊ด€: box 6๊ฐœ ์ˆซ์ž๊ฐ€ ๋ฌด์—‡์„ ๋งํ•ด ์ฃผ๊ณ  ๋ฌด์—‡์„ ๋ชป ํ•˜๋Š”๊ฐ€

์ด ์„ค๊ณ„๊ฐ€ ํ†ตํ•˜๋Š” ์ด์œ ๋Š” catching ๋ฌธ์ œ์˜ ๊ธฐํ•˜์— ์žˆ๋‹ค. ์นด๋ฉ”๋ผ๋Š” ๋กœ๋ด‡ ๋’ค ์œ„์ชฝ์—์„œ thrower ์ชฝ์„ ๋‚ด๋ ค๋‹ค๋ณธ๋‹ค(Fig. 6์˜ mono-cam view). ์ด ์‹œ์ ์—์„œ ๋ฌผ์ฒด๊ฐ€ ๋กœ๋ด‡ ์ชฝ์œผ๋กœ ๋‚ ์•„์˜ค๋ฉด ์˜์ƒ ์† box๋Š” (1) ํฌ๋ฌผ์„ ์„ ๋”ฐ๋ผ ์œ„๋กœ ๊ฐ”๋‹ค๊ฐ€ ์•„๋ž˜๋กœ ๋‚ด๋ ค์˜ค๊ณ , (2) ์ขŒ์šฐ๋กœ ์กฐ๊ธˆ ํ๋ฅด๋ฉฐ, (3) ๊ฐ€๊นŒ์›Œ์งˆ์ˆ˜๋ก ์ปค์ง„๋‹ค. ๋กœ๋ด‡ ์†๋„ ๊ฐ™์€ ์˜์ƒ์— ๋“ค์–ด์˜ค๋ฏ€๋กœ โ€œbox๊ฐ€ ํ™”๋ฉด ์•„๋ž˜์ชฝ, ์†์ด ์žˆ๋Š” ์ž๋ฆฌ๋กœ ๋‚ด๋ ค์˜จ๋‹คโ€๋Š” ์‚ฌ์‹ค ์ž์ฒด๊ฐ€ ์†์„ ์–ด๋””์— ๋‘˜์ง€ ์•Œ๋ ค ์ค€๋‹ค. 3D ์ขŒํ‘œ๋ฅผ ๋ณต์›ํ•˜์ง€ ์•Š์•„๋„, ์นด๋ฉ”๋ผ๊ฐ€ ๊ณ ์ •๋ผ ์žˆ๋Š” ํ•œ ์˜์ƒ ์ขŒํ‘œ์™€ ๋กœ๋ด‡ ๊ด€์ ˆ ๊ณต๊ฐ„ ์‚ฌ์ด์˜ ๋Œ€์‘์€ ์ •์ฑ…์ด ํ•™์Šต์œผ๋กœ ํก์ˆ˜ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ผ์ข…์˜ ๊ณ ์ • ์‹œ์  image-based visual servoing์„ RL๋กœ ํ•™์Šตํ•œ ๊ฒƒ์ด๋ผ๊ณ  ๋ณด๋ฉด ์ดํ•ด๊ฐ€ ์‰ฝ๋‹ค(ํ•„์ž์˜ ํ•ด์„).

๊ทธ๋ ‡๊ฒŒ ๋ณด๋ฉด ๊ฐ ํŠน์ง•์˜ ์—ญํ• ๋„ ์˜ˆ์ธกํ•  ์ˆ˜ ์žˆ๋‹ค.

  • ์ค‘์‹ฌ ์ขŒํ‘œ์™€ ๊ทธ ๋ณ€ํ™”๊ฐ€ ์ฃผ ์‹ ํ˜ธ๋‹ค. ์ˆ˜์ง ์„ฑ๋ถ„์€ ํฌ๋ฌผ์„ ์˜ ๋†’์ดยท์‹œ์ ์„, ์ˆ˜ํ‰ ์„ฑ๋ถ„์€ ์ขŒ์šฐ ๋ฐฉํ–ฅ์„ ์ค€๋‹ค. Only-Center๊ฐ€ ์‹œ๋ฎฌ์—์„œ ์ œ์•ˆ๋ฒ•๊ณผ 3%p ์ฐจ์ด๋ฐ–์— ์•ˆ ๋‚˜๋Š” ๊ฒƒ(Table II)๊ณผ ๋งž์•„๋–จ์–ด์ง„๋‹ค.
  • ํฌ๊ธฐ ๋ณ€ํ™”๋Š” ๊นŠ์ด ๋ฐฉํ–ฅ์˜ ์ •๋ณด์ง€๋งŒ ์•ฝํ•˜๋‹ค. ๋ฌผ์ฒด๊ฐ€ ์นด๋ฉ”๋ผ์—์„œ ๋ฉ€ ๋•Œ box๋Š” ์ˆ˜์‹ญ px์— ๋ถˆ๊ณผํ•˜๊ณ  step๋‹น ๋ณ€ํ™”๋Š” 1 px ์•ˆํŒŽ์ด๋‹ค. ๊ฒŒ๋‹ค๊ฐ€ ์ œ์•ˆ๋ฒ•์€ ์ ˆ๋Œ€ ํฌ๊ธฐ w,h๋ฅผ ๋ชจ๋ฅด๋ฏ€๋กœ Lee์˜ \tau ๊ฐ™์€ ๋น„์œจ ์‹ ํ˜ธ๋ฅผ ์ง์ ‘ ๋งŒ๋“ค ์ˆ˜ ์—†๋‹ค. ๊นŠ์ด ๋ฐฉํ–ฅ ์ •๋ณด๋Š” ์˜คํžˆ๋ ค โ€œbox๊ฐ€ ํ™”๋ฉด ์–ด๋””๊นŒ์ง€ ๋‚ด๋ ค์™”๋Š”๊ฐ€โ€๋ผ๋Š” ์ค‘์‹ฌ ์ขŒํ‘œ์— ์„ž์—ฌ ๋“ค์–ด์˜ฌ ๊ฐ€๋Šฅ์„ฑ์ด ํฌ๋‹ค.
  • Only-WH๊ฐ€ ์‹คํŒจํ•˜๋Š” ์ด์œ ๋„ ๋ถ„๋ช…ํ•˜๋‹ค. ํญยท๋†’์ด ์ •๋ณด๋งŒ์œผ๋กœ๋Š” ์ขŒ์šฐยท์ƒํ•˜ ๋ฐฉํ–ฅ์„ ์ „ํ˜€ ์•Œ ์ˆ˜ ์—†๋‹ค. ํฅ๋ฏธ๋กญ๊ฒŒ๋„ Only-WH(T.R. 8.03%)๋Š” ๋ฌผ์ฒด์˜ ์ดˆ๊ธฐ 3D ์œ„์น˜๋งŒ ๋ฐ›๋Š” w/o-PF(12.13%)๋ณด๋‹ค๋„ ๋‚ฎ๋‹ค. ์ดˆ๊ธฐ ์œ„์น˜๊ฐ€ ๋ฐฉํ–ฅ์„ ์ผ๋ถ€ ์•Œ๋ ค ์ฃผ๊ธฐ ๋•Œ๋ฌธ์œผ๋กœ ๋ณด์ด์ง€๋งŒ, ๋…ผ๋ฌธ์€ ์ด ์—ญ์ „์„ ์–ธ๊ธ‰ํ•˜์ง€ ์•Š๋Š”๋‹ค.

MARL ๋ถ„ํ•ด์˜ ์ง๊ด€์€ ์‹ ์šฉ ํ• ๋‹น์ด๋‹ค. ๋‹จ์ผ ์ •์ฑ…์—์„œ๋Š” ์†๊ฐ€๋ฝ 19๊ฐœ ๊ด€์ ˆ ์ค‘ 13๊ฐœ์˜ ์›€์ง์ž„์ด โ€œ์†๋ฐ”๋‹ฅ์ด ๋ฌผ์ฒด์— ๋‹ฟ์•˜๋‚˜โ€์— ๊ฑฐ์˜ ๊ธฐ์—ฌํ•˜์ง€ ์•Š๋Š”๋ฐ๋„ ๊ฐ™์€ ๋ณด์ƒ์„ ๊ณต์œ ํ•œ๋‹ค. ํŒ”๊ณผ ์†์„ ๋‚˜๋ˆ„๋ฉด ํŒ”์€ ์†๋ฐ”๋‹ฅ ์ ‘๊ทผ์—, ์†์€ ์†๋ ๋ชจ์œผ๊ธฐ์— ๋Œ€ํ•œ gradient๋ฅผ ๋œ ์„ž์ธ ํ˜•ํƒœ๋กœ ๋ฐ›๋Š”๋‹ค. Fig. 5์—์„œ S-A RL์ด ๋А๋ฆฌ๊ฒŒ ์˜ค๋ฅด๋Š” ๋ชจ์Šต์€ ์ด ์„ค๋ช…๊ณผ ๋งž๋Š”๋‹ค. ๋‹ค๋งŒ ์ด ์„ค๋ช…์€ โ€œ๋ณด์ƒ์„ ๋ถ„๋ฆฌํ•œ ํšจ๊ณผโ€์™€ โ€œnetwork๋ฅผ ๋ถ„๋ฆฌํ•œ ํšจ๊ณผโ€๋ฅผ ๊ตฌ๋ถ„ํ•˜์ง€ ์•Š๋Š”๋‹ค. ๊ฐ™์€ ๋‹จ์ผ ์ •์ฑ…์— ์—ญํ• ๋ณ„ ๋ณด์ƒ๋งŒ ๋‚˜๋ˆ  ์ค€ ๋Œ€์กฐ๊ตฐ์ด ์—†์–ด์„œ๋‹ค.

์‹คํ—˜ (ยงV)

ํ‰๊ฐ€ ์ง€ํ‘œ์™€ ํ”„๋กœํ† ์ฝœ (ยงV ์„œ๋‘)

  • Tracking rate(T.R.): ์†๋ฐ”๋‹ฅ์ด ๋˜์ง„ ๋ฌผ์ฒด์™€ ์ ‘์ด‰ํ•œ ์‹œํ–‰์˜ ๋น„์œจ. ํŒ” ์ œ์–ด ๋Šฅ๋ ฅ.
  • Success rate(S.R.): ์ ‘์ด‰ ํ›„ ๋–จ์–ด๋œจ๋ฆฌ์ง€ ์•Š๊ณ  ์•ˆ์ •์ ์œผ๋กœ ์žก์€ ์‹œํ–‰์˜ ๋น„์œจ. ์ „์ฒด catching ๋Šฅ๋ ฅ.
  • ๋ฌผ์ฒด๋Š” ๋ฌด์ž‘์œ„ ์ดˆ๊ธฐ ์œ„์น˜์—์„œ ๋ฌด์ž‘์œ„ ๋ฐฉํ–ฅยท์†๋„๋กœ ๋˜์ง„๋‹ค. ์‹œ๋ฎฌ์€ 100๊ฐœ ๋ณ‘๋ ฌ ํ™˜๊ฒฝ ร— 10ํšŒ = 1,000ํšŒ๋ฅผ ํ•™์Šต ๋ฌผ์ฒด์™€ ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด ๊ฐ๊ฐ์— ๋Œ€ํ•ด ์‹คํ–‰ํ•œ๋‹ค. ์‹ค๋ฌผ์€ ๋ฌผ์ฒด๋‹น 30ํšŒ๋‹ค.

โ€œ์ ‘์ด‰โ€๊ณผ โ€œ์•ˆ์ •์ ์œผ๋กœโ€์˜ ํŒ์ • ๊ธฐ์ค€์€ ๋ณธ๋ฌธ์— ์—†๋‹ค. ์‹ค๋ฌผ์—์„œ ์ ‘์ด‰์„ ๋ฌด์—‡์œผ๋กœ ํŒ์ •ํ–ˆ๋Š”์ง€(์˜์ƒ ํŒ๋…์ธ์ง€ ๋“ฑ)๋„ ์—†๋‹ค.

๋น„๊ต๊ตฐ (ยงV-A)

์ด๋ฆ„ ๋ฌด์—‡์„ ๋ฐ”๊ฟจ๋‚˜
w/o-PF pixel feature ์—†์Œ. ๋ฌผ์ฒด์˜ ์ดˆ๊ธฐ ์œ„์น˜์™€ ๋กœ๋ด‡ proprioception๋งŒ ๋ฐ›๋Š”๋‹ค
S-A RL ํŒ”๊ณผ ์†์„ PPO ๋‹จ์ผ agent๋กœ. ๊ด€์ธก๊ณผ ๋ณด์ƒ์„ ํ•ฉ์ณ ํ•™์Šต
Only-Center ์ค‘์‹ฌ ์ขŒํ‘œ (c_x, c_y)๋งŒ ์‚ฌ์šฉ
Only-WH ํญยท๋†’์ด (w, h)๋งŒ ์‚ฌ์šฉ

w/o-PF๊ฐ€ ๋ฐ›๋Š” โ€œ์ดˆ๊ธฐ ์œ„์น˜โ€๋Š” 3D ์ขŒํ‘œ๋กœ ์ฝํžˆ๋Š”๋ฐ, ๊ทธ๊ฒƒ์ด ์‹œ๋ฎฌ์˜ ์ •๋‹ต ์ขŒํ‘œ์ธ์ง€, ์‹ค๋ฌผ์—์„œ๋Š” ๋ฌด์—‡์œผ๋กœ ์Ÿ€๋Š”์ง€๋Š” ์ ํ˜€ ์žˆ์ง€ ์•Š๋‹ค(w/o-PF๋Š” ์‹ค๋ฌผ ํ‘œ์— ์—†๋‹ค). S-A RL์˜ โ€œ๊ด€์ธก๊ณผ ๋ณด์ƒ์„ ํ•ฉ์นœ๋‹คโ€๊ฐ€ ๋ณด์ƒ์„ ๋”ํ–ˆ๋‹ค๋Š” ๋œป์ธ์ง€, network ํฌ๊ธฐ๊ฐ€ ๊ฐ™์€์ง€๋„ ์—†๋‹ค. Only-Center๊ฐ€ \Delta c_x, \Delta c_y๋ฅผ ํฌํ•จํ•˜๋Š”์ง€, Only-WH๊ฐ€ ์ ˆ๋Œ€๊ฐ’ w,h๋ฅผ ์“ฐ๋Š”์ง€ ๋ณ€ํ™”๋Ÿ‰ \Delta w,\Delta h๋ฅผ ์“ฐ๋Š”์ง€๋„ ๋ถˆ๋ถ„๋ช…ํ•˜๋‹ค. ์•ž ์ ˆ์—์„œ ๋ณธ ๊ฒƒ์ฒ˜๋Ÿผ ์ œ์•ˆ๋ฒ• ์ž์ฒด๋Š” ์ ˆ๋Œ€ ํฌ๊ธฐ๋ฅผ ์“ฐ์ง€ ์•Š์œผ๋ฏ€๋กœ, ๋‘ ๋‹จ์ผ ๋‹จ์„œ ๋น„๊ต๊ตฐ์ด ์ œ์•ˆ๋ฒ•์˜ ํŠน์ง• ๋ฒกํ„ฐ๋ฅผ ๊น”๋”ํ•˜๊ฒŒ ๋‚˜๋ˆˆ ๊ฒƒ์ธ์ง€ ์›๋ฌธ๋งŒ์œผ๋กœ๋Š” ํ™•์ธํ•  ์ˆ˜ ์—†๋‹ค.

์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ฒฐ๊ณผ: ํ•™์Šต ๊ณก์„ ๊ณผ Table II (ยงV-B, ยงV-C)


ํ•™์Šต ์ค‘ tracking rate์™€ success rate. 3 seed ํ‰๊ท , ์Œ์˜์€ ํ‘œ์ค€ํŽธ์ฐจ(Fig. 5).
์ง€ํ‘œ ๋ฐฉ๋ฒ• ํ•™์Šต ๋ฌผ์ฒด ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด
T.R. (%) w/o-PF 12.13 ยฑ 1.27 12.11 ยฑ 1.9
Only-WH 8.03 ยฑ 0.6 6.11 ยฑ 0.35
Only-Center 87.07 ยฑ 1.62 87.5 ยฑ 1.53
S-A RL 78.2 ยฑ 1.32 75.83 ยฑ 2.00
์ œ์•ˆ๋ฒ• 89.97 ยฑ 0.21 89.28 ยฑ 0.79
S.R. (%) w/o-PF 8.93 ยฑ 1.04 7.89 ยฑ 1.46
Only-WH 5.53 ยฑ 0.51 4.00 ยฑ 0.17
Only-Center 81.27 ยฑ 0.76 80.72 ยฑ 0.38
S-A RL 63.5 ยฑ 0.85 65.44 ยฑ 2.25
์ œ์•ˆ๋ฒ• 84.13 ยฑ 0.50 84.83 ยฑ 1.17

Table II(์‹œ๋ฎฌ, 3 seed ํ‰๊ท ). ๊ฐ’๊ณผ ํ‘œ๊ธฐ๋Š” ์›๋ฌธ ๊ทธ๋Œ€๋กœ๋‹ค.

์ €์ž๋“ค์˜ ํ•ด์„์€ ๋‘ ์ค„์ด๋‹ค. pixel feature๊ฐ€ ์—†์œผ๋ฉด ๊ถค์ ์ด ๋‹ค์–‘ํ•ด ์ดˆ๊ธฐ ์œ„์น˜๋งŒ์œผ๋กœ๋Š” ์žก์„ ์ˆ˜ ์—†๊ณ , ์ค‘์‹ฌ ์ขŒํ‘œ์™€ ํฌ๊ธฐ๋ฅผ ํ•จ๊ป˜ ์“ฐ๋Š” ์ œ์•ˆ๋ฒ•์ด ๋‹จ์ผ ๋‹จ์„œ๋ณด๋‹ค โ€œconsistentlyโ€ ๋‚ซ๋‹ค๋Š” ๊ฒƒ. ๊ทธ๋ฆฌ๊ณ  MARL์ด S-A RL์„ โ€œconsistentlyโ€ ์ด๊ธด๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ํ‘œ์™€ ๊ทธ๋ฆผ์„ ํ•จ๊ป˜ ์ฝ์œผ๋ฉด ๋ช‡ ๊ฐ€์ง€๊ฐ€ ๋” ๋ณด์ธ๋‹ค.

  • ์ œ์•ˆ๋ฒ•๊ณผ Only-Center์˜ ์ฐจ์ด๋Š” ์ž‘๋‹ค. T.R. 2.9%p, S.R. 2.9%p(ํ•™์Šต ๋ฌผ์ฒด). ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด์—์„œ๋Š” T.R. 1.8%p๋‹ค. seed ๊ฐ„ ํ‘œ์ค€ํŽธ์ฐจ๋ณด๋‹ค๋Š” ํฌ์ง€๋งŒ, ํฌ๊ธฐ ๋ณ€ํ™” ํŠน์ง•์˜ ๊ธฐ์—ฌ๋กœ ์‹œ๋ฎฌ์—์„œ ๋ณด์ด๋Š” ๊ฒƒ์€ ์ด ์ •๋„๋‹ค.
  • โ€œ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒดโ€์—์„œ ์„ฑ๋Šฅ์ด ๋–จ์–ด์ง€์ง€ ์•Š๋Š”๋‹ค. ์ œ์•ˆ๋ฒ•์€ ์˜คํžˆ๋ ค S.R.์ด 0.7%p ๋†’๋‹ค. ๋ฌผ์ฒด ๋ชจ์–‘์ด box 6๊ฐœ ์ˆซ์ž๋กœ ์••์ถ•๋˜๋ฉด์„œ ๋ชจ์–‘ ์ •๋ณด๊ฐ€ ์ •์ฑ…์— ๊ฑฐ์˜ ์ „๋‹ฌ๋˜์ง€ ์•Š๊ธฐ ๋•Œ๋ฌธ์œผ๋กœ ๋ณด์ธ๋‹ค. ์ด๋Š” ๊ฐ•์ (๋ชจ์–‘์— ๋‘”๊ฐ)์ด๋ฉด์„œ ๋™์‹œ์— ์ด ํ‰๊ฐ€๊ฐ€ โ€œ๋ชจ์–‘ ์ผ๋ฐ˜ํ™”โ€๋ฅผ ๊ฑฐ์˜ ์‹œํ—˜ํ•˜์ง€ ๋ชปํ•œ๋‹ค๋Š” ๋œป์ด๊ธฐ๋„ ํ•˜๋‹ค.
  • ํ•™์Šต ๊ณก์„ ๊ณผ ํ‘œ์˜ ์ˆ˜์ค€์ด ๋‹ค๋ฅด๋‹ค. Fig. 5์˜ 100K step ๋ ๊ฐ’์„ ๊ทธ๋ฆผ์—์„œ ์ฝ์œผ๋ฉด ์ œ์•ˆ๋ฒ• T.R. โ‰ˆ 0.81 ยท S.R. โ‰ˆ 0.70, Only-Center โ‰ˆ 0.71 ยท 0.58, S-A RL โ‰ˆ 0.61 ยท 0.40์ด๋‹ค. ํ‘œ๋ณด๋‹ค ์ „๋ฐ˜์ ์œผ๋กœ 10~20%p ๋‚ฎ์€๋ฐ, ํ•™์Šต ์ค‘ ํ™•๋ฅ ์  action๊ณผ ๋…ธ์ด์ฆˆ๊ฐ€ ์„ž์ธ ๊ฐ’์ด๋ผ ๊ทธ๋Ÿด ์ˆ˜ ์žˆ๋‹ค. ๋ˆˆ์—ฌ๊ฒจ๋ณผ ๊ฒƒ์€ ์ œ์•ˆ๋ฒ•๊ณผ Only-Center์˜ ๊ฒฉ์ฐจ๊ฐ€ ๊ณก์„ ์—์„œ๋Š” ์•ฝ 10~12%p๋กœ ํ‘œ์˜ 3%p๋ณด๋‹ค ํ›จ์”ฌ ํฌ๋‹ค๋Š” ์ ์ด๋‹ค. ํ‰๊ฐ€ ์กฐ๊ฑด(๊ฒฐ์ •์  action ์—ฌ๋ถ€, ๋…ธ์ด์ฆˆ ์œ ๋ฌด)์ด ๋…ผ๋ฌธ์— ์ ํ˜€ ์žˆ์ง€ ์•Š์•„ ์–ด๋А ์ชฝ์ด โ€œํฌ๊ธฐ ํŠน์ง•์˜ ๊ธฐ์—ฌโ€์ธ์ง€ ํŒ๋‹จํ•  ์ˆ˜ ์—†๋‹ค.
  • S-A RL์€ ํ•™์Šต์ด ๋๋‚˜์ง€ ์•Š์•˜๋‹ค. Fig. 5์—์„œ S-A RL์˜ ๋‘ ๊ณก์„ ์€ 100K step์—์„œ๋„ ๋šœ๋ ทํ•˜๊ฒŒ ์˜ค๋ฅด๋Š” ์ค‘์ด๊ณ  ์Œ์˜(seed ๊ฐ„ ํŽธ์ฐจ)๋„ ๊ฐ€์žฅ ๋„“๋‹ค. ๊ฐ™์€ step ์˜ˆ์‚ฐ์—์„œ MARL์ด ๋นจ๋ฆฌ ๋ฐฐ์šด๋‹ค๋Š” ๊ฒƒ์€ ๋ณด์˜€์ง€๋งŒ, โ€œ์ˆ˜๋ ดํ•œ single-agent๋ณด๋‹ค ๋‚ซ๋‹คโ€๋Š” ๋ณด์ด์ง€ ์•Š์•˜๋‹ค. Table II์˜ S.R. 63.5%๋ฅผ single-agent์˜ ์„ฑ๋Šฅ ์ƒํ•œ์œผ๋กœ ์ฝ์œผ๋ฉด ์•ˆ ๋œ๋‹ค.

์‹ค๋ฌผ ๊ฒฐ๊ณผ: Table III, Fig. 6 (ยงV-D)


์‹ค๋ฌผ ๋ฐฐ์น˜ ์žฅ๋ฉด(Fig. 6). ์œ„ L-block, ์•„๋ž˜ cube. ๊ฐ ์Œ์˜ ์œ—์ค„ โ€œmono-cam viewโ€๋Š” ์„ค์น˜๋œ ์นด๋ฉ”๋ผ ์˜์ƒ์— SAM2 ๋ถ„ํ•  box๋ฅผ ๊ฒน์นœ ๊ฒƒ์ด๊ณ , ์•„๋žซ์ค„์€ ์ธก๋ฉด์—์„œ ๋ณธ ์žก๊ธฐ ์žฅ๋ฉด์ด๋‹ค.

์ •์ฑ…์€ ์ถ”๊ฐ€ fine-tuning ์—†์ด ์‹œ๋ฎฌ์—์„œ ๊ทธ๋Œ€๋กœ ์˜ฎ๊ฒผ๋‹ค. ๊ณผ์ œ๋Š” ์‚ฌ๋žŒ์ด ๋˜์ง„ ๋ฌผ์ฒด ์žก๊ธฐ๋‹ค.

์ง€ํ‘œ ๋ฐฉ๋ฒ• Cube L-block Triangle ํ‰๊ท (ํ•„์ž ๊ณ„์‚ฐ)
T.R. (%) Only-WH 0 0 0 0
Only-Center 57 54 54 55.0
S-A RL 50 43 47 46.7
์ œ์•ˆ๋ฒ• 73 73 70 72.0
S.R. (%) Only-WH 0 0 0 0
Only-Center 13 3 23 13.0
S-A RL 33 20 20 24.3
์ œ์•ˆ๋ฒ• 63 43 43 49.7

Table III(์‹ค๋ฌผ, ๋ฌผ์ฒด๋‹น 30ํšŒ). ํ‰๊ท  ์—ด์€ ํ•„์ž๊ฐ€ ์„ธ ๋ฌผ์ฒด ๊ฐ’์„ ๋‹จ์ˆœ ํ‰๊ท ํ•œ ๊ฒƒ์ด๋‹ค.

๋ณธ๋ฌธ์˜ ์š”์•ฝ ์ˆ˜์น˜(โ€œT.R. ์•ฝ 70%, S.R. ์•ฝ 50%โ€, โ€œS-A RL S.R. ์•ฝ 24%โ€)๋Š” ์ด ํ‰๊ท ๊ณผ ๋งž๋Š”๋‹ค. ์ €์ž๋“ค์˜ ํ•ด์„์€ ์ด๋ ‡๋‹ค.

  • Only-WH๋Š” ์ค‘์‹ฌ ์ขŒํ‘œ๊ฐ€ ์—†์–ด ๋ฐฉํ–ฅ์„ ๋ชจ๋ฅด๋ฏ€๋กœ ํ•œ ๋ฒˆ๋„ ๋ชป ์žก๋Š”๋‹ค.
  • Only-Center๋Š” ์ฒ˜์Œ ์ ‘์ด‰์€ ์ž์ฃผ ํ•˜์ง€๋งŒ, ํญยท๋†’์ด๊ฐ€ ์—†์–ด ์ƒ๋Œ€ ๊ฑฐ๋ฆฌยท์ ‘๊ทผ ์†๋„๋ฅผ ๋ชฐ๋ผ ์†์ด ํ”๋“ค๋ฆฌ๋‹ค ๋–จ์–ด๋œจ๋ฆฐ๋‹ค.
  • S-A RL์€ ๋ถ„ํฌ ๋ฐ– ๊ต๋ž€์ด ๊ณต์œ  ํ‘œํ˜„์„ ๋ง๊ฐ€๋œจ๋ ค ํŒ”๊ณผ ์† ์ œ์–ด๊ฐ€ ๋™์‹œ์— ๋ฌด๋„ˆ์ง„๋‹ค. MARL์€ ๋‘˜์„ ๋ถ„๋ฆฌํ•ด ๋” ๊ฐ•๊ฑดํ•˜๋‹ค.
  • ์ „๋ฐ˜์ ์ธ ์„ฑ๋Šฅ ์ €ํ•˜๋Š” ์‹ค๋ฌผ ๊ถค์ ์ด ๋ฌผ์ฒด ๋ณ€ํ˜•ยทํƒ„์„ฑยท๊ณต๊ธฐ์—ญํ•™ ๋•Œ๋ฌธ์— ์‹œ๋ฎฌ ๋ถ„ํฌ๋ฅผ ๋ฒ—์–ด๋‚˜๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค.

์ด ํ•ด์„๋“ค์€ ๋ชจ๋‘ ์‹คํ—˜์œผ๋กœ ํ™•์ธ๋˜์ง€ ์•Š์€ ์„ค๋ช…์ด๋‹ค. ํŠนํžˆ ์„ธ ๋ฒˆ์งธ(โ€œ๊ณต์œ  ํ‘œํ˜„์ด ๊นจ์ง„๋‹คโ€)๋Š” ์ธก์ •์ด ์—†๋Š” ์ถ”๋ก ์ด๊ณ , ์•ž์—์„œ ๋ณธ ๊ฒƒ์ฒ˜๋Ÿผ S-A RL์€ ์‹œ๋ฎฌ์—์„œ๋ถ€ํ„ฐ ๋œ ํ•™์Šต๋œ ์ƒํƒœ์˜€๋‹ค. ์‹ค๋ฌผ ๊ฒฉ์ฐจ์˜ ์ผ๋ถ€๋Š” ๋‹จ์ˆœํžˆ ํ•™์Šต ๋ถ€์กฑ์ผ ์ˆ˜ ์žˆ๋‹ค.

์ˆ˜์น˜ ์ž์ฒด๋„ ๋ช‡ ๊ฐ€์ง€ ์ ๊ฒ€์ด ํ•„์š”ํ•˜๋‹ค.

  • ๋ถ„๋ชจ 30์œผ๋กœ ๋˜๋Œ๋ ค ๋ณด๋ฉด ๋งž์ง€ ์•Š๋Š” ์นธ์ด ์žˆ๋‹ค. 73 = 22/30, 70 = 21/30, 63 = 19/30, 43 = 13/30์ฒ˜๋Ÿผ ๋Œ€๋ถ€๋ถ„์€ k/30์„ ๋ฐ˜์˜ฌ๋ฆผํ•œ ๊ฐ’์ด๋‹ค. ๊ทธ๋Ÿฐ๋ฐ Only-Center T.R.์˜ 54(L-block, Triangle)๋Š” k/30์œผ๋กœ ๋‚˜์˜ฌ ์ˆ˜ ์—†๋‹ค(16/30 = 53.3, 17/30 = 56.7). ์‹œํ–‰ ์ˆ˜๊ฐ€ 30์ด ์•„๋‹ˆ์—ˆ๊ฑฐ๋‚˜ ๊ธฐ์ž… ์˜ค๋ฅ˜์ผ ์ˆ˜ ์žˆ๋‹ค. ํ™•์ธ ๋ถˆ๊ฐ€.
  • ๋ฌผ์ฒด๋ณ„ ์ฐจ์ด๋Š” ํ†ต๊ณ„์ ์œผ๋กœ ์•ฝํ•˜๋‹ค. ์„ฑ๊ณต ํšŸ์ˆ˜๋กœ Fisher exact test๋ฅผ ํ•ด ๋ณด๋ฉด(ํ•„์ž ๊ณ„์‚ฐ), ์ œ์•ˆ๋ฒ• ๋Œ€ S-A RL์€ Cube์—์„œ๋งŒ p = 0.038์ด๊ณ  L-blockยทTriangle์€ ๊ฐ p = 0.095๋‹ค. ์„ธ ๋ฌผ์ฒด๋ฅผ ํ•ฉ์น˜๋ฉด 45/90 ๋Œ€ 22/90์œผ๋กœ p < 0.001์ด๋‹ค. ์ œ์•ˆ๋ฒ• ๋Œ€ Only-Center๋Š” CubeยทL-block์—์„œ p < 0.001, Triangle์—์„œ p = 0.17์ด๋‹ค. Wilson 95% ๊ตฌ๊ฐ„์œผ๋กœ ์ œ์•ˆ๋ฒ•์˜ Cube ์„ฑ๊ณต๋ฅ ์€ 45~78%, L-blockยทTriangle์€ 27~61%๋‹ค. โ€œํ•ฉ์ณ์„œ ๋ณด๋ฉด ๋ถ„๋ช…ํžˆ ๋‚ซ๋‹ค, ๋ฌผ์ฒด๋ณ„๋กœ๋Š” ์ผ๋ถ€๋งŒ ๊ตฌ๋ถ„๋œ๋‹คโ€๊ฐ€ ์ •ํ™•ํ•œ ์š”์•ฝ์ด๋‹ค.
  • seed์™€ thrower๊ฐ€ ํ•˜๋‚˜๋‹ค. ์‹ค๋ฌผ์— ์–ด๋А seed์˜ ์ •์ฑ…์„ ์˜ฌ๋ ธ๋Š”์ง€, ๋ช‡ ๋ช…์ด ๋˜์กŒ๋Š”์ง€, ๋˜์ง„ ์†๋„ยท๊ฑฐ๋ฆฌ์˜ ๋ถ„ํฌ๊ฐ€ ์–ด๋• ๋Š”์ง€, ๋กœ๋ด‡์˜ ์ž‘์—… ์˜์—ญ ๋ฐ–์œผ๋กœ ๋˜์ง„ ์‹œํ–‰์„ ์–ด๋–ป๊ฒŒ ์…Œ๋Š”์ง€๊ฐ€ ์—†๋‹ค. ์˜์ƒ๊ณผ Fig. 6์„ ๋ณด๋ฉด ํ•œ ์‚ฌ๋žŒ์ด ๋กœ๋ด‡ ์ •๋ฉด ๋ช‡ m ๋–จ์–ด์ง„ ๊ณณ์—์„œ ์•„๋ž˜๋กœ ๋˜์ง€๋Š”(underhand lob) ํ˜•ํƒœ๋‹ค.
  • w/o-PF๊ฐ€ ์‹ค๋ฌผ ํ‘œ์— ์—†๋‹ค. ์‹œ๋ฎฌ์—์„œ ์ตœํ•˜์œ„์˜€์œผ๋‹ˆ ์ƒ๋žตํ–ˆ์„ ์ˆ˜ ์žˆ์œผ๋‚˜ ์–ธ๊ธ‰์€ ์—†๋‹ค.

์‹ค๋ฌผ ์‹œ์—ฐ ์˜์ƒ์€ ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์— ๋ฌผ์ฒด๋ณ„๋กœ ์˜ฌ๋ผ์™€ ์žˆ๋‹ค. ์•„๋ž˜ ์œ—์ค„์€ Fig. 6๊ณผ ๊ฐ™์€ throwerยท์žฅ๋ฉด์ด๊ณ , ์•„๋žซ์ค„์€ ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๊ฐ€ โ€œCross-Scene & Cross-Throwerโ€๋กœ ๋ฌถ์€ ๋‹ค๋ฅธ throwerยท๋‹ค๋ฅธ ๋ฐฐ๊ฒฝ ์‹œ์—ฐ์ด๋‹ค(๋ฐฐ๊ฒฝ ํ”ฝ์…€์„ ์–ด๋‘ก๊ฒŒ ์ฒ˜๋ฆฌํ•ด SAM2 box๋ฅผ ์ž˜ ๋ณด์ด๊ฒŒ ํ–ˆ๋‹ค๋Š” ์„ค๋ช…์ด ๋ถ™์–ด ์žˆ๋‹ค). ์˜์ƒ์—๋Š” ์ผ๋ถ€ ๊ตฌ๊ฐ„์„ ร—0.3 ์Šฌ๋กœ๋ชจ์…˜์œผ๋กœ ๋ณด์—ฌ ์ค€๋‹ค๋Š” ํ‘œ์‹œ๊ฐ€ ํ™”๋ฉด์— ์žˆ๋‹ค. ์ด ์˜์ƒ๋“ค์˜ ์‹œํ–‰ ์ˆ˜ยท์„ฑ๊ณต ํŒ์ •์€ arXivํŒ ๋ณธ๋ฌธ์—์„œ ๋‹ค๋ฃจ์ง€ ์•Š๋Š”๋‹ค.


Cube

L-block

Triangle

Cube (๋‹ค๋ฅธ throwerยท์žฅ๋ฉด)

L-block (๋‹ค๋ฅธ throwerยท์žฅ๋ฉด)

Triangle (๋‹ค๋ฅธ throwerยท์žฅ๋ฉด)
์‹ค๋ฌผ ์‹œ์—ฐ ์˜์ƒ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€). ์œ—์ค„์€ ๊ธฐ๋ณธ throwerยท์žฅ๋ฉด, ์•„๋žซ์ค„์€ ๋‹ค๋ฅธ throwerยท์žฅ๋ฉด.

ํŒ ์ฐจ์ด: arXiv v1๊ณผ RA-LํŒ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€)

arXiv์—๋Š” v1(2026-02-26) ํ•˜๋‚˜๋งŒ ์žˆ๊ณ  ๋ถ€๋ก์€ ์—†๋‹ค. ๋ฐ˜๋ฉด ๋…ผ๋ฌธ์€ ์ดํ›„ RA-L์— ๊ฒŒ์žฌ๋๊ณ (์ฝ”๋“œ README์˜ ๊ณต์ง€๋Š” 2026-05-25 ์ฑ„ํƒ), ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์˜ ๊ฒฐ๊ณผ ํ‘œ๋Š” arXiv v1๊ณผ ๋‹ค๋ฅด๋‹ค. RA-L ๋ณธ๋ฌธ์€ ์ด ๊ธ€์—์„œ ๋Œ€์กฐํ•˜์ง€ ๋ชปํ–ˆ์œผ๋ฏ€๋กœ, ์•„๋ž˜๋Š” ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๊ฐ€ ๋ณด์—ฌ ์ฃผ๋Š” ํ‘œ๋ฅผ ์˜ฎ๊ธด ๊ฒƒ์ด๋‹ค.

์‹œ๋ฎฌ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€, 3 seed ํ‰๊ท ): arXiv Table II์˜ ๋‹ค์„ฏ ํ–‰์€ ๊ฐ’์ด ๊ฐ™๊ณ , 3D Pos ํ–‰์ด ์ถ”๊ฐ€๋๋‹ค. ํŽ˜์ด์ง€ ์„ค๋ช…์œผ๋กœ๋Š” โ€œ์‹œ๋ฎฌ์—์„œ๋งŒ ์–ป์„ ์ˆ˜ ์žˆ๋Š” oracle 3D ์ขŒํ‘œโ€๋ฅผ ์“ด ๋น„๊ต๊ตฐ์ด๋‹ค.

์ง€ํ‘œ ๋ฐฉ๋ฒ• ํ•™์Šต ๋ฌผ์ฒด ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด
T.R. (%) 3D Pos 93.33 ยฑ 0.55 91.83 ยฑ 1.16
์ œ์•ˆ๋ฒ• 89.97 ยฑ 0.21 89.28 ยฑ 0.79
S.R. (%) 3D Pos 90.43 ยฑ 1.27 89.10 ยฑ 1.39
์ œ์•ˆ๋ฒ• 84.13 ยฑ 0.50 84.83 ยฑ 1.17

์‹œ๋ฎฌ์—์„œ๋Š” ์ •๋‹ต 3D ์ขŒํ‘œ๋ฅผ ๋ฐ›๋Š” ์ •์ฑ…์ด S.R. 6.3%p ๋” ๋†’๋‹ค. ํŽ˜์ด์ง€๋Š” ์ด๋ฅผ โ€œ์ œ์•ˆ๋ฒ•์ด ๊ฑฐ์˜ ๊ฐ™์€ ์ˆ˜์ค€โ€์ด๋ผ๊ณ  ํ•ด์„ํ•œ๋‹ค.

์‹ค๋ฌผ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€, ์ •์ฑ…๋‹น 360ํšŒ = ๋ฌผ์ฒด 3 ร— thrower 2 ร— ๋ฐฐ๊ฒฝ 2 ร— 30ํšŒ)

์ง€ํ‘œ ๋ฐฉ๋ฒ• Cube L-block Triangle
T.R. (%) Only-WH 0.0 ยฑ 0.0 0.0 ยฑ 0.0 0.0 ยฑ 0.0
Only-Center 44.73 ยฑ 7.80 44.80 ยฑ 7.87 47.47 ยฑ 5.15
S-A RL 64.67 ยฑ 9.01 57.27 ยฑ 8.76 61.40 ยฑ 8.22
3D Pos 70.83 ยฑ 5.69 65.83 ยฑ 10.67 70.00 ยฑ 6.09
์ œ์•ˆ๋ฒ• 77.93 ยฑ 6.56 76.60 ยฑ 4.15 74.67 ยฑ 7.67
S.R. (%) Only-WH 0.0 ยฑ 0.0 0.0 ยฑ 0.0 0.0 ยฑ 0.0
Only-Center 15.27 ยฑ 7.33 10.60 ยฑ 8.37 17.27 ยฑ 3.52
S-A RL 31.27 ยฑ 5.55 34.00 ยฑ 8.63 30.00 ยฑ 6.67
3D Pos 45.83 ยฑ 5.00 44.17 ยฑ 4.19 35.83 ยฑ 5.69
์ œ์•ˆ๋ฒ• 60.60 ยฑ 4.30 51.27 ยฑ 6.60 46.60 ยฑ 4.77

ํŒ ์‚ฌ์ด์— ๋‹ฌ๋ผ์ง„ ์ ๊ณผ ์ด ํ‘œ์—์„œ ์ฝํžˆ๋Š” ์ ์„ ์ •๋ฆฌํ•œ๋‹ค.

  • 3D ์œ„์น˜ ๋น„๊ต๊ตฐ์ด ์ƒ๊ฒผ๋‹ค. arXivํŒ์— ๋Œ€ํ•œ ๊ฐ€์žฅ ํฐ ๋น„ํŒ(๋™๊ธฐ ์ฃผ์žฅ๊ณผ ์ง์ ‘ ๋น„๊ต๊ฐ€ ์—†์Œ)์— ๋Œ€ํ•œ ๋‹ต์ด๋‹ค. ์‹ค๋ฌผ์—์„œ ์ œ์•ˆ๋ฒ•์€ 3D Pos๋ณด๋‹ค S.R.์ด 7.1~14.8%p ๋†’๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ํŽ˜์ด์ง€๋Š” ์‹œ๋ฎฌ ํ‘œ ์•„๋ž˜์—์„œ 3D Pos๋ฅผ โ€œoracle 3D coordinates available only in simulationโ€(์‹œ๋ฎฌ์—์„œ๋งŒ ์–ป์„ ์ˆ˜ ์žˆ๋Š” oracle 3D ์ขŒํ‘œ)์„ ์“ฐ๋Š” ๋น„๊ต๊ตฐ์ด๋ผ๊ณ  ์„ค๋ช…ํ•˜๋ฉด์„œ, ๊ฐ™์€ ์ด๋ฆ„์˜ ํ–‰์„ ์‹ค๋ฌผ ํ‘œ์—๋„ ์‹ฃ๋Š”๋‹ค. ์‹œ๋ฎฌ์—์„œ๋งŒ ์–ป์„ ์ˆ˜ ์žˆ๋‹ค๋Š” ์ขŒํ‘œ๋ฅผ ์‹ค๋ฌผ์—์„œ ๋ฌด์—‡์œผ๋กœ ๋Œ€์‹ ํ–ˆ๋Š”์ง€(D435 depth์ธ์ง€, motion capture์ธ์ง€)๋Š” ํŽ˜์ด์ง€์— ์—†๋‹ค. ์ด ์ •๋ณด๊ฐ€ ์—†์œผ๋ฉด โ€œRGB ํŠน์ง•์ด depth ๊ธฐ๋ฐ˜ 3D ์ถ”์ •๋ณด๋‹ค sim-to-real์— ๊ฐ•ํ•˜๋‹คโ€๋Š” ๊ฒฐ๋ก ์˜ ๋ฌด๊ฒŒ๋ฅผ ํŒ๋‹จํ•  ์ˆ˜ ์—†๋‹ค.
  • thrower์™€ ๋ฐฐ๊ฒฝ์ด ๊ฐ 2๊ฐ€์ง€๋กœ ๋Š˜์—ˆ๋‹ค. arXivํŒ์˜ โ€œํ•œ ๋ช…์ด ๋˜์ง„ 30ํšŒโ€๋ผ๋Š” ์•ฝ์ ์„ ์ผ๋ถ€ ๋ณด์™„ํ•œ๋‹ค.
  • ๊ฐ™์€ ์ด๋ฆ„์˜ ๋น„๊ต๊ตฐ ์ˆ˜์น˜๊ฐ€ ํŒ๋งˆ๋‹ค ํฌ๊ฒŒ ๋‹ค๋ฅด๋‹ค. S-A RL์˜ ์‹ค๋ฌผ T.R.์€ arXiv 43~50%์—์„œ ํŽ˜์ด์ง€ 57~65%๋กœ ์˜ฌ๋ž๊ณ , Only-Center์˜ T.R.์€ 54~57%์—์„œ 45~47%๋กœ ๋‚ด๋ ค๊ฐ”๋‹ค. ์ œ์•ˆ๋ฒ•์˜ S.R.์€ 63/43/43์—์„œ 60.6/51.3/46.6์œผ๋กœ ๋ฐ”๋€Œ์—ˆ๋‹ค. ์กฐ๊ฑด์ด ๋Š˜์—ˆ์œผ๋‹ˆ ๊ฐ’์ด ๋ฐ”๋€Œ๋Š” ๊ฒƒ์€ ์ž์—ฐ์Šค๋Ÿฝ์ง€๋งŒ, ๊ฐ™์€ ์ •์ฑ…์„ ๋‹ค์‹œ ํ‰๊ฐ€ํ•œ ๊ฒƒ์ธ์ง€ ๋‹ค์‹œ ํ•™์Šตํ•œ ๊ฒƒ์ธ์ง€๋Š” ์•Œ ์ˆ˜ ์—†๋‹ค.
  • ์ง‘๊ณ„ ๋ฐฉ์‹์ด ํ–‰๋งˆ๋‹ค ๊ฐ™์€์ง€ ํ™•์ธ๋˜์ง€ ์•Š๋Š”๋‹ค. 3D Pos ํ–‰์˜ ๊ฐ’(70.83, 45.83, 35.83 ๋“ฑ)์€ ๋ชจ๋‘ ์ •ํ™•ํžˆ k/120์œผ๋กœ ๋–จ์–ด์ง„๋‹ค(๋ฌผ์ฒด๋‹น 120ํšŒ). ๋‹ค๋ฅธ ํ–‰์˜ ๊ฐ’(์˜ˆ: ์ œ์•ˆ๋ฒ• 60.60, Only-Center 44.73)์€ k/120๋กœ๋„, 30ํšŒ์”ฉ 4๊ฐœ ์กฐ๊ฑด์˜ ๋ฐฑ๋ถ„์œจ ํ‰๊ท ์œผ๋กœ๋„ ๋‚˜์˜ค์ง€ ์•Š๋Š”๋‹ค(ํ•„์ž ๊ฒ€์‚ฐ). ยฑ ๊ฐ’์ด ๋ฌด์—‡์˜ ํ‘œ์ค€ํŽธ์ฐจ์ธ์ง€(์กฐ๊ฑด ๊ฐ„์ธ์ง€ seed ๊ฐ„์ธ์ง€)๋„ ํŽ˜์ด์ง€์— ์—†๋‹ค.

๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋Œ€์กฐ (์ •์  ํ™•์ธ)

์ฝ”๋“œ๋Š” ๊ณต๊ฐœ๋ผ ์žˆ๋‹ค(seongdrgn/pixel2catch-github, ๊ธฐ์ค€ ์ปค๋ฐ‹ 32769d9). ์ด ์ ˆ์€ ๋ ˆํฌ ํŒŒ์ผ์„ ์ฝ์–ด ํ™•์ธํ•œ ์ •์  ๋Œ€์กฐ์ด๊ณ , ํ•™์Šต์„ ๋Œ๋ ค ์ˆ˜์น˜๋ฅผ ์žฌํ˜„ํ•œ ๊ฒƒ์ด ์•„๋‹ˆ๋‹ค. ์•„๋ž˜์˜ ๊ฐ’์€ ๋ชจ๋‘ ๋ ˆํฌ ๊ธฐ๋ณธ ์„ค์ •์ด๋ฉฐ, ๋…ผ๋ฌธ ์ˆ˜์น˜๋ฅผ ๋‚ธ ์‹คํ–‰์—์„œ ๊ฐ™์€ ๊ฐ’์„ ์ผ๋Š”์ง€๋Š” ๋ณด์žฅ๋˜์ง€ ์•Š๋Š”๋‹ค.

๊ณต๊ฐœ ๋ฒ”์œ„

README๊ฐ€ ๋ฐํžˆ๋Š” ๋Œ€๋กœ ๊ณต๊ฐœ๋œ ๊ฒƒ์€ ์‹œ๋ฎฌ ํ•™์Šต ์ฝ”๋“œ๋ฟ์ด๋‹ค. Isaac Lab์˜ direct task ํ•˜๋‚˜(catchpolicy/)์™€ skrl MAPPO ์„ค์ •, ๋กœ๋ด‡ยทํ…Œ์ด๋ธ” USD๊ฐ€ ๋“ค์–ด ์žˆ๋‹ค. ํ•™์Šต๊ธฐ๋Š” Isaac Lab ๋‚ด์žฅ skrl(skrl==1.4.3)์˜ MAPPO๋ฅผ ์ˆ˜์ • ์—†์ด ์“ด๋‹ค๊ณ  ์ ํ˜€ ์žˆ๋‹ค.

๊ฒฝ๋กœ ๋‚ด์šฉ
catchpolicy/__init__.py Gym task pixel2catch ๋“ฑ๋ก(DynamicCatchEnv)
catchpolicy/pixel2catch_cfg.py ์žฅ๋ฉดยท์นด๋ฉ”๋ผยท๋กœ๋ด‡ actuatorยท๋ฌผ์ฒดยท๋ฌด์ž‘์œ„ํ™” ์„ค์ •
catchpolicy/pixel2catch.py ํ™˜๊ฒฝ ๋กœ์ง: ๋˜์ง€๊ธฐ, bounding box ํŠน์ง•, ๊ด€์ธก, ๋ณด์ƒ, ์ข…๋ฃŒ
catchpolicy/agents/pixel2catch.yaml skrl MAPPO ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ
catchpolicy/assets/ UR5e + Allegro USDยทmesh, ํ…Œ์ด๋ธ” USD

๊ณต๊ฐœ๋˜์ง€ ์•Š์€ ๊ฒƒ๋„ ๋ถ„๋ช…ํžˆ ํ•ด ๋‘”๋‹ค. ์‹ค๋ฌผ ๋ฐฐ์น˜ ์ฝ”๋“œ(ROS2, SAM2 ๋ถ„ํ• , ํŠน์ง• ์ถ”์ถœ, 30 Hz ์ œ์–ด ๋ฃจํ”„), system identification ์ฝ”๋“œ์™€ ๊ถค์  ๋ฐ์ดํ„ฐ, ํ•™์Šต๋œ ์ฒดํฌํฌ์ธํŠธ, ๋…ผ๋ฌธ์˜ ํ‰๊ฐ€ ํ”„๋กœํ† ์ฝœ(100 env ร— 10ํšŒ)์„ ๊ตฌํ˜„ํ•œ ํ‰๊ฐ€ ์Šคํฌ๋ฆฝํŠธ, ์ฒ˜์Œ ๋ณด๋Š” ๊ฒ€์ฆ ๋ฌผ์ฒด 6์ข…(.gitignore๊ฐ€ assets/valid_objects/๋ฅผ ์ œ์™ธํ•œ๋‹ค), ๊ทธ๋ฆฌ๊ณ  ๋น„๊ต๊ตฐ ๋‹ค์„ฏ ๊ฐœ(w/o-PF, S-A RL, Only-Center, Only-WH, 3D Pos)์˜ ์„ค์ •์ด ๋ชจ๋‘ ์—†๋‹ค. ํ•™์Šต ์ค‘ ๋กœ๊ทธ๋กœ ๋‚จ๋Š” โ€œSuccess Rateโ€ยทโ€œTrack Rateโ€๋Š” ๋งˆ์ง€๋ง‰ 150๊ฐœ ์ข…๋ฃŒ ์—ํ”ผ์†Œ๋“œ์˜ ์ด๋™ ํ‰๊ท ์ด๋‹ค(pixel2catch.py:180-184, 367-389). Fig. 5 ๊ณก์„ ์ด ์ด ๊ฐ’์ด๋ผ๋ฉด ํ‘œ์™€ ์ˆ˜์ค€์ด ๋‹ค๋ฅธ ์ด์œ ์˜ ์ผ๋ถ€๊ฐ€ ์„ค๋ช…๋œ๋‹ค. ๋ ˆํฌ๋กœ ์žฌํ˜„ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์€ ์ œ์•ˆ๋ฒ•์˜ ์‹œ๋ฎฌ ํ•™์Šต๊นŒ์ง€๋‹ค. ๋ ˆํฌ์—๋Š” ๋ผ์ด์„ ์Šค ํŒŒ์ผ์ด ์—†๊ณ  README์— โ€œ๋ผ์ด์„ ์Šค๋ฅผ ์ •ํ•ด ์ถ”๊ฐ€ํ•  ๊ฒƒโ€์ด๋ผ๋Š” TODO ์ฃผ์„์ด ๋‚จ์•„ ์žˆ๋‹ค.

๋…ผ๋ฌธ์— ์—†๋˜ ๊ฐ’์ด ์ฝ”๋“œ์— ์žˆ๋Š” ๊ฒƒ

ํ•ญ๋ชฉ ์ฝ”๋“œ ๊ธฐ๋ณธ๊ฐ’ ๋…ผ๋ฌธ
์—ํ”ผ์†Œ๋“œ ๊ธธ์ด 3.0 s = 90 control step (pixel2catch_cfg.py:90) T ๋ฏธ๊ธฐ์žฌ
๋˜์ง€๊ธฐ ์ถœ๋ฐœ์  x 2.4~2.9 m, y ยฑ0.3 m, z 0.75~0.85 m (pixel2catch.py:483-485) ๋ณธ๋ฌธ ๋ฏธ๊ธฐ์žฌ(LaTeX ์†Œ์Šค์˜ ์ฃผ์„ ์ฒ˜๋ฆฌ๋œ Table I ํ–‰์—๋Š” y ยฑ0.35)
๋„์ฐฉ์ ยท์žก๋Š” ๋†’์ด x 0.65~0.85 m, y ยฑ0.35 m, z 0.9~1.1 m (:488-493) ๋ฏธ๊ธฐ์žฌ
์ •์  ๋†’์ด 1.6~1.9 m (:499-501, ์ฃผ์„์€ โ€œ1.6~2.0โ€) ๋ฏธ๊ธฐ์žฌ
๋˜์ง€๋Š” ์‹œ์  ์—ํ”ผ์†Œ๋“œ ์‹œ์ž‘ ํ›„ 5~19 step ์‚ฌ์ด ๋ฌด์ž‘์œ„. ๊ทธ ์ „์—๋Š” ๋ฌผ์ฒด๋ฅผ ๊ณต์ค‘์— ๋ถ™์žก์•„ ๋‘”๋‹ค (:221-256, 535-537) ๋ฏธ๊ธฐ์žฌ
์„ฑ๊ณต ํŒ์ • ์†๋ฐ”๋‹ฅ ๋งํฌ ์›์ -๋ฌผ์ฒด ์ค‘์‹ฌ ๊ฑฐ๋ฆฌ < 0.08 m๊ฐ€ ์—ฐ์† 20 step(์•ฝ 0.67 s). ์ ‘์ด‰ยท์†๊ฐ€๋ฝ ํŒŒ์ง€๋Š” ๊ฒ€์‚ฌํ•˜์ง€ ์•Š๋Š”๋‹ค (:283-290) โ€œ๋–จ์–ด๋œจ๋ฆฌ์ง€ ์•Š๊ณ  ์•ˆ์ •์ ์œผ๋กœโ€๋ฟ
์ข…๋ฃŒ ์กฐ๊ฑด ๋‚™ํ•˜ยท์‹œ๊ฐ„ ์ดˆ๊ณผยท์„ฑ๊ณต์—์„œ ์ข…๋ฃŒ (:307) โ€œ๋‚™ํ•˜ ๋˜๋Š” ์ตœ๋Œ€ stepโ€
tracking ํŒ์ • ์†๋ฐ”๋‹ฅ-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ < 0.08 m๊ฐ€ ํ•œ ๋ฒˆ์ด๋ผ๋„ (:286, 292) โ€œ์†๋ฐ”๋‹ฅ์ด ๋ฌผ์ฒด์™€ ์ ‘์ด‰โ€
๋‚™ํ•˜ ํŒ์ • ๋ฌผ์ฒด ๋†’์ด < 0.45 m ๋˜๋Š” x < 0.03 m (:295) ๋ฏธ๊ธฐ์žฌ
์ถฉ๋Œ ํŒ์ • ํ…Œ์ด๋ธ” ์ ‘์ด‰๋ ฅ ์ˆ˜ํ‰ ์„ฑ๋ถ„ > 1 N๋งŒ ์„ผ๋‹ค. ์ข…๋ฃŒํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋กœ๋ด‡-๋ฐ”๋‹ฅ ์ถฉ๋Œยท์ž๊ธฐ์ถฉ๋Œ์€ ํฌํ•จํ•˜์ง€ ์•Š๋Š”๋‹ค (:778-779) ๋ฏธ๊ธฐ์žฌ
์ ‘๊ทผ ์ง€์‹œ์ž \mathbb{1}_{app} ์†๋ฐ”๋‹ฅ-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ < 0.08 m์ธ ๋งค step (:831) ๋ฏธ๊ธฐ์žฌ
ํŒ” action ์ง์ „ target์— 0.05\times a (rad) ๋”ํ•จ (:260) โ€œํ˜„์žฌ ๊ด€์ ˆ ์œ„์น˜์— ๋”ํ•จโ€, ์Šค์ผ€์ผ ๋ฏธ๊ธฐ์žฌ
๋ฌผ์ฒด ๊ธฐ๋ณธ ์งˆ๋Ÿ‰ 0.03 kg ร— [0.5, 1.5] (pixel2catch_cfg.py:434, 68) ์Šค์ผ€์ผ๋งŒ ๊ธฐ์žฌ
ํ•™์Šต ๋ฌผ์ฒด ์›๋ฟ”ยท์›๊ธฐ๋‘ฅยท์ •์œก๋ฉด์ฒดยท๊ตฌยท์บก์А ร— 2ํฌ๊ธฐ, ๋ชจ๋‘ ๋…น์ƒ‰ (:325-427) Fig. 3๊ณผ ์ผ์น˜
์นด๋ฉ”๋ผ 640ร—480, ๋‚ด๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ f_x=618.163(์ˆ˜ํ‰ ์‹œ์•ผ๊ฐ ์•ฝ 54.7ยฐ), world ์ขŒํ‘œ (โˆ’0.39, 0.01, 2.2) m, ์•„๋ž˜๋กœ ์•ฝ 29ยฐ (:125-144) โ€œ๋กœ๋ด‡ ๋’ค 0.5 m, ์œ„ 2.2 mโ€
๋ณ‘๋ ฌ ํ™˜๊ฒฝ cfg ๊ธฐ๋ณธ๊ฐ’ 256 (pixel2catch_cfg.py:170-171), README ํ•™์Šต ๋ช…๋ น์€ --num_envs 512 512๊ฐœ, A6000 2์žฅ
๋กœ๋ด‡ ์ค‘๋ ฅ ๋” (pixel2catch_cfg.py:178). ํŒ”์€ ๊ด€์ ˆ๋ณ„๋กœ ๋‹ค๋ฅธ ์‹๋ณ„๊ฐ’(์˜ˆ: stiffness 2504, damping 342, friction 0.51, armature 0.16), ์†์€ 13๊ด€์ ˆ ๋ชจ๋‘ stiffness 3.0ยทdamping 0.1 (:216-280) sysID ์ˆ˜ํ–‰๋งŒ ๊ธฐ์žฌ
learning rate 5e-4, KLAdaptiveLR(kl_threshold 0.016, min_lr 1e-5) (agents/pixel2catch.yaml:47-50) โ€œKL ๋ฌธํ„ฑ 0.016โ€๋งŒ ๊ธฐ์žฌ
rolloutยทepochยทmini-batch 32 ยท 4 ยท 4, GAE ฮป 0.95, entropy 0, value loss 2.0 (:42-46, 64-65) ๋ฏธ๊ธฐ์žฌ
ํ•™์Šต ๊ธธ์ด 100,000 timestep (:79) Fig. 5 ๊ฐ€๋กœ์ถ• 100K์™€ ์ผ์น˜

์ด ๊ฐ’๋“ค๋กœ ๋ฐ”๋กœ ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์ด ์žˆ๋‹ค(ํ•„์ž ๊ณ„์‚ฐ). ์œ„ ๋ฒ”์œ„์˜ ๋˜์ง€๊ธฐ ๋ถ„ํฌ์—์„œ ๋น„ํ–‰ ์‹œ๊ฐ„์€ 0.71~0.94 s, ์ฆ‰ 21~28 control step์ด๊ณ , ์ถœ๋ฐœ ์†๋ ฅ์€ 4.4~5.4 m/s๋‹ค. ์ •์ฑ…์ด ๋ฐ˜์‘ํ•  ์ˆ˜ ์žˆ๋Š” ์‹œ๊ฐ„์€ ๋ฌผ์ฒด๊ฐ€ ๋‚ ์•„์˜ค๋Š” 1์ดˆ ๋‚จ์ง“์ด๋‹ค. ์„ฑ๊ณต์„ โ€œ8 cm ์•ˆ์— 0.67์ดˆ ๋จธ๋ฌด๋ฆ„โ€์œผ๋กœ ์ •์˜ํ•˜๋ฏ€๋กœ, ์†๊ฐ€๋ฝ์ด ์‹ค์ œ๋กœ ๋ฌผ์ฒด๋ฅผ ๊ฐ์ŒŒ๋Š”์ง€๋Š” ํŒ์ •์— ์ง์ ‘ ๋“ค์–ด๊ฐ€์ง€ ์•Š๋Š”๋‹ค. ๋ฌผ์ฒด๊ฐ€ ์†๋ฐ”๋‹ฅ์— ์–นํ˜€ ์žˆ์–ด๋„ ์„ฑ๊ณต์ด๋‹ค. ๋…ผ๋ฌธ์ด ์† agent์˜ ๊ธฐ์—ฌ๋ฅผ ๋งํ•  ๋•Œ ์ด ์ •์˜๋ฅผ ํ•จ๊ป˜ ์ฝ์–ด์•ผ ํ•œ๋‹ค.

์นด๋ฉ”๋ผ ์œ„์น˜๋Š” ์ฝ”๋“œ๊ฐ€ x = โˆ’0.39 m, ๊ทธ๋ฆผ์ด 0.5 m๋กœ ๋‹ค๋ฅด๋‹ค. ๋†’์ด 2.2 m๋„ ์ฝ”๋“œ์—์„œ๋Š” ๋ฐ”๋‹ฅ ๊ธฐ์ค€์ด๋‹ค. ๋กœ๋ด‡ base๊ฐ€ (0, 0, 0.821)์— ์žˆ์œผ๋ฏ€๋กœ ๋กœ๋ด‡ ๊ธฐ์ค€์œผ๋กœ๋Š” ์•ฝ 1.38 m ์œ„๋‹ค. Fig. 2๋Š” 2.2 m๋ฅผ ๋กœ๋ด‡ ์˜†์— ๊ทธ๋ ค ๋กœ๋ด‡ ๊ธฐ์ค€์ฒ˜๋Ÿผ ์ฝํžŒ๋‹ค. ๊ทธ๋ฆผ ํ‘œ๊ธฐ๊ฐ€ ๋Œ€๋žต์น˜์ผ ์ˆ˜ ์žˆ๊ณ , ์‹ค๋ฌผ ์นด๋ฉ”๋ผ๊ฐ€ ์ •ํ™•ํžˆ ์–ด๋”” ์žˆ์—ˆ๋Š”์ง€๋Š” ํ™•์ธ ๋ถˆ๊ฐ€๋‹ค.

๋…ผ๋ฌธ ์„œ์ˆ ๊ณผ ์ฝ”๋“œ๊ฐ€ ๋‹ค๋ฅธ ๊ณณ

  1. ๊ด€์ธก ๊ตฌ์„ฑ์€ ๋ณธ๋ฌธ์ด ์•„๋‹ˆ๋ผ Fig. 2์™€ ์ผ์น˜ํ•œ๋‹ค. ๋ณธ๋ฌธ๋Œ€๋กœ ์„ธ๋ฉด ํ”„๋ ˆ์ž„๋‹น ํŒ” 25์ฐจ์›, ์† 39์ฐจ์›์ธ๋ฐ, ์ฝ”๋“œ๋Š” ํŒ”์ด ์†๋ฐ”๋‹ฅ ์œ„์น˜(3)ยท์œ„์น˜ ๋ณ€ํ™”(3)ยท์ž์„ธ ์ฟผํ„ฐ๋‹ˆ์–ธ(4)ยท๊ด€์ ˆ ์œ„์น˜(6)ยทํ˜„์žฌ target(6)ยท์ง์ „ action(6)ยทz_{pixel}(6) = 34, ์†์ด ๊ฐ™์€ ๊ตฌ์„ฑ์œผ๋กœ 55๋‹ค(pixel2catch.py:710-758, pixel2catch_cfg.py:94-95). critic ์ƒํƒœ๋Š” ํ”„๋ ˆ์ž„๋‹น 82์ฐจ์›์œผ๋กœ ๋ฌผ์ฒด ์œ„์น˜ยท์œ„์น˜ ๋ณ€ํ™”ยท์†-๋ฌผ์ฒด ์ƒ๋Œ€ ์œ„์น˜(3์ฐจ์› ๋ฒกํ„ฐ)๋ฅผ privileged๋กœ ๋ฐ›๋Š”๋‹ค(:676-708). ๋ณธ๋ฌธ ยงIV-C์˜ โ€œpose 7 + ๊ด€์ ˆ + actionโ€๊ณผ โ€œprivileged๋Š” ๋ฌผ์ฒด ์œ„์น˜๋ฟโ€์€ ์‹ค์ œ๋ณด๋‹ค ์ ๊ฒŒ ์„œ์ˆ ํ•œ ๊ฒƒ์ด๋‹ค.
    • ๋‹ค๋งŒ ๊ทธ์ค‘ ์œ„์น˜ ๋ณ€ํ™” ๋‘ ์นธ์€ ๊ด€์ธก ์‹œ์ ์— ํ•ญ์ƒ 0์œผ๋กœ ์ฝํžŒ๋‹ค(์ •์  ํŒ์ •, ์‹คํ–‰ ๋ฏธํ™•์ธ). ์†๋ฐ”๋‹ฅยท๋ฌผ์ฒด ์œ„์น˜๋ฅผ ๊ฐฑ์‹ ํ•˜๋Š” _compute_intermediate_values๋Š” ์ข…๋ฃŒ ํŒ์ •(:280)ยท๋ณด์ƒ(:319)ยทreset(:438)์—์„œ๋งŒ ๋ถˆ๋ฆฌ๊ณ  ๊ด€์ธก ํ•จ์ˆ˜(:541~)์—์„œ๋Š” ๋ถˆ๋ฆฌ์ง€ ์•Š๋Š”๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ๋ณด์ƒ ํ•จ์ˆ˜ ๋์—์„œ prev_hand_posยทprev_object_pos๋ฅผ ํ˜„์žฌ ๊ฐ’์œผ๋กœ ๋ฎ์–ด์“ฐ๊ณ (:360-361), reset ๊ฒฝ๋กœ๋„ ๊ฐ™์€ ์ผ์„ ํ•œ๋‹ค(:446-447). ๊ทธ ๋’ค ๊ด€์ธก์—์„œ ๊ณ„์‚ฐํ•˜๋Š” \Delta pos_{eef} = hand_pos โˆ’ prev_hand_pos์™€ \Delta pos_{obj} = object_pos โˆ’ prev_object_pos(:575-576)๋Š” ๊ฐ™์€ ๊ฐ’๋ผ๋ฆฌ์˜ ์ฐจ๋ผ 0์ด ๋œ๋‹ค. ๋ฐ˜๋ฉด z_{pixel}์˜ ์ฐจ๋ถ„์€ ์ง์ „ box๋ฅผ ๊ด€์ธก ๋’ค์— ๊ฐฑ์‹ ํ•˜๋ฏ€๋กœ(:582) ์ •์ƒ์ด๋‹ค. ๋”ฐ๋ผ์„œ ์‹ค์ œ๋กœ ์ •๋ณด๊ฐ€ ๋“ค์–ด ์žˆ๋Š” ์นธ์€ ํ”„๋ ˆ์ž„๋‹น ํŒ” 31, ์† 52, critic 76์ด๊ณ , Fig. 2์˜ โ€œEnd-effector Pos diff.โ€์™€ privileged โ€œObject Pos diff.โ€๋Š” ๊ณต๊ฐœ ์ฝ”๋“œ์—์„œ ์ƒ์ˆ˜ 0์ด๋‹ค. ๋‘ ํ”„๋ ˆ์ž„์„ ์Œ“์•„ ๋„ฃ์œผ๋ฏ€๋กœ ์ •์ฑ…์ด ์œ„์น˜ ์ฐจ์ด๋ฅผ ์Šค์Šค๋กœ ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ์–ด ์น˜๋ช…์  ๊ฒฐํ•จ์€ ์•„๋‹ˆ์ง€๋งŒ, ๊ทธ๋ฆผ๊ณผ ์ฝ”๋“œ๊ฐ€ โ€œ๊ฐ™์€ ์ฐจ์›โ€์œผ๋กœ ์ผ์น˜ํ•œ๋‹ค๊ณ  ํ•ด์„œ ๊ฐ™์€ ์ •๋ณด๊ฐ€ ๋“ค์–ด๊ฐ„๋‹ค๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค. ์ฝ”๋“œ README๋Š” privileged ํ•ญ๋ชฉ์„ โ€œ์†-๋ฌผ์ฒด ๊ฑฐ๋ฆฌโ€๋ผ๊ณ  ์ ์—ˆ์ง€๋งŒ ์‹ค์ œ๋กœ๋Š” ์Šค์นผ๋ผ ๊ฑฐ๋ฆฌ๊ฐ€ ์•„๋‹ˆ๋ผ ์ƒ๋Œ€ ์œ„์น˜ ๋ฒกํ„ฐ๋‹ค. ๋‘ agent๋Š” network๋ฅผ ๊ณต์œ ํ•˜์ง€ ์•Š๊ณ , ๋‘ critic์€ ๊ฐ™์€ ์ค‘์•™ ์ƒํƒœ๋ฅผ ๋ฐ›๋Š”๋‹ค(skrl MAPPO์˜ agent๋ณ„ model ์ƒ์„ฑ).
  2. z_{pixel}์€ ์‹ (1)๊ณผ ๊ฐ™๊ณ  ์ ˆ๋Œ€ ํฌ๊ธฐ๋Š” ์—†๋‹ค. cur_pf = [c_x/W, c_y/H, ฮ”c_x, ฮ”c_y, ฮ”w, ฮ”h](:554-564). ์ค‘์‹ฌ ์ขŒํ‘œ๋Š” ์˜์ƒ ํฌ๊ธฐ๋กœ ์ •๊ทœํ™”ํ•˜์ง€๋งŒ ์ฐจ๋ถ„ 4๊ฐœ๋Š” ์ •๊ทœํ™”ํ•˜์ง€ ์•Š์€ px ๋‹จ์œ„๋‹ค(skrl์˜ RunningStandardScaler๊ฐ€ ์ž…๋ ฅ ํ‘œ์ค€ํ™”๋ฅผ ๋งก๋Š”๋‹ค). ์ง์ „ box(prev_bbox_info)๋Š” ์—ํ”ผ์†Œ๋“œ reset์—์„œ ์ดˆ๊ธฐํ™”๋˜์ง€ ์•Š์•„(:582๊ฐ€ ์œ ์ผํ•œ ๊ฐฑ์‹ ), ์ƒˆ ์—ํ”ผ์†Œ๋“œ์˜ ์ฒซ ์ฐจ๋ถ„์€ ์ด์ „ ์—ํ”ผ์†Œ๋“œ์˜ ๋งˆ์ง€๋ง‰ box๋ฅผ ๊ธฐ์ค€์œผ๋กœ ๊ณ„์‚ฐ๋œ๋‹ค. ์ •๊ทœํ™”ํ•œ ์ ˆ๋Œ€ ํญยท๋†’์ด(norm_len_w, norm_len_h)๋Š” ๊ณ„์‚ฐ๋งŒ ํ•˜๊ณ  ์–ด๋””์—๋„ ์“ฐ์ง€ ์•Š๋Š”๋‹ค(:556-557). ์„ค์ •์˜ ๊ด€์ธก ์ฐจ์›์ด 36-2, 57-2, 84-2๋กœ ์ ํ˜€ ์žˆ๋Š” ๊ฒƒ(pixel2catch_cfg.py:94-96)๋„ ์›๋ž˜ w,h ๋‘ ์นธ์ด ์žˆ๋‹ค๊ฐ€ ๋น ์ง„ ํ”์ ์œผ๋กœ ๋ณด์ธ๋‹ค(์ถ”์ •). pf_queue_len ์„ค์ •์€ ์ฝ๋Š” ๊ณณ์ด ์—†๋‹ค(pixel2catch_cfg.py:487). ๋…ผ๋ฌธ์˜ Only-WH๋Š” (w, h)๋ฅผ ์“ด๋‹ค๊ณ  ์ •์˜๋ผ ์žˆ์œผ๋ฏ€๋กœ, \Delta w,\Delta h๋งŒ ์“ฐ๋Š” ์ œ์•ˆ๋ฒ•๊ณผ๋Š” ์ž…๋ ฅ์˜ ์ข…๋ฅ˜(์ ˆ๋Œ€๊ฐ’ ๋Œ€ ๋ณ€ํ™”๋Ÿ‰)๋ถ€ํ„ฐ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ๋‹ค. ๋‘ ํ–‰์„ โ€œํฌ๊ธฐ ํŠน์ง•์˜ ์œ ๋ฌดโ€ ๋น„๊ต๋กœ ์ฝ์„ ๋•Œ ์ฃผ์˜๊ฐ€ ํ•„์š”ํ•˜๋‹ค.
  3. ์‹œ๋ฎฌ์˜ bounding box๋Š” SAM2๊ฐ€ ์•„๋‹ˆ๋ผ ์ƒ‰ ๋ฌธํ„ฑ์ด๋‹ค. ๋ Œ๋”๋ง๋œ RGB์—์„œ ๋…น์ƒ‰ ๋ฒ”์œ„ [0,120,0]~[100,244,100] ํ”ฝ์…€์„ ๋งˆ์Šคํฌ๋กœ ์žก์•„ box๋ฅผ ๋งŒ๋“ ๋‹ค(:592-674). ํ•™์Šต ๋ฌผ์ฒด๊ฐ€ ๋ชจ๋‘ ๋…น์ƒ‰์ธ ์ด์œ ๋‹ค. ์‹œ๋ฎฌ ๋ถ„ํ• ์€ ์‚ฌ์‹ค์ƒ ์™„๋ฒฝํ•˜๊ณ , ์‹ค๋ฌผ SAM2์™€์˜ ์ฐจ์ด๋Š” ๊ผญ์ง“์  ๋…ธ์ด์ฆˆ์™€ ์ง€์—ฐ(5๋ฒˆ)์œผ๋กœ ํ‰๋‚ด ๋‚ธ๋‹ค. ๋ฐ˜๋Œ€๋กœ Fig. 3(a)์˜ ์ฒ˜์Œ ๋ณด๋Š” ๊ฒ€์ฆ ๋ฌผ์ฒด 6์ข…์€ ์ง„ํ•œ ์ดˆ๋ก 1์ข…์„ ๋นผ๋ฉด ๋ถ„ํ™ยทํ•˜๋Š˜ยท๋ณด๋ผยท์ฃผํ™ฉยทํŒŒ๋ž‘์œผ๋กœ ์น ํ•ด์ ธ ์žˆ์–ด, ๋Œ€๋ถ€๋ถ„ ์ด ๋…น์ƒ‰ ๋ฌธํ„ฑ์œผ๋กœ๋Š” box๋ฅผ ์–ป์„ ์ˆ˜ ์—†๋‹ค. ๊ฒ€์ฆ ๋ฌผ์ฒด asset ์ž์ฒด๋„ .gitignore๊ฐ€ assets/valid_objects/๋ฅผ ์ œ์™ธํ•ด ๋ ˆํฌ์— ์—†๋‹ค(.gitignore:26). Table II์˜ โ€œUnseen Objectsโ€ ํ‰๊ฐ€๋Š” ๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋‹ค๋ฅธ ๋ถ„ํ•  ๊ฒฝ๋กœ๋ฅผ ์ผ๋‹ค๋Š” ๋œป์ด๊ณ , ๊ทธ ๊ฒฝ๋กœ๋Š” ๊ณต๊ฐœ๋˜์ง€ ์•Š์•˜๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ๋งŒ์œผ๋กœ๋Š” unseen ํ‰๊ฐ€๋ฅผ ๊ตฌ์„ฑํ•  ์ˆ˜ ์—†๋‹ค.
  4. ๊ผญ์ง“์  ๋…ธ์ด์ฆˆ๋Š” ๋งค step ๋…๋ฆฝ์ด๋‹ค. torch.randint(-5, 5)๋กœ ๋„ค ์ขŒํ‘œ์— ๊ฐ๊ฐ โˆ’5~+4 px๋ฅผ ๋”ํ•œ๋‹ค(:628-633). ๋…ผ๋ฌธ์˜ โ€œ์ตœ๋Œ€ 5 pxโ€์™€ ๋งž๋Š”๋‹ค.
  5. ๋…ผ๋ฌธ์— ์—†๋Š” ๊ด€์ธก ์ง€์—ฐ์ด ์žˆ๋‹ค. pixel feature๋ฅผ 1~2 control step(์•ฝ 33~67 ms) ๋Šฆ๊ฒŒ ์ •์ฑ…์— ์ฃผ๋Š” latency buffer๊ฐ€ ์žˆ๊ณ , ์ง€์—ฐ step ์ˆ˜๋ฅผ ์—ํ”ผ์†Œ๋“œ๋งˆ๋‹ค ๋ฌด์ž‘์œ„๋กœ ์ •ํ•œ๋‹ค(:164-172, 476-478, 566-571). ์‹ค๋ฌผ SAM2 ํŒŒ์ดํ”„๋ผ์ธ์˜ ์ง€์—ฐ์„ ํ‰๋‚ด ๋‚ธ ๊ฒƒ์œผ๋กœ ๋ณด์ด๋Š”๋ฐ, sim-to-real์˜ ํ•ต์‹ฌ ์žฅ์น˜์ผ ์ˆ˜ ์žˆ๋Š” ์ด ์„ค๊ณ„๊ฐ€ ๋…ผ๋ฌธ์—๋Š” ํ•œ ์ค„๋„ ์—†๋‹ค.
  6. ๋…ผ๋ฌธ์— ์—†๋Š” ๋ฌด์ž‘์œ„ํ™”๊ฐ€ ๋” ์žˆ๋‹ค. ๋ฌผ์ฒด ๋งˆ์ฐฐ(์ •์ง€ 0.5~1.0, ๋™์  1.0~1.5๋กœ ๋™์  ๋งˆ์ฐฐ์ด ์ •์ง€ ๋งˆ์ฐฐ๋ณด๋‹ค ํฌ๋‹ค, pixel2catch_cfg.py:79-80), actionยท๊ด€์ธก ๋…ธ์ด์ฆˆ์˜ ์—ํ”ผ์†Œ๋“œ๋ณ„ bias(:147-165)๊ฐ€ Table I์— ์—†๋‹ค. ์ดˆ๊ธฐ ๊ด€์ ˆ ์œ„์น˜ ยฑ0.125๋Š” Table I์— ํŒ” ํ–‰์œผ๋กœ๋งŒ ์ ํ˜€ ์žˆ์ง€๋งŒ ์ฝ”๋“œ๋Š” ์†์„ ํฌํ•จํ•œ ์ „ ๊ด€์ ˆ์— ๊ฑด๋‹ค(pixel2catch.py:406-411).
    • action bias๋Š” operation="add"๋กœ ์„ค์ •๋ผ ์žˆ๋‹ค(pixel2catch_cfg.py:149, 153). Isaac Lab์˜ NoiseModelWithAdditiveBias๋Š” reset ๋•Œ bias = func(bias)๋กœ ๊ฐฑ์‹ ํ•˜๋ฏ€๋กœ, โ€œaddโ€๋ฉด ์ƒˆ ํ‘œ๋ณธ์œผ๋กœ ๋ฐ”๊พธ๋Š” ๋Œ€์‹  ๊ธฐ์กด bias์— ๋”ํ•œ๋‹ค. ๊ทธ๋Ÿฌ๋ฉด ์—ํ”ผ์†Œ๋“œ๊ฐ€ ๊ฑฐ๋“ญ๋ ์ˆ˜๋ก bias๊ฐ€ random walkํ•œ๋‹ค. 100,000 step รท 90 step์œผ๋กœ reset์ด ์ตœ์†Œ 1,111๋ฒˆ์ด๋ฉด ํ‘œ์ค€ํŽธ์ฐจ๊ฐ€ ํŒ” 0.33, ์† 0.17 ์ด์ƒ๊นŒ์ง€ ์ปค์ง„๋‹ค(action ๋ฒ”์œ„ [โˆ’1, 1] ๋Œ€๋น„, clamp ์ „, ์ •์  ์œ ๋„). ๊ด€์ธก bias๋Š” โ€œabsโ€๋ผ ๋ˆ„์ ๋˜์ง€ ์•Š๋Š”๋‹ค. ์ด ํ•ด์„์€ ์ €์ž๊ฐ€ ์“ด Isaac Lab ํŒ์ด ํ™•์ธ ๊ฐ€๋Šฅํ•œ ํŒ๋“ค๊ณผ ๊ฐ™์€ reset ๊ตฌํ˜„์„ ๊ฐ€์กŒ๋‹ค๋Š” ์ „์ œ ์œ„์— ์žˆ๊ณ , ์‹คํ–‰์œผ๋กœ ํ™•์ธํ•œ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ๋งž๋‹ค๋ฉด ํ•™์Šต ํ›„๋ฐ˜์˜ action์—๋Š” ์˜๋„๋ณด๋‹ค ํ›จ์”ฌ ํฐ ๊ณ ์ • ์˜คํ”„์…‹์ด ์„ž์˜€์„ ์ˆ˜ ์žˆ๋‹ค.
  7. ๋ณด์ƒ์— ๋…ผ๋ฌธ์— ์—†๋Š” ํ•ญ์ด ์žˆ๋‹ค. ์†๋ฐ”๋‹ฅ์ด 8 cm ์•ˆ์— 5 step(์•ฝ 0.17 s) ์ด์ƒ ๋จธ๋ฌผ๋ฉด ํŒ” action ํŽ˜๋„ํ‹ฐ๋ฅผ 50๋ฐฐ๋กœ ํ‚ค์šด๋‹ค(pixel2catch.py:851). ์‹คํšจ \lambda_{act}๊ฐ€ 0.5๊ฐ€ ๋˜๋Š” ์…ˆ์ด๊ณ , ์žก์€ ๋’ค ํŒ”์„ ๋ฉˆ์ถ”๊ฒŒ ํ•˜๋Š” ์žฅ์น˜๋กœ ๋ณด์ธ๋‹ค. ์‹ (2)์˜ ๋‚˜๋จธ์ง€ ๊ณ„์ˆ˜(โˆ’0.01, +10, +0.1, โˆ’5, โˆ’0.01)์™€ ์†์˜ (r^{palm}+\sum r^{i})/5๋Š” ์ฝ”๋“œ์™€ ์ผ์น˜ํ•œ๋‹ค(:880-899). ๊ณ„์‚ฐ์€ ๋˜์ง€๋งŒ ๋ณด์ƒ์— ์“ฐ์ด์ง€ ์•Š๋Š” p_miss ํ•ญ๋„ ์žˆ๋‹ค(:874-878).
  8. โ€œKL divergence threshold 0.016โ€์€ PPO ์กฐ๊ธฐ ์ข…๋ฃŒ๊ฐ€ ์•„๋‹ˆ๋ผ learning rate ์Šค์ผ€์ค„๋Ÿฌ์˜ ๋ฌธํ„ฑ์ด๋‹ค. PPO agent ์ž์ฒด์˜ kl_threshold๋Š” 0์ด๋‹ค(agents/pixel2catch.yaml:48-50, 66).
  9. ์ข…๋ฃŒ์™€ ์„ฑ๊ณต ์ •์˜๊ฐ€ ๋ณธ๋ฌธ๊ณผ ๋‹ค๋ฅด๋‹ค. ๋ณธ๋ฌธ์€ ๋‚™ํ•˜๋‚˜ ์ตœ๋Œ€ step์—์„œ๋งŒ ๋๋‚œ๋‹ค๊ณ  ์“ฐ์ง€๋งŒ ์ฝ”๋“œ๋Š” ์„ฑ๊ณต(8 cm ์•ˆ 20 step)์—์„œ๋„ ๋๋‚ธ๋‹ค(pixel2catch.py:307). T.R.๋„ โ€œ์†๋ฐ”๋‹ฅ์ด ๋ฌผ์ฒด์— ์ ‘์ด‰โ€์ด ์•„๋‹ˆ๋ผ โ€œ์†๋ฐ”๋‹ฅ ์›์ ์ด ๋ฌผ์ฒด ์ค‘์‹ฌ 8 cm ์•ˆ์— ํ•œ ๋ฒˆ์ด๋ผ๋„ ๋“ค์–ด์˜ดโ€์ด๋‹ค(:286, 292). ์ ‘์ด‰ ์„ผ์„œ๋Š” ํ…Œ์ด๋ธ”์—๋งŒ ์žˆ๋‹ค. ์‹ค๋ฌผ T.R.์„ ๋ฌด์—‡์œผ๋กœ ํŒ์ •ํ–ˆ๋Š”์ง€๋Š” ๋…ผ๋ฌธ์— ์—†์œผ๋ฏ€๋กœ, ์‹œ๋ฎฌ๊ณผ ์‹ค๋ฌผ์˜ T.R.์ด ๊ฐ™์€ ์ •์˜์ธ์ง€ ์•Œ ์ˆ˜ ์—†๋‹ค.
  10. S-A RL์„ ๋งŒ๋“œ๋Š” ๊ฒฝ๋กœ๊ฐ€ ๋ ˆํฌ์— ์—†๋‹ค. ๋ ˆํฌ๋Š” MAPPO ์„ค์ •๋งŒ ๋“ฑ๋กํ•œ๋‹ค(catchpolicy/__init__.py:13-16). Isaac Lab์˜ ํ•™์Šต ์Šคํฌ๋ฆฝํŠธ๋Š” --algorithm PPO๋กœ multi-agent ํ™˜๊ฒฝ์„ ๋Œ๋ฆฌ๋ฉด ๊ด€์ธก์„ ์ด์–ด ๋ถ™์ด๊ณ  ๋ณด์ƒ์„ ํ•ฉ์‚ฐํ•˜๋Š” ๋ณ€ํ™˜๊ธฐ๋ฅผ ์“ฐ๋Š”๋ฐ, ๊ทธ๋Ÿฌ๋ ค๋ฉด ๋‹จ์ผ agent์šฉ ์„ค์ • ๋“ฑ๋ก์ด ํ•„์š”ํ•˜๋‹ค. ์ €์ž๊ฐ€ ์ด ๊ฒฝ๋กœ๋กœ S-A RL์„ ๋งŒ๋“ค์—ˆ๋‹ค๋ฉด โ€œ๊ด€์ธก๊ณผ ๋ณด์ƒ์„ ํ•ฉ์นœ๋‹คโ€๋Š” ๋ณธ๋ฌธ ์„œ์ˆ ๊ณผ ๋งž์ง€๋งŒ, ํ™•์ธํ•  ์ˆ˜ ์—†๋‹ค.

์ฝ”๋“œ๋กœ ๋ณธ ํฌ๊ธฐ ํŠน์ง•์˜ ์‹ ํ˜ธ ๋Œ€ ์žก์Œ๋น„

์œ„ 2ยท4๋ฒˆ์„ ํ•ฉ์น˜๋ฉด ๋…ผ๋ฌธ Table II์˜ โ€œํฌ๊ธฐ ํŠน์ง• ๊ธฐ์—ฌ๊ฐ€ ์ž‘๋‹คโ€๋Š” ๊ด€์ฐฐ์— ํ•˜๋‚˜์˜ ์„ค๋ช…์ด ์ƒ๊ธด๋‹ค(ํ•„์ž ๊ณ„์‚ฐ, ์ž๋ฆฟ์ˆ˜ ์ถ”์ •). ์นด๋ฉ”๋ผ์—์„œ ๋ฌผ์ฒด๊นŒ์ง€ ๊ฑฐ๋ฆฌ๋Š” ์ถœ๋ฐœ์ ์—์„œ ์•ฝ 3.3 m, ์žก๋Š” ์ง€์ ์—์„œ ์•ฝ 1.7 m๋‹ค. ์ง€๋ฆ„ 6 cm ๋ฌผ์ฒด๋ผ๋ฉด box ํญ์€ 618\times0.06/d๋กœ ์ถœ๋ฐœ ๋•Œ ์•ฝ 11 px, ์žก์„ ๋•Œ ์•ฝ 22 px์ด๊ณ , ๋น„ํ–‰ 25 step ๋‚จ์ง“ ๋™์•ˆ 11 px๊ฐ€ ์ปค์ง€๋‹ˆ step๋‹น \Delta w๋Š” ํ‰๊ท  0.5 px ์•ˆํŒŽ์ด๋‹ค. ๋ฐ˜๋ฉด ๊ผญ์ง“์  ๋…ธ์ด์ฆˆ๋Š” ๋„ค ์ขŒํ‘œ์— ๋…๋ฆฝ์ ์œผ๋กœ ๋“ค์–ด๊ฐ€๋ฏ€๋กœ \Delta w์˜ ๋…ธ์ด์ฆˆ ํ‘œ์ค€ํŽธ์ฐจ๋Š” \sqrt{4\times8.25}\approx5.7 px๋‹ค(์ด์‚ฐ ๊ท ๋“ฑ๋ถ„ํฌ โˆ’5~+4์˜ ๋ถ„์‚ฐ 8.25). ํ•™์Šต ์ค‘ \Delta w,\Delta h์˜ ์‹ ํ˜ธ ๋Œ€ ์žก์Œ๋น„๋Š” 0.1 ์ˆ˜์ค€์ด๋ผ๋Š” ๋œป์ด๋‹ค. ๊ฐ™์€ ๊ณ„์‚ฐ์œผ๋กœ \Delta c_y๋Š” ์ถœ๋ฐœ ์งํ›„ ์ˆ˜์ง ์†๋„๊ฐ€ 4 m/s ์•ˆํŒŽ์ด๋ผ ์ •์  ๋ถ€๊ทผ์„ ๋นผ๋ฉด step๋‹น ์‹ญ์—ฌ~์ˆ˜์‹ญ px๊ฐ€ ์›€์ง์—ฌ ์žก์Œ(ํ‘œ์ค€ํŽธ์ฐจ ์•ฝ 2.9 px)์„ ํฌ๊ฒŒ ๋„˜๋Š”๋‹ค.

๊ทธ๋ ‡๋‹ค๋ฉด ์‹œ๋ฎฌ์—์„œ ์ œ์•ˆ๋ฒ•์ด Only-Center๋ณด๋‹ค 3%p ๋‚˜์€ ๊ฒƒ๋„, ์‹ค๋ฌผ์—์„œ ํฌ๊ฒŒ ๋‚˜์€ ๊ฒƒ๋„ โ€œํฌ๊ธฐ ๋ณ€ํ™”๊ฐ€ ๊ฑฐ๋ฆฌ๋ฅผ ์•Œ๋ ค ์ค€๋‹คโ€๋Š” ์ €์ž๋“ค์˜ ์„ค๋ช…์œผ๋กœ๋Š” ์ž˜ ์„ค๋ช…๋˜์ง€ ์•Š๋Š”๋‹ค. ๊ฐ€๋Šฅํ•œ ๋‹ค๋ฅธ ์„ค๋ช…์€ ์ด๋ ‡๋‹ค. (1) Only-Center๊ฐ€ ์ค‘์‹ฌ ์ฐจ๋ถ„๊นŒ์ง€ ๋บ€ ๊ฒƒ์ด๋ผ๋ฉด ์ฐจ์ด์˜ ์ผ๋ถ€๋Š” ์ฐจ๋ถ„ ์ •๋ณด์—์„œ ์˜จ๋‹ค. (2) ์‹ค๋ฌผ SAM2 box์˜ ํ”๋“ค๋ฆผ์ด ์‹œ๋ฎฌ ๋…ธ์ด์ฆˆ์™€ ๋‹ฌ๋ผ ์ •์ฑ…์˜ ๋ฐ˜์‘์ด ๊ฐˆ๋ฆฐ๋‹ค. (3) ์‹ค๋ฌผ ํ‰๊ฐ€๊ฐ€ ํ•™์Šต run ํ•œ ๊ฐœ์”ฉ์ด๋ผ run ๊ฐ„ ํŽธ์ฐจ๊ฐ€ ์„ž์˜€๋‹ค. ๋น„๊ต๊ตฐ ์ฝ”๋“œ๊ฐ€ ์—†์–ด์„œ ์–ด๋А ์ชฝ์ธ์ง€ ๋ ˆํฌ๋กœ๋Š” ๊ฐ€๋ฆด ์ˆ˜ ์—†๋‹ค. ์ด ๊ณ„์‚ฐ์€ ์‹œ๋ฎฌ ํ•™์Šต ์กฐ๊ฑด์— ๋Œ€ํ•œ ๊ฒƒ์ด๊ณ , ์‹ค๋ฌผ SAM2 box์˜ ํ”๋“ค๋ฆผ ํฌ๊ธฐ๋Š” ๋…ผ๋ฌธ์—๋„ ์ฝ”๋“œ์—๋„ ์—†๋‹ค.

๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด

๊ฐ•์ 

  • ํ‘œํ˜„์ด ๊ทน๋„๋กœ ๋‹จ์ˆœํ•˜๊ณ , ์‹œ๋ฎฌ๊ณผ ์‹ค๋ฌผ์—์„œ ๊ฐ™์€ ์ •์˜๋ฅผ ์“ด๋‹ค. 6๊ฐœ ์ˆซ์ž๋Š” ์ด๋ฏธ์ง€ ์ธ์ฝ”๋” ์—†์ด ๊ณ„์‚ฐ๋˜๊ณ , sim-to-real์—์„œ ๋งž์ถฐ์•ผ ํ•  ๊ฒƒ์ด โ€œbox๋ฅผ ๊ฐ™์€ ๋ฐฉ์‹์œผ๋กœ ๊ทธ๋ฆฌ๋Š”๊ฐ€โ€๋กœ ์ค„์–ด๋“ ๋‹ค. ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด์—์„œ ์„ฑ๋Šฅ์ด ๋–จ์–ด์ง€์ง€ ์•Š๋Š” ๊ฒƒ(Table II)๋„ ์ด ์••์ถ•์˜ ๊ฒฐ๊ณผ๋‹ค.
  • marker๋„ depth๋„ ์—†๋Š” ์‹ค๋ฌผ catching์„ ๋‹ค์ง€ ์†์œผ๋กœ ๋ณด์˜€๋‹ค. ์‚ฌ๋žŒ์ด ๋˜์ง„ ๋ถ€๋“œ๋Ÿฌ์šด ๋ฌผ์ฒด 3์ข…์„ fine-tuning ์—†์ด ์ ˆ๋ฐ˜ ์ •๋„ ์žก๋Š”๋‹ค. ์ €๋ ดํ•œ ์„ผ์„œ ํ•œ ๋Œ€๋กœ ์ด ์ˆ˜์ค€์„ ๋ณด์˜€๋‹ค๋Š” ์ ์€ ์‹ค์šฉ์  ์˜๋ฏธ๊ฐ€ ์žˆ๋‹ค.
  • MARL ๋ถ„ํ•ด๊ฐ€ ํ•™์Šต ์†๋„์—์„œ ๋ถ„๋ช…ํ•œ ์ด๋“์„ ๋ณด์ธ๋‹ค. Fig. 5์—์„œ ๊ฐ™์€ step ์˜ˆ์‚ฐ ๋Œ€๋น„ ์ฐจ์ด๊ฐ€ ํฌ๊ณ , ์†๋ฐ”๋‹ฅยท์†๋ ๋ณด์ƒ์„ agent๋ณ„๋กœ ๋‚˜๋ˆ„๋Š” ์„ค๊ณ„๊ฐ€ ๊ฐ„๋‹จํ•˜๋‹ค.
  • ์ฝ”๋“œ๋ฅผ ๊ณต๊ฐœํ–ˆ๊ณ , ๊ทธ ์ฝ”๋“œ๊ฐ€ ๋…ผ๋ฌธ์˜ ๋นˆ์นธ์„ ์ƒ๋‹น ๋ถ€๋ถ„ ๋ฉ”์šด๋‹ค. ์„ฑ๊ณตยท๋‚™ํ•˜ยท์ถฉ๋Œ ํŒ์ •, ๋˜์ง€๊ธฐ ๋ถ„ํฌ, ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ, ์ง€์—ฐ ๋ชจ๋ธ์ด ๋ชจ๋‘ ๋ ˆํฌ์— ์žˆ๋‹ค. ๋‹จ์ผ task ํŒŒ์ผ๋กœ ๊ตฌ์„ฑ๋ผ ์ฝ๊ธฐ ์‰ฝ๋‹ค.
  • RA-LํŒ์—์„œ ํ•ต์‹ฌ ๋น„ํŒ์„ ์Šค์Šค๋กœ ๋ณด์™„ํ–ˆ๋‹ค. ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ ๊ธฐ์ค€์œผ๋กœ 3D ์œ„์น˜ ๋น„๊ต๊ตฐ๊ณผ throwerยท๋ฐฐ๊ฒฝ 2ร—2 ์กฐ๊ฑด์ด ์ถ”๊ฐ€๋๋‹ค.

์•ฝ์ ยทํ•œ๊ณ„

  • arXivํŒ์—๋Š” ๋™๊ธฐ ์ฃผ์žฅ์— ๋Œ€ํ•œ ์ง์ ‘ ๋น„๊ต๊ฐ€ ์—†๋‹ค. ๋…ผ๋ฌธ์˜ ์ถœ๋ฐœ์ ์€ โ€œ3D ์œ„์น˜ ์ถ”์ •์€ ์‹ค๋ฌผ์—์„œ ๋ถ€์ •ํ™•ํ•ด sim-to-real gap์„ ๋งŒ๋“ ๋‹คโ€์ธ๋ฐ, arXiv v1์˜ ๋น„๊ต๊ตฐ ์ค‘ 3D ์œ„์น˜๋ฅผ ์“ฐ๋Š” ๊ฒƒ์€ โ€œ์ดˆ๊ธฐ ์œ„์น˜๋งŒโ€ ๋ฐ›๋Š” w/o-PF๋ฟ์ด๊ณ  ๊ทธ๋งˆ์ € ์‹ค๋ฌผ ํ‘œ์— ์—†๋‹ค. RA-LํŒ(ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€)์ด 3D Pos๋ฅผ ์ถ”๊ฐ€ํ–ˆ์ง€๋งŒ, ์‹ค๋ฌผ์—์„œ ๊ทธ 3D ์œ„์น˜๋ฅผ ์–ด๋–ป๊ฒŒ ์–ป์—ˆ๋Š”์ง€ ์„ค๋ช…์ด ์—†์–ด โ€œdepth ๊ธฐ๋ฐ˜ 3D ์ถ”์ •๋ณด๋‹ค ๋‚ซ๋‹คโ€๋ฅผ ํ™•์ธํ•˜๊ธฐ ์–ด๋ ต๋‹ค. ์‹œ๋ฎฌ์—์„œ๋Š” oracle 3D Pos๊ฐ€ S.R. 6.3%p ๋” ๋†’๋‹ค.
  • ํฌ๊ธฐ ํŠน์ง•์˜ ๊ธฐ์—ฌ๊ฐ€ ์‹œ๋ฎฌ์—์„œ ์ž‘๊ณ , ๊ทธ ์„ค๋ช…์ด ๊ฒ€์ฆ๋˜์ง€ ์•Š์•˜๋‹ค. Only-Center์™€์˜ ์ฐจ์ด๋Š” Table II์—์„œ 3%p ๋‚จ์ง“์ด๋‹ค. ์‹ค๋ฌผ์—์„œ ์ฐจ์ด๊ฐ€ ์ปค์ง„ ๊ฒƒ์„ โ€œ๊ฑฐ๋ฆฌยท์ ‘๊ทผ ์†๋„๋ฅผ ์•Œ ์ˆ˜ ์—†์–ด์„œโ€๋กœ ์„ค๋ช…ํ•˜์ง€๋งŒ, ์ œ์•ˆ๋ฒ•์€ ์ ˆ๋Œ€ ํฌ๊ธฐ w,h๋ฅผ ์“ฐ์ง€ ์•Š๊ณ , ๊ณต๊ฐœ ์ฝ”๋“œ์˜ ํ•™์Šต ์กฐ๊ฑด์—์„œ๋Š” \Delta w,\Delta h์˜ ์‹ ํ˜ธ ๋Œ€ ์žก์Œ๋น„๊ฐ€ 0.1 ์ˆ˜์ค€์œผ๋กœ ์ถ”์ •๋œ๋‹ค. ๋น„๊ต๊ตฐ์˜ ์ •ํ™•ํ•œ ํŠน์ง• ๊ตฌ์„ฑ(Only-Center์— ์ค‘์‹ฌ ์ฐจ๋ถ„์ด ์žˆ๋Š”์ง€, Only-WH๊ฐ€ ์ ˆ๋Œ€๊ฐ’์ธ์ง€ ์ฐจ๋ถ„์ธ์ง€)๋„ ์„œ์ˆ ์ด ๋ถˆ๋ถ„๋ช…ํ•˜๋‹ค.
  • single-agent ๋น„๊ต๊ฐ€ ๊ณต์ •ํ•œ ์ƒํ•œ ๋น„๊ต๊ฐ€ ์•„๋‹ˆ๋‹ค. S-A RL์€ 100K step์—์„œ๋„ ํ•™์Šต ๊ณก์„ ์ด ์˜ค๋ฅด๋Š” ์ค‘์ด๊ณ (Fig. 5), network ํฌ๊ธฐยท๋ณด์ƒ ๊ฒฐํ•ฉ ๋ฐฉ์‹์ด ๊ธฐ์žฌ๋˜์ง€ ์•Š์•˜๋‹ค. MARL ํšจ๊ณผ๋ฅผ โ€œ๋ณด์ƒ ๋ถ„๋ฆฌโ€์™€ โ€œnetwork ๋ถ„๋ฆฌโ€๋กœ ๋‚˜๋ˆ„๋Š” ๋Œ€์กฐ๊ตฐ(์˜ˆ: ๋‹จ์ผ network + ์—ญํ• ๋ณ„ ๋ณด์ƒ, ๋‘ network + ๊ณต์œ  ๋ณด์ƒ)๋„ ์—†๋‹ค. ์‹ค๋ฌผ S-A RL ์‹คํŒจ๋ฅผ โ€œ๊ณต์œ  ํ‘œํ˜„์ด ๊นจ์ง„๋‹คโ€๋กœ ์„ค๋ช…ํ•˜์ง€๋งŒ ์ธก์ •์€ ์—†๋‹ค. ๋‘ ๋‹จ๊ณ„ RL(Catch It!)๊ณผ์˜ ๋น„๊ต๋„ ์—†์–ด โ€œ๋‹จ์ผ ๋‹จ๊ณ„๊ฐ€ ๋‹ค๋‹จ๊ณ„๋ณด๋‹ค ๋‚ซ๋‹คโ€๋Š” ๋™๊ธฐ๋„ ์‹คํ—˜์œผ๋กœ ํ™•์ธ๋˜์ง€ ์•Š์•˜๋‹ค.
  • heterogeneous MARL์˜ ์ƒˆ๋กœ์›€์ด ๊ณผ์žฅ๋ผ ์žˆ๋‹ค. ๊ฐ™์€ ๊ณ„์—ด์˜ ์„ ํ–‰ ์—ฐ๊ตฌ๋ฅผ ์ธ์šฉํ•˜๋ฉด์„œ ๊ทธ ์„ฑ๊ฒฉ์„ ๋‹ค๋ฅด๊ฒŒ ์†Œ๊ฐœํ•œ๋‹ค. Kim et al.(2025)์€ catching์— Heterogeneous-Agent RL์„ ์“ด ์—ฐ๊ตฌ์ธ๋ฐ depth ์„ผ์„œยท๋‹ค์ง€ ์† ์‚ฌ๋ก€๋กœ๋งŒ ์ธ์šฉ๋๋‹ค. Dynamic Handover๋Š” MARL๋กœ ์–‘์† throw-catch๋ฅผ ํ•™์Šตํ–ˆ๋Š”๋ฐ RGB-D ์‚ฌ๋ก€๋กœ๋งŒ ์ธ์šฉ๋๋‹ค. Hu et al.(IROS 2023)์€ hand-arm ์‹œ์Šคํ…œ์„ reaching ์ •์ฑ…๊ณผ grasping ์ •์ฑ…์œผ๋กœ ๋‚˜๋ˆˆ catching ์—ฐ๊ตฌ์ธ๋ฐ ๋‹ค์ง€ ์† ์‚ฌ๋ก€๋กœ๋งŒ ์ธ์šฉ๋๋‹ค. ์ด๋“ค์€ agent ๋ถ„ํ• ์˜ ์ถ•(thrower/catcher, ๋ชจ๋“ˆ๋ณ„ ์ˆœ์ฐจ ํ•™์Šต)์ด ๋‹ค๋ฅด๋ฏ€๋กœ Pixel2Catch์˜ โ€œํ•œ ๋กœ๋ด‡์„ ํŒ”/์† agent๋กœ ๋‚˜๋ˆ  ๋™์‹œ์— ํ•™์Šตํ•œ๋‹คโ€๋Š” ๊ตฌ๋ถ„์€ ์„ฑ๋ฆฝํ•œ๋‹ค. ํ•˜์ง€๋งŒ โ€œMARL์€ ๋Œ€๋ถ€๋ถ„ ๊ฐ™์€ ๊ตฌ์กฐ์˜ ์—ฌ๋Ÿฌ ๋กœ๋ด‡์„ ๋‹ค๋ค˜๋‹คโ€๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ ์„œ์ˆ ์€ ์ด ์„ธ ์—ฐ๊ตฌ๋ฅผ ๊ณ ๋ คํ•˜๋ฉด ์ •ํ™•ํ•˜์ง€ ์•Š๋‹ค.
  • ์‹ค๋ฌผ ํ‰๊ฐ€๊ฐ€ ์–‡๊ณ , ํ‘œ์— ๊ฒ€์‚ฐ์ด ์•ˆ ๋งž๋Š” ์นธ์ด ์žˆ๋‹ค. arXivํŒ์€ ๋ฌผ์ฒด๋‹น 30ํšŒ, thrower ํ•œ ๋ช…, ์ •์ฑ… ํ•˜๋‚˜๋‹ค. ๋ฌผ์ฒด๋ณ„ ์ฐจ์ด๋Š” Cube๋ฅผ ๋นผ๋ฉด ํ†ต๊ณ„์ ์œผ๋กœ ๊ตฌ๋ถ„๋˜์ง€ ์•Š๋Š”๋‹ค(์ œ์•ˆ๋ฒ• ๋Œ€ S-A RL, L-blockยทTriangle p = 0.095). Table III์˜ โ€œ54โ€๋Š” 30ํšŒ ๋ถ„๋ชจ๋กœ ๋‚˜์˜ฌ ์ˆ˜ ์—†๋‹ค. ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ ํ‘œ๋Š” ํ–‰๋งˆ๋‹ค ๋ถ„๋ชจ๊ฐ€ ๋งž์ง€ ์•Š๋Š”๋‹ค. ๋˜์ง„ ์†๋„ยท๊ฑฐ๋ฆฌ, ์ ‘์ด‰ ํŒ์ • ๋ฐฉ๋ฒ•, ์ž‘์—… ์˜์—ญ ๋ฐ– ์‹œํ–‰ ์ฒ˜๋ฆฌ๋„ ๋ณด๊ณ ๋˜์ง€ ์•Š์•˜๋‹ค.
  • ์นด๋ฉ”๋ผ ์‹œ์ ์— ๋Œ€ํ•œ ์˜์กด์ด ๋…ผ์˜๋˜์ง€ ์•Š๋Š”๋‹ค. ์ •์ฑ…์˜ ๋ฌผ์ฒด ์ •๋ณด๋Š” ์ „๋ถ€ ๊ณ ์ • ์นด๋ฉ”๋ผ ์˜์ƒ ์ขŒํ‘œ๋‹ค. ์นด๋ฉ”๋ผ ์œ„์น˜ยท์ž์„ธ ๋ฌด์ž‘์œ„ํ™”๊ฐ€ ์—†๊ณ (Table I, ๊ณต๊ฐœ ์„ค์ • ๋ชจ๋‘), ์นด๋ฉ”๋ผ๋ฅผ ์˜ฎ๊ธฐ๋ฉด ๋ฌด์—‡์ด ๊นจ์ง€๋Š”์ง€ ์‹คํ—˜๋„ ์—†๋‹ค. 3D ์ขŒํ‘œ ํ‘œํ˜„์ด ๊ฐ–๋Š” ์‹œ์  ๋ถˆ๋ณ€์„ฑ์„ ํฌ๊ธฐํ•œ ๋Œ€๊ฐ€๊ฐ€ ๋ฌด์—‡์ธ์ง€๊ฐ€ ํ•œ๊ณ„ ์ ˆ์— ์žˆ์–ด์•ผ ํ–ˆ๋‹ค. ์ €์ž๋“ค์ด ๋ฐํžŒ ํ•œ๊ณ„๋Š” โ€œ๋‹จ์ผ ํŒ” ๊ตฌ์„ฑโ€๋ฟ์ด๋‹ค(ยงVI).
  • ์žฌํ˜„์— ํ•„์š”ํ•œ ์ •๋ณด๊ฐ€ ๋…ผ๋ฌธ์— ๋งŽ์ด ๋น ์กŒ๋‹ค. ์„ฑ๊ณตยท์ ‘๊ทผยท์ถฉ๋Œ ์ •์˜, ์—ํ”ผ์†Œ๋“œ ๊ธธ์ด, ๋˜์ง€๊ธฐ ๋ถ„ํฌ, learning rateยทrolloutยทํ•™์Šต ์‹œ๊ฐ„, SAM2์˜ ์ง€์—ฐยทprompt ๋ฐฉ์‹ยท์‹คํ–‰ GPU, ์‹ค๋ฌผ ๋ฌผ์ฒด์˜ ์งˆ๋Ÿ‰, system identification์˜ ์˜ค์ฐจ๊ฐ€ ์—†๋‹ค. ์‹œ๋ฎฌ ์ชฝ์€ ์ฝ”๋“œ๊ฐ€ ๋Œ€๋ถ€๋ถ„ ๋ฉ”์›Œ ์ฃผ์ง€๋งŒ, ๊ด€์ธก ์ง€์—ฐยท์ถ”๊ฐ€ ๋ฌด์ž‘์œ„ํ™”ยทํŒ” ํŽ˜๋„ํ‹ฐ 50๋ฐฐยท์„ฑ๊ณต ์‹œ ์ข…๋ฃŒ ๊ฐ™์€ sim-to-real๊ณผ ์ง€ํ‘œ ์ •์˜์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ์„ค๊ณ„๊ฐ€ ๋…ผ๋ฌธ์— ์—†๊ณ  ์ฝ”๋“œ์—๋งŒ ์žˆ๋‹ค. ๊ณต๊ฐœ ์„ค์ •์˜ action bias๋Š” reset๋งˆ๋‹ค ๋ˆ„์ ๋˜๋Š” ๊ฒƒ์œผ๋กœ ์ฝํ˜€(์ •์  ์œ ๋„) ์˜๋„์™€ ๋‹ค๋ฅด๊ฒŒ ํ•™์Šต๋์„ ๊ฐ€๋Šฅ์„ฑ๋„ ์žˆ๋‹ค. ์‹ค๋ฌผ ํŒŒ์ดํ”„๋ผ์ธ๊ณผ ๋น„๊ต๊ตฐ, ์ฒ˜์Œ ๋ณด๋Š” ๋ฌผ์ฒด ํ‰๊ฐ€ ๊ฒฝ๋กœ๋Š” ์ฝ”๋“œ๋„ ์—†๋‹ค.
  • ๋ณธ๋ฌธ๊ณผ ๊ทธ๋ฆผ์˜ ์ƒํƒœ ์ •์˜๊ฐ€ ์–ด๊ธ‹๋‚œ๋‹ค. ยงIV-C์˜ ์ƒํƒœ ๊ตฌ์„ฑ์€ Fig. 2์™€ ๊ณต๊ฐœ ์ฝ”๋“œ๋ณด๋‹ค ์ ๋‹ค(target joint, end-effector ์œ„์น˜ ๋ณ€ํ™”, privileged 9์ฐจ์› ๋ˆ„๋ฝ). ๋ณธ๋ฌธ๋งŒ ๋ณด๊ณ  ์žฌ๊ตฌํ˜„ํ•˜๋ฉด ๋‹ค๋ฅธ ๊ด€์ธก์œผ๋กœ ํ•™์Šตํ•˜๊ฒŒ ๋œ๋‹ค. ๊ฑฐ๊พธ๋กœ ๊ทธ๋ฆผยท์ฝ”๋“œ๋ฅผ ๋”ฐ๋ผ๋„ ์œ„์น˜ ๋ณ€ํ™” ๋‘ ์นธ์€ ๊ณต๊ฐœ ์ฝ”๋“œ์—์„œ ํ•ญ์ƒ 0์œผ๋กœ ์ฝํ˜€(์ •์  ํŒ์ •), ๊ทธ๋ฆผ์ด ๋งํ•˜๋Š” ์ •๋ณด๊ฐ€ ์‹ค์ œ๋กœ ๋“ค์–ด๊ฐ€์ง€๋Š” ์•Š๋Š”๋‹ค.
  • ์‹œ๋ฎฌ๊ณผ ์‹ค๋ฌผ ๋ฌผ์ฒด์˜ ์„ฑ์งˆ์ด ๋‹ค๋ฅด๋‹ค. ํ•™์Šต์€ ๊ฐ•์ฒด(๋ฐ˜๋ฐœ๊ณ„์ˆ˜ 0~0.5, ๊ธฐ๋ณธ ์งˆ๋Ÿ‰ 30 g ์•ˆํŒŽ), ์‹ค๋ฌผ์€ ์ฒœ์œผ๋กœ ์‹ผ ๋ถ€๋“œ๋Ÿฌ์šด ๋ฌผ์ฒด๋‹ค. ๋ถ€๋“œ๋Ÿฝ๊ณ  ์ž˜ ํŠ€์ง€ ์•Š๋Š” ๋ฌผ์ฒด๋Š” ์†๋ฐ”๋‹ฅ์— ์–นํžˆ๊ธฐ๋งŒ ํ•ด๋„ ๋จธ๋ฌผ๊ธฐ ์‰ฝ๋‹ค. ์‹ค๋ฌผ ์„ฑ๊ณต๋ฅ ์ด ๊ฐ•์ฒด ๋ฌผ์ฒด์—๋„ ์œ ์ง€๋˜๋Š”์ง€๋Š” ์•Œ ์ˆ˜ ์—†๋‹ค.

๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€

  • catching์˜ 3D ์ถ”์ • ๊ณ„์—ด. Catching Objects in Flight(Kim, Shukla, Billard, 2014)์€ motion capture๋กœ ๋น„ํ–‰ ๋ฌผ์ฒด ๊ถค์ ์„ ํ•™์Šตยท์˜ˆ์ธกํ•˜๊ณ  ๊ฒฐํ•ฉ ๋™์  ์‹œ์Šคํ…œ์œผ๋กœ ์†-ํŒ” ๋™์ž‘์„ ๋งŒ๋“ ๋‹ค. Pixel2Catch๊ฐ€ ์ •๋ฉด์œผ๋กœ ๋Œ€๋น„ํ•˜๋Š” โ€œ์ •ํ™•ํ•œ 3D ์ƒํƒœ + ๋ชจ๋ธ ๊ธฐ๋ฐ˜ ์ œ์–ดโ€์˜ ๋Œ€ํ‘œ๋‹ค. Catch It!(Zhang et al., 2024)์€ ์ด๋™ ๋ฒ ์ด์Šค + 6-DoF ํŒ” + 12-DoF ์†์„ ๋‘ ๋‹จ๊ณ„ RL๋กœ ํ•™์Šตํ•˜๊ณ  ํƒ‘์žฌ ์„ผ์„œ๋กœ ์‹ค๋ฌผ ๋ฐฐ์น˜ํ•œ๋‹ค. ๊ฐ™์€ ๋‹ค์ง€ ์† catching์ด์ง€๋งŒ RGB-D์™€ ๋‹ค๋‹จ๊ณ„ ํ•™์Šต์„ ์“ด๋‹ค. ๋‘ ์—ฐ๊ตฌ๋Š” Pixel2Catch๊ฐ€ ๋ฒ„๋ฆฐ ๋‘ ์ถ•(3D ์ƒํƒœ, ๋‹ค๋‹จ๊ณ„)์„ ๊ฐ๊ฐ ๋Œ€ํ‘œํ•œ๋‹ค.
  • ๋‹ค์ง€ ์† catching์˜ ๋ถ„ํ•ด ๊ณ„์—ด. Hu et al.(IROS 2023)์€ ๊ถค์  ์˜ˆ์ธกยท์žก๊ธฐ ์ž์„ธ ํ‰๊ฐ€ยทreachingยทgraspingยทgating ๋‹ค์„ฏ ๋ชจ๋“ˆ๋กœ hand-arm catching์„ ๋‚˜๋ˆด๋‹ค. ํŒ”/์†์„ ๋‚˜๋ˆˆ๋‹ค๋Š” ๋ฐœ์ƒ์€ ๊ฐ™์ง€๋งŒ ๋ชจ๋“ˆ์„ ๋”ฐ๋กœ ํ•™์Šตํ•˜๊ณ  gating์œผ๋กœ ํ•ฉ์นœ๋‹ค. Dynamic Handover(Huang et al., CoRL 2023)๋Š” ์–‘ํŒ”-์–‘์† throw-catch๋ฅผ MARL๋กœ ํ•™์Šตํ•˜๊ณ  ๊ถค์  ์˜ˆ์ธก ๋ชจ๋ธ๋กœ sim-to-real gap์„ ์ค„์ธ๋‹ค. Kim et al.(2025)์˜ HARL ์–‘์† catching์€ thrower์™€ catcher๋ฅผ ์ ๋Œ€-ํ˜‘๋ ฅ agent๋กœ ๋‘”๋‹ค. Pixel2Catch๋Š” ์ด๋“ค ์‚ฌ์ด์—์„œ โ€œํ•œ ๋กœ๋ด‡ ์•ˆ์˜ ํŒ”/์† agent๋ฅผ ํ•œ ๋‹จ๊ณ„์—์„œ ๋™์‹œ์—โ€ ํ•™์Šตํ•˜๋Š” ์ž๋ฆฌ๋ฅผ ์ฐจ์ง€ํ•œ๋‹ค.
  • ํŒ”+์† ๋‹จ์ผ ์ •์ฑ… ๊ณ„์—ด. DextrAH-G๋Š” 23-DoF ํŒ”-์†์„ geometric fabric ์œ„์˜ ๋‹จ์ผ ์ •์ฑ…์œผ๋กœ ํ•™์Šตํ•˜๊ณ  depth ์ž…๋ ฅ student๋กœ ์ฆ๋ฅ˜ํ•œ๋‹ค. ์ •์  grasp์ด์ง€๋งŒ, high-DoF ํŒ”-์† ๋ฌธ์ œ๋ฅผ โ€œ๋ถ„ํ•ดโ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œํ–‰๋™ ๊ณต๊ฐ„์„ ๊ตฌ์กฐํ™”โ€ํ•ด์„œ ํ‘ธ๋Š” ๋Œ€์กฐ๊ตฐ์œผ๋กœ ์ฝ์„ ์ˆ˜ ์žˆ๋‹ค.
  • ๊ฐ™์€ ์—ฐ๊ตฌ์‹ค์˜ ๋‹ค์ง€ ์† RL. ๊ณต์ €์ž Kang-Won Lee์™€ Soo-Chul Lim์˜ DexTouch๋Š” ์ด‰๊ฐ์œผ๋กœ ๋ฌผ์ฒด๋ฅผ ์ฐพ์•„ ์กฐ์ž‘ํ•˜๋Š” Allegro ๊ธฐ๋ฐ˜ sim-to-real RL์ด๋‹ค. Pixel2Catch๋Š” ์ด๋ฅผ ์ •์  ์กฐ์ž‘์˜ ์˜ˆ๋กœ ์ธ์šฉํ•˜๋ฉฐ, ๊ฐ™์€ ๊ทธ๋ฃน์ด ์ •์  ์ด‰๊ฐ ์กฐ์ž‘์—์„œ ๋™์  ์‹œ๊ฐ ์กฐ์ž‘์œผ๋กœ ๋ฒ”์œ„๋ฅผ ๋„“ํžŒ ํ๋ฆ„์œผ๋กœ ๋ณผ ์ˆ˜ ์žˆ๋‹ค.
  • ๋™์  ์กฐ์ž‘์˜ ๋‹ค๋ฅธ ์ ‘๊ทผ. Robot Juggling์€ ์‹ค๋ฌผ์—์„œ ๋น ๋ฅด๊ฒŒ ํ•™์Šตํ•˜๋Š” ๋™์  ์กฐ์ž‘์„ ๋‹ค๋ฃฌ๋‹ค. ์‹œ๋ฎฌ ํ•™์Šต ํ›„ zero-shot ์ด์ „์ธ Pixel2Catch์™€๋Š” ํ•™์Šต ์žฅ์†Œ๊ฐ€ ๋ฐ˜๋Œ€๋‹ค.
  • ๋ถ„ํ•  ๋ชจ๋ธ. ์‹ค๋ฌผ ํŠน์ง•์€ SAM2์˜ ํ’ˆ์งˆ์— ๋‹ฌ๋ ค ์žˆ๋‹ค. ๊ฐœ๋… ๋‹จ์œ„ ๋ถ„ํ• ๋กœ ํ™•์žฅํ•œ SAM 3๋ฅผ ์“ฐ๋ฉด ์ฒซ ํ”„๋ ˆ์ž„ prompt ์—†์ด โ€œ๊ณตโ€์ด๋ผ๋Š” ํ…์ŠคํŠธ๋กœ ๋ฌผ์ฒด๋ฅผ ์ง€์ •ํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ด๋‹ค. ๋‹ค๋งŒ catching์—์„œ ์ค‘์š”ํ•œ ๊ฒƒ์€ ๋ถ„ํ•  ์ •ํ™•๋„๋ณด๋‹ค ์ง€์—ฐ์ด๊ณ , ์ด ๋…ผ๋ฌธ์€ ๊ทธ ์ˆ˜์น˜๋ฅผ ์ฃผ์ง€ ์•Š๋Š”๋‹ค.

์š”์•ฝ

Pixel2Catch๋Š” ๋‚ ์•„์˜ค๋Š” ๋ฌผ์ฒด๋ฅผ 3D ์ขŒํ‘œ๊ฐ€ ์•„๋‹ˆ๋ผ ์˜์ƒ ์† box์˜ ์ค‘์‹ฌ๊ณผ ๊ทธ ๋ณ€ํ™”๋Ÿ‰, ํฌ๊ธฐ ๋ณ€ํ™”๋Ÿ‰ 6๊ฐœ ์ˆซ์ž๋กœ ํ‘œํ˜„ํ•˜๊ณ , ํŒ”๊ณผ ์†์„ ์—ญํ• ์ด ๋‹ค๋ฅธ ๋‘ agent๋กœ ๋‚˜๋ˆ  MAPPO๋กœ ํ•œ ๋‹จ๊ณ„์— ํ•™์Šตํ•œ๋‹ค. ์‹œ๋ฎฌ์—์„œ T.R. 89.97%ยทS.R. 84.13%, ์‹ค๋ฌผ์—์„œ ์‚ฌ๋žŒ์ด ๋˜์ง„ ๋ถ€๋“œ๋Ÿฌ์šด ๋ฌผ์ฒด 3์ข…์„ ํ‰๊ท  ์•ฝ 50% ์žก๋Š”๋‹ค. ํ‘œํ˜„์˜ ๋‹จ์ˆœํ•จ๊ณผ ์ €๋ ดํ•œ ์„ผ์„œ ๊ตฌ์„ฑ, ๊ณต๊ฐœ๋œ ํ•™์Šต ์ฝ”๋“œ๊ฐ€ ์žฅ์ ์ด๋‹ค.

๊ทธ๋Ÿฌ๋‚˜ arXivํŒ์ด ์ˆซ์ž๋กœ ๋ณด์ธ ๊ฒƒ์€ โ€œ์ค‘์‹ฌ ์ขŒํ‘œ๊ฐ€ ์ฃผ ์‹ ํ˜ธ์ด๊ณ , MARL์ด ๊ฐ™์€ ํ•™์Šต ์˜ˆ์‚ฐ์—์„œ ๋นจ๋ฆฌ ๋ฐฐ์šด๋‹คโ€๊นŒ์ง€๋‹ค. 3D ์œ„์น˜ ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•๋ณด๋‹ค ๋‚ซ๋‹ค๋Š” ๋™๊ธฐ ์ฃผ์žฅ์€ arXivํŒ์—์„œ ๋น„๊ต๋˜์ง€ ์•Š์•˜๊ณ , RA-LํŒ์˜ 3D Pos ๋น„๊ต๊ตฐ์€ ์‹ค๋ฌผ 3D ์œ„์น˜๋ฅผ ์–ด๋–ป๊ฒŒ ์–ป์—ˆ๋Š”์ง€๊ฐ€ ๋น ์ ธ ์žˆ๋‹ค. ํฌ๊ธฐ ํŠน์ง•์€ ์‹œ๋ฎฌ์—์„œ 3%p ๋‚จ์ง“ ๊ธฐ์—ฌํ•˜๋ฉฐ, ๊ณต๊ฐœ ์ฝ”๋“œ์˜ ๋…ธ์ด์ฆˆ ์กฐ๊ฑด์—์„œ๋Š” ๊ทธ ์‹ ํ˜ธ๊ฐ€ ์žก์Œ์— ๋ฌปํžŒ๋‹ค๋Š” ๊ณ„์‚ฐ์ด ๋‚˜์˜จ๋‹ค. single-agent ๋น„๊ต๊ตฐ์€ ์ˆ˜๋ ด ์ „์ด๊ณ , ์‹ค๋ฌผ ํ‰๊ฐ€๋Š” ๋ฌผ์ฒด๋‹น 30ํšŒ ํ•œ ๋ฒˆ์ด๋‹ค. ๋…ผ๋ฌธ์—๋Š” ์„ฑ๊ณต ํŒ์ •, ๊ด€์ธก ์ง€์—ฐ, ์ถ”๊ฐ€ ๋ฌด์ž‘์œ„ํ™”์ฒ˜๋Ÿผ sim-to-real ์„ฑํŒจ๋ฅผ ๊ฐ€๋ฅผ ์ˆ˜ ์žˆ๋Š” ์„ค๊ณ„๊ฐ€ ๋น ์ ธ ์žˆ๊ณ , ์ด๋Š” ๊ณต๊ฐœ ์ฝ”๋“œ๋ฅผ ํ•จ๊ป˜ ์ฝ์–ด์•ผ ๋ณด์ธ๋‹ค. ์นด๋ฉ”๋ผ ์‹œ์  ๋ณ€ํ™”์— ๋Œ€ํ•œ ๊ฐ•๊ฑด์„ฑ, ๊ฐ•์ฒด ๋ฌผ์ฒด์—์„œ์˜ ์„ฑ๋Šฅ, ๋น„๊ต๊ตฐ์˜ ์ •ํ™•ํ•œ ์ •์˜๊ฐ€ ๋ณด์™„๋˜๋ฉด โ€œRGB ํ•œ ๋Œ€๋กœ ์ถฉ๋ถ„ํ•˜๋‹คโ€๋Š” ์ฃผ์žฅ์ด ํ›จ์”ฌ ๋‹จ๋‹จํ•ด์งˆ ๊ฒƒ์ด๋‹ค.

์ด ๊ธ€์— ๋Œ€ํ•ด

  • ์ฝ์€ ๋ฒ”์œ„: arXiv v1(2026-02-26, ์œ ์ผํ•œ ํŒ)์˜ e-print LaTeX ์†Œ์Šค๋ฅผ ์ •๋ณธ์œผ๋กœ ์ฝ์—ˆ๊ณ , ๊ทธ๋ฆผ ๋ฒˆํ˜ธ๋Š” arXiv HTML ์บก์…˜๊ณผ ๋Œ€์กฐํ–ˆ๋‹ค. arXivํŒ์—๋Š” ๋ถ€๋ก์ด ์—†๋‹ค. ๊ทธ๋ฆผ 1~6์€ e-print ์†Œ์Šค์˜ ์›๋ณธ ๊ทธ๋ฆผ ํŒŒ์ผ์ด๋‹ค. RA-L ๊ฒŒ์žฌ๋ณธ ๋ณธ๋ฌธ์€ ๋Œ€์กฐํ•˜์ง€ ๋ชปํ–ˆ๋‹ค. โ€œํŒ ์ฐจ์ดโ€ ์ ˆ์˜ RA-LํŒ ์ˆ˜์น˜๋Š” ๋ชจ๋‘ ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ ํ‘œ์—์„œ ์˜ฎ๊ธด ๊ฒƒ์ด๋‹ค.
  • ์˜์ƒ: YouTube ์˜์ƒ์€ ์ €์ž ์—ฐ๊ตฌ์‹ค ์ฑ„๋„์˜ ๊ณต์‹ ์˜์ƒ์ด๊ณ , ๋ฌผ์ฒด๋ณ„ ์‹œ์—ฐ ํด๋ฆฝ 6๊ฐœ๋Š” ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์˜ ์›๋ณธ mp4๋‹ค.
  • ์ฝ”๋“œ: seongdrgn/pixel2catch-github์˜ ์ปค๋ฐ‹ 32769d9 ๊ธฐ์ค€์ด๋‹ค. โ€œ๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋Œ€์กฐโ€ ์ ˆ์˜ ํŒŒ์ผยท์ค„ ๋ฒˆํ˜ธ๋Š” ์ด ์ปค๋ฐ‹์˜ ํŒŒ์ผ์„ ์ง์ ‘ ์ฝ์€ ์ •์  ํ™•์ธ์ด๋ฉฐ, ํ•™์Šต์„ ์‹คํ–‰ํ•ด ๋…ผ๋ฌธ ์ˆ˜์น˜๋ฅผ ์žฌํ˜„ํ•˜์ง€๋Š” ์•Š์•˜๋‹ค. ๋ ˆํฌ์—๋Š” ๋ผ์ด์„ ์Šค ํŒŒ์ผ์ด ์—†๋‹ค.
  • ํ‘œ๊ธฐ: โ€œํ•„์ž ๊ณ„์‚ฐโ€์€ ๋…ผ๋ฌธ ํ‘œยท๊ณต๊ฐœ ์„ค์ •์˜ ๊ฐ’์œผ๋กœ ์ง์ ‘ ๊ณ„์‚ฐํ•œ ๊ฐ’(ํ‰๊ท , ๋ถ„๋ชจ ์—ญ์‚ฐ, Fisher exact test, Wilson 95% ๊ตฌ๊ฐ„, ๋˜์ง€๊ธฐ ๋ถ„ํฌ ์ƒ˜ํ”Œ๋ง, box ํฌ๊ธฐ ์‹ ํ˜ธ ๋Œ€ ์žก์Œ๋น„)์ด๋‹ค. โ€œ๊ทธ๋ฆผ์—์„œ ์ฝ์€ ๊ฐ’โ€์€ Fig. 5์˜ ๊ณก์„  ๋๊ฐ’์„ ๋ˆˆ์œผ๋กœ ์ฝ์€ ๊ทผ์‚ฌ์น˜๋‹ค. โ€œํ•„์ž์˜ ํ•ด์„โ€์œผ๋กœ ํ‘œ์‹œํ•œ ๋ฌธ์žฅ์€ ๋…ผ๋ฌธ์ด ์ง์ ‘ ์ฃผ์žฅํ•˜์ง€ ์•Š์€ ํ•ด์„์ด๋‹ค. Lee(1976)์™€ Chapman(1968)์€ ๋…ผ๋ฌธ์ด ์ธ์šฉํ•˜์ง€ ์•Š์€ ๋ฐฐ๊ฒฝ ๋ฌธํ—Œ์ด๋‹ค. ์ธ์šฉ์€ ๋Œ€๊ด„ํ˜ธ ๋ฒˆํ˜ธ ๋Œ€์‹  ์ €์ž-์—ฐ๋„๋กœ ์ ์—ˆ๋‹ค.

Copyright 2026, JungYeon Lee