Curieux.JY
  • JungYeon Lee
  • Post
  • ๐Ÿ•ธ๏ธ Graph
  • Lecture
  • Note

On this page

  • ๐Ÿ” Ping Review
  • ๐Ÿ”” Ring Review
    • ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด
    • ๋ฐฐ๊ฒฝ: ์™œ ์ด๋™๊ณผ deformable์„ ๊ฐ™์ด ๋ด์•ผ ํ•˜๋Š”๊ฐ€ (ยงIยทยงII)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 1: ํ”„๋ ˆ์ž„์›Œํฌ์™€ ๋ฌผ๋ฆฌ (ยงIII, ยงIII-A)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 2: ๋กœ๋ด‡๊ณผ ํ–‰๋™ ๊ณต๊ฐ„ (ยงIII-B)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 3: ๊ด€์ธก ๊ณต๊ฐ„ (ยงIII-C)
    • ๋ฐฉ๋ฒ• ์ƒ์„ธ 4: 8๊ฐœ ๊ณผ์ œ (ยงIII-D)
    • ์ง๊ด€: deformability๋Š” ์žฅ์• ๋ฌผ์ด์ž ๋„๊ตฌ๋‹ค
    • ์‹คํ—˜ 1: ์‹œ๋ฎฌ๋ ˆ์ด์…˜ RL (ยงIV-A, Fig. 3)
    • ์‹คํ—˜ 2: ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ IL (ยงIV-B, Table III)
    • ์‹คํ—˜ 3: ์‹ค๊ธฐ Spot ๋ฐฐํฌ (ยงIV-C, Table II, Fig. 4ยท5)
      • state ๊ธฐ๋ฐ˜: PlaceยทDrag
      • ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜: Curtain
    • ๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋Œ€์กฐ
    • ๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด
      • ๊ฐ•์ 
      • ์•ฝ์ ยทํ•œ๊ณ„
    • ๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€
    • ์š”์•ฝ
    • ์ด ๊ธ€์— ๋Œ€ํ•ด

๐Ÿ“ƒMoDeSuite ๋ฆฌ๋ทฐ

mobile-manipulation
deformable
benchmark
rl
sim2real
MoDeSuite: Robot Learning Task Suite for Benchmarking Mobile Manipulation with Deformable Objects
Published

October 4, 2026

  • Paper Link (arXiv:2507.21796)

  • Code Link

  • Project

  • Yuying Zhang, Kevin Sebastian Luck, Francesco Verdoja, Ville Kyrki, Joni Pajarinen

  • Aalto University ยท Vrije Universiteit Amsterdam / IEEE Robotics and Automation Letters, 2026 (์ €์ž ์—ฐ๊ตฌ์‹ค ํŽ˜์ด์ง€ยท์ฝ”๋“œ README ํ‘œ๊ธฐ). ์ด ๋ฆฌ๋ทฐ๋Š” arXiv v1(2025-07-29)์„ ์ฝ์—ˆ๋‹ค.

  1. ๐Ÿ’ก mobile manipulation ๋ฒค์น˜๋งˆํฌ๋Š” ๋Œ€๋ถ€๋ถ„ rigid ๋ฌผ์ฒด๋งŒ ๋‹ค๋ฃจ๊ณ , deformable ๋ฒค์น˜๋งˆํฌ๋Š” ๋Œ€๋ถ€๋ถ„ ๊ณ ์ •๋œ ํŒ”๋งŒ ๋‹ค๋ฃฌ๋‹ค. MoDeSuite๋Š” ์ด ๋‘˜์„ ํ•ฉ์นœ ์ฒซ task suite๋ผ๊ณ  ์ฃผ์žฅํ•˜๋ฉฐ, ๋กœ๋ด‡์ด ๋ชธํ†ต ์ด๋™๊ณผ ํŒ” ์กฐ์ž‘์„ ํ•จ๊ป˜ ์จ์„œ ๋ฌผ์ฒด์˜ ๋ณ€ํ˜•์„ ์ด์šฉํ•ด์•ผ ํ’€๋ฆฌ๋Š” 8๊ฐœ ๊ณผ์ œ๋ฅผ Isaac Lab ์œ„์— ๋งŒ๋“ ๋‹ค.
  2. โš™๏ธ ํƒ„์„ฑ ๋ง‰๋Œ€ยท๋ฒจํŠธ ๊ณผ์ œ 5๊ฐœ(PlaceยทBendยทTransportยทDragยทLift)๋Š” FEM, ์ฒœ ๊ณผ์ œ 3๊ฐœ(UncoverยทCoverยทCurtain)๋Š” PBD particle๋กœ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ํ•œ๋‹ค. ๋กœ๋ด‡์€ ๋ฐ”ํ€ดํ˜•(Ridgeback + Franka)๊ณผ ๋‹ค๋ฆฌํ˜•(Spot + arm) ๋‘ ๊ฐ€์ง€์ด๊ณ , state ๊ด€์ธก(๋กœ๋ด‡ ์ƒํƒœ + ๋ฌผ์ฒด ์œ„ 4๊ฐœ ์  + ๋ชฉํ‘œ ์œ„์น˜)๊ณผ DINOv2๋กœ ์ธ์ฝ”๋”ฉํ•œ RGB ๊ด€์ธก์„ ์ œ๊ณตํ•œ๋‹ค.
  3. ๐ŸŽฏ ํƒ„์„ฑ ๊ณผ์ œ์—์„œ PPO๊ฐ€ SAC๋ณด๋‹ค ๋Œ€์ฒด๋กœ ๋‚ซ๊ณ , Spot์€ BendยทTransport๋ฅผ ๋‘ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ชจ๋‘ 0%๋กœ ํ’€์ง€ ๋ชปํ–ˆ๋‹ค. ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ํ•™์Šตํ•œ Spot์˜ state ๊ธฐ๋ฐ˜ PPO ์ •์ฑ…์€ ์‹ค๊ธฐ PlaceยทDrag์—์„œ ๊ฐ 10/10์„ ์„ฑ๊ณตํ–ˆ๋‹ค. ๋ฐ˜๋ฉด ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ IL ์ •์ฑ…(BCยทRetrieval)์€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ Curtain์—์„œ 60~80%์˜€์ง€๋งŒ ์‹ค๊ธฐ์—์„œ๋Š” ํ•œ ๋ฒˆ๋„ ์„ฑ๊ณตํ•˜์ง€ ๋ชปํ–ˆ๋‹ค.

๐Ÿ” Ping Review

๐Ÿ” Ping โ€” A light tap on the surface. Get the gist in seconds.

๊ธด ๊ณ ๋ฌด ๋ง‰๋Œ€๋ฅผ ๋“ค๊ณ  L์ž ๋ณต๋„๋ฅผ ์ง€๋‚˜๊ฐ€๋ ค๋ฉด ๋ง‰๋Œ€๋ฅผ ๋ฒฝ์— ๋Œ€๊ณ  ํœ˜๊ฒŒ ๋งŒ๋“ค์–ด์•ผ ํ•œ๋‹ค. ํŒ” ๊ธธ์ด๋ณด๋‹ค ๋จผ ํƒ์ž์— ๋ง‰๋Œ€๋ฅผ ์˜ฌ๋ฆฌ๋ ค๋ฉด ๋ชธ์„ ํƒ์ž ์ชฝ์œผ๋กœ ์˜ฎ๊ธฐ๋ฉด์„œ ํŒ”์„ ๋ป—์–ด์•ผ ํ•œ๋‹ค. ์ด๋Ÿฐ ์ผ์€ โ€œ์ด๋™โ€๊ณผ โ€œ์กฐ์ž‘โ€์ด ๋™์‹œ์— ํ•„์š”ํ•˜๊ณ , ๋ฌผ์ฒด๊ฐ€ ํœ˜๊ฑฐ๋‚˜ ๋Š˜์–ด๋‚œ๋‹ค๋Š” ์‚ฌ์‹ค์„ ์ด์šฉํ•ด์•ผ ํ•œ๋‹ค. ๊ธฐ์กด ๋ฒค์น˜๋งˆํฌ๋Š” ์ด ์กฐํ•ฉ์„ ๋‹ค๋ฃจ์ง€ ์•Š๋Š”๋‹ค. BEHAVIOR-1KยทHabitat ๊ฐ™์€ mobile manipulation ๋ฒค์น˜๋งˆํฌ๋Š” ์ฃผ๋กœ rigid ๋ฌผ์ฒด๋ฅผ, SoftGymยทDeformableRavens ๊ฐ™์€ deformable ๋ฒค์น˜๋งˆํฌ๋Š” ์ฃผ๋กœ ๊ณ ์ •๋œ ํŒ”์„ ์“ด๋‹ค.

MoDeSuite๋Š” ์ด ๋นˆ์นธ์„ ์ฑ„์šฐ๋ ค๋Š” Isaac Lab ๊ธฐ๋ฐ˜ task suite๋‹ค. ์ƒˆ๋กœ ๋งŒ๋“  ํƒ„์„ฑ ๊ณผ์ œ 5๊ฐœ์™€, ๊ฐ™์€ 1์ €์ž์˜ ์ด์ „ ์—ฐ๊ตฌ DeMoBot์—์„œ ๊ฐ€์ ธ์˜จ ์ฒœ ๊ณผ์ œ 3๊ฐœ๋ฅผ ๋ฌถ์—ˆ๋‹ค. ๊ฐ™์€ ๊ณผ์ œ๋ฅผ ๋ฐ”ํ€ดํ˜• ๋กœ๋ด‡๊ณผ ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡ ๋ชจ๋‘๋กœ ๋Œ๋ฆด ์ˆ˜ ์žˆ๊ณ , ๊ด€์ธก(stateยท์ด๋ฏธ์ง€)๊ณผ ํ–‰๋™ ๊ณต๊ฐ„(jointยทend-effector poseยทkeyboard์šฉ discrete action)์„ ๋ฐ”๊ฟ” ๋ผ์šธ ์ˆ˜ ์žˆ๋‹ค.


Fig. 1. 8๊ฐœ ๊ณผ์ œ๋ฅผ ๋ฐ”ํ€ดํ˜•(์œ„ ๋‘ ์ค„, Ridgeback + Franka)๊ณผ ๋‹ค๋ฆฌํ˜•(์•„๋ž˜ ๋‘ ์ค„, Spot + arm)์œผ๋กœ ๊ฐ๊ฐ ๋ณด์—ฌ ์ค€๋‹ค. ๋ณด๋ผ์ƒ‰ ๊ตฌ๋Š” ๋ชฉํ‘œ ์œ„์น˜๋‹ค. ๋นจ๊ฐ„ ๋ง‰๋Œ€์™€ ๋…น์ƒ‰ ๋ฒจํŠธ๋Š” FEM ํƒ„์„ฑ์ฒด, ํŒŒ๋ž€ ์ฒœ์€ PBD ์ฒœ์ด๋‹ค.

Spot์˜ Place ๊ณผ์ œ(์‹œ๋ฎฌ๋ ˆ์ด์…˜). ํŒ” ๋์— ๋‹ฌ๋ฆฐ ํƒ„์„ฑ ๋ง‰๋Œ€(๋นจ๊ฐ„ ์ ์€ ๊ด€์ธก์— ์“ฐ์ด๋Š” ๋ง‰๋Œ€ ์œ„ ์ )๋ฅผ ํƒ์ž ์œ„๋กœ ์˜ฎ๊ธด๋‹ค. ์ถœ์ฒ˜: ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ GIF.

ํ•ต์‹ฌ ๋ฐฉ๋ฒ•๋ก :

MoDeSuite๋Š” ์ƒˆ๋กœ์šด ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด ์•„๋‹ˆ๋ผ ๊ณผ์ œ์™€ ์ธํ„ฐํŽ˜์ด์Šค์˜ ๋ฌถ์Œ์ด๋‹ค. ๋ชจ๋“  ๊ณผ์ œ์˜ state ๊ด€์ธก์€ ๊ฐ™์€ ํ˜•ํƒœ๋กœ ์ •์˜๋œ๋‹ค.

O = (s_r,\ s_o,\ s_e),\qquad s_r=(p_r,\ q_r,\ q,\ \dot q),\qquad s_o=\{e_i\in\mathbb{R}^3\}_{i=1}^{N},\qquad s_e=(g_r,\ g_o,\ p_o)

s_r์€ ๋ฒ ์ด์Šค ์œ„์น˜ p_rยท์ž์„ธ ์ฟผํ„ฐ๋‹ˆ์–ธ q_rยทํŒ” ๊ด€์ ˆ ์œ„์น˜์™€ ์†๋„, s_o๋Š” ํƒ„์„ฑ์ฒด์˜ FEM ์š”์†Œ(์ฒœ์€ particle) ์œ„์น˜, s_e๋Š” ๋กœ๋ด‡ ๋ชฉํ‘œ g_rยท๋ฌผ์ฒด ๋ชฉํ‘œ g_oยท์žฅ์• ๋ฌผ ์œ„์น˜ p_o๋‹ค. RL ์‹คํ—˜์—์„œ๋Š” s_o๋ฅผ ๋ฌผ์ฒด ์œ„์— ๊ณ ๋ฅด๊ฒŒ ๋†“์ธ 4๊ฐœ ์ ์œผ๋กœ ์ค„์ธ๋‹ค. ํ–‰๋™์€ a_{robot}=(a_{base}, a_{arm})์ด๊ณ , Spot์˜ ๋ฒ ์ด์Šค๋Š” ์‚ฌ์ „ํ•™์Šต๋œ locomotion ์ปจํŠธ๋กค๋Ÿฌ์— ํ‰๋ฉด ๋ช…๋ น 3๊ฐœ๋ฅผ ์ฃผ๊ฑฐ๋‚˜ ๋‹ค๋ฆฌ ๊ด€์ ˆ 12๊ฐœ๋ฅผ ์ง์ ‘ ์ง€๋ นํ•œ๋‹ค. ๋ณด์ƒ์€ ํƒ„์„ฑ ๊ณผ์ œ์—์„œ โ€œ๋ฌผ์ฒด ๋(๋˜๋Š” ์ค‘์ )๊ณผ ๋ชฉํ‘œ์˜ ๊ฑฐ๋ฆฌ + ๋กœ๋ด‡๊ณผ ๋ชฉํ‘œ์˜ ๊ฑฐ๋ฆฌ + ์•ˆ์ •์„ฑ ํŽ˜๋„ํ‹ฐโ€์˜ ์Œ์ˆ˜ ํ•ฉ, ์ฒœ ๊ณผ์ œ์—์„œ binary sparse reward๋‹ค.

์ฃผ์š” ๊ฒฐ๊ณผ:

  • RL(์‹œ๋ฎฌ๋ ˆ์ด์…˜, state ๊ด€์ธก, 5 seed, ์„ฑ๊ณต๋ฅ ์€ 20ํšŒ ํ‰๊ฐ€): PPO๋Š” Franka์—์„œ Place 95%ยทBendยทTransportยทLift 100%์˜€์ง€๋งŒ Drag๋Š” 20%์˜€๋‹ค. Spot์—์„œ๋Š” PlaceยทDrag 100%, Lift 35%, BendยทTransport 0%์˜€๋‹ค. SAC๋Š” Franka Bend(100%)์™€ Spot Place(90%)๋ฅผ ๋นผ๋ฉด ๋ชจ๋‘ 10% ์ดํ•˜์˜€๋‹ค(Fig. 3์˜ ๋ง‰๋Œ€์—์„œ ์ฝ์€ ๊ฐ’).
  • IL(์‹œ๋ฎฌ๋ ˆ์ด์…˜, Spot, DINOv2 ์ด๋ฏธ์ง€ ํŠน์ง•, ๊ณผ์ œ๋‹น ์‹œ์—ฐ 30๊ฐœ, 20ํšŒ ํ‰๊ฐ€): BC๋Š” Uncover 85%ยทCover 60%ยทCurtain 60%, Retrieval์€ 90%ยท80%ยท80%์˜€๋‹ค(Table III).
  • sim-to-real(Spot, ์‹ค๊ธฐ 10ํšŒ): PPO๋Š” PlaceยทDrag ๋ชจ๋‘ 10/10, SAC๋Š” Place 9/10ยทDrag 0/10์ด์—ˆ๋‹ค(Table II). ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ Curtain์€ BC๊ฐ€ ์ปคํŠผ์— ๋‹ฟ์ง€๋„ ๋ชปํ–ˆ๊ณ  Retrieval์€ 10ํšŒ ์ค‘ 2ํšŒ ์ ‘์ด‰์— ๊ทธ์ณค๋‹ค. DINOv2 ํŠน์ง•์˜ t-SNE์—์„œ ์‹œ๋ฎฌ๋ ˆ์ด์…˜๊ณผ ์‹ค๊ธฐ ์ด๋ฏธ์ง€๊ฐ€ ๋ถ„๋ฆฌ๋ผ, ์ €์ž๋Š” ์›์ธ์„ dynamics๊ฐ€ ์•„๋‹ˆ๋ผ ์‹œ๊ฐ domain gap์œผ๋กœ ๋ณธ๋‹ค.

๊ฒฐ๋ก :

์ด ๋…ผ๋ฌธ์˜ ๊ฐ€์น˜๋Š” โ€œ์ด๋™ํ•˜๋ฉด์„œ deformable ๋ฌผ์ฒด๋ฅผ ๋‹ค๋ฃฌ๋‹คโ€๋Š” ๋ฌธ์ œ ์„ค์ •์„ ์žฌํ˜„ ๊ฐ€๋Šฅํ•œ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ณผ์ œ๋กœ ๊ณ ์ •ํ–ˆ๋‹ค๋Š” ๋ฐ ์žˆ๋‹ค. ์‹คํ—˜์€ ๊ทธ ๊ณผ์ œ๊ฐ€ ํ˜„์žฌ RL์—๊ฒŒ ์‰ฝ์ง€ ์•Š๋‹ค๋Š” ๊ฒƒ(ํŠนํžˆ Spot)๊ณผ, 4๊ฐœ ์ ์งœ๋ฆฌ state ๊ด€์ธก์ด๋ฉด OptiTrack์„ ํ†ตํ•ด ์‹ค๊ธฐ๋กœ ๋„˜์–ด๊ฐˆ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ๋ณด์ธ๋‹ค. ๋‹ค๋งŒ ๋ฒค์น˜๋งˆํฌ ๋…ผ๋ฌธ์œผ๋กœ์„œ ํ•„์š”ํ•œ ์žฌํ˜„ ์ •๋ณด(๋ณ‘๋ ฌ ํ™˜๊ฒฝ ์ˆ˜, ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ, ๋ฌผ์„ฑ์น˜, ์ดˆ๊ธฐ ์ƒํƒœ ๋ถ„ํฌ)๊ฐ€ ๋ณธ๋ฌธ์— ์—†๊ณ , ๊ณต๊ฐœ ์ฝ”๋“œ๋Š” ์ผ๋ถ€ ์„œ์ˆ ๊ณผ ๋‹ค๋ฅด๋‹ค. ์ด ์ ์€ Ring์—์„œ ์ž์„ธํžˆ ๋ณธ๋‹ค.


๐Ÿ”” Ring Review

๐Ÿ”” Ring โ€” An idea that echoes. Grasp the core and its value.

ํ•œ ์ค„๋กœ ์‹œ์ž‘ํ•˜๋ฉด

MoDeSuite๋Š” โ€œ๋ชธ์„ ์›€์ง์—ฌ์•ผ๋งŒ ํ’€๋ฆฌ๋Š” deformable ์กฐ์ž‘โ€์„ 8๊ฐœ ๊ณผ์ œ๋กœ ๋งŒ๋“ค๊ณ , ๋ฐ”ํ€ดํ˜•๊ณผ ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡์— ๊ฐ™์€ ๊ณผ์ œ๋ฅผ ๊ฑธ์–ด PPOยทSACยทBCยทRetrieval์„ ๋Œ๋ ค ๋ณธ ๋‹ค์Œ, state ๊ธฐ๋ฐ˜ RL ์ •์ฑ…์ด ์‹ค๊ธฐ Spot์œผ๋กœ ๊ทธ๋Œ€๋กœ ๋„˜์–ด๊ฐ„๋‹ค๋Š” ๊ฒƒ์„ ๋ณด์ธ task suite ๋…ผ๋ฌธ์ด๋‹ค. ๊ฒฐ๊ณผ๊ฐ€ ๋งํ•ด ์ฃผ๋Š” ๊ฒƒ์€ ๋‘ ๊ฐ€์ง€๋‹ค. ๊ฐ™์€ ๊ณผ์ œ๋ผ๋„ ๋กœ๋ด‡ ํ˜•ํƒœ์— ๋”ฐ๋ผ ๋‚œ์ด๋„๊ฐ€ ํฌ๊ฒŒ ๋‹ฌ๋ผ์ง€๊ณ (Spot์€ ์ข์€ ๋ณต๋„ ๊ณผ์ œ ๋‘ ๊ฐœ๋ฅผ ์•„๋ฌด ์•Œ๊ณ ๋ฆฌ์ฆ˜์œผ๋กœ๋„ ๋ชป ํ’€์—ˆ๋‹ค), state ๊ด€์ธก์˜ sim-to-real์€ ๋˜์ง€๋งŒ ์ด๋ฏธ์ง€ ๊ด€์ธก์€ ์‹œ๊ฐ domain gap์—์„œ ๋ง‰ํžŒ๋‹ค.

๋ฐฐ๊ฒฝ: ์™œ ์ด๋™๊ณผ deformable์„ ๊ฐ™์ด ๋ด์•ผ ํ•˜๋Š”๊ฐ€ (ยงIยทยงII)

์ €์ž๋Š” deformable ๋ฌผ์ฒด๋ฅผ plastic(์˜๊ตฌ ๋ณ€ํ˜•)๊ณผ elastic(๋˜๋Œ์•„์˜ค๋Š” ๋ณ€ํ˜•)์œผ๋กœ ๋‚˜๋ˆˆ๋‹ค. ๋‹ค๋งŒ ์ด ๋…ผ๋ฌธ์—์„œ โ€œplasticโ€์€ ์žฌ๋ฃŒํ•™์˜ ์†Œ์„ฑ ๋ณ€ํ˜•์ด ์•„๋‹ˆ๋ผ Table I์˜ ์ •์˜๋Œ€๋กœ ์ฒœยท๋กœํ”„์ฒ˜๋Ÿผ ํ˜•ํƒœ๊ฐ€ ์ •ํ•ด์ง€์ง€ ์•Š์€ ๋ฌผ์ฒด๋ฅผ ๋œปํ•˜๊ณ , โ€œelasticโ€์€ ๊ณ ๋ฌดยทํผ์ฒ˜๋Ÿผ ์›๋ž˜ ๋ชจ์–‘์œผ๋กœ ๋Œ์•„์˜ค๋Š” ๋ฌผ์ฒด๋ฅผ ๋œปํ•œ๋‹ค. ๋ณธ๋ฌธ ยงI์€ plastic ๋ณ€ํ˜•์„ โ€œpermanent structural changesโ€๋ผ๊ณ  ์„ค๋ช…ํ•˜์ง€๋งŒ ๊ณผ์ œ์˜ ์ฒœ(์ปคํŠผยท์‹ํƒ๋ณด)์€ ์˜๊ตฌ ๋ณ€ํ˜•๋˜๋Š” ๋ฌผ์ฒด๊ฐ€ ์•„๋‹ˆ๋‹ค. ์šฉ์–ด๊ฐ€ ๋‘ ๊ฐ€์ง€ ์˜๋ฏธ๋กœ ์„ž์—ฌ ์žˆ์œผ๋‹ˆ ์ฝ์„ ๋•Œ Table I์˜ ์ •์˜๋ฅผ ๊ธฐ์ค€์œผ๋กœ ์‚ผ๋Š” ๊ฒƒ์ด ๋‚ซ๋‹ค.

์„œ๋ก ์˜ ๋ฌธ์ œ์˜์‹์€ ์ด๋ ‡๋‹ค. mobile manipulation๊ณผ deformable manipulation ๊ฐ๊ฐ์—๋Š” ๋ฒค์น˜๋งˆํฌ๊ฐ€ ์žˆ์ง€๋งŒ ๋‘˜์„ ํ•ฉ์นœ ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ๊ฐ€ ์—†๋‹ค. ์‹ค๊ธฐ ์‹คํ—˜์€ ๋น„์‹ธ๊ณ  ํ‘œ์ค€ํ™”๊ฐ€ ์–ด๋ ต๋‹ค. ๊ทธ๋ž˜์„œ RLยทIL์ฒ˜๋Ÿผ ๋ฐ์ดํ„ฐ๊ฐ€ ๋งŽ์ด ํ•„์š”ํ•œ ๋ฐฉ๋ฒ•์„ ์œ„ํ•ด ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฒค์น˜๋งˆํฌ๊ฐ€ ํ•„์š”ํ•˜๋‹ค.

ยงII๋Š” ๊ธฐ์กด ํ”Œ๋žซํผ์„ Table I๋กœ ๋น„๊ตํ•œ๋‹ค. ์•„๋ž˜๋Š” ๊ทธ ํ‘œ๋ฅผ ์˜ฎ๊ธด ๊ฒƒ์ด๋‹ค.

๋ถ„๋ฅ˜ ์ด๋ฆ„ ๋ฌผ๋ฆฌ ์—”์ง„ Plastic Elastic Mobile-M Legged-M ๋น„๊ณ 
Mobile Behavior-1k PhysX5 โœ“ โœ— โœ“ โœ— Daily Activities
AI2THOR Unity โœ— โœ“ โœ“ โœ— Indoor Scene
TDW Transport PhysX, Flex, Obi โœ“ โœ“ โœ“ โœ— Transport Challenge
Habitat Bullet โœ— โœ— โœ“ โœ“ Indoor Scene
ManiSkill3 PhysX โœ— โœ— โœ“ โœ— Limited Mobile Manipulation Tasks
ORBIT PhysX โœ“ โœ— โœ“ โœ“ FEM, Particle System
Deformable DeformableRavens Bullet โœ“ โœ“ โœ— โœ— FEM
DEDO Bullet โœ“ โœ“ โœ“ โœ— Particle System
DAXBench DAX โœ“ โœ“ โœ— โœ— Tabletop, Particle System
PlasticineLab DiffTaiChi โœ“ โœ“ โœ— โœ— End-effector, Particle System
Reform AGX โœ— โœ“ โœ— โœ— End-effector, FEM
SoftGym Flex โœ“ โœ— โœ— โœ— Particle System
DexGarmentLab PhysX โœ“ โœ“ โœ— โœ— Particle System, FEM
Both MoDeSuite PhysX โœ“ โœ“ โœ“ โœ“ Particle System, FEM

ํ‘œ๋ฅผ ์ค„ ๋‹จ์œ„๋กœ ์ฝ์œผ๋ฉด โ€œ์ฒซ ๋ฒˆ์งธโ€๋ผ๋Š” ์ฃผ์žฅ์ด ์–ด๋””์— ๊ธฐ๋Œ€๋Š”์ง€ ๋ณด์ธ๋‹ค.

  • ORBIT ํ–‰์ด ์Šค์Šค๋กœ ๋ชจ์ˆœ๋œ๋‹ค. ๋น„๊ณ ๋ž€์— FEM์ด ์žˆ๋Š”๋ฐ Elastic์€ โœ—๋‹ค. MoDeSuite์˜ ํƒ„์„ฑ ๊ณผ์ œ๋Š” ORBIT(์ง€๊ธˆ์˜ Isaac Lab)์ด ์ œ๊ณตํ•˜๋Š” PhysX FEM soft body ์œ„์— ๋งŒ๋“ค์–ด์กŒ๋‹ค. ๊ทธ๋Ÿฌ๋‹ˆ ์ด ํ‘œ์—์„œ MoDeSuite์™€ ORBIT์„ ๊ฐ€๋ฅด๋Š” ์œ ์ผํ•œ ์—ด(Elastic)์€ ์‚ฌ์‹ค์ƒ ๊ธฐ๋ฐ˜ ํ”„๋ ˆ์ž„์›Œํฌ์˜ ๊ธฐ๋Šฅ์ด๋‹ค. ๋ณธ๋ฌธ๋„ ORBIT์€ โ€œํ”„๋ ˆ์ž„์›Œํฌ ์„ค๊ณ„์— ์ง‘์ค‘ํ–ˆ๊ณ  ๋‘ ๋ฌธ์ œ์˜ ํ†ตํ•ฉ์„ ๋‹ค๋ฃจ์ง€ ์•Š์•˜๋‹คโ€๊ณ  ์ฐจ์ด๋ฅผ ๊ณผ์ œ ์ชฝ์— ๋‘”๋‹ค.
  • TDW Transport์™€ DEDO๋Š” PlasticยทElasticยทMobile-M์ด ๋ชจ๋‘ โœ“๋‹ค. ์ด ๋‘˜๊ณผ MoDeSuite๋ฅผ ๊ฐ€๋ฅด๋Š” ์—ด์€ Legged-M ํ•˜๋‚˜๋ฟ์ด๋‹ค. ๋”ฐ๋ผ์„œ ์ด ํ‘œ๊ฐ€ ๋’ท๋ฐ›์นจํ•˜๋Š” ์ฐจ๋ณ„์ ์€ โ€œdeformable + mobile์„ ์ฒ˜์Œ ํ•ฉ์ณค๋‹คโ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œ๋‹ค๋ฆฌํ˜• mobile manipulator๊นŒ์ง€ ํฌํ•จํ•œ deformable ๊ณผ์ œ ๋ฌถ์Œโ€์— ๊ฐ€๊น๋‹ค.

์ด๊ฒƒ์ด MoDeSuite์˜ ์˜๋ฏธ๋ฅผ ๊นŽ์ง€๋Š” ์•Š๋Š”๋‹ค. ์ฐจ๋ณ„์ ์˜ ์ •ํ™•ํ•œ ์œ„์น˜๋ฅผ ๋ฐ”๋กœ์žก์„ ๋ฟ์ด๋‹ค. ์ด ๋ธ”๋กœ๊ทธ์˜ BEHAVIOR-1K ๋ฆฌ๋ทฐ์™€ ManiSkill3 ๋ฆฌ๋ทฐ๊ฐ€ ํ‘œ์˜ Mobile ์ชฝ ๋‘ ํ”Œ๋žซํผ์„ ๋‹ค๋ฃฌ๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 1: ํ”„๋ ˆ์ž„์›Œํฌ์™€ ๋ฌผ๋ฆฌ (ยงIII, ยงIII-A)


Fig. 2. MoDeSuite ๊ตฌ์„ฑ. ์•Œ๊ณ ๋ฆฌ์ฆ˜(RLยทIL), ์‹œ๋ฎฌ๋ ˆ์ด์…˜(๋‘ mobile manipulator, ๋‘ ์ข…๋ฅ˜์˜ deformable ๋ฌผ์ฒด, RGBยทdepthยทstate ๊ด€์ธก, 8๊ฐœ ๊ณผ์ œ), ๋ฐฑ์—”๋“œ(FEMยทPBD ๋ฌผ๋ฆฌ, OmniverseยทPythonยทUSD, GPU ๋ณ‘๋ ฌ ํ•™์Šต).

8๊ฐœ ๊ณผ์ œ ์ค‘ 5๊ฐœ(PlaceยทBendยทTransportยทDragยทLift)๊ฐ€ ์ƒˆ๋กœ ๋งŒ๋“  ํƒ„์„ฑ ๊ณผ์ œ์ด๊ณ , 3๊ฐœ(UncoverยทCoverยทCurtain)๋Š” DeMoBot(Zhang et al., 2024, ๊ฐ™์€ 1์ €์ž)์ด IL์šฉ ๊ณผ์ œ๋กœ ์ฒ˜์Œ ์ œ์•ˆํ•œ ๊ฒƒ์ด๋‹ค. ์ €์ž๋Š” DeMoBot ๋Œ€๋น„ ๊ธฐ์—ฌ๋ฅผ โ€œlocomotion ์ง€์›๊ณผ ๋ฒ ์ด์Šค ํ˜‘์กฐ ์ œ์–ด๊ฐ€ ์—†๋˜ ์›๋ž˜ ๊ตฌํ˜„์˜ ํ•œ๊ณ„๋ฅผ ํ•ด๊ฒฐํ•œ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๋ฒค์น˜๋งˆํฌโ€๋กœ ์„ค๋ช…ํ•œ๋‹ค.

๋ฌผ๋ฆฌ ์—”์ง„์€ NVIDIA PhysX๋‹ค. ํƒ„์„ฑ์ฒด๋Š” ์‚ฌ๋ฉด์ฒด ๋ฉ”์‹œ ๊ธฐ๋ฐ˜ FEM(๋ณธ๋ฌธ ํ‘œ๊ธฐ๋Š” โ€œelement finite methodsโ€)์œผ๋กœ, ์ปคํŠผยท์‹ํƒ๋ณด ๊ฐ™์€ ์ฒœ์€ position-based dynamics(PBD) particle๋กœ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ํ•œ๋‹ค. PBD๋ฅผ ์“ฐ๋Š” ์ด์œ ๋กœ๋Š” ํฐ ๋ณ€ํ˜•์—์„œ๋„ ์•ˆ์ •์ ์ด๋ผ๋Š” ์ ์„ ๋“ ๋‹ค. ์žฅ๋ฉด์€ Isaac Sim GUI์—์„œ ๋งŒ๋“ค์—ˆ๊ณ , ๊ฒฐ๋ก ์— ๋”ฐ๋ฅด๋ฉด ํƒ„์„ฑ์ฒด์˜ ํฌ๊ธฐยท๋ชจ์–‘๋„ ์ง€๊ธˆ์€ GUI์—์„œ ๋ฐ”๊ฟ”์•ผ ํ•œ๋‹ค(ํ”„๋กœ๊ทธ๋žจ ๋ฐฉ์‹ ์กฐ์ ˆ์€ ํ–ฅํ›„ ๊ณผ์ œ).

๋ณธ๋ฌธ์— ์—†๋Š” ๊ฒƒ๋„ ์ ์–ด ๋‘”๋‹ค. ํƒ„์„ฑ์ฒด์˜ Youngโ€™s modulusยทPoisson ๋น„, ์ฒœ์˜ ๊ฐ•์„ฑยท์งˆ๋Ÿ‰, FEM ๋ฉ”์‹œ ํ•ด์ƒ๋„ ๊ฐ™์€ ๋ฌผ์„ฑ์น˜๊ฐ€ ํ•˜๋‚˜๋„ ์—†๋‹ค. deformable ๋ฒค์น˜๋งˆํฌ์—์„œ ๋ฌผ์„ฑ์น˜๋Š” ๊ณผ์ œ ์ •์˜์˜ ์ผ๋ถ€์ด๊ณ , sim-to-real ๊ฒฐ๊ณผ๋ฅผ ํ•ด์„ํ•  ๋•Œ๋„ ํ•„์š”ํ•˜๋‹ค. ์ด ๊ฐ’๋“ค์€ ๊ณต๊ฐœ๋œ USD ์—์…‹ ์•ˆ์— ๋“ค์–ด ์žˆ์„ ๊ฒƒ์ด๋ฏ€๋กœ ์žฌํ˜„์ž๋Š” ์—์…‹์—์„œ ์ฝ์–ด์•ผ ํ•œ๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 2: ๋กœ๋ด‡๊ณผ ํ–‰๋™ ๊ณต๊ฐ„ (ยงIII-B)

ํ•ญ๋ชฉ ๋ฐ”ํ€ดํ˜• (Ridgeback + Franka) ๋‹ค๋ฆฌํ˜• (Spot + Spot Arm)
๋ฒ ์ด์Šค ํ–‰๋™ a_{base}=(v_x, v_y, \omega_z), ํ‰๋ฉด ์†๋„ ์‚ฌ์ „ํ•™์Šต locomotion ์ปจํŠธ๋กค๋Ÿฌ์— (p_x, p_y, r_z) ๋˜๋Š” ๋‹ค๋ฆฌ ๊ด€์ ˆ 12๊ฐœ ์ง์ ‘ ์ง€๋ น
ํŒ” ํ–‰๋™ joint position a_{arm}\in\mathbb{R}^n ๋˜๋Š” end-effector pose a_{arm}\in SE(3) ๊ฐ™์Œ
์กฐํ•ฉ 2๊ฐ€์ง€ ๋ฒ ์ด์Šค 2 ร— ํŒ” 2 = 4๊ฐ€์ง€, ํ–‰๋™ ์ฐจ์› 10~18
RL ์‹คํ—˜์—์„œ ์“ด ์„ค์ • joint space ์‚ฌ์ „ํ•™์Šต locomotion ์ปจํŠธ๋กค๋Ÿฌ + ํŒ” joint space
discrete ํ–‰๋™ 14๊ฐœ: ๋ชธ ์ „ยทํ›„ยท์ขŒยท์šฐ ์ด๋™, ์ขŒยท์šฐ ํšŒ์ „, ์† ์ „ยทํ›„ยท์ขŒยท์šฐยท์ƒยทํ•˜, ์žก๊ธฐ, ๋†“๊ธฐ (keyboard ๋Œ€์‘) ๊ฐ™์Œ

discrete ํ–‰๋™์€ keyboard๋กœ ์‹œ์—ฐ์„ ๋ชจ์œผ๊ธฐ ์œ„ํ•œ ๊ฒƒ์ด๊ณ , IL ๋ฐ์ดํ„ฐ 30๊ฐœ๊ฐ€ ์‹ค์ œ๋กœ keyboard๋กœ ์ˆ˜์ง‘๋๋‹ค(ยงIV-B). ๊ฒฐ๋ก ์€ ์ปจํŠธ๋กค๋Ÿฌ๋ฅผ โ€œjoint space, task space, and hypermodeโ€๋กœ ์š”์•ฝํ•˜๋Š”๋ฐ, โ€œhypermodeโ€๋Š” ๋ณธ๋ฌธ ์–ด๋””์—๋„ ์ •์˜๊ฐ€ ์—†๋‹ค. ๋งฅ๋ฝ์ƒ discrete keyboard ํ–‰๋™์„ ๊ฐ€๋ฆฌํ‚ค๋Š” ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค.

RL ์‹คํ—˜์˜ ๋‹ค๋ฆฌํ˜• ์„ค์ •์„ ์„ค๋ช…ํ•˜๋Š” ๋ฌธ์žฅ์€ โ€œas described in Section III-Dโ€๋ผ๊ณ  ์“ฐ์ง€๋งŒ locomotion ์ปจํŠธ๋กค๋Ÿฌ ์„ค๋ช…์€ ยงIII-B์— ์žˆ๋‹ค. ์‚ฌ์†Œํ•œ ์ƒํ˜ธ์ฐธ์กฐ ์˜ค๋ฅ˜๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 3: ๊ด€์ธก ๊ณต๊ฐ„ (ยงIII-C)

๊ด€์ธก์€ ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜๊ณผ state ๊ธฐ๋ฐ˜ ๋‘ ๊ฐ€์ง€๋‹ค. ์ €์ž๋Š” ๋‘˜์˜ trade-off๋ฅผ ๋ถ„๋ช…ํžˆ ์ ๋Š”๋‹ค. ์ด๋ฏธ์ง€๋Š” ์‹ค๊ธฐ ๋กœ๋ด‡์œผ๋กœ ์˜ฎ๊ธฐ๊ธฐ ์‰ฝ์ง€๋งŒ ์ฐจ์›์ด ๋†’์•„ ํ•™์Šต์ด ์–ด๋ ต๊ณ , state๋Š” ํ•™์Šต์ด ์‰ฝ์ง€๋งŒ ์‹ค๊ธฐ์—์„œ ์–ป๊ธฐ ์–ด๋ ต๋‹ค.

state ๊ด€์ธก์€ Ping์˜ ์‹์ฒ˜๋Ÿผ O=(s_r, s_o, s_e)๋‹ค. ํƒ„์„ฑ์ฒด๋Š” FEM ์š”์†Œ ์œ„์น˜ s_o=\{e_i\in\mathbb{R}^3\}_{i=1}^N, ์ฒœ์€ ์ถ”์ ํ•˜๋Š” particle ์œ„์น˜ s_o=\{p_i\in\mathbb{R}^3\}_{i=1}^M๋กœ ํ‘œํ˜„ํ•œ๋‹ค. s_e=(g_r, g_o, p_o)๋Š” ๊ฐ๊ฐ ๋กœ๋ด‡ ๋ชฉํ‘œ, ๋ฌผ์ฒด ๋ชฉํ‘œ, ์žฅ์• ๋ฌผ ์œ„์น˜์ด๊ณ  ๋ชจ๋‘ \mathbb{R}^3์ด๋‹ค.

์ด๋ฏธ์ง€ ๊ด€์ธก์€ RGB-D ์นด๋ฉ”๋ผ ์˜์ƒ์„ ๊ทธ๋Œ€๋กœ ์“ฐ์ง€ ์•Š๊ณ  DINOv2 ์ธ์ฝ”๋” \phi๋ฅผ ๊ฑฐ์นœ ํŠน์ง•์„ ์“ด๋‹ค.

O = s_{env} = \phi(I)

์ •์˜์ƒ ์ด๋ฏธ์ง€ ๊ด€์ธก์—๋Š” ๋กœ๋ด‡ ๊ณ ์œ ๊ฐ๊ฐ(proprioception)์ด ๋“ค์–ด๊ฐ€์ง€ ์•Š๋Š”๋‹ค. IL ์‹คํ—˜(ยงIV-B)๋„ o_b=\phi(I_{rgb})๋งŒ ์“ด๋‹ค. ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡์ด ์ปคํŠผ์„ ์žก๊ณ  ์ง€๋‚˜๊ฐ€๋Š” ๊ณผ์ œ์—์„œ ํŒ” ๊ด€์ ˆ ์ƒํƒœ ์—†์ด ์ด๋ฏธ์ง€ ํŠน์ง•๋งŒ์œผ๋กœ ํ–‰๋™์„ ๊ณ ๋ฅธ๋‹ค๋Š” ๋œป์ด๋‹ค.

๋ฐฉ๋ฒ• ์ƒ์„ธ 4: 8๊ฐœ ๊ณผ์ œ (ยงIII-D)

๊ณผ์ œ ๋ฌผ์ฒด(๋ฌผ๋ฆฌ) ๋ฌด์—‡์„ ํ•ด์•ผ ํ•˜๋‚˜ ๋ณด์ƒ ์„ฑ๊ณต ํŒ์ •
Place ํƒ„์„ฑ ๋ง‰๋Œ€(FEM) ํŒ”์ด ๋‹ฟ์ง€ ์•Š๋Š” ํƒ์ž ์œ„์— ๋ง‰๋Œ€๋ฅผ ์˜ฌ๋ฆฐ๋‹ค โˆ’(๋ง‰๋Œ€ ๋โ†”๏ธŽํƒ์ž ๊ฑฐ๋ฆฌ + ๋กœ๋ด‡โ†”๏ธŽํƒ์ž ๊ฑฐ๋ฆฌ + ์•ˆ์ •์„ฑ ํŽ˜๋„ํ‹ฐ), ๋ฐ”ํ€ดํ˜•์€ ์•ˆ์ •์„ฑ ํ•ญ 0 ๋ง‰๋Œ€ ๋์ด ํƒ์ž ์œ„
Bend ๊ธด ํƒ„์„ฑ ๋ง‰๋Œ€(FEM) ๋ง‰๋Œ€๋ฅผ ๋“ค๊ณ  L์ž ๋ณต๋„๋ฅผ ์ง€๋‚œ๋‹ค. ๋ง‰๋Œ€๋ฅผ ํœ˜์–ด์•ผ ํ†ต๊ณผ๋œ๋‹ค โˆ’(๋ง‰๋Œ€ ๋โ†”๏ธŽ๋ชฉํ‘œ + ๋กœ๋ด‡โ†”๏ธŽ๋ชฉํ‘œ + ์•ˆ์ •์„ฑ) ๋ง‰๋Œ€ ๋๊ณผ ๋ณต๋„ ์ž…๊ตฌ ๋ชฉํ‘œ์˜ ๊ฑฐ๋ฆฌ
Transport ํƒ„์„ฑ ๋ง‰๋Œ€(FEM) Bend ํ™•์žฅ. ๋ณต๋„ ๊ฐ€์šด๋ฐ ํฐ ์žฅ์• ๋ฌผ์„ ๋Œ์•„๊ฐ„๋‹ค. ์ค‘๊ฐ„ ๋ชฉํ‘œ๋กœ ์ง€์—ญ ์ตœ์  ํšŒํ”ผ โˆ’(๋ง‰๋Œ€ ๋โ†”๏ธŽ์ค‘๊ฐ„ยท์ตœ์ข… ๋ชฉํ‘œ + ๋กœ๋ด‡โ†”๏ธŽ๋‘ ๋ชฉํ‘œ + ์•ˆ์ •์„ฑ) ๋ง‰๋Œ€ ๋๊ณผ ์ตœ์ข… ๋ชฉํ‘œ์˜ ๊ฑฐ๋ฆฌ
Drag ํ•œ์ชฝ ๋์ด ๊ณ ์ •๋œ ํƒ„์„ฑ ๋ฒจํŠธ(FEM) ๋ฒจํŠธ๋ฅผ ๋“ค์–ด ๋Š˜๋ ค ์žฅ์• ๋ฌผ ๋„ˆ๋จธ๋กœ ๋„˜๊ธฐ๊ณ , ๋ชธ์€ body target ๊ทผ์ฒ˜์— ๋‘”๋‹ค โˆ’(๋ฒจํŠธ ์ค‘์ โ†”๏ธŽ๋ฒจํŠธ ๋ชฉํ‘œ + ๋ชธโ†”๏ธŽbody target + ์•ˆ์ •์„ฑ) ๋ชธ์ด body target ๊ทผ์ฒ˜ + ๋ฒจํŠธ๊ฐ€ ์žฅ์• ๋ฌผ ๋ฐ˜๋Œ€ํŽธ ๋ชฉํ‘œ ๊ทผ์ฒ˜
Lift ๋‘ ๋ฒฝ ์‚ฌ์ด์— ๊ฑธ๋ฆฐ ํƒ„์„ฑ ๋ฒจํŠธ(FEM) ๋ฒจํŠธ๋ฅผ ๋“ค์–ด ์˜ฌ๋ ค ํ‹ˆ์„ ๋งŒ๋“ค๊ณ  ๊ทธ ๋ฐ‘์œผ๋กœ ์ง€๋‚˜๊ฐ„๋‹ค(๋กค๋Ÿฌ ์…”ํ„ฐ์—์„œ ์ฐฉ์•ˆ) โˆ’(๋ฒจํŠธ ์ค‘์ โ†”๏ธŽ๋ชฉํ‘œ + ๋ชธโ†”๏ธŽbody target + ์•ˆ์ •์„ฑ) ๋ฒจํŠธ ์ค‘์ โ†”๏ธŽ๋ชฉํ‘œ ๊ฑฐ๋ฆฌ + ๋กœ๋ด‡โ†”๏ธŽ๋กœ๋ด‡ ๋ชฉํ‘œ ๊ฑฐ๋ฆฌ
Uncover ์‹ํƒ๋ณด(PBD) ํฐ ํƒ์ž์˜ ๋ฎ๊ฐœ๋ฅผ ์ •ํ•ด์ง„ ๋ฐฉํ–ฅ์œผ๋กœ ๊ฑท์–ด ๋‚ธ๋‹ค binary sparse ๋ฎ๊ฐœ๊ฐ€ ์™„์ „ํžˆ ๊ฑทํžˆ๊ณ  ์†์žก์ด๊ฐ€ ํƒ์ž ๋ฐ˜๋Œ€ํŽธ์„ ๋„˜์Œ
Cover ์ฒœ(PBD) ์ฒœ์„ ์žก์•„ ๋‘ ์ƒ์ž ์‚ฌ์ด ํ‹ˆ์„ ๋ฎ๋Š”๋‹ค(long-horizon) binary sparse ํ‹ˆ์ด ๋ฎ์ด๊ณ  ์†์žก์ด๊ฐ€ ๋‹ค๋ฅธ ์ƒ์ž๋กœ ์˜ฎ๊ฒจ์ง
Curtain ๊ฑธ๋ฆฐ ์ปคํŠผ(PBD) ํŒ”๋กœ ์ปคํŠผ์„ ๋ฐ€๊ณ  ๋ชธ์„ ์ถฉ๋Œ ์—†์ด ํ†ต๊ณผ์‹œํ‚จ๋‹ค binary sparse ์ถฉ๋Œ ์—†์ด ์ปคํŠผ์„ ์ง€๋‚จ

์„ค๊ณ„ ์˜๋„๊ฐ€ ๊ฐ€์žฅ ์ž˜ ๋ณด์ด๋Š” ์žฅ์น˜๋Š” ๋ณด์ƒ์— ๋“ค์–ด๊ฐ„ ๋กœ๋ด‡ ์œ„์น˜ ํ•ญ์ด๋‹ค. Drag ์„ค๋ช…์€ ์ด ํ•ญ์„ โ€œ๋กœ๋ด‡์ด ํŒ” ์›€์ง์ž„์—๋งŒ ๊ธฐ๋Œ€์ง€ ์•Š๊ณ  ์ด๋™์„ฑ์„ ์“ฐ๋„๋กโ€ ๋„ฃ์—ˆ๋‹ค๊ณ  ๋ฐํžŒ๋‹ค. ์ฆ‰ โ€œ์ด๋™๊ณผ ์กฐ์ž‘์˜ ํ˜‘์กฐโ€๊ฐ€ ๊ณผ์ œ ๊ตฌ์กฐ์—์„œ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ๋‚˜์˜ค๊ธฐ๋ฅผ ๊ธฐ๋‹ค๋ฆฌ์ง€ ์•Š๊ณ  ๋ณด์ƒ์œผ๋กœ ๊ฐ•์ œํ•œ๋‹ค. ๋ฒค์น˜๋งˆํฌ ๊ด€์ ์—์„œ๋Š” ์–‘๋‚ ์ด๋‹ค. ํ˜‘์กฐ๊ฐ€ ํ•„์š”ํ•œ ๊ณผ์ œ๋ผ๋Š” ์ฃผ์žฅ๊ณผ ํ˜‘์กฐ๋ฅผ ๋ณด์ƒ์œผ๋กœ ์œ ๋„ํ•œ ๊ณผ์ œ๋ผ๋Š” ์‚ฌ์‹ค์ด ์„ž์ด๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ๋ณด์ƒ ํ•ญ์˜ ๊ฐ€์ค‘์น˜์™€ ๊ฑฐ๋ฆฌ ๋ฌธํ„ฑ์€ ๋ณธ๋ฌธ์— ์—†๋‹ค.

๋ณธ๋ฌธ ยงIII-D ์ฒซ ๋ฌธ๋‹จ์€ โ€œFigure 1 illustrates the five tasksโ€๋ผ๊ณ  ์“ฐ์ง€๋งŒ Fig. 1์—๋Š” 8๊ฐœ ๊ณผ์ œ๊ฐ€ ๋‘ ๋กœ๋ด‡์œผ๋กœ 16์นธ์— ๊ฑธ์ณ ๊ทธ๋ ค์ ธ ์žˆ๋‹ค. ํƒ„์„ฑ ๊ณผ์ œ 5๊ฐœ๋งŒ ๊ทธ๋ ธ๋˜ ์ด์ „ ๊ทธ๋ฆผ์˜ ๋ฌธ์žฅ์ด ๋‚จ์€ ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค.

์ฒœ ๊ณผ์ œ์˜ ์–ด๋ ค์›€์œผ๋กœ ์ €์ž๊ฐ€ ๊ผฝ๋Š” ์ ์ด ํฅ๋ฏธ๋กญ๋‹ค. ์žก๊ธฐ ๋™์ž‘์€ ๊ผญ ํ•„์š”ํ•˜์ง€๋งŒ ์žฅ๋ฉด์„ ๊ฑฐ์˜ ๋ฐ”๊พธ์ง€ ์•Š์•„ ์ด๋ฏธ์ง€๋กœ๋Š” ์ง„ํ–‰ ์ƒํ™ฉ์„ ์•Œ๊ธฐ ์–ด๋ ต๊ณ , ์ฒœ์ด ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡์˜ ์‹œ์•ผ์™€ ์›€์ง์ž„์„ ๊ฐ€๋ฆฐ๋‹ค. Curtain์—์„œ๋Š” IK ์†”๋ฒ„ ์‹คํŒจ์™€ end-effector์—์„œ ์ปคํŠผ์ด ๋ฏธ๋„๋Ÿฌ์ง€๋Š” ๋ฌธ์ œ๋„ ์–ธ๊ธ‰ํ•œ๋‹ค.

์ง๊ด€: deformability๋Š” ์žฅ์• ๋ฌผ์ด์ž ๋„๊ตฌ๋‹ค

rigid ๋ง‰๋Œ€๋ผ๋ฉด L์ž ๋ณต๋„(Bend)๋Š” ๋ง‰๋Œ€ ๊ธธ์ด์™€ ๋ณต๋„ ํญ์œผ๋กœ ํ†ต๊ณผ ์—ฌ๋ถ€๊ฐ€ ์ •ํ•ด์ง€๋Š” ๊ธฐํ•˜ ๋ฌธ์ œ๋‹ค. ํƒ„์„ฑ ๋ง‰๋Œ€๋ผ๋ฉด ๋ฒฝ์— ๋Œ€๊ณ  ํœ˜๊ฒŒ ๋งŒ๋“ค์–ด ๊ธฐํ•˜์ ์œผ๋กœ ๋ถˆ๊ฐ€๋Šฅํ•œ ํ†ต๊ณผ๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•  ์ˆ˜ ์žˆ๋‹ค. Drag์˜ ๋ฒจํŠธ๋Š” ๋Š˜์–ด๋‚ ์ˆ˜๋ก ๊ทธ๋ฆฌํผ์™€ ๋ฒจํŠธ ์‚ฌ์ด ํž˜์ด ์ปค์ ธ ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡์˜ ๊ท ํ˜•์„ ํ”๋“ ๋‹ค. Lift๋Š” ๋ฒจํŠธ๋ฅผ ๋“ค์–ด ์˜ฌ๋ฆฐ ์ฑ„๋กœ ๊ทธ ๋ฐ‘์„ ์ง€๋‚˜์•ผ ํ•ด์„œ ํŒ”์„ ๋“ค๊ณ  ์žˆ๋Š” ๋™์•ˆ ๋ชธ์„ ์›€์ง์—ฌ์•ผ ํ•œ๋‹ค. ๊ทธ๋ž˜์„œ ์ด ๊ณผ์ œ๋“ค์—์„œ deformability๋Š” ๊ทน๋ณตํ•  ์žฅ์• ๋ฌผ์ด๋ฉด์„œ ๋™์‹œ์— ์ด์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋„๊ตฌ๋‹ค. ์ด ์ด์ค‘์„ฑ์ด ๊ณผ์ œ ์„ค๊ณ„์˜ ํ•ต์‹ฌ์ด๋‹ค.

state๋ฅผ 4๊ฐœ ์ ์œผ๋กœ ์ค„์ธ ์„ ํƒ๋„ ๊ฐ™์€ ๋งฅ๋ฝ์—์„œ ์ดํ•ด๋œ๋‹ค. ๋ง‰๋Œ€ยท๋ฒจํŠธ์˜ ๋ณ€ํ˜•์€ ๊ธธ์ด ๋ฐฉํ–ฅ ๊ณก์„  ํ•˜๋‚˜๋กœ ๊ฑฐ์˜ ์š”์•ฝ๋˜๋ฏ€๋กœ ์  ๋ช‡ ๊ฐœ๋กœ ์ถฉ๋ถ„ํ•˜๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์  ๋ช‡ ๊ฐœ๋Š” ์‹ค๊ธฐ์—์„œ ๋ชจ์…˜์บก์ฒ˜ ๋งˆ์ปค๋กœ ๋ฐ”๋กœ ์ธก์ •ํ•  ์ˆ˜ ์žˆ๋‹ค. ์‹ค๊ธฐ PlaceยทDrag๊ฐ€ ๋„˜์–ด๊ฐ„ ์ด์œ ์˜ ์ƒ๋‹น ๋ถ€๋ถ„์ด ์—ฌ๊ธฐ์— ์žˆ์„ ๊ฒƒ์ด๋‹ค. ๊ฐ™์€ ์š”์•ฝ์ด ์ฒœ์—๋Š” ํ†ตํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ฒœ ๊ณผ์ œ๋ฅผ state ๊ธฐ๋ฐ˜ RL๋กœ ๋Œ๋ฆฌ์ง€ ์•Š๊ณ  ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ IL๋กœ๋งŒ ํ‰๊ฐ€ํ•œ ๊ฒƒ๋„ ์ด ์ฐจ์ด์™€ ๋งž๋‹ฟ์•„ ์žˆ๋‹ค.

์‹คํ—˜ 1: ์‹œ๋ฎฌ๋ ˆ์ด์…˜ RL (ยงIV-A, Fig. 3)

์…‹์—…์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. ํƒ„์„ฑ ๊ณผ์ œ 5๊ฐœ์—์„œ PPO์™€ SAC๋ฅผ rl_games๋กœ ํ•™์Šตํ•˜๊ณ , ๊ด€์ธก์€ state(๋ฌผ์ฒด ์œ„ 4๊ฐœ ์  ํฌํ•จ)๋‹ค. ๋ฐ”ํ€ดํ˜•์€ joint space, ๋‹ค๋ฆฌํ˜•์€ ์‚ฌ์ „ํ•™์Šต locomotion ์ปจํŠธ๋กค๋Ÿฌ + ํŒ” joint space ํ–‰๋™์„ ์“ด๋‹ค. ๊ณผ์ œยท์•Œ๊ณ ๋ฆฌ์ฆ˜๋งˆ๋‹ค 5 seed๋กœ ํ•™์Šตํ•˜๊ณ , ์„ฑ๊ณต๋ฅ ์€ ํ•™์Šต๋œ ์—์ด์ „ํŠธ์˜ 20ํšŒ ํ‰๊ฐ€๋กœ ์žฐ๋‹ค.


Fig. 3. ์œ„: Place ๊ณผ์ œ์˜ ํ‰๊ท  return(5 seed ํ‰๊ท , ์Œ์˜์€ ํ‘œ์ค€ํŽธ์ฐจ). ๊ฐ€๋กœ์ถ•์€ Spot 5M, Franka 20M step์ด๋‹ค. ์•„๋ž˜: 5๊ฐœ ํƒ„์„ฑ ๊ณผ์ œ์˜ ์„ฑ๊ณต๋ฅ (20ํšŒ ํ‰๊ฐ€). ๋ณธ๋ฌธ์€ ๋ง‰๋Œ€ ๊ทธ๋ฆผ์ด โ€œupper-right cornerโ€์— ์žˆ๋‹ค๊ณ  ์“ฐ์ง€๋งŒ ์‹ค์ œ๋กœ๋Š” ๊ทธ๋ฆผ ์•„๋ž˜์ชฝ์— ์žˆ๋‹ค.

๋…ผ๋ฌธ์€ ์„ฑ๊ณต๋ฅ ์„ ์ˆซ์ž๋กœ ์ฃผ์ง€ ์•Š๋Š”๋‹ค. ์•„๋ž˜ ํ‘œ๋Š” Fig. 3 ๋ง‰๋Œ€์˜ ๋†’์ด๋ฅผ ๋ˆˆ๊ธˆ์— ๋งž์ถฐ ์ฝ์€ ๊ฐ’์ด๋‹ค. ๋†’์ด๊ฐ€ 1% ๋ฏธ๋งŒ์ธ ์ตœ์†Œ ๋†’์ด ๋ง‰๋Œ€๋Š” 20ํšŒ ์ค‘ 1ํšŒ ์„ฑ๊ณต(5%)๋ณด๋‹ค ๋‚ฎ์œผ๋ฏ€๋กœ 0%๋กœ ์ฝ์—ˆ๋‹ค.

๋กœ๋ด‡ยท์•Œ๊ณ ๋ฆฌ์ฆ˜ Place Bend Transport Drag Lift ํ‰๊ท 
Spot-PPO 100 0 0 100 35 47
Spot-SAC 90 0 0 10 10 22
Franka-PPO 95 100 100 20 100 83
Franka-SAC 0 100 0 5 0 21

(๋‹จ์œ„ %, Fig. 3์—์„œ ์ฝ์€ ๊ทผ์‚ฌ์น˜. ํ‰๊ท ์€ ํ•„์ž ๊ณ„์‚ฐ.)

์ €์ž์˜ ํ•ด์„์€ ๋‘ ๊ฐ€์ง€๋‹ค. โ‘  ๋‹ค๋ฆฌํ˜•(Spot)์ด ๊ท ํ˜• ์œ ์ง€ ๋•Œ๋ฌธ์— ๋ฐ”ํ€ดํ˜•๋ณด๋‹ค ํ™•์—ฐํžˆ ์–ด๋ ต๊ณ , ํŠนํžˆ ์ข์€ ๊ณต๊ฐ„ ๊ณผ์ œ(BendยทTransport)์—์„œ ๊ทธ๋ ‡๋‹ค. โ‘ก PPO๊ฐ€ ๊ฑฐ์˜ ๋ชจ๋“  ๊ณผ์ œยท๋กœ๋ด‡์—์„œ SAC๋ณด๋‹ค ๋‚ซ๊ณ , ์˜ˆ์™ธ๋Š” Spot์˜ Bend๋‹ค. ๊ทธ๋ฆฌ๊ณ  โ€œMoDeSuite์˜ ๋ชจ๋“  ๊ณผ์ œ๋Š” ํ’€ ์ˆ˜ ์žˆ์ง€๋งŒ ์—ฌ์ „ํžˆ ์–ด๋ ต๋‹คโ€๊ณ  ๊ฒฐ๋ก ์ง“๋Š”๋‹ค.

๋ง‰๋Œ€ ๊ฐ’๊ณผ ๋งž๋Œ€ ๋ณด๋ฉด ๋‹ค์Œ์ด ๋ณด์ธ๋‹ค.

  • โ€œ์˜ˆ์™ธ๋Š” Spot Bendโ€๋Š” ๋ง‰๋Œ€์™€ ๋งž์ง€ ์•Š๋Š”๋‹ค. Spot Bend๋Š” PPOยทSAC ๋ชจ๋‘ 0%๋กœ ๋™๋ฅ ์ด๊ณ , ์‹ค์ œ๋กœ SAC๊ฐ€ PPO์™€ ๊ฐ™์€ ๊ณณ์€ Franka Bend(๋‘˜ ๋‹ค 100%)๋‹ค. ๋ง‰๋Œ€๋งŒ ๋ณด๋ฉด PPO๊ฐ€ SAC๋ณด๋‹ค ๋‚ฎ์€ ์นธ์€ ํ•˜๋‚˜๋„ ์—†๋‹ค. ์ €์ž๊ฐ€ ๋ง๋ถ™์ธ ์„ค๋ช…(Spot์ด ์ข์€ ๋ฒฝ์ด๋‚˜ ํƒ„์„ฑ์ฒด์™€ ๋ถ€๋”ชํ˜€ ๊ท ํ˜•์„ ์žƒ๋Š”๋‹ค)์€ Spot Bend๊ฐ€ ๋‘ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ชจ๋‘์—์„œ ์‹คํŒจํ•œ ์ด์œ ๋กœ ์ฝ๋Š” ๊ฒƒ์ด ๋งž๋‹ค.
  • โ€œ๋ชจ๋“  ๊ณผ์ œ๋ฅผ ํ’€ ์ˆ˜ ์žˆ๋‹คโ€๋Š” Franka ๊ธฐ์ค€์ด๋‹ค. Spot ์„ค์ •์—์„œ๋Š” BendยทTransport๊ฐ€ ์–ด๋А ์•Œ๊ณ ๋ฆฌ์ฆ˜์œผ๋กœ๋„ 0%๋‹ค. Franka๋„ Drag๋Š” ์ตœ๊ณ  20%์— ๊ทธ์นœ๋‹ค. ์ฆ‰ 10๊ฐœ(๊ณผ์ œ ร— ๋กœ๋ด‡) ์„ค์ • ์ค‘ PPOยทSAC ์–ด๋А ์ชฝ์œผ๋กœ๋„ ํ’€๋ฆฌ์ง€ ์•Š์€ ๊ฒƒ์ด 2๊ฐœ, ์ตœ๊ณ  ์„ฑ๊ณต๋ฅ ์ด 50% ๋ฏธ๋งŒ์ธ ๊ฒƒ์ด 2๊ฐœ(Spot Lift 35%, Franka Drag 20%)๋‹ค.
  • โ€œ๋‹ค๋ฆฌํ˜•์ด ๋” ์–ด๋ ต๋‹คโ€๋Š” ํ‰๊ท ์œผ๋กœ๋Š” ๋งž์ง€๋งŒ ๊ณผ์ œ๋งˆ๋‹ค ๋‹ค๋ฅด๋‹ค. Drag๋Š” ๋ฐ˜๋Œ€๋กœ Spot-PPO 100% ๋Œ€ Franka-PPO 20%๋‹ค. ์ €์ž๋Š” Drag์—์„œ ๋ฒจํŠธ ์žฅ๋ ฅ์ด ํŠนํžˆ ๋‹ค๋ฆฌํ˜•์˜ ์ œ์–ด๋ฅผ ๋ถˆ์•ˆ์ •ํ•˜๊ฒŒ ๋งŒ๋“ ๋‹ค๊ณ  ์„ค๋ช…ํ–ˆ๋Š”๋ฐ, ๊ฒฐ๊ณผ๋Š” ๊ทธ ๋ฐ˜๋Œ€๋‹ค. ์™œ Franka๊ฐ€ Drag์—์„œ ์‹คํŒจํ•˜๋Š”์ง€๋Š” ๋…ผ์˜๋˜์ง€ ์•Š๋Š”๋‹ค. ๋ฐ”ํ€ดํ˜• ๋ฒ ์ด์Šค์™€ ํŒ”์˜ ๋„๋‹ฌ ๋ฒ”์œ„ ์ฐจ์ด ๊ฐ™์€ ์›์ธ์ด ์žˆ์„ ์ˆ˜ ์žˆ์ง€๋งŒ ๋…ผ๋ฌธ ์•ˆ์—์„œ๋Š” ํ™•์ธํ•  ์ˆ˜ ์—†๋‹ค.
  • ํ•™์Šต ์˜ˆ์‚ฐ์ด ๋‹ค๋ฅด๋‹ค. Place ๊ณก์„ ์˜ ๊ฐ€๋กœ์ถ•์€ Spot 5M, Franka 20M step์ด๋‹ค. ๋‹ค๋ฅธ ๊ณผ์ œ์˜ ์˜ˆ์‚ฐ๊ณผ ๋ณ‘๋ ฌ ํ™˜๊ฒฝ ์ˆ˜, ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ๋Š” ๋ณธ๋ฌธ์— ์—†๋‹ค. ๋กœ๋ด‡ ๊ฐ„ ๋น„๊ต์—์„œ ์˜ˆ์‚ฐ ์ฐจ์ด๊ฐ€ ์–ผ๋งˆ๋‚˜ ์ž‘์šฉํ–ˆ๋Š”์ง€ ์•Œ ์ˆ˜ ์—†๋‹ค.
  • ๋ถ„์‚ฐ ํ‘œ์‹œ๊ฐ€ ๋ง‰๋Œ€์—๋Š” ์—†๋‹ค. ํ•™์Šต ๊ณก์„ ์€ 5 seed ํ‰๊ท ๊ณผ ํ‘œ์ค€ํŽธ์ฐจ์ธ๋ฐ, ๋ง‰๋Œ€๋Š” โ€œํ•™์Šต๋œ ์—์ด์ „ํŠธ์˜ 20ํšŒ ํ‰๊ฐ€โ€๋ผ๊ณ ๋งŒ ๋˜์–ด ์žˆ๋‹ค. 5 seed ๊ฐ๊ฐ์„ ํ‰๊ฐ€ํ•ด ํ•ฉ์นœ ๊ฒƒ์ธ์ง€, ๋Œ€ํ‘œ seed ํ•˜๋‚˜์ธ์ง€ ๋ฐํžˆ์ง€ ์•Š๋Š”๋‹ค. Spot-PPO์˜ Place ๊ณก์„ ์€ ์Œ์˜์ด โˆ’9,000 ๊ทผ์ฒ˜๊นŒ์ง€ ๋‚ด๋ ค๊ฐˆ ๋งŒํผ seed ๊ฐ„ ํŽธ์ฐจ๊ฐ€ ํฐ๋ฐ, ๋ง‰๋Œ€๋Š” 100%๋‹ค.

์‹คํ—˜ 2: ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ IL (ยงIV-B, Table III)

๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡์˜ ์ฒœ ๊ณผ์ œ 3๊ฐœ์—์„œ ๋‘ IL ๋ฐฉ๋ฒ•์„ ๋น„๊ตํ•œ๋‹ค. BC๋Š” ๊ณ ์ „์ ์ธ supervised behavior cloning์ด๊ณ , Retrieval์€ DeMoBot์˜ retrieval ๋ฐฉ๋ฒ•์„ โ€œstate similarity๋งŒโ€ ์“ฐ๋„๋ก ๋‹จ์ˆœํ™”ํ•œ ๊ฒƒ์ด๋‹ค. ๋‘ ๋ฐฉ๋ฒ• ๋ชจ๋‘ RGB๋ฅผ DINOv2๋กœ ์ธ์ฝ”๋”ฉํ•œ ํŠน์ง• o_b=\phi(I_{rgb})๋ฅผ ์ž…๋ ฅ์œผ๋กœ ์“ฐ๋ฉฐ, ๊ณผ์ œ๋‹น keyboard๋กœ ๋ชจ์€ ์‹œ์—ฐ 30๊ฐœ๋กœ ํ•™์Šตํ•œ๋‹ค.

๋ฐฉ๋ฒ• Uncover Cover Curtain
BC 85% (17/20) 60% (12/20) 60% (12/20)
Retrieval 90% (18/20) 80% (16/20) 80% (16/20)

(Table III. ๊ด„ํ˜ธ์˜ ๋ถ„์ˆ˜๋Š” 20ํšŒ ํ‰๊ฐ€๋กœ ํ•„์ž๊ฐ€ ํ™˜์‚ฐํ•œ ๊ฐ’.)

ํ‰๊ฐ€ ํ™˜๊ฒฝ์€ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ํ™˜๊ฒฝ๊ณผ โ€œidenticalโ€ํ•˜๋‹ค. ์ €์ž๋Š” ๊ฐ™์€ ํ™˜๊ฒฝ์ธ๋ฐ๋„ ์‹คํŒจ๊ฐ€ ๋‚˜๋Š” ์ด์œ ๋กœ mobile manipulator์™€ deformable ๋ฌผ์ฒด์˜ dynamics, ๊ทธ๋ฆฌ๊ณ  locomotion ์ปจํŠธ๋กค๋Ÿฌ์˜ ์ •ํ™•๋„ ํ•œ๊ณ„๋ฅผ ๋“ ๋‹ค. ์ด ํ‘œ๋Š” โ€œํ•™์Šต ๋ถ„ํฌ ์•ˆ์—์„œ์˜ ์žฌํ˜„โ€ ์„ฑ๋Šฅ์ด๋‹ค. ์ดˆ๊ธฐ ์ƒํƒœ๊ฐ€ ๋ฐ”๋€Œ์—ˆ์„ ๋•Œ์˜ ์ผ๋ฐ˜ํ™”๋Š” ์žฌ์ง€ ์•Š์•˜๋‹ค. 20ํšŒ ํ‰๊ฐ€์—์„œ BC์™€ Retrieval์˜ ์ฐจ์ด๋Š” CoverยทCurtain์—์„œ 4ํšŒ(12 ๋Œ€ 16)๋‹ค. ์‹œ๋“œ๋‚˜ ๋ฐ˜๋ณต ํ•™์Šต ๊ฒฐ๊ณผ๊ฐ€ ์—†์–ด์„œ ์ด ์ฐจ์ด๊ฐ€ ์•ˆ์ •์ ์ธ์ง€ ํŒ๋‹จํ•  ๊ทผ๊ฑฐ๋Š” ์—†๋‹ค.


Spot์˜ Curtain ๊ณผ์ œ(์‹œ๋ฎฌ๋ ˆ์ด์…˜). ํŒ”๋กœ ์ปคํŠผ์„ ๋ฐ€์–ด๋‚ด๊ณ  ๊ทธ ํ‹ˆ์œผ๋กœ ๋ชธ์„ ํ†ต๊ณผ์‹œํ‚จ๋‹ค. ์ถœ์ฒ˜: ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ GIF.

์‹คํ—˜ 3: ์‹ค๊ธฐ Spot ๋ฐฐํฌ (ยงIV-C, Table II, Fig. 4ยท5)

์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ํ•™์Šตํ•œ ์ •์ฑ…์„ fine-tuning ์—†์ด ์‹ค๊ธฐ Spot์— ์˜ฌ๋ฆฐ๋‹ค. ๋Œ€์ƒ์€ PlaceยทDragยทCurtain์ด๋‹ค. Place์—๋Š” ์ˆ˜์˜์šฉ ํผ ๋ˆ„๋“ค, Drag์—๋Š” ๊ณ ๋ฌด ์ŠคํŠธ๋ ˆ์นญ ๋ฐด๋“œ, Curtain์—๋Š” 100 cm ร— 120 cm ์ฒœ์„ ์ผ๋‹ค. state ๊ด€์ธก์€ OptiTrack์œผ๋กœ ์–ป๊ณ , ์ด๋ฏธ์ง€๋Š” Intel RealSense D415๋กœ ์ฐ๋Š”๋‹ค. ๊ณผ์ œ๋งˆ๋‹ค ์‚ฌ์ „ํ•™์Šต ์—์ด์ „ํŠธ ๋‘ ๊ฐœ(SACยทPPO)๋ฅผ ๊ทธ๋Œ€๋กœ ๋ฐฐํฌํ–ˆ๋‹ค.

state ๊ธฐ๋ฐ˜: PlaceยทDrag

์˜์—ญ ๋ฐฉ๋ฒ• Place SR Place Steps Drag SR Drag Steps
Sim (60 Hz, 20ํšŒ) SAC 90% 217.6 10% 92.5
PPO 100% 83.4 100% 81.3
Real (10 Hz, 10ํšŒ) SAC 90% 172.1 0% โ€“
PPO 100% 62.6 100% 32.9

(Table II. Steps๋Š” ๊ณผ์ œ๋ฅผ ๋๋‚ด๋Š” ๋ฐ ์“ด ์ œ์–ด ํ–‰๋™ ์ˆ˜.)

Table II์˜ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์„ฑ๊ณต๋ฅ (Place SAC 90ยทPPO 100, Drag SAC 10ยทPPO 100)์€ Fig. 3์˜ Spot ๋ง‰๋Œ€์™€ ์ •ํ™•ํžˆ ๊ฐ™๋‹ค. ์ฆ‰ ์‹ค๊ธฐ์— ์˜ฌ๋ฆฐ ๊ฒƒ์€ Fig. 3์˜ Spot ์ •์ฑ…์ด๋‹ค.

์ €์ž๋Š” ๋‘ ๋ฐฉ๋ฒ• ๋ชจ๋‘ ์„ฑ๊ณต๋ฅ ์ด sim๊ณผ real์—์„œ ์ž˜ ๋งž๋Š”๋‹ค๊ณ  ๋ณด๊ณ , SAC Drag๋งŒ ์‹ค๊ธฐ์—์„œ โ€œ์•ฝ๊ฐ„โ€ ๋–จ์–ด์กŒ๋‹ค๊ณ  ์“ด๋‹ค. ์›์ธ์œผ๋กœ๋Š” SAC๊ฐ€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ์•…์šฉํ•˜๋Š” ์œ„ํ—˜ํ•œ ์›€์ง์ž„์„ ํ•˜๋“œ์›จ์–ด ์ œํ•œ์ด ๋ง‰์•˜๋‹ค๋Š” ์ ์„ ๋“ ๋‹ค. ์ˆ˜์น˜๋กœ ๋ณด๋ฉด SAC Drag๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ๋„ 20ํšŒ ์ค‘ 2ํšŒ๋งŒ ์„ฑ๊ณตํ•œ ์ •์ฑ…์ด๋‹ค. 2/20์—์„œ 0/10์œผ๋กœ ๊ฐ„ ๊ฒƒ์„ โ€œsim-to-real ์ •๋ ฌโ€์˜ ์˜ˆ์™ธ๋กœ ๋…ผํ•˜๊ธฐ์—๋Š” ์ถœ๋ฐœ์ ์ด ์ด๋ฏธ ์‹คํŒจ์— ๊ฐ€๊น๋‹ค.

Steps ์—ด์€ ํ•ด์„์— ์ฃผ์˜๊ฐ€ ํ•„์š”ํ•˜๋‹ค. ์ €์ž๋Š” ์ œ์–ด ์ฃผํŒŒ์ˆ˜๊ฐ€ ๋‹ฌ๋ผ(์‹ค๊ธฐ 10 Hz, ์‹œ๋ฎฌ๋ ˆ์ด์…˜ 60 Hz) step ์ˆ˜๊ฐ€ ๋‹ค๋ฅด์ง€๋งŒ โ€œ์ „์ฒด ๊ฒฝํ–ฅ์€ ์ผ๊ด€๋œ๋‹คโ€๊ณ  ์“ด๋‹ค. ๋…ผ๋ฌธ์ด ์ ์€ ์ฃผํŒŒ์ˆ˜๋กœ ์‹œ๊ฐ„์„ ํ™˜์‚ฐํ•˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

Place SAC Place PPO Drag PPO
Sim (Steps รท 60 Hz) 3.6 s 1.4 s 1.4 s
Real (Steps รท 10 Hz) 17.2 s 6.3 s 3.3 s
์‹ค๊ธฐ/์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์‹œ๊ฐ„ ๋น„ 4.7ร— 4.5ร— 2.4ร—

(ํ•„์ž ๊ณ„์‚ฐ.)

์‹ค๊ธฐ๋Š” ๊ฐ™์€ ๊ณผ์ œ๋ฅผ 2.4~4.7๋ฐฐ ๋” ์˜ค๋ž˜ ๊ฑธ๋ ค ๋๋‚ธ๋‹ค. ๋งค step์˜ ํ–‰๋™์ด ์‹ค๊ธฐ์—์„œ 6๋ฐฐ ๊ธธ๊ฒŒ ์œ ์ง€๋˜๋Š”๋ฐ๋„ step ์ˆ˜๊ฐ€ 6๋ถ„์˜ 1๋กœ ์ค„์ง€ ์•Š์•˜๋‹ค๋Š” ๋œป์ด๋‹ค. โ€œ๊ฒฝํ–ฅ์ด ๊ฐ™๋‹คโ€๋Š” SAC๊ฐ€ PPO๋ณด๋‹ค ๋А๋ฆฌ๋‹ค๋Š” ์ˆœ์„œ๊ฐ€ ์œ ์ง€๋œ๋‹ค๋Š” ์˜๋ฏธ๋กœ๋Š” ๋งž์ง€๋งŒ, ์‹คํ–‰ ์†๋„๊ฐ€ ๋ณด์กด๋œ๋‹ค๋Š” ์˜๋ฏธ๋กœ ์ฝ์œผ๋ฉด ์•ˆ ๋œ๋‹ค. ๋˜ํ•œ Drag SAC์˜ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ Steps 92.5๊ฐ€ ์„ฑ๊ณตํ•œ 2ํšŒ๋งŒ์˜ ํ‰๊ท ์ธ์ง€, ์‹คํŒจ ์—ํ”ผ์†Œ๋“œ๋„ ํฌํ•จํ•œ ๊ฐ’์ธ์ง€ ๋ฐํžˆ์ง€ ์•Š๋Š”๋‹ค.


Fig. 5. Drag ๊ณผ์ œ์˜ PPO ๋กค์•„์›ƒ. ์œ„: ์‹œ๋ฎฌ๋ ˆ์ด์…˜. ๊ฐ€์šด๋ฐ: ๋ฒจํŠธ ์œ„ ์ ๋“ค์˜ ๊ถค์ (๋นจ๊ฐ• ์‹œ๋ฎฌ๋ ˆ์ด์…˜, ํŒŒ๋ž‘ ์‹ค๊ธฐ). ์•„๋ž˜: ์‹ค๊ธฐ. ์ ์˜ ์œ„์น˜๋Š” ๊ตฌ๊ฐ„๋งˆ๋‹ค ๋ˆˆ์— ๋„๊ฒŒ ์–ด๊ธ‹๋‚˜์ง€๋งŒ ๊ณผ์ œ๋Š” ์„ฑ๊ณตํ•œ๋‹ค.

์‹ค๊ธฐ Spot์˜ Drag. ๋…น์ƒ‰ ๊ณ ๋ฌด ๋ฐด๋“œ๋ฅผ ๋“ค์–ด ๊ธฐ๋‘ฅ ๋„ˆ๋จธ๋กœ ๋„˜๊ธด๋‹ค. ์ถœ์ฒ˜: ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ GIF.

์ €์ž๋Š” Fig. 5์˜ ๊ถค์  ์ฐจ์ด๋ฅผ ์‹ค์ œ ๋ฌผ์„ฑ๊ณผ ํ™˜๊ฒฝ ์กฐ๊ฑด์˜ ๋ถˆ๊ฐ€ํ”ผํ•œ ์ฐจ์ด๋กœ ๋Œ๋ฆฐ๋‹ค. ์ด ๊ทธ๋ฆผ์ด ๋ณด์—ฌ ์ฃผ๋Š” ๋” ํฅ๋ฏธ๋กœ์šด ์‚ฌ์‹ค์€, ๋ฌผ์ฒด ๊ถค์ ์ด ๊ฝค ์–ด๊ธ‹๋‚˜๋„ ์ •์ฑ…์ด ๊ณผ์ œ๋ฅผ ๋๋‚ธ๋‹ค๋Š” ์ ์ด๋‹ค. ๋ณด์ƒ๊ณผ ์„ฑ๊ณต ์กฐ๊ฑด์ด ๋ฒจํŠธ ์ค‘์ ๊ณผ ๋ชธ์˜ ์œ„์น˜๋งŒ ๋ณด๊ธฐ ๋•Œ๋ฌธ์— ๋ฒจํŠธ ๋ชจ์–‘์ด ์ •ํ™•ํžˆ ๊ฐ™์„ ํ•„์š”๋Š” ์—†๋‹ค. state ๊ธฐ๋ฐ˜ sim-to-real์˜ ์„ฑ๊ณต์ด โ€œ๋ฌผ๋ฆฌ๋ฅผ ์ž˜ ๋งž์ท„๊ธฐ ๋•Œ๋ฌธโ€์ธ์ง€ โ€œ๊ณผ์ œ๊ฐ€ ๋ฌผ์ฒด ๊ถค์  ์˜ค์ฐจ์— ๋‘”๊ฐํ•˜๊ธฐ ๋•Œ๋ฌธโ€์ธ์ง€๋Š” ์ด ์‹คํ—˜์œผ๋กœ ๊ฐ€๋ฅผ ์ˆ˜ ์—†๋‹ค. ๋ฌผ์„ฑ ๋žœ๋คํ™”๋‚˜ ๋ฌผ์„ฑ์„ ๋ฐ”๊พผ ๋Œ€์กฐ ์‹คํ—˜์ด ์—†๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค.

์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜: Curtain


Fig. 4. Curtain์˜ sim-to-real ๋น„๊ต. ํ–‰๋งˆ๋‹ค BCยทRetrievalยท์ˆ˜๋™ ์›๊ฒฉ์กฐ์ž‘ยท์‹œ๋ฎฌ๋ ˆ์ด์…˜์˜ ์นด๋ฉ”๋ผ ์˜์ƒ ์‹œํ€€์Šค(StartยทApproachยทManipulate). ์œ„ ๊ฐ€์šด๋ฐ๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜๊ณผ ์‹ค๊ธฐ ์…‹์—…, ์˜ค๋ฅธ์ชฝ ์œ„๋Š” DINOv2 ํŠน์ง•์˜ t-SNE(ํŒŒ๋ž‘ ์‹œ๋ฎฌ๋ ˆ์ด์…˜, ๋นจ๊ฐ• ์‹ค๊ธฐ). BC ํ–‰์€ ์ ‘๊ทผ ๋‹จ๊ณ„์—์„œ ๋๋‚œ๋‹ค.

์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ 60~80%์˜€๋˜ ๋‘ ์ •์ฑ…์€ ์‹ค๊ธฐ์—์„œ ํ•œ ๋ฒˆ๋„ ์„ฑ๊ณตํ•˜์ง€ ๋ชปํ–ˆ๋‹ค. Retrieval์€ 10ํšŒ ์ค‘ 2ํšŒ ์ปคํŠผ์— ๋‹ค๊ฐ€๊ฐ€ ์ ‘์ด‰ํ–ˆ๊ณ , BC๋Š” ์ปคํŠผ์— ๋‹ฟ์ง€๋„ ๋ชปํ–ˆ๋‹ค. ์ €์ž๋Š” ์›์ธ์„ ๋‘ ๊ฐˆ๋ž˜๋กœ ํ™•์ธํ•œ๋‹ค. ์‹ค๊ธฐ์—์„œ ์‚ฌ๋žŒ์ด ์›๊ฒฉ์กฐ์ž‘ํ•œ ๊ด€์ธก ๊ถค์ ์€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ถค์ ๊ณผ ๋น„์Šทํ–ˆ์œผ๋ฏ€๋กœ dynamics๋Š” ์ž˜ ๋งž๋Š”๋‹ค๊ณ  ๋ณด๊ณ , DINOv2 ํŠน์ง•์˜ t-SNE์—์„œ ๋‘ ๋ถ„ํฌ๊ฐ€ ๊ฐˆ๋ผ์ง€๋ฏ€๋กœ ์‹คํŒจ์˜ ์ฃผ์›์ธ์€ ์‹œ๊ฐ domain gap์ด๋ผ๊ณ  ๊ฒฐ๋ก ์ง“๋Š”๋‹ค.

์ด ์ง„๋‹จ์€ ๊ทธ๋Ÿด๋“ฏํ•˜์ง€๋งŒ ๊ทผ๊ฑฐ๊ฐ€ ์ •์„ฑ์ ์ด๋‹ค. t-SNE๋Š” ๊ตฐ์ง‘ ๋ถ„๋ฆฌ๋ฅผ ๊ณผ์žฅํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ๋Š” ์‹œ๊ฐํ™”์ด๊ณ , ๋ถ„ํฌ ๊ฑฐ๋ฆฌ ๊ฐ™์€ ์ •๋Ÿ‰ ์ง€ํ‘œ๋Š” ์—†๋‹ค. โ€œ๊ด€์ธก ๊ถค์ ์ด ๋น„์Šทํ–ˆ๋‹คโ€๋Š” ํŒ๋‹จ๋„ ์ˆ˜์น˜ ์—†์ด ๊ทธ๋ฆผ ๋น„๊ต์— ๊ธฐ๋Œ„๋‹ค. Fig. 4์˜ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์˜์ƒ(ํฐ ๋ฐฐ๊ฒฝ, ๋‹จ์ƒ‰ ์ปคํŠผ, ๊ฒฉ์ž ๋ฐ”๋‹ฅ)๊ณผ ์‹ค๊ธฐ ์˜์ƒ(์‹คํ—˜์‹ค ์ฒ ๊ณจ ๊ตฌ์กฐ์™€ ์กฐ๋ช…)์„ ๋ณด๋ฉด domain gap์ด ํฌ๋‹ค๋Š” ๊ฒƒ์€ ๋ถ„๋ช…ํ•˜๋‹ค. ๋‹ค๋งŒ ๋ Œ๋”๋ง ๋žœ๋คํ™”๋‚˜ ๋ฐฐ๊ฒฝ ํ•ฉ์„ฑ ๊ฐ™์€ ๊ธฐ๋ณธ์ ์ธ ์™„ํ™”์ฑ…์„ ์‹œ๋„ํ•˜์ง€ ์•Š์•˜์œผ๋ฏ€๋กœ, ์ด ๊ฒฐ๊ณผ๋Š” โ€œ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ sim-to-real์€ ์–ด๋ ต๋‹คโ€๋ณด๋‹ค โ€œ์•„๋ฌด ์‹œ๊ฐ ๋žœ๋คํ™” ์—†์ด ํ•™์Šตํ•œ ์ด๋ฏธ์ง€ ์ •์ฑ…์€ ๋„˜์–ด๊ฐ€์ง€ ์•Š๋Š”๋‹คโ€๋กœ ์ฝ๋Š” ๊ฒƒ์ด ์ •ํ™•ํ•˜๋‹ค.

๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋Œ€์กฐ

๋ณธ๋ฌธ ์„œ๋ก ์€ ์ฝ”๋“œ๋ฅผ โ€œ๋…ผ๋ฌธ ์ฑ„ํƒ ํ›„ ๊ณต๊ฐœโ€ํ•œ๋‹ค๊ณ  ์ผ๊ณ , ์ง€๊ธˆ์€ carolzyy/MoDeSuite์— ์˜ฌ๋ผ์™€ ์žˆ๋‹ค(์ปค๋ฐ‹ 470681a ๊ธฐ์ค€). Isaac Sim 4.2.0๊ณผ Isaac Lab ์œ„์—์„œ ๋™์ž‘ํ•˜๋Š” DirectRLEnv ๊ณผ์ œ 16๊ฐœ(8๊ณผ์ œ ร— 2๋กœ๋ด‡)์™€ rl_games ์„ค์ •, Spot locomotion ์ •์ฑ…(controller/model/spot_policy.pt), keyboard ์›๊ฒฉ์กฐ์ž‘ ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ๋“ค์–ด ์žˆ๋‹ค. IL ๋ฐ์ดํ„ฐ์…‹๊ณผ ํ•™์Šต๋œ ๋ชจ๋ธ์€ README์˜ Google Drive ๋งํฌ๋กœ ๋ฐฐํฌ๋œ๋‹ค. ์•„๋ž˜๋Š” ๋…ผ๋ฌธ ์„œ์ˆ ๊ณผ ์ฝ”๋“œ๋ฅผ ์ •์ ์œผ๋กœ ๋Œ€์กฐํ•œ ๊ฒฐ๊ณผ๋‹ค. ์ฝ”๋“œ๋Š” ์‹คํ–‰ํ•˜์ง€ ์•Š์•˜๊ณ , ๊ณต๊ฐœ ์ฝ”๋“œ๊ฐ€ ๋…ผ๋ฌธ ์‹คํ—˜ ๋‹น์‹œ ์ฝ”๋“œ์™€ ๊ฐ™์€์ง€๋Š” ์•Œ ์ˆ˜ ์—†๋‹ค.

ํ•ญ๋ชฉ ๋…ผ๋ฌธ ๊ณต๊ฐœ ์ฝ”๋“œ
์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์ œ์–ด ์ฃผํŒŒ์ˆ˜ 60 Hz (Table II ์บก์…˜) Spot ํƒ„์„ฑ ๊ณผ์ œ dt=1/200, decimation=2 โ†’ 100 Hz (task/Place/spot_place_env.py:27,44). Franka ๊ณผ์ œ dt=1/80, decimation=2 โ†’ 40 Hz (task/Place/franka_place_env.py:29,40). Spot ์ฒœ ๊ณผ์ œ decimation=5 โ†’ 40 Hz (task/Curtain/spot_curtain_env.py:26,38). 60 Hz์ธ ์„ค์ •์€ ์—†๋‹ค
Spot ํ–‰๋™ ์ฐจ์› 10~18 ํƒ„์„ฑ ๊ณผ์ œ 9(๋ฒ ์ด์Šค ๋ช…๋ น 3 + ํŒ” ๊ด€์ ˆ 6, spot_place_env.py:29), ์ฒœ ๊ณผ์ œ 9~10(Curtain 9, UncoverยทCover 10)
Spot ๋ฒ ์ด์Šค ํ–‰๋™ (p_x, p_y, r_z) โ€œlinear translationโ€, โ€œrotationโ€ ์‚ฌ์ „ํ•™์Šต locomotion ์ •์ฑ…์— ๋„ฃ๋Š” ์†๋„ ๋ช…๋ น (v_x, v_y, \omega_z) (controller/spot_loco_solver.py:61-89). ์ด ๋ณดํ–‰ ์ •์ฑ…์€ Isaac Lab v1.4.1 Spot flat ํ™˜๊ฒฝ(50 Hz, action scale 0.2)๊ณผ ๊ฐ™์€ ๊ด€์ธกยท์Šค์ผ€์ผ ๊ตฌ์กฐ์ธ๋ฐ, ํ™˜๊ฒฝ step๋งˆ๋‹ค(100 Hz) ํ˜ธ์ถœ๋œ๋‹ค. ๋ž˜ํผ์— ์ •์˜๋œ _decimation = 10์€ ์“ฐ์ด์ง€ ์•Š๋Š”๋‹ค (controller/spot_loco_solver.py:46,59,103-114)
Spot ํŒ” ํ–‰๋™ joint position a_{arm}\in\mathbb{R}^n ๊ด€์ ˆ ๋ชฉํ‘œ = a + \Delta t\cdot 6\cdot a \approx 1.06\,a์ด๊ณ  rl_games๊ฐ€ ํ–‰๋™์„ ยฑ1๋กœ ์ž๋ฅด๋ฏ€๋กœ(clip_actions: 1.0) ํŒ” ๊ด€์ ˆ ๋ชฉํ‘œ๊ฐ€ ยฑ1.06 rad ์•ˆ์œผ๋กœ ์ œํ•œ๋œ๋‹ค (task/Place/spot_place_env.py:196-199, task/Place/agents/rl_games_ppo_cfg.yaml:7)
Place ๋ณด์ƒ 3ํ•ญ: ๋ง‰๋Œ€ ๋โ†”๏ธŽํƒ์ž, ๋กœ๋ด‡โ†”๏ธŽํƒ์ž, ์•ˆ์ •์„ฑ ํŽ˜๋„ํ‹ฐ ๊ฑฐ๋ฆฌ 4ํ•ญ(๋กœ๋ด‡โ†”๏ธŽํƒ์ž, ์†๋โ†”๏ธŽํƒ์ž, ๋ง‰๋Œ€ ๋โ†”๏ธŽํƒ์ž, ๋ง‰๋Œ€ ์ค‘์ โ†”๏ธŽํƒ์ž) + ๋†’์ด ๋ณด๋„ˆ์Šค 2๊ฐœ(๊ฐ +0.75) + ์„ฑ๊ณต +10 + ๋„˜์–ด์ง โˆ’500 (spot_place_env.py:300-321)
์•ˆ์ •์„ฑ ํŽ˜๋„ํ‹ฐ ์—ฐ์† ํŽ˜๋„ํ‹ฐ๋กœ ์ฝํž˜ ๋ชธ์ฒด ๊ธฐ์šธ๊ธฐ 45ยฐ ์ดˆ๊ณผ ์‹œ โˆ’500 ํ›„ ์—ํ”ผ์†Œ๋“œ ์ข…๋ฃŒ (spot_place_env.py:223-245, 321, 335)
Curtain ์„ฑ๊ณต โ€œwithout any collisionsโ€ ๋กœ๋ด‡ x ์ขŒํ‘œ๊ฐ€ ์ปคํŠผ ์œ„์น˜ + 0.3 m๋ฅผ ๋„˜์—ˆ๋Š”์ง€๋งŒ ํ™•์ธ. ์ถฉ๋Œ ๊ฒ€์‚ฌ ์—†์Œ (task/Curtain/spot_curtain_env.py:303-314)
Drag ์„ฑ๊ณต ๋ชธ์ด body target ๊ทผ์ฒ˜ + ๋ฒจํŠธ๊ฐ€ ์žฅ์• ๋ฌผ ๋ฐ˜๋Œ€ํŽธ ๋ฒจํŠธ ๋ชฉํ‘œ ๊ทผ์ฒ˜ Spot์€ (robot_tar_dis < 0.3) & (robot_tar_dis < 0.05)๋กœ ๊ฐ™์€ ๋ณ€์ˆ˜์— ๋‘ ๋ฌธํ„ฑ์ด ๊ฑธ๋ ค ๋ชธ ๋ฌธํ„ฑ์ด xy L1 0.05 m๋‹ค. ๋ฒจํŠธ ์ชฝ์€ โ€œ๋ฒจํŠธ ๋…ธ๋“œ 4๊ฐœ ์ค‘ 2๊ฐœ ์ด์ƒ์ด ๋ชฉํ‘œ์˜ y๋ฅผ ๋„˜์—ˆ๋Š”๊ฐ€โ€๋งŒ ๋ณด๊ณ , ๋ฒจํŠธ ์ค‘์ โ†”๏ธŽ๋ชฉํ‘œ ๊ฑฐ๋ฆฌ band_tar_dis๋Š” ๊ณ„์‚ฐ๋งŒ ํ•˜๊ณ  ํŒ์ •์— ์“ฐ์ง€ ์•Š๋Š”๋‹ค (task/Drag/spot_drag_env.py:323-330). Franka๋Š” ๋ชธ ๋ฌธํ„ฑ 0.3 (task/Drag/franka_drag_env.py:269)
Lift ์„ฑ๊ณต ๋ฒจํŠธ ์ค‘์ โ†”๏ธŽ๋ชฉํ‘œ ๊ฑฐ๋ฆฌ ์™€ ๋กœ๋ด‡โ†”๏ธŽ๋กœ๋ด‡ ๋ชฉํ‘œ ๊ฑฐ๋ฆฌ ๋ฒจํŠธ ์ค‘์ ์ด ๋ชฉํ‘œ 0.1 m ์•ˆ์ด๋ฉด ์„ฑ๊ณต. ๋กœ๋ด‡ ์œ„์น˜ ์กฐ๊ฑด์€ ์—†๋‹ค (task/Lift/spot_lift_env.py:355-359)
Bend ์„ฑ๊ณต ๋ฌธํ„ฑ ๋ง‰๋Œ€ ๋โ†”๏ธŽ๋ชฉํ‘œ ๊ฑฐ๋ฆฌ(๊ฐ’ ๋ฏธ๊ธฐ์žฌ) Franka 0.5 m (task/Bend/franka_bend_env.py:273), Spot 0.3 m (task/Bend/spot_bend_env.py:335). ๋กœ๋ด‡๋งˆ๋‹ค ๋‹ค๋ฅด๋‹ค
๊ด€์ธก s_e (g_r, g_o, p_o), ์žฅ์• ๋ฌผ ์œ„์น˜ p_o ํฌํ•จ ์žฅ์• ๋ฌผ ์œ„์น˜๋Š” ์–ด๋А ๊ณผ์ œ ๊ด€์ธก์—๋„ ์—†๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด Spot Place ๊ด€์ธก์€ ๋ง‰๋Œ€ 4์ ยท๋กœ๋ด‡ ์œ„์น˜(3D)ยท์ฟผํ„ฐ๋‹ˆ์–ธยทํƒ์ž ์ค‘์‹ฌยท์ „ ๊ด€์ ˆ ์œ„์น˜ยท์†๋„๋‹ค (task/Place/spot_place_env.py:283-292)
์ฒœ ๊ณผ์ œ state ๊ด€์ธก ์ถ”์  particle ์œ„์น˜ \{p_i\}_{i=1}^M ์ฒœ์€ ์†์žก์ด RigidObject๋กœ๋งŒ ๊ฐ์‹ธ๊ณ  particle ์œ„์น˜๋ฅผ ๊ด€์ธก์œผ๋กœ ๋‚ด๋ณด๋‚ด์ง€ ์•Š๋Š”๋‹ค. get_cloth_point()๋Š” ๋ฐ˜ํ™˜๊ฐ’ ์—†๋Š” ๋ฏธ์™„์„ฑ ํ•จ์ˆ˜๋‹ค (task/Curtain/spot_curtain_env.py:281-298)
ํƒ„์„ฑ์ฒด ์žก๊ธฐ Drag๋Š” โ€œlift and stretch the beltโ€ ๋ง‰๋Œ€ยท๋ฒจํŠธ๋Š” ๋กœ๋ด‡ USD ์•ˆ arm_ee ์•„๋ž˜ prim์œผ๋กœ ์ฒ˜์Œ๋ถ€ํ„ฐ ์†๋์— ๋ถ™์–ด ์žˆ๋‹ค. ์žก๋Š” ๋‹จ๊ณ„๊ฐ€ ์—†๋‹ค (task/Place/spot_place_env.py:80-85, task/Drag/spot_drag_env.py:61-66)
๋ฐ”ํ€ดํ˜• ๋ฒ ์ด์Šค Ridgeback ์œ„์˜ Franka, ๋ฒ ์ด์Šค ํ–‰๋™์€ ์†๋„ (v_x, v_y, \omega_z) ๊ฐ€์ƒ prismatic xยทy + revolute z ๊ด€์ ˆ๋กœ ๋ชจ๋ธ๋งํ•œ ๋ฒ ์ด์Šค๋‹ค (cfg/robotcfg.py:18-43). ๋ฐ”ํ€ด ๋™์—ญํ•™์€ ์—†๋‹ค. ํ–‰๋™์€ ๊ด€์ ˆ ์œ„์น˜ ๋ชฉํ‘œ์— \Delta t\cdotscale\cdot a๋ฅผ ๋”ํ•ด ๊ฐ€๋Š” ๋ˆ„์  ์ฆ๋ถ„์ด๋‹ค (task/Place/franka_place_env.py:192-195)
discrete ํ–‰๋™ 14๊ฐœ(์žก๊ธฐยท๋†“๊ธฐ ํฌํ•จ) ํ‚ค ๋ฐ”์ธ๋”ฉ 13๊ฐœ(ํŒ” 6ยท๋ฒ ์ด์Šค 6ยท์žก๊ธฐ ํ† ๊ธ€ 1). ๋ณ„๋„์˜ ๋†“๊ธฐ ํ‚ค๋Š” ์—†๋‹ค (controller/se3_keyboard.py:173-196)
์ด๋ฏธ์ง€ ๊ด€์ธก(DINOv2) ์ด๋ฏธ์ง€ ๊ด€์ธก \phi(I) ํ™˜๊ฒฝ์€ ์›์‹œ RGB๋ฅผ ๋ฐ˜ํ™˜ํ•œ๋‹ค. DINOv2 ๊ฒฝ๋กœ๋Š” process = False๋กœ ๊บผ์ ธ ์žˆ๊ณ  self.encoder๋Š” ์–ด๋””์—์„œ๋„ ์ •์˜๋˜์ง€ ์•Š๋Š”๋‹ค (spot_curtain_env.py:212-233)
IL ๋ฐฉ๋ฒ•(BCยทRetrieval) ยงIV-B์—์„œ ํ‰๊ฐ€ ํ•™์Šตยทํ‰๊ฐ€ ์ฝ”๋“œ๊ฐ€ ๋ ˆํฌ์— ์—†๋‹ค. ์‹œ์—ฐ ์ˆ˜์ง‘ ์Šคํฌ๋ฆฝํŠธ(script/teleop_se3_agent.py)๋งŒ ์žˆ๋‹ค
์ดˆ๊ธฐ ์ƒํƒœ ์–ธ๊ธ‰ ์—†์Œ ๋ชจ๋“  ๊ณผ์ œ๊ฐ€ ๊ณ ์ •๋œ ๊ธฐ๋ณธ ์ž์„ธ๋กœ ๋ฆฌ์…‹ํ•œ๋‹ค. ์ฝ”๋“œ ์ฃผ์„์ด โ€œshould be random initial pose, however all zero nowโ€๋ผ๊ณ  ์ ๋Š”๋‹ค (spot_place_env.py:169)
๋ณ‘๋ ฌ ํ™˜๊ฒฝ ์ˆ˜ โ€œparallelized environmentsโ€, ์ˆ˜๋Š” ๋ฏธ๊ธฐ์žฌ ๊ณผ์ œ config ๊ธฐ๋ณธ๊ฐ’ num_envs=4, script/train.py์˜ CLI ๊ธฐ๋ณธ๊ฐ’ 1
์—์…‹ ๋ฐ”ํ€ดํ˜• 8๊ฐœ ๊ณผ์ œ Franka LiftยทDragยทTransport์™€ ์ฒœ ๊ณผ์ œ๊ฐ€ ์ฐธ์กฐํ•˜๋Š” USD 3๊ฐœ(Franka.usd, franka_drag.usd, franka_rod_long.usd)๊ฐ€ ๋ ˆํฌ์— ์—†๋‹ค. Franka ๊ณผ์ œ ์ค‘ ๋ ˆํฌ ์—์…‹๋งŒ์œผ๋กœ ๋กœ๋“œ๋˜๋Š” ๊ฒƒ์€ PlaceยทBend๋ฟ์ด๋‹ค
Franka ์ฒœ ๊ณผ์ œ Fig. 1์— ๋ฐ”ํ€ดํ˜• ์ฒœ ๊ณผ์ œ 3๊ฐœ๊ฐ€ ๊ทธ๋ ค์ ธ ์žˆ๋‹ค Uncover์˜ ์„ฑ๊ณต ํ•จ์ˆ˜ cover_check()๋Š” ์ •์˜๋งŒ ๋˜๊ณ  ํ˜ธ์ถœ๋˜์ง€ ์•Š์•„ ์„ฑ๊ณต ํ”Œ๋ž˜๊ทธ๊ฐ€ ๋Š˜ 0์ด๊ณ , ํ•จ์ˆ˜ ๋ณธ๋ฌธ๋„ Place์˜ ๋ง‰๋Œ€ ํŒ์ •(self.rod, ํƒ์ž ๋ฒ”์œ„)์„ ๊ทธ๋Œ€๋กœ ๋ณต์‚ฌํ•œ ๊ฒƒ์ด๋‹ค (task/Uncover/franka_uncover_env.py:275-304). Cover์˜ pass_flag()๋Š” ์ •์˜๋˜์ง€ ์•Š์€ ๋ณ€์ˆ˜ curtain_positionยทrobot_current_position์„ ์ฐธ์กฐํ•˜๋ฏ€๋กœ _get_dones()์—์„œ ํ˜ธ์ถœ๋˜๋Š” ์ˆœ๊ฐ„ NameError๊ฐ€ ๋‚œ๋‹ค (task/Cover/franka_cover_env.py:342-355)
ํ‰๊ฐ€ ์Šคํฌ๋ฆฝํŠธ 20ํšŒ ํ‰๊ฐ€ script/play.py์˜ ์—ํ”ผ์†Œ๋“œ ์ง‘๊ณ„์™€ 20ํšŒ ํ›„ ์ข…๋ฃŒ๊ฐ€ if args_cli.video: ๋ธ”๋ก ์•ˆ์—๋งŒ ์žˆ๋‹ค. ์˜์ƒ ๊ธฐ๋ก ์˜ต์…˜ ์—†์ด ๋Œ๋ฆฌ๋ฉด ์—ํ”ผ์†Œ๋“œ๋ฅผ ์„ธ์ง€ ์•Š๊ณ  ๋๋‚˜์ง€ ์•Š๋Š”๋‹ค (script/play.py:205-227)

๊ฐ€์žฅ ๋ฌด๊ฒŒ๊ฐ€ ํฐ ๊ฒƒ์€ ์„ฑ๊ณต ํŒ์ •๊ณผ ์ดˆ๊ธฐ ์ƒํƒœ๋‹ค. ์ฒซ์งธ, ์„ฑ๊ณต ํŒ์ •์ด ๋…ผ๋ฌธ ์„œ์ˆ ๋ณด๋‹ค ๋А์Šจํ•œ ๊ณณ์ด ์…‹์ด๋‹ค. Curtain์€ ์ถฉ๋Œ ๊ฒ€์‚ฌ ์—†์ด x ์ขŒํ‘œ๋งŒ ๋ณด๋ฏ€๋กœ ์ปคํŠผ์„ ๋ฐ€์–ด๋‚ด์ง€ ์•Š๊ณ  ๋šซ๊ณ  ์ง€๋‚˜๊ฐ€๋„ ์„ฑ๊ณต์œผ๋กœ ์…€ ์ˆ˜ ์žˆ๋‹ค. Lift๋Š” ๋กœ๋ด‡์ด ๋ชฉํ‘œ์— ๊ฐ”๋Š”์ง€ ๋ณด์ง€ ์•Š๋Š”๋‹ค. Drag๋Š” ๋ฒจํŠธ๊ฐ€ ๋ชฉํ‘œ ๊ทผ์ฒ˜์ธ์ง€๊ฐ€ ์•„๋‹ˆ๋ผ ๋ชฉํ‘œ์„ ์„ ๋„˜์—ˆ๋Š”์ง€๋งŒ ๋ณธ๋‹ค. ๋‘˜์งธ, ๊ฐ™์€ ๊ณผ์ œ์˜ ์„ฑ๊ณต ๋ฌธํ„ฑ์ด ๋กœ๋ด‡๋งˆ๋‹ค ๋‹ค๋ฅด๋‹ค(Bend๋Š” Franka 0.5 m, Spot 0.3 m. Drag์˜ ๋ชธ ๋ฌธํ„ฑ์€ Franka 0.3, Spot 0.05). ๊ทธ๋Ÿฌ๋‹ˆ Fig. 3์—์„œ Bend๋ฅผ โ€œFranka 100%, Spot 0%โ€๋กœ ๋น„๊ตํ•˜๋Š” ๊ฒƒ์€ ๊ฐ™์€ ๊ธฐ์ค€์˜ ๋น„๊ต๊ฐ€ ์•„๋‹ˆ๋‹ค. ์…‹์งธ, ์ดˆ๊ธฐ ์ƒํƒœ๊ฐ€ ๊ณ ์ •์ด๋ฉด 20ํšŒ ํ‰๊ฐ€์˜ ์„ฑ๊ณต๋ฅ ์€ ๊ฐ™์€ ์‹œ์ž‘์ ์—์„œ ์ •์ฑ…๊ณผ ๋ฌผ๋ฆฌ์˜ ํ™•๋ฅ ์„ฑ๋งŒ ๋ฐ˜์˜ํ•œ๋‹ค. IL์˜ โ€œidentical environmentโ€ ํ‰๊ฐ€์™€ ๊ฐ™์€ ์„ฑ๊ฒฉ์ด๊ณ , ๋ฒค์น˜๋งˆํฌ๋กœ์„œ ์ผ๋ฐ˜ํ™”๋ฅผ ์žฌ๋Š” ์žฅ์น˜๊ฐ€ ์—†๋‹ค๋Š” ๋œป์ด๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ๊ฐ€ ๋…ผ๋ฌธ ์‹คํ—˜ ๋‹น์‹œ์™€ ๊ฐ™์€ ํŒ์ •์„ ์ผ๋Š”์ง€๋Š” ์•Œ ์ˆ˜ ์—†์œผ๋ฏ€๋กœ, ์ด ์ฐจ์ด๋Š” โ€œ๋…ผ๋ฌธ ์ˆ˜์น˜๊ฐ€ ํ‹€๋ ธ๋‹คโ€๊ฐ€ ์•„๋‹ˆ๋ผ โ€œ๋ ˆํฌ๋กœ ์žฌํ˜„ํ•˜๋ฉด ๋…ผ๋ฌธ์ด ๋งํ•œ ๊ฒƒ๊ณผ ๋‹ค๋ฅธ ๊ณผ์ œ๋ฅผ ์žฌ๊ฒŒ ๋œ๋‹คโ€๋กœ ์ฝ์–ด์•ผ ํ•œ๋‹ค.

๋ฐ”ํ€ดํ˜• ์ฒœ ๊ณผ์ œ๊ฐ€ ๋ฏธ์™„์„ฑ ์‚ฌ๋ณธ์ด๋ผ๋Š” ์ ์€ ๋…ผ๋ฌธ์˜ ์‹คํ—˜ ๊ตฌ์„ฑ๊ณผ๋„ ๋งž๋ฌผ๋ฆฐ๋‹ค. ๋…ผ๋ฌธ์€ ์ฒœ ๊ณผ์ œ๋ฅผ ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡์˜ IL๋กœ๋งŒ ํ‰๊ฐ€ํ–ˆ๊ณ , Fig. 1์˜ ๋ฐ”ํ€ดํ˜• ์ฒœ ๊ณผ์ œ 3์นธ์— ๋Œ€์‘ํ•˜๋Š” ๊ฒฐ๊ณผ๋Š” ์–ด๋””์—๋„ ์—†๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ ๊ธฐ์ค€์œผ๋กœ โ€œ8๊ฐœ ๊ณผ์ œ ร— 2๊ฐœ ๋กœ๋ด‡ = 16๊ฐœ ํ™˜๊ฒฝโ€์ด ๋ชจ๋‘ ์“ธ ์ˆ˜ ์žˆ๋Š” ์ƒํƒœ๋Š” ์•„๋‹ˆ๋‹ค.

๊ทธ ๋ฐ–์˜ ๊ด€์ฐฐ๋„ ์žˆ๋‹ค. 16๊ฐœ ํ™˜๊ฒฝ ์ค‘ 11๊ฐœ(ํƒ„์„ฑ ๊ณผ์ œ 10๊ฐœ์™€ Franka Uncover)๋Š” _get_dones()๊ฐ€ (time_out, resets) ์ˆœ์„œ๋กœ ๋ฐ˜ํ™˜ํ•˜๋Š”๋ฐ, Isaac Lab ๊ทœ์•ฝ์€ (terminated, time_outs)๋‹ค. ์ œ๊ณต๋œ rl_games ์„ค์ •์— value_bootstrap์ด ์—†์–ด ๋‘ ํ”Œ๋ž˜๊ทธ๋ฅผ ๊ฐ™์€ done์œผ๋กœ ์ทจ๊ธ‰ํ•˜๋ฏ€๋กœ ํ•™์Šต ๊ฒฐ๊ณผ์—๋Š” ์˜ํ–ฅ์ด ์—†์„ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’์ง€๋งŒ, ๊ทœ์•ฝ๋Œ€๋กœ bootstrapping์„ ์ผœ๋ฉด ์„ฑ๊ณตยท๋„˜์–ด์ง ์ข…๋ฃŒ๊ฐ€ time-out์ฒ˜๋Ÿผ ์ฒ˜๋ฆฌ๋œ๋‹ค. ์ €์žฅ์†Œ์—๋Š” LICENSE ํŒŒ์ผ์ด ์—†๊ณ (README ๋ฐฐ์ง€๋Š” MIT), Spot locomotion ์ปจํŠธ๋กค๋Ÿฌ ๋“ฑ ์ผ๋ถ€ ํŒŒ์ผ ๋จธ๋ฆฌ์—๋Š” NVIDIA์˜ ์žฌ๋ฐฐํฌ ์ œํ•œ ๋ฌธ๊ตฌ๊ฐ€ ๋‚จ์•„ ์žˆ๋‹ค. README์˜ ์‹คํ–‰ ์˜ˆ์‹œ๋Š” scripts/ ๊ฒฝ๋กœ๋ฅผ ์“ฐ์ง€๋งŒ ์‹ค์ œ ํด๋” ์ด๋ฆ„์€ script/์ด๊ณ , ๊ณผ์ œ ํ‘œ์—์„œ Drag๋Š” โ€œrodโ€๋กœ, Cover๋Š” Uncover์™€ ๊ฐ™์€ ์„ค๋ช…์œผ๋กœ ์ ํ˜€ ์žˆ๋‹ค.

๋น„ํŒ์ ์œผ๋กœ ๋ณด๋ฉด

๊ฐ•์ 

  • ๋ฌธ์ œ ์„ค์ •์ด ๋ช…ํ™•ํ•˜๊ณ  ๊ณผ์ œ๊ฐ€ ์ž˜ ๊ณจ๋ผ์กŒ๋‹ค. Bend์˜ L์ž ๋ณต๋„, Lift์˜ ๋กค๋Ÿฌ ์…”ํ„ฐ, Drag์˜ ๋Š˜์–ด๋‚˜๋Š” ๋ฒจํŠธ๋Š” โ€œ๋ณ€ํ˜•์„ ์ด์šฉํ•ด์•ผ ํ’€๋ฆฐ๋‹คโ€๋Š” ์กฐ๊ฑด์„ ๊ธฐํ•˜๋กœ ๊ฐ•์ œํ•œ๋‹ค. rigid๋กœ ๋ฐ”๊พธ๋ฉด ๊ณผ์ œ๊ฐ€ ๋ถˆ๊ฐ€๋Šฅํ•˜๊ฑฐ๋‚˜ ์‰ฌ์›Œ์ง€๋Š” ๊ตฌ์กฐ๋ผ, deformability๊ฐ€ ์žฅ์‹์ด ์•„๋‹ˆ๋ผ ๊ณผ์ œ์˜ ๋ณธ์งˆ์ด๋‹ค.
  • ๊ฐ™์€ ๊ณผ์ œ๋ฅผ ๋‘ ๋กœ๋ด‡ ํ˜•ํƒœ๋กœ ๋Œ๋ฆฐ๋‹ค. Fig. 3์˜ ํ‘œ์—์„œ ๋ณด๋“ฏ ๊ฐ™์€ ๊ณผ์ œ์˜ ๋‚œ์ด๋„๊ฐ€ ๋กœ๋ด‡์— ๋”ฐ๋ผ ๋’ค์ง‘ํžŒ๋‹ค(Drag๋Š” Spot์ด ์‰ฝ๊ณ , BendยทTransport๋Š” Franka๋งŒ ํ’€๋ฆฐ๋‹ค). ์ด๋Ÿฐ ๋น„๊ต๋Š” ํ˜•ํƒœ(morphology)๋ฅผ ๋ฒค์น˜๋งˆํฌ ์ถ•์œผ๋กœ ๋„ฃ์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ๊ฐ€๋Šฅํ•˜๋‹ค.
  • ์‹ค๊ธฐ ๊ฒ€์ฆ์ด ์žˆ๋‹ค. ๋ฒค์น˜๋งˆํฌ ๋…ผ๋ฌธ์œผ๋กœ๋Š” ๋“œ๋ฌผ๊ฒŒ ํƒ„์„ฑ ๊ณผ์ œ 2๊ฐœ๋ฅผ ์‹ค๊ธฐ Spot์—์„œ ํ™•์ธํ–ˆ๊ณ , ์‹คํŒจํ•œ ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ ๊ฒฐ๊ณผ(Curtain 0/10)๋„ ์ˆจ๊ธฐ์ง€ ์•Š๊ณ  ๋ณด๊ณ ํ–ˆ๋‹ค. Fig. 4์˜ t-SNE์™€ ์›๊ฒฉ์กฐ์ž‘ ๋น„๊ต๋Š” ์‹คํŒจ ์›์ธ์„ ์ขํžˆ๋ ค๋Š” ์‹œ๋„๋กœ์„œ ์˜๋ฏธ๊ฐ€ ์žˆ๋‹ค.
  • state ํ‘œํ˜„์ด ์‹ค๊ธฐ์™€ ์—ฐ๊ฒฐ๋˜๋„๋ก ์„ค๊ณ„๋๋‹ค. ๋ฌผ์ฒด๋ฅผ ์  4๊ฐœ๋กœ ์š”์•ฝํ•œ ๊ด€์ธก์€ ํ•™์Šต์„ ์‰ฝ๊ฒŒ ํ•˜๋ฉด์„œ ๋ชจ์…˜์บก์ฒ˜๋กœ ๋ฐ”๋กœ ์ธก์ •ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด ์„ ํƒ์ด PlaceยทDrag์˜ zero-shot ์ด์ „์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•œ ํ•ต์‹ฌ์œผ๋กœ ๋ณด์ธ๋‹ค.
  • ์ฝ”๋“œ์™€ ์—์…‹์ด ๊ณต๊ฐœ๋๋‹ค. 16๊ฐœ ํ™˜๊ฒฝ, ๋กœ๋ด‡ยท๋ฌผ์ฒด USD, Spot locomotion ์ •์ฑ…, ์‹œ์—ฐ ๋ฐ์ดํ„ฐ์™€ ๋ชจ๋ธ(Drive)์ด ํ•จ๊ป˜ ์žˆ๋‹ค.

์•ฝ์ ยทํ•œ๊ณ„

  • ๋ฒค์น˜๋งˆํฌ์˜ ์žฌํ˜„ ์ •๋ณด๊ฐ€ ๋ณธ๋ฌธ์— ์—†๋‹ค. ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ, ๋ณ‘๋ ฌ ํ™˜๊ฒฝ ์ˆ˜, ํ•™์Šต ์‹œ๊ฐ„๊ณผ ํ•˜๋“œ์›จ์–ด, ๋ณด์ƒ ๊ฐ€์ค‘์น˜์™€ ๊ฑฐ๋ฆฌ ๋ฌธํ„ฑ, ๋ฌผ์„ฑ์น˜(ํƒ„์„ฑ ๊ณ„์ˆ˜, ์ฒœ ๊ฐ•์„ฑ), FEM ๋ฉ”์‹œ ํ•ด์ƒ๋„๊ฐ€ ํ•˜๋‚˜๋„ ์—†๋‹ค. ์„ฑ๊ณต๋ฅ ๋„ ์ˆซ์ž ์—†์ด ๋ง‰๋Œ€๋กœ๋งŒ ์ค€๋‹ค. ์ผ๋ถ€๋Š” ๊ณต๊ฐœ ์ฝ”๋“œ์˜ config์—์„œ ์ฐพ์„ ์ˆ˜ ์žˆ์ง€๋งŒ, ์ฝ”๋“œ๊ฐ€ ๋…ผ๋ฌธ๊ณผ ๋‹ค๋ฅธ ๊ณณ(์ œ์–ด ์ฃผํŒŒ์ˆ˜, ํ–‰๋™ ์ฐจ์›, ๋ณด์ƒ ํ•ญ)์ด ์žˆ์–ด ์–ด๋А ์ชฝ์ด ๋…ผ๋ฌธ ์ˆ˜์น˜๋ฅผ ๋‚ธ ์„ค์ •์ธ์ง€ ํ™•์ •ํ•  ์ˆ˜ ์—†๋‹ค.
  • ํ‰๊ฐ€ ํ”„๋กœํ† ์ฝœ์ด ์ผ๋ฐ˜ํ™”๋ฅผ ์žฌ์ง€ ์•Š๋Š”๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ์—์„œ๋Š” ๋ชจ๋“  ๊ณผ์ œ๊ฐ€ ๊ณ ์ •๋œ ์ดˆ๊ธฐ ์ƒํƒœ๋กœ ๋ฆฌ์…‹ํ•˜๊ณ , ๋ฌผ์ฒด ๋ชจ์–‘ยทํฌ๊ธฐยท๋ฌผ์„ฑ ๋ณ€ํ™”๋„ ์—†๋‹ค(๊ฒฐ๋ก ๋„ ๋ชจ์–‘ ์กฐ์ ˆ์ด GUI์—์„œ๋งŒ ๊ฐ€๋Šฅํ•˜๋‹ค๊ณ  ์ธ์ •ํ•œ๋‹ค). IL์€ ์ˆ˜์ง‘ ํ™˜๊ฒฝ๊ณผ โ€œidenticalโ€ํ•œ ํ™˜๊ฒฝ์—์„œ ํ‰๊ฐ€ํ•œ๋‹ค. ๋ฒค์น˜๋งˆํฌ๊ฐ€ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ๋น„๊ตํ•˜๋Š” ๋„๊ตฌ๊ฐ€ ๋˜๋ ค๋ฉด ์ดˆ๊ธฐ ์ƒํƒœ ๋ถ„ํฌ์™€ held-out ๋ณ€ํ˜•(๋‹ค๋ฅธ ๋ง‰๋Œ€ ๊ธธ์ด, ๋‹ค๋ฅธ ์ฒœ ํฌ๊ธฐ)์ด ํ•„์š”ํ•˜๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ์—์„œ๋Š” ๊ฐ™์€ ๊ณผ์ œ์˜ ์„ฑ๊ณต ๋ฌธํ„ฑ๋งˆ์ € ๋กœ๋ด‡๋งˆ๋‹ค ๋‹ฌ๋ผ(Bend 0.5 m ๋Œ€ 0.3 m), Fig. 3์˜ ๋กœ๋ด‡ ๊ฐ„ ๋น„๊ต๊ฐ€ ๊ฐ™์€ ๊ธฐ์ค€์ธ์ง€๋„ ํ™•์ธํ•  ์ˆ˜ ์—†๋‹ค.
  • ๊ฒฐ๊ณผ ์„œ์ˆ ์ด ์ž๊ธฐ ๊ทธ๋ฆผ๊ณผ ์–ด๊ธ‹๋‚œ๋‹ค. โ€œPPO๊ฐ€ SAC๋ณด๋‹ค ๋‚ซ๊ณ  ์˜ˆ์™ธ๋Š” Spot Bendโ€(์‹ค์ œ๋กœ๋Š” Spot Bend ๋™๋ฅ  0%), โ€œ๋ชจ๋“  ๊ณผ์ œ๋ฅผ ํ’€ ์ˆ˜ ์žˆ๋‹คโ€(Spot ์„ค์ • 2๊ฐœ๋Š” 0%), โ€œ๋‹ค๋ฆฌํ˜•์ด Drag์—์„œ ํŠนํžˆ ๋ถˆ์•ˆ์ •โ€(์‹ค์ œ๋กœ๋Š” Spot์ด Drag 100%, Franka 20%), โ€œFranka = fixed-base manipulatorโ€(Ridgeback ์œ„์˜ ์ด๋™ํ˜•), โ€œFig. 1์€ ๋‹ค์„ฏ ๊ณผ์ œโ€(8๊ณผ์ œ), โ€œ๋ง‰๋Œ€ ๊ทธ๋ฆผ์€ ์˜ค๋ฅธ์ชฝ ์œ„โ€(์•„๋ž˜์ชฝ), โ€œSection III-Dโ€(III-B), ์ •์˜๋˜์ง€ ์•Š์€ โ€œhypermodeโ€. ํ•˜๋‚˜ํ•˜๋‚˜๋Š” ์ž‘์ง€๋งŒ, ๋ฒค์น˜๋งˆํฌ ๋…ผ๋ฌธ์—์„œ ๊ฒฐ๊ณผ ์„œ์ˆ ์˜ ์‹ ๋ขฐ๋„๋Š” ๊ณง ๋น„๊ต ๊ธฐ์ค€์˜ ์‹ ๋ขฐ๋„๋‹ค.
  • โ€œ์ฒซ ๋ฒˆ์งธโ€์˜ ๊ทผ๊ฑฐ๊ฐ€ ์ข๋‹ค. Table I์—์„œ MoDeSuite๋ฅผ TDW TransportยทDEDO์™€ ๊ตฌ๋ถ„ํ•˜๋Š” ์—ด์€ Legged-M ํ•˜๋‚˜์ด๊ณ , ORBIT๊ณผ ๊ตฌ๋ถ„ํ•˜๋Š” Elastic ์—ด์€ MoDeSuite๊ฐ€ ์“ฐ๋Š” Isaac Lab FEM ๊ธฐ๋Šฅ ๊ทธ ์ž์ฒด๋‹ค. ์ฒœ ๊ณผ์ œ 3๊ฐœ๋Š” ๊ฐ™์€ 1์ €์ž์˜ DeMoBot์—์„œ ์™”๋‹ค. ๊ธฐ์—ฌ๋Š” โ€œ๋‹ค๋ฆฌํ˜•๊นŒ์ง€ ํฌํ•จํ•ด mobile + deformable ๊ณผ์ œ๋ฅผ ํ•œ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ๋ฌถ์€ ๊ฒƒโ€์œผ๋กœ ๋ณด๋Š” ๊ฒƒ์ด ์ •ํ™•ํ•˜๋‹ค.
  • IL ๋น„๊ต๊ฐ€ ์–‡๋‹ค. ์‹œ์—ฐ 30๊ฐœ, ํ•œ ๊ฐ€์ง€ ์ธ์ฝ”๋”(DINOv2), ๋‘ ๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ด๊ณ , ๊ทธ์ค‘ Retrieval์€ ์ €์ž ์ด์ „ ์—ฐ๊ตฌ์˜ ๋‹จ์ˆœํ™”ํŒ์ด๋‹ค. diffusion policy ๊ฐ™์€ ํ˜„์žฌ์˜ ํ‘œ์ค€ IL ๊ธฐ์ค€์„ ์ด ์—†๊ณ , BC์™€ Retrieval์˜ ์ฐจ์ด(20ํšŒ ์ค‘ 1~4ํšŒ)๋Š” ์‹œ๋“œ ๋ฐ˜๋ณต ์—†์ด ํŒ๋‹จํ•˜๊ธฐ ์–ด๋ ต๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ์—๋Š” BCยทRetrieval ๊ตฌํ˜„๊ณผ DINOv2 ์ธ์ฝ”๋”ฉ ๊ฒฝ๋กœ๋„ ์—†์–ด์„œ Table III๋ฅผ ๋ ˆํฌ๋งŒ์œผ๋กœ ์žฌํ˜„ํ•  ์ˆ˜ ์—†๋‹ค.
  • sim-to-real ๊ฒฐ๋ก ์ด ๊ณผ์ œ์˜ ๋‘”๊ฐํ•จ๊ณผ ์„ž์—ฌ ์žˆ๋‹ค. PlaceยทDrag ์„ฑ๊ณต์€ ๋ฌผ๋ฆฌ ์ •ํ•ฉ์„ฑ ๋•๋ถ„์ผ ์ˆ˜๋„, ์„ฑ๊ณต ์กฐ๊ฑด์ด ๋ฌผ์ฒด ๊ถค์  ์˜ค์ฐจ์— ๋‘”๊ฐํ•˜๊ธฐ ๋•Œ๋ฌธ์ผ ์ˆ˜๋„ ์žˆ๋‹ค(Fig. 5์—์„œ ์  ๊ถค์ ์ด ์–ด๊ธ‹๋‚˜๋„ ์„ฑ๊ณต). ๋ฌผ์„ฑ์„ ๋ฐ”๊พผ ๋Œ€์กฐ ์‹คํ—˜์ด๋‚˜ domain randomization ์œ ๋ฌด ๋น„๊ต๊ฐ€ ์—†์–ด ๋‘˜์„ ๊ฐ€๋ฅผ ์ˆ˜ ์—†๋‹ค. ์‹ค๊ธฐ ์ œ์–ด ์ธํ„ฐํŽ˜์ด์Šค(Spot SDK๋กœ ๋ฌด์—‡์„ ์ง€๋ นํ–ˆ๋Š”์ง€, 10 Hz ๋ฃจํ”„์—์„œ ํ–‰๋™์„ ์–ด๋–ป๊ฒŒ ์œ ์ง€ํ–ˆ๋Š”์ง€)๋„ ์„œ์ˆ ๋˜์ง€ ์•Š๋Š”๋‹ค.
  • Curtain์˜ ์‹œ๊ฐ gap ์ง„๋‹จ์ด ์ •์„ฑ์ ์ด๋‹ค. t-SNE ๋ถ„๋ฆฌ์™€ โ€œ๊ด€์ธก ๊ถค์ ์ด ๋น„์Šทํ–ˆ๋‹คโ€๋Š” ๊ทธ๋ฆผ ๋น„๊ต๋ฟ์ด๋‹ค. ์‹œ๊ฐ ๋žœ๋คํ™”๋ฅผ ํ•˜๋‚˜๋„ ์“ฐ์ง€ ์•Š์€ ์ƒํƒœ์˜ ์‹คํŒจ์ด๋ฏ€๋กœ, ์ด ๊ฒฐ๊ณผ๋กœ ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ sim-to-real์˜ ๋‚œ์ด๋„๋ฅผ ์ผ๋ฐ˜ํ™”ํ•˜๊ธฐ๋Š” ์–ด๋ ต๋‹ค.

๊ด€๋ จ ์—ฐ๊ตฌ์™€์˜ ์ž๋ฆฌ ๋งค๊น€

MoDeSuite๋Š” ๋‘ ๊ณ„๋ณด์˜ ๊ต์ฐจ์ ์— ์žˆ๋‹ค. ํ•œ์ชฝ์€ BEHAVIOR-1KยทHabitatยทManiSkill3์ฒ˜๋Ÿผ ์žฅ๋ฉด๊ณผ ๊ณผ์ œ ์ˆ˜๋กœ ์Šน๋ถ€ํ•˜๋Š” mobile manipulation ๋ฒค์น˜๋งˆํฌ๋‹ค. ์ด๋“ค์€ ์ˆ˜๋ฐฑ~์ˆ˜์ฒœ ๊ฐœ ๊ณผ์ œ๋ฅผ ๊ฐ–์ง€๋งŒ deformable ๋ฌผ๋ฆฌ๋Š” ์ œํ•œ์ ์ด๋‹ค. ๋‹ค๋ฅธ ์ชฝ์€ SoftGymยทDeformableRavensยทDAXBenchยทPlasticineLab์ฒ˜๋Ÿผ deformable ๋ฌผ๋ฆฌ๋ฅผ ์ •๊ตํ•˜๊ฒŒ ๋‹ค๋ฃจ๋Š” ๋ฒค์น˜๋งˆํฌ๋‹ค. ์ด๋“ค์€ ๋Œ€๋ถ€๋ถ„ ๊ณ ์ •๋œ ํŒ”์ด๋‚˜ end-effector๋งŒ ๋‹ค๋ฃฌ๋‹ค. MoDeSuite๋Š” ๊ณผ์ œ ์ˆ˜(8๊ฐœ)๋กœ๋Š” ์ „์ž์— ๋น„ํ•  ์ˆ˜ ์—†๊ณ  ๋ฌผ๋ฆฌ ๋‹ค์–‘์„ฑ(๋ง‰๋Œ€ยท๋ฒจํŠธยท์ฒœ)์œผ๋กœ๋Š” ํ›„์ž๋ณด๋‹ค ์ข์ง€๋งŒ, โ€œ์ด๋™์ด ํ•„์š”ํ•œ deformable ๊ณผ์ œโ€๋ผ๋Š” ๊ต์ง‘ํ•ฉ์„ ์ฒ˜์Œ ๋ช…์‹œ์ ์œผ๋กœ ๊ฒจ๋ƒฅํ–ˆ๋‹ค.

๊ฐ€์žฅ ๊ฐ€๊นŒ์šด ์„ ํ–‰ ์—ฐ๊ตฌ๋Š” ๊ฐ™์€ 1์ €์ž์˜ DeMoBot(Zhang et al., 2024)์ด๋‹ค. DeMoBot์€ ์ฒœ ๊ณผ์ œ 3๊ฐœ๋ฅผ ๋งŒ๋“ค๊ณ  ์‹œ๊ฐ ๊ธฐ๋ฐ˜ sub-goal retrieval๋กœ IL์„ ํ–ˆ๊ณ , MoDeSuite๋Š” ์—ฌ๊ธฐ์— ํƒ„์„ฑ ๊ณผ์ œ์™€ ๋‹ค๋ฆฌํ˜•ยท๋ฐ”ํ€ดํ˜• ๋กœ๋ด‡ ๊ต์ฒด, RL ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ๋”ํ–ˆ๋‹ค. Table III์˜ Retrieval์€ DeMoBot ๋ฐฉ๋ฒ•์˜ ๋‹จ์ˆœํ™”ํŒ์ด๋‹ค.

์‹ค๊ธฐ ์ชฝ์—์„œ ๋ณด๋ฉด, ์ด ๋ธ”๋กœ๊ทธ์˜ Continual Mobile Manip ๋ฆฌ๋ทฐ๋Š” ๊ฐ™์€ Spot์œผ๋กœ ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ ์—†์ด ์‹คํ™˜๊ฒฝ์—์„œ RL์„ ํ•˜๋Š” ๋ฐ˜๋Œ€ ๋ฐฉํ–ฅ์˜ ์ ‘๊ทผ์„ ๋‹ค๋ฃฌ๋‹ค. MoDeSuite๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ํ•™์Šตํ•ด zero-shot์œผ๋กœ ๋„˜๊ธฐ๋Š” ์ชฝ์ด๊ณ , ๊ทธ ๋Œ€๊ฐ€๋กœ Curtain ๊ฐ™์€ ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ ๊ณผ์ œ์—์„œ domain gap์„ ๊ทธ๋Œ€๋กœ ๋งž๋Š”๋‹ค. ์ฒœ ์กฐ์ž‘์„ ์‹ค๊ธฐ์—์„œ ์ •๋ฉด์œผ๋กœ ๋‹ค๋ฃจ๋Š” ์‚ฌ๋ก€๋กœ๋Š” Learning to Fold ๋ฆฌ๋ทฐ๊ฐ€ ์žˆ๋‹ค. ๊ทธ ๋…ผ๋ฌธ์€ ๊ณ ์ •๋œ ํŒ”๋กœ ์˜ท์„ ์ ‘์ง€๋งŒ, ์‹œ๋ฎฌ๋ ˆ์ด์…˜๋งŒ์œผ๋กœ๋Š” ๋ถ€์กฑํ•ด ์‹ค๊ธฐ ๋ฐ์ดํ„ฐ์™€ ์‚ฌ๋žŒ ๊ฐœ์ž…์„ ์„ž๋Š”๋‹ค. MoDeSuite์˜ Curtain ๊ฒฐ๊ณผ๊ฐ€ ๋ณด์—ฌ ์ค€ ์‹œ๊ฐ gap ๋ฌธ์ œ๋ฅผ ์‹ค๊ธฐ ๋ฐ์ดํ„ฐ ์ชฝ์—์„œ ์šฐํšŒํ•œ ์…ˆ์ด๋‹ค.

์š”์•ฝ

MoDeSuite๋Š” mobile manipulation๊ณผ deformable manipulation์˜ ๊ต์ง‘ํ•ฉ์„ Isaac Lab ์œ„์˜ 8๊ฐœ ๊ณผ์ œ๋กœ ๊ณ ์ •ํ•œ task suite๋‹ค. ํƒ„์„ฑ ๋ง‰๋Œ€ยท๋ฒจํŠธ ๊ณผ์ œ 5๊ฐœ๋Š” FEM, ์ฒœ ๊ณผ์ œ 3๊ฐœ๋Š” PBD๋กœ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ํ•˜๊ณ , ๋ฐ”ํ€ดํ˜•๊ณผ ๋‹ค๋ฆฌํ˜• ๋กœ๋ด‡, state์™€ ์ด๋ฏธ์ง€ ๊ด€์ธก, ์—ฌ๋Ÿฌ ํ–‰๋™ ๊ณต๊ฐ„์„ ๋ฐ”๊ฟ” ๋ผ์šธ ์ˆ˜ ์žˆ๋‹ค. ์‹คํ—˜์€ PPO๊ฐ€ SAC๋ณด๋‹ค ๋Œ€์ฒด๋กœ ๋‚ซ๊ณ , Spot์ด ์ข์€ ๋ณต๋„ ๊ณผ์ œ ๋‘ ๊ฐœ๋ฅผ ํ’€์ง€ ๋ชปํ•˜๋ฉฐ, state ๊ธฐ๋ฐ˜ PPO ์ •์ฑ…์€ ์‹ค๊ธฐ PlaceยทDrag์—์„œ 10/10์„ ์„ฑ๊ณตํ•˜์ง€๋งŒ ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ IL์€ ์‹ค๊ธฐ Curtain์—์„œ 0/10์ด๋ผ๋Š” ๊ฒƒ์„ ๋ณด์ธ๋‹ค.

ํ•œ๊ณ„๋Š” ๋ฒค์น˜๋งˆํฌ๋กœ์„œ์˜ ์—„๋ฐ€ํ•จ ์ชฝ์— ์žˆ๋‹ค. ์žฌํ˜„ ์ •๋ณด(ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ, ๋ณ‘๋ ฌ ํ™˜๊ฒฝ ์ˆ˜, ๋ฌผ์„ฑ์น˜, ๋ณด์ƒ ๊ฐ€์ค‘์น˜)๊ฐ€ ๋ณธ๋ฌธ์— ์—†๊ณ , ์„ฑ๊ณต๋ฅ ์€ ์ˆซ์ž ์—†์ด ๋ง‰๋Œ€๋กœ๋งŒ ์ฃผ๋ฉฐ, ๊ฒฐ๊ณผ ์„œ์ˆ  ์—ฌ๋Ÿฌ ๊ณณ์ด ์ž๊ธฐ ๊ทธ๋ฆผ๊ณผ ์–ด๊ธ‹๋‚œ๋‹ค. ๊ณต๊ฐœ ์ฝ”๋“œ๋Š” ๊ณ ์ •๋œ ์ดˆ๊ธฐ ์ƒํƒœ, ์ถฉ๋Œ ๊ฒ€์‚ฌ ์—†๋Š” Curtain ์„ฑ๊ณต ํŒ์ •, ๋…ผ๋ฌธ๊ณผ ๋‹ค๋ฅธ ์ œ์–ด ์ฃผํŒŒ์ˆ˜, IL ์ฝ”๋“œ ๋ถ€์žฌ๋ฅผ ๋ณด์—ฌ ์ค€๋‹ค. ๊ทธ๋ž˜์„œ ์ง€๊ธˆ์˜ MoDeSuite๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ˆœ์œ„๋ฅผ ๋งค๊ธฐ๋Š” ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ๋ผ๊ธฐ๋ณด๋‹ค, โ€œ์ด๋™ํ•˜๋ฉด์„œ ๋ณ€ํ˜•์„ ์ด์šฉํ•ด์•ผ ํ•˜๋Š” ๊ณผ์ œโ€๋ฅผ ๋ฐ”๋กœ ๋Œ๋ ค ๋ณผ ์ˆ˜ ์žˆ๋Š” ์ถœ๋ฐœ์ ์œผ๋กœ ์“ฐ๋Š” ํŽธ์ด ๋งž๋‹ค. ์ดˆ๊ธฐ ์ƒํƒœ ๋žœ๋คํ™”, ๋ฌผ์ฒด ๋ณ€ํ˜•์˜ held-out ์„ธํŠธ, ์ˆซ์ž๋กœ ๋œ ๊ฒฐ๊ณผํ‘œ๊ฐ€ ๋”ํ•ด์ง€๋ฉด ๋ฒค์น˜๋งˆํฌ๋กœ์„œ์˜ ๊ฐ€์น˜๊ฐ€ ํฌ๊ฒŒ ์˜ฌ๋ผ๊ฐˆ ๊ฒƒ์ด๋‹ค.

์ด ๊ธ€์— ๋Œ€ํ•ด

  • ์ฝ์€ ๋ฒ”์œ„: arXiv v1(2025-07-29, 9์ชฝ)์„ HTML๊ณผ PDF๋กœ ์ฝ์—ˆ๋‹ค. ์ €์ž ์—ฐ๊ตฌ์‹ค ํŽ˜์ด์ง€์™€ ์ฝ”๋“œ README๋Š” ์ด ๋…ผ๋ฌธ์„ IEEE RA-L 2026์œผ๋กœ ํ‘œ๊ธฐํ•˜์ง€๋งŒ, ์ €๋„ํŒ ๋ณธ๋ฌธ์€ ๋Œ€์กฐํ•˜์ง€ ์•Š์•˜์œผ๋ฏ€๋กœ ์ €๋„ํŒ์—์„œ ์ˆ˜์น˜ยท์„œ์ˆ ์ด ๋ฐ”๋€Œ์—ˆ์„ ์ˆ˜ ์žˆ๋‹ค. ๊ทธ๋ฆผ 5์žฅ์€ arXiv HTML์˜ ์›๋ณธ ๊ทธ๋ฆผ์ด๋‹ค. ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์˜ ๋ณธ๋ฌธ๊ณผ ๊ทธ๋ฆผ์„ ํ•จ๊ป˜ ๋ณด์•˜๋‹ค.
  • ๊ณต๊ฐœ ๋ฒ”์œ„์™€ ์ฝ”๋“œ ๋Œ€์กฐ: ์ฝ”๋“œ๋Š” carolzyy/MoDeSuite ์ปค๋ฐ‹ 470681a ๊ธฐ์ค€์œผ๋กœ ์ฝ์—ˆ๋‹ค. โ€œ๊ณต๊ฐœ ์ฝ”๋“œ์™€ ๋Œ€์กฐโ€ ์ ˆ์˜ ๋‚ด์šฉ์€ ๋ชจ๋‘ ์ •์  ๋Œ€์กฐ์ด๋ฉฐ, ์ฝ”๋“œ๋ฅผ ์‹คํ–‰ํ•˜๊ฑฐ๋‚˜ ๋…ผ๋ฌธ ์ˆ˜์น˜๋ฅผ ์žฌํ˜„ํ•˜์ง€ ์•Š์•˜๋‹ค. ํ‘œ์˜ ํŒŒ์ผ:๋ผ์ธ์€ ์ด ์ปค๋ฐ‹ ๊ธฐ์ค€์ด๋‹ค.
  • ์˜์ƒ: ๋ณธ๋ฌธ์˜ ์˜์ƒ 3๊ฐœ๋Š” ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์˜ GIF๋ฅผ 640 px ํญ mp4๋กœ ์˜ฎ๊ธด ์‚ฌ๋ณธ์ด๋‹ค.
  • ํ‘œ๊ธฐ: Fig. 3์˜ ์„ฑ๊ณต๋ฅ  ํ‘œ๋Š” ๋ง‰๋Œ€ ๋†’์ด์—์„œ ์ฝ์€ ๊ทผ์‚ฌ์น˜๋‹ค. โ€œํ•„์ž ๊ณ„์‚ฐยทํ™˜์‚ฐโ€์€ ๋…ผ๋ฌธ ํ‘œ ๊ฐ’์œผ๋กœ ์ง์ ‘ ๊ณ„์‚ฐํ•œ ๊ฐ’(ํ‰๊ท , 20ํšŒ ๊ธฐ์ค€ ๋ถ„์ˆ˜, ์ฃผํŒŒ์ˆ˜ ํ™˜์‚ฐ ์‹œ๊ฐ„)์ด๋‹ค.

Copyright 2026, JungYeon Lee