๐MoDeSuite ๋ฆฌ๋ทฐ
Yuying Zhang, Kevin Sebastian Luck, Francesco Verdoja, Ville Kyrki, Joni Pajarinen
Aalto University ยท Vrije Universiteit Amsterdam / IEEE Robotics and Automation Letters, 2026 (์ ์ ์ฐ๊ตฌ์ค ํ์ด์งยท์ฝ๋ README ํ๊ธฐ). ์ด ๋ฆฌ๋ทฐ๋ arXiv v1(2025-07-29)์ ์ฝ์๋ค.
- ๐ก mobile manipulation ๋ฒค์น๋งํฌ๋ ๋๋ถ๋ถ rigid ๋ฌผ์ฒด๋ง ๋ค๋ฃจ๊ณ , deformable ๋ฒค์น๋งํฌ๋ ๋๋ถ๋ถ ๊ณ ์ ๋ ํ๋ง ๋ค๋ฃฌ๋ค. MoDeSuite๋ ์ด ๋์ ํฉ์น ์ฒซ task suite๋ผ๊ณ ์ฃผ์ฅํ๋ฉฐ, ๋ก๋ด์ด ๋ชธํต ์ด๋๊ณผ ํ ์กฐ์์ ํจ๊ป ์จ์ ๋ฌผ์ฒด์ ๋ณํ์ ์ด์ฉํด์ผ ํ๋ฆฌ๋ 8๊ฐ ๊ณผ์ ๋ฅผ Isaac Lab ์์ ๋ง๋ ๋ค.
- โ๏ธ ํ์ฑ ๋ง๋ยท๋ฒจํธ ๊ณผ์ 5๊ฐ(PlaceยทBendยทTransportยทDragยทLift)๋ FEM, ์ฒ ๊ณผ์ 3๊ฐ(UncoverยทCoverยทCurtain)๋ PBD particle๋ก ์๋ฎฌ๋ ์ด์ ํ๋ค. ๋ก๋ด์ ๋ฐํดํ(Ridgeback + Franka)๊ณผ ๋ค๋ฆฌํ(Spot + arm) ๋ ๊ฐ์ง์ด๊ณ , state ๊ด์ธก(๋ก๋ด ์ํ + ๋ฌผ์ฒด ์ 4๊ฐ ์ + ๋ชฉํ ์์น)๊ณผ DINOv2๋ก ์ธ์ฝ๋ฉํ RGB ๊ด์ธก์ ์ ๊ณตํ๋ค.
- ๐ฏ ํ์ฑ ๊ณผ์ ์์ PPO๊ฐ SAC๋ณด๋ค ๋์ฒด๋ก ๋ซ๊ณ , Spot์ BendยทTransport๋ฅผ ๋ ์๊ณ ๋ฆฌ์ฆ ๋ชจ๋ 0%๋ก ํ์ง ๋ชปํ๋ค. ์๋ฎฌ๋ ์ด์ ์์ ํ์ตํ Spot์ state ๊ธฐ๋ฐ PPO ์ ์ฑ ์ ์ค๊ธฐ PlaceยทDrag์์ ๊ฐ 10/10์ ์ฑ๊ณตํ๋ค. ๋ฐ๋ฉด ์ด๋ฏธ์ง ๊ธฐ๋ฐ IL ์ ์ฑ (BCยทRetrieval)์ ์๋ฎฌ๋ ์ด์ Curtain์์ 60~80%์์ง๋ง ์ค๊ธฐ์์๋ ํ ๋ฒ๋ ์ฑ๊ณตํ์ง ๋ชปํ๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๊ธด ๊ณ ๋ฌด ๋ง๋๋ฅผ ๋ค๊ณ L์ ๋ณต๋๋ฅผ ์ง๋๊ฐ๋ ค๋ฉด ๋ง๋๋ฅผ ๋ฒฝ์ ๋๊ณ ํ๊ฒ ๋ง๋ค์ด์ผ ํ๋ค. ํ ๊ธธ์ด๋ณด๋ค ๋จผ ํ์์ ๋ง๋๋ฅผ ์ฌ๋ฆฌ๋ ค๋ฉด ๋ชธ์ ํ์ ์ชฝ์ผ๋ก ์ฎ๊ธฐ๋ฉด์ ํ์ ๋ป์ด์ผ ํ๋ค. ์ด๋ฐ ์ผ์ โ์ด๋โ๊ณผ โ์กฐ์โ์ด ๋์์ ํ์ํ๊ณ , ๋ฌผ์ฒด๊ฐ ํ๊ฑฐ๋ ๋์ด๋๋ค๋ ์ฌ์ค์ ์ด์ฉํด์ผ ํ๋ค. ๊ธฐ์กด ๋ฒค์น๋งํฌ๋ ์ด ์กฐํฉ์ ๋ค๋ฃจ์ง ์๋๋ค. BEHAVIOR-1KยทHabitat ๊ฐ์ mobile manipulation ๋ฒค์น๋งํฌ๋ ์ฃผ๋ก rigid ๋ฌผ์ฒด๋ฅผ, SoftGymยทDeformableRavens ๊ฐ์ deformable ๋ฒค์น๋งํฌ๋ ์ฃผ๋ก ๊ณ ์ ๋ ํ์ ์ด๋ค.
MoDeSuite๋ ์ด ๋น์นธ์ ์ฑ์ฐ๋ ค๋ Isaac Lab ๊ธฐ๋ฐ task suite๋ค. ์๋ก ๋ง๋ ํ์ฑ ๊ณผ์ 5๊ฐ์, ๊ฐ์ 1์ ์์ ์ด์ ์ฐ๊ตฌ DeMoBot์์ ๊ฐ์ ธ์จ ์ฒ ๊ณผ์ 3๊ฐ๋ฅผ ๋ฌถ์๋ค. ๊ฐ์ ๊ณผ์ ๋ฅผ ๋ฐํดํ ๋ก๋ด๊ณผ ๋ค๋ฆฌํ ๋ก๋ด ๋ชจ๋๋ก ๋๋ฆด ์ ์๊ณ , ๊ด์ธก(stateยท์ด๋ฏธ์ง)๊ณผ ํ๋ ๊ณต๊ฐ(jointยทend-effector poseยทkeyboard์ฉ discrete action)์ ๋ฐ๊ฟ ๋ผ์ธ ์ ์๋ค.

Fig. 1. 8๊ฐ ๊ณผ์ ๋ฅผ ๋ฐํดํ(์ ๋ ์ค, Ridgeback + Franka)๊ณผ ๋ค๋ฆฌํ(์๋ ๋ ์ค, Spot + arm)์ผ๋ก ๊ฐ๊ฐ ๋ณด์ฌ ์ค๋ค. ๋ณด๋ผ์ ๊ตฌ๋ ๋ชฉํ ์์น๋ค. ๋นจ๊ฐ ๋ง๋์ ๋ น์ ๋ฒจํธ๋ FEM ํ์ฑ์ฒด, ํ๋ ์ฒ์ PBD ์ฒ์ด๋ค.
Spot์ Place ๊ณผ์ (์๋ฎฌ๋ ์ด์ ). ํ ๋์ ๋ฌ๋ฆฐ ํ์ฑ ๋ง๋(๋นจ๊ฐ ์ ์ ๊ด์ธก์ ์ฐ์ด๋ ๋ง๋ ์ ์ )๋ฅผ ํ์ ์๋ก ์ฎ๊ธด๋ค. ์ถ์ฒ: ํ๋ก์ ํธ ํ์ด์ง GIF.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
MoDeSuite๋ ์๋ก์ด ํ์ต ์๊ณ ๋ฆฌ์ฆ์ด ์๋๋ผ ๊ณผ์ ์ ์ธํฐํ์ด์ค์ ๋ฌถ์์ด๋ค. ๋ชจ๋ ๊ณผ์ ์ state ๊ด์ธก์ ๊ฐ์ ํํ๋ก ์ ์๋๋ค.
O = (s_r,\ s_o,\ s_e),\qquad s_r=(p_r,\ q_r,\ q,\ \dot q),\qquad s_o=\{e_i\in\mathbb{R}^3\}_{i=1}^{N},\qquad s_e=(g_r,\ g_o,\ p_o)
s_r์ ๋ฒ ์ด์ค ์์น p_rยท์์ธ ์ฟผํฐ๋์ธ q_rยทํ ๊ด์ ์์น์ ์๋, s_o๋ ํ์ฑ์ฒด์ FEM ์์(์ฒ์ particle) ์์น, s_e๋ ๋ก๋ด ๋ชฉํ g_rยท๋ฌผ์ฒด ๋ชฉํ g_oยท์ฅ์ ๋ฌผ ์์น p_o๋ค. RL ์คํ์์๋ s_o๋ฅผ ๋ฌผ์ฒด ์์ ๊ณ ๋ฅด๊ฒ ๋์ธ 4๊ฐ ์ ์ผ๋ก ์ค์ธ๋ค. ํ๋์ a_{robot}=(a_{base}, a_{arm})์ด๊ณ , Spot์ ๋ฒ ์ด์ค๋ ์ฌ์ ํ์ต๋ locomotion ์ปจํธ๋กค๋ฌ์ ํ๋ฉด ๋ช ๋ น 3๊ฐ๋ฅผ ์ฃผ๊ฑฐ๋ ๋ค๋ฆฌ ๊ด์ 12๊ฐ๋ฅผ ์ง์ ์ง๋ นํ๋ค. ๋ณด์์ ํ์ฑ ๊ณผ์ ์์ โ๋ฌผ์ฒด ๋(๋๋ ์ค์ )๊ณผ ๋ชฉํ์ ๊ฑฐ๋ฆฌ + ๋ก๋ด๊ณผ ๋ชฉํ์ ๊ฑฐ๋ฆฌ + ์์ ์ฑ ํ๋ํฐโ์ ์์ ํฉ, ์ฒ ๊ณผ์ ์์ binary sparse reward๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- RL(์๋ฎฌ๋ ์ด์ , state ๊ด์ธก, 5 seed, ์ฑ๊ณต๋ฅ ์ 20ํ ํ๊ฐ): PPO๋ Franka์์ Place 95%ยทBendยทTransportยทLift 100%์์ง๋ง Drag๋ 20%์๋ค. Spot์์๋ PlaceยทDrag 100%, Lift 35%, BendยทTransport 0%์๋ค. SAC๋ Franka Bend(100%)์ Spot Place(90%)๋ฅผ ๋นผ๋ฉด ๋ชจ๋ 10% ์ดํ์๋ค(Fig. 3์ ๋ง๋์์ ์ฝ์ ๊ฐ).
- IL(์๋ฎฌ๋ ์ด์ , Spot, DINOv2 ์ด๋ฏธ์ง ํน์ง, ๊ณผ์ ๋น ์์ฐ 30๊ฐ, 20ํ ํ๊ฐ): BC๋ Uncover 85%ยทCover 60%ยทCurtain 60%, Retrieval์ 90%ยท80%ยท80%์๋ค(Table III).
- sim-to-real(Spot, ์ค๊ธฐ 10ํ): PPO๋ PlaceยทDrag ๋ชจ๋ 10/10, SAC๋ Place 9/10ยทDrag 0/10์ด์๋ค(Table II). ์ด๋ฏธ์ง ๊ธฐ๋ฐ Curtain์ BC๊ฐ ์ปคํผ์ ๋ฟ์ง๋ ๋ชปํ๊ณ Retrieval์ 10ํ ์ค 2ํ ์ ์ด์ ๊ทธ์ณค๋ค. DINOv2 ํน์ง์ t-SNE์์ ์๋ฎฌ๋ ์ด์ ๊ณผ ์ค๊ธฐ ์ด๋ฏธ์ง๊ฐ ๋ถ๋ฆฌ๋ผ, ์ ์๋ ์์ธ์ dynamics๊ฐ ์๋๋ผ ์๊ฐ domain gap์ผ๋ก ๋ณธ๋ค.
๊ฒฐ๋ก :
์ด ๋ ผ๋ฌธ์ ๊ฐ์น๋ โ์ด๋ํ๋ฉด์ deformable ๋ฌผ์ฒด๋ฅผ ๋ค๋ฃฌ๋คโ๋ ๋ฌธ์ ์ค์ ์ ์ฌํ ๊ฐ๋ฅํ ์๋ฎฌ๋ ์ด์ ๊ณผ์ ๋ก ๊ณ ์ ํ๋ค๋ ๋ฐ ์๋ค. ์คํ์ ๊ทธ ๊ณผ์ ๊ฐ ํ์ฌ RL์๊ฒ ์ฝ์ง ์๋ค๋ ๊ฒ(ํนํ Spot)๊ณผ, 4๊ฐ ์ ์ง๋ฆฌ state ๊ด์ธก์ด๋ฉด OptiTrack์ ํตํด ์ค๊ธฐ๋ก ๋์ด๊ฐ ์ ์๋ค๋ ๊ฒ์ ๋ณด์ธ๋ค. ๋ค๋ง ๋ฒค์น๋งํฌ ๋ ผ๋ฌธ์ผ๋ก์ ํ์ํ ์ฌํ ์ ๋ณด(๋ณ๋ ฌ ํ๊ฒฝ ์, ํ์ดํผํ๋ผ๋ฏธํฐ, ๋ฌผ์ฑ์น, ์ด๊ธฐ ์ํ ๋ถํฌ)๊ฐ ๋ณธ๋ฌธ์ ์๊ณ , ๊ณต๊ฐ ์ฝ๋๋ ์ผ๋ถ ์์ ๊ณผ ๋ค๋ฅด๋ค. ์ด ์ ์ Ring์์ ์์ธํ ๋ณธ๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
MoDeSuite๋ โ๋ชธ์ ์์ง์ฌ์ผ๋ง ํ๋ฆฌ๋ deformable ์กฐ์โ์ 8๊ฐ ๊ณผ์ ๋ก ๋ง๋ค๊ณ , ๋ฐํดํ๊ณผ ๋ค๋ฆฌํ ๋ก๋ด์ ๊ฐ์ ๊ณผ์ ๋ฅผ ๊ฑธ์ด PPOยทSACยทBCยทRetrieval์ ๋๋ ค ๋ณธ ๋ค์, state ๊ธฐ๋ฐ RL ์ ์ฑ ์ด ์ค๊ธฐ Spot์ผ๋ก ๊ทธ๋๋ก ๋์ด๊ฐ๋ค๋ ๊ฒ์ ๋ณด์ธ task suite ๋ ผ๋ฌธ์ด๋ค. ๊ฒฐ๊ณผ๊ฐ ๋งํด ์ฃผ๋ ๊ฒ์ ๋ ๊ฐ์ง๋ค. ๊ฐ์ ๊ณผ์ ๋ผ๋ ๋ก๋ด ํํ์ ๋ฐ๋ผ ๋์ด๋๊ฐ ํฌ๊ฒ ๋ฌ๋ผ์ง๊ณ (Spot์ ์ข์ ๋ณต๋ ๊ณผ์ ๋ ๊ฐ๋ฅผ ์๋ฌด ์๊ณ ๋ฆฌ์ฆ์ผ๋ก๋ ๋ชป ํ์๋ค), state ๊ด์ธก์ sim-to-real์ ๋์ง๋ง ์ด๋ฏธ์ง ๊ด์ธก์ ์๊ฐ domain gap์์ ๋งํ๋ค.
๋ฐฐ๊ฒฝ: ์ ์ด๋๊ณผ deformable์ ๊ฐ์ด ๋ด์ผ ํ๋๊ฐ (ยงIยทยงII)
์ ์๋ deformable ๋ฌผ์ฒด๋ฅผ plastic(์๊ตฌ ๋ณํ)๊ณผ elastic(๋๋์์ค๋ ๋ณํ)์ผ๋ก ๋๋๋ค. ๋ค๋ง ์ด ๋ ผ๋ฌธ์์ โplasticโ์ ์ฌ๋ฃํ์ ์์ฑ ๋ณํ์ด ์๋๋ผ Table I์ ์ ์๋๋ก ์ฒยท๋กํ์ฒ๋ผ ํํ๊ฐ ์ ํด์ง์ง ์์ ๋ฌผ์ฒด๋ฅผ ๋ปํ๊ณ , โelasticโ์ ๊ณ ๋ฌดยทํผ์ฒ๋ผ ์๋ ๋ชจ์์ผ๋ก ๋์์ค๋ ๋ฌผ์ฒด๋ฅผ ๋ปํ๋ค. ๋ณธ๋ฌธ ยงI์ plastic ๋ณํ์ โpermanent structural changesโ๋ผ๊ณ ์ค๋ช ํ์ง๋ง ๊ณผ์ ์ ์ฒ(์ปคํผยท์ํ๋ณด)์ ์๊ตฌ ๋ณํ๋๋ ๋ฌผ์ฒด๊ฐ ์๋๋ค. ์ฉ์ด๊ฐ ๋ ๊ฐ์ง ์๋ฏธ๋ก ์์ฌ ์์ผ๋ ์ฝ์ ๋ Table I์ ์ ์๋ฅผ ๊ธฐ์ค์ผ๋ก ์ผ๋ ๊ฒ์ด ๋ซ๋ค.
์๋ก ์ ๋ฌธ์ ์์์ ์ด๋ ๋ค. mobile manipulation๊ณผ deformable manipulation ๊ฐ๊ฐ์๋ ๋ฒค์น๋งํฌ๊ฐ ์์ง๋ง ๋์ ํฉ์น ํ์ค ๋ฒค์น๋งํฌ๊ฐ ์๋ค. ์ค๊ธฐ ์คํ์ ๋น์ธ๊ณ ํ์คํ๊ฐ ์ด๋ ต๋ค. ๊ทธ๋์ RLยทIL์ฒ๋ผ ๋ฐ์ดํฐ๊ฐ ๋ง์ด ํ์ํ ๋ฐฉ๋ฒ์ ์ํด ์๋ฎฌ๋ ์ด์ ๋ฒค์น๋งํฌ๊ฐ ํ์ํ๋ค.
ยงII๋ ๊ธฐ์กด ํ๋ซํผ์ Table I๋ก ๋น๊ตํ๋ค. ์๋๋ ๊ทธ ํ๋ฅผ ์ฎ๊ธด ๊ฒ์ด๋ค.
| ๋ถ๋ฅ | ์ด๋ฆ | ๋ฌผ๋ฆฌ ์์ง | Plastic | Elastic | Mobile-M | Legged-M | ๋น๊ณ |
|---|---|---|---|---|---|---|---|
| Mobile | Behavior-1k | PhysX5 | โ | โ | โ | โ | Daily Activities |
| AI2THOR | Unity | โ | โ | โ | โ | Indoor Scene | |
| TDW Transport | PhysX, Flex, Obi | โ | โ | โ | โ | Transport Challenge | |
| Habitat | Bullet | โ | โ | โ | โ | Indoor Scene | |
| ManiSkill3 | PhysX | โ | โ | โ | โ | Limited Mobile Manipulation Tasks | |
| ORBIT | PhysX | โ | โ | โ | โ | FEM, Particle System | |
| Deformable | DeformableRavens | Bullet | โ | โ | โ | โ | FEM |
| DEDO | Bullet | โ | โ | โ | โ | Particle System | |
| DAXBench | DAX | โ | โ | โ | โ | Tabletop, Particle System | |
| PlasticineLab | DiffTaiChi | โ | โ | โ | โ | End-effector, Particle System | |
| Reform | AGX | โ | โ | โ | โ | End-effector, FEM | |
| SoftGym | Flex | โ | โ | โ | โ | Particle System | |
| DexGarmentLab | PhysX | โ | โ | โ | โ | Particle System, FEM | |
| Both | MoDeSuite | PhysX | โ | โ | โ | โ | Particle System, FEM |
ํ๋ฅผ ์ค ๋จ์๋ก ์ฝ์ผ๋ฉด โ์ฒซ ๋ฒ์งธโ๋ผ๋ ์ฃผ์ฅ์ด ์ด๋์ ๊ธฐ๋๋์ง ๋ณด์ธ๋ค.
- ORBIT ํ์ด ์ค์ค๋ก ๋ชจ์๋๋ค. ๋น๊ณ ๋์ FEM์ด ์๋๋ฐ Elastic์ โ๋ค. MoDeSuite์ ํ์ฑ ๊ณผ์ ๋ ORBIT(์ง๊ธ์ Isaac Lab)์ด ์ ๊ณตํ๋ PhysX FEM soft body ์์ ๋ง๋ค์ด์ก๋ค. ๊ทธ๋ฌ๋ ์ด ํ์์ MoDeSuite์ ORBIT์ ๊ฐ๋ฅด๋ ์ ์ผํ ์ด(Elastic)์ ์ฌ์ค์ ๊ธฐ๋ฐ ํ๋ ์์ํฌ์ ๊ธฐ๋ฅ์ด๋ค. ๋ณธ๋ฌธ๋ ORBIT์ โํ๋ ์์ํฌ ์ค๊ณ์ ์ง์คํ๊ณ ๋ ๋ฌธ์ ์ ํตํฉ์ ๋ค๋ฃจ์ง ์์๋คโ๊ณ ์ฐจ์ด๋ฅผ ๊ณผ์ ์ชฝ์ ๋๋ค.
- TDW Transport์ DEDO๋ PlasticยทElasticยทMobile-M์ด ๋ชจ๋ โ๋ค. ์ด ๋๊ณผ MoDeSuite๋ฅผ ๊ฐ๋ฅด๋ ์ด์ Legged-M ํ๋๋ฟ์ด๋ค. ๋ฐ๋ผ์ ์ด ํ๊ฐ ๋ท๋ฐ์นจํ๋ ์ฐจ๋ณ์ ์ โdeformable + mobile์ ์ฒ์ ํฉ์ณค๋คโ๊ฐ ์๋๋ผ โ๋ค๋ฆฌํ mobile manipulator๊น์ง ํฌํจํ deformable ๊ณผ์ ๋ฌถ์โ์ ๊ฐ๊น๋ค.
์ด๊ฒ์ด MoDeSuite์ ์๋ฏธ๋ฅผ ๊น์ง๋ ์๋๋ค. ์ฐจ๋ณ์ ์ ์ ํํ ์์น๋ฅผ ๋ฐ๋ก์ก์ ๋ฟ์ด๋ค. ์ด ๋ธ๋ก๊ทธ์ BEHAVIOR-1K ๋ฆฌ๋ทฐ์ ManiSkill3 ๋ฆฌ๋ทฐ๊ฐ ํ์ Mobile ์ชฝ ๋ ํ๋ซํผ์ ๋ค๋ฃฌ๋ค.
๋ฐฉ๋ฒ ์์ธ 1: ํ๋ ์์ํฌ์ ๋ฌผ๋ฆฌ (ยงIII, ยงIII-A)

Fig. 2. MoDeSuite ๊ตฌ์ฑ. ์๊ณ ๋ฆฌ์ฆ(RLยทIL), ์๋ฎฌ๋ ์ด์ (๋ mobile manipulator, ๋ ์ข ๋ฅ์ deformable ๋ฌผ์ฒด, RGBยทdepthยทstate ๊ด์ธก, 8๊ฐ ๊ณผ์ ), ๋ฐฑ์๋(FEMยทPBD ๋ฌผ๋ฆฌ, OmniverseยทPythonยทUSD, GPU ๋ณ๋ ฌ ํ์ต).
8๊ฐ ๊ณผ์ ์ค 5๊ฐ(PlaceยทBendยทTransportยทDragยทLift)๊ฐ ์๋ก ๋ง๋ ํ์ฑ ๊ณผ์ ์ด๊ณ , 3๊ฐ(UncoverยทCoverยทCurtain)๋ DeMoBot(Zhang et al., 2024, ๊ฐ์ 1์ ์)์ด IL์ฉ ๊ณผ์ ๋ก ์ฒ์ ์ ์ํ ๊ฒ์ด๋ค. ์ ์๋ DeMoBot ๋๋น ๊ธฐ์ฌ๋ฅผ โlocomotion ์ง์๊ณผ ๋ฒ ์ด์ค ํ์กฐ ์ ์ด๊ฐ ์๋ ์๋ ๊ตฌํ์ ํ๊ณ๋ฅผ ํด๊ฒฐํ ํ์ฅ ๊ฐ๋ฅํ ๋ฒค์น๋งํฌโ๋ก ์ค๋ช ํ๋ค.
๋ฌผ๋ฆฌ ์์ง์ NVIDIA PhysX๋ค. ํ์ฑ์ฒด๋ ์ฌ๋ฉด์ฒด ๋ฉ์ ๊ธฐ๋ฐ FEM(๋ณธ๋ฌธ ํ๊ธฐ๋ โelement finite methodsโ)์ผ๋ก, ์ปคํผยท์ํ๋ณด ๊ฐ์ ์ฒ์ position-based dynamics(PBD) particle๋ก ์๋ฎฌ๋ ์ด์ ํ๋ค. PBD๋ฅผ ์ฐ๋ ์ด์ ๋ก๋ ํฐ ๋ณํ์์๋ ์์ ์ ์ด๋ผ๋ ์ ์ ๋ ๋ค. ์ฅ๋ฉด์ Isaac Sim GUI์์ ๋ง๋ค์๊ณ , ๊ฒฐ๋ก ์ ๋ฐ๋ฅด๋ฉด ํ์ฑ์ฒด์ ํฌ๊ธฐยท๋ชจ์๋ ์ง๊ธ์ GUI์์ ๋ฐ๊ฟ์ผ ํ๋ค(ํ๋ก๊ทธ๋จ ๋ฐฉ์ ์กฐ์ ์ ํฅํ ๊ณผ์ ).
๋ณธ๋ฌธ์ ์๋ ๊ฒ๋ ์ ์ด ๋๋ค. ํ์ฑ์ฒด์ Youngโs modulusยทPoisson ๋น, ์ฒ์ ๊ฐ์ฑยท์ง๋, FEM ๋ฉ์ ํด์๋ ๊ฐ์ ๋ฌผ์ฑ์น๊ฐ ํ๋๋ ์๋ค. deformable ๋ฒค์น๋งํฌ์์ ๋ฌผ์ฑ์น๋ ๊ณผ์ ์ ์์ ์ผ๋ถ์ด๊ณ , sim-to-real ๊ฒฐ๊ณผ๋ฅผ ํด์ํ ๋๋ ํ์ํ๋ค. ์ด ๊ฐ๋ค์ ๊ณต๊ฐ๋ USD ์์ ์์ ๋ค์ด ์์ ๊ฒ์ด๋ฏ๋ก ์ฌํ์๋ ์์ ์์ ์ฝ์ด์ผ ํ๋ค.
๋ฐฉ๋ฒ ์์ธ 2: ๋ก๋ด๊ณผ ํ๋ ๊ณต๊ฐ (ยงIII-B)
| ํญ๋ชฉ | ๋ฐํดํ (Ridgeback + Franka) | ๋ค๋ฆฌํ (Spot + Spot Arm) |
|---|---|---|
| ๋ฒ ์ด์ค ํ๋ | a_{base}=(v_x, v_y, \omega_z), ํ๋ฉด ์๋ | ์ฌ์ ํ์ต locomotion ์ปจํธ๋กค๋ฌ์ (p_x, p_y, r_z) ๋๋ ๋ค๋ฆฌ ๊ด์ 12๊ฐ ์ง์ ์ง๋ น |
| ํ ํ๋ | joint position a_{arm}\in\mathbb{R}^n ๋๋ end-effector pose a_{arm}\in SE(3) | ๊ฐ์ |
| ์กฐํฉ | 2๊ฐ์ง | ๋ฒ ์ด์ค 2 ร ํ 2 = 4๊ฐ์ง, ํ๋ ์ฐจ์ 10~18 |
| RL ์คํ์์ ์ด ์ค์ | joint space | ์ฌ์ ํ์ต locomotion ์ปจํธ๋กค๋ฌ + ํ joint space |
| discrete ํ๋ | 14๊ฐ: ๋ชธ ์ ยทํยท์ขยท์ฐ ์ด๋, ์ขยท์ฐ ํ์ , ์ ์ ยทํยท์ขยท์ฐยท์ยทํ, ์ก๊ธฐ, ๋๊ธฐ (keyboard ๋์) | ๊ฐ์ |
discrete ํ๋์ keyboard๋ก ์์ฐ์ ๋ชจ์ผ๊ธฐ ์ํ ๊ฒ์ด๊ณ , IL ๋ฐ์ดํฐ 30๊ฐ๊ฐ ์ค์ ๋ก keyboard๋ก ์์ง๋๋ค(ยงIV-B). ๊ฒฐ๋ก ์ ์ปจํธ๋กค๋ฌ๋ฅผ โjoint space, task space, and hypermodeโ๋ก ์์ฝํ๋๋ฐ, โhypermodeโ๋ ๋ณธ๋ฌธ ์ด๋์๋ ์ ์๊ฐ ์๋ค. ๋งฅ๋ฝ์ discrete keyboard ํ๋์ ๊ฐ๋ฆฌํค๋ ๊ฒ์ผ๋ก ๋ณด์ธ๋ค.
RL ์คํ์ ๋ค๋ฆฌํ ์ค์ ์ ์ค๋ช ํ๋ ๋ฌธ์ฅ์ โas described in Section III-Dโ๋ผ๊ณ ์ฐ์ง๋ง locomotion ์ปจํธ๋กค๋ฌ ์ค๋ช ์ ยงIII-B์ ์๋ค. ์ฌ์ํ ์ํธ์ฐธ์กฐ ์ค๋ฅ๋ค.
๋ฐฉ๋ฒ ์์ธ 3: ๊ด์ธก ๊ณต๊ฐ (ยงIII-C)
๊ด์ธก์ ์ด๋ฏธ์ง ๊ธฐ๋ฐ๊ณผ state ๊ธฐ๋ฐ ๋ ๊ฐ์ง๋ค. ์ ์๋ ๋์ trade-off๋ฅผ ๋ถ๋ช ํ ์ ๋๋ค. ์ด๋ฏธ์ง๋ ์ค๊ธฐ ๋ก๋ด์ผ๋ก ์ฎ๊ธฐ๊ธฐ ์ฝ์ง๋ง ์ฐจ์์ด ๋์ ํ์ต์ด ์ด๋ ต๊ณ , state๋ ํ์ต์ด ์ฝ์ง๋ง ์ค๊ธฐ์์ ์ป๊ธฐ ์ด๋ ต๋ค.
state ๊ด์ธก์ Ping์ ์์ฒ๋ผ O=(s_r, s_o, s_e)๋ค. ํ์ฑ์ฒด๋ FEM ์์ ์์น s_o=\{e_i\in\mathbb{R}^3\}_{i=1}^N, ์ฒ์ ์ถ์ ํ๋ particle ์์น s_o=\{p_i\in\mathbb{R}^3\}_{i=1}^M๋ก ํํํ๋ค. s_e=(g_r, g_o, p_o)๋ ๊ฐ๊ฐ ๋ก๋ด ๋ชฉํ, ๋ฌผ์ฒด ๋ชฉํ, ์ฅ์ ๋ฌผ ์์น์ด๊ณ ๋ชจ๋ \mathbb{R}^3์ด๋ค.
์ด๋ฏธ์ง ๊ด์ธก์ RGB-D ์นด๋ฉ๋ผ ์์์ ๊ทธ๋๋ก ์ฐ์ง ์๊ณ DINOv2 ์ธ์ฝ๋ \phi๋ฅผ ๊ฑฐ์น ํน์ง์ ์ด๋ค.
O = s_{env} = \phi(I)
์ ์์ ์ด๋ฏธ์ง ๊ด์ธก์๋ ๋ก๋ด ๊ณ ์ ๊ฐ๊ฐ(proprioception)์ด ๋ค์ด๊ฐ์ง ์๋๋ค. IL ์คํ(ยงIV-B)๋ o_b=\phi(I_{rgb})๋ง ์ด๋ค. ๋ค๋ฆฌํ ๋ก๋ด์ด ์ปคํผ์ ์ก๊ณ ์ง๋๊ฐ๋ ๊ณผ์ ์์ ํ ๊ด์ ์ํ ์์ด ์ด๋ฏธ์ง ํน์ง๋ง์ผ๋ก ํ๋์ ๊ณ ๋ฅธ๋ค๋ ๋ป์ด๋ค.
๋ฐฉ๋ฒ ์์ธ 4: 8๊ฐ ๊ณผ์ (ยงIII-D)
| ๊ณผ์ | ๋ฌผ์ฒด(๋ฌผ๋ฆฌ) | ๋ฌด์์ ํด์ผ ํ๋ | ๋ณด์ | ์ฑ๊ณต ํ์ |
|---|---|---|---|---|
| Place | ํ์ฑ ๋ง๋(FEM) | ํ์ด ๋ฟ์ง ์๋ ํ์ ์์ ๋ง๋๋ฅผ ์ฌ๋ฆฐ๋ค | โ(๋ง๋ ๋โ๏ธํ์ ๊ฑฐ๋ฆฌ + ๋ก๋ดโ๏ธํ์ ๊ฑฐ๋ฆฌ + ์์ ์ฑ ํ๋ํฐ), ๋ฐํดํ์ ์์ ์ฑ ํญ 0 | ๋ง๋ ๋์ด ํ์ ์ |
| Bend | ๊ธด ํ์ฑ ๋ง๋(FEM) | ๋ง๋๋ฅผ ๋ค๊ณ L์ ๋ณต๋๋ฅผ ์ง๋๋ค. ๋ง๋๋ฅผ ํ์ด์ผ ํต๊ณผ๋๋ค | โ(๋ง๋ ๋โ๏ธ๋ชฉํ + ๋ก๋ดโ๏ธ๋ชฉํ + ์์ ์ฑ) | ๋ง๋ ๋๊ณผ ๋ณต๋ ์ ๊ตฌ ๋ชฉํ์ ๊ฑฐ๋ฆฌ |
| Transport | ํ์ฑ ๋ง๋(FEM) | Bend ํ์ฅ. ๋ณต๋ ๊ฐ์ด๋ฐ ํฐ ์ฅ์ ๋ฌผ์ ๋์๊ฐ๋ค. ์ค๊ฐ ๋ชฉํ๋ก ์ง์ญ ์ต์ ํํผ | โ(๋ง๋ ๋โ๏ธ์ค๊ฐยท์ต์ข ๋ชฉํ + ๋ก๋ดโ๏ธ๋ ๋ชฉํ + ์์ ์ฑ) | ๋ง๋ ๋๊ณผ ์ต์ข ๋ชฉํ์ ๊ฑฐ๋ฆฌ |
| Drag | ํ์ชฝ ๋์ด ๊ณ ์ ๋ ํ์ฑ ๋ฒจํธ(FEM) | ๋ฒจํธ๋ฅผ ๋ค์ด ๋๋ ค ์ฅ์ ๋ฌผ ๋๋จธ๋ก ๋๊ธฐ๊ณ , ๋ชธ์ body target ๊ทผ์ฒ์ ๋๋ค | โ(๋ฒจํธ ์ค์ โ๏ธ๋ฒจํธ ๋ชฉํ + ๋ชธโ๏ธbody target + ์์ ์ฑ) | ๋ชธ์ด body target ๊ทผ์ฒ + ๋ฒจํธ๊ฐ ์ฅ์ ๋ฌผ ๋ฐ๋ํธ ๋ชฉํ ๊ทผ์ฒ |
| Lift | ๋ ๋ฒฝ ์ฌ์ด์ ๊ฑธ๋ฆฐ ํ์ฑ ๋ฒจํธ(FEM) | ๋ฒจํธ๋ฅผ ๋ค์ด ์ฌ๋ ค ํ์ ๋ง๋ค๊ณ ๊ทธ ๋ฐ์ผ๋ก ์ง๋๊ฐ๋ค(๋กค๋ฌ ์ ํฐ์์ ์ฐฉ์) | โ(๋ฒจํธ ์ค์ โ๏ธ๋ชฉํ + ๋ชธโ๏ธbody target + ์์ ์ฑ) | ๋ฒจํธ ์ค์ โ๏ธ๋ชฉํ ๊ฑฐ๋ฆฌ + ๋ก๋ดโ๏ธ๋ก๋ด ๋ชฉํ ๊ฑฐ๋ฆฌ |
| Uncover | ์ํ๋ณด(PBD) | ํฐ ํ์์ ๋ฎ๊ฐ๋ฅผ ์ ํด์ง ๋ฐฉํฅ์ผ๋ก ๊ฑท์ด ๋ธ๋ค | binary sparse | ๋ฎ๊ฐ๊ฐ ์์ ํ ๊ฑทํ๊ณ ์์ก์ด๊ฐ ํ์ ๋ฐ๋ํธ์ ๋์ |
| Cover | ์ฒ(PBD) | ์ฒ์ ์ก์ ๋ ์์ ์ฌ์ด ํ์ ๋ฎ๋๋ค(long-horizon) | binary sparse | ํ์ด ๋ฎ์ด๊ณ ์์ก์ด๊ฐ ๋ค๋ฅธ ์์๋ก ์ฎ๊ฒจ์ง |
| Curtain | ๊ฑธ๋ฆฐ ์ปคํผ(PBD) | ํ๋ก ์ปคํผ์ ๋ฐ๊ณ ๋ชธ์ ์ถฉ๋ ์์ด ํต๊ณผ์ํจ๋ค | binary sparse | ์ถฉ๋ ์์ด ์ปคํผ์ ์ง๋จ |
์ค๊ณ ์๋๊ฐ ๊ฐ์ฅ ์ ๋ณด์ด๋ ์ฅ์น๋ ๋ณด์์ ๋ค์ด๊ฐ ๋ก๋ด ์์น ํญ์ด๋ค. Drag ์ค๋ช ์ ์ด ํญ์ โ๋ก๋ด์ด ํ ์์ง์์๋ง ๊ธฐ๋์ง ์๊ณ ์ด๋์ฑ์ ์ฐ๋๋กโ ๋ฃ์๋ค๊ณ ๋ฐํ๋ค. ์ฆ โ์ด๋๊ณผ ์กฐ์์ ํ์กฐโ๊ฐ ๊ณผ์ ๊ตฌ์กฐ์์ ์์ฐ์ค๋ฝ๊ฒ ๋์ค๊ธฐ๋ฅผ ๊ธฐ๋ค๋ฆฌ์ง ์๊ณ ๋ณด์์ผ๋ก ๊ฐ์ ํ๋ค. ๋ฒค์น๋งํฌ ๊ด์ ์์๋ ์๋ ์ด๋ค. ํ์กฐ๊ฐ ํ์ํ ๊ณผ์ ๋ผ๋ ์ฃผ์ฅ๊ณผ ํ์กฐ๋ฅผ ๋ณด์์ผ๋ก ์ ๋ํ ๊ณผ์ ๋ผ๋ ์ฌ์ค์ด ์์ด๊ธฐ ๋๋ฌธ์ด๋ค. ๋ณด์ ํญ์ ๊ฐ์ค์น์ ๊ฑฐ๋ฆฌ ๋ฌธํฑ์ ๋ณธ๋ฌธ์ ์๋ค.
๋ณธ๋ฌธ ยงIII-D ์ฒซ ๋ฌธ๋จ์ โFigure 1 illustrates the five tasksโ๋ผ๊ณ ์ฐ์ง๋ง Fig. 1์๋ 8๊ฐ ๊ณผ์ ๊ฐ ๋ ๋ก๋ด์ผ๋ก 16์นธ์ ๊ฑธ์ณ ๊ทธ๋ ค์ ธ ์๋ค. ํ์ฑ ๊ณผ์ 5๊ฐ๋ง ๊ทธ๋ ธ๋ ์ด์ ๊ทธ๋ฆผ์ ๋ฌธ์ฅ์ด ๋จ์ ๊ฒ์ผ๋ก ๋ณด์ธ๋ค.
์ฒ ๊ณผ์ ์ ์ด๋ ค์์ผ๋ก ์ ์๊ฐ ๊ผฝ๋ ์ ์ด ํฅ๋ฏธ๋กญ๋ค. ์ก๊ธฐ ๋์์ ๊ผญ ํ์ํ์ง๋ง ์ฅ๋ฉด์ ๊ฑฐ์ ๋ฐ๊พธ์ง ์์ ์ด๋ฏธ์ง๋ก๋ ์งํ ์ํฉ์ ์๊ธฐ ์ด๋ ต๊ณ , ์ฒ์ด ๋ค๋ฆฌํ ๋ก๋ด์ ์์ผ์ ์์ง์์ ๊ฐ๋ฆฐ๋ค. Curtain์์๋ IK ์๋ฒ ์คํจ์ end-effector์์ ์ปคํผ์ด ๋ฏธ๋๋ฌ์ง๋ ๋ฌธ์ ๋ ์ธ๊ธํ๋ค.
์ง๊ด: deformability๋ ์ฅ์ ๋ฌผ์ด์ ๋๊ตฌ๋ค
rigid ๋ง๋๋ผ๋ฉด L์ ๋ณต๋(Bend)๋ ๋ง๋ ๊ธธ์ด์ ๋ณต๋ ํญ์ผ๋ก ํต๊ณผ ์ฌ๋ถ๊ฐ ์ ํด์ง๋ ๊ธฐํ ๋ฌธ์ ๋ค. ํ์ฑ ๋ง๋๋ผ๋ฉด ๋ฒฝ์ ๋๊ณ ํ๊ฒ ๋ง๋ค์ด ๊ธฐํ์ ์ผ๋ก ๋ถ๊ฐ๋ฅํ ํต๊ณผ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํ ์ ์๋ค. Drag์ ๋ฒจํธ๋ ๋์ด๋ ์๋ก ๊ทธ๋ฆฌํผ์ ๋ฒจํธ ์ฌ์ด ํ์ด ์ปค์ ธ ๋ค๋ฆฌํ ๋ก๋ด์ ๊ท ํ์ ํ๋ ๋ค. Lift๋ ๋ฒจํธ๋ฅผ ๋ค์ด ์ฌ๋ฆฐ ์ฑ๋ก ๊ทธ ๋ฐ์ ์ง๋์ผ ํด์ ํ์ ๋ค๊ณ ์๋ ๋์ ๋ชธ์ ์์ง์ฌ์ผ ํ๋ค. ๊ทธ๋์ ์ด ๊ณผ์ ๋ค์์ deformability๋ ๊ทน๋ณตํ ์ฅ์ ๋ฌผ์ด๋ฉด์ ๋์์ ์ด์ฉํ ์ ์๋ ๋๊ตฌ๋ค. ์ด ์ด์ค์ฑ์ด ๊ณผ์ ์ค๊ณ์ ํต์ฌ์ด๋ค.
state๋ฅผ 4๊ฐ ์ ์ผ๋ก ์ค์ธ ์ ํ๋ ๊ฐ์ ๋งฅ๋ฝ์์ ์ดํด๋๋ค. ๋ง๋ยท๋ฒจํธ์ ๋ณํ์ ๊ธธ์ด ๋ฐฉํฅ ๊ณก์ ํ๋๋ก ๊ฑฐ์ ์์ฝ๋๋ฏ๋ก ์ ๋ช ๊ฐ๋ก ์ถฉ๋ถํ๋ค. ๊ทธ๋ฆฌ๊ณ ์ ๋ช ๊ฐ๋ ์ค๊ธฐ์์ ๋ชจ์ ์บก์ฒ ๋ง์ปค๋ก ๋ฐ๋ก ์ธก์ ํ ์ ์๋ค. ์ค๊ธฐ PlaceยทDrag๊ฐ ๋์ด๊ฐ ์ด์ ์ ์๋น ๋ถ๋ถ์ด ์ฌ๊ธฐ์ ์์ ๊ฒ์ด๋ค. ๊ฐ์ ์์ฝ์ด ์ฒ์๋ ํตํ์ง ์๋๋ค. ์ฒ ๊ณผ์ ๋ฅผ state ๊ธฐ๋ฐ RL๋ก ๋๋ฆฌ์ง ์๊ณ ์ด๋ฏธ์ง ๊ธฐ๋ฐ IL๋ก๋ง ํ๊ฐํ ๊ฒ๋ ์ด ์ฐจ์ด์ ๋ง๋ฟ์ ์๋ค.
์คํ 1: ์๋ฎฌ๋ ์ด์ RL (ยงIV-A, Fig. 3)
์ ์ ์ ๋ค์๊ณผ ๊ฐ๋ค. ํ์ฑ ๊ณผ์ 5๊ฐ์์ PPO์ SAC๋ฅผ rl_games๋ก ํ์ตํ๊ณ , ๊ด์ธก์ state(๋ฌผ์ฒด ์ 4๊ฐ ์ ํฌํจ)๋ค. ๋ฐํดํ์ joint space, ๋ค๋ฆฌํ์ ์ฌ์ ํ์ต locomotion ์ปจํธ๋กค๋ฌ + ํ joint space ํ๋์ ์ด๋ค. ๊ณผ์ ยท์๊ณ ๋ฆฌ์ฆ๋ง๋ค 5 seed๋ก ํ์ตํ๊ณ , ์ฑ๊ณต๋ฅ ์ ํ์ต๋ ์์ด์ ํธ์ 20ํ ํ๊ฐ๋ก ์ฐ๋ค.

Fig. 3. ์: Place ๊ณผ์ ์ ํ๊ท return(5 seed ํ๊ท , ์์์ ํ์คํธ์ฐจ). ๊ฐ๋ก์ถ์ Spot 5M, Franka 20M step์ด๋ค. ์๋: 5๊ฐ ํ์ฑ ๊ณผ์ ์ ์ฑ๊ณต๋ฅ (20ํ ํ๊ฐ). ๋ณธ๋ฌธ์ ๋ง๋ ๊ทธ๋ฆผ์ด โupper-right cornerโ์ ์๋ค๊ณ ์ฐ์ง๋ง ์ค์ ๋ก๋ ๊ทธ๋ฆผ ์๋์ชฝ์ ์๋ค.
๋ ผ๋ฌธ์ ์ฑ๊ณต๋ฅ ์ ์ซ์๋ก ์ฃผ์ง ์๋๋ค. ์๋ ํ๋ Fig. 3 ๋ง๋์ ๋์ด๋ฅผ ๋๊ธ์ ๋ง์ถฐ ์ฝ์ ๊ฐ์ด๋ค. ๋์ด๊ฐ 1% ๋ฏธ๋ง์ธ ์ต์ ๋์ด ๋ง๋๋ 20ํ ์ค 1ํ ์ฑ๊ณต(5%)๋ณด๋ค ๋ฎ์ผ๋ฏ๋ก 0%๋ก ์ฝ์๋ค.
| ๋ก๋ดยท์๊ณ ๋ฆฌ์ฆ | Place | Bend | Transport | Drag | Lift | ํ๊ท |
|---|---|---|---|---|---|---|
| Spot-PPO | 100 | 0 | 0 | 100 | 35 | 47 |
| Spot-SAC | 90 | 0 | 0 | 10 | 10 | 22 |
| Franka-PPO | 95 | 100 | 100 | 20 | 100 | 83 |
| Franka-SAC | 0 | 100 | 0 | 5 | 0 | 21 |
(๋จ์ %, Fig. 3์์ ์ฝ์ ๊ทผ์ฌ์น. ํ๊ท ์ ํ์ ๊ณ์ฐ.)
์ ์์ ํด์์ ๋ ๊ฐ์ง๋ค. โ ๋ค๋ฆฌํ(Spot)์ด ๊ท ํ ์ ์ง ๋๋ฌธ์ ๋ฐํดํ๋ณด๋ค ํ์ฐํ ์ด๋ ต๊ณ , ํนํ ์ข์ ๊ณต๊ฐ ๊ณผ์ (BendยทTransport)์์ ๊ทธ๋ ๋ค. โก PPO๊ฐ ๊ฑฐ์ ๋ชจ๋ ๊ณผ์ ยท๋ก๋ด์์ SAC๋ณด๋ค ๋ซ๊ณ , ์์ธ๋ Spot์ Bend๋ค. ๊ทธ๋ฆฌ๊ณ โMoDeSuite์ ๋ชจ๋ ๊ณผ์ ๋ ํ ์ ์์ง๋ง ์ฌ์ ํ ์ด๋ ต๋คโ๊ณ ๊ฒฐ๋ก ์ง๋๋ค.
๋ง๋ ๊ฐ๊ณผ ๋ง๋ ๋ณด๋ฉด ๋ค์์ด ๋ณด์ธ๋ค.
- โ์์ธ๋ Spot Bendโ๋ ๋ง๋์ ๋ง์ง ์๋๋ค. Spot Bend๋ PPOยทSAC ๋ชจ๋ 0%๋ก ๋๋ฅ ์ด๊ณ , ์ค์ ๋ก SAC๊ฐ PPO์ ๊ฐ์ ๊ณณ์ Franka Bend(๋ ๋ค 100%)๋ค. ๋ง๋๋ง ๋ณด๋ฉด PPO๊ฐ SAC๋ณด๋ค ๋ฎ์ ์นธ์ ํ๋๋ ์๋ค. ์ ์๊ฐ ๋ง๋ถ์ธ ์ค๋ช (Spot์ด ์ข์ ๋ฒฝ์ด๋ ํ์ฑ์ฒด์ ๋ถ๋ชํ ๊ท ํ์ ์๋๋ค)์ Spot Bend๊ฐ ๋ ์๊ณ ๋ฆฌ์ฆ ๋ชจ๋์์ ์คํจํ ์ด์ ๋ก ์ฝ๋ ๊ฒ์ด ๋ง๋ค.
- โ๋ชจ๋ ๊ณผ์ ๋ฅผ ํ ์ ์๋คโ๋ Franka ๊ธฐ์ค์ด๋ค. Spot ์ค์ ์์๋ BendยทTransport๊ฐ ์ด๋ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก๋ 0%๋ค. Franka๋ Drag๋ ์ต๊ณ 20%์ ๊ทธ์น๋ค. ์ฆ 10๊ฐ(๊ณผ์ ร ๋ก๋ด) ์ค์ ์ค PPOยทSAC ์ด๋ ์ชฝ์ผ๋ก๋ ํ๋ฆฌ์ง ์์ ๊ฒ์ด 2๊ฐ, ์ต๊ณ ์ฑ๊ณต๋ฅ ์ด 50% ๋ฏธ๋ง์ธ ๊ฒ์ด 2๊ฐ(Spot Lift 35%, Franka Drag 20%)๋ค.
- โ๋ค๋ฆฌํ์ด ๋ ์ด๋ ต๋คโ๋ ํ๊ท ์ผ๋ก๋ ๋ง์ง๋ง ๊ณผ์ ๋ง๋ค ๋ค๋ฅด๋ค. Drag๋ ๋ฐ๋๋ก Spot-PPO 100% ๋ Franka-PPO 20%๋ค. ์ ์๋ Drag์์ ๋ฒจํธ ์ฅ๋ ฅ์ด ํนํ ๋ค๋ฆฌํ์ ์ ์ด๋ฅผ ๋ถ์์ ํ๊ฒ ๋ง๋ ๋ค๊ณ ์ค๋ช ํ๋๋ฐ, ๊ฒฐ๊ณผ๋ ๊ทธ ๋ฐ๋๋ค. ์ Franka๊ฐ Drag์์ ์คํจํ๋์ง๋ ๋ ผ์๋์ง ์๋๋ค. ๋ฐํดํ ๋ฒ ์ด์ค์ ํ์ ๋๋ฌ ๋ฒ์ ์ฐจ์ด ๊ฐ์ ์์ธ์ด ์์ ์ ์์ง๋ง ๋ ผ๋ฌธ ์์์๋ ํ์ธํ ์ ์๋ค.
- ํ์ต ์์ฐ์ด ๋ค๋ฅด๋ค. Place ๊ณก์ ์ ๊ฐ๋ก์ถ์ Spot 5M, Franka 20M step์ด๋ค. ๋ค๋ฅธ ๊ณผ์ ์ ์์ฐ๊ณผ ๋ณ๋ ฌ ํ๊ฒฝ ์, ํ์ดํผํ๋ผ๋ฏธํฐ๋ ๋ณธ๋ฌธ์ ์๋ค. ๋ก๋ด ๊ฐ ๋น๊ต์์ ์์ฐ ์ฐจ์ด๊ฐ ์ผ๋ง๋ ์์ฉํ๋์ง ์ ์ ์๋ค.
- ๋ถ์ฐ ํ์๊ฐ ๋ง๋์๋ ์๋ค. ํ์ต ๊ณก์ ์ 5 seed ํ๊ท ๊ณผ ํ์คํธ์ฐจ์ธ๋ฐ, ๋ง๋๋ โํ์ต๋ ์์ด์ ํธ์ 20ํ ํ๊ฐโ๋ผ๊ณ ๋ง ๋์ด ์๋ค. 5 seed ๊ฐ๊ฐ์ ํ๊ฐํด ํฉ์น ๊ฒ์ธ์ง, ๋ํ seed ํ๋์ธ์ง ๋ฐํ์ง ์๋๋ค. Spot-PPO์ Place ๊ณก์ ์ ์์์ด โ9,000 ๊ทผ์ฒ๊น์ง ๋ด๋ ค๊ฐ ๋งํผ seed ๊ฐ ํธ์ฐจ๊ฐ ํฐ๋ฐ, ๋ง๋๋ 100%๋ค.
์คํ 2: ์ด๋ฏธ์ง ๊ธฐ๋ฐ IL (ยงIV-B, Table III)
๋ค๋ฆฌํ ๋ก๋ด์ ์ฒ ๊ณผ์ 3๊ฐ์์ ๋ IL ๋ฐฉ๋ฒ์ ๋น๊ตํ๋ค. BC๋ ๊ณ ์ ์ ์ธ supervised behavior cloning์ด๊ณ , Retrieval์ DeMoBot์ retrieval ๋ฐฉ๋ฒ์ โstate similarity๋งโ ์ฐ๋๋ก ๋จ์ํํ ๊ฒ์ด๋ค. ๋ ๋ฐฉ๋ฒ ๋ชจ๋ RGB๋ฅผ DINOv2๋ก ์ธ์ฝ๋ฉํ ํน์ง o_b=\phi(I_{rgb})๋ฅผ ์ ๋ ฅ์ผ๋ก ์ฐ๋ฉฐ, ๊ณผ์ ๋น keyboard๋ก ๋ชจ์ ์์ฐ 30๊ฐ๋ก ํ์ตํ๋ค.
| ๋ฐฉ๋ฒ | Uncover | Cover | Curtain |
|---|---|---|---|
| BC | 85% (17/20) | 60% (12/20) | 60% (12/20) |
| Retrieval | 90% (18/20) | 80% (16/20) | 80% (16/20) |
(Table III. ๊ดํธ์ ๋ถ์๋ 20ํ ํ๊ฐ๋ก ํ์๊ฐ ํ์ฐํ ๊ฐ.)
ํ๊ฐ ํ๊ฒฝ์ ๋ฐ์ดํฐ ์์ง ํ๊ฒฝ๊ณผ โidenticalโํ๋ค. ์ ์๋ ๊ฐ์ ํ๊ฒฝ์ธ๋ฐ๋ ์คํจ๊ฐ ๋๋ ์ด์ ๋ก mobile manipulator์ deformable ๋ฌผ์ฒด์ dynamics, ๊ทธ๋ฆฌ๊ณ locomotion ์ปจํธ๋กค๋ฌ์ ์ ํ๋ ํ๊ณ๋ฅผ ๋ ๋ค. ์ด ํ๋ โํ์ต ๋ถํฌ ์์์์ ์ฌํโ ์ฑ๋ฅ์ด๋ค. ์ด๊ธฐ ์ํ๊ฐ ๋ฐ๋์์ ๋์ ์ผ๋ฐํ๋ ์ฌ์ง ์์๋ค. 20ํ ํ๊ฐ์์ BC์ Retrieval์ ์ฐจ์ด๋ CoverยทCurtain์์ 4ํ(12 ๋ 16)๋ค. ์๋๋ ๋ฐ๋ณต ํ์ต ๊ฒฐ๊ณผ๊ฐ ์์ด์ ์ด ์ฐจ์ด๊ฐ ์์ ์ ์ธ์ง ํ๋จํ ๊ทผ๊ฑฐ๋ ์๋ค.
Spot์ Curtain ๊ณผ์ (์๋ฎฌ๋ ์ด์ ). ํ๋ก ์ปคํผ์ ๋ฐ์ด๋ด๊ณ ๊ทธ ํ์ผ๋ก ๋ชธ์ ํต๊ณผ์ํจ๋ค. ์ถ์ฒ: ํ๋ก์ ํธ ํ์ด์ง GIF.
์คํ 3: ์ค๊ธฐ Spot ๋ฐฐํฌ (ยงIV-C, Table II, Fig. 4ยท5)
์๋ฎฌ๋ ์ด์ ์์ ํ์ตํ ์ ์ฑ ์ fine-tuning ์์ด ์ค๊ธฐ Spot์ ์ฌ๋ฆฐ๋ค. ๋์์ PlaceยทDragยทCurtain์ด๋ค. Place์๋ ์์์ฉ ํผ ๋๋ค, Drag์๋ ๊ณ ๋ฌด ์คํธ๋ ์นญ ๋ฐด๋, Curtain์๋ 100 cm ร 120 cm ์ฒ์ ์ผ๋ค. state ๊ด์ธก์ OptiTrack์ผ๋ก ์ป๊ณ , ์ด๋ฏธ์ง๋ Intel RealSense D415๋ก ์ฐ๋๋ค. ๊ณผ์ ๋ง๋ค ์ฌ์ ํ์ต ์์ด์ ํธ ๋ ๊ฐ(SACยทPPO)๋ฅผ ๊ทธ๋๋ก ๋ฐฐํฌํ๋ค.
state ๊ธฐ๋ฐ: PlaceยทDrag
| ์์ญ | ๋ฐฉ๋ฒ | Place SR | Place Steps | Drag SR | Drag Steps |
|---|---|---|---|---|---|
| Sim (60 Hz, 20ํ) | SAC | 90% | 217.6 | 10% | 92.5 |
| PPO | 100% | 83.4 | 100% | 81.3 | |
| Real (10 Hz, 10ํ) | SAC | 90% | 172.1 | 0% | โ |
| PPO | 100% | 62.6 | 100% | 32.9 |
(Table II. Steps๋ ๊ณผ์ ๋ฅผ ๋๋ด๋ ๋ฐ ์ด ์ ์ด ํ๋ ์.)
Table II์ ์๋ฎฌ๋ ์ด์ ์ฑ๊ณต๋ฅ (Place SAC 90ยทPPO 100, Drag SAC 10ยทPPO 100)์ Fig. 3์ Spot ๋ง๋์ ์ ํํ ๊ฐ๋ค. ์ฆ ์ค๊ธฐ์ ์ฌ๋ฆฐ ๊ฒ์ Fig. 3์ Spot ์ ์ฑ ์ด๋ค.
์ ์๋ ๋ ๋ฐฉ๋ฒ ๋ชจ๋ ์ฑ๊ณต๋ฅ ์ด sim๊ณผ real์์ ์ ๋ง๋๋ค๊ณ ๋ณด๊ณ , SAC Drag๋ง ์ค๊ธฐ์์ โ์ฝ๊ฐโ ๋จ์ด์ก๋ค๊ณ ์ด๋ค. ์์ธ์ผ๋ก๋ SAC๊ฐ ์๋ฎฌ๋ ์ด์ ์์ ์ ์ฉํ๋ ์ํํ ์์ง์์ ํ๋์จ์ด ์ ํ์ด ๋ง์๋ค๋ ์ ์ ๋ ๋ค. ์์น๋ก ๋ณด๋ฉด SAC Drag๋ ์๋ฎฌ๋ ์ด์ ์์๋ 20ํ ์ค 2ํ๋ง ์ฑ๊ณตํ ์ ์ฑ ์ด๋ค. 2/20์์ 0/10์ผ๋ก ๊ฐ ๊ฒ์ โsim-to-real ์ ๋ ฌโ์ ์์ธ๋ก ๋ ผํ๊ธฐ์๋ ์ถ๋ฐ์ ์ด ์ด๋ฏธ ์คํจ์ ๊ฐ๊น๋ค.
Steps ์ด์ ํด์์ ์ฃผ์๊ฐ ํ์ํ๋ค. ์ ์๋ ์ ์ด ์ฃผํ์๊ฐ ๋ฌ๋ผ(์ค๊ธฐ 10 Hz, ์๋ฎฌ๋ ์ด์ 60 Hz) step ์๊ฐ ๋ค๋ฅด์ง๋ง โ์ ์ฒด ๊ฒฝํฅ์ ์ผ๊ด๋๋คโ๊ณ ์ด๋ค. ๋ ผ๋ฌธ์ด ์ ์ ์ฃผํ์๋ก ์๊ฐ์ ํ์ฐํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
| Place SAC | Place PPO | Drag PPO | |
|---|---|---|---|
| Sim (Steps รท 60 Hz) | 3.6 s | 1.4 s | 1.4 s |
| Real (Steps รท 10 Hz) | 17.2 s | 6.3 s | 3.3 s |
| ์ค๊ธฐ/์๋ฎฌ๋ ์ด์ ์๊ฐ ๋น | 4.7ร | 4.5ร | 2.4ร |
(ํ์ ๊ณ์ฐ.)
์ค๊ธฐ๋ ๊ฐ์ ๊ณผ์ ๋ฅผ 2.4~4.7๋ฐฐ ๋ ์ค๋ ๊ฑธ๋ ค ๋๋ธ๋ค. ๋งค step์ ํ๋์ด ์ค๊ธฐ์์ 6๋ฐฐ ๊ธธ๊ฒ ์ ์ง๋๋๋ฐ๋ step ์๊ฐ 6๋ถ์ 1๋ก ์ค์ง ์์๋ค๋ ๋ป์ด๋ค. โ๊ฒฝํฅ์ด ๊ฐ๋คโ๋ SAC๊ฐ PPO๋ณด๋ค ๋๋ฆฌ๋ค๋ ์์๊ฐ ์ ์ง๋๋ค๋ ์๋ฏธ๋ก๋ ๋ง์ง๋ง, ์คํ ์๋๊ฐ ๋ณด์กด๋๋ค๋ ์๋ฏธ๋ก ์ฝ์ผ๋ฉด ์ ๋๋ค. ๋ํ Drag SAC์ ์๋ฎฌ๋ ์ด์ Steps 92.5๊ฐ ์ฑ๊ณตํ 2ํ๋ง์ ํ๊ท ์ธ์ง, ์คํจ ์ํผ์๋๋ ํฌํจํ ๊ฐ์ธ์ง ๋ฐํ์ง ์๋๋ค.

Fig. 5. Drag ๊ณผ์ ์ PPO ๋กค์์. ์: ์๋ฎฌ๋ ์ด์ . ๊ฐ์ด๋ฐ: ๋ฒจํธ ์ ์ ๋ค์ ๊ถค์ (๋นจ๊ฐ ์๋ฎฌ๋ ์ด์ , ํ๋ ์ค๊ธฐ). ์๋: ์ค๊ธฐ. ์ ์ ์์น๋ ๊ตฌ๊ฐ๋ง๋ค ๋์ ๋๊ฒ ์ด๊ธ๋์ง๋ง ๊ณผ์ ๋ ์ฑ๊ณตํ๋ค.
์ค๊ธฐ Spot์ Drag. ๋ น์ ๊ณ ๋ฌด ๋ฐด๋๋ฅผ ๋ค์ด ๊ธฐ๋ฅ ๋๋จธ๋ก ๋๊ธด๋ค. ์ถ์ฒ: ํ๋ก์ ํธ ํ์ด์ง GIF.
์ ์๋ Fig. 5์ ๊ถค์ ์ฐจ์ด๋ฅผ ์ค์ ๋ฌผ์ฑ๊ณผ ํ๊ฒฝ ์กฐ๊ฑด์ ๋ถ๊ฐํผํ ์ฐจ์ด๋ก ๋๋ฆฐ๋ค. ์ด ๊ทธ๋ฆผ์ด ๋ณด์ฌ ์ฃผ๋ ๋ ํฅ๋ฏธ๋ก์ด ์ฌ์ค์, ๋ฌผ์ฒด ๊ถค์ ์ด ๊ฝค ์ด๊ธ๋๋ ์ ์ฑ ์ด ๊ณผ์ ๋ฅผ ๋๋ธ๋ค๋ ์ ์ด๋ค. ๋ณด์๊ณผ ์ฑ๊ณต ์กฐ๊ฑด์ด ๋ฒจํธ ์ค์ ๊ณผ ๋ชธ์ ์์น๋ง ๋ณด๊ธฐ ๋๋ฌธ์ ๋ฒจํธ ๋ชจ์์ด ์ ํํ ๊ฐ์ ํ์๋ ์๋ค. state ๊ธฐ๋ฐ sim-to-real์ ์ฑ๊ณต์ด โ๋ฌผ๋ฆฌ๋ฅผ ์ ๋ง์ท๊ธฐ ๋๋ฌธโ์ธ์ง โ๊ณผ์ ๊ฐ ๋ฌผ์ฒด ๊ถค์ ์ค์ฐจ์ ๋๊ฐํ๊ธฐ ๋๋ฌธโ์ธ์ง๋ ์ด ์คํ์ผ๋ก ๊ฐ๋ฅผ ์ ์๋ค. ๋ฌผ์ฑ ๋๋คํ๋ ๋ฌผ์ฑ์ ๋ฐ๊พผ ๋์กฐ ์คํ์ด ์๊ธฐ ๋๋ฌธ์ด๋ค.
์ด๋ฏธ์ง ๊ธฐ๋ฐ: Curtain

Fig. 4. Curtain์ sim-to-real ๋น๊ต. ํ๋ง๋ค BCยทRetrievalยท์๋ ์๊ฒฉ์กฐ์ยท์๋ฎฌ๋ ์ด์ ์ ์นด๋ฉ๋ผ ์์ ์ํ์ค(StartยทApproachยทManipulate). ์ ๊ฐ์ด๋ฐ๋ ์๋ฎฌ๋ ์ด์ ๊ณผ ์ค๊ธฐ ์ ์ , ์ค๋ฅธ์ชฝ ์๋ DINOv2 ํน์ง์ t-SNE(ํ๋ ์๋ฎฌ๋ ์ด์ , ๋นจ๊ฐ ์ค๊ธฐ). BC ํ์ ์ ๊ทผ ๋จ๊ณ์์ ๋๋๋ค.
์๋ฎฌ๋ ์ด์ ์์ 60~80%์๋ ๋ ์ ์ฑ ์ ์ค๊ธฐ์์ ํ ๋ฒ๋ ์ฑ๊ณตํ์ง ๋ชปํ๋ค. Retrieval์ 10ํ ์ค 2ํ ์ปคํผ์ ๋ค๊ฐ๊ฐ ์ ์ดํ๊ณ , BC๋ ์ปคํผ์ ๋ฟ์ง๋ ๋ชปํ๋ค. ์ ์๋ ์์ธ์ ๋ ๊ฐ๋๋ก ํ์ธํ๋ค. ์ค๊ธฐ์์ ์ฌ๋์ด ์๊ฒฉ์กฐ์ํ ๊ด์ธก ๊ถค์ ์ ์๋ฎฌ๋ ์ด์ ๊ถค์ ๊ณผ ๋น์ทํ์ผ๋ฏ๋ก dynamics๋ ์ ๋ง๋๋ค๊ณ ๋ณด๊ณ , DINOv2 ํน์ง์ t-SNE์์ ๋ ๋ถํฌ๊ฐ ๊ฐ๋ผ์ง๋ฏ๋ก ์คํจ์ ์ฃผ์์ธ์ ์๊ฐ domain gap์ด๋ผ๊ณ ๊ฒฐ๋ก ์ง๋๋ค.
์ด ์ง๋จ์ ๊ทธ๋ด๋ฏํ์ง๋ง ๊ทผ๊ฑฐ๊ฐ ์ ์ฑ์ ์ด๋ค. t-SNE๋ ๊ตฐ์ง ๋ถ๋ฆฌ๋ฅผ ๊ณผ์ฅํ๋ ๊ฒฝํฅ์ด ์๋ ์๊ฐํ์ด๊ณ , ๋ถํฌ ๊ฑฐ๋ฆฌ ๊ฐ์ ์ ๋ ์งํ๋ ์๋ค. โ๊ด์ธก ๊ถค์ ์ด ๋น์ทํ๋คโ๋ ํ๋จ๋ ์์น ์์ด ๊ทธ๋ฆผ ๋น๊ต์ ๊ธฐ๋๋ค. Fig. 4์ ์๋ฎฌ๋ ์ด์ ์์(ํฐ ๋ฐฐ๊ฒฝ, ๋จ์ ์ปคํผ, ๊ฒฉ์ ๋ฐ๋ฅ)๊ณผ ์ค๊ธฐ ์์(์คํ์ค ์ฒ ๊ณจ ๊ตฌ์กฐ์ ์กฐ๋ช )์ ๋ณด๋ฉด domain gap์ด ํฌ๋ค๋ ๊ฒ์ ๋ถ๋ช ํ๋ค. ๋ค๋ง ๋ ๋๋ง ๋๋คํ๋ ๋ฐฐ๊ฒฝ ํฉ์ฑ ๊ฐ์ ๊ธฐ๋ณธ์ ์ธ ์ํ์ฑ ์ ์๋ํ์ง ์์์ผ๋ฏ๋ก, ์ด ๊ฒฐ๊ณผ๋ โ์ด๋ฏธ์ง ๊ธฐ๋ฐ sim-to-real์ ์ด๋ ต๋คโ๋ณด๋ค โ์๋ฌด ์๊ฐ ๋๋คํ ์์ด ํ์ตํ ์ด๋ฏธ์ง ์ ์ฑ ์ ๋์ด๊ฐ์ง ์๋๋คโ๋ก ์ฝ๋ ๊ฒ์ด ์ ํํ๋ค.
๊ณต๊ฐ ์ฝ๋์ ๋์กฐ
๋ณธ๋ฌธ ์๋ก ์ ์ฝ๋๋ฅผ โ๋
ผ๋ฌธ ์ฑํ ํ ๊ณต๊ฐโํ๋ค๊ณ ์ผ๊ณ , ์ง๊ธ์ carolzyy/MoDeSuite์ ์ฌ๋ผ์ ์๋ค(์ปค๋ฐ 470681a ๊ธฐ์ค). Isaac Sim 4.2.0๊ณผ Isaac Lab ์์์ ๋์ํ๋ DirectRLEnv ๊ณผ์ 16๊ฐ(8๊ณผ์ ร 2๋ก๋ด)์ rl_games ์ค์ , Spot locomotion ์ ์ฑ
(controller/model/spot_policy.pt), keyboard ์๊ฒฉ์กฐ์ ์คํฌ๋ฆฝํธ๊ฐ ๋ค์ด ์๋ค. IL ๋ฐ์ดํฐ์
๊ณผ ํ์ต๋ ๋ชจ๋ธ์ README์ Google Drive ๋งํฌ๋ก ๋ฐฐํฌ๋๋ค. ์๋๋ ๋
ผ๋ฌธ ์์ ๊ณผ ์ฝ๋๋ฅผ ์ ์ ์ผ๋ก ๋์กฐํ ๊ฒฐ๊ณผ๋ค. ์ฝ๋๋ ์คํํ์ง ์์๊ณ , ๊ณต๊ฐ ์ฝ๋๊ฐ ๋
ผ๋ฌธ ์คํ ๋น์ ์ฝ๋์ ๊ฐ์์ง๋ ์ ์ ์๋ค.
| ํญ๋ชฉ | ๋ ผ๋ฌธ | ๊ณต๊ฐ ์ฝ๋ |
|---|---|---|
| ์๋ฎฌ๋ ์ด์ ์ ์ด ์ฃผํ์ | 60 Hz (Table II ์บก์ ) | Spot ํ์ฑ ๊ณผ์ dt=1/200, decimation=2 โ 100 Hz (task/Place/spot_place_env.py:27,44). Franka ๊ณผ์ dt=1/80, decimation=2 โ 40 Hz (task/Place/franka_place_env.py:29,40). Spot ์ฒ ๊ณผ์ decimation=5 โ 40 Hz (task/Curtain/spot_curtain_env.py:26,38). 60 Hz์ธ ์ค์ ์ ์๋ค |
| Spot ํ๋ ์ฐจ์ | 10~18 | ํ์ฑ ๊ณผ์ 9(๋ฒ ์ด์ค ๋ช
๋ น 3 + ํ ๊ด์ 6, spot_place_env.py:29), ์ฒ ๊ณผ์ 9~10(Curtain 9, UncoverยทCover 10) |
| Spot ๋ฒ ์ด์ค ํ๋ | (p_x, p_y, r_z) โlinear translationโ, โrotationโ | ์ฌ์ ํ์ต locomotion ์ ์ฑ
์ ๋ฃ๋ ์๋ ๋ช
๋ น (v_x, v_y, \omega_z) (controller/spot_loco_solver.py:61-89). ์ด ๋ณดํ ์ ์ฑ
์ Isaac Lab v1.4.1 Spot flat ํ๊ฒฝ(50 Hz, action scale 0.2)๊ณผ ๊ฐ์ ๊ด์ธกยท์ค์ผ์ผ ๊ตฌ์กฐ์ธ๋ฐ, ํ๊ฒฝ step๋ง๋ค(100 Hz) ํธ์ถ๋๋ค. ๋ํผ์ ์ ์๋ _decimation = 10์ ์ฐ์ด์ง ์๋๋ค (controller/spot_loco_solver.py:46,59,103-114) |
| Spot ํ ํ๋ | joint position a_{arm}\in\mathbb{R}^n | ๊ด์ ๋ชฉํ = a + \Delta t\cdot 6\cdot a \approx 1.06\,a์ด๊ณ rl_games๊ฐ ํ๋์ ยฑ1๋ก ์๋ฅด๋ฏ๋ก(clip_actions: 1.0) ํ ๊ด์ ๋ชฉํ๊ฐ ยฑ1.06 rad ์์ผ๋ก ์ ํ๋๋ค (task/Place/spot_place_env.py:196-199, task/Place/agents/rl_games_ppo_cfg.yaml:7) |
| Place ๋ณด์ | 3ํญ: ๋ง๋ ๋โ๏ธํ์, ๋ก๋ดโ๏ธํ์, ์์ ์ฑ ํ๋ํฐ | ๊ฑฐ๋ฆฌ 4ํญ(๋ก๋ดโ๏ธํ์, ์๋โ๏ธํ์, ๋ง๋ ๋โ๏ธํ์, ๋ง๋ ์ค์ โ๏ธํ์) + ๋์ด ๋ณด๋์ค 2๊ฐ(๊ฐ +0.75) + ์ฑ๊ณต +10 + ๋์ด์ง โ500 (spot_place_env.py:300-321) |
| ์์ ์ฑ ํ๋ํฐ | ์ฐ์ ํ๋ํฐ๋ก ์ฝํ | ๋ชธ์ฒด ๊ธฐ์ธ๊ธฐ 45ยฐ ์ด๊ณผ ์ โ500 ํ ์ํผ์๋ ์ข
๋ฃ (spot_place_env.py:223-245, 321, 335) |
| Curtain ์ฑ๊ณต | โwithout any collisionsโ | ๋ก๋ด x ์ขํ๊ฐ ์ปคํผ ์์น + 0.3 m๋ฅผ ๋์๋์ง๋ง ํ์ธ. ์ถฉ๋ ๊ฒ์ฌ ์์ (task/Curtain/spot_curtain_env.py:303-314) |
| Drag ์ฑ๊ณต | ๋ชธ์ด body target ๊ทผ์ฒ + ๋ฒจํธ๊ฐ ์ฅ์ ๋ฌผ ๋ฐ๋ํธ ๋ฒจํธ ๋ชฉํ ๊ทผ์ฒ | Spot์ (robot_tar_dis < 0.3) & (robot_tar_dis < 0.05)๋ก ๊ฐ์ ๋ณ์์ ๋ ๋ฌธํฑ์ด ๊ฑธ๋ ค ๋ชธ ๋ฌธํฑ์ด xy L1 0.05 m๋ค. ๋ฒจํธ ์ชฝ์ โ๋ฒจํธ ๋
ธ๋ 4๊ฐ ์ค 2๊ฐ ์ด์์ด ๋ชฉํ์ y๋ฅผ ๋์๋๊ฐโ๋ง ๋ณด๊ณ , ๋ฒจํธ ์ค์ โ๏ธ๋ชฉํ ๊ฑฐ๋ฆฌ band_tar_dis๋ ๊ณ์ฐ๋ง ํ๊ณ ํ์ ์ ์ฐ์ง ์๋๋ค (task/Drag/spot_drag_env.py:323-330). Franka๋ ๋ชธ ๋ฌธํฑ 0.3 (task/Drag/franka_drag_env.py:269) |
| Lift ์ฑ๊ณต | ๋ฒจํธ ์ค์ โ๏ธ๋ชฉํ ๊ฑฐ๋ฆฌ ์ ๋ก๋ดโ๏ธ๋ก๋ด ๋ชฉํ ๊ฑฐ๋ฆฌ | ๋ฒจํธ ์ค์ ์ด ๋ชฉํ 0.1 m ์์ด๋ฉด ์ฑ๊ณต. ๋ก๋ด ์์น ์กฐ๊ฑด์ ์๋ค (task/Lift/spot_lift_env.py:355-359) |
| Bend ์ฑ๊ณต ๋ฌธํฑ | ๋ง๋ ๋โ๏ธ๋ชฉํ ๊ฑฐ๋ฆฌ(๊ฐ ๋ฏธ๊ธฐ์ฌ) | Franka 0.5 m (task/Bend/franka_bend_env.py:273), Spot 0.3 m (task/Bend/spot_bend_env.py:335). ๋ก๋ด๋ง๋ค ๋ค๋ฅด๋ค |
| ๊ด์ธก s_e | (g_r, g_o, p_o), ์ฅ์ ๋ฌผ ์์น p_o ํฌํจ | ์ฅ์ ๋ฌผ ์์น๋ ์ด๋ ๊ณผ์ ๊ด์ธก์๋ ์๋ค. ์๋ฅผ ๋ค์ด Spot Place ๊ด์ธก์ ๋ง๋ 4์ ยท๋ก๋ด ์์น(3D)ยท์ฟผํฐ๋์ธยทํ์ ์ค์ฌยท์ ๊ด์ ์์นยท์๋๋ค (task/Place/spot_place_env.py:283-292) |
| ์ฒ ๊ณผ์ state ๊ด์ธก | ์ถ์ particle ์์น \{p_i\}_{i=1}^M | ์ฒ์ ์์ก์ด RigidObject๋ก๋ง ๊ฐ์ธ๊ณ particle ์์น๋ฅผ ๊ด์ธก์ผ๋ก ๋ด๋ณด๋ด์ง ์๋๋ค. get_cloth_point()๋ ๋ฐํ๊ฐ ์๋ ๋ฏธ์์ฑ ํจ์๋ค (task/Curtain/spot_curtain_env.py:281-298) |
| ํ์ฑ์ฒด ์ก๊ธฐ | Drag๋ โlift and stretch the beltโ | ๋ง๋ยท๋ฒจํธ๋ ๋ก๋ด USD ์ arm_ee ์๋ prim์ผ๋ก ์ฒ์๋ถํฐ ์๋์ ๋ถ์ด ์๋ค. ์ก๋ ๋จ๊ณ๊ฐ ์๋ค (task/Place/spot_place_env.py:80-85, task/Drag/spot_drag_env.py:61-66) |
| ๋ฐํดํ ๋ฒ ์ด์ค | Ridgeback ์์ Franka, ๋ฒ ์ด์ค ํ๋์ ์๋ (v_x, v_y, \omega_z) | ๊ฐ์ prismatic xยทy + revolute z ๊ด์ ๋ก ๋ชจ๋ธ๋งํ ๋ฒ ์ด์ค๋ค (cfg/robotcfg.py:18-43). ๋ฐํด ๋์ญํ์ ์๋ค. ํ๋์ ๊ด์ ์์น ๋ชฉํ์ \Delta t\cdotscale\cdot a๋ฅผ ๋ํด ๊ฐ๋ ๋์ ์ฆ๋ถ์ด๋ค (task/Place/franka_place_env.py:192-195) |
| discrete ํ๋ | 14๊ฐ(์ก๊ธฐยท๋๊ธฐ ํฌํจ) | ํค ๋ฐ์ธ๋ฉ 13๊ฐ(ํ 6ยท๋ฒ ์ด์ค 6ยท์ก๊ธฐ ํ ๊ธ 1). ๋ณ๋์ ๋๊ธฐ ํค๋ ์๋ค (controller/se3_keyboard.py:173-196) |
| ์ด๋ฏธ์ง ๊ด์ธก(DINOv2) | ์ด๋ฏธ์ง ๊ด์ธก \phi(I) | ํ๊ฒฝ์ ์์ RGB๋ฅผ ๋ฐํํ๋ค. DINOv2 ๊ฒฝ๋ก๋ process = False๋ก ๊บผ์ ธ ์๊ณ self.encoder๋ ์ด๋์์๋ ์ ์๋์ง ์๋๋ค (spot_curtain_env.py:212-233) |
| IL ๋ฐฉ๋ฒ(BCยทRetrieval) | ยงIV-B์์ ํ๊ฐ | ํ์ตยทํ๊ฐ ์ฝ๋๊ฐ ๋ ํฌ์ ์๋ค. ์์ฐ ์์ง ์คํฌ๋ฆฝํธ(script/teleop_se3_agent.py)๋ง ์๋ค |
| ์ด๊ธฐ ์ํ | ์ธ๊ธ ์์ | ๋ชจ๋ ๊ณผ์ ๊ฐ ๊ณ ์ ๋ ๊ธฐ๋ณธ ์์ธ๋ก ๋ฆฌ์
ํ๋ค. ์ฝ๋ ์ฃผ์์ด โshould be random initial pose, however all zero nowโ๋ผ๊ณ ์ ๋๋ค (spot_place_env.py:169) |
| ๋ณ๋ ฌ ํ๊ฒฝ ์ | โparallelized environmentsโ, ์๋ ๋ฏธ๊ธฐ์ฌ | ๊ณผ์ config ๊ธฐ๋ณธ๊ฐ num_envs=4, script/train.py์ CLI ๊ธฐ๋ณธ๊ฐ 1 |
| ์์ | ๋ฐํดํ 8๊ฐ ๊ณผ์ | Franka LiftยทDragยทTransport์ ์ฒ ๊ณผ์ ๊ฐ ์ฐธ์กฐํ๋ USD 3๊ฐ(Franka.usd, franka_drag.usd, franka_rod_long.usd)๊ฐ ๋ ํฌ์ ์๋ค. Franka ๊ณผ์ ์ค ๋ ํฌ ์์
๋ง์ผ๋ก ๋ก๋๋๋ ๊ฒ์ PlaceยทBend๋ฟ์ด๋ค |
| Franka ์ฒ ๊ณผ์ | Fig. 1์ ๋ฐํดํ ์ฒ ๊ณผ์ 3๊ฐ๊ฐ ๊ทธ๋ ค์ ธ ์๋ค | Uncover์ ์ฑ๊ณต ํจ์ cover_check()๋ ์ ์๋ง ๋๊ณ ํธ์ถ๋์ง ์์ ์ฑ๊ณต ํ๋๊ทธ๊ฐ ๋ 0์ด๊ณ , ํจ์ ๋ณธ๋ฌธ๋ Place์ ๋ง๋ ํ์ (self.rod, ํ์ ๋ฒ์)์ ๊ทธ๋๋ก ๋ณต์ฌํ ๊ฒ์ด๋ค (task/Uncover/franka_uncover_env.py:275-304). Cover์ pass_flag()๋ ์ ์๋์ง ์์ ๋ณ์ curtain_positionยทrobot_current_position์ ์ฐธ์กฐํ๋ฏ๋ก _get_dones()์์ ํธ์ถ๋๋ ์๊ฐ NameError๊ฐ ๋๋ค (task/Cover/franka_cover_env.py:342-355) |
| ํ๊ฐ ์คํฌ๋ฆฝํธ | 20ํ ํ๊ฐ | script/play.py์ ์ํผ์๋ ์ง๊ณ์ 20ํ ํ ์ข
๋ฃ๊ฐ if args_cli.video: ๋ธ๋ก ์์๋ง ์๋ค. ์์ ๊ธฐ๋ก ์ต์
์์ด ๋๋ฆฌ๋ฉด ์ํผ์๋๋ฅผ ์ธ์ง ์๊ณ ๋๋์ง ์๋๋ค (script/play.py:205-227) |
๊ฐ์ฅ ๋ฌด๊ฒ๊ฐ ํฐ ๊ฒ์ ์ฑ๊ณต ํ์ ๊ณผ ์ด๊ธฐ ์ํ๋ค. ์ฒซ์งธ, ์ฑ๊ณต ํ์ ์ด ๋ ผ๋ฌธ ์์ ๋ณด๋ค ๋์จํ ๊ณณ์ด ์ ์ด๋ค. Curtain์ ์ถฉ๋ ๊ฒ์ฌ ์์ด x ์ขํ๋ง ๋ณด๋ฏ๋ก ์ปคํผ์ ๋ฐ์ด๋ด์ง ์๊ณ ๋ซ๊ณ ์ง๋๊ฐ๋ ์ฑ๊ณต์ผ๋ก ์ ์ ์๋ค. Lift๋ ๋ก๋ด์ด ๋ชฉํ์ ๊ฐ๋์ง ๋ณด์ง ์๋๋ค. Drag๋ ๋ฒจํธ๊ฐ ๋ชฉํ ๊ทผ์ฒ์ธ์ง๊ฐ ์๋๋ผ ๋ชฉํ์ ์ ๋์๋์ง๋ง ๋ณธ๋ค. ๋์งธ, ๊ฐ์ ๊ณผ์ ์ ์ฑ๊ณต ๋ฌธํฑ์ด ๋ก๋ด๋ง๋ค ๋ค๋ฅด๋ค(Bend๋ Franka 0.5 m, Spot 0.3 m. Drag์ ๋ชธ ๋ฌธํฑ์ Franka 0.3, Spot 0.05). ๊ทธ๋ฌ๋ Fig. 3์์ Bend๋ฅผ โFranka 100%, Spot 0%โ๋ก ๋น๊ตํ๋ ๊ฒ์ ๊ฐ์ ๊ธฐ์ค์ ๋น๊ต๊ฐ ์๋๋ค. ์ ์งธ, ์ด๊ธฐ ์ํ๊ฐ ๊ณ ์ ์ด๋ฉด 20ํ ํ๊ฐ์ ์ฑ๊ณต๋ฅ ์ ๊ฐ์ ์์์ ์์ ์ ์ฑ ๊ณผ ๋ฌผ๋ฆฌ์ ํ๋ฅ ์ฑ๋ง ๋ฐ์ํ๋ค. IL์ โidentical environmentโ ํ๊ฐ์ ๊ฐ์ ์ฑ๊ฒฉ์ด๊ณ , ๋ฒค์น๋งํฌ๋ก์ ์ผ๋ฐํ๋ฅผ ์ฌ๋ ์ฅ์น๊ฐ ์๋ค๋ ๋ป์ด๋ค. ๊ณต๊ฐ ์ฝ๋๊ฐ ๋ ผ๋ฌธ ์คํ ๋น์์ ๊ฐ์ ํ์ ์ ์ผ๋์ง๋ ์ ์ ์์ผ๋ฏ๋ก, ์ด ์ฐจ์ด๋ โ๋ ผ๋ฌธ ์์น๊ฐ ํ๋ ธ๋คโ๊ฐ ์๋๋ผ โ๋ ํฌ๋ก ์ฌํํ๋ฉด ๋ ผ๋ฌธ์ด ๋งํ ๊ฒ๊ณผ ๋ค๋ฅธ ๊ณผ์ ๋ฅผ ์ฌ๊ฒ ๋๋คโ๋ก ์ฝ์ด์ผ ํ๋ค.
๋ฐํดํ ์ฒ ๊ณผ์ ๊ฐ ๋ฏธ์์ฑ ์ฌ๋ณธ์ด๋ผ๋ ์ ์ ๋ ผ๋ฌธ์ ์คํ ๊ตฌ์ฑ๊ณผ๋ ๋ง๋ฌผ๋ฆฐ๋ค. ๋ ผ๋ฌธ์ ์ฒ ๊ณผ์ ๋ฅผ ๋ค๋ฆฌํ ๋ก๋ด์ IL๋ก๋ง ํ๊ฐํ๊ณ , Fig. 1์ ๋ฐํดํ ์ฒ ๊ณผ์ 3์นธ์ ๋์ํ๋ ๊ฒฐ๊ณผ๋ ์ด๋์๋ ์๋ค. ๊ณต๊ฐ ์ฝ๋ ๊ธฐ์ค์ผ๋ก โ8๊ฐ ๊ณผ์ ร 2๊ฐ ๋ก๋ด = 16๊ฐ ํ๊ฒฝโ์ด ๋ชจ๋ ์ธ ์ ์๋ ์ํ๋ ์๋๋ค.
๊ทธ ๋ฐ์ ๊ด์ฐฐ๋ ์๋ค. 16๊ฐ ํ๊ฒฝ ์ค 11๊ฐ(ํ์ฑ ๊ณผ์ 10๊ฐ์ Franka Uncover)๋ _get_dones()๊ฐ (time_out, resets) ์์๋ก ๋ฐํํ๋๋ฐ, Isaac Lab ๊ท์ฝ์ (terminated, time_outs)๋ค. ์ ๊ณต๋ rl_games ์ค์ ์ value_bootstrap์ด ์์ด ๋ ํ๋๊ทธ๋ฅผ ๊ฐ์ done์ผ๋ก ์ทจ๊ธํ๋ฏ๋ก ํ์ต ๊ฒฐ๊ณผ์๋ ์ํฅ์ด ์์ ๊ฐ๋ฅ์ฑ์ด ๋์ง๋ง, ๊ท์ฝ๋๋ก bootstrapping์ ์ผ๋ฉด ์ฑ๊ณตยท๋์ด์ง ์ข
๋ฃ๊ฐ time-out์ฒ๋ผ ์ฒ๋ฆฌ๋๋ค. ์ ์ฅ์์๋ LICENSE ํ์ผ์ด ์๊ณ (README ๋ฐฐ์ง๋ MIT), Spot locomotion ์ปจํธ๋กค๋ฌ ๋ฑ ์ผ๋ถ ํ์ผ ๋จธ๋ฆฌ์๋ NVIDIA์ ์ฌ๋ฐฐํฌ ์ ํ ๋ฌธ๊ตฌ๊ฐ ๋จ์ ์๋ค. README์ ์คํ ์์๋ scripts/ ๊ฒฝ๋ก๋ฅผ ์ฐ์ง๋ง ์ค์ ํด๋ ์ด๋ฆ์ script/์ด๊ณ , ๊ณผ์ ํ์์ Drag๋ โrodโ๋ก, Cover๋ Uncover์ ๊ฐ์ ์ค๋ช
์ผ๋ก ์ ํ ์๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ๋ฌธ์ ์ค์ ์ด ๋ช ํํ๊ณ ๊ณผ์ ๊ฐ ์ ๊ณจ๋ผ์ก๋ค. Bend์ L์ ๋ณต๋, Lift์ ๋กค๋ฌ ์ ํฐ, Drag์ ๋์ด๋๋ ๋ฒจํธ๋ โ๋ณํ์ ์ด์ฉํด์ผ ํ๋ฆฐ๋คโ๋ ์กฐ๊ฑด์ ๊ธฐํ๋ก ๊ฐ์ ํ๋ค. rigid๋ก ๋ฐ๊พธ๋ฉด ๊ณผ์ ๊ฐ ๋ถ๊ฐ๋ฅํ๊ฑฐ๋ ์ฌ์์ง๋ ๊ตฌ์กฐ๋ผ, deformability๊ฐ ์ฅ์์ด ์๋๋ผ ๊ณผ์ ์ ๋ณธ์ง์ด๋ค.
- ๊ฐ์ ๊ณผ์ ๋ฅผ ๋ ๋ก๋ด ํํ๋ก ๋๋ฆฐ๋ค. Fig. 3์ ํ์์ ๋ณด๋ฏ ๊ฐ์ ๊ณผ์ ์ ๋์ด๋๊ฐ ๋ก๋ด์ ๋ฐ๋ผ ๋ค์งํ๋ค(Drag๋ Spot์ด ์ฝ๊ณ , BendยทTransport๋ Franka๋ง ํ๋ฆฐ๋ค). ์ด๋ฐ ๋น๊ต๋ ํํ(morphology)๋ฅผ ๋ฒค์น๋งํฌ ์ถ์ผ๋ก ๋ฃ์๊ธฐ ๋๋ฌธ์ ๊ฐ๋ฅํ๋ค.
- ์ค๊ธฐ ๊ฒ์ฆ์ด ์๋ค. ๋ฒค์น๋งํฌ ๋ ผ๋ฌธ์ผ๋ก๋ ๋๋ฌผ๊ฒ ํ์ฑ ๊ณผ์ 2๊ฐ๋ฅผ ์ค๊ธฐ Spot์์ ํ์ธํ๊ณ , ์คํจํ ์ด๋ฏธ์ง ๊ธฐ๋ฐ ๊ฒฐ๊ณผ(Curtain 0/10)๋ ์จ๊ธฐ์ง ์๊ณ ๋ณด๊ณ ํ๋ค. Fig. 4์ t-SNE์ ์๊ฒฉ์กฐ์ ๋น๊ต๋ ์คํจ ์์ธ์ ์ขํ๋ ค๋ ์๋๋ก์ ์๋ฏธ๊ฐ ์๋ค.
- state ํํ์ด ์ค๊ธฐ์ ์ฐ๊ฒฐ๋๋๋ก ์ค๊ณ๋๋ค. ๋ฌผ์ฒด๋ฅผ ์ 4๊ฐ๋ก ์์ฝํ ๊ด์ธก์ ํ์ต์ ์ฝ๊ฒ ํ๋ฉด์ ๋ชจ์ ์บก์ฒ๋ก ๋ฐ๋ก ์ธก์ ํ ์ ์๋ค. ์ด ์ ํ์ด PlaceยทDrag์ zero-shot ์ด์ ์ ๊ฐ๋ฅํ๊ฒ ํ ํต์ฌ์ผ๋ก ๋ณด์ธ๋ค.
- ์ฝ๋์ ์์ ์ด ๊ณต๊ฐ๋๋ค. 16๊ฐ ํ๊ฒฝ, ๋ก๋ดยท๋ฌผ์ฒด USD, Spot locomotion ์ ์ฑ , ์์ฐ ๋ฐ์ดํฐ์ ๋ชจ๋ธ(Drive)์ด ํจ๊ป ์๋ค.
์ฝ์ ยทํ๊ณ
- ๋ฒค์น๋งํฌ์ ์ฌํ ์ ๋ณด๊ฐ ๋ณธ๋ฌธ์ ์๋ค. ํ์ดํผํ๋ผ๋ฏธํฐ, ๋ณ๋ ฌ ํ๊ฒฝ ์, ํ์ต ์๊ฐ๊ณผ ํ๋์จ์ด, ๋ณด์ ๊ฐ์ค์น์ ๊ฑฐ๋ฆฌ ๋ฌธํฑ, ๋ฌผ์ฑ์น(ํ์ฑ ๊ณ์, ์ฒ ๊ฐ์ฑ), FEM ๋ฉ์ ํด์๋๊ฐ ํ๋๋ ์๋ค. ์ฑ๊ณต๋ฅ ๋ ์ซ์ ์์ด ๋ง๋๋ก๋ง ์ค๋ค. ์ผ๋ถ๋ ๊ณต๊ฐ ์ฝ๋์ config์์ ์ฐพ์ ์ ์์ง๋ง, ์ฝ๋๊ฐ ๋ ผ๋ฌธ๊ณผ ๋ค๋ฅธ ๊ณณ(์ ์ด ์ฃผํ์, ํ๋ ์ฐจ์, ๋ณด์ ํญ)์ด ์์ด ์ด๋ ์ชฝ์ด ๋ ผ๋ฌธ ์์น๋ฅผ ๋ธ ์ค์ ์ธ์ง ํ์ ํ ์ ์๋ค.
- ํ๊ฐ ํ๋กํ ์ฝ์ด ์ผ๋ฐํ๋ฅผ ์ฌ์ง ์๋๋ค. ๊ณต๊ฐ ์ฝ๋์์๋ ๋ชจ๋ ๊ณผ์ ๊ฐ ๊ณ ์ ๋ ์ด๊ธฐ ์ํ๋ก ๋ฆฌ์ ํ๊ณ , ๋ฌผ์ฒด ๋ชจ์ยทํฌ๊ธฐยท๋ฌผ์ฑ ๋ณํ๋ ์๋ค(๊ฒฐ๋ก ๋ ๋ชจ์ ์กฐ์ ์ด GUI์์๋ง ๊ฐ๋ฅํ๋ค๊ณ ์ธ์ ํ๋ค). IL์ ์์ง ํ๊ฒฝ๊ณผ โidenticalโํ ํ๊ฒฝ์์ ํ๊ฐํ๋ค. ๋ฒค์น๋งํฌ๊ฐ ์๊ณ ๋ฆฌ์ฆ์ ๋น๊ตํ๋ ๋๊ตฌ๊ฐ ๋๋ ค๋ฉด ์ด๊ธฐ ์ํ ๋ถํฌ์ held-out ๋ณํ(๋ค๋ฅธ ๋ง๋ ๊ธธ์ด, ๋ค๋ฅธ ์ฒ ํฌ๊ธฐ)์ด ํ์ํ๋ค. ๊ณต๊ฐ ์ฝ๋์์๋ ๊ฐ์ ๊ณผ์ ์ ์ฑ๊ณต ๋ฌธํฑ๋ง์ ๋ก๋ด๋ง๋ค ๋ฌ๋ผ(Bend 0.5 m ๋ 0.3 m), Fig. 3์ ๋ก๋ด ๊ฐ ๋น๊ต๊ฐ ๊ฐ์ ๊ธฐ์ค์ธ์ง๋ ํ์ธํ ์ ์๋ค.
- ๊ฒฐ๊ณผ ์์ ์ด ์๊ธฐ ๊ทธ๋ฆผ๊ณผ ์ด๊ธ๋๋ค. โPPO๊ฐ SAC๋ณด๋ค ๋ซ๊ณ ์์ธ๋ Spot Bendโ(์ค์ ๋ก๋ Spot Bend ๋๋ฅ 0%), โ๋ชจ๋ ๊ณผ์ ๋ฅผ ํ ์ ์๋คโ(Spot ์ค์ 2๊ฐ๋ 0%), โ๋ค๋ฆฌํ์ด Drag์์ ํนํ ๋ถ์์ โ(์ค์ ๋ก๋ Spot์ด Drag 100%, Franka 20%), โFranka = fixed-base manipulatorโ(Ridgeback ์์ ์ด๋ํ), โFig. 1์ ๋ค์ฏ ๊ณผ์ โ(8๊ณผ์ ), โ๋ง๋ ๊ทธ๋ฆผ์ ์ค๋ฅธ์ชฝ ์โ(์๋์ชฝ), โSection III-Dโ(III-B), ์ ์๋์ง ์์ โhypermodeโ. ํ๋ํ๋๋ ์์ง๋ง, ๋ฒค์น๋งํฌ ๋ ผ๋ฌธ์์ ๊ฒฐ๊ณผ ์์ ์ ์ ๋ขฐ๋๋ ๊ณง ๋น๊ต ๊ธฐ์ค์ ์ ๋ขฐ๋๋ค.
- โ์ฒซ ๋ฒ์งธโ์ ๊ทผ๊ฑฐ๊ฐ ์ข๋ค. Table I์์ MoDeSuite๋ฅผ TDW TransportยทDEDO์ ๊ตฌ๋ถํ๋ ์ด์ Legged-M ํ๋์ด๊ณ , ORBIT๊ณผ ๊ตฌ๋ถํ๋ Elastic ์ด์ MoDeSuite๊ฐ ์ฐ๋ Isaac Lab FEM ๊ธฐ๋ฅ ๊ทธ ์์ฒด๋ค. ์ฒ ๊ณผ์ 3๊ฐ๋ ๊ฐ์ 1์ ์์ DeMoBot์์ ์๋ค. ๊ธฐ์ฌ๋ โ๋ค๋ฆฌํ๊น์ง ํฌํจํด mobile + deformable ๊ณผ์ ๋ฅผ ํ ์ธํฐํ์ด์ค๋ก ๋ฌถ์ ๊ฒโ์ผ๋ก ๋ณด๋ ๊ฒ์ด ์ ํํ๋ค.
- IL ๋น๊ต๊ฐ ์๋ค. ์์ฐ 30๊ฐ, ํ ๊ฐ์ง ์ธ์ฝ๋(DINOv2), ๋ ๊ฐ์ง ๋ฐฉ๋ฒ์ด๊ณ , ๊ทธ์ค Retrieval์ ์ ์ ์ด์ ์ฐ๊ตฌ์ ๋จ์ํํ์ด๋ค. diffusion policy ๊ฐ์ ํ์ฌ์ ํ์ค IL ๊ธฐ์ค์ ์ด ์๊ณ , BC์ Retrieval์ ์ฐจ์ด(20ํ ์ค 1~4ํ)๋ ์๋ ๋ฐ๋ณต ์์ด ํ๋จํ๊ธฐ ์ด๋ ต๋ค. ๊ณต๊ฐ ์ฝ๋์๋ BCยทRetrieval ๊ตฌํ๊ณผ DINOv2 ์ธ์ฝ๋ฉ ๊ฒฝ๋ก๋ ์์ด์ Table III๋ฅผ ๋ ํฌ๋ง์ผ๋ก ์ฌํํ ์ ์๋ค.
- sim-to-real ๊ฒฐ๋ก ์ด ๊ณผ์ ์ ๋๊ฐํจ๊ณผ ์์ฌ ์๋ค. PlaceยทDrag ์ฑ๊ณต์ ๋ฌผ๋ฆฌ ์ ํฉ์ฑ ๋๋ถ์ผ ์๋, ์ฑ๊ณต ์กฐ๊ฑด์ด ๋ฌผ์ฒด ๊ถค์ ์ค์ฐจ์ ๋๊ฐํ๊ธฐ ๋๋ฌธ์ผ ์๋ ์๋ค(Fig. 5์์ ์ ๊ถค์ ์ด ์ด๊ธ๋๋ ์ฑ๊ณต). ๋ฌผ์ฑ์ ๋ฐ๊พผ ๋์กฐ ์คํ์ด๋ domain randomization ์ ๋ฌด ๋น๊ต๊ฐ ์์ด ๋์ ๊ฐ๋ฅผ ์ ์๋ค. ์ค๊ธฐ ์ ์ด ์ธํฐํ์ด์ค(Spot SDK๋ก ๋ฌด์์ ์ง๋ นํ๋์ง, 10 Hz ๋ฃจํ์์ ํ๋์ ์ด๋ป๊ฒ ์ ์งํ๋์ง)๋ ์์ ๋์ง ์๋๋ค.
- Curtain์ ์๊ฐ gap ์ง๋จ์ด ์ ์ฑ์ ์ด๋ค. t-SNE ๋ถ๋ฆฌ์ โ๊ด์ธก ๊ถค์ ์ด ๋น์ทํ๋คโ๋ ๊ทธ๋ฆผ ๋น๊ต๋ฟ์ด๋ค. ์๊ฐ ๋๋คํ๋ฅผ ํ๋๋ ์ฐ์ง ์์ ์ํ์ ์คํจ์ด๋ฏ๋ก, ์ด ๊ฒฐ๊ณผ๋ก ์ด๋ฏธ์ง ๊ธฐ๋ฐ sim-to-real์ ๋์ด๋๋ฅผ ์ผ๋ฐํํ๊ธฐ๋ ์ด๋ ต๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
MoDeSuite๋ ๋ ๊ณ๋ณด์ ๊ต์ฐจ์ ์ ์๋ค. ํ์ชฝ์ BEHAVIOR-1KยทHabitatยทManiSkill3์ฒ๋ผ ์ฅ๋ฉด๊ณผ ๊ณผ์ ์๋ก ์น๋ถํ๋ mobile manipulation ๋ฒค์น๋งํฌ๋ค. ์ด๋ค์ ์๋ฐฑ~์์ฒ ๊ฐ ๊ณผ์ ๋ฅผ ๊ฐ์ง๋ง deformable ๋ฌผ๋ฆฌ๋ ์ ํ์ ์ด๋ค. ๋ค๋ฅธ ์ชฝ์ SoftGymยทDeformableRavensยทDAXBenchยทPlasticineLab์ฒ๋ผ deformable ๋ฌผ๋ฆฌ๋ฅผ ์ ๊ตํ๊ฒ ๋ค๋ฃจ๋ ๋ฒค์น๋งํฌ๋ค. ์ด๋ค์ ๋๋ถ๋ถ ๊ณ ์ ๋ ํ์ด๋ end-effector๋ง ๋ค๋ฃฌ๋ค. MoDeSuite๋ ๊ณผ์ ์(8๊ฐ)๋ก๋ ์ ์์ ๋นํ ์ ์๊ณ ๋ฌผ๋ฆฌ ๋ค์์ฑ(๋ง๋ยท๋ฒจํธยท์ฒ)์ผ๋ก๋ ํ์๋ณด๋ค ์ข์ง๋ง, โ์ด๋์ด ํ์ํ deformable ๊ณผ์ โ๋ผ๋ ๊ต์งํฉ์ ์ฒ์ ๋ช ์์ ์ผ๋ก ๊ฒจ๋ฅํ๋ค.
๊ฐ์ฅ ๊ฐ๊น์ด ์ ํ ์ฐ๊ตฌ๋ ๊ฐ์ 1์ ์์ DeMoBot(Zhang et al., 2024)์ด๋ค. DeMoBot์ ์ฒ ๊ณผ์ 3๊ฐ๋ฅผ ๋ง๋ค๊ณ ์๊ฐ ๊ธฐ๋ฐ sub-goal retrieval๋ก IL์ ํ๊ณ , MoDeSuite๋ ์ฌ๊ธฐ์ ํ์ฑ ๊ณผ์ ์ ๋ค๋ฆฌํยท๋ฐํดํ ๋ก๋ด ๊ต์ฒด, RL ์ธํฐํ์ด์ค๋ฅผ ๋ํ๋ค. Table III์ Retrieval์ DeMoBot ๋ฐฉ๋ฒ์ ๋จ์ํํ์ด๋ค.
์ค๊ธฐ ์ชฝ์์ ๋ณด๋ฉด, ์ด ๋ธ๋ก๊ทธ์ Continual Mobile Manip ๋ฆฌ๋ทฐ๋ ๊ฐ์ Spot์ผ๋ก ์๋ฎฌ๋ ์ดํฐ ์์ด ์คํ๊ฒฝ์์ RL์ ํ๋ ๋ฐ๋ ๋ฐฉํฅ์ ์ ๊ทผ์ ๋ค๋ฃฌ๋ค. MoDeSuite๋ ์๋ฎฌ๋ ์ด์ ์์ ํ์ตํด zero-shot์ผ๋ก ๋๊ธฐ๋ ์ชฝ์ด๊ณ , ๊ทธ ๋๊ฐ๋ก Curtain ๊ฐ์ ์ด๋ฏธ์ง ๊ธฐ๋ฐ ๊ณผ์ ์์ domain gap์ ๊ทธ๋๋ก ๋ง๋๋ค. ์ฒ ์กฐ์์ ์ค๊ธฐ์์ ์ ๋ฉด์ผ๋ก ๋ค๋ฃจ๋ ์ฌ๋ก๋ก๋ Learning to Fold ๋ฆฌ๋ทฐ๊ฐ ์๋ค. ๊ทธ ๋ ผ๋ฌธ์ ๊ณ ์ ๋ ํ๋ก ์ท์ ์ ์ง๋ง, ์๋ฎฌ๋ ์ด์ ๋ง์ผ๋ก๋ ๋ถ์กฑํด ์ค๊ธฐ ๋ฐ์ดํฐ์ ์ฌ๋ ๊ฐ์ ์ ์๋๋ค. MoDeSuite์ Curtain ๊ฒฐ๊ณผ๊ฐ ๋ณด์ฌ ์ค ์๊ฐ gap ๋ฌธ์ ๋ฅผ ์ค๊ธฐ ๋ฐ์ดํฐ ์ชฝ์์ ์ฐํํ ์ ์ด๋ค.
์์ฝ
MoDeSuite๋ mobile manipulation๊ณผ deformable manipulation์ ๊ต์งํฉ์ Isaac Lab ์์ 8๊ฐ ๊ณผ์ ๋ก ๊ณ ์ ํ task suite๋ค. ํ์ฑ ๋ง๋ยท๋ฒจํธ ๊ณผ์ 5๊ฐ๋ FEM, ์ฒ ๊ณผ์ 3๊ฐ๋ PBD๋ก ์๋ฎฌ๋ ์ด์ ํ๊ณ , ๋ฐํดํ๊ณผ ๋ค๋ฆฌํ ๋ก๋ด, state์ ์ด๋ฏธ์ง ๊ด์ธก, ์ฌ๋ฌ ํ๋ ๊ณต๊ฐ์ ๋ฐ๊ฟ ๋ผ์ธ ์ ์๋ค. ์คํ์ PPO๊ฐ SAC๋ณด๋ค ๋์ฒด๋ก ๋ซ๊ณ , Spot์ด ์ข์ ๋ณต๋ ๊ณผ์ ๋ ๊ฐ๋ฅผ ํ์ง ๋ชปํ๋ฉฐ, state ๊ธฐ๋ฐ PPO ์ ์ฑ ์ ์ค๊ธฐ PlaceยทDrag์์ 10/10์ ์ฑ๊ณตํ์ง๋ง ์ด๋ฏธ์ง ๊ธฐ๋ฐ IL์ ์ค๊ธฐ Curtain์์ 0/10์ด๋ผ๋ ๊ฒ์ ๋ณด์ธ๋ค.
ํ๊ณ๋ ๋ฒค์น๋งํฌ๋ก์์ ์๋ฐํจ ์ชฝ์ ์๋ค. ์ฌํ ์ ๋ณด(ํ์ดํผํ๋ผ๋ฏธํฐ, ๋ณ๋ ฌ ํ๊ฒฝ ์, ๋ฌผ์ฑ์น, ๋ณด์ ๊ฐ์ค์น)๊ฐ ๋ณธ๋ฌธ์ ์๊ณ , ์ฑ๊ณต๋ฅ ์ ์ซ์ ์์ด ๋ง๋๋ก๋ง ์ฃผ๋ฉฐ, ๊ฒฐ๊ณผ ์์ ์ฌ๋ฌ ๊ณณ์ด ์๊ธฐ ๊ทธ๋ฆผ๊ณผ ์ด๊ธ๋๋ค. ๊ณต๊ฐ ์ฝ๋๋ ๊ณ ์ ๋ ์ด๊ธฐ ์ํ, ์ถฉ๋ ๊ฒ์ฌ ์๋ Curtain ์ฑ๊ณต ํ์ , ๋ ผ๋ฌธ๊ณผ ๋ค๋ฅธ ์ ์ด ์ฃผํ์, IL ์ฝ๋ ๋ถ์ฌ๋ฅผ ๋ณด์ฌ ์ค๋ค. ๊ทธ๋์ ์ง๊ธ์ MoDeSuite๋ ์๊ณ ๋ฆฌ์ฆ ์์๋ฅผ ๋งค๊ธฐ๋ ํ์ค ๋ฒค์น๋งํฌ๋ผ๊ธฐ๋ณด๋ค, โ์ด๋ํ๋ฉด์ ๋ณํ์ ์ด์ฉํด์ผ ํ๋ ๊ณผ์ โ๋ฅผ ๋ฐ๋ก ๋๋ ค ๋ณผ ์ ์๋ ์ถ๋ฐ์ ์ผ๋ก ์ฐ๋ ํธ์ด ๋ง๋ค. ์ด๊ธฐ ์ํ ๋๋คํ, ๋ฌผ์ฒด ๋ณํ์ held-out ์ธํธ, ์ซ์๋ก ๋ ๊ฒฐ๊ณผํ๊ฐ ๋ํด์ง๋ฉด ๋ฒค์น๋งํฌ๋ก์์ ๊ฐ์น๊ฐ ํฌ๊ฒ ์ฌ๋ผ๊ฐ ๊ฒ์ด๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v1(2025-07-29, 9์ชฝ)์ HTML๊ณผ PDF๋ก ์ฝ์๋ค. ์ ์ ์ฐ๊ตฌ์ค ํ์ด์ง์ ์ฝ๋ README๋ ์ด ๋ ผ๋ฌธ์ IEEE RA-L 2026์ผ๋ก ํ๊ธฐํ์ง๋ง, ์ ๋ํ ๋ณธ๋ฌธ์ ๋์กฐํ์ง ์์์ผ๋ฏ๋ก ์ ๋ํ์์ ์์นยท์์ ์ด ๋ฐ๋์์ ์ ์๋ค. ๊ทธ๋ฆผ 5์ฅ์ arXiv HTML์ ์๋ณธ ๊ทธ๋ฆผ์ด๋ค. ํ๋ก์ ํธ ํ์ด์ง์ ๋ณธ๋ฌธ๊ณผ ๊ทธ๋ฆผ์ ํจ๊ป ๋ณด์๋ค.
- ๊ณต๊ฐ ๋ฒ์์ ์ฝ๋ ๋์กฐ: ์ฝ๋๋ carolzyy/MoDeSuite ์ปค๋ฐ
470681a๊ธฐ์ค์ผ๋ก ์ฝ์๋ค. โ๊ณต๊ฐ ์ฝ๋์ ๋์กฐโ ์ ์ ๋ด์ฉ์ ๋ชจ๋ ์ ์ ๋์กฐ์ด๋ฉฐ, ์ฝ๋๋ฅผ ์คํํ๊ฑฐ๋ ๋ ผ๋ฌธ ์์น๋ฅผ ์ฌํํ์ง ์์๋ค. ํ์ํ์ผ:๋ผ์ธ์ ์ด ์ปค๋ฐ ๊ธฐ์ค์ด๋ค. - ์์: ๋ณธ๋ฌธ์ ์์ 3๊ฐ๋ ํ๋ก์ ํธ ํ์ด์ง์ GIF๋ฅผ 640 px ํญ mp4๋ก ์ฎ๊ธด ์ฌ๋ณธ์ด๋ค.
- ํ๊ธฐ: Fig. 3์ ์ฑ๊ณต๋ฅ ํ๋ ๋ง๋ ๋์ด์์ ์ฝ์ ๊ทผ์ฌ์น๋ค. โํ์ ๊ณ์ฐยทํ์ฐโ์ ๋ ผ๋ฌธ ํ ๊ฐ์ผ๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(ํ๊ท , 20ํ ๊ธฐ์ค ๋ถ์, ์ฃผํ์ ํ์ฐ ์๊ฐ)์ด๋ค.