๐Pixel2Catch ๋ฆฌ๋ทฐ
Seongyong Kim, Junhyeon Cho, Kang-Won Lee, Soo-Chul Lim
Dongguk University / IEEE Robotics and Automation Letters (RA-L), 2026 (arXiv v1: 2026-02-26)
- ๐ก ๋ ์์ค๋ ๋ฌผ์ฒด๋ฅผ ์ก์ผ๋ ค๋ฉด ๋ณดํต motion capture๋ depth ์นด๋ฉ๋ผ๋ก ๋ฌผ์ฒด์ 3D ์์น๋ฅผ ์ถ์ ํ๋ค. Pixel2Catch๋ 3D ์์น๋ฅผ ๋ฒ๋ฆฌ๊ณ , RGB ์นด๋ฉ๋ผ ํ ๋์ ์์์์ ๋ฌผ์ฒด bounding box์ ์ค์ฌ ์ขํ์ ๊ทธ ๋ณํ๋ยทํฌ๊ธฐ ๋ณํ๋ 6๊ฐ ์ซ์(z_{pixel})๋ง์ผ๋ก ๋ฌผ์ฒด ์ด๋์ ํํํ๋ค. 6-DoF ํ + 13-DoF ์์ด๋ผ๋ high-DoF ์์คํ ์ ํ๊ณผ ์์ ์๋ก ๋ค๋ฅธ agent๋ก ๋๋ heterogeneous MARL(MAPPO)๋ก ํ ๋ฒ์ ํ์ตํ๋ค.
- โ๏ธ Isaac Lab์์ UR5e + Allegro Hand๋ฅผ ์ค๋ฌผ๊ณผ ๊ฐ์ USD๋ก ๋ง๋ค๊ณ , system identification๊ณผ domain randomization์ ๊ฑฐ์ณ 30 Hz ์ ์ฑ ์ ํ์ตํ๋ค. ํ agent๋ ์๋ฐ๋ฅ์ ๋ฌผ์ฒด๋ก ๊ฐ์ ธ๊ฐ๋ ๋ณด์์, ์ agent๋ ์๋ฐ๋ฅ๊ณผ ์๋ 4๊ฐ๋ฅผ ๋ฌผ์ฒด๋ก ๋ชจ์ผ๋ ๋ณด์์ ๋ฐ๊ณ , ์ฑ๊ณตยท๋ํยท์ถฉ๋ ํญ์ ๊ณต์ ํ๋ค. ์ค๋ฌผ์์๋ SAM2๋ก ๋ฌผ์ฒด๋ฅผ ๋ถํ ํด ๊ฐ์ 6๊ฐ ํน์ง์ ๋ง๋ ๋ค.
- ๐ฏ ์๋ฎฌ๋ ์ด์ ์์ tracking rate 89.97%ยทsuccess rate 84.13%(ํ์ต ๋ฌผ์ฒด ๊ธฐ์ค, 3 seed)๋ก single-agent PPO(78.2%ยท63.5%)๋ฅผ ์์๊ณ , ์ฌ๋์ด ๋์ง ๋ฌผ์ฒด 3์ข ์คํ(๋ฌผ์ฒด๋น 30ํ)์์ ์ฑ๊ณต๋ฅ 63/43/43%๋ก ๋น๊ต๊ตฐ ์ค ๊ฐ์ฅ ๋๋ค. ๋ค๋ง arXivํ์๋ 3D ์์น๋ฅผ ์ฐ๋ ๋น๊ต๊ตฐ์ด ์๊ณ , single-agent ๋น๊ต๊ตฐ์ ํ์ต ๊ณก์ ์ด ์์ง ์ค๋ฅด๋ ์ค์ด๋ฉฐ, ์ค๋ฌผ ์ฑ๋ฅ ์ฐจ์ด์ ์๋น ๋ถ๋ถ์ n=30 ํ ๋ฒ์ ํ๊ฐ์ ๊ธฐ๋๊ณ ์๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๋์ง ๋ฌผ์ฒด๋ฅผ ๋ก๋ด์ด ์ก๋ ์ฐ๊ตฌ๋ ๋๋ถ๋ถ ๋ฌผ์ฒด์ 3D ์์น๋ฅผ ๋จผ์ ๊ตฌํ๋ค. ๋ฐ์ฌ ๋ง์ปค๋ฅผ ๋ถ์ธ motion capture๋ฅผ ์ฐ๊ฑฐ๋(Catching Objects in Flight, CushionCatch, IMA-Catcher), RGB-D ์นด๋ฉ๋ผ๋ก ์ ๋ถํ ํ ์์ญ์ depth๋ฅผ ์ฝ๋๋ค(Dynamic Handover, Catch It!). ์ ์๋ค์ ์ฌ๊ธฐ์ ๋ ๊ฐ์ง ๋ฌธ์ ๋ฅผ ๋ณธ๋ค. motion capture๋ ๋ง์ปค์ ์ค์น ๋น์ฉ์ด ๋ค๊ณ , depth ๊ธฐ๋ฐ 3D ์ถ์ ์ ์ค๋ฌผ์์ ์๋ฎฌ๋ ์ด์ ๋งํผ ์ ํํ์ง ์์ sim-to-real gap์ ์์ธ์ด ๋๋ค๋ ๊ฒ์ด๋ค(ยงI, ยงII-A).
Pixel2Catch์ ๋ต์ โ์ฌ๋์ฒ๋ผ ๋ณด๋ผโ์ด๋ค. ์ฌ๋์ ๊ณต์ 3D ์ขํ๋ฅผ ๊ณ์ฐํ์ง ์๊ณ ์์ผ ์์์ ๊ณต์ด ์ด๋๋ก ์์ง์ด๋์ง, ์ผ๋ง๋ ์ปค์ง๋์ง๋ฅผ ๋ณด๊ณ ์์ ๋ป๋๋ค. ๊ทธ๋์ ๊ณ ์ ๋ RGB ์นด๋ฉ๋ผ ํ ๋์ ์์์์ ๋ฌผ์ฒด bounding box๋ฅผ ๋ฝ๊ณ , ๊ทธ ์ค์ฌยทํฌ๊ธฐ์ ์๊ฐ ๋ณํ๋ง ์ ์ฑ ์ ๋ฃ๋๋ค. ๋ค๋ฅธ ํ ์ถ์ ํ์ต ๊ตฌ์กฐ๋ค. ํ(6-DoF)๊ณผ ์(13-DoF)์ ํ ์ ์ฑ ์ผ๋ก ๋ฌถ์ง ์๊ณ , ์ญํ ์ด ๋ค๋ฅธ ๋ agent๋ก ๋๋ MAPPO๋ก ํ ๋จ๊ณ์ ํจ๊ป ํ์ตํ๋ค. ์๊ฐ๋ฝ ๋ฌ๋ฆฐ catching์ ์ ํ ์ฐ๊ตฌ์ธ Catch It!์ด ๋ ๋จ๊ณ RL์ ์ผ๋ ๊ฒ๊ณผ ๋๋น๋๋ ์ ํ์ด๋ค(ยงII-B).
Pixel2Catch ๊ฐ์(Fig. 1). ์ผ์ชฝ์ ํ์ต ์ค์ : ๋จ์ RGB ์นด๋ฉ๋ผ, ํ+๋ค์ง ์, 3D ์์น ์์ด bounding box์ ์ค์ฌ (C_x, C_y)์ ํญยท๋์ด (W, H)๋ก ๋ฌผ์ฒด๋ฅผ ์ธ์ํ๋ค. ์ค๋ฅธ์ชฝ์ ์๋ฎฌ๋ ์ด์ ํ์ต๊ณผ ์ค๋ฌผ ๋ฐฐ์น์ ์๊ฐ ์ ์ฅ๋ฉด.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
๋ฌผ์ฒด ํํ์ 6์ฐจ์ ๋ฒกํฐ ํ๋๋ค(ยงIV-B, ์ (1)).
z_{pixel} = \{c_x,\ c_y,\ \Delta c_x,\ \Delta c_y,\ \Delta w,\ \Delta h\} \in \mathbb{R}^6
c_x, c_y๋ bounding box ์ค์ฌ์ ์์ ์ขํ, \Delta๋ ์ง์ control step ๋๋น ๋ณํ๋์ด๋ค. ์ค์ฌ์ ๋ฌผ์ฒด์ ์ข์ฐยท์ํ ์์น๋ฅผ, ํญยท๋์ด์ ๋ณํ๋ ์นด๋ฉ๋ผ์์ ๊ฑฐ๋ฆฌ ๋ณํ๋ฅผ ๊ฐ์ ์ ์ผ๋ก ๋ด๋๋ค. ํ์ต ๋๋ box ๊ผญ์ง์ ์ ์ต๋ 5 px์ ๋ฌด์์ ์ญ๋์ ๋ฃ์ด ์ค๋ฌผ ๋ถํ ์ ํ๋ค๋ฆผ์ ๋๋นํ๋ค.
ํ์ต์ Multi-Agent MDP๋ค. ํ ์ ์ฑ \pi_{arm}๊ณผ ์ ์ ์ฑ \pi_{hand}๋ ๊ฐ์์ ๊ด์ธก s_t^i๋ฅผ ๋ฐ์ ๊ฐ์์ ๋ณด์ r^i์ ํ ์ธ ํฉ์ ์ต๋ํํ๋ค. ๋ณด์์ ๋ ๋ค โ๋งํฌ์ ๋ฌผ์ฒด ์ฌ์ด ๊ฑฐ๋ฆฌ๊ฐ ์ด๋ฒ step์ ์ผ๋ง๋ ์ค์๋โ๋ฅผ ๊ธฐ๋ณธ์ผ๋ก ํ๋ค.
r_{\text{dist}}^{k} = d(p_{t-1}^{k}, p_{t-1}^{\text{obj}}) - d(p_{t}^{k}, p_{t}^{\text{obj}}),\quad k \in \{\text{palm, thumb, index, middle, ring}\}
ํ์ ์๋ฐ๋ฅ ํญ๋ง, ์์ ์๋ฐ๋ฅ๊ณผ ์๋ 4๊ฐ์ ํ๊ท ์ ๋ฐ๊ณ , ์ฑ๊ณต(+10)ยท๋ํ/์ถฉ๋(โ5)ยทaction ํฌ๊ธฐ ํ๋ํฐ๋ ๊ณต์ ํ๋ค(์ (2), (3)). ํ์ต ์ค์๋ ๋ฌผ์ฒด 3D ์์น๋ฅผ critic๋ง ๋ณด๋ privileged ์ ๋ณด๋ก ์ด๋ค(CTDE).
์ฃผ์ ๊ฒฐ๊ณผ:
- ์๋ฎฌ๋ ์ด์ (Table II, 3 seed ํ๊ท ): ์ ์๋ฒ T.R. 89.97% / S.R. 84.13%(ํ์ต ๋ฌผ์ฒด), 89.28% / 84.83%(์ฒ์ ๋ณด๋ ๋ฌผ์ฒด). single-agent PPO(S-A RL)๋ 78.2% / 63.5%, ์ค์ฌ ์ขํ๋ง ์ฐ๋ Only-Center๋ 87.07% / 81.27%, ํญยท๋์ด๋ง ์ฐ๋ Only-WH๋ 8.03% / 5.53%.
- ์ค๋ฌผ(Table III, ๋ฌผ์ฒด๋น 30ํ): ์ ์๋ฒ S.R. Cube 63% ยท L-block 43% ยท Triangle 43%(ํ๊ท ์ฝ 50%), T.R. 73/73/70%. S-A RL์ S.R. 33/20/20%, Only-Center๋ 13/3/23%, Only-WH๋ 0%.
- ํ ์ฐจ์ด: RA-Lํ์ ๋ฐ์ํ ํ๋ก์ ํธ ํ์ด์ง ํ์๋ arXivํ์ ์๋ 3D Pos ๋น๊ต๊ตฐ๊ณผ ๋ฌผ์ฒด๋น 120ํ(2๋ช ์ thrower ร 2๊ฐ ๋ฐฐ๊ฒฝ) ์ค๋ฌผ ํ๊ฐ๊ฐ ์ถ๊ฐ๋ผ ์๊ณ , ์์น๋ ๋ค๋ฅด๋ค(์๋ ํ ์ฐจ์ด ์ ).
๊ฒฐ๋ก :
์ด ๋ ผ๋ฌธ์ด ๋ณด์ธ ๊ฒ์ โ3D ์์น ์ถ์ ์์ด RGB bounding box 6๊ฐ ์ซ์๋ง์ผ๋ก๋, ํ๊ณผ ์์ ๋๋ ํ์ตํ ์ ์ฑ ์ด ์ฌ๋์ด ๋์ง ๋ฌผ์ฒด๋ฅผ ์ค๋ฌผ์์ ์ ๋ฐ์ฏค ์ก๋๋คโ๋ ๊ฒ์ด๋ค. ํํ์ ๊ทน๋๋ก ๋จ์ํ๊ณ , MARL ๋ถํด๋ single-agent๋ณด๋ค ํ์ต์ด ๋น ๋ฅด๋ค. ๊ทธ๋ฌ๋ arXivํ๋ง ๋ณด๋ฉด โ3D ์์น๋ณด๋ค ๋ซ๋คโ๋ ๋๊ธฐ ์ฃผ์ฅ์ ์ง์ ๋น๊ต๋์ง ์์๊ณ , ํฌ๊ธฐ ๋ณํ ํน์ง์ ๊ธฐ์ฌ๋ ์๋ฎฌ์์ 3%p ๋จ์ง์ด๋ฉฐ ์ค๋ฌผ์์๋ง ํฌ๊ฒ ๋ฒ์ด์ง๋ค. ๊ณต๊ฐ ์ฝ๋๋ฅผ ๋ณด๋ฉด ์๋ฎฌ ํ์ต์ ์ ๋ถํ + ๋ ธ์ด์ฆ + ์ง์ฐ์ผ๋ก ์ค๋ฌผ SAM2 ํ์ดํ๋ผ์ธ์ ํ๋ด ๋ด๋๋ฐ, ๊ทธ ์ง์ฐ ๋ชจ๋ธ์ ๋ ผ๋ฌธ์ ์ ํ ์์ง ์๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
Pixel2Catch๋ catching์ โ3D ๊ถค์ ์ ์์ธกํ๋ ๋ฌธ์ โ์์ โ์์ ์ box๊ฐ ์ด๋๋ก ์์ง์ด๊ณ ์ผ๋ง๋ ์ปค์ง๋์ง์ ๋ฐ์ํ๋ ๋ฌธ์ โ๋ก ๋ฐ๊พผ๋ค. ๋ฌผ์ฒด ์ํ๋ฅผ metric ์ขํ๋ก ๋ณต์ํ์ง ์์ผ๋ depth ํ์ง์ด๋ marker์ ๋ฌถ์ด์ง ์๊ณ , ์๋ฎฌ๊ณผ ์ค๋ฌผ์์ ๊ฐ์ ์ ์๋ก ๊ฐ์ 6๊ฐ ์ซ์๋ฅผ ๋ง๋ค ์ ์๋ค. ๊ทธ ๋๊ฐ๋ก ์ ์ฑ ์ ๊ณ ์ ๋ ์นด๋ฉ๋ผ ํ ๋์ ์์ ์ ๋จ๋จํ ๋ฌถ์ธ๋ค. ํ์ต ๊ตฌ์กฐ์์๋ ํ์ โ๋ฐ๋ ค๋ค ๋๋โ agent, ์์ โ๊ฐ์ธ ์ฅ๋โ agent๋ก ๋๋ ์๋ก ๋ค๋ฅธ ๊ด์ธก๊ณผ ๋ณด์์ ์ฃผ๊ณ MAPPO๋ก ๋์์ ํ์ตํ๋ค. ์ด ๊ธ์ arXiv v1 ์๋ฌธ์ ๋ฐ๋ผ๊ฐ๋ฉด์, ํ๋ก์ ํธ ํ์ด์ง์ ์ค๋ฆฐ RA-Lํ์ ์์น์ ๊ณต๊ฐ๋ ์๋ฎฌ ํ์ต ์ฝ๋๋ก ์๋ฌธ์ ๋น์นธ์ ์ด๋๊น์ง ๋ฉ์ธ ์ ์๋์ง ํจ๊ป ๋ณธ๋ค.
๋ฐฐ๊ฒฝ: ์ 3D ์์น๋ฅผ ๋ฒ๋ฆฌ๋๊ฐ (ยงI, ยงII-A)
๋์ ์กฐ์ ์ฐ๊ตฌ๋ ์ ์ ์ธ ์กฐ์(์ด๋ฏธ ์ฅ ๋ฌผ์ฒด๋ฅผ ๋๋ฆฌ๊ธฐ, ๊ณ ์ ๋ ๋ฌผ์ฒด๋ฅผ ์ง๊ธฐ)์์ ์ถ๋ฐํด ์์ง์ด๋ ๋ฌผ์ฒด๋ก ๋์ด์๋ค. ์ด๊ธฐ์๋ ์ปจ๋ฒ ์ด์ด ์ ๋ฌผ์ฒด๋ ๋ฐ๋ฅ์ ๊ตฌ๋ฅด๋ ๊ณต์ฒ๋ผ 2D ํ๋ฉด์ ๋ฌถ์ธ ์ด๋์ ๋ค๋ค๊ณ , 3D ๊ณต๊ฐ์ ์์ ๋กญ๊ฒ ๋๋ ๋ฌผ์ฒด๋ก ๋์ด์ค๋ฉด์ ๋๋ถ๋ถ 3D ์์น ์ถ์ ์ ๊ธฐ๋๋ค(ยงII-A). ์ ์๋ค์ด ์ ๋ฆฌํ ๋ ํ๋ฆ์ ์ด๋ ๋ค.
| ํ๋ฆ | ๋ํ ์ฐ๊ตฌ(๋ ผ๋ฌธ์ด ์ธ์ฉํ ๊ฒ) | ์ ์๋ค์ด ์ง์ ํ ํ๊ณ |
|---|---|---|
| RGB-D ์นด๋ฉ๋ผ | Dynamic Handover (Huang et al., CoRL 2023), Catch It! (Zhang et al., 2024) | ์ ๋ถํ ์์ญ์ depth๋ก 3D ์ขํ ๊ณ์ฐ. ์ผ์ ์ ๋ขฐ๋์ ์์กดํด ์ค๋ฌผ์์ ์ฑ๋ฅ ์ ํ |
| marker ๊ธฐ๋ฐ motion capture | CushionCatch (Chen et al., 2024), IMA-Catcher (Tassi et al., IJRR 2025), Catching Objects in Flight (Kim et al., 2014) | ์์น๋ ์ ํํ์ง๋ง ๋ฌผ์ฒด์ marker๋ฅผ ๋ถ์ฌ์ผ ํ๊ณ ์ค์น ๋น์ฉ์ด ํฌ๋ค |
์ฌ๊ธฐ์ Pixel2Catch๊ฐ ๋ด์ธ์ฐ๋ ๋๊ธฐ๋ โ์ฌ๋์ ์์ง๊ฐโ์ด๋ค. ์ฌ๋์ ๊ณต์ 3D ์ขํ ๋์ ์์ผ ์ ์์น์ ํฌ๊ธฐ์ ์๋์ ๋ณํ๋ฅผ ๋ณด๊ณ ์ก๋๋ค๋ ๊ฒ์ด๋ค(ยงI). ์ด ์ง๊ด์ ์ค๋๋ ์ง๊ฐ ์ฌ๋ฆฌํ์ ์ฃผ์ ์ด๊ธฐ๋ ํ๋ค. ๋ค๊ฐ์ค๋ ๋ฌผ์ฒด์ ์๊ฐ์ ํฌ๊ธฐ \theta์ ๊ทธ ๋ณํ์จ \dot\theta์ ๋น \tau=\theta/\dot\theta๊ฐ ์ถฉ๋๊น์ง ๋จ์ ์๊ฐ์ ์ค๋ค๋ Lee(1976)์ time-to-contact ์ด๋ก ์ด๋, ์ธ์ผ์๊ฐ ๊ณต์ ์์ ๊ฐ๋ ๋ณํ๋ฅผ ์ผ์ ํ๊ฒ ์ ์งํ๋ฉฐ ๋ฌ๋ฆฐ๋ค๋ Chapman(1968)์ ์ค๋ช ์ด ๊ทธ๋ ๋ค. ๋ ผ๋ฌธ์ ์ด ๋ฌธํ๋ค์ ์ธ์ฉํ์ง ์๊ณ โhuman visual perceptionโ์ด๋ผ๋ ์ผ๋ฐ์ ์์ ์ ๋จธ๋ฌธ๋ค. ์ด ๋งฅ๋ฝ์ ์๋ ์ง๊ด ์ ์์ ์ด ๋ ผ๋ฌธ์ ํน์ง ์ค๊ณ๋ฅผ ํ๊ฐํ๋ ๊ธฐ์ค์ผ๋ก ๋ค์ ์ด๋ค.
ํ์ต ์ชฝ ๋ฐฐ๊ฒฝ์ ยงII-B์ ์๋ค. ๋ฐ๊ตฌ๋๋ ๊ตญ์ ๋ชจ์์ ๋จ์ํ end-effector๋ฅผ ์ฐ๋ catching์ ์ฌ์ค์ ํ์ ์ ๊ทผ ๊ถค์ ๋ฌธ์ ๋ผ ๋จ์ผ ์ ์ฑ ์ผ๋ก ์ถฉ๋ถํ๋ค(Abeyruwan et al., L4DC 2023 ๋ฑ). ๋ค์ง ์์ด ๋ถ์ผ๋ฉด ํ์ ์ ๊ทผ๊ณผ ์์ ํ์ง๊ฐ ํจ๊ป ๋ง์์ผ ํ๊ณ , ์์ ๋๊ฐ 19๊ฐ๋ก ์ปค์ง๋ค. Catch It!์ ์ด๋ฅผ ๋ ๋จ๊ณ RL๋ก ํ์๋๋ฐ, ์ ์๋ค์ ๋จ๊ณ๋ณ ๋ณด์ ์ค๊ณ์ ๋จ๊ณ ๊ฐ ์ ์ฑ ์ด์ ์ด ํ์ต ํ์ดํ๋ผ์ธ์ ๋ณต์กํ๊ฒ ๋ง๋ ๋ค๊ณ ๋ณธ๋ค. ๊ทธ๋์ ํ๊ณผ ์์ ๋ณ๊ฐ agent๋ก ๋๋ MARL์ ํ ๋จ๊ณ ํ์ต์ ๋์์ผ๋ก ์ ์ํ๋ค. ์ ์๋ค์ ์ ๋ฆฌ๋ก๋ ๊ธฐ์กด MARL ๋ก๋ด ์ฐ๊ตฌ๋ ๋๋ก ๊ตฐ์งยท์์จ์ฃผํยท์ํยท๋ค์ ์ฌ์กฑ ๋ก๋ด์ฒ๋ผ ๊ฐ์ ๊ตฌ์กฐ์ ๋ก๋ด ์ฌ๋ฌ ๋๋ฅผ ๋ค๋ค๊ณ , ํ ๋ก๋ด์ ์ด์ง์ ์ธ ๋ถํ์ผ๋ก ์ชผ๊ฐ ๊ฒฝ์ฐ๋ ๋๋ฌผ๋ค๋ ๊ฒ์ด๋ค. ์ด ์ ๋ฆฌ๊ฐ ์ผ๋ง๋ ์ ํํ์ง๋ ๊ด๋ จ ์ฐ๊ตฌ ์ ์์ ๋ฐ๋ก ๋ณธ๋ค.
์์คํ ๊ตฌ์ฑ (ยงIII)
์ค๋ฌผ ํ๋์จ์ด (ยงIII-B)
| ๊ตฌ์ฑ | ์ฌ์(๋ ผ๋ฌธ ๊ธฐ์ฌ) |
|---|---|
| ํ | Universal Robots UR5e(6-DoF), ๋์ด 0.81 m ํ ์ด๋ธ์ ์ค์น. ์ด๊ธฐ ์์ธ๋ ์์ด ๋ฌผ์ฒด ์์ ๊ถค์ ์ ํฅํ๋๋ก ์ค์ |
| ์ | Allegro Hand. ๊ด์ 3๊ฐ๋ฅผ ๊ณ ์ ํด 13๊ฐ ๊ด์ ์ target joint position์ผ๋ก ์ ์ด |
| ์นด๋ฉ๋ผ | Intel RealSense D435 ํ ๋๋ฅผ ํ๊ฒฝ์ ๊ณ ์ . RGB๋ง ์ฌ์ฉ(depth ๋ฏธ์ฌ์ฉ). ๋ก๋ด ๋ค 0.5 m, ์ 2.2 m(Fig. 2) |
| ํต์ ยท์ฃผ๊ธฐ | ROS2, ์ ์ฑ ์ด 30 Hz๋ก ํยท์ ์ปจํธ๋กค๋ฌ์ target joint position ์ ์ก(ยงV-D) |
๋
ผ๋ฌธ์ Allegro์ ์ด๋ ๊ด์ 3๊ฐ๋ฅผ ๊ณ ์ ํ๋์ง ๋ณธ๋ฌธ์์ ๋ฐํ์ง ์๋๋ค. Fig. 2์ ์ ์ฌ์ง์๋ ์๋ฌผ์ ์์ด์ฝ์ด ์์ง๊ฐ ์๋ ์ธ ์๊ฐ๋ฝ์ ๋ฟ๋ฆฌ ์ชฝ์ ๊ทธ๋ ค์ ธ ์๋ค. ๊ณต๊ฐ๋ ๋ก๋ด USD์์๋ joint10, joint20, joint30์ด ๊ณ ์ ๊ด์ (PhysicsFixedJoint)์ด๊ณ , ์ ์ด ๋์ ๋ชฉ๋ก๋ ์์ง 4๊ฐ(joint00~03)์ ์ธ ์๊ฐ๋ฝ์ ๋๋จธ์ง 3๊ฐ์ฉ์ด๋ค. ์ฆ ๊ฒ์งยท์ค์งยท์ฝ์ง์ ์ฒซ ๊ด์ ์ ๊ณ ์ ํ ๊ตฌ์ฑ์ด๋ค.
์๋ฎฌ๋ ์ด์ ๊ณผ ๋ฌผ์ฒดยท๊ถค์ (ยงIII-C)
์๋ฎฌ๋ ์ดํฐ๋ NVIDIA Isaac Lab์ด๊ณ , ๋ก๋ด์ ์ค๋ฌผ๊ณผ ๊ฐ์ USD ๋ชจ๋ธ, ์นด๋ฉ๋ผ๋ D435์ ๊ฐ์ ์์ผ๊ฐ์ pinhole ๋ชจ๋ธ์ด๋ค. ๋งค ์ํผ์๋ ์์์ ๋ฌผ์ฒด์ ์์นยท์์ธยท์ ์๋ยท์ง๋์ ๋ฌด์์๋ก ์ ํ๋ค. ํ์ต ๋ฌผ์ฒด๋ ์๋ก ๋ค๋ฅธ ๋ชจ์ 5์ข ์ด๊ณ ํฌ๊ธฐ๋ฅผ ๋ฐ๊ฟ ๊ฐ๋ฉฐ ์ด๋ค. 120 Hz ๋ฌผ๋ฆฌ์ decimation 4๋ฅผ ๊ฑธ์ด 30 Hz ์ ์ฑ ์ ๋ง๋ ๋ค.
(a) ์๋ฎฌ ํ์ต ๋ฌผ์ฒด(์: ์๋ฟยท์ ์ก๋ฉด์ฒดยท๊ตฌยท์๊ธฐ๋ฅยท์บก์ ๊ฐ 2๊ฐ์ง ํฌ๊ธฐ), ์๋ฎฌ ๊ฒ์ฆ์ฉ ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด 6์ข (๊ฐ์ด๋ฐ), ์ค๋ฌผ ์คํ ๋ฌผ์ฒด(์๋: L-block, ์ผ๊ฐํ, cube). (b) ์๋ฎฌ์์ ์์ฑํ ๋ฌด์์ ๊ถค์ . ์ฐ๋ น์ ์์ด ์ถ๋ฐ์ , ์ง๋ น์ ์ผ๊ฐํ์ด ๋์ฐฉ์ , ํ๋์ ์์ด ๋ก๋ด ์์น(Fig. 3).
Fig. 3์์ ๋ ๊ฐ์ง๊ฐ ๋์ ๋๋ค. ์ฒซ์งธ, ํ์ตยท๊ฒ์ฆ ๋ฌผ์ฒด๋ ๋ชจ๋ ๊ฐ์ฒด์ธ๋ฐ ์ค๋ฌผ ๋ฌผ์ฒด 3์ข ์ ์ฒ์ผ๋ก ์ผ ์ฝฉ์ฃผ๋จธ๋ ๊ฐ์ ๋ถ๋๋ฌ์ด ๋ฌผ์ฒด๋ค. ์ ์๋ค๋ ยงV-D์์ ์ค๋ฌผ ๊ถค์ ์ด โ๋ฌผ์ฒด์ ๋ณํยทํ์ฑยท๊ณต๊ธฐ์ญํโ์ผ๋ก ์๋ฎฌ ๋ถํฌ์ ๋ฌ๋ผ์ง๋ค๊ณ ์ด๋ค. ๋์งธ, Fig. 3(b)์ ๊ถค์ ์ ๋ชจ๋ x โ 2.5~3 m์์ ์ถ๋ฐํด ์ ์ 1.5~1.9 m ๊ทผ์ฒ๋ฅผ ์ง๋ ๋ก๋ด ์์ผ๋ก ๋จ์ด์ง๋ ๋์ ํฌ๋ฌผ์ (lob)์ด๋ค. ๋ ผ๋ฌธ์ ์ถ๋ฐ ์์นยท์๋ยท์ ์ ๋์ด์ ๋ฒ์๋ฅผ ๋ณธ๋ฌธ์ ์ซ์๋ก ์ ์ง ์๋๋ค(์ด ๋ฒ์๋ ๊ณต๊ฐ ์ฝ๋์ ์๋ค. ์๋ ์ฝ๋์ ๋์กฐ ์ ).
๋ฐฉ๋ฒ โ : Multi-Agent MDP ์ ์ํ (ยงIV-A)
catching์ Multi-Agent MDP๋ก ๋๊ณ , ํ ์ ์ฑ \pi_{arm}์ ์์น ์ก๊ธฐ๋ฅผ, ์ ์ ์ฑ \pi_{hand}๋ ํ์ง๋ฅผ ๋งก๋๋ค. ๊ฐ ์ ์ฑ \pi_i\ (i\in\{\text{arm},\text{hand}\})๋ ์๊ธฐ ๊ด์ธก s_t^i๋ก action a_t^i๋ฅผ ๊ณ ๋ฅด๊ณ , ์๊ธฐ ๋ณด์์ ๊ธฐ๋ ํ ์ธํฉ E[\sum_{k=0}^{T}\gamma^k r_k^i]๋ฅผ ์ต๋ํํ๋ค. ๋ฌผ์ฒด๋ฅผ ๋จ์ด๋จ๋ฆฌ๊ฑฐ๋ ์ต๋ step T์ ์ด๋ฅด๋ฉด ์ํผ์๋๊ฐ ๋๋๋ค. ํ์ต ์๊ณ ๋ฆฌ์ฆ์ MAPPO(Yu et al., NeurIPS 2022)๋ค.
์ฌ๊ธฐ์ โmulti-agentโ์ ์๋ฏธ๋ฅผ ์ ํํ ํด ๋ ํ์๊ฐ ์๋ค. ๋ agent๋ ๊ฐ์ ๋ก๋ด์ ์๋ก ๋ค๋ฅธ ๊ด์ ์งํฉ์ ์์ง์ด๊ณ , ๊ฐ์ ๋ฌผ๋ฆฌ ์ํ๋ฅผ ๊ณต์ ํ๋ฉฐ, ๊ฐ์ ์ฑ๊ณตยท์คํจ ์ฌ๊ฑด์์ ๊ฐ์ ๋ณด์์ ๋ฐ๋๋ค. ๊ฒ์ ์ด๋ก ์ ์ธ ์๋ฏธ์ ๋ ๋ฆฝ๋ ์ฃผ์ฒด๋ผ๊ธฐ๋ณด๋ค action ๊ณต๊ฐ๊ณผ ๋ณด์์ ๋ถํดํ ํ๋์ ์ ์ด ๋ฌธ์ ์ ๊ฐ๊น๋ค. ๋ ผ๋ฌธ์ด ๊ธฐ๋๋ ์ด์ ๋ ๊ทธ์ชฝ์ด๋ค. ๊ฐ agent๊ฐ ๋ ์์ธ ํ์ต ์ ํธ๋ฅผ ๋ฐ๋๋ค๋ ๊ฒ(ยงV-C).
๋ฐฉ๋ฒ โก: pixel-level feature (ยงIV-B)
์๋ฎฌ(์ผ์ชฝ)๊ณผ ์ค๋ฌผ(์ค๋ฅธ์ชฝ)์ pixel-level feature ์๊ฐํ. RGB ์์์์ ๋ฌผ์ฒด bounding box๋ฅผ ๋ง๋ค๊ณ ๊ผญ์ง์ ยท์ค์ฌ ์ขํ์ ํญยท๋์ด๋ฅผ ๋ฝ๋๋ค(Fig. 4).
๋ฌผ์ฒด ์์ญ์ bounding box์์ ์ค์ฌ ์ขํ (c_x, c_y)์ ํญยท๋์ด (w, h)๋ฅผ ๋ฝ๋๋ค. ์ค์ฌ์ ๊ฐ๋กยท์ธ๋ก ์ฑ๋ถ์ ๋ฌผ์ฒด์ ์๋์ ์ข์ฐยท์ํ ์์น๋ฅผ, ํญยท๋์ด๋ ํฌ๊ธฐ ๋ณํ๋ฅผ ํตํด ๋ก๋ด๊ณผ ๋ฌผ์ฒด ์ฌ์ด ๊ฑฐ๋ฆฌ ๋ณํ๋ฅผ ๊ฐ์ ์ ์ผ๋ก ๋ฐ์ํ๋ค๋ ๊ฒ์ด ์ ์๋ค์ ์ค๋ช ์ด๋ค. ํ ์์ ์ ๊ฐ์ผ๋ก๋ ์ด๋์ ์ ์ ์์ผ๋ ์ฐ์ ๋ step ์ฌ์ด์ ์ฐจ๋ถ์ ๋ฃ๋๋ค. ๊ทธ๋ ๊ฒ ๋ง๋ ์ต์ข ๋ฒกํฐ๊ฐ Ping์ ์ (1)์ด๋ค.
์ฌ๊ธฐ์ ์๋ฌธ์ ๊ผผ๊ผผํ ์ฝ์ผ๋ฉด ํ ๊ฐ์ง๊ฐ ๊ฑธ๋ฆฐ๋ค. ์ (1)์๋ ํญยท๋์ด์ ์ ๋๊ฐ w, h๊ฐ ์๊ณ ๋ณํ๋ \Delta w, \Delta h๋ง ์๋ค. ๋ฐ๋ฉด ๊ฐ์ ์ ์ ์์ ๊ณผ Fig. 4 ์บก์ ์ โํญยท๋์ด๋ฅผ ๋ฝ์ ๊ทธ ๊ฐ๊ณผ ์ฐจ๋ถ์ ์ ๋ ฅ์ผ๋ก ์ด๋คโ๊ณ ์ฝํ๊ณ , ยงV-A์ Only-WH ๋น๊ต๊ตฐ๋ โw, h๋ง ์ด๋คโ๊ณ ์ ํ ์๋ค. ์ฆ ์ ์๋ฒ์ ๋ฌผ์ฒด์ ํ์ฌ ์๊ฐ์ ํฌ๊ธฐ๋ฅผ ๋ชจ๋ฅด๊ณ ํฌ๊ธฐ์ ๋ณํ๋๋ง ์๋ค. Lee์ \tau=\theta/\dot\theta์ฒ๋ผ ํฌ๊ธฐ์ ๋ณํ์จ์ ๋น๋ก ๊ฑฐ๋ฆฌยท์๊ฐ์ ์ฝ์ผ๋ ค๋ฉด ๋ ๋ค ํ์ํ๋ค. ์ด ์ฐจ์ด๊ฐ ์๋์ธ์ง ์์ ์ ๋ถ์ ํํจ์ธ์ง๋ ์๋ฌธ๋ง์ผ๋ก ํ๋จํ ์ ์๋ค(๊ณต๊ฐ ์ฝ๋๋ ์ (1)๊ณผ ๊ฐ๋ค. ์๋ ์ฝ๋ ์ ).
์ค๋ฌผ ๋ถํ ์ ํ๋ค๋ฆผ์ ๋๋นํด ํ์ต ์ค box ๊ผญ์ง์ ์ ์ต๋ 5 px์ ๋ฌด์์ ์ญ๋์ ์ค๋ค. ์ ์๋ค์ ResNet ๊ฐ์ ์ด๋ฏธ์ง ์ธ์ฝ๋์ ๊ณ ์ฐจ์ latent ๋์ ๊ณผ์ ์ ํ์ํ ์๊ฐ๋์ ์ง์ ์ฐ๋ฉด sim-to-real ํํ ๋ถ์ผ์น๊ฐ ์ค๊ณ ํ์ต ํจ์จ์ด ์ค๋ฅธ๋ค๊ณ ์ฃผ์ฅํ๋ค. ์ค๋ฌผ์์๋ ์ ๊ธฐ๋ฐ ๋ง์คํน์ด ์กฐ๋ช ยท๋ฐฐ๊ฒฝ์ ๋ฏผ๊ฐํ๋ค๋ ์ด์ ๋ก SAM2(Ravi et al., 2024)๋ก ๋ถํ ํ๋ค. ๋ค๋ง SAM2์ ์ถ๋ก ์ง์ฐ, ์คํ GPU, ์ฒซ ํ๋ ์ prompt๋ฅผ ์ด๋ป๊ฒ ์ฃผ๋์ง(ํด๋ฆญ์ธ์ง ์๋ ๊ฒ์ถ์ธ์ง), ๋ฌผ์ฒด๊ฐ ์์ ๊ฐ๋ ค์ง ๋ box๋ฅผ ์ด๋ป๊ฒ ์ฒ๋ฆฌํ๋์ง๋ ๋ ผ๋ฌธ์ ์๋ค.
๋ฐฉ๋ฒ โข: ์ํยทํ๋ ๊ณต๊ฐ (ยงIV-C)
์์คํ ํ์ดํ๋ผ์ธ๊ณผ ์คํ ์ค์ (Fig. 2). ์ํ๋ ํ ์ ์ฉ(dim 18), ๊ณต์ (dim 16), ์ ์ ์ฉ(dim 39), privileged(dim 9)๋ก ๋๋๊ณ ๋ ์ฐ์ step์ ์์ ์ด๋ค. \pi_{arm}์ 6์ฐจ์, \pi_{hand}๋ 13์ฐจ์ action์ ๋ธ๋ค. privileged ์ ๋ณด๋ value network ํ์ต์๋ง ์ด๋ค. ์นด๋ฉ๋ผ๋ ๋ก๋ด ๋ค 0.5 m, ์ 2.2 m.
๋ณธ๋ฌธ(ยงIV-C)๊ณผ Fig. 2๊ฐ ๋งํ๋ ์ํ ๊ตฌ์ฑ์ด ๋ค๋ฅด๋ค. ํ๋ก ๋ง๋๋ฉด ์ด๋ ๋ค.
| ํญ๋ชฉ | ๋ณธ๋ฌธ ยงIV-C | Fig. 2 |
|---|---|---|
| ๊ณต์ ์ํ | z_{pixel}(6), end-effector pose pose_{eef}(7) | p_{eef}, \Delta pos_{eef}, z_{pixel}, ํฉ๊ณ 16 |
| ํ ์ ์ฉ | q_{arm}(6), a_{arm}(6) | q_{arm}, a_{arm}, target joint t_{arm}, ํฉ๊ณ 18 |
| ์ ์ ์ฉ | q_{hand}(13), a_{hand}(13) | q_{hand}, a_{hand}, target joint t_{hand}, ํฉ๊ณ 39 |
| privileged(critic ์ ์ฉ) | ๋ฌผ์ฒด ์์น p_{object}(3) | pos_{obj}, \Delta pos_{obj}, ์-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ d^{obj}_{hand}, ํฉ๊ณ 9 |
| ์๊ฐ ๋ฌธ๋งฅ | 2 step ์ฐ๊ฒฐ | 2 step ์ฐ๊ฒฐ |
๊ตต๊ฒ ํ์ํ ํญ๋ชฉ์ Fig. 2์๋ง ์๋ค. LaTeX ์์ค์๋ \Delta pos_{eef}๋ฅผ ํฌํจํ ์ ์์ ์ด ์ฃผ์์ผ๋ก ๋จ์ ์์ด, ๋ณธ๋ฌธ์ด ๊ฐ์ ๊ณผ์ ์์ ์ค์ด๋ ๊ฒ์ผ๋ก ๋ณด์ธ๋ค. Fig. 2์ ์ฐจ์ ํฉ(ํ 34, ์ 55)์ ๊ณต๊ฐ ์ฝ๋์ ๊ด์ธก ์ฐจ์๊ณผ ์ ํํ ๊ฐ๋ค. ์ฌํํ๋ ค๋ ๋ ์๋ ๋ณธ๋ฌธ์ด ์๋๋ผ Fig. 2๋ฅผ ๊ธฐ์ค์ผ๋ก ์ผ์์ผ ํ๋ค.
action์ ์ด๋ ๋ค. ํ์ a_{arm}์ ํ์ฌ ๊ด์ ์์น์ ๋ํด์ ธ PD ์ ์ด๊ธฐ๋ก ์คํ๋๋ ์ฆ๋ถ์ด๊ณ , ์์ a_{hand}๋ ๊ด์ ํ๊ณ์ ๋ง์ถฐ rescale๋ ์ ๋ target joint position์ด๋ค. ์ฆ๋ถ์ ํฌ๊ธฐ(์ค์ผ์ผ)๋ ๋ณธ๋ฌธ์ ์๋ค.
critic์ ๋ agent์ ๊ด์ธก๊ณผ privileged ์ ๋ณด๋ฅผ 2 step ๋ชจ์ ๋ฐ๋๋ค. ์ ์ฑ ์ ๋ฌผ์ฒด์ 3D ์์น๋ฅผ ๋๊น์ง ๋ณด์ง ์๋๋ค. ์ด asymmetric actor-critic ๊ตฌ์กฐ ์์ฒด๋ sim-to-real RL์์ ํํ ์ค๊ณ๋ค(Arm-assisted Fall Recovery์์๋ ๊ฐ์ ๋ฐฉ์์ ์ผ๋ค).
๋ฐฉ๋ฒ โฃ: ๋ณด์ ์ค๊ณ (ยงIV-D)
\begin{aligned} R_t^{\text{arm}} &= r_{time} + r_{\text{dist}}^{\text{palm}} + \lambda_{succ}\mathbb{1}_{succ} + \lambda_{app}\mathbb{1}_{app} - \lambda_{fail}(\mathbb{1}_{drop}+\mathbb{1}_{coll}) - \lambda_{act}\lVert a_t^{\text{arm}}\rVert^2 \\ R_t^{\text{hand}} &= \tfrac{1}{5}\Big(r_{\text{dist}}^{\text{palm}} + \textstyle\sum_{i\in\mathcal{F}} r_{\text{dist}}^{i}\Big) + \lambda_{succ}\mathbb{1}_{succ} - \lambda_{fail}(\mathbb{1}_{drop}+\mathbb{1}_{coll}) - \lambda_{act}\lVert a_t^{\text{hand}}\rVert^2 \end{aligned}
๊ณ์๋ \lambda_{succ}=10.0, \lambda_{fail}=5.0, \lambda_{app}=0.1, \lambda_{act}=0.01, r_{time}=-0.01์ด๋ค. ํญ๋ณ๋ก ์ ๋ฆฌํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
| ํญ | ํ | ์ | ์๋ฏธ | ํฌ๊ธฐ ๊ฐ๊ฐ(ํ์ ๊ณ์ฐ) |
|---|---|---|---|---|
| r_{time} | โ0.01 | ์์ | ์๊ฐ ํ๋ํฐ | 3์ด ์ํผ์๋(90 step, ์ฝ๋ ๊ธฐ์ค)๋ฉด ์ต๋ โ0.9 |
| r_{\text{dist}} | ์๋ฐ๋ฅ | (์๋ฐ๋ฅ + ์๋ 4)/5 | ๊ฑฐ๋ฆฌ ๊ฐ์๋(m) | ์ํผ์๋ ํฉ์ด โ์ฒ์ ๊ฑฐ๋ฆฌ โ ๋ง์ง๋ง ๊ฑฐ๋ฆฌโ๋ก telescoping, ์ m ์ดํ |
| \mathbb{1}_{app} | +0.1 | ์์ | ์ ๊ทผ ์ํ(๋งค step) | ์ ์ ๋ฌธํฑ์ ๋ณธ๋ฌธ์ ์์ |
| \mathbb{1}_{succ} | +10 | +10 | ์ก๊ธฐ ์ฑ๊ณต | ์ํผ์๋ ๋ณด์์ ์ง๋ฐฐ์ ํญ |
| \mathbb{1}_{drop}+\mathbb{1}_{coll} | โ5 | โ5 | ๋ํยท์ถฉ๋ | ๊ณต์ |
| \lVert a\rVert^2 | โ0.01 | โ0.01 | ๊ธํ ์์ง์ ์ต์ | action ๋ฒ์ [โ1, 1]์ด๋ฉด step๋น ์ต๋ โ0.06(ํ)/โ0.13(์) |
๋ ๊ฐ์ง๋ฅผ ์ง์ด ๋๋ค.
- ๊ฑฐ๋ฆฌ ๋ณด์์ ๋๋ถ๋ถ โ๊ณต์ด ํผ์ ๋ ์์์โ ์๊ธด๋ค. r_{\text{dist}}๋ ๋ฌผ์ฒด ์์น๋ ์์ ๋ณ๋ก ๋ฐ๋๋ ์ฐจ๋ถ์ด๋ผ, ํ์ด ๊ฐ๋งํ ์์ด๋ ๋ฌผ์ฒด๊ฐ ์ ์ชฝ์ผ๋ก ๋ ์์ค๋ฉด ์์๊ฐ ์์ธ๋ค. ์ํผ์๋ ํฉ์ ์ฒ์๊ณผ ๋ง์ง๋ง ๊ฑฐ๋ฆฌ์ ์ฐจ๋ก ์ ๋ฆฌ๋๋ฏ๋ก ๊ฒฝ๋ก์ ๋ ๋ฏผ๊ฐํ๋ค. ๊ฒฐ๊ตญ ์ ์ฑ ์ ์ค์ง์ ์ผ๋ก ๊ฐ๋ฅด๋ ์ ํธ๋ ๋ง์ง๋ง ์๊ฐ์ ์ ๊ทผ ๋ณด์๊ณผ +10์ ์ฑ๊ณต ๋ณด์์ด๋ค(ํ์์ ํด์).
- ์ฑ๊ณตยท์ ๊ทผยท์ถฉ๋์ ํ์ ๊ธฐ์ค์ด ๋ณธ๋ฌธ์ ์๋ค. โsuccessful catchโ, โapproachโ, โcollisionโ์ด binary indicator๋ผ๋ ๋ง๋ฟ์ด๊ณ , ๋ช cm ์์ ๋ช step ๋จธ๋ฌผ๋ฌ์ผ ์ฑ๊ณต์ธ์ง, ์ ๊ทผ ๋ฌธํฑ์ด ๋ฌด์์ธ์ง, ๋ฌด์๊ณผ์ ์ถฉ๋์ธ์ง๊ฐ ๋น ์ก๋ค. ์ด ์ ์๊ฐ ๊ณง Table II์ S.R.๊ณผ T.R.์ ์ ์๋ผ๋ ์ ์์ ์ค์ํ ๋๋ฝ์ด๋ค. ๊ณต๊ฐ ์ฝ๋์์ ํ์ธํ ๊ฐ์ ์๋ ์ฝ๋ ์ ์ ์ ๋ฆฌํ๋ค.
์ agent์ ๋ณด์์ ์๋ฐ๋ฅ ํญ์ด ๋ค์ด ์๋ ๊ฒ๋ ํฅ๋ฏธ๋กญ๋ค. ์์ ์๋ฐ๋ฅ ์์น๋ฅผ ์ง์ ์์ง์ผ ์ ์์ผ๋, ์ด ํญ์ ํ์ด ์ํ๋ฉด ์๋ ๋ณด์์ ๋ฐ๋ ํ๋ ฅ ์ ํธ๋ค. ๋ฐ๋๋ก ํ ๋ณด์์๋ ์๋ ํญ์ด ์๋ค. ์ญํ ์ ๋๋ด์ง๋ง ๋ณด์์ ์ ์ชฝ์ผ๋ก๋ง ๋น๋์นญํ๊ฒ ๊ฒฐํฉ๋ผ ์๋ค.
๋ฐฉ๋ฒ โค: ํ์ต ์ ์ฐจ์ ํ์ดํผํ๋ผ๋ฏธํฐ (ยงIV-E)
skrl ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ MAPPO๋ฅผ ์ฐ๋, ๋ณดํต์ MAPPO๊ฐ agent ๊ฐ policyยทvalue network๋ฅผ ๊ณต์ ํ๋ ๊ฒ๊ณผ ๋ฌ๋ฆฌ ์์ ๋์ ์ญํ ์ด ๋ค๋ฅธ ๋ agent์ ๊ฐ์์ network๋ฅผ ์ค๋ค. CTDE(centralized training, decentralized execution)๋ฅผ ๋ฐ๋ฅธ๋ค.
| ํญ๋ชฉ | ๋ ผ๋ฌธ ๊ธฐ์ฌ ๊ฐ |
|---|---|
| network | policyยทvalue ๋ชจ๋ FC 3์ธต [512, 256, 128], ELU |
| PPO clip \epsilon | 0.2 |
| ํ ์ธ์จ \gamma | 0.99 |
| KL divergence ๋ฌธํฑ | 0.016 |
| ๋ณ๋ ฌ ํ๊ฒฝ | 512๊ฐ, NVIDIA RTX A6000 2์ฅ |
| ํ์ต stepยท์๊ฐ, learning rate, rollout ๊ธธ์ด, mini-batch | ๋ฏธ๊ธฐ์ฌ |
โKL divergence ๋ฌธํฑ 0.016โ์ด PPO์ ์กฐ๊ธฐ ์ข ๋ฃ ๊ธฐ์ค์ธ์ง learning rate ์ค์ผ์ค๋ฌ์ ๊ธฐ์ค์ธ์ง ๋ณธ๋ฌธ๋ง์ผ๋ก๋ ์ ์ ์๋ค. ๊ณต๊ฐ ์ค์ ์์๋ ํ์๋ค(์๋ ์ฝ๋ ์ ).
๋ฐฉ๋ฒ โฅ: system identification๊ณผ domain randomization (ยงIV-F)
ํ์ต ์ ์ ์ค๋ฌผ ๋ก๋ด์ผ๋ก ๋ค์ํ ๊ด์ ๊ณต๊ฐ ๊ถค์ ์ ์คํํด ๊ธฐ๋กํ๊ณ , ์๋ฎฌ์ ๊ด์ ๋์ญํ ํ๋ผ๋ฏธํฐ(actuation gain, damping, friction, armature)๋ฅผ ๊ถค์ ์ถ์ข ์ค์ฐจ๊ฐ ์ต์๊ฐ ๋๋๋ก ์ต์ ํํ๋ค. ์๋ณ ๊ฒฐ๊ณผ์ ์ค์ฐจ๋ ์ต์ ํ ๋ฐฉ๋ฒ์ ๋ณด๊ณ ํ์ง ์๋๋ค. ๊ทธ ์์ ๊ด์ธกยทaction ๋ ธ์ด์ฆ์ Table I์ ๋ฌด์์ํ๋ฅผ ๊ฑด๋ค.
| ๋์ | ํ๋ผ๋ฏธํฐ | ๋ฐฉ์ | ๋ถํฌ | ๋ฒ์ |
|---|---|---|---|---|
| ํ | ๊ด์ stiffness | scaling | uniform | [0.8, 1.2] |
| ํ | ๊ด์ damping | scaling | uniform | [0.8, 1.2] |
| ํ | action ๋ ธ์ด์ฆ | additive | Gaussian | ฮผ=0, ฯ=0.03 |
| ํ | ๊ด์ธก ๋ ธ์ด์ฆ | additive | Gaussian | ฮผ=0, ฯ=0.005 |
| ํ | ์ด๊ธฐ ๊ด์ ์์น | additive | uniform | [โ0.125, 0.125] |
| ์ | ๊ด์ stiffness | scaling | uniform | [0.7, 1.3] |
| ์ | ๊ด์ damping | scaling | uniform | [0.7, 1.3] |
| ์ | action ๋ ธ์ด์ฆ | additive | Gaussian | ฮผ=0, ฯ=0.02 |
| ์ | ๊ด์ธก ๋ ธ์ด์ฆ | additive | Gaussian | ฮผ=0, ฯ=0.005 |
| ๋ฌผ์ฒด | ์ง๋ | scaling | uniform | [0.5, 1.5] |
| ๋ฌผ์ฒด | ๋ฐ๋ฐ๊ณ์(restitution) | set | uniform | [0.0, 0.5] |
Table I์ ์นด๋ฉ๋ผ์ ๊ดํ ํญ๋ชฉ์ด ํ๋๋ ์๋ค๋ ์ ์ ๊ธฐ์ตํด ๋ ๋งํ๋ค. ์ ์ฑ ์ ์ ์ผํ ๋ฌผ์ฒด ์ ๋ณด๊ฐ ๊ณ ์ ์นด๋ฉ๋ผ ์์ ์ขํ์ธ๋ฐ, ์นด๋ฉ๋ผ ์์นยท์์ธยท๋ด๋ถ ํ๋ผ๋ฏธํฐยท๋ ธ์ถ ์ง์ฐ์ ๋ฌด์์ํํ์ง ์์๋ค. ์ค๋ฌผ ์นด๋ฉ๋ผ๋ฅผ ์๋ฎฌ๊ณผ ๊ฐ์ ์๋ฆฌ์ ์ ํํ ๋๋ ๊ฒ์ด ์ด ๋ฐฉ๋ฒ์ ์จ์ ์ ์ ๋ค.
์ง๊ด: box 6๊ฐ ์ซ์๊ฐ ๋ฌด์์ ๋งํด ์ฃผ๊ณ ๋ฌด์์ ๋ชป ํ๋๊ฐ
์ด ์ค๊ณ๊ฐ ํตํ๋ ์ด์ ๋ catching ๋ฌธ์ ์ ๊ธฐํ์ ์๋ค. ์นด๋ฉ๋ผ๋ ๋ก๋ด ๋ค ์์ชฝ์์ thrower ์ชฝ์ ๋ด๋ ค๋ค๋ณธ๋ค(Fig. 6์ mono-cam view). ์ด ์์ ์์ ๋ฌผ์ฒด๊ฐ ๋ก๋ด ์ชฝ์ผ๋ก ๋ ์์ค๋ฉด ์์ ์ box๋ (1) ํฌ๋ฌผ์ ์ ๋ฐ๋ผ ์๋ก ๊ฐ๋ค๊ฐ ์๋๋ก ๋ด๋ ค์ค๊ณ , (2) ์ข์ฐ๋ก ์กฐ๊ธ ํ๋ฅด๋ฉฐ, (3) ๊ฐ๊น์์ง์๋ก ์ปค์ง๋ค. ๋ก๋ด ์๋ ๊ฐ์ ์์์ ๋ค์ด์ค๋ฏ๋ก โbox๊ฐ ํ๋ฉด ์๋์ชฝ, ์์ด ์๋ ์๋ฆฌ๋ก ๋ด๋ ค์จ๋คโ๋ ์ฌ์ค ์์ฒด๊ฐ ์์ ์ด๋์ ๋์ง ์๋ ค ์ค๋ค. 3D ์ขํ๋ฅผ ๋ณต์ํ์ง ์์๋, ์นด๋ฉ๋ผ๊ฐ ๊ณ ์ ๋ผ ์๋ ํ ์์ ์ขํ์ ๋ก๋ด ๊ด์ ๊ณต๊ฐ ์ฌ์ด์ ๋์์ ์ ์ฑ ์ด ํ์ต์ผ๋ก ํก์ํ ์ ์๋ค. ์ผ์ข ์ ๊ณ ์ ์์ image-based visual servoing์ RL๋ก ํ์ตํ ๊ฒ์ด๋ผ๊ณ ๋ณด๋ฉด ์ดํด๊ฐ ์ฝ๋ค(ํ์์ ํด์).
๊ทธ๋ ๊ฒ ๋ณด๋ฉด ๊ฐ ํน์ง์ ์ญํ ๋ ์์ธกํ ์ ์๋ค.
- ์ค์ฌ ์ขํ์ ๊ทธ ๋ณํ๊ฐ ์ฃผ ์ ํธ๋ค. ์์ง ์ฑ๋ถ์ ํฌ๋ฌผ์ ์ ๋์ดยท์์ ์, ์ํ ์ฑ๋ถ์ ์ข์ฐ ๋ฐฉํฅ์ ์ค๋ค. Only-Center๊ฐ ์๋ฎฌ์์ ์ ์๋ฒ๊ณผ 3%p ์ฐจ์ด๋ฐ์ ์ ๋๋ ๊ฒ(Table II)๊ณผ ๋ง์๋จ์ด์ง๋ค.
- ํฌ๊ธฐ ๋ณํ๋ ๊น์ด ๋ฐฉํฅ์ ์ ๋ณด์ง๋ง ์ฝํ๋ค. ๋ฌผ์ฒด๊ฐ ์นด๋ฉ๋ผ์์ ๋ฉ ๋ box๋ ์์ญ px์ ๋ถ๊ณผํ๊ณ step๋น ๋ณํ๋ 1 px ์ํ์ด๋ค. ๊ฒ๋ค๊ฐ ์ ์๋ฒ์ ์ ๋ ํฌ๊ธฐ w,h๋ฅผ ๋ชจ๋ฅด๋ฏ๋ก Lee์ \tau ๊ฐ์ ๋น์จ ์ ํธ๋ฅผ ์ง์ ๋ง๋ค ์ ์๋ค. ๊น์ด ๋ฐฉํฅ ์ ๋ณด๋ ์คํ๋ ค โbox๊ฐ ํ๋ฉด ์ด๋๊น์ง ๋ด๋ ค์๋๊ฐโ๋ผ๋ ์ค์ฌ ์ขํ์ ์์ฌ ๋ค์ด์ฌ ๊ฐ๋ฅ์ฑ์ด ํฌ๋ค.
- Only-WH๊ฐ ์คํจํ๋ ์ด์ ๋ ๋ถ๋ช ํ๋ค. ํญยท๋์ด ์ ๋ณด๋ง์ผ๋ก๋ ์ข์ฐยท์ํ ๋ฐฉํฅ์ ์ ํ ์ ์ ์๋ค. ํฅ๋ฏธ๋กญ๊ฒ๋ Only-WH(T.R. 8.03%)๋ ๋ฌผ์ฒด์ ์ด๊ธฐ 3D ์์น๋ง ๋ฐ๋ w/o-PF(12.13%)๋ณด๋ค๋ ๋ฎ๋ค. ์ด๊ธฐ ์์น๊ฐ ๋ฐฉํฅ์ ์ผ๋ถ ์๋ ค ์ฃผ๊ธฐ ๋๋ฌธ์ผ๋ก ๋ณด์ด์ง๋ง, ๋ ผ๋ฌธ์ ์ด ์ญ์ ์ ์ธ๊ธํ์ง ์๋๋ค.
MARL ๋ถํด์ ์ง๊ด์ ์ ์ฉ ํ ๋น์ด๋ค. ๋จ์ผ ์ ์ฑ ์์๋ ์๊ฐ๋ฝ 19๊ฐ ๊ด์ ์ค 13๊ฐ์ ์์ง์์ด โ์๋ฐ๋ฅ์ด ๋ฌผ์ฒด์ ๋ฟ์๋โ์ ๊ฑฐ์ ๊ธฐ์ฌํ์ง ์๋๋ฐ๋ ๊ฐ์ ๋ณด์์ ๊ณต์ ํ๋ค. ํ๊ณผ ์์ ๋๋๋ฉด ํ์ ์๋ฐ๋ฅ ์ ๊ทผ์, ์์ ์๋ ๋ชจ์ผ๊ธฐ์ ๋ํ gradient๋ฅผ ๋ ์์ธ ํํ๋ก ๋ฐ๋๋ค. Fig. 5์์ S-A RL์ด ๋๋ฆฌ๊ฒ ์ค๋ฅด๋ ๋ชจ์ต์ ์ด ์ค๋ช ๊ณผ ๋ง๋๋ค. ๋ค๋ง ์ด ์ค๋ช ์ โ๋ณด์์ ๋ถ๋ฆฌํ ํจ๊ณผโ์ โnetwork๋ฅผ ๋ถ๋ฆฌํ ํจ๊ณผโ๋ฅผ ๊ตฌ๋ถํ์ง ์๋๋ค. ๊ฐ์ ๋จ์ผ ์ ์ฑ ์ ์ญํ ๋ณ ๋ณด์๋ง ๋๋ ์ค ๋์กฐ๊ตฐ์ด ์์ด์๋ค.
์คํ (ยงV)
ํ๊ฐ ์งํ์ ํ๋กํ ์ฝ (ยงV ์๋)
- Tracking rate(T.R.): ์๋ฐ๋ฅ์ด ๋์ง ๋ฌผ์ฒด์ ์ ์ดํ ์ํ์ ๋น์จ. ํ ์ ์ด ๋ฅ๋ ฅ.
- Success rate(S.R.): ์ ์ด ํ ๋จ์ด๋จ๋ฆฌ์ง ์๊ณ ์์ ์ ์ผ๋ก ์ก์ ์ํ์ ๋น์จ. ์ ์ฒด catching ๋ฅ๋ ฅ.
- ๋ฌผ์ฒด๋ ๋ฌด์์ ์ด๊ธฐ ์์น์์ ๋ฌด์์ ๋ฐฉํฅยท์๋๋ก ๋์ง๋ค. ์๋ฎฌ์ 100๊ฐ ๋ณ๋ ฌ ํ๊ฒฝ ร 10ํ = 1,000ํ๋ฅผ ํ์ต ๋ฌผ์ฒด์ ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด ๊ฐ๊ฐ์ ๋ํด ์คํํ๋ค. ์ค๋ฌผ์ ๋ฌผ์ฒด๋น 30ํ๋ค.
โ์ ์ดโ๊ณผ โ์์ ์ ์ผ๋กโ์ ํ์ ๊ธฐ์ค์ ๋ณธ๋ฌธ์ ์๋ค. ์ค๋ฌผ์์ ์ ์ด์ ๋ฌด์์ผ๋ก ํ์ ํ๋์ง(์์ ํ๋ ์ธ์ง ๋ฑ)๋ ์๋ค.
๋น๊ต๊ตฐ (ยงV-A)
| ์ด๋ฆ | ๋ฌด์์ ๋ฐ๊ฟจ๋ |
|---|---|
| w/o-PF | pixel feature ์์. ๋ฌผ์ฒด์ ์ด๊ธฐ ์์น์ ๋ก๋ด proprioception๋ง ๋ฐ๋๋ค |
| S-A RL | ํ๊ณผ ์์ PPO ๋จ์ผ agent๋ก. ๊ด์ธก๊ณผ ๋ณด์์ ํฉ์ณ ํ์ต |
| Only-Center | ์ค์ฌ ์ขํ (c_x, c_y)๋ง ์ฌ์ฉ |
| Only-WH | ํญยท๋์ด (w, h)๋ง ์ฌ์ฉ |
w/o-PF๊ฐ ๋ฐ๋ โ์ด๊ธฐ ์์นโ๋ 3D ์ขํ๋ก ์ฝํ๋๋ฐ, ๊ทธ๊ฒ์ด ์๋ฎฌ์ ์ ๋ต ์ขํ์ธ์ง, ์ค๋ฌผ์์๋ ๋ฌด์์ผ๋ก ์๋์ง๋ ์ ํ ์์ง ์๋ค(w/o-PF๋ ์ค๋ฌผ ํ์ ์๋ค). S-A RL์ โ๊ด์ธก๊ณผ ๋ณด์์ ํฉ์น๋คโ๊ฐ ๋ณด์์ ๋ํ๋ค๋ ๋ป์ธ์ง, network ํฌ๊ธฐ๊ฐ ๊ฐ์์ง๋ ์๋ค. Only-Center๊ฐ \Delta c_x, \Delta c_y๋ฅผ ํฌํจํ๋์ง, Only-WH๊ฐ ์ ๋๊ฐ w,h๋ฅผ ์ฐ๋์ง ๋ณํ๋ \Delta w,\Delta h๋ฅผ ์ฐ๋์ง๋ ๋ถ๋ถ๋ช ํ๋ค. ์ ์ ์์ ๋ณธ ๊ฒ์ฒ๋ผ ์ ์๋ฒ ์์ฒด๋ ์ ๋ ํฌ๊ธฐ๋ฅผ ์ฐ์ง ์์ผ๋ฏ๋ก, ๋ ๋จ์ผ ๋จ์ ๋น๊ต๊ตฐ์ด ์ ์๋ฒ์ ํน์ง ๋ฒกํฐ๋ฅผ ๊น๋ํ๊ฒ ๋๋ ๊ฒ์ธ์ง ์๋ฌธ๋ง์ผ๋ก๋ ํ์ธํ ์ ์๋ค.
์๋ฎฌ๋ ์ด์ ๊ฒฐ๊ณผ: ํ์ต ๊ณก์ ๊ณผ Table II (ยงV-B, ยงV-C)
ํ์ต ์ค tracking rate์ success rate. 3 seed ํ๊ท , ์์์ ํ์คํธ์ฐจ(Fig. 5).
| ์งํ | ๋ฐฉ๋ฒ | ํ์ต ๋ฌผ์ฒด | ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด |
|---|---|---|---|
| T.R. (%) | w/o-PF | 12.13 ยฑ 1.27 | 12.11 ยฑ 1.9 |
| Only-WH | 8.03 ยฑ 0.6 | 6.11 ยฑ 0.35 | |
| Only-Center | 87.07 ยฑ 1.62 | 87.5 ยฑ 1.53 | |
| S-A RL | 78.2 ยฑ 1.32 | 75.83 ยฑ 2.00 | |
| ์ ์๋ฒ | 89.97 ยฑ 0.21 | 89.28 ยฑ 0.79 | |
| S.R. (%) | w/o-PF | 8.93 ยฑ 1.04 | 7.89 ยฑ 1.46 |
| Only-WH | 5.53 ยฑ 0.51 | 4.00 ยฑ 0.17 | |
| Only-Center | 81.27 ยฑ 0.76 | 80.72 ยฑ 0.38 | |
| S-A RL | 63.5 ยฑ 0.85 | 65.44 ยฑ 2.25 | |
| ์ ์๋ฒ | 84.13 ยฑ 0.50 | 84.83 ยฑ 1.17 |
Table II(์๋ฎฌ, 3 seed ํ๊ท ). ๊ฐ๊ณผ ํ๊ธฐ๋ ์๋ฌธ ๊ทธ๋๋ก๋ค.
์ ์๋ค์ ํด์์ ๋ ์ค์ด๋ค. pixel feature๊ฐ ์์ผ๋ฉด ๊ถค์ ์ด ๋ค์ํด ์ด๊ธฐ ์์น๋ง์ผ๋ก๋ ์ก์ ์ ์๊ณ , ์ค์ฌ ์ขํ์ ํฌ๊ธฐ๋ฅผ ํจ๊ป ์ฐ๋ ์ ์๋ฒ์ด ๋จ์ผ ๋จ์๋ณด๋ค โconsistentlyโ ๋ซ๋ค๋ ๊ฒ. ๊ทธ๋ฆฌ๊ณ MARL์ด S-A RL์ โconsistentlyโ ์ด๊ธด๋ค๋ ๊ฒ์ด๋ค. ํ์ ๊ทธ๋ฆผ์ ํจ๊ป ์ฝ์ผ๋ฉด ๋ช ๊ฐ์ง๊ฐ ๋ ๋ณด์ธ๋ค.
- ์ ์๋ฒ๊ณผ Only-Center์ ์ฐจ์ด๋ ์๋ค. T.R. 2.9%p, S.R. 2.9%p(ํ์ต ๋ฌผ์ฒด). ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด์์๋ T.R. 1.8%p๋ค. seed ๊ฐ ํ์คํธ์ฐจ๋ณด๋ค๋ ํฌ์ง๋ง, ํฌ๊ธฐ ๋ณํ ํน์ง์ ๊ธฐ์ฌ๋ก ์๋ฎฌ์์ ๋ณด์ด๋ ๊ฒ์ ์ด ์ ๋๋ค.
- โ์ฒ์ ๋ณด๋ ๋ฌผ์ฒดโ์์ ์ฑ๋ฅ์ด ๋จ์ด์ง์ง ์๋๋ค. ์ ์๋ฒ์ ์คํ๋ ค S.R.์ด 0.7%p ๋๋ค. ๋ฌผ์ฒด ๋ชจ์์ด box 6๊ฐ ์ซ์๋ก ์์ถ๋๋ฉด์ ๋ชจ์ ์ ๋ณด๊ฐ ์ ์ฑ ์ ๊ฑฐ์ ์ ๋ฌ๋์ง ์๊ธฐ ๋๋ฌธ์ผ๋ก ๋ณด์ธ๋ค. ์ด๋ ๊ฐ์ (๋ชจ์์ ๋๊ฐ)์ด๋ฉด์ ๋์์ ์ด ํ๊ฐ๊ฐ โ๋ชจ์ ์ผ๋ฐํโ๋ฅผ ๊ฑฐ์ ์ํํ์ง ๋ชปํ๋ค๋ ๋ป์ด๊ธฐ๋ ํ๋ค.
- ํ์ต ๊ณก์ ๊ณผ ํ์ ์์ค์ด ๋ค๋ฅด๋ค. Fig. 5์ 100K step ๋ ๊ฐ์ ๊ทธ๋ฆผ์์ ์ฝ์ผ๋ฉด ์ ์๋ฒ T.R. โ 0.81 ยท S.R. โ 0.70, Only-Center โ 0.71 ยท 0.58, S-A RL โ 0.61 ยท 0.40์ด๋ค. ํ๋ณด๋ค ์ ๋ฐ์ ์ผ๋ก 10~20%p ๋ฎ์๋ฐ, ํ์ต ์ค ํ๋ฅ ์ action๊ณผ ๋ ธ์ด์ฆ๊ฐ ์์ธ ๊ฐ์ด๋ผ ๊ทธ๋ด ์ ์๋ค. ๋์ฌ๊ฒจ๋ณผ ๊ฒ์ ์ ์๋ฒ๊ณผ Only-Center์ ๊ฒฉ์ฐจ๊ฐ ๊ณก์ ์์๋ ์ฝ 10~12%p๋ก ํ์ 3%p๋ณด๋ค ํจ์ฌ ํฌ๋ค๋ ์ ์ด๋ค. ํ๊ฐ ์กฐ๊ฑด(๊ฒฐ์ ์ action ์ฌ๋ถ, ๋ ธ์ด์ฆ ์ ๋ฌด)์ด ๋ ผ๋ฌธ์ ์ ํ ์์ง ์์ ์ด๋ ์ชฝ์ด โํฌ๊ธฐ ํน์ง์ ๊ธฐ์ฌโ์ธ์ง ํ๋จํ ์ ์๋ค.
- S-A RL์ ํ์ต์ด ๋๋์ง ์์๋ค. Fig. 5์์ S-A RL์ ๋ ๊ณก์ ์ 100K step์์๋ ๋๋ ทํ๊ฒ ์ค๋ฅด๋ ์ค์ด๊ณ ์์(seed ๊ฐ ํธ์ฐจ)๋ ๊ฐ์ฅ ๋๋ค. ๊ฐ์ step ์์ฐ์์ MARL์ด ๋นจ๋ฆฌ ๋ฐฐ์ด๋ค๋ ๊ฒ์ ๋ณด์์ง๋ง, โ์๋ ดํ single-agent๋ณด๋ค ๋ซ๋คโ๋ ๋ณด์ด์ง ์์๋ค. Table II์ S.R. 63.5%๋ฅผ single-agent์ ์ฑ๋ฅ ์ํ์ผ๋ก ์ฝ์ผ๋ฉด ์ ๋๋ค.
์ค๋ฌผ ๊ฒฐ๊ณผ: Table III, Fig. 6 (ยงV-D)
์ค๋ฌผ ๋ฐฐ์น ์ฅ๋ฉด(Fig. 6). ์ L-block, ์๋ cube. ๊ฐ ์์ ์์ค โmono-cam viewโ๋ ์ค์น๋ ์นด๋ฉ๋ผ ์์์ SAM2 ๋ถํ box๋ฅผ ๊ฒน์น ๊ฒ์ด๊ณ , ์๋ซ์ค์ ์ธก๋ฉด์์ ๋ณธ ์ก๊ธฐ ์ฅ๋ฉด์ด๋ค.
์ ์ฑ ์ ์ถ๊ฐ fine-tuning ์์ด ์๋ฎฌ์์ ๊ทธ๋๋ก ์ฎ๊ฒผ๋ค. ๊ณผ์ ๋ ์ฌ๋์ด ๋์ง ๋ฌผ์ฒด ์ก๊ธฐ๋ค.
| ์งํ | ๋ฐฉ๋ฒ | Cube | L-block | Triangle | ํ๊ท (ํ์ ๊ณ์ฐ) |
|---|---|---|---|---|---|
| T.R. (%) | Only-WH | 0 | 0 | 0 | 0 |
| Only-Center | 57 | 54 | 54 | 55.0 | |
| S-A RL | 50 | 43 | 47 | 46.7 | |
| ์ ์๋ฒ | 73 | 73 | 70 | 72.0 | |
| S.R. (%) | Only-WH | 0 | 0 | 0 | 0 |
| Only-Center | 13 | 3 | 23 | 13.0 | |
| S-A RL | 33 | 20 | 20 | 24.3 | |
| ์ ์๋ฒ | 63 | 43 | 43 | 49.7 |
Table III(์ค๋ฌผ, ๋ฌผ์ฒด๋น 30ํ). ํ๊ท ์ด์ ํ์๊ฐ ์ธ ๋ฌผ์ฒด ๊ฐ์ ๋จ์ ํ๊ท ํ ๊ฒ์ด๋ค.
๋ณธ๋ฌธ์ ์์ฝ ์์น(โT.R. ์ฝ 70%, S.R. ์ฝ 50%โ, โS-A RL S.R. ์ฝ 24%โ)๋ ์ด ํ๊ท ๊ณผ ๋ง๋๋ค. ์ ์๋ค์ ํด์์ ์ด๋ ๋ค.
- Only-WH๋ ์ค์ฌ ์ขํ๊ฐ ์์ด ๋ฐฉํฅ์ ๋ชจ๋ฅด๋ฏ๋ก ํ ๋ฒ๋ ๋ชป ์ก๋๋ค.
- Only-Center๋ ์ฒ์ ์ ์ด์ ์์ฃผ ํ์ง๋ง, ํญยท๋์ด๊ฐ ์์ด ์๋ ๊ฑฐ๋ฆฌยท์ ๊ทผ ์๋๋ฅผ ๋ชฐ๋ผ ์์ด ํ๋ค๋ฆฌ๋ค ๋จ์ด๋จ๋ฆฐ๋ค.
- S-A RL์ ๋ถํฌ ๋ฐ ๊ต๋์ด ๊ณต์ ํํ์ ๋ง๊ฐ๋จ๋ ค ํ๊ณผ ์ ์ ์ด๊ฐ ๋์์ ๋ฌด๋์ง๋ค. MARL์ ๋์ ๋ถ๋ฆฌํด ๋ ๊ฐ๊ฑดํ๋ค.
- ์ ๋ฐ์ ์ธ ์ฑ๋ฅ ์ ํ๋ ์ค๋ฌผ ๊ถค์ ์ด ๋ฌผ์ฒด ๋ณํยทํ์ฑยท๊ณต๊ธฐ์ญํ ๋๋ฌธ์ ์๋ฎฌ ๋ถํฌ๋ฅผ ๋ฒ์ด๋๊ธฐ ๋๋ฌธ์ด๋ค.
์ด ํด์๋ค์ ๋ชจ๋ ์คํ์ผ๋ก ํ์ธ๋์ง ์์ ์ค๋ช ์ด๋ค. ํนํ ์ธ ๋ฒ์งธ(โ๊ณต์ ํํ์ด ๊นจ์ง๋คโ)๋ ์ธก์ ์ด ์๋ ์ถ๋ก ์ด๊ณ , ์์์ ๋ณธ ๊ฒ์ฒ๋ผ S-A RL์ ์๋ฎฌ์์๋ถํฐ ๋ ํ์ต๋ ์ํ์๋ค. ์ค๋ฌผ ๊ฒฉ์ฐจ์ ์ผ๋ถ๋ ๋จ์ํ ํ์ต ๋ถ์กฑ์ผ ์ ์๋ค.
์์น ์์ฒด๋ ๋ช ๊ฐ์ง ์ ๊ฒ์ด ํ์ํ๋ค.
- ๋ถ๋ชจ 30์ผ๋ก ๋๋๋ ค ๋ณด๋ฉด ๋ง์ง ์๋ ์นธ์ด ์๋ค. 73 = 22/30, 70 = 21/30, 63 = 19/30, 43 = 13/30์ฒ๋ผ ๋๋ถ๋ถ์ k/30์ ๋ฐ์ฌ๋ฆผํ ๊ฐ์ด๋ค. ๊ทธ๋ฐ๋ฐ Only-Center T.R.์ 54(L-block, Triangle)๋ k/30์ผ๋ก ๋์ฌ ์ ์๋ค(16/30 = 53.3, 17/30 = 56.7). ์ํ ์๊ฐ 30์ด ์๋์๊ฑฐ๋ ๊ธฐ์ ์ค๋ฅ์ผ ์ ์๋ค. ํ์ธ ๋ถ๊ฐ.
- ๋ฌผ์ฒด๋ณ ์ฐจ์ด๋ ํต๊ณ์ ์ผ๋ก ์ฝํ๋ค. ์ฑ๊ณต ํ์๋ก Fisher exact test๋ฅผ ํด ๋ณด๋ฉด(ํ์ ๊ณ์ฐ), ์ ์๋ฒ ๋ S-A RL์ Cube์์๋ง p = 0.038์ด๊ณ L-blockยทTriangle์ ๊ฐ p = 0.095๋ค. ์ธ ๋ฌผ์ฒด๋ฅผ ํฉ์น๋ฉด 45/90 ๋ 22/90์ผ๋ก p < 0.001์ด๋ค. ์ ์๋ฒ ๋ Only-Center๋ CubeยทL-block์์ p < 0.001, Triangle์์ p = 0.17์ด๋ค. Wilson 95% ๊ตฌ๊ฐ์ผ๋ก ์ ์๋ฒ์ Cube ์ฑ๊ณต๋ฅ ์ 45~78%, L-blockยทTriangle์ 27~61%๋ค. โํฉ์ณ์ ๋ณด๋ฉด ๋ถ๋ช ํ ๋ซ๋ค, ๋ฌผ์ฒด๋ณ๋ก๋ ์ผ๋ถ๋ง ๊ตฌ๋ถ๋๋คโ๊ฐ ์ ํํ ์์ฝ์ด๋ค.
- seed์ thrower๊ฐ ํ๋๋ค. ์ค๋ฌผ์ ์ด๋ seed์ ์ ์ฑ ์ ์ฌ๋ ธ๋์ง, ๋ช ๋ช ์ด ๋์ก๋์ง, ๋์ง ์๋ยท๊ฑฐ๋ฆฌ์ ๋ถํฌ๊ฐ ์ด๋ ๋์ง, ๋ก๋ด์ ์์ ์์ญ ๋ฐ์ผ๋ก ๋์ง ์ํ์ ์ด๋ป๊ฒ ์ ๋์ง๊ฐ ์๋ค. ์์๊ณผ Fig. 6์ ๋ณด๋ฉด ํ ์ฌ๋์ด ๋ก๋ด ์ ๋ฉด ๋ช m ๋จ์ด์ง ๊ณณ์์ ์๋๋ก ๋์ง๋(underhand lob) ํํ๋ค.
- w/o-PF๊ฐ ์ค๋ฌผ ํ์ ์๋ค. ์๋ฎฌ์์ ์ตํ์์์ผ๋ ์๋ตํ์ ์ ์์ผ๋ ์ธ๊ธ์ ์๋ค.
์ค๋ฌผ ์์ฐ ์์์ ํ๋ก์ ํธ ํ์ด์ง์ ๋ฌผ์ฒด๋ณ๋ก ์ฌ๋ผ์ ์๋ค. ์๋ ์์ค์ Fig. 6๊ณผ ๊ฐ์ throwerยท์ฅ๋ฉด์ด๊ณ , ์๋ซ์ค์ ํ๋ก์ ํธ ํ์ด์ง๊ฐ โCross-Scene & Cross-Throwerโ๋ก ๋ฌถ์ ๋ค๋ฅธ throwerยท๋ค๋ฅธ ๋ฐฐ๊ฒฝ ์์ฐ์ด๋ค(๋ฐฐ๊ฒฝ ํฝ์ ์ ์ด๋ก๊ฒ ์ฒ๋ฆฌํด SAM2 box๋ฅผ ์ ๋ณด์ด๊ฒ ํ๋ค๋ ์ค๋ช ์ด ๋ถ์ด ์๋ค). ์์์๋ ์ผ๋ถ ๊ตฌ๊ฐ์ ร0.3 ์ฌ๋ก๋ชจ์ ์ผ๋ก ๋ณด์ฌ ์ค๋ค๋ ํ์๊ฐ ํ๋ฉด์ ์๋ค. ์ด ์์๋ค์ ์ํ ์ยท์ฑ๊ณต ํ์ ์ arXivํ ๋ณธ๋ฌธ์์ ๋ค๋ฃจ์ง ์๋๋ค.
Cube
L-block
Triangle
Cube (๋ค๋ฅธ throwerยท์ฅ๋ฉด)
L-block (๋ค๋ฅธ throwerยท์ฅ๋ฉด)
Triangle (๋ค๋ฅธ throwerยท์ฅ๋ฉด)
ํ ์ฐจ์ด: arXiv v1๊ณผ RA-Lํ(ํ๋ก์ ํธ ํ์ด์ง)
arXiv์๋ v1(2026-02-26) ํ๋๋ง ์๊ณ ๋ถ๋ก์ ์๋ค. ๋ฐ๋ฉด ๋ ผ๋ฌธ์ ์ดํ RA-L์ ๊ฒ์ฌ๋๊ณ (์ฝ๋ README์ ๊ณต์ง๋ 2026-05-25 ์ฑํ), ํ๋ก์ ํธ ํ์ด์ง์ ๊ฒฐ๊ณผ ํ๋ arXiv v1๊ณผ ๋ค๋ฅด๋ค. RA-L ๋ณธ๋ฌธ์ ์ด ๊ธ์์ ๋์กฐํ์ง ๋ชปํ์ผ๋ฏ๋ก, ์๋๋ ํ๋ก์ ํธ ํ์ด์ง๊ฐ ๋ณด์ฌ ์ฃผ๋ ํ๋ฅผ ์ฎ๊ธด ๊ฒ์ด๋ค.
์๋ฎฌ(ํ๋ก์ ํธ ํ์ด์ง, 3 seed ํ๊ท ): arXiv Table II์ ๋ค์ฏ ํ์ ๊ฐ์ด ๊ฐ๊ณ , 3D Pos ํ์ด ์ถ๊ฐ๋๋ค. ํ์ด์ง ์ค๋ช ์ผ๋ก๋ โ์๋ฎฌ์์๋ง ์ป์ ์ ์๋ oracle 3D ์ขํโ๋ฅผ ์ด ๋น๊ต๊ตฐ์ด๋ค.
| ์งํ | ๋ฐฉ๋ฒ | ํ์ต ๋ฌผ์ฒด | ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด |
|---|---|---|---|
| T.R. (%) | 3D Pos | 93.33 ยฑ 0.55 | 91.83 ยฑ 1.16 |
| ์ ์๋ฒ | 89.97 ยฑ 0.21 | 89.28 ยฑ 0.79 | |
| S.R. (%) | 3D Pos | 90.43 ยฑ 1.27 | 89.10 ยฑ 1.39 |
| ์ ์๋ฒ | 84.13 ยฑ 0.50 | 84.83 ยฑ 1.17 |
์๋ฎฌ์์๋ ์ ๋ต 3D ์ขํ๋ฅผ ๋ฐ๋ ์ ์ฑ ์ด S.R. 6.3%p ๋ ๋๋ค. ํ์ด์ง๋ ์ด๋ฅผ โ์ ์๋ฒ์ด ๊ฑฐ์ ๊ฐ์ ์์คโ์ด๋ผ๊ณ ํด์ํ๋ค.
์ค๋ฌผ(ํ๋ก์ ํธ ํ์ด์ง, ์ ์ฑ ๋น 360ํ = ๋ฌผ์ฒด 3 ร thrower 2 ร ๋ฐฐ๊ฒฝ 2 ร 30ํ)
| ์งํ | ๋ฐฉ๋ฒ | Cube | L-block | Triangle |
|---|---|---|---|---|
| T.R. (%) | Only-WH | 0.0 ยฑ 0.0 | 0.0 ยฑ 0.0 | 0.0 ยฑ 0.0 |
| Only-Center | 44.73 ยฑ 7.80 | 44.80 ยฑ 7.87 | 47.47 ยฑ 5.15 | |
| S-A RL | 64.67 ยฑ 9.01 | 57.27 ยฑ 8.76 | 61.40 ยฑ 8.22 | |
| 3D Pos | 70.83 ยฑ 5.69 | 65.83 ยฑ 10.67 | 70.00 ยฑ 6.09 | |
| ์ ์๋ฒ | 77.93 ยฑ 6.56 | 76.60 ยฑ 4.15 | 74.67 ยฑ 7.67 | |
| S.R. (%) | Only-WH | 0.0 ยฑ 0.0 | 0.0 ยฑ 0.0 | 0.0 ยฑ 0.0 |
| Only-Center | 15.27 ยฑ 7.33 | 10.60 ยฑ 8.37 | 17.27 ยฑ 3.52 | |
| S-A RL | 31.27 ยฑ 5.55 | 34.00 ยฑ 8.63 | 30.00 ยฑ 6.67 | |
| 3D Pos | 45.83 ยฑ 5.00 | 44.17 ยฑ 4.19 | 35.83 ยฑ 5.69 | |
| ์ ์๋ฒ | 60.60 ยฑ 4.30 | 51.27 ยฑ 6.60 | 46.60 ยฑ 4.77 |
ํ ์ฌ์ด์ ๋ฌ๋ผ์ง ์ ๊ณผ ์ด ํ์์ ์ฝํ๋ ์ ์ ์ ๋ฆฌํ๋ค.
- 3D ์์น ๋น๊ต๊ตฐ์ด ์๊ฒผ๋ค. arXivํ์ ๋ํ ๊ฐ์ฅ ํฐ ๋นํ(๋๊ธฐ ์ฃผ์ฅ๊ณผ ์ง์ ๋น๊ต๊ฐ ์์)์ ๋ํ ๋ต์ด๋ค. ์ค๋ฌผ์์ ์ ์๋ฒ์ 3D Pos๋ณด๋ค S.R.์ด 7.1~14.8%p ๋๋ค. ๊ทธ๋ฐ๋ฐ ํ์ด์ง๋ ์๋ฎฌ ํ ์๋์์ 3D Pos๋ฅผ โoracle 3D coordinates available only in simulationโ(์๋ฎฌ์์๋ง ์ป์ ์ ์๋ oracle 3D ์ขํ)์ ์ฐ๋ ๋น๊ต๊ตฐ์ด๋ผ๊ณ ์ค๋ช ํ๋ฉด์, ๊ฐ์ ์ด๋ฆ์ ํ์ ์ค๋ฌผ ํ์๋ ์ฃ๋๋ค. ์๋ฎฌ์์๋ง ์ป์ ์ ์๋ค๋ ์ขํ๋ฅผ ์ค๋ฌผ์์ ๋ฌด์์ผ๋ก ๋์ ํ๋์ง(D435 depth์ธ์ง, motion capture์ธ์ง)๋ ํ์ด์ง์ ์๋ค. ์ด ์ ๋ณด๊ฐ ์์ผ๋ฉด โRGB ํน์ง์ด depth ๊ธฐ๋ฐ 3D ์ถ์ ๋ณด๋ค sim-to-real์ ๊ฐํ๋คโ๋ ๊ฒฐ๋ก ์ ๋ฌด๊ฒ๋ฅผ ํ๋จํ ์ ์๋ค.
- thrower์ ๋ฐฐ๊ฒฝ์ด ๊ฐ 2๊ฐ์ง๋ก ๋์๋ค. arXivํ์ โํ ๋ช ์ด ๋์ง 30ํโ๋ผ๋ ์ฝ์ ์ ์ผ๋ถ ๋ณด์ํ๋ค.
- ๊ฐ์ ์ด๋ฆ์ ๋น๊ต๊ตฐ ์์น๊ฐ ํ๋ง๋ค ํฌ๊ฒ ๋ค๋ฅด๋ค. S-A RL์ ์ค๋ฌผ T.R.์ arXiv 43~50%์์ ํ์ด์ง 57~65%๋ก ์ฌ๋๊ณ , Only-Center์ T.R.์ 54~57%์์ 45~47%๋ก ๋ด๋ ค๊ฐ๋ค. ์ ์๋ฒ์ S.R.์ 63/43/43์์ 60.6/51.3/46.6์ผ๋ก ๋ฐ๋์๋ค. ์กฐ๊ฑด์ด ๋์์ผ๋ ๊ฐ์ด ๋ฐ๋๋ ๊ฒ์ ์์ฐ์ค๋ฝ์ง๋ง, ๊ฐ์ ์ ์ฑ ์ ๋ค์ ํ๊ฐํ ๊ฒ์ธ์ง ๋ค์ ํ์ตํ ๊ฒ์ธ์ง๋ ์ ์ ์๋ค.
- ์ง๊ณ ๋ฐฉ์์ด ํ๋ง๋ค ๊ฐ์์ง ํ์ธ๋์ง ์๋๋ค. 3D Pos ํ์ ๊ฐ(70.83, 45.83, 35.83 ๋ฑ)์ ๋ชจ๋ ์ ํํ k/120์ผ๋ก ๋จ์ด์ง๋ค(๋ฌผ์ฒด๋น 120ํ). ๋ค๋ฅธ ํ์ ๊ฐ(์: ์ ์๋ฒ 60.60, Only-Center 44.73)์ k/120๋ก๋, 30ํ์ฉ 4๊ฐ ์กฐ๊ฑด์ ๋ฐฑ๋ถ์จ ํ๊ท ์ผ๋ก๋ ๋์ค์ง ์๋๋ค(ํ์ ๊ฒ์ฐ). ยฑ ๊ฐ์ด ๋ฌด์์ ํ์คํธ์ฐจ์ธ์ง(์กฐ๊ฑด ๊ฐ์ธ์ง seed ๊ฐ์ธ์ง)๋ ํ์ด์ง์ ์๋ค.
๊ณต๊ฐ ์ฝ๋์ ๋์กฐ (์ ์ ํ์ธ)
์ฝ๋๋ ๊ณต๊ฐ๋ผ ์๋ค(seongdrgn/pixel2catch-github, ๊ธฐ์ค ์ปค๋ฐ 32769d9). ์ด ์ ์ ๋ ํฌ ํ์ผ์ ์ฝ์ด ํ์ธํ ์ ์ ๋์กฐ์ด๊ณ , ํ์ต์ ๋๋ ค ์์น๋ฅผ ์ฌํํ ๊ฒ์ด ์๋๋ค. ์๋์ ๊ฐ์ ๋ชจ๋ ๋ ํฌ ๊ธฐ๋ณธ ์ค์ ์ด๋ฉฐ, ๋
ผ๋ฌธ ์์น๋ฅผ ๋ธ ์คํ์์ ๊ฐ์ ๊ฐ์ ์ผ๋์ง๋ ๋ณด์ฅ๋์ง ์๋๋ค.
๊ณต๊ฐ ๋ฒ์
README๊ฐ ๋ฐํ๋ ๋๋ก ๊ณต๊ฐ๋ ๊ฒ์ ์๋ฎฌ ํ์ต ์ฝ๋๋ฟ์ด๋ค. Isaac Lab์ direct task ํ๋(catchpolicy/)์ skrl MAPPO ์ค์ , ๋ก๋ดยทํ
์ด๋ธ USD๊ฐ ๋ค์ด ์๋ค. ํ์ต๊ธฐ๋ Isaac Lab ๋ด์ฅ skrl(skrl==1.4.3)์ MAPPO๋ฅผ ์์ ์์ด ์ด๋ค๊ณ ์ ํ ์๋ค.
| ๊ฒฝ๋ก | ๋ด์ฉ |
|---|---|
catchpolicy/__init__.py |
Gym task pixel2catch ๋ฑ๋ก(DynamicCatchEnv) |
catchpolicy/pixel2catch_cfg.py |
์ฅ๋ฉดยท์นด๋ฉ๋ผยท๋ก๋ด actuatorยท๋ฌผ์ฒดยท๋ฌด์์ํ ์ค์ |
catchpolicy/pixel2catch.py |
ํ๊ฒฝ ๋ก์ง: ๋์ง๊ธฐ, bounding box ํน์ง, ๊ด์ธก, ๋ณด์, ์ข ๋ฃ |
catchpolicy/agents/pixel2catch.yaml |
skrl MAPPO ํ์ดํผํ๋ผ๋ฏธํฐ |
catchpolicy/assets/ |
UR5e + Allegro USDยทmesh, ํ ์ด๋ธ USD |
๊ณต๊ฐ๋์ง ์์ ๊ฒ๋ ๋ถ๋ช
ํ ํด ๋๋ค. ์ค๋ฌผ ๋ฐฐ์น ์ฝ๋(ROS2, SAM2 ๋ถํ , ํน์ง ์ถ์ถ, 30 Hz ์ ์ด ๋ฃจํ), system identification ์ฝ๋์ ๊ถค์ ๋ฐ์ดํฐ, ํ์ต๋ ์ฒดํฌํฌ์ธํธ, ๋
ผ๋ฌธ์ ํ๊ฐ ํ๋กํ ์ฝ(100 env ร 10ํ)์ ๊ตฌํํ ํ๊ฐ ์คํฌ๋ฆฝํธ, ์ฒ์ ๋ณด๋ ๊ฒ์ฆ ๋ฌผ์ฒด 6์ข
(.gitignore๊ฐ assets/valid_objects/๋ฅผ ์ ์ธํ๋ค), ๊ทธ๋ฆฌ๊ณ ๋น๊ต๊ตฐ ๋ค์ฏ ๊ฐ(w/o-PF, S-A RL, Only-Center, Only-WH, 3D Pos)์ ์ค์ ์ด ๋ชจ๋ ์๋ค. ํ์ต ์ค ๋ก๊ทธ๋ก ๋จ๋ โSuccess RateโยทโTrack Rateโ๋ ๋ง์ง๋ง 150๊ฐ ์ข
๋ฃ ์ํผ์๋์ ์ด๋ ํ๊ท ์ด๋ค(pixel2catch.py:180-184, 367-389). Fig. 5 ๊ณก์ ์ด ์ด ๊ฐ์ด๋ผ๋ฉด ํ์ ์์ค์ด ๋ค๋ฅธ ์ด์ ์ ์ผ๋ถ๊ฐ ์ค๋ช
๋๋ค. ๋ ํฌ๋ก ์ฌํํ ์ ์๋ ๊ฒ์ ์ ์๋ฒ์ ์๋ฎฌ ํ์ต๊น์ง๋ค. ๋ ํฌ์๋ ๋ผ์ด์ ์ค ํ์ผ์ด ์๊ณ README์ โ๋ผ์ด์ ์ค๋ฅผ ์ ํด ์ถ๊ฐํ ๊ฒโ์ด๋ผ๋ TODO ์ฃผ์์ด ๋จ์ ์๋ค.
๋ ผ๋ฌธ์ ์๋ ๊ฐ์ด ์ฝ๋์ ์๋ ๊ฒ
| ํญ๋ชฉ | ์ฝ๋ ๊ธฐ๋ณธ๊ฐ | ๋ ผ๋ฌธ |
|---|---|---|
| ์ํผ์๋ ๊ธธ์ด | 3.0 s = 90 control step (pixel2catch_cfg.py:90) |
T ๋ฏธ๊ธฐ์ฌ |
| ๋์ง๊ธฐ ์ถ๋ฐ์ | x 2.4~2.9 m, y ยฑ0.3 m, z 0.75~0.85 m (pixel2catch.py:483-485) |
๋ณธ๋ฌธ ๋ฏธ๊ธฐ์ฌ(LaTeX ์์ค์ ์ฃผ์ ์ฒ๋ฆฌ๋ Table I ํ์๋ y ยฑ0.35) |
| ๋์ฐฉ์ ยท์ก๋ ๋์ด | x 0.65~0.85 m, y ยฑ0.35 m, z 0.9~1.1 m (:488-493) |
๋ฏธ๊ธฐ์ฌ |
| ์ ์ ๋์ด | 1.6~1.9 m (:499-501, ์ฃผ์์ โ1.6~2.0โ) |
๋ฏธ๊ธฐ์ฌ |
| ๋์ง๋ ์์ | ์ํผ์๋ ์์ ํ 5~19 step ์ฌ์ด ๋ฌด์์. ๊ทธ ์ ์๋ ๋ฌผ์ฒด๋ฅผ ๊ณต์ค์ ๋ถ์ก์ ๋๋ค (:221-256, 535-537) |
๋ฏธ๊ธฐ์ฌ |
| ์ฑ๊ณต ํ์ | ์๋ฐ๋ฅ ๋งํฌ ์์ -๋ฌผ์ฒด ์ค์ฌ ๊ฑฐ๋ฆฌ < 0.08 m๊ฐ ์ฐ์ 20 step(์ฝ 0.67 s). ์ ์ดยท์๊ฐ๋ฝ ํ์ง๋ ๊ฒ์ฌํ์ง ์๋๋ค (:283-290) |
โ๋จ์ด๋จ๋ฆฌ์ง ์๊ณ ์์ ์ ์ผ๋กโ๋ฟ |
| ์ข ๋ฃ ์กฐ๊ฑด | ๋ํยท์๊ฐ ์ด๊ณผยท์ฑ๊ณต์์ ์ข
๋ฃ (:307) |
โ๋ํ ๋๋ ์ต๋ stepโ |
| tracking ํ์ | ์๋ฐ๋ฅ-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ < 0.08 m๊ฐ ํ ๋ฒ์ด๋ผ๋ (:286, 292) |
โ์๋ฐ๋ฅ์ด ๋ฌผ์ฒด์ ์ ์ดโ |
| ๋ํ ํ์ | ๋ฌผ์ฒด ๋์ด < 0.45 m ๋๋ x < 0.03 m (:295) |
๋ฏธ๊ธฐ์ฌ |
| ์ถฉ๋ ํ์ | ํ
์ด๋ธ ์ ์ด๋ ฅ ์ํ ์ฑ๋ถ > 1 N๋ง ์ผ๋ค. ์ข
๋ฃํ์ง ์๋๋ค. ๋ก๋ด-๋ฐ๋ฅ ์ถฉ๋ยท์๊ธฐ์ถฉ๋์ ํฌํจํ์ง ์๋๋ค (:778-779) |
๋ฏธ๊ธฐ์ฌ |
| ์ ๊ทผ ์ง์์ \mathbb{1}_{app} | ์๋ฐ๋ฅ-๋ฌผ์ฒด ๊ฑฐ๋ฆฌ < 0.08 m์ธ ๋งค step (:831) |
๋ฏธ๊ธฐ์ฌ |
| ํ action | ์ง์ target์ 0.05\times a (rad) ๋ํจ (:260) |
โํ์ฌ ๊ด์ ์์น์ ๋ํจโ, ์ค์ผ์ผ ๋ฏธ๊ธฐ์ฌ |
| ๋ฌผ์ฒด ๊ธฐ๋ณธ ์ง๋ | 0.03 kg ร [0.5, 1.5] (pixel2catch_cfg.py:434, 68) |
์ค์ผ์ผ๋ง ๊ธฐ์ฌ |
| ํ์ต ๋ฌผ์ฒด | ์๋ฟยท์๊ธฐ๋ฅยท์ ์ก๋ฉด์ฒดยท๊ตฌยท์บก์ ร 2ํฌ๊ธฐ, ๋ชจ๋ ๋
น์ (:325-427) |
Fig. 3๊ณผ ์ผ์น |
| ์นด๋ฉ๋ผ | 640ร480, ๋ด๋ถ ํ๋ผ๋ฏธํฐ f_x=618.163(์ํ ์์ผ๊ฐ ์ฝ 54.7ยฐ), world ์ขํ (โ0.39, 0.01, 2.2) m, ์๋๋ก ์ฝ 29ยฐ (:125-144) |
โ๋ก๋ด ๋ค 0.5 m, ์ 2.2 mโ |
| ๋ณ๋ ฌ ํ๊ฒฝ | cfg ๊ธฐ๋ณธ๊ฐ 256 (pixel2catch_cfg.py:170-171), README ํ์ต ๋ช
๋ น์ --num_envs 512 |
512๊ฐ, A6000 2์ฅ |
| ๋ก๋ด | ์ค๋ ฅ ๋ (pixel2catch_cfg.py:178). ํ์ ๊ด์ ๋ณ๋ก ๋ค๋ฅธ ์๋ณ๊ฐ(์: stiffness 2504, damping 342, friction 0.51, armature 0.16), ์์ 13๊ด์ ๋ชจ๋ stiffness 3.0ยทdamping 0.1 (:216-280) |
sysID ์ํ๋ง ๊ธฐ์ฌ |
| learning rate | 5e-4, KLAdaptiveLR(kl_threshold 0.016, min_lr 1e-5) (agents/pixel2catch.yaml:47-50) |
โKL ๋ฌธํฑ 0.016โ๋ง ๊ธฐ์ฌ |
| rolloutยทepochยทmini-batch | 32 ยท 4 ยท 4, GAE ฮป 0.95, entropy 0, value loss 2.0 (:42-46, 64-65) |
๋ฏธ๊ธฐ์ฌ |
| ํ์ต ๊ธธ์ด | 100,000 timestep (:79) |
Fig. 5 ๊ฐ๋ก์ถ 100K์ ์ผ์น |
์ด ๊ฐ๋ค๋ก ๋ฐ๋ก ๊ณ์ฐํ ์ ์๋ ๊ฒ์ด ์๋ค(ํ์ ๊ณ์ฐ). ์ ๋ฒ์์ ๋์ง๊ธฐ ๋ถํฌ์์ ๋นํ ์๊ฐ์ 0.71~0.94 s, ์ฆ 21~28 control step์ด๊ณ , ์ถ๋ฐ ์๋ ฅ์ 4.4~5.4 m/s๋ค. ์ ์ฑ ์ด ๋ฐ์ํ ์ ์๋ ์๊ฐ์ ๋ฌผ์ฒด๊ฐ ๋ ์์ค๋ 1์ด ๋จ์ง์ด๋ค. ์ฑ๊ณต์ โ8 cm ์์ 0.67์ด ๋จธ๋ฌด๋ฆโ์ผ๋ก ์ ์ํ๋ฏ๋ก, ์๊ฐ๋ฝ์ด ์ค์ ๋ก ๋ฌผ์ฒด๋ฅผ ๊ฐ์๋์ง๋ ํ์ ์ ์ง์ ๋ค์ด๊ฐ์ง ์๋๋ค. ๋ฌผ์ฒด๊ฐ ์๋ฐ๋ฅ์ ์นํ ์์ด๋ ์ฑ๊ณต์ด๋ค. ๋ ผ๋ฌธ์ด ์ agent์ ๊ธฐ์ฌ๋ฅผ ๋งํ ๋ ์ด ์ ์๋ฅผ ํจ๊ป ์ฝ์ด์ผ ํ๋ค.
์นด๋ฉ๋ผ ์์น๋ ์ฝ๋๊ฐ x = โ0.39 m, ๊ทธ๋ฆผ์ด 0.5 m๋ก ๋ค๋ฅด๋ค. ๋์ด 2.2 m๋ ์ฝ๋์์๋ ๋ฐ๋ฅ ๊ธฐ์ค์ด๋ค. ๋ก๋ด base๊ฐ (0, 0, 0.821)์ ์์ผ๋ฏ๋ก ๋ก๋ด ๊ธฐ์ค์ผ๋ก๋ ์ฝ 1.38 m ์๋ค. Fig. 2๋ 2.2 m๋ฅผ ๋ก๋ด ์์ ๊ทธ๋ ค ๋ก๋ด ๊ธฐ์ค์ฒ๋ผ ์ฝํ๋ค. ๊ทธ๋ฆผ ํ๊ธฐ๊ฐ ๋๋ต์น์ผ ์ ์๊ณ , ์ค๋ฌผ ์นด๋ฉ๋ผ๊ฐ ์ ํํ ์ด๋ ์์๋์ง๋ ํ์ธ ๋ถ๊ฐ๋ค.
๋ ผ๋ฌธ ์์ ๊ณผ ์ฝ๋๊ฐ ๋ค๋ฅธ ๊ณณ
- ๊ด์ธก ๊ตฌ์ฑ์ ๋ณธ๋ฌธ์ด ์๋๋ผ Fig. 2์ ์ผ์นํ๋ค. ๋ณธ๋ฌธ๋๋ก ์ธ๋ฉด ํ๋ ์๋น ํ 25์ฐจ์, ์ 39์ฐจ์์ธ๋ฐ, ์ฝ๋๋ ํ์ด ์๋ฐ๋ฅ ์์น(3)ยท์์น ๋ณํ(3)ยท์์ธ ์ฟผํฐ๋์ธ(4)ยท๊ด์ ์์น(6)ยทํ์ฌ target(6)ยท์ง์ action(6)ยทz_{pixel}(6) = 34, ์์ด ๊ฐ์ ๊ตฌ์ฑ์ผ๋ก 55๋ค(
pixel2catch.py:710-758,pixel2catch_cfg.py:94-95). critic ์ํ๋ ํ๋ ์๋น 82์ฐจ์์ผ๋ก ๋ฌผ์ฒด ์์นยท์์น ๋ณํยท์-๋ฌผ์ฒด ์๋ ์์น(3์ฐจ์ ๋ฒกํฐ)๋ฅผ privileged๋ก ๋ฐ๋๋ค(:676-708). ๋ณธ๋ฌธ ยงIV-C์ โpose 7 + ๊ด์ + actionโ๊ณผ โprivileged๋ ๋ฌผ์ฒด ์์น๋ฟโ์ ์ค์ ๋ณด๋ค ์ ๊ฒ ์์ ํ ๊ฒ์ด๋ค.- ๋ค๋ง ๊ทธ์ค ์์น ๋ณํ ๋ ์นธ์ ๊ด์ธก ์์ ์ ํญ์ 0์ผ๋ก ์ฝํ๋ค(์ ์ ํ์ , ์คํ ๋ฏธํ์ธ). ์๋ฐ๋ฅยท๋ฌผ์ฒด ์์น๋ฅผ ๊ฐฑ์ ํ๋
_compute_intermediate_values๋ ์ข ๋ฃ ํ์ (:280)ยท๋ณด์(:319)ยทreset(:438)์์๋ง ๋ถ๋ฆฌ๊ณ ๊ด์ธก ํจ์(:541~)์์๋ ๋ถ๋ฆฌ์ง ์๋๋ค. ๊ทธ๋ฐ๋ฐ ๋ณด์ ํจ์ ๋์์prev_hand_posยทprev_object_pos๋ฅผ ํ์ฌ ๊ฐ์ผ๋ก ๋ฎ์ด์ฐ๊ณ (:360-361), reset ๊ฒฝ๋ก๋ ๊ฐ์ ์ผ์ ํ๋ค(:446-447). ๊ทธ ๋ค ๊ด์ธก์์ ๊ณ์ฐํ๋ \Delta pos_{eef} =hand_pos โ prev_hand_pos์ \Delta pos_{obj} =object_pos โ prev_object_pos(:575-576)๋ ๊ฐ์ ๊ฐ๋ผ๋ฆฌ์ ์ฐจ๋ผ 0์ด ๋๋ค. ๋ฐ๋ฉด z_{pixel}์ ์ฐจ๋ถ์ ์ง์ box๋ฅผ ๊ด์ธก ๋ค์ ๊ฐฑ์ ํ๋ฏ๋ก(:582) ์ ์์ด๋ค. ๋ฐ๋ผ์ ์ค์ ๋ก ์ ๋ณด๊ฐ ๋ค์ด ์๋ ์นธ์ ํ๋ ์๋น ํ 31, ์ 52, critic 76์ด๊ณ , Fig. 2์ โEnd-effector Pos diff.โ์ privileged โObject Pos diff.โ๋ ๊ณต๊ฐ ์ฝ๋์์ ์์ 0์ด๋ค. ๋ ํ๋ ์์ ์์ ๋ฃ์ผ๋ฏ๋ก ์ ์ฑ ์ด ์์น ์ฐจ์ด๋ฅผ ์ค์ค๋ก ๊ณ์ฐํ ์ ์์ด ์น๋ช ์ ๊ฒฐํจ์ ์๋์ง๋ง, ๊ทธ๋ฆผ๊ณผ ์ฝ๋๊ฐ โ๊ฐ์ ์ฐจ์โ์ผ๋ก ์ผ์นํ๋ค๊ณ ํด์ ๊ฐ์ ์ ๋ณด๊ฐ ๋ค์ด๊ฐ๋ค๋ ๋ป์ ์๋๋ค. ์ฝ๋ README๋ privileged ํญ๋ชฉ์ โ์-๋ฌผ์ฒด ๊ฑฐ๋ฆฌโ๋ผ๊ณ ์ ์์ง๋ง ์ค์ ๋ก๋ ์ค์นผ๋ผ ๊ฑฐ๋ฆฌ๊ฐ ์๋๋ผ ์๋ ์์น ๋ฒกํฐ๋ค. ๋ agent๋ network๋ฅผ ๊ณต์ ํ์ง ์๊ณ , ๋ critic์ ๊ฐ์ ์ค์ ์ํ๋ฅผ ๋ฐ๋๋ค(skrl MAPPO์ agent๋ณ model ์์ฑ).
- ๋ค๋ง ๊ทธ์ค ์์น ๋ณํ ๋ ์นธ์ ๊ด์ธก ์์ ์ ํญ์ 0์ผ๋ก ์ฝํ๋ค(์ ์ ํ์ , ์คํ ๋ฏธํ์ธ). ์๋ฐ๋ฅยท๋ฌผ์ฒด ์์น๋ฅผ ๊ฐฑ์ ํ๋
- z_{pixel}์ ์ (1)๊ณผ ๊ฐ๊ณ ์ ๋ ํฌ๊ธฐ๋ ์๋ค.
cur_pf = [c_x/W, c_y/H, ฮc_x, ฮc_y, ฮw, ฮh](:554-564). ์ค์ฌ ์ขํ๋ ์์ ํฌ๊ธฐ๋ก ์ ๊ทํํ์ง๋ง ์ฐจ๋ถ 4๊ฐ๋ ์ ๊ทํํ์ง ์์ px ๋จ์๋ค(skrl์ RunningStandardScaler๊ฐ ์ ๋ ฅ ํ์คํ๋ฅผ ๋งก๋๋ค). ์ง์ box(prev_bbox_info)๋ ์ํผ์๋ reset์์ ์ด๊ธฐํ๋์ง ์์(:582๊ฐ ์ ์ผํ ๊ฐฑ์ ), ์ ์ํผ์๋์ ์ฒซ ์ฐจ๋ถ์ ์ด์ ์ํผ์๋์ ๋ง์ง๋ง box๋ฅผ ๊ธฐ์ค์ผ๋ก ๊ณ์ฐ๋๋ค. ์ ๊ทํํ ์ ๋ ํญยท๋์ด(norm_len_w,norm_len_h)๋ ๊ณ์ฐ๋ง ํ๊ณ ์ด๋์๋ ์ฐ์ง ์๋๋ค(:556-557). ์ค์ ์ ๊ด์ธก ์ฐจ์์ด36-2,57-2,84-2๋ก ์ ํ ์๋ ๊ฒ(pixel2catch_cfg.py:94-96)๋ ์๋ w,h ๋ ์นธ์ด ์๋ค๊ฐ ๋น ์ง ํ์ ์ผ๋ก ๋ณด์ธ๋ค(์ถ์ ).pf_queue_len์ค์ ์ ์ฝ๋ ๊ณณ์ด ์๋ค(pixel2catch_cfg.py:487). ๋ ผ๋ฌธ์ Only-WH๋ (w, h)๋ฅผ ์ด๋ค๊ณ ์ ์๋ผ ์์ผ๋ฏ๋ก, \Delta w,\Delta h๋ง ์ฐ๋ ์ ์๋ฒ๊ณผ๋ ์ ๋ ฅ์ ์ข ๋ฅ(์ ๋๊ฐ ๋ ๋ณํ๋)๋ถํฐ ๋ค๋ฅผ ์ ์๋ค. ๋ ํ์ โํฌ๊ธฐ ํน์ง์ ์ ๋ฌดโ ๋น๊ต๋ก ์ฝ์ ๋ ์ฃผ์๊ฐ ํ์ํ๋ค. - ์๋ฎฌ์ bounding box๋ SAM2๊ฐ ์๋๋ผ ์ ๋ฌธํฑ์ด๋ค. ๋ ๋๋ง๋ RGB์์ ๋
น์ ๋ฒ์ [0,120,0]~[100,244,100] ํฝ์
์ ๋ง์คํฌ๋ก ์ก์ box๋ฅผ ๋ง๋ ๋ค(
:592-674). ํ์ต ๋ฌผ์ฒด๊ฐ ๋ชจ๋ ๋ น์์ธ ์ด์ ๋ค. ์๋ฎฌ ๋ถํ ์ ์ฌ์ค์ ์๋ฒฝํ๊ณ , ์ค๋ฌผ SAM2์์ ์ฐจ์ด๋ ๊ผญ์ง์ ๋ ธ์ด์ฆ์ ์ง์ฐ(5๋ฒ)์ผ๋ก ํ๋ด ๋ธ๋ค. ๋ฐ๋๋ก Fig. 3(a)์ ์ฒ์ ๋ณด๋ ๊ฒ์ฆ ๋ฌผ์ฒด 6์ข ์ ์งํ ์ด๋ก 1์ข ์ ๋นผ๋ฉด ๋ถํยทํ๋ยท๋ณด๋ผยท์ฃผํฉยทํ๋์ผ๋ก ์น ํด์ ธ ์์ด, ๋๋ถ๋ถ ์ด ๋ น์ ๋ฌธํฑ์ผ๋ก๋ box๋ฅผ ์ป์ ์ ์๋ค. ๊ฒ์ฆ ๋ฌผ์ฒด asset ์์ฒด๋.gitignore๊ฐassets/valid_objects/๋ฅผ ์ ์ธํด ๋ ํฌ์ ์๋ค(.gitignore:26). Table II์ โUnseen Objectsโ ํ๊ฐ๋ ๊ณต๊ฐ ์ฝ๋์ ๋ค๋ฅธ ๋ถํ ๊ฒฝ๋ก๋ฅผ ์ผ๋ค๋ ๋ป์ด๊ณ , ๊ทธ ๊ฒฝ๋ก๋ ๊ณต๊ฐ๋์ง ์์๋ค. ๊ณต๊ฐ ์ฝ๋๋ง์ผ๋ก๋ unseen ํ๊ฐ๋ฅผ ๊ตฌ์ฑํ ์ ์๋ค. - ๊ผญ์ง์ ๋
ธ์ด์ฆ๋ ๋งค step ๋
๋ฆฝ์ด๋ค.
torch.randint(-5, 5)๋ก ๋ค ์ขํ์ ๊ฐ๊ฐ โ5~+4 px๋ฅผ ๋ํ๋ค(:628-633). ๋ ผ๋ฌธ์ โ์ต๋ 5 pxโ์ ๋ง๋๋ค. - ๋
ผ๋ฌธ์ ์๋ ๊ด์ธก ์ง์ฐ์ด ์๋ค. pixel feature๋ฅผ 1~2 control step(์ฝ 33~67 ms) ๋ฆ๊ฒ ์ ์ฑ
์ ์ฃผ๋ latency buffer๊ฐ ์๊ณ , ์ง์ฐ step ์๋ฅผ ์ํผ์๋๋ง๋ค ๋ฌด์์๋ก ์ ํ๋ค(
:164-172, 476-478, 566-571). ์ค๋ฌผ SAM2 ํ์ดํ๋ผ์ธ์ ์ง์ฐ์ ํ๋ด ๋ธ ๊ฒ์ผ๋ก ๋ณด์ด๋๋ฐ, sim-to-real์ ํต์ฌ ์ฅ์น์ผ ์ ์๋ ์ด ์ค๊ณ๊ฐ ๋ ผ๋ฌธ์๋ ํ ์ค๋ ์๋ค. - ๋
ผ๋ฌธ์ ์๋ ๋ฌด์์ํ๊ฐ ๋ ์๋ค. ๋ฌผ์ฒด ๋ง์ฐฐ(์ ์ง 0.5~1.0, ๋์ 1.0~1.5๋ก ๋์ ๋ง์ฐฐ์ด ์ ์ง ๋ง์ฐฐ๋ณด๋ค ํฌ๋ค,
pixel2catch_cfg.py:79-80), actionยท๊ด์ธก ๋ ธ์ด์ฆ์ ์ํผ์๋๋ณ bias(:147-165)๊ฐ Table I์ ์๋ค. ์ด๊ธฐ ๊ด์ ์์น ยฑ0.125๋ Table I์ ํ ํ์ผ๋ก๋ง ์ ํ ์์ง๋ง ์ฝ๋๋ ์์ ํฌํจํ ์ ๊ด์ ์ ๊ฑด๋ค(pixel2catch.py:406-411).- action bias๋
operation="add"๋ก ์ค์ ๋ผ ์๋ค(pixel2catch_cfg.py:149, 153). Isaac Lab์NoiseModelWithAdditiveBias๋ reset ๋bias = func(bias)๋ก ๊ฐฑ์ ํ๋ฏ๋ก, โaddโ๋ฉด ์ ํ๋ณธ์ผ๋ก ๋ฐ๊พธ๋ ๋์ ๊ธฐ์กด bias์ ๋ํ๋ค. ๊ทธ๋ฌ๋ฉด ์ํผ์๋๊ฐ ๊ฑฐ๋ญ๋ ์๋ก bias๊ฐ random walkํ๋ค. 100,000 step รท 90 step์ผ๋ก reset์ด ์ต์ 1,111๋ฒ์ด๋ฉด ํ์คํธ์ฐจ๊ฐ ํ 0.33, ์ 0.17 ์ด์๊น์ง ์ปค์ง๋ค(action ๋ฒ์ [โ1, 1] ๋๋น, clamp ์ , ์ ์ ์ ๋). ๊ด์ธก bias๋ โabsโ๋ผ ๋์ ๋์ง ์๋๋ค. ์ด ํด์์ ์ ์๊ฐ ์ด Isaac Lab ํ์ด ํ์ธ ๊ฐ๋ฅํ ํ๋ค๊ณผ ๊ฐ์ reset ๊ตฌํ์ ๊ฐ์ก๋ค๋ ์ ์ ์์ ์๊ณ , ์คํ์ผ๋ก ํ์ธํ ๊ฒ์ ์๋๋ค. ๋ง๋ค๋ฉด ํ์ต ํ๋ฐ์ action์๋ ์๋๋ณด๋ค ํจ์ฌ ํฐ ๊ณ ์ ์คํ์ ์ด ์์์ ์ ์๋ค.
- action bias๋
- ๋ณด์์ ๋
ผ๋ฌธ์ ์๋ ํญ์ด ์๋ค. ์๋ฐ๋ฅ์ด 8 cm ์์ 5 step(์ฝ 0.17 s) ์ด์ ๋จธ๋ฌผ๋ฉด ํ action ํ๋ํฐ๋ฅผ 50๋ฐฐ๋ก ํค์ด๋ค(
pixel2catch.py:851). ์คํจ \lambda_{act}๊ฐ 0.5๊ฐ ๋๋ ์ ์ด๊ณ , ์ก์ ๋ค ํ์ ๋ฉ์ถ๊ฒ ํ๋ ์ฅ์น๋ก ๋ณด์ธ๋ค. ์ (2)์ ๋๋จธ์ง ๊ณ์(โ0.01, +10, +0.1, โ5, โ0.01)์ ์์ (r^{palm}+\sum r^{i})/5๋ ์ฝ๋์ ์ผ์นํ๋ค(:880-899). ๊ณ์ฐ์ ๋์ง๋ง ๋ณด์์ ์ฐ์ด์ง ์๋p_missํญ๋ ์๋ค(:874-878). - โKL divergence threshold 0.016โ์ PPO ์กฐ๊ธฐ ์ข
๋ฃ๊ฐ ์๋๋ผ learning rate ์ค์ผ์ค๋ฌ์ ๋ฌธํฑ์ด๋ค. PPO agent ์์ฒด์
kl_threshold๋ 0์ด๋ค(agents/pixel2catch.yaml:48-50, 66). - ์ข
๋ฃ์ ์ฑ๊ณต ์ ์๊ฐ ๋ณธ๋ฌธ๊ณผ ๋ค๋ฅด๋ค. ๋ณธ๋ฌธ์ ๋ํ๋ ์ต๋ step์์๋ง ๋๋๋ค๊ณ ์ฐ์ง๋ง ์ฝ๋๋ ์ฑ๊ณต(8 cm ์ 20 step)์์๋ ๋๋ธ๋ค(
pixel2catch.py:307). T.R.๋ โ์๋ฐ๋ฅ์ด ๋ฌผ์ฒด์ ์ ์ดโ์ด ์๋๋ผ โ์๋ฐ๋ฅ ์์ ์ด ๋ฌผ์ฒด ์ค์ฌ 8 cm ์์ ํ ๋ฒ์ด๋ผ๋ ๋ค์ด์ดโ์ด๋ค(:286, 292). ์ ์ด ์ผ์๋ ํ ์ด๋ธ์๋ง ์๋ค. ์ค๋ฌผ T.R.์ ๋ฌด์์ผ๋ก ํ์ ํ๋์ง๋ ๋ ผ๋ฌธ์ ์์ผ๋ฏ๋ก, ์๋ฎฌ๊ณผ ์ค๋ฌผ์ T.R.์ด ๊ฐ์ ์ ์์ธ์ง ์ ์ ์๋ค. - S-A RL์ ๋ง๋๋ ๊ฒฝ๋ก๊ฐ ๋ ํฌ์ ์๋ค. ๋ ํฌ๋ MAPPO ์ค์ ๋ง ๋ฑ๋กํ๋ค(
catchpolicy/__init__.py:13-16). Isaac Lab์ ํ์ต ์คํฌ๋ฆฝํธ๋--algorithm PPO๋ก multi-agent ํ๊ฒฝ์ ๋๋ฆฌ๋ฉด ๊ด์ธก์ ์ด์ด ๋ถ์ด๊ณ ๋ณด์์ ํฉ์ฐํ๋ ๋ณํ๊ธฐ๋ฅผ ์ฐ๋๋ฐ, ๊ทธ๋ฌ๋ ค๋ฉด ๋จ์ผ agent์ฉ ์ค์ ๋ฑ๋ก์ด ํ์ํ๋ค. ์ ์๊ฐ ์ด ๊ฒฝ๋ก๋ก S-A RL์ ๋ง๋ค์๋ค๋ฉด โ๊ด์ธก๊ณผ ๋ณด์์ ํฉ์น๋คโ๋ ๋ณธ๋ฌธ ์์ ๊ณผ ๋ง์ง๋ง, ํ์ธํ ์ ์๋ค.
์ฝ๋๋ก ๋ณธ ํฌ๊ธฐ ํน์ง์ ์ ํธ ๋ ์ก์๋น
์ 2ยท4๋ฒ์ ํฉ์น๋ฉด ๋ ผ๋ฌธ Table II์ โํฌ๊ธฐ ํน์ง ๊ธฐ์ฌ๊ฐ ์๋คโ๋ ๊ด์ฐฐ์ ํ๋์ ์ค๋ช ์ด ์๊ธด๋ค(ํ์ ๊ณ์ฐ, ์๋ฆฟ์ ์ถ์ ). ์นด๋ฉ๋ผ์์ ๋ฌผ์ฒด๊น์ง ๊ฑฐ๋ฆฌ๋ ์ถ๋ฐ์ ์์ ์ฝ 3.3 m, ์ก๋ ์ง์ ์์ ์ฝ 1.7 m๋ค. ์ง๋ฆ 6 cm ๋ฌผ์ฒด๋ผ๋ฉด box ํญ์ 618\times0.06/d๋ก ์ถ๋ฐ ๋ ์ฝ 11 px, ์ก์ ๋ ์ฝ 22 px์ด๊ณ , ๋นํ 25 step ๋จ์ง ๋์ 11 px๊ฐ ์ปค์ง๋ step๋น \Delta w๋ ํ๊ท 0.5 px ์ํ์ด๋ค. ๋ฐ๋ฉด ๊ผญ์ง์ ๋ ธ์ด์ฆ๋ ๋ค ์ขํ์ ๋ ๋ฆฝ์ ์ผ๋ก ๋ค์ด๊ฐ๋ฏ๋ก \Delta w์ ๋ ธ์ด์ฆ ํ์คํธ์ฐจ๋ \sqrt{4\times8.25}\approx5.7 px๋ค(์ด์ฐ ๊ท ๋ฑ๋ถํฌ โ5~+4์ ๋ถ์ฐ 8.25). ํ์ต ์ค \Delta w,\Delta h์ ์ ํธ ๋ ์ก์๋น๋ 0.1 ์์ค์ด๋ผ๋ ๋ป์ด๋ค. ๊ฐ์ ๊ณ์ฐ์ผ๋ก \Delta c_y๋ ์ถ๋ฐ ์งํ ์์ง ์๋๊ฐ 4 m/s ์ํ์ด๋ผ ์ ์ ๋ถ๊ทผ์ ๋นผ๋ฉด step๋น ์ญ์ฌ~์์ญ px๊ฐ ์์ง์ฌ ์ก์(ํ์คํธ์ฐจ ์ฝ 2.9 px)์ ํฌ๊ฒ ๋๋๋ค.
๊ทธ๋ ๋ค๋ฉด ์๋ฎฌ์์ ์ ์๋ฒ์ด Only-Center๋ณด๋ค 3%p ๋์ ๊ฒ๋, ์ค๋ฌผ์์ ํฌ๊ฒ ๋์ ๊ฒ๋ โํฌ๊ธฐ ๋ณํ๊ฐ ๊ฑฐ๋ฆฌ๋ฅผ ์๋ ค ์ค๋คโ๋ ์ ์๋ค์ ์ค๋ช ์ผ๋ก๋ ์ ์ค๋ช ๋์ง ์๋๋ค. ๊ฐ๋ฅํ ๋ค๋ฅธ ์ค๋ช ์ ์ด๋ ๋ค. (1) Only-Center๊ฐ ์ค์ฌ ์ฐจ๋ถ๊น์ง ๋บ ๊ฒ์ด๋ผ๋ฉด ์ฐจ์ด์ ์ผ๋ถ๋ ์ฐจ๋ถ ์ ๋ณด์์ ์จ๋ค. (2) ์ค๋ฌผ SAM2 box์ ํ๋ค๋ฆผ์ด ์๋ฎฌ ๋ ธ์ด์ฆ์ ๋ฌ๋ผ ์ ์ฑ ์ ๋ฐ์์ด ๊ฐ๋ฆฐ๋ค. (3) ์ค๋ฌผ ํ๊ฐ๊ฐ ํ์ต run ํ ๊ฐ์ฉ์ด๋ผ run ๊ฐ ํธ์ฐจ๊ฐ ์์๋ค. ๋น๊ต๊ตฐ ์ฝ๋๊ฐ ์์ด์ ์ด๋ ์ชฝ์ธ์ง ๋ ํฌ๋ก๋ ๊ฐ๋ฆด ์ ์๋ค. ์ด ๊ณ์ฐ์ ์๋ฎฌ ํ์ต ์กฐ๊ฑด์ ๋ํ ๊ฒ์ด๊ณ , ์ค๋ฌผ SAM2 box์ ํ๋ค๋ฆผ ํฌ๊ธฐ๋ ๋ ผ๋ฌธ์๋ ์ฝ๋์๋ ์๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ํํ์ด ๊ทน๋๋ก ๋จ์ํ๊ณ , ์๋ฎฌ๊ณผ ์ค๋ฌผ์์ ๊ฐ์ ์ ์๋ฅผ ์ด๋ค. 6๊ฐ ์ซ์๋ ์ด๋ฏธ์ง ์ธ์ฝ๋ ์์ด ๊ณ์ฐ๋๊ณ , sim-to-real์์ ๋ง์ถฐ์ผ ํ ๊ฒ์ด โbox๋ฅผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๊ทธ๋ฆฌ๋๊ฐโ๋ก ์ค์ด๋ ๋ค. ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด์์ ์ฑ๋ฅ์ด ๋จ์ด์ง์ง ์๋ ๊ฒ(Table II)๋ ์ด ์์ถ์ ๊ฒฐ๊ณผ๋ค.
- marker๋ depth๋ ์๋ ์ค๋ฌผ catching์ ๋ค์ง ์์ผ๋ก ๋ณด์๋ค. ์ฌ๋์ด ๋์ง ๋ถ๋๋ฌ์ด ๋ฌผ์ฒด 3์ข ์ fine-tuning ์์ด ์ ๋ฐ ์ ๋ ์ก๋๋ค. ์ ๋ ดํ ์ผ์ ํ ๋๋ก ์ด ์์ค์ ๋ณด์๋ค๋ ์ ์ ์ค์ฉ์ ์๋ฏธ๊ฐ ์๋ค.
- MARL ๋ถํด๊ฐ ํ์ต ์๋์์ ๋ถ๋ช ํ ์ด๋์ ๋ณด์ธ๋ค. Fig. 5์์ ๊ฐ์ step ์์ฐ ๋๋น ์ฐจ์ด๊ฐ ํฌ๊ณ , ์๋ฐ๋ฅยท์๋ ๋ณด์์ agent๋ณ๋ก ๋๋๋ ์ค๊ณ๊ฐ ๊ฐ๋จํ๋ค.
- ์ฝ๋๋ฅผ ๊ณต๊ฐํ๊ณ , ๊ทธ ์ฝ๋๊ฐ ๋ ผ๋ฌธ์ ๋น์นธ์ ์๋น ๋ถ๋ถ ๋ฉ์ด๋ค. ์ฑ๊ณตยท๋ํยท์ถฉ๋ ํ์ , ๋์ง๊ธฐ ๋ถํฌ, ํ์ดํผํ๋ผ๋ฏธํฐ, ์ง์ฐ ๋ชจ๋ธ์ด ๋ชจ๋ ๋ ํฌ์ ์๋ค. ๋จ์ผ task ํ์ผ๋ก ๊ตฌ์ฑ๋ผ ์ฝ๊ธฐ ์ฝ๋ค.
- RA-Lํ์์ ํต์ฌ ๋นํ์ ์ค์ค๋ก ๋ณด์ํ๋ค. ํ๋ก์ ํธ ํ์ด์ง ๊ธฐ์ค์ผ๋ก 3D ์์น ๋น๊ต๊ตฐ๊ณผ throwerยท๋ฐฐ๊ฒฝ 2ร2 ์กฐ๊ฑด์ด ์ถ๊ฐ๋๋ค.
์ฝ์ ยทํ๊ณ
- arXivํ์๋ ๋๊ธฐ ์ฃผ์ฅ์ ๋ํ ์ง์ ๋น๊ต๊ฐ ์๋ค. ๋ ผ๋ฌธ์ ์ถ๋ฐ์ ์ โ3D ์์น ์ถ์ ์ ์ค๋ฌผ์์ ๋ถ์ ํํด sim-to-real gap์ ๋ง๋ ๋คโ์ธ๋ฐ, arXiv v1์ ๋น๊ต๊ตฐ ์ค 3D ์์น๋ฅผ ์ฐ๋ ๊ฒ์ โ์ด๊ธฐ ์์น๋งโ ๋ฐ๋ w/o-PF๋ฟ์ด๊ณ ๊ทธ๋ง์ ์ค๋ฌผ ํ์ ์๋ค. RA-Lํ(ํ๋ก์ ํธ ํ์ด์ง)์ด 3D Pos๋ฅผ ์ถ๊ฐํ์ง๋ง, ์ค๋ฌผ์์ ๊ทธ 3D ์์น๋ฅผ ์ด๋ป๊ฒ ์ป์๋์ง ์ค๋ช ์ด ์์ด โdepth ๊ธฐ๋ฐ 3D ์ถ์ ๋ณด๋ค ๋ซ๋คโ๋ฅผ ํ์ธํ๊ธฐ ์ด๋ ต๋ค. ์๋ฎฌ์์๋ oracle 3D Pos๊ฐ S.R. 6.3%p ๋ ๋๋ค.
- ํฌ๊ธฐ ํน์ง์ ๊ธฐ์ฌ๊ฐ ์๋ฎฌ์์ ์๊ณ , ๊ทธ ์ค๋ช ์ด ๊ฒ์ฆ๋์ง ์์๋ค. Only-Center์์ ์ฐจ์ด๋ Table II์์ 3%p ๋จ์ง์ด๋ค. ์ค๋ฌผ์์ ์ฐจ์ด๊ฐ ์ปค์ง ๊ฒ์ โ๊ฑฐ๋ฆฌยท์ ๊ทผ ์๋๋ฅผ ์ ์ ์์ด์โ๋ก ์ค๋ช ํ์ง๋ง, ์ ์๋ฒ์ ์ ๋ ํฌ๊ธฐ w,h๋ฅผ ์ฐ์ง ์๊ณ , ๊ณต๊ฐ ์ฝ๋์ ํ์ต ์กฐ๊ฑด์์๋ \Delta w,\Delta h์ ์ ํธ ๋ ์ก์๋น๊ฐ 0.1 ์์ค์ผ๋ก ์ถ์ ๋๋ค. ๋น๊ต๊ตฐ์ ์ ํํ ํน์ง ๊ตฌ์ฑ(Only-Center์ ์ค์ฌ ์ฐจ๋ถ์ด ์๋์ง, Only-WH๊ฐ ์ ๋๊ฐ์ธ์ง ์ฐจ๋ถ์ธ์ง)๋ ์์ ์ด ๋ถ๋ถ๋ช ํ๋ค.
- single-agent ๋น๊ต๊ฐ ๊ณต์ ํ ์ํ ๋น๊ต๊ฐ ์๋๋ค. S-A RL์ 100K step์์๋ ํ์ต ๊ณก์ ์ด ์ค๋ฅด๋ ์ค์ด๊ณ (Fig. 5), network ํฌ๊ธฐยท๋ณด์ ๊ฒฐํฉ ๋ฐฉ์์ด ๊ธฐ์ฌ๋์ง ์์๋ค. MARL ํจ๊ณผ๋ฅผ โ๋ณด์ ๋ถ๋ฆฌโ์ โnetwork ๋ถ๋ฆฌโ๋ก ๋๋๋ ๋์กฐ๊ตฐ(์: ๋จ์ผ network + ์ญํ ๋ณ ๋ณด์, ๋ network + ๊ณต์ ๋ณด์)๋ ์๋ค. ์ค๋ฌผ S-A RL ์คํจ๋ฅผ โ๊ณต์ ํํ์ด ๊นจ์ง๋คโ๋ก ์ค๋ช ํ์ง๋ง ์ธก์ ์ ์๋ค. ๋ ๋จ๊ณ RL(Catch It!)๊ณผ์ ๋น๊ต๋ ์์ด โ๋จ์ผ ๋จ๊ณ๊ฐ ๋ค๋จ๊ณ๋ณด๋ค ๋ซ๋คโ๋ ๋๊ธฐ๋ ์คํ์ผ๋ก ํ์ธ๋์ง ์์๋ค.
- heterogeneous MARL์ ์๋ก์์ด ๊ณผ์ฅ๋ผ ์๋ค. ๊ฐ์ ๊ณ์ด์ ์ ํ ์ฐ๊ตฌ๋ฅผ ์ธ์ฉํ๋ฉด์ ๊ทธ ์ฑ๊ฒฉ์ ๋ค๋ฅด๊ฒ ์๊ฐํ๋ค. Kim et al.(2025)์ catching์ Heterogeneous-Agent RL์ ์ด ์ฐ๊ตฌ์ธ๋ฐ depth ์ผ์ยท๋ค์ง ์ ์ฌ๋ก๋ก๋ง ์ธ์ฉ๋๋ค. Dynamic Handover๋ MARL๋ก ์์ throw-catch๋ฅผ ํ์ตํ๋๋ฐ RGB-D ์ฌ๋ก๋ก๋ง ์ธ์ฉ๋๋ค. Hu et al.(IROS 2023)์ hand-arm ์์คํ ์ reaching ์ ์ฑ ๊ณผ grasping ์ ์ฑ ์ผ๋ก ๋๋ catching ์ฐ๊ตฌ์ธ๋ฐ ๋ค์ง ์ ์ฌ๋ก๋ก๋ง ์ธ์ฉ๋๋ค. ์ด๋ค์ agent ๋ถํ ์ ์ถ(thrower/catcher, ๋ชจ๋๋ณ ์์ฐจ ํ์ต)์ด ๋ค๋ฅด๋ฏ๋ก Pixel2Catch์ โํ ๋ก๋ด์ ํ/์ agent๋ก ๋๋ ๋์์ ํ์ตํ๋คโ๋ ๊ตฌ๋ถ์ ์ฑ๋ฆฝํ๋ค. ํ์ง๋ง โMARL์ ๋๋ถ๋ถ ๊ฐ์ ๊ตฌ์กฐ์ ์ฌ๋ฌ ๋ก๋ด์ ๋ค๋ค๋คโ๋ ๊ด๋ จ ์ฐ๊ตฌ ์์ ์ ์ด ์ธ ์ฐ๊ตฌ๋ฅผ ๊ณ ๋ คํ๋ฉด ์ ํํ์ง ์๋ค.
- ์ค๋ฌผ ํ๊ฐ๊ฐ ์๊ณ , ํ์ ๊ฒ์ฐ์ด ์ ๋ง๋ ์นธ์ด ์๋ค. arXivํ์ ๋ฌผ์ฒด๋น 30ํ, thrower ํ ๋ช , ์ ์ฑ ํ๋๋ค. ๋ฌผ์ฒด๋ณ ์ฐจ์ด๋ Cube๋ฅผ ๋นผ๋ฉด ํต๊ณ์ ์ผ๋ก ๊ตฌ๋ถ๋์ง ์๋๋ค(์ ์๋ฒ ๋ S-A RL, L-blockยทTriangle p = 0.095). Table III์ โ54โ๋ 30ํ ๋ถ๋ชจ๋ก ๋์ฌ ์ ์๋ค. ํ๋ก์ ํธ ํ์ด์ง ํ๋ ํ๋ง๋ค ๋ถ๋ชจ๊ฐ ๋ง์ง ์๋๋ค. ๋์ง ์๋ยท๊ฑฐ๋ฆฌ, ์ ์ด ํ์ ๋ฐฉ๋ฒ, ์์ ์์ญ ๋ฐ ์ํ ์ฒ๋ฆฌ๋ ๋ณด๊ณ ๋์ง ์์๋ค.
- ์นด๋ฉ๋ผ ์์ ์ ๋ํ ์์กด์ด ๋ ผ์๋์ง ์๋๋ค. ์ ์ฑ ์ ๋ฌผ์ฒด ์ ๋ณด๋ ์ ๋ถ ๊ณ ์ ์นด๋ฉ๋ผ ์์ ์ขํ๋ค. ์นด๋ฉ๋ผ ์์นยท์์ธ ๋ฌด์์ํ๊ฐ ์๊ณ (Table I, ๊ณต๊ฐ ์ค์ ๋ชจ๋), ์นด๋ฉ๋ผ๋ฅผ ์ฎ๊ธฐ๋ฉด ๋ฌด์์ด ๊นจ์ง๋์ง ์คํ๋ ์๋ค. 3D ์ขํ ํํ์ด ๊ฐ๋ ์์ ๋ถ๋ณ์ฑ์ ํฌ๊ธฐํ ๋๊ฐ๊ฐ ๋ฌด์์ธ์ง๊ฐ ํ๊ณ ์ ์ ์์ด์ผ ํ๋ค. ์ ์๋ค์ด ๋ฐํ ํ๊ณ๋ โ๋จ์ผ ํ ๊ตฌ์ฑโ๋ฟ์ด๋ค(ยงVI).
- ์ฌํ์ ํ์ํ ์ ๋ณด๊ฐ ๋ ผ๋ฌธ์ ๋ง์ด ๋น ์ก๋ค. ์ฑ๊ณตยท์ ๊ทผยท์ถฉ๋ ์ ์, ์ํผ์๋ ๊ธธ์ด, ๋์ง๊ธฐ ๋ถํฌ, learning rateยทrolloutยทํ์ต ์๊ฐ, SAM2์ ์ง์ฐยทprompt ๋ฐฉ์ยท์คํ GPU, ์ค๋ฌผ ๋ฌผ์ฒด์ ์ง๋, system identification์ ์ค์ฐจ๊ฐ ์๋ค. ์๋ฎฌ ์ชฝ์ ์ฝ๋๊ฐ ๋๋ถ๋ถ ๋ฉ์ ์ฃผ์ง๋ง, ๊ด์ธก ์ง์ฐยท์ถ๊ฐ ๋ฌด์์ํยทํ ํ๋ํฐ 50๋ฐฐยท์ฑ๊ณต ์ ์ข ๋ฃ ๊ฐ์ sim-to-real๊ณผ ์งํ ์ ์์ ์ํฅ์ ์ฃผ๋ ์ค๊ณ๊ฐ ๋ ผ๋ฌธ์ ์๊ณ ์ฝ๋์๋ง ์๋ค. ๊ณต๊ฐ ์ค์ ์ action bias๋ reset๋ง๋ค ๋์ ๋๋ ๊ฒ์ผ๋ก ์ฝํ(์ ์ ์ ๋) ์๋์ ๋ค๋ฅด๊ฒ ํ์ต๋์ ๊ฐ๋ฅ์ฑ๋ ์๋ค. ์ค๋ฌผ ํ์ดํ๋ผ์ธ๊ณผ ๋น๊ต๊ตฐ, ์ฒ์ ๋ณด๋ ๋ฌผ์ฒด ํ๊ฐ ๊ฒฝ๋ก๋ ์ฝ๋๋ ์๋ค.
- ๋ณธ๋ฌธ๊ณผ ๊ทธ๋ฆผ์ ์ํ ์ ์๊ฐ ์ด๊ธ๋๋ค. ยงIV-C์ ์ํ ๊ตฌ์ฑ์ Fig. 2์ ๊ณต๊ฐ ์ฝ๋๋ณด๋ค ์ ๋ค(target joint, end-effector ์์น ๋ณํ, privileged 9์ฐจ์ ๋๋ฝ). ๋ณธ๋ฌธ๋ง ๋ณด๊ณ ์ฌ๊ตฌํํ๋ฉด ๋ค๋ฅธ ๊ด์ธก์ผ๋ก ํ์ตํ๊ฒ ๋๋ค. ๊ฑฐ๊พธ๋ก ๊ทธ๋ฆผยท์ฝ๋๋ฅผ ๋ฐ๋ผ๋ ์์น ๋ณํ ๋ ์นธ์ ๊ณต๊ฐ ์ฝ๋์์ ํญ์ 0์ผ๋ก ์ฝํ(์ ์ ํ์ ), ๊ทธ๋ฆผ์ด ๋งํ๋ ์ ๋ณด๊ฐ ์ค์ ๋ก ๋ค์ด๊ฐ์ง๋ ์๋๋ค.
- ์๋ฎฌ๊ณผ ์ค๋ฌผ ๋ฌผ์ฒด์ ์ฑ์ง์ด ๋ค๋ฅด๋ค. ํ์ต์ ๊ฐ์ฒด(๋ฐ๋ฐ๊ณ์ 0~0.5, ๊ธฐ๋ณธ ์ง๋ 30 g ์ํ), ์ค๋ฌผ์ ์ฒ์ผ๋ก ์ผ ๋ถ๋๋ฌ์ด ๋ฌผ์ฒด๋ค. ๋ถ๋๋ฝ๊ณ ์ ํ์ง ์๋ ๋ฌผ์ฒด๋ ์๋ฐ๋ฅ์ ์นํ๊ธฐ๋ง ํด๋ ๋จธ๋ฌผ๊ธฐ ์ฝ๋ค. ์ค๋ฌผ ์ฑ๊ณต๋ฅ ์ด ๊ฐ์ฒด ๋ฌผ์ฒด์๋ ์ ์ง๋๋์ง๋ ์ ์ ์๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
- catching์ 3D ์ถ์ ๊ณ์ด. Catching Objects in Flight(Kim, Shukla, Billard, 2014)์ motion capture๋ก ๋นํ ๋ฌผ์ฒด ๊ถค์ ์ ํ์ตยท์์ธกํ๊ณ ๊ฒฐํฉ ๋์ ์์คํ ์ผ๋ก ์-ํ ๋์์ ๋ง๋ ๋ค. Pixel2Catch๊ฐ ์ ๋ฉด์ผ๋ก ๋๋นํ๋ โ์ ํํ 3D ์ํ + ๋ชจ๋ธ ๊ธฐ๋ฐ ์ ์ดโ์ ๋ํ๋ค. Catch It!(Zhang et al., 2024)์ ์ด๋ ๋ฒ ์ด์ค + 6-DoF ํ + 12-DoF ์์ ๋ ๋จ๊ณ RL๋ก ํ์ตํ๊ณ ํ์ฌ ์ผ์๋ก ์ค๋ฌผ ๋ฐฐ์นํ๋ค. ๊ฐ์ ๋ค์ง ์ catching์ด์ง๋ง RGB-D์ ๋ค๋จ๊ณ ํ์ต์ ์ด๋ค. ๋ ์ฐ๊ตฌ๋ Pixel2Catch๊ฐ ๋ฒ๋ฆฐ ๋ ์ถ(3D ์ํ, ๋ค๋จ๊ณ)์ ๊ฐ๊ฐ ๋ํํ๋ค.
- ๋ค์ง ์ catching์ ๋ถํด ๊ณ์ด. Hu et al.(IROS 2023)์ ๊ถค์ ์์ธกยท์ก๊ธฐ ์์ธ ํ๊ฐยทreachingยทgraspingยทgating ๋ค์ฏ ๋ชจ๋๋ก hand-arm catching์ ๋๋ด๋ค. ํ/์์ ๋๋๋ค๋ ๋ฐ์์ ๊ฐ์ง๋ง ๋ชจ๋์ ๋ฐ๋ก ํ์ตํ๊ณ gating์ผ๋ก ํฉ์น๋ค. Dynamic Handover(Huang et al., CoRL 2023)๋ ์ํ-์์ throw-catch๋ฅผ MARL๋ก ํ์ตํ๊ณ ๊ถค์ ์์ธก ๋ชจ๋ธ๋ก sim-to-real gap์ ์ค์ธ๋ค. Kim et al.(2025)์ HARL ์์ catching์ thrower์ catcher๋ฅผ ์ ๋-ํ๋ ฅ agent๋ก ๋๋ค. Pixel2Catch๋ ์ด๋ค ์ฌ์ด์์ โํ ๋ก๋ด ์์ ํ/์ agent๋ฅผ ํ ๋จ๊ณ์์ ๋์์โ ํ์ตํ๋ ์๋ฆฌ๋ฅผ ์ฐจ์งํ๋ค.
- ํ+์ ๋จ์ผ ์ ์ฑ ๊ณ์ด. DextrAH-G๋ 23-DoF ํ-์์ geometric fabric ์์ ๋จ์ผ ์ ์ฑ ์ผ๋ก ํ์ตํ๊ณ depth ์ ๋ ฅ student๋ก ์ฆ๋ฅํ๋ค. ์ ์ grasp์ด์ง๋ง, high-DoF ํ-์ ๋ฌธ์ ๋ฅผ โ๋ถํดโ๊ฐ ์๋๋ผ โํ๋ ๊ณต๊ฐ์ ๊ตฌ์กฐํโํด์ ํธ๋ ๋์กฐ๊ตฐ์ผ๋ก ์ฝ์ ์ ์๋ค.
- ๊ฐ์ ์ฐ๊ตฌ์ค์ ๋ค์ง ์ RL. ๊ณต์ ์ Kang-Won Lee์ Soo-Chul Lim์ DexTouch๋ ์ด๊ฐ์ผ๋ก ๋ฌผ์ฒด๋ฅผ ์ฐพ์ ์กฐ์ํ๋ Allegro ๊ธฐ๋ฐ sim-to-real RL์ด๋ค. Pixel2Catch๋ ์ด๋ฅผ ์ ์ ์กฐ์์ ์๋ก ์ธ์ฉํ๋ฉฐ, ๊ฐ์ ๊ทธ๋ฃน์ด ์ ์ ์ด๊ฐ ์กฐ์์์ ๋์ ์๊ฐ ์กฐ์์ผ๋ก ๋ฒ์๋ฅผ ๋ํ ํ๋ฆ์ผ๋ก ๋ณผ ์ ์๋ค.
- ๋์ ์กฐ์์ ๋ค๋ฅธ ์ ๊ทผ. Robot Juggling์ ์ค๋ฌผ์์ ๋น ๋ฅด๊ฒ ํ์ตํ๋ ๋์ ์กฐ์์ ๋ค๋ฃฌ๋ค. ์๋ฎฌ ํ์ต ํ zero-shot ์ด์ ์ธ Pixel2Catch์๋ ํ์ต ์ฅ์๊ฐ ๋ฐ๋๋ค.
- ๋ถํ ๋ชจ๋ธ. ์ค๋ฌผ ํน์ง์ SAM2์ ํ์ง์ ๋ฌ๋ ค ์๋ค. ๊ฐ๋ ๋จ์ ๋ถํ ๋ก ํ์ฅํ SAM 3๋ฅผ ์ฐ๋ฉด ์ฒซ ํ๋ ์ prompt ์์ด โ๊ณตโ์ด๋ผ๋ ํ ์คํธ๋ก ๋ฌผ์ฒด๋ฅผ ์ง์ ํ ์ ์์ ๊ฒ์ด๋ค. ๋ค๋ง catching์์ ์ค์ํ ๊ฒ์ ๋ถํ ์ ํ๋๋ณด๋ค ์ง์ฐ์ด๊ณ , ์ด ๋ ผ๋ฌธ์ ๊ทธ ์์น๋ฅผ ์ฃผ์ง ์๋๋ค.
์์ฝ
Pixel2Catch๋ ๋ ์์ค๋ ๋ฌผ์ฒด๋ฅผ 3D ์ขํ๊ฐ ์๋๋ผ ์์ ์ box์ ์ค์ฌ๊ณผ ๊ทธ ๋ณํ๋, ํฌ๊ธฐ ๋ณํ๋ 6๊ฐ ์ซ์๋ก ํํํ๊ณ , ํ๊ณผ ์์ ์ญํ ์ด ๋ค๋ฅธ ๋ agent๋ก ๋๋ MAPPO๋ก ํ ๋จ๊ณ์ ํ์ตํ๋ค. ์๋ฎฌ์์ T.R. 89.97%ยทS.R. 84.13%, ์ค๋ฌผ์์ ์ฌ๋์ด ๋์ง ๋ถ๋๋ฌ์ด ๋ฌผ์ฒด 3์ข ์ ํ๊ท ์ฝ 50% ์ก๋๋ค. ํํ์ ๋จ์ํจ๊ณผ ์ ๋ ดํ ์ผ์ ๊ตฌ์ฑ, ๊ณต๊ฐ๋ ํ์ต ์ฝ๋๊ฐ ์ฅ์ ์ด๋ค.
๊ทธ๋ฌ๋ arXivํ์ด ์ซ์๋ก ๋ณด์ธ ๊ฒ์ โ์ค์ฌ ์ขํ๊ฐ ์ฃผ ์ ํธ์ด๊ณ , MARL์ด ๊ฐ์ ํ์ต ์์ฐ์์ ๋นจ๋ฆฌ ๋ฐฐ์ด๋คโ๊น์ง๋ค. 3D ์์น ๊ธฐ๋ฐ ๋ฐฉ๋ฒ๋ณด๋ค ๋ซ๋ค๋ ๋๊ธฐ ์ฃผ์ฅ์ arXivํ์์ ๋น๊ต๋์ง ์์๊ณ , RA-Lํ์ 3D Pos ๋น๊ต๊ตฐ์ ์ค๋ฌผ 3D ์์น๋ฅผ ์ด๋ป๊ฒ ์ป์๋์ง๊ฐ ๋น ์ ธ ์๋ค. ํฌ๊ธฐ ํน์ง์ ์๋ฎฌ์์ 3%p ๋จ์ง ๊ธฐ์ฌํ๋ฉฐ, ๊ณต๊ฐ ์ฝ๋์ ๋ ธ์ด์ฆ ์กฐ๊ฑด์์๋ ๊ทธ ์ ํธ๊ฐ ์ก์์ ๋ฌปํ๋ค๋ ๊ณ์ฐ์ด ๋์จ๋ค. single-agent ๋น๊ต๊ตฐ์ ์๋ ด ์ ์ด๊ณ , ์ค๋ฌผ ํ๊ฐ๋ ๋ฌผ์ฒด๋น 30ํ ํ ๋ฒ์ด๋ค. ๋ ผ๋ฌธ์๋ ์ฑ๊ณต ํ์ , ๊ด์ธก ์ง์ฐ, ์ถ๊ฐ ๋ฌด์์ํ์ฒ๋ผ sim-to-real ์ฑํจ๋ฅผ ๊ฐ๋ฅผ ์ ์๋ ์ค๊ณ๊ฐ ๋น ์ ธ ์๊ณ , ์ด๋ ๊ณต๊ฐ ์ฝ๋๋ฅผ ํจ๊ป ์ฝ์ด์ผ ๋ณด์ธ๋ค. ์นด๋ฉ๋ผ ์์ ๋ณํ์ ๋ํ ๊ฐ๊ฑด์ฑ, ๊ฐ์ฒด ๋ฌผ์ฒด์์์ ์ฑ๋ฅ, ๋น๊ต๊ตฐ์ ์ ํํ ์ ์๊ฐ ๋ณด์๋๋ฉด โRGB ํ ๋๋ก ์ถฉ๋ถํ๋คโ๋ ์ฃผ์ฅ์ด ํจ์ฌ ๋จ๋จํด์ง ๊ฒ์ด๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v1(2026-02-26, ์ ์ผํ ํ)์ e-print LaTeX ์์ค๋ฅผ ์ ๋ณธ์ผ๋ก ์ฝ์๊ณ , ๊ทธ๋ฆผ ๋ฒํธ๋ arXiv HTML ์บก์ ๊ณผ ๋์กฐํ๋ค. arXivํ์๋ ๋ถ๋ก์ด ์๋ค. ๊ทธ๋ฆผ 1~6์ e-print ์์ค์ ์๋ณธ ๊ทธ๋ฆผ ํ์ผ์ด๋ค. RA-L ๊ฒ์ฌ๋ณธ ๋ณธ๋ฌธ์ ๋์กฐํ์ง ๋ชปํ๋ค. โํ ์ฐจ์ดโ ์ ์ RA-Lํ ์์น๋ ๋ชจ๋ ํ๋ก์ ํธ ํ์ด์ง ํ์์ ์ฎ๊ธด ๊ฒ์ด๋ค.
- ์์: YouTube ์์์ ์ ์ ์ฐ๊ตฌ์ค ์ฑ๋์ ๊ณต์ ์์์ด๊ณ , ๋ฌผ์ฒด๋ณ ์์ฐ ํด๋ฆฝ 6๊ฐ๋ ํ๋ก์ ํธ ํ์ด์ง์ ์๋ณธ mp4๋ค.
- ์ฝ๋: seongdrgn/pixel2catch-github์ ์ปค๋ฐ
32769d9๊ธฐ์ค์ด๋ค. โ๊ณต๊ฐ ์ฝ๋์ ๋์กฐโ ์ ์ ํ์ผยท์ค ๋ฒํธ๋ ์ด ์ปค๋ฐ์ ํ์ผ์ ์ง์ ์ฝ์ ์ ์ ํ์ธ์ด๋ฉฐ, ํ์ต์ ์คํํด ๋ ผ๋ฌธ ์์น๋ฅผ ์ฌํํ์ง๋ ์์๋ค. ๋ ํฌ์๋ ๋ผ์ด์ ์ค ํ์ผ์ด ์๋ค. - ํ๊ธฐ: โํ์ ๊ณ์ฐโ์ ๋ ผ๋ฌธ ํยท๊ณต๊ฐ ์ค์ ์ ๊ฐ์ผ๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(ํ๊ท , ๋ถ๋ชจ ์ญ์ฐ, Fisher exact test, Wilson 95% ๊ตฌ๊ฐ, ๋์ง๊ธฐ ๋ถํฌ ์ํ๋ง, box ํฌ๊ธฐ ์ ํธ ๋ ์ก์๋น)์ด๋ค. โ๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐโ์ Fig. 5์ ๊ณก์ ๋๊ฐ์ ๋์ผ๋ก ์ฝ์ ๊ทผ์ฌ์น๋ค. โํ์์ ํด์โ์ผ๋ก ํ์ํ ๋ฌธ์ฅ์ ๋ ผ๋ฌธ์ด ์ง์ ์ฃผ์ฅํ์ง ์์ ํด์์ด๋ค. Lee(1976)์ Chapman(1968)์ ๋ ผ๋ฌธ์ด ์ธ์ฉํ์ง ์์ ๋ฐฐ๊ฒฝ ๋ฌธํ์ด๋ค. ์ธ์ฉ์ ๋๊ดํธ ๋ฒํธ ๋์ ์ ์-์ฐ๋๋ก ์ ์๋ค.