๐HRL for Articulated Tool ๋ฆฌ๋ทฐ
CodeยทProject: ๊ณต๊ฐ๋ ์ฝ๋ ์ ์ฅ์, ํ๋ก์ ํธ ํ์ด์ง, ์์ฐ ์์ ๋ชจ๋ ์๋ค. ๋ ผ๋ฌธ ๋ณธ๋ฌธ๊ณผ arXiv ํ์ด์ง์ ๋งํฌ๊ฐ ์๊ณ , Hugging Face ๋ ผ๋ฌธ ํ์ด์ง์๋ ์ฐ๊ฒฐ๋ ์ ์ฅ์๊ฐ ์๋ค.
Wei Xu, Yanchao Zhao, Weichao Guo, Xinjun Sheng
Shanghai Jiao Tong University (State Key Laboratory of Mechanical System and Vibration, Meta Robotics Institute) / IROS 2025
- ๐ก ํ์ ยท๊ฐ์ยท์ ๊ฐ๋ฝ์ฒ๋ผ ๋ชจ์์ด ๋ฐ๋๋ articulated tool์ ๋ค์ง ์์ผ๋ก ์ฐ๊ฒ ํ๋ ค๊ณ , ๋ฌธ์ ๋ฅผ โ์๊ฐ๋ฝ์ผ๋ก ๋๊ตฌ ๋ชจ์์ ๋ง๋๋ ์ ์์ค ์ ์ฑ โ๊ณผ โํ์ ์์ง์ด๊ณ ๋๊ตฌ๊ฐ ์ด๋ค ๋ชจ์์ด์ด์ผ ํ๋์ง ์ ํ๋ ๊ณ ์์ค ์ ์ฑ โ์ผ๋ก ์ชผ๊ฐ goal-conditioned ๊ณ์ธต RL์ ์ ์ํ๋ค.
- โ๏ธ ๋๊ตฌ point cloud๋ฅผ SVD registration์ผ๋ก canonical ์ขํ๊ณ์ ๋ง์ถ ๋ค PointNet VAE ์ธ์ฝ๋๋ก 2์ฐจ์ shape latent \mathbf{z} ๋ฅผ ๋ฝ๊ณ , ์ ์์ค ์ ์ฑ ์ ์ด latent๋ฅผ ๋ชฉํ๊ฐ์ ๋ง์ถ๋๋ก, ๊ณ ์์ค ์ ์ฑ ์ latent ๋ชฉํ์ ํ ์๋๋ฅผ ๋ด๋๋ก MuJoCo์์ SAC๋ก ์ฐจ๋ก๋ก ํ์ตํ๋ค. ๊ณ ์์ค ํ์ต์ ํ์ ๋์ ์์น์ hinge joint๋ฅผ ์ง์ ์๋ privileged heuristic controller๋ก ์ฑ์ด replay buffer๊ฐ ๊ฐ์ํ๋ค.
- ๐ฏ Schunk SVH ์ + Jaka Zu7 ํ ์ค๊ธฐ์์ 1.5โ2.5 cm ๋ฌผ์ฒด 4์ข (๊ตฌยท์ ์ก๋ฉด์ฒดยท์๊ธฐ๋ฅยท์ ์ฌ๋ฉด์ฒด)์ ํ์ ์ผ๋ก ์ง๋ ๊ณผ์ ๋ฅผ ๋ฌผ์ฒด๋น 12ํ ์๋ํด ์ฒซ ์๋ 54.2%, ์ฌ์๋ ํฌํจ 70.8% ์ฑ๊ณต๋ฅ ์ ๋๋ค. ๋น๊ต ๊ธฐ์ค์ ์ ์ค๊ธฐ์ ์๊ณ , ์๋ฎฌ๋ ์ด์ ํ์ต ๊ณก์ ์์ effort reward์ privileged buffer์ ํจ๊ณผ๋ง ๋ณด์ธ๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
๋ค์ง ์ RL์ ํ์ง, ์ ์ ํ์ , ๋ฐธ๋ธ ๋๋ฆฌ๊ธฐ์์ ๋ง์ด ๋ฐ์ ํ๊ณ ๋ง์นยท๋ถ ๊ฐ์ ๊ฐ์ฒด ๋๊ตฌ๋ก๋ ๋์ด๊ฐ๋ค. ๊ทธ๋ฐ๋ฐ ์ผ์ ๋๊ตฌ ์๋น์๋ ๊ฐ์ฒด๊ฐ ์๋๋ค. ํ์ ์ ๋ ๋ค๋ฆฌ๋ฅผ ์ค๋ฏ๋ ค์ผ ๊ธฐ๋ฅํ๊ณ , ๊ฐ์๋ ๋ ์ ๋ฒ๋ ธ๋ค ๋ซ์์ผ ํ๋ค. ์ด๋ฐ articulated tool์ ์ฅ๋ ๊ฒ๋ง์ผ๋ก ๋๋์ง ์๊ณ , ์ฅ ์ํ๋ฅผ ์ ์งํ๋ฉด์ ์๊ฐ๋ฝ์ผ๋ก ๋๊ตฌ์ ๊ด์ ๊ฐ๋๋ฅผ ์กฐ์ ํด์ผ ํ๋ค. ์ ์๋ค์ ์ด๋ ค์์ ์ ์ผ๋ก ์ ๋ฆฌํ๋ค. ์ฌ๋ฌ ์๊ฐ๋ฝ์ด ๋๊ตฌ์ ๊ด์ ๊ฐ๋(ํ์ ๋ฒ๋ฆผ)๋ฅผ ํจ๊ป ๋ง์ถฐ์ผ ํ๊ณ , ์๊ฐ์ด ๊ฐ๋ฆผ ์์์ ๋๊ตฌ ์์ธยท๋ชจ์ ๋ณํยท๋ฌผ์ฒด ์์น๋ฅผ ๋์์ ์ถ์ ํด์ผ ํ๋ฉฐ, ํ์ ํฐ ์์ง์๊ณผ ์๊ฐ๋ฝ์ ๋ฏธ์ธ ์กฐ์ ์ด ์๋ก ๋ค๋ฅธ ์ ์ด ์ ๋ต์ ์๊ตฌํ๋ค.

์คํ ๊ตฌ์ฑ(Fig. 1). (a) Azure Kinect DK ์นด๋ฉ๋ผ, Jaka Zu7 6์์ ๋ ํ, Schunk SVH ์. (b) ์์ ์ฑ์ ์ํด ์์ง ํ(๊ฒ์ ๋๊ธฐ)์ ๋ถ์ธ 3D ํ๋ฆฐํธ ํ์ . ๋ ๋ค๋ฆฌ๊ฐ V์ ์คํ๋ง๋ถ๋ก ์ด์ด์ ธ ์๋ค. (c) ํ๊ณผ ์์ด ํ์ ์ ์กฐ์ํด ํ ์ด๋ธ ์ ๋ฌผ์ฒด๋ฅผ ์ง๋ ๊ณผ์ .
์ด ๋ ผ๋ฌธ์ ๋ต์ ๊ณ์ธต ๋ถํด๋ค. ์ฌ๋์ด ํ์ ์ ์ธ ๋ ์ ์์์ ๋๊ตฌ ์์ธ๋ ๊ณ ์ ํด ๋๊ณ ์๊ฐ๋ฝ์ผ๋ก ๋ฒ๋ฆผ๋ง ์กฐ์ ํ๋ค๋ ๊ด์ฐฐ์์, ์ ์์ค ์ ์ฑ ์ ์๊ฐ๋ฝ๋ง์ผ๋ก ๋๊ตฌ ๋ชจ์์ ๋ชฉํ ์ํ์ ๋ง์ถ๊ฒ ํ๊ณ , ๊ณ ์์ค ์ ์ฑ ์ ํ์ ์์ง์ฌ ๋๊ตฌ๋ฅผ ๋ฌผ์ฒด ๊ทผ์ฒ๋ก ์ฎ๊ธฐ๋ฉด์ โ์ง๊ธ ๋๊ตฌ๊ฐ ์ด๋ค ๋ชจ์์ด์ด์ผ ํ๋์งโ๋ฅผ ์ ์์ค์ ๋ชฉํ๋ก ๋ด๋ ค๋ณด๋ธ๋ค. ๋ ์ ์ฑ ์ ์๋ ์ธํฐํ์ด์ค๊ฐ point cloud์์ ํ์ตํ 2์ฐจ์ shape latent๋ค.

๊ณ์ธต ๊ตฌ์กฐ(Fig. 2). ๊ณ ์์ค ์ ์ฑ (์ด๋ก)์ ๋๊ตฌยท๋ฌผ์ฒด ์ํ๋ฅผ ๋ฐ์ ํ์ ์์ง์ด๊ณ ๋๊ตฌ ๋ชฉํ(Setting Tool Goal)๋ฅผ ๋ด๋ฆฐ๋ค. privileged heuristic policy๊ฐ ์ฑ์ด replay buffer๊ฐ ๊ณ ์์ค ํ์ต์ ์ฐ์ธ๋ค. ์ ์์ค ์ ์ฑ (์ฃผํฉ)์ ํฉ์ฑ point cloud๋ก ์ฌ์ ํ์ตํ ์ธ์ฝ๋๊ฐ ๋ธ ๋๊ตฌ ์ํ์ ์ ์ํ๋ฅผ ๋ฐ์ ์๊ฐ๋ฝ์ ์์ง์ธ๋ค. ์ค๋ฅธ์ชฝ์ ์ค๊ธฐ์์ ์ ์ฌ๋ฉด์ฒด๋ฅผ ์ง๋ ์ฐ์ ์ฅ๋ฉด์ด๋ค.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
๋๊ตฌ point cloud \mathbf{P}_t(256์ )๋ฅผ canonical point cloud \mathbf{P}_c์ SVD ๊ธฐ๋ฐ์ผ๋ก ์ ํฉํด ๋ณํ (\mathbf{t}_t,\boldsymbol{\theta}_t)๋ฅผ ์ป๊ณ , ์ด์ ์คํ ๊ณผ์ ์ฐจ๋ถ์ผ๋ก ์๋ (\mathbf{v}_t,\boldsymbol{\omega}_t)๋ฅผ ๊ตฌํ๋ค. canonical ์ขํ๊ณ๋ก ์ฎ๊ธด ์ ๋ค์ PointNet ์ธ์ฝ๋๊ฐ 2์ฐจ์ latent \mathbf{z}๋ก ์์ถํ๋ค. ์ธ์ฝ๋๋ Chamfer ์ฌ๊ตฌ์ฑ ์์ค๊ณผ KL ํญ์ผ๋ก ์ฌ์ ํ์ตํ๋ค.
\mathcal{L}=\mathcal{L}_R+\beta_t\mathcal{L}_{KL}
์ ์์ค ์ ์ฑ ์ ์ํ๋ ์ ๊ด์ ๊ฐ๋ยท์๋์ ๋๊ตฌ ์ํ [\mathbf{v}_t,\boldsymbol{\omega}_t,\mathbf{z}_t]์ด๊ณ , ๋ณด์์ latent ๋ชฉํ ๋๋ฌ ํญ๊ณผ effort ํญ์ ํฉ์ด๋ค.
r^{goal}_t=\exp\!\left(-c_{l1}\lVert\bar{\mathbf{z}}_t-\mathbf{z}^{goal}_t\rVert_2\right),\qquad r^{effort}_t=-c_{l2}\!\sum_{\mathbf{p}_i\in\mathbf{P}_c}\!\lVert T(\bar{\mathbf{v}}_t,\bar{\boldsymbol{\omega}}_t)\mathbf{p}_i-\mathbf{p}_i\rVert_2-c_{l3}\lVert\dot{\mathbf{q}}^{hand}_t\rVert_2
๊ณ ์์ค ์ ์ฑ ์ ๋๊ตฌ ์์ธยทlatent์ ๋ฌผ์ฒดยท๋ชฉํ ์์น(14์ฐจ์)๋ฅผ ๋ฐ์ \mathbf{a}^{high}_t=[\mathbf{z}^{goal},\mathbf{a}^{arm}_t](5์ฐจ์)๋ฅผ ๋ธ๋ค. ํ ์๋ ๋ช ๋ น์ Jacobian pseudoinverse \dot{\mathbf{q}}^{arm}=\mathbf{J}^{+}\mathbf{a}^{arm}_t๋ก ๊ด์ ์๋๊ฐ ๋๋ค. ๋ณด์์ ์ฑ๊ณต ์ sparse ๋ณด์(๋ฌผ์ฒด๊ฐ ๋ชฉํ์์ 1 cm ์ด๋ด), ๋๊ตฌ-๋ฌผ์ฒดยท๋ฌผ์ฒด-๋ชฉํ ๊ฑฐ๋ฆฌ์ ์ง์ํ dense ๋ณด์, ๊ฑฐ๋ฆฌ 20 cm ์ด๊ณผยทํ ์ด๋ธ ์ถฉ๋ penalty์ ํฉ์ด๋ค.
์ฃผ์ ๊ฒฐ๊ณผ:
- effort reward ์ ์ (Fig. 4a, ์๋ 3๊ฐ): effort reward๊ฐ ์์ผ๋ฉด ์ ์์ค ์ ์ฑ ์ ์ฑ๊ณต๋ฅ ์ด ์ฝ 0.75M ์คํ ์์ 0.8 ๊ทผ์ฒ์ ์ค๋ฅด๊ณ , ์์ผ๋ฉด 2M ์คํ ๋์์์ผ 0.7 ์ธ์ ๋ฆฌ์ ๋ฟ๋๋ค(๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ).
- privileged buffer ์ ์ (Fig. 5a, ์๋ 3๊ฐ): buffer๊ฐ ์์ผ๋ฉด ๊ณ ์์ค ์ ์ฑ ์ ๋์ return์ด ์ฝ 1M ์คํ ์์ 60โ70๋๋ก ์ค๋ฅด๊ณ ์ดํ 70โ80๋์์ ์์ง์ธ๋ค. buffer๊ฐ ์์ผ๋ฉด 3.5M ์คํ ๊น์ง 20 ๊ทผ์ฒ์ ๋จธ๋ฌผ๊ณ , ๊ณ์ธต ์์ด ํ์ตํ ์ ์ฑ ์ 4M ์คํ ๋ด๋ด 10โ15 ๊ทผ์ฒ๋ค(๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ).
- ์ค๊ธฐ ์ ์ฒด ๊ณ์ธต ์ ์ฑ (Fig. 8, ๋ฌผ์ฒด๋น 12ํ): ์ฒซ ์๋ ํ๊ท 54.2%, ์ฌ์๋ ํฌํจ 70.8%. ์ ์ก๋ฉด์ฒด๊ฐ ๊ฐ์ฅ ์ฝ๊ณ (์ฒซ ์๋ 75%), ๊ตฌ๊ฐ ๊ฐ์ฅ ์ด๋ ต๋ค(์ฒซ ์๋ ์ฝ 33%).
- ์ผ์ ๋ฌผ์ฒด(Fig. 9): ๋นํ๋ฏผ ๋ณ, ํ ์ดํ, ๋ฐ์ธ๋ ํด๋ฆฝ, ์ปคํผ ์บก์, ์ถฉ์ ๊ธฐ, ํผ ํจ๋ฉ 6์ข ์ ์ฑ๊ณต ์ฅ๋ฉด์ ๋ณด์ด์ง๋ง ์๋ ํ์์ ์ฑ๊ณต๋ฅ ์ ๋ณด๊ณ ํ์ง ์๋๋ค.
๊ฒฐ๋ก :
์ด ๋ ผ๋ฌธ์ ๊ธฐ์ฌ๋ ๋ฌธ์ ์ ์์ ์ธํฐํ์ด์ค ์ค๊ณ์ ์๋ค. articulated tool ์กฐ์์ โ๋๊ตฌ ๋ชจ์ ์ ์ดโ์ โ๋๊ตฌ ์ด๋ฐ + ๋ชจ์ ์ง์โ๋ก ๋๋๊ณ , ๋ ์ฌ์ด๋ฅผ point cloud์์ ๋ฝ์ ์ ์ฐจ์ shape latent๋ก ์๋ ๊ตฌ์ฑ์ ๊น๋ํ๋ค. ๋ค๋ง ํ๊ฐ๋ ์๋ค. ์ค๊ธฐ ๊ฒฐ๊ณผ๋ ๊ธฐ์ค์ ์์ด 48ํ ์๋๋ฟ์ด๊ณ , ๊ณ ์์ค ์ ์ฑ ์ ์๋ฎฌ๋ ์ด์ ์์ ๋ฐ์ง๋ฆ 1 cm ๊ตฌ ํ๋๋ก๋ง ํ์ตํ์ผ๋ฉฐ, ์ํ์ ๋ฌผ์ฒด ํฌ๊ธฐ ์ ๋ณด๊ฐ ์์ด์ โ๋ฌผ์ฒด ํฌ๊ธฐ์ ๋ง์ถฐ ๋๊ตฌ ๋ชจ์์ ๊ณ ๋ฅธ๋คโ๋ affordance ์์ ์ ์คํ์ผ๋ก ์ง์ ๊ฒ์ฆ๋์ง ์์๋ค. ๋ณด์ ๊ณ์์ ํ์ต ์ค์ ๋ ์๋น์ ๋น ์ ธ ์๊ณ ์ฝ๋๊ฐ ์์ด ํ์ธํ ๋ฐฉ๋ฒ์ด ์๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
ํ์ ์ ์ฐ๋ ๋ค์ง ์์ RL๋ก ํ์ต์ํค๋ ค๋ฉด ๊ฒฐ๊ตญ โ๋๊ตฌ๊ฐ ์ง๊ธ ์ผ๋ง๋ ๋ฒ์ด์ ธ ์๋๊ฐโ๋ฅผ ์ ์ฑ ์ด ์ฝ๊ณ ์ง์ํ ์ ์๋ ํํ๋ก ๋ง๋ค์ด์ผ ํ๋ค. ์ด ๋ ผ๋ฌธ์ ๊ทธ ์์ ์ฌ๋์ด ์ ์ํ ๊ฐ๋๊ฐ ์๋๋ผ point cloud์์ ํ์ตํ 2์ฐจ์ latent๋ก ๋๊ณ , ์๊ฐ๋ฝ์ ๊ทธ latent๋ฅผ ๋ชฉํ์ ๋ง์ถ๋ ์ผ๋ง, ํ์ ๋๊ตฌ๋ฅผ ์ฎ๊ธฐ๋ฉด์ latent ๋ชฉํ๋ฅผ ๊ณ ๋ฅด๋ ์ผ๋ง ๋งก๊ธด๋ค. ๋๋จธ์ง ์ค๊ณ(SVD๋ก ์์ธ์ ๋ชจ์ ๋ถ๋ฆฌ, effort reward, privileged heuristic buffer)๋ ์ด ๋ถ์ ์ด ์ค๊ธฐ์์ ๋ฒํฐ๊ฒ ํ๋ ๋ถํ์ด๋ค.
๋ฐฐ๊ฒฝ: articulated tool์ด ๊ฐ์ฒด ๋๊ตฌ์ ๋ค๋ฅธ ์ (ยงIยทยงII)
์ ์๋ค์ด ์ ๋ฆฌํ๋ ์ ํ ์ฐ๊ตฌ์ ํ๋ฆ์ ๋ค์๊ณผ ๊ฐ๋ค.
| ๊ณ์ด | ๋ฌด์์ ํ๋ | ์ด ๋ ผ๋ฌธ์ด ๋ณด๋ ๋น ๊ณณ |
|---|---|---|
| ํด์์ ์กฐ์(prehensile pushing, sliding manipulation ๋ฑ) | ์-๋๊ตฌ ๊ณ์ ๊ธฐ๊ตฌํยท๋์ญํ์ ๋ชจ๋ธ๋ง | ์ ์ด์ ยทํยท๋ง์ฐฐ์ ๋ค ์๋ค๊ณ ๊ฐ์ ํ๊ณ ์ ์ด์ ์๋์ผ๋ก ์ ํ. ์๊ฐยท์ด๊ฐ์์ ๊ทธ ์ ๋ณด๋ฅผ ์ป๊ธฐ ์ด๋ ต๋ค |
| ๋ค์ง ์ RL(in-hand ์ฌ๋ฐฐํฅ, functional grasp, ๋ฐธ๋ธยท๋ฌธ) | ๊ณ ์ฐจ์ ์ ์ด์ ๋ณต์กํ ์ ์ด์ ํ์ต์ผ๋ก ํด๊ฒฐ | ๋์์ด ๋๋ถ๋ถ ๊ฐ์ฒด ๋ฌผ์ฒด๋ ๊ฐ์ฒด ๋๊ตฌ |
| ๋๊ตฌ ์ฌ์ฉ RL(๋ถยท๋ง์น, ์ ๊ฐ๋ฝ) | ๊ฐ์ฒด ๋๊ตฌ ์ฌ์ฉ์ผ๋ก ํ์ฅ | ์ ๊ฐ๋ฝ์ ์ฃผ๋ก ๋ ์๊ฐ๋ฝ ๊ทธ๋ฆฌํผ์ฒ๋ผ ๋ค๋ค๊ณ , ๋ค์ง ์์ผ๋ก ๋๊ตฌ๋ฅผ ์จ์ ๋ฌผ์ฒด๋ฅผ ๊ฐ์ ์ ์ผ๋ก ์ง๋ ์ฐ๊ตฌ๋ ๋๋ฌผ๋ค |
| ๋ฌผ์ฒด ํํ(RGB-D ์์ธ ์ถ์ , DexRepNet, Visual Dexterity์ teacher-student point cloud) | ๋ฌผ์ฒด ์์ธยท์๋ยท์-๋ฌผ์ฒด ๊ด๊ณ๋ฅผ ์ ์ฑ ์ ๋ ฅ์ผ๋ก | ํ์ ์ ๋ณํ์ผ๋ก ๊ธฐ๋ฅํ๋ฏ๋ก ์์ธ์ ์๋๋ง์ผ๋ก ๋ถ์กฑํ๋ค. ๋ชจ์ ์ํ๋ฅผ ๋ฐ๋ก ๋ฝ์์ผ ํ๋ค |
๋ง์ง๋ง ํ์ด ์ด ๋ ผ๋ฌธ์ ์ค๊ณ ์ถ๋ฐ์ ์ด๋ค. ๊ฐ์ฒด ๋๊ตฌ๋ผ๋ฉด 6D ์์ธ๊ฐ ์ํ์ ์ ๋ถ์ง๋ง, ํ์ ์ ์์ธ๊ฐ ๊ฐ์๋ ๋ฒ๋ฆผ์ด ๋ค๋ฅด๋ฉด ๊ธฐ๋ฅ์ด ๋ค๋ฅด๋ค. ๊ทธ๋์ ์ํ๋ฅผ โ์์ธ(์๋)โ์ โ๋ชจ์(latent)โ์ผ๋ก ๋๋๊ณ , ๋ชจ์์ด ๊ณง affordance๋ผ๊ณ ๋ณธ๋ค. ์ ์๋ค์ ํํ์ผ๋ก๋ ํ์ ๋ฒ๋ฆผ ๊ฐ๋๋ง๋ค ์ง์ ์ ์๋ ๋ฌผ์ฒด ํฌ๊ธฐ๊ฐ ๋ฌ๋ผ์ง๋ฏ๋ก, ๋ชจ์ ์ํ๊ฐ ๋๊ตฌ์ ๊ธฐ๋ฅ์ ๋ฅ๋ ฅ์ ๋ํ๋ธ๋ค.
๋ฐฉ๋ฒ ์์ธ 1: ๋ฌธ์ ์ ์ํ์ ํ์ต ์์ (ยงIII-A)
์ ์์ค ๋ฌธ์ ๋ goal-conditioned MDP \mathcal{M}_G=(\mathcal{S},\mathcal{A},\mathcal{G},\mathcal{T},r,\gamma)๋ก ์ ์ํ๊ณ , ๋ณด์ r:\mathcal{S}\times\mathcal{A}\times\mathcal{G}\to\mathbb{R}์ ์ง์ ๋ ๋ชฉํ์ ํจ์จ์ ์ผ๋ก ๋๋ฌํ๋๋ก ์ค๊ณํ๋ค. ํ์ต์ ์์ฐจ์ ์ด๋ค.
- ํฉ์ฑ point cloud๋ก ์ธ์ฝ๋๋ฅผ ์ฌ์ ํ์ตํ๋ค.
- ๊ทธ ์ธ์ฝ๋ ์์์ ์ ์์ค ์ ์ฑ ์ GCRL๋ก ํ์ตํด ๋๊ตฌ ๋ชจ์ ์ ์ด๋ฅผ ์ตํ๋ค.
- ์ ์์ค ์ ์ฑ ์ด ์๋ ดํ๋ฉด ํ๋ผ๋ฏธํฐ๋ฅผ ์ผ๋ฆฌ๊ณ , privileged heuristic policy๊ฐ ๋ง๋ replay buffer์ ํจ๊ป ๊ณ ์์ค ์ ์ฑ ์ ํ์ตํ๋ค.
๊ณต๋ ํ์ต(joint training)์ด ์๋๋ฏ๋ก ๊ณ ์์ค ์ ์ฑ ์ ์ฅ์์ ์ ์์ค ์ ์ฑ ์ ํ๊ฒฝ์ ์ผ๋ถ๋ค. ์ด ์ ํ์ ๋น์ ์์ฑ(non-stationarity) ๋ฌธ์ ๋ฅผ ํผํ๋ ๋์ , ์ ์์ค ์ ์ฑ ์ด ๋ง๋ค ์ ์๋ ๋ชจ์ ๋ฒ์๊ฐ ๊ณง ๊ณ ์์ค ์ ์ฑ ์ ํ๋ ๊ณต๊ฐ ์ํ์ด ๋๋ค.
๋ฐฉ๋ฒ ์์ธ 2: ๋๊ตฌ ์ํ ์ถ์ถ (ยงIII-B, Fig. 3)

๋๊ตฌ ์ํ ์ถ์ถ(Fig. 3). ์ ๋ ฅ point cloud P_t๋ฅผ canonical point cloud P_c์ SVD๋ก ์ ํฉํด ๋ณํ (t_t,\theta_t)๋ฅผ ์ป๊ณ , ์ด์ ์คํ ๋ณํ๊ณผ์ ์ฐจ๋ถ์ผ๋ก ์๋ (v_t,\omega_t)๋ฅผ ๋ง๋ ๋ค. ๊ฐ์ ๋ณํ์ P_t์ ์ ์ฉํด canonical ์ขํ๊ณ๋ก ์ฎ๊ธด ๋ค PointNet ์ธ์ฝ๋๊ฐ latent z๋ฅผ ๋ธ๋ค. ์ ์ ๋์ฝ๋๋ ์ฌ์ ํ์ต(์ฌ๊ตฌ์ฑ)์๋ง ์ด๋ค.
์์๋ ๋ค์๊ณผ ๊ฐ๋ค.
- ์ ํฉ: ๋งค ์คํ 256์ point cloud \mathbf{P}_t๋ฅผ canonical point cloud \mathbf{P}_c์ SVD ๊ธฐ๋ฐ์ผ๋ก ์ ํฉํด ๊ฑฐ์น ๋ณํ (\mathbf{t}_t,\boldsymbol{\theta}_t)๋ฅผ ์ป๋๋ค.
- ์๋: ์ด์ ์คํ ๋ณํ๊ณผ ๋จ์ ์ฐจ๋ถ์ผ๋ก (\mathbf{v}_t,\boldsymbol{\omega}_t)๋ฅผ ๊ตฌํ๋ค. ์ด ์๋๋ ์ base frame ๊ธฐ์ค ๋๊ตฌ frame ์ ์ฒด์ ์๋์ด๊ณ ๊ฐ ๋์ ์ ์๋๊ฐ ์๋๋ผ๊ณ ๋ ผ๋ฌธ์ด ๋ช ์ํ๋ค.
- ๋ชจ์: \mathbf{P}_t๋ฅผ canonical frame์ผ๋ก ์ฎ๊ฒจ PointNet(shared MLP + max pooling)์ ๋ฃ๋๋ค. ์์ธ๊ฐ ์ด๋ฏธ ์ ๊ฑฐ๋์ผ๋ฏ๋ก ์ธ์ฝ๋ ์ถ๋ ฅ์ ์ฃผ๋ก ๋ชจ์์ ๋ฐ์ํ๋ค. latent ์ฐจ์์ 2๋ค.
- ์ฌ์ ํ์ต: ์๋ฎฌ๋ ์ด์ point cloud 1๋ง ๊ฐ์ ์ ๋ต ์์ผ๋ก ์ฌ๊ตฌ์ฑ ๊ณผ์ ๋ฅผ ํ์ตํ๋ค. ์ค์ ์ผ์๋ฅผ ํ๋ด ๋ด๋ ค๊ณ ์ 20%๋ฅผ ์ง์ ๊ฐ๋ฆผ์ ๋ง๋ค๊ณ , ๋ฌด์์ ํ์ ยท์ด๋์ ์ฃผ๊ณ , ์ ๋ง๋ค ํ์คํธ์ฐจ 5 mm ๊ฐ์ฐ์์ ์ก์์ ๋ํ๋ค. ์์ค์ Chamfer ์ฌ๊ตฌ์ฑ + KL ์ ๊ทํ(\mathcal{L}=\mathcal{L}_R+\beta_t\mathcal{L}_{KL})๋ก, ์ฌ์ค์ VAE๋ค.
์ ์๋ค์ ์ด ๊ตฌ์ฑ์ด raw point cloud์์ ํ์ ๋ ์ฌ์ด ๊ฑฐ๋ฆฌ๋ฅผ ์ง์ ์ฌ๋ ๋ฐฉ์๋ณด๋ค ๋ซ๋ค๊ณ ์ฃผ์ฅํ๋ค. ์ผ์ ํ๊ณยท๊ฐ๋ฆผยท๋ณด์ ์ค์ฐจ๋ก ์ง์ ์ธก์ ์ ์ก์์ด ํฌ๋ค๋ ์ด์ ๋ค. ๋ค๋ง ์ด ๋น๊ต ์คํ์ ๋ ผ๋ฌธ์ ์๋ค(์๋ ์ฝ์ ์ฐธ๊ณ ).
๋ฐฉ๋ฒ ์์ธ 3: ์ ์์ค ์ ์ฑ (ยงIII-B2ยทB3)
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ์ ์ํ | \mathbf{s}^{hand}_t=[\mathbf{q}^{hand}_t,\dot{\mathbf{q}}^{hand}_t] |
| ๋๊ตฌ ์ํ | \mathbf{s}^{tool,low}_t=[\mathbf{v}_t,\boldsymbol{\omega}_t,\mathbf{z}_t] (์ base frame) |
| ์ ์ฑ ์ํ ์ฐจ์ | 26 |
| ํ๋ | ์๋ ๊ด์ ์์น ๋ณํ \mathbf{a}^{low}_t, ๋ค์ ๋ชฉํ \hat{\mathbf{q}}^{hand}_t=\mathbf{q}^{hand}_t+\mathbf{a}^{low}_t |
| ์ฃผ๊ธฐ | 20 Hz |
| ์ | Schunk SVH, ๊ด์ 20๊ฐ, ๋ฅ๋ ์์ ๋ 9 |
| ๋ชฉํ ์ํ๋ง | \mathbf{z}^{goal}\sim\mathcal{N}(0,1) |
26์ฐจ์์ ๋ฅ๋ ์์ ๋ 9์ ๊ฐ๋ยท์๋(18) + \mathbf{v}(3) + \boldsymbol{\omega}(3) + \mathbf{z}(2)๋ก ์ ํํ ๋ง๋๋ค(ํ์ ๊ฒ์ฐ). ๋ ผ๋ฌธ์ ์ํ ๊ณต๊ฐ์ โ์ฃผ์ด์ง ๋ชฉํโ๋ ํฌํจ๋๋ค๊ณ ์ฐ์ง๋ง 26์ฐจ์ ์ (2)์๋ ๋ชฉํ๊ฐ ์๋ค. ๋ชฉํ 2์ฐจ์์ ๋ฐ๋ก ๋ถ๋ ๊ฒ์ผ๋ก ๋ณด์ธ๋ค. ํ๋ ์ฐจ์๋ ์ ํ ์์ง ์์๋ฐ, ๋ฅ๋ ์์ ๋ 9๋ฅผ ๋ฐ๋ฅธ๋ค๋ฉด 9์ฐจ์์ผ ๊ฒ์ด๋ค(ํ์ ์ถ์ ).
๋๊ตฌ ์ํ๋ ์ผ์ ์ก์๊ณผ ๊ตฌ๋ ์ง์ฐ์ ์ค์ด๋ ค๊ณ ํํํ๋ค.
\bar{\mathbf{s}}^{tool,low}_t=\alpha\,\mathbf{s}^{tool,low}_t+(1-\alpha)\,\mathbf{s}^{tool,low}_{t-1},\qquad\alpha=0.9
๋ ผ๋ฌธ์ ์ด๊ฒ์ exponential moving average๋ผ๊ณ ๋ถ๋ฅด์ง๋ง, ์ ๊ทธ๋๋ก๋ฉด ์ฐ๋ณ ๋ ๋ฒ์งธ ํญ์ด ํํ๋ ๊ฐ \bar{\mathbf{s}}_{t-1}์ด ์๋๋ผ ์๋ ๊ฐ \mathbf{s}_{t-1}์ด๋ผ ๋ ์คํ ๊ฐ์ค ํ๊ท ์ด๋ค. ํ๊ธฐ ์ค์์ผ ์ ์๊ณ , ์ด๋ ์ชฝ์ด๋ \alpha=0.9๋ฉด ํํ ํจ๊ณผ๋ ์ฝํ๋ค.
๋ณด์์ ๋ ํญ์ด๋ค.
- goal reward r^{goal}_t=\exp(-c_{l1}\lVert\bar{\mathbf{z}}_t-\mathbf{z}^{goal}_t\rVert_2): ํํ๋ latent์ ๋ชฉํ latent์ ๊ฑฐ๋ฆฌ๋ฅผ ์ค์ธ๋ค.
- effort reward: ์ฌ๋์ ๋๊ตฌ ์์ธ๋ฅผ ์์ ๋ํด ๊ณ ์ ํ๊ณ ์๊ฐ๋ฝ ์์ง์์ ์ต์ํํ๋ค๋ ๊ด์ฐฐ์์ ๋์จ ํญ์ด๋ค. ๋๊ตฌ ์๋๋ก ์ ์ํ ๋ณํ T(\bar{\mathbf{v}}_t,\bar{\boldsymbol{\omega}}_t)๋ฅผ canonical point cloud์ ๊ฐ ์ ์ ์ ์ฉํ์ ๋ ์ด๋ํ ๊ฑฐ๋ฆฌ์ ํฉ์ ๋ฒํ๊ณ (๋๊ตฌ ํ๋ค๋ฆผ ์ต์ ), ์๊ฐ๋ฝ ๊ด์ ์๋ ๋ ธ๋ฆ์ ๋ฒํ๋ค.
r^{low}_t=r^{goal}_t+r^{effort}_t
effort ํญ์์ ๋๊ตฌ ์๋๋ฅผ ์ ์ด๋ ๊ฑฐ๋ฆฌ๋ก ๋ฐ๊พผ ๊ฒ์ ์ ์๋์ ๊ฐ์๋์ ๋จ์๋ฅผ ๋ง์ถ๋ ์ค์ฉ์ ๋ฐฉ๋ฒ์ด๋ค. ํ์ ์ด ๊ฐ์๋ ๋๊ตฌ๊ฐ ๊ธธ๋ฉด ๋์ด ๋ ๋ง์ด ์์ง์ด๋ฏ๋ก, ๊ฐ์๋๋ฅผ ๊ทธ๋๋ก ๋ฒํ๋ ๊ฒ๋ณด๋ค ๋๊ตฌ ๊ธฐํ์ ๋ง๋ ๋ฒ์ ์ด ๋๋ค.
๋ฐฉ๋ฒ ์์ธ 4: ๊ณ ์์ค ์ ์ฑ (ยงIII-C)
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ๋๊ตฌ ์ํ | \mathbf{s}^{tool,high}_t=[\bar{\mathbf{t}}_t,\bar{\boldsymbol{\theta}}_t,\mathbf{z}_t] (ํํํ ์ด๋ยทEuler ๊ฐ + latent) |
| ๋ฌผ์ฒด ์ํ | \mathbf{s}^{obj}_t=[\mathbf{p}^{obj}_t,\mathbf{p}^{tgt}_t] (๋ฌผ์ฒด ์์น, ๋์ ๋ชฉํ ์์น) |
| ๊ธฐ์ค ์ขํ๊ณ | ๋ชจ๋ ํ ๋๋จ์ ๊ณ ์ ๋ ์ base frame |
| ์ ์ฑ ์ํ ์ฐจ์ | 14 |
| ํ๋ | [\mathbf{z}^{goal},\mathbf{a}^{arm}_t], 5์ฐจ์. \mathbf{a}^{arm}_t๋ ํ base ๋๋น ์ ์ขํ๊ณ ์๋ |
| ํ ์ ์ด | \dot{\mathbf{q}}^{arm}=\mathbf{J}^{+}\mathbf{a}^{arm}_t, \mathbf{J}^{+}=\mathbf{J}^T(\mathbf{J}\mathbf{J}^T)^{-1} |
| ์ฃผ๊ธฐ | 20 Hz (์ ์์ค๊ณผ ๊ฐ์) |
14์ฐจ์์ ์ด๋ 3 + Euler ๊ฐ 3 + latent 2 + ๋ฌผ์ฒด ์์น 3 + ๋ชฉํ ์์น 3์ด๋ค(ํ์ ๊ฒ์ฐ). ํ๋ 5์ฐจ์์์ latent ๋ชฉํ 2๋ฅผ ๋นผ๋ฉด ํ ๋ช ๋ น์ 3์ฐจ์์ด๋ฏ๋ก, ํ์ ์ ์ขํ๊ณ์ ๋ณ์ง ์๋๋ง ๋ฐ๊ณ ์์ธ๋ ๊ณ ์ ๋๋ ๊ฒ์ผ๋ก ์ฝํ๋ค(ํ์ ์ถ์ , ๋ ผ๋ฌธ์ ์ฐจ์ ๋ถํด๋ฅผ ์ ์ง ์๋๋ค). ๋ชจ๋ ์์น๋ฅผ ์ base frame์์ ํํํ ์ด์ ๋ฅผ ์ ์๋ค์ ํ ์์ธ์ ๋ฌด๊ดํ๊ฒ ์๋ ์์น์๋ง ์์กดํ๊ฒ ํด ๋ฌผ์ฒดยท๋ชฉํ ์์น ์ผ๋ฐํ๋ฅผ ๋๊ธฐ ์ํด์๋ผ๊ณ ์ค๋ช ํ๋ค.
๋ณด์์ ์ธ ํญ์ ํฉ์ด๋ค.
r^{sparse}_t=c_{h1}\ \ (\lVert\mathbf{p}^{obj}_t-\mathbf{p}^{tgt}_t\rVert_2<1\text{ cm}),\qquad r^{dense}_t=\exp(-c_{h2}\lVert\mathbf{t}^{tool}_t-\mathbf{p}^{obj}_t\rVert_2)+c_{h3}\exp(-c_{h4}\lVert\mathbf{p}^{obj}_t-\mathbf{p}^{tgt}_t\rVert_2)
r^{penalty}_t=-c_{h5}\ \ (\text{๋๊ตฌ-๋ฌผ์ฒด ๋๋ ๋ฌผ์ฒด-๋ชฉํ ๊ฑฐ๋ฆฌ}>20\text{ cm, ๋๋ ํ ์ด๋ธ ์ถฉ๋}),\qquad r^{high}_t=r^{sparse}_t+r^{dense}_t+r^{penalty}_t
๊ณ ์์ค ์ํ์ ๋ฌผ์ฒด ํฌ๊ธฐยท๋ชจ์ ์ ๋ณด๊ฐ ์๋ค๋ ์ ์ ๊ธฐ์ตํด ๋ ๋งํ๋ค. ๋ฌผ์ฒด ์ํ๋ ์์น(์ค๊ธฐ์์๋ point cloud ์ค์ฌ)๋ฟ์ด๋ค. ๊ณ ์์ค ์ ์ฑ ์ด latent ๋ชฉํ๋ฅผ ๊ณ ๋ฅผ ๋ ์ธ ์ ์๋ ๋ฌผ์ฒด ์ ๋ณด๋ ์์น์, ๋๊ตฌ๊ฐ ๋ฌผ์ฒด์ ๋ฟ์ผ๋ฉด์ ์๊ธฐ๋ ๊ฒฐ๊ณผ๋ฟ์ด๋ค.
๋ฐฉ๋ฒ ์์ธ 5: privileged heuristic replay buffer (ยงIII-C3)
์-๋๊ตฌ์ ๋ค์ ์ ์ด๊ณผ ๋๊ตฌ-๋ฌผ์ฒด ์ ์ด ๋๋ฌธ์ ๊ณ ์์ค ์ ์ฑ ์ ๋ฌด์์ ํ์์ผ๋ก ํ์ตํ๋ฉด ๋๋ฆฌ๊ณ ๋ถ์ฐ์ด ํฌ๋ค. ๊ทธ๋์ ํ์ต์๊ฐ ๋ณผ ์ ์๋ ์ ๋ณด๋ฅผ ์ฐ๋ ์ ์ค๊ณ ์ ์ด๊ธฐ๋ก replay buffer๋ฅผ ์ฑ์ด๋ค.
- privileged ์ ๋ณด: ํ์ ๋ ๋์ ์ ์ ํํ ๊ณต๊ฐ ์์น, ๊ทธ๋ฆฌ๊ณ hinge joint์ ๋ํ ์ง์ ์ ์ด ๋ช ๋ น.
- ๋์: ๋์ ์ด ๋ฌผ์ฒด์์ ๋ฉ๋ฉด ๋น๋ก ์ ์ด๊ธฐ๋ก ๋๊ตฌ๋ฅผ ๋ฌผ์ฒด ์ชฝ์ผ๋ก ์ฎ๊ธด๋ค. ๋์ ์ด ๊ฐ๊น์์ง๋ฉด hinge joint๋ฅผ ์ง์ ๋ช ๋ นํด ํ์ ์ ๋ซ๋๋ค. ํ์ ์์ชฝ ๊ฐ๊ฒฉ์ด ๋ฌผ์ฒด ์ง๋ฆ๊ณผ ๊ฐ์์ง๋ฉด(์์ ํ์ง) ๋๊ตฌ๋ฅผ ๋ชฉํ ์์น๋ก ์ฎ๊ธด๋ค.
- ๊ธฐ๋ก: ๋๊ตฌยทํ ์ํ์ ํ ํ๋์ ๋งค ์คํ ์ ์ฅํ๋ค. ๊ทธ๋ฆฌ๊ณ ํ์ฌ ํ์ ์ latent ์ํ๋ฅผ ์ง์ ์คํ ์ ๊ณ ์์ค ํ๋ ์ถ๋ ฅ์ผ๋ก ๊ฐ์ฃผํด latent ๋ชฉํ ํ๋์ ์ฑ์ด๋ค.
๋ง์ง๋ง ํญ๋ชฉ์ด ์ด buffer์ ํต์ฌ ํธ๋ฆญ์ด๋ค. heuristic์ ์๊ฐ๋ฝ์ ์ฐ์ง ์๊ณ hinge๋ฅผ ์ง์ ๋๋ฆฌ๋ฏ๋ก โlatent ๋ชฉํโ๋ผ๋ ํ๋์ด ์๋ ์๋ค. ๊ทธ๋์ ๋ค์ ์คํ ์ ์ค์ ๋ก ๋๋ฌํ latent๋ฅผ ๊ทธ ์ ์คํ ์ ๋ชฉํ์๋ ๊ฒ์ฒ๋ผ ์ฌํ์ ๋ถ์ธ๋ค. hindsight relabeling๊ณผ ๊ฐ์ ๋ฐ์์ด๋ค. ๋ค๋ง ์ด ์ ์ด๋ โ์ ์์ค ์ ์ฑ ์ด ์๊ฐ๋ฝ์ผ๋ก ํ์ ์ ์์ง์ด๋ ์์คํ โ์ด ์๋๋ผ โhinge๊ฐ ๋ช ๋ น๋๋ก ์ฆ์ ์์ง์ด๋ ์์คํ โ์์ ๋์๋ค. ์ค์ ๊ณ์ธต ์์คํ ์์ ๊ฐ์ latent ๋ชฉํ๋ฅผ ์คฌ์ ๋ ์ ์์ค ์ ์ฑ ์ด ํ ์คํ ์์ ๊ฑฐ๊ธฐ ๋๋ฌํ๋ค๋ ๋ณด์ฅ์ ์๋ค. ์ ์๋ค๋ ์ด buffer๋ฅผ โimperfect yet highly informativeโ๋ผ๊ณ ๋ถ๋ฅธ๋ค.
ยงIII-D๋ ๋ ๊ฐ์ง๋ฅผ ๋ง๋ถ์ธ๋ค. ์ด๊ธฐ ํ์ง๋ ๋ฏธ๋ฆฌ ์ ์๋๊ณ ๋๊ตฌ๊ฐ ์์ ๋จ๋จํ ๊ณ ์ ๋ ์ํ๋ก ์์ํด ํ์ง ๋ณ๋์ ์์ด๊ณ , ๋๊ตฌยท๋ฌผ์ฒด ๋ํ์ ๋ํ ๋ช ์์ penalty๋ ๋ฃ์ง ์์๋ค. ๊ณ ์ ๋ ๋๊ตฌ ๋ฐฐ์น๊ฐ ๋ํ ์ํ์ ๋ณธ์ง์ ์ผ๋ก ์ค์ธ๋ค๋ ์ด์ ๋ค.
์ง๊ด: ์๊ฐ์ด ์๋๋ผ ํ๋ ๊ณต๊ฐ์ ๋๋ ๊ณ์ธต
๊ณ์ธต RL์ด๋ผ๊ณ ํ๋ฉด ๋ณดํต ์์ ์ ์ฑ ์ด ๋๋ฆฌ๊ฒ, ํ์ ์ ์ฑ ์ด ๋น ๋ฅด๊ฒ ๋๋ ์๊ฐ ์ถ์ํ(option, feudal)๋ฅผ ๋ ์ฌ๋ฆฐ๋ค. ์ด ๋ ผ๋ฌธ์ ๋ ์ ์ฑ ์ ๋ ๋ค 20 Hz๋ค. ์์ ์ ์ฑ ์ ๋งค ์คํ latent ๋ชฉํ์ ํ ์๋๋ฅผ ์๋ก ๋ธ๋ค. ๋ฐ๋ผ์ ์ด ๊ณ์ธต์ ๋ณธ์ง์ ์๊ฐ ์ถ์ํ๊ฐ ์๋๋ผ ํ๋ ๊ณต๊ฐ์ ๋ถํด๋ค. ํ(๋ณ์ง 3์ฐจ์)๊ณผ ์๊ฐ๋ฝ(9์ฐจ์ ๊ด์ )์ ํ ์ ์ฑ ์ด ๋ค๋ฃจ๋ ๋์ , ์๊ฐ๋ฝ 9์ฐจ์์ โ๋๊ตฌ ๋ชจ์ 2์ฐจ์โ์ด๋ผ๋ ์๋ฏธ ์๋ ์ถ์ผ๋ก ์์ถํด ์์ ์ ์ฑ ์ ๋๊ธด๋ค. ์์ ์ ์ฑ ์ ์ฅ์์ ํ์ ์ โ2์ฐจ์ ๋ค์ด์ผ์ด ๋ฌ๋ฆฐ ๊ทธ๋ฆฌํผโ๊ฐ ๋๋ค.
์ด๋ ๊ฒ ๋ณด๋ฉด Fig. 5(a)์ โw/o hierarchical structureโ ๊ณก์ ์ด ์ ๋ฎ์์ง ์ดํด๋๋ค. ํ๋ฉด ์ ์ฑ ์ ํ 3 + ์๊ฐ๋ฝ 9 = 12์ฐจ์ ํ๋์ผ๋ก ํ์ ๋ชจ์๊ณผ ์์น๋ฅผ ๋์์ ํ์ํด์ผ ํ์ง๋ง, ๊ณ์ธต ์ ์ฑ ์ ์ด๋ฏธ ํ์ต๋ ๋ชจ์ ๋ค์ด์ผ์ ๋๋ฆฌ๊ธฐ๋ง ํ๋ฉด ๋๋ค. ๊ฐ์ ์ด์ ๋ก ๊ณ ์์ค ์ ์ฑ ์ ๋ฅ๋ ฅ ์ํ๋ ์ ์์ค ์ ์ฑ ์ด ๋ฎ๋ latent ์์ญ์ ๋ฌถ์ธ๋ค. ์ ์์ค ํ์ต์์ ๋ชฉํ๋ฅผ \mathcal{N}(0,1)์์ ๋ฝ์ โgoal space coverageโ๋ฅผ ์ฅ๋ คํ ๊ฒ์ด ๊ทธ๋์ ์ค์ํ๋ค.
์คํ 1: ์๋ฎฌ๋ ์ด์ ์ค์ ๊ณผ domain randomization (ยงIV-A)
MuJoCo์ SAC๋ก ๋ ์ ์ฑ ์ ํ์ตํ๋ค. ์ ์ฑ ๋คํธ์ํฌ๋ ๋ ์ธต 256 ์ ๋ MLP์ ReLU๋ค.
| ๋์ | randomization | ๋ฒ์ |
|---|---|---|
| ์ ์์ค | ํผ๋๋ฐฑ ์ํ ์ง์ฐ | ์ต๋ 150 ms |
| ์ ์์ค | ์ ์ด ํ๋ผ๋ฏธํฐ(์ค๊ธฐ ์ค์ ๊ธฐ์ค) | 60%โ150%, ์ํผ์๋ ์์๋ง๋ค |
| ์ ์์ค | ์๊ฐ๋ฝยทํ์ ๋ง์ฐฐ ๊ณ์ | 0.2โ1, ์๊ฐ๋ฝ ๋ง๋๋ง๋ค ๋ค๋ฅด๊ฒ |
| ์ ์์ค | ๋๊ตฌ point cloud ์์ธ ๊ต๋ | ์ด๋ ยฑ2 cm, Euler ๊ฐ ยฑ30ยฐ |
| ์ ์์ค | ์ ๋ณ ๊ฐ์ฐ์์ ์ก์ | ํ์คํธ์ฐจ 3 mm |
| ์ ์์ค | ์ ์ ๊ฑฐ(๊ฐ๋ฆผ) | 20% |
| ๊ณ ์์ค | ๊ด์ธก ์ง์ฐ, ํ ์ ์ด๊ธฐ ํ๋ผ๋ฏธํฐ | ๋ฒ์ ๋ฏธ๊ธฐ์ฌ |
| ๊ณ ์์ค | ๋ฌผ์ฒด ์์น | 10ร10 cm ์์ญ ๋ฌด์์, ๋ชฉํ๋ ๊ทธ 5 cm ์ |
| ๊ณ ์์ค | ๋ง์ฐฐ ๊ณ์ | 1โ5 (์์ ์ ํ์ต์ ์ํด) |
| ๊ณ ์์ค | ๋ฌผ์ฒด ์์น ๊ด์ธก ์ก์ | ํ์คํธ์ฐจ 2 mm |
์๋ฎฌ๋ ์ด์ ์ ๋๊ตฌ point cloud๋ ๋ ๋๋งํ์ง ์๊ณ , ํ์ ๋ ๋ถํ์์ ๊ท ์ผ ์ํํ ์ ์ ์๋ฎฌ๋ ์ดํฐ์ ๋ถํ ์์ธ๋ฅผ ์ ์ฉํด ํฉ์ฑํ๋ค. ํจ์จ์ ์ํ ์ ํ์ธ๋ฐ, ๊ทธ ๊ฒฐ๊ณผ ์๋ฎฌ๋ ์ด์ ์ ๊ฐ๋ฆผ์ โ๋ฌด์์ 20% ์ ๊ฑฐโ์ด์ง ์๊ฐ๋ฝ์ด ์ค์ ๋ก ๊ฐ๋ฆฌ๋ ๊ตฌ์กฐ์ ๊ฐ๋ฆผ์ด ์๋๋ค. ๊ณ ์์ค ํ์ต์ ๋์ ๋ฌผ์ฒด๋ ๋ฐ์ง๋ฆ 1 cm, ๋ฌด๊ฒ 10 g์ ์ง์ ํ๋ ๊ตฌ ํ๋๋ค.
์คํ 2: ์ ์์ค ์ ์ฑ ๊ณผ effort reward (ยงIV-A, Fig. 4)

์ ์์ค ์ ์ฑ ํ์ต(Fig. 4). (a) effort reward ์ ๋ฌด์ ๋ฐ๋ฅธ ์ฑ๊ณต๋ฅ ๊ณก์ (์๋ 3๊ฐ, 2M ์คํ ). (b) ๋ฌด์์๋ก ์์ฑํ latent ๋ชฉํ 4๊ฐ๋ฅผ ์ํํ๋ ์ฅ๋ฉด.
effort reward๊ฐ ์๋ ์ชฝ(ํ๋)์ ์ฝ 0.75M ์คํ ์ ์ฑ๊ณต๋ฅ 0.8 ๊ทผ์ฒ์ ์ด๋ฅด๊ณ ์ดํ 0.75โ0.9์์ ์ค๋ฅด๋ด๋ฆฐ๋ค. ์๋ ์ชฝ(์ฃผํฉ)์ 1M ์คํ ์ 0.4โ0.5, 2M ์คํ ๋์ 0.7 ์ํ์ด๋ค(๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ). ์๋ ด ์๋ ์ฐจ์ด๋ ๋ถ๋ช ํ๋ค. ๋ค๋ง 1.75M ์คํ ์ดํ ๋ ๊ณก์ ์ ์ ๋ขฐ ๊ตฌ๊ฐ์ด ์๋น ๋ถ๋ถ ๊ฒน์น๋ฏ๋ก, โoverall performance๋ ๊ฐ์ ํ๋คโ๋ ๋ณธ๋ฌธ ์์ ์ ์ต์ข ์ฑ๋ฅ๋ณด๋ค ์๋ ด ์๋์ ๋ํ ์ฃผ์ฅ์ผ๋ก ์ฝ๋ ํธ์ด ์ ํํ๋ค. ์ ์์ค์ โ์ฑ๊ณตโ์ด latent ๊ฑฐ๋ฆฌ ์ผ๋ง ์ด๋ด์ธ์ง๋ ๋ ผ๋ฌธ์ ์ ์๋ผ ์์ง ์๋ค.
Fig. 4(b)์ ์ ์ฑ ๊ด์ฐฐ์ด ํฅ๋ฏธ๋กญ๋ค. ํ์ต๋ ์ ์ฑ ์ ๊ฒ์ง๊ฐ ํ์ชฝ ๋ค๋ฆฌ๋ฅผ ๊ฑธ์ด ๊ณ ์ ํ๊ณ , ์์งยท์ค์งยท๊ฒ์ง๊ฐ ํจ๊ป ๋ฒ๋ฆผ์ ์กฐ์ ํ๋ค. ์ ์๋ค์ ์ด๊ฒ์ด ์ฌ๋์ ํ์ ยท์ ๊ฐ๋ฝ ์ฌ์ฉ๋ฒ๊ณผ ๋ค๋ฅด๋ค๊ณ ์ธ์ ํ๋ค. ์ฌ๋์ ๋ถ๋๋ฌ์ด ์๋๊ณผ ๋ง์ฐฐ์ ๊ธฐ๋์ง๋ง, ๋ฏธ๋๋ฝ๊ณ ๋จ๋จํ ๋ก๋ด ์์์๋ ๊ทธ๋ฐ ์ ๋ต์ด ์ด๋ ต๊ธฐ ๋๋ฌธ์ด๋ค. ๋ชฉํ๋ฅผ โ์ฌ๋์ฒ๋ผ ์ฅ๊ธฐโ๊ฐ ์๋๋ผ โlatent ๋ชจ์ ๋๋ฌโ๋ก ์ค ๋๋ถ์ ์ ๊ตฌ์กฐ์ ๋ง๋ ๋ค๋ฅธ ์ ๋ต์ด ๋์๋ค๋ ํด์์ด๋ค.
์คํ 3: ๊ณ ์์ค ์ ์ฑ ๊ณผ privileged buffer (ยงIV-A, Fig. 5)

๊ณ ์์ค ์ ์ฑ ํ์ต(Fig. 5). (a) privileged buffer ์ ๋ฌด์ ๊ณ์ธต ๊ตฌ์กฐ ์ ๋ฌด์ ๋ฐ๋ฅธ ๋์ return(์๋ 3๊ฐ, 4M ์คํ ). (b) ํ๊ณผ ์์ด ํ์ํด ์์ ๊ตฌ๋ฅผ ์ง์ด ๋ชฉํ(์ ์ ํ๋ ๊ตฌ)๋ก ์ฎ๊ธฐ๋ ์ฅ๋ฉด.
| ์กฐ๊ฑด | ๋์ return ์ถ์ด (๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ) |
|---|---|
| w/ privileged buffer | 0.5M ์คํ ๊น์ง ์ฝ 20, ์ดํ ๊ธ์์นํด 1M์ 60๋, 2.5M ์ดํ 70โ80๋ |
| w/o privileged buffer | 3.5M ์คํ ๊น์ง ์ฝ 15โ20 ์ ์ฒด, 3.6M ์ดํ ์์นํด 4M์ ์ฝ 30 |
| w/o hierarchical structure | 4M ์คํ ๋ด๋ด ์ฝ 10โ15 |
privileged buffer์ ํจ๊ณผ๋ ํฌ๊ณ ๋ถ๋ช ํ๋ค. ๊ทธ๋ฐ๋ฐ ๋ ๊ฐ์ง๋ฅผ ์ง์ด์ผ ํ๋ค. ์ฒซ์งธ, buffer ์๋ ๊ณก์ ์ ๊ทธ๋ฆผ ๋์์ ์ค๋ฅด๊ธฐ ์์ํ๋ค. 4M ์คํ ์ด ๊ทธ ์กฐ๊ฑด์ ์๋ ด์ ์ด ์๋๋ฏ๋ก, ์ด ๊ทธ๋ฆผ์ โbuffer๊ฐ ํ์ต์ ๋น ๋ฅด๊ฒ ํ๋คโ๋ ๊ทผ๊ฑฐ์ด์ง โbuffer ์์ด๋ ๋ชป ๋ฐฐ์ด๋คโ๋ ๊ทผ๊ฑฐ๊ฐ ์๋๋ค. ๋ณธ๋ฌธ๋ โsignificantly acceleratesโ๋ผ๊ณ ์ฐ๋ ์์ ์์ฒด๋ ๋ง๋ค. ๋์งธ, ๋ น์ โw/o hierarchical structureโ ๊ณก์ ์ ๊ทธ๋ฆผ ๋ฒ๋ก์๋ ์์ง๋ง ์บก์ ์ ์๊ณ , ๋ณธ๋ฌธ์ ํ ๋ฌธ์ฅ(โhierarchical RL์ ์ฐ๋ฉด ํ์ต ํจ์จ์ด ๋ ์ค๋ฅธ๋คโ)์ผ๋ก๋ง ๋ค๋ฃฌ๋ค. ์ด ํ๋ฉด ์ ์ฑ ์ ํ๋ ๊ณต๊ฐ, ๋ณด์, privileged buffer ์ฌ์ฉ ์ฌ๋ถ๊ฐ ์ ํ ์ค๋ช ๋์ง ์๋๋ค. ๊ณ์ธต ๊ตฌ์กฐ๊ฐ ์ด ๋ ผ๋ฌธ์ ์ฒซ ๋ฒ์งธ ๊ธฐ์ฌ์ธ๋ฐ ๊ทธ๊ฒ์ ๋ฐ์น๋ ๋์กฐ๊ฐ ๊ฐ์ฅ ์ค๋ช ์ด ์ ์ ์ ์ด๋ค.
์คํ 4: ์ค๊ธฐ ๊ฒ์ฆ (ยงIV-B)
์ค๊ธฐ ์ธ์ ํ์ดํ๋ผ์ธ์ ๋ค์๊ณผ ๊ฐ๋ค. Azure Kinect DK์ RGB์์ ๋์ ๋ฌผ์ฒด์ ๋๊ตฌ๋ฅผ ๋ถํ ํ๊ณ point cloud๋ฅผ ๋ฝ๋๋ค. ๋๊ตฌ๋ outlier ์ ๊ฑฐ โ 2 mm voxel-grid downsampling โ ๋ฌด์์ 256์ ์ ํ์ผ๋ก ์ ๋ ฅ์ ๋ง๋ ๋ค. ๋ฌผ์ฒด๋ point cloud ์ค์ฌ์ ์์น๋ก ์ฐ๊ณ , ๋ชฉํ ์์น๋ ๊ทธ ์ค์ฌ์ 5 cm ์๋ก ๋๋ค.

์ค๊ธฐ์์ ๋ค ๊ฐ์ง ๋ชจ์์ ํ์ ์ผ๋ก ์ง๋ ์ฅ๋ฉด(Fig. 6). (a) ๊ตฌ, (b) ์ ์ก๋ฉด์ฒด, (c) ์๊ธฐ๋ฅ, (d) ์ ์ฌ๋ฉด์ฒด. ๊ฐ ํ์ ์ ๊ทผ โ ์ ๋ ฌ โ ์ค๋ฏ๋ฆฌ๊ธฐ โ ๋ค์ด์ฌ๋ฆฌ๊ธฐ ์์๋ค. ๋ฌผ์ฒด๋ ๋์ด 20 cm ๋ฐ์นจ๋ ์์ ์๋ค.

์ค๊ธฐ ์ ์์ค ์ ์ฑ (Fig. 7). ๊ฐ์ ์ ์์ธ์์ ํ์ ์ ์๋ก ๋ค๋ฅธ ๋ฒ๋ฆผ์ผ๋ก ์กฐ์ํ๋ค. ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก ๊ฐ์๋ก ๋ค๋ฆฌ ๋์ด ๋ชจ์ธ๋ค.
์ ์ฒด ๊ณ์ธต ์ ์ฑ ํ๊ฐ ์กฐ๊ฑด์ ๋ค์๊ณผ ๊ฐ๋ค. ํฌ๊ธฐ 1.5โ2.5 cm์ธ ๋ฌผ์ฒด 4์ข ์ ๋์ด 20 cm ๋ฐ์นจ๋์ ์ฌ๋ ค(ํยท์์ด ํ ์ด๋ธ๊ณผ ์ถฉ๋ํ์ง ์๊ฒ) ๋ฌผ์ฒด๋น 12ํ ์๋ํ๋ค. ์ฑ๊ณต์ 200 ์คํ (์ฝ 10์ด) ์์ ๋ฐ์นจ๋์์ ๋ฌผ์ฒด๋ฅผ ์ง์ด ๋๋ ๊ฒ์ด๋ค.

๋ฌผ์ฒด๋ณ ์ฑ๊ณต๋ฅ (Fig. 8). ๋ฏผ๋ฌด๋ฌ ๋ง๋๋ ์ฒซ ์๋(Single Grasp), ๋น๊ธ ๋ง๋๋ ์ฌ์๋ ํฌํจ(Multiple Grasp).
| ๋ฌผ์ฒด | ์ฒซ ์๋ | ์ฌ์๋ ํฌํจ |
|---|---|---|
| ๊ตฌ | 33.3% (4/12) | 58.3% (7/12) |
| ์ ์ก๋ฉด์ฒด | 75.0% (9/12) | 83.3% (10/12) |
| ์๊ธฐ๋ฅ | 58.3% (7/12) | 66.7% (8/12) |
| ์ ์ฌ๋ฉด์ฒด | 50.0% (6/12) | 75.0% (9/12) |
| ํ๊ท | 54.2% (26/48) | 70.8% (34/48) |
๋ฌผ์ฒด๋ณ ๊ฐ์ Fig. 8 ๋ง๋์์ ์ฝ์ ๊ฐ์ 12ํ ๊ธฐ์ค ํ์๋ก ํ์ฐํ ๊ฒ์ด๊ณ , ๊ทธ ํฉ(26/48, 34/48)์ด ๋ณธ๋ฌธ์ ํ๊ท 54.2%์ 70.8%์ ์ ํํ ์ผ์นํ๋ค(ํ์ ๊ฒ์ฐ). ํ๊ท ํ๋ณธ์ด 48ํ์ด๋ฏ๋ก 70.8%์ 95% ์ ๊ท๊ทผ์ฌ ๊ตฌ๊ฐ์ ์ฝ ยฑ13%p๋ค(ํ์ ๊ณ์ฐ). ๋ฌผ์ฒด๋ณ 12ํ๋ก๋ ๋ฌผ์ฒด ๊ฐ ์ฐจ์ด๋ฅผ ํต๊ณ์ ์ผ๋ก ๊ตฌ๋ถํ๊ธฐ ์ด๋ ต๋ค. โ์ฌ์๋โ๊ฐ ์ต๋ ๋ช ๋ฒ๊น์ง์ธ์ง, 200 ์คํ ์ ํ์ด ์ฌ์๋์๋ ๊ทธ๋๋ก ์ ์ฉ๋๋์ง๋ ๋ ผ๋ฌธ์ ์๋ค.
๊ตฌ๊ฐ ๊ฐ์ฅ ์ด๋ ต๋ค๋ ๊ฒฐ๊ณผ๋ ์ง๊ด๊ณผ ๋ง๋๋ค. ๊ตฌ๋ ๋ ์ ์ ์ด์ผ๋ก ์ง์ ๋ ์ ์ด ๋ฒ์ ์ด ์ ํํ ๋ง์ฃผ ๋ณด์ง ์์ผ๋ฉด ๋ฏธ๋๋ฌ์ ธ ๋๊ฐ๊ณ , ์๋ฎฌ๋ ์ด์ ์์ ํ์ตํ ๋์(๋ฐ์ง๋ฆ 1 cm ๊ตฌ)๊ณผ ๊ฐ์ ๋ชจ์์ธ๋ฐ๋ ๊ฐ์ฅ ๋ฎ๋ค. ์ ์ก๋ฉด์ฒด๋ ํํํ ๋ฉด ๋ ๊ฐ๊ฐ ์์ด ํ์ ๋ ๋ค๋ฆฌ์ ๋ฉด ์ ์ด์ ๋ง๋ค๊ธฐ ์ฝ๋ค(ํ์ ํด์).

์ผ์ ๋ฌผ์ฒด 6์ข ์ ์ฑ๊ณต ํ์ง(Fig. 9). ์ ์ผ์ชฝ๋ถํฐ ๋นํ๋ฏผ ๋ณ, ํ ์ดํ, ๋ฐ์ธ๋ ํด๋ฆฝ, ์๋ ์ผ์ชฝ๋ถํฐ ์ปคํผ ์บก์, ์ถฉ์ ๊ธฐ, ํผ ํจ๋ฉ.
Fig. 9๋ ์ฑ๊ณต ์ฅ๋ฉด๋ง ๋ณด์ธ๋ค. ์๋ ํ์์ ์ฑ๊ณต๋ฅ ์ด ์์ผ๋ฏ๋ก ์ผ๋ฐํ์ ์ ๋ ๊ทผ๊ฑฐ๋ก๋ ์ธ ์ ์๋ค. ์ ์๋ค์ ๋์ ๋ฌผ์ฒด ๊ธฐํ๋ฅผ ์ ๋ ฅ์ผ๋ก ๋ฃ์ง ์์๋๋ฐ๋ ์ ์์ค ์ ์ฑ ์ด ๋ค์ํ ๋๊ตฌ ๋ชจ์์ ๋ง๋ค ์ ์์ด ๋ค๋ฅธ ๊ธฐํ์ ์ ์ํ๋ค๊ณ ์ค๋ช ํ๋ค.
์คํ 5: ์คํจ ๋ถ์ (ยงIV-B, Fig. 10)

์คํจ ์ฌ๋ก(Fig. 10). (a) ๋ฌผ์ฒด ์์น ์ถ์ ์ด ๋ถ์ ํํด ํ์ ๋์ด ๊ตฌ๋ฅผ ๋น๋๊ฐ๋ค. (b) ์ฅ๋ ํ์ด ๋ถ์กฑํด ์ ์ก๋ฉด์ฒด์ ์ ์ฌ๋ฉด์ฒด๊ฐ ๋ฏธ๋๋ฌ์ง๋ค.
์ ์๋ค์ด ๋ณด๊ณ ํ๋ ์คํจ ์์ธ์ ์ธ ๊ฐ์ง๋ค.
- ๋ฌผ์ฒด ์์น ์ถ์ ์ค์ฐจ๊ฐ ์ฒซ ์๋ ์คํจ์ ์ฃผ์์ธ์ด๋ค. ํฅ๋ฏธ๋กญ๊ฒ๋ ์คํจํ ์๋๊ฐ ๋ฌผ์ฒด ์์ธ๋ฅผ ๋ฐ๊ฟ ๋ค์ ์๋๋ฅผ ์ฝ๊ฒ ๋ง๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์๊ณ , ์์ธ์ ๋ฐ๋ผ ๋์ด๋๊ฐ ํฌ๊ฒ ๋ฌ๋ผ์ง๋ ์ ์ฌ๋ฉด์ฒด์์ ํนํ ๊ทธ๋ฌ๋ค. ์ ์ฌ๋ฉด์ฒด์ ์ฒซ ์๋โ์ฌ์๋ ์์นํญ(50%โ75%)์ด ๋ค ๋ฌผ์ฒด ์ค ๊ฐ์ฅ ํฐ ๊ฒ๊ณผ ๋ง๋๋ค.
- ์ฅ๋ ํ ๋ถ์กฑ์ผ๋ก ์ธํ ๋ฏธ๋๋ฌ์ง.
- ํ์คํ ์ฅ๊ธฐ ์ ์ ๋๋ฌด ์ผ์ฐ ๋ค์ด ์ฌ๋ฆผ.
2์ 3์ ์ ์๋ค์ ์๋ ์ด๊ฐ ์ผ์๊ฐ ์๋ ํ์ผ๋ก ๋ณธ๋ค. ์๊ฐ์๋ง ์์กดํ๋ฉด ํ์ง ์ค ๋์์ ๋์ ์ผ๋ก ์กฐ์ ํ๊ธฐ ์ด๋ ต๋ค๋ ๊ฒ์ด๋ค. ๋ง๋ถ์ด๋ฉด, ๊ณ ์์ค ๋ณด์์ ์ฅ๋ ํ์ด๋ ํ์ง ์์ ์ฑ ํญ์ด ์๊ณ ์ฑ๊ณต ์กฐ๊ฑด์ด โ๋ชฉํ ์์น 1 cm ์ด๋ดโ๋ฟ์ด๋ผ๋ ์ ๋ 3๋ฒ ์คํจ(์กฐ๊ธฐ ๋ค์ด์ฌ๋ฆผ)์ ๋ฌด๊ดํ์ง ์์ ์ ์๋ค(ํ์ ํด์).
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ๋ฌธ์ ์ค์ ์์ฒด๊ฐ ์๋กญ๋ค. ๋ค์ง ์์ผ๋ก ๋ชจ์์ด ๋ฐ๋๋ ๋๊ตฌ๋ฅผ ์จ์ ๋ค๋ฅธ ๋ฌผ์ฒด๋ฅผ ๊ฐ์ ์ ์ผ๋ก ์ง๋ ๊ณผ์ ๋ฅผ ์ค๊ธฐ๊น์ง ๋๊ณ ๊ฐ๋ค. ๊ฐ์ฒด ๋๊ตฌ๋ ๊ทธ๋ฆฌํผํ ์ ๊ฐ๋ฝ์ ๋จธ๋ฌผ๋ ์ ํ ์ฐ๊ตฌ์ ๊ตฌ๋ถ๋๋ค.
- ์์ธ์ ๋ชจ์์ ๋๋๋ ํํ์ด ๊ฐ๋จํ๊ณ ์ค๋ช ๊ฐ๋ฅํ๋ค. SVD ์ ํฉ์ผ๋ก ์์ธ๋ฅผ ๋จผ์ ๋นผ๊ณ ๋๋จธ์ง๋ฅผ PointNet VAE์ ๋ฃ๋ ๊ตฌ์ฑ์, 2์ฐจ์ latent๊ฐ โ๋ชจ์โ์ ๋ด๋๋ก ๊ตฌ์กฐ์ ์ผ๋ก ์ ๋ํ๋ค. ์ ์ฑ ์ ๋ ฅ์ด 26์ฐจ์๊ณผ 14์ฐจ์์ผ๋ก ์์ SAC๋ก ํ์ตํ๊ธฐ ์ฝ๋ค.
- ๋ ์ ์ฑ ์ฌ์ด์ ์ธํฐํ์ด์ค๊ฐ ์๋ฏธ ์๋ ์์ด๋ค. ์์ ์ ์ฑ ์ ์๊ฐ๋ฝ 9๊ฐ ๊ด์ ์ด ์๋๋ผ โ๋๊ตฌ ๋ชจ์ 2์ฐจ์โ์ ์ง์ํ๋ค. ๊ณ์ธต์ด ๋จ์ํ ์ ์ฑ ๋ถํ ์ด ์๋๋ผ ์ถ์ํ๊ฐ ๋๋ค.
- effort reward์ ์ค๊ณ๊ฐ ๊ธฐํ์ ๋ง๋ค. ๋๊ตฌ ์๋๋ฅผ canonical point cloud ์ ์ด๋๋์ผ๋ก ๋ฐ๊ฟ ๋ฒํ๋ ๋ฐฉ์์ ์ ์๋ยท๊ฐ์๋ ๋จ์ ๋ฌธ์ ๋ฅผ ํผํ๊ณ ๋๊ตฌ ๊ธธ์ด๋ฅผ ๋ฐ์ํ๋ค. ์ ์ (Fig. 4a)๋ก ์๋ ด ๊ฐ์ ํจ๊ณผ๋ฅผ ๋ณด์๋ค.
- ์คํจ๋ฅผ ์จ๊ธฐ์ง ์๋๋ค. ์ฒซ ์๋์ ์ฌ์๋ ์ฑ๊ณต๋ฅ ์ ๋๋ ๋ณด๊ณ ํ๊ณ , ์คํจ ์ฅ๋ฉด(Fig. 10)๊ณผ ์์ธ์ ๊ตฌ์ฒด์ ์ผ๋ก ์ ์๋ค. ํค๋๋ผ์ธ 70.8%๊ฐ ์ฌ์๋ ํฌํจ ๊ฐ์ด๋ผ๋ ๊ฒ๋ ๋ณธ๋ฌธ์์ ๋ฐ๋ก ํ์ธ๋๋ค.
์ฝ์ ยทํ๊ณ
- ์ค๊ธฐ์ ๊ธฐ์ค์ ์ด ์๋ค. 70.8%๊ฐ ๋์์ง ๋ฎ์์ง ํ๋จํ ๋น๊ต ๋์์ด ์๋ค. ๊ฐ์ ํ๋์จ์ด์์ ๊ณ ์ ํจํด์ผ๋ก ํ์ ์ ๋ซ๋ ์คํฌ๋ฆฝํธ ์ ์ด๊ธฐ, ํ๋ฉด RL ์ ์ฑ , ๋์ ๊ฑฐ๋ฆฌ๋ฅผ ์ง์ ์ฌ๋ ํํ ๋ฑ ์ด๋ค ๋์กฐ๋ ์ค๊ธฐ์์ ๋๋ฆฌ์ง ์์๋ค.
- โ์ธ์ฝ๋๊ฐ ์ง์ ๊ฑฐ๋ฆฌ ์ถ์ ๋ณด๋ค ๋ซ๋คโ๋ ์ฃผ์ฅ์ ์คํ์ด ์๋ค. ์๋ก ์ raw point cloud์์ ๊ฑฐ๋ฆฌ๋ฅผ ์ง์ ์ฌ๋ ๋ฐฉ์์ด ์ก์์ ์ฝํ๋ค๋ฉฐ ์ธ์ฝ๋ ๋ฐฉ์์ด ์ด๋ฅผ ์ํํ๋ค๊ณ ์ฐ์ง๋ง, ๋ ํํ์ ๋น๊ตํ ๊ฒฐ๊ณผ๋ ์๋ฎฌ๋ ์ด์ ์๋ ์ค๊ธฐ์๋ ์๋ค. 2์ฐจ์ latent๊ฐ ๋ฌด์์ ๋ด๋์ง(๋ฒ๋ฆผ + ๋ฌด์?) ์๊ฐํ๋ ์๋ค.
- affordance ์์ ๊ณผ ์คํ ์ฌ์ด์ ๊ฐ๊ทน. ์ด๋ก๊ณผ ์๋ก ์ latent๊ฐ โ์ด๋ค ๋ชจ์์ด ์ด๋ค ํฌ๊ธฐ์ ๋ฌผ์ฒด๋ฅผ ์ง๊ฒ ํ๋์งโ๋ฅผ ๋ํ๋ธ๋ค๊ณ ๊ฐ์กฐํ๋ค. ๊ทธ๋ฌ๋ ๊ณ ์์ค ์ ์ฑ ์ ์๋ฎฌ๋ ์ด์ ์์ ๋ฐ์ง๋ฆ 1 cm ๊ตฌ ํ๋๋ก๋ง ํ์ตํ๊ณ , ์ํ์ ๋ฌผ์ฒด ํฌ๊ธฐยท๋ชจ์ ์ ๋ณด๊ฐ ์์ผ๋ฉฐ(์์น๋ง), ์ค๊ธฐ ๋ฌผ์ฒด๋ 1.5โ2.5 cm์ ์ข์ ๋ฒ์๋ค. ๊ณ ์์ค ์ ์ฑ ์ด ๋ฌผ์ฒด ํฌ๊ธฐ์ ๋ง์ถฐ latent ๋ชฉํ๋ฅผ ๊ณ ๋ฅธ๋ค๋ ์ฆ๊ฑฐ๋ ์ ์๋์ง ์์๋ค. ์ค์ ๋ก๋ โ๋์ด ๋ฌผ์ฒด์ ๋ฟ์ ๋๊น์ง ์ค๋ฏ๋ฆฐ๋คโ๋ ๋จ์ผ ์ ๋ต์ผ๋ก๋ ์ด ๋ฒ์๋ ๋ฎ์ผ ์ ์๋ค.
- ํ๋ฉด ์ ์ฑ ๋์กฐ๊ฐ ๊ฑฐ์ ์ค๋ช ๋์ง ์๋๋ค. ๊ณ์ธต ๊ตฌ์กฐ๊ฐ ์ฒซ ๋ฒ์งธ ๊ธฐ์ฌ์ธ๋ฐ, Fig. 5(a)์ โw/o hierarchical structureโ ๊ณก์ ์ ์บก์ ์ ์๊ณ ๋ณธ๋ฌธ ํ ๋ฌธ์ฅ๋ฟ์ด๋ค. ํ๋ ๊ณต๊ฐ, ๋ณด์, privileged buffer ์ฌ์ฉ ์ฌ๋ถ๋ฅผ ์ ์ ์์ด ์ด ๊ณก์ ์ด ๊ณ์ธต์ ํจ๊ณผ์ธ์ง buffer์ ํจ๊ณผ์ธ์ง ๋ถ๋ฆฌํ ์ ์๋ค.
- privileged buffer์ ๋์ญํ ๋ถ์ผ์น. buffer์ ์ ์ด๋ hinge joint๋ฅผ ์ง์ ๋ช ๋ นํ ์์คํ ์์ ๋์๊ณ , latent ๋ชฉํ ํ๋์ ๋ค์ ์คํ ์ ์ค์ latent๋ก ์ฌํ์ ์ฑ์ ๋ค. ์ ์์ค ์ ์ฑ ์ด ๊ทธ latent์ ํ ์คํ ์์ ๋๋ฌํ์ง ๋ชปํ๋ฉด buffer ์ ์ด๋ ์ค์ ๊ณ์ธต ์์คํ ์ ์ ์ด์ ์ด๊ธ๋๋ค. buffer ํฌ๊ธฐ, ์ ์ฑ ๋ฐ์ดํฐ์์ ํผํฉ ๋น์จ, ์ธ์ ๊น์ง ์ฐ๋์ง๋ ์ ํ ์์ง ์๋ค.
- ์๋ฎฌ๋ ์ด์ ๊ณผ ์ค๊ธฐ์ ์ฑ๊ณต ์ ์๊ฐ ๋ค๋ฅด๋ค. ์๋ฎฌ๋ ์ด์ ๊ณ ์์ค ์ ์ฑ ์ โ๋ฌผ์ฒด๋ฅผ ๋ชฉํ(5 cm ์)์ 1 cm ์ด๋ด๋ก ์ฎ๊ธฐ๊ธฐโ๋ก ๋ณด์๋ฐ๊ณ , ์ค๊ธฐ ํ๊ฐ๋ โ200 ์คํ ์์ ๋ฐ์นจ๋์์ ์ง์ด ๋ค๊ธฐโ๋ค. ์ค๊ธฐ ์ฑ๊ณต ๊ธฐ์ค์ด ๋ ๋์จํ ์ ์๋๋ฐ ๋ ๊ธฐ์ค์ ๊ด๊ณ๋ ๋ ผ์๋์ง ์๋๋ค. ์ฌ์๋ ํ์ ์ํ๋ ์๋ค.
- ์ฌํ์ ํ์ํ ์์๊ฐ ๋๋ถ๋ถ ๋น ์ ธ ์๋ค. c_{l1}โc_{l3}, c_{h1}โc_{h5}, \beta_t ์ค์ผ์ค, SAC ํ์ดํผํ๋ผ๋ฏธํฐ, ํ์ต ์คํ (๊ทธ๋ฆผ ์ถ์ผ๋ก ์ ์์ค 2Mยท๊ณ ์์ค 4M์ ์ง์ํ ๋ฟ), ์ ์์ค โ์ฑ๊ณตโ์ latent ๊ฑฐ๋ฆฌ ๊ธฐ์ค, ๊ณ ์์ค randomization ๋ฒ์๊ฐ ์๋ค. ์ (9) ์๋ ๊ณ์ ๋ชฉ๋ก์ c_{lh4}๋ c_{h4}์ ์คํ๋ก ๋ณด์ด๊ณ , ์ (1)์ EMA๋ผ๊ณ ๋ถ๋ฅด์ง๋ง ๋ ์คํ ๊ฐ์ค ํ๊ท ์ด๋ค. ์ฝ๋๋ ์๋ค.
- SVD ์ ํฉ์ ์ ์ ๊ฐ ๋ถ๋ถ๋ช ํ๋ค. SVD(Kabsch) ์ ํฉ์ ์ ๋์์ ์ ์ ํ๋๋ฐ, ๊ฐ๋ฆผ์ด ์๋ ๋ถ๋ถ point cloud์ canonical point cloud ์ฌ์ด์ ๋์์ ์ด๋ป๊ฒ ์ป๋์ง ์ค๋ช ์ด ์๋ค. ๋ ํ์ ์ด ๋ฒ์ด์ง๋ฉด canonical ํ์๊ณผ ๋ฌ๋ผ์ง๋ฏ๋ก, ๊ฐ์ฒด ์ ํฉ ๊ฒฐ๊ณผ ์์ฒด๊ฐ ๋ฒ๋ฆผ์ ๋ฐ๋ผ ํ๋ค๋ฆด ์ ์๋ค. ๊ทธ ํ๋ค๋ฆผ์ด ์๋ ์ถ์ ๊ณผ latent์ ์์ผ ๊ฐ๋ฅ์ฑ์ ๋ค๋ค์ง์ง ์๋๋ค.
- ๋ฒ์๊ฐ ์ข๋ค. 3D ํ๋ฆฐํธ ํ์ ํ๋, ์์ง ํ์ผ๋ก ์์ ๋ฏธ๋ฆฌ ๊ณ ์ ํ ์ด๊ธฐ ํ์ง, ์ด๊ฐ ์์. ์ ์๋ค๋ ๊ฒฐ๋ก ์์ ๋จ์ผ ๋๊ตฌ์ โ๋๊ตฌ๊ฐ ์ด๋ฏธ ์์ ์๋คโ๋ ๊ฐ์ ์ ํ๊ณ๋ก ๋ ๋ค. ๊ฐ์์ฒ๋ผ ๋ ์์ก์ด๋ฅผ ๋ฐ๋ก ์์ง์ด๋ ๋๊ตฌ๋ ๋๊ตฌ ํ์ง ํ๋๊น์ง ๊ฐ๋ ค๋ฉด ์๋นํ ํ์ฅ์ด ํ์ํ๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
articulated tool ์กฐ์. ๊ฐ์ ๋ฌธ์ ๋ฅผ ๋ค๋ฅธ ๊ธธ๋ก ํผ ์ต๊ทผ ์ฐ๊ตฌ๋ก Mana๊ฐ ์๋ค. Mana๋ ์ง๊ฒยทํ์นยท๋นจ๋์ง๊ฒยท์ฃผ์ฌ๊ธฐ 4์ข ์ ํ ์ด๋ธ์์ ์ง์ด ๋๋ ๊ฒ๋ถํฐ ์๋๊น์ง ๋ค๋ฃจ๊ณ , affordance ์ฃผ์ โ ๋๋ ํ์ง ํคํ๋ ์ ์์ฑ โ ๋ชจ์ ํ๋๋๊ณผ ์งง์ ํธ๋ผ์ด์ฆ RL๋ก ๊ถค์ ํฉ์ฑ โ point cloud ์กฐ๊ฑด๋ถ diffusion policy ์ฆ๋ฅ๋ผ๋ ๋ฐ์ดํฐ ์์ฑ ๊ฒฝ๋ก๋ฅผ ํํ๋ค. ์ด ๋ ผ๋ฌธ์ ๋๊ตฌ๋ฅผ ์์ ๊ณ ์ ํ ์ฑ ์์ํ๊ณ RL ์ ์ฑ ์ ๊ทธ๋๋ก ์ค๊ธฐ์ ์ฌ๋ฆฐ๋ค๋ ์ ์์ ๋ฒ์๊ฐ ์ข์ง๋ง, ๋๊ตฌ ๋ชจ์์ ๋ช ์์ ์ธ latent ์ํ๋ก ๋๊ณ ์ ์ฑ ์ฌ์ด ์ธํฐํ์ด์ค๋ก ์ด๋ค๋ ์ ์ด ๋ค๋ฅด๋ค. From Grasps to Dexterity๋ ๋ถ์ ๋๊ตฌ ์ฌ์ฉ์ ๊ณ์ธต์ผ๋ก ํผ๋ค. ๊ณ ์์ค ์ ์ฑ ์ด 16๊ฐ ์ keypoint sub-goal์ ๋ด๊ณ ๋๊ท๋ชจ ํ์ง ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ goal-conditioned ์ ์์ค ์ปจํธ๋กค๋ฌ๊ฐ ๊ทธ๊ฒ์ ๋ฐ๋ฅธ๋ค. ๋ ๋ ผ๋ฌธ ๋ชจ๋ โ์์๊ฐ ๋ชฉํ๋ฅผ ๋ด๊ณ ํ์๊ฐ ์์ผ๋ก ๋ง์ถ๋คโ๋ ๊ตฌ์กฐ๋ฅผ ๊ณต์ ํ์ง๋ง, ๋ชฉํ ๊ณต๊ฐ์ด ์ keypoint(์ ์ค์ฌ)๋ ๋๊ตฌ shape latent(๋๊ตฌ ์ค์ฌ)๋๊ฐ ๊ฐ๋ฆฐ๋ค.
๋ค์ง ์ ๊ณ์ธต RL. From Simple to Complex Skills๋ ๋ฏธ๋ฆฌ ํ์ตํ ํ์ skill ์์ planner๋ฅผ ๋ฌ in-hand ์ฌ๋ฐฐํฅ์ ํผ๋ค. HiFun์ ๊ณต๊ตฌ ์ฌ์ฉ์ hand skill(์ด๋ป๊ฒ ์ ์ดํ๋)๊ณผ coordination policy(์ด๋์ ์ธ์ ์ฐ๋)๋ก ๋๋ ์ค๊ธฐ RL๋ก ๋ฐฐ์ด๋ค. HiFun์ coordination policy๊ฐ ๊ณ ๋ฅด๋ ์ ์ถ์ ์คํฌ์ ํ์ฑ ์ ๋ ์ค์นผ๋ผ ํ๋์ด๊ณ , ์ด ๋ ผ๋ฌธ์ ๊ณ ์์ค ์ ์ฑ ์ด ๊ณ ๋ฅด๋ ์ ์ถ์ ๋๊ตฌ ๋ชจ์ 2์ฐจ์์ด๋ค. ๋ ๋ค โ์๊ฐ๋ฝ ์ ์ฒด๋ฅผ ์์ ์ ์ฑ ์์ ๋ผ์ด ๋ด๊ณ ์ ์ฐจ์ ์์ก์ด๋ง ๋จ๊ธด๋คโ๋ ๊ฐ์ ์๋ฆฌ๋ฅผ ์ด๋ค.
๋๊ตฌ ์ฌ์ฉ RL๊ณผ demonstration buffer. SimToolReal์ ๊ฐ์ฒด ๋๊ตฌ๋ฅผ ๋ชฉํ ์์ธ ์ํ์ค๋ก ์กฐ์ํ๋ object-centric RL ์ ์ฑ ํ๋๋ก ๋ค์ํ ๋๊ตฌ ์์ ์ zero-shot ์ ์ดํ๋ค. ๋๊ตฌ ์ํ๋ฅผ 6D ์์ธ๋ก ๋๋ ๊ฐ์ฒด ๋๊ตฌ ๊ด์ ์ ๋ํ์ ์ธ ์์ด๊ณ , ์ด ๋ ผ๋ฌธ์ ๊ฑฐ๊ธฐ์ โ๋ชจ์โ ์ถ์ ๋ํด์ผ ํ๋ ๊ฒฝ์ฐ๋ฅผ ๋ค๋ฃฌ๋ค. replay buffer๋ฅผ ์ฌ์ ๋ฐ์ดํฐ๋ก ์ฑ์ ํ์์ ๋๋ ๋ฐ์์ ์ฌ๋ ์์ฐ์ ์ฐ๋ DAPG ๊ณ์ด๊ณผ ๊ฐ์ ๋ฌธ์ ์์์ด์ง๋ง, ์ด ๋ ผ๋ฌธ์ ์์ฐ ๋์ privileged ์ ๋ณด๋ฅผ ๊ฐ์ง ์คํฌ๋ฆฝํธ ์ ์ด๊ธฐ๋ฅผ ์ด๋ค๋ ์ ์ด ๋ค๋ฅด๋ค.
์์ฝ
์ด ๋ ผ๋ฌธ์ ๋ค์ง ์์ผ๋ก ํ์ ๊ฐ์ articulated tool์ ์จ์ ์์ ๋ฌผ์ฒด๋ฅผ ์ง๋ ๋ฌธ์ ๋ฅผ, ๋๊ตฌ ๋ชจ์์ ๋ง์ถ๋ ์ ์์ค ์ ์ฑ ๊ณผ ๋๊ตฌ๋ฅผ ์ฎ๊ธฐ๋ฉฐ ๋ชจ์์ ์ง์ํ๋ ๊ณ ์์ค ์ ์ฑ ์ผ๋ก ๋๋๋ค. ๋ ์ ์ฑ ์ SVD ์ ํฉ๊ณผ PointNet VAE๋ก point cloud์์ ๋ฝ์ 2์ฐจ์ shape latent๋ก ์ด์ด์ง๊ณ , effort reward๊ฐ ์ ์์ค ํ์ต์, privileged heuristic buffer๊ฐ ๊ณ ์์ค ํ์ต์ ๊ฐ์ํ๋ค. Schunk SVH ์ ์ค๊ธฐ์์ 1.5โ2.5 cm ๋ฌผ์ฒด 4์ข ์ ์ฒซ ์๋ 54.2%, ์ฌ์๋ ํฌํจ 70.8%๋ก ์ง์๋ค.
์ค๊ณ์ ํต์ฌ์ ์๊ฐ ์ถ์ํ๊ฐ ์๋๋ผ ํ๋ ๊ณต๊ฐ ์ถ์ํ๋ค. ์๊ฐ๋ฝ 9์์ ๋๋ฅผ ๋๊ตฌ ๋ชจ์ 2์ฐจ์์ผ๋ก ์ ์ด ์์ ์ ์ฑ ์ ๋๊ธฐ๋ฉด ์์ ์ ์ฑ ์๊ฒ ํ์ ์ ๋ค์ด์ผ ๋ฌ๋ฆฐ ๊ทธ๋ฆฌํผ๊ฐ ๋๋ค. ๋ค๋ง ํ๊ฐ๊ฐ ์ด ์ค๊ณ๋ฅผ ์ถฉ๋ถํ ๋ฐ์น์ง๋ ๋ชปํ๋ค. ์ค๊ธฐ ๊ธฐ์ค์ ์ด ์๊ณ , ๊ณ์ธต ๊ตฌ์กฐ ๋์กฐ๋ ์ค๋ช ์ด ๊ฑฐ์ ์์ผ๋ฉฐ, affordance(๋ฌผ์ฒด ํฌ๊ธฐ์ ๋ง์ถ ๋ชจ์ ์ ํ)๋ ๋จ์ผ ํฌ๊ธฐ ๊ตฌ๋ก ํ์ตํ ์ ์ฑ ์์ ์ง์ ๊ฒ์ฆ๋์ง ์์๋ค. ์ฌํ์ ํ์ํ ์์๋ ์๋น์ ๋น ์ ธ ์๋ค. ์ด ๋ ผ๋ฌธ์ articulated tool ์กฐ์์์ โ๋๊ตฌ ๋ชจ์์ ์ ์ฑ ์ด ์ฝ๊ณ ์ง์ํ ์ํ๋ก ๋ง๋ ๋คโ๋ ๋ฐฉํฅ์ ๋ณด์ธ ์ด๊ธฐ ์ค์ฆ์ผ๋ก ์ฝ๋ ๊ฒ์ด ์ ์ ํ๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v1(2025-07-09, 8์ชฝ, IROS 2025 ์ฑํํ ํ๊ธฐ)์ HTML๊ณผ PDF๋ก ์ฝ์๋ค. HTML ๋ณํ์์ ์๋ฆฐ ๊ณ ์์ค ์ฑ๊ณต ์กฐ๊ฑด(1 cm)์ PDF์์ ํ์ธํ๋ค. ๊ทธ๋ฆผ 10์ฅ์ ๋ชจ๋ arXiv HTML์ ์๋ณธ์ด๊ณ , ๋ฐฐ์น๋ ๋ ผ๋ฌธ ๋ฒํธ ์์๋ฅผ ๋ฐ๋๋ค.
- ๊ณต๊ฐ ๋ฒ์: ์ฝ๋, ํ๋ก์ ํธ ํ์ด์ง, ์์ฐ ์์์ด ์๋ค. ๊ทธ๋์ ์ด ๋ฆฌ๋ทฐ์ ๋ชจ๋ ์์น๋ ๋ ผ๋ฌธ์ด ๋ณด๊ณ ํ ๊ฐ์ด๋ฉฐ ์ฝ๋ ๋์กฐ๋ ์ฌํ ํ์ธ์ ํ์ง ์์๋ค. ์์์ด ์์ด ๋ณธ๋ฌธ์ ์์์ ๋ฃ์ง ์์๋ค.
- ํ๊ธฐ: โ๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐโ์ Fig. 4ยท5ยท8์์ ๋์ผ๋ก ์ฝ์ ๊ทผ์ฌ์น๋ค. ์ค๊ธฐ ๋ฌผ์ฒด๋ณ ํ์ ๋ถ์๋ Fig. 8 ๋ง๋ ๊ฐ์ ๋ฌผ์ฒด๋น 12ํ๋ก ํ์ฐํ ๊ฒ์ผ๋ก, ํฉ์ด ๋ณธ๋ฌธ ํ๊ท ๊ณผ ์ผ์นํ๋ค. โํ์ ๊ฒ์ฐยท๊ณ์ฐโ์ ๋ ผ๋ฌธ ๊ฐ์ผ๋ก ์ง์ ๊ณ์ฐํ ๊ฐ(์ํ ์ฐจ์ ๋ถํด, ์ ๋ขฐ ๊ตฌ๊ฐ)์ด๊ณ , โํ์ ์ถ์ ยทํด์โ์ ๋ ผ๋ฌธ์ด ์ง์ ๋งํ์ง ์์ ์ถ๋ก (ํ๋ ์ฐจ์, ํ ๋ช ๋ น์ ๋ณ์ง ์ ์ฉ ์ฌ๋ถ, ์กฐ๊ธฐ ๋ค์ด์ฌ๋ฆผ๊ณผ ๋ณด์ ๊ตฌ์กฐ์ ๊ด๊ณ)์ด๋ค.