๐FlashSAC ๋ฆฌ๋ทฐ
Donghu Kim*, Youngdo Lee*, Minho Park, Kinam Kim, I Made Aswin Nahrendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee (* ๊ณต๋ 1์ ์)
Holiday Robotics ยท KAIST ยท KRAFTON ยท Turing ยท TU Darmstadt ยท hessian.AI ยท KTH ยท DFKI ยท RIG / RSS 2026 (arXiv v2, 2026-05-15)
- ๐ก PPO๋ ์์ ์ ์ด์ง๋ง on-policy ๋ฐ์ดํฐ๊ฐ ์ข์ ์ยทํด๋จธ๋ ธ์ด๋ ๊ฐ์ ๊ณ ์ฐจ์ ๋ฌธ์ ์์ ๊ฐ์น ํ๊ฐ๊ฐ ์ด๋ ต๊ณ , off-policy๋ ๋์ ๋ฐ์ดํฐ๋ฅผ ์ฐ์ง๋ง critic์ ๋ง์ถ๋ ค๋ฉด gradient update๊ฐ ๋ง์ด ํ์ํด ๋๋ฆฌ๊ณ bootstrapping ์ค์ฐจ๊ฐ ์์ธ๋ค. FlashSAC์ update ์๋ฅผ ํ ์ค์ด๋ ๋์ ๋ชจ๋ธยท๋ฐฐ์นยท๋ฐ์ดํฐ ์ฒ๋ฆฌ๋์ ํค์ฐ๊ณ , ๊ทธ ๊ท๋ชจ์์ critic์ด ๋ฌด๋์ง์ง ์๋๋ก weightยทfeatureยทgradient norm์ ๋ชจ๋ ๋ฌถ๋๋ค.
- โ๏ธ SAC ์์ 1,024 ๋ณ๋ ฌ ํ๊ฒฝ, 10M replay, batch 2,048, ์ ์ด 1,024๊ฐ๋น update 2ํ๋ฅผ ์น๊ณ , inverted residual ๋ธ๋ก + BatchNorm + post-RMSNorm + distributional critic(๋ณด์ ์ค์ผ์ผ๋ง) + weight normalization์ผ๋ก critic์ ์์ ํํ๋ฉฐ, ํ๋ ์ฐจ์์ ๋น๋กํ๋ entropy target๊ณผ noise repetition์ผ๋ก ํ์์ ๋ํ๋ค.
- ๐ฏ 10๊ฐ ์๋ฎฌ๋ ์ดํฐ 60์ฌ ๊ฐ ๊ณผ์ ์์ ๊ณ ์ฐจ์ ๊ณผ์ ์ผ์๋ก PPOยทFastTD3 ๋๋น ์ฐ์๊ฐ ํฌ๊ณ (Fig. 1 ์ง๊ณ: ๊ณ ์ฐจ์ 10๊ณผ์ ์ ๊ทํ ์ ์ FlashSAC ์ฝ 0.91(์ฝ 22๋ถ) vs PPO ์ฝ 0.53(์ฝ 76๋ถ), ๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐ), Unitree G1 ์ค๊ธฐ ๋ณดํ์ ํ์ง ์ฝ 20๋ถ(PPO ์ฝ 3์๊ฐ), ๊ณ๋จ ์ฝ 4์๊ฐ(PPO ์ฝ 20์๊ฐ) ํ์ต์ผ๋ก ์ฎ๊ฒจ์ก๋ค. ๋ค๋ง wall-clock์ ์ธก์ ์ด ์๋๋ผ ๊ตฌ์ฑ ์์ ์๊ฐ์ ํฉ์ผ๋ก ์ถ์ ํ ๊ฐ์ด๊ณ , sim-to-real ๋น๊ต๋ ๋ ๋ฐฉ๋ฒ์ ๋ณด์ ๊ฐ์ค์น๊ฐ ๋ค๋ฅด๋ค.
๐ Ping Review
๐ Ping โ A light tap on the surface. Get the gist in seconds.
์๋ฎฌ๋ ์ด์ ๊ธฐ๋ฐ ๋ก๋ด RL์ ๊ธฐ๋ณธ๊ฐ์ ์ค๋ซ๋์ PPO์๋ค. ์ฌ์กฑ๋ณดํยท๊ทธ๋ฆฌํผ ์กฐ์์ฒ๋ผ ์ํยทํ๋ ์ฐจ์์ด ๋ฎ๊ณ ์๋ฎฌ๋ ์ดํฐ๊ฐ ๋งค์ฐ ๋น ๋ฅธ ์์ญ์์๋ ๋ฐ์ดํฐ๋ฅผ ๋ฒ๋ ค๋ ๋ค์ ๋ชจ์ผ๋ฉด ๊ทธ๋ง์ด๊ธฐ ๋๋ฌธ์ด๋ค. ์ด ๋ ผ๋ฌธ์ ๊ทธ ์ ์ ๊ฐ ํด๋จธ๋ ธ์ด๋, dexterous manipulation, ๋น์ ์ ์ด๋ก ๋์ด๊ฐ๋ฉฐ ๊นจ์ง๋ค๊ณ ๋ณธ๋ค. ์ฐจ์์ด ๋์์ง๋ฉด ํ์ฌ ์ ์ฑ ์ฃผ๋ณ์ ์ข์ on-policy ๋ฐ์ดํฐ๋ง์ผ๋ก๋ ๊ฐ์น ํ๊ฐ๊ฐ ์ด๋ ค์์ง๊ณ , ์๋ฎฌ๋ ์ด์ ๊ณผ ์ ์ฑ ์ถ๋ก ๋ ๋น์ธ์ง๋ค(ยง1).
off-policy RL์ replay buffer๋ก ๋์ ๋ถํฌ๋ฅผ ์ฌ์ฌ์ฉํ๋ฏ๋ก ์์ฐ์ค๋ฌ์ด ๋์์ด์ง๋ง, ๋์ ๋ฐ์ดํฐ ์์์ critic์ ๋ง์ถ๋ ค๋ฉด update๊ฐ ๋ง์ด ํ์ํ๊ณ , critic์ด ์๊ธฐ ์์ธก์ target์ผ๋ก ์ฐ๋ bootstrapping ๋๋ฌธ์ ์ค์ฐจ๊ฐ ๋ฐ๋ณต update๋ฅผ ๋ฐ๋ผ ์ฆํญ๋๋ค. FlashSAC์ ๊ฒฐ์ ์ ์ฐจ์ด๋ โupdate๋ฅผ ๋ง์ด ํ๋โ ๋์ โupdate๋ฅผ ์ ๊ฒ, ํฌ๊ฒ ํ๋โ ์ฒด์ ๋ก ์ฎ๊ธด ๊ฒ์ด๋ค. ์ง๋ํ์ต์ scaling ๊ฒฝํฅ(๊ฐ์ ์ฐ์ฐ ์์ฐ์ด๋ฉด ํฐ ๋ชจ๋ธยทํฐ ๋ฐฐ์นยท์ ์ update๊ฐ ๋ ๋นจ๋ฆฌ ์๋ ดํ๋ค)์ off-policy RL์ ๊ฐ์ ธ์ค๊ณ , ๊ทธ ์ฒด์ ์์ ํฐ critic์ด ๋ถ์์ ํด์ง๋ ๋ฌธ์ ๋ฅผ norm ์ ์ฝ์ผ๋ก ๋ง๋๋ค.

๊ฒฐ๊ณผ ๊ฐ์(Fig. 1). (a) ์ ์ฐจ์ 15๊ณผ์ (Franka ์กฐ์, ์ฌ์กฑ๋ณดํ): FlashSAC์ PPO์ ๋น์ทํ๊ฑฐ๋ ์ฝ๊ฐ ๋๋ค. (b) ๊ณ ์ฐจ์ 10๊ณผ์ (AllegroยทShadow ์, G1ยทH1ยทT1 ํด๋จธ๋ ธ์ด๋): FlashSAC์ด ๋ ๋์ ์ ์์ ๋ ์งง์ ์๊ฐ ์์ ๋๋ฌํ๋ค. (c) Unitree G1 sim-to-real ๋ณดํ: ์๋ฎฌ๋ ์ด์ ์ ์๋ ์ถ์ข ๊ณก์ ์์ FlashSAC์ ์ฝ 30๋ถ, PPO๋ ์ฝ 180๋ถ.
ํต์ฌ ๋ฐฉ๋ฒ๋ก :
์ถ๋ฐ์ ์ off-policy critic์ bootstrapped Bellman ์์ค์ด๋ค(Eq. 1).
\mathcal{L}_Q=\mathbb{E}_{(s,a,r,s')\sim\mathcal{D}}\Big[\big(Q_\theta(s,a)-(r+\gamma Q_\theta(s',a'))\big)^2\Big],\qquad a'\sim\pi(\cdot\mid s')
target์ด Q_\theta ์์ ์ ์์กดํ๋ฏ๋ก, ๋ฐ์ดํฐ๊ฐ ํฌ๋ฐํ (s',a')์์ ์๊ธด ์ค์ฐจ๊ฐ update๋ง๋ค ํ์ฌ ๊ฐ์ผ๋ก ๋ฒ์ง๋ค. FlashSAC์ ์ธ ๋ฌถ์์ผ๋ก ๋์ํ๋ค(ยง4).
- Fast training: 1,024 ๋ณ๋ ฌ ํ๊ฒฝ, ์ต๋ 10M replay, actorยทcritic ํฉ๊ณ ์ฝ 2.5M ํ๋ผ๋ฏธํฐ์ 6์ธต ๋คํธ์ํฌ, batch 2,048, update-to-data(UTD) ๋น์จ 2/1024.
- Stable training: inverted residual ๋ธ๋ก, ๊ฐ ๋น์ ํ ์์ BatchNorm, ๋ง์ง๋ง ๋ธ๋ก ๋ค RMSNorm, 101๊ฐ atom์ categorical(distributional) critic, ๋งค step ๋ค weight๋ฅผ ๋จ์ ๊ตฌ๋ก ํฌ์ํ๋ weight normalization. distributional critic์ ๊ณ ์ ๋ ์ง์ง์งํฉ [G_{\min},G_{\max}] ์์ return์ด ๋ค์ด์ค๋๋ก ๋ณด์์ ๋๋๋ค(Eq. 6).
\bar r_t=\frac{r_t}{\max\!\Big(\sqrt{\sigma^2_{t,G}+\epsilon},\; G_{t,\max}/G_{\max}\Big)}
\sigma^2_{t,G}๋ ํ ์ธ return์ running ๋ถ์ฐ, G_{t,\max}๋ ์ง๊ธ๊น์ง ๋ณธ return ํฌ๊ธฐ์ ์ต๋๊ฐ์ด๋ค. ๋ถ๋ชจ์ ๋ ๋ฒ์งธ ํญ์ด โ์ต๋ return์ด ์ง์ง์งํฉ ๋์ ๋์ง ์๊ฒโ ํ๋ ํํ ์ญํ ์ ํ๋ค. - Exploration: entropy target์ ๊ณผ์ ๋ง๋ค ์ ํ์ง ์๊ณ ๊ณ ์ ํ์คํธ์ฐจ \sigma_{\text{tgt}}=0.15์ ๊ฐ์ฐ์์ entropy๋ก ์ ํ๋ค(Eq. 7). ํ๋ ์ฐจ์ |\mathcal A|์ ์ ํ ๋น๋กํ๋ค.
\bar{\mathcal H}=\tfrac12|\mathcal A|\log\!\big(2\pi e\,\sigma_{\text{tgt}}^2\big)
์ฌ๊ธฐ์ ํ๋ noise \epsilon\sim\mathcal N(0,I)๋ฅผ k step ๋์ ์ ์งํ๋ noise repetition์ ๋ํ๋ค. k๋ Zeta ๋ถํฌ P(k)\propto k^{-s}์์ ๋ฝ๋๋ค(s=2, ์ต๋ 16).
์ฃผ์ ๊ฒฐ๊ณผ:
- GPU ์๋ฎฌ๋ ์ดํฐ 25๊ณผ์ (Fig. 3): ์ ์ฐจ์ ๊ณผ์ ์์๋ PPO์ ๋น์ทํ๊ฑฐ๋ ์ฝ๊ฐ ๋๊ณ , ๊ณ ์ฐจ์ ๊ณผ์ (์ 2์ข ยทํด๋จธ๋ ธ์ด๋)์์๋ ์ ์์ ์๊ฐ ๋ชจ๋ ํฌ๊ฒ ์์ ๋ค. ์๋ฅผ ๋ค์ด Isaac Allegro Repose ์ต์ข return์ FlashSAC 5,199 vs FastTD3 4,306 vs PPO 912, Isaac G1 Rough๋ 41.2 vs 34.4 vs 11.3์ด๋ค(๊ณต๊ฐ ๊ฒฐ๊ณผ CSV์ ์ต์ข ํ๊ฐ 5-seed ํ๊ท , ํ์ ๊ณ์ฐ).
- CPU ์๋ฎฌ๋ ์ดํฐ 39๊ณผ์ (Fig. 4): ๋จ์ผ ํ๊ฒฝ 1M step์์ XQCยทSimbaV2ยทMR.QยทTD-MPC2ยทPPO๋ฅผ ๋์ฒด๋ก ์์ ๋ค. ๊ณต๊ฐ CSV ์ต์ข ๊ฐ์ผ๋ก ์ธ๋ฉด FlashSAC์ ๊ณตํต ๊ณผ์ ๊ธฐ์ค XQC๋ฅผ 25/29, SimbaV2๋ฅผ 35/39์์ ๊ฐ๊ฑฐ๋ ๋๋๋ค(ํ์ ๊ณ์ฐ).
- ๋น์ DMC 8๊ณผ์ (Fig. 5): 1M step์์ ๊ฒฝ์๋ ฅ ์๋ ์ ์์ ๋ ์งง์ ์๊ฐ ์์ ๋๋ฌํ๋ค. ๋จ, ๊ฐ์ 1M step ์ต์ข ๊ฐ๋ง ๋ณด๋ฉด MR.Q๊ฐ 8๊ณผ์ ์ค 5๊ณผ์ ์์ ๋ ๋๋ค(ํ์ ๊ณ์ฐ, ์๋ Ring ์ฐธ์กฐ).
- Sim-to-real(G1, 29 DoF): ํ์ง ์ฝ 20๋ถ vs PPO ์ฝ 3์๊ฐ, ๊ณ๋จ(์ค๊ธฐ 15 cm) ์ฝ 4์๊ฐ vs PPO ์ฝ 20์๊ฐ(ยง5.4, Fig. 6).
- ๋ถ์(ยง6): replay buffer๋ 10M๊น์ง ํค์ธ์๋ก ์ข๊ณ 50M์ 50M step ์์ฐ์์๋ ๋๋ฆฌ๋ค(Fig. 8a). ์ํคํ ์ฒ ๊ตฌ์ฑ ์์๋ฅผ ํ๋์ฉ ๋ํ๋ฉด ์ฑ๋ฅ์ด ์ค๋ฅด๋๋ฐ, ๊ฐ์ฅ ํฐ ๋์ฝ์ distributional critic + reward scaling์ด๋ค(Fig. 9).
๊ฒฐ๋ก :
FlashSAC์ ์ ์์ค์ด๋ ์ ์ด๋ก ๋ณด๋ค โ์ด๋ ์ฒด์ ์์ off-policy๋ฅผ ๋๋ฆด ๊ฒ์ธ๊ฐโ์ ๋ํ ๊ณตํ์ ์ฒ๋ฐฉ์ด๋ค. SimbaV2ยทXQCยทCrossQ๊ฐ ์์ ์จ norm ์ ์ฝ ๊ณ์ด ์์ ํ๋ฅผ FastTD3๋ฅ ๋๊ท๋ชจ ๋ณ๋ ฌ ์ฒด์ ์ ๋ถ์ด๊ณ , update๋ฅผ ์ค์ฌ wall-clock์ ์๊ผ๋ค. ๊ณ ์ฐจ์ ๊ณผ์ ์์์ ์ผ๊ด๋ ์ด๋๊ณผ ํ์ต๊ณก์ ์์๋ฃ ๊ณต๊ฐ๋ ๊ฐ์ ์ด๋ค. ๋ฐ๋ฉด wall-clock์ ์ถ์ ๊ฐ์ด๊ณ , ์ค๊ธฐ ๋น๊ต๋ ๋ณด์ ์ค๊ณ๊ฐ ๋ค๋ฅด๋ฉฐ, ๋ ผ๋ฌธ ๋ณธ๋ฌธยท๋ถ๋ก ํยท๊ณต๊ฐ ์คํฌ๋ฆฝํธ ์ฌ์ด์ UTDยทn-stepยท๊ณผ์ ์ ๊ฐ์ ๋ถ์ผ์น๊ฐ ์ฌ๋ฟ ์๋ค.
๐ Ring Review
๐ Ring โ An idea that echoes. Grasp the core and its value.
ํ ์ค๋ก ์์ํ๋ฉด
off-policy RL์ด ๋๋ฆฐ ์ด์ ๋ update๊ฐ ๋ง์์ผ ํ๊ธฐ ๋๋ฌธ์ด๊ณ , update๊ฐ ๋ง์ผ๋ฉด bootstrapping ์ค์ฐจ๊ฐ ์์ธ๋ค. ๊ทธ๋ฌ๋ update๋ฅผ ์ค์ด๊ณ ๋์ ๋ฐ์ดํฐยท๋ฐฐ์นยท๋ชจ๋ธ์ ํค์ฐ๋, ๊ทธ ํฐ critic์ด ์ค์ฐจ๋ฅผ ์ฆํญํ์ง ์๋๋ก weightยทfeatureยทgradient์ ํฌ๊ธฐ๋ฅผ ๊ตฌ์กฐ์ ์ผ๋ก ๋ฌถ์ด๋ผ. FlashSAC์ ์ด ์ฒ๋ฐฉ์ ํ๋์ ๊ณ ์ ๋ ์ค์ ์ผ๋ก 60์ฌ ๊ฐ ๊ณผ์ ์ ์ ์ฉํด PPO๊ฐ ๊ธฐ๋ณธ๊ฐ์ธ sim-to-real ํ์ดํ๋ผ์ธ์ off-policy๋ฅผ ๋ฃ์ ์ ์๋ค๊ณ ์ฃผ์ฅํ๋ค.
๋ฐฐ๊ฒฝ: ์ PPO๊ฐ ๊ธฐ๋ณธ๊ฐ์ด์๊ณ , ์ ์ด์ ํ๋ค๋ฆฌ๋๊ฐ (ยง1)
PPO์ ์ฅ์ ์ ์์ ์ฑ๊ณผ ํ๋ ์ฉ์ด์ฑ์ด๋ค. ๋ฒ๋ฆฌ๋ ๋ฐ์ดํฐ๊ฐ ์๊น์ง ์์ ๋งํผ ์๋ฎฌ๋ ์ดํฐ๊ฐ ๋น ๋ฅด๋ฉด ์ด ์ฅ์ ์ด ๋จ์ ์ ์๋ํ๋ค. ๊ทธ๋์ sim-to-real RL์ด ๊ฐ์ฅ ์ ๋ ์์ญ์ ์ฌ์กฑ๋ณดํ๊ณผ ๊ทธ๋ฆฌํผ ์กฐ์, ์ฆ ์ ์ฐจ์ + ์ด๊ณ ์ ์๋ฎฌ๋ ์ดํฐ ์กฐํฉ์ด์๋ค.
๋ ผ๋ฌธ์ ์ด ์กฐํฉ์ด ํ๋ ๋ก๋ด ํ์ต์ ๋ํํ์ง ๋ชปํ๊ฒ ๋๋ค๊ณ ์ฃผ์ฅํ๋ค. ๊ทผ๊ฑฐ๋ ์ธ ๊ฐ์ง๋ค.
- ์ฐจ์: ํด๋จธ๋ ธ์ด๋ยท๋ค์ง ์ยท๋น์ ์ ์ด๋ ์ํยทํ๋ ์ฐจ์์ด ํฌ๋ค. ํ์ฌ ์ ์ฑ ์ฃผ๋ณ์ ๋ชฐ๋ฆฐ on-policy ๋ฐ์ดํฐ๋ก๋ ๊ฐ์น ํ๊ฐ์ ์ ์ฑ ๊ฐ์ ์ด ์ด๋ ต๋ค.
- ์๋ฎฌ๋ ์ด์ ๋น์ฉ: ๋ณต์กํ ์ ์ด ์ญํ์ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ๋๋ฆฌ๊ฒ ํ๋ค.
- ์ ์ฑ ํฌ๊ธฐ: ํฐ ์ ์ฑ ์ rollout ์์ฒด๊ฐ ๋น์ธ๋ค.
on-policy๊ฐ ๊ณผ๊ฑฐ ๋ฐ์ดํฐ๋ฅผ ์ฐ๋ ค๋ฉด importance sampling์ด ํ์ํ๋ฐ, ๊ณ ์ฐจ์ ์ฐ์ ํ๋์์๋ importance weight์ ๋ถ์ฐ์ด ๋๋ฌด ์ปค์ ์ค์ฉ์ ์ด์ง ์๋ค(ยง2.1). ๊ทธ๋์ off-policy๊ฐ โ์์ฐ์ค๋ฌ์ด ๋์โ์ด์ง๋ง, critic ํ์ต์ด ๋๋ฆฌ๊ณ ๋ถ์์ ํด์ sim-to-real์ ๊ธฐ๋ณธ๊ฐ์ด ๋์ง ๋ชปํ๋ค๋ ๊ฒ์ด ๋ ผ๋ฌธ์ ๋ฌธ์ ์ค์ ์ด๋ค.
๊ด๋ จ ์ฐ๊ตฌ: ์ธ ๊ฐ๋๋ฅผ ํ๋๋ก ๋ฌถ๋๋ค๋ ์ฃผ์ฅ (ยง2)
์ด ๋ ผ๋ฌธ์ ๊ด๋ จ ์ฐ๊ตฌ๋ฅผ ์๋ก ์งํ์ ๋๊ณ , ๊ธฐ์กด off-policy model-free ์ฐ๊ตฌ๋ฅผ ์ธ ๊ฐ์ง ๊ณผ์ ๋ก ๋๋๋ค(v2์์ exploration์ด ์ธ ๋ฒ์งธ ๊ฐ๋๋ก ์ถ๊ฐ๋๋ค).
| ๊ฐ๋ | ๋ํ ์ฐ๊ตฌ(๋ ผ๋ฌธ ์ธ์ฉ) | ๋ ผ๋ฌธ์ด ์ง์ ํ๋ ํ๊ณ |
|---|---|---|
| ์๋: ๋ณ๋ ฌ ์๋ฎฌยทํฐ replay | PQL, FastTD3, FastSAC | ์ฝ 0.2M ํ๋ผ๋ฏธํฐ์ ์์ ๋คํธ์ํฌ๋ผ ์ ๊ทผ ์ฑ๋ฅ์ด ์ ํ๋๊ณ , ํค์ฐ๋ฉด ๋ถ์์ |
| ์์ ์ฑ: featureยทweightยทgradient norm ์ ์ฝ | CrossQ, BRO, SimBa, SimbaV2, CrossQ-WN, XQC ๋ฑ | ํฐ ๋ชจ๋ธ์ด ์๋ ดํ๋ ค๋ฉด update๊ฐ ๋ง์ ๋ฐ์ดํฐ๊ฐ ํ๋ถํ ์๋ฎฌ ์ฒด์ ์์ ๋๋ฆผ |
| ํ์: ์๊ฐ ์๊ด noise | OU noise, pink noise, gSDE, ฮตz-greedy | ๋๋ฆฌ๊ณ ๋ถ์์ ํ ํ์ต์ด๋ผ๋ ๋ณ๋ชฉ์ ๊ทธ๋๋ก |
FlashSAC์ ์์น๋ ์ด ํ์ ์ธ ํ์ ํฉ์น ๊ฒ์ด๋ค. ์์ ์ฑ ๊ฐ๋๋ ์ด ๋ธ๋ก๊ทธ์ SimBa ๋ฆฌ๋ทฐ์์ ๋ค๋ฃฌ ๊ณ๋ณด์ ์ง์ ์ด์ด์ง๋ค. FlashSAC์ ์ ์ ์ค Hojoon LeeยทDonghu KimยทJaegul ChooยทTakuma Seno๋ SimBa ์ ์์ด๊ณ , PalenicekยทPeters๋ CrossQ-WNยทXQC ์ชฝ ์ ์๋ค. ๊ทธ๋์ ์ด ๋ ผ๋ฌธ์ โ๋จ์ ๊ธฐ๋ฒ์ ์กฐํฉํ๋คโ๊ธฐ๋ณด๋ค ๋ ์์ ํ ๊ณ๋ณด์ ์ ์๋ค์ด FastTD3์ ๋ณ๋ ฌ ์ฒด์ ๋ก ํจ๊ป ์ฎ๊ฒจ ์จ ๊ฒฐ๊ณผ๋ก ์ฝ๋ ํธ์ด ์ ํํ๋ค.
model-based(DreamerV3, TD-MPC2)๋ ๊ณํยท๋ชจ๋ธ ํ์ต ๋น์ฉ ๋๋ฌธ์ wall-clock์ด ์ค์ํ ์ฒด์ ์์ ํ์ฅ์ฑ์ด ๋จ์ด์ง๋ค๊ณ ์ ๋ฆฌํ๋ค(ยง2.2).
์ฌ์ ์ง์: SAC (ยง3)
FlashSAC์ clipped double Q๋ฅผ ์ฐ๋ SAC ์์ ์ ์๋ค. ์ ์ฑ ์ ์ํธ๋กํผ ๋ณด์ ๋ Q๋ฅผ ์ต๋ํํ๊ณ (Eq. 2), critic ๋ ๊ฐ๋ EMA target ๋คํธ์ํฌ \bar\phi_j\leftarrow\tau\phi_j+(1-\tau)\bar\phi_j๋ก ๋ง๋ target์ ๋ง์ถ๋ค.
\mathcal L_\pi(\theta)=\mathbb E_{s\sim\mathcal D,\,a\sim\pi_\theta}\Big[\alpha\log\pi_\theta(a\mid s)-\min_{i=1,2}Q_{\phi_i}(s,a)\Big]
y=r+\gamma\Big(\min_{j=1,2}Q_{\bar\phi_j}(s',a')-\alpha\log\pi_\theta(a'\mid s')\Big),\qquad a'\sim\pi_\theta(\cdot\mid s')
๋ ผ๋ฌธ์ SAC์ entropy ์ต๋ํ๊ฐ ๊ณ ์ฐจ์์์ ํนํ ์ค์ํ๋ค๊ณ ๊ฐ์กฐํ๋ค. ํ์์ด ๋ถ์กฑํ๋ฉด replay buffer์ ์ปค๋ฒ๋ฆฌ์ง๊ฐ ๋๋น ์ง๊ณ , ๊ทธ๊ฒ์ด ๊ณง critic์ ์ธ์ฝ ์ค์ฐจ๊ฐ ๋๋ค๋ ์ฐ๊ฒฐ์ด๋ค.
๋ฐฉ๋ฒ ์์ธ (ยง4)
(i) Fast training: update๋ฅผ ์ค์ด๊ณ ๋๋จธ์ง๋ฅผ ํค์ด๋ค
| ํญ๋ชฉ | ํ์ค off-policy ์ค์ (๋ ผ๋ฌธ ์์ ) | FlashSAC(GPU ์๋ฎฌ) |
|---|---|---|
| ๋ณ๋ ฌ ํ๊ฒฝ | ์์ | 1,024 |
| replay buffer | 1M | ์ต๋ 10M |
| ๋คํธ์ํฌ | 0.2~0.5M ํ๋ผ๋ฏธํฐ, 2~3์ธต MLP | actorยทcritic ํฉ๊ณ ์ฝ 2.5M, 6์ธต |
| batch | (๋ช ์ ์์) | 2,048 |
| UTD | ์ ์ด๋น ์ฌ๋ฌ ๋ฒ | ์ ์ด 1,024๊ฐ๋น 2ํ |
| ๊ตฌํ | (๋ช ์ ์์) | PyTorch JIT(torch.compile), mixed precision(5~10% ๋จ์ถ) |
๋ ผ๋ฆฌ๋ ์ง๋ํ์ต์ scaling ๋ฒ์น(Kaplan et al., 2020)์์ ์๋ค. ๊ณ ์ ์ฐ์ฐ ์์ฐ์์ ํฐ ๋ชจ๋ธ + ํฐ ๋ฐฐ์น + ์ ์ update๊ฐ ์์ ๋ชจ๋ธ + ์ฆ์ update๋ณด๋ค ๋นจ๋ฆฌ ์๋ ดํ๋ค. ์ด๊ฒ์ off-policy์ ๋ฐ๋ก ๋ชป ์ด ์ด์ ๋ ํฐ critic์ด bootstrapping์์ ๋ถ์์ ํด์ง๊ธฐ ๋๋ฌธ์ด๊ณ , FlashSAC์ (ii)๋ก ๊ทธ ์ฅ์ ๋ฅผ ์น์ด ๋ค ์ด ์ฒด์ ๋ฅผ ํํ๋ค.
๋ ๊ฐ์ง ํด์ ํฌ์ธํธ๊ฐ ์๋ค.
- โ2.5M-parameter, 6-layer network for both the actor and criticโ์ ํฉ๊ณ๋ค. ๊ณต๊ฐ ๊ธฐ๋ณธ ์ค์ (actor ์๋ 128ยท๋ธ๋ก 2, critic ์๋ 256ยท๋ธ๋ก 2, ํ์ฅ ๋น์จ 4, critic 2๊ฐ)์ผ๋ก ์ธ๋ฉด G1 Flat ๊ธฐ์ค actor ์ฝ 0.29M, critic ๋ ๊ฐ ํฉ ์ฝ 2.24M, ํฉ๊ณ ์ฝ 2.53M์ด๋ค. โ6์ธตโ์ ์ ๋ ฅ ์๋ฒ ๋ฉ 1 + ๋ธ๋ก 2๊ฐ ร Linear 2 + ์ถ๋ ฅ head 1์ด๋ค. actor ํผ์์๋ 0.3M ์์ค์ผ๋ก, ๋ ผ๋ฌธ์ด โ์๋คโ๊ณ ํ FastTD3(์ฝ 0.2M)์ ํฐ ์ฐจ์ด๊ฐ ์๋ค. ํค์ด ๊ฒ์ ์ฃผ๋ก critic์ด๋ค.
- UTD๋ ๋ณธ๋ฌธ(ยง4.1)์ด 2/1024, ๋ถ๋ก Table 9๊ฐ 2/2048๋ก ์๋ก ๋ค๋ฅด๋ค. ๊ณต๊ฐ ์คํฌ๋ฆฝํธ๋
num_train_envs=1024,updates_per_interaction_step=2๋ก ๋ณธ๋ฌธ๊ณผ ๊ฐ๋ค. Fig. 8e์ ์ถ ๋ผ๋ฒจ๋ x/1024๋ค. ๋ถ๋ก ํ๊ฐ ์ค๊ธฐ๋ก ๋ณด์ธ๋ค.
(ii) Stable training: norm์ ์ ๋ถ ๋ฌถ๋๋ค

FlashSAC ์ํคํ ์ฒ(Fig. 2). BatchNorm โ Linear ์๋ฒ ๋ฉ, [Linear(dโ4d) โ BatchNorm โ ReLU โ Linear(4dโd) โ BatchNorm โ ReLU] + residual์ N๋ฒ, ๋ง์ง๋ง์ RMSNorm โ Linear head.
๋ค์ฏ ์ฅ์น๋ ๊ฐ์ ๋ค๋ฅธ ํฌ๊ธฐ๋ฅผ ๋ฌถ๋๋ค.
| ์ฅ์น | ๋ฌถ๋ ๋์ | ๋ ผ๋ฌธ์ ๊ทผ๊ฑฐ |
|---|---|---|
| Inverted residual ๋ธ๋ก | gradient ํ๋ฆ | Transformer FFN์ ํ์ฅยท์ถ์ + skip(ยง4.2) |
| Post-RMSNorm | ์ํ๋ณ feature norm | ๋ถํฌ ๋ฐ ์ ๋ ฅ์ด ๋ฌดํ์ ํฐ ํ์ฑ์ ๋ง๋ค์ง ์๊ฒ(ยง4.2) |
| Pre-activation BatchNorm | ํ์ฑ ์ค์ผ์ผ | replay ๋ฐ์ดํฐ๊ฐ ์ฌ๋ฌ ์ ์ฑ ์ ํผํฉ์ด๋ผ ์ ๋ ฅ ๋ถํฌ๊ฐ ๋น์ ์(non-stationary). LayerNorm ๋์ BN์ ํํ ์ด์ ๋ ํฐ ๋ฐฐ์น ํต๊ณ๋ฅผ ์จ์ loss landscape์ condition number๋ฅผ ๋ฎ์ถ๊ธฐ ์ํจ(ยง4.2) |
| Cross-batch value prediction | BN ํต๊ณ์ ์ผ๊ด์ฑ | ํ์ฌ (s,a)์ ๋ค์ (s',a')๋ฅผ ํ ๋ฐฐ์น๋ก ๋ฌถ์ด ๊ฐ์ BN ํต๊ณ๋ฅผ ์ฐ๊ฒ ํ๋ค(CrossQ ๋ฐฉ์) |
| Distributional critic + reward scaling | target์ ์ก์ ๋ฏผ๊ฐ๋, return ๋ฒ์ | categorical cross-entropy๊ฐ loss landscape๋ฅผ ๋งค๋๋ฝ๊ฒ ํ๊ณ , Eq. 6์ด return์ ์ง์ง์งํฉ ์์ ๋๋ค |
| Weight normalization | weight norm | ๋งค step ๋ค ๊ฐ weight ๋ฒกํฐ๋ฅผ ๋จ์ ๊ตฌ๋ก, ์ ๊ทํ์ธต์ (\gamma,\beta)๋ฅผ norm \sqrt d๋ก ํฌ์. ์ ๋ณด๋ฅผ ํฌ๊ธฐ๊ฐ ์๋๋ผ ๋ฐฉํฅ์ผ๋ก ํํํ๊ฒ ํ๋ค |
๋ณธ๋ฌธ ์์ ๋ง์ผ๋ก๋ ์ ๋๋ฌ๋์ง ์๊ณ ๊ทธ๋ฆผยท๊ณต๊ฐ ์ฝ๋์์ ํ์ธ๋๋ ์ธ๋ถ๊ฐ ์ ์๋ค.
- ์ ๋ ฅ ๊ด์ธก์๋ BatchNorm์ด ์๋ค. Fig. 2์ ์ฒซ BatchNorm ๋ฐ์ค๊ฐ ๊ทธ๊ฒ์ด๊ณ , ๊ณต๊ฐ ์ฝ๋๋ ์๋ฒ ๋ฉ Linear ์์ BN์ ๋๋ค. ๋ณธ๋ฌธ์ โ๊ฐ ๋น์ ํ ์์ BNโ๋ง ์ค๋ช ํ์ง๋ง, ์ด BN์ด ์ฌ์ค์ ๊ด์ธก ์ ๊ทํ๊ธฐ๋ค. SimBa๋ RSNorm(running ํต๊ณ ๊ธฐ๋ฐ ๊ด์ธก ํ์คํ)์ ํต์ฌ ๋ถํ์ผ๋ก ๋ด์ธ์ ๊ณ BNยทLayerNorm์ผ๋ก๋ ๊ทธ ํจ๊ณผ๊ฐ ์ ๋ฌ๋ค๊ณ ๋ณด๊ณ ํ๋๋ฐ(SimBa ๋ฆฌ๋ทฐ์ Fig. 12 ์ ), FlashSAC์ ๊ทธ ์๋ฆฌ๋ฅผ ๋ฐฐ์น ํต๊ณ BN์ผ๋ก ๋ฐ๊ฟจ๋ค. ๋ ผ๋ฌธ์ ์ด ๊ต์ฒด์ ์ด์ ๋ฅผ ๋ฐ๋ก ๋ ผํ์ง ์๋๋ค.
- cross-batch๋ฅผ ์ฐ๋ฉด์๋ target network๋ฅผ ์ ์งํ๋ค. CrossQ๋ ์ด concat์ผ๋ก target network๋ฅผ ์์ค ๊ฒ์ด ํต์ฌ์ด์๋๋ฐ, FlashSAC์ ฯ=0.01์ EMA target critic์ ๊ทธ๋๋ก ๋๊ณ , target critic๋ ๋ฐฐ์น ํต๊ณ ๋ชจ๋๋ก ๋๋ฆฐ๋ค. ๊ณต๊ฐ ์ฝ๋์ EMA๋ ํ๋ผ๋ฏธํฐ๋ง ์ฎ๊ธฐ๊ณ BN์ running ํต๊ณ ๋ฒํผ๋ ๋ณต์ฌํ์ง ์์ผ๋ฏ๋ก, target์ ๋ฐฐ์น ํต๊ณ๋ก ๋๋ฆฌ๋ ๊ฒ์ด ์ผ๊ด๋ ์ ํ์ด๋ค.
- residual ๊ฐ์ง์ ๋์ด ReLU๋ค. ๋ธ๋ก ์ถ๋ ฅ์ด x+\mathrm{ReLU}(\mathrm{BN}(\cdot))์ด๋ผ ๊ฐ ๋ธ๋ก์ feature์ 0 ์ด์์ธ ๊ฐ๋ง ๋ํ๋ค. ๋ธ๋ก์ ์์์๋ก feature ํฌ๊ธฐ๊ฐ ํ ๋ฐฉํฅ์ผ๋ก ์ปค์ง ์ ์๊ณ , ๋ง์ง๋ง RMSNorm์ด ๊ทธ๊ฒ์ ๋ค์ ๋ฌถ๋ ๊ตฌ์กฐ๋ค. Fig. 9c์์ โ+Residualโ ๋จ๊ณ์ feature norm์ด MLP๋ณด๋ค๋ ์์ง๋ง ํ์ต ๋ด๋ด ์ปค์ง๋ ๊ฒ๊ณผ ๋ง์๋จ์ด์ง๋ค(ํ์์ ํด์).
(iii) Exploration: ์ฐจ์์ ๋ง์ถ entropy์ ์๊ด๋ noise
Unified entropy target. SAC์ ์๋ temperature ์กฐ์ ์ target entropy๋ฅผ ๊ณผ์ ๋ง๋ค ์ ํด์ผ ํ๋ค. FlashSAC์ โํ๋ ์ฐจ์๋ง๋ค ํ์คํธ์ฐจ 0.15์ ๊ฐ์ฐ์์โ์ ํด๋นํ๋ entropy๋ฅผ target์ผ๋ก ์ด๋ค. ์ฐจ์๋น ๊ฐ์ \tfrac12\log(2\pi e\cdot0.15^2)\approx-0.478 nat์ด๋ค(ํ์ ๊ณ์ฐ). ํ๋์ด 37์ฐจ์์ธ Isaac G1์ด๋ฉด ์ฝ โ17.7์ด๋ค.
Noise repetition. pink noiseยทOU noise๋ ํ๊ฒฝ๋ณ๋ก ์๊ด noise ๊ณผ์ ์ ์ ์งํด์ผ ํด์ 1,024 ๋ณ๋ ฌ ํ๊ฒฝ์์๋ ๊ณ์ฐยท๋ฉ๋ชจ๋ฆฌ ๋ถ๋ด์ด ํฌ๋ค. FlashSAC์ noise ๋ฒกํฐ ํ๋๋ฅผ k step ์ ์งํ๋ค. s=2, ์ต๋ 16์ ์ ๋จ Zeta ๋ถํฌ๋ฉด P(k=1)\approx0.63, \mathbb E[k]\approx2.13, P(k\ge8)\approx0.046์ด๋ค(ํ์ ๊ณ์ฐ). ๋๋ถ๋ถ์ ์งง๊ฒ, ๊ฐ๋ ๊ธธ๊ฒ ๊ฐ์ ๋ฐฉํฅ์ผ๋ก ๋ฐ์ด ์ค๋ค. ๊ณต๊ฐ ์ฝ๋๋ ํ๋์ \tanh(\mu+\sigma\epsilon)์ผ๋ก ๋ง๋ค๊ณ \epsilon๋ง ๊ณ ์ ํ๋ฏ๋ก, ๊ฐ์ noise๊ฐ ์ ์ง๋๋ ๋์์๋ ์ ์ฑ ์ \mu,\sigma ๋ณํ๋ ๊ทธ๋๋ก ๋ฐ์๋๋ค. ๋ k์ ์นด์ดํฐ๋ ๋ชจ๋ ํ๊ฒฝ์ด ๊ณต์ ํ๋ ์ค์นผ๋ผ๋ผ์ 1,024๊ฐ ํ๊ฒฝ์ด ๊ฐ์ step์ ๋์์ noise๋ฅผ ๋ค์ ๋ฝ๋๋ค. ์ด๊ฒ์ ๋ ผ๋ฌธ์ โwithout per-environment overheadโ(ยง2.2), โminimal local stateโ(ยง4.3)์ ๋ง๋ ๊ตฌํ์ด๋ค. ๋ ผ๋ฌธ์ ์ ํ ์์ง ์์ ๊ฒ์ ์ํผ์๋๊ฐ ๋๋ ํ๊ฒฝ์ด reset๋ผ๋ \epsilon์ ๋ค์ ๋ฝ์ง ์๋๋ค๋ ์ ํ๋๋ค.
์ง๊ด: ์ โ์ ๊ฒ, ํฌ๊ฒโ๊ฐ ํตํ๋๊ฐ
off-policy์ ๋๋ฆผ์ ๋ณดํต โ์ํ ํจ์จ์ ์ข์๋ฐ wall-clock์ด ๋์๋คโ๋ก ์์ฝ๋๋ค. ์ ์ด ํ๋๋น ์ฌ๋ฌ ๋ฒ updateํ๋ฏ๋ก update ๋น์ฉ์ด ์๋ฎฌ๋ ์ด์ ๋น์ฉ์ ์๋ํ๋ค. FlashSAC์ ๊ด์ ์ ์ด ๋น์ฉ ๊ตฌ์กฐ๋ฅผ ๋ค์ง๋ ๊ฒ์ด๋ค. 1,024๊ฐ ํ๊ฒฝ์ด ๋งค step 1,024๊ฐ ์ ์ด๋ฅผ ๋ง๋ค๊ณ , ๊ทธ ์ฌ์ด update๋ ๋ ๋ฒ๋ฟ์ด๋ค. update ํ ๋ฒ์ด ์ฒ๋ฆฌํ๋ ์ ๋ณด๋(batch 2,048 ร ํฐ critic)์ ๋๋ ค update ํ์๋ฅผ ๋์ ํ๋ค. GPU๋ ์์ ํ๋ ฌ ๊ณฑ ์ฌ๋ฌ ๋ฒ๋ณด๋ค ํฐ ํ๋ ฌ ๊ณฑ ํ ๋ฒ์ ํจ์ฌ ํจ์จ์ ์ด๋ฏ๋ก ์ด ๊ตํ์ wall-clock์ ์ ๋ฆฌํ๋ค.
๊ทธ๋ฌ๋ฉด ์ ๋ค๋ฅธ ์ฌ๋๋ค์ ์ด๊ฑธ ์ ํ๋. update๊ฐ ์ ์ผ๋ฉด ํ ๋ฒ์ update๊ฐ ํฌ๊ฒ ์์ง์ฌ์ผ ํ๊ณ , ํฐ critic์ ๊ทธ ํฐ ์์ง์์์ ์ธ์ฝ ์ค์ฐจ๋ฅผ ๋ ํฌ๊ฒ ๋ง๋ ๋ค. ์ฌ๊ธฐ์ norm ์ ์ฝ์ด โํฐ ๊ฑธ์์ ๊ฑธ์ด๋ ๋์ด์ง์ง ์๊ฒโ ํ๋ ์ญํ ์ ํ๋ค. weight๋ฅผ ๋จ์ ๊ตฌ์ ๋ถ์ก์ผ๋ฉด effective learning rate๊ฐ weight ํฌ๊ธฐ์ ๋ฐ๋ผ ์ค์ด๋๋ ํ์์ด ์ฌ๋ผ์ง๊ณ , feature๋ฅผ RMSNorm์ผ๋ก ๋ฌถ์ผ๋ฉด ์ฒ์ ๋ณด๋ (s',a')์์๋ critic ์ถ๋ ฅ์ด ํญ์ฃผํ์ง ์์ผ๋ฉฐ, distributional critic์ target์ ์ก์์ cross-entropy๋ก ํก์ํ๋ค.
Fig. 7์ ์ด ๋ ผ๋ฆฌ์ ๋ค๋ฅธ ์ชฝ ์ ๋ฐ, ์ฆ โ์ off-policy ๋ฐ์ดํฐ๊ฐ ํ์ํ๊ฐโ๋ฅผ ๋ณด์ฌ ์ฃผ๋ ค๋ ๊ทธ๋ฆผ์ด๋ค.

Off-policy vs on-policy ๋ฐ์ดํฐ ์ปค๋ฒ๋ฆฌ์ง(Fig. 7). Isaac Shadow Hand์์ FlashSAC์ 1M step ํ์ตํ ๋ค (a) replay buffer์ ์ํ๊ณผ (b) ์ต์ข ์ ์ฑ ์ 1M step ๋ ๊ตด๋ฆฐ ์ํ์ ๋ฌผ์ฒด y ์์น ร ์๊ฐ๋ฝ ๊ด์ ํ๋ 2D ๋ฐ๋. (a)๊ฐ ํจ์ฌ ๋๋ค.
๊ทธ๋ฆผ ์์ฒด๋ ์ค๋๋ ฅ์ด ์์ง๋ง, ๋น๊ต ๋์์ด PPO๊ฐ ๋ชจ์ ๋ฐ์ดํฐ๊ฐ ์๋๋ผ FlashSAC ์ต์ข ์ ์ฑ ์ rollout์ด๋ผ๋ ์ ์ ์ฃผ์ํด์ผ ํ๋ค. replay buffer๊ฐ ๋์ ๊ฒ์ ํ์ต ์ด๊ธฐ์ ์ํฐ ์ ์ฑ ๋ฐ์ดํฐ๋ฅผ ๋ค ํ๊ณ ์๊ธฐ ๋๋ฌธ์ด๊ธฐ๋ ํ๋ค. ๊ทธ๋ฌ๋ ์ด ๊ทธ๋ฆผ์ด ๋ณด์ฌ ์ฃผ๋ ๊ฒ์ โreplay buffer๊ฐ ์ต์ข ์ ์ฑ ๋ถํฌ๋ณด๋ค ๋๋คโ๋ ๊ฑฐ์ ์ ์์์ ์ฌ์ค์ด๊ณ , โPPO์ on-policy ๋ฐ์ดํฐ๊ฐ ํ์ต ์ค์ ์ด๋งํผ ์ข์์ PPO๊ฐ ์ง๋คโ๋ ์ธ๊ณผ๊น์ง๋ ์๋๋ค. ๋ ผ๋ฌธ๋ โsuggestsโ๋ผ๋ ๋์ฌ๋ฅผ ์ด๋ค(ยง6.1).
์คํ: ์ ์
| ์คํ | ์๋ฎฌ๋ ์ดํฐ(๊ณผ์ ์) | step ์์ฐ | ๋น๊ต ๋์ | FlashSAC ์ค์ |
|---|---|---|---|---|
| ์ํ ๊ธฐ๋ฐ, GPU(ยง5.1) | IsaacLab 12, MuJoCo Playground 4, ManiSkill 6, Genesis 3 = 25 | 50M(PPO 200M) | PPO(RSL-RL), FastTD3 | ๋จ์ผ ์ค์ , ฮณ๋ง ์๋ฎฌ ๊ธฐ๋ณธ๊ฐ |
| ์ํ ๊ธฐ๋ฐ, CPU(ยง5.2) | MuJoCo 5, DMC 10, HumanoidBench 14, MyoSuite 10 | 1M(PPO 4M) | PPO, XQC, SimbaV2, TD-MPC2, MR.Q | batch 512, UTD 1 |
| ๋น์ (ยง5.3) | DMC 8 | 1M, action repeat 2 | DrQ-v2, MR.Q | batch 256, UTD 0.5, 3-step, frame stack 3 |
| Sim-to-real(ยง5.4) | IsaacLab, G1 29 DoF blind ๋ณดํ | ์๊ฐ์ผ๋ก ๋ณด๊ณ | PPO(DreamWaQ ํ์ดํ๋ผ์ธ) | 4,096 ํ๊ฒฝ, A100 1์ฅ |
๊ณผ์ ๋ถ๋ฅ๋ ์ ์ฐจ์ 15๊ฐ(Franka, AnyMal-C/D, Go2)์ ๊ณ ์ฐจ์ 10๊ฐ(Allegro, Shadow, G1, H1, Booster T1)๋ค. ๋ถ๋ก ํ์ ์ฐจ์์ ๋ณด๋ฉด ๊ณ ์ฐจ์ ์ชฝ๋ ํ๋ 16~37์ฐจ์, ๊ด์ธก 69~310์ฐจ์์ผ๋ก ๋๋ถ๋ถ ์์ญ~์๋ฐฑ ์ฐจ์์ด๋ค.
wall-clock์ RTX 5090 + Ryzen 9 9950X3D ํ ๋ ๊ธฐ์ค์ ์ถ์ ๊ฐ์ด๋ค(๋ถ๋ก A). ํ๊ฒฝ ์ํธ์์ฉ ์๊ฐ(์๋ฎฌ๋ ์ด์ ยทbuffer ์ฐ์ฐ)์ ํ๊ฒฝ๋ง๋ค, ์๊ณ ๋ฆฌ์ฆ update ์๊ฐ(์ถ๋ก ยทgradient update)์ ๋ํ ํ๊ฒฝ(์ํ ๊ธฐ๋ฐ์ MuJoCo Humanoid-v4, ๋น์ ์ DMC Walker-run)์์ ๋ฐ๋ก ์ฌ์ ๋ํ๋ค. ๋ชจ๋ ๊ทธ๋ํ์ โCompute Timeโ ์ถ์ด ์ด ํฉ์ด๋ค.
baseline์ โ๊ณต๊ฐ ๊ฒฐ๊ณผ๊ฐ ์์ผ๋ฉด ๊ทธ๊ฒ์, ์์ผ๋ฉด ๊ณต์ ๊ตฌํ์ผ๋ก ์ฌํโํ๋ค(ยง5.1). FlashSAC์ ๋จ์ผ ์ค์ ์ด๊ณ baseline์ ๊ณผ์ ๋ณ ํ๋์ ์ด๋ค๊ณ ์ ๋๋ค.
์คํ: ์ํ ๊ธฐ๋ฐ, GPU ์๋ฎฌ๋ ์ดํฐ (ยง5.1)

GPU ์๋ฎฌ๋ ์ดํฐ ๊ฒฐ๊ณผ(Fig. 3). (a) ์ ์ฐจ์: Franka Open DrawerยทLift Cube, ManiSkill Pull Cube, Genesis Go2 Walk, Isaac AnymalC Rough. (b) ๊ณ ์ฐจ์: Isaac AllegroยทShadow Repose, MJP Booster T1ยทG1 Flat, Isaac G1 Rough. x์ถ์ ์ถ์ compute time(๋ถ).
๋ ผ๋ฌธ์ ์ฃผ์ฅ์ ์ธ ๋ฌธ์ฅ์ด๋ค. ์ ์ฐจ์์์๋ PPO๋ณด๋ค ์ฝ๊ฐ ๋ซ๊ณ , ๊ณ ์ฐจ์์์๋ ๋ถ๋ช ํ ๋ซ๊ณ , FastTD3๋ณด๋ค ์์ ์ ์ด์ด์ FastTD3๊ฐ ์คํจํ๋ ๊ณผ์ (Go2 Walk, Franka Pull Cube)์์๋ ์๋ ดํ๋ค.
ํ์ต๊ณก์ ์์๋ฃ๊ฐ ๋ ํฌ results/์ ๊ณต๊ฐ๋ผ ์์ด ๊ทธ๋ฆผ์ ๋์ ์ ์ซ์๋ก ํ์ธํ ์ ์๋ค. ์๋๋ ๊ทธ CSV์ ๋ง์ง๋ง ํ๊ฐ๊ฐ 5-seed ํ๊ท ์ด๋ค(ํ์ ๊ณ์ฐ, ManiSkill์ ์ฑ๊ณต๋ฅ ).
| ๊ณผ์ | ์ฐจ์(๊ด์ธก/ํ๋) | FlashSAC | FastTD3 | PPO |
|---|---|---|---|---|
| Isaac Allegro Repose | 124 / 16 | 5,199 | 4,306 | 912 |
| Isaac Shadow Repose | 157 / 20 | 9,800 | 9,618 | 4,901 |
| Isaac G1 Rough | 310 / 37 | 41.2 | 34.4 | 11.3 |
| MJP G1 Flat | 103 / 29 | 39.9 | 31.5 | 23.4 |
| Isaac Franka Lift Cube | 36 / 8 | 154.8 | 121.0 | 93.4 (seed ๊ฐ SD 62) |
| Genesis Go2 Walk | 45 / 12 | 23.0 | โ0.3 | 18.5 |
| ManiSkill PegInsertionSide (์ฑ๊ณต๋ฅ ) | 43 / 8 | 0.96 | 0.00 | 0.92 |
| ManiSkill PokeCube (์ฑ๊ณต๋ฅ ) | 54 / 8 | 0.20 | 0.20 | 0.85 |
๊ณ ์ฐจ์ ์ชฝ์ ๊ฒฉ์ฐจ๋ ํ์คํ๋ค. Allegro์์ PPO๊ฐ 900 ์์ค์ ๋จธ๋ฌด๋ ๋์ FlashSAC์ 5,000์ ๋๋๋ค. ๋ค๋ง Shadow์์๋ FastTD3์์ ์ฐจ์ด๊ฐ 2% ๋จ์ง์ด๊ณ , Allegro ๊ณก์ ์ 50M step ๋์์๋ ์์ง ์ค๋ฅด๊ณ ์๋ค(Fig. 3, ์ ๊ทํ ๊ธฐ์ค 6,000์ ์ฝ 87%).
์ ์ฐจ์ โ์ฝ๊ฐ ๋ซ๋คโ์๋ ๋ฐ๋ก๊ฐ ๋ถ๋ก์ ์๋ค. ManiSkill PokeCube์์ PPO๋ ์ฑ๊ณต๋ฅ ์ฝ 0.85, FlashSAC์ ์ฝ 0.20์ด๋ค(๋ถ๋ก Fig. 17). FlashSAC์ seed ๊ฐ ํ์คํธ์ฐจ๊ฐ 0.44์ธ ๊ฒ์ 5๊ฐ seed ์ค ํ๋๋ง ํ๊ณ ๋๋จธ์ง๋ ์คํจํ ์ด๋ด ๋ถํฌ๋ผ๋ ๋ป์ด๋ค. ยง5.1์ โconverging across all tasks where FastTD3 frequently failsโ ๋ฌธ์ฅ๋ ์ด ๊ณผ์ ์์๋ ์ฑ๋ฆฝํ์ง ์๋๋ค(FastTD3์ ๋๊ฐ์ด 0.20). RollBallยทPickSingleYCB์์๋ PPO์ ๋น์ทํ๋ค.

ManiSkill 6๊ณผ์ ์ฑ๊ณต๋ฅ (๋ถ๋ก Fig. 17, x์ถ env step). PokeCube์์ PPO(์ฃผํฉ)๊ฐ ์ฝ 85~90%๋ก FlashSAC(์ด๋ก)์ ์ฝ 20%๋ฅผ ํฌ๊ฒ ์์ ๋ค. ์ด ๊ทธ๋ฆผ์ PPO๋ 50M step๊น์ง๋ง ๊ทธ๋ ค์ ธ ์๋ค.
๋ช ๊ฐ์ง ์ธ๋ถ๋ ๋ ผ๋ฌธ ์์ ๊ณผ ๊ณต๊ฐ ๋ฐ์ดํฐ๊ฐ ๋ค๋ฅด๋ค.
- PPO์ step ์์ฐ. ๋ณธ๋ฌธ์ โPPO๋ 200M stepโ์ด๋ผ ํ๊ณ ๋ถ๋ก ๊ทธ๋ฆผ ์บก์ ๋ โAll methods 50M except PPO (200M)โ์ด๋ค. ๊ณต๊ฐ CSV์์ 200M๊น์ง ๊ฐ ๊ฒ์ MuJoCo Playground 4๊ณผ์ ๋ฟ์ด๊ณ , IsaacLabยทManiSkillยทGenesis์ PPO๋ 100M step์์ ๋๋๋ค.
- seed ์. ๋ ผ๋ฌธ์ โrandom seeds์ ํ๊ท , 95% bootstrap CIโ๋ผ๊ณ ๋ง ํ๊ณ ๊ฐ์๋ฅผ ๋ฐํ์ง ์๋๋ค. CSV๋ก๋ FlashSACยทFastTD3๊ฐ 5๊ฐ, ManiSkill PPO๋ ๊ณผ์ ๋ง๋ค 2~6๊ฐ๋ค.
- ๋ณด๊ณ ๋์ง ์์ ๊ณผ์ . ManiSkill CSV์๋ ๋ ผ๋ฌธ ํ์ ์๋ UnitreeG1PlaceAppleInBowlยทUnitreeG1TransportBox๊ฐ ์๊ณ , TransportBox ์ฑ๊ณต๋ฅ ์ FlashSAC 0.20, PPO 1.00(3 seed)์ด๋ค. ํ์์ฉ ์คํ์ด์์ ์๋ ์์ผ๋ ์๋๋ฅผ ๋จ์ ํ ์๋ ์์ง๋ง, ๋ ผ๋ฌธ ๋ฐ ์์๋ฃ์ PPO๊ฐ ํฌ๊ฒ ์ด๊ธด ํด๋จธ๋ ธ์ด๋ ์กฐ์ ๊ณผ์ ๊ฐ ํ๋ ๋ ์๋ค๋ ์ฌ์ค์ ์ ์ด ๋ ๋งํ๋ค.

IsaacLab 12๊ณผ์ ์ ์ฒด(๋ถ๋ก Fig. 12, x์ถ compute time). ์ ์ ์ ์ ๊ทํ ๊ธฐ์ค์ ์ธ๋ฐ, ์ด ๊ธฐ์ค์ ์์ฒด๊ฐ FlashSAC์ ์ค๋ ๋๋ ค ์ป์ ๊ทผ-์ ๊ทผ ์ฑ๋ฅ์ด๋ค(๋ถ๋ก B.1).
์คํ: ์ํ ๊ธฐ๋ฐ, CPU ์๋ฎฌ๋ ์ดํฐ (ยง5.2)

CPU ์๋ฎฌ๋ ์ดํฐ ๊ฒฐ๊ณผ(Fig. 4). MuJoCo Humanoid-v4, DMC Humanoid WalkยทDog Run, HumanoidBench H1 Run, MyoSuite Key Turn Hard. ์ ์ ์ ์ ๊ทํ ๊ธฐ์ค(Humanoid-v4๋ TD7 5M step, HBench๋ ์ฑ๊ณต ๋ฌธํฑ).
๋ณ๋ ฌ ํ๊ฒฝ์ด ์๋ ๊ณ ์ ์ค์ ์์๋ FlashSAC์ batch๋ฅผ 512๋ก, UTD๋ฅผ 1๋ก๋ง ๋ฐ๊พธ๊ณ ๊ฐ์ ๊ตฌ์กฐ๋ฅผ ์ด๋ค. ๋ํ ๊ณผ์ ์์๋ ๊ฑฐ์ ๋ชจ๋ baseline์ ์์๊ณ , PPO๋ ์ด ๋ฎ์ ์ํ ์์ฐ์์ ํฌ๊ฒ ์ง๋ค.
๊ณต๊ฐ CSV์ 1M step ์ต์ข ๊ฐ์ผ๋ก 39๊ณผ์ ๋ฅผ ์ ๋ถ ๋์กฐํ๋ฉด ์ด ์ฃผ์ฅ์ ๋์ฒด๋ก ๋ง๋ค.
| ๋น๊ต | FlashSAC์ด ๊ฐ๊ฑฐ๋ ๋์ ๊ณผ์ | FlashSAC์ด ๋ฎ์ ๋ํ ๊ณผ์ |
|---|---|---|
| vs XQC(10 seed) | 25 / 29 | H1 Hurdle(107 vs 261), DMC cartpole balance_sparse, H1 Reach |
| vs SimbaV2(10 seed) | 35 / 39 | DMC cartpole swingup_sparse(482 vs 849), MyoSuite pen-twirl(1,450 vs 2,360) |
| vs MR.Q(10 seed) | 13 / 15 | cartpole swingup_sparse(482 vs 798) |
| vs TD-MPC2(1~3 seed) | 25 / 29 | H1 Hurdle(107 vs 387), cartpole swingup_sparse(482 vs 842) |
(ํ์ ๊ณ์ฐ. ๊ฐ ๋ฐฉ๋ฒ ๊ฐ ๊ณผ์ ์ ๋ง์ง๋ง ํ๊ฐ๊ฐ seed ํ๊ท ๋น๊ต์ด๋ฉฐ ํต๊ณ ๊ฒ์ ์ ์๋๋ค. XQCยทMR.Q๋ ์ผ๋ถ ๋ฒค์น๋งํฌ ๊ฒฐ๊ณผ๊ฐ ์๋ค.)
ํฅ๋ฏธ๋ก์ด ๊ฒ์ ์ฝ์ ์ ์์น๋ค. DMC cartpole swingup_sparse๋ ๋ถ๋ก B.6์ด โํ์์ ํ๊ฐํ๋ ค๊ณ โ ๋ฃ์๋ค๊ณ ๋ฐํ sparse ๋ณด์ ๊ณผ์ ์ธ๋ฐ, ์ฌ๊ธฐ์ FlashSAC(482)์ SimbaV2ยทMR.QยทTD-MPC2(์ฝ 800~850)์ ํฌ๊ฒ ๋ค์ง๋ค. noise repetition์ ๋ด์ธ์ด ๋ฐฉ๋ฒ์ด ์ ์ sparse ํ์ ๊ณผ์ ์์ ์ฝํ๋ค๋ ์ ์ ยง6.4์ ํ์ ๋ถ์(์กฐ๋ฐํ ๋ณด์์ IsaacLab 4๊ณผ์ ์์๋ง ์ธก์ )์ด ๋ค๋ฃจ์ง ์๋ ๋ถ๋ถ์ด๋ค.
๋ Fig. 4์ DMC Dog Run์ ๋ณด๋ฉด XQC(๋ ธ๋)๊ฐ ๊ฐ์ ์๊ฐ๋์์๋ FlashSAC๋ณด๋ค ์์ ์๋ค๊ฐ 1M step ๋(์ฝ 40๋ถ)์์ ๋ฉ์ถ๊ณ , FlashSAC์ ์ฝ 55๋ถ๊น์ง ๊ฐ์ ๋ ๋์ด ๋๋๋ค. โcompute ํจ์จ๊ณผ ์ ๊ทผ ์ฑ๋ฅ ๋ชจ๋์์ ์์ ๋คโ๋ ์บก์ ์ ์ด ๊ทธ๋ฆผ์์๋ ์ ๊ทผ ์ชฝ์๋ง ํด๋นํ๋ค.
๋ถ๋ก ํ์ ๊ณผ์ ์ ํฉ(5 + 10 + 14 + 10)์ 39์ด๊ณ CSV๋ 39๊ณผ์ ์ธ๋ฐ, ๋ณธ๋ฌธ์ โ40 tasksโ๋ผ๊ณ ์ด๋ค.
์คํ: ๋น์ ๊ธฐ๋ฐ (ยง5.3)

๋น์ DMC ๊ฒฐ๊ณผ(Fig. 5). Acrobot Swingup, Finger Turn Hard, Hopper Hop, Cheetah Run, Walker Run์์ FlashSACยทDrQ-v2ยทMR.Q. 1M step, action repeat 2.
๋น์ ์ ๋ ๋๋ง ๋น์ฉ ๋๋ฌธ์ ์ฒ๋ฆฌ๋์ด ๋ฎ์ off-policy๋ผ๋ฆฌ๋ง ๋น๊ตํ๋ค. ์ธ์ฝ๋๋ DrQ-v2 ํ์ค(conv 3์ธต + linear bottleneck), 3ํ๋ ์ stack(84ร84ร9), 3-step return์ ์ด๋ค. ๋ณธ๋ฌธ์ โ๋ชจ๋ baseline์ ๋ํด ์ ๊ทผ ์ฑ๋ฅ์ด ๊ฐ๊ฑฐ๋ ๋๊ณ wall-clock ์๋ ด์ด ๋น ๋ฅด๋คโ๊ณ ํ๊ณ , DrQ-v2๋ Finger Turn Hard ๋ฑ์์ ์๋ ด์ ์คํจํ๋ฉฐ MR.Q๋ ๋ณด์กฐ dynamics ๋ชจ๋ธ ๋๋ฌธ์ ์ฐ์ฐ์ด ๋ ๋ ๋ค๊ณ ์ค๋ช ํ๋ค.
โ์ ๊ทผ ์ฑ๋ฅ์ด ๊ฐ๊ฑฐ๋ ๋๋คโ๋ ๊ฐ์ step ๊ธฐ์ค์ผ๋ก๋ ์ง์ง๋์ง ์๋๋ค. ๋ถ๋ก Fig. 28์๋ ๋ณธ๋ฌธ์ ์๋ XQCยทDrM๊น์ง ๋ค์ฏ ๋ฐฉ๋ฒ์ด ๊ทธ๋ ค์ ธ ์๊ณ , 1M step ์ต์ข ๊ฐ์ ๋ค์๊ณผ ๊ฐ๋ค(๊ณต๊ฐ CSV, ํ์ ๊ณ์ฐ).

๋น์ DMC 8๊ณผ์ ์ ์ฒด(๋ถ๋ก Fig. 28, x์ถ compute time). ๋ณธ๋ฌธ Fig. 5์ ์๋ XQC(๋ ธ๋)ยทDrM(ํ๋)์ด ํจ๊ป ๊ทธ๋ ค์ ธ ์๋ค. AcrobotยทWalker RunยทCheetah Run์์ ์ผ๋ถ baseline์ด FlashSAC๋ณด๋ค ๋๊ฒ ๋๋๋ค.
| ๊ณผ์ | FlashSAC(5) | MR.Q(10) | XQC(10) | DrM(3) | DrQ-v2(10) |
|---|---|---|---|---|---|
| acrobot-swingup | 316 | 287 | 382 | 362 | 173 |
| cartpole-swingup-sparse | 798 | 797 | 729 | 795 | 785 |
| cheetah-run | 762 | 776 | 724 | 839 | 735 |
| finger-turn-easy | 931 | 954 | 666 | 959 | 645 |
| finger-turn-hard | 904 | 933 | 692 | 737 | 315 |
| hopper-hop | 184 | 270 | 249 | 258 | 225 |
| reacher-hard | 969 | 966 | 937 | 961 | 664 |
| walker-run | 553 | 616 | 684 | 652 | 543 |
(๊ดํธ๋ seed ์. DrQ-v2ยทDrM์ 1.02M step ๊ทผ์ฒ์ ๋ง์ง๋ง ๊ฐ. ๊ตต์ ๊ธ์จ๋ ํ ์ต๋๊ฐ.)
๊ฐ์ 1M step์์ MR.Q๋ 8๊ณผ์ ์ค 5๊ณผ์ ์์ FlashSAC๋ณด๋ค ๋๋ค. ์ฐจ์ด๊ฐ ์์ ๊ณผ์ (cheetah 762 vs 776)๋ ๋ง์ โFlashSAC์ด ์ง๋คโ๊ณ ๋งํ ์์ค์ ์๋์ง๋ง, ์ ํํ ์์ฝ์ โ์ ์๋ ๊ฒฝ์๋ ฅ ์๋ ์์ค์ด๊ณ , ๊ทธ ์ ์์ ๋ ์งง์ ์ถ์ ์๊ฐ ์์ ๋๋ฌํ๋คโ์ด๋ค. ๋ณธ๋ฌธ Fig. 5๊ฐ XQCยทDrM์ ๋นผ๊ณ ๋ค์ฏ ๊ณผ์ ๋ง ๊ณ ๋ฅธ ๊ฒ๋ ์ด ์ธ์์ ํค์ด๋ค. ๋ ๋น์ ์ธ์ฝ๋ ์ฝ๋๋ ๊ณต๊ฐ ๋ ํฌ์ ์์ด์ ์ด ์ ์ CSV ๋ง๊ณ ๋ ํ์ธํ ๊ธธ์ด ์๋ค.
์คํ: Sim-to-real (ยง5.4, ๋ถ๋ก D)
G1(29 DoF) blind ๋ณดํ์ ํผ๋ผ๋ฏธ๋ ๊ณ๋จยท๊ฒฉ์ยทํ๋ยท๊ตฌ๋ฉ์ด ์งํ ์ปค๋ฆฌํ๋ผ(10๋จ๊ณ, ๊ณ๋จ ๋์ด 0~23 cm)๊ณผ domain randomization์ผ๋ก ํ์ตํ๋ค. baseline์ DreamWaQ ํ์ดํ๋ผ์ธ์ PPO์ด๊ณ , FlashSAC๋ ๊ฐ์ sim-to-real ์ฅ์น๋ฅผ ์ด๋ค. ๊ด์ธก ์ด๋ ฅ์ผ๋ก ๊ธฐ์ ์๋์ ์ ์ฌ๋ฅผ ์ถ์ ํ๋ context estimator(CENet)๋ฅผ actor์ ๋ฃ๊ณ , critic์ ์ค์ ๊ธฐ์ ์ ์๋ยท๋ฐ ์ ์ดยท๋์ด ์ง๋๋ฅผ ๋ฐ๋ asymmetric actor-critic์ด๋ค. ์ด ํ์ดํ๋ผ์ธ์ ์ด ๋ธ๋ก๊ทธ์ DreamWaQ ๋ฆฌ๋ทฐ์์ ๋ค๋ฃฌ ๊ฒ์ด๊ณ , DreamWaQ์ ์ 1์ ์ Nahrendra๊ฐ ์ด ๋ ผ๋ฌธ์ ๊ณต์ ์๋ค.

ํ์ต ์งํ(๋ถ๋ก Fig. 11). ํผ๋ผ๋ฏธ๋ ๊ณ๋จ(์ต๋ 23 cm), ๋ฌด์์ ๊ฒฉ์(15 cm), ๋ฌด์์ ๊ท ์ผ ์งํ(โ2~4 cm), ํ๋(์งํญ 20 cm), ๊ตฌ๋ฉ์ด(30 cm). 50% ์ด์ ํต๊ณผํ๋ฉด ๋จ๊ณ๋ฅผ ์ฌ๋ฆฐ๋ค.

G1 ์ค๊ธฐ ๊ณ๋จ ์ค๋ฅด๊ธฐ์ ์๋ฎฌ๋ ์ด์ terrain level ๊ณก์ (Fig. 6). FlashSAC์ ์ฝ 4์๊ฐ์ terrain level ์ฝ 3.9, PPO๋ ์ฝ 4์๊ฐ๊น์ง 0์ ๋จธ๋ฌผ๋ค ์ฝ 20์๊ฐ์ ๊ฐ์ ์์ค์ ์ด๋ฅธ๋ค.
๊ฒฐ๊ณผ๋ ํ์ง ์ฝ 20๋ถ vs 3์๊ฐ, 15 cm ๊ณ๋จ(๋์ด 15 cm, ๋๋น 60 cm, ํ๋ซํผ 1.5 m, ํ์ต๊ณผ ๋ค๋ฅธ ์น์) ์ฝ 4์๊ฐ vs 20์๊ฐ์ด๋ค. ์ ์ฑ ์ ์ฌํ์ต ์์ด ์ ยทํยท์ ๋ฐฉํฅ ๋ณดํ์ ์ง์ํ๋ค.
์ด ์ ์ ๋ ผ๋ฌธ์ ๊ฐ์ฅ ๊ฐํ ๋ฉ์์ง(โhours to minutesโ)๋ฅผ ๋ด๊ณ ์์ง๋ง, ๊ทผ๊ฑฐ์ ์ข ๋ฅ๋ฅผ ๋๋ ๋ณด๋ฉด ๋น๊ต์ ๊ณต์ ์ฑ์ ๊ฑธ๋ฆฌ๋ ์ง์ ์ด ๋ง๋ค.
โ ๋ณด์์ด ๊ฐ์ง ์๋ค. ๋ณธ๋ฌธ ยง5.4๋ โBoth methods share identical reward design and coefficientsโ๋ผ๊ณ ์ด๋ค. ๊ทธ๋ฐ๋ฐ ๋ถ๋ก Table 14์ ยงD.4๋ โํ์ต ๋์ญํ์ด ๋ฌ๋ผ ๋ค๋ฅธ ๋ณด์ ๊ฐ์ค์น๊ฐ ํ์ํ๋คโ๊ณ ํ๊ณ , ์ค์ ๊ฐ์ค์น๋ ํฌ๊ฒ ๋ค๋ฅด๋ค.
| ๋ณด์ ํญ(๋ถ๋ก Table 14 ์ผ๋ถ) | FlashSAC | PPO |
|---|---|---|
| ์ ์๋ ์ถ์ข | 2.0 (ฯ=0.25) | 1.5 (ฯ=0.5) |
| Feet air time | 1.0 | 0.25 |
| Action rate | โ0.5 | โ0.01 |
| Body orientation | โ52.0 | โ2.0 |
| Stand still | โ5.0 | โ0.25 |
| Undesired contacts | โ5.0 | โ1.0 |
| Termination penalty | ์์ | โ200 |
| Alive bonus | 1.0 | ์์ |
๋ถ๋ก์ PPO๊ฐ termination ๊ธฐ๋ฐ shaping ์์ด๋ ์์ ๋ณดํ๊น์ง ์ค๋ ๊ฑธ๋ฆฐ๋ค๊ณ ์ค๋ช ํ๋ค. ์ด์ ๊ฐ ์๋ ์กฐ์ ์ด์ง๋ง, ๊ฒฐ๊ณผ์ ์ผ๋ก Fig. 1cยทFig. 6์ ์๊ฐ ๋น๊ต๋ ์๊ณ ๋ฆฌ์ฆ + ๋ณด์ ์ค๊ณ์ ์ฐจ์ด๋ค. ๋ณธ๋ฌธ ๋ฌธ์ฅ์ ๋ถ๋ก๊ณผ ์ ๋ฉด์ผ๋ก ์ด๊ธ๋๋ค.
โก ํ๋์จ์ด์ ์ค์ ์ด ๋ณธ๋ฌธ์ ๋ค๋ฅธ ์ ๊ณผ ๋ค๋ฅด๋ค. ๋ณธ๋ฌธ์ wall-clock์ RTX 5090 ๊ธฐ์ค์ผ๋ก ์๋ค๊ณ ํ์ง๋ง, ๋ถ๋ก D.1์ sim-to-real ํ์ต์ด 4,096 ๋ณ๋ ฌ ํ๊ฒฝ, A100 ํ ์ฅ์์ ์ฝ 4์๊ฐ์ด๋ผ๊ณ ํ๋ค. PPO๊ฐ ์ด๋ค GPU์์ 20์๊ฐ ๊ฑธ๋ ธ๋์ง๋ ์ ํ ์์ง ์๋ค. ๋ ยง5.4๋ FlashSAC์ด โstate-based experiments(ยง5.2)์ ๊ฐ์ ๊ตฌ์กฐยทํ์ดํผํ๋ผ๋ฏธํฐโ๋ฅผ ์ผ๋ค๊ณ ์ฐธ์กฐํ๋๋ฐ, ยง5.2๋ batch 512ยทUTD 1์ CPU ์ค์ ์ด๋ค. GPU ์ค์ (ยง5.1)์ ์ค๊ธฐ๋ก ๋ณด์ด์ง๋ง ํ์ธํ ์ ์๋ค.
โข ์ค๊ธฐ ํ๊ฐ๊ฐ ์ ์ฑ์ ์ด๋ค. ์ค๊ธฐ ๊ฒฐ๊ณผ๋ ์์ ํ๋ ์๊ณผ ์๊ฐ ์ง์ ๋ฟ์ด๊ณ , ์๋ ํ์ยท์ฑ๊ณต๋ฅ ยท์๋ ์ถ์ข ์ค์ฐจ ๊ฐ์ ์ค๊ธฐ ์งํ๊ฐ ์๋ค. โcomparable performanceโ์ ๊ธฐ์ค๋ ์ ์๋์ง ์์๋ค. Fig. 1cยทFig. 6์ ๊ณก์ ์ ์๋ฎฌ๋ ์ด์ ์งํ์ด๊ณ , ๊ณต๊ฐ CSV๋ก๋ ๋ ๋ฐฉ๋ฒ ๋ชจ๋ seed 1๊ฐ(42)๋ค. ๋ง์ง๋ง ๊ฐ์ ํ์ง ์ถ์ข 0.876(FlashSAC) vs 0.947(PPO), terrain level 3.87 vs 4.04๋ก PPO๊ฐ ์กฐ๊ธ ๋๊ฒ ๋๋๋ค.
โฃ terrain level ์ฝ 3.9๋ ์๊ฐ๋ณด๋ค ๋ฎ์ ๋จ๊ณ๋ค. ์ปค๋ฆฌํ๋ผ ์ต๋๋ 10์ด๊ณ , ๋ถ๋ก์ โ์ธ์ง ๋ชจ๋ ์์ด 5๋จ๊ณ๋ฅผ ๋๊ธฐ๋ ์ด๋ ต๋คโ๊ณ ์ ๋๋ค. Legged Gym์์ผ๋ก ๋์ด๊ฐ ๋จ๊ณ์ ์ ํ ๋น๋กํ๋ค๊ณ ๊ฐ์ ํ๋ฉด ํ๊ท 3.9๋จ๊ณ๋ ์ฝ 9 cm ๊ณ๋จ์ ํด๋นํ๋ค(ํ์ ์ถ์ , ๋ ผ๋ฌธ์ ๋จ๊ณโ๏ธ๋์ด ๋์์ ๋ฐํ์ง ์๋๋ค). ๊ทธ๋ฐ๋ฐ ์ค๊ธฐ ๊ณ๋จ์ 15 cm๋ค. ํ๊ฒฝ๋ง๋ค ๋จ๊ณ๊ฐ ๋ค๋ฅด๋ ์ผ๋ถ ํ๊ฒฝ์ ๋ ๋์ ๋จ๊ณ์์ ํ์ตํ์ ๊ฒ์ด๊ณ , ํ์ต ๋ถํฌ๋ฅผ ๋์ด์ ์ผ๋ฐํ์ผ ์๋ ์๋ค. ์ด๋ ์ชฝ์ด๋ ๋ ผ๋ฌธ์ ์ด ๊ฐ๊ทน์ ์ค๋ช ํ์ง ์๋๋ค.
โค domain randomization ๋ฒ์๊ฐ ์๋ค. ยง5.4๋ โfull details are provided in ยงDโ๋ผ๊ณ ํ์ง๋ง ๋ถ๋ก์๋ ์งํยท๊ด์ธกยทPD gainยท๋ณด์ ํ๋ง ์๊ณ randomization ๋ฒ์ ํ๋ ์๋ค.
๋ถ์ (ยง6)
๋ถ์์ ์ ๋ถ IsaacLab 4๊ณผ์ (AllegroยทShadow ํ๋ธ ์ฌ๋ฐฐ์น, G1 ํ์งยทํ์ง)์์ ํ๋ค.
Scaling ablation (ยง6.2, Fig. 8)

Scaling ๊ฒฐ๊ณผ(Fig. 8, x์ถ compute time). (a) replay buffer, (b) batch, (c) critic ํญ(actor๋ ๋น๋ก ์ถ์), (d) ๋ธ๋ก ์, (e) UTD. ๊ตต์ ๋ผ๋ฒจ์ด ๊ธฐ๋ณธ๊ฐ.
๋ณธ๋ฌธ ๊ฒฐ๋ก ์ โbuffer๋ 10M๊น์ง ์ข๊ณ 50M์ ๋๋ฆฌ๋คโ, โbatchยท๋ชจ๋ธ์ ํค์ฐ๊ณ UTD๋ฅผ ์ค์ด๋ฉด ์๋ ด์ด ๋นจ๋ผ์ง๋ค(scaling ๋ฒ์น๊ณผ ์ผ์น)โ์ด๋ค.
๊ทธ๋ฆผ์ ์ถ๋ณ๋ก ๋ค์ ์ฝ์ผ๋ฉด ๊ฒฐ๋ก ์ด ์กฐ๊ธ ๋ค๋ฅด๋ค. wall-clock ๊ธฐ์ค์ผ๋ก batch 8K, ํญ 1024, UTD 8/1024๋ ๊ธฐ๋ณธ๊ฐ๋ณด๋ค ๋๋ฆฌ๊ณ , batch 0.5K, ํญ 64, UTD 0.5/1024๋ ๋์๋ค. ์ฆ ๋จ์กฐ ๊ฒฝํฅ์ด ์๋๋ผ ๊ธฐ๋ณธ๊ฐ ๊ทผ์ฒ์ sweet spot์ด ์๋ ์ญ U์๋ค. โํค์ธ์๋ก ๋นจ๋ผ์ง๋คโ๋ ๋ฒ์๋ฅผ ํ์ ํด์ผ ๋ง๋ ๋ฌธ์ฅ์ด๋ค.
๊ณต๊ฐ CSV๋ก 50M step ๋์ ์ ์(4๊ณผ์ ์ ์ ๊ทํ return ํ๊ท , ํ์ ๊ณ์ฐ)๋ฅผ ๋ณด๋ฉด ๋ ๋ค๋ฅธ ๊ทธ๋ฆผ์ด ๋์จ๋ค.
| ์ถ | ๊ธฐ๋ณธ๊ฐ | ๊ธฐ๋ณธ๊ฐ ์ ์ | ๋ ํฐ ์ค์ ์ ์ ์ |
|---|---|---|---|
| critic ํญ | 256 | 0.90 | 512: 1.05, 1024: 1.08 |
| ๋ธ๋ก ์ | 2 | 0.90 | 3: 1.01, 4: 1.04 |
| batch | 2K | 0.90 | 4K: 1.01, 8K: 1.00 |
| UTD | 2/1024 | 0.90 | 4/1024: 1.03, 8/1024: 0.99 |
| replay | 10M | 0.90 | 1M: 0.88, 50M: 0.80, 0.1M: 0.52 |
(๊ฐ ๊ณผ์ ์ ๋ง์ง๋ง ํ๊ฐ return์ ๋ถ๋ก Table 1์ normalize score๋ก ๋๋ 4๊ณผ์ ํ๊ท . ๋ ผ๋ฌธ ๊ทธ๋ฆผ์ ์ง๊ณ ๋ฐฉ์์ด ๋ช ์๋์ง ์์ ์ ๋๊ฐ์ ๊ทธ๋ฆผ๊ณผ ์กฐ๊ธ ๋ค๋ฅด๋ค.)
๊ฐ์ 50M step์ด๋ฉด ๋ ํฐ ์ค์ ์ด ์ผ๊ด๋๊ฒ ๋ ๋์ ์ ์๋ก ๋๋๋ค. ๊ธฐ๋ณธ๊ฐ์ ์ ๊ทผ ์ฑ๋ฅ์ด ์๋๋ผ wall-clock ๋๋น ์ ์๋ฅผ ๊ธฐ์ค์ผ๋ก ๊ณ ๋ฅธ ์ง์ ์ด๋ค. ์ด๊ฒ์ ๋ ผ๋ฌธ์ โfastโ ์ฃผ์ฅ๊ณผ ์ผ๊ด๋์ง๋ง, ํ๋ก์ ํธ ํ์ด์ง์ โhighest asymptotic performance in the shortest wall-clock timeโ์ด๋ผ๋ ๋ฌธ๊ตฌ์๋ ๊ธด์ฅ ๊ด๊ณ๋ค. ๊ธฐ๋ณธ ์ค์ ์ ๊ฐ์ ๋ฐ์ดํฐ์์ 0.1~0.18 ์ ๋์ ์ ์๋ฅผ ๋จ๊ฒจ ๋๊ณ ์๋ค.
์ด ํ๋ FlashDexRetarget ๋ฆฌ๋ทฐ์ ์ค์ ์ ํ๊ณผ๋ ๋ง๋ฌผ๋ฆฐ๋ค. ๊ทธ ๋ ผ๋ฌธ์ FlashSAC ๊ธฐ๋ณธ๊ฐ(replay 10M, critic ํญ 256)์ 50Mยท1024๋ก ํค์ ๊ณ 300M step์ ํ์ตํ๋ค. ์ด ๋ ผ๋ฌธ์ Fig. 8a๋ โ50M buffer๋ ์ถฉ๋ถํ ์๊ฐ์ด ์ฃผ์ด์ง๋ฉด ์ฝ๊ฐ ๋ ๋์ ์ ๊ทผ ์ฑ๋ฅ์ ์ด๋ฅผ ์ ์๋คโ๊ณ ์ฐ๋ฏ๋ก, ๊ธด ํ์ต์์ ๋ ํฐ bufferยท๋ ๋์ critic์ ์ฐ๋ ๊ฒ์ ์ ์ ๊ทธ๋ฃน ์ค์ค๋ก์ ํด์๊ณผ ๊ฐ์ ๋ฐฉํฅ์ด๋ค. ๋ค๋ง Fig. 8a ์์ฒด๋ 50M step์์ ๋๋์, 50M buffer๊ฐ ๊ฒฐ๊ตญ ๋ฐ๋ผ์ก๋๋ค๋ ๋ฌธ์ฅ์ ์ด ๋ ผ๋ฌธ ์์์๋ ์ธก์ ๋์ง ์์๋ค(50M step ์์ฐ์์ 50M buffer๋ ์ ์ด๋ฅผ ํ๋๋ ๋ฒ๋ฆฌ์ง ์๋๋ค).
Architectural ablation (ยง6.3, Fig. 9)

์ํคํ ์ฒ ablation(Fig. 9). MLP์์ ์์ํด Residual โ BatchNorm โ RMSNorm โ Distributional critic(+reward scaling) โ Weight norm์ ๋์ ํด ๋ํ๋ค. (a) ์ ๊ทํ ์ ์, (b) weight norm, (c) feature norm, (d) gradient norm, (e) critic condition number(๋ก๊ทธ ์ค์ผ์ผ).
๋ณธ๋ฌธ์ โ๊ตฌ์ฑ ์์๋ฅผ ๋ํ ์๋ก norm์ด ๋ฌถ์ด๊ณ , condition number๊ฐ ๋จ์กฐ ๊ฐ์ํ๋ฉฐ, ์ด ์์ ์ฑ์ด ์ฑ๋ฅ์ผ๋ก ์ด์ด์ง๋คโ๊ณ ์ด๋ค. ์บก์ ๋ โEach addition stabilizes trainingโ์ด๋ค.
๊ทธ๋ฆผ๊ณผ CSV๋ฅผ ๋จ๊ณ๋ณ๋ก ๋์กฐํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
| ๋จ๊ณ | 50M step ์ ์(ํ์ ๊ณ์ฐ) | ๊ทธ๋ฆผ์์ ๋ณด์ด๋ ๊ฒ |
|---|---|---|
| MLP | 0.28 | feature norm์ด ์ฝ 1.8 โ 6์ผ๋ก ๊ณ์ ์ฆ๊ฐ |
| + Residual | 0.43 | gradient norm์ด ์ฝ 40M step์์ ์ฝ 11.7๊น์ง ํ๊ณ , condition number๊ฐ MLP๋ณด๋ค ๋๋ค |
| + BatchNorm | 0.37 | ์ ์๊ฐ ์ด์ ๋จ๊ณ๋ณด๋ค ๋ฎ๋ค |
| + RMSNorm | 0.60 | condition number๋ ๋ด๋ ค๊ฐ์ง๋ง weight norm์ด ์ฝ 0.26๊น์ง ์ปค์ ธ MLP๋ณด๋ค ๋๋ค |
| + Dist. critic | 0.90 | ๊ฐ์ฅ ํฐ ๋์ฝ(+0.30). condition number๊ฐ ์ฝ 11~12๋๋ก ๋ด๋ ค๊ฐ๋ค |
| + Weight norm(FlashSAC) | 0.90 | ์ ์ ๋ณํ ์์. weightยทgradient norm๋ง ํํํด์ง๋ค |
๋ฐ๋ผ์ โmonotonicallyโ์ โeach addition stabilizesโ๋ ์ ํํ์ง ์๋ค. Residual์ condition number์ gradient norm์ ์คํ๋ ค ํค์ฐ๊ณ , BatchNorm์ ์ ์๋ฅผ ๊น๊ณ , RMSNorm์ weight norm์ ํค์ด๋ค. ์ฑ๋ฅ์ ๋๋ถ๋ถ์ distributional critic + reward scaling ํ ๋จ๊ณ์์ ๋์จ๋ค. weight normalization์ ์ ์ ์ค์ค๋ก โmodest gainsโ๋ผ๊ณ ํ๊ณ , ์ํ์ด ์ ํ๋ ์ฒด์ ์์ ๊ฐ๊ฑด์ฑ์ด ์ข์์ ๋จ๊ฒผ๋ค๊ณ ์ค๋ช ํ์ง๋ง ๊ทธ ๊ฐ๊ฑด์ฑ ์คํ์ ์ ์๋์ง ์์๋ค.
๋ ํ๋ ์ง์ ์ ์ ๋์ ablation์ด๋ผ๋ ๊ตฌ์กฐ๋ค. distributional critic์ด RMSNormยทBatchNorm ์์ด๋ ๊ฐ์ ๋์ฝ์ ๋ง๋๋์ง, ํน์ weight norm์ ๋นผ๋ฉด ๋ฌด์์ด ๊นจ์ง๋์ง(์ ๊ฑฐํ ablation)๋ ์ ์ ์๋ค. ๊ณต๊ฐ CSV์๋ condition number ์ธ์ srankยทdormant neuron ๊ฐ์ ์ง๋จ ์งํ๋ ๋ค์ด ์๋๋ฐ ๋ ผ๋ฌธ์๋ ์ฐ์ด์ง ์์๋ค.
Exploration ablation (ยง6.4, Fig. 10)

ํ์ ablation(Fig. 10, x์ถ env step). (a) ฯ_tgt โ {0.05, 0.1, 0.15, 0.2, 0.25}๋ ๋น์ทํ๊ฒ ์๋ ด, (b) noise repetition์ ๋๋ฉด ์๋ ด์ด ๋๋ฆฌ๊ณ ์ต์ข ์ ์๊ฐ ๋ฎ๋ค.
๋ณธ๋ฌธ์ ฯ_tgt์ โlargely insensitiveโํ๊ณ ๊ธฐ๋ณธ๊ฐ 0.15๊ฐ ์ ์๋ํ๋ค๊ณ ์ฐ๊ณ , ์บก์ ์ ์ต์ ์ด 0.15~0.2๋ผ๊ณ ์ด๋ค. CSV๋ก 50M step ์ ์๋ฅผ ๋ณด๋ฉด 0.05: 0.89, 0.1: 0.92, 0.15: 0.90, 0.2: 0.97, 0.25: 0.96์ด๋ค(ํ์ ๊ณ์ฐ). ๋ฏผ๊ฐ๋๊ฐ ์๋ค๋ ๊ฒฐ๋ก ์ ๋ง์ง๋ง, ๊ธฐ๋ณธ๊ฐ์ ์ด sweep์์ ์ต์ ์ด ์๋๋ค. noise repetition์ ๋๋ฉด 0.84๋ก ๋จ์ด์ง๋ค. ๋ค๋ง ์ด ๋น๊ต๋ ์กฐ๋ฐํ ๋ณด์์ IsaacLab 4๊ณผ์ ์์๋ง ํ๊ณ , ์์ ๋ณธ sparse ํ์ ๊ณผ์ ์์์ ํจ๊ณผ๋ ์ธก์ ๋์ง ์์๋ค.
๋นํ์ ์ผ๋ก ๋ณด๋ฉด
๊ฐ์
- ๋ฌธ์ ์ค์ ์ด ์ ํํ๋ค. โoff-policy๊ฐ ๋๋ฆฐ ๊ฒ์ update๊ฐ ๋ง๊ธฐ ๋๋ฌธโ์ด๋ผ๋ ์ง๋จ๊ณผ โupdate๋ฅผ ์ค์ด๊ณ ๋ค๋ฅธ ์ถ์ ํค์ด๋คโ๋ ์ฒ๋ฐฉ์ด ๋ช ๋ฃํ๋ค. ์ง๋ํ์ต์ scaling ์ง๊ด์ RL์ ๋น์ฉ ๊ตฌ์กฐ์ ๋ง๊ฒ ์ฎ๊ฒผ๋ค.
- ๋์ ํ๊ฐ ๋ฒ์. 10๊ฐ ์๋ฎฌ๋ ์ดํฐ, GPUยทCPUยท๋น์ ยท์ค๊ธฐ๋ฅผ ํ๋์ ์ค์ ์ผ๋ก ๋๋ ธ๋ค. ๋จ์ผ ์ค์ ์ด๋ผ๋ ์ฌ์ค ์์ฒด๊ฐ ์ค์ฉ์ ๊ฐ์น๋ค. ๊ณต๊ฐ CSV๋ก ์ธ์ด ๋ณด๋ฉด CPU 39๊ณผ์ ์์ XQCยทSimbaV2๋ฅผ ๋๋ถ๋ถ ๋๋๋ค.
- ๊ณ ์ฐจ์ ์ฐ์๋ ์์๋ฃ๋ก ํ์ธ๋๋ค. AllegroยทShadowยทํด๋จธ๋ ธ์ด๋์์ PPO์์ ๊ฒฉ์ฐจ๊ฐ ์ ๋ฐฐ์ด๊ณ , FastTD3๋ณด๋ค๋ ์ผ๊ด๋๊ฒ ๋๋ค.
- ์์๋ฃ ๊ณต๊ฐ. ๊ฑฐ์ ๋ชจ๋ ๊ทธ๋ฆผ์ ํ์ต๊ณก์ CSV(๋๊ฐ 5 seed)๊ฐ ๋ ํฌ์ ์์ด ๋ ์๊ฐ ๊ทธ๋ฆผ์ ๋ค์ ๊ทธ๋ฆฌ๊ณ ์ฃผ์ฅ์ ์ซ์๋ก ๋์กฐํ ์ ์๋ค. ์ด ๋ฆฌ๋ทฐ์ ํ ๋๋ถ๋ถ์ด ๊ทธ ๋๋ถ์ ๊ฐ๋ฅํ๋ค. ์ด๋ฐ ๊ณต๊ฐ๋ ๋๋ฌผ๋ค.
- ํด์ ๊ฐ๋ฅํ ์ง๋จ ์งํ. normยทcondition number๋ฅผ ๊ฐ์ด ๊ทธ๋ ค โ์ ์์ ํด์ก๋โ๋ฅผ ๋งํ๋ ค ํ ์ ์ ์ฑ๋ฅ ๊ณก์ ๋ง ๋ณด์ฌ ์ฃผ๋ ๋ ผ๋ฌธ๋ณด๋ค ๋ซ๋ค.
์ฝ์ ยทํ๊ณ
- wall-clock์ด ์ธก์ ์ด ์๋๋ผ ์ถ์ ์ด๋ค. ๋ชจ๋ ์๊ฐ ์ถ์ ํ๊ฒฝ ์๊ฐ๊ณผ ์๊ณ ๋ฆฌ์ฆ update ์๊ฐ์ ๋ฐ๋ก ์ฌ์ ๋ํ ๊ฐ์ด๊ณ , update ์๊ฐ์ ๋ํ ํ๊ฒฝ ํ๋(MuJoCo Humanoid-v4 / DMC Walker-run)์์ ์ฐ ๊ฒ์ ์ ๊ณผ์ ์ ์ฌ์ฌ์ฉํ๋ค(๋ถ๋ก A). ์ํ ์ฐจ์ 310์ G1 Rough์ 376์ Humanoid-v4๋ ๋น์ทํ๋๋ผ๋, IsaacLab์ GPUโCPUโGPU ์๋ณต์ด๋ 1,024 ํ๊ฒฝ Python ๋ฃจํ ๊ฐ์ ๋น์ฉ์ ์ด ์ถ์ ์ ๋ค์ด๊ฐ์ง ์์ ์ ์๋ค. ํ๋ก์ ํธ ํ์ด์ง์ scaling ๊ทธ๋ฆผ(Fig. 8 ๋์)์ arXiv ํ๊ณผ ๊ณก์ ๋ชจ์์ ๊ฐ์๋ฐ ์๊ฐ ์ถ ๋๊ฐ์ด ๋ค๋ฅด๋ค(ํญ 1024๊ฐ ์ฝ 42๋ถ vs ์ฝ 49๋ถ). ์ด ๋ ผ๋ฌธ์ ํค๋๋ผ์ธ์ด โ์๊ฐโ์ธ ๋งํผ, ์ค์ธก end-to-end wall-clock ํ ํ๊ฐ ํ์ํ๋ค.
- Sim-to-real ๋น๊ต์ ๊ณต์ ์ฑ. ๋ณธ๋ฌธ์ ๊ฐ์ ๋ณด์์ด๋ผ ํ์ง๋ง ๋ถ๋ก์ ๊ฐ์ค์น๊ฐ ํฌ๊ฒ ๋ค๋ฅด๋ค(termination penalty โ200 vs ์์, body orientation โ52 vs โ2 ๋ฑ). ํ๋์จ์ด(A100 vs ๋ณธ๋ฌธ์ RTX 5090), seed 1๊ฐ, ์ค๊ธฐ ์ฑ๊ณต๋ฅ ยท์๋ ํ์ ๋ถ์ฌ, domain randomization ๋ฒ์ ๋ถ์ฌ๊น์ง ๊ฒน์ณ โhours to minutesโ๋ ๋ฐฉ๋ฒ + ๋ณด์ ์ค๊ณ ๋ฌถ์์ ์์ฐ์ผ๋ก ์ฝ์ด์ผ ํ๋ค.
- ๋ณธ๋ฌธ ๋ฌธ์ฅ๊ณผ ๊ทธ๋ฆผยท๋ถ๋ก์ ์ด๊ธ๋จ. โcondition number monotonically decreasesโ(Fig. 9์ ๋ค๋ฆ), โeach addition stabilizesโ(ResidualยทBNยทRMSNorm ๋จ๊ณ์์ ๋ฐ๋ก), โmatches or exceeds all baselines in asymptotic performanceโ(๋น์ ์์ ๊ฐ์ step ๊ธฐ์ค์ผ๋ก๋ MR.Q๊ฐ 5/8 ์ฐ์, ๋ถ๋ก์๋ ๋ณธ๋ฌธ์ ์๋ XQCยทDrM์ด ๋ ๋์ ๊ณผ์ ๋ ์๋ค), โconverging across all tasksโ(ManiSkill PokeCube 1/5 seed๋ง ์ฑ๊ณต), โPPO 200M stepโ(CSV๋ ๋๋ถ๋ถ 100M).
- ์ค์ ์์ ๋ถ์ผ์น. UTD(๋ณธ๋ฌธ 2/1024 vs Table 9 2/2048), n-step(Table 9 GPU n=1 vs IsaacLab ์คํฌ๋ฆฝํธ n=3), โฮณ๋ง ๋ฐ๊พผ๋คโ(๊ณต๊ฐ ์คํฌ๋ฆฝํธ๋ IsaacLab๋ง n-step 3, MuJoCo PlaygroundยทGenesis๋ asymmetric ๊ด์ธก์ ์ผ ๋ค), ๊ณผ์ ์(๋ณธ๋ฌธ 40 vs ํยทCSV 39), โ2.5M for both actor and criticโ(ํฉ๊ณ), ๋น์ ํ์ดํผํ๋ผ๋ฏธํฐ(โCPU ์ค์ ์ฌ์ฌ์ฉโ์ด๋ผ ํ์ง๋ง batch 256ยทUTD 0.5๋ก ๋ค๋ฆ), ยง5.4์ ยง5.2 ์ฐธ์กฐ, LR ์ค์ผ์ค(Table 9๋ 1.5e-4๊น์ง ๊ฐ์์ง๋ง ๊ณต๊ฐ ์ฝ๋์์ actorยทtemperature๋ ์ฝ 2.25e-4์์ ๋๋จ). ๋๋ถ๋ถ ์ฌ์ํ์ง๋ง ์ฌํ์์๊ฒ๋ n-step 3์ฒ๋ผ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๊ฟ ์ ์๋ ํญ๋ชฉ์ด ์์ฌ ์๋ค. ๋ถ์ ์ (ยง6)์ด ์ ๋ถ IsaacLab 4๊ณผ์ ์์ ์ด๋ค์ก์ผ๋ฏ๋ก ๊ทธ ๊ณก์ ๋ค๋ n-step 3์ผ๋ก ํ์ต๋์ ๊ฐ๋ฅ์ฑ์ด ๋๋ค.
- ๊ธฐ๋ณธ๊ฐ์ ์ ๊ทผ ์ฑ๋ฅ์ด ์๋๋ผ ์๋์ ๋ง์ถฐ์ ธ ์๋ค. ๊ฐ์ 50M step์ด๋ฉด ํญยท๊น์ดยทbatchยทUTD๋ฅผ ํค์ด ์ค์ ์ด ๋ชจ๋ ๋ ๋๊ฒ ๋๋๋ค. โ๊ฐ์ฅ ๋์ ์ ๊ทผ ์ฑ๋ฅ์ ๊ฐ์ฅ ์งง์ ์๊ฐ์โ๋ผ๋ ํ๋ณด ๋ฌธ๊ตฌ๋ ๋ ์ค ํ๋๋ฅผ ๊ณ ๋ฅธ ๊ฒฐ๊ณผ๋ค.
- ์ ๊ทํ ๊ธฐ์ค์ ์๊ธฐ ์ฐธ์กฐ. IsaacLab ์ ๊ทํ ์ ์๋ FlashSAC์ ์ค๋ ๋๋ฆฐ ์ฑ๋ฅ์ ๊ธฐ์ค์ผ๋ก ์ผ๋๋ค. ์๋ ๋น๊ต์๋ ์ํฅ์ด ์์ง๋ง, ์ง๊ณ ๊ทธ๋ํ์ โ1.0โ์ด ๋ฌด์์ ๋ปํ๋์ง(=FlashSAC์ ์ฅ๊ธฐ ์ฑ๋ฅ) ์๊ณ ์ฝ์ด์ผ ํ๋ค.
- Fig. 7์ ๋น๊ต ๋์. on-policy ์ชฝ์ด PPO์ ๋ฐ์ดํฐ๊ฐ ์๋๋ผ FlashSAC ์ต์ข ์ ์ฑ ์ rollout์ด๋ผ, โon-policy๊ฐ ์ข์์ ์ง๋คโ๋ ์ธ๊ณผ๋ฅผ ์ง์ ๋ณด์ฌ ์ฃผ์ง ์๋๋ค.
- sparse ํ์์์์ ์ฝ์ ์ด ๋ค๋ค์ง์ง ์๋๋ค. ํ์ ์ฅ์น๋ฅผ ๊ธฐ์ฌ๋ก ๋ด์ธ์ฐ๋ฉด์ ๋ถ๋ก์ด ํ์ ํ๊ฐ์ฉ์ด๋ผ ํ cartpole swingup_sparse์์ ๋ค๋ฅธ ๋ฐฉ๋ฒ๋ค์ ํฌ๊ฒ ๋ค์ง๋ค.
- ๊ณต๊ฐ ๋ฒ์๊ฐ ์ ๋ฐ์ด๋ค. ๋ณธ ๋ ํฌ์๋ ์ํ ๊ธฐ๋ฐ ํ์ต ์ฝ๋์ CSV๊ฐ ์์ง๋ง ๋น์ ์ธ์ฝ๋ ์ฝ๋์ sim-to-real ์ฝ๋๊ฐ ์๊ณ , ์ฒดํฌํฌ์ธํธ๋ ์๋ค. sim-to-real ๊ตฌ์ฑ ์์๋ ๋์ค์ ์๊ธด ํ์ ๋ ํฌ
Holiday-Robot/rsl_rl_flashsac์ ๋ค์ด ์๋ค. ๊ฐ์ ์ฝ๋๋ก ๋ ผ๋ฌธ ๊ฒฐ๊ณผ๋ฅผ ๋๋์ง๋ ์ ์ ์๋ค.
๊ณต๊ฐ ์ฝ๋์ ๋์กฐ
์๋๋
Holiday-Robot/FlashSACupstream ์ปค๋ฐ87edc90(2026-04-09)์ ์ฝ์ด ํ์ธํ ์ฌ์ค์ด๋ค. ํ์ต์ ๋๋ฆฌ์ง ์์๊ณ , ๋ ผ๋ฌธ ์์น๋ ๋ชจ๋ โ๋ ผ๋ฌธ์ด ์ฃผ์ฅํ ๊ฐโ์ด๋ค.
| ํญ๋ชฉ | ๋ ผ๋ฌธ | ๊ณต๊ฐ ์ฝ๋ | ํ์ |
|---|---|---|---|
| UTD(GPU) | ๋ณธ๋ฌธ 2/1024, Table 9 2/2048 | num_train_envs=1024, updates_per_interaction_step=2 |
๋ณธ๋ฌธ๊ณผ ์ผ์น, ํ ์ค๊ธฐ |
| n-step(GPU) | Table 9 n=1 | IsaacLab ์คํฌ๋ฆฝํธ๋ง n_step=3, ๋๋จธ์ง GPU ์๋ฎฌ 1 |
์์ ๊ณผ ๋ค๋ฆ |
| ์๋ฎฌ๋ณ ์กฐ์ | โฮณ๋ง ์๋ฎฌ ๊ธฐ๋ณธ๊ฐ์ ๋ง์ถคโ | ฮณ = 0.99(IsaacLab)ยท0.97(MJP)ยท0.9(ManiSkill)ยท0.95(Genesis, MyoSuite). MJPยทGenesis๋ asymmetric ๊ด์ธก ์ผฌ | ฮณ ์ธ ์กฐ์ ๋ ์์ |
| ๋ชจ๋ธ ํฌ๊ธฐ | โ2.5M, 6-layer for both actor and criticโ | actor ์ฝ 0.29M + critic 2๊ฐ ์ฝ 2.24M = ์ฝ 2.53M, Linear 6์ธต | ํฉ๊ณ |
| ๋ธ๋ก ๊ตฌ์กฐ | Fig. 2 | Linear(hโ4h, bias ์์) โ BN โ ReLU โ Linear(4hโh) โ BN โ ReLU โ + residual | ์ผ์น |
| ์ ๋ ฅ ์ ๊ทํ | Fig. 2 ์ฒซ BatchNorm ๋ฐ์ค(๋ณธ๋ฌธ ์ค๋ช ์์) | ์๋ฒ ๋ฉ ์ BatchNorm | ์ผ์น(๋ณธ๋ฌธ ์์ ๋ณด์ถฉ) |
| Cross-batch | CrossQ ๋ฐฉ์ | concatํ์ง๋ง EMA target critic(ฯ=0.01)์ ์ ์งํ๊ณ target๋ ๋ฐฐ์น ํต๊ณ๋ก forward(EMA๊ฐ BN ๋ฒํผ๋ฅผ ๋ณต์ฌํ์ง ์์) | ๋ ผ๋ฌธ ๋ฐ ์ธ๋ถ |
| Actor update์ Q | ์์ ์์ | actor ์์ค์ Q๋ critic์ BN running ํต๊ณ(eval ๋ชจ๋, momentum 0.01)๋ก ํ๊ฐ. critic ํ์ต์ ๋ฐฐ์น ํต๊ณ | ๋ ผ๋ฌธ ๋ฐ ์ธ๋ถ |
| LR ์ค์ผ์ค | cosine decay 3e-4 โ 1.5e-4(Table 9) | actorยทcriticยทtemperature๊ฐ ๊ฐ์ ์ค์ผ์ค(์ด update ์ ๊ธฐ์ค)์ ์ฐ์ง๋ง actorยทtemperature ์ค์ผ์ค๋ฌ๋ actor update(2ํ์ 1๋ฒ)์์๋ง step โ ํ์ต ๋์ cosine ์ ๋ฐ ์ง์ , LR ์ฝ 2.25e-4. critic๋ง 1.5e-4์ ๋๋ฌ | ์์ ๊ณผ ๋ค๋ฆ(actorยทtemperature) |
| Weight norm ๋ฒ์ | ๊ฐ weight ๋ฒกํฐ โ ๋จ์ norm, (\gamma,\beta) โ \sqrt d | ๋ชจ๋ Linear ํ ์ ๊ทํ, BN์ [\gamma;\beta]๋ฅผ ํจ๊ป \sqrt d๋ก. value headยทpolicy head bias๋ ์ ์ธ | ์ผ์น(์ธ๋ถ ๋ณด์ถฉ) |
| Noise repetition | ฮต๋ฅผ k step ์ ์ง, k~Zeta(2), ์ต๋ 16, โminimal local stateโ | ๊ฐ์. k์ ์นด์ดํฐ๋ ์ ํ๊ฒฝ ๊ณต์ ์ค์นผ๋ผ(๋ ผ๋ฌธ ์์ ๊ณผ ๋ถํฉ). ์ํผ์๋ reset ๋ ฮต๋ฅผ ๋ค์ ๋ฝ์ง ์์ | reset ์ฒ๋ฆฌ๋ง ๋ ผ๋ฌธ์ ์์ |
| Reward scaling | Eq. 6 | ํ ์ธ return์ running ๋ถ์ฐ๊ณผ ์ต๋ ํฌ๊ธฐ๋ก ๋๋, ํ๊ท ์ ๋นผ์ง ์์, G_{\max}=5 | ์ผ์น |
| ๋น์ ยทsim-to-real | ยง5.3, ยง5.4 | ๋ณธ ๋ ํฌ์ ์์(CSV๋ง) | ๋ฏธ๊ณต๊ฐ |
์ฌํํ ๋ ์์ ๋ ํจ์ ๋ ๋ช ๊ฐ์ง ์๋ค. IsaacLabยทGenesis๋ ํ ํ๋ก์ธ์ค์ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ํ๋๋ง ๋์ธ ์ ์์ด ํ๊ฐ ํ๊ฒฝ = ํ์ต ํ๊ฒฝ์ด๊ณ , ํ๊ฐ๊ฐ ํ์ต ํ๊ฒฝ์ resetํ ๋ค ํ์ต ๋ฃจํ๋ ํ๊ฐ ์ ์ ๊ด์ธก์ผ๋ก ์ด์ด์ง๋ค. ๊ธฐ๋ณธ ์ค์ ์์ ํ๊ฐ 10ํ ร 1,024๊ฐ ์ ์ด์ ๊ด์ธก ์ง์ด ์ด๊ธ๋๋ค. ๋ IsaacLab์ ์ข ๋ฃ ์ง์ ๊ด์ธก์ ์ฃผ์ง ์์ time-out bootstrap์ด reset ํ ๊ด์ธก์ ์ด๋ค(์ฝ๋ ์ฃผ์์ด IsaacLab ์ด์๋ฅผ ๋ค์ด ์ธ์ ํ๋ค). ๋ ๋ค ์ฑ๋ฅ์ ๋ฏธ์น๋ ํฌ๊ธฐ๋ ์์ ๊ฒ์ผ๋ก ๋ณด์ด์ง๋ง, ๊ณต๊ฐ ์ฝ๋๋ก ์ฌํ์ตํ ์์น๊ฐ ๋ ผ๋ฌธ ๊ณก์ ๊ณผ ๋ฏธ์ธํ๊ฒ ๋ค๋ฅผ ์ ์๋ ์ด์ ๋ค. Python 3.10/3.11์ ๋ฐ๋ผ Isaac Sim 4.5 + IsaacLab 2.1 ๋๋ 5.1 + 2.3์ ์ฐ๋๋ก ๊ณ ์ ๋ผ ์๊ณ , IsaacLab extra๋ GenesisยทHumanoidBench์ ๊ฐ์ ํ๊ฒฝ์ ์ค์น๋์ง ์๋๋ค.
๊ด๋ จ ์ฐ๊ตฌ์์ ์๋ฆฌ ๋งค๊น
FlashSAC์ off-policy ์์ ํ ๊ณ๋ณด์ โ๊ท๋ชจโ ๋ฒ์ ์ด๋ค. SimBa๊ฐ โ์ํคํ ์ฒ๋ง ๋ฐ๊ฟ๋ ํ๋ผ๋ฏธํฐ scaling์ด ์ด๋ฆฐ๋คโ๋ฅผ ๋ณด์๊ณ , SimbaV2๊ฐ hypersphere ์ ๊ทํยทdistributional criticยท๋ณด์ ์ค์ผ์ผ๋ง์ผ๋ก ์ด๋ฅผ ๋ค๋ฌ์์ผ๋ฉฐ, CrossQยทXQC๋ BatchNorm๊ณผ condition number๋ก ๊ฐ์ ๋ฌธ์ ๋ฅผ ๋ค๋ฅธ ์ชฝ์์ ํ์๋ค. ์ด๋ค์ด ์ฃผ๋ก ์ํ ํจ์จ(1M step, ๋จ์ผ ํ๊ฒฝ)์์ ๊ฒฝ์ํ๋ค๋ฉด, FlashSAC์ ๊ฐ์ ๋ถํ์ FastTD3ยทFastSAC์ด ์ฐ ๋๊ท๋ชจ ๋ณ๋ ฌยทwall-clock ์ฒด์ ๋ก ์ฎ๊ฒผ๋ค. ๊ทธ๋์ CPU ๋ฒค์น๋งํฌ์์๋ XQCยทSimbaV2์ ๊ทผ์ํ ์ฐจ์ด๋ก ์์๊ณ , GPU ๋ฒค์น๋งํฌ์์๋ FastTD3์ PPO๋ฅผ ํฌ๊ฒ ์์ ๋ค. ๊ธฐ์ฌ์ ๋ฌด๊ฒ๋ ์ ๋ถํ๋ณด๋ค ์ฒด์ ์ ์ด๋๊ณผ ๊ทธ ์ฒด์ ์์์ ํ์ดํผํ๋ผ๋ฏธํฐ ์ ํ์ ์๋ค.
์์ฉ ์ชฝ์์๋ ์ด๋ฏธ ํ์ ์ฌ์ฉ์ด ๋ณด์ธ๋ค. FlashDexRetarget์ FlashSAC์ replay 50Mยทcritic ํญ 1024๋ก ํค์ ์์ญ~์์ฒ ๊ฐ ์ ๋์ ๋ฆฌํ๊ฒํ ์ ํ ์ ์ฑ ์ ๋ด์๊ณ , ๊ทธ ๋ ผ๋ฌธ์ ์ด๋ธ๋ ์ด์ ์์ ํ์ต๊ธฐ ๊ต์ฒด(PPO โ FlashSAC โ ํฐ buffer โ ํฐ critic)๊ฐ ๊ฐ์ฅ ํฐ ํจ๊ณผ๋ฅผ ๋๋ค. CHORD v2 ๋ถ๋ก๋ FlashSAC์ผ๋ก ํ์ตํ๋ค๊ณ ์ ๋๋ค. ํด๋จธ๋ ธ์ด๋ ๋ฒค์น๋งํฌ ์ชฝ์์๋ HumanoidBench์ 14๊ณผ์ ๊ฐ CPU ์คํ์ ๋ค์ด ์๊ณ , FlashSAC์ ๋๋ถ๋ถ์ ๊ณผ์ ์์ TD-MPC2๋ฅผ ๋์ง๋ง H1 Hurdle์ฒ๋ผ ํฌ๊ฒ ๋ค์ง๋ ๊ณผ์ ๋ ์๋ค.
์๋ณด์ ์ธ ๋ฐฉํฅ์ผ๋ก๋ ์ ์๋ค์ด ๊ฒฐ๋ก ์์ ๋ ๊ฒ๋ค์ด ์๋ค. ๋ฐ์ดํฐ ํจ์จ์ด ์ข์์ง๋ฉด ๋ ํฐ ์ ์ฑ , ๋น์ ยท์ด๊ฐ ๊ฐ์ ํ๋ถํ ๊ฐ๊ฐ, ๋๋ฆฌ์ง๋ง ์ฌ์ค์ ์ธ ์๋ฎฌ๋ ์ดํฐ, ์์ฐ๊ณผ ์๊ธฐ ์์ง ๋ฐ์ดํฐ์ ํผํฉ(RLPD์)์ ์ธ ์ ์๋ค๋ ๊ฒ์ด๋ค. ํนํ ์ด๊ฐ ๊ธฐ๋ฐ ํ์ต์ผ๋ก์ ํ์ฅ์ future work๋ก ๋ช ์ํ๋ค(ยง7). ๋ค๋ง ์ด ๋ ผ๋ฌธ์ด ์ค์ ๋ก ๋ณด์ธ ๊ฒ์ ์ํ ๊ธฐ๋ฐ ๊ณ ์ฐจ์ ์ ์ด๊น์ง์ด๊ณ , ๋น์ ์ ๊ณต๊ฐ ์ฝ๋ ์์ด CSV๋ง ์๋ค.
์์ฝ
FlashSAC์ off-policy RL์ โupdate๋ฅผ ์ ๊ฒ, ํฌ๊ฒโ ํ๋ ์ฒด์ ๋ก ์ฎ๊ธฐ๊ณ , ๊ทธ ์ฒด์ ์์ ํฐ critic์ด ๋ฌด๋์ง์ง ์๋๋ก BatchNormยทRMSNormยทdistributional criticยทweight normalization์ผ๋ก norm์ ๋ฌถ์ SAC ๋ณํ์ด๋ค. ํ๋์ ์ค์ ์ผ๋ก 10๊ฐ ์๋ฎฌ๋ ์ดํฐ 60์ฌ ๊ฐ ๊ณผ์ ๋ฅผ ๋๋ ค ๊ณ ์ฐจ์ ๊ณผ์ (๋ค์ง ์, ํด๋จธ๋ ธ์ด๋)์์ PPO์ FastTD3๋ฅผ ํฌ๊ฒ ์์ฐ๊ณ , G1 ์ค๊ธฐ ๋ณดํ ํ์ต ์๊ฐ์ ๋ช ์๊ฐ์์ ๋ช์ญ ๋ถ์ผ๋ก ์ค์๋ค๊ณ ๋ณด๊ณ ํ๋ค. ํ์ต๊ณก์ ์์๋ฃ๊น์ง ๊ณต๊ฐํด ์ฃผ์ฅ์ ์ซ์๋ก ๋์กฐํ ์ ์๊ฒ ํ ์ ์ ์ด ๋ถ์ผ์์ ๋๋ฌธ ๋ฏธ๋์ด๋ค.
๋์์ ์ด ๋ฆฌ๋ทฐ๊ฐ ์์๋ฃ๋ก ํ์ธํ ๋ฒ์์์๋ ์์ ์ ์ ๋ฐ๋๊ฐ ๊ฒฐ๊ณผ์ ๊ฐ๋๋ฅผ ๋ฐ๋ผ๊ฐ์ง ๋ชปํ๋ค. wall-clock์ ์ถ์ ๊ฐ์ด๊ณ , sim-to-real์ ์๊ฐ ๋น๊ต๋ ๋ค๋ฅธ ๋ณด์ ์ค๊ณ ์์์ ๋์์ผ๋ฉฐ, โ์ ๊ทผ ์ฑ๋ฅ์์๋ ์์ ๋คโ๋ ๋ฌธ์ฅ์ ๋น์ ยท์ผ๋ถ ์ ์ฐจ์ ๊ณผ์ ์์ ์์๋ฃ์ ๋ง์ง ์๋๋ค. ์ํคํ ์ฒ ์ด๋์ ๋๋ถ๋ถ์ distributional critic ํ ๋จ๊ณ์์ ์ค๊ณ , ๊ธฐ๋ณธ ์ค์ ์ ์ ๊ทผ ์ฑ๋ฅ์ด ์๋๋ผ ์๋์ ๋ง์ถฐ ๊ณจ๋๋ค. ๊ทธ๋์ ๊ฐ์ฅ ์ ํํ ํ ์ค์ ์ด๋ ๋ค. ๊ณ ์ฐจ์ ์ํ ๊ธฐ๋ฐ ์ ์ด์์ PPO ๋์ ๋จผ์ ์๋ํด ๋ณผ ๋งํ, ์ ํ๋๋ off-policy ๊ธฐ๋ณธ๊ฐ. โIf youโre using PPO, try FlashSACโ๋ผ๋ ํ๋ก์ ํธ ํ์ด์ง์ ์ ์์ ๊ทธ ๋ฒ์ ์์์ ์ค๋๋ ฅ์ด ์๋ค.
์ด ๊ธ์ ๋ํด
- ์ฝ์ ๋ฒ์: arXiv v2(2026-05-15)์ ๋ณธ๋ฌธยท๋ถ๋ก์ e-print ์์ค์ HTML๋ก ๋์กฐํด ์ฝ์๋ค. v1(2026-04-06)๊ณผ์ ์ฐจ์ด๋ ๊ด๋ จ ์ฐ๊ตฌ ์ (ํ์ ๊ฐ๋ ์ถ๊ฐ)๋ฟ์ด๊ณ ๊ทธ๋ฆผยทํ๋ ๊ฐ๋ค. ๊ฒ์ฌ์ฒ RSS 2026์ arXiv ๋ฉํ๋ฐ์ดํฐ์ comment ๊ธฐ์ค์ด๋ค. Fig. 1~10ยท12ยท17ยท28์ e-print์ ๊ทธ๋ฆผ PDF๋ฅผ, Fig. 11์ arXiv HTML ๊ทธ๋ฆผ์ ์ผ๋ค.
- ๋
ผ๋ฌธ ๋ฐ ์๋ฃ: ๊ณต๊ฐ ๋ ํฌ
Holiday-Robot/FlashSAC(MIT, upstream ์ปค๋ฐ87edc90)์scripts/ยทresults/ยท์๊ณ ๋ฆฌ์ฆ ์ฝ๋์ ํ๋ก์ ํธ ํ์ด์ง(์์, ๊ทธ๋ฆผ)๋ฅผ ์ฐธ๊ณ ํ๊ณ , ๋ณธ๋ฌธ์์ ๊ทธ๋๋ง๋ค ์ถ์ฒ๋ฅผ ๋ฐํ๋ค. ๋ ํฌ์๋ ์ฒดํฌํฌ์ธํธยท๋น์ ์ฝ๋ยทsim-to-real ์ฝ๋๊ฐ ์๋ค. - ํ๊ธฐ: โํ์ ๊ณ์ฐโ์ ๊ณต๊ฐ
results/CSV์ ๋ง์ง๋ง ํ๊ฐ๊ฐ seed ํ๊ท ์ผ๋ก ๊ณ์ฐํ ๊ฐ(๊ณผ์ ๋ณ ์ต์ข ๊ฐ, 4๊ณผ์ ์ ๊ทํ ํ๊ท , ์นํจ ์) ๋๋ ๋ ผ๋ฌธ ์ค์ ์ผ๋ก ๊ณ์ฐํ ๊ฐ(ํ๋ผ๋ฏธํฐ ์, Zeta ๋ถํฌ ํต๊ณ, entropy target)์ด๋ค. ๋ ผ๋ฌธ ๊ทธ๋ฆผ์ ์ง๊ณ ๋ฐฉ์๊ณผ ๋ค๋ฅผ ์ ์์ด ์ ๋๊ฐ์ ๊ทธ๋ฆผ๊ณผ ์กฐ๊ธ ๋ค๋ฅผ ์ ์๊ณ , ํต๊ณ ๊ฒ์ ์ ํ์ง ์์๋ค. โ๊ทธ๋ฆผ์์ ์ฝ์ ๊ฐโ์ ๊ทธ๋ํ์ ์ ์ ๋์ผ๋ก ์ฝ์ ๊ทผ์ฌ์น๋ค. โํ์์ ํด์ยท์ถ์ โ์ ๋ ผ๋ฌธ์ด ์ง์ ์ฃผ์ฅํ์ง ์์ ํด์์ด๋ค. ์ฝ๋ ํ์ธ์ ์ ์ ๋ ํด์ด๋ฉฐ ์คํ ๊ฒ์ฆ์ด ์๋๋ค. ์ธ์ฉ์ ๋๊ดํธ ๋ฒํธ ๋์ ์ ์-์ฐ๋ยท๋ ผ๋ฌธ ์ด๋ฆ์ผ๋ก ์ ์๋ค.