📃SimBa 리뷰

SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning

• Paper Link (arXiv:2410.09754v2)

• Code Link (SonyResearch/simba) — JAX 구현 + Dockerfile 제공, 리뷰 시점 접근 가능

• Project Page

• 저자: Hojoon Lee*, Dongyoon Hwang*, Donghu Kim, Hyunseung Kim, Jun Jet Tai, Kaushik Subramanian, Peter R. Wurman, Jaegul Choo, Peter Stone, Takuma Seno (* 공동 1저자)

• KAIST · Sony AI · KRAFTON · Coventry University · UT Austin

• ICLR 2025 (arXiv v2, 2025-05-29)

1. 💡 CV·NLP의 스케일업을 가능하게 한 것이 “simplicity bias”(네트워크가 단순·일반화되는 함수로 수렴하려는 경향)라면, 딥 RL에서 파라미터를 늘려도 성능이 떨어지는 이유도 아키텍처에 그 bias가 없기 때문이라는 진단.
2. ⚙️ 그래서 알고리즘은 하나도 손대지 않고 ① 관측을 running mean/var로 표준화하는 RSNorm, ② 입력→출력 선형 경로를 남기는 pre-LN residual feedforward block, ③ 출력 직전의 post-LayerNorm 세 조각만으로 네트워크를 바꾸고 파라미터를 키운다.
3. 🎯 SAC의 MLP를 SimBa로 교체하기만 해도 DMC-Hard 평균 리턴이 +570점, DMC·MyoSuite·HumanoidBench 51개 태스크에서 BRO·TD-MPC2·TD7·DreamerV3와 동급 이상을 RTX 3070 기준 더 짧은 계산 시간으로 달성한다(예외: HumanoidBench의 TD-MPC2, 단 계산량 2.5배).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

딥 RL에서 “네트워크를 키우면 성능이 떨어진다”는 것은 오래된 경험칙이다. CV·NLP는 파라미터를 늘려서 발전했는데 RL은 왜 반대인가? 이 논문의 대답은 알고리즘이 아니라 아키텍처다. 큰 네트워크가 과적합을 면하는 이유는 표현력 자체가 아니라 ReLU·LayerNorm·residual 같은 구성요소가 만드는 simplicity bias — 초기화 시점부터 저주파(단순) 함수를 표현하고, 학습 후에도 단순한 해로 수렴하려는 성향 — 이며, 딥 RL의 표준 MLP는 이 bias가 약해서 커질수록 무너진다는 것이다.

SimBa는 그래서 새 손실함수, 새 정규화 트릭, 새 학습 프로토콜을 도입하지 않는다. 네트워크만 갈아끼운다. SAC·DDPG·TD-MPC2·PPO·METRA에 SimBa를 넣고 파라미터를 키우면 일관되게 샘플 효율이 오르고, SAC + SimBa만으로 51개 연속제어 태스크에서 SOTA급 방법들과 겨룬다. 저자들은 이를 Sutton의 Bitter Lesson과 연결한다 — 태스크별 기법보다 스케일되는 구조가 오래 간다는 것.

벤치마크 요약(Fig. 1) — (a) 샘플 효율: off-policy(SAC, TD-MPC2)·on-policy(PPO)·unsupervised(METRA) 네 계열 모두에서 SimBa(주황)가 원본(회색)을 앞선다. (b) 계산 효율: x축이 RTX 3070 기준 학습 시간 — 좌상단이 좋음. SAC + SimBa는 네 벤치마크 모두에서 짧은 시간에 높은 성능에 도달한다.

핵심 방법론:

먼저 “단순함”을 재는 자를 정한다. 함수 f의 Fourier 계수 \tilde f(k)에 주파수를 가중해 평균한 값을 복잡도로 쓰고,

c(f) \;=\; \frac{\sum_{k=0}^{K} |\tilde f(k)|\cdot k}{\sum_{k=0}^{K} |\tilde f(k)|},

그 역수의 초기화 기대값을 simplicity bias score로 정의한다:

s(f) \;\approx\; \mathbb{E}_{\theta\sim\Theta_0}\!\left[\frac{1}{c(f_\theta)}\right].

학습 후 수렴 함수의 복잡도를 직접 재는 것은 (특히 데이터 분포가 계속 바뀌는 RL에서) 불안정하므로, 초기화 복잡도가 수렴 복잡도와 강하게 상관한다는 선행 연구에 기대어 초기화 시점 값을 대리 지표로 쓴다.

네트워크는 세 조각이다.

• RSNorm: 관측 \mathbf{o}_t\in\mathbb{R}^{d_o}의 차원별 running 평균·분산을 갱신(\delta_t=\mathbf{o}_t-\mu_{t-1})하고 표준화한다. \mu_t=\mu_{t-1}+\tfrac{1}{t}\delta_t,\qquad \sigma_t^2=\tfrac{t-1}{t}\Big(\sigma_{t-1}^2+\tfrac{1}{t}\delta_t^2\Big),\qquad \bar{\mathbf{o}}_t=\frac{\mathbf{o}_t-\mu_t}{\sqrt{\sigma_t^2+\epsilon}}
• Residual feedforward block(pre-LN): \bar{\mathbf{o}}_t를 선형 임베딩한 뒤 L개 블록을 통과. 은닉차원을 4\cdot d_h로 부풀린 inverted bottleneck MLP(중간 ReLU)를 쓴다. x_t^{l+1}=x_t^{l}+\mathrm{MLP}\big(\mathrm{LayerNorm}(x_t^{l})\big)
• Post-LayerNorm: 마지막 블록 뒤에 z_t=\mathrm{LayerNorm}(x_t^{L})을 두어 정책·가치 예측 전 활성 스케일을 고정한다.

핵심은 “입력에서 출력까지 순수 선형 경로가 끊기지 않는다”는 점이다. 비선형은 residual 가지에만 있으므로, 네트워크는 필요할 때만 비선형을 켜고 기본적으로는 입력을 그대로 흘린다.

주요 결과:

• 스케일링 곡선이 뒤집힌다(Fig. 2b, DMC humanoid 3태스크): 파라미터 0.1M→17M에서 MLP는 0.3M 부근(≈340점) 이후 ≈130점까지 떨어지는데, SimBa는 ≈330 → ≈570점으로 단조 증가.
• 알고리즘 무관(Fig. 7, DMC-Hard): MLP→SimBa 교체만으로 평균 리턴 SAC +570, DDPG +480, TD-MPC2 +170.
• 51개 태스크 SOTA급(Table 12~15, IQM): DMC-Hard 773.28(BRO 771.50, TD-MPC2 527.11, TD7 216.04, SAC 69.03, DreamerV3 9.63), MyoSuite 95.20(BRO 87.60, TD-MPC2 77.50), DMC-E&M 885.70(BRO 888.02, TD-MPC2 895.47), HumanoidBench 747.43(TD-MPC2 885.67, BRO 558.03).
• 입력 차원이 클수록 이득(Fig. 9): Cartpole(s\in\mathbb{R}^3)에선 SAC와 거의 같고, Quadruped(78)·Dog(223)에선 SAC가 사실상 학습 실패하는 구간을 SimBa가 800점대로 끌어올린다.
• 관측 정규화가 결정적(Fig. 12): RSNorm(≈710)은 oracle 통계(≈715)와 동급이고, LayerNorm·BatchNorm·RMSNorm은 정규화 없음(≈355)과 큰 차이가 없다.
• replay ratio를 올려도 안 무너진다(Fig. 14): reset 없이 RR2→RR16에서 성능이 계속 오르며(≈708→≈758), reset을 넣으면 RR8에서 ≈781로 BRO(RR10, ≈761)를 계산 시간도 앞질러 넘는다. 같은 조건에서 BRO는 reset이 없으면 모든 RR에서 300점 미만으로 붕괴한다.

결론:

SimBa의 주장은 “RL에서 스케일업이 안 되는 건 RL의 숙명이 아니라 아키텍처 선택의 문제였다”는 것이다. 세 줄짜리 구조 변경으로 파라미터·계산량 스케일링이 동시에 열리고, reset·distributional Q·planning·self-supervised loss 같은 부가장치 없이도 그것들을 쓰는 방법들과 대등해진다. 다만 “단순함이 좋다”는 인과는 증명되지 않았고(상관계수 수준), 지표 자체도 2차원 입력 토이 세팅에서 측정된 대리값이라는 한계가 남는다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

딥 RL의 네트워크를 “입력에서 출력까지 선형 경로가 살아 있는 residual + 정규화 블록”으로 바꾸고 파라미터를 키우면, 알고리즘을 전혀 바꾸지 않고도 스케일링 법칙이 RL에서도 작동한다.

배경: RL에서 파라미터를 늘리면 왜 나빠지는가

CV·NLP는 “파라미터를 늘리면 좋아진다”를 전제로 발전했다. 고전 이론대로면 표현력이 커질수록 과적합해야 하는데 그렇지 않은 이유로 논문이 지목하는 것은 simplicity bias다. SGD의 gradient noise는 sharp minima를 피하게 하고, ReLU·LayerNorm·residual connection 같은 구성요소는 초기화 시점의 함수를 저주파 쪽으로 밀어낸다. 그리고 초기화에서 단순한 함수를 표현하는 네트워크가 학습 후에도 단순한 함수로 수렴하는 경향이 있다는 실증 결과들이 쌓여 있다.

딥 RL은 이 방향을 거의 탐색하지 않았다. Double Q-learning·distributional RL 같은 가치추정 안정화, periodic reinitialization·LayerNorm·BatchNorm·spectral norm 같은 정규화, world model·self-supervised objective 같은 표현학습 — 대부분 알고리즘·손실·프로토콜의 개선이다. 네트워크를 키우려는 시도(ensemble, widening, residual, deepening)도 있었지만 spectral normalization처럼 계산이 무거운 층이나 정교한 학습 프로토콜을 요구해 범용성이 떨어졌다.

논문의 출발 관찰은 두 장의 그림으로 요약된다.

동기(Fig. 2) — (a) 100회 무작위 초기화 기준 simplicity score: SimBa ≈6.4 > MLP ≈5.8 (그림에서 읽은 값, 95% CI). (b) DMC humanoid 3태스크에서 actor·critic 폭을 함께 키운 SAC: MLP(회색)는 0.3M 부근을 정점으로 떨어지고, SimBa(주황)는 17M까지 단조 상승.

즉 같은 SAC, 같은 파라미터 수인데 아키텍처만 다르면 스케일링 곡선의 부호가 바뀐다. 여기서부터 논문은 “그 차이를 만드는 구성요소가 무엇인지”를 분해한다.

무엇을 “단순함”이라 부르는가 — 측정 도구

리뷰에서 이 부분을 건너뛰면 논문의 주장 강도를 오해하게 된다. 논문은 VC dimension·Rademacher complexity가 심층망에서 계산 불가능하므로 Neural Redshift(Teney et al., 2024)를 따라 Fourier 기반 복잡도를 쓴다. 이상적인 정의는 “학습 알고리즘 alg로 학습해 도달한 함수 분포 P_{f,alg}에 대한 1/c(f^*)의 기대값”(Eq. 11~12)이지만, RL의 비정상성 때문에 이를 직접 재기 어렵다. 그래서 초기화 시점 근사(Eq. 13)를 쓴다.

실제 측정 절차(Appendix B)는 구체적이다.

1. 아키텍처 f에 대해 무작위 초기화 N=100개를 뽑는다.
2. 입력 공간을 \mathcal{X}=[-100,100]^2\subset\mathbb{R}^2로 두고 각 축 300분할 → 총 90,000개 격자점.
3. 각 점에서 스칼라 출력을 계산 → 2D 그레이스케일 이미지 한 장.
4. 그 이미지에 이산 Fourier 변환을 적용해 c(f_\theta)를 계산(주파수 가중 평균, Eq. 14).
5. s(f)\approx\frac{1}{N}\sum_i 1/c(f_{\theta_i}).

여기서 이미 중요한 단서가 나온다. 측정에 쓰이는 네트워크는 입력 2차원·출력 스칼라다. 실제 RL에서 쓰는 네트워크는 입력 3~8268차원이고 출력도 정책 분포/가치다. 즉 simplicity score는 “같은 블록 구성을 2D 토이 입력에 붙였을 때의 초기 매끄러움”이며, 논문이 보여주는 것은 이 대리 지표와 성능의 상관이다(뒤의 비판 참조).

방법: SimBa의 세 조각

SimBa 아키텍처(Fig. 3) — RSNorm → [LayerNorm → Linear → ReLU → Linear + skip] × N → LayerNorm. 비선형은 residual 가지 안에만 있고, 입력에서 출력까지의 선형 경로(아래쪽 skip)가 끊기지 않는다.

(i) RSNorm — 관측 표준화를 “리플레이 버퍼 밖”에서 하기

관측 \mathbf{o}_t\in\mathbb{R}^{d_o}의 차원별 running 통계를 온라인으로 갱신한다(\delta_t=\mathbf{o}_t-\mu_{t-1}):

\mu_t=\mu_{t-1}+\frac{1}{t}\delta_t,\qquad \sigma_t^2=\frac{t-1}{t}\left(\sigma_{t-1}^2+\frac{1}{t}\delta_t^2\right)

\bar{\mathbf{o}}_t=\mathrm{RSNorm}(\mathbf{o}_t)=\frac{\mathbf{o}_t-\mu_t}{\sqrt{\sigma_t^2+\epsilon}}

동기는 “스케일이 유독 큰 차원이 학습을 지배하는 것”을 막는 것이다. 여기서 놓치기 쉬운 설계 포인트는 정규화를 어디에서 하는가다. 널리 쓰이는 방식(Baselines·Acme·SB3 등의 env wrapper)은 환경에서 관측을 받는 즉시 정규화해 버퍼에 정규화된 값을 저장한다. off-policy에서는 이게 문제가 된다 — 수집 시점마다 통계가 달라서 같은 관측이 버퍼 안에서 서로 다른 값으로 남는다. SimBa는 원시 관측을 저장하고 네트워크 입력 단계에서 현재 통계로 정규화한다.

(ii) Residual feedforward block — 선형 경로를 남기는 이유

x_t^{1}=\mathrm{Linear}(\bar{\mathbf{o}}_t),\qquad x_t^{l+1}=x_t^{l}+\mathrm{MLP}\big(\mathrm{LayerNorm}(x_t^{l})\big),\quad l=1,\dots,L

MLP는 Transformer 관행대로 은닉차원을 4\cdot d_h로 확장하는 inverted bottleneck에 ReLU 하나. pre-LN이라는 점이 핵심으로, LayerNorm이 residual 가지 안쪽에 들어가므로 skip 경로는 어떤 정규화·비선형도 통과하지 않는다. 결과적으로 네트워크의 기본 동작은 “입력을 그대로 통과시키기”이고, 비선형 변환은 필요한 만큼만 더해진다. 이것이 초기화 시점 함수를 저주파로 유지하는 메커니즘이다.

(iii) Post-LayerNorm — 예측 직전 스케일 고정

z_t=\mathrm{LayerNorm}(x_t^{L})

마지막 블록 출력을 정규화한 뒤 선형층으로 정책/가치를 낸다. 논문의 설명은 “은닉 차원 전체의 활성 스케일을 일정하게 유지해 정책·가치 예측의 분산을 줄인다”이며, BroNet·SpectralNet이 출력 직전 정규화를 두지 않는 것과의 차이로 강조된다.

기본 하이퍼파라미터는 놀랄 만큼 평범하다(Table 7): critic 2블록 × 512, actor 1블록 × 128, lr 1e-4, AdamW(weight decay 1e-2), batch 256, replay ratio 2, \tau=5\text{e-}3, target entropy |\mathcal{A}|/2, discount는 TD-MPC2의 휴리스틱, clipped double Q는 HumanoidBench에서만 사용. 즉 SAC 쪽에 특별한 튜닝이 없다.

직관: 왜 이게 통하는가 (그리고 무엇이 설명되지 않는가)

세 조각이 하는 일을 한 줄씩 다시 쓰면:

• RSNorm은 입력 분포를 고정한다 → 고분산 차원에 대한 과적합 억제.
• pre-LN residual은 함수 형태를 저주파로 고정한다 → 파라미터를 늘려도 표현이 난폭해지지 않음.
• post-LN은 출력 스케일을 고정한다 → 정책·가치 예측 분산 감소.

세 개가 각각 다른 층위(입력/함수/출력)의 변동성을 잡는다는 점에서 조합이 곱셈적으로 작동한다는 서술은 설득력이 있다. 그리고 실제로 컴포넌트 분석에서 그 곱셈성이 수치로 보인다.

컴포넌트 분석(Fig. 4) — (a) simplicity score(100 초기화), (b) DMC-Hard 1M step 평균 리턴(SAC, 10 seeds). MLP 대비 residual 단독 +50점, layer normalization +150점, 전부 결합 시 +550점. 개별 기여의 합보다 결합이 훨씬 크다.

반면 설명되지 않는 구멍도 논문이 스스로 드러낸다. Appendix C.1의 역방향 ablation(SimBa에서 하나씩 빼기)에서 RSNorm을 빼면 성능은 크게 떨어지는데 simplicity score는 오히려 올라간다. 저자들의 해석은 “복잡도 측정이 균등분포 입력에서 이뤄지므로, 비균등·비정상 입력 분포를 다루는 RSNorm의 기여를 원리상 포착하지 못한다”는 것이다. 정직한 서술이지만 동시에 지표가 성능의 원인을 설명하는 도구로는 불완전하다는 자백이기도 하다.

아키텍처 비교: BroNet·SpectralNet과 무엇이 다른가

아키텍처 비교(Fig. 5, 5 seeds) — (a) simplicity score: SimBa ≈6.42 > BroNet ≈5.94 > SpectralNet ≈5.68 > MLP ≈5.52. (b) critic 파라미터 0.1→17.8M 스케일링(DMC-Hard): SimBa 최고, BroNet 근접, SpectralNet 완만, MLP는 스케일 실패(≈120~165 구간에 정체). 공정성을 위해 모든 모델에 RSNorm을 동일 적용했다.

차이는 “simplicity bias를 유도하는 요소를 어디에 두는가”다. SimBa는 입력→출력 선형 잔차 경로를 유지하고 비선형을 잔차 가지에만 두는데, BroNet·SpectralNet은 입력→출력 경로 자체에 비선형을 넣어 함수 복잡도가 올라간다. 또 SimBa만 출력 직전 정규화를 가진다(Fig. 20의 도식 비교). 그리고 스케일링 성능 순서가 simplicity score 순서와 일치한다는 것이 논문의 핵심 논거다.

이 상관을 Appendix D가 정량화한다. MLP·SimBa·BroNet·SpectralNet + SimBa 변형 8개 = 총 12개 아키텍처를 파라미터 수 ≈4.5M(편차 1% 이내)로 맞추고 DMC-Hard 1M step 성능과 simplicity score의 상관을 본다. RSNorm을 포함한 아키텍처만 보면 \rho=0.79(강한 상관), 전체 12개로는 \rho=0.54(중간).

실험 1: off-policy RL — 알고리즘을 갈아끼워도 이득

평가 규모는 51개 태스크다: DMC 27개(Easy&Medium 20 @ 500K, Hard 7 @ 1M), MyoSuite 10개 @ 1M, HumanoidBench 14개 @ 2M(손 제외 locomotion, 태스크별 목표 점수로 정규화). DMC/MyoSuite/HumanoidBench 모두 action repeat 2(Table 1). 베이스라인은 SAC·DDPG·TD7·BRO·TD-MPC2·DreamerV3 6종이며, BRO는 “공정한 비교를 위해” 계산 효율이 가장 좋은 BRO-Fast 버전을 쓴다고 명시한다.

알고리즘 무관성(Fig. 7, DMC-Hard) — MLP→SimBa 교체만으로 평균 리턴 SAC +570, DDPG +480, TD-MPC2 +170. SAC·DDPG는 actor-critic 전체를 교체, TD-MPC2는 공유 인코더만 교체하고 파라미터 수를 원본과 맞췄다. 10 seeds(SAC/DDPG), 3 seeds(TD-MPC2).

TD-MPC2의 이득이 작은 이유는 구조적으로 자연스럽다 — 인코더만 바꿨고 파라미터 수도 늘리지 않았으니, “simplicity bias + 스케일업”의 절반만 적용된 조건이다.

SOTA 비교는 계산 시간 축에서 이뤄진다.

off-policy 벤치마크(Fig. 8) — x축은 RTX 3070 + 16-core i7-11800H 기준 학습 시간, 좌상단이 유리. SimBa(SAC + SimBa)는 네 벤치마크에서 대부분의 베이스라인을 더 짧은 시간에 앞선다. 유일한 예외는 HumanoidBench의 TD-MPC2인데, TD-MPC2는 SimBa의 2.5배 계산 자원을 쓴다.

최종 수치(Appendix K, IQM 기준. SimBa/BRO 10 seeds, TD7/SAC 5 seeds, TD-MPC2/DreamerV3 3 seeds):

벤치마크	SimBa	BRO	TD-MPC2	TD7	SAC	DreamerV3
DMC Easy&Medium (20, 500K)	885.70	888.02	895.47	740.19	799.75	748.58
DMC Hard (7, 1M)	773.28	771.50	527.11	216.04	69.03	9.63
MyoSuite (10, 1M)	95.20	87.60	77.50	22.31	71.40	46.56
HumanoidBench (14, 2M)	747.43	558.03	885.67	256.77	311.46	72.30

읽는 법이 중요하다. SimBa가 모든 칸에서 1등인 게 아니다 — DMC-Easy&Medium은 사실상 3자 동률(885.70 / 888.02 / 895.47)이고 HumanoidBench는 TD-MPC2가 명확히 위다. SimBa의 우위가 뚜렷한 곳은 DMC-Hard(Humanoid·Dog)와 MyoSuite, 즉 고차원·고난도 구간이다. 그리고 논문의 주장은 순위 자체보다 “부가장치 없이(distributional Q·optimistic exploration·periodic reset·planning·world model 없이) 이 자리에 온다”는 점에 있다.

이 고차원 편향을 직접 확인하는 실험이 뒤따른다.

입력 차원의 영향(Fig. 9) — 상태 차원별 DMC 도메인: Cartpole(3, 4태스크)·Walker(24, 3)·Humanoid(67, 3)·Quadruped(78, 2)·Dog(223, 4). Cartpole에서는 SAC와 거의 겹치고, 차원이 커질수록 격차가 벌어져 Quadruped·Dog에서는 SAC가 100점대에 머무는 동안 SimBa가 800점대에 도달한다.

저자 가설은 “고차원 입력이 차원의 저주를 심화시키고, simplicity bias가 그 상황의 과적합을 완화한다”이다. 실무적으로는 저차원 태스크라면 SimBa를 쓸 이유가 별로 없다는 뜻도 된다.

실험 2: on-policy RL — Craftax

Craftax(Crafter + NetHack 계열, symbolic 버전: 관측 8268차원·행동 43개, Table 6)에서 PPO의 actor-critic MLP를 SimBa로 교체하고, 1024개 병렬 환경 · 총 10억 스텝으로 학습한다. 결과(Fig. 10, 부록 66개 태스크 학습곡선, 5 seeds): 평균 점수가 위로 벌어지고, iron sword·iron pickaxe 같은 상위 도구 제작 성공률이 훨씬 이른 시점에 올라가며, 그 도구를 전제로 하는 Orc Mage 격파율도 높아진다. 열려 있는 조합형 태스크에서 상위 단계 해금 속도가 아키텍처 변경만으로 빨라진다는 점이 인상적이다.

주의: Craftax 원본은 최대 점수(226) 대비 백분율로 보고하지만 이 논문은 원시 평균 점수를 보고하므로, 다른 Craftax 논문 수치와 직접 비교하면 안 된다.

실험 3: unsupervised RL — METRA의 state coverage

보상 없이 다양한 스킬을 찾는 online skill discovery에도 붙인다. DMC Humanoid에서 METRA를 10M 스텝 학습하고, x·y 축을 격자로 나눠 학습된 행동들이 덮는 칸 수(state coverage)를 센다. 프로토콜은 METRA를 따르되 에피소드 길이 400, 관측에 x·y·z 좌표를 추가하고, 표현함수 \phi의 입력으로는 x·y·z만 쓴다.

URL(Fig. 11) — METRA + SimBa(좌)와 METRA(우)의 스킬 궤적. SimBa 쪽이 사방으로 더 멀리·고르게 퍼진다. Fig. 1(a) 최우측 곡선에서 coverage 수치로도 확인된다.

해석은 일관된다 — 고차원 입력(Humanoid)에서 스킬 학습이 어려운데, 입력 차원을 다루는 bias와 늘어난 파라미터가 탐색을 넓힌다.

Ablation: 무엇이 실제로 성능을 만들었나

세 ablation 모두 DMC-Hard, SAC + SimBa, 5 seeds.

관측 정규화 (Fig. 12)

관측 정규화 비교(Fig. 12) — RSNorm(≈710)이 oracle 통계(≈715)와 동급. Initial N Steps(N=5,000, ≈660)·Env Wrapper(≈640)는 그보다 낮고, BatchNorm(≈420)·RMSNorm(≈405)·LayerNorm(≈360)은 정규화 없음(≈355)과 거의 차이가 없다. (막대 값은 그림에서 읽은 근사치)

이 그림이 SimBa 이야기의 절반이다. 은닉층 정규화(LayerNorm/RMSNorm/BatchNorm)로는 관측 정규화를 대체할 수 없다. 그리고 흔히 쓰는 env wrapper 방식이 왜 부족한지에 대한 설명 — 수집 시점 통계로 정규화해 버퍼에 넣으면 같은 관측이 다른 값으로 저장돼 학습 일관성이 깨진다 — 은 구현자에게 바로 쓸모 있는 지적이다. 고정된 초기 통계(N=5,000)도 학습 중 변하는 동역학을 못 따라가 약간 손해를 본다.

actor vs critic, 폭 vs 깊이 (Fig. 13)

스케일링 방향(Fig. 13) — (a) 폭: critic을 키우면 좋아지고(→ 오른쪽으로 갈수록 밝음), actor를 키우면 나빠진다(↑ 위로 갈수록 어두움). actor 128 / critic 1024에서 최고 722, actor 1024 / critic 64에서 193. (b) 깊이: critic depth 0은 98~113으로 붕괴, actor depth 1 / critic depth 2가 706으로 최고. 폭 스케일링에서 actor·critic depth는 각각 1·2블록, 깊이 스케일링에서 폭은 각각 128·512로 고정.

해석: actor의 목표 함수 복잡도가 critic보다 낮다. critic은 상태-행동 전체의 가치 지형을 근사해야 하니 용량이 필요하지만, 정책은 상대적으로 단순한 사상이라 키우면 오히려 손해다(BRO의 관찰과 일치). 또 critic에서도 깊이보다 폭이 유리한데, 깊이를 늘리면 비선형 층이 늘어 simplicity bias가 줄기 때문이라는 설명이다. 논문의 권고는 폭 스케일링을 기본값으로.

replay ratio (Fig. 14)

replay ratio 스케일링(Fig. 14, DMC-Hard 1M) — SimBa(reset 없음)는 RR2 ≈708 → RR16 ≈758로 계속 개선. SimBa + reset(500,000 gradient step마다 네트워크·옵티마이저 전체 재초기화)은 RR8에서 ≈781, RR16에서 785로 BRO(+reset, RR10 ≈761, 9시간)를 성능·시간 모두에서 앞선다. BRO는 reset이 없으면 모든 RR에서 300점 미만이라 그림에서 제외.

이것이 아마 가장 강한 결과다. “replay ratio를 올리면 초기 샘플 과적합으로 무너지므로 주기적 reset이 필요하다”는 최근 흐름에 대해, 아키텍처만으로 reset 없이도 계산량 스케일링이 가능함을 보인다. 동시에 reset이 여전히 추가 이득을 준다는 것도 인정한다(RR8에서 reset 없음 ≈740 → reset 있음 ≈781). 즉 “reset이 불필요하다”가 아니라 “reset이 필수 전제는 아니다”가 정확한 독법이다.

부록의 plasticity 분석(Appendix E, 5 seeds)이 이를 보조한다. dormant ratio·s-rank·feature norm 세 지표에서 MLP-SAC는 높은 dormant ratio와 큰 feature norm(= 가소성 손실 징후)을 보이는데 SimBa는 그렇지 않다. 단 s-rank는 DMC-Easy&Medium에서 MLP가 더 높고 DMC-Hard에서 SimBa가 더 높아 일관되지 않다. 컴포넌트별로 하나씩 빼는 실험(Fig. 19)에서는 성능은 떨어지지만 가소성 지표는 크게 변하지 않아, 가소성 보존은 개별 조각이 아니라 결합의 효과라고 해석한다.

직접 돌려본 메모: 8배 스케일에서 최적화가 버티는가

논문의 주장 중 가장 값싸게 확인해 볼 수 있는 부분 — “하이퍼파라미터를 그대로 두고 파라미터만 키워도 학습이 무너지지 않는다” — 만 짧게 재현해 봤다(실험 레포, PR #1 / 브랜치 demo/sac-simba-dmc-smoke-2026-07-30).

환경 구성부터 인상적이었다. 원 레포는 jax==0.4.25로 핀돼 있어 Blackwell(RTX 5090)에서는 그대로 못 돌지만, jax==0.6.2 + flax==0.10.6(Python 3.10, numpy<2)로 올리고 코드 패치 2줄(jax.tree_map → jax.tree_util.tree_map, jax 0.6.0에서 제거된 API)만 고치면 학습이 돌아갔다. 아키텍처 논문의 코드가 이 정도로 얇게 이식된다는 것 자체가 “채택 비용이 낮다”는 주장의 간접 증거다.

DMC walker-walk에서 하이퍼파라미터 재튜닝 없이(AdamW lr 1e-4, weight decay 동일) 네트워크 크기만 바꿔 6,000 env step(=3,000 interaction step, 5,500 gradient update)을 돌린 결과:

run	actor (blocks×hidden)	critic (blocks×hidden)	params	critic_loss @1k → @6k	critic grad norm @1k → @6k	final avg_return
baseline_default	1×128	2×512	4,355,853	0.905 → 0.026	21.8 → 1.98	67.0
scaled_up_4x	2×256	4×1024	34,680,077	14.4 → 0.025	221.4 → 3.38	73.5

파라미터를 약 8배 늘리면 초기 critic loss와 gradient norm이 한 자리~두 자리 크게 시작하는데(14.4 / 221.4 vs 0.905 / 21.8), 같은 예산 안에서 동일한 최종 손실 규모(~0.025)로 수렴했고 NaN·발산은 없었다. 두 설정 모두 랜덤 정책 수준(≈30~50)보다 높은 return에 도달했다.

⚠️ 이건 논문의 샘플 효율 수치를 재현한 것이 아니다. 논문 예산은 수십만~수백만 스텝이고 여기는 6,000스텝, 시드도 1개다. 확인된 것은 딱 한 가지로 한정해야 한다 — 같은 하이퍼파라미터로 8배 스케일에서 최적화가 안정적이었다(Fig. 2b가 말하는 “MLP는 무너지는데 SimBa는 안 무너진다”의 최적화 측면 최소 확인). 성능 우열이나 스케일링 이득의 크기는 이 예산으로 판단할 수 없다.

비판적으로 보면

강점

• 가설 → 지표 → 구조 → 검증의 사슬이 닫혀 있다. “simplicity bias가 스케일업의 열쇠”라는 가설을 세우고, 측정 가능한 대리 지표를 정의하고, 그 지표를 올리도록 블록을 설계하고, 지표와 성능의 상관을 확인한다. 아키텍처 논문이 흔히 빠지는 “잘 되니까 좋다”를 상당 부분 피했다.
• 비교의 공정성 통제가 눈에 보인다. 아키텍처 비교에서 RSNorm을 전 모델에 동일 적용했고(Fig. 5), 상관 분석에서 12개 아키텍처의 파라미터 수를 ≈4.5M, 편차 1% 이내로 맞췄다(Appendix D). TD-MPC2에 붙일 때도 파라미터 수를 원본과 일치시켰다. 이 정도 통제는 흔치 않다.
• 채택 비용이 거의 0. 손실함수·탐색·리셋 스케줄을 건드리지 않고 네트워크만 교체한다. 코드(JAX + Dockerfile)와 원시 점수가 공개돼 있고, 벤치마크 계산 시간을 RTX 3070으로 보고한 것도 실무적으로 친절하다(A100/H100 전용 결과가 아니다). 최신 GPU·JAX 조합으로 옮기는 데 코드 패치가 2줄이면 됐다는 점도 이 주장과 일관된다(위 재현 메모).
• 구현 함정을 정확히 짚는다. env-wrapper 정규화가 off-policy에서 버퍼 일관성을 깨뜨린다는 지적은 프레임워크 기본값(Baselines·Acme·SB3)을 그대로 쓰는 사람에게 실질적 경고다.
• 부정적/모호한 결과를 숨기지 않는다. RSNorm 제거 시 simplicity score가 오히려 오르는 역설, HumanoidBench에서 TD-MPC2에 밀리는 사실, s-rank의 비일관성, reset의 추가 이득 — 모두 본문·부록에 적어 두었다.

약점·한계

• 인과가 아니라 상관이다. 핵심 논거인 “simplicity bias ↑ → 성능 ↑”의 증거는 12개 아키텍처에 대한 상관계수(\rho=0.79 / 전체 0.54) 하나다. 표본 12개, 그중 RSNorm 포함군은 더 적으며(Fig. 17 좌측 산점도의 점은 8개), 전체 상관 0.54는 “중간”이다. 이론적 보장이나 개입 실험(같은 아키텍처에서 simplicity score만 바꾸기)은 없다.
• 지표 표기 불일치. 본문·캡션은 “Pearson correlation coefficient, \rho=0.79/0.54”라고 쓰는데 Fig. 17의 그림 안 라벨은 “Spearman’s r=0.79 / 0.54”다. 둘은 다른 통계량이므로 어느 쪽이 실제 계산인지 논문만으로는 확정할 수 없다. (또 Appendix D는 “RSNorm 측정 한계는 Appendix F에서 논의”라고 하지만 실제 논의는 Appendix C.1에 있다.) 핵심 정량 논거에 붙은 표기 오류라 아쉽다.
• 측정 도구와 사용 대상의 불일치. simplicity score는 입력 2차원·출력 스칼라 네트워크를 [-100,100]^2 균등격자에서 평가해 얻는다. 실제 RL 네트워크의 입력은 3~8268차원이고 관측 분포는 균등하지 않다. 저자들도 RSNorm 역설을 설명할 때 이 한계를 인정하는데, 그렇다면 같은 지표로 매긴 아키텍처 순위를 얼마나 신뢰할지도 함께 흔들린다.
• 베이스라인의 스텝 예산이 방법 특성에 불리하게 걸릴 수 있다. DreamerV3의 DMC-Hard IQM 9.63, HumanoidBench 72.30은 상당히 낮은데, 이 비교는 각 벤치마크 고정 스텝(1M/2M)에서 끊은 값이다. 원 HumanoidBench 논문은 DreamerV3를 약 10M 스텝(48시간 예산)까지 돌려 준수한 성능을 보고했다(HumanoidBench 리뷰 참조). “동일 스텝”은 그 자체로 합리적 기준이지만, 긴 예산을 전제로 설계된 world-model 계열에는 구조적으로 불리하다. SimBa가 계산 효율 축(Fig. 8)에서 이기는 것은 사실이나, 표의 절대 수치를 “DreamerV3는 이 태스크를 못 한다”로 읽으면 과대 해석이다.
• 가장 가까운 경쟁자를 약한 버전으로 비교한다. BRO는 계산 효율 축(Fig. 8)에서의 공정성을 이유로 BRO-Fast만 비교 대상이다. 계산 시간을 x축에 놓는 그림에서는 타당한 선택이지만, “성능 상한”을 비교하는 Table 12~15에서도 같은 변형이 쓰이므로 BRO 최강 설정 대비 절대 성능은 이 논문만으로 알 수 없다. DMC-Hard IQM 차이가 773.28 vs 771.50(≈0.2%)에 불과한 만큼, 이 선택은 결론의 강도에 직접 영향을 준다.
• 상태 기반 전용. 모든 실험이 proprioceptive/symbolic 상태 입력이다. 비전 기반 RL로의 확장은 저자들이 “향후 과제”로 남겨 두었고, RSNorm의 논리(차원별 running 통계)가 이미지 입력에 그대로 옮겨지지 않으므로 결론의 적용 범위는 좁다.
• “스케일업”의 규모가 CV/NLP 기준으로는 작다. 최대 17M(critic 17.8M) 수준이고, Fig. 2b·5b의 곡선은 4.5M 이후 사실상 평평해진다. 즉 “스케일링 법칙”이라기보다 “MLP가 무너지는 구간을 무너지지 않고 통과한다”는 결과다. 어디서 SimBa도 한계에 닿는지는 미탐색이다.
• 불확실성 보고가 그림에 갇혀 있다. 본문 다수의 핵심 비교(Fig. 4·5·7·12·13·14)가 막대/히트맵·점 그림이며 수치 표가 없다. 이 리뷰의 여러 수치도 그림에서 읽은 근삿값이다. seed 수가 3~10으로 항목마다 다르다는 점도 함께 감안해야 한다.
• hyperparameter의 출처가 부분적으로 외부 상속. discount를 TD-MPC2 휴리스틱에서 가져오고 clipped double Q는 HumanoidBench에서만 켠다. 큰 튜닝은 아니지만 “알고리즘을 전혀 건드리지 않았다”는 서술과는 미세하게 어긋난다.

관련 연구와의 자리 매김

• simplicity bias 계열: 초기에는 SGD의 암묵적 정규화로 설명됐지만(flat minima), 최근 연구는 아키텍처 자체가 bias를 만든다고 본다. SimBa는 Neural Redshift(Teney et al., 2024)의 Fourier 측정 도구를 RL 아키텍처 설계의 목적함수처럼 사용한 것이 기여다.
• RL 네트워크 스케일업 계열: BRO(critic 확장 + distributional Q + optimistic exploration + reset), SpectralNet(spectral norm으로 깊이 확장), ensemble/widening 계열과 같은 문제를 다룬다. SimBa의 차별점은 “부가장치 제거”. Fig. 5·14는 BroNet·BRO와 직접 겨루는 비교이고, FAOC 리뷰처럼 최근 로보틱스 논문들이 RL 백본으로 BRONet/SimBaV2를 채택하는 흐름을 보면 이 계열이 사실상 표준 구성요소로 굳어지는 중이다.
• 정규화로 가치추정을 안정화하는 계열: critic에 LayerNorm을 넣어 Q 외삽을 억제하고 높은 UTD를 견디게 하는 RLPD 리뷰와 문제의식이 겹친다. 차이는 RLPD가 LayerNorm + large ensemble을 정규화 장치로 쓰는 반면, SimBa는 정규화를 simplicity bias를 유도하는 아키텍처 원리로 재해석하고 여기에 관측 정규화(RSNorm)를 더해 ensemble 없이 replay ratio를 올린다는 점이다.
• plasticity/reset 계열: periodic reinitialization은 높은 replay ratio를 쓰기 위한 사실상의 필수 장치로 취급돼 왔다. SimBa는 reset 없이도 RR16까지 개선되는 반례를 제시하면서, reset을 “필수”에서 “선택적 추가 이득”으로 재배치한다.
• 벤치마크 쪽: DMC·MyoSuite·HumanoidBench·Craftax를 한 논문에서 관통한다. 특히 HumanoidBench는 “현재 알고리즘들이 대체로 실패한다”는 결론을 냈던 벤치마크인데, SimBa가 SAC 기반으로 2M 스텝에서 IQM 747.43을 낸 것은 벤치마크 난이도의 상당 부분이 알고리즘이 아니라 네트워크에 있었을 가능성을 시사한다.

요약

SimBa는 “RL에서 큰 네트워크가 안 되는 게 아니라, 우리가 쓰던 네트워크가 안 됐던 것”이라는 주장을 세 조각(RSNorm / pre-LN residual block / post-LN)으로 압축한 논문이다. 알고리즘·손실·프로토콜을 그대로 두고 SAC의 MLP만 교체해 DMC-Hard +570점, 51태스크에서 BRO·TD-MPC2급 성능을 RTX 3070 시간 기준 더 싸게 얻고, reset 없이 replay ratio 스케일링까지 열었다. 실무적으로 남는 처방은 명확하다 — 관측 정규화는 버퍼 밖 running 통계로, 용량은 critic의 폭에, actor는 작게, 입력 차원이 높을 때 가장 큰 이득.

동시에 이 논문이 증명하지 못한 것도 분명하다. simplicity bias와 성능의 관계는 12개 아키텍처의 상관계수(그것도 그림과 본문에서 Pearson/Spearman 표기가 엇갈린다)에 의존하고, 그 지표는 2차원 토이 입력에서 측정된 대리값이며, RSNorm처럼 가장 중요한 조각을 오히려 설명하지 못한다. “simplicity bias 때문에 된다”는 서사보다는, “이 세 조각을 넣으면 스케일업이 무너지지 않는다”는 강한 경험적 처방 + 그 이유에 대한 유망하지만 미완의 설명으로 읽는 것이 정확하다. 그럼에도 채택 비용이 거의 없다는 점에서, 상태 기반 연속제어를 다루는 사람이라면 다음 실험의 기본 백본으로 놓고 시작할 이유는 충분하다.