📃SERNF

dexterous

fine-tuning

Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows

Published

April 5, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

SERNF: 실제 로봇에서 손재주 정책을 “조금의 데이터로” 다듬는 법

한 줄로 요약하면 이렇다. SERNF는 실제 로봇에서 사전학습된 손재주(dexterous) 정책을, 적은 상호작용 예산으로 안정적으로 미세조정(fine-tuning)하는 오프-폴리시 강화학습 프레임워크다. 핵심 무기는 두 가지다. (1) 정책을 정규화 흐름(Normalizing Flow, NF)으로 표현해 정확한 로그우도를 얻고, (2) 한 스텝이 아니라 액션 청크(action chunk) 전체를 평가하는 크리틱을 둔다. 이 두 조각이 맞물리면, 디퓨전 정책으로는 불가능했던 보수적(conservative) 우도 정규화가 가능해지고, 청크 단위 실행과 가치 추정의 박자가 맞아 크레딧 할당(credit assignment)이 깔끔해진다.

저자는 ETH 취리히 Soft Robotics Lab의 Chenyu Yang, Denis Tarasov(공동 1저자), Davide Liconti, Hehui Zheng, Robert K. Katzschmann이다. 논문은 두 개의 실제 과제(케이스에서 가위를 꺼내 테이프를 자르기, 손바닥을 아래로 향한 채 큐브를 손안에서 회전시키기)에서 검증한다. 둘 다 길고(long-horizon), 고차원이며, 접촉과 타이밍의 작은 오차에 민감하다. 손재주 연구를 하는 사람이라면 익숙한 바로 그 “거의 되는데 끝까지는 안 되는” 정책을 끝까지 밀어붙이는 이야기다.

서론: 왜 “거의 되는 정책”이 끝까지 안 가는가

요즘 매니퓰레이션은 대규모 오프라인 데이터로 학습한 고용량 비주얼모터 정책에 크게 기댄다. 통제된 환경에서는 인상적이다. 그런데 실제 현장에 내려놓으면 무너진다. 모델링되지 않은 동역학, 하드웨어 오차, 카메라 드리프트, 도메인 시프트 (그리고 데이터 수집 때 미처 못 잡은 과제별 변수들)가 쌓이기 때문이다.

이 문제는 손재주가 필요한 정밀 과제에서 특히 심하다. 양질의 시연 데이터를 모으는 비용이 장비와 시간 양쪽에서 비싸다. 텔레오퍼레이션 자체가 어렵고, 숙련이 필요하고, 접촉·타이밍의 미세한 변화에 민감하다. 그래서 현실의 로봇공학자는 자주 “거의 되는(almost works)” 정책을 배포한다. 그럴듯하게 움직이지만 실전에서 요구하는 신뢰도와 성공률에는 못 미친다.

SERNF의 출발점은 주류와 반대 방향이다. 데이터를 더 모으는 대신, 적은 과제별 데이터에서 미세조정으로 최대치를 짜낸다. 실제 로봇 상호작용 시간은 비싸므로, 알고리즘은 빠듯한 예산 안에서 굴러야 하고 수집한 샘플 한 톨까지 다 써먹어야 한다. 그리고 RL 업데이트를 하려면 정책이 확률적으로 정식화돼야 한다. 우도 기반 목적함수로 최적화할 수 있어야 하기 때문이다.

여기서 기존 도구들의 한계가 드러난다.

디퓨전/플로우 매칭 정책: 표현력이 좋아 멀티모달(multimodal) 액션 분포를 잘 잡는다. 하지만 액션의 확률(우도)이 다루기 어렵다(intractable). 우도를 못 구하면 “초기 정책에서 너무 멀어지지 마”라는 보수적 정규화를 걸 수가 없다. 적은 데이터로 미세조정할 때 이건 치명적이다.
가우시안 정책: 우도는 쉽게 나온다. 그런데 멀티모달 상황에서 붕괴한다. “장애물을 왼쪽으로 돌든 오른쪽으로 돌든 둘 다 정답”인 상황에서 가우시안은 그 둘의 평균을 뱉는다. 평균은 정중앙, 즉 장애물에 박는 경로다. 액션을 청크로 묶어 실행하면 이 붕괴가 더 심해진다.
스텝 단위 크리틱: 정책은 청크로 행동하는데 크리틱은 한 스텝씩 평가한다. 박자가 안 맞으니 장기 크레딧 할당이 엉킨다.

SERNF는 이 세 구멍을 한 번에 막는다. 정책은 NF로(표현력 + 정확한 우도), 크리틱은 청크 단위로(실행 구조와 정렬). 저자들의 표현을 빌리면, 실제 하드웨어에서 우도 기반 멀티모달 생성 정책과 청크 단위 가치 학습을 결합한 최초의 사례다.

기여를 정리하면 세 가지다.

정규화 흐름 정책 + 액션-청크 크리틱을 결합한, 실제 비주얼모터 제어용 RL 미세조정 기법.
적은 온-로봇 데이터를 위한 실용적 학습 레시피 (초기 정책으로의 보수적 정규화 포함).
대표적인 손재주·정밀 실제 과제에서의 실증과, 청크 길이·크리틱 설계의 영향 분석.

배경: NF와 청크 크리틱을 직관으로 먼저 잡기

본격적으로 들어가기 전에, 이 논문을 떠받치는 두 개념을 비유로 깔아두자. 수식은 그다음에 보면 훨씬 편하다.

정규화 흐름: “되감을 수 있는 찰흙”

가우시안처럼 단순한 분포에서 시작해, 가역(invertible) 변환을 여러 번 쌓아 복잡한 분포로 주물러내는 것이 NF다. 핵심은 가역이라는 점이다. 찰흙을 어떤 모양으로 빚었든, 정확히 거꾸로 되감아 원래의 단순한 덩어리로 돌릴 수 있다. 그리고 빚는 과정에서 “얼마나 늘이고 줄였는지”를 측정할 수 있다 (이게 야코비안 행렬식이다). 이 늘임/줄임 양을 알면, 임의의 액션이 얼마나 그럴듯한지 정확한 확률을 계산할 수 있다.

이 “정확한 우도”가 왜 그렇게 중요한가? 디퓨전은 주사위를 굴려 샘플은 잘 뽑지만 “이 눈이 나올 확률이 정확히 얼마”인지는 못 말해주는 기계다. NF는 샘플도 뽑고, 그 샘플의 확률도 정확히 말해준다. 미세조정에서 “새 정책아, 시연했던 행동에서 너무 멀어지지 마”라고 줄을 매려면 바로 이 확률값이 필요하다.

변수 변환 공식이 이 모든 걸 한 줄로 적는다.

\log p_\theta(z_K \mid c) = \log p_0(z_0) - \sum_{k=1}^{K} \log\left| \det \frac{\partial f_k(\cdot;c)}{\partial z_{k-1}} \right|

읽는 법은 이렇다. 최종 액션 z_K의 로그확률 = 시작 덩어리 z_0의 로그확률(쉬운 가우시안이라 계산이 쉽다) 빼기 변환마다 늘인 양의 누적. c는 조건(보통 현재 관측)이다.

액션 청크 크리틱: “안무 한 소절을 통째로 채점하기”

요즘 로봇은 한 스텝씩이 아니라 액션 시퀀스(청크)를 통째로 예측해 열린 루프(open-loop)로 실행한다. 추론을 적게 하고 제어 주파수를 높이려는 실용적 선택이다. 그런데 평가자(크리틱)가 한 발짝씩 따로 채점하면, 정책의 박자와 어긋난다.

비유하자면 춤이다. 무용수는 “한 소절(청크)”을 하나의 흐름으로 춘다. 그런데 심사위원이 발 디딤 하나하나를 따로 점수 매기면, 어느 디딤이 좋은 안무에 기여했는지 분간이 흐려진다. 소절 단위로 채점하면 가치 정보가 H 스텝을 한 번에 거슬러 전파되고, 크레딧 할당이 또렷해진다.

청크 크리틱의 정의는 다음과 같다.

Q_\phi(o_k, \mathbf{a}_k) \approx \mathbb{E}\left[ \sum_{i=0}^{H-1} \gamma^i r_{k,i} + \gamma^H V_\phi(o_{k+1}) \right]

o_{k+1}은 다음 결정 경계에서의 관측이다. 한 청크 안의 보상을 할인해 더하고, 청크 끝에서의 미래 가치를 \gamma^H로 이어 붙인다.

오프라인 RL의 멀티스텝 부트스트래핑 TD 손실은 이렇게 쓴다.

\mathcal{L}_Q(\phi) = \mathbb{E}\left[ \left( Q_\phi(s_t, a_{t:t+H}) - \sum_{\tau=1}^{H} \gamma^\tau r_{t+\tau} - \gamma^H V_{\bar\phi}(s_{t+H}) \right)^2 \right]

그리고 정책은 “크리틱을 최대화하되 행동 분포에서 너무 벗어나지 않는다”는 제약 아래 갱신된다.

\theta = \arg\max_\theta \; \mathbb{E}_{s_t \sim \mathcal{D}} \, \mathbb{E}_{a \sim \pi_\theta} \left[ Q_{\bar\phi}(s_t, a) \right] \quad \text{s.t.} \quad D(\pi_\theta, \pi_\beta) < \epsilon

여기서 D는 다이버전스, \epsilon은 정규화 강도다. NF가 정확한 우도를 주기에 이 제약을 실제로 걸 수 있다는 점이 핵심이다.

방법: SERNF의 해부도

전체 구조를 먼저 그림으로 잡자.

graph LR
  subgraph Actor["Actor: Conditional Normalizing Flow"]
    Z["Base Gaussian z0"] -->|"inverse: latent to action"| A["Action chunk a"]
    A -->|"forward: action to latent"| Z
    OBS1["Observation c = Enc(o)"] -.conditions.-> A
  end
  subgraph Critic["Action-chunked Critic"]
    QIN["o_k, a_k"] --> QNET["Transformer Q-net (HL-Gauss)"]
    QNET --> QVAL["Q-value (min over ensemble)"]
  end
  A -->|"differentiable rollout"| QIN
  QVAL -->|"policy gradient"| A

액터는 조건부 NF다. 순방향(forward) 으로는 액션을 잠재(latent)로 보내며 정확한 로그우도를 뽑아 행동 복제(behavior cloning) 지도학습에 쓴다. 역방향(inverse) 으로는 가우시안에서 뽑은 잠재를 완전 미분 가능한 연산으로 액션으로 바꿔, 크리틱을 통한 그래디언트 기반 정책 최적화를 가능하게 한다. 이 양방향성이 SERNF의 엔진이다.

액터: 트랜스포머 기반 정규화 흐름

각 NF 변환 f_k(\cdot;c)는 트랜스포머 기반 구조(Jet 스타일)로 구현되고, NinA에서 영감을 받아 RealNVP식 커플링 레이어(coupling layer)를 쓴다. 동작 순서는 다음과 같다.

정규화: 정답 액션을 데이터셋 통계로 [-1, 1]로 정규화한다.
노이즈 주입: 작은 가우시안 노이즈 \mathcal{N}(0, \sigma_\text{noise}^2)를 더한다. 안정적 액션 모델링에 결정적이라고 알려진 트릭이다.
\tanh^{-1} 변환: 경계가 있는 액션 공간을 지원하기 위해 원소별로 적용한다.

커플링 레이어의 핵심 연산은 이렇다. 청크의 잠재 변수 z_k = [\mathbf{z}_1, \dots, \mathbf{z}_H](각 원소가 청크 안의 한 액션)를 두 부분 x_{k_1}, x_{k_2}로 무작위 분할한다. 조건 c 아래에서 x_{k_1}을 비선형 변환 g_k(자기-어텐션 + c와의 교차-어텐션)에 통과시켜 스케일 s와 바이어스 b를 얻고, 다음의 아핀 변환을 x_{k_2}에 건다.

y1 = x_k1                              # one half passes through unchanged
y2 = exp(tanh(s)) * x_k2 + b           # the other half is affine-transformed
z_{k-1} = concat(y1, y2)               # recombine

y_1을 그대로 두는 것이 핵심 트릭이다. 절반을 건드리지 않으니 가역성이 보장되고 야코비안 행렬식 계산이 싸진다 (대각/삼각 구조). \tanh(s)로 스케일을 묶어 폭주를 막는다.

추론할 때 한 가지 디테일이 흥미롭다. 학습 때 베이스 분포로 \mathcal{N}(0, I)를 쓰지만, 추론에서는 \mathcal{N}(0, \sigma_\text{sample}^2), \sigma_\text{sample} \le 1로 온도를 낮춰 샘플링한다. 더 그럴듯한(고확률) 액션을 뽑아 성능을 끌어올리는 장치다. 분포를 좁히면 평균에 가까운, 안전한 모드로 수렴한다.

순/역방향 의사코드는 다음과 같다.

# Algorithm 1: Normalizing-flow policy over action chunks
Input: observation o, base dist p0(z), invertible flow f_theta(.; o)
c <- Enc(o)

# Forward pass (likelihood evaluation)
z0 <- f_theta(a; c)                                      # actions -> latent
log pi(a|o) <- log p0(z0) + log|det J_{f}(a; c)|

# Inverse pass (action generation)
z0 ~ p0(z)
a  <- f_theta^{-1}(z0; c)                                # latent -> actions
log pi(a|o) <- log p0(z0) - log|det J_{f^{-1}}(z0; c)|

크리틱: 회귀가 아니라 분류로 가치를 배운다

크리틱은 트랜스포머 기반 Q-네트워크로 액션-청크 가치를 예측한다. 두 가지 안정화 장치가 들어간다.

HL-Gauss 분포 파라미터화: Q값을 단일 실수로 회귀하지 않고, 값을 빈(bin)으로 나눈 범주형 분포로 보고 교차 엔트로피로 학습한다. “값 함수 회귀 대신 분류”라는 최근 흐름(Stop Regressing 등)을 따른 것이다. 회귀는 타깃이 크게 흔들리면 불안정한데, 분류는 그 흔들림을 분포로 흡수해 스케일에 강건하다.
앙상블 최소화: 여러 크리틱 예측 중 최소값을 최종 Q로 쓴다. 과대추정(overestimation) 편향을 누른다. (TD3/SAC의 더블 Q 트릭과 같은 정신이다.)

추론 때는 정책에서 후보 청크를 여러 개 뽑아 크리틱으로 점수 매겨 가장 좋은 걸 고른다.

# Algorithm 2: Action-chunk selection with critic evaluation
Input: observation o_k, policy pi_theta, critic Q_phi, num samples N_pi
for i = 1 to N_pi:
    a^(i) ~ pi_theta(. | o_k)
    q^(i) <- min_j Q_phi^(j)(o_k, a^(i))        # pessimistic over ensemble
a_k <- argmax_i q^(i)
return a_k

관측에 “아직 실행 안 한 액션”을 넣는다: RTC

관측 o_t에는 카메라 이미지, 로봇 자기수용(proprioception)과 더불어 직전 청크에서 아직 실행되지 않은 액션 몇 개가 들어간다. 이것이 실시간 청킹(Real-Time Chunking, RTC)을 가능케 한다. 저자들은 RTC가 단지 추론 시간을 줄이는 걸 넘어, 직전 액션 맥락을 제공해 성능 자체를 끌어올렸다고 보고한다. 청크 경계에서 동작이 끊기는 문제를 완화하는, 손재주 과제에서 의외로 중요한 디테일이다.

4단계 학습 레시피

SERNF의 실전 가치는 이 단계적 레시피에 있다. 적은 데이터로 RL을 굴릴 때 무엇을 언제 얼리고 녹일지가 승부를 가른다.

graph TD
  S1["Stage I: Imitation Learning<br/>NF policy BC init"] --> S2["Stage II: Offline Critic Warm-up<br/>freeze policy, train critic via TD"]
  S2 --> S3["Stage III: Full Offline RL<br/>critic + policy update with BC regularization"]
  S3 --> S4["Stage IV: Online RL Fine-tuning<br/>limited real-robot rollouts"]
  S4 -.collect new data.-> S3

Stage I — 정책 초기화 (모방학습). NF 정책을 시연 데이터에 행동 복제로 맞춘다. NF의 우도가 정확하므로 BC가 깔끔한 음의 로그우도 최소화로 떨어진다.

\mathcal{L}_\text{IL} = -\mathbb{E}\left[ \log \pi_\theta(a \mid o) \right]

Stage II — 오프라인 크리틱 워밍업. 정책은 얼려두고 크리틱만 데이터로 TD 학습시킨다. 타깃은 다음과 같다 (d는 종료 플래그, \hat a_{k+1}은 초기 정책 \pi_{\theta_0}에서 뽑은 다음 청크).

y = \sum_{t=0}^{H-1} \gamma^t r_{k,t} + \gamma^H (1-d)\, Q_{\bar\phi}(o_{k+1}, \hat a_{k+1})

크리틱이 엉성한 상태에서 정책을 건드리면 망가지므로, 먼저 크리틱을 안정적인 기준선으로 데워두는 것이다.

Stage III — 완전 오프라인 RL. 이제 크리틱과 정책을 함께 갱신한다. Algorithm 2로 좋은 액션을 고르고, 동시에 시연 액션 a_d에 대한 \log \pi_\theta(a_d \mid o)를 BC 정규화 항으로 유지한다. 이 BC 항이 바로 “초기 정책에서 멀어지지 마”라는 줄이다. NF가 우도를 주기에 가능한 보수적 정규화다.

Stage IV — 온라인 RL 미세조정. 빠듯한 실제 로봇 롤아웃 예산으로 새 데이터를 모아 Stage III 루프에 흘려 넣으며 정책을 끝까지 다듬는다.

실험: 두 개의 까다로운 실제 과제

저자들은 로봇공학의 두 주류 배포 파이프라인을 각각 대표하도록 과제를 골랐다.

과제	초기화 방식	대표하는 워크플로	난점
가위 회수 & 테이프 절단	사람 텔레오퍼레이션 시연	접촉 풍부·시뮬 어려운 IL 워크플로	케이스에서 가위 집기 → 들기 → 절단까지 긴 시퀀스
손안 큐브 회전 (손바닥 아래로)	시뮬 학습 정책 증류(distill)	손재주 핸드의 주류 sim-to-real RL	손바닥을 아래로 둔 채 안정 파지 유지 + 연속 회전

두 과제 모두 길고, 고차원이며, 접촉·타이밍 오차에 민감하다. 샘플 효율 미세조정의 스트레스 테스트로 강하다.

그림 설명 (Figure 4, 정성적 롤아웃). 위쪽 행은 가위 회수·테이프 절단으로, 파지 획득 → 들어올리기 → 절단 성공의 흐름을 보여준다. 아래쪽 행은 손안 큐브 회전으로, 안정적 파지 유지와 시간에 따른 연속 회전을 보여준다. 즉, “정적인 한 장면”이 아니라 시간축을 따라 과제가 끝까지 완수되는 모습이 핵심이다.

베이스라인과 핵심 결과

비교 대상은 ACT(Action Chunking Transformer), 플로우 매칭(flow matching) 정책, 그리고 NF 기반 IL 변형들(데이터 추가, 온라인 데이터 단순 합치기)이다.

가장 중요한 발견은 다음과 같다.

순수 IL에서는 NF가 특별하지 않다. Table II에 따르면, SERNF가 쓰는 NF 모방 정책은 모방학습만으로 학습했을 때 플로우 매칭·ACT와 대등한 성능을 낸다. 즉 NF 구조 자체가 손재주 과제에 충분한 표현력을 갖췄다는 확인이지, IL 단계에서의 우위는 아니다.
데이터를 더 붓는다고 풀리지 않는다. 텔레오퍼레이션 시연을 추가해 IL을 보강해도 개선은 미미했고, 절단을 끝까지 성공시키지는 못했다. 손재주 과제의 마지막 마일을 데이터 양으로 메우기 어렵다는 뜻이다.
온라인 데이터를 순진하게 섞으면 오히려 나빠진다. 온라인 상호작용에서 모은 궤적을 IL에 그냥 합치면 성능이 더 떨어진다. 전문가 텔레오퍼레이션과 온-폴리시 데이터 사이의 분포 불일치 때문으로 보인다.
SERNF는 표준 기법들이 무너지는 지점에서 안정적·샘플 효율적으로 적응한다. RL 미세조정을 NF + 청크 크리틱으로 굴려야 비로소 “거의 되는” 정책이 “끝까지 되는” 정책으로 넘어간다.

이 결과 구조가 메시지를 분명히 한다. 병목은 표현력이 아니라 미세조정 메커니즘이다. IL로는 ACT·플로우 매칭·NF가 비슷하다. 차이는 적은 실제 데이터로 안정적인 RL 갱신을 걸 수 있느냐에서 갈린다. 그리고 그 갱신을 가능케 하는 게 NF의 정확한 우도와 청크 정렬 크리틱이다.

절제 연구 (Ablations)

부록의 절제 연구는 세 손잡이를 점검한다.

청크 길이 H: 너무 짧으면 청크 크리틱의 이점이 줄고, 너무 길면 열린 루프 실행의 오차가 누적된다. 과제별 적정 지점이 존재한다.
NF 용량(블록 수 K 등): 표현력과 학습 안정성·비용 사이의 트레이드오프.
BC 계수: 보수성의 세기다. 너무 크면 초기 정책에 묶여 개선이 막히고, 너무 작으면 적은 데이터에서 정책이 발산한다. 이 손잡이가 SERNF 레시피의 안전벨트다.

비판적 고찰: 강점과 한계

강점

1. 정확한 우도라는 한 수로 보수적 미세조정의 문을 연다. 디퓨전/플로우 매칭이 표현력은 좋아도 RL 미세조정에서 발이 묶였던 이유가 우도의 다루기 어려움이었다. SERNF는 NF로 그 문을 정공법으로 연다. “표현력은 유지하면서 우도는 정확히”라는 조합이 핵심 통찰이다.

2. 정책과 크리틱의 시간 구조를 일치시킨다. 청크로 행동하면 청크로 평가한다. 당연해 보이지만, 실제로 정책 표현·우도 정규화·가치 추정을 모두 청크 실행에 맞춰 정렬한 최초의 실제 하드웨어 실증이라는 점이 무게가 있다.

3. 실전 레시피가 구체적이다. IL 초기화 → 크리틱 워밍업 → 완전 오프라인 RL → 온라인 미세조정의 4단계, 그리고 BC 정규화·HL-Gauss·앙상블 최소화·RTC 같은 안정화 장치들은 그대로 가져다 쓸 수 있는 엔지니어링 자산이다. 손재주 RL을 실제 핸드에 올려본 사람이라면 이 디테일들의 가치를 안다.

4. 두 워크플로를 모두 커버한다. 시연 기반(IL)과 시뮬 증류(sim-to-real RL) 양쪽 출발점에서 작동함을 보였다. 현장 적용 범위가 넓다는 신호다.

한계 (저자들이 직접 밝힌 것 포함)

1. 과제가 둘뿐이다. 다중 과제 확장이나 단일 로봇에서의 연속적 멀티태스크 미세조정은 미해결로 남았다. 손재주 스킬 라이브러리를 키우려는 입장에서는 다음 질문이 바로 여기서 시작된다.

2. 보상 설계가 병목이다. 실험은 희소(sparse)·수동 주석 보상에 의존한다. 확장성을 떨어뜨리고, 보상이 과제와 어긋나면 학습을 방해할 수 있다. 저자들은 VLM으로 보상 라벨링을 자동화하면 수작업을 크게 줄이고 더 큰 데이터·과제로 확장할 수 있다고 본다.

3. 계산·구현 복잡도가 높다. 단순 가우시안 정책보다 NF는 추가적인 구조와 학습 오버헤드를 들고 온다. 엔지니어링·연산 비용이 올라간다. “정확한 우도”의 대가다.

4. 평가의 폭. 성공률의 절대 수치와 통계적 신뢰구간, 시드별 변동성, 그리고 ACT·플로우 매칭에 동일한 RL 미세조정을 (가능한 범위에서) 적용한 더 직접적인 비교가 있으면 메시지가 더 단단했을 것이다. 현재 결과는 “IL은 대등, 미세조정에서 SERNF 우위”라는 구조적 주장으로는 설득력이 있으나, 각 안정화 요소(HL-Gauss vs 단순 회귀, 앙상블 유무)의 기여를 분해하는 절제가 더 촘촘하면 좋겠다.

축	디퓨전/플로우 매칭 정책 RL (DPPO, ReinFlow, \pi^*_{0.6} 등)	가우시안 정책 + 오프투온 RL (AWAC, Cal-QL, IBRL, SERL)	NF 정책 (NinA, NF-P, “NFs are capable models for RL”)	SERNF
표현력(멀티모달)	높음	낮음(붕괴)	높음	높음
정확한 우도	없음(intractable)	있음	있음	있음
보수적 우도 정규화	어려움	가능	가능	가능
청크 단위 크리틱	부분적	대체로 스텝 단위	거의 미적용	있음
실제 하드웨어 오프-폴리시 미세조정	일부	있음	거의 시뮬·온-폴리시 한정	있음(최초)

요약 및 결론

SERNF의 메시지는 군더더기 없이 명확하다. 실제 손재주 정책의 마지막 마일은 데이터를 더 모아서가 아니라, 적은 데이터로 안정적인 RL 미세조정을 걸어서 메운다. 그 미세조정을 가능케 하는 두 부품이 정확한 우도를 주는 NF 정책과 실행 박자에 맞춘 청크 크리틱이다.

핵심을 다시 짚으면 이렇다.

디퓨전은 표현력은 있으나 우도가 없어 보수적 미세조정이 막혔고, 가우시안은 우도는 있으나 멀티모달에서 붕괴했다. NF는 둘 다 갖춰 그 사이의 빈자리를 채운다.
청크로 행동하면 청크로 평가해야 한다. 청크 크리틱 + HL-Gauss 분류 + 앙상블 최소화 + RTC가 학습을 안정화한다.
IL 초기화 → 크리틱 워밍업 → 완전 오프라인 RL(BC 정규화) → 온라인 미세조정의 4단계 레시피가 실전의 뼈대다.
순수 IL에서는 ACT·플로우 매칭·NF가 대등하다. 차이는 미세조정에서 갈린다. 데이터 추가나 온라인 데이터 단순 병합은 답이 아니었고, SERNF만이 끝까지 밀어붙였다.

남은 숙제는 분명하다. 다중 과제로의 확장, 희소·수동 보상을 VLM 자동 라벨링으로 대체하기, 대형 VLA 모델로의 적용, 그리고 NF가 들고 오는 계산·구현 비용 줄이기다. 손재주 RL을 실제 핸드에 올려 끝까지 신뢰도를 끌어올리려는 연구자에게, SERNF는 “거의 되는 정책”을 “되는 정책”으로 넘기는 실용적 토대를 제시한다. 특히 시뮬 증류 → 실제 미세조정 경로를 타는 In-Hand 과제라면, 이 레시피의 각 조각을 그대로 실험 설계에 흡수해 볼 가치가 충분하다.