📃Residual Off-Policy RL 리뷰

Residual Off-Policy RL for Finetuning Behavior Cloning Policies

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper
• Code
• Project

1. 🦾 이 연구는 Behavior Cloning (BC) 정책의 데이터 한계와 Reinforcement Learning (RL)의 실제 로봇 적용 어려움을 해결하기 위해, BC와 RL의 장점을 결합하는 잔차 학습 프레임워크인 ResFiT(Residual Fine-tuning)를 제안합니다.
2. 🤖 ResFiT는 사전 학습된 BC 정책을 블랙박스 기반으로 활용하고, 샘플 효율적인 Off-policy RL을 통해 가벼운 단계별 잔차 보정을 학습하여 고자유도 시스템에서 BC 정책의 성능을 효과적으로 개선합니다.
3. 🏆 제안된 방법은 시뮬레이션에서 State-of-the-art 성능을 달성하며 200배 향상된 샘플 효율성을 보였고, 특히 5개의 손가락을 가진 휴머노이드 로봇에 대한 최초의 실제 환경 RL 학습을 성공적으로 시연하여 로봇 공학의 실용적인 적용 가능성을 제시합니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 Behavior Cloning (BC)의 장점과 Reinforcement Learning (RL)의 장점을 결합하여 고자유도(high-degree-of-freedom, DoF) 로봇 시스템에서 효과적인 visuomotor 제어 정책을 학습하기 위한 Residual Off-Policy RL (ResFiT) 프레임워크를 제안합니다. 기존 BC는 데모 데이터의 품질, 데이터 수집 노력, 그리고 오프라인 데이터의 한계로 인해 정책 성능이 포화되는 문제가 있습니다. 반면 RL은 자율적인 환경 상호작용을 통해 학습하지만, 샘플 비효율성, 안전 문제, 그리고 희소한 보상(sparse reward)으로부터 장기적인 작업을 학습하는 어려움 때문에 실세계 로봇에 직접 적용하기가 어렵습니다.

ResFiT는 사전 학습된 BC 정책을 블랙박스(black-box) 기본 정책으로 활용하고, 그 위에 경량의 단계별(per-step) 잔여(residual) 보정값을 샘플 효율적인 오프-정책(off-policy) RL을 통해 학습합니다. 이 방식은 기본 정책의 파라미터화나 액션 청킹(action chunking) 방식에 구애받지 않습니다. 본 논문은 제안하는 방법이 시뮬레이션과 실세계 모두에서 고자유도 시스템의 조작 정책을 효과적으로 개선하며, 특히 5-fingered hand를 가진 휴머노이드 로봇에서 실세계 RL 훈련을 성공적으로 수행한 최초의 사례라고 주장합니다.

핵심 방법론 (Core Methodology)

ResFiT는 두 단계로 구성됩니다:

1. 기본 정책(Base Policy) 학습 (Behavior Cloning with Action Chunking):
   • 에이전트는 각 타임스텝 t에서 관측 o_t를 받고 행동 a_t를 수행합니다.
   • 먼저 인간 조작(teleoperation)을 통해 성공적인 궤적 \tau = (o_0, a_0, o_1, a_1, \dots)으로 구성된 데모 데이터셋 D_{demos}를 수집합니다.
   • 이 데이터셋을 사용하여 기본 정책 \pi_\psi(a_{t:t+k}|o_t)를 행동 청킹(action chunking) 방식으로 학습합니다. 이 정책은 각 타임스텝에서 k개의 미래 행동 시퀀스를 예측하도록 훈련됩니다.
   • 훈련 목표는 데모에서 가져온 행동 청크의 로그-가능도(log-likelihood)를 최대화하는 것입니다: \min_\psi - \mathbb{P}_{o_t, a_{t:t+k} \in D_{demos}} \log \pi_\psi(a_{t:t+k}|o_t).
   • 행동 청킹은 성능을 향상시키고 모방 학습(imitation learning)에서의 복합 오류(compounding errors)를 완화하는 데 도움이 됩니다. 학습된 \pi_{base}는 고정(freeze)됩니다.
2. 오프-정책 잔여 RL을 통한 미세 조정 (Fine-tuning with Off-Policy Residual RL):
   • 고정된 기본 정책 \pi_{base} 위에 새로운 정책 \pi_{res}를 RL로 학습하여 \pi_{base}가 저지르는 실수를 보정하고 정책 성능을 향상시킵니다.
   • 이 잔여 정책 \pi_{res}는 \pi_{base}의 내부 파라미터화 및 훈련 방식에 구애받지 않으며, 잔여값의 크기를 제어하여 안정적인 탐색이 가능하도록 합니다.
   • 마르코프 결정 과정(MDP)의 상태 s_t \in \mathcal{S}, 행동 a_t \in \mathcal{A}, 보상 r_t = R(s_t, a_t), 할인율 \gamma, 시간 범위 H를 고려합니다.
   • 표준 오프-정책 RL 방법이 Q_\phi(s_t, a_t)와 \pi_\theta(s_t)를 학습하는 반면, ResFiT는 잔여 설정을 위해 이를 재매개변수화(reparameterize)합니다:
     • 비평가(critic) Q_\phi는 Q_\phi(s_t, a_{base_t} + \pi_\theta(s_t, a_{base_t}))를 학습합니다. 여기서 a_{base_t}는 \pi_{base}(s_t)에서 얻은 기본 행동입니다.
     • 정책 \pi_\theta는 잔여 행동을 출력하므로 \pi_\theta(s_t, a_{base_t})로 표현됩니다.
     • 전체 행동은 a_t = a_{base_t} + a_{res_t}이며, 여기서 a_{res_t} = \pi_\theta(s_t, a_{base_t})입니다. 비평가는 이 전체 행동의 가치를 예측합니다.
   • 비평가 학습 (Critic Learning):
     • Bellman 방정식에 따라 최적 행동-가치 함수 Q^\star(s_t, a_t)를 근사하기 위해 평균 제곱 Bellman 오류(Mean-Squared Bellman Error, MSBE) 손실을 사용합니다.
     • 주어진 전이(transition) 데이터셋 D=(s_t, a_t, r_t, s_{t+1}, d_t)에 대해 손실 함수는 다음과 같습니다: L(\phi) = \mathbb{E}_{(s_t, a_t, r_t, s_{t+1}, d_t) \sim D} \left[ \left( Q_\phi(s_t, a_t) - \left( r_t + \gamma(1 - d_t) Q_\phi(s_{t+1}, a_{base_{t+1}} + \pi_\theta(s_{t+1}, a_{base_{t+1}})) \right) \right)^2 \right] 여기서 a_{base_{t+1}} = \pi_{base}(s_{t+1})입니다.
   • 정책 학습 (Policy Learning):
     • 정책 \pi_\theta(s_t, a_{base_t})는 가치 함수에 대한 경사 상승(gradient ascent)을 수행하여 학습됩니다: L(\theta) = - \mathbb{E}_{(s_t, a_{base_t}) \sim D} \left[ Q_\phi(s_t, a_{base_t} + \pi_\theta(s_t, a_{base_t})) \right]

주요 설계 결정 (Design Decisions)

안정적이고 샘플 효율적인 잔여 미세 조정을 위해 다음과 같은 주요 설계 결정들이 적용되었습니다:

• Update-to-Data (UTD) Ratio: 샘플 효율성 향상을 위해 1보다 큰 UTD 비율을 사용합니다.
• n-step Returns: 긴 시간 범위와 희소한 보상 작업에 효과적인 n-step return (본 논문에서는 n=3)을 사용합니다: \sum_{i=0}^{n-1} \gamma^i r_{t+i} + \gamma^n Q(s_{t+n}, a_{t+n}).
• Critic의 Layer Normalization: 함수 근사 사용으로 인해 발생할 수 있는 Q-함수의 과대평가(overestimation)를 완화하기 위해 비평가에 Layer Normalization을 추가합니다.
• TD3(Twin Delayed Deep Deterministic Policy Gradient) 기법 적용: 불안정성을 완화하기 위해 지연된 액터 업데이트(delayed actor updates), Polyak 평균(Polyak averaging)을 사용한 타겟 네트워크 업데이트, 타겟 정책 스무딩(target policy smoothing)을 적용합니다.
• Randomized Ensembled Double Q-Learning (REDQ): 과대평가 편향을 줄이기 위해 Q-함수 앙상블을 사용하며, TD-타겟 계산 시 무작위 부분집합의 Q-함수 중 최솟값을 사용하고, 정책 업데이트 시에는 전체 앙상블을 활용합니다.
• 시각 입력 처리: 시각 입력에는 DrQ 스타일의 무작위 쉬프트 증강(random shift augmentations)을 적용한 얕은 ViT 인코더를 사용합니다.
• 대칭 샘플링 (Symmetric Sampling): 온라인 RL 단계에서 데모 데이터를 활용하기 위해 각 배치(batch)의 50%는 고정된 오프라인 데모 데이터에서, 나머지 50%는 지속적으로 증가하는 온라인 버퍼에서 샘플링합니다.

실험 결과

• 시뮬레이션 결과:
  • ResFiT는 모든 시뮬레이션 작업에서 거의 완벽한 정책으로 수렴하며, 온-정책(on-policy) RL 방식인 PPO 대비 약 200배 높은 샘플 효율성을 보였습니다.
  • 특히 BoxCleanup, CanSort, Coffee와 같이 DoF가 높고 시간 범위가 긴 어려운 작업에서 ResFiT는 다른 베이스라인이나 어블레이션 버전보다 효율적으로 높은 성능에 도달했습니다.
  • 필터링된 BC(Filtered BC)는 안정적이었으나 초기 BC 정책 성능에서 최소한의 개선만을 보여, 정밀도가 중요한 작업에서는 명시적인 가치 최대화가 필요함을 시사했습니다.
  • UTD 비율과 n-step return의 중요성도 확인되었으며, 희소한 보상 작업에서는 1보다 큰 n-step이 필수적임을 보였습니다.
• 실세계 RL 결과:
  • 29-DoF 양팔 휴머노이드 로봇 Vega에서 WoollyBallPnP 및 PackageHandover 두 가지 작업에 ResFiT를 적용했습니다.
  • WoollyBallPnP 작업에서 ResFiT는 134번의 롤아웃(약 15분 로봇 실행 데이터) 후 기본 정책의 14% 성공률을 64%로 향상시켰습니다.
  • PackageHandover 작업에서는 343번의 RL 에피소드(약 76분 데이터) 후 기본 정책의 23% 성공률을 64%로 끌어올렸습니다.
  • 이는 5-fingered hand를 가진 양팔 휴머노이드 로봇에서 실세계 RL을 수행한 최초의 시연으로 보고됩니다.

결론

이 논문은 사전 훈련과 미세 조정 단계를 분리함으로써 BC 정책의 성능을 향상시키는 동시에 RL의 최적화 문제를 해결하는 효과적인 방법을 제시합니다. 기본 정책은 좋은 초기화를 제공할 뿐만 아니라, 암묵적인 안전 제약 역할과 강력한 탐색 사전 정보(exploration prior)를 제공하여 고자유도 환경에서 희소한 보상으로도 RL이 가능하게 합니다. ResFiT의 주요 한계는 학습된 행동이 기본 정책 주변에 제약될 수 있다는 점이지만, 실세계 검증을 통해 샘플 효율적인 RL이 양팔 조작 플랫폼에서 성공적으로 작동함을 입증했습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

들어가며: 로봇 학습의 두 가지 패러다임이 만나다

로봇 매니퓰레이션 분야에서 일하다 보면 한 가지 근본적인 딜레마와 자주 마주치게 됩니다. Behavior Cloning(BC)은 인상적인 visuomotor 정책을 만들어내지만, 결국 인간 시연의 품질에 갇혀버립니다. 아무리 많은 데이터를 수집해도 어느 순간 성능이 정체되고, 텔레오퍼레이터의 실수나 부정확함을 고스란히 물려받게 됩니다. 반면 Reinforcement Learning(RL)은 자율적으로 환경과 상호작용하며 학습할 수 있지만, 실제 로봇에서의 샘플 비효율성과 안전 문제, 그리고 고자유도 시스템에서의 sparse reward 학습 난이도는 여전히 극복하기 어려운 장벽입니다.

오늘 리뷰할 이 논문은 바로 이 두 패러다임의 장점을 결합하려는 시도입니다. 더 정확히 말하면, BC로 학습된 정책을 “블랙박스”로 취급하고, 그 위에 경량의 per-step residual correction을 off-policy RL로 학습하는 접근법입니다. 저자들은 이를 ResFiT(Residual Fine-Tuning)이라 명명하고, 시뮬레이션뿐 아니라 실제 휴머노이드 로봇에서 세계 최초로 dexterous hand를 가진 로봇의 실세계 RL 학습을 시연합니다.

이 리뷰에서는 논문의 기술적 세부사항을 깊이 파고들며, 왜 이 접근법이 작동하는지, 어떤 설계 결정이 중요한지, 그리고 로봇공학 연구자로서 우리가 배울 수 있는 실용적 인사이트를 도출해보겠습니다.

---

1. 연구 동기: BC와 RL의 한계를 넘어서

1.1 Behavior Cloning의 구조적 한계

최근 몇 년간 BC는 놀라운 발전을 이뤘습니다. Diffusion Policy, ACT(Action Chunking with Transformers), π0 같은 모델들은 수백만 개의 파라미터를 가진 대규모 신경망을 활용해 복잡한 visuomotor 정책을 학습합니다. 특히 action chunking—한 번에 여러 타임스텝의 액션을 예측하는 방식—은 imitation learning에서 compounding error를 줄이는 효과적인 기법으로 자리잡았습니다.

하지만 BC에는 근본적인 한계가 있습니다:

1. 시연 품질의 천장: 아무리 많은 데이터를 수집해도 텔레오퍼레이터의 성능을 넘어서기 어렵습니다
2. Diminishing returns: 최근 연구들이 일관되게 보여주듯, 시연 데이터가 증가해도 성능 향상은 점점 둔화됩니다
3. Distribution shift: 학습 중 보지 못한 상태에서의 에러가 누적되며, 이는 긴 horizon 태스크에서 특히 치명적입니다
4. Reactivity 부족: Action chunking은 horizon을 줄이지만, open-loop 실행 특성상 섬세한 반응성이 떨어집니다

1.2 Reinforcement Learning의 실세계 적용 난제

RL은 이론적으로 자율적 개선이 가능하지만, 실제 로봇에서의 적용에는 수많은 장애물이 있습니다:

1. Sample inefficiency: 특히 on-policy 방법(PPO 등)은 수천만 스텝의 데이터가 필요할 수 있습니다
2. 안전 문제: 탐험 과정에서 로봇이나 환경에 손상을 줄 위험
3. Sparse reward의 어려움: 고자유도 시스템에서 무작위 탐험으로 성공을 달성하기란 거의 불가능합니다
4. 아키텍처 호환성: Action chunking이나 diffusion 기반 BC 모델에 RL을 직접 적용하기 어렵습니다

1.3 기존 하이브리드 접근법들의 한계

BC와 RL을 결합하려는 시도는 이전에도 있었습니다:

• IBRL: BC 정책을 사용해 액션을 제안하고 타겟 값을 부트스트랩하지만, 복잡한 태스크에서 한계를 보입니다
• PA-RL: Q-function으로 액션을 최적화하지만 정책 자체를 개선하진 않습니다
• Policy Decorator: 전체 액션 청크에 대한 residual을 학습하지만, 시뮬레이션과 단일 암 태스크로 제한됩니다
• ResiP: On-policy PPO로 residual을 학습하지만, 샘플 효율성이 너무 낮아 실세계 적용이 불가능합니다

---

2. ResFiT: 방법론의 핵심

2.1 전체 프레임워크 개요

ResFiT의 핵심 아이디어는 놀랍도록 단순합니다:

1. Phase 1 (BC): 인간 시연으로부터 action chunking을 사용한 base policy π_base를 학습
2. Phase 2 (Residual RL): Base policy를 freeze하고, per-step residual correction π_res를 off-policy RL로 학습

최종 액션은 다음과 같이 계산됩니다:

a_t = a_t^base + a_t^res

여기서 a_t^base는 frozen base policy의 출력(action chunk의 현재 스텝)이고, a_t^res는 residual policy가 예측한 보정값입니다.

2.2 Base Policy: Action Chunking과 BC

Base policy는 관측 o_t를 받아 k개의 미래 액션 시퀀스를 예측합니다:

π_ψ(a_{t:t+k} | o_t)

학습은 시연 데이터에 대한 log-likelihood 최대화로 수행됩니다:

min_ψ -E_{o_t, a_{t:t+k} ∈ D_demos} [log π_ψ(a_{t:t+k} | o_t)]

Action chunking의 장점은 잘 알려져 있습니다: - 태스크의 effective horizon 감소 - Compounding error 완화 - Temporal consistency 향상

2.3 Residual Policy의 설계

Residual policy는 다음을 입력으로 받습니다: - 현재 관측 s_t (또는 o_t) - Base policy의 현재 스텝 액션 a_t^base

그리고 보정값 a_t^res를 출력합니다:

π_res(s_t, a_t^base) → a_t^res

이 설계의 핵심 장점들:

1. Base policy agnostic: Base policy의 아키텍처(diffusion, transformer 등)와 무관하게 적용 가능
2. 안정성: Residual의 크기를 제어함으로써 base policy 근처에서 안전한 탐험 가능
3. Per-step correction: Action chunk 전체가 아닌 개별 스텝에서 보정하므로 reactivity 향상
4. 경량 모델: 수백만 파라미터의 base policy와 달리, residual policy는 상대적으로 작은 네트워크

2.4 Off-Policy RL의 수학적 기초

저자들은 DDPG 스타일의 actor-critic 구조를 사용합니다.

Critic (Q-function)

Bellman equation을 기반으로 Q-function을 학습합니다:

Q*(s, a) = E[r + γ max_{a'} Q*(s', a')]

Residual 세팅에서 이를 확장하면:

L_critic(φ) = E_{(s,a,r,s') ~ D} [(Q_φ(s, a^base + a^res) - y)²]

여기서 타겟 y는:

y = r + γ Q_φ'(s', a'^base + π_θ'(s', a'^base))

Actor (Residual Policy)

Q-function의 gradient를 통해 policy를 업데이트합니다:

∇_θ J = E_s [∇_{a^res} Q_φ(s, a^base + a^res) · ∇_θ π_θ(s, a^base)]

이 구조에서 critic은 “base + residual” 전체 액션의 가치를 평가하고, actor는 residual만 조정합니다.

---

3. 핵심 설계 결정들: 실세계 RL을 가능케 한 비밀

저자들은 단순히 off-policy RL을 residual 학습에 적용한 것이 아닙니다. 실세계 로봇에서 작동할 수 있도록 수많은 세부 설계 결정들을 신중하게 조합했으며, 이것이 이 논문의 진정한 기여입니다.

3.1 Update-to-Data (UTD) Ratio

UTD ratio는 수집된 데이터 포인트당 수행하는 모델 업데이트 횟수를 의미합니다.

저자들은 UTD=4를 기본값으로 사용합니다. 실험 결과: - UTD=0.5: 학습이 눈에 띄게 느림 - UTD=4: 대부분의 이득을 얻음 - UTD=8+: 추가 이득이 미미하며 오히려 불안정해질 수 있음

이는 샘플 효율성과 학습 안정성 사이의 균형점을 찾는 것입니다. Horizon이 150-250 스텝인 태스크에서 UTD=4가 최적이라는 것은 실용적으로 매우 유용한 가이드라인입니다.

3.2 N-step Returns

Sparse reward 환경에서 1-step TD learning은 reward 신호가 Q-function까지 전파되는 데 너무 오랜 시간이 걸립니다.

저자들은 n=5 step returns를 사용합니다:

G_t^{(n)} = r_t + γr_{t+1} + ... + γ^{n-1}r_{t+n-1} + γ^n Q(s_{t+n}, a_{t+n})

실험에서 관찰된 패턴: - n=1: Sparse reward에서 성능 저하 - n=5: 최적의 성능 - n>10: Bias 증가로 인한 성능 저하

이는 “variance vs bias” 트레이드오프의 전형적인 예입니다.

3.3 Layer Normalization

Off-policy RL의 고질적인 문제 중 하나는 Q-function의 catastrophic overestimation입니다. Out-of-distribution 액션에 대해 Q 값이 비정상적으로 높게 추정되면, policy가 이를 exploit하며 학습이 붕괴합니다.

저자들은 RLPD에서 영감을 받아 critic MLP에 layer normalization을 적용합니다. 이는 Q 값의 범위를 암묵적으로 제한하여 overestimation을 완화합니다.

Ablation 결과, layer norm 없이는 특히 복잡한 태스크(Coffee 등)에서 학습이 실패합니다.

3.4 Randomized Ensembled Double Q-Learning (REDQ)

REDQ는 여러 Q-function의 앙상블을 사용합니다: - TD 타겟 계산 시: 랜덤 subset의 Q-function들 사용 - Policy 업데이트 시: 전체 앙상블의 평균 사용

이 역시 overestimation bias를 줄이는 효과가 있습니다.

3.5 Symmetric Sampling

RLPD에서 도입된 이 기법은 각 training batch의 50%를 오프라인 demonstration 데이터에서, 나머지 50%를 온라인 버퍼에서 샘플링합니다.

이것이 중요한 이유: - Demonstration 데이터는 고품질의 state-action 쌍을 제공 - 학습 초기에 critic이 안정적인 값을 학습할 수 있도록 도움 - 온라인 데이터만으로는 도달하기 어려운 상태 공간을 커버

3.6 Delayed Actor Updates

TD3에서 유래한 이 기법은 actor를 critic보다 덜 자주 업데이트합니다(예: critic 2-8회 업데이트당 actor 1회).

아직 정확하지 않은 Q-function으로 policy를 업데이트하면 불안정해지기 때문에, critic이 먼저 수렴할 시간을 주는 것입니다.

3.7 Target Policy Smoothing

Q 타겟 계산 시 타겟 policy의 액션에 노이즈를 추가합니다:

a' = π_θ'(s') + clip(ε, -c, c), ε ~ N(0, σ)

이는 Q-function이 특정 액션에 대해 날카로운 피크를 형성하는 것을 방지하고, 더 smooth한 값 추정을 유도합니다.

3.8 Visual Encoder: Shallow ViT + DrQ Augmentation

이미지 관측을 처리하기 위해: - Shallow ViT encoder: 깊은 CNN 대신 상대적으로 얕은 Vision Transformer 사용 - DrQ-style random shift augmentation: 이미지에 랜덤 이동을 적용하여 overfitting 방지

Vision-based RL에서 data augmentation은 샘플 효율성에 핵심적입니다.

---

4. 실험 환경과 설정

4.1 시뮬레이션 환경

저자들은 현실적인 제약 조건을 시뮬레이션에서도 유지합니다: - 단일 시뮬레이션 환경 (병렬화 없음) - 이미지 + 로봇 관절 상태 관측 (privileged object 상태 정보 없음) - Sparse binary reward

Robomimic 태스크: - Can: 캔을 집어서 bin에 놓기 (7-DoF Franka, 단일 암) - Square: 사각형 객체를 정확한 위치에 조립 (높은 정밀도 요구)

DexMimicGen 태스크 (bimanual + dexterous hands): - BoxCleanup: 두 팔로 박스 뚜껑을 집어서 박스 위에 정확히 놓기 (dual Franka) - CanSort: 실린더를 한 손에서 다른 손으로 건네기 (GR1 휴머노이드) - Coffee: 커피 포드를 집어서 커피 머신에 넣고 뚜껑 닫기 (GR1, 가장 긴 horizon)

Bimanual 태스크들은 24차원 action space (팔당 6-DoF EE pose + 손당 6-DoF 관절)를 가집니다.

4.2 실세계 환경

로봇 플랫폼: Dexmate Vega 휠 휴머노이드 - 7-DoF 양팔 - 6-DoF OyMotion dexterous hands (양손) - Zed 카메라 (머리 장착) - 총 29차원 action space (절대 관절 위치 제어)

태스크: - WoollyBallPnP: 테이블 위 임의 위치의 털실 공을 집어서 tote에 넣기 - PackageHandover: 변형 가능한 패키지를 오른손으로 집고, 왼손에 건네고, 왼쪽 tote에 놓기

안전 인프라: - 손목 force-torque 센서를 활용한 안전 제한 - 자기 충돌 방지 체크

Asynchronous Actor-Learner: 높은 UTD로 인한 병목을 해결하기 위해 데이터 수집과 모델 학습을 별도 프로세스로 분리

4.3 비교 대상

1. Tuned RLPD: ResFiT의 모든 off-policy 설계 결정을 적용했지만, base policy 없이 처음부터 single-step policy 학습
2. IBRL: BC policy를 사용해 액션 제안 및 타겟 부트스트래핑
3. Filtered BC: Base policy를 온라인 성공 trajectory로 계속 fine-tuning (reward-weighted regression의 0/1 버전)
4. On-policy Residual (PPO): ResiP 방식의 on-policy residual RL

---

5. 실험 결과 심층 분석

5.1 샘플 효율성: On-policy vs Off-policy

BoxCleanup 태스크에서의 비교: - PPO (on-policy): 40M 스텝에서 수렴 - ResFiT (off-policy): 200k 스텝에서 수렴

이는 200배의 샘플 효율성 향상입니다. 실세계 로봇에서 40M 스텝의 데이터를 수집하는 것은 현실적으로 불가능합니다. 20Hz 제어 주기를 가정하면: - 40M 스텝 ≈ 556시간 (약 23일 연속 가동) - 200k 스텝 ≈ 2.8시간

이 차이는 “실세계 RL이 가능한가”의 분기점입니다.

5.2 태스크별 성능 분석

Can (단순 태스크): - 모든 방법이 150k 스텝 내 높은 성공률 달성 - ResFiT이 가장 빠르게 수렴 (75k 스텝)

Square (정밀도 요구): - ResFiT과 Tuned RLPD만 90% 이상 달성 - IBRL, Filtered BC는 정체

BoxCleanup (bimanual 협조): - Baseline들은 0%로 붕괴하거나 느린 수렴 - ResFiT은 안정적으로 95%+ 도달

CanSort (hand-to-hand transfer): - 유사한 패턴, ResFiT 우위

Coffee (가장 긴 horizon + 높은 정밀도): - Action chunking 없는 모든 방법 실패 - ResFiT만 안정적 학습 - Tuned RLPD도 실패 (action chunking의 중요성 입증)

5.3 Filtered BC의 한계

흥미롭게도, Filtered BC는 성공 trajectory만 선택해 BC를 계속하는 합리적인 접근처럼 보이지만, 실제로는 거의 개선이 없습니다.

저자들의 분석: 주요 실패 모드가 정밀도일 때, 명시적인 value maximization 없이는 개선하기 어렵다. BC는 “어떤 행동이 더 나은가”를 판단하지 않고 단순히 시연을 모방할 뿐입니다.

5.4 실세계 결과

WoollyBallPnP: - BC (ACT): 14% 성공률 - ResFiT 후: 64% 성공률 (+50%p) - 사용된 데이터: 134 에피소드 (약 71분의 로봇 실행 데이터)

PackageHandover: - BC (ACT): 23% 성공률 - ResFiT 후: 64% 성공률 (+41%p) - 사용된 데이터: 343 에피소드 (약 123분)

저자들은 이것이 양팔 dexterous 휴머노이드에서 완전히 실세계에서 학습된 첫 번째 RL 데모라고 주장합니다.

5.5 Ablation Studies 요약

설계 결정	제거 시 영향
Layer Norm	Coffee에서 완전 실패, 다른 태스크도 성능 저하
Demo during RL	Coffee에서는 영향 적음, 다른 태스크에서 약간의 저하
n-step returns (n=1)	Sparse reward 태스크에서 심각한 성능 저하
UTD < 1	수렴 속도 현저히 느림

---

6. 기술적 인사이트와 토론

6.1 Base Policy의 이중 역할

저자들이 발견한 중요한 통찰:

1. 암묵적 안전 제약 Base policy 없이 학습된 정책은 더 빠르지만 공격적인 행동을 보입니다. 실세계 배포에는 부적합합니다. Frozen base policy는 탐험을 안전한 영역으로 제한합니다.

2. 강력한 탐험 prior 고자유도 공간에서 sparse reward로 학습하려면, 무작위 탐험으로는 거의 불가능합니다. Base policy는 “대략적으로 옳은” 행동을 제공하고, residual은 이를 미세 조정합니다.

6.2 왜 Per-step Residual인가?

Policy Decorator 같은 방법은 action chunk 전체에 대한 residual을 학습합니다. 하지만 ResFiT은 per-step correction을 선택했습니다.

이유: - Reactivity: 각 스텝에서 관측에 반응할 수 있음 - 더 작은 action space: Chunk 전체가 아닌 단일 스텝 액션만 예측 - Action chunk 크기와 무관: Base policy의 chunk 크기가 바뀌어도 residual policy는 동일

6.3 Off-policy의 핵심적 중요성

On-policy 방법(PPO)과의 200배 효율성 차이는 단순히 “더 빠르다”를 넘어서는 의미가 있습니다.

실세계 로봇 RL에서: - 로봇 마모와 피로 - 인간 감독자의 시간 비용 - 환경 리셋의 어려움

이 모든 것이 sample efficiency를 critical factor로 만듭니다.

6.4 Action Chunking의 양면성

Coffee 태스크에서 action chunking 없는 모든 방법이 실패했습니다. 이는 BC에서 action chunking이 제공하는 장점이 RL에서도 유지됨을 보여줍니다: - 긴 horizon 태스크에서의 temporal consistency - Compounding error의 implicit 완화

하지만 동시에, action chunking은 RL 최적화를 어렵게 만듭니다 (action space 폭발). ResFiT은 base policy에서 이 장점을 유지하면서, per-step residual로 최적화 tractability를 확보합니다.

6.5 한계점

저자들이 명시한 한계:

1. Base policy에 종속 Residual은 base policy가 이미 인코딩한 전략 범위 내에서만 개선할 수 있습니다. 근본적으로 다른 스킬이나 전략은 발견할 수 없습니다.

2. 인간 감독 필요 현재 시스템은 리셋과 reward labeling에 인간 감독이 필요합니다. 완전 자율적인 스킬 개선에는 자동 리셋과 성공 감지 메커니즘이 필요합니다.

3. Frozen base 제약 Base policy를 freeze하면 안정성이 확보되지만, base policy 자체의 개선은 불가능합니다.

---

7. 미래 연구 방향

저자들이 제시한 방향:

7.1 Frozen Base 제약 완화

안정성을 유지하면서 base policy도 함께 개선할 수 있는 방법이 있을까요? 이는 “얼마나 제약을 풀어도 학습이 발산하지 않는가”의 문제입니다.

7.2 Knowledge Distillation

Combined policy (base + residual)의 개선된 행동을 다시 base policy로 distill하면, residual이 더 개선할 여지가 생깁니다. 이를 반복하면 iterative improvement가 가능할 수 있습니다.

7.3 Multi-task Generalization

태스크별 residual 개선을 점점 더 능력 있는 generalist로 distill하는 것. ResFiT은 base model agnostic하므로, 대규모 multi-task behavior model의 fine-tuning에도 적용 가능할 수 있습니다.

7.4 자동화된 인프라

자동 리셋, 성공 감지, safety rails가 갖춰지면 인간 감독 없이 자율적 스킬 개선이 가능해질 것입니다.

---

8. 실용적 시사점: 로봇공학 연구자를 위한 테이크어웨이

8.1 “레시피”의 가치

이 논문의 진정한 기여는 개별 기법이 아니라, 여러 기법의 신중한 조합입니다: - UTD=4 - n=5 step returns - Layer normalization - Symmetric sampling - Delayed actor updates - REDQ ensemble - DrQ augmentation

각각은 이미 알려진 기법이지만, 이들을 residual RL에 올바르게 조합하는 것이 핵심입니다.

8.2 BC + RL 하이브리드의 실용성

BC로 “대략적으로 작동하는” 정책을 빠르게 얻고, RL로 fine-tune하는 접근법은 매우 실용적입니다: - 초기 BC: 50-100회 시연으로 50-80% 성공률 - ResFiT fine-tuning: 1-2시간 실세계 interaction으로 90%+ 도달 가능

8.3 Sparse Reward의 가능성

Dense reward shaping 없이 sparse binary reward만으로 고자유도 bimanual 태스크를 학습할 수 있다는 것은 실용적으로 매우 중요합니다. Reward engineering은 종종 trial-and-error가 필요한 고통스러운 과정이기 때문입니다.

8.4 Action Chunking BC의 RL 호환성

Diffusion Policy, ACT 등 action chunking 기반 BC 모델을 사용하고 있다면, ResFiT 스타일의 per-step residual이 RL fine-tuning의 실용적 경로가 될 수 있습니다.

---

9. 관련 연구와의 비교

9.1 vs ResiP (Ankile et al., 2024)

같은 1저자의 이전 연구입니다. ResiP은: - On-policy PPO 사용 → 샘플 비효율적 - 시뮬레이션만 검증 - Sim-to-real 파이프라인 의존

ResFiT은: - Off-policy TD3 기반 → 200배 효율적 - 실세계 직접 학습 검증

9.2 vs Policy Decorator

• Chunk-level residual → Per-step residual
• 시뮬레이션만 → 실세계 검증
• 단일 암 → Bimanual + dexterous

9.3 vs IBRL

IBRL은 BC policy를 action proposal과 value bootstrapping에 사용합니다. 하지만: - BC policy를 직접 fine-tune하지 않음 - 복잡한 태스크에서 성능 한계

9.4 vs SERL

SERL은 실세계 RL의 선구적 연구입니다: - Parallel jaw gripper + 단일 암 - 상대적으로 단순한 태스크

ResFiT은 더 높은 자유도(29-DoF)와 dexterous manipulation으로 확장했습니다.

---

10. 결론

ResFiT은 BC와 RL의 장점을 결합하는 실용적이고 우아한 접근법을 제시합니다. BC 정책을 블랙박스로 취급하고 경량 per-step residual을 off-policy RL로 학습함으로써:

1. Base policy 아키텍처와 무관하게 적용 가능
2. Sparse binary reward만으로 고자유도 태스크 학습 가능
3. 1-2시간의 실세계 데이터로 유의미한 성능 향상 가능
4. 세계 최초로 dexterous hand를 가진 휴머노이드에서 실세계 RL 시연

물론 base policy에 종속되는 한계는 있지만, 이는 안정성과의 트레이드오프입니다. 향후 frozen base 제약을 완화하고, knowledge distillation을 통해 iterative improvement가 가능해진다면, 로봇 학습의 새로운 패러다임이 열릴 수 있습니다.

로봇 매니퓰레이션 연구자로서, 이 논문이 제시하는 “레시피”는 즉시 적용 가능한 실용적 가이드라인입니다. BC로 시작해 RL로 개선하는 하이브리드 접근법이 점점 더 표준이 될 것으로 예상됩니다.

참고문헌

• Ball et al. (2023). RLPD: Efficient Online RL with Offline Data
• Zhao et al. (2023). ACT: Learning Fine-grained Bimanual Manipulation
• Chi et al. (2023). Diffusion Policy
• Luo et al. (2024). SERL: Sample-Efficient Robotic RL
• Ankile et al. (2024). ResiP: Residual for Precise Manipulation
• Yuan et al. (2024). Policy Decorator

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

Residual Off-Policy RL을 통한 Behavior Cloning 정책 정교화 (ResFiT)

최근 Behavior Cloning(BC) 기법은 복잡한 시각기반 조작 정책을 실현했지만, 주로 데모 데이터의 품질과 양에 의존해 성능이 한계에 봉착한다. 이를 보완하기 위해 Residual Off-Policy RL(ResFiT) 기법은 BC로 학습한 정책을 “기저(base) 정책”으로 취급하고, 여기에 작은 잔차(residual) 수정항을 학습하는 형태로 RL을 적용한다. 그림 1은 ResFiT의 두 단계 접근법을 보인다. 첫 단계에서는 시연 데이터로 BC를 수행해 기저 정책을 얻고 이를 고정(frozen)시킨다. 두 번째 단계에서는 이 고정된 기저 정책의 행동에 덧붙일 잔차 수정(action residual)을 생성하기 위해 샘플 효율적인 Off-Policy RL을 수행한다. 즉, 에이전트는 현재 관측(observation)과 기저 정책이 출력한 행동 a_{base}를 입력으로 받아 작은 수정 a_{res}을 생성하며, 실제 환경에 실행되는 행동은 a = a_{base} + a_{res} 가 된다. 이로써 ResFiT는 기저 정책 아키텍처에 구애받지 않고, 액션 청킹(action chunking)이나 확산 정책(difusion) 같은 복잡한 구조를 그대로 둔 채 편리하게 RL을 적용할 수 있다. 기저 정책은 전문가 시연에서 얻은 합리적인 행동 분포를 제공하므로 안정적 탐험과 정책 초기화에 유리하며, 잔차 학습은 오직 수정 보상값(Residual Reward)을 최대화함으로써 정밀도를 높인다.

그림 1: ResFiT(Residual Off-Policy RL) 개요. (좌) 기저 BC 정책으로부터 얻은 행동 a_{base}에 오프폴리시 RL로 학습된 잔차 정책이 a_{res}를 더하여 최종 행동 a를 만든다. (우) 두 단계 학습: 시연 데이터로 BC를 수행한 뒤 정책을 고정하고, 이후 시연 버퍼와 온라인 상호작용 데이터를 병합해 오프폴리시 RL로 잔차 정책을 학습한다.

수학적 기법과 핵심 원리

ResFiT는 MDP (s,a,r,\gamma) 환경에서 작동하며, 기저 정책 \pi_{\psi}(a_{t:t+k}|s_t)는 시연 데이터로 행동 청킹(action chunking) 방식의 BC로 학습된다. 이후 이 \pi_{\psi}를 고정하고, 새로운 잔차 정책 \pi_{\theta}(s_t, a_{base_t})를 학습한다. 전체 행동은

a_t = a_{base_t} + a_{res_t},\quad a_{base_t} = \pi_{base}(s_t)

로 정의하며, 크리틱 Q_\phi는 이 전체 행동에 대한 가치함수를 근사한다. ResFiT는 DDPG 스타일의 액터-크리틱 학습 구조를 차용하여 동작한다. 먼저, 크리틱은 다음 벨만 방정식을 만족하도록 학습된다. 표준 Q함수에 대해

Q^\pi(s,a) = r(s,a) + \gamma \mathbb{E}_{s'}[Q^\pi(s', \pi(s'))]

잔차 설정에 맞추어 경사하강으로 MSBE(Mean-Squared Bellman Error)를 최소화한다. 즉, 버퍼 \mathcal{D}에서 추출한 전이 (s_t,a_t,r_t,s',d_t)에 대해 크리틱 손실은 다음과 같다:

\mathcal{L}(\phi) = \mathbb{E}_{\mathcal{D}}\Big[ \big(Q_\phi(s_t,a_t) - (r_t + \gamma (1-d_t) Q_\phi(s_{t+1}, a_{base_{t+1}} + \pi_\theta(s_{t+1},a_{base_{t+1}})))\big)^2 \Big]

여기서 a_{base_{t+1}}=\pi_{base}(s_{t+1})이다. 크리틱이 최적의 값을 근사할수록, 이를 통해 액터(잔차 정책)를 업데이트할 수 있다. 액터는 Q함수를 최대화하도록 파라미터를 조정하며, 미분 가능한 Q를 따르는 경사상승으로 학습된다. 즉, 액터의 손실은 다음과 같이 정의된다:

\mathcal{L}(\theta) = -\mathbb{E}_{(s_t,a_{base_t})\sim\mathcal{D}}\Big[ Q_\phi\big(s_t, a_{base_t} + \pi_{\theta}(s_t,a_{base_t})\big)\Big].

이와 같이, ResFiT는 전통적인 off-policy RL의 구조를 따르면서도 전체 행동을 기저+잔차의 합으로 재정의하여, 잔차 행위만 학습하도록 변형한 것이다.

설계적으로 ResFiT는 샘플 효율과 안정성을 위해 여러 기법을 채택한다. 업데이트 대 데이터 비율(UTD)을 1보다 크게 설정하여 데이터당 여러 번 모델 업데이트를 수행하고, n-스텝 리턴(n-step return)을 활용해 희소보상 환경에서 정보전달을 늘린다. 또한 TD3 기반의 지연된 액터 업데이트, 타겟 네트워크 폴리액 평균(Polyak averaging), 타겟 정책 스무딩 등 표준 기법을 적용하고, EnsQ(엔즈번블 Q) 및 레이어 정규화(layer norm)를 통해 오버에스티메이션을 완화한다. 비주얼 입력의 과적합을 막기 위해 ViT 비전 인코더와 DrQ 스타일 데이터 증강을 활용하며, 온라인 버퍼의 데이터와 시연 데이터를 병렬적으로 샘플링(증폭)하여 학습 안정성을 확보한다.

기존 BC Fine-tuning 방식과 ROPI(ResFiT)의 차이점

전통적으로 BC 정책의 성능 향상을 위해 RL로 파인튜닝하려는 시도들이 있다. 하지만 직접적인 RL fine-tuning은 최근 대규모 네트워크와 행동 청킹, 확산 구조 때문에 매우 어려웠다. 예를 들어, IBRL(Imitation Bootstrapped RL)은 먼저 모방 정책을 학습하고 이를 RL 탐험 및 가치 추정의 초기값으로 활용하지만, 여전히 복잡한 모델 자체를 변경한다. PA-RL(Policy-Agnostic RL)은 복잡한 정책 대신 Q-함수만 학습하여 근사하지만, 정책 구조를 직접 업데이트하지 않기 때문에 한계가 있다. 또한 DSRL 같은 확산 기반 접근법은 고정된 확산정책의 잠재노이즈 공간에서 행동을 최적화하나, 이 방식들은 특수한 정책 형태에 의존하므로 일반화가 어렵다.

반면 ResFiT는 잔차 보상 학습(Residual RL) 방식으로 BC 정책과 RL을 결합한다. 과거 Residual RL 연구들은 시뮬레이션이나 단순 환경에서 유용했으나, ResFiT는 이를 고차원 실세계 로봇에도 적용했다. 기존 Residual RL 연구 중 ResiP는 단일 스텝 잔차를 PPO 같은 온-폴리시 방법으로 학습했으나 샘플 효율이 낮았다. Policy Decorator 연구는 전체 행동 청크에 대해 잔차를 학습했으나, 단일 스텝 기준이 아니라 청크 단위이므로 수정이 거칠고, EXPO 연구는 청킹 없는 정책에 Residual RL을 적용했으나 단일 암 작업과 시뮬레이션 내 실험에 그쳤다. 이와 달리 ResFiT는 단계별 잔차(per-step residual)를 학습하고 오프폴리시 RL을 활용하여 샘플 효율을 대폭 높였다. 또한 ResFiT는 기저 정책을 흑상자(black-box)로 다루므로 정책 구조와 무관하게 적용 가능하다. 예를 들어, ResFiT는 대형 행동 청킹 기반 정책에도 손쉽게 닫힌 루프(called-loop) 형태의 정밀 수정이 가능하며, 잔차 크기를 제한함으로써 학습 초기 단계에서도 안전한 탐험을 보장한다. 요약하면, ResFiT는 고정된 BC 정책으로부터 시작하여 오프폴리시 방식으로 작은 보정항만 학습함으로써, 기존 BC fine-tuning과 달리 학습 안정성과 유연성을 크게 개선한다.

실험 결과 해석: 시뮬레이션 및 실제 로봇에서의 성능

ResFiT는 Robosuite(μMuJoCo 기반) 시뮬레이터 상의 다양한 조작 작업에서 평가되었다. 실험 과제는 단일 암 작업(Franka: Can, Square)과 쌍수 작업(BoxCleanup, CanSort, Coffee)으로, 전자는 행동 공간 7차원, 후자는 24차원으로 복잡도를 높였다. 그림 4는 주요 실험 결과를 보여준다. 모든 과제에서 ResFiT는 높은 성공률에 빠르게 수렴했는데, 예를 들어 간단한 Can 과제에서는 7만 스텝 만에 거의 완벽한 성능에 도달했다. 특히 난이도가 높은 bimanual 작업(BoxCleanup, CanSort, Coffee)에서 ResFiT는 다른 알고리즘들이 0%로 추락하거나 학습 속도가 느린 데 비해 빠르게 안정적인 성능(90% 이상)을 달성했다. 필터링 BC(기저 정책 그대로 사용)와 같은 단순 개선 방식은 초기 정책보다 거의 향상되지 못한 반면, ResFiT는 정밀도 향상이라는 목표를 위해 값함수 최적화를 활용했다.

그림 4: 다양한 시뮬레이션 과제에서 ResFiT 성능 비교. ResFiT는 모든 작업에서 빠르게 높은 성공률에 수렴하며, 기존 오프폴리시 RL이나 Residual RL 기반 대안에 비해 더 안정적으로 우수한 성능을 달성한다.

또한 ResFiT는 실제 로봇(29-DOF 휴머노이드)에도 적용되었다. 두 작업(WoollyBallPnP: 단일 암, PackageHandover: 쌍수)을 대상으로 진행했으며, 둘 다 이미 ACT 등 기존 BC 정책이 존재하는 설정이었다. 예컨대 WoollyBallPnP에서 기저 정책은 극히 작은 공을 집는 데 14%의 성공률을 보였으나, 오프폴리시 RL을 이용한 잔차 파인튜닝(134 에피소드) 후 성공률이 64%로 급등했다. PackageHandover는 초기 23%에서 343 에피소드 후 64%로 증가했는데, 이는 완전히 실제 환경에서 두 팔과 다섯 손가락을 가진 휴머노이드로 RL을 수행해 얻은 최초의 사례**로 평가된다. 실험 결과, ResFiT는 기저 정책이 미흡한 부분(예: 정밀 그립)에서 뚜렷한 개선을 보여주었지만, 여전히 안전한 실험을 위해 제한된 수의 휴먼 레이블링(시작 위치, 보상 여부 등)과 리셋이 필요했다.

종합하자면 ResFiT는 MuJoCo 기반 환경에서도 state-of-the-art 성능을 기록했으며, 실제 로봇에서도 제한적이지만 유의미한 자동화 개선 효과를 입증했다. 특히 표 5-6에서 보듯, off-policy 방식이 on-policy(PPO) 대비 샘플 효율 면에서 몇십 배 빠른 수렴을 보여주었으며, 여러 ablation 연구를 통해 UTD 비율, n-스텝 등 설계 요소의 효과가 확인되었다.

로봇공학적 적용 및 고려사항

ResFiT는 고차원 조작 과제에 오프라인 BC와 온라인 RL을 결합할 수 있는 실용적 경로를 제시한다. 기저 BC 정책은 단순 초기화 이상의 역할을 수행하는데, 실험에서 이를 통해 안전한 행동 범위가 암시되었고, 희소 보상 환경에서 유용한 탐험 prior가 되었다. 그러나 여전히 몇 가지 제약을 갖는다. 첫째, 정책은 기저 정책 주변 해에서만 개선되므로 완전히 새로운 전략 탐색에는 한계가 있다. 둘째, 실제 적용 시에는 자동 리셋 메커니즘, 실시간 성공 감지, 안전 장치 등이 필수적이다. 저자도 언급했듯이 아직도 휴먼 오버사이트 없이 완전 자동화되기에는 현실적인 어려움(리셋, 보상 라벨링 등)이 남아 있다.

종합하면, ResFiT는 고자유도 로봇 학습에 있어 BC로 얻은 좋은 초기화를 RL로 효율적으로 개선할 수 있는 강력한 기법이다. 향후 연구에서는 잔차 정책에서 얻은 향상된 성능을 다시 기저 정책에 증류(distillation)하여 더욱 강력한 일반 정책을 만드는 방법이나, 고정 기저 제약을 완화해 더 근본적인 기술 습득을 가능하게 하는 방향이 모색될 수 있다. 특히 멀티태스크 학습에서 이 아이디어가 유용할 것으로 기대되며, 본 연구는 고차원 실제 로봇에서의 RL 가능성을 한 단계 진전시킨 예로 볼 수 있다.