📃ARLI 리뷰

vla

fine-tuning

action-chunking

inference-latency

real-time-control

flow

diffusion

manipulation

bimanual

real-robot

Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency

Published

September 19, 2026

🔍 Ping. 🔔 Ring. 일단 훑고, 다시 울린다.

Paper Link (arXiv:2608.23831): 이 리뷰는 arXiv v2(2026-08-26 공개, cs.RO) 를 정본으로 읽었다. arXiv HTML판은 Figure 4·6~11을 이미지로 내보내지 못해(본문 그래프가 통째로 빠진다) 해당 그림은 PDF에서 직접 추출했고, 본문 수치도 PDF와 교차확인했다.
Project Page: 실기 태스크별 성공/실패 롤아웃 영상, 학습 진행 그리드 영상, 그리고 발표 영상(mp4)이 있다. 코드 링크는 없다. 아래 “실험 2: 실기” 절의 영상 3편은 이 페이지의 성공 롤아웃을 재인코딩해 실은 것이다.
Code: 공개되지 않았다. 부록 A.1에 “DSRL의 dsrl_pi0 코드베이스를 쓰고 openpi와 RTC 구현을 수정해 붙였다”고만 적혀 있다.
Brian Zhu*, Momen Khalil*, E. Harrison*, Emanuele Poggi*, Philipp Schmitt, Bernd Kast, Philine Meister, Pranav Atreya, Qiyang Li, Finn Ferchau, Cesar Colmenero, Yash Shahapurkar, Gokul Narayanan, Melih Erdogan, Kai Wurm, Georg von Wichert, Oier Mees, Eugen Solowjow, Andrew Wagenmaker, Sergey Levine (*동등 기여)
Siemens · UC Berkeley · Microsoft · ETH Zurich, arXiv preprint 2026 (지면 표기 없음). Siemens와 ONR N00014-25-1-2060의 부분 지원.

💡 VLA처럼 큰 정책은 추론에만 100 ms 이상(모델에 따라 300 ms 이상)이 걸리고, 이 지연을 숨기려고 비동기 추론을 쓰는 순간 RL이 의존하는 마르코프 성질이 깨져 표준 RL이 아예 학습에 실패한다는 것이 출발점이다.
⚙️ ARLI는 noise steering 방식의 RL(DSRL)을 쓰되 RL 정책의 조건부를 (a) 추론 시작 시점 상태 + (b) 추론 중 실행될 중간 액션 + (c) VLM 백본이 도는 동안 새로 들어온 중간 상태 세 가지로 증강해, 깨진 상태를 근사적으로 마르코프로 되돌린다.
🎯 양팔 UR5e에서 \pi_{0.5} 베이스 정책 성공률 약 40%로 시작해 100~125 에피소드 만에 세 태스크 모두 거의 100% 에 도달했고, 같은 시간 안에 DSRL(sync)·DSRL(RTC)는 두 태스크에서 80%도 넘기지 못했다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

generalist 정책을 배포 중에 RL로 계속 개선한다는 그림은 이제 익숙하다. 그런데 그 그림은 대부분 “정책이 즉시 응답한다”는 전제 위에 있다. 실제로는 \pi_0 한 번의 액션 생성이 소비자용 GPU에서 약 100 ms, 다른 오픈소스 모델은 300 ms를 넘기도 한다. 이 지연을 그대로 두면 로봇은 청크 사이마다 멈추거나(동기 추론) 낡은 관측으로 움직이고, 반응성이 필요한 태스크에서 성능이 무너진다.

지연을 숨기는 표준 해법은 비동기 추론이다. 현재 청크를 실행하는 도중에 다음 청크 계산을 미리 시작해 두는 것이다. 이 논문의 핵심 관찰은 여기서 나온다. 비동기 추론을 하면 정책은 그 액션이 실제로 실행될 시점의 상태가 아니라 t_{\mathrm{delay}} 스텝 전의 상태로 결정을 내린다. 배포만 할 때는 이것이 성능 손실이지만, RL을 얹으면 문제의 성격이 달라진다. 유효 상태가 비마르코프가 되어 Q 학습 자체가 성립하지 않고, 표준 RL이 완전히 실패한다. 이 논문은 “지연을 줄이는 법”이 아니라 “지연이 있는 채로 RL이 돌아가게 하는 법”을 묻는다.

개요(Fig. 1): generalist 정책은 추론 지연 때문에 멈추거나 낡은 관측에 의존하게 되고, 그 위에서의 RL 개선은 불안정해진다. ARLI는 중간 액션과 갱신된 비동기 관측으로 다음 액션 청크를 steering한다.

핵심 방법론:

베이스 RL 알고리즘은 DSRL(Diffusion Steering via RL)이다. 사전학습 정책 \pi_{\mathrm{pt}}가 diffusion/flow 정책이면 노이즈 w를 뽑아 디노이징해 액션 청크를 만드는데, DSRL은 w \sim \mathcal{N}(0,I) 대신 가벼운 RL 정책이 w를 고르게 한다.

A_t = \pi_{\mathrm{pt}}(s_t, w_t), \qquad w_t \sim \pi_{\mathrm{rl}}(s_t)

비동기 추론에서는 \pi_{\mathrm{rl}}이 볼 수 있는 상태가 s_{t-t_{\mathrm{delay}}}뿐이다. ARLI는 이 “RL 상태”를 두 단계로 증강한다.

s^{\mathrm{rl}}_t \leftarrow (s_{t-t_{\mathrm{delay}}},\; a_{t-t_{\mathrm{delay}}:t}) \;\;\longrightarrow\;\; s^{\mathrm{rl}}_t \leftarrow (s_{t-t_{\mathrm{delay}}},\; a_{t-t_{\mathrm{delay}}:t},\; s_{t-t^{\mathrm{rl}}_{\mathrm{delay}}})

앞의 것이 중간 액션(t-t_{\mathrm{delay}}부터 t-1까지 추론 중에 실행될, 이미 확정된 액션들)이고, 뒤에 붙는 것이 중간 상태다. 둘째 항이 가능한 이유가 이 논문의 기술적 핵심이다. VLA는 보통 VLM 백본 \pi^{\mathrm{vlm}}_{\mathrm{pt}}와 액션 전문가 \pi^{\mathrm{ae}}_{\mathrm{pt}}로 나뉘고, \pi_0 기준 추론 시간의 약 2/3가 백본에서 소비된다. DSRL이 개입하는 지점(노이즈 주입)은 액션 전문가가 시작될 때이므로, RL 정책은 백본이 도는 동안 기다렸다가 훨씬 최신인 s_{t-t^{\mathrm{rl}}_{\mathrm{delay}}} 를 보고 노이즈를 고를 수 있다. 여기에 RTC(Real-Time Chunking)의 inpainting 가이던스를 그대로 얹어 청크 경계의 불연속을 줄인다.

이론 쪽은 지연 관측으로 Q 학습을 해도 성능 손실이 유계임을 보인다. MDP가 \omega_d-지연 최적성 갭을 만족할 때

V^{\star}_{\mathrm{ac}} - V(\widehat{\pi}^{\,t_{\mathrm{delay}}}) \le \frac{1}{1-\gamma^{\,k-t_{\mathrm{delay}}}}\cdot \omega_{t_{\mathrm{delay}}}

이다(k는 청크 길이). 즉 지연이 오라클 청킹 정책의 성능을 크게 해치지 않는 환경이라면 표준 Q 학습을 그대로 써도 된다는 조건부 보증이다.

주요 결과:

시뮬레이션 4종(Kinetix mjc_swimmer·mjc_walker·car_launch, AlohaTransferCube)에서 ARLI가 비동기 DSRL을 최종 성공률·학습 속도 양쪽에서 앞선다(Fig. 4, 3시드·오차막대 1 s.e., 평가는 50 rollout 평균).
실기 3종(Assembly, Shoe-in-Bag, Bag-Placement, 양팔 UR5e + \pi_{0.5} LoRA 파인튜닝): 베이스 성공률 약 40% 에서 100~125 에피소드 만에 거의 100%. DSRL(sync)·DSRL(RTC)는 Assembly·Bag-Placement에서 같은 시간 안에 80%에 못 미치고, Shoe-in-Bag에서는 ARLI를 따라잡는 데 거의 두 배 시간이 걸렸다.
어블레이션: 중간 상태와 중간 액션을 둘 다 넣어야 하고(Fig. 6), t_{\mathrm{delay}}가 커질 때 ARLI의 성능 감소가 DSRL보다 완만하며(Fig. 7), RL 추론 지연 t^{\mathrm{rl}}_{\mathrm{delay}}은 t_{\mathrm{delay}}의 절반보다 작아질 때 학습이 뚜렷이 좋아진다(Fig. 8).

결론:

새로운 것은 알고리즘이 아니라 상태 정의다. “비동기 추론이 깨뜨린 마르코프 성질을, 그 비동기 파이프라인이 이미 가지고 있는 정보(확정된 중간 액션 + 백본 추론 중에 도착한 관측)로 복구한다”는 한 문장이 방법의 전부다. 그 대가로 추가 모델도, 추가 지연도 붙지 않는다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“RL이 실패하는 원인은 지연 그 자체가 아니라, 지연을 숨기려고 도입한 비동기 파이프라인이 RL 정책에게 잘못된 상태를 건네고 있다는 사실” 이라고 진단하고, 그 파이프라인 안에 이미 떠다니는 두 조각의 정보를 상태에 끼워 넣어 고치는 논문이다. 기여의 크기는 작아 보이지만 진단이 정확하고, 실기에서 “안 되던 것이 된다”는 형태로 결과가 나온다.

배경: 지연은 왜 RL에서만 치명적인가

배포 쪽 문헌은 지연 문제를 꽤 오래 다뤄 왔다. 액션 청킹(Zhao et al.의 ACT)은 한 번의 forward로 k개 액션을 뽑아 추론 비용을 분할상환하고, 이제 대부분의 현대 로봇 정책이 쓴다. 하지만 청킹만으로는 부족하다. 동기 실행은 청크 사이마다 주기적인 정지를 만들고, 순진한 비동기 실행은 청크 경계에서 불연속을 만든다. 그 불연속을 줄이려고 temporal ensembling, rejection sampling, diffusion inpainting(RTC)이 제안됐고, sim2real 쪽에서는 학습 중에 지연을 주입해 지연에 강인한 정책을 얻는 갈래가 있다. 논문의 지적은 간명하다. 이들은 전부 고정된 사전학습 정책의 “배포”를 다루지 온라인 적응을 다루지 않는다.

지연 하의 RL·제어 문헌(delayed-state/action MDP, concurrent control)도 있지만, 이쪽은 대개 밑바닥부터 학습하는 일반 RL 세팅이고 현대 diffusion/VLA 정책의 액션 청크 + 비동기 체제를 다루지 않는다. 이 논문은 정확히 그 교집합의 빈칸에 들어간다.

왜 배포와 학습에서 문제의 성격이 달라지는가. 비동기 추론에서 t' 시점에 추론을 시작하면 결과 청크는 t > t'에 실행된다. 배포 관점에서 이것은 “s_{t'}로 s_t에서 쓸 액션을 고른다”는 정확도 손실이다. 하지만 RL 관점에서는 유효 전이가 더 이상 (s,a)만으로 결정되지 않는다. 같은 s_{t'}에서 같은 노이즈를 골라도, 그 사이에 실행될 액션이 무엇이었고 환경에 무슨 일이 있었는지에 따라 결과가 갈린다. Q 함수가 학습할 대상 자체가 정의되지 않는다. 논문이 “표준 RL이 완전히 실패한다(fail completely)”고 쓰는 것은 수렴이 느리다는 뜻이 아니라 이 구조적 이유 때문이다.

베이스 RL은 DSRL을 쓴다. 노이즈만 steering하므로 파인튜닝 대상이 가벼운 MLP/CNN 액터·크리틱이고 거대한 VLA 가중치를 건드리지 않는다. 대안인 residual RL(잔차 보정 a_t + a^{\Delta}_t)과의 대비는 이 논문의 실험 설계에서 흥미로운 축이 된다(Residual Off-Policy RL 리뷰가 이 논문의 residual 베이스라인 구현 출처다). residual 정책은 작아서 매 스텝 최신 상태로 보정을 새로 계산할 수 있으므로 지연 문제를 구조적으로 회피한다. 즉 residual RL은 “반응성은 높지만 표현력이 낮은” 경쟁자이고, ARLI는 “표현력은 높지만 지연을 안고 가는” 쪽을 고쳐서 이긴다는 구도다.

방법 상세: 세 가지 조건부와 한 번의 타이밍 결정

ARLI 개요(Fig. 2): 추론은 다음 청크가 필요한 시점보다 t_{\mathrm{delay}} 스텝 앞서 시작되고 VLM 백본은 s_{t-t_{\mathrm{delay}}}를 받는다. RL 정책 \pi_{\mathrm{rl}}은 액션 전문가가 시작되기 직전인 t-t^{\mathrm{rl}}_{\mathrm{delay}}에 돌아야 하며, (a) 초기 상태 (b) 중간 액션 a_{-9:0} (c) 중간 상태 세 가지를 조건으로 받는다. 새 청크에서 실제로 재생되는 첫 액션은 인덱스 n_{\mathrm{delay}}부터다.

Fig. 2의 타임라인이 방법 전체를 담고 있다. 위쪽 띠가 액션 인덱스, 아래쪽이 추론 파이프라인이다. 초록색 칸들이 추론 중에 이미 실행이 확정된 액션이고, a_0부터가 새로 생성된 청크에서 쓰이는 부분이다.

(a) 초기 상태. 순진한 비동기 DSRL이 쓰는 유일한 정보다. \pi_{\mathrm{rl}}(s_{t-t_{\mathrm{delay}}})로 노이즈를 고른다.

(b) 중간 액션. a_{t-t_{\mathrm{delay}}:t} = (a_{t-t_{\mathrm{delay}}}, \ldots, a_{t-1})은 이전 청크에서 이미 확정된 액션들이다. 이들은 미래 상태에 대한 강한 예측 정보를 담는다. s_{t-t_{\mathrm{delay}}}에서 출발해 이 액션들을 open-loop로 실행하면 어디에 도달할지를 RL 정책이 학습으로 추정할 수 있기 때문이다. 논문이 강조하는 비대칭이 여기 있다. \pi_{\mathrm{pt}}는 얼어 있는 정책이라 추가 조건부를 쉽게 붙일 수 없지만, \pi_{\mathrm{rl}}은 우리가 처음부터 학습시키는 작은 네트워크라 원하는 것을 아무거나 넣을 수 있다. 같은 정보를 RTC도 쓰지만 RTC는 연속성 유지를 위한 inpainting 제약으로만 쓰고, 그 액션을 근거로 예측을 바꾸지는 못한다.

(c) 중간 상태. 이것이 가장 영리한 부분이다.

중간 상태 조건부의 이득(Fig. 3): 순진한 비동기 추론에서는 초기 상태가 확률적 사건(예: 움직이는 장애물)을 담지 못한다. 중간 상태를 볼 수 있으면 정책이 교란에 반응할 수 있다.

중간 액션은 “내가 무엇을 할지”는 알려주지만 “그 사이 세상이 어떻게 변할지”는 알려주지 못한다. Fig. 3의 움직이는 장애물이 그 예다. 그래서 논문은 VLA의 내부 구조를 시간 축으로 쪼갠다. 지연의 대부분은 VLM 백본에서 나오고(\pi_0 기준 약 2/3), DSRL이 손대는 노이즈는 액션 전문가가 시작될 때 필요하다. 그렇다면 RL 정책을 추론 시작과 동시에 돌릴 이유가 없다. \pi_{\mathrm{rl}}과 \pi^{\mathrm{ae}}_{\mathrm{pt}}의 합산 추론 시간을 t^{\mathrm{rl}}_{\mathrm{delay}}라 하면, 추가 지연 없이 가능한 가장 늦은 호출 시각이 t - t^{\mathrm{rl}}_{\mathrm{delay}}이고 그 시점의 관측을 조건에 넣는다. 지연이 사라지는 것은 아니지만 t_{\mathrm{delay}}에서 t^{\mathrm{rl}}_{\mathrm{delay}}로 줄어든다. 아무 비용도 치르지 않고 얻는 공짜 신선도라는 점이 좋다.

(사소한 표기 문제 하나. 논문 본문에서 최종 RL 상태를 적을 때 중간 액션 항이 a_{t-t_{\mathrm{delay}}}로 범위 없이 쓰여 있는데, 앞의 정의와 Fig. 2를 보면 시퀀스 a_{t-t_{\mathrm{delay}}:t}를 뜻하는 것이 분명하다. HTML판과 PDF판 모두 같은 표기이므로 변환 오류가 아니라 원 논문의 오타로 보인다.)

RTC 결합. 비동기 추론 자체는 RTC를 요구하지 않지만, 논문은 RTC의 inpainting 가이던스를 유지한다. RTC는 첫 t_{\mathrm{delay}} 디노이징 스텝의 노이즈를 고정하고 이후 스텝에 inpainting 항을 건다. ARLI는 초기 노이즈는 DSRL로 고르고 가이던스는 RTC 것을 쓴다. 연속성은 원리적으로 \pi_{\mathrm{rl}}이 배울 수 있지만, 명시적으로 강제하면 학습 속도를 깎지 않으면서 안정적으로 보장된다는 논리다.

구현 세부(부록 A). DSRL-SAC를 쓰되 노이즈는 청크 축으로 하나를 반복한다(w_i = w_{\mathrm{single}}, \mathcal{W}_{\mathrm{single}} = \mathbb{R}^d). 액션 청크의 샘플링·실행을 잠재 MDP의 한 스텝으로 취급하고 청크 내부 관측은 무시한다. 중간 상태는 원 상태와 채널 방향 concat(이미지) 또는 벡터 concat으로, 중간 액션은 flatten해서 MLP 입력 앞에 붙인다. 액터·크리틱은 Kinetix에서 3층 MLP(hidden 256), 픽셀 태스크에서는 4층 CNN(32,32,32,32) + 3층 MLP(hidden 128), 이미지는 64\times64. 실기는 카메라 3대(베이스 1 + 손목 2)를 채널로 concat한다. 할인율 0.999, 액터 lr 1e-4, 크리틱 lr 3e-4.

왜 이게 통하는가: 이론이 말하는 것과 말하지 않는 것

Proposition 1은 “지연 관측으로 학습해도 괜찮다”를 보증한다. 그런데 무엇에 기대어 보증하는지가 중요하다. 정의 1의 \omega_d-지연 오라클 최적성 갭은

\Big| Q^{\star}_{\mathrm{ac}}(s_t, a_{t:t+k}) - \mathbb{E}\big[R_{t:t+k-d} + \gamma^{k-d} V^{\star}_{\mathrm{ac}}(s_{t+k-d}, a_{t+k-d:t+k})\big] \Big| \le \omega_d

로, “현재 관측으로 최적 청크를 고를 때”와 “같은 청크를 끝까지 실행하되 다음 청크 결정을 d스텝 일찍 내릴 때”의 성능 차이다. 이것은 알고리즘의 성질이 아니라 환경의 성질이다. 그리고 결론

V^{\star}_{\mathrm{ac}} - V(\widehat{\pi}^{\,t_{\mathrm{delay}}}) \le \frac{\omega_{t_{\mathrm{delay}}}}{1-\gamma^{\,k-t_{\mathrm{delay}}}}

는 그 환경 상수를 할인 계수로 증폭한 형태다. 즉 이 명제가 말하는 것은 “환경이 지연에 관대하다면 Q 학습은 그 관대함 이상으로 나빠지지 않는다” 이지, “ARLI가 좋다”가 아니다. ARLI의 역할은 논문 서술상 \omega 자체를 줄이는 것(중간 상태로 유효 지연을 t^{\mathrm{rl}}_{\mathrm{delay}}까지 낮춤)인데, 이 “줄어든다”는 부분은 정리로 정식화되지 않았고 경험적 주장으로 남는다. 증명은 Li et al.의 액션 청킹 Q 학습 프레임워크(가정 1: 데이터가 전이 동역학을 따름, 정의 1: strong open-loop consistency) 위에 얹혀 있다.

한 가지 실용적 함의는 분모에서 읽힌다. \gamma^{k-t_{\mathrm{delay}}}이므로 t_{\mathrm{delay}}가 k에 가까워질수록 경계가 폭발한다. 청크 길이 대비 지연 비율이 이 접근의 작동 범위를 정한다는 뜻이고, 실기 설정(k=50, t_{\mathrm{delay}}=10)이 여유 있는 구간에 있다는 점도 같이 읽어야 한다.

실험 1: 시뮬레이션

시뮬레이션 비교(Fig. 4): Kinetix 3종과 Aloha Transfer Cube에서 RTC 유무에 따른 ARLI와 DSRL. 3시드 평균, 음영은 1 standard error.

Kinetix는 동적 환경이라 반응성이 필요한 벤치마크로 골랐고, 그중 사전학습 성공률이 낮고 지연이 커질수록 zero-shot 성능이 크게 떨어지는 mjc_swimmer·mjc_walker·car_launch 세 개를 썼다. AlohaTransferCube는 더 큰 지연에서 3.3B 파라미터 \pi_0의 Aloha 파인튜닝 체크포인트를 베이스로 쓴다.

세 환경의 지연·청크 설정을 한자리에 모으면 이렇다. 본문 §5.1·§5.2와 부록 표 3·4·6에서 가져온 값이다.

지연·청크·학습 설정 (본문 §5.1·§5.2, 부록 Table 3·4·6). 할인율 0.999, 배치 256, 액터 lr 1e-4, 크리틱 lr 3e-4, 크리틱 10개, clipped Q-learning 미사용은 세 환경 공통이다.
항목	Kinetix	AlohaTransferCube	Real-World
베이스 정책 \pi_{\mathrm{pt}}	RTC 논문의 BC flow 체크포인트(5 epoch)	\pi_0 (3.3B) Aloha 파인튜닝	\pi_{0.5} LoRA 태스크별 파인튜닝
추론 지연 t_{\mathrm{delay}}	4 (어블레이션 2·3·4)	20 (어블레이션 10·20)	10
RL 추론 지연 t^{\mathrm{rl}}_{\mathrm{delay}}	1 (어블레이션 0~4)	10	7
액션 청크 길이 k	8	50	50
실행 액션 수 n	4	25	20
노이즈 크기 b_w	1.0	2.0	0.5
RTC 디노이징 스텝	5	10	10
RTC 최대 가이던스 가중치	5	10	10
오프라인 전이 수 / 오프라인 학습 스텝	500 / 0	1000 / 0	1200 / 24000
오프라인 노이즈 분포 (클리핑)	\mathcal{N}(0,1) (없음)	\mathcal{N}(0,0.3) (없음)	\mathcal{N}(0,1) (0.5로 클리핑)
관측 / 액터·크리틱	symbolic 벡터 / MLP 3층(256)	이미지 1대 64\times64 + 관절 / CNN 4층+MLP 3층(128)	이미지 3대 64\times64 + 관절 / CNN 4층+MLP 3층(128)

t^{\mathrm{rl}}_{\mathrm{delay}}는 표가 아니라 본문에만 있는 값이라는 점을 밝혀 둔다. 표 4의 Kinetix Inference Delay 칸이 [1,2,3,4]로 적혀 있어 본문의 어블레이션 범위(2·3·4)와 완전히 일치하지는 않는데, 어느 쪽이 실제 실행 조건인지는 논문만으로 확정할 수 없다. 오프라인 노이즈 분산을 Aloha에서만 0.3으로 줄인 것과 실기에서만 노이즈를 0.5로 클리핑한 것은 부록에 이유가 적혀 있다. 전자는 리플레이 버퍼에 성공 궤적을 더 담기 위해서, 후자는 로봇의 위험한 움직임을 줄이기 위해서다.

곡선을 읽으면 태스크별 성격이 갈린다.

mjc_swimmer: DSRL은 RTC를 붙여도 0.3대에서 멈추고 RTC 없으면 바닥이다. ARLI는 RTC 유무와 무관하게 0.7~0.8까지 오르고, RTC가 있으면 초반 상승이 더 빠르다.
mjc_walker: DSRL(No RTC)이 0.2 근처에서 정체하는 반면 ARLI는 0.8 부근. ARLI(No RTC)는 초반에 크게 뒤처졌다가 따라붙는다.
car_launch: 모든 방법이 0.9 부근으로 수렴한다. 사전학습 정책도 0.55~0.6에서 출발하고, 이 태스크는 사실상 변별력이 없다.
AlohaTransferCube: ARLI(RTC)가 0.8대, ARLI(No RTC)는 0.55 부근까지만 간다. 여기서는 RTC의 기여가 크다. 음영이 매우 넓어(0.2~1.0 구간을 덮는다) 3시드의 분산이 상당하다는 점도 같이 보인다.

residual RL은 네 태스크 모두에서 낮다. 매 스텝 최신 상태로 보정을 새로 계산하는 반응성 이점이 있는데도 그렇다는 것이 논문의 논지다. 다만 residual 편집 크기를 b_w \in [0, 0.1]로 제한했다는 부록 설명을 함께 읽어야 한다. 베이스 정책을 처음부터 다시 배우는 것을 막기 위한 조치이지만, 동시에 residual의 표현력을 인위적으로 좁힌 것이기도 하다.

실험 2: 실기

세 태스크가 어떤 동작인지는 글로 읽는 것보다 보는 편이 빠르다. 프로젝트 페이지의 성공 롤아웃 클립을 640px·15 fps로 재인코딩해 실었다.

Assembly

Shoe-in-Bag

Bag-Placement

ARLI 학습 후 실기 성공 롤아웃 3종(프로젝트 페이지 static/videos/examples/*_good.mp4). 왼쪽부터 커넥터를 두 핀에 맞춰 인버터 박스에 꽂기, 신발을 좁은 가방에 넣기, 양팔로 누운 가방을 세워 앞과 나란히 놓기. 프로젝트 페이지에는 각 태스크의 실패 롤아웃과 학습 진행 그리드 영상, 그리고 발표 영상도 함께 있다.

실기 비교(Fig. 5): 왼쪽은 태스크 장면, 가운데는 최근 10 에피소드 평균 성공률로 그린 학습 곡선, 오른쪽은 최근 20 에피소드의 성공 소요시간으로 추정한 시간당 성공 횟수(실패는 평균 성공시간의 2배에서 선언한다고 가정).

셋업이 구체적이라 좋다. 양팔 UR5e 셀, 팔마다 손목 카메라 + 전면 베이스 카메라 1대. 베이스 정책은 \pi_{0.5}를 태스크별 소량 시연으로 LoRA 파인튜닝한 것이고, 데이터는 Meta Quest 원격조작으로 60 Hz 수집, 액션 청크 길이 50. RTX 5090에서 t_{\mathrm{delay}}=10, t^{\mathrm{rl}}_{\mathrm{delay}}=7, 액션 호라이즌 n=20이 sync·RTC 양쪽 모두에 최적이었다고 보고한다.

베이스 정책을 만든 데이터 규모도 부록 표 2에 있다.

실기 베이스 정책(\pi_{0.5} LoRA) 학습 데이터·설정 (부록 Table 2). 데이터는 Meta Quest 원격조작으로 60 Hz 수집.
항목	Assembly	Shoe-in-Bag	Bag-Placement
시연 에피소드 수	60	123	51
총 데이터셋 스텝	84,821	474,301	50,041
배치 크기	32	32	32
대략 에폭 수	3	2	4
Warm-up 스텝	265	1,000	1,000
Decay 스텝	8,000	30,000	30,000
학습 스텝	8,000	30,000	6,000
Peak LR / Decay LR	2.5e-5 / 2.5e-6	2.5e-5 / 2.5e-6	2.5e-5 / 2.5e-6

규모 차이가 눈에 띈다. Shoe-in-Bag은 다른 두 태스크보다 데이터가 한 자릿수 많은데, 이 데이터에는 신발뿐 아니라 티셔츠 등 다른 옷을 가방에 넣는 시연도 섞여 있기 때문이다. 반대로 Bag-Placement는 스텝 수가 가장 적으면서 decay 스케줄(30,000)보다 훨씬 이른 6,000 스텝에서 학습을 끊었다. 즉 세 태스크의 베이스 정책은 데이터량도 학습량도 균질하지 않고, 그럼에도 셋 다 성공률 약 40% 언저리에서 출발했다는 점을 감안하고 곡선을 봐야 한다.

결과는 명확하다. 베이스 약 40%에서 시작해 ARLI가 100~125 에피소드 만에 세 태스크 모두 거의 100%에 도달한다. DSRL(sync)와 DSRL(RTC)는 Assembly·Bag-Placement에서 같은 기간에 80%를 못 넘고 곡선이 크게 출렁인다. 논문은 한 걸음 더 나아가 비동기 추론 없이는 베이스 정책 성능 자체가 나쁘고 RL 학습이 매우 느리거나 아예 안 된다고, 즉 이 태스크들에서 비동기 추론이 필수 조건이라고 적는다.

ARLI(Actions Only) 변형이 흥미롭다. 세 태스크 중 둘에서 전체 ARLI와 사실상 동등하고, Bag-Placement에서만 높은 성공률로 수렴하지 못한다. 중간 상태의 기여가 태스크 의존적이라는 솔직한 신호다. 실제로 논문은 RTC를 쓰면 액션 전문가 추론 시간이 늘어 VLM 백본이 전체 추론의 40% 정도만 차지하게 된다고 적는데, 백본 비중이 줄면 “백본 도는 동안 새 관측을 기다린다”는 트릭의 이득 폭도 줄어든다. 방법의 두 구성요소가 서로의 효과를 갉아먹는 구조라는 뜻이고, 이것이 Actions Only가 자주 대등한 이유일 가능성이 높다.

시간당 성공 횟수(throughput)는 동기 추론 대비 비동기의 이점이 가장 직관적으로 드러나는 지표다. 다만 Fig. 5 오른쪽 막대를 보면 Assembly에서는 ARLI(Actions Only)의 막대가 ARLI보다 오히려 조금 높아 보인다. 본문은 “ARLI가 모든 태스크에서 유의하게 높은 throughput을 보인다”고 쓰는데, 전체 ARLI만 놓고 보면 Assembly에서는 그 서술이 그림과 정확히 맞지 않는다.

실험 3: 어블레이션

왼쪽(Fig. 6): 중간 상태 또는 중간 액션 하나만 쓴 ARLI 변형(RTC 없음). 오른쪽(Fig. 7): 추론 지연을 바꿔 가며 본 ARLI와 DSRL의 최종 성공률.

중간 정보는 둘 다 필요한가. RTC를 끄고(기본으로 쓰이는 시간 정보를 최소화하기 위해) mjc_swimmer와 AlohaTransferCube에서 State Only / Actions Only / 둘 다를 비교한다. 결론은 둘 다 넣는 쪽이 유의하게 낫다는 것이다. 부록 B는 RTC를 켠 조건과 네 태스크 전체로 이 어블레이션을 확장하고, “RTC를 넣으면 최종 상태 표현에 추가로 필요한 정보량이 줄지만, 모든 태스크에서 중간 정보를 전부 넣는 것이 일관되게 최선”이라고 정리한다. (arXiv HTML판 본문에서는 이 문단이 Figure 7을 가리키는데, PDF에서는 Figure 6이다. HTML 변환 과정의 참조 오류다.)

t_{\mathrm{delay}} 민감도. Kinetix에서 [2,3,4], Aloha에서 [10,20]을 훑고 중간 액션 길이도 그에 맞춰 조정한다(t^{\mathrm{rl}}_{\mathrm{delay}}는 Kinetix에서 t_{\mathrm{delay}}-1, Aloha에서 t_{\mathrm{delay}}/2). 논문 본문에 수치 표는 없어서 아래 값은 Fig. 7 그래프에서 읽은 근사치다. mjc_swimmer에서 지연 2→4로 갈 때 DSRL(No RTC)은 0.85에서 0.13으로 붕괴하고 DSRL(RTC)은 0.84→0.32인 반면, ARLI는 0.99→0.70, ARLI(No RTC)는 0.96→0.69로 완만하다. Aloha에서는 10→20에서 ARLI가 0.85→0.84로 거의 평평하다.

RL 추론 지연 민감도(Fig. 8): mjc_swimmer, t_{\mathrm{delay}}=4 고정, t^{\mathrm{rl}}_{\mathrm{delay}}를 0(가장 최신)에서 4(추가 정보 없음)까지.

t^{\mathrm{rl}}_{\mathrm{delay}} 민감도. 최신 정보일수록 좋고, t^{\mathrm{rl}}_{\mathrm{delay}}이 t_{\mathrm{delay}}의 절반보다 작아질 때 학습이 뚜렷이 개선된다. 부록 B가 이를 더 날카롭게 만든다. RTC를 쓰면 t^{\mathrm{rl}}_{\mathrm{delay}} < 3에서, RTC가 없으면 t^{\mathrm{rl}}_{\mathrm{delay}} < 2에서만 유의한 개선이 나타난다. 즉 RTC가 없으면 중간 상태가 훨씬 더 신선해야 한다. 실용적으로는 “액션 전문가가 충분히 가벼워야 이 트릭이 산다”는 하드웨어 조건으로 번역된다.

부록 C: steering 노이즈가 실제로 무엇을 배웠는가

학습된 노이즈 분포의 체크포인트별 변화(Fig. 12): 실기 Shoe-in-Bag의 held-out 4 에피소드(성공 2, 실패 2)를 모든 체크포인트에 재생해 예측 노이즈의 평균·분산을 추론 스텝별로 본 것.

성능표만 있는 논문이 아니라는 점에서 이 부록이 반갑다. held-out 에피소드 4개를 모든 체크포인트로 재생해 액션 전문가에 들어가기 직전 노이즈 분포를 기록했다. 관찰은 이렇다. 실패 에피소드에서는 후기 체크포인트일수록 노이즈 평균이 0에서 멀어지고 분산이 줄어든다. 그리고 이 변화는 궤적 전체가 아니라 가장 큰 교정 steering이 필요한 구간(정렬·삽입 단계) 주변에 국소화된다. 잠재 차원 32개 중 유효 차원은 22.7~26.7로, 드리프트가 특정 1~2개 좌표에 몰려 있지 않다. 결론은 “ARLI가 노이즈를 전역적으로 리스케일하는 것이 아니라 궤적·국면 의존적으로 재형성한다”이다.

저자들이 스스로 범위를 좁혀 놓은 것도 정직하다. 단일 태스크의 궤적 4개이므로 성공/실패 분류기가 아니라 서술적 증거라고 명시한다. 게다가 이 진단은 전체 ARLI가 아니라 Actions Only 변형으로 수행됐다(held-out 궤적에 중간 관측이 저장돼 있지 않아서다). Shoe-in-Bag에서 두 변형의 학습 곡선이 비슷하다는 것이 근거인데, 결국 방법의 핵심 차별점인 중간 상태가 작동하는 방식은 이 분석에 들어 있지 않다.

비판적으로 보면

강점

진단이 정확하고 해법이 저렴하다. 추가 모델도, 추가 지연도, 사전학습 정책 수정도 없다. 비동기 파이프라인이 이미 들고 있는 정보를 RL 정책 입력에 붙이는 것이 전부다. “얼어 있는 \pi_{\mathrm{pt}}에는 조건을 못 붙이지만 내가 학습시키는 \pi_{\mathrm{rl}}에는 붙일 수 있다”는 비대칭을 지렛대로 쓴 것이 깔끔하다.
타이밍 분해가 진짜 아이디어다. “VLA의 추론 지연은 균질한 덩어리가 아니라 백본 2/3 + 액션 전문가 1/3로 쪼개지고, RL 개입 지점은 뒤쪽이다”라는 관찰은 시스템 수준의 통찰이고, 여기서 공짜 신선도가 나온다. 현대 VLA 구조에 밀착한 기여다.
실기 결과의 형태가 “개선”이 아니라 “가능/불가능”이다. 동기 추론에서는 베이스 성능도 나쁘고 RL도 사실상 학습되지 않는다는 보고가 방법의 필요성을 세운다. 세 태스크 모두 40% → 거의 100%를 100~125 에피소드로 달성한 것은 온로봇 RL 기준으로 충분히 강한 수치다.
어블레이션이 자기 방법을 깎는 방향으로도 실행됐다. Actions Only가 Bag-Placement를 제외하면 대등하다는 사실, car_launch에서 모든 방법이 붙는다는 사실을 숨기지 않는다. 부록 C의 노이즈 분석도 스스로 한계를 명시한다.

약점·한계

코드가 없다. 방법은 DSRL의 dsrl_pi0, openpi, RTC 구현 세 개를 엮은 수정판인데 그 접합부가 전부 공개되지 않았다. 하이퍼파라미터 표는 성실하지만, “어느 시점에 \pi_{\mathrm{rl}}을 호출할 것인가”처럼 실시간 스케줄링에 관한 부분은 표로 재현되지 않는다. 재현하려면 사실상 재구현 + 자체 데이터 수집이다.
실기 결과에 시드도 반복도 신뢰구간도 없다. 시뮬레이션은 3시드·1 s.e.를 보고하지만, 실기 곡선은 방법당 단일 실행으로 보이고 각 점은 최근 10 에피소드 평균, 즉 10 표본짜리 추정치다. “거의 100%”는 이 10-에피소드 창에서 읽은 값이다. 온로봇 RL에서 반복 실행이 비싸다는 사정은 이해되지만, 그렇다면 최종 정책에 대한 별도 고정 평가(예: 50회 rollout)가 있어야 곡선의 끝값을 성능으로 읽을 수 있다. 그 평가가 없다.
본문 서술이 그림보다 한 발 앞서 나가는 곳이 있다. throughput이 “모든 태스크에서 유의하게 높다”는 문장은 Assembly에서 Actions Only 막대가 더 높아 보이는 Fig. 5와 정확히 맞지 않는다. car_launch가 모든 방법에서 포화한다는 점도 본문에서 다뤄지지 않고 “4개 태스크에서 유의하게 앞선다”로 묶인다.
이론이 방법을 지지하지 않는다. Proposition 1은 ARLI가 아니라 “지연 관측 Q 학습 일반”에 대한 조건부 경계이고, 핵심 상수 \omega_d는 측정되지도 추정되지도 않는다. 정작 ARLI의 주장(“중간 상태가 \omega를 줄인다”)은 정식화되지 않은 채 남는다. 실험에서라도 \omega의 대리 지표(예: 지연별 오라클 성능 차)를 재 보였다면 이론과 실험이 연결됐을 텐데 그 고리가 비어 있다.
두 구성요소가 서로를 상쇄한다. RTC를 켜면 액션 전문가 추론이 길어져 백본 비중이 2/3에서 40%로 떨어지고, 그만큼 중간 상태의 신선도 이득이 줄어든다. 부록 B의 “RTC가 있으면 필요한 추가 정보가 줄어든다”는 관찰과 Actions Only의 선전이 모두 같은 현상을 가리킨다. 방법을 하나의 패키지로 파는 것보다 이 상충을 정면으로 분석하는 쪽이 더 유용했을 것이다.
적용 범위가 좁게 명시돼 있다. 저자들이 인정하듯 (i) 사전학습 정책이 VLM 백본과 액션 전문가로 분리되고 노이즈가 후자에만 들어가야 중간 상태를 쓸 수 있고, (ii) DSRL이 학습에 실패하는 태스크에서는 ARLI도 같이 실패한다. 여기에 이론 쪽 제약을 더하면 t_{\mathrm{delay}}가 청크 길이 k에 근접하는 체제에서도 보증이 무너진다.
베이스라인 구성이 방법마다 다르다. 시뮬레이션에는 residual RL이 들어가지만 실기 비교에는 없다. residual RL은 지연을 구조적으로 회피하는 유일한 경쟁자이므로, 실기에서 빠진 것이 아쉽다. 또 residual의 편집 크기를 [0, 0.1]로 묶은 선택이 시뮬레이션 열세에 얼마나 기여했는지 확인할 방법이 없다.
인용 번호 주의. 이 논문은 arXiv HTML판과 PDF판의 참고문헌 번호가 다르다(예: residual RL 구현 출처가 HTML [3], PDF [71]). 다른 글에서 인용할 때는 번호 대신 저자·연도로 적는 편이 안전하다.

요약

ARLI는 큰 알고리즘적 도약이 아니다. DSRL에 세 개의 조건부를 붙이고 RTC를 곁들인 것이 전부이며, 핵심 이론은 다른 논문의 프레임워크 위에 조건부 경계를 한 겹 얹은 수준이다. 그럼에도 값이 있는 이유는 문제를 처음으로 제대로 이름 붙였기 때문이다. 비동기 추론은 배포 성능을 위해 도입되지만, 그 순간 RL의 마르코프 전제를 깨뜨린다. 이 사실을 인지하지 못하면 온로봇 RL은 원인 불명으로 실패한다.

해법의 미덕은 저렴함이다. 추론 파이프라인 안에 이미 존재하는 정보를 쓰므로 추가 지연이 없고, 얼어 있는 VLA를 건드리지 않는다. VLA를 백본과 액션 전문가로 쪼개 RL 호출 시점을 뒤로 미룬다는 아이디어는 시스템 관점에서 재사용 가치가 크다.

한계도 분명하다. 코드가 없고, 실기 평가는 단일 실행에 10-에피소드 이동평균이며, 이론 상수는 측정되지 않았고, 방법의 두 구성요소가 서로의 효과를 부분적으로 상쇄한다. 특히 Actions Only 변형이 세 실기 태스크 중 둘에서 대등하다는 사실은 “중간 상태”라는 가장 참신한 기여의 실효 범위에 물음표를 남긴다. 다음 단계로 보고 싶은 것은 두 가지다. 청크 길이 대비 지연 비율 t_{\mathrm{delay}}/k를 축으로 한 체계적 스윕, 그리고 \omega_d를 실제로 추정해 이론과 실험을 잇는 작업이다.