📃OpenVLA-OFT 리뷰

Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success

• Paper Link (arXiv:2502.19645v2). 이 리뷰는 v2(2025-04-28 개정, RSS 2025 채택본) 기준이다. v1은 2025-02-27 제출이며, 현재 arXiv 최신본이 v2다. 수치는 모두 v2 PDF 본문·부록(Table I~XVI)에서 직접 확인했다.

• Code Link (github.com/moojink/openvla-oft) — MIT 라이선스, 2025-02-28 생성. LIBERO·ALOHA 학습/평가 스크립트, LoRA 병합 스크립트, 서버-클라이언트 추론 인터페이스 포함(2026-09-18 확인).

• Project (openvla-oft.github.io) — 롤아웃 영상과 컴퓨트 FAQ(2025-02-22 기준)

• Checkpoints (huggingface.co/moojink)

• Summary Video (YouTube)

• 저자: Moo Jin Kim, Chelsea Finn, Percy Liang

• 소속: Stanford University

• Robotics: Science and Systems (RSS), 2025

1. 💡 VLA를 새 로봇에 붙이려면 파인튜닝이 필수인데 “어떻게” 파인튜닝할지에 대한 경험적 비교가 없었다 — 디코딩 방식·액션 표현·학습 목적함수 세 축을 통제 실험으로 훑어 최적 레시피(OFT)를 뽑아낸다.
2. ⚙️ 인과 마스크를 양방향 어텐션으로 바꿔 한 번의 forward pass로 액션 청크 전체를 병렬 생성하고, 256-bin 이산 토큰 대신 MLP 헤드가 내는 연속 액션을 L1 회귀로 학습한다(실기에서는 FiLM 언어 조건화를 더해 OFT+).
3. 🎯 LIBERO 4개 스위트 평균 76.5% → 97.1%(처리율 26×), 실기 ALOHA에서는 기존 OpenVLA 대비 43×(1.8 → 77.9 Hz)로 25 Hz 양팔 제어를 돌리면서 \pi_0·RDT-1B·Diffusion Policy·ACT를 모두 앞선다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

VLA(vision-language-action) 모델 논문은 대부분 “새 모델”을 제안한다. 이 논문은 반대로 이미 있는 모델(OpenVLA)을 고정해 두고, 그것을 새 로봇에 적응시키는 절차만 파고든다. 동기는 실무적이다 — 새 로봇을 받은 사람이 보통 하는 일은 사전학습 레시피를 그대로(혹은 LoRA로) 다시 돌리는 것인데, 그게 최선이라는 근거가 어디에도 없었다. 그리고 그 기본값의 대가는 분명하다: 자기회귀 OpenVLA는 3–5 Hz로 액션을 뱉는데, 양팔 ALOHA 같은 플랫폼은 25–50+ Hz를 요구한다.

저자들은 파인튜닝 설계 공간을 세 축으로 자른다 — (a) 액션 생성 방식(자기회귀 vs 병렬 디코딩), (b) 액션 표현(256-bin 이산 토큰 vs 연속값), (c) 학습 목적함수(next-token prediction vs L1 회귀 vs 디퓨전). 통제 실험 결과 세 가지가 차곡차곡 쌓인다: 병렬 디코딩 + 액션 청킹은 속도뿐 아니라 성공률도 올리고, 연속 표현이 거기에 더 얹히고, L1 회귀는 디퓨전과 성능이 동등하면서 학습 수렴과 추론이 더 빠르다. 이 셋을 묶은 것이 OFT(Optimized Fine-Tuning) 레시피고, OpenVLA에 적용한 결과물이 OpenVLA-OFT다.

OpenVLA-OFT+의 전체 구조(Fig. 1). 3개 카메라 + proprio(14-D 관절각)가 SigLIP+DINOv2 ViT와 별도 projector를 거쳐 Llama 2 7B 디코더에 들어가고, 빈 액션 임베딩들이 병렬 디코딩으로 25 스텝 × 14차원 절대 관절각 청크가 된다. task description은 FiLM으로 시각 특징을 변조한다.

핵심 방법론:

(1) 병렬 디코딩 + 액션 청킹. 원래 OpenVLA는 teacher forcing + 인과 마스크로 액션 토큰을 하나씩 뽑는다. OFT는 입력을 위치 인코딩만 다른 빈 액션 임베딩으로 바꾸고 인과 마스크를 양방향 어텐션으로 교체한다. 액션 차원 D에 대해 D번의 순차 forward pass가 단 1회로 줄고, 청크 크기 K를 늘리려면 빈 임베딩을 더 끼워 넣기만 하면 되므로 KD개 액션을 1 pass로 낸다. 논문은 자기회귀 청킹이 왜 불가능했는지도 못 박는다 — A100에서 단일 타임스텝 액션 생성이 0.33초인데 청킹은 여기에 K배를 곱한다.

(2) 연속 액션 + L1 회귀. 디코더 출력층을 4-layer ReLU MLP 액션 헤드로 바꿔 마지막 hidden state를 정규화된 연속 액션으로 직접 사상하고, 정답과의 평균 L1 차이를 최소화한다. 비교군인 디퓨전 변형은 같은 4-layer MLP를 노이즈 예측기로 쓰고 DDIM 50스텝 + squared cosine beta schedule을 쓴다.

(3) FiLM 언어 조건화(OFT+, 실기 전용). 손목 카메라가 붙는 순간 시각 입력의 spurious correlation이 커져 정책이 언어를 무시한다. task description 임베딩의 평균 x를 affine 변환해 \gamma, \beta를 얻고 시각 특징 F를 변조한다:

\mathrm{FiLM}(F \mid \gamma, \beta) = \hat{F} = (1 + \gamma) \odot F + \beta

구현 디테일이 결과를 가른다: \gamma, \beta를 패치 임베딩 단위로 주면 언어 추종이 망가지고, CNN의 FiLM처럼 공간 무관하게(모든 패치에 걸쳐 hidden unit 단위로) 적용해야 한다. 즉 \gamma, \beta는 D_{ViT} 차원 벡터다. ViT 블록마다 별도 projector를 두고 self-attention 뒤·feedforward 앞에 넣는다. 초기화 시 \gamma,\beta \approx 0이므로 \gamma 대신 (1+\gamma)를 곱해 사전학습 표현을 보존한다.

주요 결과:

• LIBERO 평균 성공률(Table I): OpenVLA 76.5% → +병렬디코딩·청킹 90.2% → +연속 L1 95.3% → +손목카메라·proprio 97.1%. \pi_0 94.2%, \pi_0+FAST 85.5%, DiT Policy 82.4%, Diffusion Policy 72.4%를 모두 넘는다.
• 처리율(Table II, A100, 7-D 액션): 4.2 Hz → 병렬디코딩 15.9 Hz → +청킹(K=8) 108.8 Hz → L1 109.7 Hz(26×). 지연은 0.2396 → 0.0729초.
• 디퓨전의 대가(Table II): 50스텝 디퓨전은 지연 1.907초, 처리율은 베이스라인과 같은 4.2 Hz. DDIM으로 스텝을 줄이면 빨라지지만 LIBERO-Long 성공률이 91.1 → 91.0 → 90.0 → 85.7 → 0.0%(1스텝)로 무너진다.
• 실기 ALOHA(Fig. 4): 4태스크 평균 OpenVLA-OFT+ 87.8 vs \pi_0 83.9 / RDT-1B 78.4 / Diffusion Policy 77.5 / ACT 72.3.
• 실기 처리율(Table III): OpenVLA 1.8 Hz(지연 0.543초) → OpenVLA-OFT+ 77.9 Hz(0.321초) = 43×. 7.5B 파라미터인데 1.2B RDT-1B(84.1 Hz)에 근접한다.
• FiLM 절제(Fig. 5): FiLM을 빼면 언어 추종이 두 태스크 모두 33.3% — 세 지시문 중 하나를 무작위로 고른 것과 같은 수치다.

결론:

이 논문의 메시지는 “모델보다 레시피”다. 양팔 데이터를 전혀 못 본 단일팔 사전학습 모델이, 양팔 6K 에피소드(RDT-1B)·8K 시간(π₀)으로 사전학습된 모델들을 파인튜닝 방식만 바꿔서 따라잡는다. 동시에 “디퓨전 VLA가 표현력 때문에 더 낫다”는 통념에 통제 실험으로 제동을 건다 — 적어도 이 규모·이 태스크에서는 7B 백본 + L1 회귀로 충분했다. 다만 그 “충분함”이 단봉(unimodal) 시연 데이터라는 전제 위에 있다는 점은 저자들도 한계로 인정한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

VLA를 새 로봇에 붙일 때 “어떻게 파인튜닝하는가”가 “어떤 모델을 쓰는가”보다 결과를 더 크게 움직인다는 것을, 통제 실험 3축과 실기 양팔 로봇으로 보인 논문이다.

배경: 자기회귀 VLA가 실기에서 막히는 지점

OpenVLA는 Prismatic VLM을 Open X-Embodiment 1M 에피소드로 파인튜닝한 7B 조작 정책이다(SigLIP+DINOv2 융합 비전 백본 + Llama-2 7B + 3-layer GELU MLP projector). 학습 형식은 언어모델 그대로다 — 타임스텝마다 7개 이산 액션 토큰(위치 3 + 자세 3 + 그리퍼 1)을 next-token prediction + cross-entropy로 자기회귀 생성한다.

여기서 두 개의 벽이 동시에 온다.

벽 ①: 속도. 액션 차원 D만큼 순차 디코더 pass가 필요하고, A100에서 단일 타임스텝이 0.33초다. 청크 크기 K를 쓰면 KD번이라 지연이 K배로 뛴다. 그런데 액션 청킹은 조작 성공률을 올리는 것으로 알려진 기법(ACT, Diffusion Policy)이라 성능을 얻으려면 속도를 포기해야 하는 구조다. 실측으로 3–5 Hz인데 ALOHA는 25–50+ Hz를 요구한다.

벽 ②: 이산화 손실. [-1, +1]을 256-bin으로 균등 이산화하면 미세한 액션이 뭉개진다. bin을 늘리면 정밀도는 오르지만 개별 토큰의 학습 데이터 빈도가 줄어 일반화가 나빠진다.

선행 연구들은 주로 토크나이저를 건드려 이 벽을 넘으려 했다 — MiniVLA의 vector quantization, FAST의 DCT 기반 압축이 2–13× 가속을 얻었다. 하지만 자기회귀 생성이라는 틀 자체는 그대로여서, FAST도 액션 청크 사이에 750 ms 정체가 남는다. 다른 계열(RDT-1B, π₀, TinyVLA)은 디퓨전/flow matching으로 청크를 동시 생성하지만, 아키텍처·학습 알고리즘·비전-언어 융합 방식이 제각각이라 어느 설계 요소가 성능을 냈는지 분리되지 않는다. 이 논문은 그 분리를 하겠다고 선언하고 들어간다.

방법: 세 축의 설계 결정

파인튜닝의 핵심 설계 결정(Fig. 2). 왼쪽 — 순차 생성하는 자기회귀 디코딩 vs 양방향 어텐션으로 1 pass에 전부 내는 병렬 디코딩. 오른쪽 — 이산 액션 토큰(128·132·14…)에 next-token prediction을 걸 것인가, 원시 액션 벡터(0.00·0.03·-0.82…)에 L1 회귀/디퓨전을 걸 것인가. 원 OpenVLA는 “자기회귀 + 이산 + next-token”이다. (arXiv HTML에 이 그림 파일이 404라 PDF 3쪽에서 추출했다.)

(a) 병렬 디코딩 — 인과성을 버리는 대신 무엇을 얻나

자기회귀 학습은 정답 액션 토큰을 오른쪽으로 한 칸 민 것을 입력으로 받는 teacher forcing이고, 인과 마스크가 “현재와 과거만 본다”를 강제한다. OFT는 입력을 위치 인코딩만 서로 다른 빈 액션 임베딩으로 바꾸고(ACT와 같은 발상) 마스크를 양방향으로 바꾼다. 이러면 청크 안의 각 원소를 예측할 때 중간 특징 전체를 비인과적으로 참조할 수 있다.

이론적으로는 병렬 디코딩이 자기회귀보다 표현력이 떨어질 수 있다(액션 간 의존을 명시적으로 모델링하지 않으므로). 논문은 이를 인정하면서 “실험상 성능 저하가 관측되지 않았다”고 말한다 — 실제로 LIBERO 평균이 76.5 → 90.2%로 오히려 올랐다. 저자의 해석은 청킹이 시간적 의존을 잡고 compounding error를 줄이기 때문이라는 것이고, 특히 LIBERO-Long(53.7 → 86.5%)에서 차이가 극적이다.

(b) 연속 액션 — 헤드만 갈아 끼운다

디코더의 출력 임베딩 층을 4-layer ReLU MLP로 교체해 마지막 hidden state를 정규화된 연속 액션으로 직접 사상한다. 손실은 정규화 액션(범위 [-1, +1]) 간 평균 L1이다. 비교군 디퓨전은 동일한 4-layer MLP를 노이즈 예측기로 쓰고, DDIM 샘플러 50스텝 + squared cosine beta schedule을 쓴다.

여기가 이 논문의 가장 깔끔한 기여다. 다른 모든 것을 고정하고 목적함수만 바꾼 비교이기 때문이다. 결과: L1 95.3% vs 디퓨전 95.4% — 사실상 동률인데 L1 쪽이 지연이 26배 낮다(0.0729초 vs 1.907초).

(c) 추가 입출력 — 병렬 디코딩이 만든 여유

손목 카메라를 더하면 시각 패치 임베딩이 256 → 512로 두 배가 된다. proprio(관절각·그리퍼 상태)는 별도 2-layer GELU MLP로 임베딩 하나로 사상해 시퀀스에 끼워 넣는다. 시퀀스 길이가 크게 늘었는데도 처리율 71.4 Hz / 지연 0.112초를 유지한다 — 병렬 디코딩이 확보한 속도 여유를 입력 풍부함으로 되사는 구조다. 그리고 LIBERO 평균이 95.3 → 97.1%로 다시 오른다.

(d) FiLM — 실기에서만 필요했던 것

FiLM 구현(Fig. 8). SigLIP·DINOv2 두 ViT 모두에, 각 transformer 블록마다 별도 projector를 두고 평균 task 임베딩으로 scale·shift를 만들어 시각 특징을 변조한다.

LIBERO에서는 FiLM 없이도 언어 추종이 멀쩡했는데, ALOHA에서는 정책이 언어를 통째로 무시했다. 저자의 진단은 카메라 시점이 늘수록 시각 입력의 spurious correlation이 늘어나기 때문이고, 게다가 언어가 결정적인 순간은 태스크 중 특정 시점(스푼을 쥔 뒤 어느 재료로 갈지)뿐이라 학습 신호가 희박하다.

FiLM 자체는 2018년 기법이라 새롭지 않다. 새로운 것은 무엇을 “feature”로 볼 것인가라는 구현 선택이다. ViT에서 자연스러운 선택은 패치 임베딩 단위 변조인데, 그렇게 하면 언어 추종이 나빠진다. CNN에서 FiLM이 feature map 전체를 공간 무관하게 스케일·시프트하듯, 여기서도 \gamma,\beta의 각 원소를 모든 패치의 대응 hidden unit에 적용해야 한다(\gamma,\beta \in \mathbb{R}^{D_{ViT}}). 이 한 줄 차이가 Fig. 5의 33% vs 89.6%를 가른다.

직관: 왜 “단순한 L1”이 디퓨전을 따라잡나

디퓨전이 이기는 지점은 다봉(multimodal) 액션 분포다. 같은 관측에서 유효한 행동이 여러 개일 때, L1 회귀는 시연들의 중앙값 모드 하나로 수렴한다(MSE가 수렴하는 “평균 모드”와는 다르다 — 평균은 모드 사이의 물리적으로 무효한 지점에 놓일 수 있지만 중앙값은 그래도 한 모드에 붙는다).

이 논문의 실험 조건은 태스크당 일관된 전략의 집중된 시연 데이터셋이다. 즉 다봉성이 애초에 별로 없다. 그런 데이터에서 L1은 손해를 볼 게 없고, 오히려 시연 노이즈를 중앙값으로 눌러주는 이점까지 있다. 반대로 디퓨전은 학습 데이터의 차선 모드에 과적합할 위험을 갖는다.

여기에 “백본이 충분히 크면”이라는 조건이 붙는다. 저자들의 표현대로 고용량 OpenVLA는 단순 L1으로도 다중 태스크 액션 분포를 충분히 모델링한다. 즉 이 결과는 “L1 > 디퓨전”이 아니라 “단봉 시연 + 고용량 백본 = 디퓨전의 표현력이 불필요”로 읽어야 한다. 프로젝트 페이지 FAQ도 이 점을 명시적으로 유보한다.

실험 1: LIBERO

LIBERO 4개 태스크 스위트(Fig. 3) — Spatial·Object·Goal·Long. 각 스위트 10태스크 × 500 시연이고, 스위트당 별도로 LoRA 파인튜닝했다.

시뮬 Franka Panda, 스위트별 500 시연(실패 시연 필터링, Kim et al. 2024와 동일 전처리), LoRA rank 32. 학습은 비디퓨전 50–150K 스텝 / 디퓨전 100–250K 스텝(수렴이 느리다), 배치 64–128을 A100/H100 8장에 분산. 50K마다 체크포인트를 평가해 최고를 보고한다. 청크 K=8(Diffusion Policy 베이스라인과 맞춤), 청크를 전부 실행한 뒤 재질의하는 open-loop 방식이다. OpenVLA 계열 수치는 스위트당 500 trial(10태스크 × 50 에피소드) 평균이다.

정책 (third-person + 언어)	Spatial	Object	Goal	Long	평균
Diffusion Policy (scratch)	78.3	92.5	68.3	50.5	72.4
Octo (fine-tuned)	78.9	85.7	84.6	51.1	75.1
DiT Policy (fine-tuned)	84.2	96.3	85.4	63.8	82.4
OpenVLA (fine-tuned)	84.7	88.4	79.2	53.7	76.5
+ PD & AC	91.3	92.7	90.5	86.5	90.2
+ PD & AC, Cont-Diffusion	96.9	98.1	95.5	91.1	95.4
+ PD & AC, Cont-L1 (OFT)	96.2	98.3	96.2	90.7	95.3

정책 (+ 손목 카메라 + proprio)	Spatial	Object	Goal	Long	평균
\pi_0 + FAST (fine-tuned)	96.4	96.8	88.6	60.2	85.5
\pi_0 (fine-tuned)	96.8	98.8	95.8	85.2	94.2
OpenVLA-OFT (ours)	97.6	98.4	97.9	94.5	97.1

세 스텝의 기여분을 분리하면 병렬디코딩+청킹 +13.7%p, 연속 액션 +5.1%p, 추가 입력 +1.8%p다. 첫 항목이 압도적으로 크고, 그 안에서도 LIBERO-Long(53.7 → 86.5)이 +32.8%p로 전체 개선을 견인한다. 즉 이 논문의 성능 개선은 사실상 “장기 태스크에서 액션 청킹이 해결한 것”에 가깝다. (표의 모든 평균 열을 직접 재계산해 검산했고, Table I·XIV·XV·XVI 전부 일치했다.)

추론 효율: 숫자가 말하는 진짜 트레이드오프

A100, 224×224 이미지 1장 + “pick up the alphabet soup and place it in the basket” 질의 100회 평균.

변형	처리율 (Hz) ↑	지연 (초) ↓	LIBERO-Long SR (%)
OpenVLA	4.2	0.2396	53.7
+ PD	15.9	0.0629	–
+ PD & AC (K=8)	108.8	0.0735	86.5
+ PD & AC, Cont-L1	109.7	0.0729	90.7
+ Cont-Diffusion (T_{test}=50)	4.2	1.9070	91.1
+ Cont-Diffusion (T_{test}=10)	19.3	0.4145	91.0
+ Cont-Diffusion (T_{test}=5)	35.1	0.2279	90.0
+ Cont-Diffusion (T_{test}=2)	80.3	0.0996	85.7
+ Cont-Diffusion (T_{test}=1)	109.4	0.0731	0.0
OFT + 추가 입력(손목·proprio)	71.4	0.1120	94.5

읽을 거리가 몇 개 있다. ① 병렬 디코딩만으로 3.8×, 청킹을 얹으면 26×다. ② 청킹은 디코더 어텐션 시퀀스가 길어져 지연을 17% 늘린다(0.0629 → 0.0735) — 속도 이득은 순전히 “한 번에 8개”에서 온다. ③ L1 헤드는 계산 비용이 사실상 0이다. ④ 디퓨전을 L1과 같은 속도(109.4 Hz)로 맞추면 성공률이 0%가 된다. 학습 시 50스텝으로 학습한 모델을 1스텝으로 샘플링한 것이라 당연한 결과이긴 하지만, “디퓨전을 빠르게 쓰면 되지 않나”에 대한 정직한 답이다.

실험 2: 실기 양팔 ALOHA

ViperX 300 S 2대, 카메라 3대(top-down 1 + 손목 2), 14-D 관절각 상태, 25 Hz(원래 50 Hz에서 학습 가속을 위해 낮춤), 액션은 절대 관절각 목표. OpenVLA 사전학습(단일팔·단일 시점·proprio 없음·3–10 Hz·상대 EE 포즈)과 모든 축이 다르다 — 분포 이동이 이 실험의 핵심 난이도다.

4개 태스크: fold shorts(20 시연 / 10 trial), fold shirt(30 / 10), scoop X into bowl(45 = 15×3재료 / 12), put X into pot(300 = 100×3물체 / 24, 그중 12는 OOD). 채점은 이진 성공이 아니라 단계별 루브릭(선행 단계 실패 시 이후 0점, 일부 태스크는 감점 항목 포함)이다.

ALOHA 태스크 성능(Fig. 4). 평균 OpenVLA-OFT+ 87.8 > \pi_0 83.9 > RDT-1B 78.4 > Diffusion Policy 77.5 > ACT 72.3. 옷 접기 두 태스크는 대부분 포화(100)라 변별력이 없고, 실질 차이는 scoop(100 vs 93.3)과 put X into pot(51.3 vs 44.2)에서 난다.
언어 추종(Fig. 5). 평균 OpenVLA-OFT+ 89.6 / RDT-1B 79.2 / \pi_0 77.1 / DP 64.6 / ACT 62.5, 그리고 FiLM을 뺀 OpenVLA-OFT는 두 태스크 모두 33.3 — 3지선다 무작위와 동일하다.
베이스라인 실패 양상(Fig. 6). 위 — RDT-1B는 그릇을 놓치고도 허공에 계속 붓는다(시각 피드백보다 proprio에 과의존). 아래 — \pi_0는 피망 파지에 실패한 뒤 재시도한다(피드백 통합이 낫다).
OpenVLA-OFT+ 성공 롤아웃(Fig. 7). 옷 접기, 금속 스푼으로 지정 재료 뜨기·붓기, 지정 물체를 냄비에 넣기.

실기 처리율(Table III, A100, 3장 이미지 + 14-D 상태 + “scoop raisins into bowl”, K=25):

방법	파라미터	처리율 (Hz) ↑	지연 (초) ↓
OpenVLA (K=1)	7.5B	1.8	0.543
OpenVLA-OFT+	7.5B	77.9	0.321
RDT-1B	1.2B	84.1	0.297
Diffusion Policy (K=24)	157M	267.4	0.090
\pi_0 (JAX)	3.3B	291.6	0.086
ACT	84M	432.8	0.058

43×(1.8 → 77.9 Hz)라는 수치는 여기서 나온다. 주목할 점은 OFT+가 절대 속도에서 1등이 아니라는 것이다 — 작은 모델들이 훨씬 빠르다. 논문이 주장하는 것은 “7.5B짜리가 1.2B RDT-1B에 근접한다”는 파라미터 대비 효율이고, 그 이유는 디노이징 반복 없이 1 pass로 끝내기 때문이다.

부가 실험

• 스위트 통합 학습(Table XIV): 4개 스위트를 합쳐 단일 정책으로 학습해도 96.8%(개별 97.1%와 동등) → 더 큰 데이터셋으로 스케일한다.
• LIBERO에서의 FiLM(Table XIV): 97.0% — 있으나 마나다. 실기와의 대비가 선명하다.
• 사전학습 표현 절제(Table XV): OpenVLA 사전학습을 건너뛰고 Prismatic VLM을 바로 OFT로 파인튜닝하면 97.1 → 91.9%(-5.2%p). 레시피가 바뀌어도 로봇 사전학습은 여전히 값을 한다.
• BridgeData V2 스케일업(Table XVI): 50,365개 실기 WidowX 시연으로 학습해 OpenVLA 공개 체크포인트와 비교, 평균 69.2 vs 65.8. 다만 6개 태스크 × 10 trial이라 표본이 작고, 태스크별로는 뒤진 항목도 있다(Lift Eggplant 60 vs 70, Flip Pot Upright 80 vs 90).

이 모델을 돌리려면 어떤 컴퓨터가 필요한가

논문·저장소·프로젝트 FAQ가 명시한 값만 모았다(추정 없음). 추론은 소비자급 GPU 한 장으로 가능하고, 학습은 40 GB급 이상이 사실상 필요하다.

용도	구성	요구 VRAM (bfloat16)	출처
추론	LIBERO, 이미지 1장, K=8	15.9 GB	프로젝트 FAQ
추론	LIBERO, 이미지 2장 + proprio, K=8	16.2 GB	프로젝트 FAQ
추론	ALOHA, 이미지 3장 + proprio + FiLM, K=25	18.0 GB	프로젝트 FAQ / README
학습(최소)	LIBERO, 이미지 1장, K=8, batch 1	25.6 GB	프로젝트 FAQ
학습(최소)	LIBERO, 이미지 2장 + proprio, K=8, batch 1	25.7 GB	프로젝트 FAQ
학습(최소)	ALOHA, 이미지 3장 + proprio + FiLM, K=25, batch 1	38.6 GB	프로젝트 FAQ
학습(권장)	LIBERO, 이미지 1장, batch 8/GPU	44.1 GB	프로젝트 FAQ
학습(권장)	LIBERO, 이미지 2장 + proprio, batch 8/GPU	62.5 GB	프로젝트 FAQ / LIBERO.md
학습(권장)	ALOHA, 이미지 3장 + proprio + FiLM, batch 4/GPU	73.5 GB	프로젝트 FAQ

논문이 실제로 쓴 학습 환경(Table IV·V):

• GPU: NVIDIA A100 또는 H100 (80 GB) 8장, DDP(LoRA라 모델 샤딩 불필요)
• 학습 시간: 잡당 1–2일(프로젝트 FAQ). GPU를 줄이고 gradient accumulation을 쓰면 더 오래 걸린다(4~8장 권장)
• 총 배치: LIBERO 64(8/GPU), ALOHA 32(4/GPU)
• LoRA rank 32, LR 5e-4 → 5e-5 감쇠(LIBERO 100K 스텝 후 / ALOHA 50K 스텝 후)
• 학습 스텝: LIBERO 50K(Goal)~150K(나머지), ALOHA 50K(scoop)~100K(fold shorts, put X into pot). 수렴 기준은 정규화 L1 손실 < 0.01
• 학습 파라미터 수: LIBERO 279M(LoRA 111M + 액션 헤드 151M + proprio projector 17M), ALOHA 853M(+ FiLM projector 456M)
• 지연/처리율 측정 하드웨어: 전부 단일 NVIDIA A100, 100회 질의 평균

베이스라인들의 하드웨어는 훨씬 가볍다 — ACT는 Titan RTX 24 GB 1장, Diffusion Policy는 L40S 48 GB 1장, RDT-1B는 H100 1장, π₀는 A100/H100 1장. OFT만 8장을 쓴다.

⚠️ 재현 시 함정 두 가지(저장소 문서가 명시): 1. 학습에 쓴 GPU와 같은 GPU에서 평가하라. 다르면 성능이 크게 떨어질 수 있다. H100에서 학습했다면 A100에서 테스트하기 전에 LoRA 가중치를 병합(merge_lora_weights_and_save.py)하라. 2. 논문 수치는 Python 3.10.14 / PyTorch 2.2.0 / A100, 3개 시드 평균으로 얻었다. 패키지 버전을 맞추길 권한다. LIBERO RLDS 데이터는 약 10 GB, Flash Attention 2는 flash-attn==2.5.5를 쓴다. 3. ALOHA 쪽은 서버-클라이언트 인터페이스를 제공한다 — 로봇을 제어하는 머신에 GPU가 없어도 별도 GPU 머신에서 정책을 돌릴 수 있다.

비판적으로 보면

강점

• 비교가 통제돼 있다. “디퓨전 VLA가 더 낫다”류 주장은 대개 아키텍처·사전학습·융합 방식이 통째로 다른 모델끼리의 비교인데, 이 논문은 같은 백본·같은 입력·같은 MLP 구조에서 목적함수만 바꾼다. 95.3 vs 95.4라는 동률이 설득력을 갖는 이유다.
• 속도 주장이 두 층위로 정직하게 쪼개져 있다. 처리율(Hz)과 지연(초)을 따로 보고하고, 청킹이 지연을 17% 악화시킨다는 불리한 사실도 그대로 적는다. 디퓨전 스텝을 줄였을 때의 성능 붕괴(1스텝 = 0.0%)도 숨기지 않는다.
• 하드웨어 요구사항이 예외적으로 잘 문서화돼 있다. 최소/권장 VRAM을 설정별로 표로 제공하는 VLA 논문은 드물다. 재현 진입 장벽 판단이 바로 선다.
• 음성 결과를 남겼다. FiLM을 패치 단위로 적용하면 실패한다는 것, LIBERO에서는 FiLM이 무의미하다는 것, “put X into pot”에 300개 시연을 모은 건 잘못된 가설(데이터를 늘리면 언어 추종이 개선될 것)의 잔재라는 것을 각주로 실토한다. 이런 서술이 재현자에게 가장 값지다.
• 코드·체크포인트가 실제로 열려 있다. MIT, 설정별 학습 명령어, LoRA 병합 스크립트, 서버-클라이언트 추론까지 포함.

약점·한계

• “up to 15%” 헤드라인은 가장 약한 베이스라인 기준이다. Fig. 4 평균으로 OpenVLA-OFT+ 87.8 − ACT 72.3 = 15.5다. 하지만 최강 베이스라인 \pi_0(83.9) 대비로는 +3.9다. 초록은 이 구분 없이 “by up to 15%”만 적는다. (84M 파라미터의 ACT가 7.5B 모델의 “up to” 기준이 되는 프레이밍은 관대하다.)
• 실기 표본이 매우 작다. 태스크당 10·10·12·24 trial, 신뢰구간·시드 반복 없음. 4태스크 중 2개(옷 접기)는 5개 방법 중 4개가 100점으로 포화라 변별력이 없고, 평균 87.8은 사실상 두 태스크가 결정한다. “put X into pot” 최고점이 51.3인데 방법 간 차이 7점을 24 trial로 판정하는 것은 통계적으로 약하다.
• 저자 스스로 밝힌 평가 조건의 오염. 프로젝트 FAQ에 따르면 “put X into pot”은 프로젝트 초기 태스크라 시간이 지나며 손목 카메라 시점 이동·관절 마모로 분포 이동이 생겼고, 초기에는 90% 이상이 나오던 것이 재평가 때 크게 떨어졌다. 모든 방법을 같은 시점에 평가해 공정성은 지켰지만, 이 태스크의 절대 수치는 해석하기 어렵다. 그런데 이 사실은 논문 본문이 아니라 웹사이트 FAQ에만 있다.
• 단위 오류가 실려 있다. 서론(§I 관련 연구 문단)이 “0.07 ms for single-arm tasks … and 0.321 ms for bimanual tasks”라고 쓰는데, Table II·III의 실제 값은 0.0729초·0.321초다 — 1000배 틀린 표기가 v2 채택본까지 남아 있다. 하필 FAST의 750 ms와 대비하는 문장이라, 그대로 읽으면 “FAST보다 1만 배 빠르다”는 잘못된 인상을 준다(실제 비교는 청크당 750 ms vs 321 ms).
• 파라미터 수 표기도 흔들린다. §III는 OpenVLA를 “7B-parameter”라 하고 §VI-D 표는 “7.5B”라 한다. 큰 문제는 아니지만 배율 주장(RDT-1B 대비 “7× 크다”)의 기준이 모호해진다.
• 다봉성 문제를 실험으로 다루지 않는다. L1의 최대 약점인데, 논문은 “우리 데이터셋은 태스크당 일관된 전략”이라 전제하고 한계 절에 서술로만 남긴다. 다봉 시연을 일부러 섞은 통제 실험이 하나도 없어서, 어디서부터 L1이 무너지는지 알 수 없다.
• open-loop 청크 실행의 비용이 측정되지 않았다. 25 스텝(=1초) 청크를 전부 실행한 뒤 재질의하므로, 그 1초 동안 정책은 눈을 감고 있다. Fig. 6에서 RDT-1B의 실패로 지적한 “시각 피드백 미반영”이 구조적으로는 OFT+에도 해당하는 위험인데, 재계획 주기를 바꾼 절제 실험이 없다. 논문은 “전체 청크 실행이 속도와 성능 모두를 개선한다”고만 적고 수치를 대지 않는다.
• 성능 개선의 출처가 청킹에 몰려 있다. +13.7%p 중 상당 부분이 LIBERO-Long(+32.8%p)에서 나온다. 액션 청킹 자체는 ACT(2023)의 기법이므로, 이 논문의 고유 기여는 “자기회귀 VLA에서 불가능했던 청킹을 가능하게 만든 것”이지 청킹의 효용을 발견한 것이 아니다. 초록의 프레이밍은 이 구분을 다소 흐린다.
• 학습 비용이 여전히 크다. 20개 시연짜리 태스크 하나에 80 GB GPU 8장 × 1–2일이다. LoRA인데도 액션 헤드·FiLM projector까지 합쳐 학습 파라미터가 853M이다. “파인튜닝 레시피”라는 실무적 프레이밍에 비해 진입 장벽이 높고, 단일 GPU 경로(gradient accumulation)의 실제 소요 시간은 어디에도 없다.

관련 연구와의 자리 매김

• 베이스 모델: OpenVLA(Kim et al. 2024)가 LoRA 파인튜닝의 효용을 보였지만, 그 분석은 < 10 Hz 단일팔에 머물렀다. 이 논문은 그 공백(25–50+ Hz 양팔)을 정면으로 겨눈다. 같은 1저자의 직계 후속작이다.
• 토크나이저 계열: MiniVLA(vector quantization), FAST(DCT 압축)는 자기회귀 틀 안에서 2–13× 가속을 얻었다. OFT는 자기회귀 자체를 버려 26–43×를 얻는다. LIBERO에서도 \pi_0+FAST(85.5%)가 \pi_0(94.2%)보다 낮아, 토큰 압축이 정밀도를 깎는다는 신호가 보인다.
• 생성형 VLA: \pi_0(flow matching)와 RDT-1B(디퓨전)가 직접 비교 대상이다. 둘 다 양팔 데이터로 사전학습했는데도 OFT+에 졌다는 것이 이 논문의 가장 도발적인 주장이다. Fig. 6의 정성 분석(RDT-1B의 proprio 과의존, \pi_0의 피드백 복구)은 수치만큼 읽을 값이 있다.
• 이후 계보: StarVLA는 OFT를 네 패러다임 중 하나(StarVLA-OFT)로 재구현해 30K 스텝에 LIBERO 96.6%를 내며, OpenVLA-OFT의 97.1%를 훨씬 긴 학습 스텝의 결과로 인용한다. TacFiLM은 OpenVLA-OFT를 베이스 정책으로 그대로 채택하고, 이 논문의 언어 FiLM 자리에 촉각 임베딩을 꽂아 넣는다 — OFT가 후속 연구의 기본 플랫폼이 됐음을 보여주는 사례다. Bridging Language and Action 서베이도 OFT를 adaptation 계열의 대표로 분류한다.
• 보완 관계: 별도의 빠른 저수준 컨트롤러를 두는 접근(VLA + diffusion policy 스위칭)이나 온라인 RL로 전문가 정책을 갱신하는 접근과 달리, 이 논문은 단일 모델을 end-to-end로 파인튜닝하고 오프라인 모방학습 한 번으로 끝낸다.

요약

OpenVLA-OFT는 새 모델이 아니라 새 사용법이다. 병렬 디코딩(인과 마스크 → 양방향), 액션 청킹, 연속 액션 MLP 헤드, L1 회귀 — 각각은 이미 있던 조각인데, 그것들이 서로를 가능하게 만든다는 점이 발견이다. 청킹이 성능을 올리지만 자기회귀에서는 지연이 K배로 뛰어 불가능했고, 병렬 디코딩이 그 제약을 풀자 청킹이 공짜가 됐고, 남은 속도 여유가 손목 카메라·proprio를 태울 자리를 만들었고, 그 결과 LIBERO 76.5 → 97.1%와 실기 43× 가속이 함께 나왔다.

가장 오래 남을 결론은 아마 “단봉 시연 + 고용량 백본에서는 L1 회귀로 충분하다”일 것이다. 디퓨전 대비 동률 성능에 26배 낮은 지연이라면, 실무자가 기본값으로 삼을 이유가 충분하다. 다만 그 “충분함”의 경계 — 다봉 데이터, 더 긴 호라이즌, open-loop 청크가 감당 못 할 동적 환경 — 는 이 논문이 열어 두고 간 자리다.

재현 관점에서는 문턱이 비대칭이다. 추론은 16–18 GB 한 장이면 되지만, 학습은 최소 26 GB(batch 1)에서 권장 62–74 GB이고 논문 설정은 80 GB × 8장 × 1–2일이다. 공개된 체크포인트로 LIBERO 평가를 재현하는 것과, OFT 레시피로 내 로봇에 파인튜닝하는 것 사이에는 큰 간극이 있다.