📃Learning to Fold 리뷰

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

• Paper Link (arXiv:2606.27163) — v1 2026-06-25 / v2 2026-07-18(이 리뷰의 기준)

• Code Link (IliaLarchenko/lehome_solution) — Apache-2.0, Python. 학습·수집·추론 스택 전체 공개

• Project (companion blog post)

• Challenge (LeHome Challenge 2026)

• 저자: Ilia Larchenko (Independent Researcher, 단독 저자)

• arXiv 프리프린트 / ICRA 2026 LeHome Challenge 솔루션 리포트, 2026

1. 💡 ICRA 2026 LeHome Challenge(양팔 로봇 옷 개기)의 우승 솔루션 리포트 — flow matching VLA(\pi_{0.5} 계열)를 RL 루프로 개선하되, 정책을 자기 자신의 value function으로 만든다.
2. ⚙️ 같은 네트워크가 행동 청크와 함께 성공 확률·진행도·미래 keypoint 거리를 예측하고, 그 예측이 advantage 계산(AWR 샘플링 + RECAP식 조건화)·실시간 실패 감지·best-of-N 후보 선택을 전부 굴린다.
3. 🎯 온라인(시뮬) 라운드 62팀 중 1위, 전체 성공률 79.63%(2위 73.50% 대비 +6.13 pp), 실기 결승 2위(865점 / 1위 895점, 만점 1080).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 글은 방법론 논문이 아니라 대회 우승 솔루션 리포트다. 저자는 초록에서부터 못을 박는다 — “This report is an engineering case study, not a controlled experiment: the system was built iteratively under competition pressure with little formal ablations, so I describe what I did and what shipped, not which pieces were necessary.” 그러니 이 글에서 얻을 것은 “이 기법이 저 기법보다 낫다”는 결론이 아니라, 3개월 동안 한 사람이 실제로 무엇을 선택했고 무엇이 굴러갔는가의 기록이다. 그리고 그 기록이 꽤 값지다: 온라인 라운드에서 62팀 중 1위, 2위와의 격차가 6.13 pp로 좁지 않았기 때문이다.

과제는 LeHome Challenge 2026 — 테이블에 평평하게 놓인 옷 한 벌을 양팔 SO-ARM101(6-DOF × 2, 12차원 관절 행동, 시뮬 30 Hz / 실기 20 Hz)로 개는 것이다. 카메라는 RGB 3대(상단 1 + 손목 2)이고, 상단 카메라의 depth는 쓸 수 있었지만 저자는 쓰지 않았다. 성공은 이진(binary)이고 기하학적으로 정의된다: 옷마다 keypoint 집합이 있고, 만나야 할 쌍은 임계값보다 가까워야, 떨어져 있어야 할 쌍은 멀어야 한다(상의 5개 조건, 바지 4개). 부분 점수는 없다. 평가 시점에 옷 종류는 알려주지 않는다 — 정책이 스스로 알아내야 한다.

네 가지 옷 종류(Fig. 1) — 주최측이 공개한 시뮬레이션 BC 데이터셋의 상단 카메라 시점. 긴팔 상의 · 반팔 상의 · 긴바지 · 반바지.

이 문제 설정에서 결정적인 어려움은 보상이 에피소드 끝에 한 번, 0 또는 1로만 온다는 것이다. 쉽게 성공한 에피소드와 간신히 성공한 에피소드가 구분되지 않고, 초반의 좋은 행동에는 아무 신호도 가지 않는다. 저자의 답은 “중간 신호를 전부 만들어 내되, 별도의 critic을 두지 않고 정책 안에 넣는다”이다.

핵심 방법론:

시스템은 HuggingFace Hub를 통해서만 통신하는 세 개의 비동기 컴포넌트(학습 워커 1 / 롤아웃 워커 N / 수동 DAgger 스테이션)로 된 플라이휠이다. 동기화 배리어가 없어서, 학습기는 도착한 데이터로 학습하고 워커는 가장 새로운 체크포인트로 수집한다.

비동기 학습/롤아웃/DAgger 플라이휠(Fig. 2) — 세 컴포넌트는 오직 HuggingFace Hub의 model repo·data repo를 통해서만 상태를 공유한다. 학습기는 H200 1대, 롤아웃은 RTX PRO 6000 N대.

정책은 자기 자신의 value function이다. 이미지 토큰만 보는 학습 가능한 쿼리 토큰 하나에 선형 헤드들이 달려서 성공 확률 \hat{P}_{\text{success}}·완료율(진행도) \hat{C}·옷 종류·keypoint 거리 비율을 예측하고, 총 리턴이 성공 지시자와 같도록 보상을 설계했기 때문에 value가 바로 따라 나온다:

V(s_t) \;=\; \mathbb{E}[\text{남은 보상}] \;=\; P(\text{success}\mid s_t) - R^{\mathrm{cum}}_t

이렇게 얻은 advantage A를 두 갈래로 동시에 소비하는 것이 이 리포트의 축이다.

• AWR — 단, 손실 가중이 아니라 샘플러로 적용한다. 프레임 i가 배치에 뽑힐 확률이 P(i) \propto e^{\mathrm{clip}(A_i,\,-2,\,2)}이고, flow matching 손실 자체는 가중치 없는 평범한 MSE다. e^{-2}짜리 프레임은 “뽑힌 뒤 낮게 가중”되는 게 아니라 애초에 거의 로드되지 않아 이미지 디코딩 비용조차 쓰지 않는다.
• RECAP식 advantage 조건화 — advantage를 입력 토큰으로 넣어 “좋은 행동만 예측하라”고 지시한다. 이렇게 하면 추론 시점에 classifier-free guidance(CFG)를 쓸 수 있다: \hat{v} = v_{\text{uncond}} + \alpha\,(v_{\text{cond}} - v_{\text{uncond}}).

보조 헤드들은 데이터 분포의 통계량을 맞춰야 하므로 advantage로 기울어진 샘플링에 오염되면 안 된다. 그래서 뽑힌 프레임마다 역확률 가중 w_i = 1/(N p_i T_{\mathrm{ep}(i)})을 실어 보조 손실만 이 가중치로 보정하고, 행동 손실은 무시한다.

주요 결과:

• 온라인(시뮬) 라운드, 62팀 참가 — 전체 성공률 79.63%로 1위. 2위(Shubham @ Vorwerk) 73.50% 대비 +6.13 pp(Table 5). 평가는 타입당 20벌(seen 10 + unseen 10) × 4타입 = 80벌을 각 10회.
• 타입별로는 긴팔 74.5% / 반팔 70.0% / 긴바지 80.5% / 반바지 93.5%. 반팔·긴바지·반바지는 리더보드 단독 1위, 긴팔만 3위(1위 77.0%, 2위 76.5%).
• 실기 결승(ICRA 2026 Vienna) — 상위 8팀 대상, 타입당 5벌(seen 3 + unseen 2). 2위 865점, 1위 sZs 895점, 3위 Dum-E 762.5점. 만점 1080점이고 성공률과 단계별 품질을 함께 채점하며 unseen에는 50% 보너스가 붙는, 성공률 퍼센트가 아닌 복합 점수다(Table 7).
• 데이터 규모 — 최종 유지 풀 기준 약 12,500 롤아웃 에피소드(≈4.3M 프레임), 약 140회 수집 세션. 오래된 롤아웃은 의도적으로 버렸으므로 누적 생성량은 몇 배 더 크다. 학습은 H200 1대, 배치 192, 총 ~300k 스텝.
• 추론 시점 튜닝만으로 얻은 이득 — 가중치를 전혀 건드리지 않고 실행 길이·재생 속도·앵커 길이·inpainting 시작점·guidance 세기·노이즈 온도·후보 수를 옷 종류별로 튜닝했다. Thompson sampling 밴딧이 guidance scale을 초기 탐색 범위 0–2에서 계속 위로 밀어 결국 7–9로 수렴시켰다.

결론:

새로운 알고리즘을 제안하는 논문이 아니다. 저자 본인의 표현대로 “mostly recombines existing RL ideas with engineering”이다. 그런데도 읽을 값이 있는 이유는 세 가지다. ① AWR을 샘플러로 옮기고 보조 헤드를 IS 가중으로 편향 보정하는 구현 디테일처럼, 다른 프로젝트에 그대로 이식 가능한 부품이 여럿이다. ② 추론 하이퍼파라미터를 롤아웃 수집과 동시에 밴딧으로 튜닝한다는 아이디어는 대회 밖에서도 값싸고, 그 수렴 방향(guidance 7–9, 후보 2–3개, 실행 길이 30 중 3–5)이 ablation을 대신하는 유일한 준-정량 증거로 남는다. ③ 온라인 1위 / 오프라인 2위라는 결과의 비대칭이, 저자가 실기 라운드에서 자신의 RL 기계장치를 거의 다 뜯어냈다는 사실(§9.5)과 겹쳐 읽히면서 “sim RL의 이득이 실기로 얼마나 넘어가는가”라는 질문을 정직하게 열어 놓는다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이진 성공 하나만 주어지는 과제에서, 별도의 critic을 만드는 대신 정책 자신에게 “너는 지금 성공할 것 같으냐, 얼마나 왔느냐, 이 행동을 하면 나아지느냐”를 묻게 만들고, 그 대답으로 학습(어떤 프레임을 더 볼지)과 추론(어떤 후보를 실행할지)을 동시에 굴린다. 이 한 문장이 시뮬레이션 라운드 1위를 만들었고, 같은 문장의 전제(성공 라벨·keypoint 거리 같은 시뮬 전용 특권 정보)가 성립하지 않는 실기 라운드에서는 그 기계장치가 통째로 제거된 채 2위에 그쳤다.

배경: LeHome Challenge 2026이라는 문제

대회는 NVIDIA Isaac Lab(Isaac Sim 기반) 위에서 주최측이 배포한 환경·에셋·성공 판정기로 돌아갔다. 두 라운드다.

• 온라인 라운드(시뮬, 2026-02~04) — 전 팀 참가, 연속 제출, 전체 성공률로 공개 리더보드 랭킹. 타입당 20벌: seen 10벌(주최측이 스크립트 정책으로 만든 BC 데이터셋을 공개), unseen 10벌 중 2벌은 공개(개발 중 접근 가능하나 학습 데이터 없음), 8벌은 비공개(전혀 노출 안 됨).
• 실기 결승(2026-06, ICRA Vienna) — 시뮬 상위 8팀만. 채점 기준이 달라서 부분 성공에 점수를 준다(예: 소매 한쪽만 개도 인정) 그리고 주최측 심사위원단이 채점한다. 타입당 5벌(seen 3 + unseen 2).

이 과제가 어려운 이유를 저자는 네 가지로 정리한다.

1. 천은 변형체다. 궤적의 작은 차이가 완전히 다른 옷 상태를 만든다. 주최측 BC 데이터는 스크립트 정책이 만든 것이라 깨끗하지만 유연하지 않아서, 순수 BC는 강건하지 않다.
2. 보상이 희소하고 이진이다. 에피소드가 끝나기 전까지 아무것도 관측되지 않고, 쉬운 성공과 어려운 성공이 똑같아 보인다. 모든 중간 신호는 만들어 내야 한다.
3. unseen 옷으로의 일반화. 리더보드의 절반이 학습 데이터가 전혀 없는 옷이다.
4. 평가용 로봇에 접근할 수 없었다. 실기 라운드에서 저자는 실제 평가 장비를 한 번도 만져보지 못했다. 그래서 전이가 sim → 내 로봇 → 그들의 로봇이 되어, 일반화 단계가 하나 더 끼어들었다.

여기에 프로토콜 하나가 더 붙는다 — 평가 시점에 옷 종류가 주어지지 않는다. 옷은 무작위로 로드되고 정책은 라벨을 읽을 수 없다. 저자는 학습된 옷-종류 입력 토큰과 추론 시점 분류기 부트스트랩으로 이를 처리한다(§4.2, §7.6).

방법 (1): 왜 AWR + RECAP인가

저자의 출발점은 “BC로 사전학습됐고 성공률이 0이 아닌 정책을 개선하는 두 가지 길”이다 — 첫 시도를 더 깔끔하게 완수하게 만들거나, 실패에서 복구하게 만들거나. 이상적으로는 둘 다지만, 실제로는 1라운드에서 전자를, 2라운드에서 후자를 했다(의도한 것은 아니라고 밝힌다).

주류 온라인 RL(PPO와 그 group-relative 변형 GRPO)을 쓰지 않은 이유는 두 가지다.

• 이들은 로그 확률 정책 경사 업데이트를 중심으로 설계됐고, flow matching VLA에 깨끗하게 옮겨지지 않는다(저자는 PPO류 논리를 flow matching VLA에 적응시키려는 유망한 시도들이 있다는 것도 함께 적는다).
• 더 근본적으로, 유효한 행동은 예측 공간 안의 아주 얇은 manifold를 차지한다. “나쁜 행동을 억제한다” = “확률을 그것으로부터 밀어낸다”는 계열의 알고리즘은 대부분 예측을 그 manifold 밖으로 밀어낸다.

반면 조건화·재가중 계열은 manifold를 떠나지 않는다 — 정책이 이미 만들어 내는 좋은 행동 쪽으로 확률질량을 재분배할 뿐이다. 대가는 그 뒤집힌 면, 즉 탐색과 발견이 매우 제한된다는 것인데, 대회 조건에서는 이 trade-off가 유리하다: 질적으로 새로운 행동을 발견할 필요는 없고 한 번에 확실히 개는 것이 필요하기 때문이다. 저자는 이 선택을 “주관적인 베팅(a subjective bet)”이라고 명시한다.

AWR + RECAP의 장난감 그림(Fig. 3) — 행동 데이터는 큰 “나쁜 행동” 모드와 작은 “좋은 행동” 모드의 혼합이다. AWR 재가중은 질량을 좋은 모드 쪽으로 옮기고, RECAP 조건화(A{>}0)는 양의 advantage 조각을 선택하며(나쁜 것 일부가 새어 들어옴), 둘을 동시에 하면 정책 타깃이 거의 전부 좋은 모드에 남는다.

AWR을 손실이 아니라 샘플러에 건다

AWR(Peng et al., 2019)의 원래 형태는 정책 경사 대신 데이터의 행동으로 지도 회귀를 하되 각 샘플에 e^{A/\beta} 가중을 주는 것이다. 저자는 이 가중을 샘플링 확률로 옮긴다:

P(\text{프레임 } i \text{ 를 뽑음}) \;\propto\; e^{\mathrm{clip}(A_i,\,-2,\,2)}

기댓값 관점에서 동등하지만 데이터 효율이 다르다. 손실 가중 방식에서는 e^{-2}짜리 프레임도 일단 로드되어 이미지가 디코딩되고 배치 슬롯을 점유한 뒤에 죽는다. 샘플러 방식에서는 그런 프레임이 애초에 거의 뽑히지 않는다 — 유효 배치 활용도가 가중치 질량의 100%로 유지되고, 계산의 대부분이 실제로 배우고 싶은 좋은 행동에 쓰인다. (다만 이 “더 데이터 효율적”이라는 주장에 대한 측정치는 논문에 없다. 설계 논증이다.)

여기에 하나의 보정이 반드시 따라붙는다. 보조 헤드들(성공·완료·옷 종류 등)의 타깃은 데이터 분포의 통계량이지 advantage로 기울어진 분포의 통계량이 아니다. 그래서 뽑힌 프레임마다 역확률 가중치

w_i \;=\; \frac{1}{N\,p_i\,T_{\mathrm{ep}(i)}}

(에피소드 길이로 정규화한 inverse sampling probability)를 실어, 보조 손실만 w_i로 가중하고 행동 손실은 이를 무시한다. 같은 기계장치가 BC·DAgger 소스에도 적용되는데, 거기서는 프레임 우선순위가 실패율 비례 P \propto e^{3(1-\mathrm{SR}_{\text{garment}})}라서 아직 못 하는 옷이 과대표집되고, IS 가중이 다시 보조 헤드의 편향을 제거한다.

이 “advantage로 편향 샘플링하되 보조 헤드는 IS로 되돌린다”는 조합은 이 리포트에서 가장 이식 가능한 조각 중 하나다. value 헤드를 정책 안에 넣은 모든 설계가 마주칠 문제이기 때문이다.

데이터셋을 합치지 않는다 · 체크포인트를 되감는다

로더는 BC 데이터셋, 모든 DAgger 세션, 지금까지 수집한 모든 RL 롤아웃 배치를 각각 따로 들고 런타임에 소스별 지분으로 섞는다. 데이터 믹스가 전처리 단계가 아니라 config 파라미터가 되는 셈이다. RL 롤아웃 데이터셋의 지분은 학습 이터레이션마다 0.98배로 감쇠하고(하한 0.1), BC는 고정 비율이라 전체 데이터가 커질수록 실효 비중이 점근적으로 줄어든다.

체크포인트 롤백은 저자가 “실용적으로 매우 유용했다”고 꼽는 트릭이다: 얼마간 학습·수집한 뒤 며칠 전 체크포인트로 되돌아가서, 그 사이 수집된 모든 데이터(더 새로운 체크포인트가 모은 것 포함)로 다시 학습한다. 되감긴 모델은 그 경험과 함께 진화해 온 것이 아니라 크고 다양한, 부분적으로 off-policy인 경험을 한 번에 보게 되고, 이것이 연속 학습이 빠졌던 지역 최적에서 정책을 꺼내 주었다는 것이다. 저자는 \pi^{*}_{0.6}이 이를 체계적으로 한다(모든 RL 이터레이션이 같은 기준 체크포인트에서 재시작)고 지적하며, 자신은 덜 체계적으로 1라운드 3회 · 2라운드 1회 했다고 적는다.

학습 셋업(§2.6): H200 1대, 배치 192, 총 약 300k 스텝 + 임시 실험들. \pi_{0.5} 기본 가중치에서 시작해 첫 롤아웃 전에 20k 스텝 BC 워밍업, cosine LR 10^{-4} \to 10^{-5}(100k 스텝), AdamW, bfloat16, SigLIP 동결, 배치 항목당 flow 샘플 5개.

방법 (2): 시뮬레이터에서 유용한 에피소드를 쥐어짜기

시뮬레이션 속도가 전체 시스템의 병목이다 — Isaac Sim에서 에피소드 하나에 약 30초. 그래서 수집 쪽 설계가 전부 “시뮬-시간당 유용한 에피소드”를 늘리는 데 맞춰져 있다. (12,500 에피소드 × 30초 ≈ 104 시뮬레이션-시간. 이 곱셈은 필자 계산이고, 실제로는 머신 여러 대 × 프로세스 3~5개로 병렬화됐다.)

• 머신당 시뮬 프로세스 3~5개(대회 환경이 한 프로세스에 여러 씬을 지원하지 않는다). 각각은 공유되는 무상태(stateless) 정책 서버에 붙는 얇은 클라이언트고, 행동 청크는 클라이언트 쪽에 캐시된다.
• 조기 종료·복구: 성공하면 즉시 중단, 상태·행동·예측 value의 분산을 보는 stuck 감지기가 가망 없는 에피소드를 잘라내고, watchdog이 멈춘 시뮬을 재시작한다.
• 수집 시점의 예측값을 에피소드와 함께 저장한다(나중에 advantage 계산이 이를 소비한다, §6.5). 보상/value/advantage 오버레이가 붙은 디버그 영상도 함께 남긴다.

롤아웃 전략은 여섯 가지다(Table 1).

전략	하는 일	통계에 반영
random	seen 풀에서 옷을 균일 샘플	✅
full	모든 옷 × N 에피소드	✅
curriculum	설정한 목표 성공률 근처의 옷을 선호	✅
success replay	성공 에피소드의 초반 저장 상태를 복원해 (더 센 증강으로) 재실행	❌
semi-success replay	성공 직전 상태를 복원, 거기까지 open-loop 재생 후 라이브 정책에 인계	❌
hard mining	저장된 실패 상태를 복원해 다시 시도	❌

앞의 세 가지(신선하고 편향 없는 에피소드)만 옷별 성공률 통계에 반영된다. 나머지는 의도적으로 더 쉽거나 더 어려운 부분집합이라 통계를 편향시키지만, 학습에는 그대로 기여한다. 이 구분은 뒤에 나올 밴딧 업데이트에도 그대로 적용된다.

물리 상태 스냅샷(입자 위치·속도 + 관절 상태)이 replay를 가능하게 하는 열쇠다.

• 성공 상태: 성공으로 끝난 에피소드의 5번째 스텝에서 스냅샷, 확률 1-\mathrm{SR}로 저장(드문 성공은 항상 보관). 재생은 추가 증강과 함께 돌리고 성공한 재생만 남긴다 — 어려운 옷의 희소한 성공 데이터를 증식하는 장치다.
• 실패 상태: EMA로 평활한 성공 예측이 러닝 최대값에서 0.12 이상 떨어질 때(그 최대값이 0.25를 넘었던 경우) 스냅샷. 즉 정책이 유망한 에피소드를 눈에 띄게 망친 순간이다.
• 준-성공 상태: 첫 체크포인트에 도달했거나 높은 예측 성공률을 유지했던 실패 에피소드 — 자동 재시도 대신 수동 DAgger 큐로 보낼 수도 있다.

증강 엔진은 두 스코프로 돈다. 에피소드 단위(리셋 시 무작위화, 물리 상태와 함께 저장되어 replay가 재현 가능): 옷 텍스처 패턴 교체, LAB 공간 색 재매핑, 옷 자세/스케일/거칠기 섭동, 카메라별 위치·회전·초점 지터, 로봇 베이스 위치 지터, 테이블 텍스처 변환, 돔 조명 회전. 스텝 단위(몇 프레임마다 재무작위화): 옷 색조, 팔 색, 돔 조명 세기/색/색온도.

증강 강도를 결정하는 기준이 명료하다 — 증강된 프레임 위에서 누가 행동해야 하는가. 1라운드의 일반 롤아웃은 가벼운 영역(패턴 교체·색 재매핑 p{=}0.4, 옷 자세 $2 cm/$2°, 스케일 $5%)에 머문다. 라이브 정책의 성능을 떨어뜨리지 않으면서 규제 효과만 얻어야 하기 때문이다. 반면 success replay는 **정책의 성능이 상관없으므로** 훨씬 세게 건다. 2라운드에서는 수집이 success replay 전용으로 바뀌고 강도가 훨씬 더 올라간다(p{=}0.8$ 등, §9.8).

수동 DAgger는 저장된 실패/준-성공 상태를 시뮬에 로드해 사람이 몇 초 teleop으로 옷을 고친 뒤 정책에 넘기고, 정책이 완성하면 에피소드 전체를 시연으로 저장하는 루프다. 최대한 비동기적으로 설계해서 사람은 실제 수정에 쓰는 몇 초만 쓰고, 정책의 실패나 완주를 기다리지 않는다. 그런데 저자의 결론은 솔직하게 부정적이다 — 시뮬 버전은 쓸모가 제한적이었다. 시뮬 인터페이스로 천을 teleop하는 것이 정말로 어려웠고, 도구가 제대로 돌 무렵에는 이미 정책이 저자보다 옷을 잘 갰기 때문이다. (실기 버전은 정반대로 프로젝트에서 가장 유용한 도구가 된다, §9.10.)

방법 (3): 정책 구조

출발점은 저자 팀이 2025 BEHAVIOR-1K Challenge에서 1위를 한 정책이고, 그것은 다시 \pi_{0.5}(Black et al., 2025)의 확장이다. 벤치마크 자체에 대해서는 BEHAVIOR-1K 리뷰를, flow matching 행동 전문가라는 계보의 출발점은 π0 리뷰를 함께 보면 맥락이 잡힌다.

기본 스택: SigLIP-So400m/14 이미지 인코더(동결) → Gemma-2B prefix 트랜스포머(이미지 + 상태 + 보조 토큰) → Gemma-300M 행동 전문가가 prefix KV 캐시를 참조해 30스텝 청크(30 Hz에서 1초, 12차원 관절 델타)를 flow matching으로 생성. 카메라 3대는 모두 224×224로 리사이즈. FAST 행동 토큰이 prefix에 들어가지만 학습 전용이고 추론에는 없다.

BEHAVIOR-1K 솔루션에서 그대로 이월된 것(이 논문의 기여가 아님):

• 언어 입력을 통째로 제거 — 토크나이저도, 언어 토큰도 없다.
• 상관된 flow matching 노이즈: denoising 루프를 시작하는 노이즈를 경험적 행동 공분산(norm stats의 Cholesky 인자, 항등행렬 쪽으로 shrinkage \beta=0.5)에서 뽑는다.
• 청크 경계의 상관 인지 soft inpainting.
• cross-layer KV-cache mixing: 행동 전문가가 prefix KV 캐시를 읽기 전에 각 층의 K·V를 모든 층의 학습된 선형 결합으로 대체 — 전문가가 VLM의 어느 깊이를 볼지 고르게 한다.
• 배치 항목당 (노이즈, 시간) 샘플 5개가 하나의 prefix forward를 공유.

정책 구조(Fig. 5) — 동결 SigLIP이 Gemma-2B prefix(이미지·current query·상태·옷 종류·advantage·FAST 토큰·FAST query)를 먹이고, Gemma-300M flow matching 행동 전문가가 정리된 prefix를 읽어 30스텝 청크를 낸다. 주황색 화살표가 예측 헤드들이고, 행동 전문가 꼬리의 FM query가 행동에 조건화된 미래 예측(success delta 포함)을 담당한다. 점선은 AdaRMS 경로.

LeHome을 위한 추가는 다섯 가지다.

① 계층적 어텐션 마스크와 토큰 배치. prefix는 여러 토큰 그룹으로 나뉘고, 각 그룹은 자기 자신과 앞선 모든 그룹만 본다. 그룹 순서는 (이미지 + current query) → (상태 + 옷 종류) → (advantage) → (FAST 토큰 + FAST query)이고, 뒤의 둘은 행동 전문가가 돌기 전에 KV 캐시에서 제거된다. 상태는 관절 12개를 256 구간으로 이산화해 전용 256-엔트리 테이블로 임베딩한다.

핵심 설계는 current query가 이미지 그룹에 앉아 있다는 것이다. 상태·옷 종류·advantage가 그 토큰에는 보이지 않으므로, 모든 예측 헤드는 픽셀만으로 일해야 한다. value 헤드가 고유수용감각 상태에 과적합할 수 없고, 옷-종류 헤드가 옷-종류 입력 토큰을 그대로 베낄 수 없다. 이 한 줄이 뒤의 모든 value 신호의 신뢰성을 떠받친다.

② 옷 종류 입력 토큰. 4개 중 하나의 학습된 임베딩이 상태 토큰 옆에 놓인다 — 텍스트 프롬프트를 대체하는 자리다. 학습 때는 정답 종류를, 평가 때는 에피소드 맨 앞에서 모델 자신이 예측한 종류를 이후 내내 입력으로 쓴다. 저자는 이 단계가 결정적이지는 않을 것이라고 스스로 유보한다(학습 후반의 분류 정확도가 99%를 넘었고, 대부분 이미지만으로 옷을 알아볼 수 있으므로 추가 정보가 크지 않다는 이유).

③ advantage 조건화. 학습 중 모든 프레임이 advantage A를 갖고, 행동 전문가가 이를 조건으로 받는다. 게이팅이 비대칭인 것이 포인트다 — A<0이면 토큰을 항상 마스킹(중립)하고, A \geq 0이면 확률적으로 마스킹하되 P(\text{중립})이 A{=}0의 0.5에서 A \geq 2의 0.1까지 선형으로 내려간다. 즉 “나쁜 행동”이라는 조건은 애초에 학습되지 않는다. 추론 시에는 토큰이 항상 활성이고, CFG가 공유 prefix KV 캐시 위에서 행동 전문가를 조건부·무조건 두 번 돌려 속도장을 \hat{v} = v_u + s\,(v_c - v_u)로 합성한다.

④ AdaRMS 다중 신호 조건화. \pi_{0.5}의 행동 전문가는 이미 flow matching 시간에서 유도한 조건 벡터로 매 층 RMSNorm을 변조한다. 여기에 두 신호를 더 얹는다:

c \;=\; \underbrace{\mathrm{MLP}(\mathrm{posemb}(t))}_{\text{flow time (기존)}} \;+\; \underbrace{g[\text{garment\_type}]}_{\text{학습된 4개 벡터}} \;+\; \underbrace{\mathbf{1}[\text{advantage active}] \cdot a}_{\text{학습된 1개 벡터}}

새 벡터는 전부 0으로 초기화되어, 이 변경 이전에 학습된 체크포인트가 스텝 0에서 동일하게 재개된다. 동기가 구체적이다 — 초기 실험에서 행동 예측이 옷 종류와 advantage에 충분히 강하게 조건화되지 않았고, 입력이 올바른 종류를 주는데도 모델이 다른 종류의 동작을 하는 것을 관찰했다. prefix의 토큰 하나는 신호로서 너무 약하고, AdaRMS는 행동 전문가의 모든 층을 변조하는 훨씬 직접적인 경로다. (다만 근거는 “추가 후 잘못된 옷 행동이 시각적으로 줄었다”는 정성 관찰뿐이다.)

⑤ Exclusive Self-Attention(XSA)과 행동 정규화. XSA(Zhai, 2026)는 어텐션 출력에서 자기 자신의 value 벡터 성분을 빼서 “자기 자신을 그대로 통과시키는 경로”를 없앤다:

z_t \;=\; y_t - \frac{y_t \cdot v_t}{\lVert v_t \rVert^2 + \varepsilon}\, v_t

저자는 이것을 채택한 이유를 숨기지 않는다 — 발표된 지 몇 달 안 된 연구이고 초기 결과가 좋아 보여서 시험했으며, 사전학습 모델에 붙이면 처음에는 손실이 깨지지만 놀랄 만큼 빨리 회복해서 그냥 남겼고, “최근 유행에 기댔다(I rely on ‘recent fashion’ here)”고 적는다.

행동 정규화는 반대로 근거가 뚜렷하다. 행동이 현재 상태로부터의 델타이므로 그 산포는 horizon에 따라 대략 랜덤워크처럼 커진다(\sigma \propto \sqrt{t}). 전역 스케일 하나로 정규화하면 실제로 실행되는 가까운 스텝을 과도하게 축소하고 분산이 큰 꼬리가 손실을 지배한다. 그래서 horizon 위치마다 평균·표준편차를 따로 두되, 경험적 표준편차가 들쭉날쭉하므로 차원별로 매끄러운 적합

\sigma_d(t) \;=\; a_d + s_d \sqrt{t + e_d}

를 대신 쓴다(평균은 선형 적합). 매끄러운 궤적을 매끄럽게 유지하면서 시간별 크기 프로파일은 살리는 절충이다.

저자는 이 절 말미에 “구조를 있는 그대로 제시한다. 제대로 ablation하지 않았고, 제대로 된 ablation 연구는 예산(시간·비용)을 몇 배로 늘렸을 것”이라고 명시한다. 어느 조각이 결정적이었는지는 이 리포트로 알 수 없다.

방법 (4): 정책이 자기 자신의 value function

보조 예측 헤드는 두 묶음이다.

현재 프레임 헤드(Table 2)는 전부 이미지 그룹에 놓인 하나의 학습된 current query 토큰(1×2048)에서 나오는 선형 probe다. 이미지 외에는 아무것도 보지 않으며 하나의 VLM forward를 공유한다.

헤드	출력	타깃	학습 데이터	최종 솔루션에서 쓰이는가
success	sigmoid	P(\text{에피소드 성공})	RL 롤아웃	✅ value function 본체
checkpoint	sigmoid	P(\text{중간 체크포인트 도달})	RL 롤아웃	❌ 레거시
garment type	softmax(4)	옷 클래스	전체 데이터	✅ 추론 부트스트랩
completion	sigmoid	t/T	성공 에피소드만	✅ 진행도 shaping
TTC	sigmoid	완료까지 시간(TD)	전체 데이터	❌ 레거시
keypoint distances	linear(21)	조건별 거리 비율	RL 롤아웃	✅ 미래 예측의 타깃

• success 헤드가 이 RL 셋업 전체의 value function이다. 이진 결과에 BCE로 학습하고, advantage 계산과 롤아웃 중 실시간 실패 감지를 굴린다.
• completion 헤드는 성공 에피소드에서만 t/T로 학습한다. success와 달리 정책에 안정적(policy-stable)이라는 점이 결정적이다 — 어떤 정책이 만들었든 과제 진행도는 거의 같아 보인다.
• keypoint distance 헤드는 대회 성공 판정기가 쓰는 바로 그 비율 d^{(i)} = \mathrm{dist}_i / \mathrm{threshold}_i를 이미지에서 예측한다. 출력 21개가 옷 종류별 슬라이스로 조직되고(top_long [0:5], top_short [5:10], pant_long [10:17], pant_short [17:21]), 현재 옷에 해당하는 슬라이스만 손실에 활성이고 나머지는 NaN 마스킹된다. 동기는 world model이었다 — 현재 상태를 인코딩하고 행동에 조건화해 미래 상태를 예측하고 싶었지만, 완전한 world model은 너무 비싸고 상태의 대부분은 예측할 가치가 없다(로봇 상태는 자명하고 옷 상태만 값을 갖는다). 그래서 픽셀이나 잠재공간 대신 성공을 정의하는 그 숫자 몇 개를 직접 예측한다. 매우 값싼 world model 대용품이되, 타깃이 특권 정보라 일반적으로 시뮬에서만 얻을 수 있다는 단서가 붙는다(이 단서가 §9에서 그대로 발목을 잡는다).

미래 예측 헤드는 같은 양들을 30프레임 앞에서 예측한다. 두 개의 추가 쿼리 토큰이 있는데, FAST query는 학습 전용(추론에는 FAST가 없으므로 순전히 VLM 표현에 미래 인지를 밀어 넣는 역할)이고, FM query는 행동 전문가 suffix의 꼬리에 붙어 30개 행동 토큰과 양방향이다. 즉 매 flow 스텝마다 denoise된 행동을 읽으므로 정책이 막 하려는 행동에 조건화된 예측을 낸다. 여기가 “world model”이 실제로 앉아 있는 자리이고, 동시에 Q 함수 역할을 하는 성공 잔차를 낸다:

\Delta_{\text{success}} \;=\; y \;-\; \mathrm{sg}\!\left(\hat{P}_{\text{success}}\right)

실제 결과에서 (stop-gradient된) 현재 success 헤드 추정을 뺀 값 — “이 구체적인 행동들을 하면, 이미지만 본 baseline보다 얼마나 더 좋거나 나쁘게 끝날 것인가”. stop-gradient가 이 Q/Advantage 성격의 헤드가 V 성격의 success 헤드를 끌고 다니지 못하게 막는다. flow 시간 가중도 붙는다 — 손실을 (1-t)로 스케일하고 t>0.5인 샘플은 아예 제외한다(거의 노이즈뿐인 행동 청크는 미래에 대해 쓸 만한 신호를 담지 못하므로).

이렇게 value·Q·값싼 world model 대용품을 하나의 정책 안에 넣는 이유는 실용적이다: 학습·서빙·버전 관리할 모델이 하나뿐이고, 성공 확률이나 미래 상태를 예측하는 데 필요한 원시 능력이 최선의 행동 청크를 고르는 것과 상당 부분 겹치므로 표현을 공유해 계산을 아끼고 긍정적 교차 학습을 기대할 수 있다. 모든 헤드 기울기는 VLM 백본으로 흘러 들어가고(stop-gradient 없음), 작은 손실 가중치가 이들이 지배하지 못하게 막는다.

손실 가중치(Table 3, 행동 flow matching 손실 = 1.0 기준): success 0.05 · ttc 0.05 · completion 0.02 · garment_type 0.02 · checkpoint 0.001 · FAST 0.01 · keypoint_distance 0.02 · wm_fast(×3) 0.01 · wm_flow success 0.1 · wm_flow completion 0.05 · wm_flow keypoint 0.02.

추가 디테일 셋이 흥미롭다.

• 성공 꼬리 부스트 — 성공 에피소드의 마지막 20프레임은 success BCE에 20배 가중을 받는다. 이유가 통계적이다: 정책이 성공 직전에 실패하면 그 상태에 오래 머무르며 “거의 성공인데 실패”인 프레임을 잔뜩 만드는 반면, 성공한 에피소드는 즉시 종료된다. 시각적으로 구분되지 않는 이 상태들의 빈도를 재조정하는 장치다.
• 정규화 — 보조 헤드들이 학습 데이터에 심하게 과적합하는 경향이 있어서 커널에 0.001의 추가 weight decay를 건다(기본 decay는 거의 0).
• 레이블 스무딩 — 성공 타깃을 옷별 평균 성공률 쪽으로 y' = y(1-\alpha) + \bar{p}_g \alpha, \alpha = 0.05로 민다.

방법 (5): 보상과 advantage — 이 리포트에서 가장 공들인 절

대회 지표는 이진 에피소드 성공이고, 그대로 쓰기엔 너무 희소하다. 저자는 densification 접근들(학습된 value/Q, 수작업 부분 진행 보상, 완료·잔여시간 예측, group-relative baseline)의 요소를 전부 조합한다. 참고로 시뮬레이터는 최종 옷 배치의 “깔끔함”을 반영하는 shaped reward도 제공하는데, 저자는 쓰지 않았다.

성공 판정기에서 dense reward를 뽑아낸다

대회의 성공 조건은 옷별 keypoint 거리 조건들이다(상의 5개, 반바지 4개, 긴바지 4개 — 저자는 이를 7개로 확장했다). 각 조건은 거리 비율 d^{(i)} = \mathrm{dist}_i / \mathrm{threshold}_i를 1과 비교한다(근접 조건은 d^{(i)} \leq 1, 이격 조건은 d^{(i)} \geq 1). 저자는 바로 이 조건들을 재사용해 중간 체크포인트를 만든다 — 새 keypoint도, 새 성공 정의도 필요 없다. (§4의 keypoint 헤드가 21개 출력을 5/5/7/4로 나누는 것과 정확히 맞아떨어진다.) 상의 두 종류와 긴바지에는 중간 체크포인트가 하나씩 붙고, 반바지는 가장 쉬워서 붙지 않는다.

중간 체크포인트 도달이 0.5, 완전 성공이 누적 1.0이다. 상의에는 여기서 한 단계 더 촘촘하게 간다 — 첫 0.5를 스파이크로 주지 않고 주요 근접 거리가 줄어든 비율에 따라 배분한다. d_t를 주요 거리 비율, m_t = \min_{\tau \leq t} d_\tau를 그 러닝 최소값, t_1을 체크포인트에 처음 도달한 프레임이라 하면

R^{\mathrm{cp1}}_t \;=\; 0.5\,\mathrm{clip}\!\left(\frac{d_0 - m_t}{d_0 - d_{t_1}},\, 0,\, 1\right), \qquad r_t \mathrel{+}= R^{\mathrm{cp1}}_t - R^{\mathrm{cp1}}_{t-1}

첫 소매를 개서 거리 격차의 60%를 이미 좁혔다면 0.3을 벌게 된다.

긴팔 상의 성공 에피소드의 dense reward(Fig. 7) — 위: 다섯 지점의 상단 카메라 프레임(t=0.0s R=0.00 / 3.0s 0.33 / 5.9s 0.50 / 7.9s 0.50 / 9.9s 1.00). 아래: 누적 보상. 첫 0.5가 근접 거리가 좁혀지는 만큼 점진적으로 배분되고(gradual first checkpoint), 완전 성공에서 1.0에 도달한다.

실패 시 회수(failure withdrawal)가 이 설계의 핵심 안전장치다. 에피소드가 실패하면 누적된 보상을 전부 회수해서 총 리턴이 항상 이진이 되게 한다: \sum_t r_t = 1[\text{success}]. 근거가 명확하다 — 체크포인트 도달은 오해를 부를 수 있다. 체크포인트 조건은 만족하는데 옷의 나머지 부분이 성공을 불가능하게 만든 상태일 수 있기 때문이다. 회수를 끝에서 한 번의 날카로운 음의 스파이크로 주지 않으려고, 누적 보상이 최대에 도달한 마지막 프레임 t_p부터 균등하게 펼친다:

r_t \mathrel{-}= \frac{\sum_\tau r_\tau}{T - t_p - 1}, \qquad t_p < t < T

그래서 중간 체크포인트는 에피소드 안에서의 시간적 credit만 제공하고, 에피소드 수준 리턴은 진짜 목적함수와 정확히 정렬된 채로 남는다. 보상 설계에서 흔히 무너지는 지점을 정면으로 막은 구조다.

CUPED에서 빌려온 value 감쇠 — 그리고 저자가 스스로 정정한 오류

총 리턴이 성공 지시자와 같으므로 value는 V(s_t) = P(\text{success} \mid s_t) - R^{\mathrm{cum}}_t이고, 근사에는 성공 확률 예측기 하나면 충분하다. 그런데 고전적으로 하듯 \text{return} - V(s_t)를 문자 그대로 쓰면 두 문제가 생긴다.

1. 체크포인트 보상이 상쇄된다. 스텝 t에서 받은 보상은 그것이 성공 확률에 일으킨 변화와 무관하게 value에서 제거된다 — P(\text{success})를 통해 남은 리턴에도 들어가고 R^{\mathrm{cum}}_t에도 들어가서, 두 기여가 서로 지운다.
2. 분산 최소화 논증은 완벽한 예측기를 가정한다. 불완전한 \hat{V}에서는 전액 차감이 더 이상 최적이 아니다.

저자는 A/B 테스팅의 CUPED(Deng et al., 2013 — 추정된 최적 계수를 갖는 control variate)에서 개념을 빌려와, 분산을 최소화하는 보정이 \hat{V} 자체가 아니라

\theta^{*}\hat{V}, \qquad \theta^{*} = \rho(\hat{V}, V)\,\frac{\sigma(V)}{\sigma(\hat{V})} = \rho(\hat{V}, G)\,\frac{\sigma(G)}{\sigma(\hat{V})}

라고 논한다(G_t = 1[\text{success}] - R^{\mathrm{cum}}_t는 관측된 return-to-go). 이 계수는 완벽한 value 예측기에서 전액 차감으로, 완전히 무작위인 예측기에서 0으로 붕괴한다. 두 번째 형태에는 관측 가능한 양만 들어 있으므로 롤아웃에서, 심지어 옷 종류별로 따로 추정할 수 있다.

여기서 저자는 자신의 오류를 v2에서 명시적으로 정정한다. 대회 중에(그리고 이 리포트 v1까지) 그는 \theta^{*}가 참 V를 필요로 하므로 계산 불가능하다고 믿었고, 대신 고정 계수로 value를 감쇠시켰다 — \hat{V}_t = \alpha_s (P(\text{success}\mid s_t) - R^{\mathrm{cum}}_t), 최종 설정에서 \alpha_s = 0.5. 사후 분석 결과 그의 학습에서 옷별 참 계수는 대략 0.4~0.8 사이였고 0.5가 학습 전 구간의 중앙값에 가까워서, 결과적으로 치명적이지는 않았다. 그리고 이 감쇠가 문제 1도 함께 해결한다: P(\text{success}) 항을 줄이는 같은 \alpha_s가 R^{\mathrm{cum}}_t 항도 줄이므로, 체크포인트 보상이 전액 상쇄되는 대신 \alpha_s\gamma만큼만 상쇄되어 체크포인트 순간에 양의 advantage가 남는다.

날 예측을 쓸 만하게 만드는 보정 둘이 더 붙는다. EMA 평활(\alpha_{\mathrm{EMA}} = 0.2)과 value 꼬리 보정이다. 후자는 §5의 성공 꼬리 부스트와 같은 편향(성공은 즉시 종료하고 아까운 실패는 그 상태에 오래 머무른다)을 오프라인에서 공격한다 — 결과 y \in \{0,1\}를 아는 상태에서 마지막 K{=}30 프레임의 \bar{S}를 y 쪽으로 선형 보간해 교체한다:

\bar{S}_{T-K+i} \;=\; \bar{S}_{T-K-1} + \left(y - \bar{S}_{T-K-1}\right)\frac{i}{K}, \qquad i = 1,\dots,K

같은 편향을 학습 시점(20× 가중)과 오프라인 후처리(꼬리 보간) 양쪽에서 공격한다는 점이 이 설계의 성격을 잘 보여준다.

두 신호를 GAE로 합치고, 데이터가 낡으면 우아하게 후퇴한다

success 헤드만으로는 세 가지 약점이 있다 — 노이즈가 많고 특정 상태에 과적합하며, 성공률이 높은 옷에서는 90%를 넘어 빠르게 포화해 신호를 주지 못하고, 같은 네트워크가 행동도 예측하므로 학습 중 표류한다(설계상 그렇지만 불안정하다). 그래서 completion 헤드가 두 번째 진행 신호로 들어온다.

두 신호를 GAE(\gamma = 0.999, \lambda = 0.99)로 집계하되 형태가 다르다.

• Success GAE — \alpha_s로 감쇠된 value baseline의 정확한 TD 잔차(종단 value는 참 결과로 고정, \bar{S}_T = y). \hat{V}를 전개하고 r_t 항을 모으면 감쇠의 정체가 드러난다:

\delta^{s}_t = \big(1-\alpha_s\gamma\big)\,r_t + \alpha_s\big(\gamma\,\bar{S}_{t+1} - \bar{S}_t\big) + \alpha_s(1-\gamma)\,R^{\mathrm{cum}}_t

\gamma \approx 1이면 마지막 항이 사라지고, 보상이 (1-\alpha_s\gamma)로 감쇠된 단순한 형태만 남는다. - Completion shaping — 잠재함수 \Phi_t = \alpha_c \bar{C}_t(\alpha_c = 0.5, 종단 \bar{C}_T = y)에 대한 potential-based shaping이다. value baseline이 아니라 shaping 항이라서 success 채널이 필요로 하는 R^{\mathrm{cum}} 보정이 필요 없다.

여기까지가 on-policy 신선한 데이터의 이야기다. 그런데 연속적·off-policy 수집 루프에서는 이걸 균일하게 적용할 수 없다. P(\text{success})는 정책 의존적이고, 예측하는 모델은 이터레이션 사이에 진화하며 이미 학습한 데이터에는 과적합해 예측이 극단적이고 무용해진다. 저자의 3단 해법:

1. 수집 시점에 예측한다. 성공·완료 예측을 롤아웃 중에(on-policy, unseen 상태에서) 기록하고, 나중에 다시 예측하지 않는다.
2. 오래된 데이터를 감쇠시킨다. 롤아웃 데이터셋 지분이 이터레이션마다 0.98배.
3. 객관적 baseline으로 블렌딩한다. 예측이 낡을수록 advantage가 GAE에서, 정책의 예측이 아니라 결과에만 의존하는 GRPO식 상대 성공 신호로 이동한다:

\tilde{A}_t = w\,A^{s}_t + (1-w)\,A^{\mathrm{seg}}_t + \Phi^{c}_t, \qquad w = \min(\text{sampling share},\, 1)

completion shaping \Phi^c는 모든 데이터에서 온전한 세기로 남는다 — completion 헤드가 정책에 안정적이라 오래된 롤아웃에도 여전히 유효하기 때문이다. 세그먼트 성분 A^{\mathrm{seg}}는 에피소드를 첫 체크포인트에서 쪼개고 각 세그먼트 리턴을 옷별 경험 baseline과 비교한 뒤 G(n)/n(G(n) = \frac{1-(\gamma\lambda)^n}{1-\gamma\lambda})로 스텝당 크기를 GAE와 맞춘다. 핵심 성질은 체크포인트에 도달한 뒤 실패하면 체크포인트 이전에는 양의 advantage, 이후에는 음의 advantage가 남는다는 것이다. 블렌드된 \tilde{A}_t는 편향 없는 롤아웃에서만 계산한 단일 전역 표준편차로 나눈 뒤 [-2, 2]로 클리핑한다.

마지막으로 정밀도 부스트. 이진 성공은 간신히 통과한 접기와 여유 있게 통과한 접기를 똑같이 취급한다. advantage 계산 후, 옷별 성공 에피소드 중 조건을 얼마나 여유 있게 만족했는지로 순위를 매겨 상위 20%에 모든 프레임에서 고정 보너스 \Delta A = 0.3을 준다. 여유도 점수는 마지막 프레임 거리 비율의 조건별 마진 중 최악값이다(근접 조건은 1-d^{(i)}, 이격 조건은 d^{(i)}-1). 윈도우 내 성공이 5회 미만인 옷은 건너뛴다.

저자 스스로 “최종 수식은 과하게 엔지니어링되어 있고 크게 잃지 않으면서 단순화할 수 있을 것”이라고 인정하며 직관적 요약을 남긴다 — 행동의 advantage가 높은 경우는 ① 성공을 정의하는 바로 그 keypoint 거리로 측정한 객관적 과제 진행을 만들 때, ② 최종 성공의 예측 확률이 올라갈 때, ③ 성공을 조건으로 한 예측 완료율이 올라갈 때다. 롤아웃이 낡을수록 advantage는 희소한 결과 전용 상대 성공 신호로 우아하게 퇴화하고, 전부 \gamma\lambda \approx 0.989의 GAE식 역방향 패스로 집계된다.

방법 (6): 추론 시점 최적화 — 가중치를 건드리지 않고 얻는 이득

같은 체크포인트가 어떻게 실행되느냐에 따라 다른 성공률을 낸다. 이 절이 리포트에서 실용적으로 가장 값진 부분일 수 있다. 정책 서버는 무상태이고, 추론에서 상태처럼 보이는 것(굴러가는 청크 캐시, inpaint 앵커, 래치된 옷 종류)은 전부 클라이언트(시뮬 프록시 또는 실기 러너)에 산다.

정책은 항상 H = 30 행동의 고정 청크를 짧은 flow matching denoising 루프(S = 10 Euler 스텝, t{=}1의 노이즈에서 t{=}0의 깨끗한 행동까지)로 만든다. 그 청크가 어떻게 소비되는지를 세 양이 지배한다 — 실행 길이 n_e(재계획 전에 실제로 로봇에 보내는 행동 수), 재생 스트레치 k(실행 행동을 \lfloor k n_e \rfloor 제어 스텝으로 시간 재스케일 — k>1이면 팔이 더 느리게 움직인다), 앵커 길이 n_a(다음 청크를 시드하려고 남기는 행동 수, n_e + n_a \leq H).

Soft inpainting은 청크 경계에서 궤적이 튀는 것을 막는다. 현재 청크의 마지막 n_a개 행동이 다음 청크의 부드러운 앵커가 되어, denoise 중에 앵커된 행동 차원이 flow 경로를 따라 앵커 값 쪽으로 부드럽게 당겨지고 그 당김이 행동 공분산을 통해 나머지 차원에도 전파된다 — 겹치는 부분만이 아니라 청크 전체가 일관되게 유지된다. 결정적으로 앵커링은 denoising 루프의 초반(고노이즈) 구간, flow 시간이 임계 t_{\text{ip}} 위에 있는 동안에만 활성이고 마지막 저노이즈 스텝에서는 꺼진다. 앵커가 초반에 전체 방향을 잡되, 청크는 flow 끝에서 스스로를 날카롭게 다듬고 교정할 자유를 항상 갖는다.

CFG on advantage. 추론에서 원하는 것은 정책의 평균 행동이 아니라 최선의 행동이다. 매 denoising 스텝마다 행동 전문가를 두 번 돌린다 — advantage 신호가 prefix와 행동 전문가 조건화 양쪽에 있는 conditional, 양쪽에서 제거된 unconditional — 그리고 두 속도장을 외삽한다:

\hat{v} = v_{\text{uncond}} + \alpha\,\big(v_{\text{cond}} - v_{\text{uncond}}\big)

두 패스가 prefix 계산을 공유하므로(비싼 vision-language forward는 청크당 한 번), guidance는 값싼 행동 전문가 비용만 두 배로 만든다. 최종 제출에서 \alpha는 옷 종류별로 7–9라는 꽤 높은 범위에 안착했다.

Best-of-N. FM query의 “Q” 헤드가 값을 하는 지점이다. 같은 prefix에서 N개 청크를 서로 다른 flow 시드 노이즈로 뽑아 궤적을 갈라놓고, 각각을 FM 헤드의 예측 \Delta_{\text{success}}로 채점한다 — 단, 두 guidance 패스에 걸쳐 평균한 값으로:

\text{score} = \tfrac{1}{2}\big(\Delta^{\text{cond}}_{\text{success}} + \Delta^{\text{uncond}}_{\text{success}}\big)

왜 평균인가에 대한 설명이 정직하다. 조건부 \Delta_{\text{success}}로 순위를 매기고 싶지만 그 헤드는 양의 advantage 프레임에서만 학습되어 낙관적으로 편향돼 있다. 무조건 헤드는 데이터 분포 위에서 편향 없지만, guidance로 “좋은 쪽으로” 밀린 행동을 채점하므로 살짝 어긋난다. 어느 쪽도 깨끗하지 않고, 평균이 실용적 타협이다. 모든 후보가 옷 상태를 악화시킬 것으로 예측되면(\Delta_{\text{success}} < 0 for all N) 더 큰 두 번째 배치를 뽑아 합친 풀에서 최선을 고른다.

여기 리포트에서 가장 솔직한 관찰이 있다 — “이게 작동한 것 자체가 조금 놀라웠다.” FM 헤드의 예측과 실제 결과(또는 그 잔차) 사이의 상관은 그의 모든 실험에서 사실상 0이었는데, 그럼에도 후보 2~3개 롤아웃이 단일 후보를 일관되게 이겼다. 저자의 가설은 “대부분의 청크에서 best-of-N은 아무것도 하지 않지만(후보들이 같거나 동등하게 좋은 예측으로 수렴), 모델이 진짜로 multimodal한 드문 병목 상태에서 최선을 고르거나 최악을 피하는 것이 유의미하게 돕는다”이다.

초기 노이즈는 i.i.d. 가우시안이 아니라 적합된 행동 공분산 \mathcal{N}(0,\Sigma)에서(항등행렬 쪽 shrinkage \Sigma_{\text{reg}} = \beta\Sigma + (1-\beta)I) 뽑아 12차원 행동 청크의 결합 구조를 존중한다. 노이즈 온도 \tau가 노이즈를 \sqrt{\tau}로 스케일하고, 1보다 작은 값은 샘플링 분산을 줄여 후보를 분포의 모드 근처로 모은다.

옷 종류 부트스트랩은 클라이언트에 산다: ① 첫 관측에 버리는 워밍업 추론을 돌려 모델 자신의 예측 종류를 읽고, ② 첫 몇 청크가 각자의 예측으로 다수결해 추정을 다듬고, ③ 투표된 종류를 나머지 에피소드 동안 고정해 입력으로 되먹인다. 그 첫 몇 호출에서는 더 짧은 윈도우로 재계획해서 종류 예측이 정착하는 동안에도 반응성을 유지한다.

Thompson sampling으로 추론 하이퍼파라미터를 롤아웃 중에 튜닝하기

위의 모든 손잡이 — 실행 길이, 재생 스트레치, 앵커 길이, inpainting 시작점, guidance 세기, 노이즈 온도, 후보 수 — 는 옷 종류별로도 최적화될 수 있는 하이퍼파라미터다. 전체 그리드 서치는 느리므로, 저자는 롤아웃 수집 중에 온라인으로, 파라미터별 Thompson sampling 밴딧으로 튜닝한다.

각 파라미터의 각 후보 값이 \text{Beta}(\alpha, \beta) 사후분포를 갖는 arm이다(예: guidance scale은 arm 4개). 파라미터들은 독립적으로(전체 곱 공간의 결합 탐색이 아니라 factorized 밴딧) 최적화되어 arm 수를 작게, 사후분포를 잘 먹인 상태로 유지한다. 탐색 에피소드에서는 파라미터마다 arm별로 한 샘플씩 뽑아 가장 큰 것을 고르되 n_e + n_a \leq H를 위반하는 조합을 기각한다. replay와 hard-mining 에피소드는 착취로 취급해 현재 최선(사후 평균) 설정을 쓴다.

보상은 옷 종류별 baseline을 뺀 이진 결과 r = \text{success} - \overline{\mathrm{SR}}(\text{type})이고, 뽑힌 arm에 \alpha \mathrel{+}= \max(r, 0), \beta \mathrel{+}= \max(-r, 0)로 더한다. full/random 롤아웃만 밴딧을 갱신한다 — replay와 curriculum은 의도적으로 쉽거나 어려운 부분집합이라 편향시킨다. 매 이터레이션 사후분포는 균일 쪽으로 감쇠해 밴딧이 전체 이력이 아니라 움직이는 정책을 추종하고, 종류별 사후분포는 통합 사후분포 쪽으로 약하게 정규화된다.

반바지에 대한 Thompson sampling 사후분포(Fig. 9) — 큰 학습 후반의 실제 수렴 상태. 왼쪽 guidance scale은 arm 5(μ=0.491)·7(μ=0.512, 선택)·9(μ=0.424)·11(μ=0.412), 오른쪽 노이즈 온도는 0.7(μ=0.514, 선택)·0.8(μ=0.422)·0.9(μ=0.450). 보상이 baseline 차감된 값이라 평균이 모두 0.5 근처에 모이므로 상대 순서만 의미가 있고, 사후분포는 매 이터레이션 감쇠하므로 최근 on-policy 윈도우를 반영한다.

사후분포가 정착하면 밴딧을 끄고 옷 종류별 최선 설정을 최종 실행용으로 동결한다(Table 4).

파라미터	긴팔 상의	반팔 상의	긴바지	반바지
실행 행동 수 n_e	5	5	3	3
재생 스텝 \lfloor k n_e \rfloor	5	5	3	3
앵커 행동 수 n_a	6	3	3	3
Inpainting 시작 t_{\text{ip}}	0.4	0.4	0.5	0.5
Guidance scale \alpha	7	7	9	7
노이즈 온도 \tau	0.9	0.7	0.7	0.7
후보 수 N	2	3	3	3

값들이 종류 간에 극적으로 다르지 않고, 저자도 최종 모델에는 공유 설정 하나로도 거의 같은 성능이 났을 것이라고 인정한다. 튜닝 중에는 개별 파라미터가 통합 값에서 크게 벗어나는 것을 봤는데, 이를 옷 종류별 학습 성숙도 차이로 해석한다 — 반바지는 아주 일찍 80%를 넘겨 정책이 속도 최적화로 옮겨간 반면, 반팔 상의는 여전히 손재주와 정확도를 밀어붙이는 중이라 다른 영역을 선호했다는 것이다.

직관: 밴딧이 수렴한 방향이 곧 준-ablation이다

리포트에 ablation이 없다는 것은 저자가 여러 번 인정한 사실이다. 그런데 밴딧이 수렴한 방향 자체가 통제 실험은 아니지만 정보를 담고 있다. 저자가 §7.7 말미에서 정리한 다섯 가지는 이 리포트에서 유일하게 “무엇이 실제로 점수를 올렸는가”에 대해 반복 관측에 기반한 진술이다.

• Guidance scale이 매우 높은 값으로 수렴했다. 초기 탐색 공간은 0–2였는데 항상 범위 상단이 지배해서 범위를 반복적으로 위로 밀어 결국 7–9에 안착했다. → advantage 조건화가 실제로 뭔가를 학습했다는 간접 증거다. 조건화가 무의미했다면 guidance를 키울수록 무너졌어야 한다.
• 후보 수 1 초과는 일관되게 유익, 3 초과는 무익. 저자는 이를 “best-of-N은 최적을 찾는 게 아니라 아주 나쁜 청크를 피하는 것”이라는 자신의 해석과 일관된다고 읽는다.
• 실행 길이가 작은 값으로 수렴했다(30 중 3~5). 모델이 가까운 스텝을 먼 스텝보다 훨씬 신뢰성 있게 예측하므로, 신선한 관측에 대해 자주 재계획하는 것이 값을 한다는 뜻이다.
• 재생 스트레치는 학습 초반에 실행 길이에서 벗어났다가 결국 일치했다. 초반에는 모델이 최적 속도를 예측하지 못해 예측 속도 주변의 여분 탐색이 도움이 되고, 끝에 가서는 올바른 속도를 직접 예측하게 된다.
• Inpainting은 약한 앵커링에 정착했다. 약간의 앵커링이 없는 것보다 낫지만, 강한 강제 inpainting은 모델의 자기 교정 능력을 제한해 성능을 해친다.

여기서 중요한 것은 이 다섯 개가 서로 다른 성격의 증거라는 점이다. 앞의 셋은 밴딧이 반복적으로 재확인한 준-측정치이고, 뒤의 둘은 학습 과정에서의 관찰이다. 그리고 아키텍처 쪽 결정들(XSA·AdaRMS·옷 종류 토큰·정밀도 부스트·성공 꼬리 부스트)에는 이 정도의 증거조차 없다. 이 구분을 표로 정리해 두면 리포트를 훨씬 정확하게 읽을 수 있다.

설계 결정	근거의 종류	논문이 제시한 증거
AWR을 손실이 아니라 샘플러로	설계 논증	“기댓값 동등, 데이터 효율은 우위” — 측정치 없음
보조 헤드 IS 가중 보정	설계 논증	편향의 원리적 논증. 보정 유무 비교 없음
advantage 조건화 + CFG	준-측정	밴딧이 guidance를 0–2 → 7–9로 밀어올림(Fig. 9)
best-of-N (N=2–3)	준-측정	밴딧에서 N>1 일관 유익, N>3 무익. 단 FM 헤드 예측↔︎결과 상관 ≈ 0
짧은 실행 길이 (n_e=3–5 / 30)	준-측정	밴딧 수렴(Table 4)
약한 soft inpainting	준-측정	밴딧 수렴(t_{\text{ip}}=0.4–0.5)
체크포인트 롤백	정성 관찰	“지역 최적에서 안정적으로 꺼냈다”. 1R 3회 / 2R 1회
옷 종류 입력 토큰	저자의 유보	“결정적이지 않을 것”. 분류 정확도 >99%, ablation 없음
AdaRMS 다중 신호 조건화	정성 관찰	“잘못된 옷 행동이 시각적으로 줄었다”
XSA	선언	“최근 유행에 기댔다”. ablation 없음
checkpoint / TTC 헤드	미사용	학습은 되지만 downstream에서 안 쓰임(레거시)
시뮬 DAgger	실패로 보고	“쓸모가 제한적이었다”
실기 DAgger	정성 관찰	“프로젝트에서 가장 유용한 도구 중 하나”

실험: 온라인 라운드

온라인 리더보드는 4개 옷 종류에 동등 가중해 평균한 전체 성공률로 팀을 줄 세운다. 80벌을 각 10회 평가하고, 62팀이 제출했다.

순위	팀	긴팔	반팔	긴바지	반바지	전체
1	ilya (this work)	74.5%	70.0%	80.5%	93.5%	79.63%
2	Shubham @ Vorwerk	73.0%	62.5%	71.5%	87.0%	73.50%
3	Dum-E	76.5%	62.0%	75.5%	79.5%	73.38%
4	SCUT-Unlimited	65.5%	66.0%	70.0%	91.0%	73.13%
5	GraspYesAI	73.5%	61.0%	69.0%	79.0%	70.63%
6	sZs	70.5%	64.0%	68.5%	75.5%	69.63%
7	ClothFolder50k	77.0%	56.0%	58.5%	82.5%	68.50%
8	sisigakgak	68.0%	52.5%	64.0%	77.5%	65.50%

(Table 5 상위 8팀. 전체 62팀 순위는 대회 웹사이트에 있다.)

승리가 한 종류에 실려서가 아니라 넓게 왔다는 점이 눈에 띈다 — 반팔·긴바지·반바지에서 단독 1위, 긴팔에서만 3위(77.0% ClothFolder50k, 76.5% Dum-E 뒤). 종류 간 난이도 순서(반바지가 가장 쉽고 반팔 상의가 가장 어렵다)는 리더보드 대부분에서 유지된다. 저자는 반팔이 손재주에 가장 민감한 접기이고(소매가 작고 공차가 빡빡하다) 제출 시점에 RL 학습이 아직 그 종류를 적극적으로 밀어붙이던 중이었다고 적는다. 시뮬 라운드 체크포인트는 huggingface.co/IliaLarchenko/lehome_sim에 공개돼 있다.

규모와 남은 실패. 최종 정책 뒤의 데이터는 약 12,500 롤아웃 에피소드(≈4.3M 프레임), 약 140회 수집 세션이다. 파이프라인이 이 풀을 계속 가지치기·재가중하고 가장 오래된 롤아웃은 의도적으로 통째로 버렸으므로, 전 구간 누적 생성량은 이 유지 윈도우의 몇 배다. 저자는 이 접근을 sample-efficient라고 부르지 않겠다고 말하며, 같은 결과가 훨씬 작은 데이터셋으로도 도달 가능할 것이라 의심한다. 주된 혐의는 복구 로직의 부재다 — 초기 BC 데이터가 스크립트 기반이라 탐색과 다양성이 거의 없어서 정책이 빠르게 더 나은 행동을 찾아 나서기 어려웠다는 것이다.

남은 실패는 세 부류다. ① 손재주와 정밀도 — 정책이 대체로 옳은 일을 하지만 성공 기준에서 살짝 벗어난다(접힘은 거의 맞아 보이는데 keypoint 거리 하나가 임계값의 잘못된 쪽에 착지한다). ② 시뮬 물리 — 계산 안정성을 위해 시뮬레이터가 물리를 단순화하는데 이것이 항상 완벽하지 않아, 정책 잘못이 아닌 파지 실패나 그리퍼에서 옷이 미끄러지는 일이 가끔 생긴다. ③ 복구 없음 — 시뮬 정책은 복구를 학습하지 않았고 탐색을 별로 보지 못해서, 한 번 실수해 분포 밖 상태에 들어가면 되돌아오려 애쓰기보다 그냥 실패한다.

실험: sim-to-real 결승 라운드 — 시간 배분이 곧 결과였다

저자는 시뮬 라운드에 약 3개월을, sim-to-real에 1주일 남짓을 썼다. 이 문장 하나가 리포트의 구조와 결과를 대부분 설명한다. 저자 자신도 sim2real 부분을 “careful study가 아니라 해커톤 스타일 스프린트”라고 부른다.

왜 zero-shot이 안 됐는가

시뮬과 현실은 카메라 센서·배치, 로봇 기구학과 백래시, 옷 물리 등 여러 면에서 다르고, 제공된 시뮬레이터가 뛰어남에도 격차가 zero-shot에는 너무 컸다. 저자가 제시하는 가장 날카로운 간접 증거는 이미지 처리 실험이다. 모델은 640×480 카메라 이미지를 224×224로 리사이즈한다. 그런데 직접 리사이즈하는 대신 먼저 320×240으로 줄인 뒤 224×224로 가면 — 사람 눈에는 거의 보이지 않는 차이인데 — 시뮬 성공률이 유의하게 떨어졌다. 게다가 보조 헤드 예측을 들여다보니 모델은 640→224 이미지와 640→320→224 이미지를 완벽하게 구분할 수 있었다. 렌더링·인코딩의 미세한 세부에 정책이 과적합했다는 뜻이고, 이런 과적합은 실기로 잘 넘어가지 않는다. (아쉽게도 “유의하게 떨어졌다”의 구체적 수치는 논문에 없다.)

과제 수행 방식 자체도 실기 데이터에서 달랐다 — 반팔 상의는 반대쪽 소매부터 개기 시작했고, 긴바지는 시뮬에서는 위에서 잡았는데 실기 데이터에서는 (카메라 기준) 아래에서 잡았으며, 반바지는 실기 에피소드의 절반에서 180도 회전돼 있었다. 실제 세계에서 옷 개는 로봇을 학습시킨다면 이런 일반화는 원하는 것이지만, 대회 세팅에서는 단기적으로 성능을 해치는 불필요한 multimodality를 도입했을 뿐이다.

여기에 보통의 sim-to-real보다 어려운 조건이 하나 더 있었다 — 최종 평가가 돌아갈 실제 로봇에 저자는 한 번도 접근하지 못했다. 그래서 sim → 내 로봇 → 그들의 로봇이 되었다. 주최측이 제공한 BC 데이터셋조차 저자의 장비와도, 평가 장비와도 다른 물리적 셋업(조명·캘리브레이션·카메라 위치)에서 수집된 것이었다.

저자가 남긴 일화 하나가 이 격차의 성격을 잘 보여준다: 그는 두세 달 동안 평범한 성인 옷을 개고 있다고 확신했는데, 결승용 실제 팔로워 장비를 조립하고 나서야 내내 아이 옷을 다루고 있었음을 깨달았다. “시뮬레이터 안에서 만든 멘탈 모델은 당신이 확인해 볼 생각조차 못 하는 방식으로 틀릴 수 있다.”

두 개의 레버: 정렬과 다양성

도메인 격차를 좁히는 근본적 방법은 둘뿐이다 — 두 환경을 더 비슷하게 만들거나, 학습 분포를 더 다양하게 만들어 격차가 그 안에 들어오게 하거나. 저자는 둘 다에 기댔고 §9 전체가 이 두 축으로 조직돼 있다.

레시피는 7단계다: ① 시뮬 정책의 늦되 최신은 아닌 체크포인트에서 시작 → ② 실기에서 말이 되는 헤드와 로직만 남기고 벗겨내기 → ③ 세 버킷 믹스로 미세조정 → ④ 자기 셋업과 시뮬을 타깃에 최대한 정렬 → ⑤ 학습 시 매우 무거운 증강 → ⑥ 소스별 모션 강도 재샘플링 → ⑦ DAgger 데이터를 점진 수집하고 개입 근접도로 가중.

①의 이유가 명료하다 — 최신 시뮬 체크포인트가 시뮬레이터에 가장 특화되어 있고(§9.1의 렌더링 과적합) 새 도메인으로 미세조정하기에는 조금 이른 체크포인트가 더 잘 조건화된 출발점이었다.

②는 이 리포트에서 가장 시사적인 부분이다. 시뮬 정책의 보조 기계장치 대부분이 시뮬 전용 특권 정보(keypoint 거리, 판정기의 성공 라벨, advantage 추정)에 의존하므로 실기 학습에서는 전부 껐다.

• 계속 학습: 행동 목적함수, 옷 종류 헤드, completion 헤드.
• 남기되 동결(가중치는 시뮬 체크포인트에서 로드되지만 기울기는 안 받음): success, 중간 체크포인트, TTC.
• 완전 제거: keypoint 거리 헤드, 두 world model 헤드(FAST 조건 헤드와 행동 조건 “Q” 헤드).
• 파이프라인에서 제거: advantage 조건화와 AdaRMS advantage 채널, 따라서 CFG와 best-of-N도 함께(둘 다 advantage/Q 기계장치를 필요로 한다).

즉 실기 추론은 훨씬 단순한 경로다 — denoise된 청크, 청크 간 soft inpainting, 옷 종류 부트스트랩, 그 외에는 없다. 실기 정책은 본질적으로 “초기 VLM + 행동 전문가 + 가벼운 헤드 두 개”를, 시뮬에서 훨씬 많은 것을 배운 모델로부터 미세조정한 것이다.

세 버킷 학습 믹스

소스	에피소드	프레임	배치 지분	샘플링 비율	역할
Organizer BC	500	187,135	60%	×1.00	평가 셋업과 가장 정렬(같은 카메라·로봇 색·옷·접는 패턴) — 정본 타깃 분포
My home teleop	321	162,363	30%	×0.21	평가 셋업과 다르지만 복구의 유일한 출처. 그 불일치 때문에 의도적으로 낮게
My home DAgger	471	288,198	(위와 동일 버킷)	(동일)	(동일)
Sim success-replays	1,723	625,111	10%	×0.05	이미 모은 성공 시뮬 롤아웃을 실기 포맷 파이프라인에서 무거운 증강과 함께 재생 — 규제용

(Table 6. 두 home 소스는 하나의 버킷으로 배치 지분·샘플링 비율·역할을 공유한다.)

버킷 크기가 워낙 달라서 고정된 배치 지분이 매우 다른 프레임당 샘플링 비율로 번역된다 — 큰 home/sim 풀이 primary_real 대비 심하게 다운샘플된다. 자기 실기 데이터는 총 792 에피소드(≈451k 프레임)이고, 주최측 500을 합친 실기 학습 풀은 약 1,292 에피소드 / 638k 프레임이다. (Fig. 10의 종류별 막대를 더하면 정확히 맞는다: BC 125×4=500, teleop 82+54+72+113=321, DAgger 137+105+117+112=471.)

세 학습 버킷의 카메라 3대(Fig. 12) — 위: 주최측 BC, 가운데: 저자의 teleop/DAgger 녹화, 아래: 시뮬 success replay. 조명·옷 인스턴스·카메라 프레이밍이 눈에 띄게 다르고, 바로 이 차이가 다뤄야 할 대상이다.

정렬: 카메라 오버레이 도구

정렬 쪽의 절반은 대부분 단순한 엔지니어링이었다 — 카메라·캘리브레이션·단위·모션을 타깃에 최대한 맞추기. 여기서 가장 유용했던 도구가 카메라 오버레이 정렬 유틸리티다. 주최측 BC 데이터셋에서 프레임 하나를 고르고, 물리 로봇을 그 정확한 관절 상태로 몰고, 라이브 카메라를 캡처해 데이터셋 프레임 위에 겹친다. 배치가 맞으면 로봇 위치가 정렬된다. 같은 아이디어가 시뮬 렌더와 실기 프레임 사이에도 통한다(Fig. 14). 물리 장비를 소스 데이터셋에 맞추는 일이 추측 게임 대신 빠른 시각적 루프가 됐다. 저자는 이 도구를 주최측과 다른 팀들에게 공유해 대회에서 모두가 평가 환경을 정렬하도록 도왔다고 적는다.

카메라 오버레이 정렬 도구(Fig. 13) — 팔을 기록된 관절 상태로 몰고 나서, 라이브 로봇 카메라 3대(상단·좌우 손목)를 대응하는 주최측 BC 프레임 위에 겹친 화면. 배치가 맞으면 로봇 실루엣이 정렬된다.

완벽한 정렬은 매우 어려웠다 — 다른 카메라를 썼으므로 이미지를 완벽히 겹치는 것은 애초에 불가능했고, 최종 롤아웃 중에도 같은 하드웨어에서조차 평가 셋업을 정확히 재현하는 것은 불가능해 보였다고 적는다. 그래서 저자는 정렬의 반대 방향도 의도적으로 했다: 시간이 지나며 자기 장비를 무작위화한 것이다(카메라를 옮기고, 팔을 여러 번 재캘리브레이션하고, 조명을 바꿨다). 데이터 수집 장비 자체에 다양성 레버를 적용한 셈이다.

다양성: 무거운 증강과 모션 강도 정렬

학습 시 증강은 시뮬 라운드보다 훨씬 공격적이다 — 카메라별 독립 강한 컬러 지터(집 상단 카메라는 평가 카메라보다 눈에 띄게 어둡고, 시뮬은 과하게 밝다), 채널별 게인과 감마, 블러, 가산 센서 노이즈, 카메라마다 독립적인 crop/rotate/zoom/translate(카메라 마운트 드리프트를 덮기 위해), cutout, 무작위 카메라 드롭아웃, 그리고 상태 노이즈/드롭아웃(캘리브레이션이 틀렸을 수 있는 고유수용감각보다 이미지를 믿게 만든다). 시뮬 재생 버킷은 여기에 더해 수집 라운드의 무거운 환경 증강 엔진을 통과한다.

증강 스택의 독립 표본들(Fig. 15) — 같은 실기 카메라 프레임에 색·게인·감마·블러·노이즈·crop/rotate/zoom·cutout이 독립적으로 적용된 12가지. 모든 학습 프레임이 이렇게 교란되므로 모델이 고정된 외형에 의존할 수 없다.

여기에 덜 눈에 띄지만 중요한 정렬 작업이 하나 더 있다 — 모션 강도 정렬. 세 버킷의 녹화 속도가 매우 달랐고, 모델이 고정 horizon에 대한 델타를 예측하므로 이것이 문제가 된다. 팔이 천천히 움직이는 소스는 작은 스텝별 델타를, 빠른 소스는 큰 델타를 만들어서, 순진하게 섞으면 “한 스텝에 얼마나 움직여야 하는가”에 대한 일관되지 않은 개념을 가르치게 된다. RL 이후의 시뮬 정책은 꽤 빠르게 움직였고, 저자의 수동 teleop과 특히 초기 DAgger 교정은 매우 느렸다.

소스별 속도 계수(Fig. 16) — 주최측 BC가 기준(×1.0). 집 teleop는 에피소드당 약 1.4배 길어서 압축(×1.5), 시뮬 롤아웃은 가장 공격적이라 늘리고(×0.65), DAgger 교정이 가장 느려(약 2배 긴 에피소드) 가장 큰 계수(×2.0)를 받는다.

DAgger 청크는 앵커 프레임이 사람의 교정이었는지 자율 구간이었는지에 따라 청크 단위로 재스케일된다. 그리고 저자의 teleop가 그 주 동안 빨라지면서 올바른 계수도 표류했다 — 이것이 이 값을 전역이 아니라 소스별로 두는 이유다.

실기 DAgger와 개입 근접도 가중

복구 데이터는 주최측 BC 셋이 결코 줄 수 없는 유일한 것이다(깨끗하고 성공한 접기만 담고 있으므로). 실기 DAgger 루프는 이렇다: 정책이 자율적으로 개고, 실패하기 시작하는 순간 저자가 teleop으로 인계받아 교정하고 다시 넘긴다. 모든 프레임에 누가 운전했는지(정책 vs 사람) 라벨이 붙는다.

실기에는 보상도 value 함수도 없어서 시뮬 파이프라인처럼 advantage를 계산할 수 없다. 그런데 개입 신호 자체가 정보를 담고 있다 — 사람의 인계는 정책의 최근 실패를 표시하고, 사람의 교정은 구성상 높은 advantage 행동이다. 이를 프레임별 샘플링 가중으로 바꾼다.

인간 개입 2회가 있는 에피소드의 프레임별 샘플링 가중(Fig. 17) — 사람 교정 프레임이 가장 높고(그림에서 읽으면 2.0), 개입에서 먼 자율 프레임은 낮은 값(0.3), 각 인계 직전 5초 창은 0으로 램프다운한다.

세 번째 항목이 설계의 핵심이다 — 정책을 나쁜 상태로 이끈 바로 그 동작들을 강화하고 싶지 않다. 저자는 이것이 진짜 advantage 함수의 “의도적으로 거친(deliberately crude) 대체물”임을 명시하고, 실기 데이터에 대한 제대로 학습된 reward/value 모델이 있었다면 프레임을 더 세밀하게 가중할 수 있었을 뿐 아니라 시뮬에서 그토록 잘 통한 advantage 조건화와 best-of-N을 실기에서도 쓸 수 있었을 것이라고 적는다. 마지막 주에 그것을 만들고 검증할 시간이 없었을 뿐이다.

수집 장비는 리더 팔 2개 + 팔로워 팔 2개, 제어 모드를 빠르게 전환하는 3페달 풋 컨트롤러, RTX PRO 6000 워크스테이션 한 대다. 정책이 자율 주행하는 동안에도 리더 팔이 팔로워를 추종하게 해서, 움직임 중간에 튀지 않고 제어를 잡아챌 수 있게 했다.

수집 전략에 대한 저자의 사후 평가는 냉정하다 — 가장 어려운 초기 상태와 이상치에 집중한 것이 실수였을 수 있다는 것이다. 실제 결승의 초기 상태는 대부분 예상보다 쉬웠고, 그래서 어려운 상태 복구에 쓴 노력이 부분적으로 낭비됐다. “쉬운 초기 상태에서의 깨끗한 완주를 다듬는 데 집중했다면 더 높은 점수를 받았을 것 같다.”

단위 버그 — 그리고 결승 결과

리포트에서 가장 실용적인 경고가 여기 있다. LeRobot 0.4.x의 두 릴리스 사이에 SO-101 팔로워의 기본 상태 표현이 바뀌었다 — 다섯 개 팔 관절이 정규화된 -100 \ldots 100 range-of-motion 인코딩에서 도(degree) 단위 관절 각도로 전환됐다(그리퍼는 어느 쪽이든 0–100 범위). 두 규약은 관절별 재스케일로 관계되고, 대부분의 관절에서 전체 가동 범위가 200도 근처라 화면상으로는 거의 동일해 보여 육안으로 잡기 어렵다. 그런데 모든 관절이 약 10% 어긋난다. 저자의 실기 데이터와 학습 대부분이 잘못된 표현 위에서 돌았고, 마감 이틀 전에야 원인을 찾았다. 전부 재수집하는 대신 후처리 패스로 고쳤지만, 그 혼란이 최종 성능에 대가를 치르게 했을 것이 거의 확실하다고 적는다.

이 계열의 저가 오픈소스 로봇 생태계(LeRobot / SO-ARM) 자체에 대해서는 SmolVLA 리뷰가 배경을 준다 — 같은 생태계에서 “저렴함”이 데이터 다양성으로 이어지는 방향을 다룬다면, 이 리포트는 그 저렴함이 버전 간 규약 표류라는 비용으로 되돌아오는 사례를 보여준다.

최종 결승 결과는 다음과 같다(Table 7, 채점된 실기 런을 완주한 팀들).

순위	팀	점수
1	sZs	895
2	ilya (this work)	865
3	Dum-E	762.5
4	SCUT-Unlimited	635
5	sisigakgak	570
6	Shubham @ Vorwerk	470

점수는 주최측의 복합 실기 지표이지 성공률 퍼센트가 아니다. 성공률과 스텝별 품질이 함께 평가됐고, unseen 옷에는 50% 점수 보너스가 붙었으며, 가능한 최대 총점은 1080점이다. 실기 라운드 체크포인트는 huggingface.co/IliaLarchenko/lehome_real에 공개돼 있다.

여기서 눈여겨볼 순위 변동이 있다 — 온라인 6위였던 sZs가 실기 1위, 온라인 2위였던 Shubham @ Vorwerk가 실기 6위다. 즉 시뮬 순위가 실기 순위를 잘 예측하지 못했다. 이 대회 결과는 저자 개인의 온라인 1위 / 오프라인 2위보다도, 시뮬 성능과 실기 성능이 다른 축이라는 사실을 더 크게 말하고 있다.

비판적으로 보면

강점

• 정직성이 이 리포트의 방법론적 미덕이다. 초록에서 “controlled experiment가 아니다”라고 선언하고, §4에서 “어느 것이 결정적이었는지 주장하지 않는다”고 반복하며, XSA에 대해서는 “최근 유행에 기댔다”고 쓴다. 더 나아가 v1에 실린 자신의 논리적 오류를 v2에서 자진 정정한다 — \theta^*가 계산 불가능하다고 믿었던 것이 틀렸음을 밝히고, 사후 분석으로 참 계수가 0.4~0.8이었고 자신이 쓴 0.5가 중앙값 근처였다는 것까지 보고한다. 대회 우승 리포트에서 보기 드문 태도다.
• 이식 가능한 부품이 여럿 있다. AWR을 손실이 아니라 샘플러에 걸어 이미지 디코딩 비용까지 아끼는 구현, 그로 인해 편향될 보조 헤드를 IS 가중으로 되돌리는 보정, 총 리턴을 이진으로 유지하는 실패 시 보상 회수, CUPED식 value 감쇠 계수, 성공 종료의 즉시성이 만드는 꼬리 편향을 학습·오프라인 양쪽에서 공격하는 것 — 각각이 다른 프로젝트에서 독립적으로 쓸 수 있다.
• “추론 시점 최적화”를 하나의 최적화 문제로 세운 것이 이 리포트의 가장 재사용성 높은 아이디어다. 가중치를 건드리지 않는 손잡이 7개를 정의하고, 그리드 서치 대신 롤아웃 수집과 동시에 도는 factorized Thompson 밴딧으로 튜닝했다. 부수 효과 세 가지가 명료하다: 값싸고, 하이퍼파라미터가 정책과 함께 진화하며, 탐색이 그 자체로 유용한 학습 분산이 된다(예: 실행 속도를 다양화하면 정책이 과제를 더 빨리 끝내는 법을 배운다).
• 실패담이 구체적이다. 단위 버그(LeRobot 0.4.x의 SO-101 상태 표현 변경, 마감 이틀 전 발견), 시뮬 DAgger가 쓸모없었다는 것, 어려운 초기 상태에 DAgger를 과투자한 것, 아이 옷 일화. 이 항목들은 같은 생태계에서 작업하는 사람에게 논문의 성공 수치보다 값질 수 있다.
• 코드와 체크포인트를 전부 공개했다(Apache-2.0, 시뮬·실기 두 체크포인트). 대회 솔루션 리포트로서는 최대한의 재현 자료를 낸 셈이다.

약점·한계

• ablation이 하나도 없다. 저자가 인정하는 사실이지만, 리뷰어 입장에서는 이것이 이 리포트를 방법론적 근거로 인용할 수 없게 만드는 결정적 한계다. 위 “직관” 절의 표에 정리했듯이, 최소 열 개가 넘는 설계 결정 중 준-측정 증거가 있는 것은 추론 시점 손잡이 네 개뿐이고 아키텍처 쪽 결정에는 정성 관찰이나 선언만 있다. 79.63%를 만든 것이 advantage 조건화인지, 12,500 에피소드의 롤아웃 규모인지, 아니면 \pi_{0.5} 사전학습 자체인지 이 리포트로는 분리할 수 없다.
• 핵심 관찰에 수치가 붙어 있지 않은 곳이 여럿이다. 가장 아쉬운 것은 §9.1의 리사이즈 실험 — “success rate dropped significantly”라고만 하고 얼마나 떨어졌는지가 없다. 시뮬 과적합의 정도를 정량화할 수 있었던 유일한 실험인데 수치가 없어 인용할 수 없다. AdaRMS 효과(“wrong-garment behavior visually reduced”), 체크포인트 롤백 효과(“reliably kicked out of local optima”)도 마찬가지다.
• 실기 2위를 “졌다”로 읽기 어려운데, 리포트가 이를 논하지 않는다. 온라인 라운드는 80벌 × 10회 = 800 에피소드라 6.13 pp 격차가 충분히 크지만, 실기 결승은 타입당 5벌(총 20벌)이고 심사위원단 채점이 섞인 복합 점수다. 865 vs 895는 만점 1080 기준 2.8 %p 차이이며, 표본 수·심사 분산·신뢰구간이 전혀 보고되지 않았다. “2위”라는 사실만 있고 “1위와 구분되는가”는 알 수 없다 — 그리고 리포트는 이 질문을 던지지 않는다.
• 온라인 1위 / 오프라인 2위의 비대칭에 대한 분석이 얕다. 가장 단순한 설명은 시간 배분(3개월 vs 1주일)이고 저자도 그렇게 말한다. 그러나 §9.5를 읽으면 더 구조적인 사실이 드러난다 — 실기 라운드에 나간 정책은 이 리포트의 핵심 기여를 거의 쓰지 않았다. advantage 조건화, CFG, best-of-N, keypoint 헤드, world model 헤드가 전부 제거됐고, success/checkpoint/TTC 헤드는 동결됐다. 남은 것은 “시뮬에서 잘 사전학습된 \pi_{0.5} + BC + DAgger + 무거운 증강”이다. 그렇다면 이 리포트가 제안하는 RL 레시피가 실기 성능에 얼마나 기여했는지는 이 대회 결과만으로 판정할 수 없다. 저자가 §10.5에서 “두 라운드를 하나의 파이프라인으로”라고 아쉬워하는 것은 정확한 진단이지만, 그 진단이 곧 자기 결과 해석의 한계라는 점까지는 나아가지 않는다.
• 온라인 1위를 만든 과정이 sim-to-real을 어렵게 만들었다는 자기모순적 구조가 있는데, §10.2에서 언급만 하고 지나간다. 12,500 에피소드짜리 시뮬 RL 루프가 렌더링 아티팩트 과적합을 만들었고(§9.1의 리사이즈 실험), 그것이 실기 전이를 어렵게 했다. 저자는 “환경 정렬 외에 깨끗한 해법을 찾지 못했다”로 마무리하는데, RL 루프 안에서부터 렌더링 다양성을 강제하는 설계(1라운드 일반 롤아웃의 증강을 의도적으로 약하게 유지한 결정을 재검토하는 것)가 자연스러운 후속 질문이다. 이 리포트는 그 질문을 열어 놓고 답하지 않는다.
• 레거시 잔재가 최종 설정에 남아 있다. checkpoint 헤드와 TTC 헤드는 학습은 되는데 downstream에서 쓰이지 않는다고 명시돼 있고, 그럼에도 손실 가중치(0.001, 0.05)를 갖고 있다. TTC는 특히 가중치 0.05로 success 헤드와 같은데도 “결과가 결정적이지 않아 더 조사할 시간이 없었다”는 상태로 남아 있다. ablation 부재와 겹치면, 검증되지 않은 보조 손실이 붙은 채로 최종 성능이 보고되고 있다는 뜻이 된다.
• 재현 비용이 개인 연구자 범위를 벗어난다. H200 1대에서 ~300k 스텝, 여기에 에피소드당 30초짜리 Isaac Sim 롤아웃 12,500회 이상(≈104 시뮬레이션-시간, 필자 계산)을 RTX PRO 6000 여러 대로 병렬 수집했다. 코드가 공개돼도 실제로 이식 가능한 것은 전체 시스템이 아니라 레시피와 개별 부품이다.
• 일반화 주장의 범위를 좁게 읽어야 한다. §10.1의 “unseen 일반화는 거의 문제가 아니었다”는 결론은 unseen이 같은 네 카테고리 안의 다른 인스턴스라는 조건에서 성립한다. 저자가 든 가장 날카로운 사례조차 “긴바지로 분류해야 하는데 저자 눈에도 반바지로 보이는 실제 옷”이라는 레이블 모호성이지 새 카테고리가 아니다. 수건·양말처럼 카테고리 자체가 바뀌면 근거가 없고, 옷 종류 입력 토큰이 4개 고정이라는 설계상 그대로는 확장되지도 않는다.
• best-of-N의 작동 근거가 설명되지 않은 채로 남아 있다. FM 헤드 예측과 실제 결과의 상관이 “모든 실험에서 사실상 0”인데 후보 2~3개가 일관되게 이겼다면, 이득의 출처가 채점 함수가 아니라 여러 후보를 뽑는 행위 자체(예: 초기 노이즈 다양성)일 가능성을 배제할 수 없다. 무작위로 하나를 고르는 대조군(random-of-N)을 밴딧 arm으로 하나만 넣었어도 이 질문은 값싸게 답할 수 있었다.

관련 연구와의 자리 매김

이 리포트는 새 계보를 여는 논문이 아니라 여러 계보의 교차점에서 작동하는 시스템이다. 좌표를 찍어 보면 이렇다.

VLA 백본. 정책은 \pi_{0.5}(Black et al., 2025)에 직접 기대고 있고, 그 flow matching 행동 전문가 계보의 출발점은 π0 리뷰에서 다뤘다. 다만 이 리포트가 \pi_{0.5}에서 물려받은 형태는 언어를 완전히 제거한 것이라는 점이 특기할 만하다 — 토크나이저도 언어 토큰도 없고, 텍스트 프롬프트 자리를 4개짜리 학습된 옷 종류 임베딩이 대신한다. “V-L-A”에서 L을 빼고 A만 남긴 셈이고, 단일 과제 대회 세팅에서는 그것이 합리적 선택이다.

저자 자신의 직전 계보. 이 시스템의 상당 부분(언어 제거, 상관 노이즈, soft inpainting, cross-layer KV mixing, 실행 길이/재생 속도/앵커라는 추론 계약)은 저자 팀의 2025 BEHAVIOR-1K Challenge 1위 솔루션에서 변경 없이 이월된 것으로 명시돼 있다. 벤치마크 쪽 맥락은 BEHAVIOR-1K 리뷰에 있다. 두 대회를 관통하는 저자의 방법론은 “거대 VLA를 사전학습에서 가져와, 과제별 보조 신호와 추론 계약을 얹어 대회 지표에 맞춰 조인다”로 요약된다.

VLA를 RL로 개선하는 흐름. advantage 조건화의 출처는 Physical Intelligence의 \pi^{*}_{0.6}/RECAP이고, AWR(Peng et al., 2019)과 AWAC(Nair et al., 2020)이 재가중 쪽 계보다. 같은 문제를 훨씬 가벼운 예산으로 푸는 반대편 접근이 RL Token 리뷰에서 다룬 RLT다 — VLA 내부 특징을 압축한 토큰 위에 경량 액터-크리틱을 얹어 몇 시간~몇 분의 로봇 경험으로 온라인 RL을 돌린다. 이 리포트는 정확히 그 반대편 극단에 있다: VLA 전체를 12,500 에피소드로 후학습하되, critic을 따로 두는 대신 정책 안에 넣었다. 두 접근을 나란히 놓으면 “critic을 어디에 둘 것인가”(정책 밖 경량 네트워크 vs 정책 안 보조 헤드)라는 축이 선명해진다.

Human-in-the-loop 복구. DAgger(Ross et al., 2011)와 HIL-SERL 리뷰에서 다룬 HIL-SERL이 직접 계보다. 다만 이 리포트의 실기 DAgger는 HIL-SERL과 결정적으로 다르다 — 보상도 value 함수도 없이 개입 근접도만으로 프레임 가중을 만든다. 저자 스스로 이를 “의도적으로 거친 대체물”이라 부르고, 실기 쪽 학습된 reward/value 모델이 있었다면 훨씬 나았을 것이라고 적는다. 즉 HIL-SERL이 이미 보여준 것(실기에서 학습된 보상으로 RL을 돌리는 것)이 시간 제약 때문에 여기서는 실현되지 못한 셈이다.

시뮬→실기 온라인 RL의 설계 선택. Simulation to Online RL 리뷰가 다룬 연구가 이 리포트의 §9와 흥미롭게 겹친다 — 시뮬 또는 이전 시행 데이터를 유지할 것, 웜 스타트를 쓸 것, 비대칭 액터-크리틱 업데이트를 쓸 것. 이 리포트의 세 버킷 믹스(시뮬 재생 10%를 “잊지 않기 위해” 남긴다)와 “최신이 아닌 체크포인트에서 출발한다”는 선택이 각각 첫 두 지침의 실전판이다. 다만 그 연구가 100회 이상의 실기 학습 실행으로 검증한 것과 달리, 여기서는 1주일 스프린트의 단일 실행이라 같은 지침이 독립적으로 재확인됐다고 말할 수는 없다.

대회 인프라. 벤치마크·시뮬레이터는 주최측(LeHome, arXiv:2604.22363)의 것이고, 하드웨어는 The Robot Studio의 SO-ARM100/101, 소프트웨어 스택은 HuggingFace의 LeRobot이다. 이 저가 오픈소스 생태계의 성격은 SmolVLA 리뷰를 보면 잡히는데, 이 리포트의 단위 버그 일화는 그 생태계의 빠른 반복이 만드는 규약 표류라는 반대편 얼굴을 보여준다.

그 밖에 조각별로 인용된 것들: flow matching(Lipman et al., 2023), SigLIP(Zhai et al., 2023), Gemma(Google DeepMind, 2024), FAST 행동 토크나이제이션(Pertsch et al., 2025), XSA(Zhai, 2026), GAE(Schulman et al., 2016), CFG(Ho & Salimans, 2022), CUPED(Deng et al., 2013), Thompson sampling(Thompson, 1933; Russo et al., 2018), real-time chunking(Black et al., 2025), 난이도 표적 데이터 선택(Sun et al., 2025), 근접 스텝을 실행하고 재계획하는 것의 근거로 TRI LBM 팀(2025).

요약

기여. LeHome Challenge 2026의 우승 솔루션을 처음부터 끝까지 기록한 엔지니어링 케이스 스터디다. 중심 아이디어는 하나 — flow matching VLA를 자기 자신의 value function으로 만드는 것. 하나의 쿼리 토큰이 이미지만 보고 성공 확률·진행도·옷 종류·keypoint 거리를 내고, 행동 전문가 꼬리의 FM 쿼리가 행동에 조건화된 성공 잔차(Q 역할)와 미래 keypoint 거리(값싼 world model 대용품)를 낸다. 이 예측들이 advantage를 만들고, advantage는 AWR 샘플러(어떤 프레임을 볼지)와 RECAP식 조건화(무엇을 예측할지)로 이중 소비되며, 조건화는 추론에서 CFG를 가능하게 하고 Q 헤드는 best-of-N을 가능하게 한다. 여기에 대회 성공 판정기를 그대로 재사용한 dense reward, 실패 시 보상 회수로 이진 리턴을 지키는 설계, CUPED식 value 감쇠, 낡은 롤아웃을 결과 전용 신호로 우아하게 후퇴시키는 블렌딩, 그리고 추론 하이퍼파라미터를 롤아웃 중에 튜닝하는 Thompson 밴딧이 붙는다. 결과는 온라인 62팀 중 1위(79.63%, +6.13 pp)와 실기 결승 2위(865/1080)다.

한계. ablation이 전무하다는 것이 이 리포트를 방법론적 근거로 쓸 수 없게 만든다. 저자가 인정하는 사실이지만 그 여파는 리포트 전체에 미친다 — 어느 조각이 점수를 만들었는지 알 수 없고, 핵심 관찰 여럿(리사이즈 실험, AdaRMS, 체크포인트 롤백)에 수치조차 없다. 실기 라운드는 이 리포트의 핵심 기여를 거의 다 제거한 채 치러졌으므로, RL 레시피가 실기 성능에 얼마나 기여하는지는 이 대회 결과로 판정되지 않는다. 실기 2위와 1위의 30점 차이(만점 대비 2.8 %p)는 표본 20벌과 심사 채점을 감안하면 구분 가능한 차이인지조차 불분명하다. 재현 비용도 개인 규모를 넘는다.

전망. 저자 본인의 가장 큰 아쉬움이 곧 다음 방향이다 — 두 라운드를 두 개의 도구 상자로 푼 것. 온라인 라운드에는 완전한 RL 기계장치(dense reward, value, advantage, CFG, best-of-N)가 있었고, 실기 라운드에는 실제로 복구를 만들어 낸 실기 데이터와 인간 개입이 있었지만 실기 쪽 보상/value가 없어 순수 BC로 돌았다. 이 두 반쪽은 상보적이다. 실기 쪽 reward/value 모델이 실기 로봇 위에서 advantage 조건화와 best-of-N을 굴리고, 실기 롤아웃에 우선순위 샘플링을 걸고, DAgger 개입을 손으로 튜닝한 가중치가 아니라 그 value 신호로 가중한다면 — 저자의 추측으로는 이 과제에서 90% 이상이 가능하다. 그리고 그가 남긴 마지막 열린 문제가 더 근본적이다: 자율적 탐색과 복구. 그가 추가한 모든 추론 트릭(advantage 조건화·CFG·best-of-N·soft inpainting)은 이미 알려진 좋은 모드 쪽으로 미는 장치이지 새 복구 동작을 발명하지 않는다. 실제로 그는 몇 가지 탐색 메커니즘을 실험했지만, flow matching 정책에서는 추가 섭동이 대부분 청크를 행동 manifold 밖으로 밀어내 성능만 떨어뜨렸다. 사람 없이 flow matching 정책이 쓸 만한 복구 시도를 만들어 내게 하는 것 — 이것이 이 리포트가 남긴, 대회와 무관하게 유효한 질문이다.