📃How to Peel with a Knife 리뷰

manipulation

diffusion

fine-tuning

residual

reward

preference-learning

force-control

contact-rich

teleop

human-in-the-loop

open-source

dataset

How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference

Published

September 5, 2026

Paper Link
Code Link
Project
Video (YouTube)
Toru Lin*, Shuying Deng*, Zhao-Heng Yin, Pieter Abbeel, Jitendra Malik (UC Berkeley)
arXiv preprint, 2026

💡 껍질 깎기처럼 성공 기준이 연속적이고 주관적인 정밀 조작 태스크를, 보상을 손으로 설계하는 대신 사람의 선호에서 학습한 보상으로 정렬한다.
⚙️ 임피던스 제어 + SpaceMouse 원격조작으로 force-aware 데이터를 모아 Diffusion Policy 기반 정책을 만들고(1단계), 사람이 매긴 정량(껍질 두께 6단계)·정성(0–9 Likert) 점수를 회귀한 보상 모델로 residual 정책을 reward-weighted BC 파인튜닝한다(2단계).
🎯 오이 50 / 사과 150 / 감자 200개 궤적만으로 학습해 학습 품종에서 100% 성공률, 파인튜닝으로 사과 60→100%·감자 80→100%(점수 3.8→7.1, 5.9→7.3), 미학습 품종(배·무·주키니)에는 90/80/50%로 zero-shot 전이한다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 조작 연구는 오랫동안 “집었는가 / 놓았는가” 같은 이진 성공 기준에 기대 왔다. 그런데 요리·수술·수공예처럼 정말 쓸모 있는 태스크들은 성공이 0/1이 아니다. 감자를 “깎았다”는 사실보다 얼마나 얇게, 끊기지 않게, 살점을 깎아내지 않고 깎았는지가 품질이다. 이 논문은 그 대표 사례로 칼로 껍질 깎기(peeling with a knife) 를 골랐다. 필러가 아니라 칼이다 — 날 각도·깊이·힘을 곡면을 따라가며 계속 조절해야 하고, 조금만 어긋나도 살을 파거나 껍질을 남긴다. 저자들은 “칼로 여러 종류의 농산물을 깎는 데 성공한 선행 연구를 우리는 알지 못한다”고 적는다.

핵심 주장은 두 가지 병목을 나눠 푼다는 것이다. 양(quantity) 의 병목은 접촉이 많고 힘에 민감한 데이터를 모으기 어렵다는 것이고, 질(quality) 의 병목은 성공을 수학적으로 못 적는다는 것이다. 전자는 순응 제어 위의 SpaceMouse 원격조작 + force-aware 모방학습으로, 후자는 사람이 매긴 점수를 회귀한 보상 모델과 residual 파인튜닝으로 푼다.

시스템 개요(Fig. 1) — Kinova Gen3 + ATI mini45 F/T 센서 + RealSense D405 손목 카메라 2대로 사과·감자·오이를 칼로 깎고, 배·무·주키니로 zero-shot 일반화한다.

논문 공식 영상 — 실제 로봇의 깎기 동작과 실패 사례.

핵심 방법론:

1단계는 평범한 Diffusion Policy다. 관측은 손목 카메라 2대의 RGB-D(컬러는 그레이스케일로 변환하고, 칼·물체 SAM2 마스크를 그레이스케일과 깊이 양쪽에 곱함 — 아래 참조)와 6차원 F/T 신호, 행동은 end-effector 프레임 기준 delta pose다. 2단계가 이 논문의 알맹이다. 사람의 주석을 스칼라 보상 r_t로 매핑한 뒤, 얼어붙은 base policy의 인코더 특징 z_t와 데이터셋 행동 a_t에서 그 보상을 회귀하는 3층 MLP 보상 모델을 학습한다.

\mathcal{L}_{\mathrm{reward}}=\mathbb{E}_{(z_t,a_t)}\big[\|r_\psi(z_t,a_t)-r_t\|^2\big]

그다음 base policy를 동결하고, 보상 모델의 은닉 표현 h_t를 조건으로 받는 2층 MLP residual 정책 a_t^{\mathrm{res}}=\pi_{\mathrm{res}}(z_t,a_t^{\mathrm{base}},h_t)를 붙여 최종 행동을 a_t^{\mathrm{final}}=a_t^{\mathrm{base}}+a_t^{\mathrm{res}}로 만든다. 학습은 보상 가중 BC다.

\mathcal{L}_{\mathrm{res}}=\mathbb{E}_t\!\left[w_t\big\|a_t^{\mathrm{res}}-(a_t-a_t^{\mathrm{base}})\big\|^2\right]+\alpha\,\mathbb{E}_t\!\left[\|a_t^{\mathrm{res}}\|^2\right],\qquad w_t=\frac{\exp(\beta r_t)}{\mathbb{E}_t[\exp(\beta r_t)]}

첫 항은 “잘된 궤적의 보정”을 더 크게 모사하게 하고, 둘째 항은 residual이 과하게 커지는 것을 막는다.

주요 결과:

학습 품종(오이·사과·감자)에서 성공률 100% (성공 = 정성 점수 > 3).
미학습 품종 zero-shot: 오이 정책 → 주키니 50%, 사과 정책 → 배 90%, 감자 정책 → 무 80%.
파인튜닝 효과(Table V): 사과 60%→100%(점수 3.8→7.1), 감자 80%→100%(5.9→7.3). IQL 기반 advantage 가중 파인튜닝은 사과 0% / 감자 0%로 완전히 실패한다.
데이터 수집 방식 비교(Table I, 오이 궤적 10개): SpaceMouse 성공 100% / 점수 8.5 / 46초, kinesthetic teaching 100% / 7.2 / 13.8초지만 컴플라이언스 파라미터를 튜닝해 리플레이하면 0% / 1.6, VR 20% / 2.1, 휴리스틱 플래너 20% / 1.8.
모달리티(Table III, 감자): gRGB+D+F 80% / 5.9 → 힘을 빼면 60% / 5.2 → 그레이스케일 대신 컬러 RGB를 쓰면 0% / 1.6 → 힘만 쓰면 0% / 0.6.
샘플 효율(Table IV, 감자): 200궤적 80%, 100궤적 60%, 40궤적 10%. 감자 200궤적 ≈ 33개, 오이 50궤적 ≈ 8개.

결론:

“보상을 못 적겠으면 사람이 매긴 점수를 회귀해서 residual로 밀어라”가 이 논문의 처방이다. 새로운 시연을 더 모으지 않고 기존 데이터에 라벨만 붙여 사과 정책의 성공률을 60%에서 100%로 올렸다는 점이 실용적으로 매력적이다. 다만 뒤에서 보듯 초록의 일반화 주장은 본문 수치와 어긋나고, 평가 시행 수가 매우 작다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“성공”이 연속량인 태스크에서는 정책을 더 크게 만들거나 데이터를 더 모으는 것보다, 사람이 무엇을 좋은 결과로 보는지를 라벨로 뽑아 이미 가진 데이터를 재가중하는 편이 싸고 효과적일 수 있다 — 단, 그 효과를 5~10회 시행으로 측정한다면.

배경: 왜 칼로 깎기가 어려운가

논문이 정리하는 어려움은 세 층이다.

첫째, 접촉 동역학. 칼날과 표면의 접촉은 불안정하다. 힘을 정밀하게 조절하지 못하면 미끄러지거나 파고든다. 필러는 날의 간격이 두께를 물리적으로 강제하지만, 칼은 그 제약이 없어 두께가 전적으로 제어의 산물이다. 저자들은 “칼로 자르기는 필러로 깎기보다 실질적으로 훨씬 어렵다”고 선을 긋는다.

둘째, 기하 추적과 개체 변이. 사과와 감자는 곡률이 다르고, 같은 감자끼리도 크기·경도·표면 질감이 제각각이다. 기존 칼 절단 연구([15]–[21])는 대부분 모델 기반이고 힘 동역학·인지·칼 궤적에 대한 해석적 모델과 휴리스틱에 의존해, 모델 오차와 인지 노이즈에 취약하다. 학습 기반은 드물고, RoboNinja[22]가 미분가능 절단 시뮬레이터를 쓰는 정도다.

셋째, 그리고 이 논문이 정면으로 잡는 성공 기준의 암묵성. 껍질을 벗겼다는 사실만으로는 부족하고 깨끗함·균일함·효율까지 본다. 그런데 사람마다 가중치가 다르다. 두께는 그나마 기하학적 해석이 되지만 “전반적으로 잘 깎였는가”는 전체론적 지각 판단이다.

관련 연구 절에서 저자들은 선호 학습 쪽 로보틱스 연구들([10, 12, 13] 등)이 시뮬레이션의 단순 태스크나 이진 성공 기준에 머물러 있고, 이런 접촉 풍부 태스크의 선호 정렬 문제를 정면으로 다루지 않았다고 지적한다. “실제 로봇에서 이 정도로 어려운 조작 태스크에 대해 인간 선호 학습을 조사한 최초의 연구”라는 것이 저자들의 자기 위치 규정이다.

시스템 설계 (III-A)

엔드이펙터 마운트(Fig. 3) — 팔 커넥터, F/T 센서 플레이트, 카메라 마운트 2개, 칼 마운트로 구성된 커스텀 CAD 설계.

로봇: Kinova Gen3 7-DoF. 토크 제어가 가능해 임피던스 제어기를 올릴 수 있다는 점이 선택 이유다.
센싱: 툴 플랜지와 엔드이펙터 사이에 ATI mini45 F/T 센서(500Hz 스트리밍), 툴 근처에 RealSense D405 손목 카메라 2대.
제어: 저수준 임피던스 제어 500Hz, Python 명령은 10Hz. 실시간성 확보를 위해 Intel NUC을 쓴다. 구현은 오픈소스 프로젝트들[37, 38]에 크게 기댔다고 밝힌다.

부록 -A의 제어기는 관절 공간 토크 임피던스 제어기(\Delta t = 0.002\,\mathrm{s})로, 내부에 nominal 관절 상태를 두고 명령 토크와 측정 토크의 불일치로 그 상태를 굴린다.

\tau_{\text{task}}^t=-K_p(q_n^t-q_d^t)-K_d(\dot q_n^t-\dot q_d^t)+g(q_s^t),\qquad \ddot q_n^t=K_r^{-1}\big(\tau_{\text{task}}^t-\tau_s^{f,t}\big)

여기서 \tau_s^{f,t}=\alpha\tau_s^t+(1-\alpha)\tau_s^{f,t-1}는 저역통과 필터를 거친 센싱 토크(\alpha=0.01)다. 즉 지속적인 토크 불일치가 관측되면 nominal 궤적이 그쪽으로 밀려나 어드미턴스 같은 순응성이 토크 제어 안에서 생긴다. 장시간 접촉에서 nominal과 실제가 벌어지는 것은 마찰 유사 결합항 \tau_f^t=K_rK_l\big((\dot q_n^t-\dot q_s^t)+K_{lp}(q_n^t-q_s^t)\big)으로 잡고, 최종 명령은 \tau_c^t=\tau_{\text{task}}^t+\tau_f^t다. 게인 값(Table IX)까지 공개돼 있다 — 재현을 생각하면 반가운 부분이다.

데이터 수집과 정책 학습 (III-B)

원격조작 장치는 3Dconnexion SpaceMouse로 6-DoF end-effector pose를 조종한다. 눈에 띄는 구현 디테일은 IK 쪽이다. 저자들은 가중 최소자승 IK를 써서 관절마다 다른 가중치를 준다 — 야코비안에서 계산한 적응 가중치로 큰 레버리지를 만드는 관절(베이스/어깨)에 페널티를 주고 말단 관절(팔꿈치/손목)을 선호한다. 여기에 가중 널스페이스 투영으로 기본 자세 근처에 머물게 하되 지터를 다시 만들지 않게 했다. 데이터는 10Hz로 기록한다.

전처리:

F/T 신호는 처음 10 샘플의 평균을 빼서 표준화(센서 드리프트/바이어스 제거).
RGB-D는 SAM2[39]를 온라인으로 돌려 칼 마스크와 물체 마스크를 따로 얻는다.
자기수용감각은 end-effector 프레임의 delta pose로 기록 — 선행 연구[40]가 상대 궤적이 임의의 베이스 위치로 일반화된다고 보였기 때문.

정책은 시각+힘 → 자기수용감각(=delta EEF 행동)을 예측한다. 컬러를 그레이스케일로 바꾸고, 깊이를 클리핑해 마스크를 곱하고, 랜덤 크롭 증강을 건다. 시각은 ResNet-18(출력 64차원), 힘은 [-1,1] 정규화 후 MLP, denoiser는 은닉 64의 2층 MLP로 6차원 EEF 행동을 낸다. 아주 작은 모델이다.

📎 코드 대조 — 마스크는 깊이에만 곱하는 게 아니다. 논문 III-B 본문은 “clipped depth values에 이진 분할 마스크를 곱한다”고만 적지만, 공개 구현(파인튜닝 데이터 로더 residual_policy/dataset/dataset.py의 fuse_rgbd; base DP 학습 코드는 미공개다)은 그레이스케일 채널에도 같은 마스크를 곱한다 — gray * mask_f(58행)와 depth_m * mask_f(62행)가 나란히 있고, 둘을 쌓아 [gray, depth] 2채널 텐서를 만든다. 카메라 2대이므로 논문이 말한 관측 크기 (120,160,4)와 정확히 맞아떨어진다. 이 차이는 사소하지 않다. 정책이 보는 시각 입력은 애초에 마스크 밖이 전부 0인 실루엣이고, 그렇다면 아래 Table III에서 컬러 RGB가 0%로 무너지는 현상은 단순히 “질감에 과적합”이라기보다 채널 수와 마스킹 규약이 함께 바뀌는 조건 변경일 가능성이 있다. 논문은 RGB 조건에서 마스킹을 어떻게 처리했는지 명시하지 않고, 공개된 fuse_rgbd에는 그레이스케일 경로만 있어 코드로도 확인되지 않는다. (2026-09-08 기준 ToruOwO/how-to-peel main 확인)

선호 기반 보상과 파인튜닝 (III-C, 부록 -B)

2단계 파이프라인(Fig. 2) — (A) DP 인코더 기반 base policy, (B) 얼린 인코더 특징 z_t·행동 a_t에서 사람 보상 r_t를 회귀하는 보상 모델, (C) 보상 특징 h_t를 조건으로 받아 weighted BC로 학습되는 residual 정책.

보상은 정량 + 정성 하이브리드다.

정량 지표(Fig. 5) — 손목 시점에서 본 껍질 두께 6단계. nominal이 가장 바람직하다.

정량 성분은 궤적을 2Hz로 시간 분할하고 각 세그먼트에 6개 두께 범주(below nominal / nominal / slightly above nominal / above nominal / excessive / N/A) 중 하나를 붙인다. 이 범주는 품종별 룩업 테이블로 \mathcal{R}_{\mathrm{quant}}\in[0,1]에 매핑된다(Table X). 예를 들어 slightly above nominal 은 사과에서 0.8이지만 감자에서는 0.5고, below nominal 은 사과 0.3 / 감자 0.5다 — 사과는 얇게 깎다 실패하는 것을 덜 벌하고, 감자는 두꺼운 쪽을 더 강하게 벌하는 셈이다. 세그먼트 보상은 프레임에 균등 배분하고, 경계 불연속은 \alpha_i=\frac{i+1}{O+1}의 선형 보간으로 부드럽게 한다(L=15, O=3).

정성 지표(Fig. 4) — 정면 시점에서 본 껍질의 전체 외관에 대한 0–9 정수 점수(높을수록 좋음).

정성 성분은 궤적 하나에 0–9 Likert 점수 하나다. 서술자는 0 discard / 1 too low / 2 too high / 3 too short / 4 short, thick / 5 short, thin / 6 mid, thick / 7 long, thick / 8 mid, thin / 9 long, thin이고, \mathcal{R}_{\mathrm{qual}}은 대체로 점수/10이되 7→0.8, 8→0.9, 9→1.0으로 위쪽을 살짝 눌러 놓았다. 사과·감자 매핑은 동일하다.

최종 보상은 조건부 결합이다.

r=\begin{cases}\mathcal{R}_{\mathrm{quant}}, & \mathcal{R}_{\mathrm{quant}}<\tau\\[2pt] \alpha\,\mathcal{R}_{\mathrm{quant}}+(1-\alpha)\,\mathcal{R}_{\mathrm{qual}}, & \text{otherwise}\end{cases}

\tau=0.1, \alpha는 사과 0.85 / 감자 0.75. 즉 두께가 파탄 난 구간(excessive·N/A)에서는 정성 점수를 아예 섞지 않는다 — 전체 인상이 좋다고 국소 파탄을 덮지 못하게 하는 게이팅이다. 소소하지만 설계 의도가 분명한 부분이다.

직관: 왜 residual인가

이 파이프라인의 개선은 새 데이터에서 오지 않는다. base policy와 residual 정책은 같은 데이터셋을 본다. 달라지는 건 그 데이터를 보는 가중치뿐이다. w_t=\exp(\beta r_t)/\mathbb{E}_t[\exp(\beta r_t)]는 사람이 좋다고 한 순간의 행동을 지수적으로 강조하고, residual은 “base가 낼 행동과 그 좋은 행동의 차이”를 학습한다.

왜 base를 직접 파인튜닝하지 않고 굳이 얼려서 residual을 얹는가? Table VIII이 답이다. base를 직접 파인튜닝하면(No Res.) 사과 0% / 감자 40%, 보상 가중으로 처음부터 학습하면(Scratch) 사과 0% / 감자 0%다. 저자들의 해석은 두 단계 분리와 residual 층 둘 다 안정적 학습에 결정적이라는 것. 직관적으로는, 껍질 깎기 정책의 대부분은 “칼을 표면에 붙여 곡면을 따라간다”는 이미 잘 학습된 능력이고 선호가 요구하는 것은 그 위의 작은 보정(깊이 몇 mm, 각도 몇 도)이다. 전체 파라미터를 소량의 재가중 신호로 흔들면 그 기반 능력이 먼저 무너진다. \alpha\|a_t^{\mathrm{res}}\|^2 정규화가 명시적으로 “작은 보정”을 강제하는 것도 같은 맥락이다.

이 관점은 From Imitation to Refinement의 residual RL이나 REFINE-DP의 diffusion policy 파인튜닝과 같은 계보에 있다. 다른 점은 보상이 시뮬레이터나 태스크 성공 판정에서 오지 않고 사람의 미적 판단에서 온다는 것이다.

실험

전체 성능 (IV-A)

학습 품종(오이·사과·감자)에 대해 시작 자세와 개체를 바꿔가며 평가해 전부 100% 를 보고한다. 미학습 품종 zero-shot은 오이→주키니 50%, 사과→배 90%, 감자→무 80%.

데이터 수집 방식 (IV-B)

휴리스틱 플래너 베이스라인(Fig. 6) — 상단 LiDAR로 물체 포인트클라우드를 분할해 표면에 20개 웨이포인트 경로를 깔고, 각 점의 법선으로 칼 자세를 계산해 사람이 키보드로 실시간 보정하며 실행한다.

Table I(오이 궤적 10개, 성공 = 점수 > 3, 시간은 성공 궤적만 평균):

수집 방식	성공%	평균 점수	평균 시간(s)
Heuristic Planner	20	1.8	50
VR	20	2.1	69.5
SpaceMouse (ours)	100	8.5	46
Kinesthetic Teaching	100	7.2	13.8
└ Replay (튜닝된 컴플라이언스)	0	1.6	N.A.

읽을거리가 많은 표다. kinesthetic teaching은 수집 자체는 3배 이상 빠르지만(13.8초 vs 46초) 점수는 낮고(7.2 vs 8.5), 결정적으로 그 궤적을 컴플라이언스 파라미터를 튜닝해 리플레이하면 성공률 0% 다. 저자들은 ACP[31] 식 휴리스틱으로 광범위하게 튜닝해도 안 됐다고 적으며, 농산물 표면 변이 때문으로 추정한다. 손으로 끌어 만든 궤적의 유효 컴플라이언스를 사후에 복원하는 접근 전체에 대한 강한 반례다. VR 원격조작[43]이 SpaceMouse보다 훨씬 나쁜 이유는 컨트롤러를 든 손 자체의 불안정성과 트래킹 노이즈로 설명한다.

관측·행동 공간 설계 (IV-C)

감자 데이터, 최고 체크포인트로 5회 시행.

카메라(Table II): 둘 다 80% / 5.9, before만 100% / 4.8, after만 60% / 3.2. 깎기 방향이 고정이라 한 카메라는 깎기 직전 시점을, 다른 하나는 직후 시점을 본다. 곡면 때문에 직후 뷰는 칼날–표면 접촉이 가려져 정보가 적다는 해석이다.

모달리티(Table III):

모달리티	성공%	평균 점수
gRGB, D, F	80	5.9
gRGB, D	60	5.2
RGB, D, F	0	1.6
F	0	0.6

가장 강한 결과는 컬러 RGB를 그대로 넣으면 0% 라는 것이다. 그레이스케일 변환이 정책을 표면 질감 대신 기하 특징에 집중하게 만든다는 설명인데, 감자 5회 시행에서 80%→0%라는 낙차는 단순한 “일반화 도움” 이상의 무언가를 시사한다. 앞서 코드 대조에서 본 것처럼 그레이스케일 경로는 마스크가 곱해진 2채널 실루엣이므로, 이 행의 차이가 색 정보 하나인지 마스킹 규약까지 포함하는지는 논문·코드 어디서도 확정되지 않는다. 힘을 빼면 80→60%로 떨어지고, 힘만으로는 당연히 안 된다.

샘플 효율(Table IV, 감자): 200궤적 80% / 5.9, 100궤적 60% / 4.4, 40궤적 10% / 2.4. 감자 200궤적은 약 33개(개당 6궤적), 오이 50궤적은 약 8개다. 저자들은 성공률 80%에 도달할 때까지 성능이 거의 선형으로 오른다고 정리한다.

선호 정렬 (IV-D)

베이스라인 정성 비교(Fig. 7) — 우상단 숫자가 정성 점수. 제안 방법은 사과·감자 모두 9인 반면 Base Only는 4/4, IQL-weighted는 1/2다.

Table V (A=사과, P=감자):

방법	성공%(A)	점수(A)	성공%(P)	점수(P)
Ours	100	7.1	100	7.3
Base Only	60	3.8	80	5.9
Quantitative Reward만	40	3.8	60	4.0
Qualitative Reward만	0	1.4	60	4.4
IQL-weighted	0	0.2	0	2.6

흥미로운 건 정량만 / 정성만 쓰면 base보다 나빠진다는 것이다(사과 60→40 / 60→0, 감자 80→60 / 80→60). 두 신호의 결합이 단순한 덧셈 이상의 역할을 한다는 뜻인데, 부록의 게이팅(\mathcal{R}_{\mathrm{quant}}<\tau이면 정성 무시)이 그 결합의 실체다. 반쪽 보상만 주면 정책이 그 축으로 과최적화돼 오히려 망가진다.

IQL[44] 기반 오프라인 RL 파인튜닝은 두 품종 모두 0% 로 완패한다. 저자들은 지도학습식 파인튜닝이 안정성·인프라 부담·성능 모두에서 낫다고 결론짓는다.

보상 밀도 설계(Table VI): per-step + fine-grained(ours) 100/100%에 비해, per-step + binary는 0/0%, per-60-step + fine-grained는 0/20%, per-trajectory + fine-grained는 40/0%. 이진 보상이 가장 나쁘다는 점이 눈에 띈다 — 이 태스크의 성공이 연속량이라는 논문의 전제를 실험이 뒷받침한다.

보상 활용법(Table VII): One-Step advantage 0/60%, 하드 임계 Filter 0/80%, ours 100/100%. 부드러운 지수 가중이 하드 필터링보다 낫다.

학습 스킴(Table VIII): Scratch 0/0%, No Residual 0/40%, ours 100/100%.

실패 사례 (IV-E)

너무 낮게 깎기(점수 1)·너무 높게 깎기(점수 2) 외에, 실패 대부분은 일반화 실험에서 나온다. 오이 정책을 사과에, 사과 정책을 감자에, 감자 정책을 오이에 적용한 실패 영상을 보충자료에 싣는다. 특성이 완전히 다른 품종으로 안 넘어가는 것 자체는 놀랍지 않지만 어디까지 넘어가는지를 결정하는 요인은 열린 문제라고 남긴다.

비판적으로 보면

강점

문제 설정이 정직하고 새롭다. “성공이 연속·주관적”이라는 지점을 회피하지 않고 평가 지표 자체를 설계 대상으로 끌어올렸다. 정량(두께 6범주)과 정성(0–9)을 분리하고, 정량이 파탄일 때 정성을 무시하는 게이팅까지 만든 것은 애드혹해 보여도 문제 구조를 반영한 설계다.
음의 결과를 숨기지 않는다. kinesthetic replay 0%, IQL 0%, 반쪽 보상이 base보다 나빠짐, 컬러 RGB 0% — 자기 방법이 이긴 표만 싣는 논문이 아니다. 특히 kinesthetic 리플레이 실패는 ACP[31] 계열에 대한 실측 반례로 가치가 있다.
추가 시연 없이 개선한다. 파인튜닝 단계는 라벨링 비용만 들고 새 로봇 데이터 수집이 없다. 실물 로봇 연구에서 이 비대칭은 크다.
재현 가능성이 이례적으로 높다. 제어기 게인(Table IX), 보상 룩업 테이블(Table X, XI), \tau·L·O·\alpha 값이 전부 부록에 있고, 코드와 데이터셋이 공개돼 있다.

약점·한계

초록의 일반화 주장이 본문과 어긋난다. 초록은 “OOD 품종에서도 90% 이상 성공률을 유지한다(maintaining over 90% success rates)”고 쓰지만, 본문 IV-A의 실제 수치는 주키니 50% / 배 90% / 무 80%로 평균 73.3% 다. 본문 III절 자체도 “미학습 품종에서 70% 이상”이라고 적어 초록과 다르다. 90%를 넘는 것은 배 하나뿐이다. 이건 표현 과장이 아니라 수치 불일치다.
“최대 40% 향상”은 퍼센트 포인트다. 사과 60%→100%는 40pp이고 상대 개선으로는 67%다. 논문이 “%”로만 적어 상대 개선으로 오독되기 쉽다(감자는 20pp).
시행 수가 너무 적다. IV-C는 “최고 성능 체크포인트로 5회 시행”이라 하고 샘플 효율 절은 “각 수치는 10회 시행”이라 해 논문 안에서도 일관되지 않는다. 어느 쪽이든 n\le 10이며, 이 규모에서 80%와 100%는 1~2회 차이다. Table V~VIII의 모든 결론이 이 표본 위에 있다. 신뢰구간·시드 반복·표준편차가 전혀 없다.
표와 본문 서술이 충돌한다. IV-C 본문은 “두 카메라를 쓸 때가 단일 카메라보다 엄격히 낫다”고 쓰지만 Table II는 before-only가 성공률 100%로 both(80%)보다 높다. 평균 점수는 both가 높으니(5.9 vs 4.8) 종합해 낫다고 볼 수는 있어도 “strictly better”는 성립하지 않는다. 같은 절에서 카메라·모달리티 ablation을 둘 다 “Table IV”로 참조하는 등 표 번호 오기도 있다.
“선호 학습”이라기엔 선호 비교가 없다. 실제 파이프라인은 사람이 매긴 절대 점수를 손으로 만든 룩업 테이블로 스칼라화한 뒤 MSE로 회귀하는 것이다. Bradley–Terry식 쌍 비교도, 여러 평가자 간 불일치 처리도 없다. 즉 “보상 설계가 어렵다”고 문제를 제기한 뒤 결국 품종별로 손으로 조정한 보상 테이블(사과 α=0.85 / 감자 0.75, 두께→보상 매핑도 품종별로 다름)을 도입한다. 보상 설계 부담이 사라진 게 아니라 범주 라벨링 + 테이블 튜닝으로 형태가 바뀐 것에 가깝다. 저자들도 한계 절에서 랭킹·리스트와이즈 보상을 향후 과제로 언급한다.
라벨링 비용과 주석자 정보가 없다. 몇 개 궤적에 2Hz 세그먼트 라벨을 붙였는지, 주석자가 몇 명인지, 소요 시간이 얼마인지 보고되지 않는다. IV-D의 “밀도 높은 보상의 노동 비용은 소량의 손 주석에서 보상 함수를 학습해 상쇄된다”는 주장의 근거 수치가 비어 있다.
데이터 수집량 서술이 불일치한다. Training details는 사과 150 궤적이라 하는데, IV-C는 “100궤적(사과 약 17개)으로 60% / 3.8”이라 쓰고 이 값이 Table V의 Base Only(사과) 60 / 3.8과 정확히 일치한다. 파인튜닝 실험의 사과 base가 150개짜리인지 100개짜리인지 모호하다.
비교 대상이 자기 자신뿐이다. 칼 깎기의 선행 연구가 없다는 사정은 이해되지만, 필러 기반 시스템[26, 27]이나 사람 수행과의 비교가 전혀 없어 “얼마나 잘하는가”의 외부 기준점이 없다. 정성 점수 7.1~7.3이 사람 원격조작 데이터의 8.5(Table I, 오이)보다 낮다는 점 정도가 유일한 간접 비교다.
오이는 파인튜닝 평가에서 빠진다. Table V~VIII은 사과·감자만 다룬다(오이 base가 이미 100%이므로 개선 여지가 없어서로 보이지만 명시되지 않는다). 보상 테이블(Table X, XI)도 사과·감자만 있다.
태스크 정의가 좁다. 평가 단위는 주축을 따라가는 스트로크 1회다. 감자 한 개를 통째로 다 깎는 완결 태스크가 아니라 스트로크 단위 품질을 본다. 실사용 관점에서 남는 거리가 있다.
저자들 스스로 드는 한계: 고품질 수동 시연 의존, 인지 병목(전면 카메라 추가 필요), 그리고 음식물 쓰레기 문제(재사용 가능한 대체 농산물이나 시뮬레이션 필요).

요약

이 논문은 “칼로 껍질 깎기”라는 아주 구체적인 태스크를 통해 성공이 연속량인 조작을 어떻게 학습·평가할 것인가를 묻는다. 답은 소박하다 — 사람에게 점수를 매기게 하고, 그 점수를 회귀하는 작은 보상 모델을 만들고, 얼린 정책 위에 작은 residual을 얹어 재가중 BC를 돌린다. 새 데이터도, 온라인 RL도, 시뮬레이터도 없다. 그런데도 사과 60→100%, 감자 80→100%다.

동시에 이 논문은 자기 주장에 대해 조금 느슨하다. 초록의 “OOD에서 90% 이상”은 본문의 50/90/80과 맞지 않고, 모든 결론이 5~10회 시행 위에 서 있으며, “보상 설계가 어렵다”는 문제 제기의 해법 안에 품종별로 손으로 맞춘 보상 테이블이 들어 있다. 그럼에도 실패한 베이스라인을 그대로 싣고 게인·보상 테이블·데이터·코드를 공개했다는 점에서, 후속 연구가 딛고 검증하기에 좋은 발판이다. 남는 질문은 하나로 압축된다: 재가중만으로 얻은 이 40pp가, 시행을 100회로 늘려도 남을 것인가.