📃HiFun 리뷰

dexterity

human-in-the-loop

hierarchical-rl

residual

HiFun: a Hierarchical Framework for Efficient Functional Dexterous Manipulation Learning

Published

November 1, 2026

Paper Link (arXiv:2610.19518)
Project
Code Link (README만 있고 소스코드는 아직 없다)
Linyi Huang, Guowei Huai, Weibin Liu, Shulong Jiang, Ping Tan, Weixuan Zhang, Hui Zhang, Jie Song
HKUST (Guangzhou), HKUST, ETH Zurich / CoRL 2026

💡 다지 손으로 공구를 쓰는 functional manipulation은 정밀한 손끝 접촉, 팔-손 협응, 접촉이 어긋났을 때의 복구를 동시에 요구한다. HiFun은 이 제어 문제를 “손가락이 어떻게 접촉하는가”(hand skill)와 “그 접촉을 어디서, 언제 쓰는가”(coordination policy)로 쪼개 실기 RL로 배운다.
⚙️ 먼저 kinesthetic teaching으로 얻은 손 궤적 하나에 residual RL(SAC)을 얹어 접촉 인식 hand skill을 만들고 얼린다. 그 다음 coordination policy가 팔 끝단 증분 \Delta x_t\in\mathbb{R}^6와 스킬 활성 정도 \alpha_t\in[0,1]만 내도록 RLPD로 학습한다. 시연 1개를 DMP로 불린 100개 rollout으로 warm start하고, 사람은 손가락 전체가 아니라 “스킬 발동 버튼”과 팔 위치만 교정한다. critic은 팔 정렬과 활성 타이밍을 head 둘로 나누고(multi-head critic), 사람 교정은 critic이 추정한 advantage로 가중해 모방한다(IAW).
🎯 Sharpa 손 과제 4개와 XHand 과제 2개에서 과제당 50회 평가 평균 성공률 98.3%(295/300)를 냈다. 같은 DMP 데이터와 같은 RLPD를 쓴 flat HIL-SERL은 4.5%와 13.7%, 사람 시연 200개로 학습한 BC와 Diffusion Policy는 23.7%와 41.7%였다. 단 “1시간 이내”는 coordination policy의 온라인 학습 시간만 센 값이고, hand skill 학습 시간은 논문에 없다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

드릴로 나사를 조이거나, 폼에 꽂힌 얇은 공구를 손가락으로 지렛대질해 들어 올린 뒤 집어 빼는 일은 다지 손이 있어야 하는 대표적인 과제다. 그런데 이런 과제를 배우는 기존 경로에는 각자 막히는 곳이 있다. 시뮬레이션 RL은 마찰·변형이 섞인 접촉을 옮겨 오기 어렵다. 원격조작 시연을 모아 imitation learning을 하려면 팔 궤적, 손가락 여러 개의 접촉, 접촉 타이밍을 사람이 한 번에 맞춰야 하고, 사람 손과 로봇 손의 형태 차이 때문에 시연에 접촉 잡음이 섞인다. 실기 RL(HIL-SERL 계열)은 실패에서 복구하는 법까지 배울 수 있지만, 팔+손 전체 자유도에서 탐색하고 사람이 그 전체를 실시간으로 교정하기는 비효율적이다.

HiFun의 답은 계층 분해다. 손가락의 세밀한 접촉은 과제마다 하나씩 따로 배운 hand skill에 맡기고 얼린다. 그 위의 coordination policy는 팔을 6차원으로 움직이는 것과 스킬을 얼마나 켤지를 정하는 스칼라 하나만 고른다. 이렇게 하면 탐색 공간이 줄고, 사람의 교정도 “손가락 관절 전부를 따라 하게 하는 것”이 아니라 “팔을 옮기고 버튼을 눌러 스킬을 발동하는 것”으로 바뀐다. 저자들은 이 교정 인터페이스의 단순화가 사람 개입의 질을 올린다는 점을 핵심으로 내세운다.

프로젝트 페이지의 개요 영상(25초, 무음). Sharpa 손의 얇은 손잡이 공구 회수, 드릴 파지와 정렬, "Fully autonomous" 표시가 붙은 서랍 배치 장면이 이어진다.

과제 개요(Fig. 1). A 드릴 조작, B 각도 스프레더 회수, C 얇은 손잡이 회수, D 드릴 비트 제거는 Sharpa 손, E 피펫 분주와 F 얇은 축 공구 회수는 XHand로 수행한다. 왼쪽 아래는 \pi_{skill}(어떻게 접촉할지)과 \pi_{coord}(\Delta x,\alpha)(어디서, 언제 발동할지)의 분업을 요약한다.

HiFun 구조(Fig. 2). ① kinesthetic prior와 손끝 힘 피드백으로 residual hand skill을 배운다. ② 시연 1개를 DMP로 불린 데이터로 coordination policy를 offline 사전학습하고, 스킬 수준 개입과 배포 rollout으로 온라인 미세조정한다. 아래 상자는 multi-head critic과 IAW가 들어가는 value-guided update다. 오른쪽은 실행 시 팔 명령 \Delta x_t와 손 명령 \theta_t^{hand}가 합쳐지는 방식이다.

핵심 방법론:

hand skill은 kinesthetic teaching으로 녹화한 기준 손 자세 \theta_t^{ref}에 잔차를 더한다(\delta\theta_t\in\mathbb{R}^{12}).

\theta_t^{skill} = \theta_t^{ref} + \lambda_{res}\,\delta\theta_t, \qquad r_{skill} = -\omega_{track}\lVert\theta_t^{cur}-\theta_t^{ref}\rVert^2 + \omega_{force}\sum_i \min(\lVert f_t^{(i)}\rVert, F^{(i)}_{max}) + \mathbb{I}_{success}R_{skill}

coordination policy는 a_t^{coord}=[\Delta x_t,\alpha_t]를 내고, 손 명령은 중립 자세 \theta^{reset}와 스킬 자세 사이의 보간이다.

\theta_t^{hand} = \alpha_t\,\theta_t^{skill} + (1-\alpha_t)\,\theta^{reset}

critic은 과제 성공 보상 R_{task}로 학습하는 Q^{nav}와, 스킬을 너무 일찍 켜면 벌점을 주는 r_{mod}로 학습하는 Q^{mod}로 나뉜다. actor는 \hat Q = Q^{nav}+Q^{mod}를 최대화하되 Q^{nav}는 \alpha_t 쪽으로, Q^{mod}는 \Delta x_t 쪽으로 gradient를 막는다. 온라인 단계에서 사람 교정 a_I는 advantage로 가중해 모방한다.

A_I(s)=\min_i \hat Q_{\bar\phi,i}(s,a_I)-\min_i \hat Q_{\bar\phi,i}(s,\bar a_\pi(s)),\qquad \mathcal{L}_{IAW}=\mathbb{E}\big[\sigma(\mathrm{Norm}(A_I)/\tau_I)\,\lVert\bar a_\pi(s)-a_I\rVert^2\big]

주요 결과:

본 결과(Table 1, 과제당 50회): HiFun 평균 98.3%. Sharpa 과제 4개는 모두 100%, XHand 피펫 분주는 90%, 얇은 축 공구 회수는 100%. RL 데이터 수집(DMP rollout 100개)은 평균 18.8분, 온라인 학습은 평균 46.2분이다.
베이스라인: HIL-SERL(Glove+Gello) 4.5%, HIL-SERL(Ours Interv.) 13.7%, BC 23.7%, Diffusion Policy 41.7%. flat 정책은 팔 접근 자체는 28~62% 성공하지만 손 접촉 단계에서 무너진다(예: 40%가 접근, 최종 0%).
견고성: 교란 20회 평가에서 4개 과제 20/20, 드릴 조작과 피펫 분주 18/20. 팔을 고정한 hand skill 단독 평가에서 방향 변화 시 19/20과 18/20, 외력 교란 시 18/20.
절제(Table 2, 2개 과제): multi-head critic을 빼면 100% → 85%/75%, IAW를 균일 가중 모방으로 바꾸면 60%/60%, 개입 모방을 빼면 40%/40%. warm start를 사람 시연 대신 DMP로 하면 성공률은 같거나 높고 수집 시간은 약 4배 짧다.
hand skill 단독(Table 3, 20회): residual skill은 6개 과제 모두 20/20, 같은 궤적의 open-loop replay는 드릴 비트 제거 5/20 외에는 0/20이다.

결론:

HiFun의 새로움은 계층 RL이라는 틀 자체보다 계층을 사람 개입 인터페이스로 쓴다는 점에 있다. 얼린 hand skill은 정책의 action primitive이면서 동시에 사람이 버튼 하나로 부르는 교정 수단이다. 그 결과 같은 RL 백본과 같은 초기 데이터를 쓴 flat HIL-SERL보다 훨씬 높은 성공률이 나왔고, 대조 실험도 꽤 촘촘하다(같은 개입 인터페이스를 준 flat 정책, 같은 hand skill을 준 HIL-SERL, HiFun 데이터로 학습한 IL). 다만 학습 비용 헤드라인은 hand skill 학습을 빼고 센 값이고, 기준선의 실제 학습 시간이 “1시간 예산”이라는 서술과 그림이 어긋나며, 보상·잔차 관련 상수 대부분이 논문에 없다. 코드가 아직 공개되지 않아 이 빈칸을 채울 방법도 지금은 없다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

실기에서 다지 손 정책을 배울 때 가장 비싼 것은 로봇 시간이 아니라 사람의 교정이다. 사람이 장갑이나 비전 retargeting으로 손가락 전부를 실시간 조종하면 형태 차이 때문에 교정이 떨리고 일관성이 없어서, 교정 데이터가 replay buffer를 오히려 더럽힌다. HiFun은 손가락 접촉을 과제별 hand skill로 미리 굳혀 두고, 학습할 정책과 교정하는 사람 모두가 그 스킬을 “부르는” 수준에서만 손을 다루게 만든다. 정책 쪽에서는 탐색 차원이 팔 6 + 스칼라 1로 줄고, 사람 쪽에서는 손 교정이 버튼 하나가 된다. 나머지 설계(DMP warm start, multi-head critic, IAW)는 이 분해가 남긴 두 문제, 곧 “언제 스킬을 켤지의 credit assignment”와 “교정마다 품질이 다르다”를 처리하는 부품이다.

배경: functional dexterity가 기존 경로에서 막히는 곳 (§1·§2)

저자들은 functional dexterous manipulation의 요구조건을 세 가지로 정리한다. 손끝을 과제에 맞는 위치에 놓고 힘을 조절하는 precise contact, 팔 움직임·다지 접촉·접촉 타이밍을 한 실행 안에서 맞추는 arm-hand coordination, 미끄러짐이나 삽입 실패, 너무 이른 힘 가하기에서 돌아오는 reactive recovery다. 서론의 예시인 얇은 손잡이 공구 회수(Fig. 1C)는 셋이 한 과제 안에 다 들어 있다. 노출된 손잡이에 손끝을 대고, 팔과 손가락 지렛대질을 맞춰 틈을 만들고, 접촉을 잃지 않은 채 정밀 파지로 바꿔야 한다.

기존 경로의 한계는 다음과 같이 정리된다.

경로	잘하는 것	이 논문이 지적하는 한계
대규모 시뮬레이션 RL	파지·in-hand 회전의 강건성	변형·마찰 변화·미세 힘 피드백이 섞인 functional 접촉은 sim-to-real이 불안정
IL·사전학습 visuomotor policy(DP, ACT, VLA)	고자유도 팔-손 행동 표현	시연이 비싸고 잡음이 많다. 사람-로봇 손 형태 차이로 retargeting 잡음이 생기고, 성공 시연 위주라 복구 근거가 적다
실기 RL·HIL(HIL-SERL)	실제 접촉에서 배우고 실패에서 복구	팔+손 전체 자유도의 탐색과 실시간 교정이 비효율적. 결합된 손가락 관절을 일관되게 교정하기 어렵다
계층·스킬 기반 RL	하위 스킬 재사용으로 탐색 축소	기존 예(Sequential Dexterity, From Simple to Complex Skills, sub-skill 제어기 유도)는 시뮬레이션 중심이거나 in-hand 회전용

HIL-SERL은 HIL-SERL 리뷰에서 다뤘듯 그리퍼 로봇의 정밀 조립·동적 조작에서 1~2.5시간 학습으로 거의 완벽한 성공률을 보인 시스템이고, 그 백본인 RLPD는 RLPD 리뷰에 정리돼 있다. HiFun은 이 백본을 그대로 쓰면서 그리퍼 대신 다지 손을 붙였을 때 생기는 문제를 정면으로 다룬다. 계층 측면의 선행 연구로 저자들이 드는 것은 다지 sub-policy를 이어 붙인 Sequential Dexterity, 배운 회전 스킬을 재사용하는 From Simple to Complex Skills, 단순 sub-skill 제어기로 탐색을 유도한 Khandate et al.(2024)이다.

방법 상세 1: 문제 정식화 (§3.1)

관측은 s_t=(I_t, q_t, f_t)다. I_t는 손목·외부 RGB, q_t는 팔-손 고유수용 감각, f_t는 손끝 접촉력이다. 두 정책의 역할은 다음처럼 나뉜다.

	\pi_{skill}(s_t,\theta_t^{ref})	\pi_{coord}(s_t)
출력	잔차 \delta\theta_t\in\mathbb{R}^{12}	[\Delta x_t\in\mathbb{R}^6,\ \alpha_t\in[0,1]]
담당	손가락이 어떻게 접촉을 만드는가	그 접촉을 어디서, 언제 쓰는가
학습	SAC, 실기, kinesthetic 시연으로 replay 초기화	RLPD, DMP 데이터 offline 사전학습 + HIL 온라인
학습 후	얼려서 action primitive이자 개입 인터페이스로 사용	배포 정책

로봇이 실제로 실행하는 것은 (\Delta x_t, \theta_t^{hand})이고, \theta_t^{hand}=\alpha_t\theta_t^{skill}+(1-\alpha_t)\theta^{reset}이다. 식 그대로 읽으면 \alpha는 중립 자세와 스킬 자세 사이를 연속으로 보간하는 가중치다. 그런데 부록 A는 DMP rollout 수집을 “\alpha_t>\tau이면 얼린 \pi_{skill}이 손가락 명령을 내고, 아니면 손은 \theta^{reset}에 머문다”고 설명한다. 이 서술은 \alpha를 문턱 \tau로 거는 이진 스위치로 쓰는 것처럼 읽힌다. 실행 시 어느 쪽인지, 둘을 섞는지(문턱 위에서만 보간하는지)는 논문에 명시돼 있지 않다. r_{mod}도 \alpha_t>\tau 조건으로만 정의되므로(아래 식 (4)) 학습 신호 쪽에서는 사실상 문턱이 중요하다.

또 하나 짚을 점은 잔차의 차원이다. 식 (1)은 두 손 모두에 \delta\theta_t\in\mathbb{R}^{12}를 쓴다. XHand1은 12자유도로 알려져 있어 맞지만, Sharpa Wave는 제조사 소개로 능동 22자유도 손이다. Sharpa에서 잔차가 어떤 12개 관절에 걸리는지는 논문이 설명하지 않는다.

방법 상세 2: 접촉 인식 hand skill (§3.2)

kinesthetic prior. KineDex(Zhang et al., 2025)의 hand-over-hand 교시 인터페이스로, 사람이 로봇 손을 직접 움직여 기준 궤적 \xi^{ref}=\{\theta_0^{ref},\dots,\theta_T^{ref}\}과 손끝 힘의 시간 변화를 녹화한다. 이때 손가락별 힘 상한 F^{(i)}_{max}도 함께 모아 보상 클리핑에 쓴다. 부록 C.1에 따르면 과제당 기준 궤적 1개를 녹화하는 데 보통 5분이 안 걸린다. 힘 신호가 잡음 없이 나오도록 접촉 순서를 천천히 가르치고, 빠른 실행이 필요하면 녹화한 궤적을 시간축에서 다시 샘플링한다.

reference rewind. 측정한 접촉이 기대 상태에서 크게 벗어나면 기준 자세를 가장 최근의 “접촉이 일관된” 상태로 되감는다. 그래서 \theta_t^{ref}는 단순히 시간 t의 기준 자세가 아니라 “실행 스텝 t에서 선택된” 기준 자세다. 이 장치가 Fig. 3의 손가락 수준 복구를 만든다. 단 “크게 벗어남”의 기준(문턱, 어떤 신호로 판정하는지)은 논문에 없다.

보상. 식 (3)은 세 항이다.

r_{skill} = -\omega_{track}\lVert\theta_t^{cur}-\theta_t^{ref}\rVert^2 + \omega_{force}\,\mathcal{F}(f_t) + \mathbb{I}_{skill\text{-}success}R_{skill},\qquad \mathcal{F}(f_t)=\sum_{i=1}^{N_f}\min(\lVert f_t^{(i)}\rVert, F^{(i)}_{max})

추적 항은 탐색을 시연된 접촉 기하 근처에 묶고, 힘 항은 과제에 필요한 접촉을 장려하며(상한으로 잘라 과도한 힘을 보상하지 않는다), 희소 보너스는 조작자가 표시한 스킬 성공이다. critic은 실제로 실행된 손 명령 \theta_t^{skill} 위에서 학습해 가치 추정이 실제 손가락 배치에 대응하게 한다. 학습은 실기 SAC이고 replay는 kinesthetic 시연으로 초기화한다. 부록 C.1은 학습 초기에 잔차를 0 근처로 초기화하고 잔차 스케일을 작게 두었다가, 이후 키워 실제 접촉 역학에 적응하게 한다고 적는다.

이 절에서 논문에 없는 값을 모으면 길다. \lambda_{res}(초기·최종), \omega_{track}, \omega_{force}, R_{skill}, rewind 문턱, hand skill 학습의 스텝 수와 실기 학습 시간이 모두 없다. Table 4의 하이퍼파라미터는 “공통 정책 학습”이라 되어 있지만 행 구성(행동 공간 “6D twist, skill modulation weight”, 분류기 보상, IAW 가중치)으로 보면 coordination policy용이다.

방법 상세 3: skill-conditioned coordination (§3.3)

보상과 multi-head critic

coordination policy는 RLPD로 학습한다. 과제 완료는 ResNet-10 시각 특징, 손끝 힘, 관절 토크를 입력으로 받는 이진 분류기가 판정해 종단 보상 R_{task}\in\{0,1\}를 준다(Table 4: 분류기 정확도 95%). 희소한 R_{task}는 접근 방향은 알려 주지만 스킬을 언제 켤지는 알려 주지 않으므로, 활성 타이밍 보상을 따로 둔다.

r_{mod}=\begin{cases} r_{bonus} & \alpha_t>\tau,\ R_{task}=1\\ r_{penalty} & \alpha_t>\tau,\ R_{task}=0\\ 0 & \text{otherwise} \end{cases} \qquad (r_{penalty}<0<r_{bonus})

저자들의 관찰은 이렇다. R_{task}+r_{mod} 하나로 Q를 학습하면 정책이 스킬 활성을 회피하게 된다. 학습 초기에는 높은 \alpha로 시도한 것이 대부분 실패하므로 누적 벌점이 높은 \alpha 행동의 가치를 지배하기 때문이다. 그래서 TD 목표를 따로 갖는 두 head를 둔다.

\mathcal{L}_Q(\phi)=\mathbb{E}\big[(Q^{nav}_\phi-y^{nav})^2+(Q^{mod}_\phi-y^{mod})^2\big],\qquad \hat Q_\phi(s,a)=Q^{nav}_\phi(s,a)+Q^{mod}_\phi(s,a)

actor 최적화에서 Q^{nav}는 \alpha_t를 통한 gradient를, Q^{mod}는 \Delta x_t를 통한 gradient를 끊는다. 두 head가 같은 물리 행동을 채점하되, 팔 정렬은 navigation head가, 활성 타이밍은 modulation head가 주로 모양 짓게 하는 action-subspace gradient routing이다. 이 발상은 HIL-SERL이 이산 그리퍼 행동을 위해 별도의 grasp critic(DQN)을 둔 것과 같은 계열이다. 차이는 HiFun의 \alpha가 연속값이고, 분리 기준이 행동 종류가 아니라 보상 출처라는 점이다. r_{bonus}, r_{penalty}, \tau의 값은 논문에 없다.

offline 사전학습: DMP 증강

처음부터 학습하는 비용을 피하려고, 팔 궤적과 스킬 활성 스케줄을 담은 시연 하나(Gello로 수집)에서 출발한다. 이 팔 궤적에 Cartesian DMP(Ude et al., 2014)를 맞추고, 목표는 고정한 채 초기 자세 [p_0, q_0]를 작업 공간 안에서 무작위로 바꿔 적분한다(부록 A, 식 (9)~(11)).

\lambda^2\ddot p = K_p(g_p-p)-\lambda D_p\dot p+\Phi_p(s),\qquad \lambda\dot\eta = K_o\,2\log(g_o*\bar q)-D_o\eta+\Phi_o(s),\qquad \lambda\dot q=\tfrac12\eta*q

손 활성은 phase 정렬로 시연을 따르고(\alpha_t=\alpha^{ref}(s_t)), 팔 행동 라벨은 다음 DMP waypoint와 현재 상태 차이를 [-1,1]로 자른 값이다(\Delta x_t=\mathrm{clip}(x^*_{t+1}-x_t,-1,1)). 생성한 궤적은 실제 로봇에서 실행해 전이를 모으므로, DMP 데이터에도 실제 접촉 결과가 들어간다. 이렇게 모은 \mathcal{D}_{dmp}로 SAC + global BC 항을 최적화한다.

\mathcal{L}^{off}_\pi=\mathbb{E}_{s\sim\mathcal{D}_{dmp},a\sim\pi}\big[\eta\log\pi(a|s)-\hat Q_\phi(s,a)\big]+\lambda_{gbc}\,\mathbb{E}_{(s,a^{dmp})\sim\mathcal{D}_{dmp}}\big[\lVert\bar a_\pi(s)-a^{dmp}\rVert^2\big]

\lambda_{gbc}=0.5다(Table 4). Table 1의 “RL Data Collection”은 이 DMP rollout 100개를 실기에서 모은 시간으로, 과제별 13~34분이다. 저자들은 이 시간이 “사람 노동 없이” 걸린다고 하지만, Table 4의 리셋 방식은 “Scripted/Human reset”이라 리셋에 사람이 개입할 수 있다.

DMP rollout과 사람 원격조작 궤적의 분포(부록 Fig. 4). 왼쪽은 기준 시연(빨강) 하나에서 DMP로 만든 궤적(파랑), 오른쪽은 원격조작 궤적(보라)이다. 축 눈금으로 보면 표시된 공간은 X 약 4 cm, Y 약 5 cm, Z 약 6 cm 범위다.

Fig. 4를 열어 보면 본문 서술과 맞춰 볼 곳이 있다. 캡션과 본문은 “기준 궤적 하나에서 목표를 고정하고 초기 자세만 바꾼다”고 하는데, 그림의 파란 DMP 궤적은 Target A와 Target B 두 목표로 수렴하고, 빨간 기준 시연은 그중 아래쪽 Target B로만 간다. 두 목표가 과제의 두 단계인지, 기준 시연이 사실 둘인지는 그림과 본문만으로는 알 수 없다. 또 원격조작 궤적은 목표 근처에서 크게 떨리는 반면 DMP 궤적은 매끄럽게 수렴한다. 저자들은 이를 “더 넓고 일관된 접근 범위”의 근거로 쓰지만, 매끄러움은 DMP의 성질이지 데이터의 다양성을 직접 보여 주지는 않는다. 실제로 DMP 궤적은 같은 목표에 같은 방식으로 들어가므로, 목표 근처의 미세 정렬 상태는 오히려 원격조작 데이터가 더 다양하게 덮는다(필자 해석).

왜 offline RL 목적함수(CQL·IQL)가 아니라 SAC인가(부록 A). \mathcal{D}_{dmp}는 성공한 기준 동작에서 생성돼 품질이 섞인 일반 offline 데이터와 성격이 다르고, 거친 coverage만 제공한다. 저자들은 이 조건에서 IQL은 BC와 비슷하게 동작하고 CQL은 이득이 적었다고 “경험적으로” 보고하며(수치는 없다), SAC를 offline과 online 양쪽에 써서 비관적 offline 목적함수와 실제 온라인 return 사이의 value calibration 격차를 피한다고 설명한다.

대표 분해 과제의 offline 사전학습 분석(부록 Fig. 5). (a) 전체 target Q가 발산 없이 수렴한다. (b) 두 head의 값 크기가 크게 다르다(범례 이름은 Q_{arm}, Q_{hand}).

Fig. 5에서 읽히는 값은 해석에 주의가 필요하다. 수렴 구간에서 (a)의 전체 target Q는 약 0.48, (b)의 arm head는 약 0.81, hand head는 약 0.15다(그림에서 읽은 값). 본문 정의대로 \hat Q=Q^{nav}+Q^{mod}라면 합은 약 0.96이어야 하는데, 0.48은 오히려 두 head의 평균과 맞는다. target이 ensemble 최솟값이라 줄어든 것일 수도 있고 그림의 “Total”이 다른 정의일 수도 있다. 논문은 설명하지 않는다. head 이름도 본문의 nav/mod가 아니라 arm/hand로 붙어 있다.

online 미세조정: 스킬 수준 개입과 IAW

온라인 단계에서는 정책 rollout과 사람 교정을 RLPD로 갱신한다. 팔 개입은 Gello를 통한 상대 SE(3) retargeting으로 부드럽게 넘겨받고, 손 개입은 손가락 전체를 원격조작하는 대신 버튼으로 얼린 \pi_{skill}을 발동한다. 교정 품질이 제각각이라는 문제는 IAW로 처리한다. target critic ensemble로 교정 행동과 현재 결정적 정책 행동의 가치 차를 추정하고,

A_I(s)=\min_i\hat Q_{\bar\phi,i}(s,a_I)-\min_i\hat Q_{\bar\phi,i}(s,\bar a_\pi(s)),\qquad w(s)=\sigma\big(\mathrm{Norm}(A_I(s))/\tau_I\big)

그 가중치로 모방 손실 \mathcal{L}_{IAW}=\mathbb{E}_{(s,a_I)\sim\mathcal{D}_I}[w(s)\lVert\bar a_\pi(s)-a_I\rVert^2]를 만든 뒤 SAC actor 손실에 더한다(\mathcal{L}^{on}_\pi=\mathcal{L}_{SAC}+\lambda_I\mathcal{L}_{IAW}, \lambda_I=0.1). 현재 정책보다 나아 보이는 교정은 강하게, 그렇지 않은 교정은 약하게 따라 한다. 형태로 보면 AWAC·CRR류 advantage-weighted regression을 개입 데이터에만 건 것이다. \mathrm{Norm}이 무엇(배치 표준화인지, 이동 통계인지)이고 \tau_I가 얼마인지는 논문에 없다.

직관: 사람이 교정하기 쉬운 단위가 곧 정책이 탐색하기 쉬운 단위다

HiFun이 잘 되는 이유를 한 문장으로 줄이면, 사람이 일관되게 교정할 수 있는 단위와 정책이 효율적으로 탐색할 수 있는 단위를 같은 것으로 맞췄다는 것이다. flat HIL-SERL에서 사람이 장갑으로 손가락을 조종하면 교정이 떨리고(저자들은 드릴 조작 중 손목 떨림을 예로 든다), 정책은 그 떨림까지 따라 배운다. 손을 “스킬 발동” 하나로 접으면 교정은 매번 같은 손가락 동작을 부르고, 정책이 고르는 것도 같은 축이 된다. 교정이 깨끗해지고 탐색이 쉬워지는 효과가 같은 결정에서 함께 나온다.

이 해석은 논문 자신의 대조 실험으로 분해해 볼 수 있다. HIL-SERL(Glove+Gello) 4.5% → HIL-SERL(Ours Interv.) 13.7%는 개입 인터페이스만 바꾼 효과이고, 13.7% → HiFun 98.3%는 같은 인터페이스에서 정책 구조를 계층으로 바꾼 효과다. 계층 구조 쪽의 차이가 훨씬 크다. 즉 “교정이 깨끗해진다”는 효과는 실재하지만 그것만으로는 부족하고, 정책이 손가락을 직접 탐색하지 않는 것이 결정적이다. 부록 D.3의 Skill-HIL(같은 hand skill을 HIL-SERL에 줌)이 46%라는 점은 다시 그 사이를 나눈다. 스킬을 주면 13.7%에서 46%까지 오르고, multi-head critic과 IAW 같은 coordination 학습 설계가 나머지(Sharpa 4과제에서 46% → 100%)를 메운다. 단 Skill-HIL은 과제별 값이 없고, 13.7%(6과제)와 46%(4과제)는 과제 집합이 달라 직접 빼서 비교할 수 없다.

실험 셋업 (§4.1, 부록 B·C)

모든 과제는 Franka Research 3 팔에 Sharpa 손 또는 XHand를 달고, 손목 RealSense D405 RGB와 필요하면 측면 D415를 쓴다. 성공은 기능적 결과로만 센다.

과제	손	유형	성공 조건	주된 어려움(부록 B.2)
A 드릴 조작	Sharpa	정밀 공구 사용	목표 나사가 고정구에 조여짐	방아쇠를 당기기 전에 축 정렬이 끝나야 한다. 이른 방아쇠나 과도한 힘은 손 자세를 흔든다
B 각도 스프레더 회수	Sharpa	좁은 공간 조작	공구를 완전히 빼냄	직접 파지가 막혀 손끝 접촉으로 먼저 들어 올려야 한다
C 얇은 손잡이 회수	Sharpa	좁은 공간 조작	공구를 완전히 빼냄	비파지 지렛대질로 틈을 만든 뒤 정밀 파지, 트레이 충돌 회피
D 드릴 비트 제거	Sharpa	접촉 많은 회전	척에서 비트를 제거	회전 중 마찰·힘이 바뀌어도 다지 접촉 유지
E 피펫 분주	XHand	정밀 공구 사용	충돌·누수 없이 바이알에 분주	엄지로 누르면서 파지와 팁 정렬 유지
F 얇은 축 공구 회수	XHand	좁은 공간 조작	공구를 완전히 빼냄	C와 비슷한 접촉 순서를 다른 손으로

과제 셋업과 카메라 시점(부록 Fig. 6). 빨간 상자가 학습·평가 때 물체 자세를 무작위화하는 작업 영역이고, 크기는 10×10 cm(A, D) 또는 10×15 cm(B, C, E, F)로 표시돼 있다. 오른쪽 작은 그림은 손목·측면 카메라 관측이다.

평가 프로토콜(부록 B.3)은 정직하게 범위를 밝힌다. 과제당 50회, 물체 자세는 Fig. 6의 빨간 상자 안에서 무작위, 로봇 리셋은 학습 때와 같다. 저자들 스스로 “학습 작업 공간 안의 반복 실행을 평가하는 것이지 zero-shot 작업 공간 일반화가 아니다”라고 적는다. 성공률은 50회의 평균 성공 credit이고, 성공 1, 실패 0, 그리고 “드문” 베이스라인 시행 중 최종 접촉 단계까지 갔지만 평가 시간 한도에 걸린 경우 0.5를 준다.

공통 하이퍼파라미터(Table 4, coordination policy 기준)는 다음과 같다.

항목	값	항목	값
관측	손목·측면 이미지, TCP 자세·속도·힘/토크, 손 자세·힘/토크	제어 주기	20 Hz
행동	6D twist + 스킬 활성 가중치	고유수용 인코더	64
보상	이진 분류기(정확도 95%)	정책 MLP	256×256
초기 offline 시연	100	할인율	0.98
\lambda_{gbc}	0.5	옵티마이저·학습률	Adam, 3e-4
\lambda_I	0.1	이미지 증강	random crop
리셋	scripted/사람	최대 에피소드 길이	2000 스텝(20 Hz면 100초)

실험 1: 본 결과 (§4.2, Table 1)

과제	손	IL 수집(분)	RL 수집(분)	온라인 학습(분)	HIL-SERL (Glove+Gello)	HIL-SERL (Ours Interv.) 접근 / 최종	HiFun	BC	DP
드릴 조작	Sharpa	150	34	60	15	62 / 30	100	15	30
각도 스프레더 회수	Sharpa	60	13	55	–	40 / 0	100	30	60
얇은 손잡이 회수	Sharpa	80	17	60	–	28 / 0	100	35	40
드릴 비트 제거	Sharpa	80	21	22	–	60 / 20	100	30	36
피펫 분주	XHand	100	14	60	12	60 / 32	90	12	26
얇은 축 공구 회수	XHand	100	14	20	–	30 / 0	100	20	58
평균		95.0	18.8	46.2	4.5	13.7	98.3	23.7	41.7

Table 1 기준, 성공률은 % 단위(50회)다. “–”는 장갑+Gello 원격조작으로는 신뢰할 수 있는 교정을 줄 수 없어 학습이 성립하지 않은 설정이고 평균에서 0으로 센다. “접근 / 최종”은 팔 접근 성공과 손 접촉까지 포함한 최종 성공이다. IL 수집 시간은 사람 시연 200개 녹화 시간, RL 수집 시간은 DMP rollout 100개 수집 시간이다. 평균은 모두 표 값으로 검산하면 맞는다(HiFun (100×5+90)/6 = 98.33, Ours Interv. 최종값 82/6 = 13.67 등).

A 드릴 조작(Sharpa)

B 각도 스프레더 회수(Sharpa)

C 얇은 손잡이 회수(Sharpa)

D 드릴 비트 제거(Sharpa)

E 피펫 분주(XHand), 바이알 위치를 바꾼 세 실행

F 얇은 축 공구 회수(XHand)

프로젝트 페이지의 과제별 실행 영상(무음). 페이지 표기상 일부는 배속 재생이다.

저자들은 flat 베이스라인과의 차이를 개입 품질과 탐색 효율로 설명한다. 장갑+Gello 교정은 형태 불일치와 retargeting 오차 때문에 잡음이 많아 replay buffer를 오염시키고, 복잡한 손 동작이 필요한 공구 회수 과제에서는 성공한 교정을 얻는 것 자체가 거의 불가능했다(“–”). 스킬 개입 인터페이스를 쓰면 13.7%로 오르지만, flat 정책은 접근(28~62%)에 비해 최종 성공(0~32%)이 크게 낮다. 얇은 손잡이 회수를 예로 들면 flat 정책은 지속적인 비파지 지렛대질, 정밀 파지, 충돌 회피를 하나의 다단계 접촉 시퀀스로 직접 찾아야 한다.

IL 베이스라인은 과제당 성공 시연 200개로 학습했지만 BC는 드릴 조작 15%, 피펫 12%, DP는 각도 스프레더 60%와 얇은 축 58%가 최고였다. 저자들은 성공 시연이 접촉 이탈 상태를 거의 덮지 못해 복구 신호가 부족하다고 해석한다. “데이터 출처가 달라서가 아니냐”는 반론은 부록 D.2에서 직접 다룬다(아래 실험 5).

"Full-DoF HIL-SERL" (7초)

"HiFun" (7초)

프로젝트 페이지가 "Difficult finger-level intervention" 항목에 나란히 놓은 두 클립. 같은 7초 동안 왼쪽은 손가락이 공구 위를 맴돌다 끝나고, 오른쪽은 공구를 들어 올려 빼낸다. 어떤 학습 단계·조건의 장면인지는 페이지에 적혀 있지 않다.

실험 2: 견고성 (§4.2)

전체 시스템 교란 평가는 과제당 20회다. 교란은 모든 과제의 물체 자세 무작위화, 정렬에 민감한 과제의 접근 단계 위치 변위, 드릴 비트 제거의 척 재조임이다. 결과는 4개 과제 20/20, 드릴 조작과 피펫 분주 18/20이고, 실패는 나사-드릴 각도 어긋남과 정렬 뒤 바이알이 움직인 경우였다. 저자들은 성공 시행에서 HiFun이 접촉 전에 다시 정렬하고, 접촉이 가능해질 때까지 스킬 활성을 미루는 모습을 근거로 “고정된 replay가 아니라 활성 타이밍 조절로 복구한다”고 해석한다. 다만 첫 번째 교란인 “물체 자세 무작위화”는 본 평가의 조건과 같은 것이라, 교란 평가 20회 중 몇 회가 어느 교란이었는지는 나뉘어 있지 않다.

손가락 수준 복구는 팔을 실행 영역 근처에 고정하고 hand skill만 평가했다. 방향 변화에서 각도 스프레더 회수는 공구함 yaw 0~30°, 공구 pitch/roll 0~20°에서 19/20, 드릴 비트 제거는 드릴 yaw 30°까지 18/20이었다. 외력 교란에서 팔 고정 각도 스프레더 스킬은 18/20이었다.

손가락 수준 접촉 복구(Fig. 3). 예상치 못한 손-물체 충돌로 열쇠 회전이 거꾸로 돌아가 엄지 접촉이 어긋나자(빨간 원), 기준 자세가 \theta^{ref}_{t_0+\Delta t}로 되감기고 잔차가 엄지 접촉을 되살린다(초록 원). 팔은 다시 정렬하지 않는다.

손가락 수준 적응(Fig. 3의 원 영상)

공구 위치 교란 뒤 재정렬

7.5 cm 공구로 배운 스킬을 6.5·5.5 cm에 적용

프로젝트 페이지의 복구·일반화 영상. 크기 전이는 본문에 성공 횟수가 없고 영상으로만 제시된다.

실험 3: coordination 절제 (§4.3, Table 2, 부록 Fig. 8)

warm start 데이터	각도 스프레더 성공	비트 제거 성공	각도 스프레더 수집(분)	비트 제거 수집(분)
DMP rollout	100	100	13	21
사람 시연	85	100	60	80

변형	각도 스프레더	비트 제거
HiFun 전체	100	100
w/o multi-head critic	85	75
w/o IAW(균일 가중 개입 BC)	60	60
w/o 개입 BC	40	40

Table 2 기준이다. DMP는 사람 시연과 같거나 높은 성공률을 수집 시간 약 4배 단축으로 얻는다(필자 검산: (60+80)/(13+21) = 4.1배). 사람 시연 쪽 수집 시간 60·80분은 Table 1의 IL 수집 시간(시연 200개)과 같아, 같은 시연 세트를 쓴 것으로 보인다(논문이 명시하지는 않는다).

multi-head critic. 저자들은 정책이 스킬을 발동할 때 팔 끝단이 목표에서 얼마나 떨어져 있는지를 재서 절제 결과를 설명한다. multi-head는 발동의 95%를 2.00 cm 접촉 전 영역 안에 두고, single head는 95번째 백분위 오차를 4.58 cm로 키운다. single head가 희소한 종단 성공 보상과 작은 활성 벌점을 섞는 바람에 팔이 덜 정렬된 상태에서 스킬을 켠다는 해석이다. 벌점을 키우는 것으로는 해결되지 않고 오히려 활성을 과하게 억누른다고 덧붙인다(이 주장의 수치는 없다).

IAW. 균일 가중 개입 BC는 60%, 개입 BC 제거는 40%로 떨어지고, cycle time은 HiFun 6.69초 대비 9.21초, 10.03초였다(어느 과제의 값인지는 본문에 명시가 없다). 부록은 IAW가 약한 교정과 강한 교정에 평균 0.175와 0.884의 가중치를 준다고 보고한다.

coordination 구성요소 분석(부록 Fig. 8). (A) 각도 스프레더 회수에서 발동 위치 오차의 95번째 백분위(2.00 vs 4.58 cm)와 2 cm 접촉 전 영역 밖에서 발동한 비율(3.7% vs 6.0%). (B) 왼쪽은 낮은·높은 가중치 교정의 IAW 가중치, 오른쪽은 짝지은 비교에서 정책 가치 차 \Delta\hat Q_\pi = \hat Q(s_{high\,w},\bar a_\pi)-\hat Q(s_{low\,w},\bar a_\pi).

Fig. 8의 두 패널은 본문 문장보다 약한 근거다. (A)에서 “2 cm 밖 발동” 비율은 3.7% 대 6.0%로 2.3%p 차이다. 95번째 백분위가 2.00 cm에서 4.58 cm로 두 배 넘게 뛰는 것은, single head에서 2 cm 밖 발동이 6%라 95번째 백분위가 마침 꼬리 쪽으로 넘어가기 때문이다. 두 변형 모두 발동의 94% 이상은 2 cm 안에서 일어난다. 반면 성공률 차이는 15%p(100 → 85)다. 2.3%p의 원거리 발동만으로는 15%p 실패를 설명할 수 없으므로, multi-head critic의 효과가 “발동 위치”만으로 나온다는 서사는 부분적이다. 또 본문은 “95%를 2.00 cm 안에” 둔다고 쓰지만 그림의 원거리 발동 3.7%를 따르면 안쪽은 96.3%다(사소한 표기 차이).

(B)의 “짝지은 정책 가치 비교가 음수”라는 서술도 그림으로 보면 중앙값이 약 −0.4이고, 상자의 위쪽 사분위는 0을 넘는다(약 +0.3, 그림에서 읽은 값). 점들 상당수가 양수 쪽에 있다. “높은 가중치 교정은 정책 가치가 낮은 상태에서 일어난다”는 경향은 있지만 강한 분리라고 하기는 어렵다. 왼쪽 패널의 낮은 가중치 교정도 평균 0.175, 최대 약 0.38(이상치 하나는 약 0.76)이라, IAW는 나쁜 교정을 끄는 것이 아니라 약하게 따라 하는 장치다.

실험 4: hand skill 단독 비교 (§4.3, Table 3, 부록 Fig. 9)

과제	HiFun \pi_{skill}	kinesthetic replay	DexPilot*	AnyTeleop*
드릴 조작	20/20	0/20	18/20	19/20
각도 스프레더 회수	20/20	0/20	7/20	5/20
얇은 손잡이 회수	20/20	0/20	0/20	0/20
드릴 비트 제거	20/20	5/20	3/20	3/20
피펫 분주	20/20	0/20	20/20	20/20
얇은 축 공구 회수	20/20	0/20	0/20	0/20

Table 3 기준이다. *은 과제별 튜닝을 한 retargeting 원격조작이다. 같은 궤적을 힘 피드백 없이 다시 재생하면 거의 다 실패한다는 결과가 이 논문에서 가장 깔끔한 증거다. 접촉을 유지하고 지렛대질하는 데 필요한 것은 궤적 모양이 아니라 접촉력 정보라는 뜻이다. DexPilot과 AnyTeleop은 블로그의 DexPilot 리뷰·AnyTeleop 리뷰에서 다룬 비전 기반 retargeting이고, 피펫처럼 엄지 하나로 누르는 과제에서는 20/20이지만 좁은 공간의 정밀 pinch·새끼손가락 지렛대질에서는 0/20이다.

손 동작 제어 실패 사례(부록 Fig. 9). 위에서부터 얇은 축 공구 회수(XHand), 각도 스프레더 회수(Sharpa), 얇은 손잡이 회수(Sharpa). 왼쪽부터 residual skill(성공), open-loop replay, DexPilot*. 빨간 원은 접촉이 어긋난 지점이다.

이 비교는 해석 범위를 정확히 잡아야 한다. 팔을 실행 영역에 고정하고 손만 평가했으며, DexPilot*과 AnyTeleop*은 사람이 실시간으로 조종하는 원격조작이고 HiFun은 자율 스킬이다. 그래서 이 표가 보여 주는 것은 “사람 손을 retargeting해서는 이 접촉을 재현하기 어렵다”, 곧 flat HIL-SERL 교정이 왜 실패하는지에 대한 근거다. 자율 정책끼리의 비교로 읽으면 안 된다.

실험 5: 부록의 학습 곡선·시간·추가 대조 (부록 C·D)

온라인 학습 곡선(부록 Fig. 7). 과제별로 위는 개입률, 아래는 cycle time(20 에피소드 이동평균)이다. 주황은 HiFun, 파랑은 HIL-SERL(Ours Interv.). 가로축 끝은 과제마다 60·55·60·20·60·20분이다.

부록 D.1은 “HiFun의 개입률은 모든 과제에서 1시간 안에 0으로 내려가고(가장 빠른 과제는 약 15분), 수렴 cycle time도 일관되게 기준선보다 낮다”고 쓴다. 그림을 과제별로 읽으면 더 세밀하다(그림에서 읽은 값).

과제	HiFun 개입률이 0 근처에 닿는 시점	비고
드릴 조작	약 58~60분	60분 상한에 거의 닿아서야 0 근처
각도 스프레더 회수	약 40분	이후 0.03 안팎 유지
얇은 손잡이 회수	약 48분	20분·40분 무렵 0.3 안팎으로 다시 상승
드릴 비트 제거	약 16분	단조 감소
피펫 분주	약 60분	18분에 0.15까지 내려갔다가 28~40분에 0.45 안팎으로 다시 상승. cycle time도 48분 무렵 약 30초로 치솟는다
얇은 축 공구 회수	약 7분, 다시 약 17분	7분에 0이 된 뒤 14분 무렵 약 0.77로 되돌아갔다가 다시 0

여기서 두 가지가 보인다. 첫째, 6과제 중 3과제(드릴 조작, 얇은 손잡이, 피펫)는 온라인 학습 시간이 60분 상한에 걸렸고, 그중 둘은 개입률이 상한 직전에야 0 근처로 내려온다. “1시간 이내”는 이 과제들에서는 “상한에서 끊었다”에 가깝다. 피펫 분주가 유일하게 90%인 것도 이와 무관하지 않아 보인다. 둘째, 개입률이 0에 닿았다가 크게 되돌아가는 비단조 구간(얇은 축, 피펫, 얇은 손잡이)이 있는데 본문은 언급하지 않는다. 학습 정지 시점을 “개입률이 0에 닿을 때”로 잡았다면 그 정지 판단이 일찍 이뤄질 수 있었다는 뜻이다.

기준선의 학습 예산. 본문 §4.1은 “Table 1의 모든 RL 방법은 최대 1시간 온라인 학습”이라 하고, 부록 D.1은 기준선이 “같은 1시간 예산 안에서” 자율에 이르지 못했다고 쓴다. 그런데 Fig. 7의 파란 기준선 곡선은 HiFun과 같은 시점에서 끝난다. 드릴 비트 제거와 얇은 축 공구 회수는 20분, 각도 스프레더는 55분이다. 그림이 HiFun의 학습 길이에 맞춰 잘렸을 수도 있고, 기준선이 실제로 HiFun의 정지 시점까지만 학습했을 수도 있다. 후자라면 Table 1에서 flat 기준선이 0%인 과제 중 둘은 20분 학습의 결과다. 참고로 원래 HIL-SERL은 그리퍼 과제에서 1~2.5시간 학습을 보고했다. 단 60분을 다 쓴 얇은 손잡이 회수에서도 기준선 개입률은 끝까지 1.0 근처였으므로, 학습 시간을 늘려도 결과가 크게 바뀌었을 것이라는 근거는 없다. 문제는 결론보다 서술의 정확성이다.

과제별 시간 비용(Table 5).

과제	보상 분류기 데이터(분)	DMP 데이터(분)	온라인 학습(분)	합(필자 계산)
드릴 조작	4	34	60	98
각도 스프레더 회수	13	13	55	81
얇은 손잡이 회수	11	17	60	88
드릴 비트 제거	7	21	22	50
피펫 분주	10	14	60	84
얇은 축 공구 회수	7.5	14	20	41.5
평균				73.75

보상 분류기 데이터는 과제당 양성 프레임 10~35장, 음성 프레임 약 1.9k~7.9k장이다. Table 5는 coordination 학습 비용만 담는다. kinesthetic prior(5분 미만)와 hand skill residual RL 학습 시간은 이 표에 없고, 논문 어디에도 없다. 프로젝트 페이지는 “≤60분은 온라인 HIL만 센 것이고 전체 파이프라인은 과제당 평균 약 109분”이라고 적는다. Table 5 합의 평균 73.75분과 비교하면 약 35분이 남는데, kinesthetic prior와 Gello 시연 1개를 빼면 대부분 hand skill 학습 시간으로 보인다(필자 추정, 논문이 내역을 주지 않는다). 즉 공정한 비교 단위는 Table 1의 46.2분이 아니라 약 109분이다. 그래도 IL 시연 200개 수집 평균 95분과 비슷한 수준에서 성공률이 두 배 이상이므로 결론은 유지된다.

같은 출처 데이터로 학습한 IL(Table 6, Sharpa 4과제).

과제	BC 사람 시연	BC HiFun 데이터	DP 사람 시연	DP HiFun 데이터
드릴 조작	15	12	30	26
각도 스프레더 회수	30	32	60	64
얇은 손잡이 회수	35	32	40	40
드릴 비트 제거	30	28	36	40
평균	27.5	26.0	41.5	42.5

HiFun 학습 중 모인 성공 궤적(DMP rollout, 온라인 rollout, 과제를 끝낸 개입 구간)으로 바꿔도 BC와 DP는 거의 변하지 않는다. 저자들은 이런 정책이 물체에 더 빨리 접근하고 중간 상태에서 덜 머뭇거리지만 정밀 정렬과 접촉 복구는 여전히 못 한다고 관찰하고, 지도 학습에는 “어떤 복구성 행동을 강화할지”를 고르는 가치 기반 메커니즘이 없다는 것으로 설명한다. 데이터 출처 반론을 정면으로 막는 좋은 대조다.

Skill-HIL(부록 D.3). 얼린 hand skill을 표준 HIL-SERL coordination 학습에 준 변형은 Sharpa 4과제에서 평균 46%, HiFun은 100%였다. 실패는 주로 잘못된 접촉 영역이나 활성 타이밍, 그 다음이 충돌이었다. 각도 스프레더에서 Skill-HIL의 학습 데이터를 두 배로 늘려도 35/50(HiFun 50/50)이었다. 과제별 수치는 주어지지 않는다.

비판적으로 보면

강점

분해의 대상이 정확하다. 계층을 “탐색을 줄이는 장치”로만 쓰지 않고 “사람 교정의 단위”로도 쓴 것이 이 논문의 핵심 통찰이고, 대조군이 이를 단계적으로 분해할 수 있게 짜여 있다. 개입 인터페이스만 바꾼 flat 정책(13.7%), hand skill만 준 HIL-SERL(46%, 4과제), HiFun(98.3%)이 각 설계의 몫을 대략 보여 준다.
불리한 정보를 표에 남겼다. flat 기준선의 “접근 / 최종” 분리 보고는 기준선이 어디서 무너지는지를 보여 주고, 평가가 학습 작업 공간 안의 반복 실행이지 일반화가 아니라는 점(부록 B.3), 0.5 credit 규칙, 조작자 세 명의 성공률 차이(약 2~3%p)도 스스로 밝힌다.
데이터 출처 반론에 대한 직접 대조. HiFun이 모은 성공 궤적으로 IL을 다시 학습한 Table 6은 “IL이 진 것은 데이터가 나빠서”라는 반론을 실험으로 막는다. 많은 HIL-RL 논문이 생략하는 대조다.
open-loop replay 대조. 같은 kinesthetic 궤적을 힘 피드백 없이 재생하면 6과제 중 5과제가 0/20이라는 결과는 residual RL이 무엇을 더하는지를 가장 깨끗하게 보여 준다.
두 손, 여섯 과제, 실기 전부. 시뮬레이션 없이 실기에서만 학습하고 손 두 종류에서 같은 파이프라인을 돌렸다. 과제별 시간 비용표(Table 5)와 학습 곡선(Fig. 7)을 부록에 다 실은 것도 재현 판단에 도움이 된다.

약점·한계

학습 비용 헤드라인의 범위. 초록·그림 1의 “1시간 이내 온라인 학습”은 coordination policy의 HIL 미세조정만 센 값이다. hand skill의 실기 residual RL 학습 시간은 논문 어디에도 없고, 보상 분류기 데이터 수집(4~13분)과 kinesthetic prior도 빠진다. 프로젝트 페이지가 적은 전체 파이프라인 평균 약 109분/과제가 비교 단위로 더 정직하다. 또 6과제 중 3과제는 60분 상한에 걸렸고(Fig. 7), 그중 둘은 상한 직전에야 개입률이 0 근처가 된다.
기준선 학습 예산의 서술과 그림이 어긋난다. 본문은 “모든 RL 방법 최대 1시간”, 부록은 기준선이 “같은 1시간 예산”에서 자율에 못 이르렀다고 쓰지만, Fig. 7의 기준선 곡선은 비트 제거·얇은 축에서 20분, 각도 스프레더에서 55분에 끝난다. 기준선이 실제로 몇 분 학습했는지 확인할 수 없다. 원 HIL-SERL의 학습 시간이 1~2.5시간이었다는 점에서 더 중요한 빈칸이다.
방법의 핵심 상수가 거의 없다. \lambda_{res}, \omega_{track}, \omega_{force}, R_{skill}, rewind 문턱, r_{bonus}, r_{penalty}, \tau, \tau_I, \mathrm{Norm}의 정의, hand skill의 학습 스텝·시간이 모두 빠져 있다. Table 4는 coordination policy용이다. 코드 저장소는 README와 teaser 그림만 있고 “Code is coming soon” 상태라 지금은 이 빈칸을 메울 방법이 없다.
식과 서술 사이의 모호함. 식 (2)는 \alpha를 연속 보간 가중치로 정의하지만 부록 A는 \alpha>\tau 문턱 스위치처럼 서술한다. 잔차 \delta\theta_t\in\mathbb{R}^{12}가 22자유도 Sharpa 손의 어느 관절에 걸리는지도 설명이 없다. Fig. 5의 “Total target Q”(약 0.48)는 두 head 값(약 0.81, 0.15)의 합이 아니라 평균에 가깝고, Fig. 4는 “목표 고정”이라는 서술과 달리 두 목표로 수렴하는 DMP 궤적을 보여 준다.
통계와 절제 범위가 얇다. 학습은 방법·과제당 한 번으로 보이고 시드나 반복 학습이 보고되지 않는다. Table 2의 절제는 2개 과제뿐이고 평가 횟수도 적혀 있지 않다. 85%와 100%의 차이는 50회면 의미가 있지만 20회라면 이항 신뢰구간이 겹칠 수 있다. Fig. 8의 메커니즘 근거도 원거리 발동 2.3%p 차이, 0을 가로지르는 \Delta\hat Q 분포로 본문 서술보다 약하다.
0.5 credit 규칙은 “드물지” 않다. 50회 평균에서 15%나 35%가 나오려면 반드시 홀수 개의 0.5 credit 시행이 있어야 한다(7.5/50, 17.5/50). Table 1에서 BC 드릴 조작 15%, BC 얇은 손잡이 35%, Glove+Gello 드릴 조작 15% 세 칸이 그렇다(필자 검산). 부분 점수가 기준선 수치를 약간 올리는 방향이라 결론을 바꾸지는 않지만, “rare”라는 표현과 달리 적어도 세 칸에서 쓰였다.
스킬은 과제마다 하나다. 각 과제는 자기 kinesthetic 궤적 하나에서 나온 hand skill 하나를 쓰고, coordination policy가 고르는 손 축은 그 스킬의 활성 정도 하나다. 저자들도 학습한 스킬 집합 밖의 접촉 행동이 필요한 과제는 실패할 수 있다고 인정한다(§6). 여러 스킬을 한 정책에서 조합하는 장기 과제(열쇠 돌리기 → 드릴 집기 → 서랍에 넣기)는 프로젝트 페이지 영상으로만 나오고 논문에는 평가가 없다. 6.5·5.5 cm 공구 크기 전이도 영상뿐이다.
교란 평가의 구성. 20회 교란 평가에 본 평가와 같은 “물체 자세 무작위화”가 포함되고, 교란 종류별 시행 수가 나뉘어 있지 않다. 접근 단계 변위 같은 진짜 off-nominal 교란이 몇 회였는지 알 수 없다.
프로젝트 페이지의 PDF는 이전 판이다. 페이지가 링크한 hifun-corl2026.pdf(20쪽)에는 arXiv v1(21쪽)의 Skill-HIL 대조, 조작자 간 차이, 팔 고정 hand skill 견고성 평가, Fig. 3이 없고, 견고성 결과를 “네 개의 공구 회수 과제 20/20”이라고 적는다(실제로 20/20인 네 과제에는 드릴 비트 제거가 들어 있다). 페이지 본문도 multi-head critic 그림을 “Appendix Fig. 4A”로 부르는데 arXiv에서는 Fig. 8A다. 이 리뷰는 arXiv v1을 기준으로 했다.

요약

HiFun은 실기 다지 조작 RL을 hand skill(어떻게 접촉하나)과 coordination policy(어디서, 언제 쓰나)로 분해하고, 얼린 hand skill을 정책의 action primitive이자 사람의 교정 버튼으로 동시에 쓴다. hand skill은 kinesthetic 궤적 하나에 손끝 힘 보상의 residual SAC를 얹어 만들고, coordination은 DMP로 불린 rollout 100개로 시작해 multi-head critic과 advantage 가중 개입 모방으로 미세조정한다. 6개 실기 과제와 두 손에서 98.3%를 냈고, 같은 RL 백본의 flat 정책, 같은 스킬을 준 HIL-SERL, 같은 데이터로 학습한 IL과의 대조가 설계의 각 부분이 무엇을 기여하는지 꽤 설득력 있게 보여 준다.

한계는 주로 보고 방식에 있다. “1시간”은 hand skill 학습을 뺀 값이고 3과제는 그 상한에 걸렸다. 기준선의 실제 학습 시간은 그림과 본문이 어긋나며, 보상·잔차·문턱 상수 대부분이 비어 있고 코드는 아직 공개되지 않았다. 스킬은 과제당 하나이고 평가는 학습 작업 공간 안의 반복 실행이다. 그래도 “사람이 일관되게 교정할 수 있는 단위로 정책의 행동 공간을 접는다”는 원리는 다지 손 실기 학습에서 바로 가져다 쓸 수 있는 설계 원칙이다. 다음으로 볼 것은 스킬 라이브러리에서 여러 스킬을 고르는 확장과, 코드 공개 후 hand skill 학습 비용의 실제 크기다.

이 글에 대해

읽은 범위: arXiv v1(2026-10-14, 21쪽)을 PDF와 HTML로 읽었고, 표 수치는 PDF에서 확인했다. 그림 9장 중 7장은 arXiv HTML에서, HTML에 SVG로만 있는 Fig. 7과 저해상도인 Fig. 8은 arXiv 소스의 그림 PDF에서 받았다. 프로젝트 페이지의 본문 문구와 연결된 PDF(이전 판)도 함께 대조했다.
공개 범위: 프로젝트 페이지에는 영상과 요약이 있고, 코드 링크(Hly-123/HiFun-code)는 README와 teaser 그림만 있는 저장소로 연결된다(README 표기: “Code is coming soon”, 라이선스 없음). 따라서 이 리뷰의 모든 수치는 논문이 보고한 값이며 코드 대조나 재현 확인은 하지 않았다.
영상: 본문에 넣은 영상은 프로젝트 페이지의 mp4를 폭 640 px로 줄인 사본이다(무음). 3분짜리 보충 영상과 XHand 추가 과제(드릴, 수도꼭지), 9분할 몽타주는 논문 평가와 직접 연결되지 않아 넣지 않았다.
표기: “필자 계산·검산”은 논문 표 값으로 직접 계산한 값(평균, 합, 배수, 0.5 credit 역산)이다. “그림에서 읽은 값”은 Fig. 5·7·8에서 눈으로 읽은 근사치다. “필자 추정”은 논문이 직접 말하지 않은 추론(약 35분 차이의 내역, 같은 시연 세트 사용 여부)이다. Sharpa Wave의 22자유도와 XHand1의 12자유도는 논문 밖 제조사 정보다.