📃Regrind 리뷰

dexterity

retargeting

sim2real

manipulation

human-demonstration

motion-tracking

IsaacSim

A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation

Published

July 15, 2026

Paper Link (arXiv:2607.11874)
Code (GitHub)
Project Page
저자: Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson (Cornell University, Amazon FAR)
arXiv preprint, 2026

💡 휴머노이드 전신 제어에서 표준이 된 “재타게팅→RL 추적” 레시피를, 접촉이 많은(contact-rich) 손가락 조작에 그대로 이식할 수 있는지를 묻고, 단일 인간 시연만으로 도구 사용 정책을 학습하는 최소주의 파이프라인 Regrind를 제안한다.
⚙️ 인간 손-물체 동작을 상호작용을 보존하는(interaction-preserving) 로봇 참조로 재타게팅하고(interaction mesh), 그 참조에 대한 잔차(residual) RL 정책을 객체 키포인트 추적 보상으로 대규모 병렬 시뮬레이션에서 학습한 뒤, 신중한 시스템 식별로 하드웨어에 zero-shot 전이한다.
🎯 시뮬레이션 4개 태스크 전부에서 SPIDER·DexMachina·Mink IK+RL을 압도(예: LEAP-Scissors 5.6 mm / 99.8%)하고, 실물 로봇 4개 중 3개에서 성공적으로 전이(9–10/10)했다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드 전신 제어(whole-body control)는 최근 하나의 표준 레시피로 수렴했다 — 사람의 모션 캡처를 로봇 운동학으로 재타게팅(retargeting)한 뒤, 그 참조 궤적을 RL로 추적(tracking)하도록 학습하고, sim-to-real로 옮긴다(Sonic 리뷰 참고). 반면 손가락 조작(dexterous manipulation)은 대체로 다른 길 — 원격조작 시연 수집 후 imitation learning — 을 걸어왔다. 이 논문의 질문은 단순하다: 그 전신 제어 레시피가 손가락 조작에도 통하는가?

문제는 순수 운동학적 재타게팅이 손-물체 상호작용을 무시한다는 데 있다. 손 관절만 사람과 맞추면 물체와의 공간 관계(침투 없는 접촉, 감싸쥠)가 깨져 물리적으로 부자연스러운 궤적이 나오고, 이를 참조로 삼은 RL은 학습이 안 된다. Regrind의 핵심은 재타게팅 단계에서 손과 물체를 하나의 상호작용 메시(interaction mesh)로 묶어 그 관계를 보존하는 것이다.

파이프라인 개요(Fig. 2) — real-to-sim-to-real. (1) 손·물체 자세가 담긴 인간 시연 → (2) 상호작용 보존 재타게팅 → (3) 증강과 함께 시뮬레이션에서 잔차 RL → (4) hardware에 zero-shot 전이.

핵심 방법론:

(1) 상호작용 보존 재타게팅. 각 시점 t에서 물체 키포인트 \mathcal{P}_t^o와 손 키포인트로 점 집합을 만들고, Delaunay 사면체화(tetrahedralization)로 연결성 \mathcal{E}를 정의해 상호작용 메시 \mathcal{M}(\mathcal{P})=(\mathcal{P},\mathcal{E})를 구성한다. 인간 소스 메시는 \tilde{\mathcal{P}}_t=\mathcal{P}_t^o\cup\mathcal{P}_t^h, 로봇 타깃 메시는 \mathcal{P}_t(\mathbf{q}_t)=\mathcal{P}_t^o\cup\mathcal{P}_t^r(\mathbf{q}_t)다. 로봇 관절각 \mathbf{q}_{0:T-1}을 두 메시의 변형 에너지를 최소화하도록 최적화한다: \bar{\mathbf{q}}_{0:T-1}=\mathop{\arg\min}_{\mathbf{q}_{0:T-1}}\sum_{t=0}^{T-1} D\!\left(\mathcal{M}(\tilde{\mathcal{P}}_{t}),\,\mathcal{M}(\mathcal{P}_{t}(\mathbf{q}_{t}))\right)+\lambda\sum_{t=1}^{T-1}\left\|\mathbf{q}_{t}-\mathbf{q}_{t-1}\right\|_{2}^{2},\quad \mathbf{q}_{0:T-1}\in\mathcal{Q}, 여기서 거리 D는 각 꼭짓점의 라플라시안(Laplacian) 좌표 변화의 합이다: D=\sum_i \left\|L_i(\tilde{\mathcal{P}}_t)-L_i(\mathcal{P}_t(\mathbf{q}_t))\right\|_2,\qquad L_i(\mathcal{P})=\mathbf{p}_i-\frac{1}{|\mathcal{N}_i|}\sum_{j\in\mathcal{N}_i}\mathbf{p}_j. 라플라시안 좌표는 한 점을 이웃의 평균에 대한 상대 위치로 표현하므로, 이를 보존한다는 것은 손이 물체를 어떻게 감싸는지(국소 형상)를 유지한다는 뜻이다. 제약 집합 \mathcal{Q}는 관절 한계·속도 한계·비침투(non-penetration) \phi_j(\mathbf{q}_t)\ge 0를 담는다.

(2) 참조 안내 잔차 RL. 정책은 절대 관절각이 아니라 재타게팅 참조 \bar{\mathbf{q}}_t에 대한 잔차를 출력한다: \mathbf{q}_{t}^{\text{target}}=\bar{\mathbf{q}}_{t}+\boldsymbol{\alpha}\odot\pi_{\theta}(\bar{\mathbf{q}}_{t},\mathbf{o}_{t}). 보상은 객체 중심이다. 물체 키포인트 추적 오차 \epsilon_{\text{object}}=\frac{1}{N_k}\sum_{i=1}^{N_k}\left\|\mathbf{p}_{t,i}^{o}-\bar{\mathbf{p}}_{t,i}^{o}\right\|_{2},\qquad r_{\text{object}}=\exp\!\left(-\epsilon_{\text{object}}/\sigma\right) 에 지수 보상을 준다(\sigma=0.02). 손이 아니라 물체가 참조 궤적을 따라가는가로 성공을 정의하는 점이 핵심이다. 참조 상태 초기화(RSI)로 에피소드를 참조 궤적의 임의 시점에서 시작해 고가치 상태 탐색을 넓힌다.

(3) 단일 시연 증강. 하나의 시연을 초기 물체 위치 \pm 5\,\mathrm{cm}·방향 \pm 30^\circ로 섭동하고, 물체를 집는 시점 t_{\text{pickup}}과 도구를 쓰기 시작하는 t_{\text{use}} 사이에서 원본 궤적으로 시간축 보간(w(t))해 물리적으로 타당한 무한한 변형 궤적을 온라인으로 생성한다.

주요 결과:

시뮬레이션(Table 1): LEAP-Scissors에서 Regrind 5.6±6.4 mm / 99.8% vs SPIDER 176.2 mm / 0.0%, DexMachina 10.1 mm / 22.3%, Mink IK+RL 12.6 mm / 2.0%. 네 태스크 모두 오차 5–7 mm, 성공률 98%+.
DexMachina의 취약점: WUJI-Scissors에서 67.2 mm / 0.0%로 완전 실패 — 상호작용을 고려하지 않는 함수형 재타게팅의 한계가 드러난다.
실물 로봇(Table 2): LEAP-Scissors 9/10, LEAP-Screwdriver 10/10, WUJI-Screwdriver 9/10으로 zero-shot 전이 성공. DexMachina는 실물에서 급감(예: LEAP-Scissors 228.7 mm / 0/10).
WUJI-Scissors만 전 방법 실패(0/10): WUJI 손의 비-백드라이버블(non-backdrivable) 모터 + 실제 가위 메시의 부정확도로 sim-to-real 갭이 컸다.

결론: 휴머노이드 전신 제어의 “재타게팅→RL 추적” 레시피는, 재타게팅에서 손-물체 상호작용만 명시적으로 보존하면 접촉이 많은 손가락 조작으로 그대로 이식된다. 물리 기반 MPC나 상호작용을 무시한 재타게팅이 실패하는 지점에서, 단순한 interaction mesh + 잔차 RL이 단일 시연으로 실물 전이까지 도달한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

손가락 조작을 위한 최소주의 처방 — 인간 손-물체 동작을 상호작용 보존 로봇 참조로 재타게팅하고, 물체 키포인트를 따라가는 잔차 RL로 추적한 뒤, 신중한 시스템 식별로 zero-shot 전이한다.

배경: 왜 두 분야가 갈라졌나

로봇 학습에서 모션 추적은 이미 성숙한 파이프라인을 가지고 있다. 사람의 모캡을 로봇으로 재타게팅하고, 시뮬레이션에서 그 참조를 RL로 추적하도록 학습한 뒤 하드웨어에 배포한다 — 휴머노이드 전신 제어(Sonic 리뷰)가 대표적이다. 그런데 손가락 조작은 이 길을 따르지 않았다. 조작 스킬은 주로 원격조작 시연에서 imitation으로 배우거나, 태스크별로 설계된 보상으로 scratch RL을 돌려 얻는다.

두 분야가 갈라진 이유는 접촉이다. 전신 이동에서 발-지면 접촉은 상대적으로 단순하지만, 손가락 조작은 다지 손과 물체가 촘촘히 맞물리는 contact-rich 상호작용이다. 여기서 순수 운동학적 재타게팅 — 사람 손 관절을 로봇 손 관절로 최대한 맞추기 — 을 하면, 로봇 손과 사람 손의 형상·크기·자유도가 달라 물체와의 공간 관계가 깨진다. 손가락이 물체를 뚫고 들어가거나(침투), 접촉이 떨어져 물체를 놓치는 참조 궤적이 나온다. 이런 물리적으로 부자연스러운 참조를 RL로 추적하라고 하면 학습이 되지 않는다.

기존 시도들은 이 지점을 각자의 방식으로 우회했다. 물리 기반 재타게팅(SPIDER, 리뷰), 함수형 재타게팅 + RL(DexMachina), 미분 IK + RL(Mink IK+RL) 등이다. 저자들이 겨누는 공백은: 이들 다수가 시뮬레이션에 머물렀고(DexMachina·ManipTrans), 실물 전이까지 검증한 사례가 드물다는 점이다.

도구 사용 태스크 4종(Fig. 1) — 두 로봇 손 × 두 도구: (a) LEAP-Scissors, (b) WUJI-Screwdriver, (c) LEAP-Screwdriver, (d) WUJI-Scissors. 모두 접촉이 많은 관절 물체(articulated object) 조작이다.

방법 상세 1 — 상호작용 보존 재타게팅

핵심 아이디어는 OmniRetarget(휴머노이드 전신 재타게팅)에서 영감을 받은 interaction mesh다. 손 키포인트와 물체 키포인트를 한꺼번에 점 집합 \mathcal{P}로 놓고, Delaunay 사면체화로 이들 사이의 연결 \mathcal{E}를 정의한다. 이 그래프가 손-물체의 공간 관계를 “골격”으로 인코딩한다.

상호작용 메시(Fig. 3) — 위: 인간 시연의 물체 키포인트(\mathcal{P}_t^o, 빨강) + 손 키포인트(\mathcal{P}_t^h, 노랑)로 만든 소스 메시. 아래: 같은 물체 키포인트 + 대응 로봇 키포인트(\mathcal{P}_t^r, 파랑)로 만든 타깃 메시. 점선이 대응 키포인트를 잇는다.

재타게팅은 메시 변형 에너지 최소화로 정식화된다. 소스(인간)와 타깃(로봇) 메시의 차이를 각 꼭짓점의 라플라시안 좌표 변화의 합으로 재고, 여기에 시간적 매끄러움 정칙항 \lambda\sum\|\mathbf{q}_t-\mathbf{q}_{t-1}\|^2을 더한다. 라플라시안 좌표 L_i(\mathcal{P})=\mathbf{p}_i-\frac{1}{|\mathcal{N}_i|}\sum_{j\in\mathcal{N}_i}\mathbf{p}_j는 한 점을 이웃 점들의 평균 대비 상대 위치로 표현한다 — 절대 좌표가 아니라 국소 구조를 보존하므로, 로봇 손이 물체를 “어떻게 감싸는지”의 위상을 유지하면서 손 크기 차이는 흡수한다.

최적화는 가능한 관절 구성 집합 \mathcal{Q} 안에서 이뤄진다: 관절 한계 \mathbf{q}_{\min}\le\mathbf{q}_t\le\mathbf{q}_{\max}, 속도 한계 \mathbf{v}_{\min}\Delta t\le\mathbf{q}_t-\mathbf{q}_{t-1}\le\mathbf{v}_{\max}\Delta t, 그리고 비침투 제약 \phi_j(\mathbf{q}_t)\ge 0. 결과는 물체와 침투 없이 접촉을 유지하는, RL이 실제로 추적할 수 있는 참조 궤적 \bar{\mathbf{q}}_{0:T-1}이다.

방법 상세 2 — 참조 안내 잔차 RL

재타게팅된 참조는 운동학적이라 동역학·접촉력을 고려하지 않는다. 그래서 시뮬레이션에서 RL로 이를 물리적으로 실행 가능하게 만든다. 문제를 MDP \langle\mathcal{S},\mathcal{A},P,\rho_0,r,T\rangle로 놓되, 보상은 참조 상태 \tilde{s}_t와의 거리에 대한 지수 형태 r(s_t,a_t)=\exp(-\mathrm{dist}(s_t,\tilde{s}_t))로 [0,1]에 든다.

두 가지 설계가 핵심이다.

잔차 행동(residual action). 정책은 참조에 대한 델타만 출력한다: \mathbf{q}_t^{\text{target}}=\bar{\mathbf{q}}_t+\boldsymbol{\alpha}\odot\pi_\theta(\bar{\mathbf{q}}_t,\mathbf{o}_t). 재타게팅이 이미 “대략 맞는” 궤적을 주므로, 정책은 접촉을 안정화하는 작은 교정만 배우면 된다 — 탐색 공간이 크게 줄어든다.

객체 중심 보상. 성공을 손 자세가 아니라 물체 키포인트 추적 오차 \epsilon_{\text{object}}로 정의한다(r_{\text{object}}=\exp(-\epsilon_{\text{object}}/\sigma), \sigma=0.02). 손이 참조와 정확히 같지 않아도, 물체가 목표 궤적을 그리면 보상을 받는다. 이는 로봇 손과 인간 손의 형태 차이를 흡수하는 관대함을 준다(SimToolReal 리뷰의 object-centric 정책과 같은 철학). 전체 보상은 이 객체 항에 물체 선/각속도, 손목 위치·자세, 행동 크기·변화율, 경계 밖 페널티, 조기 종료 항을 더한 가중합 r_t=\sum_k w_k\,\phi_k(\mathbf{e}_{k,t})이며, shaping은 선형 \phi_{\mathrm{lin}}(e;\sigma)=\exp(-e/\sigma) 또는 제곱 \phi_{\mathrm{sq}}(c;\sigma)=\exp(-c/\sigma^2)을 쓴다.

단일 시연 증강. 시연이 하나뿐이면 정책이 과적합한다. 저자들은 초기 조건 섭동 (\Delta\mathbf{p},\Delta\psi)로 궤적을 무한히 다양화한다: \Delta\mathbf{p}_{xy}\in[-5,5]^2\,\mathrm{cm}, \Delta\mathbf{p}_z=0, \Delta\psi\in[-30^\circ,30^\circ]. 단, 물체를 집은 뒤에는 섭동이 도구 사용을 망치므로, 픽업 시점 t_{\text{pickup}}부터 사용 시점 t_{\text{use}}까지 섭동 가중치를 선형으로 0까지 줄인다: w(t)=\begin{cases}1,& t<t_{\text{pickup}},\\[2pt] 1-\dfrac{t-t_{\text{pickup}}}{t_{\text{use}}-t_{\text{pickup}}},& t_{\text{pickup}}\le t\le t_{\text{use}},\\[2pt] 0,& t>t_{\text{use}}.\end{cases} 즉 집기 전에는 다양한 초기 위치를 겪게 하고, 사용 국면에서는 원본 참조로 수렴시킨다.

데이터 증강(Fig. 4) — 증강 궤적 \mathbf{T}^\star는 t_{\text{pickup}}과 t_{\text{use}} 사이에서 원본 참조 \mathbf{T}^{\text{ref}}로 보간되어, 초기 섭동이 도구 사용 국면을 손상시키지 않는다.

방법 상세 3 — sim-to-real 전이

정책은 IsaacSim 5.1.0에서 학습된다(\Delta t_{\text{sim}}=1/120\,\mathrm{s}, 4-step 제어로 \Delta t=1/30\,\mathrm{s}, 에피소드 9.0초 ≈ 270 제어 스텝). PPO(RSL-RL 구현), N_{\text{env}}=4096 병렬 환경. 도메인 무작위화, 물체·로봇에 대한 랜덤 푸시(강도 커리큘럼), 그리고 중력 커리큘럼(중력을 0에서 -9.81\,\mathrm{m/s^2}로 점진 증가 — 픽업이 있는 태스크에 유용)을 쓴다.

전이의 관건은 시스템 식별이다. 실물 로봇에 참조 관절 궤적을 그대로 넣어 응답 곡선을 재고, 시뮬레이션과 비교했더니 실물 응답이 1–2 타임스텝(\approx 30\text{–}60\,\mathrm{ms}) 지연됐다. 이를 반영해 시뮬레이션 관측 파이프라인에 시간 지연을 넣는다.

시스템 식별 응답 곡선(Fig. 9) — 초록: 목표 관절 위치, 빨강: 실물 응답, 파랑: 시뮬레이션 응답. 실물이 30–60 ms 지연되어 관측에 time-lag를 도입하게 만든다.

직관

이 논문이 잘 작동하는 이유는 세 가지 관대함(slack)의 계층화로 읽힌다.

재타게팅의 관대함: 라플라시안 좌표 보존은 손을 픽셀 단위로 복제하지 않고 “물체를 감싸는 방식의 위상”만 지킨다. 로봇 손이 사람 손과 달라도 된다.
행동의 관대함: 잔차 정책은 이미 좋은 참조 위에서 작은 교정만 배운다. RL의 부담이 접촉 안정화로 국한된다.
보상의 관대함: 객체 중심 보상은 손이 아니라 물체 결과만 본다. 손의 편차를 벌하지 않으니 정책이 물리적으로 편한 접촉을 찾을 자유가 생긴다.

세 관대함이 겹쳐, 손-물체 형태 불일치라는 근본 문제를 각 단계에서 조금씩 흡수한다. 반대로 이 중 하나라도 빠지면(예: 상호작용 무시한 재타게팅) 오차가 누적돼 RL이 실패한다 — 이것이 baseline들의 실패 패턴이다.

실험: 무엇을 확인했나

셋업. LEAP 손(16-DoF)과 WUJI 손(20-DoF)을 7-DoF UR5e 팔에 장착. 태스크 = {LEAP, WUJI} × {Scissors, Screwdriver}. Scissors는 ARCTIC 데이터셋, Screwdriver는 자체 수집(4대의 캘리브레이션된 RGB 카메라로 2D 손 키포인트를 삼각측량해 3D 복원). 지표는 물체 키포인트 추적 오차(mm)와 성공률(SR). 베이스라인은 SPIDER(물리 기반 재타게팅), DexMachina(함수형 재타게팅+RL, 상호작용 미고려), Mink IK+RL(미분 IK+RL).

시뮬레이션(Table 1). Regrind가 네 태스크 전부에서 오차 5–7 mm, SR 98%+.

Method	LEAP-Scissors	LEAP-Screwdriver	WUJI-Scissors	WUJI-Screwdriver
Regrind (Ours)	5.6 mm / 99.8%	5.4 mm / 99.7%	5.3 mm / 98.7%	6.5 mm / 98.8%
SPIDER	176.2 / 0.0%	134.5 / 0.0%	119.0 / 0.0%	116.9 / 0.0%
DexMachina	10.1 / 22.3%	8.3 / 99.7%	67.2 / 0.0%	5.9 / 99.3%
Mink IK + RL	12.6 / 2.0%	17.5 / 0.0%	38.9 / 0.0%	10.0 / 3.1%

SPIDER는 전 태스크에서 100 mm 이상 오차로 사실상 추적을 못 한다. DexMachina는 두 스크류드라이버/LEAP 태스크에선 강하지만(99%대), 상호작용이 더 까다로운 WUJI-Scissors에서 67.2 mm / 0.0%로 무너진다 — 상호작용을 고려하지 않은 재타게팅의 한계가 정확히 여기서 드러난다.

실물 로봇(Table 2). Regrind는 3/4 태스크에서 zero-shot 전이에 성공한다: LEAP-Scissors 27.9 mm / 9/10, LEAP-Screwdriver 16.0 mm / 10/10, WUJI-Screwdriver 9.6 mm / 9/10. 시뮬레이션에서 강했던 DexMachina는 실물에서 급락한다(LEAP-Scissors 228.7 mm / 0/10, LEAP-Screwdriver 122.7 mm / 2/10, WUJI-Screwdriver 47.3 mm / 5/10). 시뮬레이션 성능이 sim-to-real을 보장하지 않음을, 그리고 상호작용 보존이 전이 강건성으로 이어짐을 보여준다.

WUJI-Scissors는 전 방법 실패(0/10). 저자들은 두 원인을 든다: WUJI 손의 비-백드라이버블 모터로 접촉력 제어가 나쁘고(안전상 10 N 초과 시 강제 정지), 실제 가위의 메시가 부정확해 sim-to-real 갭이 컸다.

일반화(Table 3). 무작위 초기 조건에서도 강건: LEAP-Scissors 27.4 mm / 8/10, LEAP-Screwdriver 16.3 mm / 10/10, WUJI-Screwdriver 10.3 mm / 9/10.

정성적(Fig. 5). Mink IK와 DexMachina는 손-물체 침투나 불안정 파지를 만드는 반면, Regrind만 사람다운(human-like) 안정 파지를 생성한다.

정성적 재타게팅 비교(Fig. 5, WUJI-Scissors) — Regrind는 손-물체 상호작용 의미를 보존하는 사람다운 파지를 만드는 반면, Mink IK와 DexMachina는 물리적으로 불가능하거나 불안정한 파지를 낸다(빨간 원). RL 학습이 되지 않는 참조의 실체.

비판적으로 보면

강점

레시피의 검증이 명확하다. “재타게팅→RL 추적” 전신 제어 레시피가 손가락 조작에도 이식된다는 주장이, 상호작용을 고려하지 않은 재타게팅(DexMachina·Mink IK)의 실패와 대비되어 깔끔하게 입증된다. 무엇이 결정적 요소인지(interaction mesh)가 분리돼 보인다.
단일 시연에서 실물까지. 데이터 요구가 극도로 낮다(태스크당 시연 1개). 그럼에도 초기 조건 섭동 + 시간 보간이라는 저렴한 증강만으로 실물 전이 강건성을 확보했다.
정직한 실패 보고. WUJI-Scissors 전면 실패를 숨기지 않고 원인(비-백드라이버블 모터, 부정확 메시)까지 분석한다. sim 성능이 좋아도 실물이 무너지는 DexMachina 대비를 통해, sim-to-real이 방법의 강건성 문제임을 실증한다.
객체 중심 보상의 일반화. 손이 아니라 물체 결과로 성공을 정의한 덕에, 서로 다른 두 손(LEAP/WUJI)에 같은 레시피가 통한다.

약점·한계

배포 시 모션 캡처 의존. 저자들도 첫 번째 한계로 인정 — 실행 시 물체 상태를 모캡으로 얻어야 한다. 시각 기반 정책으로의 증류(distillation)가 자연스러운 다음 단계지만 아직 미완이다. 즉 현재는 완전한 real-world autonomy가 아니다.
신중한 시스템 식별이 여전히 필수. 30–60 ms 지연을 손으로 재고 관측에 반영해야 성공한다. 저자들도 test-time 정책 적응을 유망 방향으로 제시하는데, 이는 지금의 전이가 하드웨어별 튜닝에 기댄다는 뜻이다.
태스크 다양성이 좁다. 가위·스크류드라이버 두 도구, 사실상 “집어서 도구를 쓰는” 유사한 구조다. 더 복잡한 손 안 재배치(in-hand reorientation)나 양손 협응, 비강체 물체로의 일반화는 검증되지 않았다.
재타게팅 최적화 비용/전제. interaction mesh 최적화는 물체 키포인트와 손-물체 대응을 알고 있다고 가정하며(MANO 키포인트↔︎로봇 키포인트 수동 대응, Fig. 6), 물체 메시 품질에 민감하다 — WUJI-Scissors 실패가 이를 보여준다.
“최소주의”의 이면. 레시피 자체는 단순하지만, 실제로 통하게 하려면 도메인 무작위화·푸시 커리큘럼·중력 커리큘럼·시간 지연 모델링 등 상당한 sim-to-real 엔지니어링이 겹겹이 쌓여 있다. 최소인 것은 개념이지 시스템이 아니다.

요약

Regrind는 “재타게팅→RL 추적”이라는 검증된 모션 추적 레시피를, 손-물체 상호작용 보존이라는 한 가지 수정만으로 접촉이 많은 손가락 조작에 이식할 수 있음을 보인다. interaction mesh 재타게팅으로 물리적으로 타당한 참조를 만들고, 객체 중심 잔차 RL로 이를 추적하며, 단일 시연을 저렴하게 증강해 시뮬레이션 4/4에서 baseline을 압도하고 실물 3/4에서 zero-shot 전이한다. WUJI-Scissors 실패와 배포 시 모캡 의존은 남은 숙제지만, 두 분야로 갈라져 있던 모션 추적과 손 조작을 하나의 처방으로 잇는 설득력 있는 사례다.