📃WBD 리뷰

Whole-Body Dexterity

• Paper Link (arXiv:2610.22184)

• Project

• Conor Mc Gartoll*, An Dang*, Pranay Thangeda*, Arjun Gupta, Carolina Higuera, Nima Fazeli, Mustafa Mukadam†, Manikantan Nambi† (* 동등 기여, † 동등 지도)

• Amazon · University of California, San Diego · University of Michigan / arXiv preprint (cs.RO), 2026 (v1)

1. 💡 사람은 상자를 가슴에 대고 버티거나 겨드랑이에 끼워 한 팔을 비운다. WBD는 휴머노이드의 팔과 몸통 전체를 “손가락과 손바닥”처럼 접촉면으로 쓰는 whole-body dexterous manipulation을, 물체를 몸의 한 영역에서 다른 영역으로 옮기는 any-to-any re-grasping 문제로 정식화한다.
2. ⚙️ 팔·몸통 접촉 grasp 251만 개를 force-closure 최적화와 시뮬레이션 검증으로 만들고, 이를 2 cm voxel과 grasp mode(왼팔·양팔·오른팔)로 묶은 goal graph 위에서 물체별 PPO expert(WBD-EX) 15개를 학습한다. expert 궤적 27.4만 개를 DexterityGen식 diffusion + inverse dynamics 컨트롤러 하나로 증류하고, 사람의 거친 원격조작 명령을 gradient guidance로 받아 안정적인 팔 명령으로 바꾼다.
3. 🎯 실기 Unitree G1에서 농구공·종이상자 재배치와 선반→겨드랑이→운반→테이블 과제를 합쳐 45/50(90%)을 완료했다. 같은 리타게팅 파이프라인에서 refinement만 뺀 GMR 직결은 9/50(18%), SONIC 공개 체크포인트(VR 3-point 모드)는 2/50(4%)였다. 다만 실기 결과는 숙련 조작자 1명, 물체 2개, 칸당 10회이고, 시뮬레이션 평가는 expert 자신의 명령에 노이즈를 넣은 합성 벤치마크다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

휴머노이드 조작 연구는 대부분 손끝에서 끝난다. loco-manipulation도 손으로 집거나, 큰 물체를 두 팔로 꽉 끌어안는 한 가지 자세를 유지하는 수준이다. 사람은 다르다. 공을 오른 어깨로 굴려 올렸다가 가슴 앞으로 내리고, 상자를 겨드랑이에 끼운 채 걷는다. 이때 팔과 몸통은 하나의 큰 손처럼 접촉을 만들고 풀기를 반복한다. WBD는 이 능력을 “물체를 몸 표면 위 한 위치에서 다른 위치로 옮기되, 목표 지점에서는 지정된 팔(들)로 안정적으로 붙잡고 있을 것”이라는 re-grasping 문제로 바꾼다.

기존 다지 손 연구의 레시피를 몸 전체로 옮긴 것이 핵심이다. 다지 손에서는 grasp 데이터셋을 만들고, 임의 grasp에서 임의 grasp로 옮기는 RL expert를 학습하고, 그 궤적을 원격조작으로 조종 가능한 생성 모델로 증류하는 흐름이 이미 있다(같은 공저자 Mukadam이 참여한 DexterityGen). WBD는 이를 휴머노이드로 옮기면서 “팔이 둘뿐이라 한 팔을 떼면 다른 팔과 몸통이 물체를 받쳐야 한다”는 차이를 grasp mode 제약과 몸통 영역 분할로 다룬다.

프로젝트 페이지의 teaser 영상(23초, 무음). 실기 G1이 농구공을 가슴 앞, 겨드랑이, 몸 뒤쪽으로 옮기며 걷는 장면이 이어진다. 몸 뒤쪽 영역과 걸으면서의 공 재배치는 논문에서 정량 평가되지 않은 시연이다.
Fig. 1. 위: 실기 G1이 공·상자·원통 용기를 어깨, 겨드랑이, 가슴 앞으로 옮기는 장면. 아래: 선반에서 상자를 집어 한 팔 아래에 끼우고, 걸어서 옮긴 뒤 테이블에 내려놓는 장기 과제. 논문의 실기 정량 평가는 농구공과 15 cm 종이상자 두 물체에 한정된다.
Fig. 2. WBD 파이프라인. (1) mode별 whole-body grasp를 만들어 voxel로 묶고, (2) 구(sphere) expert를 any-to-any repositioning으로 사전학습하고, (3) 다른 물체 expert를 그 구 expert에서 warm start하고, (4) expert 궤적을 하나의 general dexterity controller로 증류해 거친 명령 입력을 받아 시뮬레이션과 실기에서 쓴다.

핵심 방법론:

grasp 생성은 접촉점 p_k에서 물체 표면 법선 n_k가 만드는 알짜 힘과 모멘트를 0으로 보내는 미분 가능한 force-closure 에너지를 쓴다.

E_{\text{closure}}=\frac{1}{K^2}\left(\Big\|\sum_{k=1}^{K} n_k\Big\|_2^2+\Big\|\sum_{k=1}^{K}(p_k-\bar p)\times n_k\Big\|_2^2\right)

여기에 접촉점을 물체 표면으로 끌어당기는 항, 관통·자기충돌·관절 한계 페널티를 더해 GPU 배치 Adam으로 푼다. 살아남은 grasp는 2 cm voxel과 mode m\in\{L,B,R\}로 묶여 goal graph의 노드가 된다. 왼팔(L)과 오른팔(R)은 직접 연결되지 않고 양팔(B)을 거쳐야 하므로, 모든 손바꿈은 “양팔로 잠시 받치는” 단계를 지난다.

WBD-EX expert는 목표 위치와 목표 mode만 받고, 관절 자세나 물체 방향은 목표에 넣지 않는다. 보상은 유지(retention) 여부 \rho_t\in\{0,1\}를 곱한 진행·유지 항과 희소 성공·실패 항으로 구성된다.

r=r_{\text{prog}}+r_{\text{settle}}+r_{\text{succ}}+r_{\text{hold}}+r_{\text{neutral}}-r_{\text{fail}}-r_{\text{reg}},\qquad r_{\text{prog}}=\rho_t\,\mathrm{clip}(e_{t-1}-e_t,\pm 2\,\text{cm})

증류된 WBD 컨트롤러는 물체 상태를 전혀 보지 않는다. 입력은 고유감각 이력과 5차원 기하 기술자(정렬된 bounding box 변 길이의 로그, 부피의 로그, 구형도)뿐이다. diffusion 모델이 팔 keypoint의 미래 변위를 만들고, 조작자 명령에서 계산한 변위 d 쪽으로 denoising을 유도한다(D=\|\Delta x_5-d/2\|^2+\|\Delta x_{10}-d\|^2). inverse dynamics 모델이 고른 keypoint 변위를 관절 목표 증분으로 바꾼다.

주요 결과:

• 실기 합산: 둘레 왕복(어깨 탭·겨드랑이 수납, 공·상자)과 선반 과제 전 단계를 합쳐 WBD 45/50, GMR 직결 9/50, SONIC 2/50(Table I·II 합산, 논문 본문 수치). 필자 계산으로 45/50의 95% Wilson 구간은 78.6~95.7%, GMR과의 Fisher 검정 p\approx1.5\times10^{-13}이다.
• 실기 표의 칸별: WBD는 네 개의 둘레 과제에서 목표 영역 도달 40/40, 왕복 38/40이었다. GMR은 겨드랑이 수납 왕복이 공 2/10, 상자 1/10, SONIC은 0/10과 0/10이었다. 선반 과제는 세 방법 모두 집기 10/10이었고, 그 뒤 WBD는 9/9/9/7, GMR은 3/2/1/1, SONIC은 0이었다.
• 시뮬레이션(Fig. 4): expert 명령에 U(-\alpha,\alpha) 노이즈를 넣었을 때, 두 노이즈 수준과 다섯 guidance 값 평균으로 time to failure가 노이즈 expert 대비 학습 물체 +70%, 학습에서 뺀 180 mm 구 +158%, 180 mm 정육면체 +71% 늘었다. 낮은 노이즈와 guidance 1~20에서는 노이즈 없는 expert보다도 오래 버텼다.
• 단순 평활화 대조(Table X): EMA로 명령을 거른 경우는 노이즈 expert와 비슷하거나 나빴고(goals/trial 8.47→7.82), WBD는 23.79로 올랐다.
• 비용: expert 하나를 처음부터 50,000 iteration 학습하는 데 약 1,030 H100 GPU-hour, warm start면 사후학습 660~815 GPU-hour에 공유 사전학습 270/N GPU-hour가 든다. 증류 모델 하나는 약 22 H100 GPU-hour다.

결론:

WBD의 새로움은 “몸 전체를 다지 손처럼 쓴다”는 비유를 실제 학습 파이프라인으로 끝까지 밀어붙였다는 데 있다. 몸통 영역 분할로 grasp 분포를 몸 전체에 퍼뜨리고, mode 제약 goal graph로 손바꿈을 강제하고, 증류된 컨트롤러가 물체 상태 없이도 지지를 유지하게 했다. 실기에서 refinement 하나를 빼면 성공이 90%에서 18%로 떨어진다는 대조가 가장 단단한 증거다. 반면 시뮬레이션 평가는 expert 자신의 명령에 노이즈를 넣는 설정이라 실제 조작자 명령과는 다르고, 물체마다 약 700~1,000 H100 GPU-hour짜리 expert가 필요하다는 비용은 “임의의 물체”로 넓히는 데 큰 부담이다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

WBD는 휴머노이드의 상체를 “손가락 두 개(팔)와 아주 큰 손바닥(몸통)”으로 보고, 다지 손 in-hand manipulation에서 검증된 grasp 데이터셋 → any-to-any RL expert → 조종 가능한 생성 컨트롤러 증류 레시피를 그대로 옮긴 논문이다. 옮기는 과정에서 생기는 차이, 곧 지지점이 적어 손을 뗄 때마다 물체가 미끄러지거나 굴러야 한다는 점을 grasp mode 제약과 “목표에는 위치와 mode만 넣고 자세·방향은 넣지 않는다”는 설계로 흡수했다. 그 결과 나온 컨트롤러는 물체 상태를 보지 않고 관절 고유감각만으로 지지를 유지하며, 사람의 거친 팔 동작을 받아 공을 어깨로 올리고 상자를 겨드랑이에 끼운다.

배경: 손 밖의 dexterity가 왜 따로 어려운가 (§I·§II)

저자들의 출발점은 두 관찰이다. 첫째, 다지 손 연구에서는 “중간 목표를 촘촘히 따라 물체를 옮기는 학습”이 강력한 능력을 만든다는 것이 확인됐다(anygrasp-to-anygrasp 사전학습의 DexterityGen, 사람 동작의 손-물체 subgoal을 추종하는 원격조작 연구). 둘째, 휴머노이드는 지지점이 적다. 손가락이 많은 손은 몇 손가락이 받치는 동안 다른 손가락을 옮길 수 있지만, 팔 두 개로는 한 팔을 떼는 순간 다른 팔이 물체를 몸통에 눌러 받쳐야 하고, 그 사이 물체는 몸통 위를 구르거나 미끄러진다. 저자들은 이 차이 때문에 다지 손 방법을 그대로 쓸 수 없다고 본다.

관련연구 절(§II)에서 저자들이 내세우는 빈칸은 이렇다. 기존 휴머노이드 연구는 “whole-body”를 손 조작을 위한 전신 협응(TWIST2, HumDex), 손끝에 국한된 loco-manipulation(AMO, FALCON, ULTRA, VIRAL, \Psi_0), 또는 큰 물체를 팔로 계속 끌어안는 단일 자세(Embracing Bulky Objects, TACT, 상자 운반 sim2real)로 썼고, “어느 링크로든 접촉을 만들고 풀어 물체를 몸의 여러 영역으로 옮기는 일반 능력”으로 다룬 연구는 없다는 주장이다.

이 빈칸 주장을 인용 문헌의 초록으로 대조해 보면 좁은 의미에서는 맞다.

인용 문헌	실제로 하는 것(초록 기준)	WBD 빈칸 주장과의 관계
Blind Dexterity (arXiv:2608.29487)	G1에서 카메라·힘 센서 없이 고유감각만으로 걷기, 공 트래핑, 여행가방 들기, 스케이트보드 오르기	고유감각이 “전신 촉각 채널”이 된다는 주장은 WBD 증류 컨트롤러의 입력 설계와 통한다. 물체를 몸 영역 사이로 옮기지는 않는다
Soft robotic torso, Baloo (arXiv:2509.23556)	연성 팔 두 개로 10 kg 물체를 6자유도로 조작, 88% zero-shot. 재파지와 교란 복구가 emergent하게 나온다	저자 서술대로 몸통 앞 재파지에 머문다. 서거나 걷지 않는다
ContactMimic (arXiv:2607.08742)	부위별 이진 접촉 명령을 keypoint 궤적과 함께 추종. 의자 앉기, 칠판 닦기, 가구 밀기	“어느 부위로든 접촉을 명령한다”는 점은 가장 가깝다. 다만 물체를 몸 위에서 재배치하는 과제가 아니다
Weave (arXiv:2609.16683)	사람-물체 상호작용 시연에서 29 관절 + 손가락 12 관절 정책. 학습 시퀀스 92.5%, 미학습 65.0%	초록만으로는 몸통 접촉 재배치를 하는지 판단할 수 없다
Embracing Bulky Objects (arXiv:2509.13534)	사람 동작 prior + neural SDF로 큰 물체를 전신으로 끌어안기	저자 분류대로 지속적 팔 grasp 한 가지다

정리하면 “몸 표면 위의 any-to-any 재배치 + 손바꿈”이라는 과제 정식화는 이 논문이 처음 내세우는 것이 맞아 보인다. 다만 “어느 링크로든 접촉을 만들고 푼다”는 일반 표현은 ContactMimic의 부위별 접촉 명령과 겹치는 부분이 있어, 빈칸의 핵심은 “접촉”보다 “물체를 몸 영역 사이로 옮기는 것”에 있다고 읽는 편이 정확하다.

원격조작에 대한 진단도 하나 있다. 리타게팅·트래킹 기반 원격조작은 힘·촉각 피드백이 없어서 조작자가 물체가 눌려 있는지 미끄러지는지 알기 어렵고, 그래서 손 위주 pick-and-place에 머문다는 것이다. 이 문장 자체에는 인용이 없지만, 뒤의 실기 실험에서 GMR 직결이 “영역까지는 가는데 왕복은 못 하는” 패턴으로 이 진단을 간접적으로 뒷받침한다.

방법 상세 1: whole-body grasp 생성 (§III-A, 부록 I·II)

Fig. 3. whole-body grasp 생성. 지정한 팔·다리·몸통 접촉 링크(파란색)로 무작위 초기화 → grasp 최적화 → 후보 → 교란 하 시뮬레이션 검증. 학습용 voxel 집합에는 왼팔·오른팔·양팔 grasp만 들어가고 다리 grasp는 빠진다.

입력과 출력. 입력은 로봇 모델, 물체 mesh, 접촉 링크 선택뿐이다. 저자들은 그래서 이 절차가 휴머노이드나 특정 물체 부류에 묶이지 않는다고 말한다(기여 1: “임의의 open-link 관절 강체계”). 실제 데이터셋은 G1의 팔과 몸통으로 특화된다. Dex3 손가락은 주먹 쥔 자세로 고정하고, 다리 12개와 허리 3개 관절도 고정한다. 양팔 생성은 팔 관절 14개 + root pose 9개 = 23개 변수, 한 팔 생성은 7 + 9 = 16개 변수를 최적화한다.

최적화. 원래 제약 문제는 접촉 거리 항과 force-closure 에너지를 최소화하면서 충돌 구(collision sphere)의 물체 관통 금지, 구끼리의 자기충돌 금지, 관절 한계를 지키는 것이다(부록 식 1~4). 이를 GPU 병렬 1차 최적화로 풀기 위해 제약을 제곱 hinge 페널티로 바꾼다.

\min_{q,T}\; w_{\text{closure}}E_{\text{closure}}+\frac{w_{\text{dist}}}{K}\sum_j[\phi(p_j)-d^\star]_+^2+w_{\text{link}}\sum_i[r_i-\phi(b_i)]_+^2+w_{\text{joint}}\sum_m\big([\underline q_m+\delta_q-q_m]_+^2+[q_m-\bar q_m+\delta_q]_+^2\big)+w_{\text{self}}\sum_{(i,l)\in H}[r_i+r_l-\|b_i-b_l\|]_+^2

\phi는 물체의 signed distance(밖이 양수), b_i, r_i는 로봇 충돌 구의 중심과 반지름, T는 물체 좌표계에서의 로봇 root pose다. 저자들이 스스로 밝히는 중요한 단서가 있다. 접촉력 크기를 1로 고정하고 마찰원뿔을 넣지 않으며 모멘트도 질량중심이 아니라 접촉점 중심 기준이라, E_{\text{closure}}는 force-closure 판정이 아니라 마찰 없는 알짜 wrench 잔차다. 그래서 뒤의 동역학 검증이 반드시 필요하다.

설정	값
가중치 w_{\text{closure}}/w_{\text{dist}}/w_{\text{link}}/w_{\text{joint}}/w_{\text{self}}	1 / 300 / 200 / 1 / 10
접촉 거리 허용치 d^\star, 관절 한계 여유 \delta_q	2 mm, 0.035 rad
pre/post-grasp 기울기 배수	+0.5(후퇴) / −0.4(누르기)
배치·반복	GPU 1장에서 후보 4,096개 × 4,000 iteration, AdamW lr 10^{-3}→10^{-4} cosine
접촉 후보점	링크 34개 위 626점(양팔 설정에서는 25개 링크 위 347점), 매 iteration 링크 K=5개 샘플

Fig. 7. grasp 데이터셋의 몸통 접촉 영역 6개(오른·왼 어깨, 등, 오른·왼 몸통 옆, 앞). 영역마다 서로 다른 물체의 grasp 하나씩을 보인다.

몸통 분할. 이 절에서 가장 실용적인 설계다. G1의 몸통은 사방에서 접촉할 수 있는 큰 링크라 하나의 접촉 대상으로 두면 최적화가 접촉을 찾기 쉬운 곳에만 몰린다. 그래서 큰 링크를 여러 영역으로 나눠 각각 따로 grasp를 생성하고, 영역마다 생성 할당량을 똑같이 준다. 영역 제한은 기하 상자가 아니라 후보점에 붙인 태그라서, 접촉 목적함수에 쓰는 점만 제한하고 충돌 검사는 로봇 전체에 그대로 걸린다. 최종 grasp는 시상면 대칭으로 미러링해 정확히 두 배로 만든다(재시뮬레이션 없이 라벨만 바꾼다).

두 단계 검증(mjlab). 몸통을 고정한 채 pre-grasp에서 출발해 닫고 누른 뒤 유지한다.

1. 물체 무게를 4배로 하고, 유지 구간 전반부에 10 N 힘과 0.5 N·m 토크를 6축 방향으로 100 ms씩 휩쓴다. 끝날 때 접촉 링크가 둘 이상 남아 있어야 통과한다.
2. 살아남은 후보를 정상 중력, 교란 없이 다시 돌려 이동 10 cm 미만, 회전 45° 미만이어야 통과한다. 이때의 최종 자세가 WBD-EX 에피소드 초기 상태가 된다.

이후 물체 중심이 몸통 원점보다 충분히 높고(9 cm, 키가 15 cm를 넘는 물체는 3 cm) 몸통 표면에서 5 mm 안에 붙은 grasp만 남긴다. 결과는 15개 물체에 걸쳐 시뮬레이션 안정 grasp 251만 개다. 물체마다 voxel 1.0~5.5×10³개, (voxel, mode) 노드 1.7~9.1×10³개가 생기고, 점유 영역은 좌우 약 ±0.21 m, 높이 0.03~0.45 m다. 몸통 주변 기준 위치의 커버리지는 물체별 평균 90.1%, 합산 98.4%다.

방법 상세 2: WBD-EX expert (§III-B, 부록 III·IV·V)

goal graph와 목표 샘플링

grasp마다 정착 자세 q_i와 몸통 좌표계 물체 pose X^O_i가 저장된다. 물체 중심 위치를 2 cm 격자로 voxel화하고, 같은 voxel 안에서도 mode별로 나눠 (voxel, mode) 쌍을 노드로 삼는다. 이동 규칙은 하나다. L과 R은 자기 자신과 B로만 이어진다. 같은 voxel 안에서 mode만 바꾸는 0거리 전이는 허용된다.

에피소드는 mode → 그 mode가 있는 voxel → 그 노드의 grasp를 차례로 균등 샘플해 시작한다. 멀리 있는 far goal을 하나 뽑아 두고, 매번 거리 d\sim U(0.02, d_{\max}) m 안에서 far goal에 가장 가까운 합법 노드를 다음 목표로 준다. 20% 확률로는 “지금 위치에 그대로 붙잡고 있어라”(hold)를 준다. d_{\max}는 처음 5,000 iteration 동안 2 cm에서 8 cm로 선형 증가한다.

목표에서 뺀 것이 설계의 요점이다. DexterityGen은 목표에 물체 방향과 손 관절 자세를 넣었지만, WBD는 물체 위치, grasp mode, 그리고 “그 자리에 멈췄는가”만 본다. 몸통 위에서 공을 굴려 옮기는 동작은 도착할 때 방향이 무엇이든 상관없고, 관절 자세를 목표에 넣으면 그런 굴리기·미끄러뜨리기가 오히려 벌을 받는다.

성공 조건과 유예 시간

목표 완료는 다음이 동시에 성립하고 이동 목표는 10 스텝, hold 목표는 25 스텝 유지될 때다. 물체가 목표 2 cm 안, 선속도 0.12 m/s와 각속도 1.5 rad/s 미만, 목표 mode의 팔이 접촉 중. 한 팔 목표는 반대 팔이 5 스텝 연속 접촉 없음까지 요구한다. 반대로 이동 중에는 필요한 팔 접촉을 0.48 s(24 스텝)까지 잃어도 된다. 손바꿈 중 팔을 재빨리 옮기는 동적 동작을 허용하기 위한 유예다. 몸통 접촉만으로는 “접촉 유지”로 치지 않는다.

관측·행동·보상

Fig. 8. 평가 영역 6개(두 시점). 앞·등은 양팔 grasp, 겨드랑이·어깨는 해당 쪽 한 팔 grasp가 필요하다.

• 관측(actor 89차원): 팔 관절 위치·속도·서보 오차·이전 행동(각 14), hold 플래그와 목표 거리(3), 물체 기준 목표 위치(3), 물체 pose(9)와 속도(6), 팔·몸통 접촉 비율 등 접촉 요약(6), 출발·목표 mode one-hot(6). critic은 여기에 질량·질량중심·마찰의 실제 무작위값 6차원을 더한 95차원이다(asymmetric actor-critic). expert는 물체 pose와 속도를 보는 privileged policy다.
• 행동: 팔 관절 목표에 대한 14차원 증분. tanh로 누른 뒤 0.025 rad/step으로 스케일해 누적하고, 측정 자세에서 0.35 rad 안으로 묶는다. 허리와 하체는 고정(weld)이라 몸통 좌표계가 완전히 정지해 있고, 움직이는 것은 팔뿐이다. 팔 강성은 k_p=20으로 낮다.
• 제어 주기: 물리 200 Hz, 제어 50 Hz, 에피소드 40 s(2,000 스텝).

항	정의	계수
진행 r_{\text{prog}}	\rho_t\,\mathrm{clip}(e_{t-1}-e_t,\pm2\,\text{cm})	100
목표 영역 도착 r_{\text{settle}}	2 cm 안에서 머무는 동안의 작은 스텝 보상	0.15
전이 완료 r_{\text{succ}}	목표 mode로 정착하면 희소 보너스	20
hold 품질 r_{\text{hold}}	\rho_t\exp(-e_t/2.5\,\text{cm})	0.2
팔 중립 r_{\text{neutral}}	\rho_t\exp(-\lVert q^{arm}_t-q^{arm}_{def}\rVert/0.4)	0.5
실패 r_{\text{fail}}	낙하, 지속적 접촉 상실 등 1회 종료 페널티	−20
정규화 5종	비지지 이동(5 cm/s 초과), 속도 상한(0.35 m/s, 3 rad/s), 행동 크기, 행동 변화, 서보 리드(0.25 rad 초과)	−1, −0.5, −10⁻⁴, −10⁻³, −0.1

필자가 표의 계수로 스텝당 최대 기여를 계산해 보면, 진행 항은 2 cm 클립 × 100 = 2.0, 팔 중립은 0.5, hold는 0.2다. 진행 항은 실제 이동 거리에 비례하므로 목표 하나(2~8 cm)에서 받는 진행 보상 총량은 2~8 정도이고, 성공 보너스 20이 목표당 보상의 대부분을 차지한다. 반면 팔 중립 항은 물체를 쥐고 있는 한 매 스텝 나오므로, 쓰지 않는 팔을 기본 자세로 돌려놓는 것이 2,000 스텝 에피소드에서 무시할 수 없는 크기로 쌓인다. “필요 없는 팔은 쉬게 한다”는 사람다운 동작이 이 항에서 나온다는 저자 서술과 맞는 크기다.

domain randomization(Table VI). 로봇 마찰 배수 U(0.75,1.25), 물체 질량 0.4~1.2 kg(모든 물체 공통, 관성 함께 스케일), 질량중심 ±5 mm, 물체 중심에 가하는 외력은 처음 2,000 iteration 0 N에서 이후 8,000 iteration 동안 20 N까지 올린다(지속 0.05~0.20 s, 간격 0.75~2.0 s).

PPO 설정. H100 8장 × 환경 8,192개 = 65,536 환경, iteration당 약 4.2×10⁶ transition, 환경당 64 스텝, 5 epoch, 16 minibatch, \gamma=0.99, GAE \lambda=0.95, KL 목표 0.015의 적응 학습률. actor·critic은 각각 512×256 ELU MLP다.

두 단계 학습: 구에서 warm start

작은 물체나 모양이 고르지 않은 물체는 처음부터 학습하면 중간 크기 구보다 성능이 낮다. 그래서 200~220 mm 구 expert를 15,000 iteration 사전학습하고, 다른 물체 expert는 그 actor, critic, optimizer 상태, 관측 정규화기, 커리큘럼 진행도까지 통째로 넘겨받아 35,000 iteration 사후학습한다. 180·200·220 mm 구는 warm start 없이 50,000 iteration을 학습한다. 이 절의 정량 비교는 아래 실험 3에서 다룬다.

방법 상세 3: 증류된 WBD 컨트롤러 (§III-C, 부록 VI·VII)

데이터: escapability로 출발 grasp 고르기

검증을 통과한 grasp도 “물체를 안정적으로 붙잡는다”는 것만 보장할 뿐, 학습된 expert가 거기서 빠져나갈 수 있는지는 보장하지 않는다. 저자들은 학습이 끝난 expert로 grasp 251만 864개 각각에서 6~8 cm 떨어진 목표 128개로 단일 전이를 시도해(3 s 예산, 총 3.2×10⁸회) 성공 비율을 escapability로 매겼다. 학습 중에 낮은 품질 grasp의 가중치를 낮추는 방법은 전체 집합으로 학습하는 것보다 나빴기 때문에, 학습은 전체 집합으로 하고 궤적 수집 단계에서만 거른다.

Fig. 12. 물체별 escapability 분포(10점 구간별 grasp 비율). 가는 원통(∅120×220)과 납작한 prism(80×160×220)은 평평한 분포에 평균 약 40%, 최상위 구간이 약 1%다. 구는 지름이 커질수록 최상위 구간에 몰린다(∅120 28% → ∅220 62%).

voxel 안에서 점수가 낮은 grasp를 상한 비율까지 지우되, 모든 (voxel, mode) 쌍과 voxel당 최소 20개 grasp는 남긴다. 상한은 최고 평균에서 1%p 안에 드는 가장 작은 값, 70% 이하, 관절 범위 커버리지 95% 이상이라는 규칙으로 물체마다 정했고 결과는 10~60%다(Fig. 13). 비루프 경로 12개의 평균 완료율이 물체마다 1.2~13.3%p 올랐다. 다만 저자들이 밝히듯 이 이득은 상한을 고른 바로 그 시행에서 잰 값이다. 그래서 별도로 잰 수집 효율이 더 정직한 지표인데, 물체 15개 × 조건당 13,440회 수집에서 사용 가능 비율이 약 29.0% → 32.5%(+3.5%p), 시도당 사용 가능 프레임이 약 938 → 1,053(+12%)로 저자 표현대로 “일관되지만 작은” 개선이다.

Fig. 13. voxel 내 제거 상한에 따른 경로 완료율(루프 제외 12개 경로). 점선은 거르기 전 기준선, 별은 채택한 상한과 이득이다. 가는 prism(10%, +1.2%p)은 거의 평평하고, 구는 20~60% 제거로 5~13%p 오른다.

수집 규칙. 얼린 expert가 거른 grasp 집합에서 출발해 목표를 연달아 따라가며 50 Hz로 120 s 또는 실패까지 기록한다. 실패 직전 100 프레임은 버리고, 목표 2개 이상 완료·50 프레임 이상인 구간만 남기며, 물체와 관절이 거의 움직이지 않는 정지 구간도 제거한다. 목표 거리 2~4, 4~6, 6~8 cm를 궤적 단위로 고정해 세 속도대를 같은 비율로 모은다. 최종 데이터는 궤적 27.4만 개, 프레임 8.73억 개다. 필자 계산으로 50 Hz 기준 약 4,850시간 분량이고, 궤적당 평균 약 3,190 프레임으로 부록 VI-C의 “수락된 궤적은 약 3,200 프레임”과 맞는다. 배치의 절반은 시상면 대칭으로 뒤집고, 물체는 같은 비율로 뽑는다.

구조: DexterityGen의 diffusion + inverse dynamics

컨트롤러는 DexterityGen의 구조와 공개된 state encoder/U-Net 설정을 그대로 따르고, 표현과 조건만 바꿨다.

• keypoint: 팔마다 팔꿈치 1개와 손(엄지·검지·중지 위치) 3개, 모두 고정된 주먹 자세의 순기구학으로 몸통 좌표계에서 계산한다. 양팔 8점 × 3 = 24차원.
• diffusion 입력(269차원): 50 Hz 기준 오프셋 (−15, −10, −5, 0)의 이력 4개 × (keypoint 24 + 측정 관절 14 + 적용 목표 14 + 추적 오차 14) + 기하 특징 5. task/mode 임베딩은 쓰지 않는다.
• diffusion 출력: 미래 오프셋 5, 10 스텝(100 ms, 200 ms)의 keypoint 변위 48차원.
• inverse dynamics(119 → 14): 현재 이력 66 + 예측 변위 48 + 기하 5를 받아 관절 목표 증분 14개를 낸다(폭 1536, 2층 residual block 4개).
• 학습: 두 네트워크를 함께 130,000 AdamW update, 전체 배치 2,560, lr 3\times10^{-4}, diffusion 100 timestep cosine schedule. inverse model은 기록된 expert 동작과 diffusion이 생성한 동작을 반반 섞어 학습해 자기 출력 분포에도 강건하게 만든다.

물체 상태 입력이 없다는 점이 이 컨트롤러의 정체를 정한다. expert는 물체 pose를 봤지만 컨트롤러는 팔 관절의 측정값·목표·추적 오차만 본다. 물체가 팔을 밀면 추적 오차가 생기므로, 물체 상태는 고유감각 이력 속에 간접적으로만 들어 있다. 인용된 Blind Dexterity가 “관절 encoder 판독이 compliant 접촉에서 전신 촉각 채널이 된다”고 주장한 것과 같은 원리이고, 팔 강성 k_p=20의 낮은 값이 이 신호를 키운다.

추론: gradient guidance와 명령 체인

매 업데이트에 후보 미래 동작 16개를 12 DDIM 스텝으로 샘플한다. 조작자(또는 시뮬레이션의 노이즈 expert)가 요구한 자세 q^{req}와 현재 적용 목표 c로 guidance 변위 d=\mathrm{FK}(q^{req})-\mathrm{FK}(c)\in\mathbb{R}^{24}를 만들고, 각 denoising 스텝에서 다음 오차를 줄이는 방향의 기울기를 guidance 가중치만큼 더한다.

D=\lVert\Delta x_5-d/2\rVert^2+\lVert\Delta x_{10}-d\rVert^2

16개 후보 중 D가 가장 작은 것을 골라 inverse model로 관절 증분 \Delta\hat c를 얻는다. 가중치가 크면 명령 추종이, 작으면 학습된 동작 prior가 우세하다. 추론이 끝났을 때 이미 적용 목표가 바뀌어 있을 수 있으므로, 예측 시점의 목표 c_{obs} 대비 증분만 최신 목표 c_{pub}에 더한다.

c_{new}=c_{pub}+(\hat c-c_{obs})

실기에서는 출력 증분을 관절당 ±0.025 rad로 자르고, 발행기가 관절 속도 한계, 0.35 rad 추적 오차 한계, 관절 한계를 다시 적용한다. RTX 5090 워크스테이션에서 업데이트 1회가 중앙값 11.8 ms(p95 17.3 ms), 평균 34.9 Hz로 도착했고, 상태 발행에서 로봇 명령 버퍼까지 지연은 중앙값 50.1 ms(p95 73.7 ms)였다(센싱·모터 지연 제외).

시뮬레이션에서는 이 컨트롤러의 출력을 다시 expert 행동 공간(tanh 이전)으로 되돌려 노이즈 명령 \tilde a의 ±2.5 안으로 자른다. 이 “bounded correction” 반경이 아래 실험 해석에서 중요하다.

직관: 팔은 손가락, 몸통은 손바닥, 그리고 손가락이 둘뿐인 손

WBD를 이해하는 가장 빠른 길은 DexterityGen과 한 줄씩 맞대 보는 것이다.

항목	DexterityGen(다지 손)	WBD(휴머노이드 상체)
“손가락”	Allegro 손(16자유도)의 손가락 4개	팔 2개(팔꿈치·손 keypoint)
“손바닥”	손바닥	몸통(영역 6개로 분할)
grasp 데이터	Grasp Analysis + RRT로 만든 (손 관절, 물체 pose) 쌍, 대부분 물체에서 10만 개 이상	몸통 영역별 force-closure 최적화 + 4배 중력 교란 검증, 251만 개
expert 목표	kNN으로 고른 가까운 grasp(손 관절 자세 + 물체 pose)	2~8 cm 안의 (voxel, mode) 노드: 물체 위치 + grasp mode만
손바꿈 구조	손가락이 많아 일부가 받치는 동안 나머지를 옮김	L\leftrightarrow B\leftrightarrow R, 한 팔을 뗄 때는 반드시 양팔 단계를 지남
접촉 상실	정식화에 명시된 유예 없음	이동 중 0.48 s 유예를 명시적으로 허용
증류 조건	mode conditioning 입력	기하 기술자 5차원, mode 임베딩 없음
명령	원격조작·정책의 손가락 keypoint 동작을 gradient guidance로	Xsens → GMR 리타게팅 팔 자세의 keypoint 변위를 gradient guidance로
시뮬레이션 평가	균등 노이즈로 망가뜨린 expert 명령을 정제	같은 방식(노이즈 expert 정제)

이 표에서 보이는 WBD의 실제 기여는 세 군데다. 첫째, 목표를 가볍게 만든 것. 위치와 mode만 주면 몸통 위 굴리기와 미끄러뜨리기가 허용되고, 사람이 보기에 자연스러운 손바꿈이 나온다. 둘째, mode 그래프로 손바꿈을 강제한 것. L\to R 직행을 막아 두면 정책은 “한 팔을 떼기 전에 반드시 양팔로 받친다”는 안전한 순서를 배운다. 셋째, 몸통을 나눠서 grasp 분포를 몸 전체에 퍼뜨린 것. 이것이 없으면 grasp가 가슴 앞에 몰리고 어깨·등·겨드랑이 목표가 그래프에 거의 없게 된다.

증류 단계의 직관은 다지 손과 같다. expert는 물체를 보면서 움직이지만, 그 궤적들을 모은 생성 모델은 “이런 자세 이력에서는 이런 팔 움직임이 물체를 떨어뜨리지 않는다”는 분포를 배운다. 조작자의 명령은 그 분포 안에서 방향만 잡아 주고, 물체를 실제로 받치는 미세한 팔 조정은 분포가 채운다. 사람이 힘 피드백 없이 원격조작할 때 가장 못 하는 부분을 학습된 prior가 맡는 구조다.

실험 셋업 (§IV-A)

항목	내용
물체	기본 도형 15개: 구 6(∅120~220), 정육면체 4(140~200), 직육면체(prism) 3, 원통 2. 모든 변과 지름이 80~240 mm
grasp	시뮬레이션 안정 grasp 251만 개, 몸통 주변 커버리지 물체별 평균 90.1%, 합산 98.4%
expert	물체당 WBD-EX 1개. 구가 가장 높고 정육면체·prism·원통은 모든 영역에서 재배치는 하지만 성공률이 낮다
증류 데이터	궤적 27.4만 개, 프레임 8.73억 개
시뮬레이션 컨트롤러	15개 중 13개로 학습(학습 시드 3개), 180 mm 구와 180 mm 정육면체는 학습·검증·정규화에서 제외
실기 컨트롤러	15개 물체 전체로 학습
시뮬레이터	mjlab

실험 1: 시뮬레이션, 노이즈 명령 정제 (§IV-B, Fig. 4·5, Table X)

Fig. 5. 시뮬레이션 영역 간 전이 예. 출발 grasp는 불투명한 G1로, 다른 영역에서 샘플한 far goal grasp는 파란 반투명으로 표시했다.

설정. 각 물체의 expert를 “거친 명령 생성기”로 만든다. expert의 14개 팔 명령(tanh 이전)에 독립 균등 노이즈 U(-\alpha,\alpha)를 넣고, \alpha\in\{2.5,4\}, guidance \{1,10,20,100,350\}에서 노이즈 expert 단독과 WBD가 그 노이즈 명령을 정제한 경우를 비교한다. 노이즈 없는 expert는 참조선이다. 시행은 앞·양 겨드랑이·양 어깨·등 6개 영역 사이를 인접 영역으로 무작위 이동하며, 물체당 256개의 짝지은 초기 grasp로 첫 실패 또는 600 s까지 돈다. 저자들은 노이즈 expert가 “목표 방향은 담고 있지만 개별 팔 목표가 손바꿈 중 지지 접촉을 깰 만큼 흔들리는” 실제 조작자 명령의 실패 양상을 재현한다고 설명한다. 이 평가 방식은 DexterityGen이 시뮬레이션에서 쓴 “노이즈로 망가뜨린 expert 명령 정제” 평가를 그대로 따른다.

Fig. 4. 노이즈 명령 하의 시뮬레이션 재배치. 위: 학습 물체 평균, 아래: 학습에서 뺀 180 mm 구(주황)와 180 mm 정육면체(자주). 실선은 WBD 정제(학습 시드 3개 평균), 파선은 노이즈 expert, 점선은 노이즈 없는 expert. 띠는 출발 grasp로 군집한 95% paired bootstrap 구간. 시행 상한 600 s.

결과(본문 수치). WBD는 두 노이즈 수준 모두에서 학습 물체 평균 goals/trial을 노이즈 없는 expert 수준으로 회복했다. 두 노이즈 × 다섯 guidance 평균으로 time to failure는 노이즈 expert 대비 학습 물체 +70%, 180 mm 구 +158%, 180 mm 정육면체 +71% 늘었다. 낮은 노이즈와 guidance 1~20에서는 노이즈 없는 expert보다도 time to failure가 길었다(학습 평균 +25~35%, 구 +109~120%, 정육면체 +25~47%). guidance를 크게 하면(100, 350) time to failure와 goals/trial이 함께 떨어진다. 명령을 너무 충실히 따르면 prior가 지지를 지켜 주지 못한다는 뜻이다.

Fig. 4를 읽을 때 알아야 할 것 네 가지.

1. “Goals / trial”은 2~8 cm 단위의 중간 목표 수다. 본문도 “각 목표는 voxel goal graph의 (voxel, mode) 쌍이고 far goal도 목표에 포함된다”고 정의한다. 영역에서 영역으로의 전이 횟수가 아니다. 프로젝트 페이지의 데이터 파일도 이 지표를 “local/intermediate successes, not strict regional-transfer counts”로 명시한다.
2. 노이즈 반경과 정정 반경이 같은 단위다. 노이즈는 tanh 이전 공간의 ±α이고, WBD 출력은 노이즈 명령의 ±2.5 안으로 잘린다. \alpha=2.5에서는 이론상 노이즈를 완전히 되돌릴 수 있는 반경이고, \alpha=4에서는 그럴 수 없다. 프로젝트 페이지 데이터의 주석도 “cap 2.5는 이 실험 이전에 고정됐다”고 밝힌다. 낮은 노이즈에서 노이즈 없는 expert를 넘는 결과가 이 조건에서만 나오는 것과 함께 읽어야 한다(높은 노이즈에서는 Fig. 4 (d)처럼 학습 물체 평균 time to failure가 노이즈 없는 expert보다 약간 낮다).
3. 명령 생성기가 증류의 교사 자신이다. WBD는 바로 그 expert들의 궤적으로 학습됐다. 노이즈 expert의 명령은 WBD가 학습한 분포의 “흐트러진 판”이라서, 다른 분포에서 오는 사람 명령보다 정제하기 쉬운 조건이다. “학습에서 뺀” 180 mm 물체도 명령은 그 물체로 학습된 expert에서 나오고, 크기는 학습 물체 160·200 mm 사이에 있다. 페이지 데이터 주석은 “학습 물체 시행의 출발 grasp가 학습 시작점과 겹칠 수 있고, 미지 출발점이나 보편적 안전성에 대한 주장은 아니다”라고 스스로 범위를 제한한다.
4. time to failure는 600 s에서 자른 제한 평균(RMST)이다. 페이지 데이터의 지표 이름이 holding_rmst600_s다.

페이지 데이터로 보는 보완 지표. 프로젝트 페이지는 Fig. 4와 같은 실험의 원자료(조건별 요약, 시행 49,920개의 CSV)를 공개한다. 단 이 자료는 체크포인트 해시가 하나뿐이고 파일 스키마 날짜가 2026-10-02라, 논문 Fig. 4(그림 파일명 3seed_20261015)의 3시드 평균과는 다른 판이다. 학습 물체 평균은 논문 그림과 비슷하지만 학습에서 뺀 물체는 차이가 있다(예: 페이지 자료로 계산한 구의 time to failure 증가율은 +167~175%로 본문 +158%보다 크다). 그래서 아래 표는 논문 수치가 아니라 페이지 자료(단일 체크포인트) 의 값이다.

학습 물체 13개 평균	노이즈 없는 expert	노이즈 expert α=2.5	WBD α=2.5, g=20	노이즈 expert α=4	WBD α=4, g=20
중간 목표 수/시행(Fig. 4 지표)	6.98	5.99	6.69	4.67	7.23
영역 전이 수/시행	1.17	0.97	1.10	0.71	1.22
첫 영역 전이 성공 확률	0.385	0.353	0.364	0.304	0.378
600 s 안에 물체를 잃은 비율	0.783	0.803	0.740	0.817	0.782
600 s까지 버틴 비율	0.054	0.027	0.077	0.016	0.035
time to failure RMST (s)	88.8	61.4	120.5	48.5	83.2

이 표가 보여 주는 것은 두 가지다. 첫째, 노이즈 없는 expert조차 연속 운용에서는 대부분 물체를 잃는다. 600 s 동안 영역 사이를 계속 옮기라고 하면 약 78%의 시행이 물체 낙하로 끝나고, 영역 간 전이는 시행당 평균 1.2회 정도다. 짧은 경로 평가(부록 IV)의 50~88% 완료율과 다른 그림이고, 실패까지 계속 옮기는 장기 운용에서는 신뢰도가 아직 낮다는 뜻이다. 둘째, WBD의 이득은 주로 “더 오래 붙잡고 있는 것”에서 나온다. 낮은 노이즈에서 WBD는 첫 영역 전이 확률(0.353 → 0.364)과 영역 전이 수(0.97 → 1.10)를 조금 올리는 동안 RMST를 61 s에서 121 s로 두 배 가까이 늘렸다. 높은 노이즈에서는 전이 확률 회복(0.304 → 0.378)이 더 뚜렷하다. 논문 본문은 goals/trial과 time to failure 두 지표만 보고해서 이 구분이 드러나지 않는다.

단순 평활화 대조(Table X, 부록 VII-E). “WBD의 이득이 그냥 명령을 부드럽게 해서 나온 것 아니냐”는 반론을 EMA 필터로 직접 시험했다. 검증용 시작점 64개로 \beta\in\{0.05,0.1,0.25,0.5\} 중 0.5를 골랐고, 앞 → 왼 겨드랑이 → 앞 → 오른 겨드랑이 경로를 물체당 256회 돌렸다(WBD guidance 100).

α	방법	goals/trial	time to failure (s)
2.5	노이즈 expert	8.47	29.1
2.5	노이즈 + EMA	7.82	20.5
2.5	노이즈 + WBD	23.79	86.1
4	노이즈 expert	6.24	24.2
4	노이즈 + EMA	6.32	17.6
4	노이즈 + WBD	21.79	64.6

EMA는 goals/trial을 거의 바꾸지 못하고 time to failure를 오히려 줄였다. 필자 추정으로는 필터 지연 때문에 손바꿈 순간의 빠른 팔 정정이 늦어지는 것으로 보이지만, 논문은 원인을 설명하지 않는다. 평활화로는 안 되고 “접촉을 지키는 방향의 정정”이 필요하다는 결론은 이 대조로 꽤 단단해진다. 다만 대조군이 EMA 하나뿐이고, 같은 expert 데이터로 학습한 단순 BC나 residual 정책 같은 학습 기반 대조는 없다.

실험 2: 실기 Unitree G1 (§IV-C, Table I·II, Fig. 6)

Fig. 6. 실기 과제. 위: 선반 과제(집기 → 겨드랑이 수납 → 걸어서 운반 → 꺼내기 → 테이블에 놓기). 아래: 농구공 어깨 탭과 겨드랑이 수납. 오른쪽: 조작자가 입은 Xsens 모션캡처 슈트.

과제와 판정. 3호 농구공과 15 cm 정육면체 종이상자를 양손 앞 grasp에서 시작한다. 어깨 탭은 물체가 어깨 링크에 닿으면, 겨드랑이 수납은 물체 중심이 어깨 링크와 대략 같은 앞뒤 위치에서 한 팔 아래에 안정적으로 끼워지면 성공이다. 왕복은 다시 안정적인 양손 앞 grasp로 돌아와야 한다. 선반 과제는 같은 상자를 선반에서 집어 겨드랑이에 넣고, 걸어서 옮긴 뒤 꺼내 테이블에 놓는다. 걷는 동안에는 남는 팔이 상자를 받쳐도 된다.

조작과 비교 대상.

조건	상체 명령	하체·균형	비고
WBD	Xsens → GMR 리타게팅 → WBD 정제	AMO	선반 과제에서는 재배치 구간 guidance 10, 집기·놓기 구간 100으로 조작자가 전환. 둘레 과제의 guidance 값은 명시되지 않음
GMR 직결	Xsens → GMR 리타게팅 팔 목표를 그대로	AMO	WBD에서 정제만 뺀 조건
SONIC	공개 체크포인트, VR 3-point 모드(Xsens의 머리·양 손목 pose 추적)	SONIC의 kinematic planner	범용 전신 트래커

모든 시행은 이 과제들로 8시간 이상 훈련한 숙련 조작자 한 명이 했다. Xsens 슈트는 몸 옆·뒤 동작 추적이 VR 헤드셋보다 낫기 때문에 썼고, 컨트롤러는 VR 입력도 받을 수 있지만 추적 범위가 좁으면 dexterity가 제한된다고 적는다.

Table I. 둘레 재배치(조건·물체·과제당 10회, 좌우 5회씩).

과제	컨트롤러	공: 도달	공: 왕복	공: 영역(s)	공: 전체(s)	상자: 도달	상자: 왕복	상자: 영역(s)	상자: 전체(s)
어깨 탭	SONIC	2/10	0/10	15.2	—	2/10	2/10	15.9	24.9
어깨 탭	GMR	3/10	1/10	26.0	30.1	6/10	4/10	8.0	8.5
어깨 탭	WBD	10/10	9/10	7.7	17.3	10/10	10/10	4.1	6.3
겨드랑이 수납	SONIC	1/10	0/10	28.0	—	2/10	0/10	26.1	—
겨드랑이 수납	GMR	4/10	2/10	31.5	49.8	2/10	1/10	9.3	17.8
겨드랑이 수납	WBD	10/10	9/10	10.6	26.2	10/10	10/10	8.6	13.0

Table II. 선반 과제(상자, 조건당 10회).

컨트롤러	집기	수납	운반	꺼내기	놓기
SONIC	10/10	0/10	0/10	0/10	0/10
GMR	10/10	3/10	2/10	1/10	1/10
WBD	10/10	9/10	9/10	9/10	7/10

헤드라인 검산. 45/50은 둘레 과제 네 칸의 왕복 성공(9 + 10 + 9 + 10 = 38)과 선반 과제의 끝까지 성공(7)을 합한 값이다. GMR은 1 + 4 + 2 + 1 + 1 = 9, SONIC은 0 + 2 + 0 + 0 + 0 = 2로 본문의 9/50, 2/50과 맞는다. 프로젝트 페이지의 표와 헤드라인(90%, 45/50, 18%, 9/50, 4%, 2/50)도 논문과 칸 단위로 같다.

칸별 유의성(필자 계산, WBD vs GMR 왕복 성공의 Fisher 정확 검정). 어깨 탭 공 9/10 vs 1/10 p\approx0.001, 어깨 탭 상자 10/10 vs 4/10 p\approx0.011, 겨드랑이 공 9/10 vs 2/10 p\approx0.006, 겨드랑이 상자 10/10 vs 1/10 p\approx0.0001, 선반 완주 7/10 vs 1/10 p\approx0.02. 칸당 10회라도 다섯 칸 모두에서 차이가 우연으로 보기 어려운 크기다. 다만 같은 조작자가 모든 칸을 수행했으므로 칸들이 완전히 독립이라고 볼 수는 없다.

해석. GMR 직결은 조작자가 팔을 목표 영역 쪽으로 옮기게는 해 주지만 영역을 오가는 동안 접촉을 유지하지 못한다. 공 어깨 탭에서 도달 3/10, 왕복 1/10, 공 겨드랑이 수납에서 도달 4/10, 왕복 2/10이 그 패턴이다. 저자들의 “실기 병목은 접촉 전이 동안의 지지 유지”라는 결론과 맞는다. 선반 과제에서 세 방법이 모두 집기를 10/10 했다는 점도 같은 방향이다. 손 위주 pick은 원격조작으로 충분하고, 차이는 몸에 끼워 들고 다니기부터 벌어진다. WBD도 꺼내기 9회 중 놓기까지 간 것은 7회였고, 저자들은 몇 번의 시행에서 접촉을 잃어 물체를 떨어뜨렸다고 적는다.

저자들은 시뮬레이션에서 정육면체 expert가 구 expert보다 평균 완료율이 낮은데도 실기 GMR 어깨 탭은 상자가 공보다 쉬웠다(4/10 vs 1/10, 평균 8.5 s vs 30.1 s)는 점을 짚고, 종이상자의 낮은 마찰이 어깨로 미끄러뜨리기 쉽게 하고 농구공의 높은 마찰은 몸통 위로 굴려야 하기 때문이라고 가설로 제시한다(“We hypothesize”). 부록의 경로별 막대(Fig. 10)를 보면 앞 → 어깨 → 앞 경로에서는 시뮬레이션에서도 160 mm 정육면체(약 77~78%)가 160 mm 구(약 67~69%)보다 높아서, 이 “역전”은 어떤 시뮬레이션 집계와 비교하느냐에 따라 덜 놀라운 결과일 수 있다.

실시간성. 실기 추론은 업데이트당 중앙값 11.8 ms였고, 업데이트는 평균 34.9 Hz로 들어왔다. 50 Hz 상한보다 낮지만, 식 (5)의 증분 이월 덕분에 늦게 도착한 예측도 최신 목표에 겹쳐 적용된다.

실험 3: 부록의 expert 품질, warm start, 비용 (부록 IV·V)

경로 평가. expert는 6개 영역을 지나는 표준 경로 14개(겨드랑이 4, 어깨 4, 등 4, 루프 2)로 평가한다. 경로당 2,048회, 시행당 1,500 스텝(30 s) 예산, 경로의 모든 목표를 순서대로 통과해야 1로 치고 부분 진행은 0이다. 평가 때는 질량·마찰·질량중심 무작위화는 유지하고 외력 교란은 끈다.

Fig. 10. 50,000 iteration 시점의 경로별 완료율(형상 부류별 expert 1개, 학습 시드 1개). 구는 루프 경로에서도 약 80%인데 정육면체·원통·prism은 약 15~26%로 떨어진다. 어깨 경로에서는 정육면체가 구보다 높은 칸도 있다.

Table VIII. 물체별 expert 완료율(%), 경로 그룹별 평균.

물체 (mm)	겨드랑이	어깨	등	루프	14개 평균
구 ∅120	75.9	39.8	69.0	61.5	61.57
구 ∅140	80.8	60.6	73.1	71.5	71.50
구 ∅160	85.6	61.3	80.9	80.2	76.56
구 ∅180	86.1	76.0	85.4	83.2	82.59
구 ∅200	88.5	77.8	85.6	86.6	84.33
구 ∅220	87.9	83.2	92.2	90.4	88.14
정육면체 140	72.2	57.4	45.4	19.7	52.81
정육면체 160	75.6	62.6	44.1	19.8	54.91
정육면체 180	65.5	59.3	41.4	11.5	49.10
정육면체 200	61.3	69.7	12.5	0.0	40.98
prism 100×100×200	70.7	47.1	48.5	18.2	50.12
prism 80×160×220	47.0	29.7	10.9	0.1	25.05
prism 140×160×240	48.6	33.6	11.2	0.7	26.77
원통 ∅120×220	66.9	33.2	29.2	6.2	37.82
원통 ∅140×160	69.2	45.5	49.1	21.3	49.83

14개 평균은 그룹 평균의 경로 수 가중(4·4·4·2)과 맞는다(예: 구 ∅160 = (4×85.6 + 4×61.3 + 4×80.9 + 2×80.2)/14 ≈ 76.6, 필자 검산). 물체 간 격차가 가장 큰 곳은 목표 네 개를 잇는 루프다. 200 mm 정육면체와 큰 prism 두 개는 루프 완료가 0에 가깝고, 저자들은 G1 팔 길이에 비해 큰 크기를 원인 중 하나로 든다. 또 작은 구 ∅120의 어깨 39.8%처럼 “구는 쉽다”는 일반화에도 예외가 있다. 저자들 표현대로 물체들은 하나의 쉬움-어려움 축이 아니라 영역별로 다르게 실패한다. 증류에는 모든 expert의 궤적이 들어가지만, 품질 필터를 통과한 구간만 쓰므로 약한 expert는 같은 양의 데이터를 내는 데 더 많은 수집 시도가 든다.

Fig. 9. 형상 부류별 expert의 학습 경과. (a) 평균 에피소드 보상, (b) 14개 경로 평균 완료율. 네 개 모두 warm start라 가로축이 사전학습 15,000 iteration 이후부터 시작한다. 학습 시드 1개.

warm start vs 처음부터(Table IX, Fig. 11). 총 50,000 iteration으로 예산을 맞췄다. warm start 쪽은 구 사전학습 15,000을 예산에 포함하므로 자기 물체는 35,000만 본다.

물체 (mm)	겨드랑이 S/W	어깨 S/W	등 S/W	루프 S/W	14개 평균 S/W
prism 100×100×200	35.3 / 70.7	27.0 / 47.1	18.9 / 48.5	0.8 / 18.2	23.30 / 50.12
정육면체 140	67.5 / 72.2	55.2 / 57.4	46.2 / 45.4	15.6 / 19.7	50.48 / 52.81
정육면체 200	55.1 / 61.3	68.9 / 69.7	0.3 / 12.5	0.0 / 0.0	35.53 / 40.98
원통 ∅140×160	68.2 / 69.2	29.6 / 45.5	56.7 / 49.1	25.2 / 21.3	47.74 / 49.83
구 ∅140	81.1 / 80.8	39.1 / 60.6	72.7 / 73.1	71.8 / 71.5	65.37 / 71.50
구 ∅160	89.4 / 85.6	42.1 / 61.3	83.8 / 80.9	83.9 / 80.2	73.51 / 76.56

S = 처음부터, W = warm start. 굵은 글씨는 원 표 기준으로 차이의 95% 평가 구간이 0을 넘는 쪽이다.

Fig. 11. warm start(빨강)와 처음부터(파랑)의 학습 곡선. 회색 띠는 공유되는 구 사전학습 15,000 iteration이다. prism은 사후학습 10,000 iteration, 두 구는 15,000 iteration 안에 처음부터 학습한 최종값을 넘는다. 조건당 학습 시드 1개.

여섯 물체 모두 14개 평균이 올랐고, 어깨 완료는 여섯 모두 올랐다. 가장 큰 변화는 prism(23.30 → 50.12)이다. 반면 원통은 등·루프가, 구 ∅160은 겨드랑이·등·루프가 오히려 내려갔다. 저자들은 이 역전을 숨기지 않는다. iteration 기준으로 계산하면 여섯 물체 + 사전학습 구 정책 둘이 240,000 대 300,000 iteration으로 20% 절감이다(6\times35{,}000+2\times15{,}000=240{,}000, 필자 검산).

GPU 비용(부록 V-C).

항목	H100 GPU-hour
구 사전학습 15,000 iteration	약 270 (warm start 물체 N개가 나눠 씀)
물체별 사후학습 35,000 iteration	660~815
처음부터 50,000 iteration	약 1,030
증류 컨트롤러 1개(시뮬레이션용, 실기용 각각)	약 22

필자 추산으로, 구 3개를 처음부터(각 최대 약 1,030), 나머지 12개를 warm start(각 660~815)로 학습하면 expert만 대략 1.1만~1.3만 H100 GPU-hour 규모다. 구는 iteration당 비용이 가장 싸다고 하므로 실제로는 이보다 조금 낮을 수 있다. 여기에 escapability 채점 3.2×10⁸회 전이와 궤적 수집 비용은 논문에 숫자가 없다. 저자들은 구의 작은 접촉면이 접촉 제약 수를 줄여 시뮬레이터의 접촉 solver 비용이 낮다는 설명도 덧붙인다.

비판적으로 보면

강점

• 문제 정식화가 정확하고 재사용 가능하다. “목표 = 위치 + grasp mode, 손바꿈은 반드시 양팔 단계를 거친다, 이동 중 0.48 s 접촉 상실 허용”이라는 세 줄짜리 정식화가 굴리기·미끄러뜨리기·손바꿈을 모두 허용하면서도 안전한 순서를 강제한다. 휴머노이드뿐 아니라 양팔 로봇이 큰 물체를 몸에 대고 다루는 문제에 그대로 옮길 수 있는 틀이다.
• 실기 대조의 핵심 축이 깨끗하다. WBD와 GMR 직결은 같은 Xsens, 같은 GMR 리타게팅, 같은 AMO 하체를 쓰고 차이는 정제 단계 하나뿐이다. 그 하나가 45/50 대 9/50을 만든다는 것은 “학습된 지지 유지 prior”의 기여를 직접 보여 주는 ablation이다.
• 불리한 결과를 부록에 다 실었다. 물체별 expert 완료율(prism·큰 정육면체의 루프 0%), warm start가 오히려 떨어진 영역, escapability 거르기 이득이 선택에 쓴 시행에서 잰 값이라는 점, 수집 효율 개선이 “작다”는 평가를 스스로 적었다. 프로젝트 페이지의 데이터 파일은 구간 추정의 범위(“새 물체나 새 학습 시드에 대한 구간이 아니다”)까지 밝힌다.
• 평활화라는 쉬운 반론을 실험으로 막았다. Table X의 EMA 대조는 “그냥 명령 노이즈를 걸러서 좋아진 것”이라는 해석을 배제한다.
• 고유감각만으로 지지를 유지하는 컨트롤러. 실기에서 물체 pose 추정이나 촉각 없이 관절 이력과 측정한 치수 5개만으로 돌아간다. 배포 조건이 단순하다는 것은 실용적 장점이다.
• 재현 정보의 밀도. 최적화 가중치, 검증 절차, 관측 차원, 보상 계수, DR 범위, PPO 설정, 네트워크 크기, 추론 지연, GPU 비용까지 부록 표로 정리돼 있다. 코드가 없는 논문치고는 재구현에 필요한 숫자가 거의 다 있다.

약점·한계

• 시뮬레이션 평가는 교사 자신의 명령에 노이즈를 넣은 합성 벤치마크다. 명령 생성기가 증류에 쓴 바로 그 expert이고, 노이즈 반경 2.5와 정정 반경 2.5가 같은 단위다. 낮은 노이즈에서 “노이즈 없는 expert보다 오래 버틴다”는 결과는 이 조건에서만 나온다. 실제 사람 명령은 방향 자체가 틀리거나 지연되거나 expert가 쓰지 않던 자세를 요구할 수 있는데, 그런 분포 밖 명령에 대한 시뮬레이션 평가는 없다.
• “Goals / trial”이 영역 전이가 아니라는 점이 그림만으로는 잘 안 보인다. 본문 정의는 있지만, 독자는 6개 영역 사이 이동 횟수로 읽기 쉽다. 페이지 자료(단일 체크포인트)로 보면 영역 전이는 시행당 약 1.1~1.2회, 600 s 안에 물체를 잃는 비율은 노이즈 없는 expert도 약 78%다. 장기 연속 운용의 신뢰도가 아직 낮다는 사실이 논문 본문에는 드러나지 않는다.
• SONIC 비교는 인터페이스 불일치를 함께 잰다. SONIC은 VR 3-point 모드라 머리와 양 손목만 추적하고, 팔꿈치와 전완의 위치를 직접 명령할 방법이 없다. 겨드랑이 수납처럼 팔꿈치로 물체를 몸통에 눌러야 하는 과제에서는 구조적으로 불리하다. 하체도 SONIC은 자기 kinematic planner, 나머지는 AMO라 다르다. 저자들도 “SONIC은 제한된 영역의 도달성에 어려움이 있었다”고 적는다. 4%는 “범용 전신 컨트롤러는 안 된다”보다 “손목 3점 명령으로는 몸통 접촉 조작을 지시할 수 없다”는 증거에 가깝다. SONIC의 전신 VR 모드 비교가 있었다면 더 공정했을 것이다.
• 실기 프로토콜의 정보가 얇다. 조작자 한 명이 “이 과제들로 8시간 이상 훈련”했다는 것만 있고, 그 훈련을 어느 컨트롤러로 얼마나 했는지, 조건별 시행 순서와 무작위화, 실패 판정자가 누구인지가 없다. 원격조작 비교에서 조작자의 숙련이 특정 컨트롤러에 맞춰지면 차이가 커질 수 있다. 장기 과제에서는 조작자가 guidance를 10과 100 사이에서 직접 바꿨는데, 이 전환이 WBD 쪽에만 있는 추가 조작 자유도라는 점도 언급이 없다.
• 실기 물체가 둘뿐이고 학습 물체와 가깝다. 농구공과 15 cm 상자는 학습한 구·정육면체 크기 범위 안이다. Fig. 1과 teaser 영상의 축구공, 원통 용기, 등 뒤 재배치, 걸으면서의 공 다루기는 정량 평가가 없다. 시뮬레이션의 “학습에서 뺀” 물체도 180 mm 구와 정육면체로, 학습 크기 160·200 mm 사이의 보간이다. 새 형상(손잡이 있는 물체, 변형체, 무거운 물체)으로의 일반화는 보여 주지 않는다.
• 물체를 하나 늘리는 비용이 크다. WBD 컨트롤러는 하나지만 그 데이터는 물체마다 700~1,000 H100 GPU-hour짜리 expert에서 나온다. “임의의 물체”로 가려면 형상 조건부 expert나 다물체 expert가 필요하고, 저자들도 expert 성능 개선을 향후 과제로 남긴다.
• 설계 요소별 절제가 컨트롤러 수준에서 없다. 몸통 영역 분할, mode 제약 그래프, 0.48 s 유예, 기하 기술자, 목표에서 방향을 뺀 것, escapability 거르기가 최종 컨트롤러 성능에 각각 얼마를 기여하는지는 측정되지 않았다. escapability는 수집 효율로만, warm start는 expert 완료율로만 평가됐다.
• 학습 시드와 통계. expert 평가와 warm start 비교는 조건당 학습 시드 1개이고, 표의 구간은 평가 시행의 불확실성만 반영한다. warm start의 일부 영역 역전이 학습 시드 분산인지 구조적 차이인지 구분할 수 없다. 컨트롤러는 시뮬레이션용만 시드 3개다.
• 학습과 배포의 몸 조건이 다르다. expert는 허리와 하체를 고정한 채 학습했는데 실기에서는 AMO가 균형을 잡고 걷는다. 컨트롤러는 몸통 좌표계에서 동작하니 어느 정도 불변이지만, 걷기에서 오는 관성·진동은 학습에 없다. 저자들은 결론에서 이 점을 인정하고, 선반 과제에서 수납에 성공한 9회가 모두 운반까지 성공했다는 점(9/9)을 근거로 든다. 다만 실패 2회는 꺼낸 뒤 놓기까지의 구간에서 났고, 그 원인이 무엇인지는 분석되지 않았다.
• 프로젝트 페이지와 논문의 작은 불일치. 페이지 초록은 증류 정책을 “proprioception-only”라고 쓰지만 논문은 “고유감각과 물체 기하”를 쓴다고 하고, 실제로 5차원 기하 기술자를 측정한 치수로 넣는다. 페이지의 시뮬레이션 그래프·자료는 논문 Fig. 4와 다른 판(단일 체크포인트)이라 학습에서 뺀 물체의 수치가 다르다.
• 코드는 공개되지 않았다. 논문과 프로젝트 페이지에 코드 저장소 링크가 없다. 프로젝트 페이지가 4개 물체의 expert와 증류 정책을 브라우저 안에서 돌려 볼 수 있는 인터랙티브 뷰어를 제공하는 것은 드문 공개 방식이지만, grasp 생성·학습·증류 코드와 데이터셋은 없다.

관련 연구와의 자리 매김

다지 손 증류 계열. 가장 직접적인 부모는 DexterityGen(arXiv:2502.04307)이다. anygrasp-to-anygrasp RL → diffusion + inverse dynamics 증류 → 원격조작 guidance라는 뼈대, U-Net 설정까지 그대로 가져왔고, Mukadam이 두 논문에 모두 참여한다. 프로젝트 페이지의 시뮬레이션 자료도 정제 조건 이름이 noisy_dexgen이다. WBD가 바꾼 것은 목표 정의(방향·관절 제외), mode 그래프, 몸통 grasp 생성, 물체별 expert와 기하 조건 증류다. 사전학습 후 사후학습으로 조작 능력을 키우는 흐름은 ADEPT(공저자 Fazeli 참여)와 SimToolReal이 인용되는 배경이다.

grasp 합성. grasp 생성은 미분 가능한 force-closure 추정(Liu et al. 2022), DexGraspNet, BODex, Dex1B의 다지 손 grasp 합성 계열을 몸 전체로 일반화한 것이다. BODex가 bilevel 최적화로 grasp 품질을 따로 보장하려 한 것과 달리, WBD는 마찰 없는 잔차를 쓰고 품질은 4배 중력 교란 시뮬레이션으로 사후 검증한다는 점이 다르다.

휴머노이드 원격조작·트래킹. 실기 비교 대상인 SONIC은 대규모 모션 트래킹으로 만든 범용 전신 컨트롤러다. WBD 실험은 이런 트래커가 “자세를 따라가는 능력”은 있어도 “물체 지지를 유지하는 능력”은 따로 배워야 한다는 점을 보여 준다. GMR 리타게팅과 AMO 하체는 TWIST2에서 쓰인 원격조작 스택과 같은 계열이고, OmniRetarget이 지적했듯 GMR은 물체와의 접촉 관계를 최적화 변수로 갖지 않는다. WBD의 정제 단계는 그 빈칸을 리타게팅 쪽이 아니라 학습된 컨트롤러 쪽에서 메운다. VIRAL처럼 손끝 중심의 loco-manipulation을 대규모로 sim-to-real 하는 흐름과는 접촉면을 손 밖으로 넓혔다는 점에서 상보적이다.

전신 접촉 조작. 몸 표면 어디든 접촉하는 모델 기반 최적화(Murooka et al. 2015·2020, Levé et al. 2024)는 평면·준정적·상자 가정에 묶여 있었고, Punyo의 예시 유도 RL(Barreiros et al. 2025)과 Baloo의 연성 몸통 RL은 몸통 앞 조작에 머물렀다. ContactMimic의 부위별 접촉 명령과 Blind Dexterity의 고유감각 기반 전신 조작은 WBD와 가장 가까운 동시대 연구다. WBD는 이들과 달리 “몸 위의 위치”를 목표 공간으로 삼아, 접촉을 명령하지 않고도 접촉 전이가 학습되게 했다.

요약

WBD는 휴머노이드 상체를 하나의 큰 손으로 보고, 몸통 영역별 grasp 251만 개 → 물체별 mode 제약 RL expert 15개 → 고유감각과 기하만 보는 diffusion 컨트롤러 하나라는 파이프라인으로 whole-body re-grasping을 학습했다. 목표를 위치와 grasp mode로만 정의하고 손바꿈이 반드시 양팔 단계를 지나게 만든 설계가 굴리기·미끄러뜨리기·끼워 넣기 같은 사람다운 동작을 끌어낸다. 실기 G1에서 같은 원격조작 스택에 정제 단계만 더해 성공을 18%에서 90%로 올린 대조는 이 논문의 가장 강한 증거다.

한계는 평가의 범위와 비용에 있다. 시뮬레이션 평가는 교사 expert 자신의 명령에 노이즈를 넣은 조건이고, 연속 운용에서는 노이즈 없는 expert도 대부분 물체를 잃는다. 실기는 조작자 1명, 물체 2개, 칸당 10회이며, SONIC 비교는 손목 3점 인터페이스의 한계를 함께 잰다. 물체를 하나 늘릴 때마다 수백~천 H100 GPU-hour의 expert 학습이 필요하고 코드는 공개되지 않았다. 다음으로 보고 싶은 것은 형상 조건부 expert로 물체당 비용을 없애는 확장, 다리 접촉까지 포함한 grasp 집합(저자들이 결론에서 예고한 “무릎에 상자 받치기”), 그리고 사람 명령 분포에서의 시뮬레이션 평가다.

이 글에 대해

• 읽은 범위: arXiv v1(2026-10-15, 20쪽)을 PDF로 읽고, 표 수치와 단위는 PDF에서 확인했다. 그림 13장은 arXiv e-print 소스의 원본 파일에서 가져왔다(Fig. 4·9~13은 벡터 그림). 프로젝트 페이지의 본문, 표, 인터랙티브 뷰어 설명, 시뮬레이션 결과 자료(sim_results.json, 조건 요약 JSON, 시행별 CSV)를 함께 대조했다. 빈칸 주장 확인을 위해 인용 문헌 5편의 arXiv 초록을 읽었다.
• 공개 범위: 논문과 프로젝트 페이지에 코드 저장소 링크가 없다. 프로젝트 페이지에는 teaser 영상, 실기 표, 시뮬레이션 그래프와 원자료, 그리고 4개 물체(구 ∅220, 정육면체 160, prism 100×100×200, 원통 ∅140×160)의 expert와 증류 정책을 브라우저에서 돌리는 뷰어가 있다. 이 리뷰의 성공률은 모두 논문이 보고한 값이며 재현 확인은 하지 않았다.
• 영상: 본문의 영상은 프로젝트 페이지 teaser mp4를 960×540으로 줄인 사본이다(무음).
• 표기: “필자 계산·검산·추산”은 논문 표나 페이지 자료의 값으로 직접 계산한 값(Wilson 구간, Fisher 검정, 합계, 가중 평균, 4,850시간 환산, GPU-hour 총량)이다. “페이지 자료” 표의 값은 프로젝트 페이지가 공개한 단일 체크포인트 원자료에서 뽑은 것으로, 논문 Fig. 4의 3시드 평균과 같은 값이 아니다. Fig. 10의 경로별 값은 그림에서 읽은 근사치다.