📃WM-Craftnet 리뷰

WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation

• Paper Link (arXiv:2609.07002v1): 이 리뷰는 v1 (2026-09-07 제출, 15쪽) 기준이다. 수치는 PDF를 정본으로 읽었다. arXiv HTML은 본문 상호참조 몇 곳이 깨져 있다(“Figure 5 shows”가 실제로는 Fig. 3·4, “Table 2 compares”가 실제로는 Table 3, “Table B.1”이 Table 10). 그림·표 번호는 PDF를 따르고, 참고문헌 번호가 HTML과 PDF에서 달라 인용은 저자·논문 이름으로 적는다.

• Project Page: 실기 연속 회전, 베이스라인 비교, 깊이 복원, 실패 사례 영상이 있다. 아래에 넣은 영상은 모두 이 페이지의 static/videos/*.mp4를 해상도만 낮춰 다시 인코딩한 것이다.

• Code (GitHub, sharpa-robotics/WM-Craftnet): Apache-2.0(Copyright 2026 Sharpa Group). README 기준(2026-10-21 확인) Isaac Gym Preview 4 위의 z/x/y축 학습·평가 스크립트(set_z, set_x4, set_y)와 Sharpa Wave 배포 예제(deploy/)가 들어 있다. 공개 체크포인트는 z축 하나이고, README는 이 체크포인트가 “legacy setup: proprioception + depth only” 헤드로 학습됐다고 밝힌다. 즉 논문의 Full WSM(촉각·자세·가치·형상 헤드 포함)과 같은 가중치가 아니다. 코드는 실행하지 않고 정적으로 읽었다(기준 main @ 7a200ba). 논문과 다른 곳은 아래 코드와 대조에 파일:라인 근거와 함께 모았다. 가장 큰 차이는 논문이 쓴 보상 예측 손실이 공개 코드에서 꺼져 있다는 것이다.

• Checkpoint (Hugging Face, SharpaIT/WM-Craftnet): wm_craftnet_set_z.pth 한 파일.

• Jie Yin†, Zeyuan Zhao†‡, Xiaojing Tan, Yang Liu‡, Chiyu Wang, Xinyang Gu* (Sharpa Robotics, †공동 1저자, ‡Sharpa 인턴 중 기여, *교신저자)

• CoRL 2026 (arXiv Comments의 “Accepted to CoRL2026”. 프로젝트 페이지·README는 Spotlight, Top 4.4%로 표기)

1. 💡 인핸드 회전 정책은 물체 자세·형상·접촉·미끄러짐을 부분적이고 잡음 섞인 관측에서 추론해야 하는데, 센서를 이어 붙이기만 하면 그 시간적 추론을 정책이 혼자 떠안는다. WM-Craftnet은 Dreamer식 world model을 상상(imagination)용이 아니라 상태 추정기로 써서, 그 순환 상태를 PPO 정책의 입력으로 준다.
2. ⚙️ 고유수용·잡음 섞인 손목 깊이·이진 접촉·이전 행동으로 RSSM(World Synesthesia Model, WSM)을 학습하되, 깊이 디코더는 잡음 입력에서 깨끗한 깊이를 복원하도록 감독한다. 512차원 결정적 상태 h_t를 detach해 16차원으로 줄인 뒤 비대칭 actor–critic의 actor에 붙인다.
3. 🎯 9개 물체 z축 시뮬(128회)에서 사전학습 WSM이 return 753.3(최강 베이스라인 386.9, 사전학습 없는 자기 방법 414.3). 실기 4개 물체에서 성공 38/40, 20개 물체 대규모 실기 175/200(베이스라인 33~53/200).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 손으로 물체를 손안에서 돌리는 정책은 시뮬에서는 잘 돌아도, 처음 쥔 위치가 조금 어긋나거나 누가 물체를 밀거나 처음 보는 모양이 오면 쉽게 무너진다. 논문은 그 원인을 “좁은 물체 집합에 과적합된 거의 개루프(open-loop)인 손가락 걸음새(gait)”로 본다. 깊이와 촉각을 정책에 더 넣는 것만으로는 부족한데, 실기 손목 깊이는 시뮬과 분포가 다르고 잡음이 심해 정책이 그 분포 이동을 그대로 맞기 때문이다.

WM-Craftnet의 처방은 world model을 정책이 쓸 상태를 만드는 장치로 쓰는 것이다. Dreamer 계열처럼 상상 궤적으로 정책을 최적화하지 않는다. RSSM은 PPO 롤아웃을 모은 버퍼에서 따로 학습되고, 정책은 그 결정적 순환 상태만 gradient를 끊은 채 받아 쓴다. 차별점은 두 가지다. 깊이 재구성 목표를 잡음 입력 → 깨끗한 깊이로 잡아 상태가 기하를 “디노이즈된” 형태로 담게 했고, 9개 물체에서 미리 학습한 WSM을 새 물체 집합(49개)의 초기값으로 재사용한다.

전체 개요(Fig. 1). 왼쪽: 시뮬 상호작용에서 고유수용·촉각·손목 깊이·이전 행동·보상을 받는 다중 모달 RSSM과 예측 목표(깨끗한 깊이 재구성, 고유수용·촉각 재구성, 보상 예측, 물체 자세·형상·접촉 추론). 가운데: 사전학습된 WSM을 새 과제로 옮기는 “재사용 가능한 공감각 사전(synesthetic prior)”. 오른쪽: 현재 관측·명령 축·WSM 특징을 받아 관절 목표 증분을 내는 비대칭 actor–critic.
프로젝트 페이지 teaser. 실기 Sharpa Wave 손이 여러 물체를 z축으로 돌리는 25칸 격자 영상(해상도만 낮춤). 이 영상이 어떤 정책·어떤 물체 집합에서 나왔는지는 페이지에 따로 적혀 있지 않다.

핵심 방법론:

actor가 받는 관측은 배포 가능한 신호만으로 이뤄진다. 쌓은 고유수용 \mathbf p^{\text{stack}}_t, 쌓은 이진 접촉 \mathbf c^{\text{stack}}_t, 잡음 섞인 손목 깊이 \mathbf D_t, 이전 관절 목표 명령 \mathbf u_{t-1}이다(Eq. 1). World model은 단일 스텝 입력을 인코딩해 \mathbf e_t를 만들고, 이전 상태·행동과 함께 posterior를 갱신한다(Eq. 4·5):

\mathbf z_t,\mathbf h_t=f_{\text{wm}}\big(\mathbf z_{t-1},\mathbf h_{t-1},\mathbf u_{t-1},\mathbf e_t,m_t\big),\qquad \mathbf w_t=\mathbf h_t

\mathbf z_t는 확률적 잠재, \mathbf h_t는 결정적 순환 상태, m_t는 에피소드 시작 플래그다. 학습 목표는 Dreamer식 손실에 모달별 예측 항을 더한 것이다(Eq. 7):

\mathcal L_{\text{wm}}=\mathcal L_{\text{img}}+\mathcal L_{\text{prop}}+\lambda_c\mathcal L_{\text{tac}}+\lambda_r\mathcal L_{\text{reward}}+\lambda_{\text{dyn}}\mathcal L_{\text{dyn-KL}}+\lambda_{\text{rep}}\mathcal L_{\text{rep-KL}}+\mathcal L_{\text{aux}}

핵심은 \mathcal L_{\text{img}}다. 입력은 잡음·dropout·작은 회전을 넣은 깊이 \mathbf I_t인데, 복원 목표는 깨끗한 시뮬 깊이 \mathbf I^{\text{clean}}_t다. \mathcal L_{\text{aux}}는 시뮬 라벨로 감독하는 물체 자세·가치·물체 형상(BPS) 헤드다. 정책은 \mathbf u_t=\pi_\theta(\mathbf o_t,\mathbf a,\psi(\mathbf w_t))로 관절 목표 증분을 내고 \mathbf q^{\text{target}}_t=\mathbf q^{\text{target}}_{t-1}+\alpha\mathbf u_t로 적분한다(Eq. 8·9). \psi는 512 → 16 투영 MLP이고, actor 쪽에서 gradient가 끊겨 PPO와 world model 학습이 분리된다.

주요 결과:

• z축 9개 물체(Table 1, 128회, 95% CI): 베이스라인 return 236.1~386.9(최고는 Touch Dexterity). WM-Craftnet을 처음부터 학습하면 414.3인데 RotR은 0.742로 모든 RL 베이스라인보다 낮다. 사전학습한 Full WSM은 753.3, RotR 1.293.
• 통제 변형(Table 2·9·10): 깨끗한 깊이 대신 잡음 깊이를 복원하면 708.0, 순환 문맥 대신 스텝별 인코더–디코더 특징을 쓰면 667.6, 보조 헤드를 모두 빼면 688.1. 예측 손실 없는 LSTM 621.0, GRU 497.8.
• 실기 z축(Table 3, 물체당 10회): 학습 물체 3개는 10/10씩, 처음 보는 이중 노치 블록 8/10. IHR(Robot Synesthesia 재구현)은 1/10 이하, IHR에 WSM이 복원한 깊이를 넣으면 학습 물체에서 8~10/10까지 오르지만 처음 보는 블록은 0/10.
• x·y축(Table 4·5): y축 return 177.8 → 272.7, RotR 0.545 → 1.025. x축 return 295.1(IHR) → 432.8, 낙하율 최저 0.020.
• 스트레스 테스트(Table 6): 축별 보류 물체 4개에서 RotR·return 모두 최고. 시뮬 심한 교란 회복률 14.1%(최강 베이스라인 6.2%). 20개 물체 실기 175/200(베이스라인 33~53/200).
• 재사용 사전(§4.3): 9개 물체 WSM으로 초기화한 49개 물체 정책이 3000 epoch 뒤 에피소드당 9.37±0.13 rad(사전 없이 3.28 rad).

결론:

이 논문의 새로움은 world model의 용도에 있다. 상상 롤아웃이나 신경 시뮬레이터가 아니라, 잡음 섞인 시각–촉각 스트림을 시간적으로 적분해 디노이즈된 상태로 바꾸는 학습된 상태 추정기로 쓴다. 이 구도는 보행에서 World Model-based Perception이 먼저 보였고, WM-Craftnet은 그것을 다지 인핸드 회전으로 옮겨 “잡음 입력 → 깨끗한 깊이” 감독과 사전학습 재사용을 더했다. 다만 헤드라인 수치(753.3)는 사전학습이 들어간 값이고, 사전학습 없이는 자기 방법이 단순 LSTM(621.0)에도 못 미친다는 점을 함께 읽어야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

인핸드 조작에서 world model의 가치는 “앞을 상상하는 능력”보다 “지금 무슨 일이 일어나는지를 시간에 걸쳐 추정하는 능력”에 있을 수 있다. WM-Craftnet은 이 가설을 가장 단순한 형태로 실험한다. Dreamer의 RSSM을 그대로 가져오되 상상은 하나도 쓰지 않고, 그 결정적 상태 h_t를 16차원으로 줄여 PPO actor에게 넘긴다. 그 상태가 좋은 이유를 논문은 두 가지 감독에서 찾는다. 잡음 깊이에서 깨끗한 깊이를 복원하게 한 것, 그리고 보상·자세·가치·형상까지 예측하게 한 것이다. 결과 표는 이 상태가 실기에서 특히 크게 이긴다는 것을 보여 준다(실기 38/40, 20개 물체 175/200). 반면 시뮬 표를 꼼꼼히 읽으면, 큰 격차의 상당 부분이 WSM 사전학습에서 오고 사전학습 없는 WM-Craftnet은 평범한 LSTM보다 낮다는 사실도 함께 보인다. 이 리뷰의 상당 부분은 그 두 그림을 겹쳐 읽는 데 쓴다.

배경: 왜 “센서를 더 붙이기”로는 안 되나 (§1, §2)

학습 기반 인핸드 회전의 계보. 논문이 정리하는 흐름은 익숙하다. 고유수용 이력에서 물체 성질을 온라인으로 추론하는 Rapid Motor Adaptation(HORA, Qi et al. 2023), 도메인 랜덤화 정책에 시각 자세 추정기를 붙인 DeXtreme, 분산 이진 접촉만으로 돌리는 Touch Dexterity(Rotating without Seeing), 조밀 촉각으로 중력 불변 다축 회전을 한 AnyRotate, 축별 기술을 합성하는 From Simple to Complex, 실기 데이터로 관절별 동역학을 보정하는 DexNDM, 3D Gaussian 랜덤화로 단안 자세 추정을 학습하는 ViserDex가 있다.

시각–촉각 융합의 두 방식. 특권 정보(물체 형상·물성)를 시간 트랜스포머로 증류하는 RotateIt, 카메라 점·손 점·촉각 점을 하나의 3D 점구름으로 투영하는 Robot Synesthesia(arXiv:2312.01853), 온라인 신경장으로 물체 상태를 추정하는 NeuralFeels가 대표적이다. 논문은 이들과의 차이를 “고정된 특권 인코딩을 회귀하거나 인식을 제어와 분리하는 대신, 행동 조건부 순환 동역학을 다중 모달 예측 목표로 학습하고 그 결정적 상태를 detach된 PPO 문맥으로 노출한다”고 정리한다.

논문이 지목하는 실패 모드. 좁은 물체 집합이나 고정 초기 자세로 학습한 정책은 물체별 걸음새에 과적합해 자세 오프셋·외력·물체 drift에 약하다. 물체 ID나 형상 임베딩을 넣는 방법은 배포 때 그 주석이 있어야 한다. 깊이와 촉각을 단순히 이어 붙이면 정책이 잡음 섞인 융합 관측에서 시간적 접촉 동역학까지 스스로 배워야 하고, 실기 손목 깊이가 시뮬과 다르면 그대로 무너진다. 이 마지막 지점이 실기 실험(Table 3)의 IHR 실패로 다시 나온다.

World model 쪽 계보. World Models(Ha & Schmidhuber), Dreamer(상상 궤적으로 행동 최적화), DayDreamer(실기 적용), MoDem-V2(실기 접촉 조작), Robotic World Model(신경 시뮬레이터)이 “모델로 정책을 최적화하는” 갈래다. WM-Craftnet이 스스로 놓는 자리는 다른 갈래, 즉 표현 조건화 쪽이다. 보행 정책에 stop-gradient된 순환 상태를 주는 World Model-based Perception(WMP, Lai et al. 2024)과 world model 예측 특징으로 전신 시각운동 정책을 증류하는 DreamMimic이 여기에 속하고, WM-Craftnet은 이 갈래를 시각–촉각 인핸드 조작으로 확장한다고 쓴다.

방법 0: 문제 설정과 관측 인터페이스 (§3.1, Table 8)

명령 축 \mathbf a\in\{\pm x,\pm y,\pm z\} 주위로 쥔 물체를 계속 돌리는 문제다. 한 스텝 진행량은 물체 회전의 상대 변화를 축-각으로 바꿔 명령 축에 투영한 값이다(Eq. 2):

\Delta\theta_t=\mathrm{proj}_{\mathbf a}\!\left(\log\!\left(\mathbf R^{o}_{t+1}(\mathbf R^{o}_{t})^{-1}\right)\right)

논문이 강조하는 것은 누가 무엇을 보느냐의 분리다. actor는 로봇에 있는 센서와 제어 이력만 보고, 시뮬의 깨끗한 깊이나 WSM 디코더가 복원한 깊이는 actor 입력에 들어가지 않는다. Table 8을 옮기면 다음과 같다.

신호	사용처	설명
손 고유수용	Actor, WM	정규화된 22-DoF 관절 상태와 이전 목표 이력
촉각/접촉	Actor, WM	임계값·dropout·지연 잡음을 넣은 이진 접촉 스트림
깊이 이미지	Actor, WM	잡음 섞인 손목 깊이. 깨끗한 깊이는 WM 재구성 목표로만 사용
명령 축	Actor	목표 방향 \mathbf a\in\{\pm x,\pm y,\pm z\}
World model 특징	Actor	투영된 결정적 RSSM 특징 \psi(\mathbf h_t)
상대 행동	Controller, WM	22-DoF 관절 목표 증분, 실행 전 평활화
물체 상태	Reward/critic 전용	시뮬의 자세·속도·접촉력·낙하/리셋 진단

두 가지를 짚어 둔다. 첫째, 촉각은 이진 접촉이다. 같은 Sharpa Wave 손을 쓴 DexTacWAM이나 Motus2가 손끝 촉각 이미지·힘 신호를 쓰는 것과 대조적이다. 그래서 이 논문의 “visuotactile”은 정확히는 “깊이 + 이진 접촉”이다. 둘째, 논문의 Eq. 1을 그대로 읽으면 actor는 WSM 특징과 별개로 잡음 깊이 \mathbf D_t를 직접 받는다. 실기에서 IHR을 무너뜨린 바로 그 입력이 WM-Craftnet actor에도 들어간다는 뜻이 되는데, actor가 깊이를 어떤 인코더로 처리하는지는 본문에 없다. 공개 코드는 이와 다르다. actor 입력은 고유수용·접촉·축·이전 목표 4프레임 스택(292차원)과 WSM 투영 특징(32차원)뿐이고 깊이는 WSM을 통해서만 들어간다(코드와 대조 4번 행). 코드 쪽 구성이 논문의 메커니즘 서사(디노이즈된 상태만 정책에 넘긴다)와 오히려 더 잘 맞는다.

방법 1: 다중 모달 인코더와 깊이 오염 (§3.2)

World model 갱신은 actor와 달리 쌓지 않은 단일 스텝 벡터를 받는다. 고유수용 \mathbf p_t, 접촉 \mathbf c_t, 잡음 섞인 정규화 깊이 \mathbf I_t, 이전 행동 \mathbf u_{t-1}, 에피소드 시작 플래그 m_t다. 시간 정보는 입력 스택이 아니라 RSSM의 순환이 담당하게 한 설계다. 롤아웃 버퍼에는 학습 목표로 깨끗한 깊이와 보상이 함께 저장된다(Eq. 3). 고유수용·접촉은 MLP, 깊이는 CNN 가지로 인코딩해 합친다(Eq. 4).

깊이는 손–물체 작업 공간 주위로 잘라 쓰고(정책 깊이 텐서 96×72, 최대 0.4 m), WSM 입력 깊이에는 시간 상관 dropout(확률 0.02, 상관 0.95), 가우시안 잡음, ±0.3° 무작위 회전을 넣는다(Table 7). 복원 목표는 자르기만 한 깨끗한 깊이다.

시뮬 duck z축 롤아웃의 깊이 복원(Fig. 4). (a) 3인칭 RGB, (b) 정답 손목 깊이, (c) WSM 입력인 잡음 깊이, (d) WSM이 복원한 깊이. 시뮬 잡음은 (c)에서 보이듯 흩어진 흰 점(dropout) 수준이다.

Fig. 4를 직접 보면 시뮬 쪽 오염은 꽤 온건하다. (c)의 잡음은 손·물체 영역 위의 흰 점 십여 개이고 실루엣은 그대로다. (d)는 그 점들을 지우는 대신 경계가 약간 흐려진다. 즉 시뮬에서 WSM이 하는 “디노이즈”는 이 정도 오염을 지우는 일이다. 실기 L515 깊이의 결손은 이보다 훨씬 크다는 것이 프로젝트 페이지 영상에서 보이는데(아래 WSM 분석), 시뮬 오염 모델이 그 실기 잡음을 얼마나 덮는지는 논문이 정량화하지 않는다.

방법 2: RSSM과 학습 목표 (§3.3, App. A.1)

World model은 Dreamer식 RSSM이다(결정적/확률적/이산 차원 512/32/32, Table 7). posterior 갱신은 위 Eq. 5이고 actor 쪽 특징은 결정적 부분 \mathbf w_t=\mathbf h_t다(Eq. 6). 512차원 \mathbf h_t는 작은 MLP(512\to64\to32\to16)로 16차원까지 줄인 뒤 정책 관측에 이어 붙인다.

학습은 PPO 롤아웃이 채우는 링 버퍼에서 연속 청크를 뽑아 한다(배치 16, 청크 길이 32, PPO epoch당 10회 갱신, warmup 10,000 전이). Eq. 7의 각 항은 다음과 같다.

• \mathcal L_{\text{img}}: 잡음 깊이로 추론한 잠재에서 깨끗한 깊이를 복원
• \mathcal L_{\text{prop}}: 고유수용 복원, \mathcal L_{\text{tac}}: 접촉 예측, \mathcal L_{\text{reward}}: 롤아웃 보상 예측
• 두 KL 항: posterior/prior 동역학 정규화. Table 7의 KL free 1.0 / dyn 0.5 / rep 0.1은 필자가 아는 DreamerV3의 기본값(free bits 1, \beta_{\text{dyn}}=0.5, \beta_{\text{rep}}=0.1)과 같고, 32×32 이산 잠재도 DreamerV3 구성과 같다. 논문은 이 대응을 따로 밝히지 않는다.
• \mathcal L_{\text{aux}}: Full WSM에만 있는 물체 자세·가치·물체 형상 헤드. 시뮬 라벨로 감독하고, 형상은 basis point set에서 메시까지의 변위 벡터로 표현한다. 이 헤드들은 사전학습과 하위 과제 적응 양쪽에서 쓰인다(App. A.1).

여기서 “World Synesthesia Model”이라는 이름의 실체가 드러난다. 이름은 시각 기하·촉각 접촉·고유수용·행동 이력이 함께 잠재 상호작용 상태를 제약한다는 뜻이라고 논문은 설명한다(§3). 구조 자체는 다중 모달 입력·다중 디코더를 가진 RSSM이고, 새로운 것은 아키텍처보다 무엇을 복원하게 하느냐(깨끗한 깊이, 특권 라벨)와 그 상태를 어디에 쓰느냐(PPO 문맥)다.

또 하나 짚을 점은 보조 헤드 중 자세·형상·가치가 시뮬 특권 정보라는 것이다. 배포 때 쓰지 않으니 “배포 가능”이라는 주장과 모순되지는 않지만, 결과적으로 이 설계는 RotateIt류의 특권 증류와 경계가 흐려진다. 특권 정보를 정책 입력 대신 world model의 예측 목표로 넣었다고 보는 편이 정확하다.

방법 3: 재사용 가능한 공감각 사전 (§3.4, App. A.1)

9개 물체 z축 설정에서 모은 접촉 풍부한 데이터로 WSM을 사전학습한 뒤, 그 인코더·RSSM·깊이/고유수용 디코더·보상 예측기를 옮겨 49개 물체 실험을 초기화한다. 하위 PPO 학습 동안 이 구성 요소들도 새 롤아웃으로 계속 적응하고, actor–critic과 과제별 헤드는 새로 배운다(App. A.1).

중요한 것은 이 사전학습이 49개 물체 실험에만 쓰이는 게 아니라는 점이다. Table 1의 “WM-Craftnet (full WSM)” 753.3도 “pretrained full WSM”이고(§4.2 본문), 그 사전학습 데이터는 같은 9개 물체 z축 설정에서 나왔다. 사전학습 데이터를 어떤 정책으로 몇 epoch 모았는지는 논문에 없다. 이 점이 아래 실험 절의 핵심 쟁점이 된다.

방법 4: WSM 조건부 정책과 보상 (§3.5, App. A.2)

정책은 \mathbf u_t=\pi_\theta(\mathbf o_t,\mathbf a,\psi(\mathbf w_t))(Eq. 8)로 22개 관절 전부의 상대 목표 증분을 내고, \mathbf q^{\text{target}}_t=\mathbf q^{\text{target}}_{t-1}+\alpha\mathbf u_t(Eq. 9)로 적분한 뒤 신호 수준 평활화와 하드웨어 한계 클램핑을 거쳐 10 Hz 제어기로 실행된다. critic은 학습 중 시뮬 상태를 추가로 받는 비대칭 구조다. PPO epoch이 끝날 때마다 버퍼 청크로 RSSM을 갱신하고, actor 입구의 stop-gradient가 두 최적화 경로를 분리한다.

보상(Eq. 10)은 목표 축 회전 항에 안정성·접촉·자세 항을 더한 12항 합이다:

r_t=\lambda_{\text{spin}}r^{\text{spin}}_t+\lambda_{\text{vel}}r^{\text{vel}}_t+\lambda_{\text{contact}}r^{\text{contact}}_t+\lambda_{\text{dist}}r^{\text{dist}}_t+\lambda_\tau r^\tau_t+\lambda_{\text{work}}r^{\text{work}}_t+\lambda_a r^a_t+\lambda_{\text{ctrl}}r^{\text{ctrl}}_t+\lambda_{\text{pose}}r^{\text{pose}}_t+r^{\text{drift}}_t+r^{\text{axis}}_t+r^{\text{nospin}}_t

보상 항	Table 7 값
Spin / max spin / velocity	1.0 / 2.0 / −0.1
Torque / work / action / control	−0.003 / −0.003 / −0.002 / −1.0
Finger distance / hand pose / off-axis	0.1 / 1.5 / 0.001
Object drift / no-spin / fall penalty	100.0 / −50.0 / −50.0
Tip force coef. / thresh. / exp.	0.9 / 2.0 / 0.01

회전 항은 명령 축에 투영한 부호 있는 증분 회전을 최대 회전율로 자른 값이다. 표에서 부호 규약이 섞여 있다는 점은 기록해 둔다. “Object drift / no-spin / fall penalty” 행에서 drift는 +100.0, no-spin·fall은 −50.0이고, off-axis도 +0.001이다. 본문은 drift·off-axis를 “벌점”이라고 쓰므로 이 양수 가중치는 항 자체가 음수로 정의됐거나 표기 혼선이다. 논문만으로는 어느 쪽인지 알 수 없다. 에피소드는 물체 낙하, 목표 축에서 너무 벗어남, 연속 회전 정체, 지평(500 스텝) 도달 때 리셋되고, 같은 보상·리셋을 모든 베이스라인에 쓴다.

직관: world model을 “상상기”가 아니라 “필터”로 쓴다는 것

이 설계를 이해하는 가장 쉬운 방법은 칼만 필터와의 유비다. 필터는 모델을 써서 미래를 시뮬레이션하지 않는다. 지난 추정과 행동으로 다음 상태를 예측하고(prior), 들어온 관측으로 고친다(posterior). RSSM의 posterior 갱신(Eq. 5)이 정확히 그 일을 하고, 학습된 동역학과 디코더 감독 덕분에 그 상태는 “관측을 설명할 수 있는” 정보를 담도록 강제된다. 정책에 넘기는 것은 미래 궤적이 아니라 이 필터 상태다.

이 관점에서 논문의 두 감독이 왜 중요한지가 보인다. 깨끗한 깊이 복원은 필터 상태가 센서 잡음까지 따라 외우지 못하게 한다. 잡음 깊이를 그대로 복원하게 하면(Table 2의 “Noisy-depth supervision”) 상태는 잡음도 정보로 취급해야 한다. 행동 조건부 순환은 접촉이 끊기거나 깊이가 가려진 스텝에서도 직전 상태와 행동으로 물체가 어디 있을지를 이어 붙이게 한다. Table 2에서 순환을 스텝별 인코더–디코더 특징으로 바꾼 변형이 가장 크게 떨어지는 것(667.6)이 이 해석과 맞는다.

한편 같은 관점은 이 설계의 한계도 말해 준다. 필터는 모델이 맞는 범위에서만 좋은 추정을 준다. WSM은 시뮬 롤아웃으로만 학습되므로, 실기 깊이 잡음이 시뮬 오염 모델과 다르면 상태도 어긋난다. 실기에서 이 방법이 크게 이긴 것은 그 어긋남이 작았다는 증거이고, 동시에 그 범위가 어디까지인지는 아직 모른다는 뜻이다. 프로젝트 페이지의 실패 영상 하나(아래)가 그 경계를 보여 준다.

실험 셋업 (§4.1, App. A)

시뮬과 실기는 같은 관측/행동 인터페이스와 제어 주파수(10 Hz)를 쓴다. 시뮬 결과는 방법당 128회 평가 에피소드 평균과 95% 신뢰구간이다. 물리 엔진은 논문 본문에 이름이 없다(README는 Isaac Gym Preview 4, 프로젝트 페이지는 Isaac Sim 로고를 단다. 아래 어긋남 표 참고).

베이스라인. z축은 Open-loop Replay, Blind RL Policy(깊이·촉각 없음), Touch Dexterity(촉각), RL Policy(깊이만), In-Hand Rotation(IHR, 깊이+촉각, Robot Synesthesia의 재구현), WM-Craftnet 변형들이다. 모든 베이스라인을 22-DoF Sharpa Wave 손에 맞춰 같은 보상·랜덤화 범위·초기화 분포·리셋 전략으로 다시 구현했다. x·y축은 “compact” 비교다.

지표. 시뮬은 return, 에피소드 길이(EpLen), 회전율(RotR), 필요한 경우 off-axis 움직임(OffAxis)과 각속도 변동(AngVar). x·y축은 낙하율(Fall)과 물체 속도(ObjVel)를 쓴다. 실기는 20초 에피소드의 회전량 RR(rad)과 성공률 SR(반 바퀴 이상 회전이면 성공)이고, 4명의 평가자가 동기화된 영상을 독립 채점해 평균한다. RotR의 단위와 정의(무엇의 비율인지)는 논문에 없다. 공개 평가 코드에서는 스텝당 회전 보상(목표 축 회전 × 20을 −6.28~2.0으로 자른 값)의 에피소드 평균이라 물리적 각속도가 아니고 상한이 2.0이다(코드와 대조 9번 행).

구현 요약(Table 7).

구분	항목	값
시스템	손	Sharpa Wave, 22-DoF 5지
	하드웨어 주기	손 제어 / 손목 카메라 / 촉각 모두 10 Hz
	카메라	손목 장착 640×480, 3D 프린트 브래킷 고정 (App. A.3: RealSense L515)
	시뮬 주기	물리 60 Hz, 관측/제어 10 Hz (dt 0.01667, decimation 6)
World model	결정적/확률적/이산	512 / 32 / 32, hidden 512, 순환 깊이 1
	actor 투영	512 → 64 → 32 → 16
	버퍼 / warmup	256 rows / 10,000 transitions
	배치 / 청크 / 갱신	16 / 32 / PPO epoch당 10
	최적화	Adam, LR 10^{-4}, grad clip 1000
깊이 입력	텐서 / 최대 깊이	96×72 / 0.4 m
	시간 dropout / 상관 / 회전	0.02 / 0.95 / ±0.3°
정책	envs / horizon / minibatch / mini-epochs	1024 / 16 / 4096 / 4
	\gamma / GAE \tau / LR / clip	0.99 / 0.95 / 10^{-4} / 0.2
	MLP / 활성화	[512, 256, 256] / ELU
	에피소드	500 스텝
랜덤화	물체 질량 학습 / 평가	[0.2, 0.4] kg / [0.1, 1.4] kg
	마찰 / PD 배율	[0.5, 2.0] / [0.8, 1.2]
	관측 / 행동 잡음	[0, 0.05] / [0, 0.04]
	리셋 위치 / 회전	[0.035, 0.02, 0.0025] m / 10°
	외력 배율 / 확률 / 감쇠	0.5 / 0.25 / 0.99
	중력 커리큘럼	1° → 4°, 0.05° 간격

질량 평가 범위(0.1~1.4 kg)가 학습 범위(0.2~0.4 kg)보다 훨씬 넓다는 점이 눈에 띈다. 다만 어느 표의 평가가 넓은 범위로 돌았는지는 본문이 특정하지 않는다. 공개 코드는 이 테스트 질량 키를 읽지 않아 학습과 평가가 모두 0.2~0.4 kg을 쓴다(코드와 대조 8번 행). 학습 시드 수도 적혀 있지 않다. 128회 평가의 95% CI는 학습된 정책 하나의 에피소드 간 분산이지 학습 실행 간 분산이 아니다.

시스템 식별(App. A.3). 실기 손을 1 Hz 사인파 행동으로 가진하고 측정 관절 응답과 시뮬을 비교해 시뮬 K_p·K_d를 진폭·위상이 맞도록 조정했다. 남은 불일치는 도메인 랜덤화로 덮는다.

관절 수준 시스템 식별(Fig. 7). 초록 점선은 명령, 주황은 실기 관절 상태, 파랑은 보정된 시뮬 상태. 22개 관절 패널마다 sim–real MAE가 적혀 있다.

그림의 패널별 MAE를 읽으면 0.08°(pinky MCP AA)~0.24°(pinky CMC)이고, 22개를 평균하면 약 0.15°다(필자 계산). 본문의 “평균 0.2° 미만”과 맞는다. 다만 이 식별은 물체 없는 자유 공간 사인파 추종이다. 접촉 부하가 걸린 상태의 관절 추종이나 손끝 접촉 모델의 sim–real 차이는 이 그림이 말해 주지 않는다. 인핸드 회전에서 sim2real 격차가 주로 생기는 곳은 후자다(DexNDM이 관절 동역학을 실기 데이터로 따로 학습한 이유이기도 하다).

실험: z축 9개 물체 (§4.2, Table 1, Fig. 2)

z축 학습 물체 9개(Table 1 옆 패널). corner block, duck, apple, piggy bank, strawberry, cross block, coca can, bulb, cylinder axis. 프로젝트 페이지는 마지막 물체를 “double-notched cylinder”라 부른다.

Table 1. z축 9개 물체 (평균 ± 95% CI, 128회)

방법	Return↑	EpLen↑	RotR↑	OffAxis↓	AngVar↓
Open-loop Replay	306.3 ± 48.3	320.2 ± 35.0	0.332 ± 0.080	1.789 ± 0.295	2.241 ± 0.679
Blind RL Policy (깊이·촉각 없음)	304.1 ± 3.8	295.8 ± 2.3	0.944 ± 0.004	1.539 ± 0.007	1.810 ± 0.011
Touch Dexterity (촉각)	386.9 ± 3.1	362.5 ± 2.3	1.018 ± 0.004	1.601 ± 0.008	1.764 ± 0.053
RL Policy (깊이, 촉각 없음)	362.2 ± 4.7	351.0 ± 3.6	0.978 ± 0.004	1.806 ± 0.009	2.222 ± 0.065
In-Hand Rotation (깊이+촉각)	236.1 ± 2.7	272.5 ± 2.8	0.882 ± 0.003	1.986 ± 0.009	2.487 ± 0.074
WM-Craftnet (from scratch)	414.3 ± 15.7	264.2 ± 8.8	0.742 ± 0.012	1.285 ± 0.010	1.735 ± 0.052
WM-Craftnet (all-zero tactile)	724.9 ± 4.4	428.8 ± 2.8	1.252 ± 0.004	1.224 ± 0.006	1.388 ± 0.031
WM-Craftnet (75% tactile dropout)	735.2 ± 4.1	429.8 ± 2.7	1.272 ± 0.004	1.224 ± 0.006	1.390 ± 0.031
WM-Craftnet (50% tactile dropout)	737.8 ± 4.4	425.1 ± 3.6	1.276 ± 0.004	1.279 ± 0.006	1.511 ± 0.061
WM-Craftnet (25% tactile dropout)	743.4 ± 4.2	427.9 ± 3.2	1.287 ± 0.004	1.243 ± 0.006	1.434 ± 0.032
WM-Craftnet (WSM pretrained, prop-only)	684.5 ± 4.3	424.0 ± 2.2	1.191 ± 0.003	1.310 ± 0.007	1.234 ± 0.013
WM-Craftnet (WSM pretrained, prop+tac)	698.9 ± 4.3	435.4 ± 1.9	1.192 ± 0.002	1.165 ± 0.006	1.373 ± 0.024
WM-Craftnet (full WSM)	753.3 ± 3.6	435.2 ± 1.9	1.293 ± 0.004	1.225 ± 0.006	1.324 ± 0.027

저자의 읽기. 베이스라인 return은 236.1~386.9이고, 처음부터 학습한 WM-Craftnet은 414.3으로 올라가며 OffAxis·AngVar를 줄이지만 RotR(0.742)은 일부 베이스라인보다 낮다. 사전학습 Full WSM은 753.3에 RotR 1.293이다. 시험 시 촉각을 25% dropout하면 743.4, 전부 0으로 두면 724.9로 떨어지고, 모달 대조는 고유수용만 684.5 → +촉각 698.9 → +깊이 753.3으로 오른다.

학습 보상 곡선(Fig. 2). (a) z축 베이스라인, (b) WSM 절제(scratch WM-Craftnet과 사전학습 WSM 세 변형), (c) x축, (d) y축. 각 패널의 y축 범위가 다르다.

표를 다시 읽으면 세 가지가 보인다.

① 헤드라인 격차의 대부분은 사전학습에서 온다. 최강 베이스라인(Touch Dexterity 386.9) 대비 Full WSM은 +94.7%지만, 같은 방법을 처음부터 학습하면 +7.1%(414.3)다. 게다가 scratch 버전은 EpLen 264.2로 Open-loop Replay를 제외한 RL 방법 중 가장 짧고 RotR도 가장 낮으며, CI(±15.7)가 다른 행의 3~5배로 넓다. return이 높은 이유는 짧은 에피소드 안에서 off-axis·각속도 벌점을 덜 받았기 때문으로 읽힌다. 사전학습 데이터가 같은 9개 물체 z축 설정에서 나왔고(§3.4), 그 데이터를 만든 롤아웃의 규모·정책이 밝혀져 있지 않으므로, 753.3 vs 386.9는 “같은 과제에서 world model을 한 번 더 학습할 기회를 받은 방법 vs 3000 epoch 한 번 학습한 베이스라인”의 비교가 된다. 베이스라인에는 대응하는 사전학습 단계가 없다. Fig. 2(b)도 같은 이야기를 한다. 사전학습한 세 변형은 epoch 0에서 scratch와 같은 낮은 보상으로 출발하지만(정책은 새로 배우니까) 수백 epoch 안에 scratch가 3000 epoch에 도달하는 값(그림에서 약 376)을 넘어선다.

② 단순 순환 베이스라인이 scratch WM-Craftnet보다 강하다. 부록 Table 9의 LSTM(예측 손실 없음) 621.0, GRU 497.8은 Table 1의 어떤 베이스라인보다 높고 scratch WM-Craftnet(414.3)보다도 높다. 논문은 이 비교를 “예측 다중 모달 학습의 이득을 순환 메모리만의 효과와 분리한다”는 근거로 쓰는데, 그 분리는 사전학습 Full WSM vs LSTM(753.3 vs 621.0, +21.3%)에서만 성립하고, LSTM·GRU의 학습 예산과 초기화는 적혀 있지 않다. 예측 손실 없는 LSTM에는 사전학습할 대상이 없으므로, 그대로 읽으면 “사전학습 없이는 WSM이 LSTM보다 33% 낮다”는 결론도 같은 표에서 나온다. 동시에 이 숫자는 Table 1의 비순환 베이스라인들(최고 386.9)이 순환 메모리가 없다는 이유만으로 크게 불리했을 가능성을 시사한다. Touch Dexterity·IHR의 원 논문이 쓰는 관측 이력 처리를 재구현에서 어떻게 했는지는 본문에 없다.

③ 시험 시 촉각을 지워도 거의 그대로다. 촉각을 모두 0으로 두면 753.3 → 724.9(−3.8%), RotR 1.293 → 1.252다. 이 정책은 actor 입력에도 이진 접촉을 직접 받으므로, 촉각의 시험 시 기여가 작다는 뜻이다. 모달 대조도 비슷하다. 고유수용에 촉각을 더한 이득은 +14.4(684.5 → 698.9)이고 깊이를 더한 이득은 +54.4다. 초록의 “촉각 접촉 단서가 학습된 상태를 형성한다”는 주장은 성립하지만 효과 크기는 깊이에 비해 작다. dropout 비율에 따른 변화도 단조롭지 않다. 50% dropout의 OffAxis(1.279)·AngVar(1.511)는 all-zero(1.224·1.388)보다 나쁘다.

덧붙여, “prop-only / prop+tac / full”이 WSM의 입력을 바꾼 것인지 예측 헤드를 바꾼 것인지가 문서마다 다르게 서술된다. §4.2 본문은 “full depth–touch input”이라 쓰고, 초록은 “WSM modality heads”, 프로젝트 페이지는 같은 표를 “Sensor-head ablation: clean depth and tactile prediction”이라 부른다. 해석이 달라지는 지점이라 논문이 명시했어야 한다.

Fig. 2(a)에 대한 본문 서술(“Table 1과 같은 순서”)도 그림과 대조해 둔다. 그림을 읽으면 3000 epoch 종점에서 WM-Craftnet(보라)·Touch Dexterity(주황)·RL Policy depth-only(초록)는 대략 같은 높이(약 430~450)에서 겹치고, Blind와 IHR만 분명히 아래에 있다. 평가 return 순서(414.3 > 386.9 > 362.2)와 학습 보상 종점은 같은 양이 아니므로 모순은 아니지만, “같은 순서”는 하위 두 방법에서만 분명하다. 또 Fig. 2(b)의 scratch WM-Craftnet(파랑) 종점(약 376)과 Fig. 2(a)의 WM-Craftnet 종점(약 430)이 그림 판독상 다르다. 같은 실행인지, 다른 실행이나 다른 평활화인지는 캡션에 없다. Fig. 2(b)의 prop+tac 곡선(초록)이 약 2100, 2550 epoch에서 두 번 크게 무너졌다 회복하는 것도 본문이 언급하지 않는 학습 불안정성이다.

실험: 통제 변형과 부록 절제 (§4.2 Table 2, App. B.1 Table 9·10)

Table 2. 통제된 WSM 변형 (z축)

방법	Return↑	EpLen↑	RotR↑	OffAxis↓	AngVar↓
Noisy-depth supervision	708.0 ± 3.5	431.1 ± 2.0	1.265 ± 0.005	1.299 ± 0.006	1.456 ± 0.045
No h_{t-1} recurrent input	705.4 ± 4.3	434.3 ± 2.3	1.282 ± 0.005	1.125 ± 0.006	1.185 ± 0.008
Encoder–decoder z_t policy	667.6 ± 4.7	417.4 ± 2.6	1.254 ± 0.003	1.323 ± 0.006	1.343 ± 0.018
Full WSM	753.3 ± 3.6	435.2 ± 1.9	1.293 ± 0.004	1.225 ± 0.006	1.324 ± 0.027

Table 2 옆 학습 보상 곡선. 범례는 ours / noisy depth supervision / no h_{t-1} in recurrent input / no recurrent state. 표의 “Encoder–decoder z_t policy”가 그림의 “no recurrent state”에 대응하는 것으로 보인다(이름이 다르다).

이 표가 논문의 메커니즘 주장을 가장 직접 받친다. 깨끗한 깊이 대신 잡음 깊이를 복원하면 −45.3(−6.0%), 순환 문맥 대신 스텝별 인코더–디코더 특징을 쓰면 −85.7(−11.4%)이다. h_{t-1}을 순환 입력에서 빼면 return은 705.4로 떨어지지만 OffAxis·AngVar는 표 전체에서 가장 좋다. 저자는 이를 “안정성–과제 성능 트레이드오프”로 정리한다. 정직한 서술이고, 동시에 Full WSM이 모든 지표에서 최고는 아니라는 사실을 저자가 숨기지 않은 대목이다. 이 표의 세 변형이 Full WSM과 같은 사전학습 절차를 거쳤는지는 명시되지 않았지만, 학습 곡선이 Fig. 2(b)의 사전학습 곡선들과 같은 범위(약 700~780)에 있어 사전학습 조건에서 비교한 것으로 보인다.

Table 9. 순환 이력 베이스라인 (z축)

방법	Return↑	EpLen↑	RotR↑	OffAxis↓	AngVar↓
LSTM (예측 목표 없음)	621.0 ± 4.3	424.3 ± 2.7	1.186 ± 0.004	1.297 ± 0.006	1.392 ± 0.028
GRU (예측 목표 없음)	497.8 ± 4.5	377.1 ± 2.5	1.095 ± 0.003	1.226 ± 0.007	1.357 ± 0.013
Full WSM	753.3 ± 3.6	435.2 ± 1.9	1.293 ± 0.004	1.225 ± 0.006	1.324 ± 0.027

Table 10. 보조 헤드 절제 (z축)

방법	Return↑	EpLen↑	RotR↑	OffAxis↓	AngVar↓
No auxiliary heads	688.1 ± 3.7	433.7 ± 2.0	1.239 ± 0.006	1.229 ± 0.005	1.778 ± 0.138
Only value head	737.0 ± 4.9	435.7 ± 2.2	1.291 ± 0.003	1.258 ± 0.007	1.346 ± 0.045
Only pose head	690.0 ± 5.8	432.3 ± 2.5	1.221 ± 0.007	1.228 ± 0.008	1.231 ± 0.011
Only object-shape head	689.2 ± 4.2	428.1 ± 2.2	1.261 ± 0.002	1.255 ± 0.006	1.535 ± 0.032
Full WSM	753.3 ± 3.6	435.2 ± 1.9	1.293 ± 0.004	1.225 ± 0.006	1.324 ± 0.027

Table 10에서 가장 흥미로운 줄은 가치 헤드 하나다. 자세·형상 헤드는 각각 +1.9, +1.1로 거의 효과가 없는데 가치 헤드 하나가 +48.9(688.1 → 737.0)로 Full WSM과의 차이(753.3)의 약 75%를 설명한다. 즉 “물체 자세·형상·접촉을 추론하는 공감각 상태”라는 서사보다는, critic의 가치를 예측하도록 강제된 상태가 actor에게 좋은 특징이 된다는 쪽이 이 표가 더 강하게 지지하는 해석이다. 가치 예측은 보상 구조를 직접 담으므로 상태가 “이 정책에 유용한 것”으로 정렬되는 셈이다. 논문은 이 결과를 “가치 헤드가 단일 헤드 중 가장 큰 이득”이라고만 적고 해석을 붙이지 않는다. 또 “No auxiliary heads”(688.1)와 Table 1의 “prop+tac”(698.9)·“prop-only”(684.5)가 어떤 관계인지(같은 헤드 구성인지)도 표만으로는 맞춰지지 않는다.

실험: 실기 z축 (§4.2 Sim-to-real, Table 3)

Table 3. 실기 z축 회전 (RR = 20초 에피소드당 회전 rad, SR = 10회 중 성공)

방법	Duck RR	SR	Cross RR	SR	Corner RR	SR	이중 노치 블록(unseen) RR	SR
OlR (Open-loop Replay)	2.32	6/10	3.04	6/10	5.19	7/10	0.23	0/10
TD (Touch Dexterity)	1.54	4/10	0.34	2/10	0.22	0/10	0.27	0/10
IHR	1.83	5/10	0.45	1/10	0.36	1/10	0.39	0/10
IHR + WSM 복원 깊이	2.76	8/10	1.21	8/10	2.43	10/10	0.80	0/10
Ours	16.179	10/10	8.01	10/10	8.48	10/10	4.32	8/10

논문의 읽기는 “개루프 → 촉각 → 깊이+촉각”의 진행이다. IHR은 시뮬 깊이에서 실기 잡음 깊이로의 이동에 민감하고, WSM이 복원한 깊이를 넣으면 학습 물체 3개에서 회전·성공이 오르지만(기하 디노이즈의 가치) 처음 보는 블록에서는 0/10이다. WM-Craftnet은 깊이·촉각·고유수용·행동 이력으로 학습한 순환 특징을 쓰므로 처음 보는 블록에서도 8/10이다. 이 “IHR + WSM 복원 깊이” 행은 이 논문에서 가장 잘 설계된 통제 중 하나다. 디노이즈 효과와 순환 상태 효과를 실기에서 분리하려는 시도이기 때문이다.

Open-loop Replay

Touch Dexterity (촉각만)

IHR (촉각 + 실기 잡음 깊이)

IHR + WSM 복원 깊이

WM-Craftnet

프로젝트 페이지의 실기 베이스라인 비교(corner block). 페이지 설명: 개루프는 조정 능력이 없고, Touch Dexterity는 회전은 만들지만 기하 정보가 없어 옆으로 넘어지며, IHR은 잡음 깊이가 시뮬 분포 밖으로 밀려 무너지고, WSM 복원 깊이는 “약간” 나아지며, WM-Craftnet은 1분 넘게 안정적으로 돌린다. 각 영상이 Table 3의 몇 번째 시행인지는 적혀 있지 않다.

산술로 확인하면 맞지 않는 칸이 있다. 성공 기준은 “반 바퀴(=\pi\approx3.14 rad) 초과 회전”이고 RR은 20초 에피소드의 회전량 평균이다. 그렇다면 10회 중 k회가 성공한 칸의 평균 RR은 (실패 시행의 회전이 0 이상이라면) 최소 k\pi/10이어야 한다. 이 하한을 표에 대 보면 세 칸이 걸린다.

칸	SR	산술 하한 k\pi/10	표의 RR
IHR + WSM 복원 깊이, Corner	10/10	3.14	2.43
IHR + WSM 복원 깊이, Cross	8/10	2.51	1.21
TD, Cross	2/10	0.63	0.34

나머지 17칸은 하한을 만족한다. 실패 시행이 역방향으로 돌아 RR이 음수가 될 수 있다면 8/10·2/10 칸은 설명될 여지가 있지만, 10/10인 Corner 칸은 실패 시행이 없으므로 그 해석으로도 평균 2.43 rad가 나올 수 없다. 가능한 설명은 SR과 RR을 서로 다른 기준(예: 성공은 누적 최대 회전, RR은 순 회전)으로 쟀거나, 평가자 평균 과정의 차이이거나, 표기 오류다. 논문만으로는 가릴 수 없다. 영향 범위는 제한적이다. 걸리는 칸은 모두 베이스라인이고 WM-Craftnet 행은 하한을 만족한다. 다만 “IHR + WSM 복원 깊이” 행은 디노이즈 효과를 실기에서 보여 주는 핵심 통제라 그 해석이 흔들린다. 프로젝트 페이지가 이 변형을 “slightly improves”라 쓰는 것과 표의 Corner 1/10 → 10/10이 주는 인상도 서로 다르다.

그 밖의 관찰. Ours의 duck RR만 소수 셋째 자리(16.179)이고 나머지는 둘째 자리다(프로젝트 페이지는 16.18). Ours의 duck RR(16.18)은 다른 물체(8.01~8.48)의 약 두 배다. 물체당 10회는 작은 표본이라 8/10의 95% Wilson 구간은 49~94%, 10/10도 72~100%다(필자 계산). 학습 물체 3개를 합친 30/30과 처음 보는 블록 8/10을 각각 보는 편이 정직하다.

실험: WSM 상태는 무엇을 담나 (§4.3, Fig. 3~5, 8)

논문은 두 진단을 쓴다. 평가 시 h_t를 t-SNE로 투영해 물체·상호작용 단계 구조를 보는 것(물체 라벨은 색칠에만 쓰고 정책 입력이 아니다), 그리고 잠재에서 깨끗한 깊이를 디코딩해 정답·잡음 깊이와 비교하는 것이다.

z축 9개 물체 롤아웃의 WSM 순환 상태 h_t t-SNE(Fig. 3). 범례: corner cube, duck, apple, piggy bank, strawberry, cross cube, coca can, bulb, cylinder.

본문은 “부분적으로 물체 의존적인 영역과 물체·롤아웃 단계 간 겹침”을 본다고 쓴다. 그림을 직접 보면 물체별 분리가 꽤 뚜렷하다. bulb, duck, coca can, apple, strawberry, piggy bank, corner cube는 각자 거의 독립된 덩어리를 이루고, 겹침이 큰 것은 cross cube–cylinder 한 쌍과 중앙의 작은 혼합 영역 정도다. 그러니 이 그림은 “물체 ID 없이도 h_t가 물체 정체성을 강하게 담는다”는 쪽으로 더 읽힌다. 그 자체는 나쁜 결과가 아니지만, t-SNE의 군집은 같은 물체의 궤적이 시간적으로 연속이라는 사실만으로도 생길 수 있어 “상호작용 단계 구조”의 근거로는 약하다. 고리 모양 구조(물체마다 반복되는 원형 궤적)는 회전 주기를 담고 있다는 정황으로 보인다.

프로젝트 페이지의 실기 깊이 복원. 왼쪽: 실기 손목 잡음 깊이, 오른쪽: WSM 잠재에서 복원한 깊이. 본문의 “real-hardware videos show the same effect”가 가리키는 자료로, 실기 복원 품질의 유일한 근거다(정량 지표 없음).

영상의 한 프레임을 뽑아 보면 차이가 극적이다. 실기 입력은 손 실루엣이 조각나고 배경까지 얼룩진 반면, 복원본은 시뮬 렌더링처럼 매끈한 손 모양이다. 다만 복원본에서 손가락 사이의 물체 부분은 흐릿한 덩어리로 뭉개져 있어서, 이 디코더가 실기에서 “물체 기하”를 복원하는지 아니면 학습된 손 모양 사전을 그려 내는지는 영상만으로 구별되지 않는다(필자 판독). 실기 깊이 복원은 영상으로만 제시되고 정량 지표(복원 오차, 정답 대비 IoU 등)는 시뮬·실기 모두 없다. 실기에는 깨끗한 정답 깊이가 없으니 지표를 만들기 어렵다는 사정은 이해되지만, 시뮬에서는 Fig. 4 한 장 대신 잡음 강도별 복원 오차 곡선을 줄 수 있었다.

재사용 사전: 49개 물체.

9개 z축 물체로 사전학습한 WSM으로 49개 새 물체를 학습하는 하위 정책(Fig. 5). 그림은 시뮬 환경 격자의 한 프레임이다.

3000 epoch 뒤 물체당 에피소드 회전량이 평균 9.37±0.13 rad(사전 없음 3.28 rad)이고, 학습 중 낙하율이 처음 6%에서 끝 0.3%로 줄었다. 별도의 5개 블록 진단(diagonal, narrow, double-notched, step, V-cut)에서는 RotR이 scratch / 9개 물체 사전 / 49개 물체 사전 순으로 1.10 / 1.34 / 1.46이다. 세 가지를 짚는다. ① 낙하율 6% → 0.3%는 같은 실행의 학습 시작과 끝 비교이지 사전 유무의 비교가 아니다. ② 9.37 rad의 에피소드 길이·평가 횟수가 적혀 있지 않다. 500 스텝(50초) 에피소드라면 0.19 rad/s 수준이라, Table 1의 RotR(1.29)이나 실기 duck(20초에 16.18 rad)과 단위를 맞춰 비교할 수 없다. ③ 5개 블록 진단은 CI·return·시행 수가 없는 세 숫자다. 사전학습의 효과 자체(3.28 → 9.37)는 크고 그림 2(b)의 빠른 상승과도 정합하지만, 정량 근거로는 이 절이 가장 얇다. Fig. 5도 결과 그래프가 아니라 환경 스냅숏이다.

대규모 하위 분석(Fig. 8). (a) 하위 다물체 학습에 쓴 49개 물체 집합(block 17종, bottle 12종, bucket 8종, trash can 3종, toaster 3종, kitchen pot 2종, fruit 2종, box·switch 각 1종). (b) 하위 정책의 평가 시 WSM 순환 상태 t-SNE, 색은 물체 정체성.

Fig. 8(b)는 해석이 어렵다. 49개 물체를 색으로 구분한다고 했지만 그림에 쓰인 색은 matplotlib 기본 순환의 10색이라 한 색이 평균 약 5개 물체를 나타낸다. 그래서 “물체 의존적 영역과 겹침이 공존한다”는 캡션의 판단을 독자가 그림에서 확인할 방법이 없다. 범례도 없다.

Fig. 8(a)를 보다가 발견한 것이 하나 더 있다. 49개 집합의 몇몇 메시는 Table 6 z축 보류 물체와 같아 보인다. bottle_01은 lidded jar와, bottle_02는 tilted tumbler와, trash_can_02는 pedal bin과, kitchen_pot_01은 handled pot과 렌더링이 사실상 같다(그림 대조, 필자 판단). Table 6 z축 평가는 “9개 물체로 학습한 정책”이라고 명시돼 있어 이 겹침이 그 표를 오염시키지는 않는다. 그러나 20개 물체 대규모 실기 평가의 “처음 보는 물체 11개”에는 lidded jar, tilted tumbler, pedal bin, handled pot, trash can, bucket이 들어 있고, 그 실기 평가에 어느 정책(9개 물체 정책인지 49개 물체 하위 정책인지)을 썼는지는 본문에 없다. 후자라면 이 물체들 중 상당수는 “unseen”이 아니다.

실험: 더 어려운 회전 축 (§4.4, Table 4·5)

y축은 길쭉한 물체에서 모멘트 팔이 커지고 접촉이 비대칭이 되며, x축은 손끝 작업 공간이 좁은 데다 중력이 물체를 손바닥에서 떼어 내 접촉을 재배치해야 해서 더 어렵다고 논문은 설명한다. 축별 정책은 같은 설계·보상·무작위 시작을 쓰되 축마다 WSM을 따로 학습한다.

왼쪽: y축 물체 9개(Table 4 옆 패널. toy trash can, corner block, regular block, corner cylinder, toothpaste, coca can, screwdriver, flashlight, bottle). 오른쪽: x축 물체 4개(Table 5 옆 패널. regular block, corner block, step block, lego).

Table 4. y축, 도구형 물체 9개

방법	Return↑	EpLen↑	RotR↑	Fall↓	ObjVel↓
Open-loop Replay	−52.4 ± 5.2	85.8 ± 10.0	0.031 ± 0.063	0.784 ± 0.082	0.0366 ± 0.0042
Blind RL Policy	177.8 ± 9.2	192.4 ± 7.6	0.545 ± 0.016	0.164 ± 0.002	0.0737 ± 0.0014
Touch Dexterity	105.3 ± 5.8	172.0 ± 6.2	0.297 ± 0.030	0.208 ± 0.003	0.0760 ± 0.0021
RL Policy (깊이)	154.8 ± 6.9	178.4 ± 5.4	0.288 ± 0.033	0.103 ± 0.002	0.0909 ± 0.0015
In-Hand Rotation	142.8 ± 5.5	162.5 ± 4.8	0.377 ± 0.025	0.063 ± 0.003	0.0787 ± 0.0021
WM-Craftnet	272.7 ± 13.5	215.0 ± 8.7	1.025 ± 0.026	0.049 ± 0.001	0.0682 ± 0.0013

Table 5. x축, 물체 4개

방법	Return↑	EpLen↑	RotR↑	Fall↓	ObjVel↓
Open-loop Replay	18.0 ± 6.8	129.4 ± 22.3	0.411 ± 0.054	0.164 ± 0.064	0.0448 ± 0.0019
Blind RL Policy	44.0 ± 0.8	63.4 ± 1.0	0.867 ± 0.002	0.033 ± 0.001	0.0311 ± 0.0001
Touch Dexterity	37.8 ± 0.2	42.7 ± 0.2	1.023 ± 0.002	0.039 ± 0.002	0.0334 ± 0.0001
RL Policy (깊이)	38.2 ± 0.2	43.7 ± 0.4	1.079 ± 0.003	0.033 ± 0.001	0.0323 ± 0.0001
In-Hand Rotation	295.1 ± 3.3	365.1 ± 3.1	0.839 ± 0.001	0.103 ± 0.003	0.0433 ± 0.0001
WM-Craftnet	432.8 ± 2.1	435.4 ± 1.8	1.114 ± 0.001	0.020 ± 0.001	0.0460 ± 0.0001

y축에서 논문의 산술은 모두 맞는다. return 177.8 → 272.7(+53.4%), RotR 0.545 → 1.025(+88.1%), EpLen +11.7%, ObjVel은 2위(1위는 거의 움직이지 않는 Open-loop Replay)다. 저자는 “RotR 이득이 EpLen 이득보다 훨씬 커서 return 개선이 더 긴 에피소드가 아니라 더 빠른 목표 축 진행에서 온다”고 읽는데, 이 해석도 표와 맞는다.

x축은 두 가지를 덧붙인다. ① 본문은 “가장 높은 RotR과 가장 낮은 낙하율”을 말하지만 ObjVel은 WM-Craftnet이 6개 중 가장 나쁘다(0.0460). y축에서는 ObjVel 순위를 언급한 저자가 x축에서는 언급하지 않는다. ② Blind·Touch Dexterity·RL(깊이)은 EpLen이 43~63 스텝(지평 500)인데 낙하율은 0.033~0.039로 낮다. 낙하가 아닌 다른 리셋 조건(회전 정체·축 이탈)으로 일찍 끝난다는 뜻이고, 이 베이스라인들은 사실상 x축 과제를 시작하지 못한다. 그러니 x축에서 의미 있는 비교는 IHR(295.1) 대 WM-Craftnet(432.8, +46.7%)이다. Fig. 2(c)에서도 이 둘만 곡선이 올라간다. y·x축 표에는 사전학습 여부가 적혀 있지 않다(축마다 WSM을 따로 학습했다고만 쓴다).

실험: 스트레스 테스트 (§4.5, Table 6, Fig. 6)

축별 보류 물체(Table 6 옆 패널). x: small corner block, narrow block, large step block, small lego. y: double-notched block, flashlight, narrow block, V-cut block. z: lidded jar, tilted tumbler, pedal bin, handled pot.

Table 6. 스트레스 테스트 (보류 물체 RotR·return, 시뮬 교란 회복, 대규모 실기)

방법	x: RotR, Ret.	y: RotR, Ret.	z: RotR, Ret.	시뮬 회복↑	회복 시간↓ (s)	실기 SR↑
Blind RL Policy	0.852, 134.7	0.300, 135.7	0.665, 277.1	4.7% ± 3.7%	3.62 ± 2.25	41/200
Touch Dexterity	0.923, 35.8	0.174, 78.7	0.605, 242.2	6.2% ± 4.2%	3.33 ± 1.41	33/200
RL Policy (촉각 없음)	0.853, 33.8	0.378, 168.9	0.696, 301.7	5.5% ± 4.0%	3.14 ± 0.79	45/200
In-Hand Rotation	0.732, 246.0	0.309, 193.0	0.468, 156.1	0.0% ± 0.0%	N/A	53/200
WM-Craftnet	1.002, 333.6	0.715, 203.5	0.842, 533.1	14.1% ± 6.0%	2.56 ± 0.77	175/200

보류 물체. 논문의 상대 이득(RotR x/y/z +8.6/+89.2/+20.9%, return +35.6/+5.4/+76.7%)은 내가 다시 계산해도 맞는다(z RotR은 0.842/0.696 = +21.0%로 반올림 차이만 있다). 다만 “unseen”의 범위는 축마다 다르다. x축 보류 물체는 학습 물체의 크기 변형이 대부분이다(small corner block ↔︎ corner block, large step block ↔︎ step block, small lego ↔︎ lego, narrow block ↔︎ regular block). y축의 flashlight는 학습 집합에 같은 이름의 물체가 있다(본문은 “large flashlight”라 쓴다). 진짜 새 형상은 y축의 double-notched·V-cut block과 z축 4개다. 그 z축에서 return 격차(+76.7%)가 가장 큰 것은 고무적이다.

교란 회복. 14.1% vs 6.2%를 7.9%p 개선이라고 쓴다. 표의 ±는 정규 근사 95% CI와 정확히 맞아떨어지는데, n=128을 대입하면 ±6.0%와 ±4.2%가 그대로 나온다(필자 역산). 그러면 회복 횟수는 18/128 vs 8/128이고, 두 비율의 Fisher 정확 검정은 p\approx0.061이다. 즉 최강 베이스라인과의 회복률 차이는 5% 수준에서 유의하지 않다(필자 계산, n=128 가정). 저자도 “큰 교란에서 절대 회복률은 여전히 제한적”이라고 인정한다. 회복 시간 2.56 s는 회복한 시행(약 18회)만의 평균이고, 0.58 s 단축은 회복률 기준 최강(TD)이 아니라 회복 시간 기준 최강(RL 촉각 없음, 3.14 s) 대비다. 논문이 “각 지표의 최강 베이스라인”이라고 밝혀 두었으니 왜곡은 아니지만, 두 비교 대상이 다르다는 점은 읽을 때 의식할 만하다.

프로젝트 페이지의 시뮬 공정 중 교란. 2~3초에 손바닥 쪽으로 가한 힘이 cross block을 회전 영역 밖으로 밀고, 3~6초에 정책이 작업 공간으로 되돌려 회전을 이어 간다.
시뮬·실기 정성 스트레스 테스트(Fig. 6). (a) 처음 보는 물체로의 일반화(notched block, irregular block, double notched cube), (b) 어려운 시작에서 회복(bottle, coke can, 실기 irregular block → duck), (c) 외력 교란 후 조정(시뮬 cross block, 실기 사람이 위치를 미는 corner block). 캡션대로 “대표 성공 시퀀스”이며 정량 회복률은 시뮬에서만 평가했다.

대규모 실기. 9개 학습 물체 + 11개 처음 보는 물체, 물체당 10회로 175/200(87.5%, Wilson 95% 구간 82.2~91.4%) vs 베이스라인 33~53/200(최고 IHR 26.5%)이다. 이 격차는 표본 크기를 감안해도 결정적이다. 다만 물체별 분해가 없어 학습 물체 90회와 처음 보는 물체 110회의 성공률을 따로 알 수 없고, 앞서 말했듯 이 평가에 쓴 정책이 49개 물체 하위 정책이라면 “처음 보는” 11개 중 일부는 그 학습 집합에 있다. 또 Table 6의 실기 열에는 Open-loop Replay가 없어, Table 3에서 학습 물체 3개에 19/30을 낸 개루프 기준선과 비교할 수 없다.

도구 사용(App. B.3). 같은 인터페이스로 드라이버의 목표 조건부 평행 이동과 회전을 보인다. 정량 결과는 없다.

드라이버 도구 사용(Fig. 9). (a) 목표 위치로의 드라이버 평행 이동, (b) 길쭉한 드라이버 회전.

평행 이동은 Eq. 2의 “명령 축 주위 회전”과 다른 목표다. 목표 위치를 어떻게 명령하는지, 보상이 어떻게 바뀌는지는 본문·부록에 없고, Fig. 1의 사전학습 패널에 “Translation: screwdriver along y axis”가 그려져 있을 뿐이다.

실패 사례. 저자는 프로젝트 페이지에 자기 방법의 실패 영상도 올렸다. 아래는 그중 하나로, duck을 5바퀴 돌린 뒤 한쪽으로 기울며 29초에 안정 접촉 모드를 잃는다. 결론 절의 “drift와 jamming이 안정 접촉을 깨뜨린다”는 한계가 이것이다.

프로젝트 페이지의 WM-Craftnet 실기 실패 사례(duck, 장시간 drift). Table 3의 20초 평가 창 밖에서 일어나는 실패라는 점도 함께 볼 만하다.

비판적으로 보면

강점

• world model을 “상태 추정기”로 쓰는 깔끔한 분리. actor 입구의 stop-gradient로 RSSM과 PPO 학습을 분리하고, actor는 배포 가능한 신호만 본다는 원칙을 Table 8로 명시했다. 이런 구조는 정책 쪽 RL 알고리즘을 바꾸지 않고 world model만 갈아 끼울 수 있게 해 준다. 보행에서 WMP가 보인 구도를 다지 인핸드 조작으로 옮겨 실기까지 검증했다는 점에서 의미가 있다.
• “잡음 입력 → 깨끗한 목표”라는 단순하고 이식 가능한 아이디어. 시뮬에서는 깨끗한 깊이가 공짜로 있으니 디코더 목표만 바꾸면 된다. Table 2에서 이 한 가지 차이가 −45.3 return이라는 통제된 효과로 측정됐고, 실기에서도 “IHR + WSM 복원 깊이”라는 교차 실험으로 디노이즈 효과와 순환 상태 효과를 떼어 보려 했다. 다른 시각 sim2real 파이프라인에 그대로 가져다 쓸 수 있는 설계다.
• 실기 결과가 크고, 개루프 기준선까지 포함했다. 실기 38/40과 175/200은 베이스라인 대비 격차가 표본 크기로 설명되지 않을 만큼 크다. 특히 Open-loop Replay를 실기 비교에 넣은 것이 좋다. 그 기준선이 학습 물체 3개에서 19/30을 내 “학습된 피드백 정책”이라는 베이스라인들(TD 6/30, IHR 7/30)보다 오히려 강하다는, 저자에게 불리할 수도 있는 사실을 그대로 실었다. 실기에서 시뮬 정책들이 얼마나 쉽게 무너지는지 보여 주는 정직한 기준이다.
• 자기 방법에 불리한 결과도 적었다. scratch WM-Craftnet의 RotR이 베이스라인보다 낮다는 것, h_{t-1}을 뺀 변형이 안정성 지표에서 더 좋다는 것, 교란 회복률이 절대적으로 낮다는 것을 본문이 직접 쓴다. 프로젝트 페이지에는 자기 방법의 실패 영상 여러 개가 있다.
• 재현 정보가 비교적 충실하다. Table 7에 world model·깊이 전처리·PPO·보상 가중치·랜덤화 범위가 한 표로 정리돼 있고, 시스템 식별 절차와 결과 그림(관절별 MAE)이 있다. 학습·평가 코드, 실기 배포 예제, z축 체크포인트가 Apache-2.0으로 공개됐다.

약점·한계

• 헤드라인 비교에 사전학습이라는 교란 변수가 있다. Table 1의 753.3은 같은 9개 물체 z축 데이터로 사전학습한 WSM의 값이고, 베이스라인에는 대응하는 사전학습 단계가 없다. 사전학습 없는 WM-Craftnet은 414.3(최강 베이스라인 대비 +7.1%)이고 RotR은 가장 낮다. 사전학습 데이터의 출처(어떤 정책의 롤아웃인지), 규모, 총 학습 예산이 적혀 있지 않아 “WSM 설계의 효과”와 “같은 과제에서 world model을 두 번 학습한 효과”가 갈리지 않는다. 보완: 총 환경 스텝을 맞춘 비교, 또는 베이스라인에도 같은 사전학습 롤아웃으로 인코더를 초기화한 대조군.
• 단순 순환 베이스라인이 Table 1의 모든 베이스라인과 scratch WSM보다 강하다. 부록의 LSTM(621.0)이 scratch WM-Craftnet(414.3)을 50% 앞선다. 이 사실은 Table 1 베이스라인들이 순환 메모리 없이 재구현돼 구조적으로 불리했을 가능성을 시사하고, “예측 world modeling이 핵심”이라는 주장의 증거가 사전학습 조건의 Full WSM vs LSTM(+21%) 한 쌍에만 걸려 있다는 뜻이다. LSTM·GRU의 학습 예산·초기화는 적혀 있지 않다. 보완: LSTM 베이스라인을 본문 Table 1에 올리고 실기에서도 비교.
• “공감각” 서사와 절제가 가리키는 기여가 어긋난다. 시험 시 촉각을 모두 지워도 −3.8%이고, 보조 헤드 중 가치 헤드 하나가 Full WSM 이득의 약 75%를 설명하며 자세·형상 헤드는 거의 효과가 없다. 표가 더 강하게 지지하는 이야기는 “물체 기하·접촉을 추론하는 상태”보다 “가치 예측으로 정렬된 순환 상태 + 깨끗한 깊이 복원”이다. 촉각도 이진 접촉이라, 같은 Sharpa Wave의 손끝 촉각 이미지를 쓰는 연구들과 비교하면 “visuotactile”의 내용이 얇다.
• 실기 Table 3에 산술로 맞지 않는 칸이 있다. 반 바퀴 성공 기준과 평균 RR을 대 보면 “IHR + WSM 복원 깊이” Corner(10/10인데 2.43 rad < \pi), 같은 행 Cross, TD Cross가 하한을 어긴다. 걸리는 칸이 모두 베이스라인이라 WM-Craftnet의 결론은 흔들리지 않지만, 디노이즈 효과를 실기에서 분리하려던 핵심 통제 행의 신뢰도가 떨어진다. RR과 SR의 측정 기준을 명시해야 한다.
• “unseen”의 범위가 축마다 다르고 일부는 확인할 수 없다. x축 보류 물체는 대부분 학습 물체의 크기 변형이고, y축의 flashlight는 학습 집합에 같은 이름이 있다. 20개 물체 실기 평가는 어떤 정책을 썼는지 밝히지 않는데, 49개 물체 학습 집합에 실기 “unseen” 목록의 jar·tumbler·pedal bin·pot·trash can·bucket과 같아 보이는 메시가 있다. 보완: 평가 정책과 물체별 학습 이력을 표로 명시, 물체별 성공률 분해.
• 통계 처리가 단일 학습 실행에 머문다. 모든 시뮬 CI는 한 정책의 128회 평가 분산이고 학습 시드 수는 적혀 있지 않다. 표 안의 ±3~5 CI는 매우 좁아 보이지만 학습 실행 간 분산을 담지 않는다. 교란 회복 14.1% vs 6.2%는 n=128로 역산하면 Fisher p\approx0.061로 5% 유의성에 못 미친다. 실기는 물체당 10회다.
• 정량 근거가 얇은 주장이 있다. 49개 물체 재사용(9.37 vs 3.28 rad)은 CI 없는 한 쌍과 학습 중 낙하율이고, 5개 블록 사전 확장 진단(1.10/1.34/1.46)은 시행 수·CI가 없다. 깊이 복원은 시뮬 그림 한 장과 실기 영상뿐이고 복원 오차가 없다. 도구 사용(평행 이동·회전)은 정성 결과만 있고 평행 이동 과제의 정의(목표 명령, 보상)가 없다.
• 정의가 빠진 지표와 표기들. RotR의 단위·정의, Fall이 에피소드당 비율인지 스텝당 비율인지, 49개 물체 실험의 에피소드 길이가 없다. 보상 표의 drift(+100.0)·off-axis(+0.001)는 “penalty”인데 양수다. prop-only/prop+tac/full이 입력 절제인지 헤드 절제인지 문서마다 다르게 쓰였다. Fig. 2(a)와 (b)의 scratch 곡선 종점이 다르고, Fig. 8(b)는 49개 물체를 10색으로 칠해 판독할 수 없다. x축 표에서 WM-Craftnet의 ObjVel이 최하위라는 점은 본문이 언급하지 않는다.
• sim2real 범위가 좁다. 시스템 식별은 무부하 자유 공간 사인파 추종이고, 접촉 상태의 모델 오차는 다루지 않는다. 시뮬 깊이 오염 모델(dropout 0.02, ±0.3° 회전)은 Fig. 4에서 보듯 온건해서, 실기 L515 잡음을 얼마나 덮는지 논문 안에서는 검증되지 않는다. 그런데도 실기 결과가 좋다는 것은 고무적이지만, 그 이유가 순환 상태의 강건성인지 실기 설정(물체·조명·장착)이 운 좋게 맞았기 때문인지는 가릴 수 없다. 저자도 과제가 짧은 지평이라는 것을 한계로 적는다.
• 문서 간 정보가 엇갈린다. 시뮬레이터(논문 미기재, README Isaac Gym, 페이지 Isaac Sim 로고), 프로젝트 페이지에만 있는 Fall 열 값과 중력 불변 회전 데모, 공개 체크포인트가 Full WSM이 아니라 prop+depth 헤드 버전이라는 점 등. 아래 표에 정리한다.
• 공개 코드는 논문이 쓴 보상 감독을 하지 않는다. WSM의 보상 예측 손실 가중치가 0이고 설정으로도 켤 수 없다. actor 투영 차원, 깊이 오염 설정, 테스트 질량 범위, sim과 실기에서 WSM에 넣는 행동의 의미도 논문 서술과 다르다. 베이스라인·49개 물체 집합·Table 2 변형의 스위치는 공개되지 않았다. 상세는 코드와 대조.

논문·프로젝트 페이지·공개 코드의 어긋남

🗂️ 이 표는 논문 PDF, 프로젝트 페이지 텍스트(2026-10-21 확인), GitHub README·RELEASE_NOTES(2026-10-21 확인)를 대조한 것이다. 코드 자체는 읽거나 실행하지 않았다.

항목	논문	프로젝트 페이지 / README
시뮬레이터	이름 없음(“simulation”)	README: Isaac Gym Preview 4(배지·설치 절차). 페이지: “Gravity-Invariant Rotation” 절에 NVIDIA Isaac Sim 로고
Table 1 지표 열	Return, EpLen, RotR, OffAxis, AngVar	페이지의 같은 표는 OffAxis·AngVar 대신 Fall 열(최강 베이스라인 0.047, scratch 0.002, prop-only 0.009, prop+tac 0.004, full 0.005). 논문에 없는 값이다
모달 대조의 성격	§4.2 “full depth–touch input”, 초록 “WSM modality heads”	페이지 “Sensor-head ablation: clean depth and tactile prediction”
IHR + WSM 복원 깊이	학습 물체 3개에서 8/10·8/10·10/10, “improves rotation and success”	페이지: “slightly improves behavior”
처음 보는 물체 영상	축별 보류 물체 4개	페이지 z축 영상: “three unseen objects”(notched, narrow, double-notched block)
중력 불변 회전	다루지 않음(Eq. 2의 축 회전만)	페이지: HORA식 밀착 파지로 다른 손바닥 방향에서 회전, ICRA·IROS 2025 부스 라이브 데모
공개 체크포인트	Full WSM은 깊이·고유수용·촉각·보상·자세·가치·형상 헤드	README: 공개 wm_craftnet_set_z.pth는 “legacy setup: proprioception + depth only”. 6개 헤드가 기본 켜짐인 학습 설정은 별도
촉각 주기	촉각 스트림 10 Hz	README: non-CUDA SDK가 손에서 30 Hz 촉각 추론을 받음(정책은 10 Hz)
학습 규모	envs 1024, minibatch 4096	README: 스크립트 기본값은 256 / 1024(32 GiB 호스트용), 논문 설정은 인자로 지정
공개 물체 집합	z 9개, x 4개, y 9개, 하위 49개	README의 object set 표는 set_z·set_x4·set_y 세 개. 49개 집합·사전학습 전이 절차는 README에 안내가 없다

이 중 리뷰의 판단에 영향을 주는 것은 두 가지다. 첫째, 공개 체크포인트가 논문의 Full WSM과 다르므로 공개 자산으로 Table 1의 753.3을 바로 확인할 수는 없다. 둘째, 49개 물체 실험과 사전학습 전이가 README에서 보이지 않는다. 아래 코드 대조에서 확인한 것은 전이 기능(resume_body_from)은 코드에 있지만 49개 물체 집합은 없다는 것이다. 그래서 재사용 사전 주장은 현재 논문 서술로만 존재한다.

코드와 대조

🗂️ 정적 확인이며 실행 결과가 아니다. 공개 레포 main @ 7a200ba(2026-10-10, README 갱신만 있는 커밋이라 코드는 태그 v1.0.0과 같다)를 읽고, Hugging Face 체크포인트는 파일 앞뒤 일부만 받아 키·shape 색인을 떴다. 학습·롤아웃·평가는 하지 않았으므로 이 글의 모든 성능 수치는 논문이 주장한 값이다. 파일:라인 앵커는 업스트림 main 기준이다.

구조는 논문 서술과 대체로 맞는다. RSSM(결정적/확률적/이산 512/32/32, isaacgymenvs/cfg/task/WMCraftnetRotation.yaml:196-198), 잡음 깊이 입력과 깨끗한 깊이 복원 목표(isaacgymenvs/tasks/wm_craftnet_camera_rotation.py:2086-2096), WSM 특징의 gradient 차단(isaacgymenvs/utils/world_model.py:192의 @torch.no_grad()), 시뮬 상태를 받는 비대칭 critic, PPO와 WSM 학습 하이퍼파라미터(Table 7의 env·horizon·minibatch·버퍼·배치·청크·갱신 수)가 코드에 그대로 있다. 사전학습 전이 기능 resume_body_from이 옮기는 접두 키도 encoder., dynamics., heads.decoder., heads.reward.이다(world_model.py:34-39). 논문 App. A.1의 “encoder, multimodal RSSM, depth/proprioceptive decoder, and reward predictor”와 정확히 같다.

논문과 다른 곳. 아래는 논문 쪽 문장과 코드 쪽 근거를 둘 다 확인한 항목만 모았다.

#	항목	논문	공개 코드 (main @ 7a200ba)
1	보상 예측 손실	§3.3 “Reward supervises the predictive model during training”, 초록 “supervised by multimodal reconstruction and reward prediction”, Eq. 7의 \lambda_r\mathcal L_{\text{reward}}	wsm/configs.yaml:39의 reward_head가 loss_scale: 0.0, outscale: 0.0. 이 값이 wsm/models.py:169-173에서 _scales['reward']가 되고 :240-244에서 보상 손실에 0이 곱해진다. task yaml이 덮어쓸 수 있는 키 화이트리스트(world_model.py:63-83)에 reward_head가 없어 설정으로도 켤 수 없다. 출력층도 0으로 초기화된 채 남는다. 공개 체크포인트의 텐서를 직접 읽어 보면(정적 확인, 체크포인트 텐서 직독) 보상 헤드 출력층 weight (255, 512)·bias (255)가 전부 0이고, LayerNorm gain은 전부 1.0, bias는 전부 0인 초기 상태 그대로다. 같은 방식으로 읽은 대조군인 디코더 출력층 bias는 73개 전부 0이 아니다(학습됨)
2	actor 투영 MLP	Table 7 “512 → 64 → 32 → 16”, §3.3 “16-dim feature”	WMCraftnetRotation.yaml:185-186이 wm_feature_hidden: [256, 128], wm_latent_dim: 32로 512 → 256 → 128 → 32. 논문 값은 rl_games/algos_torch/network_builder.py:579의 기본값([64, 32])에만 남아 있고 task yaml이 덮어쓴다. 공개 체크포인트의 wm_feature_encoder 가중치 shape도 (256,512)/(128,256)/(32,128)이다
3	공개 체크포인트	Table 1의 Full WSM은 깊이·고유수용·촉각·보상·자세·가치·형상 헤드	HF의 wm_craftnet_set_z.pth 하나뿐이고, world_model state에 자세·촉각·가치·형상 헤드 키가 하나도 없다(키 색인). 공개 테스트 스크립트도 네 헤드를 끄고 돈다(scripts/test_wm_craftnet.sh:35-38). 메타데이터는 epoch 10623, frame 174,047,232(= 10623 × 16 × 1024)이다. y축 테스트 경로는 example_ckpt/wm_craftnet_set_y.pth를 기대하지만(test_wm_craftnet.sh:42) HF에는 없다
4	actor 입력	Eq. 1: \mathbf o_t=(\mathbf p^{\text{stack}}_t,\mathbf c^{\text{stack}}_t,\mathbf D_t,\mathbf u_{t-1}). §3.2: 고유수용·촉각은 각각 MLP 가지	actor 관측은 고유수용·5개 손끝 이진 접촉·축(×8)·이전 목표를 묶은 73차원의 4프레임 스택(292차원, isaacgymenvs/tasks/wm_craftnet_rotation.py:1666-1684)에 WSM 투영 32차원을 이어 붙인 것이다(network_builder.py:203-213, 365-369. 체크포인트 actor_mlp.0.weight (512, 324)). 깊이는 actor에 직접 들어가지 않는다. WSM 인코더도 촉각을 별도 가지로 받지 않고 같은 73차원 벡터 하나로 받는다
5	가치 헤드의 목표	“value” 보조 헤드(§3.3, App. A.1), 목표의 출처는 미기재	PPO critic이 방금 낸 가치 추정을 버퍼 행에 채워 넣고(isaacgymenvs/learning/wm_continuous.py:68-75), WSM 가치 헤드가 그것을 회귀한다
6	깊이 오염·전처리	Table 7 시간 dropout 0.02. §3.2 “clipped and cropped”, 증강에 “Gaussian noise” 포함	WMCraftnetRotation.yaml:159 temporal_noise_p_dropout: 0.01, :162 gaussian_noise_enabled: False, :146 crop enabled: False. 상관 0.95와 회전 ±0.3°는 같다
7	보상·리셋 설정	Table 7은 보상 계수 한 세트, 리셋 [0.035, 0.02, 0.0025] m / 10°	Table 7에 없는 엄지 비-끝마디 접촉 벌점 thumbNonTipContactPenalty: 0.1(WMCraftnetRotation.yaml:69)이 있고, x·y축 task yaml은 torque·work·action·control·hand pose 계수를 z축과 다르게 쓴다. z축 리셋 잡음은 [0.03, 0.015, 0.001] m / 5.0(WMCraftnetRotation.yaml:28-29). 회전 5.0이 ±5°라면 폭 10°로 논문과 맞을 수 있다(미확정)
8	테스트 질량 범위	Table 7·App. A.3: 평가 [0.1, 1.4] kg	키 test_m_low/test_m_up은 yaml에만 있고(WMCraftnetRotation.yaml:268-271, 주석 “not currently used independently”) 어떤 .py도 읽지 않는다(grep 0건)
9	RotR 정의	단위·정의 없음	평가 지표 RotR = 스텝당 spin_coef × clip(Δθ_axis × 20, −6.28, 2.0)의 에피소드 평균(wm_craftnet_camera_rotation.py:786-794, 740. 스케일 20은 isaacgymenvs/utils/spin_reward_utils.py:7). 상한 2.0은 10 Hz에서 1 rad/s에 해당한다. 별도로 회전 rad 합(Rotations_rad, :807)도 기록한다
10	WSM에 넣는 이전 행동	같은 인터페이스를 시뮬과 실기에 쓴다(§4.1, App. A.3)	시뮬에서 WSM의 prev_action은 EMA 평활 후 행동(wm_craftnet_rotation.py:1896 → wm_craftnet_camera_rotation.py:2122)이고, 실기 추론은 평활 전 action_np를 넣는다(deploy/examples/wm_craftnet_infer.py:1459-1462, 평활은 :1433). 행동 조건부 RSSM의 입력 분포가 배포에서 달라지는 지점이다. 영향의 크기는 확인하지 않았다
11	실기 카메라	App. A.3 “RealSense L515”	배포 코드는 D405를 전제하고(wm_craftnet_infer.py:7, 698, 769), 논문에 없는 RealSense spatial·temporal 필터를 켠다(:750-756, 주석 “matching WMP paper preprocessing”)
12	시스템 식별	App. A.3: 1 Hz 사인파 가진 후 K_p·K_d 조정	설정 파일 deploy/cfg/pd_sine_shared.yaml(sine_freq_hz: 1.0, :28)만 있고, 이 파일을 읽는 스크립트는 레포에 없다

공개되지 않은 것. 베이스라인 다섯 종(Open-loop Replay, Blind RL, Touch Dexterity, RL depth-only, IHR)과 LSTM·GRU 비교의 학습 설정, 49개 물체 집합(코드의 물체는 19종, 집합은 set_z·set_x4·set_y 셋, wm_craftnet_rotation.py:321-353), 축별 보류 물체 메시, Table 2 세 변형의 스위치(잡음 깊이 복원·h_{t-1} 제거·인코더–디코더 특징은 코드를 직접 고쳐야 한다), 드라이버 목표 조건부 평행 이동 과제(드라이버는 set_y의 회전 물체로만 있다), 시스템 식별 실행 스크립트, x축·y축·Full WSM 체크포인트가 없다. Table 10의 보조 헤드 절제는 wm_*_pred 토글로 구성할 수 있다. 환경은 Isaac Gym Preview 4, Python 3.8, PyTorch 2.1 + CUDA 11.8이다(install.md).

앞 비판과의 연결. 이 대조가 리뷰의 판단을 바꾸거나 보강하는 곳은 네 군데다.

• 보조 헤드 절제의 해석(1·5번 행). 공개 코드에서 WSM은 보상을 예측하지 않고, 가치 헤드는 PPO critic의 추정을 회귀한다. 앞의 Table 10 해석에서 “가치 헤드 하나가 보조 헤드 이득의 약 75%를 설명한다”고 했는데, 코드 기준으로 보면 그 헤드는 정책 학습 신호를 world model 상태에 직접 주입하는 통로다. 보상 감독이 꺼진 상태에서 “보상 관련 구조”를 상태에 넣는 유일한 경로가 이것이라, “공감각 상태”보다 “critic에 정렬된 상태”라는 해석이 더 강해진다. 논문이 보상 감독을 실제로 켜고 실험했는지(공개 코드와 학습 코드가 다른지)는 논문만으로 알 수 없다.
• 사전학습 전이(1·3번 행). 전이 목록에 들어 있는 보상 예측기는 학습되지 않으므로 옮겨 가는 것은 0으로 초기화된 출력층뿐이다. 공개 체크포인트 텐서를 직접 읽어 이 점을 확인했다(정적 확인, 체크포인트 텐서 직독, 1번 행). 즉 이 코드로 학습한 가중치라면 논문 App. A.1의 “reward predictor 전이”는 학습되지 않은 초기값을 옮기는 것이다. 공개 체크포인트는 epoch 10,623의 best 스냅샷이다. 논문 그림이 보여 주는 3000 epoch보다 훨씬 길게 학습됐고, 설정 파일 이름(..._wm_525resume, example_ckpt/wm_craftnet_set_z.yaml:570)으로 보아 중간 재개로 이어 학습한 것으로 보인다. 이 체크포인트가 논문 표의 어느 행에도 해당하지 않으니 직접 비교할 수는 없다. 다만 사전학습 교란 비판, 즉 “학습 예산을 맞추지 않은 비교”가 공개 자산 쪽에서도 확인되는 셈이다.
• 실기 분포 이동(4·10·11번 행). 깊이가 WSM을 통해서만 actor에 들어간다는 점은 논문 설계의 강점을 코드가 더 깨끗하게 구현한 것이다. 반면 실기에서 WSM에 넣는 행동이 평활 전 값이고 카메라·필터 구성이 논문과 다르다는 점은, 실기 결과(Table 3)가 정확히 어떤 전처리로 나왔는지를 흐린다. 실기 결과가 좋으니 이 차이들이 치명적이지는 않았겠지만, 재현자는 이 세 가지를 맞춰야 한다.
• 지표와 평가 조건(8·9번 행). RotR은 물리량이 아니라 잘린 보상의 평균이라 Table 1의 RotR을 rad/s로 읽으면 안 된다. 앞에서 “단위 미정의”로 남겨 둔 비판이 코드로 확정된다. 넓은 테스트 질량 범위는 이 코드 경로로는 쓰이지 않으므로, Table 7의 평가 범위를 공개 코드로 재현할 수는 없다.

관련 연구와의 자리 매김

인핸드 회전 계보에서. WM-Craftnet의 직접 비교 대상은 촉각만 쓰는 Touch Dexterity와 점구름으로 시각·촉각을 합치는 Robot Synesthesia(arXiv:2312.01853)다. 이름의 “Synesthesia”도 후자에서 이어진다. 두 선행작이 관측을 공간적으로 합쳤다면 WM-Craftnet은 시간적으로 적분한다. 특권 정보를 쓰는 방식도 갈린다. RotateIt·HORA가 특권 물체 정보를 정책 입력용 잠재로 증류했다면, WM-Craftnet은 그것을 world model의 예측 목표(자세·형상 헤드)로 넣는다. Table 10이 보여 주듯 그 특권 헤드들의 효과는 작고 가치 헤드가 대부분을 한다는 점에서, “특권 정보를 어디에 넣느냐”보다 “상태를 정책 가치에 정렬시키느냐”가 더 중요했을 수 있다. sim2real 축에서는 관절 동역학을 따로 학습한 DexNDM, 시각 자세 추정 쪽의 ViserDex, 사전과 기구 설계로 강건성을 얻은 In-hand physics priors와 상보적이다. WM-Craftnet은 관측 잡음 쪽을, DexNDM은 구동기 쪽을 다룬다.

같은 Sharpa 손 위의 world model들. 최근 블로그에 같은 Sharpa 손을 쓴 world model 연구가 연달아 올라왔고, 셋은 world model의 쓰임새가 모두 다르다. Dexterity from Supervised Play(DSP)는 행동 조건부 world model을 MPC의 결과 예측기로 써서 play policy가 제안한 행동 청크 중 목표에 가까운 것을 고른다. DexTacWAM은 시각–촉각 비디오 world model을 행동 생성의 백본으로 쓰고, 예측은 주로 학습 목표로서 일한다. Motus2는 하나의 모델이 정책·시뮬레이터·평가기를 모두 맡는다. WM-Craftnet은 이 스펙트럼의 가장 가벼운 끝에서 world model을 필터(상태 추정기)로만 쓴다. 예측 롤아웃을 한 번도 돌리지 않으니 추론 비용이 가장 싸고, 대신 world model의 예측력이 행동 선택에 직접 쓰이지는 않는다. 같은 손의 촉각을 VLA에 넣은 MoDE-VLA와 비교하면, 이 논문이 쓰는 촉각(이진 접촉)이 그 손이 줄 수 있는 정보 중 가장 거친 형태라는 것도 보인다.

시각–촉각 world model 쪽에서. VT-WM은 촉각 grounding이 상상의 물리적 충실도를 높인다는 것을 보이고 그 상상을 계획에 쓴다. WM-Craftnet은 정반대로 상상을 버리고 posterior 상태만 취한다. 두 결과를 같이 보면, 접촉이 많은 조작에서 world model의 가치는 “얼마나 멀리 상상하느냐”와 별개로 “현재 상태를 얼마나 잘 정리하느냐”에서도 나온다는 것을 알 수 있다. 다만 WM-Craftnet은 posterior 상태의 품질(예: 물체 자세 복원 오차)을 직접 재지 않았기 때문에, 이 주장은 정책 성능을 통한 간접 증거로만 남는다. 촉각 신경장으로 물체 상태를 명시적으로 추정한 NeuralFeels와 비교할 수 있는 상태 추정 지표가 있었다면 이 간극이 메워졌을 것이다.

요약

WM-Craftnet은 Dreamer식 RSSM을 상상용이 아니라 상태 추정기로 써서, 그 결정적 순환 상태를 PPO actor에 넘기는 인핸드 회전 프레임워크다. 잡음 깊이를 입력하고 깨끗한 깊이를 복원하게 하는 감독, 보상·가치·자세·형상 보조 헤드, 9개 물체에서 사전학습한 WSM의 재사용이 핵심 장치다. 실기 결과는 인상적이다. 학습 물체 3개에서 30/30, 처음 보는 블록 8/10, 20개 물체 175/200으로, 실기에서 무너지는 시뮬 베이스라인들을 큰 차이로 앞선다. “IHR + WSM 복원 깊이”라는 교차 실험으로 디노이즈와 순환 상태의 기여를 떼어 보려 한 설계도 좋다.

그러나 시뮬 표를 꼼꼼히 읽으면 기여의 모양이 초록과 조금 다르게 보인다. 헤드라인 753.3은 같은 과제로 사전학습한 값이고 사전학습 없이는 414.3으로 예측 손실 없는 LSTM(621.0)보다 낮다. 시험 시 촉각을 지워도 3.8%만 떨어지고, 보조 헤드 이득의 대부분은 물체 기하가 아니라 가치 예측 헤드에서 온다. 실기 표에는 성공 기준과 산술로 맞지 않는 베이스라인 칸이 셋 있고, 교란 회복 차이는 표본 크기로 보면 유의 경계에 있으며, “unseen” 물체의 범위와 대규모 실기 평가에 쓴 정책이 명확하지 않다. 그래서 이 논문이 가장 설득력 있게 보여 준 것은 “공감각 world model”이라는 큰 그림보다 “깨끗한 목표로 학습된 순환 상태를 사전학습해 정책에 넘기면 실기 잡음 깊이에 강해진다”는 좁고 실용적인 결론이다. 그 결론만으로도 시각 sim2real 파이프라인에 바로 이식할 가치가 있다. 공개 코드는 구조 서술을 대체로 담고 있지만, 논문이 내세운 보상 감독은 꺼져 있고 공개 체크포인트는 Full WSM이 아니며 베이스라인과 49개 물체 집합은 없다(정적 확인, 코드와 대조). 그래서 헤드라인 수치는 아직 제3자가 검증할 경로 없이 논문 값으로만 존재한다. 다음 단계로 필요한 것은 학습 예산을 맞춘 비교, 사전학습과 순환 메모리를 각각 통제한 베이스라인, 상태 추정 품질의 직접 측정, 그리고 공개 체크포인트를 Full WSM으로 맞추는 일이다.