📃EigenDEXplore 리뷰

EigenDEXplore: Structured Exploration for Dexterous Manipulation with Human Priors

• Paper Link (arXiv:2610.07681v1)

• Code (GitHub, MIT): 독립 패키지 packages/eigendexplore(분포 모듈 + rl_games 연동)와 벤치마크 하네스 action_bench, 6개 손의 PCA 베이스를 담는다. 학습된 정책 체크포인트는 없다.

• Project

• Video (YouTube)

• Harsh Gupta*, Tyler Ga Wei Lum*, Changhao Wang, Chuer Pan, C. Karen Liu, Jeannette Bohg, Shuran Song (* 동등 기여)

• Stanford University

• arXiv preprint, 2026 (v1 2026-10-06. 조판 머리말은 “Preprint”이고 학회 채택 정보는 없다)

1. 💡 사람 손 데이터에서 뽑은 PCA 고유벡터(eigengrasp)는 지금까지 행동 공간 자체를 바꾸는 데 쓰였는데, 이 논문은 그 효과를 “조율된 명령”과 “조율된 탐색”으로 분리해 보고 이득의 본체는 탐색 쪽이라고 결론 내린다.
2. ⚙️ 정책은 그대로 관절 공간 목표를 출력하고, 탐색 노이즈만 독립 관절 노이즈에 사람 손 고유벡터 방향의 노이즈를 더한 q^\star=a_q+\sigma_q\odot\eta_q+E^\top(\sigma_e\odot\eta_e)로 바꾼다. PPO에서는 공분산 \mathrm{diag}(\sigma_q^2)+E^\top\mathrm{diag}(\sigma_e^2)E의 가우시안 정책이 되고, 배포 때는 평균만 쓰고 E를 버린다.
3. 🎯 6종 손·4개 벤치마크에서 Joint-Space보다 일관되게 낫다. SimToolReal 실로봇 도구 사용 평균 진행률 33% → 82%, DeXtreme 실로봇 연속 성공 8.45 → 11.90(40회), SPIDER 리타게팅 비용은 손 평균 16% 감소(Wuji 31% ~ Inspire 0.4%)다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 로봇 손을 RL이나 샘플링 기반 궤적 최적화로 학습시킬 때, 탐색은 보통 관절마다 독립인 가우시안 노이즈로 한다. 그런데 쓸모 있는 손 동작(감싸 쥐기, 비틀기)은 여러 관절이 함께 움직여야 나오고, 독립 노이즈로는 그런 조합을 우연히 뽑을 확률이 낮다. 그래서 DextrAH-G·CrossDex·PCHands처럼 사람 손 데이터의 PCA로 저차원 행동 공간(eigen-space)을 만들어 정책이 그 좌표를 출력하게 하는 접근이 꾸준히 쓰였다. 문제는 저차원 공간이 손가락 하나만 미세하게 조정하는 동작을 표현하지 못한다는 점이고, 이를 메우려 관절 행동과 eigen 행동을 함께 출력하게 하면 차원이 늘고 표현이 중복된다.

이 논문은 이 설계들이 섞어 놓은 세 가지 효과, 즉 조율된 명령을 직접 내리는 것 / 노이즈가 조율되는 것 / 행동 공간의 차원·표현력이 바뀌는 것을 떼어 놓고 비교한다. 결론은 “사람 손 사전지식의 주된 이득은 상관된 탐색에서 오고, 행동 공간을 바꾸면 제약이나 중복이 오히려 성능을 깎는다”는 것이고, 그래서 제안하는 EigenDEXplore는 행동 공간은 관절 공간 그대로 두고 노이즈에만 사람 손 고유벡터를 섞는다.

네 가지 행동·노이즈 구성(Fig. 1). Joint-Space는 관절을 독립으로 흔들어 부자연스러운 자세가 나오고, Eigen-Space는 조율된 움직임만 낼 수 있어 표현력이 낮다. Eigen-Residual은 관절+eigen 행동으로 표현력을 되찾지만 중복이 생긴다. EigenDEXplore는 관절 행동을 유지하고 노이즈만 관절+eigen으로 섞는다.

공식 소개 영상(YouTube, 저자 채널).

핵심 방법론:

사람 손 동작(EgoSuite 1인칭 영상에서 복원한 손 자세)을 각 로봇 손으로 기구학 리타게팅하고, 로봇 관절 각도 공간에서 PCA를 돌려 데이터 분산의 90%를 설명하는 앞쪽 k개 주성분을 고른다. 이를 [-1,1]로 정규화한 관절 좌표에서 행으로 쌓은 것이 고유기저 E\in\mathbb{R}^{k\times d}다(d는 손 관절 수). 네 구성은 샘플된 절대 관절 목표 q^\star를 이렇게 만든다(Eq. 1).

\begin{aligned} \text{Joint-Space:}\quad & q^\star=a_q+\sigma_q\odot\eta_q & (\dim=d)\\ \text{Eigen-Space:}\quad & q^\star=E^\top(a_e+\sigma_e\odot\eta_e) & (\dim=k)\\ \text{Eigen-Residual:}\quad & q^\star=a_q+\sigma_q\odot\eta_q+E^\top(a_e+\sigma_e\odot\eta_e) & (\dim=d+k)\\ \text{EigenDEXplore:}\quad & q^\star=a_q+\sigma_q\odot\eta_q+E^\top(\sigma_e\odot\eta_e) & (\dim=d) \end{aligned}

\eta_q\sim\mathcal{N}(0,I_d), \eta_e\sim\mathcal{N}(0,I_k)는 독립 표준정규이고, \sigma_e는 사람 데이터의 성분별 표준편차 \sqrt{\lambda_i}에 비례하게 초기화한다. PPO에서 정책 평균 \mu_q=\pi_\theta(o)에 대해 이 샘플링 규칙은 다음과 같다(Eq. 2).

q^\star\sim\mathcal{N}(\mu_q,\Sigma),\qquad \Sigma=\mathrm{diag}(\sigma_q^2)+E^\top\mathrm{diag}(\sigma_e^2)E

로그확률·엔트로피를 이 분포로 계산하고 \sigma_q,\sigma_e를 함께 학습한다. 궤적 최적화(SPIDER)에서는 후보 궤적의 섭동만 같은 식으로 바꾼다.

주요 결과:

• SimToolReal(Sharpa 22 DoF, 5 seeds, 9B 프레임): 연속 성공 10.6 vs Joint-Space 7.9. 커리큘럼을 걸고 60B까지 늘린 중앙값 실행 1개씩에서는 14.1 vs Eigen-Residual 12.0 vs Joint-Space 4.9 (Fig. 3).
• DeXtreme(Allegro 16 DoF, 5 seeds, 2B): 연속 성공 12.3 vs 8.8. Eigen-Space는 거의 학습하지 못한다(그림에서 읽으면 약 0.8) (Fig. 4).
• DexMachina(양손 물체 추종): 커리큘럼·보조 보상이 있으면 대부분 비슷하고, 태스크 보상만 주면 Allegro 상자 과제 ADD-AUC 0.46 → 0.80처럼 고자유도 손에서 크게 오른다. 평균 28% 향상 (Fig. 5).
• SPIDER(6종 손, OakInk2 10과제 × 10 seeds): 리타게팅 비용이 모든 손에서 줄고, 자유도가 높을수록 더 준다. Wuji 31.2%, Sharpa 25.4% … Schunk 3.5%, Inspire 0.4% (Fig. 6).
• 실로봇: SimToolReal 도구 4종 평균 진행률 82% vs 33%, DeXtreme 연속 성공 11.90 vs 8.45, 최장 41 vs 32 (Fig. 8, 9).
• 대조군: 같은 고유값 스펙트럼에 방향만 무작위로 바꾼 Random-Correlated는 Joint-Space보다도 나쁘다. 상관 자체가 아니라 사람 손 방향이 이득을 만든다는 근거다 (Fig. 12).

결론:

새로운 것은 노이즈 모델 자체보다 분리 실험의 결론이다. 사람 손 PCA를 행동 공간으로 쓰던 관행을 “탐색 분포의 공분산”으로 옮기면, 표현력 손실도 중복도 없이 조율된 탐색의 이득만 남는다. 구현은 정책의 대각 가우시안을 저랭크+대각 가우시안으로 바꾸는 한 줄 수준이고, 학습이 끝나면 고유기저를 버리므로 배포 경로에는 아무것도 추가되지 않는다. 다만 Eigen-Residual 대비 우위는 작고 표본이 적으며, 공개 코드의 노이즈 예산 설정이 논문 서술과 일부 다르다는 점은 아래 Ring에서 따로 짚는다. 공개 코드를 이 블로그에서 직접 돌려 본 범위와 그 한계는 재현 노트에 따로 정리했다. 결론만 말하면 노이즈 분포 구현은 논문 식과 정확히 일치했고, 논문의 성능 수치는 확인하지 못했다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“사람 손이 어떻게 움직이는지 아는 것”은 정책이 무엇을 할 수 있는가가 아니라 정책이 무엇을 먼저 시도해 보는가에 써야 한다. 관절 공간 행동은 이미 조율된 동작과 독립 동작을 모두 표현할 수 있다. 어려운 것은 그 안에서 쓸모 있는 조합을 찾는 일이고, 사람 손 고유벡터는 그 탐색의 방향을 잡아 주는 데 쓰면 충분하다. EigenDEXplore는 이 관찰을 공분산 행렬 하나로 구현한다.

배경: eigengrasp는 왜 행동 공간이 되었고, 무엇을 잃었나

손 자세의 대부분 분산이 소수의 조율 패턴으로 설명된다는 관찰(Santello et al., 1998)은 eigengrasp 기반 파지 계획(Ciocarlie et al., 2007)으로 이어졌고, 학습 기반 손재주 조작에서도 이 저차원 공간이 행동 인터페이스로 자주 쓰였다. 이 블로그에서 다룬 예만 봐도 그렇다.

• DextrAH-G는 사람 파지 데이터를 Allegro로 리타게팅한 뒤 PCA로 얻은 5차원 공간에서 손가락 목표를 내고, 그 리뷰의 한계 절이 바로 “PCA 좌표계의 주요 축 방향으로만 목표를 내도록 제한돼 세밀한 조작 능력을 포기한다”였다.
• CrossDex는 MANO eigengrasp를 여러 손에 공통인 행동 공간으로 썼다.
• PCHands는 다양한 자유도의 매니퓰레이터에 공통 시너지 축을 뽑아 RL 행동·관측 공간으로 썼다.
• ADEPT는 반대로 fabric을 full cspace로 올려 DextrAH 계열의 5D PCA 제약을 푼 경우다. 이 논문도 ADEPT(Lee et al., 2026)를 “저차원 eigen-space 제어가 손재주를 제한한다”는 근거로 인용한다.

저자들의 이전 작업도 이 긴장의 양쪽에 있다. Grasp to Act(Gupta et al., 2026a)는 도구 조작에서 eigen-space가 충분한 접촉을 만드는 미세 조정을 못 한다고 보고했고, LUCID(Gupta et al., 2026b)는 eigen 계수에 관절별 잔차를 더해 표현력을 되찾았다(이 논문의 부록에서 Eigen-Residual-Δ의 한 사례로 다시 평가된다). 그런데 잔차 방식이 관절 단독보다 낫다면, 그 이득이 조율된 명령에서 왔는지, 행동 노이즈가 eigen 좌표를 거치며 상관된 탐색이 되었기 때문인지, 단지 차원이 바뀌어서인지 알 수 없다. 논문의 출발점이 이 혼동이다.

방법 상세

1) 사람 손에서 로봇 고유기저 만들기 (§3.1)

두 손의 자세를 한쪽으로 미러링해 하나의 정준 표현으로 모으고, ManipTrans(Li et al., 2025)의 기구학 리타게팅 절차를 손별 정렬·스케일·손가락 대응만 바꿔 가져와 각 로봇 손으로 옮긴다(ManipTrans 리뷰). 리타게팅된 관절 각도에 PCA를 적용하고, 분산 비율 \rho를 넘기는 최소 k를 고른다. 본문은 \rho=0.9에서 Sharpa(22관절) k=9, XHand(12관절) k=6을 예로 들고, DeXtreme 절에서 Allegro를 “16관절 중 10차원 부분공간”, DexMachina 절에서 Inspire를 “3개 성분이 90%”라고 적는다. 공개 레포의 PCA 자산에서 누적 분산을 직접 계산하면 이 값이 모두 맞고, 본문에 없는 Wuji·Schunk의 k도 나온다.

손	관절 수 d	k @ 90%	PC1 단독 분산	출처
Sharpa	22	9	39.2%	본문 §3.1 · 레포 자산 일치
Wuji	20	9	38.5%	레포 자산(본문 미기재)
Allegro	16	10	32.0%	본문 §4.1.2 · 레포 자산 일치
XHand	12	6	46.9%	본문 §3.1 · 레포 자산 일치
Schunk	9	5	62.8%	레포 자산(본문 미기재)
Inspire	6	3	68.7%	본문 §4.2 · 레포 자산 일치

(PC1 비율과 Wuji·Schunk의 k는 공개 pca.safetensors의 explained_variance로 계산한 값이다. 논문 보고값이 아니다.)

눈에 띄는 것은 Allegro다. 관절이 16개로 Sharpa보다 적은데 90%에 필요한 성분은 더 많다(10 vs 9). 사람 손과 형태가 덜 닮은 손일수록 리타게팅된 자세가 사람 시너지로 덜 압축된다는 신호로 읽힌다. 반대로 Inspire·Schunk처럼 저자유도 손은 PC1 하나가 분산의 60~70%를 먹는다. 기구학적으로 이미 결합돼 있어 “조율”의 여지가 적다는 뜻이고, 이것이 뒤의 실험에서 저자유도 손의 이득이 작은 이유와 맞물린다.

사람 동작에서 로봇 주성분 만들기(Fig. 2). EgoSuite 손 동작을 각 로봇 손으로 리타게팅한 뒤 관절 공간 PCA를 한다. Sharpa·Wuji·Allegro·XHand의 PC1~3을 −/+ 방향으로 보여 주며, 저자들은 각각 “Grasp”, “Claw”, “Twist”라 이름 붙였다.

2) 네 가지 행동·노이즈 구성 (§3.2)

Eq. 1의 네 구성을 “행동이 어디에 있고 노이즈가 어디에 있는가”로 정리하면 이렇다. 프로젝트 페이지의 Sharpa 예시(d=22, k=9)로 행동 차원을 함께 적었다.

구성	정책이 내는 행동	노이즈	행동 차원(Sharpa)	저자가 붙인 약점
Joint-Space	관절 목표 a_q	관절 독립	d = 22	부자연스러운 자세
Eigen-Space	eigen 계수 a_e	eigen 방향만	k = 9	낮은 표현력
Eigen-Residual	a_q + a_e	관절 + eigen	d+k = 31	중복된 행동
EigenDEXplore	관절 목표 a_q	관절 + eigen	d = 22	(표현력·조율 모두)

초기화 규칙은 두 줄이다. \sigma_{e,i}\propto\sqrt{\lambda_i}로 두어 eigen 노이즈가 처음에는 사람 자세의 퍼짐을 따르게 하고, EigenDEXplore는 \sigma_q와 \sigma_e를 다시 스케일해 관절 전체에 걸친 초기 노이즈 분산을 Joint-Space와 같게, 그리고 두 성분에 반씩 나눈다고 쓴다. 이 “같은 노이즈 예산” 조건은 비교의 공정성을 떠받치는 중요한 문장인데, 공개 코드의 벤치마크별 설정은 이와 다른 곳이 있다(아래 논문과 코드 참조).

3) RL에 붙이기 (§3.3)

PPO 쪽 변화는 정책 분포 하나다. 대각 가우시안 \mathcal{N}(\mu_q,\mathrm{diag}(\sigma_q^2))가 저랭크+대각 가우시안 \mathcal{N}(\mu_q,\ \mathrm{diag}(\sigma_q^2)+E^\top\mathrm{diag}(\sigma_e^2)E)로 바뀐다. 평균 헤드는 그대로이고 eigen 쪽에는 평균이 없다. 새 학습 파라미터는 고유방향마다 하나의 로그 스케일뿐이다. 로그확률과 엔트로피를 이 분포로 정확히 계산하므로 PPO의 비율·KL·엔트로피 보너스가 모두 일관되게 유지된다. 공개 구현은 PyTorch의 LowRankMultivariateNormal을 그대로 쓴다. 배포 때는 \mu_q를 결정적으로 실행하고 E와 노이즈 파라미터를 버린다.

4) 궤적 최적화에 붙이기 (§3.4)

SPIDER는 관절 목표 시퀀스를 샘플링으로 다듬는 방법이다. 매 반복 N개 후보를 섭동으로 만들어 시뮬레이션하고, 비용 하위 10% 집합 \mathcal{S}의 섭동을 가중평균해 갱신한다(Eq. 3).

q_t\leftarrow q_t+\sum_{j\in\mathcal{S}}w_j\left[\sigma_q\odot\eta_{q,t}^{(j)}+E^\top\!\left(\sigma_e\odot\eta_{e,t}^{(j)}\right)\right]

SPIDER는 노이즈 스케일을 학습하지 않고 고정 스케줄로 쓰므로, 여기서 나오는 차이는 샘플링 분포의 차이다. 다만 그 분포 차이에는 방향만이 아니라 총분산도 들어 있다. 공개 구현은 SPIDER 기본 IID 노이즈를 그대로 두고 eigen 노이즈를 그 위에 더하기 때문이다(아래 논문과 코드). 그래서 이 블록을 깨끗한 분리 실험으로 만드는 것은 같은 크기의 상관 노이즈를 무작위 방향에 실은 Random-Correlated 대조군이다.

왜 통하는가: 공분산은 “어느 방향으로 더 멀리 보는가”를 정한다

논문은 직관을 “조율된 동작을 샘플링하기 쉬워진다”는 수준으로 남겨 두는데, 한 걸음 더 들어가면 왜 그 효과가 보상이 성긴 설정에서 커지는지도 설명된다. (이 절의 유도는 리뷰어의 해석이고 논문이 제시한 것은 아니다.)

가우시안 정책의 평균에 대한 정책 기울기 기대값은 Stein 보조정리로 다음처럼 쓸 수 있다. \epsilon\sim\mathcal{N}(0,\Sigma)일 때

\mathbb{E}_\epsilon\!\left[Q(\mu+\epsilon)\,\Sigma^{-1}\epsilon\right]=\mathbb{E}_\epsilon\!\left[\nabla Q(\mu+\epsilon)\right].

즉 평균이 따라가는 것은 \Sigma로 평활화한 목적함수의 기울기다. Q가 국소적으로 선형이면 \Sigma가 무엇이든 기대 기울기는 같다. 공분산이 의미를 갖는 것은 Q가 비선형이고 보상이 멀리 떨어진 영역에만 있을 때다. EigenDEXplore의 \Sigma는 사람 시너지 방향으로 길게 늘어난 타원체라서, 손가락 여러 개를 함께 오므려야 처음 물체가 들리는 식의 보상을 그 방향으로 더 멀리서 감지한다. 반면 같은 분산을 관절마다 고르게 뿌리면 그 방향의 성분은 작아진다. 저자들이 보고한 패턴, 즉 “커리큘럼과 보조 보상이 있으면 비슷하고 태스크 보상만 있으면 차이가 크다”(DexMachina)는 이 그림과 정확히 맞는다. 보조 보상이 이미 Q를 매끄럽게 만들어 주면 평활화 커널의 모양이 덜 중요해진다.

같은 관점에서 세 대안도 구분된다.

• Eigen-Space는 \Sigma의 랭크가 k인 퇴화 분포이고 평균까지 k차원에 갇힌다. 탐색만이 아니라 도달 가능한 해 집합이 줄어든다. DeXtreme의 큰 정육면체 재배향처럼 사람 자세에 드문 손가락 배치가 필요한 과제에서 무너지는 이유다.
• Eigen-Residual은 \Sigma로 보면 EigenDEXplore와 같은 꼴이지만, 평균이 a_q+E^\top a_e로 d+k개 좌표에 중복 표현된다. 같은 관절 목표를 만드는 좌표 조합이 무수히 많아 정책 출력과 가치 함수가 그 중복을 함께 떠안는다.
• Random-Correlated(부록 B.2)는 고유값은 그대로 두고 방향만 무작위 직교기저로 바꾼다. 타원체의 모양은 같고 방향만 틀린 셈인데, 이것이 Joint-Space보다 나쁘다는 결과는 “길게 늘인 것”이 아니라 “어느 쪽으로 늘였는가”가 핵심임을 보여 준다.

실험

셋업 한눈에

벤치마크	성격	손	최적화	예산·반복	지표
SimToolReal	비구조 RL, 도구 자세 추종	Sharpa(22) + 팔	PPO 계열	9B 프레임 × 5 seeds, 연장 60B × 1 run	연속 성공, 보상
DeXtreme	비구조 RL, 정육면체 재배향 + ADR	Allegro(16)	PPO	2B × 5 seeds	연속 성공, DR level
DexMachina	참조 유도 양손 RL	Allegro·XHand·Schunk·Inspire	PPO	약 2B × 5 seeds	ADD-AUC
SPIDER	샘플링 궤적 최적화	6종 전부	샘플링	OakInk2 10과제 × 10 seeds, 16 updates/commit	리타게팅 비용
실로봇	SimToolReal·DeXtreme 하드웨어 프로토콜	Sharpa, Allegro	학습 정책 배포	과제당 10회, 40회	진행률, 연속 성공

행동 공간과 탐색 비교: SimToolReal과 DeXtreme (§4.1, Fig. 3·4)

SimToolReal은 절차적으로 생성한 도구를 목표 자세로 옮기는 Sharpa 손-팔 정책을 학습한다. 원 논문의 어블레이션 예산을 따라 성공 허용오차를 6 cm·50°로 고정하고 9B 프레임 학습한 결과, Eigen-Space와 Eigen-Residual도 Joint-Space보다 낫고 EigenDEXplore가 가장 높다(10.6 vs 7.9, 34% 향상).

SimToolReal(Fig. 3). (a) 9B 프레임 고정 예산의 연속 성공(95% CI)과 보상(±1 SE, 5 seeds). (b) 9B 시점의 중앙값 실행을 골라 허용오차를 1 cm·8° 쪽으로 조이는 커리큘럼으로 60B까지 연장한 결과(방법당 1회).

연장 실험은 9B 시점에 연속 성공 기준 중앙값인 실행을 방법마다 하나씩 골라 60B까지 이어 학습하고, 성공 허용오차를 1 cm·8° 쪽으로 점점 조인다. 실행 한 번에 약 1주가 걸려 방법당 1회만 돌렸다고 밝힌다. 여기서 Eigen-Space의 초반 우위는 사라지고(그림에서 약 5.9), Eigen-Residual 12.0과 EigenDEXplore 14.1은 계속 학습하며, Joint-Space는 4.9에 머문다. 보상 곡선을 보면 Joint-Space와 Eigen-Space는 10B~60B 동안 거의 평탄해서, 정밀도 요구가 올라가는 국면에서 사실상 진전이 없다.

DeXtreme(Fig. 4). 왼쪽: 2B 프레임에서 DR level −0.5로 고정해 잰 연속 성공(95% CI). 오른쪽: 학습 중 DR level(NPD, 높을수록 ADR 커리큘럼이 더 진행). 5 seeds.

DeXtreme(arXiv:2210.13702)은 Allegro가 큰 정육면체를 무작위 목표 자세로 반복 재배향하는 과제이고, 자동 도메인 랜덤화(ADR)가 성공 문턱을 넘을 때마다 관측 노이즈·행동 지연·물성 범위를 넓힌다. DR level은 랜덤화 범위 폭의 차원당 평균 로그(NPD)다. 공통 랜덤화(−0.5)에서 EigenDEXplore 12.3 vs Joint-Space 8.8이고, 커리큘럼도 더 일찍 진행한다. Eigen-Space는 10차원 부분공간에 갇혀 거의 학습하지 못한다.

그림에서 읽은 값까지 합쳐 두 벤치마크를 한 표로 정리하면 이렇다.

구성	SimToolReal 9B	SimToolReal 연장 60B (1 run)	DeXtreme 2B
Joint-Space	7.9 [≈7.1, 8.7]	4.9	8.8 [≈6.0, 11.6]
Eigen-Space	≈8.8 [≈7.3, 10.3]	≈5.9	≈0.8
Eigen-Residual	≈9.5 [≈9.1, 9.9]	12.0	≈10.6 [≈8.2, 13.0]
EigenDEXplore	10.6 [≈10.0, 11.1]	14.1	12.3 [≈9.5, 15.1]

(굵은 값은 본문에 적힌 수치, ≈ 값과 대괄호의 95% CI는 Fig. 3·4에서 읽은 근사치다.)

표로 놓으면 두 가지가 바로 보인다. 첫째, Eigen-Space의 문제는 분명하다. 짧은 예산에서는 Joint-Space보다 낫지만 정밀도가 필요해지거나(SimToolReal 연장) 사람 손에 드문 자세가 필요하면(DeXtreme) 무너진다. 둘째, Eigen-Residual과 EigenDEXplore의 차이는 작다. SimToolReal 9B에서 9.5 vs 10.6, DeXtreme에서 10.6 vs 12.3이고, DeXtreme은 신뢰구간이 크게 겹친다. 연장 실험의 12.0 vs 14.1은 방법당 1회다. 본문도 이를 “Eigen-Residual이 약간 뒤처진다”(trails slightly)고 조심스럽게 쓰는데, 초록의 “행동 표현을 바꾸면 중복이 성능을 해친다”는 일반화는 이 작은 차이 위에 서 있다.

부록 A는 같은 비교를 증분(Δ) 행동으로도 돌린다. Joint-Δ는 이전 목표에 관절 증분을 적분하고(Zhang et al., 2026), Eigen-Residual-Δ는 eigen 증분까지 적분한다. 저자들은 이것이 LUCID의 한 사례라고 밝힌다.

증분 행동 공간(Fig. 10, 부록 A). SimToolReal에서는 절대값 버전과 비슷하지만, DeXtreme에서는 Joint-Δ와 특히 Eigen-Residual-Δ가 크게 떨어진다.

그림에서 읽으면 DeXtreme에서 Joint-Δ는 약 6.3, Eigen-Residual-Δ는 약 3.0으로, 절대값 버전(8.8, 10.6)보다 크게 낮다. 저자 자신의 이전 방법 계열이 이 과제에서 가장 약한 축에 속한다는 결과를 그대로 실었다는 점은 기록해 둘 만하다. 다만 증분 적분과 eigen 결합이라는 두 변경이 한 번에 들어가 있어서, DeXtreme에서의 하락이 어느 쪽 때문인지는 이 실험만으로 나뉘지 않는다.

참조 유도 양손 RL: DexMachina (§4.2, Fig. 5)

DexMachina는 ARCTIC 시연의 물체 움직임을 양손으로 추종하는 정책을 학습한다. 원래 설정은 보조 동작·접촉 보상과 가상 물체 컨트롤러 커리큘럼(처음엔 컨트롤러가 물체를 시연대로 끌고 가다가 점차 손에 넘기는 방식)이 탐색을 크게 도와준다. 저자들은 이 “훈련 보조”를 켠 경우와 끈 경우(물체 추종 태스크 보상만)를 나눠, 상자·노트북 과제를 4종 손으로 비교한다. 여기서는 Joint-Space와 EigenDEXplore 둘만 비교한다.

DexMachina(Fig. 5). (a) 커리큘럼 + 보조 보상: 대부분 비슷하고 Schunk 상자 과제만 크게 오른다. (b) 태스크 보상만: 고자유도 Allegro·XHand에서 크게 오르고 Inspire는 거의 변화 없다. 오른쪽은 Allegro(상자)·Schunk(노트북) 롤아웃. Joint-Space는 Allegro로 상자를 건드리지 못하고 Schunk는 노트북을 떨어뜨린다. 막대는 ADD-AUC 평균과 95% CI(5 seeds).

과제 · 손	(a) 보조 있음 J → Ours	(b) 태스크 보상만 J → Ours
상자 · Allegro	≈0.87 → ≈0.87	0.46 → 0.80
상자 · XHand	≈0.83 → ≈0.86	≈0.59 → ≈0.73
상자 · Schunk	0.59 → 0.84	≈0.57 → ≈0.69
상자 · Inspire	≈0.87 → ≈0.84	≈0.36 → ≈0.38
노트북 · Allegro	≈0.83 → ≈0.82	≈0.60 → ≈0.85
노트북 · XHand	≈0.86 → ≈0.87	≈0.63 → ≈0.79
노트북 · Schunk	≈0.65 → ≈0.69	≈0.57 → ≈0.70
노트북 · Inspire	≈0.61 → ≈0.67	≈0.27 → ≈0.25

(굵은 값은 본문 수치, 나머지는 Fig. 5에서 읽은 근사치.)

2. 열 8칸을 평균하면 Joint-Space 약 0.51, EigenDEXplore 약 0.65로 약 28% 향상이다. 서론의 “추적 정확도 평균 28% 향상”이 이 8칸 평균과 맞는다(그림 판독 기준 검산). 칸별로 보면 이득은 고자유도 손에 몰려 있고, Inspire 노트북은 오히려 약간 낮으며, Schunk 노트북은 신뢰구간이 매우 넓다. 저자 해석대로 Inspire는 3개 성분으로 분산의 90%가 설명될 만큼 이미 결합돼 있어 개선 여지가 작다.

이 결과는 논문의 마지막 주장, 즉 “이득은 보상 설계와 커리큘럼이 적은 설정에서 가장 크다”의 핵심 근거다. 다만 같은 결론을 SimToolReal에서 보면 결이 조금 다르다. 커리큘럼이 있는 연장 실험에서 오히려 격차가 가장 컸다(14.1 vs 4.9). 커리큘럼이 탐색을 대신 해 주는 종류(DexMachina의 가상 컨트롤러)와 과제를 점점 어렵게 만드는 종류(SimToolReal의 허용오차 조이기)가 다르게 작용한다고 보는 편이 정확하다.

샘플링 기반 궤적 최적화: SPIDER (§4.3, Fig. 6)

OakInk2의 물체 운동 추종 10과제를, 같은 초기 손 자세에서 출발해 같은 예산(커밋당 16회 갱신, 대부분 수렴하는 시점)으로 최적화하고, 과제당 10 seeds로 최종 리타게팅 비용(SPIDER의 손·물체 궤적 추종 목적함수)을 잰다.

SPIDER 손별 결과(Fig. 6). 모든 손에서 평균 비용이 줄고, 고자유도 손일수록 더 많이 준다. 막대 오차는 열 개 seed별 과제 평균에 대한 95% CI.

손 (DoF)	Sharpa (22)	Wuji (20)	Allegro (16)	XHand (12)	Schunk (9)	Inspire (6)
Δ 비용	−25.4%	−31.2%	−21.5%	−14.3%	−3.5%	−0.4%

여섯 값의 평균은 16.05%로 서론의 “평균 16%”와 맞는다. 자유도 순서와 감소폭 순서가 Sharpa·Wuji 한 쌍만 빼고 일치하고, Schunk·Inspire는 신뢰구간이 사실상 겹친다. SPIDER는 노이즈 스케일을 학습하지 않으므로 이 차이는 샘플링 분포에서만 나온다. 다만 공개 구현에서 EigenDEXplore 쪽 초기 총분산은 IID 단독의 1.35~1.55배다(손마다 다르다. 공개 코드 경로를 이 블로그에서 Monte Carlo로 잰 값이며 논문 보고값이 아니다). 그래도 “노이즈가 더 커서 좋아졌다”는 설명은 두 가지 이유로 약하다. 첫째, 다음 절의 Random-Correlated 대조군은 같은 설정에서 같은 고유값으로 노이즈를 더하는데 오히려 Joint-Space보다 나쁘다. 둘째, 손별 추가 분산과 비용 감소가 같이 움직이지 않는다. XHand는 1.55배로 가장 큰데 감소는 14.3%이고, Sharpa는 1.35배로 가장 작은 축인데 감소는 25.4%다. Inspire는 1.52배인데 감소가 0.4%다(이 대조는 논문 Fig. 6 값과 이 블로그의 측정값을 맞댄 리뷰어 해석이다). 이 대조군까지 합치면 이 블록이 이 논문에서 가장 통제가 잘된 증거다.

데이터셋과 탐색 설계 (§4.4, Fig. 7, 부록 B)

어떤 사람 데이터로 PCA를 만들까. GRAB(모캡 1,334 시퀀스, 강체 51종), ARCTIC(339 시퀀스, 관절 물체 11종), EgoSuite(1인칭 영상 10만 시간, 1.5만 과제 이상)로 각각 사전지식을 만들어 SimToolReal 9B 프로토콜에서 비교한다. 셋 다 Joint-Space보다 낫고 EgoSuite가 가장 높다(10.6 vs ARCTIC 9.8 vs GRAB 9.4 vs 7.9).

데이터셋과 탐색 설계(Fig. 7). (a) SimToolReal 9B에서 사전지식 출처 비교. (b) Sharpa SPIDER에서 보존 분산 비율 \rho(즉 k)를 바꾸며 eigen 노이즈만 쓴 경우(점선)와 관절 노이즈를 함께 쓴 경우(실선)의 리타게팅 비용. 파란 점선이 Joint-Space.

몇 개의 성분을, 관절 노이즈와 섞을까. Sharpa SPIDER에서 \rho\in\{0.5,0.7,0.8,0.9,0.95,1.0\}을 훑는다. 그림에서 읽은 값은 다음과 같다(Joint-Space 0.089).

\rho (Sharpa k)	0.50 (2)	0.70 (4)	0.80 (6)	0.90 (9)	0.95 (12)	1.00 (22)
eigen 노이즈만	0.126	≈0.096	≈0.089	≈0.080	≈0.074	≈0.074
관절 + eigen	≈0.080	≈0.078	≈0.071	0.066	≈0.067	≈0.074

(굵은 값은 본문 수치, ≈는 Fig. 7(b) 판독 근사치.)

eigen 노이즈만 쓰면 부분공간이 좁을수록 탐색이 막혀 \rho=0.5에서는 Joint-Space보다 나쁘다(0.126 vs 0.089). 관절 노이즈를 더하면 \rho<1 전 구간에서 비용이 내려가고 \rho=0.9에서 최저 0.066(Joint-Space 대비 약 26% 낮음. 본문은 “25%”)이다. 흥미로운 점은 \rho=1.0, 즉 k=d인 완전 랭크 사람 공분산 노이즈만으로도 약 0.074로 Joint-Space보다 17% 정도 낫다는 것이다. 가장 큰 몫은 “사람 공분산 모양의 노이즈” 자체에서 오고, 관절 노이즈 혼합과 k 절단은 그 위에 몇 %p를 더한다고 읽을 수 있다.

데이터셋별 탐색 설계(Fig. 11, 부록 B.1). GRAB·ARCTIC·EgoSuite 모두 같은 경향이다. (a) eigen 노이즈만: 보존 분산이 클수록 비용 감소. (b) 관절 노이즈 추가: 거의 모든 문턱에서 비용이 더 낮다.
사람 방향 vs 무작위 방향(Fig. 12, 부록 B.2). 같은 고유값(EgoSuite, 90% 보존)을 무작위 직교 방향에 실은 Random-Correlated는 eigen 노이즈만(a)이든 관절 노이즈와 함께(b)든 Joint-Space보다 나쁘다. 오차 막대는 에피소드에 대한 95% CI.

Fig. 12에서 읽으면 관절+eigen 구성에서 GRAB 약 0.070, ARCTIC 약 0.068, EgoSuite 약 0.066이고 Random-Correlated는 약 0.102다. 사람 사전지식 셋은 서로 거의 구분되지 않고, 무작위 방향만 확연히 나쁘다. 즉 SPIDER에서는 “사람 방향이냐 아니냐”가 결정적이고 “어떤 사람 데이터냐”는 거의 중요하지 않다. EgoSuite의 우위는 SimToolReal(Fig. 7a)에서만 보이며, 거기서도 ARCTIC(9.8)의 신뢰구간이 넓어 EgoSuite(10.6)와 겹친다.

실로봇 (§4.5, Fig. 8·9)

SimToolReal. 연장 비교의 두 정책(Joint-Space, EigenDEXplore)을 60B 프레임, 즉 원 SimToolReal 학습 예산 120B의 절반에서 가져와 원 논문의 Sharpa 손-팔 셋업에 배포한다. 망치질·닦기·떠내기·솔질 4과제이고, 궤적은 사람 RGB-D 영상에서 FoundationPose로 뽑은 6D 물체 자세 waypoint다. 물체-궤적 조합마다 10회 시행하고 도달한 waypoint 비율(Task Progress)을 잰다. 프로젝트 페이지에 따르면 팔은 KUKA iiwa14다.

실로봇 SimToolReal(Fig. 8). 과제별 대표 롤아웃(왼쪽)과 Task Progress(오른쪽). 상자는 사분위·중앙값, 마름모는 평균, 점은 개별 시행이다.

과제	Joint-Space	EigenDEXplore
망치질	0.42	0.71
닦기	0.34	0.92
떠내기	0.20	0.76
솔질	0.36	0.90
평균	0.33	0.82

(평균은 그림의 과제별 평균으로 검산하면 0.33·0.8225로 본문 “82% vs 33%”와 맞는다.)

정성 분석이 흥미롭다. Joint-Space 정책은 도구를 가운뎃손가락 지문면과 검지·약지의 손등 사이에 끼워 잡는 경향이 있어, 여러 번 다시 잡거나 팔 움직임·떨어뜨렸다 다시 잡기에 의존하고, 손등 쪽 마찰이 낮아 미끄러진다. EigenDEXplore는 엄지·검지·중지 지문면으로 잡고 약지 옆면으로 받치는 사람다운 손끝 파지를 배워 손 안 재배향이 가능해진다. 저자들은 이것이 “eigen 구조 탐색이 사람다운 파지를 찾기 쉽게 만든다”는 가설과 일관된다(consistent with)고만 쓰고, 인과로 단정하지 않는다.

DeXtreme. 2B 예산 정책을 방법마다 하나씩 손목 고정 Allegro에 올리고, ArUco 마커 정육면체의 자세를 AprilCube로 추정한다. 떨어뜨리거나 80초 동안 같은 상태로 멈추면 시행을 끝낸다.

실로봇 DeXtreme(Fig. 9). 왼쪽: RGB-D 카메라, ArUco 정육면체, Allegro 손 셋업. 오른쪽: 시행별 연속 성공(방법당 40회).

방법당 40회에서 평균 연속 성공 8.45 → 11.90(41% 향상), 최장 32 → 41(28% 향상)이다. 산술은 두 비율 모두 맞는다.

비판적으로 보면

강점

• 질문을 잘 세웠다. “사람 손 PCA가 도움이 된다”는 오래된 관찰을 명령·탐색·차원의 세 효과로 쪼개는 실험 설계 자체가 기여다. 네 구성이 Eq. 1 한 블록 안에서 항 하나씩만 다르게 정의돼 있어 무엇을 바꿨는지가 분명하다.
• 방법이 극도로 작고 정직하다. 정책 구조·행동 공간·보상을 하나도 건드리지 않고 분포만 바꾼다. 로그확률을 정확한 저랭크 가우시안으로 계산하므로 PPO의 이론적 전제가 깨지지 않고, 배포 경로에는 아무것도 남지 않는다. 기존 대각 가우시안 RL 코드 어디에나 붙일 수 있다.
• 가장 통제된 실험이 가장 강한 결과를 낸다. SPIDER는 노이즈 스케일을 학습하지 않아 샘플링 분포만 비교한다. 공개 구현에서는 EigenDEXplore 쪽 총분산이 더 크지만, 같은 설정의 Random-Correlated 대조군이 “상관이면 다 된다”는 설명과 “노이즈가 크면 다 된다”는 설명을 함께 배제한다. Fig. 7(b)의 \rho 스윕은 “관절 노이즈를 왜 남기는가”에 대한 직접적인 답이다.
• 자기에게 불리한 결과를 그대로 싣는다. 커리큘럼이 있는 DexMachina에서 대부분 차이가 없다는 것, 저자유도 손(Schunk·Inspire)에서 이득이 거의 없다는 것, 저자 자신의 LUCID 계열(Eigen-Residual-Δ)이 DeXtreme에서 무너진다는 것을 모두 본문·부록에 넣었다. “이득은 고자유도·보상 희소 설정에서 크다”는 경계 조건이 결과에서 자연스럽게 나온다.
• 실로봇에서 행동 차이를 관찰해 보고한다. 숫자만이 아니라 Joint-Space의 “손등 끼우기” 파지와 EigenDEXplore의 손끝 파지라는 질적 차이를 기술해, 탐색이 학습된 행동의 종류를 바꾼다는 점을 보여 준다.
• 재사용 가능한 자산을 공개했다. 6종 손의 PCA 베이스(좌우 미러링 포함), 독립 PyTorch 패키지, rl_games 연동, DeXtreme·SimToolReal·SPIDER 하네스와 고정 커밋·패치를 MIT로 냈다.

약점·한계

• “행동 표현을 바꾸면 중복이 성능을 해친다”는 결론은 근거가 얇다. 이 논문의 제목급 주장은 두 갈래다. ① Eigen-Space(행동을 부분공간에 가두기)는 해롭다: DeXtreme 약 0.8, SimToolReal 연장 약 5.9로 강하게 뒷받침된다. ② Eigen-Residual(중복된 행동)은 EigenDEXplore보다 못하다: 9.5 vs 10.6, 10.6 vs 12.3, 그리고 1회 실행의 12.0 vs 14.1로, 차이가 작고 DeXtreme은 신뢰구간이 겹친다. 게다가 공개 코드의 Eigen-Residual은 eigen 항을 0.3배로 줄이고, 계수를 자산에 저장된 비대칭 범위(적합 설정의 1%/99% 분위수 항목으로 보인다)로 디코딩하는데, 논문 Eq. 1에는 둘 다 없다. 잔차 비율이 다르면 결과가 달라질 수 있는 설계 상수가 보고되지 않은 셈이다. 정직하게 요약하면 “Eigen-Residual은 거의 같은 이득을 내지만 행동 차원이 d+k로 늘어난다”가 데이터가 보여 주는 범위다.
• 가장 인상적인 숫자는 표본 1~2개 위에 있다. SimToolReal 연장 실험은 방법당 1회이고, 실로봇 도구 사용 비교는 그 1회 실행에서 나온 정책 두 개의 비교다. 9B 시점 중앙값 실행을 고른다는 규칙은 공정하지만, “82% vs 33%”가 seed 분산 안에 있는지 밖에 있는지는 알 수 없다. 또한 두 정책 모두 원 SimToolReal 예산(120B)의 절반에서 끊었으므로 Joint-Space의 33%는 SimToolReal 자체의 성능이 아니다. 연장 실험에서는 성능에 따라 허용오차가 조여지는 커리큘럼이라 방법마다 마지막 평가 허용오차가 다를 수 있는데, 최종 허용오차는 보고되지 않는다.
• “같은 노이즈 예산” 조건은 공개 코드에서 DeXtreme에서만 성립한다. §3.2는 EigenDEXplore의 초기 노이즈 분산을 Joint-Space와 같게 맞추고 관절·eigen에 반씩 나눈다고 쓴다. 공개 코드가 실제로 만드는 초기 분포를 이 블로그에서 Monte Carlo(10^6 샘플)로 재 보니 다음과 같았다(우리 측정값이며 논문 보고값이 아니다).
  • DeXtreme: IID 0.5 + eigen 0.5, Joint-Space의 1.000배로 서술과 일치한다.
  • SimToolReal: 손가락 채널이 IID 1.0 + eigen 1.0으로 2.000배다. 팔 7채널은 IID만 받는다. 스펙트럼도 \sigma_e\propto\lambda^{1/4}다.
  • SPIDER: 기본 IID 노이즈를 그대로 두고 eigen을 더해 IID 단독의 1.35~1.55배다. 스펙트럼은 \sigma_e\propto\lambda다.
  SPIDER에서는 Random-Correlated 대조군이 이 혼입을 상당 부분 막아 준다. 같은 고유값의 상관 노이즈를 더해도 오히려 나빠지기 때문이다. SimToolReal에는 그런 대조군이 없다. 그리고 SimToolReal의 연장 실험과 실로봇 결과, 즉 이 논문에서 가장 큰 격차가 바로 “2배 노이즈” 설정에서 나왔다. 공개 프리셋이 논문 실험에 실제로 쓰인 설정과 같은지는 여전히 확인할 수 없다. 그래서 이 항목은 결과의 오류라고 단정할 근거가 아니라 저자 확인이 필요한 지점이다. 다만 논문의 서술만 믿고 재구현한 사람은 공개 코드와 다른 노이즈 예산으로 실험하게 된다.
• “대규모 1인칭 영상이 더 좋은 사전지식”이라는 주장은 약하고, 공개 자산과도 결이 다르다. Fig. 7(a)의 EgoSuite 우위(10.6)는 ARCTIC(9.8)의 넓은 신뢰구간과 겹치고, SPIDER(Fig. 12)에서는 세 데이터셋이 거의 같다. 공개 레포의 “EgoSuite” 베이스 manifest를 보면 dataset: egosuite이면서 원천 코퍼스가 ARCTIC·GRAB·EgoSuite 셋이고 데이터셋 가중치 [0.6, 0.2, 0.2]의 혼합으로 적합돼 있다(어느 가중치가 어느 코퍼스인지는 문서화돼 있지 않다). 적합에 쓴 프레임은 6 Hz로 약 225만 개, 즉 약 100시간 분량이다. “10만 시간”은 데이터셋 규모이지 PCA에 들어간 양이 아니다. 논문의 EgoSuite 단독 사전지식과 배포된 혼합 베이스가 같은 것인지가 불분명하다.
• “PPO”라는 서술이 SimToolReal의 실제 학습기를 가린다. 공개 연동은 SimToolReal을 SAPG(Split and Aggregate Policy Gradients, PPO의 집단 변형) 설정으로 돌리고, SAPG 그룹마다 독립된 eigen 스케일을 둔다. 저자 일부(Lum, Bohg, Liu)가 겹치는 SimToolReal의 리뷰에서 보듯 SAPG는 원 논문에서 성능에 필수였던 구성이다. 탐색 다양성을 이미 집단 수준에서 다루는 학습기 위에서 나온 결과라는 사실은 본문에 적혀 있어야 했다.
• 보고되지 않은 설정이 많다. 학습률·환경 수·에피소드 길이 같은 하이퍼파라미터, 학습 GPU와 연산 시간(연장 실행 “약 1주” 외), 각 벤치마크의 시뮬레이터, SPIDER 후보 수 N, 증분 행동의 스케일이 본문·부록 어디에도 없다. 코드에서 대부분 복원되지만(예: SPIDER 후보 1,024개, 증분 속도 초당 관절 범위의 3배) 논문만 읽은 재구현자는 다른 것을 만들게 된다.
• 학습된 노이즈가 어떻게 변하는지 보여 주지 않는다. \sigma_q,\sigma_e는 PPO가 학습한다. 학습이 진행되며 eigen 노이즈가 줄어드는지, 관절 노이즈 쪽으로 옮겨 가는지를 보면 “사람 구조는 초반 탐색에만 필요한가, 정밀 단계에도 쓰이는가”를 직접 답할 수 있었을 텐데, 노이즈 스케일의 학습 궤적은 보고되지 않는다. 공개 구현에서 E가 고정 버퍼이고 \sigma_e만 학습된다는 것은 이 블로그의 짧은 실행으로 확인했다(재현 노트). 하지만 논문 규모 학습에서 \sigma_e가 어디로 가는지는 여전히 알 수 없다.
• DexMachina는 2자 비교이고 코드에 없다. 4종 손 × 2과제 × 2조건이라는 넓은 격자이지만 Eigen-Space·Eigen-Residual이 빠져 있어 §4.1의 분리 결론을 이 설정으로 일반화할 수 없다. 공개 레포의 벤치마크 목록에도 DexMachina는 없다(SPIDER 설정이 DexMachina의 손 URDF 자산만 참조한다). 논문의 “벤치마크 코드를 공개한다”는 문장은 4개 중 3개에 해당한다.
• 저자가 인정한 한계. 고정된 선형 기저라서 데이터에 없는 협응이나 비선형 시너지는 독립 관절 노이즈로 찾아야 하고, 기구학 리타게팅에 의존해 사람과 형태가 많이 다른 손에서는 덜 효과적일 수 있으며, 저자유도 손에서 이득이 작고, 노이즈가 시간 스텝마다 독립이다. 마지막 항목에 대해 공개 README는 AR(1)로 eigen 계수를 시간 상관시키는 변형을 제공하면서 “논문에는 없지만 초기 테스트에서 매우 잘 동작하고 기본값보다 나을 수도 있다”고 적는다. 논문 근거가 없는 주장이므로 독자는 그 문장을 결과로 읽지 말아야 한다.

논문과 코드 대조

공개 레포(hgupt3/eigendexplore, 커밋 2926933, 2026-10-07)를 논문 서술과 맞춰 본 결과다. 근거 칸의 [실측]은 이 블로그가 공개 코드를 직접 실행하거나 공개 코드 경로를 통과시켜 수치로 확인한 항목이고, [정적]은 코드를 읽기만 한 항목이다. 어느 쪽이든 프리셋이 논문 실험에 실제로 쓰인 설정과 같은지는 확인할 수 없다.

항목	논문	공개 코드	판정 · 근거
90% 보존 시 k	Sharpa 9, XHand 6, Allegro 10, Inspire 3	같음(+ Wuji 9, Schunk 5)	일치 · [실측]
노이즈 모델	Eq. 1 샘플링, Eq. 2 공분산	LowRankMultivariateNormal, 방향별 학습 로그 스케일, eigen 평균 없음	일치 · [실측] 6손 × 좌우 float64 재유도 대비 공분산 오차 ≤ 1e-12, MC 상대오차 ≤ 3.1e-3
E 고정, \sigma_e 학습	§3.3	E는 버퍼, \sigma_e는 파라미터	일치 · [실측] 학습 후 \Delta E=0, \sigma_e만 변화
초기 \sigma_e 모양	\propto\sqrt{\lambda_i}	DeXtreme \sqrt{\lambda}(일치), SimToolReal \lambda^{1/4}, SPIDER \lambda	벤치마크별로 다름 · [실측] 지수 적합
초기 노이즈 예산	Joint-Space와 같게, 반반 분할	DeXtreme 1.000배(일치), SimToolReal 손가락 2.000배, SPIDER 1.35~1.55배(IID 위에 eigen 추가)	DeXtreme만 일치 · [실측] MC 10^6
사전지식 데이터	EgoSuite	egosuite 베이스가 ARCTIC·GRAB·EgoSuite 가중 혼합 [0.6, 0.2, 0.2](대응 미문서화), 6 Hz	서술 누락 또는 다름 · [정적] manifest
PCA 분산 저장 형식	(언급 없음)	explained_variance는 합이 1인 비율이고 \lambda가 아니다. \lambda에 해당하는 값은 component_std²다	무해하지만 오독 주의 · [실측]
XHand 좌우 손	(언급 없음)	좌우 프리셋의 관절 한계 2개가 달라(−0.17 vs −0.175, 1.92 vs 1.94) 좌손 E가 우손 한계로 정규화한 것과 최대 5.1e-3 다름	사소한 비대칭 · [실측]
Eigen-Space	q^\star=E^\top(a_e+\cdots)	PCA 평균 자세 + 계수 디코딩, 비대칭 계수 범위	표기 생략 · [정적]
Eigen-Residual	a_q+\cdots+E^\top(a_e+\cdots)	eigen 항 × 0.3, 중심 자세 기준 변위	서술 누락 · [정적]
SimToolReal 학습기	PPO	SAPG 설정, SAPG 그룹별 eigen 스케일, 팔 7관절은 IID만	서술 누락 · [정적] (팔 채널 eigen 분산 0은 [실측])
SPIDER 후보 수 N	미기재	1,024, 커밋당 16 갱신, 10 seeds	논문 공백을 코드가 채움 · [정적]
SPIDER 초기 손 자세	“같은 초기 자세”	ARCTIC 자세 PCA의 평균 자세	서술 누락 · [정적]
DexMachina 벤치마크	실험 수행	미포함	미공개
시간 상관 eigen 노이즈	한계로 언급	correlation 옵션(기본 0 = 논문 설정)	논문 밖 기능 · [정적]

판정 칸은 두 축으로 읽으면 된다. 논문에 없는 설정(Eigen-Residual 0.3, SAPG, SPIDER N·초기 자세, 분산 저장 형식)은 재현자가 코드에서 가져오면 되는 “서술 누락”이다. 논문 서술과 다른 설정(SimToolReal·SPIDER의 노이즈 예산과 스펙트럼, 혼합 사전지식)은 결과 해석에 영향을 줄 수 있는 지점이라 저자 확인이 필요하다. 반대로 방법의 핵심인 노이즈 분포 자체는 논문 식과 수치 정밀도까지 일치한다는 것도 같은 무게로 적어 둔다.

🔧 재현 노트

🔬 아래는 논문의 주장이 아니라 이 블로그가 공개 코드를 직접 돌려 본 결과다. 성능 검증이 아니라 구현 확인에 가깝다. 논문의 성능 수치는 어느 벤치마크에서도 재현하지 못했다. 환경은 RTX 5090(32 GB, sm_120) 1장, i9-14900K, RAM 30 GB의 워크스테이션이고, 다른 사용자의 GPU 작업과 공유했다.

못 한 것과 그 이유를 먼저 적는다.

대상	상태	이유
SimToolReal	보류(정적 확인만)	핀 버전은 IsaacLab 2.3.2인데 로컬은 IsaacLab 3.0 베타다. 3.0은 쿼터니언 순서를 wxyz → xyzw로 바꿨고, 호스트 코드가 wxyz를 가정한다. 이식하면 실행은 되지만 자세 보상이 조용히 틀릴 수 있어 멈췄다
DexMachina	불가	공개 레포에 없다
실로봇	불가	하드웨어 없음. 학습된 체크포인트도 공개되지 않았다
DeXtreme 논문 규모 학습	불가	Python 3.8용 sm_120 GPU torch가 없어 학습을 CPU로만 돌릴 수 있었다. 약 410 프레임/초라 2B 프레임은 seed당 약 56일이다
SPIDER 전체 프로토콜	축소 실행	손 하나에 10과제 × 10 seeds × 2방법 = 200 에피소드, 에피소드당 약 107초라 손당 약 6시간이다. Sharpa에서 seed 2개만 돌렸다

노이즈 분포(실측, 통과). 논문 Eq. 1·2와 §3.1·3.2의 서술만 따라 float64로 다시 만든 기준과 공개 구현을 6손 × 좌우에서 대조했고 실패는 0건이었다. 공분산 오차는 1e-12 이하, 로그확률·엔트로피는 해석해와 1e-9 이하, 200만 샘플 Monte Carlo 공분산의 상대오차는 3.1e-3 이하였다. 기본 설정(IID \sqrt{0.5}, eigen RMS \sqrt{0.5})에서는 관절당 IID 분산 0.5와 eigen 분산 0.5가 정확히 반반이다. 레포의 예제 PPO 루프로 30회 갱신한 뒤 E의 변화는 0이고 \log\sigma_e만 최대 1.2e-2 움직였다. 대조 과정에서 우리 쪽 기준이 처음에 두 번 틀렸는데, 둘 다 위 표의 “분산 저장 형식”과 “XHand 좌우 손” 행으로 남겼다.

SPIDER, Sharpa 10과제 × seed 2개(실측, 결론 불가). 공개 프리셋의 seed 10개 중 2개로 40 에피소드를 돌렸다. GPU 실행에는 핀 버전 torch(cu121)가 RTX 5090에서 “no kernel image”로 실패해, torch를 cu128 빌드로 바꿨다.

Sharpa, 20쌍	값
평균 최종 비용 EigenDEXplore / IID	0.07895 / 0.09799, 평균 비용 −19.4%
쌍별 차이의 95% bootstrap CI(과제·seed 교차)	−0.019, [−0.071, +0.028], 0을 포함한다
승패(EigenDEXplore 비용이 낮은 쌍)	10 / 10
과제별 비율 평균	+18.5%, 10과제 중 6과제에서 EigenDEXplore가 더 나쁘다

평균 비용 −19.4%는 숫자만 보면 논문의 Sharpa −25.4%(Fig. 6, seed 10개)와 비슷해 보이지만, 논문 수치를 확인한 것으로 읽으면 안 된다. 이 평균은 IID 쪽의 큰 실패 두 건(stir_beaker 0.318, uncap_alcohol_burner 0.272)이 끌어낸 값이다. 승패는 반반이고, 과제별로 보면 오히려 더 나쁜 과제가 많으며, 신뢰구간이 0을 가로지른다. 더 근본적인 문제도 있었다. 같은 seed·같은 설정으로 같은 에피소드를 두 번 돌리면 비용이 IID에서 +39.9%, EigenDEXplore에서 +6.7% 달라졌다. 이 GPU의 MuJoCo-Warp 위에서 SPIDER는 실행 간 재현성이 없다. 따라서 쌍 하나의 비교는 실행 잡음에 묻히며, 논문이 seed 10개로 평균을 낸 것은 선택이 아니라 필수다. 실행 간 재현성은 논문·문서 어디에도 언급되지 않는다.

DeXtreme, CPU A/B(실측, 학습 곡선 주장 불가). 방법마다 seed 1개, 1,024 환경 × 40 epoch = 65.5만 프레임(논문 2B의 0.033%)을 돌렸다. CPU 실행을 위해 로컬 호스트 체크아웃(이 레포가 아니라 IsaacGymEnvs)에 dtype 한 줄을 고쳤다. 두 방법 모두 정육면체 재배향을 전혀 배우지 못해(연속 성공 ≈ 0), 성능 비교로 쓸 수 있는 값은 없다. 대신 통합 경로는 확인됐다.

• epoch 1의 PPO 엔트로피가 초기 \Sigma의 해석적 엔트로피와 일치했다. EigenDEXplore 21.4537 vs 21.4529, Joint-Space 22.7024 vs 22.7030이다. 호스트가 Eq. 2의 주변분포를 그대로 최적화한다는 뜻이다.
• 실제 실행된 행동의 참여비(participation ratio)가 Joint-Space 16.0에서 EigenDEXplore 13.1로 내려갔다. 상관 구조가 행동까지 전달된다.
• 40 epoch 뒤 체크포인트에서 E는 설정값 그대로(fp32 오차 3e-8)였고, \log\sigma_e는 최대 6.2e-3 움직였다.

이 결과가 위의 비판과 어떻게 맞물리나. 재현은 “노이즈 예산이 벤치마크마다 다르다”는 비판을 정적 읽기에서 측정값(1.000배 / 2.000배 / 1.35~1.55배)으로 올렸고, SPIDER의 스펙트럼이 \sqrt{\lambda}가 아니라 \lambda라는 점을 새로 확인했다(공개 코드 sampling.py의 주석도 “SPIDER의 기록된 관례는 고유값 지수 1”이라고 밝힌다). 반대로 “방법 구현이 논문과 다를 수 있다”는 우려는 분포 수준에서 해소됐다. 실로봇 비교의 표본 한계나 Eigen-Residual 비교의 약한 근거에 대해서는 재현이 아무것도 더하거나 빼지 않는다. 해당 벤치마크를 돌리지 못했기 때문이다.

관련 연구와의 자리 매김

• eigengrasp를 행동 공간으로 쓰는 계보. Santello의 시너지 관찰과 Ciocarlie의 eigengrasp 계획에서 출발해, RL에서는 DextrAH-G(5D PCA fabric 목표), CrossDex(MANO eigengrasp 공통 행동), PCHands(다자유도 공통 시너지)로 이어졌다. 이 논문은 이 계보에 “행동이 아니라 노이즈에 넣어라”라는 방향 전환을 제안한다. 이 계보의 방법들이 보고한 이득 중 일부는 사실 탐색 효과였을 가능성을 시사한다는 점에서, 기존 결과의 재해석을 요구하는 논문이기도 하다.
• 표현력을 되찾는 다른 방법. ADEPT는 같은 문제(5D PCA가 손재주를 제한)를 full cspace fabric과 사전학습·후학습으로 푼다. EigenDEXplore는 정반대로 행동 공간은 처음부터 full이고 사전지식을 탐색에만 쓴다. 둘은 결합 가능하다.
• 구조화된 탐색 계보. 시간 상관 노이즈(gSDE의 Raffin et al., 2021, pink noise의 Eberhard et al., 2023, colored noise PPO), 정책 유래 액추에이터 상관(Lattice, Chiappa et al., 2023)이 “탐색 노이즈에 구조를 주면 학습 효율이 오른다”를 보였다. EigenDEXplore는 이 축에 사람 동작이라는 외부 데이터에서 온 공간 상관을 더한 것이고, 저자들이 한계로 든 시간 상관과는 직교한다.
• 평가 기반이 된 손재주 시스템들. SimToolReal(도구 자세 추종, SAPG), DeXtreme(arXiv:2210.13702, ADR), DexMachina(가상 물체 컨트롤러 커리큘럼), SPIDER(물리 기반 샘플링 리타게팅). 이 논문은 이들의 학습기·최적화기를 바꾸지 않고 노이즈만 바꿔 넣었으므로, 각 시스템 리뷰에서 다룬 성능이 탐색 분포에 얼마나 민감한지를 보여 주는 보조 증거도 된다. 특히 SPIDER 쪽 결과는 Do as I Do나 FlashDexRetarget처럼 SPIDER 비용을 기준으로 삼는 리타게팅 파이프라인에도 바로 적용될 수 있는 개선이다.

요약

EigenDEXplore는 사람 손 PCA를 행동 공간에서 꺼내 탐색 공분산으로 옮긴다. 정책은 관절 목표를 그대로 내고, 노이즈만 \mathrm{diag}(\sigma_q^2)+E^\top\mathrm{diag}(\sigma_e^2)E가 된다. 6종 손, 비구조 RL·참조 유도 RL·샘플링 궤적 최적화·실로봇에서 Joint-Space보다 일관되게 낫고, 이득은 고자유도 손과 보상이 성긴 설정에 몰린다. 가장 통제된 SPIDER 실험과 무작위 방향 대조군은 “사람 방향으로 상관된 탐색”이 진짜 원인이라는 주장을 잘 뒷받침한다.

한계는 주장의 두 번째 절반에 있다. “행동 표현을 바꾸면 중복이 해롭다”는 Eigen-Residual과의 작은 차이와 1회 실행 위에 있고, 실로봇의 큰 격차도 seed 하나에서 나온 정책 두 개의 비교다. 공개 코드는 일부 벤치마크에서 논문이 말한 “같은 노이즈 예산”과 다른 설정을 담고 있으며, “EgoSuite” 사전지식은 세 데이터셋의 혼합으로 배포됐다. 그래도 바꿀 것이 분포 하나뿐이라는 단순함과, 손재주 RL 코드 어디에나 바로 붙일 수 있는 공개 패키지 덕분에, 다지 손 RL에서 대각 가우시안 대신 시도해 볼 기본값 후보가 될 만하다.

재현 상태(2026-10-08 기준). 노이즈 분포 구현은 논문 식과 수치 정밀도까지 일치했다. 반면 성능 수치는 어느 벤치마크에서도 확인하지 못했다. SPIDER는 seed 2개 축소 실행이라 결론을 낼 수 없었고, 같은 설정을 다시 돌려도 결과가 달라지는 실행 간 비재현성이 드러났다. DeXtreme는 CPU 학습만 가능해 논문 예산의 0.03%에 그쳤다. SimToolReal은 IsaacLab 버전 문제로 보류했고, DexMachina와 체크포인트는 공개되지 않았다. 상세는 재현 노트에 있다.