📃SPIDER 리뷰

retargeting

humanoid

cross-embodiment

Scaling Dexterous Manipulation with Diverse Egocentric Human Data

Published

February 27, 2026

🤖 로봇별 데이터 수집의 높은 비용과 로봇-인간 간의 체형 차이(embodiment gap)로 인해 대규모 인간 동작 데이터를 로봇 동작으로 직접 변환하는 데 어려움이 있습니다.
✨ SPIDER는 물리 기반 샘플링과 가상 접촉 안내(virtual contact guidance)를 활용하여 운동학적 인간 시연(kinematic human demonstrations)을 동적으로 실행 가능한 로봇 궤적으로 대규모로 변환하는 프레임워크를 제안합니다.
🚀 SPIDER는 9가지의 휴머노이드/정교한 손 로봇과 6가지 데이터셋에 걸쳐 적용 가능하며, 성공률을 18% 향상시키고 기존 RL(강화 학습) 기반 방법보다 10배 빠르게 240만 프레임 규모의 로봇 데이터셋 생성을 가능하게 합니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

SPIDER(Scalable Physics-Informed DExterous Retargeting)는 대규모의 인간 동작 시연(demonstration) 데이터를 로봇이 실행 가능한 동적으로 실현 가능한(dynamically feasible) 궤적으로 변환하고 증강하기 위한 물리 기반 리타겟팅(retargeting) 프레임워크입니다. 로봇-특정(robot-specific) 데이터 수집의 높은 비용과 방대한 인간 모션 데이터의 가용성 사이의 간극을 메우는 것을 목표로 합니다.

문제 정의:

숙련되고 민첩한(agile) 로봇 정책 학습은 대규모의 로봇 시연을 필요로 하지만, 이를 수집하는 것은 매우 비용이 많이 듭니다. 반면, 모션 캡처, 비디오, 가상 현실에서 얻을 수 있는 방대한 인간 모션 데이터는 풍부합니다. 그러나 로봇과 인간 간의 체현(embodiment) 차이(형태학, 동역학, 액츄에이션 불일치)와 힘(force) 및 토크(torque)와 같은 동적 정보의 부족으로 인해 이러한 인간 시연은 로봇에 직접 실행될 수 없습니다. 이에 대한 핵심 질문은 “어떻게 하면 인간의 움직임을 동역학 및 접촉을 고려한 실행 가능한 로봇 궤적으로 효율적이고 신뢰성 있게 변환할 수 있는가?”입니다.

핵심 방법론:

SPIDER는 인간 시연이 높은 수준의 로봇 동작 및 태스크 명세를 제공하고, 시뮬레이션에서의 대규모 물리 기반 샘플링(sampling)이 동적 실현 가능성(dynamical feasibility)과 정확한 접촉 시퀀스(contact sequence)를 보장하도록 궤적을 다듬는다는 핵심 통찰력을 바탕으로 합니다.

물리 기반 리타겟팅 문제 정식화 (Physics-based Retargeting Problem Formulation): 리타겟팅은 제약이 있는 최적화 문제로 정식화됩니다. 로봇 제어 시퀀스 u_{0:T-1}는 참조 궤적 x^{ref}_{0:T}와의 거리와 제어 노력(control effort)을 최소화하도록 최적화됩니다. 목적 함수는 다음과 같습니다: \min_{u_{0:T-1}} J(u_{0:T-1}) = \min_{u_{0:T-1}} \left\|x_T - x^{ref}_T\right\|^2_{Q_T} + \sum_{t=0}^{T-1} \left(\left\|x_{t+1} - x^{ref}_{t+1}\right\|^2_{Q_t} + \left\|u_t\right\|^2_{R_t}\right) 여기서 x^{ref}_t = \{q^{ref}_{robot_t}, q^{ref}_{object_t}\}는 참조 상태(위치 q^{ref} 및 속도 \dot{q}^{ref})를 나타내며, Q_t와 R_t는 상태 및 제어 입력 가중 행렬(weighting matrices)입니다. 제약 조건은 x_{t+1} = f(x_t, u_t, t)로, 상태 전이 함수(state transition function)를 나타냅니다.
샘플링 기반 최적화 (Sampling for Physics-based Retargeting): 접촉이 많은(contact-rich) 리타겟팅 문제의 비볼록성(non-convexity) 및 비연속성(non-continuity)을 다루기 위해 샘플링 기반 최적화가 사용됩니다. 이는 정책 네트워크를 업데이트하는 대신 제어 시퀀스를 직접 최적화한다는 점에서 강화 학습(RL)과 유사합니다. Annealed sampling kernel을 사용하여 탐색-활용(exploration-exploitation) 균형을 조절합니다. 솔루션 U^i는 다음과 같이 업데이트됩니다: U^{i+1} = U^i + \sum_{j=1}^{N_W} \frac{\exp\left(-\frac{J(U^i + [W]_j)}{\lambda}\right)}{\sum_{k=1}^{N_W} \exp\left(-\frac{J(U^i + [W]_k)}{\lambda}\right)} [W]_j 샘플링 공분산(covariance) \Sigma^i_h는 다음과 같이 조절됩니다: \Sigma^i_h = \exp\left(-\frac{N-i}{\beta_1 N} - \frac{H-h}{\beta_2 H}\right) I 여기서 [W]_j \sim \mathcal{N}(0, \Sigma^i_{0:H-1})는 샘플링된 가우시안 노이즈(Gaussian noise)이고, \beta_1, \beta_2는 Annealing 파라미터입니다. 초기에는 넓은 탐색을, 후반부에는 유망한 궤적 주변의 정교한 활용을 수행합니다.
가상 접촉 안내 (Virtual Contact Guidance): 태스크를 완료하는 여러 접촉 모드(contact modes)가 존재할 수 있는 “솔루션 모호성(solution ambiguity)”을 해결하기 위해 도입되었습니다. 이는 로봇과 객체 사이의 의도된 접촉 지점(intended contact points)에 가상 힘(virtual force)을 적용하여 샘플링을 원하는 접촉 모드로 유도합니다. 가상 제약(virtual constraint)은 초기 단계에서 객체를 목표 구성(target configuration)에 “고정”시키고, 최적화가 진행됨에 따라 점차 이 제약을 완화합니다. 이는 커리큘럼(curriculum) 방식과 유사합니다. 제약 조건은 접촉 쌍(contact pair) 간의 상대 위치를 유지하는 것입니다: c_{k,t} \left\|^{\text{robot}}p_{object_{k,t}} - ^{\text{robot}}p_{object,ref_{k,t}}\right\|^2_2 \le \eta^i 여기서 c_{k,t}는 접촉 지시자(contact indicator)이며, \eta^i는 i \to N일 때 \eta^i \to \infty로 커져 제약 강도(constraint strength)가 완화됩니다. 불완전한 참조 접촉(imperfect reference contact)에 대한 강건성(robustness)을 위해 접촉 필터(contact filter)가 불안정한 상호작용을 감지하여 해당 가상 제약을 비활성화합니다.
궤적 강건화 (Trajectory Robustification): 재구성된 시연(reconstructed demonstrations)에서 발생하는 노이즈(noise)와 불확실한 역학(unknown dynamics) (예: 마찰, 접촉 준수)에 대한 궤적의 강건성을 높입니다. 이는 경계가 있는 매개변수 집합 \mathcal{D} (예: 접촉 여유, 마찰 계수, 객체 질량)에 대한 비관적인(pessimistic) (min-max) 목적 함수로 제어 시퀀스를 최적화합니다: J_{rob}(U) = \max_{d \in \mathcal{D}} J(U, d) 이는 도메인 무작위화(domain randomization)와 유사하게 작동하며, GPU 병렬화(parallelization)를 통해 배치 롤아웃(batched rollouts)으로 효율적으로 계산됩니다.
물리 기반 데이터 증강 (Physics-based Data Augmentation): 단일 인간 시연에서 시작하여 물리적으로 실현 가능한 다양한 동작을 생성하여 리타겟팅된 데이터를 체계적으로 증강할 수 있습니다. 이는 기하학적 변형(geometric variations) (객체 메쉬 교체, 크기 및 위치 변경, 지형 변경) 및 물리적 변형(physics variations) (로봇에 외력 적용)을 통해 이루어집니다.

성과 및 활용:

SPIDER는 6개의 데이터셋, 9개의 로봇 형태, 두 가지 태스크 도메인(숙련된 손 및 휴머노이드)에 걸쳐 확장 가능한 유연하고 일반적인 프레임워크입니다. 표준 샘플링에 비해 성공률을 18% 향상시키고, 강화 학습(RL) 기준선보다 10배 빠르게 궤적을 생성합니다. 이를 통해 2.4M 프레임의 대규모 동적 실현 가능한 로봇 데이터셋을 생성할 수 있습니다. 물리적 로봇에 직접 배포 가능하며, RGB 카메라 영상과 같은 노이즈가 많은 데이터에도 강건하게 작동합니다. 또한, SPIDER에서 생성된 데이터를 활용하여 RL 정책 학습 프로세스를 크게 가속화하고, 더 나은 객체 추적 성능을 달성할 수 있음을 보여주었습니다. 이는 RL 정책이 SPIDER가 제공하는 명목 제어(nominal control)로부터 잔차 피드백(residual feedback)만 학습하면 되기 때문입니다.

Allegro hand에 대한 평가

Allegro hand에 대한 평가는 전체적으로 비교적 양호합니다. 세부 내용은 논문의 표·그림을 근거로 정리하면 다음과 같습니다.

정량적 성능
- Oakink 전체 데이터에서 SPIDER의 Allegro 성공률은 (45.9%)입니다 (Table 2).
- GigaHands 전체 데이터에서는 Allegro 성공률이 (81.0%)로 훨씬 높습니다 (Table 2).
- 작은-예제(ablations) 결과에서 Annealed sampling + virtual contact guidance(완전한 SPIDER 구성)는 Oakink 예제에서 Allegro 성공률을 (85%)까지 끌어올렸고, GigaHands 예제에서는 (100%) 성공을 보였습니다 (Table 1).
비교·해석
- 논문은 DoF가 많고 관절 자유도가 높은 손들(예: Inspire, Allegro)이 리타겟팅에서 더 유리하다고 보고합니다. Allegro는 이 범주에 들어가기 때문에 전반적으로 높은 성공률을 보였습니다.
- 데이터셋 특성에 따라 결과 차이가 큽니다. GigaHands는 픽·플레이스 계열 작업이 많아 retargeting에 유리했고, Oakink은 사전 그립(pre-grasp) 등 정밀한 초기 접촉을 요구해 더 어려웠습니다. Allegro도 데이터 난이도에 따라 성능 편차가 발생했습니다.
실무/배포 측면
- 논문은 Allegro hand를 Franka Emika Panda 팔과 결합한 실제 시스템에서 네 가지 섬세한 조작(전구 회전, 작은 숟가락 조작, 기타 연주, 충전기 분리)을 직접 실행해 성공 사례를 보고합니다(Deployment 섹션, Figure 7). 이는 시뮬레이션에서 생성된 Allegro 궤적이 현실 하드웨어로도 이식 가능함을 시사합니다.
속도·효율
- 전체 SPIDER 파이프라인(가상 접촉 안내 포함)은 annealed-only보다 다소 느리지만(예: 전체 방법의 대표적 FPS는 논문에서 2.5Hz 등으로 보고됨), RL 기반 대안에 비해 훨씬 빠르게 대규모 데이터 생성이 가능합니다. Allegro 전용 FPS는 표에 직접 제시되지는 않지만 전체 손들 중에서도 실용적 생성 속도를 유지합니다.

권장되는 후속 분석(연구/실험)

Allegro의 실패 사례 분석: Oakink에서 실패가 집중되는 특정 프리그립/초기 접촉 패턴을 파악하면 virtual-contact 조건이나 필터링(tc,min, dc,max)을 개선할 수 있습니다.
센서 보강 실험: Allegro에 촉각(또는 예측된 접촉 토크) 정보를 결합하면 접촉 안정성·이식성이 더 좋아질 가능성이 큽니다.
sim-to-real 차이 정량화: Allegro 실제 배포에서 실패 원인을 마찰계수·무게추 오차·모델링 편차별로 분해해 로버스트화 집합 D를 재설계하면 배포 성공률을 높일 수 있습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

사람의 모션캡처 데이터를 물리 시뮬레이션 안에서 “대규모 샘플링 + 가상 접촉 가이드”로 정제하여, 9종의 로봇 × 6개 데이터셋에 걸쳐 동역학적으로 실행 가능한 궤적을 생성하는 범용 리타게팅 프레임워크.

서론: 왜 이 문제가 중요한가

로봇 손으로 물건을 집고, 돌리고, 옮기는 일—이른바 Dexterous Manipulation—을 학습시키려면 대규모 시연 데이터가 필요합니다. 그런데 로봇 하드웨어로 직접 데이터를 모으는 건 비용이 어마어마합니다. 반면 사람의 손 동작 데이터는 모션캡처, 비디오, VR 등으로 이미 넘쳐납니다.

문제는 체현 격차(Embodiment Gap)입니다. 사람 손에는 27개의 자유도(DoF)가 있지만, Allegro Hand는 16개, Schunk Hand는 7개뿐이죠. 손가락 길이도, 관절 배치도, 힘을 내는 방식도 다릅니다. 그래서 사람이 컵을 잡는 동작을 그대로 로봇에 넣으면 물리적으로 불가능한 동작이 됩니다—손가락이 물체를 관통하거나, 접촉이 형성되지 않거나, 공중에서 물체가 떠 있는 “유령 그립” 현상이 생기죠.

기존 접근법들의 한계를 정리하면 이렇습니다:

접근법	장점	한계
역기구학(IK) 기반	빠르고 간단	동역학 무시, 접촉 부정확
강화학습(RL) 기반	물리적 타당성 확보	궤적마다 학습 필요, 느림
텔레오퍼레이션	실시간, 동역학 반영	노동집약적, 체현 종속적
신경망 기반	추론 빠름	OOD 모션에 취약, 사전학습 필요

SPIDER는 이 스펙트럼에서 RL의 물리적 타당성과 최적화 기반 방법의 효율성을 동시에 잡겠다는 야심찬 목표를 제시합니다. 핵심 통찰은 단순하면서도 강력합니다:

“사람 데이터는 무엇을 할지(task structure)를 알려주고, 물리 시뮬레이션 안에서의 대규모 샘플링이 어떻게 할지(dynamical feasibility)를 찾아준다.”

방법론: SPIDER의 핵심 아이디어

전체 파이프라인 개관

SPIDER의 파이프라인은 크게 네 단계로 구성됩니다. 전체 흐름을 먼저 도식으로 살펴보겠습니다.

flowchart LR
    A["🧑 사람 모션 데이터<br>(MoCap / Video / VR)"] --> B["1️⃣ 기구학 리타게팅<br>(Inverse Kinematics)"]
    B --> C["2️⃣ 물리 기반 샘플링<br>(Annealed Sampling<br>+ Contact Guidance)"]
    C --> D["3️⃣ 궤적 강건화<br>(Robustification)"]
    D --> E["4️⃣ 데이터 증강<br>(Physics-based<br>Augmentation)"]
    E --> F["🤖 로봇 실행 가능 궤적<br>/ 정책 학습 데이터"]

    style A fill:#e1f5fe
    style F fill:#e8f5e9
    style C fill:#fff3e0

논문 Figure 2 설명 (Pipeline Overview): 논문의 Figure 2는 이 파이프라인을 시각적으로 보여줍니다. 왼쪽에서 재구성된 물체 메시와 참조 로봇/물체 모션이 입력되고, 가운데에서 물리 시뮬레이션 기반 샘플링과 가상 접촉 가이드가 적용되며, 오른쪽에서 동역학적으로 실행 가능한 궤적이 출력됩니다.

물리 기반 리타게팅 문제 정의

SPIDER는 리타게팅을 제약 최적화 문제로 공식화합니다. 이 공식화를 직관적으로 이해해 봅시다.

로봇의 제어 입력 시퀀스 u_{0:T-1}을 찾아서, 참조 궤적 x_{0:T}^{\text{ref}}과의 거리와 제어 노력을 최소화합니다:

\min_{u_{0:T-1}} J(u_{0:T-1}) = \|x_T - x_T^{\text{ref}}\|_{Q_T}^2 + \sum_{t=0}^{T-1}\left(\|x_{t+1} - x_{t+1}^{\text{ref}}\|_{Q_t}^2 + \|u_t\|_{R_t}^2\right)

여기서 핵심적인 제약 조건은:

x_{t+1} = f(x_t, u_t, t) \quad \text{(물리 법칙에 의한 상태 전이)}

이걸 일상 비유로 풀면 이렇습니다. 여러분이 춤 동영상을 보고 따라 하려 한다고 합시다. 동영상 속 댄서(사람 데이터)의 포즈를 최대한 비슷하게 따라 하되(Q_t 항), 힘들게 움직이지 않으면서(R_t 항), 물리 법칙을 어기지 않는 동작을 찾아야 합니다. 벽을 관통하거나, 공중에 떠서는 안 되죠. 여기서 Q_t는 “얼마나 원본과 비슷해야 하는지”, R_t는 “얼마나 부드럽게 움직여야 하는지”를 조절하는 가중치입니다.

상태 x_t^{\text{ref}}는 로봇의 관절 위치와 물체의 SE(3) 포즈를 모두 포함합니다. 이것이 중요한 이유는, SPIDER가 로봇 동작뿐 아니라 물체의 움직임까지 동시에 추적하기 때문입니다.

샘플링 기반 최적화: 왜 샘플링인가?

접촉이 풍부한(contact-rich) 문제에서 비용 함수 J의 지형은 매우 울퉁불퉁합니다. 미분이 불연속이고, 접촉 모드가 바뀌면 비용이 갑자기 점프합니다. 그래디언트 기반 최적화가 제대로 작동하기 어려운 환경이죠.

SPIDER는 Model Predictive Path Integral (MPPI) 계열의 샘플링 기반 최적화를 채택합니다. 직관적으로 설명하면:

현재 제어 시퀀스 U^i에 가우시안 노이즈를 더해 N_W개의 후보 궤적을 만듭니다
각 후보를 물리 시뮬레이터에서 병렬 롤아웃합니다
비용이 낮은 후보에 더 높은 가중치를 부여하여 다음 제어 시퀀스를 업데이트합니다

U^{i+1} = U^i + \frac{\sum_{j=1}^{N_W} \exp\left(-\frac{J(U^i + [W]_j)}{\lambda}\right)[W]_j}{\sum_{j=1}^{N_W} \exp\left(-\frac{J(U^i + [W]_j)}{\lambda}\right)}

여기서 \lambda는 온도 파라미터로, 낮을수록 최저 비용 샘플에 집중합니다. 이건 RL과 비슷한 점이 있습니다—둘 다 시뮬레이션에서 샘플링한 궤적으로 의사결정을 합니다. 하지만 결정적 차이가 있습니다: RL은 정책 네트워크를 업데이트하고, SPIDER는 제어 시퀀스를 직접 최적화합니다. 네트워크 학습이 필요 없으니 훨씬 빠릅니다.

어닐링(Annealing) 전략: 탐색에서 착취로

SPIDER의 핵심 기여 중 하나는 어닐링 커널(Annealed Kernel)입니다. 샘플링 노이즈의 공분산을 시간에 따라 줄여가는 전략입니다:

\Sigma_h^i = \exp\left(-\frac{N-i}{\beta_1 N} - \frac{H-h}{\beta_2 H}\right) I

두 개의 축으로 어닐링합니다:

\beta_1 (반복 축): 최적화 반복이 진행될수록 탐색 반경을 줄입니다. 초반에는 넓게 탐색하고, 후반에는 좋은 해 근처를 세밀하게 다듬습니다.
\beta_2 (시간 축): 예측 시간 축을 따라 노이즈를 조절합니다. 가까운 미래는 정밀하게, 먼 미래는 넓게 탐색합니다.

이것은 금속의 어닐링(풀림) 과정과 정확히 같은 원리입니다. 뜨거울 때(큰 노이즈)는 원자들이 자유롭게 움직이며 전체 에너지 지형을 탐색하고, 천천히 식히면(작은 노이즈) 가장 안정적인 결정 구조에 수렴합니다. 표준 MPPI가 고정된 온도에서 샘플링하는 것과 대비됩니다.

graph TD
    subgraph "표준 MPPI"
        A1["고정 탐색 반경"] --> B1["높은 분산"]
        B1 --> C1["수렴 실패 가능"]
    end
    subgraph "어닐링 샘플링"
        A2["큰 반경으로 시작"] --> B2["점진적 축소"]
        B2 --> C2["정밀 수렴"]
    end
    subgraph "어닐링 + 접촉 가이드 (SPIDER)"
        A3["큰 반경 + 가상 힘"] --> B3["실현 가능 영역 확장"]
        B3 --> C3["올바른 접촉 모드로 수렴"]
    end

    style C1 fill:#ffcdd2
    style C2 fill:#fff9c4
    style C3 fill:#c8e6c9

가상 접촉 가이드: SPIDER의 비밀 무기

여기가 이 논문에서 가장 창의적인 부분입니다.

문제: 같은 물체를 잡는 데에도 여러 접촉 모드(contact mode)가 존재합니다. 논문의 Figure 3에서 막대를 잡는 예시를 보면, 엄지-검지 사이로 잡을 수도 있고 검지-중지 사이로 잡을 수도 있습니다. 둘 다 물체를 움직이는 데 성공하지만, 사람의 원래 의도와 다른 접촉 모드로 수렴하면 자연스럽지 않은 동작이 됩니다.

해결: SPIDER는 가상 힘(virtual force)을 도입합니다. 로봇 손가락의 의도된 접촉점과 물체 사이에 “보이지 않는 스프링”을 달아서, 초기에는 물체를 원하는 접촉점에 “붙여놓고”, 점차 이 힘을 풀어줍니다.

수학적으로, k번째 접촉 쌍에 대해:

c_{k,t} \cdot \|{}^{\text{robot}}p_{k,t}^{\text{object}} - {}^{\text{robot}}p_{k,t}^{\text{object,ref}}\|_2^2 \leq \eta_i

여기서:

c_{k,t}는 접촉 지시자 (참조에서 접촉이 일어나는 시점에만 활성화)
{}^{\text{robot}}p_{k,t}^{\text{object}}는 로봇 손가락과 물체 사이의 상대 위치
\eta_i \to \infty (i \to N)는 커리큘럼 스타일로 제약을 완화

이걸 비유하자면 이렇습니다. 자전거를 처음 배울 때 보조 바퀴를 달아두고, 균형 감각이 생기면 보조 바퀴를 떼는 것과 같습니다. 처음에는 “물체가 이 손가락에 붙어있어야 해”라는 강한 제약을 걸고, 최적화가 올바른 접촉 모드 근처에 도달하면 제약을 풀어서 자연스러운 물리 기반 접촉으로 전환합니다.

기존의 접촉 비용(contact cost)과의 차이가 중요합니다. 단순히 비용에 접촉 페널티를 추가하는 것은 실현 가능 영역(feasible set)을 바꾸지 않습니다—그저 비용 지형의 기울기를 바꿀 뿐이죠. SPIDER의 가상 접촉 가이드는 물리적으로 실현 가능 영역 자체를 확장합니다. 가상 힘이 물체를 원하는 위치에 잡아두므로, 올바른 접촉 모드의 “유역 분지(basin of attraction)”가 커지는 효과가 있습니다.

불완전한 참조에 대한 강건성: 현실의 모션캡처 데이터는 노이즈가 많습니다. 접촉이 너무 짧거나(< t_{c,\min}) 접촉점이 크게 이동하는 경우(> d_{c,\max}) 불안정한 접촉으로 분류하여 가상 제약을 비활성화합니다. 이는 노이즈가 최적화를 오염시키는 것을 방지하는 안전장치입니다.

궤적 강건화(Robustification)

시뮬레이션과 현실 사이의 격차(sim-to-real gap)를 다루기 위해, SPIDER는 비관적(pessimistic) 최적화를 수행합니다:

J_{\text{rob}}(U) = \max_{d \in \mathcal{D}} J(U, d)

여기서 \mathcal{D}는 접촉 마진, 마찰 계수, 물체 질량 등의 물리 파라미터 변동 범위입니다. 일반적인 도메인 랜덤화(DR)가 기대값을 최소화하는 것과 달리, SPIDER는 최악의 경우를 최소화합니다.

이것을 직관적으로 이해하면, 보통의 DR이 “평균적으로 잘 되는 제어”를 찾는다면, SPIDER의 강건화는 “어떤 상황에서도 최소한 이 정도는 되는 제어”를 찾습니다. 미니배치 d_{1:K}에서 가장 나쁜 비용을 사용하여 업데이트하므로, 결과 궤적이 다양한 물리 조건에서도 실행 가능합니다.

물리 기반 데이터 증강

SPIDER의 또 다른 장점은 단일 시연으로부터 다양한 물리적 변형을 생성할 수 있다는 점입니다:

mindmap
  root((데이터 증강))
    기하학적 변형
      물체 크기 변경
      물체 메시 교체
      초기 포즈 변동
      지형 변경: 평지→계단
    물리적 변형
      외력 인가: 120N, 240N
      마찰 계수 변경
      물체 질량 변경

특히 인상적인 예시는 물체 메시 교체입니다. 콜라병을 잡는 동작의 물체를 고양이 장난감으로 바꾸면, SPIDER가 자동으로 새로운 물체에 맞는 파지 전략을 찾아냅니다. 또한 평지 달리기 동작에 계단 지형을 추가하면, 새로운 접촉 패턴이 필요한 계단 오르기 동작으로 변환됩니다—이는 순수 기구학 리타게팅으로는 불가능한 일입니다.

실험: 숫자가 말하는 것들

실험 설정

SPIDER의 실험 규모는 상당히 인상적입니다:

범주	구성
Dexterous Hand	Allegro, XHand, Inspire, Ability, Schunk (5종)
Humanoid	Unitree G1, H1-2, Fourier N1, Booster T1 (4종)
손 조작 데이터셋	GigaHands, OakInk, ARCTIC
휴머노이드 데이터셋	LAFAN1, AMASS, OMOMO
총 데이터 규모	1,262 에피소드, 2.4M 프레임, 103종 물체

논문 Figure 5 설명: 평가에 사용된 9종 로봇의 사양을 보여줍니다. Dexterous hand는 DoF가 7(Schunk)부터 16(Allegro)까지, 손가락 수가 3개(Schunk)부터 5개(XHand)까지 다양합니다. 이 폭넓은 변이가 SPIDER의 교차-체현(cross-embodiment) 일반성을 보여줍니다.

평가 지표:

물체 회전 오차 E_{\text{rot}}: 스텝별 평균 쿼터니언 오차
물체 위치 오차 E_{\text{pos}}: 스텝별 평균 위치 오차
성공 기준: E_{\text{rot}} < 0.5 rad 그리고 E_{\text{pos}} < 3 cm
FPS (Frames Per Second): 궤적 생성 속도

Ablation Study: 각 구성 요소의 기여

논문의 Table 1은 각 기법의 점진적 효과를 보여줍니다. 아래는 Allegro Hand에서의 결과를 예시로 정리한 것입니다:

방법	OakInk 성공률	GigaHands 성공률
기구학 리타게팅 (IK만)	0.13	0.00
표준 샘플링 (MPPI)	0.40	0.40
어닐링 샘플링	0.70	0.80
어닐링 + 접촉 가이드 (SPIDER)	1.00	1.00

이 결과에서 읽을 수 있는 핵심 메시지들:

IK만으로는 부족합니다. 특히 GigaHands에서는 성공률이 0%입니다. 기구학적으로 매핑한 궤적은 물리적으로 실행 불가능한 경우가 대부분입니다.
물리 시뮬레이션이 큰 폭의 개선을 가져옵니다. 표준 MPPI만으로도 IK 대비 크게 향상됩니다.
어닐링이 핵심적인 역할을 합니다. 고정 탐색 반경 대비, 어닐링 전략이 약 30%p의 성공률 향상을 가져옵니다.
접촉 가이드가 마지막 퍼즐 조각입니다. 어닐링 기반 대비 평균 약 18%의 추가 개선입니다. 특히 정밀한 초기 접촉이 필요한 OakInk 작업에서 효과가 두드러집니다.

전체 데이터셋에 걸친 패턴을 보면, 접촉 가이드의 효과는 로봇마다 다릅니다. 자유도가 높은 손(Allegro, XHand)에서는 어닐링만으로도 상당히 좋은 성과를 보이지만, 자유도가 낮은 손(Ability)에서는 접촉 가이드의 추가 효과가 상대적으로 작습니다. 이는 자유도가 적을수록 실현 가능한 접촉 모드 자체가 제한적이기 때문으로 해석됩니다.

대규모 리타게팅 결과

전체 데이터셋에 대한 성공률 (Table 2):

데이터셋	궤적 수	Ability	Allegro	Inspire	Schunk	XHand
OakInk	1,022	0.413	0.459	0.479	0.431	0.422
GigaHands	756	0.741	0.810	0.879	0.706	0.812

데이터셋 간 차이 해석: GigaHands가 OakInk보다 성공률이 높은 이유는 작업 특성 차이 때문입니다. GigaHands는 집어-놓기(pick-and-place) 동작이 주를 이루어 리타게팅에 유리한 반면, OakInk은 물체가 이미 잡힌 상태(pre-grasped)에서 시작하므로 정밀한 초기 접촉 구성이 필수적입니다.

로봇 간 차이 해석: Inspire Hand(12 DoF, 5손가락)가 전반적으로 가장 높은 성공률을 보입니다. 자유도가 높을수록 다양한 파지 전략을 구사할 수 있어 리타게팅이 수월합니다.

SOTA 비교: 속도와 품질의 트레이드오프

Table 3에서 RL 기반 방법과의 비교가 흥미롭습니다:

방법	데이터셋	성공률	FPS
SPIDER	OakInk	47.9%	2.5
ManipTrans (RL)	OakInk	39.5%	0.1
SPIDER	ARCTIC	42.0%	1.5
DexMachina (RL)	ARCTIC	67.1%	0.05

이 결과를 어떻게 읽어야 할까요?

OakInk에서는 SPIDER가 더 높은 성공률과 25배 빠른 속도를 달성합니다. ManipTrans 대비 성공률 +8.4%p, 속도 25×.
ARCTIC에서는 DexMachina가 성공률은 더 높지만, SPIDER가 30배 빠릅니다. ARCTIC은 양손 조작과 같은 복잡한 작업을 포함하므로, RL의 탐색 능력이 유리합니다.

핵심적인 통찰은 이것입니다: SPIDER는 “궤적별 학습”이 필요 없는 직접 최적화 방식이므로, 대규모 데이터셋 전체를 처리하는 데 RL 대비 10배 이상 빠릅니다. 1,022개 궤적에 대해 SPIDER는 합리적 시간 안에 전체 리타게팅이 가능하지만, RL은 각 궤적마다 정책을 학습해야 하므로 계산 비용이 기하급수적으로 증가합니다.

실제 로봇 배포 결과

논문 Figure 7 설명: Franka Emika Panda + Allegro Hand 시스템에서의 오픈루프 실행 결과를 보여줍니다. 전구 돌리기, 숟가락 집기, 기타 연주, 충전기 뽑기 등 정밀한 손가락 협응이 필요한 작업을 추가 적응 없이 성공적으로 수행합니다.

이는 가상 제약으로 시뮬레이션에서 최적화한 궤적이 강건화(robustification) 단계만으로 실제 하드웨어에 직접 전이될 수 있음을 보여주는 중요한 결과입니다.

휴머노이드 리타게팅 결과

SPIDER는 Dexterous hand뿐만 아니라 휴머노이드 전신 제어에도 적용됩니다:

데이터셋	방법	관절 오차(°)	위치 오차(cm)	방향 오차(°)	FPS
LAFAN1	GMR	1.08	2.01	2.40	35.2
LAFAN1	SPIDER	0.58	0.11	0.07	23.1
AMASS	GMR	6.2	4.1	18.7	37.2
AMASS	SPIDER	0.75	0.23	0.08	22.0

SPIDER가 추적 오차에서 압도적으로 우수합니다. 특히 AMASS에서 방향 오차가 18.7°에서 0.08°로, 200배 이상 개선됩니다. 이는 물리 시뮬레이션이 발 미끄러짐(foot sliding)이나 바닥 관통(floor penetration) 같은 기구학적 아티팩트를 효과적으로 제거하기 때문입니다.

다만 FPS에서는 GMR이 더 빠릅니다(35~37 vs 19~23). 이는 물리 시뮬레이션 기반 최적화의 본질적인 계산 비용 때문이지만, SPIDER의 FPS는 여전히 실시간에 가깝습니다.

RL 정책 학습 가속

논문 Figure 10 설명: OMOMO 데이터셋에서 휴머노이드가 상자를 집어 바닥에 놓는 작업의 RL 학습 곡선을 보여줍니다.

SPIDER가 생성한 궤적으로 RL을 학습할 때의 핵심은 잔차 학습(residual learning)입니다:

u_t = u_t^{\text{SPIDER}} + \pi_\theta(o_t)

SPIDER가 명목(nominal) 제어 u_t^{\text{SPIDER}}를 제공하고, RL 정책은 편차를 보정하는 잔차 항 \pi_\theta(o_t)만 학습하면 됩니다. 원본 사람 모션으로 직접 학습하면 로봇이 물체 접촉에 실패하여 body tracking만 달성하지만, SPIDER 궤적으로 학습하면 더 빠르게 수렴하고 물체 추적 성능도 우수합니다.

비판적 고찰

강점

1. 체현 불가지론적 설계(Embodiment-Agnostic Design)

9종의 로봇(5종 손 + 4종 휴머노이드)에 걸쳐 동일한 프레임워크가 작동합니다. 로봇별 보상 함수 설계나 커리큘럼 튜닝이 필요 없다는 점은 실무적으로 큰 장점입니다. Allegro Hand를 쓰다가 XHand로 바꿔도, SPIDER 파이프라인 자체를 수정할 필요가 없습니다.

2. 확장성과 효율성의 균형

RL 대비 10배 빠른 궤적 생성 속도는 대규모 데이터셋 처리를 가능케 합니다. 2.4M 프레임 규모의 데이터셋 생성은 RL 기반 방법으로는 현실적으로 어려웠을 것입니다. MuJoCo Warp의 GPU 병렬 시뮬레이션을 활용하여 10-20배 가속을 달성한 점도 실용성을 높입니다.

3. 가상 접촉 가이드의 우아함

실현 가능 영역을 확장한다는 아이디어는 단순히 비용을 추가하는 것보다 근본적인 해결책입니다. 커리큘럼 방식의 점진적 완화는 이론적으로도 깔끔하고, 실험적으로도 효과적입니다.

4. 완전한 파이프라인 제공

단일 RGB 카메라 → 3D 재구성 → 리타게팅 → 실제 로봇 배포까지의 전체 파이프라인을 보여준 점, 그리고 코드를 공개한 점은 재현성과 실용성 면에서 높이 평가할 만합니다.

약점 및 한계

1. 복잡한 양손 조작에서의 성능 격차

ARCTIC 데이터셋에서 DexMachina 대비 25%p 낮은 성공률(42% vs 67.1%)은 SPIDER의 한계를 보여줍니다. 양손 협응이 필요한 복잡한 작업에서는 RL의 탐색 능력이 여전히 우위입니다. SPIDER의 샘플링이 국소 최적에 빠지기 쉬운 상황으로 해석됩니다.

2. 오픈루프 실행의 근본적 한계

Dexterous hand에서의 실로봇 결과가 오픈루프라는 점은 주의가 필요합니다. 실제 환경에서는 물체의 미끄러짐, 예상치 못한 접촉 등에 대한 피드백이 필수적입니다. 논문도 이를 인지하고 RL 잔차 학습을 제안하지만, 그 결과는 휴머노이드에 한정되어 있습니다. Dexterous hand에서의 클로즈드 루프 정책 학습 결과가 없는 점은 아쉽습니다.

3. 입력 데이터 품질 의존성

SPIDER의 성능은 3D 재구성 품질에 상당히 의존합니다. 논문 스스로도 이를 인정하고 있습니다. 노이즈가 심한 메시나 모션은 최적화를 오염시킬 수 있으며, 접촉 필터가 이를 완화하지만 완전히 해결하지는 못합니다.

4. 하이퍼파라미터 민감도 분석 부재

\beta_1, \beta_2, \lambda, \eta_i, \epsilon_{\text{contact}}, t_{c,\min}, d_{c,\max} 등 다수의 하이퍼파라미터가 존재하지만, 이들의 민감도 분석이 충분하지 않습니다. “로봇별 추가 튜닝 없이” 작동한다고 주장하지만, 최적의 파라미터 설정이 로봇/작업에 따라 달라지는지 여부가 불분명합니다.

5. 성공률의 절대적 수준

OakInk 전체 데이터셋에서 최고 성공률이 47.9%(Inspire)라는 점은, 실무 적용 관점에서 절반 이상의 궤적이 실패한다는 의미입니다. 물론 이는 대규모 데이터셋에서의 결과이고, 실패 궤적은 필터링하여 사용할 수 있지만, 여전히 개선의 여지가 큽니다.

Allegro Hand 연구자를 위한 시사점

SPIDER가 Allegro Hand를 포함한 5종의 로봇 손에서 평가를 수행한 만큼, 몇 가지 실질적 시사점을 짚어보겠습니다:

데이터 생성 파이프라인으로 활용: Allegro Hand 연구에서 학습 데이터 부족 문제를 겪고 있다면, SPIDER를 통해 공개 사람 손 데이터셋(OakInk, GigaHands)으로부터 Allegro 전용 궤적 데이터를 대량 생성할 수 있습니다.
RL 학습 가속: SPIDER 궤적을 명목 제어로 사용한 잔차 RL 학습은 보상 설계와 커리큘럼 설계의 부담을 크게 줄여줍니다.
Sim-to-Real 가능성: 강건화 단계를 거친 궤적이 실제 로봇에서 오픈루프로 실행 가능하다는 결과는, 실전 배포를 고려하는 연구자에게 유용한 레퍼런스입니다.
16 DoF의 이점: Allegro Hand는 16 DoF로 평가된 손들 중에서 높은 축에 속하며, 이에 따라 리타게팅 성공률도 양호합니다. 자유도가 적은 손에서는 성능이 제한될 수 있음을 감안해야 합니다.

요약 및 결론

SPIDER는 “사람의 손짓을 로봇의 손짓으로 어떻게 바꿀 것인가?”라는 근본적인 질문에 대해, 물리 시뮬레이션 기반 대규모 샘플링이라는 깔끔한 답을 제시합니다.

핵심 기여를 세 가지로 요약하면:

가상 접촉 가이드: 실현 가능 영역을 확장하여 올바른 접촉 모드로의 수렴을 유도하는 커리큘럼 기법. 성공률 18% 향상.
확장성: 9종 로봇 × 6개 데이터셋에 걸친 범용성. RL 대비 10배 빠른 궤적 생성. 2.4M 프레임 데이터셋 생성.
실용성: 단일 RGB 카메라부터 실제 로봇 배포까지의 완전한 파이프라인. 코드 공개.

열린 질문들도 남아 있습니다. 복잡한 양손 조작에서의 성능 개선, 클로즈드 루프 정책으로의 확장, 입력 데이터 품질에 대한 강건성 향상 등은 후속 연구의 방향이 될 것입니다. 그럼에도 SPIDER는 “인터넷 규모의 사람 데이터를 로봇 학습에 활용하겠다”는 비전에 한 걸음 더 가까이 다가간 의미 있는 연구입니다.

시뮬레이션 안에서 수천 번의 시도를 통해 물리 법칙에 맞는 답을 찾아가는 SPIDER의 접근은, 마치 자연이 진화를 통해 최적의 해를 찾아가는 과정과 닮아 있습니다. 다만 자연보다 훨씬 빠르게요.

참고 정보

논문: Chaoyi Pan, Changhao Wang, Haozhi Qi, Zixi Liu, Homanga Bharadhwaj, Akash Sharma, Tingfan Wu, Guanya Shi, Jitendra Malik, Francois Hogan. “SPIDER: Scalable Physics-Informed Dexterous Retargeting.” arXiv:2511.09484, 2025.
소속: FAIR at Meta, Carnegie Mellon University
프로젝트 페이지: https://jc-bao.github.io/spider-project
코드: https://github.com/facebookresearch/spider
지원 시뮬레이터: MuJoCo Warp (기본), Genesis
다운스트림 통합: HDMI (휴머노이드), DexMachina (Dexterous hand RL)