📃Do as I Do

dexterous-manipulation

human-video

retargeting

data-generation

sim2real

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

Published

June 18, 2026

🤖 DO AS I DO는 일반적인 단일 시점 RGB 영상에서 손과 물체의 상호작용을 3D로 재구성한 뒤, 이를 다지형 로봇 손이 수행할 수 있는 동작으로 변환하는 알고리즘을 제안합니다.
🚀 제안된 방식은 SAM 3D와 Guided Diffusion을 활용하여 복잡한 환경의 영상에서도 정교하게 물체 상태를 추적하고, 동역학 기반의 최적화 기법을 통해 로봇의 물리적 제약 조건을 충족하는 안정적인 조작 궤적을 생성합니다.
📈 실험 결과, 본 프레임워크는 기존 상태 기술(SOTA) 대비 뛰어난 재구성 성능을 보였으며, 실제 로봇 환경에서 다양한 dexterous manipulation 과업을 성공적으로 수행함으로써 대규모 데이터 확보를 위한 실용적인 파이프라인을 구축했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 일상적인 단안 RGB(monocular RGB) 인간 동영상으로부터 복잡한 다지(multi-fingered) 로봇의 조작 데이터를 생성하기 위한 알고리즘인 DO AS I DO를 제안합니다. 이 프레임워크는 인간의 관찰 데이터를 로봇이 실행 가능한 경험적 데이터로 변환함으로써, 로봇 학습에 필요한 데이터 확보의 병목 현상을 해결하고자 합니다.

핵심 방법론

1. 재구성(Reconstruction):

인간의 손과 물체의 상호작용을 3D로 복원하기 위해 HaWoR(Hand tracking)과 SAM 3D(Object meshing)를 활용합니다. 특히 가려짐(occlusion)이나 해상도 저하가 빈번한 인터넷 동영상에서 물체 추적의 강건성을 확보하기 위해 ‘Guided Diffusion’ 기법을 도입했습니다.

Guided Diffusion 기반 물체 추적: 물체의 형태(shape)를 고정하고 이전 프레임의 포즈(xp_{k-1})를 참조하여 현재 프레임의 포즈(xp_k)를 예측합니다. 이때, 모델의 ODE 업데이트 과정에서 다음 식과 같이 물리적 가이드를 결합합니다: xs_t = (1 - \alpha_s)(xs_{t-\Delta} + \Delta vs_{\theta}) + \alpha_s zs_{ref}(t) xp_t = (1 - \alpha_p)(xp_{t-\Delta} + \Delta vp_{\theta}) + \alpha_p zp_{ref}(t)
Adaptive Guidance: 포인트 추적기(BootsTAPIR)를 통해 물체의 회전 속도를 계산하고, 이를 기반으로 포즈 가이드 강도 \alpha_p를 동적으로 설정하여 추적의 안정성을 높입니다.
정렬(Alignment): 손과 물체의 스케일 차이를 해결하기 위해 MoGe로 추정된 깊이 정보를 활용하여 손과 물체의 중심(centroid)을 기준으로 지표 단위(metric unit)의 4D 궤적을 산출합니다.

2. 재대상화(Retargeting):

복원된 노이즈 섞인 인간의 궤적을 로봇의 물리적 환경으로 이전하기 위해 물리 시뮬레이션 내에서 샘플링 기반 최적화(MPPI-style optimization)를 수행합니다.

Warmup Steps: 최적화 초기 프레임의 노이즈 문제를 해결하기 위해 시뮬레이션 내에 ‘Warmup’ 단계를 추가하여 로봇이 실제 조작을 시작하기 전 물체와의 정렬을 조정하게 합니다.
Random Force Perturbation: 다양한 외부 힘을 가해 rollouts을 샘플링함으로써, 좁은 지역 최적해에 빠지지 않고 로봇이 물리적으로 강건한 제어 전략을 학습하도록 유도합니다.
Transition Reward: 물체를 잡거나 놓는 중요한 전환점에서의 성공률을 높이기 위해, 손-물체 간 접촉 여부를 평가하는 페널티 항을 추가하여 단계적 상호작용을 강화합니다.

주요 성과 및 결론

DO AS I DO는 기존의 SOTA 모델보다 손-물체 복원 성능이 우수함을 DexYCB 및 HOI4D 벤치마크를 통해 입증했습니다. 또한, 인터넷, 자아 중심(egocentric), 생성형 모델 동영상을 포함한 다양한 소스에서 500개 이상의 조작 궤적을 성공적으로 추출했으며, 실제 bimanual 로봇 환경에서 10가지 이상의 복잡한 조작 태스크를 수행하는 데 성공했습니다. 마지막으로, 저자들은 인터넷 데이터의 품질을 선별하는 ’Efficacy Playbook’을 제시하며, 단순히 대규모 데이터를 수집하는 것보다 정교한 필터링이 데이터 효율성을 극대화함을 보여주었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

능숙 조작(dexterous manipulation)의 발목을 잡는 것은 알고리즘이 아니라 데이터 입니다.

사람 손 닮은 다지 플랫폼 은 자유도가 높아, 텔레오퍼레이션·모션캡처로 데이터를 모으는 비용이 막대합니다. 특수 장갑·마커·스튜디오가 필요하고, 작업·물체마다 새로 수집해야 합니다.
반면 인터넷·자기중심 영상 에는 사람이 컵을 들고, 뚜껑을 돌리고, 도구를 쓰는 장면이 사실상 무한히 존재합니다. 문제는 이 평범한 RGB 영상이 로봇이 바로 쓸 수 있는 형태가 아니라는 것 입니다 — 3D도, 물리적으로 타당한 궤적도, 로봇 임베디먼트로의 매핑도 없습니다.

저자들이 던지는 질문은 명확합니다. “특수 장비 없는 일상의 단안 RGB 영상만으로, 다지 능숙 손이 실제로 실행할 수 있는 ‘로봇-완결(robot-complete)’ 조작 데이터를 뽑아낼 수 있는가?”

여기엔 두 개의 큰 간극이 있습니다. 첫째 지각 간극 — 단안 영상에서 손과 물체의 3D 포즈를 시간에 걸쳐 일관되게 복원하기. 둘째 임베디먼트 간극 — 사람 손의 운동학적 궤적을, 형태가 다른 로봇 손이 물리적으로 타당하게 실행하도록 옮기기. Do as I Do는 이 둘을 각각 복원(reconstruction) 과 리타겟팅(retargeting) 으로 분리해 공략합니다.

이 논문의 한 줄 요약: SAM 3D를 guided diffusion 비디오 트래커 로 재활용해 단안 RGB에서 손-물체 4D를 복원하고, SPIDER 기반에 warmup·랜덤 힘·전이 보상 을 더한 동역학 인지 리타겟팅으로 로봇-완결 궤적을 만든다 — 특수 장비 없이 일상 영상에서 능숙 조작 데이터를 대규모로.

flowchart LR
    subgraph REC["1 복원 (Reconstruction)"]
        VID["단안 RGB 영상<br/>(인터넷/ego/생성)"]
        HAND["HaWoR<br/>손 포즈 추적"]
        OBJ["SAM 3D<br/>단일 프레임 메시"]
        TRACK["guided diffusion 트래커<br/>flow matching 포즈 추적<br/>+ SE(3) 클러스터 선택"]
        ALIGN["정렬<br/>centroid + 최소제곱<br/>+ GeoCalib 중력"]
        VID --> HAND
        VID --> OBJ --> TRACK
        HAND --> ALIGN
        TRACK --> ALIGN
    end
    subgraph RET["2 리타겟팅 (Retargeting)"]
        SPIDER["SPIDER 기반<br/>MPPI 샘플링 최적화"]
        W["+ warmup 단계"]
        F["+ 랜덤 힘 섭동"]
        T["+ 전이 보상"]
        SPIDER --- W --- F --- T
    end
    ALIGN --> SPIDER
    T --> ROB["로봇-완결 데이터<br/>UR3e + Sharpa Wave 22-DoF"]

방법

전체는 복원 → 리타겟팅 의 2단계입니다. 복원은 “단안 RGB에서 시간 일관된 손-물체 4D”를, 리타겟팅은 “그 궤적을 로봇이 물리적으로 실행 가능하게”를 책임집니다.

1단계: 손-물체 복원

손 추적. HaWoR 를 그대로 사용합니다. in-the-wild 영상에서도 수정 없이 합리적인 손 포즈를 냅니다.

물체 — 단일 프레임 생성. SAM 3D(이미지 조건부 3D 생성 foundation model)로 개별 프레임에서 물체 메시를 만듭니다.

물체 — 시간적 추적(핵심 혁신). 단순히 매 프레임 독립 생성하면 시간 일관성이 깨집니다. 저자들은 SAM 3D를 비디오 트래커로 재활용 합니다.

앵커 프레임에서 물체 형상을 고정.
flow matching 추론 으로 프레임 간 포즈 변화를 예측.
모델의 denoising 업데이트 u_\theta 와 목표 interpolant x^{\text{target}} 를 블렌딩(Eq. 1):

x_{k+1} = (1-\lambda)\, \big(x_k + u_\theta(x_k, k)\big) + \lambda\, x^{\text{target}}_k

여기서 가이드 강도 \lambda 는 고정값이 아니라 2D 포인트 추적으로 측정한 회전 속도 에서 도출합니다. 물체가 강체처럼 천천히 돌면 추적을 강하게, 빠르게 변하면 유연하게 조절합니다.

포즈 후보 선택. 프레임당 25개 포즈 후보 를 샘플링한 뒤, 가중 SE(3) 거리 로 클러스터링해 대표 포즈를 고릅니다. likelihood 기반 랭킹과 품질은 비슷하면서 최대 30배 빠릅니다.

정렬(Alignment). 손과 물체를 독립 복원했으므로 좌표계를 맞춰야 합니다. 양쪽 중심(centroid)을 계산하고, 프레임별 병진 스케일을 최소제곱 으로 풀며, GeoCalib 으로 궤적을 중력 방향에 정렬합니다.

2단계: 동역학 인지 리타겟팅

복원된 (운동학적) 손-물체 궤적은 그대로 로봇에 올리면 접촉 불안정·관통 등으로 실패합니다. SOTA 베이스라인 SPIDER 위에서 MPPI 스타일 샘플링 최적화(반복·예측 지평선 양쪽에 kernel annealing)로 동역학을 고려 한 제어를 찾습니다. 흔한 세 가지 실패 모드를 각각 한 요소로 잡습니다.

Warmup 단계. 노이즈 낀 초기화에서 손이 어색한 자세로 시작하면 추적 첫 프레임부터 실패합니다. 그래서 H 개 스텝을 앞에 붙여 물체를 (예: 공중에) 고정 한 채 손만 자유롭게 움직여 자세를 정렬한 뒤 본 추적을 시작합니다.
랜덤 힘 섭동. 불안정한 파지는 보상 지형의 지역 최소값에 갇히기 쉽습니다. 롤아웃 샘플에 랜덤 힘 을 가해, 그런 섭동에도 견디는(즉 안정적으로 잡는) 제어를 선호하게 만듭니다(sim-to-real robustness 착안).
전이(transition) 보상. 단계 전환을 유도하는 페널티입니다 — “rest”에서 물체-바닥 접촉이 없으면, “in-hand”에서 손-물체 접촉이 없으면 벌점을 줘, 들어올림·내려놓음 같은 접촉 상태 전이 를 명확히 합니다.

시뮬레이션 설정

물리 엔진: MuJoCo Warp, 0.005s 타임스텝(200Hz).
메시 처리: CoACD 볼록 분해 + 다중 접촉 안정화를 위해 2mm dilate.
최적화: 계획 스텝당 1024 샘플, 32 반복, 3초 지평선, 0.5초 계획 간격.

실험

복원 (Reconstruction)

벤치마크	지표	결과
DexYCB (160 영상)	F-5	0.71 (SOTA)
HOI4D (12 영상)	F-5	0.72 (SOTA)
In-the-wild (150 영상)	인간 선호	FoundationPose 대비 67% 선호

베이스라인은 HO·IHOI·HORSE·MCC-HO·G-HOP(joint 복원) 및 FoundationPose·Any6D(물체 트래커)입니다. Do as I Do는 손-물체 상호작용 추정과 궤적 추출 모두에서 이들을 능가합니다.

리타겟팅 (Retargeting)

성공 기준은 E_{pos} < 0.1\text{m}, E_{rot} < 0.5\text{rad} 입니다. SPIDER에 세 요소를 점진적으로 추가하며 비교합니다.

데이터	베이스라인(SPIDER)	Do as I Do
복원 데이터 (655 reference)	25%	71%
OakInk2 (1,352 clean mocap)	—	81%

복원 데이터에서 25% → 71% 의 큰 도약은, warmup·랜덤 힘·전이 보상이 노이즈 낀 실제 복원 궤적에서 특히 효과적임을 보여줍니다. 깨끗한 mocap(OakInk2)에서는 81%로 더 높아, 복원 노이즈가 남은 격차의 주원인임을 시사합니다.

실세계 배포

양팔 UR3e + Sharpa Wave 22-DoF 손 으로, 10개 작업에 걸쳐 500개 검증 궤적 을 실제 실행했습니다. 일상 RGB 영상에서 추출한 데이터가 실로봇에서 작동함을 입증합니다.

데이터 필터링 분석

인터넷 영상은 품질 편차가 큽니다. 분석 결과 100DOH 샘플 클립의 단 4%만 품질 검사를 통과해, 인터넷 소스를 쓸 때 상당한 전처리 비용 이 든다는 점을 정량적으로 드러냅니다 — 실무자에게 데이터 수집 가이드라인을 제공합니다.

비판적 고찰

강점

데이터 병목을 정면 공략. 특수 장비 없는 일상 RGB 영상에서 로봇-완결 궤적을 뽑아, 능숙 조작의 가장 큰 비용(데이터 수집)을 실질적으로 낮춥니다. 인터넷·ego·생성 영상까지 다양한 소스를 다룬 점이 확장성 측면에서 인상적입니다.
SAM 3D의 영리한 재활용. 단일 프레임 생성 모델을 guided diffusion 트래커로 바꿔 시간 일관성을 확보하고, SE(3) 클러스터링으로 30배 가속한 엔지니어링이 핵심 기여입니다. 가이드 강도를 회전 속도로 적응시킨 디테일도 실용적입니다.
세 보상 요소의 분리된 효과. warmup·랜덤 힘·전이 보상을 점진 추가하며 25%→71%의 개선을 분리 검증해, 각 요소가 어떤 실패 모드를 잡는지 명확히 했습니다.
실세계 검증 + 정직한 비용 보고. 10개 작업 500궤적 실행에 더해, 인터넷 영상의 4% 생존율을 공개해 방법의 한계와 전처리 부담을 투명하게 드러냈습니다.

약점과 한계

복원 노이즈가 상한을 결정. 복원 데이터 71% vs 깨끗한 mocap 81%의 격차는, 최종 품질이 여전히 단안 복원 정확도에 묶여 있음 을 보여줍니다. 어려운 가림(occlusion)·빠른 동작 영상에서의 견고성은 추가 검증이 필요합니다(추측).
극심한 데이터 필터링. 100DOH 클립의 4%만 통과한다는 것은, “무한한 인터넷 영상”이라는 전제가 실제로는 소수의 고품질 클립 으로 축소됨을 뜻합니다. 자동 필터링의 정밀도/재현율은 더 다뤄질 여지가 있습니다.
단일 물체 강체 가정에 가까움. 형상을 앵커 프레임에 고정하는 추적은 강체·비변형 물체에 적합하며, 변형체·다물체·관절 물체로의 일반화는 제한적일 수 있습니다(추측).
계산 비용. 프레임당 25 포즈 후보 + 1024 샘플·32 반복의 MPPI는 대규모 데이터 생성 시 상당한 연산을 요구합니다. 스케일링 시 비용-품질 트레이드오프의 정량 분석은 제한적입니다.

요약 및 결론

Do as I Do는 능숙 조작의 데이터 병목 을, 특수 장비 없는 일상의 단안 RGB 영상 에서 로봇-완결 조작 데이터를 뽑아내는 방식으로 공략합니다. 복원 단계는 HaWoR 손 추적과 SAM 3D를 재활용한 guided diffusion 비디오 트래커(flow matching + 적응형 가이드 + 30배 빠른 SE(3) 클러스터 선택)로 시간 일관된 손-물체 4D를 만들고, 리타겟팅 단계는 SPIDER 기반에 warmup·랜덤 힘 섭동·전이 보상 을 더한 동역학 인지 최적화로 물리적으로 타당한 로봇 궤적을 만듭니다.

핵심 수치로 정리하면, 복원은 DexYCB·HOI4D에서 F-5 0.71/0.72 SOTA, in-the-wild 인간 선호 67% 를 달성했고, 리타겟팅은 복원 데이터에서 25% → 71%, 깨끗한 OakInk2에서 81% 성공률을 기록했습니다. 그리고 양팔 UR3e + Sharpa Wave 22-DoF 손으로 10개 작업 500궤적 을 실세계에서 실행했습니다.

실무 관점에서 이 연구의 가치는 “평범한 인간 영상을, 다지 로봇이 실제로 실행 가능한 조작 데이터로 변환하는 확장 가능한 파이프라인” 을 제시한 데 있습니다. 복원 노이즈 의존성과 극심한 데이터 필터링(4% 생존율)이라는 한계는 분명하지만, 생성 모델 기반 4D 복원 + 동역학 인지 리타겟팅 이라는 틀은 향후 인간 영상 기반 능숙 조작 데이터 생성의 강력한 표준점이 될 것입니다.