📃DexNDM 리뷰

Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

• Paper Link

• Project Link

• Video

• Xueyi Liu, He Wang, Li Yi

1. 🤖 본 연구는 sim-to-real reality gap으로 인해 어려움이 큰 dexterous in-hand rotation에서 전례 없는 일반화 능력을 달성하는 것을 목표로 합니다.
2. 🦾 이를 위해, limited real-world data를 효과적으로 학습하고 sim policy의 actions를 조정하는 joint-wise neural dynamics model과 autonomous data collection 전략을 제안합니다.
3. ✨ DexNDM은 단일 policy로 복잡한 형상, 높은 aspect ratio, 다양한 wrist orientation을 가진 물체를 현실 세계에서 성공적으로 조작하여, teleoperation과 같은 complex dexterous tasks를 가능하게 합니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

DEXNDM: CLOSING THE REALITY GAP FOR DEXTEROUS IN-HAND ROTATION VIA JOINT-WISENEURAL DYNAMICS MODEL 논문은 dexterous in-hand rotation에서 발생하는 sim-to-real gap을 좁히기 위해 joint-wise neural dynamics model을 활용하는 새로운 접근 방식인 DexNDM을 제안합니다.

로봇 공학에서 일반화된 손안 객체 회전을 달성하는 것은 여전히 중대한 도전 과제입니다. 기존 방법들은 단순한 기하학적 형태, 제한된 객체 크기, 고정된 손목 자세, 맞춤형 하드웨어 등 제약된 시나리오에 국한되어 왔습니다. 이러한 한계의 주된 원인은 복잡하고 접촉이 많은 동역학으로 인해 발생하는 “현실-시뮬레이션(sim-to-real) 간극”입니다. 특히, dexterous manipulation에서는 분포 관련 데이터의 대량 수집이 어렵고, 치명적인 실패(예: 객체 낙하) 시 빈번한 인간 개입이 필요하며, 손으로 인한 가림으로 객체 상태 추정이 어렵다는 문제가 있습니다.

DexNDM은 이 문제를 해결하기 위해 두 가지 핵심 설계를 도입합니다.

1. 전문가-일반주의자(Specialist-to-Generalist) 정책 훈련: 먼저, 다양한 객체 카테고리(원통, 직육면체, 복잡한 형상 등)에 걸쳐 RL(Reinforcement Learning)을 통해 oracle policy를 훈련합니다. 이 oracle policy들은 풍부한 privileged observation을 활용합니다. 이후, 성공적인 oracle 궤적만을 집계하여 Behavior Cloning (BC)을 통해 단일 generalist policy를 훈련합니다. generalist policy의 관측치 o_{gen_t}는 proprioception history, 손목 방향, 회전 축 정보를 포함합니다. 이 방식은 어려운 작업에서 시뮬레이션 최적화 실패나 실제 환경에서의 성능 저하 문제를 피하면서 높은 품질의 oracle behavior를 모방하여 실제 환경에 배포 가능한 정책을 생성합니다.
2. 조인트별 신경 동역학 모델 (Joint-Wise Neural Dynamics Model): 이 모델은 현실-시뮬레이션 간극을 메우는 핵심 요소입니다.
   • 모델 설계: 기존의 “전체 손(whole-hand)” 모델과 달리, 각 조인트 i의 동역학을 개별적으로 모델링합니다. 각 조인트의 다음 상태 q^i_{t+1}는 오직 해당 조인트의 W 스텝 상태-액션 이력 h^i_t = \{q^i_j, a^i_j\}_{j=t-W+1}^t로부터 예측됩니다. 이는 q^i_{t+1} = f_{\psi^i}(h^i_t)와 같이 표현됩니다. 이 설계는 고차원적인 시스템 전반의 영향(예: 조인트 간 커플링, 작동, 객체 유발 효과)을 저차원의 “유효한(effective)” 변수로 증류하여 각 조인트의 동역학적 프로필로부터 그 진화를 암시적으로 포착하게 합니다.
   • 이론적 근거 (정보 수축을 통한 일반화): 이 모델의 핵심 강점은 정보 수축(Information Contraction)을 통해 일반화 성능을 향상시킨다는 것입니다.
     • 데이터 처리 부등식 (Data Processing Inequality for KL divergence, Theorem 3.1): 전체 시스템 상태 X = H_t와 조인트별 상태 Y = h^i_t 간의 매핑 g: X \to Y가 주어졌을 때, KL(P\|Q) \ge KL(g(P)\|g(Q))이 성립합니다. 여기서 P는 실제 환경 분포, Q는 시뮬레이션 또는 수집된 데이터 분포입니다. 특히, g가 P와 Q가 다른 상대적 구조를 가지는 지점들을 병합하는 방식으로 비단사적(non-injective)이면, 이 부등식은 엄밀하게 성립합니다 (>). 이는 고차원 정보를 저차원으로 축소할 때, 두 분포 간의 KL 발산이 줄어들어 분포 변화(distribution shift)가 완화됨을 의미합니다.
     • 일반화 간극 수축 (Generalization Gap Contraction, Theorem 3.2): KL(g(P)\|g(Q)) < KL(P\|Q)인 경우, 조인트별 모델 f_2 \circ g_X의 generalization gap이 전체 손 모델 f_1의 generalization gap보다 작아집니다. 즉, 축소된 정보를 사용하는 모델이 현실-시뮬레이션 간극과 같은 분포 변화 상황에서 더 잘 일반화됩니다.
   • 자율 데이터 수집 (Autonomous Data Collection): “카오스 박스(Chaos Box)”라는 저비용의 자율 데이터 수집 전략을 사용합니다. 로봇 손은 소프트볼이 가득 찬 컨테이너에 배치되며, 시뮬레이션 훈련된 기본 정책의 액션을 open-loop으로 재생하고 각 액션에 가우시안 노이즈(\sigma=0.01)를 추가하여 다양한 무작위 부하(randomized loads)를 가합니다. 이 과정은 완전히 자율적이고 하드웨어 안전하며, 객체 낙하 시의 인간 개입이나 리셋이 필요 없어 대규모 데이터 수집이 가능합니다.
   • 잔여 정책 (Residual Policy): 학습된 조인트별 동역학 모델 f_\psi를 활용하여 기본 정책의 액션을 보상하는 잔여 정책 \pi_{res}를 훈련합니다. 기본 정책의 관측치 o_{gen_t}와 기본 액션 a_t가 주어지면, \pi_{res}는 보정치 a_{res,t}를 출력하며, 실제 배포 시에는 a_t + a_{res,t}가 실행됩니다. 이 방식은 기존 정책의 동작을 크게 변경하지 않으면서 실제 환경의 동역학적 특성을 반영하도록 미세 조정하는 효과를 가집니다.

실험 결과:

시뮬레이션 평가에서 DexNDM의 generalist policy는 미공개 객체에 대해 기존 AnyRotate 구현보다 37%~81% 우수한 성능을 보였습니다. 실제 환경에서 DexNDM은 전례 없는 dexterity를 보여주었습니다. 복잡한 형상(동물 모델), 높은 종횡비(최대 5.33), 작은 크기 객체에 대해 다양한 손목 방향 및 회전 축에서 성공적인 공중 회전을 달성했습니다. 특히, 10-16cm 길이의 긴 객체를 palm-down 구성에서 공중에서 거의 한 바퀴 회전시키는 능력을 보여주었는데, 이는 기존 연구에서 시도되지 않았거나 어려웠던 부분입니다. Visual Dexterity 및 AnyRotate와 비교하여 탁월한 성능과 광범위한 객체 및 조건에 대한 일반화 능력을 입증했습니다. Whole-Hand Neural Dynamics Model과의 비교를 통해, DexNDM의 joint-wise model이 데이터가 제한적이거나 train-test distribution shift가 있는 환경에서 훨씬 더 높은 샘플 효율성과 일반화 능력을 가짐을 확인했습니다. 반면 ASAP 및 UAN과 같은 기존 sim-to-real 방법들은 object-loaded 상호작용 동역학에 대한 generalization이 부족하여 실제 환경에서 실패했습니다. DexNDM은 tool-using 및 조립과 같은 복잡한 dexterous task를 위한 teleoperation 시스템에 성공적으로 적용될 수 있음을 시연했습니다.

결론:

DexNDM은 joint-wise neural dynamics model과 자율 데이터 수집 전략을 기반으로 하는 새로운 sim-to-real framework를 제공하여 전례 없는 손안 객체 회전 능력을 가능하게 합니다. 이 연구는 dexterous manipulation의 “현실-시뮬레이션 간극”을 좁히는 데 중요한 진전을 이루었으며, 향후 촉각 센서 및 더 풍부한 신호 통합을 통해 모델의 한계를 극복하는 것을 목표로 합니다. # 🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

• 시뮬레이션 정책의 action을 실제 환경 조건에 맞게 변환하는 joint-wise dynamics model이 핵심
• 최소한의 인간 개입으로 완전 자율적인 실제 데이터 수집 전략 제시
• 복잡한 형상의 물체, 높은 종횡비(최대 5.33), 소형 물체, 다양한 손목 방향에서 성공적인 회전 시연
• 텔레오퍼레이션 응용에서도 유효성 검증