📃ViserDex

ViserDex: Visual Sim-to-Real for Robust Dexterous In-hand Reorientation

• Paper Link (arXiv:2604.11138)
• Project Page
• Video
• 저자: Arjun Bhardwaj, Maximum Wilder-Smith, Mayank Mittal, Vaishakh Patil, Marco Hutter (ETH Zürich, NVIDIA) — RSS 2026

1. 🚀 ViserDex는 3D Gaussian Splatting(3DGS)의 표현력을 활용하여 시뮬레이션 환경 내에서 복잡한 객체의 시각적 다양성을 확보하고, 이를 통해 모노큘러 RGB 카메라만으로도 강건한 sim-to-real 전이가 가능한 dexterous in-hand manipulation 프레임워크를 제안합니다.

2. 💡 연구팀은 가우시안 표현 공간에서 물리적으로 일관된 전처리 증강(pre-rasterization augmentations) 기법을 개발하여, 조명 변화나 가려짐이 심한 adversarial 환경에서도 정확한 객체 자세 추정을 가능하게 했습니다.

3. 🤖 실제 16-DoF Allegro Hand를 이용한 실험 결과, 본 시스템은 기존 방식보다 훨씬 적은 컴퓨팅 자원으로도 다양한 객체들에 대해 평균 25회 이상의 연속적인 성공적인 재배향(reorientation)을 달성하며 높은 범용성과 효율성을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 단일 Monocular RGB 카메라만을 사용하여 로봇의 Dexterous In-hand Manipulation(손 안의 물체 재배치)을 수행하기 위한 심층 강화학습 기반의 Sim-to-Real 프레임워크인 ViserDex를 제안합니다. 기존 방법들이 복잡한 객체나 조명 환경에서 어려움을 겪는 문제를 해결하기 위해, 3D Gaussian Splatting(3DGS)을 시뮬레이션 루프에 통합하여 고도의 시각적 현실감과 훈련 효율성을 달성했습니다.

Figure 1 — ViserDex 개요: 단안 RGB만으로 손안 재배향을 수행하는 시각 sim-to-real 파이프라인

핵심 방법론

1. 3D Gaussian Splatting 기반의 시각적 시뮬레이션

기존의 메쉬 기반 렌더링 대신 3D Gaussian Splatting(3DGS)을 도입하여 실시간으로 고품질의 시각적 데이터를 생성합니다.

• Pre-rasterization Augmentation: 렌더링 전 단계에서 가우시안의 Spherical Harmonics(SH) 계수를 직접 조작합니다.
• 클러스터 기반 섭동: 공간적 위치, photometric 상관관계, 또는 전체 씬 단위로 클러스터를 나누어 색상(SH_0) 및 반사(SH_{N}) 특성에 노이즈를 주입합니다.
• 수식: 관측 방향 d에 따른 색상 c(d)는 다음과 같이 계산됩니다. c(d) = \text{Sigmoid}\left(\sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} k_{\ell}^{m} Y_{\ell}^{m}(d)\right)
• 이 방식을 통해 레이 트레이싱 없이도 사실적인 조명 변화와 재질 변화를 구현하여 시각적 Domain Randomization의 효과를 극대화합니다.

2. 모듈화된 학습 파이프라인

학습은 크게 세 단계로 분해하여 수행하며, 각 단계는 소비자용 GPU에서도 훈련이 가능할 만큼 효율적입니다.

• Privileged Teacher Training: 시뮬레이션에서 완전한 상태 정보(물체 속도, 접촉력 등)를 사용하여 PPO(Proximal Policy Optimization) 기반의 교사 정책을 학습합니다. 이때 성능 기반의 Curriculum Learning을 적용하여 난이도를 단계적으로 조절합니다.
• Student Distillation: 교사 정책을 재귀적 구조를 가진 학생 정책으로 증류합니다. Belief Encoder를 통해 노이즈가 섞인 관측치로부터 시스템 상태를 추론하며, Online DAgger 알고리즘을 사용하여 배포 환경의 Covariate Shift에 대응합니다.
• Visual Pose Estimator Training: 3DGS로 렌더링된 데이터를 사용하여 RGB 이미지에서 9개의 핵심 포인트(Keypoints)를 추론하는 ResNet-34 기반의 포즈 추정기를 학습합니다. 추정된 키포인트는 Rigid Procrustes 알고리즘을 통해 6D 포즈로 변환됩니다.

기술적 성과

• 강건성(Robustness): Adversarial 조명 조건(낮은 대비, 색상 왜곡 등)에서도 안정적인 객체 재배치를 수행합니다.
• 효율성: 기존의 복잡한 시뮬레이션 방식 대비 VRAM 사용량을 크게 줄였으며, 3DGS를 통해 렌더링 처리량을 약 1.6배 향상했습니다.
• 성능: 16-DoF Allegro Hand를 사용하여 5개의 서로 다른 물체에 대해 평균 25회 이상의 연속 재배치 성공을 달성했습니다. 특히, 3DGS 기반 데이터 증강이 기존의 렌더링 기반 접근법보다 포즈 추정 오차를 획기적으로 줄임을 실험적으로 증명했습니다.

결론적으로, ViserDex는 시각적 인지 능력의 한계를 3DGS를 활용한 효율적인 데이터 생성 전략으로 극복함으로써, 복잡한 실세계 환경에서도 단일 RGB 카메라만으로 고도의 로봇 손재주를 구현할 수 있음을 보여줍니다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

손안 재배향(in-hand reorientation)은 능숙 조작(dexterous manipulation)의 상징적 난제입니다. 손가락만으로 물체를 굴려 목표 자세로 맞추려면 정밀한 물체 포즈 추정 이 필수인데, 여기엔 두 가지 큰 벽이 있습니다.

• 빠른 동작 + 심한 자기 가림(self-occlusion). 손가락이 물체를 끊임없이 가리는 상황에서 단안 RGB로 6D 포즈를 안정적으로 추정하기는 어렵습니다.
• 시각 sim-to-real 격차. 시뮬레이터의 렌더링과 실제 카메라 영상은 조명·재질·반사 측면에서 달라, 시뮬레이션에서 학습한 포즈 추정기가 실세계에서 무너지기 쉽습니다.

기존 해법은 (1) 다중 카메라 리그, (2) 연산이 비싼 ray tracing 렌더링, 또는 (3) 비시각 모달리티(촉각 등) 에 의존했습니다. 셋 다 비용·복잡도·확장성 측면에서 부담이 큽니다.

저자들의 질문은 명확합니다. “카메라 한 대(단안 RGB)와 소비자급 GPU만으로, 극한 조명에서도 견디는 강건한 손안 재배향이 가능한가?”

이 논문의 한 줄 요약: 3D Gaussian Splatting을 시뮬레이션에 통합하고, 래스터화 이전 SH 계수에 도메인 랜덤화 를 가해 광현실적 학습 데이터를 효율적으로 생성한다 — 그 결과 단안 RGB만으로, 소비자급 GPU 학습으로, 극한 조명에서도 강건한 손안 재배향을 달성한다.

flowchart LR
    subgraph T["1 교사 RL"]
        PRIV["특권 관측<br/>(GT 포즈·속도·접촉력)"]
        PPO["PPO<br/>24,576 병렬 env"]
        PRIV --> PPO
    end
    subgraph S["2 학생 distillation"]
        BELIEF["belief encoder-decoder<br/>(LSTM)"]
        DAG["온라인 DAgger<br/>BC + 재구성 손실"]
        BELIEF --- DAG
    end
    subgraph V["3 시각 포즈 추정"]
        GS["3DGS 렌더 + SH augmentation<br/>(공간/색/전역 클러스터)"]
        RES["ResNet-34<br/>9 키포인트 2.5D"]
        GS --> RES
    end
    PPO --> BELIEF
    RES --> DEPLOY["실로봇 배포<br/>Allegro + RealSense<br/>단안 RGB"]
    BELIEF --> DEPLOY

방법

전체 시스템은 교사 RL → 학생 distillation → 시각 포즈 추정 의 3단계 모듈로 구성됩니다. 정책 학습(상태 기반)과 지각(시각 기반)을 분리해 각각을 독립적으로 최적화하는 구조입니다.

Figure 2 — 3단계 구조: (1) 특권 상태 기반 RL 교사 학습 → (2) 노이즈 관측 학생 distillation → (3) 3DGS 데이터로 학습한 RGB 포즈 추정기

1단계: 교사 RL 학습

특권(privileged) 관측에 완전 접근하는 교사 정책을 PPO로 학습합니다.

• 행동 공간: 16개 관절 위치 목표(Allegro 손).
• 보상: 역(inverse) 방향 오차 기반 dense reward + 성공 보너스, 그리고 행동 평활성·관절 속도·에너지 소비에 대한 정규화 페널티.
• 관측: proprioceptive(관절 위치·행동 이력·목표), exteroceptive(물체 포즈·목표 차이), privileged(속도·힘·랜덤화된 물리 속성).
• 아키텍처: proprio/extero/privileged를 각각 MLP로 인코딩 후 백본 [1024,1024,1024,512]에 연결. γ=0.998, λ=0.95, 환경당 24 스텝. 24,576개 병렬 환경.

2단계: 학생 distillation

실세계에서는 특권 정보가 없으므로, 노이즈 관측만으로 동작하는 학생 정책을 distill합니다.

• belief encoder-decoder 순환망(은닉 [256,256], 2층 LSTM)이 노이즈 관측에서 잠재 상태를 추정합니다.
• 합성 손실 L = L_{BC} + 0.2 \cdot L_{recon} (행동 복제 + 상태 재구성)으로, 온라인 DAgger 를 통해 학습합니다.
• 이 belief 구조 덕분에 학생은 일시적 포즈 추정 실패(예: 180° 플립)를 시간적으로 필터링할 수 있습니다.

3단계: 시각 포즈 추정 — 3DGS 도메인 랜덤화 (핵심)

가장 큰 기여는 3D Gaussian Splatting을 시뮬레이션 렌더러로 통합하고, 도메인 랜덤화를 Gaussian 표현 공간에서 수행 한 점입니다.

시뮬레이션 통합. 물체가 움직이고 카메라는 고정인 상황을, Gaussian에 역변환을 적용해 “정적 장면” 가정을 유지하는 방식으로 처리합니다. 손에 의한 가림은 물리 기반 깊이 마스킹(손 깊이와 Gaussian 깊이 비교)으로 복원합니다.

사전 래스터화 augmentation. 렌더링 전 단계에서 SH 계수에 직접 섭동을 가합니다 — ray tracing이 필요 없어 매우 빠릅니다.

1. Random Noise: 독립 가우시안 섭동(비구조적 노이즈).
2. Spatial Cluster: 위치 기준 64개 k-means 클러스터 단위 섭동 → 국소 그림자/손상 모사.
3. Color Cluster: SH₀ 계수 기준 32개 클러스터 단위 섭동 → 재질별 반사율 변화.
4. Global Shift: 장면 전체 균일 섭동 → 환경 밝기/색온도 변화.

핵심은 클러스터를 원자 단위 로 섭동해 광도 일관성 을 유지한다는 점입니다. 무작위 픽셀 노이즈와 달리, 물리적으로 그럴듯한 외형 변화를 만듭니다.

Figure 3 — 사전 래스터화 augmentation: 클러스터링된 Gaussian의 SH 계수를 섭동해 색/반사/공간 외형 변화를 ray tracing 없이 생성

포즈 추정기. ResNet-34 백본이 9개 키포인트(물체별 8 + centroid)를 2.5D 좌표로 회귀합니다.

성능 기반 커리큘럼 RL

값비싼 ADR(Automatic Domain Randomization)을 경량 커리큘럼으로 대체합니다.

• 정규화 페널티 점진 증가: 초기엔 과제 성공에 집중, 이후 평활성 강화.
• 행동 지연 점진 추가: 실세계 비동기성 대비.
• 성공 시간 창 점진 축소: 점점 빠른 재배향 요구.

세 요소 모두 연속 성공 이동평균 에 연동되어, 물체별 하이퍼파라미터 튜닝 없이 자동 스케일됩니다.

Figure 5 — 커리큘럼 학습 효율 비교: 전체 커리큘럼이 가장 빠른 수렴과 최다 연속 성공을 달성

시스템 설정

• 하드웨어: 16-DoF Allegro 손 + 손목 장착 Intel RealSense D435i.
• 제어: 추론 30Hz, 관절 제어 300Hz.
• 렌더링 효율: Isaac Lab tiled 렌더러 대비 1.6배 빠름, 1,024 환경에서 VRAM 12GB(vs 34GB), augmentation 오버헤드는 프레임당 <22ms(~4%).

실험

Figure 4 — 실험 셋업(RGB 카메라 + Allegro 손 + 다색 광원)과 공칭/적대적 조명 하의 5종 테스트 물체

포즈 추정 (Table II)

성능 지표는 ADD(mm)와 정확도(<10mm, <10°)입니다.

조명	방법	ADD (mm)	정확도
공칭	ViserDex (Ours)	10.2±0.66	65.4%
공칭	DR Tiled	12.2±0.67	55.6%
공칭	Naive GS (augmentation 없음)	14.4±0.93	38.4%
적대적	ViserDex (Ours)	12.9±0.69	56.3%
적대적	DR Tiled	14.0±0.96	47.2%
적대적	Naive GS	18.6±1.17	36.5%

적대적 조명(저조도·동적 색 변화)에서 DR Tiled 대비 평균 +9.1%p 향상. augmentation 없는 Naive GS는 크게 무너져, 3DGS 자체가 아니라 SH 도메인 랜덤화가 핵심 임을 보여줍니다.

Augmentation Ablation (Table III)

제거 요소	공칭 정확도	적대적 정확도
전체 (없음 제거)	65.4%	—
Global Shift 제거	51.2%	23.6% (붕괴)
Random Noise 제거	58.6%	—
Spatial Cluster 제거	—	42.5%
Color Cluster 제거	—	44.7%

특히 Global Shift 제거 시 적대적 조명에서 정확도가 23.6%로 붕괴해, 전역 밝기/색온도 변화 모델링이 극한 조명 강건성의 핵심임을 입증합니다. 상관된(클러스터 단위) 섭동이 비구조적 노이즈보다 본질적으로 중요함도 확인됩니다.

실로봇 배포 (Table IV)

성능 지표는 평균 연속 성공 횟수 입니다.

물체	공칭 조명
Cube	35.4±13.8 (DeXtreme 27.8±19.0)
3D Printed Toy	28.2±12.6
Rubber Duck	24.2±15.3
Tablet Bottle	12.6±8.8 (미모델링 저마찰로 저하)
Globe	87.6±41.4
평균	37.6±21.8

적대적 조명에서도 평균 25.4±30.1회 연속 성공 을 기록하며, 저자들은 이를 극한 시각 섭동 하 지속적 능숙 조작의 첫 실증 으로 제시합니다.

학습 효율

• 교사 학습: Cube 기준 26시간(단일 RTX 4090), 복잡 물체는 90시간(듀얼 GPU).
• 학생 distillation: 16시간(단일 RTX 4090, 4,096 환경).
• DeXtreme(8× A40, 60시간) 대비 한 자릿수 규모 효율 개선.

belief decoder의 견고성 (Figure 7)

인위적 노이즈 주입 구간에서, belief decoder는 손상된 입력을 능가하며 낮은 오차를 유지했고, 180° 플립 같은 치명적 추적 실패를 필터링 했습니다. 시간적 belief 추정이 일시적 지각 실패에 대한 안전장치 역할을 함을 보여줍니다.

Figure 6 — 실로봇 롤아웃 및 belief decoder의 180° 추적 실패 필터링 효과

비판적 고찰

강점

• 시각 sim-to-real을 정면 공략. 능숙 조작의 핵심 병목인 단안 시각 포즈 추정을, 3DGS 표현 공간 도메인 랜덤화라는 새 각도로 풀었습니다. ablation에서 Naive GS가 무너지는 것을 보여, 기여의 원천이 “3DGS 사용”이 아니라 “SH 사전 래스터화 augmentation”임을 명확히 분리한 점이 설득력 있습니다.
• 접근성/효율. 카메라 한 대 + 소비자급 GPU로 학습·배포가 가능해, 8× A40 같은 대규모 클러스터를 요구하던 선행 연구의 진입 장벽을 크게 낮췄습니다. 렌더링 1.6배 가속, VRAM 1/3 절감도 실용적입니다.
• 극한 조명 강건성의 실증. 적대적 조명(저조도·동적 색)에서 평균 25.4회 연속 성공은, 시각 기반 손안 재배향에서 보기 드문 강건성 수준입니다.
• 경량 커리큘럼. ADR을 연속 성공 기반 자동 스케일 커리큘럼으로 대체해, 물체별 하이퍼파라미터 튜닝 부담을 없앤 점이 깔끔합니다.

약점과 한계

• 물리 모델링 의존. Tablet Bottle이 12.6회로 저하된 원인이 “미모델링 저마찰”이라는 점은, 시각은 강건해졌으나 동역학 정확도가 여전히 성능 상한을 좌우 함을 시사합니다(추측).
• 물체별 키포인트. 포즈 추정기가 물체별 8개 키포인트를 쓰므로, 완전히 새로운 물체로의 즉시 일반화(category-level/novel object)는 추가 검증이 필요합니다(추측).
• 재구성 전처리 비용. 각 물체의 3DGS 자산을 사전에 재구성해야 하므로, 대규모 물체군으로 확장 시 자산 준비 파이프라인의 비용이 변수입니다.
• 강체 가정. 변형체·관절 물체로의 확장은 본 틀에서 직접 다뤄지지 않습니다.

요약 및 결론

ViserDex는 단안 RGB 기반 손안 재배향의 시각 sim-to-real 격차 를, 3D Gaussian Splatting 표현 공간에서의 도메인 랜덤화 로 해소합니다. 래스터화 이전 SH 계수에 가하는 공간/색/전역 클러스터 augmentation 으로 광현실적 학습 데이터를 ray tracing 없이 효율적으로 만들고, 교사-학생 distillation + 성능 기반 커리큘럼 RL 로 강건한 정책을 학습합니다.

핵심 수치로 정리하면, 포즈 추정은 공칭/적대적 조명에서 각각 65.4%/56.3% 정확도(DR Tiled 대비 우위), 실로봇 배포는 공칭 조명 평균 37.6회, 적대적 조명 평균 25.4회 연속 성공 을 달성했고, 학습은 소비자급 RTX 4090으로 가능해 DeXtreme 대비 한 자릿수 효율 개선 을 이뤘습니다.

실무 관점의 가치는 “카메라 한 대와 소비자급 GPU만으로, 극한 조명에서도 견디는 능숙 조작” 을 실증했다는 데 있습니다. 물리 모델링 의존성과 물체별 자산 준비라는 한계는 남지만, 3DGS 표현 공간 도메인 랜덤화 라는 아이디어는 시각 기반 로봇 조작의 sim-to-real 전이에서 강력한 새 표준점이 될 잠재력이 큽니다.