📃ViserDex

ViserDex: Visual Sim-to-Real for Robust Dexterous In-hand Reorientation

• Paper Link (arXiv:2604.11138)
• Project Page
• Video
• 저자: Arjun Bhardwaj, Maximum Wilder-Smith, Mayank Mittal, Vaishakh Patil, Marco Hutter (ETH Zürich, NVIDIA) — RSS 2026

1. 🚀 ViserDex는 3D Gaussian Splatting(3DGS)의 표현력을 활용하여 시뮬레이션 환경 내에서 복잡한 객체의 시각적 다양성을 확보하고, 이를 통해 모노큘러 RGB 카메라만으로도 강건한 sim-to-real 전이가 가능한 dexterous in-hand manipulation 프레임워크를 제안합니다.

2. 💡 연구팀은 가우시안 표현 공간에서 물리적으로 일관된 전처리 증강(pre-rasterization augmentations) 기법을 개발하여, 조명 변화나 가려짐이 심한 adversarial 환경에서도 정확한 객체 자세 추정을 가능하게 했습니다.

3. 🤖 실제 16-DoF Allegro Hand를 이용한 실험 결과, 본 시스템은 기존 방식보다 훨씬 적은 컴퓨팅 자원으로도 다양한 객체들에 대해 평균 25회 이상의 연속적인 성공적인 재배향(reorientation)을 달성하며 높은 범용성과 효율성을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 단일 Monocular RGB 카메라만을 사용하여 로봇의 Dexterous In-hand Manipulation(손 안의 물체 재배치)을 수행하기 위한 심층 강화학습 기반의 Sim-to-Real 프레임워크인 ViserDex를 제안합니다. 기존 방법들이 복잡한 객체나 조명 환경에서 어려움을 겪는 문제를 해결하기 위해, 3D Gaussian Splatting(3DGS)을 시뮬레이션 루프에 통합하여 고도의 시각적 현실감과 훈련 효율성을 달성했습니다.

Figure 2 — ViserDex 개요: 시뮬레이션에서 특권 상태로 학습한 교사 정책을 노이즈 관측 기반 순환 학생 정책으로 distill하고, 3DGS 시각 포즈 추정을 거쳐 단안 RGB만으로 실로봇에 배포하는 시각 sim-to-real 파이프라인

핵심 방법론

1. 3D Gaussian Splatting 기반의 시각적 시뮬레이션

기존의 메쉬 기반 렌더링 대신 3D Gaussian Splatting(3DGS)을 도입하여 실시간으로 고품질의 시각적 데이터를 생성합니다.

• Pre-rasterization Augmentation: 렌더링 전 단계에서 가우시안의 Spherical Harmonics(SH) 계수를 직접 조작합니다.
• 클러스터 기반 섭동: 공간적 위치, photometric 상관관계, 또는 전체 씬 단위로 클러스터를 나누어 색상(SH_0) 및 반사(SH_{N}) 특성에 노이즈를 주입합니다.
• 수식: 관측 방향 d에 따른 색상 c(d)는 다음과 같이 계산됩니다. c(d) = \text{Sigmoid}\left(\sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} k_{\ell}^{m} Y_{\ell}^{m}(d)\right)
• 이 방식을 통해 레이 트레이싱 없이도 사실적인 조명 변화와 재질 변화를 구현하여 시각적 Domain Randomization의 효과를 극대화합니다.

2. 모듈화된 학습 파이프라인

학습은 크게 세 단계로 분해하여 수행하며, 각 단계는 소비자용 GPU에서도 훈련이 가능할 만큼 효율적입니다.

• Privileged Teacher Training: 시뮬레이션에서 완전한 상태 정보(물체 속도, 접촉력 등)를 사용하여 PPO(Proximal Policy Optimization) 기반의 교사 정책을 학습합니다. 이때 성능 기반의 Curriculum Learning을 적용하여 난이도를 단계적으로 조절합니다.
• Student Distillation: 교사 정책을 재귀적 구조를 가진 학생 정책으로 증류합니다. Belief Encoder를 통해 노이즈가 섞인 관측치로부터 시스템 상태를 추론하며, Online DAgger 알고리즘을 사용하여 배포 환경의 Covariate Shift에 대응합니다.
• Visual Pose Estimator Training: 3DGS로 렌더링된 데이터를 사용하여 RGB 이미지에서 9개의 핵심 포인트(Keypoints)를 추론하는 ResNet-34 기반의 포즈 추정기를 학습합니다. 추정된 키포인트는 Rigid Procrustes 알고리즘을 통해 6D 포즈로 변환됩니다.

기술적 성과

• 강건성(Robustness): Adversarial 조명 조건(낮은 대비, 색상 왜곡 등)에서도 안정적인 객체 재배치를 수행합니다.
• 효율성: 기존의 복잡한 시뮬레이션 방식 대비 VRAM 사용량을 크게 줄였으며, 3DGS를 통해 렌더링 처리량을 약 1.6배 향상했습니다.
• 성능: 16-DoF Allegro Hand를 사용하여 5개의 서로 다른 물체에 대해 평균 25회 이상의 연속 재배치 성공을 달성했습니다. 특히, 3DGS 기반 데이터 증강이 기존의 렌더링 기반 접근법보다 포즈 추정 오차를 획기적으로 줄임을 실험적으로 증명했습니다.

결론적으로, ViserDex는 시각적 인지 능력의 한계를 3DGS를 활용한 효율적인 데이터 생성 전략으로 극복함으로써, 복잡한 실세계 환경에서도 단일 RGB 카메라만으로 고도의 로봇 손재주를 구현할 수 있음을 보여줍니다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

손안 재배향(in-hand reorientation)은 능숙 조작(dexterous manipulation)의 상징적 난제입니다. 손가락만으로 물체를 굴려 목표 자세로 맞추려면 정밀한 물체 포즈 추정 이 필수인데, 여기엔 두 가지 큰 벽이 있습니다.

• 빠른 동작 + 심한 자기 가림(self-occlusion). 손가락이 물체를 끊임없이 가리는 상황에서 단안 RGB로 6D 포즈를 안정적으로 추정하기는 어렵습니다.
• 시각 sim-to-real 격차. 시뮬레이터의 렌더링과 실제 카메라 영상은 조명·재질·반사 측면에서 달라, 시뮬레이션에서 학습한 포즈 추정기가 실세계에서 무너지기 쉽습니다.

기존 해법은 (1) 다중 카메라 리그, (2) 연산이 비싼 ray tracing 렌더링, 또는 (3) 비시각 모달리티(촉각 등) 에 의존했습니다. 셋 다 비용·복잡도·확장성 측면에서 부담이 큽니다.

저자들의 질문은 명확합니다. “카메라 한 대(단안 RGB)와 소비자급 GPU만으로, 극한 조명에서도 견디는 강건한 손안 재배향이 가능한가?”

이 논문의 한 줄 요약: 3D Gaussian Splatting을 시뮬레이션에 통합하고, 래스터화 이전 SH 계수에 도메인 랜덤화 를 가해 광현실적 학습 데이터를 효율적으로 생성한다 — 그 결과 단안 RGB만으로, 소비자급 GPU 학습으로, 극한 조명에서도 강건한 손안 재배향을 달성한다.

flowchart LR
    subgraph T["1 교사 RL"]
        PRIV["특권 관측<br/>(GT 포즈·속도·접촉력)"]
        PPO["PPO<br/>24,576 병렬 env"]
        PRIV --> PPO
    end
    subgraph S["2 학생 distillation"]
        BELIEF["belief encoder-decoder<br/>(LSTM)"]
        DAG["온라인 DAgger<br/>BC + 재구성 손실"]
        BELIEF --- DAG
    end
    subgraph V["3 시각 포즈 추정"]
        GS["3DGS 렌더 + SH augmentation<br/>(공간/색/전역 클러스터)"]
        RES["ResNet-34<br/>9 키포인트 2.5D"]
        GS --> RES
    end
    PPO --> BELIEF
    RES --> DEPLOY["실로봇 배포<br/>Allegro + RealSense<br/>단안 RGB"]
    BELIEF --> DEPLOY

방법

전체 시스템은 교사 RL → 학생 distillation → 시각 포즈 추정 의 3단계 모듈로 구성됩니다. 정책 학습(상태 기반)과 지각(시각 기반)을 분리해 각각을 독립적으로 최적화하는 구조입니다.

Figure 2 — 전체 파이프라인 모듈 구조: (1) 특권 상태 기반 RL 교사 학습 → (2) 노이즈 관측 순환 학생 distillation → (3) 3DGS 데이터로 학습한 RGB 키포인트 포즈 추정 → (4) 단안 RGB 실로봇 배포

1단계: 교사 RL 학습

특권(privileged) 관측에 완전 접근하는 교사 정책을 PPO로 학습합니다.

• 행동 공간: 16개 관절 위치 목표(Allegro 손).
• 보상: 역(inverse) 방향 오차 기반 dense reward + 성공 보너스, 그리고 행동 평활성·관절 속도·에너지 소비에 대한 정규화 페널티.
• 관측: proprioceptive(관절 위치·행동 이력·목표), exteroceptive(물체 포즈·목표 차이), privileged(속도·힘·랜덤화된 물리 속성).
• 아키텍처: proprio/extero/privileged를 각각 MLP로 인코딩 후 백본 [1024,1024,1024,512]에 연결. γ=0.998, λ=0.95, 환경당 24 스텝. 24,576개 병렬 환경.

2단계: 학생 distillation

실세계에서는 특권 정보가 없으므로, 노이즈 관측만으로 동작하는 학생 정책을 distill합니다.

• belief encoder-decoder 순환망(은닉 [256,256], 2층 LSTM)이 노이즈 관측에서 잠재 상태를 추정합니다.
• 합성 손실 L = L_{BC} + 0.2 \cdot L_{recon} (행동 복제 + 상태 재구성)으로, 온라인 DAgger 를 통해 학습합니다.
• 이 belief 구조 덕분에 학생은 일시적 포즈 추정 실패(예: 180° 플립)를 시간적으로 필터링할 수 있습니다.

3단계: 시각 포즈 추정 — 3DGS 도메인 랜덤화 (핵심)

가장 큰 기여는 3D Gaussian Splatting을 시뮬레이션 렌더러로 통합하고, 도메인 랜덤화를 Gaussian 표현 공간에서 수행 한 점입니다.

시뮬레이션 통합. 물체가 움직이고 카메라는 고정인 상황을, Gaussian에 역변환을 적용해 “정적 장면” 가정을 유지하는 방식으로 처리합니다. 손에 의한 가림은 물리 기반 깊이 마스킹(손 깊이와 Gaussian 깊이 비교)으로 복원합니다.

사전 래스터화 augmentation. 렌더링 전 단계에서 SH 계수에 직접 섭동을 가합니다 — ray tracing이 필요 없어 매우 빠릅니다.

1. Random Noise: 독립 가우시안 섭동(비구조적 노이즈).
2. Spatial Cluster: 위치 기준 64개 k-means 클러스터 단위 섭동 → 국소 그림자/손상 모사.
3. Color Cluster: SH₀ 계수 기준 32개 클러스터 단위 섭동 → 재질별 반사율 변화.
4. Global Shift: 장면 전체 균일 섭동 → 환경 밝기/색온도 변화.

핵심은 클러스터를 원자 단위 로 섭동해 광도 일관성 을 유지한다는 점입니다. 무작위 픽셀 노이즈와 달리, 물리적으로 그럴듯한 외형 변화를 만듭니다.

Figure 3 — 사전 래스터화 SH augmentation 예시: 고무 오리 하나의 Gaussian SH 계수를 섭동해 색·반사가 다른 여러 외형 variant를 ray tracing 없이 생성(확대 표시)

포즈 추정기. ResNet-34 백본이 9개 키포인트(물체별 8 + centroid)를 2.5D 좌표로 회귀합니다.

성능 기반 커리큘럼 RL

값비싼 ADR(Automatic Domain Randomization)을 경량 커리큘럼으로 대체합니다.

• 정규화 페널티 점진 증가: 초기엔 과제 성공에 집중, 이후 평활성 강화.
• 행동 지연 점진 추가: 실세계 비동기성 대비.
• 성공 시간 창 점진 축소: 점점 빠른 재배향 요구.

세 요소 모두 연속 성공 이동평균 에 연동되어, 물체별 하이퍼파라미터 튜닝 없이 자동 스케일됩니다.

Figure 5 — 성능 기반 커리큘럼 ablation: 5개 물체(Cube/3D Printed Toy/Rubber Duck/Tablet Bottle/Globe)별 학습 반복 대비 평균 연속 성공 곡선. 전체 커리큘럼(Ours)이 No Curriculum·행동 지연 제거·페널티 제거·시간 창 제거 대비 가장 빠르게 수렴하고 최다 연속 성공을 달성

시스템 설정

• 하드웨어: 16-DoF Allegro 손 + 손목 장착 Intel RealSense D435i.
• 제어: 추론 30Hz, 관절 제어 300Hz.
• 렌더링 효율: Isaac Lab tiled 렌더러 대비 1.6배 빠름, 1,024 환경에서 VRAM 12GB(vs 34GB), augmentation 오버헤드는 프레임당 <22ms(~4%).

실험

Figure 4 — (좌) 실험 셋업: RGB 카메라 + Allegro 손 + 적대적 조명용 다색 광원. (우) 5종 테스트 물체를 공칭 조명(1열)과 적대적 조명(2열)에서 촬영

포즈 추정 (Table II)

성능 지표는 ADD(mm)와 정확도(<10mm, <10°)입니다.

조명	방법	ADD (mm)	정확도
공칭	ViserDex (Ours)	10.2±0.66	65.4%
공칭	DR Tiled	12.2±0.67	55.6%
공칭	Naive GS (augmentation 없음)	14.4±0.93	38.4%
적대적	ViserDex (Ours)	12.9±0.69	56.3%
적대적	DR Tiled	14.0±0.96	47.2%
적대적	Naive GS	18.6±1.17	36.5%

적대적 조명(저조도·동적 색 변화)에서 DR Tiled 대비 평균 +9.1%p 향상. augmentation 없는 Naive GS는 크게 무너져, 3DGS 자체가 아니라 SH 도메인 랜덤화가 핵심 임을 보여줍니다.

Augmentation Ablation (Table III)

제거 요소	공칭 정확도	적대적 정확도
전체 (없음 제거)	65.4%	—
Global Shift 제거	51.2%	23.6% (붕괴)
Random Noise 제거	58.6%	—
Spatial Cluster 제거	—	42.5%
Color Cluster 제거	—	44.7%

특히 Global Shift 제거 시 적대적 조명에서 정확도가 23.6%로 붕괴해, 전역 밝기/색온도 변화 모델링이 극한 조명 강건성의 핵심임을 입증합니다. 상관된(클러스터 단위) 섭동이 비구조적 노이즈보다 본질적으로 중요함도 확인됩니다.

실로봇 배포 (Table IV)

성능 지표는 평균 연속 성공 횟수 입니다.

물체	공칭 조명
Cube	35.4±13.8 (DeXtreme 27.8±19.0)
3D Printed Toy	28.2±12.6
Rubber Duck	24.2±15.3
Tablet Bottle	12.6±8.8 (미모델링 저마찰로 저하)
Globe	87.6±41.4
평균	37.6±21.8

적대적 조명에서도 평균 25.4±30.1회 연속 성공 을 기록하며, 저자들은 이를 극한 시각 섭동 하 지속적 능숙 조작의 첫 실증 으로 제시합니다.

Figure 6 — 실로봇 순차 롤아웃: 여러 물체를 목표 자세로 재배향하는 과정을 로봇 카메라 시점 프레임 시퀀스로 표시(맨 아래 행은 적대적 컬러 조명)

학습 효율

• 교사 학습: Cube 기준 26시간(단일 RTX 4090), 복잡 물체는 90시간(듀얼 GPU).
• 학생 distillation: 16시간(단일 RTX 4090, 4,096 환경).
• DeXtreme(8× A40, 60시간) 대비 한 자릿수 규모 효율 개선.

belief decoder의 견고성 (Figure 7)

인위적 노이즈 주입 구간에서, belief decoder는 손상된 입력을 능가하며 낮은 오차를 유지했고, 180° 플립 같은 치명적 추적 실패를 필터링 했습니다. 시간적 belief 추정이 일시적 지각 실패에 대한 안전장치 역할을 함을 보여줍니다.

Figure 7 — 실세계 롤아웃 동안 translation/rotation 오차의 시간 변화(Belief Decoder vs Noisified Pose Estimator vs Pose Estimator). 포즈 추정기 입력에 인위적 노이즈가 주입된 구간(빨강)에서도 belief decoder는 낮은 오차를 유지하며, 180° 플립 추적 실패를 필터링(하단 Actual/Pose Estimator/Belief Decoder 재구성 3컷)

비판적 고찰

강점

• 시각 sim-to-real을 정면 공략. 능숙 조작의 핵심 병목인 단안 시각 포즈 추정을, 3DGS 표현 공간 도메인 랜덤화라는 새 각도로 풀었습니다. ablation에서 Naive GS가 무너지는 것을 보여, 기여의 원천이 “3DGS 사용”이 아니라 “SH 사전 래스터화 augmentation”임을 명확히 분리한 점이 설득력 있습니다.
• 접근성/효율. 카메라 한 대 + 소비자급 GPU로 학습·배포가 가능해, 8× A40 같은 대규모 클러스터를 요구하던 선행 연구의 진입 장벽을 크게 낮췄습니다. 렌더링 1.6배 가속, VRAM 1/3 절감도 실용적입니다.
• 극한 조명 강건성의 실증. 적대적 조명(저조도·동적 색)에서 평균 25.4회 연속 성공은, 시각 기반 손안 재배향에서 보기 드문 강건성 수준입니다.
• 경량 커리큘럼. ADR을 연속 성공 기반 자동 스케일 커리큘럼으로 대체해, 물체별 하이퍼파라미터 튜닝 부담을 없앤 점이 깔끔합니다.

약점과 한계

• 물리 모델링 의존. Tablet Bottle이 12.6회로 저하된 원인이 “미모델링 저마찰”이라는 점은, 시각은 강건해졌으나 동역학 정확도가 여전히 성능 상한을 좌우 함을 시사합니다(추측).
• 물체별 키포인트. 포즈 추정기가 물체별 8개 키포인트를 쓰므로, 완전히 새로운 물체로의 즉시 일반화(category-level/novel object)는 추가 검증이 필요합니다(추측).
• 재구성 전처리 비용. 각 물체의 3DGS 자산을 사전에 재구성해야 하므로, 대규모 물체군으로 확장 시 자산 준비 파이프라인의 비용이 변수입니다.
• 강체 가정. 변형체·관절 물체로의 확장은 본 틀에서 직접 다뤄지지 않습니다.

🔬 재현 노트 (Reproduction Note)

아래는 논문 해석이 아니라 우리가 직접 코드를 돌려 본 재현 관점의 보조 코멘트입니다. 위의 리뷰 본문(논문 주장·수치)과는 분리해서 읽어 주세요. 공개 원본 leggedrobotics/ViserDex(BSD-3-Clause)를 mirror-clone해 재현했고, 소스 레벨 호환 패치는 private PR(#1, merge됨)로, 3DGS 렌더 크래시를 잡은 마지막 한 줄 가드는 후속 PR(#2)로 기록했습니다. 결론부터: 논문의 핵심 novelty인 3DGS 도메인 랜덤화 렌더링까지 RTX 5090에서 완전히 재현됐습니다. 처음엔 이 부분을 “최신 GPU에서 막혔다”고 잘못 적었다가, 추가 디버깅으로 원인을 규명·수정해 아래와 같이 정정합니다.

재현 환경 — 2 메이저 버전 위로 이식

원본은 IsaacSim 5.1.0 / IsaacLab 2.3.2를 요구합니다(docker/Dockerfile의 FROM nvcr.io/nvidia/isaac-lab:2.3.2, setup.py의 Isaac Sim :: 5.1.0 classifier). 그런데 이 머신에는 Docker가 설치돼 있지 않아(passwordless sudo도 없음) upstream이 권장하는 Docker 이미지 경로를 쓸 수 없었고, 대신 로컬에 이미 설치돼 있던 IsaacSim 6.0.1-rc.7 / IsaacLab 3.0.0-beta2(각각 한·두 메이저 버전 상위)를 재사용해 원본 코드를 이 스택에 맞게 리팩터링하는 쪽으로 방향을 잡았습니다. Docker 없는 환경에서 upstream 권장 경로를 그대로 따르는 것보다, 기설치 스택 재사용이 현실적인 재현 경로였습니다. GPU는 RTX 5090(Blackwell, compute capability sm_120)입니다.

버전 격차 때문에 소스 레벨 호환 패치 10건이 필요했습니다(대부분 몇 줄 규모). PhysxCfg 이동과 SimulationCfg.physx→.physics 개명, omni.physics.tensors 경로 평탄화, isaacsim.core.utils/prims의 extsDeprecated 이동에 따른 isaacsim.core.experimental.* 폴백, lazy_export()·.pyi 지연-속성 때문에 import *로 전이되지 않는 base MDP 함수 직접 재수출, CameraData.pos_w 등이 읽기 전용 프로퍼티로 바뀐 데 대한 비공개 백킹 필드 우회, rsl-rl-lib 5.0.1의 policy=→actor=/critic= 스키마 전환 등입니다. 흥미롭게도 GaussianSplatCamera가 IsaacLab의 센서를 “또 하나의 센서 클래스”로 상속하는 구조라, 표면적으로 큰 재작성처럼 보이던 3.0 이관이 실제로는 놀랍도록 국소적인 패치로 끝났습니다. 같은 IsaacLab 3.0 이관 패턴을 앞서 다룬 regrind 재현 리뷰에서 확립한 처방(ProxyArray×@torch.jit.script 자동 스캔 몽키패치 등)을 상당수 그대로 재사용했습니다.

돌아간 것 — PPO 학습 루프는 실제로 학습 신호를 냄

• 6개 태스크 등록 확인 (list_envs.py: Isaac-ViserDex-Repose-Allegro-v0 외 Estimator/Eval/Camera/NoAug/Play 변형).
• 매니퓰레이션 PPO 학습 루프 실증 (train.py, 3 iteration · 64 env 스모크 테스트). OnPolicyRunner가 생성되고 policy forward → env.step → reward → PPO update 루프가 실제로 돌았으며, 지표가 움직이는 것을 확인했습니다: Mean reward 0.07(iter 0) → 0.11(iter 2), success_rate 0.0 → 0.0052, consecutive_success 0.0104. 3 iter · 64 env로는 유의미한 수렴을 볼 수 없지만(논문 원본은 num_envs 수천~24,576 · 수천 iteration 규모), 학습 루프 자체의 정상 동작은 확증했습니다.
• 정책 롤아웃 (play.py): 학습된 체크포인트를 로드해 policy(obs)→env.step 추론 루프가 약 2분간 크래시 없이 연속 실행됨.

즉, 논문이 강조한 “소비자급 GPU에서 학습 가능”이라는 실무 축은 — 적어도 학습 루프 관점에서는 — 우리 환경에서도 재현 방향으로 동작했습니다.

핵심 novelty(3DGS)도 돌아갔다 — 처음엔 “하드웨어 탓”으로 오판했던 부분

이 논문의 핵심 기여인 3DGS 도메인 랜덤화 렌더링(check_gs_camera.py)도 결국 RTX 5090에서 완전히 재현됐습니다. 다만 여기까지 오는 길에 한 번 잘못된 결론을 냈다가 뒤집었기에, 그 여정을 정직하게 남깁니다.

1차 조사(오판). gsplat(torch CUDA 확장)의 JIT 컴파일 자체는 성공했습니다 — CUDA extension has been set up successfully in 68.33 seconds, nvcc가 -gencode=arch=compute_120,code=sm_120으로 Blackwell을 정확히 타깃 컴파일(pip의 nvidia-cuda-nvcc-cu12가 ptxas만 있고 nvcc 스크립트가 없다는 함정은 conda cuda-nvcc로, 헤더 경로는 CPATH로 우회). 그런데 실제 rasterization 커널 실행에서 CUDA error: invalid configuration argument가 났고, num_envs=1·CUDA_LAUNCH_BLOCKING=1로도 동일했습니다. 컴파일은 sm_120으로 맞았는데 실행만 깨지는 정황이라, 이를 gsplat의 Blackwell 런타임 커널 갭으로 성급히 결론짓고 “최신 GPU가 오히려 재현을 막는 함정”이라는 프레이밍으로 여기서 멈췄습니다. 이 판단은 틀렸습니다.

재조사(정정). 카메라를 명시적 look-at으로 물체에 정확히 겨눠도 똑같이 실패한다는 점이 “카메라 앵글 문제”를 배제하는 첫 단서였습니다. 그래서 _update_buffers_impl을 직접 계측해 호출 횟수와 env_ids 값, 실제 camtoworld/Ks/means3d 텐서를 렌더 직전에 찍어 봤습니다. 결정적 관찰:

• 한 시뮬레이션 스텝 동안 렌더 콜백이 두 번 호출되고 있었습니다 — 1번째는 env_ids=[True](가우시안 23,101개 투영, 렌더 성공), 2번째는 env_ids=[False](0개 선택, 렌더 직전 크래시).
• 두 호출의 카메라 포즈·스플랫 데이터는 완전히 동일했고, 유일한 차이는 env_ids 마스크([True] vs [False])뿐이었습니다. “동일 입력인데 결과가 갈린다”는 것 자체가 하드웨어 비결정성이 아니라 우리 코드가 놓친 케이스라는 신호였습니다.

진짜 원인. gsplat/하드웨어 버그가 아니라 우리 재현 코드의 불완전한 패치였습니다. IsaacLab 3.0은 센서 outdated 마스크를 정수 인덱스(2.x) → boolean mask로 바꿨고(위 패치 10번), SensorBase는 outdated 여부와 무관하게 .data 프로퍼티 접근마다 렌더 콜백을 다시 호출합니다(표준 camera_0.data를 먼저 읽은 뒤 gsplat 카메라의 .data를 읽는 것만으로도 “이번엔 업데이트할 env 없음” [False] 마스크로 두 번째 호출 발생). 예전 정수-인덱스 시맨틱이라면 “선택 없음 = 빈 배치 = 렌더 자동 스킵”이었겠지만, boolean mask에서는 렌더 루프가 전부 False인 축퇴 배치(카메라 0개) 를 그대로 rasterization()에 넘겼고, gsplat 1.5.3이 이 빈 입력을 못 버티고 CUDA error: invalid configuration argument로 죽은 것입니다.

해결과 검증. 렌더 배치 루프에 if n_selected == 0: continue 한 줄 가드를 추가해(예전 정수-인덱스의 “선택 없으면 렌더 안 함”을 boolean mask에서 명시적으로 복원) 완전히 해소됐습니다. 이후 수정 없는 원본 그대로의 check_gs_camera.py --num_envs 2가 크래시 없이 완주(exit code 0)했고, 카메라를 물체에 정조준한 별도 진단에서는 실제 3DGS 렌더링 결과(초록 큐브에 큰 “E” 문양) 까지 나오는 것을 확인했습니다. 즉 논문의 핵심 novelty인 3DGS 도메인 랜덤화 렌더링이 RTX 5090(Blackwell)에서 완전히 재현됩니다. 나아가 렌더 블로커가 풀린 뒤 포즈 추정기 온라인 학습(train_pose_estimator.py)까지 확인했습니다 — 등록된 4개 태스크 변형(gsplat 렌더만 / 실제 RTX 카메라만 / 둘 동시 비교 / 증강 없음)이 전부 크래시 없이 완주하며 실제 loss·keypoint-error가 기록돼, 논문의 “GS 렌더 vs 실제 렌더” ablation 구조까지 RTX 5090에서 동작함을 실증했습니다(관찰값 계산 함수 안에서 loss.backward()+optimizer.step()이 함께 도는 self-supervised 온라인 학습 설계, PR #3). 결과적으로 이 논문의 세 핵심 모듈(교사 RL·3DGS 렌더링·포즈 추정 학습)이 모두 우리 환경에서 재현됐습니다.

배운 것 — “CUDA 에러가 하드웨어 세대 탓처럼 보여도 단정하지 말 것”

정리하면, 이번 재현에서 정작 값진 교훈은 “최신 GPU 역설”이 아니라 그 반대였습니다. torch.AcceleratorError/CUDA error라는 표면 증거만으로 “이 아키텍처(Blackwell)의 하드웨어 버그”라고 결론짓는 것은 성급했고, 실제 원인은 프레임워크 메이저 버전 전환(정수 인덱스 → boolean mask) 때 우리 호환 어댑터가 놓친 빈-배치 케이스였습니다. 배운 절차는 단순합니다 — 에러가 하드웨어를 가리켜도, 똑같은 입력으로 두 번 호출해 결과가 갈리는지(결정성)부터 계측하라. 이번엔 두 호출의 카메라·데이터가 완전히 동일했는데 env_ids 마스크만 달랐다는 사실이 “하드웨어 탓”을 즉시 반증했고, 원인을 우리 코드의 한 줄로 좁혀 주었습니다. “GitHub에 비슷한 이슈가 있다”(gsplat #107/#346/#1027 등, 0개 입력 크래시)는 정황도, 실은 우리 코드가 그 라이브러리의 알려진 edge case를 실수로 유발하고 있다는 쪽이 진실이었습니다. 최신 하드웨어 + 프레임워크 대전환이 겹칠수록, 에러 메시지가 가리키는 곳보다 우리 어댑터를 먼저 의심하는 편이 낫습니다.

요약 및 결론

ViserDex는 단안 RGB 기반 손안 재배향의 시각 sim-to-real 격차 를, 3D Gaussian Splatting 표현 공간에서의 도메인 랜덤화 로 해소합니다. 래스터화 이전 SH 계수에 가하는 공간/색/전역 클러스터 augmentation 으로 광현실적 학습 데이터를 ray tracing 없이 효율적으로 만들고, 교사-학생 distillation + 성능 기반 커리큘럼 RL 로 강건한 정책을 학습합니다.

핵심 수치로 정리하면, 포즈 추정은 공칭/적대적 조명에서 각각 65.4%/56.3% 정확도(DR Tiled 대비 우위), 실로봇 배포는 공칭 조명 평균 37.6회, 적대적 조명 평균 25.4회 연속 성공 을 달성했고, 학습은 소비자급 RTX 4090으로 가능해 DeXtreme 대비 한 자릿수 효율 개선 을 이뤘습니다.

실무 관점의 가치는 “카메라 한 대와 소비자급 GPU만으로, 극한 조명에서도 견디는 능숙 조작” 을 실증했다는 데 있습니다. 물리 모델링 의존성과 물체별 자산 준비라는 한계는 남지만, 3DGS 표현 공간 도메인 랜덤화 라는 아이디어는 시각 기반 로봇 조작의 sim-to-real 전이에서 강력한 새 표준점이 될 잠재력이 큽니다.