📃DeFM 리뷰

Learning Foundation Representations from Depth for Robotics

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Project
• Code

1. 🤔 DeFM은 로봇 공학 애플리케이션을 위해 큐레이션된 6천만 개의 depth 이미지 데이터셋에서 DINOv2 스타일의 self-distillation을 사용하여 사전 학습된 최초의 depth 전용 foundation model입니다.
2. ✨ 이 모델은 metric awareness를 보존하는 새로운 3채널 input normalization 전략을 도입했으며, 효율적인 로봇 배포를 위해 ViT-S 및 CNN과 같은 소형 모델로도 distillation되었습니다.
3. 🚀 DeFM은 classification, semantic segmentation, 그리고 navigation, manipulation, locomotion과 같은 다양한 로봇 task에서 SOTA 성능을 달성했으며, 강력한 sim-to-real transfer 능력을 보여줍니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 로봇 공학 분야에서 Depth 이미지의 중요성에도 불구하고, 해당 모달리티에 특화된 대규모 일반 목적의 파운데이션 모델(Foundation Model, FM)이 부재하다는 문제점을 지적한다. 기존의 접근 방식들은 RGB 사전 학습 모델을 Depth 이미지에 재활용하거나 태스크별(task-specific)로 인코더를 처음부터 학습시켜 분포 불일치(distribution mismatch) 및 일반화(generalization) 성능 저하와 같은 한계를 보였다. 이러한 간극을 메우기 위해 본 논문은 DeFM(Depth Foundation Model)을 제안한다. DeFM은 6,040만 개의 Depth 이미지로 구성된 큐레이션된 데이터셋을 사용하여 DINOv2 스타일의 자기 지도 학습(self-supervised learning) 방식으로 학습된 Depth 전용 FM이다.

핵심 방법론:

DeFM은 DINOv2 프레임워크를 Depth 모달리티에 맞게 조정하여 활용한다. 이는 학생 네트워크(f_s)가 모멘텀(momentum) 업데이트되는 교사 네트워크(f_t)의 출력 분포를 예측하도록 최적화되는 자기 증류(self-distillation) 방식을 따른다. 입력 Depth 이미지 x에 대해, 다양한 기하학적(geometric) 및 측광학적(photometric) 증강이 적용된 G개의 대규모 글로벌 크롭(x_g)과 L개의 소규모 로컬 크롭(x_l)을 준비한다. 교사 네트워크는 글로벌 크롭을 처리하여 목표 분포 p_t를 생성하고, 학생 네트워크는 로컬 크롭 및 부분적으로 마스킹된 글로벌 크롭(x'_g)을 처리한다. 학습에는 다음 세 가지 주요 손실 함수가 사용된다:

1. DINO 글로벌 크롭 손실(\mathcal{L}_{Global}): 학생 네트워크의 부분적으로 마스킹된 글로벌 크롭(x'_g) 표현과 교사 네트워크의 마스킹되지 않은 글로벌 크롭(x_g) 표현을 정렬한다. 이는 Vision Transformer(ViT)의 클래스 토큰(cls token) 피처에 대해 계산되는 DINO 손실이다: \mathcal{L}_{Global} = \sum_{i=1}^G \sum_{j=1, j \neq i}^G \mathcal{L}_{DINO}(f_s(x'_{g_i}), f_t(x_{g_j}))
2. DINO 로컬 크롭 손실(\mathcal{L}_{Local}): 학생 네트워크의 로컬 크롭(x_l) 표현과 교사 네트워크의 글로벌 크롭(x_g) 표현을 정렬한다. 이 역시 cls 토큰 간에 계산된다: \mathcal{L}_{Local} = \sum_{g=1}^G \sum_{l=1}^L \mathcal{L}_{DINO}(f_s(x_l), f_t(x_g))
3. iBOT 패치 손실(\mathcal{L}_{iBOT}): 밀집 공간 피처(dense spatial features) 학습에 필수적이다. 랜덤하게 마스킹된 입력 패치에 대해 학생의 피처 예측(p_{s_i})과 교사의 해당 패치 목표 분포(p_{t_i}) 간의 교차 엔트로피 손실(cross-entropy loss)을 적용한다: \mathcal{L}_{iBOT} = - \sum_{i \in \text{masked}} p_{t_i} \log p_{s_i}

전체 손실은 이 세 항의 가중치 합과 피처 공간 붕괴를 방지하는 KoLeo 정규화(regularizer)로 구성된다.

DeFM 학습을 위한 데이터셋은 총 6,040만 개의 Depth 이미지로, 단안 Depth 추정(Monocular Depth Estimation, MDE)을 통해 RGB 데이터셋을 변환한 이미지, 시뮬레이션(Synthetic) 데이터, 그리고 실제(Real) 센서 데이터를 혼합하여 구성되었다. 이는 Depth 데이터의 다양성, 규모, 노이즈 특성을 모두 포괄하여 인코더가 광범위한 환경에서 강건하게 일반화될 수 있도록 한다.

특히, Depth 이미지의 넓은 스케일 범위(밀리미터에서 수백 미터)를 효과적으로 처리하기 위해 새로운 입력 정규화 전략이 도입되었다. 근거리 Depth 변화가 로봇 의사결정에 더 중요함을 고려하여, 다음 세 개의 채널로 구성된 로그 압축 Depth 표현을 사용한다:

1. 글로벌 로그 스케일 Depth(C_1): 현재 이미지 내의 최소(D_{min}) 및 최대 Depth(D_{max})를 사용하여 로그 압축 Depth를 정규화하여 상대적인 기하학적 구조를 보존한다. 로그 변환은 \text{logp}(D) = \log(1+D)로 정의된다: C_1 = \frac{\log p(D) - \log p(D_{\min})}{\log p(D_{\max}) - \log p(D_{\min})}

2. 중간 범위 정규화(C_2): 조작 및 실내 상호작용에 가장 적합한 Depth 범위를 강조한다: C_2 = \frac{\log p(D)}{\log p(10)}

3. 원거리 범위 정규화(C_3): 장거리 내비게이션 및 실외 장면에 적합한 Depth 범위를 강조한다: C_3 = \frac{\log p(D)}{\log p(100)}

최종 입력은 X_{in} = [C_1, C_2, C_3]와 같이 세 채널을 쌓아 구성되며, 전역 평균 및 표준 편차 정규화가 적용된다. 이 방식은 전역 메트릭 Depth를 보존하면서 미세한 근거리 구조와 안정적인 그래디언트를 유지한다.

DeFM의 가장 큰 모델인 ViT-L/14(3억 7백만 매개변수)는 FSDP(Fully-Sharded Data Parallel) 구현을 사용하여 학습되었다. 로봇 시스템의 자원 제약을 고려하여, DeFM-L/14를 교사 모델로 사용하여 ViT-S, ResNet, RegNet, EfficientNet 등 3백만~3천만 매개변수의 소형 모델로 지식 증류(knowledge distillation)를 수행했다. 특히, CNN 학생 모델이 ViT 교사의 밀집 공간 피처를 효과적으로 학습할 수 있도록 BiFPN(Bi-directional Feature Pyramid Network)을 CNN 인코더 위에 추가하여 다양한 해상도의 피처 맵을 융합하도록 설계했다.

실험 결과:

DeFM의 강건성과 일반화 가능성은 광범위한 실험을 통해 입증되었다.

• 정성적 평가: PCA(Principal Component Analysis)를 통해 DeFM-L/14 인코더가 추출한 피처가 질감이나 색상 정보 없이도 Depth 이미지에서 의미론적 클러스터링(예: 컵 손잡이)을 형성함을 보여주었다. 이는 다양한 센서 모달리티에 걸쳐 일관성을 보이며, 로봇 조작에 유용한 사전 지식을 학습했음을 시사한다.
• 분류(Classification): ImageNet-Depth-1K 벤치마크(MDE를 통해 생성)에서 DeFM-L/14는 기존의 최첨단 RGB 기반 FM(DINOv2, DINOv3, C-RADIOv3)을 능가하는 SOTA 성능을 달성했다. 특히 DeFM-S/14는 동일 크기 범주의 기존 모델 대비 최대 10%까지 우수한 성능을 보였다. 증류된 소형 CNN 모델들도 일부 더 큰 RGB ViT-S 기반 모델보다 뛰어난 성능을 보였다.
• 의미론적 분할(Semantic Segmentation): ScanNet, SUN-RGBD(실내), OFFSED, TartanGround(실외), GraspNet-1B(조작) 등 다양한 Depth 데이터셋에서 DeFM은 기존 베이스라인을 대부분 능가하는 강건한 일반화 성능을 입증했다 (ViT-S에서 mIoU 최대 30% 향상).
• 로봇 공학 응용:
  • 내비게이션(Habitat Point-Goal Nav): DeFM 기반 모델(DeFM-S/14, DeFM-ResNet-50)은 기존의 스크래치 학습된 ResNet-50과 경쟁하거나 더 우수한 SPL(Success weighted by Path Length) 성능을 보이며, DeFM의 즉각적인 활용성을 입증했다.
  • 내비게이션(Embodiment Aware Point-Goal Nav - Unitree B2W): Unitree B2W 로봇을 사용한 실제 장거리 내비게이션 태스크에서 DeFM 인코더 기반 정책은 VAE(Variational Auto Encoder) 기반 베이스라인보다 높은 성공률(SR)을 달성했다. 특히 DeFM은 OOD(Out-of-Distribution) 장애물에 대한 뛰어난 인식과 회피 능력을 보여주며, 이는 더 나은 기하학적 및 의미론적 환경 이해 덕분으로 분석된다. 다양한 실제 환경에서의 강건한 sim-to-real 전이가 시연되었다.
  • 조작(Dexterous Grasping - KUKA-Allegro): Teacher-student 훈련 패러다임을 사용한 정교한 로봇 팔-손 그립 태스크에서 DeFM 모델(특히 미세 조정된 버전)은 가장 높은 성공률을 기록했으며, 다양한 노이즈 모델에 대한 강건성을 입증했다.
  • 이동(Locomotion - Quadrupedal Ladder Climbing - ANYmal): 사족 보행 로봇의 사다리 오르기 태스크에서 DeFM 기반 인코더는 스크래치 학습된 CNN 베이스라인과 유사한 성능을 달성하면서도 훨씬 적은 계산 리소스를 요구했다.

결론적으로, DeFM은 Depth 이미지를 위한 최초의 대규모 자기 지도 학습 파운데이션 모델로서, 강건하고 일반화 가능한 기하학적 및 의미론적 피처를 학습한다. 이는 분류, 분할, 내비게이션, 이동, 조작 등 광범위한 로봇 인식 및 제어 태스크에 즉시 활용 가능하며, 다양한 실제 환경에서의 강건한 sim-to-real 전이를 가능하게 한다. 특히, 효율성을 위해 증류된 소형 모델들은 자원 제약적인 로봇 시스템에 효과적으로 배포될 수 있음을 보여준다. 향후 연구로는 ViT 아키텍처의 아티팩트 완화, 태스크 다양성 확장, LiDAR 데이터로의 적용, 그리고 데이터셋 및 모델 스케일의 지속적인 확장이 제안된다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

---

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.