📃Neural feels with neural fields 리뷰

Visuo-tactile perception for in-hand manipulation

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• 논문 링크 (arXiv)
• Code

1. 기존 로봇의 In-hand manipulation은 시각에만 의존하여 가려짐(occlusion)에 취약하며 새로운 객체(novel objects)에 대한 공간 인식이 부족한데, NeuralFeels는 비전(vision)과 촉각(touch)을 통합하여 이를 해결하는 visuo-tactile perception 방법을 제안합니다.
2. 이 방법은 온라인에서 뉴럴 필드(neural field)를 학습하고 자세 그래프(pose graph) 최적화를 통해 객체를 추적하며, 특히 vision-based tactile sensors를 국소적인 깊이 정보(local depth information) 소스로 활용합니다.
3. NeuralFeels는 novel objects에 대해 81%의 높은 F-score와 4.7mm의 평균 자세 오차를 달성하며, 시각적 가려짐(visual occlusion)이 심한 환경에서 vision-only 방식보다 최대 94% 향상된 추적 성능을 보여 촉각의 중요성을 입증합니다.

---

1 🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 “Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation”이라는 제목으로, 새로운 물체에 대한 로봇의 손 안 조작(in-hand manipulation)을 위한 시각-촉각(visuo-tactile) 인식을 다루며, 인간 수준의 민첩성(dexterity) 달성을 위한 공간 인식을 목표로 합니다. 기존의 손 안 인식(in-hand perception) 시스템이 시각에만 의존하고 기지(a priori known) 물체 추적에 국한되며, 조작 중 시각적 가려짐(visual occlusion)에 취약하다는 문제점을 제기합니다.

이러한 한계를 극복하기 위해, 본 논문은 ’NeuralFeels’라는 새로운 방법을 제안합니다. NeuralFeels는 다지(multi-fingered) 로봇 손에 시각 센서와 촉각 센서를 결합하여 조작 중 물체의 자세(pose)와 형상(shape)을 추정합니다. 핵심 방법론은 다음과 같습니다.

1. 온라인 신경장(Neural Field) 학습: 물체의 기하학적 정보를 신경장으로 온라인에서 학습합니다. 신경장(neural field)은 공간상의 3D 좌표 p \in \mathbb{R}^3를 입력으로 받아, 해당 좌표에서 물체 표면까지의 부호화된 거리(signed distance)를 출력하는 연속적인 함수 F_{\theta, \mathbf{x}_t}(p): \mathbb{R}^3 \to \mathbb{R}로 표현됩니다. 여기서 \theta는 신경망의 가중치, \mathbf{x}_t는 현재 시간 t에서의 물체의 자세를 나타냅니다. 이 신경장은 ‘instant-NGP’ [49]와 같이 다중 해상도 해시 테이블(multiresolution hash table)을 기반으로 빠른 학습과 최적화를 가능하게 합니다.

2. 자세 그래프(Pose Graph) 최적화: 학습된 신경장을 기반으로 물체의 자세를 동시에 추적합니다. 이는 SLAM(Simultaneous Localization and Mapping)의 원리와 유사하게 추적(tracking)과 매핑(mapping)을 번갈아 수행하는 방식입니다.

   • 프런트엔드(Frontend): 로봇의 RGB-D 카메라로부터 얻은 시각 데이터와 DIGIT 촉각 센서로부터 얻은 촉각 데이터를 처리하여 심층(depth) 측정값을 추출합니다.
     • 시각 깊이(Visual Depth) 분할: ‘Segment Anything Model (SAM)’ [36]과 로봇의 운동학적 정보를 활용하여 물체 심층 픽셀을 강건하게 분할합니다. grasp center와 robot kinematics를 SAM의 프롬프트(prompt)로 사용하여, 물체가 로봇 손가락 사이에 존재한다는 가정을 통해 occluded interaction에서도 정확한 분할을 유도합니다.
     • 촉각 트랜스포머(Tactile Transformer): DIGIT 센서의 RGB 이미지로부터 접촉 깊이(contact depth)를 예측합니다. 이는 TACTO [78] 시뮬레이터에서 대규모 촉각 이미지 코퍼스(corpus)를 생성하여 학습된 vision transformer [58] 기반 모델입니다. 이 모델은 실세계의 다양한 DIGIT 센서에 일반화되며, Sim-to-Real transfer를 위해 센서의 LED 조명, 압입 깊이, 픽셀 노이즈 등에 대한 무작위화(randomization)를 적용합니다.
   • 백엔드(Backend): 프런트엔드에서 얻은 심층 측정값과 센서 자세를 이용하여 물체 모델을 온라인에서 구축합니다.
     • 형상 최적화기(Shape Optimizer): 최적화는 online learning 접근법 [69, 52]을 따르며, 현재 신경망 가중치 \bar{\theta}를 고정하고 자세 \bar{\mathbf{x}}_t를 이용하여 신경장(neural field)의 가중치 \theta를 최적화합니다. 이는 일정 간격마다 핵심 프레임(keyframes) K를 선택하여 수행됩니다. SDF 손실 함수 L_{\text{shape}} = L_f + w_{\text{tr}}L_{\text{tr}}는 물체 표면 근처의 점(surface pixels)과 자유 공간(free-space pixels) 모두를 활용하며, 신경망 가중치를 업데이트합니다. L_f는 자유 공간 픽셀에 대한 손실이고, L_{\text{tr}}은 절단된 SDF(truncated SDF) 손실입니다.
     • 자세 최적화기(Pose Optimizer): 고정된 신경망 가중치 \bar{\theta}를 기반으로 물체의 자세 \mathbf{x}_t를 미끄러지는 창(sliding window) 크기 n을 갖는 자세 그래프(pose graph) [13]를 사용하여 최적화합니다. 이는 nonlinear least squares 최적화 문제로 정식화되며, Theus [55]의 Levenberg–Marquardt (LM) solver를 사용합니다. 손실 함수는 L_{\text{pose}} = w_{\text{sdf}}L_{\text{sdf}} + w_{\text{reg}}L_{\text{reg}} + w_{\text{icp}}L_{\text{icp}}로 구성됩니다.
       • L_{\text{sdf}}: 각 광선(ray)의 표면점에 대한 SDF 손실입니다.
       • L_{\text{reg}}: 연속된 핵심 프레임 자세 사이의 약한 정규화(regularizer) 항입니다.
       • L_{\text{icp}}: 현재 시각-촉각 포인트 클라우드와 이전 포인트 클라우드 사이의 Iterative Closest Point (ICP) 손실입니다.

논문은 시뮬레이션과 실제 환경에서 다양한 물체에 대한 총 70가지 실험을 통해 NeuralFeels의 성능을 평가했습니다. 결과는 다음과 같습니다.

• SLAM 성능 (Novel Objects): 새로운 물체에 대한 최종 재구성 F-score는 평균 81%를 달성했으며, 자세 드리프트(pose drift)는 4.7 mm로 안정적인 추적을 보였습니다. 시뮬레이션에서 촉각 통합 시 재구성 정확도는 15.3%, 자세 추적 정확도는 21.3% 향상되었고, 실제 환경에서는 각각 14.6%와 26.6% 향상되었습니다. 특히 시각 전용(vision-only) 방식에 비해 추적 실패율이 크게 감소했습니다 (예: 시뮬레이션에서 153회 실패, NeuralFeels는 5회 실패).
• 자세 추적 성능 (Known Objects): CAD 모델이 주어진 경우, 촉각 통합은 자세 추정치를 더욱 정제하여 평균 자세 오차를 2.3 mm까지 줄였습니다. 시뮬레이션에서는 22.29%, 실제 환경에서는 3.9%의 평균 자세 오차 감소를 보였습니다.
• 가려짐 및 센싱 노이즈 하의 성능: 시각적 가려짐이 심한 경우 촉각의 통합은 추적 성능을 최대 94%까지 향상시켰습니다. 또한, 시각 심층(visual depth) 데이터에 노이즈가 클 때도 촉각은 자세 추적 오차를 크게 줄이는 데 기여했습니다.

NeuralFeels는 상호작용을 통해 견고한 물체 중심 SLAM을 달성하며, 풍부한 감각 데이터를 활용하여 시각 전용 방식의 한계를 극복합니다. 촉각은 노이즈가 많은 프런트엔드 추정치를 명확하게 하고, 가려짐 상황에서 중요한 정보를 제공함으로써 재구성 완성도와 정밀도를 향상시킵니다. 이는 시각과 촉각 모달리티의 상보적(complementary) 특성을 강조하며, 온라인 학습과 사전 학습된 모델의 모듈식 결합이 적은 훈련 데이터에도 불구하고 강력한 성능을 발휘할 수 있음을 보여줍니다.

---

2 🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

2.1 서론: 왜 로봇은 아직도 물건을 제대로 만지지 못할까?

2.1.1 문제의 본질

여러분, 잠깐 눈을 감고 주머니 속 열쇠를 꺼내보세요. 놀랍지 않나요? 보지도 않고, 수십 개의 물건 중에서 정확히 열쇠를 찾아 원하는 방향으로 돌려 꺼냈습니다. 이 과정에서 우리 손가락은 끊임없이 물체의 형태, 위치, 방향을 “느끼며” 파악합니다.

Richard Feynman이 물리학을 설명할 때 자주 했던 질문을 빌리자면: “로봇은 왜 이걸 못할까?”

문제의 핵심은 단순합니다:

1. 시각의 한계: 손으로 물체를 잡으면, 정작 중요한 부분(물체와 손가락이 만나는 곳)이 손가락에 가려서 보이지 않습니다.
2. 사전 지식의 요구: 현재 대부분의 조작 시스템은 미리 알고 있는 물체(CAD 모델)만 다룰 수 있습니다.
3. 단일 감각 의존: 시각 OR 촉각, 둘 중 하나만 사용하는 시스템이 대부분입니다.

2.1.2 NeuralFeels의 등장

Meta AI(FAIR), CMU, UC Berkeley의 연구팀이 발표한 NeuralFeels는 이 문제에 대한 우아한 해답을 제시합니다. 핵심 아이디어는 놀랍도록 직관적입니다:

“인간처럼 시각과 촉각을 동시에 사용하고, 미지의 물체도 만지면서 배우자”

이 논문은 Science Robotics(2024)에 게재되었으며, 로봇 손이 처음 보는 물체를 잡고 회전시키면서 동시에 그 물체의:

• 6-DoF 자세(Pose) 추적
• 3D 형상(Shape) 복원

을 수행하는 시스템을 제안합니다. 그것도 온라인, 실시간으로 말이죠.

2.1.3 핵심 기여 요약

기여 영역	구체적 내용
시스템	시각-촉각-고유수용감각을 융합한 Object-centric SLAM
표현	Neural SDF를 온라인으로 학습하여 물체 형상 인코딩
알고리즘	Pose Graph 최적화를 통한 동시 형상-자세 추정
학습	시뮬레이션 전용 학습으로 실제 센서에 일반화되는 Tactile Transformer
데이터셋	70개 실험 시퀀스의 FeelSight 벤치마크 공개

---

2.2 배경 이론: Neural Field란 무엇인가?

NeuralFeels를 이해하려면 먼저 Neural Field(신경장)라는 개념을 알아야 합니다. 걱정 마세요, 생각보다 직관적입니다.

2.2.1 Signed Distance Function (SDF)의 직관

3D 공간의 어떤 점 \mathbf{x} = (x, y, z)가 주어졌을 때, 그 점에서 가장 가까운 물체 표면까지의 거리를 반환하는 함수를 생각해봅시다:

\text{SDF}(\mathbf{x}) = \begin{cases} d > 0 & \text{물체 바깥 (거리 } d \text{)} \\ 0 & \text{물체 표면 위} \\ d < 0 & \text{물체 내부 (거리 } -d \text{)} \end{cases}

마치 지형도에서 등고선을 보는 것과 같습니다. SDF 값이 0인 등위면(level set)이 바로 물체의 표면입니다.

2.2.2 Neural SDF: MLP로 SDF 학습하기

전통적으로 SDF는 Voxel Grid에 저장했습니다. 하지만 해상도를 높이면 메모리가 O(N^3)로 폭발합니다.

Neural SDF는 다른 접근법을 취합니다:

f_\theta : \mathbb{R}^3 \rightarrow \mathbb{R}

작은 신경망 f_\theta가 좌표 \mathbf{x}를 입력받아 SDF 값을 출력합니다. 이 신경망의 가중치 \theta가 곧 물체의 형상을 인코딩합니다.

2.2.3 Instant-NGP: 왜 빠른가?

NeuralFeels가 실시간으로 동작할 수 있는 핵심 비밀은 NVIDIA의 Instant-NGP 아키텍처입니다.

2.2.3.1 Multi-Resolution Hash Encoding

일반 MLP는 고주파 디테일을 학습하기 어렵습니다. Positional Encoding(Fourier Features)을 쓰면 되지만, 학습이 느립니다.

Instant-NGP의 해법:

입력 좌표 x → [해시 테이블 조회] → 다해상도 특징 벡터 → 작은 MLP → SDF 값

Tip비유: 도서관에서 책 찾기

전통적인 MLP가 “책 내용을 모두 암기하는 것”이라면, Instant-NGP는 “색인표(해시 테이블)를 만들어 필요한 페이지만 빠르게 찾는 것”입니다.

다해상도 그리드를 해시 테이블에 저장하고, 각 해상도에서 특징 벡터를 보간(interpolate)하여 연결합니다. 이를 통해:

• 학습 속도: 수십 초 만에 고품질 SDF 학습
• 메모리 효율: 해시 충돌을 허용하되, 다해상도 구조가 모호성을 해소
• 쿼리 속도: 수백 ms 만에 메쉬 추출

---

2.3 방법론: NeuralFeels 파이프라인 상세 분석

2.3.1 전체 시스템 아키텍처

flowchart TB
    subgraph Sensors["🤖 센서 입력"]
        CAM[RGB-D 카메라<br/>RealSense D435]
        TAC[DIGIT 촉각 센서<br/>x4 fingers]
        PROP[관절 인코더<br/>16D joints]
    end
    
    subgraph Frontend["⚙️ 프론트엔드 처리"]
        SAM[SAM 세그멘테이션<br/>+ Embodied Prompts]
        TT[Tactile Transformer<br/>ViT 기반 깊이 예측]
        FK[Forward Kinematics<br/>촉각 센서 위치 계산]
    end
    
    subgraph Backend["🧠 백엔드 최적화"]
        SDF[Neural SDF<br/>Instant-NGP]
        PG[Pose Graph<br/>Sliding Window]
    end
    
    subgraph Output["📤 출력"]
        POSE[6-DoF 물체 자세]
        MESH[3D 복원 메쉬]
    end
    
    CAM --> SAM
    TAC --> TT
    PROP --> FK
    
    SAM --> |시각 깊이| Backend
    TT --> |촉각 깊이| Backend
    FK --> |센서 포즈| Backend
    
    SDF <--> |교대 최적화| PG
    
    Backend --> POSE
    Backend --> MESH
    
    style Frontend fill:#e1f5fe
    style Backend fill:#fff3e0
    style Sensors fill:#f3e5f5
    style Output fill:#e8f5e9

Figure 1: NeuralFeels 시스템 아키텍처

시스템은 크게 프론트엔드와 백엔드로 구성됩니다. 마치 전통적인 Visual SLAM 시스템과 유사하지만, 촉각 정보가 추가되었습니다.

2.3.2 프론트엔드: 센서 데이터를 깊이 맵으로

2.3.2.1 시각 처리: SAM + Embodied Prompts

물체가 손에 가려진 상황에서 어떻게 물체 영역을 세그멘테이션할까요?

NeuralFeels는 Segment Anything Model (SAM)을 활용하되, “Embodied Prompts”라는 영리한 트릭을 씁니다:

1. Forward Kinematics로 각 손가락 끝(촉각 센서)의 3D 위치 계산
2. 이 위치들을 카메라 이미지에 투영
3. 투영된 점들을 SAM의 포인트 프롬프트로 사용
4. 그립 중심도 추가하여 “이 점들 주변이 물체다”라고 안내

\mathbf{p}_i^{\text{2D}} = \mathbf{K} \cdot \mathbf{T}_{c \leftarrow h} \cdot \text{FK}(q_t, i)

여기서:

• \mathbf{K}: 카메라 내부 파라미터
• \mathbf{T}_{c \leftarrow h}: 핸드→카메라 변환
• \text{FK}(q_t, i): i번째 손가락 끝의 3D 위치

2.3.2.2 촉각 처리: Tactile Transformer

DIGIT 센서는 비전 기반 촉각 센서입니다. 투명한 젤 패드 뒤에 카메라가 있어서 변형을 “보는” 방식입니다.

문제는: 이 RGB 이미지에서 접촉 깊이를 어떻게 추정할 것인가?

기존 방법들은 Photometric Stereo나 CNN을 사용했습니다. NeuralFeels는 Vision Transformer (ViT) 아키텍처를 채택합니다:

flowchart LR
    subgraph Input["입력"]
        IMG["DIGIT RGB 이미지<br/>(240×320)"]
    end
    
    subgraph Encoder["ViT 인코더"]
        PATCH["패치 임베딩<br/>16×16 patches"]
        TRANS["Transformer Blocks<br/>12 layers"]
    end
    
    subgraph Decoder["디코더"]
        REASSEMBLE["Feature Reassembly"]
        FUSION["Multi-scale Fusion"]
    end
    
    subgraph Output["출력"]
        DEPTH["접촉 깊이 맵"]
        MASK["접촉 마스크"]
    end
    
    IMG --> PATCH --> TRANS --> REASSEMBLE --> FUSION --> DEPTH
    FUSION --> MASK
    
    style Encoder fill:#e3f2fd
    style Decoder fill:#fce4ec

Figure 2: Tactile Transformer 아키텍처

핵심 설계 결정:

요소	선택	이유
아키텍처	Dense ViT (DPT 기반)	고해상도 깊이 예측에 우수
학습 데이터	TACTO 시뮬레이터	40개 YCB 물체 × 10,000 접촉
도메인 적응	랜덤화 (LED, 깊이, 노이즈)	Sim-to-Real 전이
파라미터 수	21.7M	경량화 (CNN 대비)

손실 함수:

\mathcal{L}_{\text{tactile}} = \frac{1}{N} \sum_{i} \| \hat{D}_i - D_i^{\text{GT}} \|_2^2

2.3.3 백엔드: Neural SLAM

백엔드는 두 가지 최적화를 교대로 수행합니다:

1. Map Optimizer: Neural SDF 가중치 \theta 업데이트
2. Pose Optimizer: 물체 자세 \{x_t\} 업데이트

이는 EM 알고리즘의 정신과 유사합니다: “형상을 알면 자세를 추정하기 쉽고, 자세를 알면 형상을 추정하기 쉽다.”

2.3.3.1 Map Optimizer: SDF 학습

각 프레임에서 시각+촉각 깊이 맵이 들어오면:

1. 깊이 픽셀을 3D 포인트로 백프로젝션
2. 물체 좌표계로 변환 (현재 자세 추정치 \hat{x}_t 사용)
3. 카메라 광선을 따라 샘플링
4. Truncated SDF 손실로 Neural SDF 학습

SDF 손실 함수:

광선 \mathbf{r}(u) = \mathbf{o} + u \cdot \mathbf{d} 위의 샘플 \mathbf{p}에 대해:

\mathcal{L}_{\text{SDF}}(\theta) = \begin{cases} |f_\theta(\mathbf{p}) - d_{\text{surf}}| & \text{if } |d_{\text{surf}}| < \tau \\ \text{free-space loss} & \text{otherwise} \end{cases}

여기서 d_{\text{surf}}는 표면까지의 실제 거리, \tau는 truncation 거리입니다.

Keyframe 기반 학습:

메모리 효율과 Catastrophic Forgetting 방지를 위해:

• 최근 K개의 키프레임 유지
• 각 최적화 스텝에서 현재 프레임 + 과거 키프레임 리플레이

2.3.3.2 Pose Optimizer: Factor Graph

자세 추정은 비선형 최소제곱 문제로 정식화됩니다:

x_t^* = \arg\min_{x_t} \sum_k \mathcal{L}_k(x_t)

Factor들:

graph LR
    subgraph Factors["Factor Types"]
        SDF_F["🔵 SDF Factor<br/>Point-to-SDF 정렬"]
        ICP_F["🟢 ICP Factor<br/>프레임간 정합"]
        REG_F["🟡 Regularization<br/>자세 안정화"]
    end
    
    subgraph Graph["Factor Graph"]
        X1((x₁)) --- X2((x₂)) --- X3((x₃)) --- X4((x₄))
    end
    
    SDF_F --> Graph
    ICP_F --> Graph
    REG_F --> Graph

Figure 3: Pose Graph Factor 구조

1. SDF Factor (Point-to-SDF):

\mathcal{L}_{\text{sdf}}(x_t) = \sum_{\mathbf{p} \in \mathcal{P}_t} \rho\left( f_\theta(x_t^{-1} \cdot \mathbf{p}) \right)

포인트 클라우드를 현재 자세로 변환한 뒤, Neural SDF 값이 0에 가까워야 합니다 (표면 위에 있어야 함).

2. ICP Factor (Frame-to-Frame):

\mathcal{L}_{\text{icp}}(x_t, x_{t-1}) = \| (x_{t-1}^{-1} \cdot x_t) \ominus \Delta T_{\text{ICP}} \|^2

인접 프레임 간의 상대 변환이 ICP로 추정한 변환과 일치해야 합니다.

3. Regularization Factor:

\mathcal{L}_{\text{reg}}(x_t, x_{t-1}) = \| x_t \ominus x_{t-1} \|^2_\Sigma

급격한 자세 변화를 억제합니다.

Sliding Window 최적화:

전체 트래젝토리를 최적화하면 계산량이 선형 증가합니다. 대신:

• 최근 W개 프레임만 활성 윈도우로 유지
• Theseus (PyTorch 기반 비선형 최적화 라이브러리) 사용
• 미분 가능하여 End-to-End 학습 가능 (미래 연구)

---

2.4 실험 설정 및 하드웨어

2.4.1 로봇 플랫폼

구성요소	사양
매니퓰레이터	Franka Panda 7-DoF
핸드	Allegro Hand (16-DoF, 4손가락)
촉각 센서	DIGIT × 4 (각 손가락 끝)
시각 센서	Intel RealSense D435 RGB-D
GPU	NVIDIA RTX 3090/4090

2.4.2 DIGIT 촉각 센서

DIGIT은 Meta에서 개발한 비전 기반 촉각 센서입니다:

• 해상도: 240 × 320 RGB
• 프레임레이트: 30 Hz
• 원리: 젤 패드 변형을 내장 카메라로 촬영
• 장점: 저렴($50), 고해상도, 교체 가능

2.4.3 FeelSight 데이터셋

연구팀은 벤치마킹을 위해 FeelSight 데이터셋을 공개했습니다:

항목	수량
총 시퀀스	70개
시뮬레이션	35개 (Isaac Gym + TACTO)
실제 환경	35개
물체 종류	14개 (YCB, ContactDB 등)
시퀀스 길이	30초/시퀀스
Ground Truth	다중 카메라 추적

2.4.4 조작 정책

물체 회전을 위해 HORA (Haozhi Qi et al.) 정책을 사용합니다:

• 고유수용감각(proprioception) 기반
• Isaac Gym에서 강화학습으로 학습
• Sim-to-Real 전이 성공

---

2.5 실험 결과 및 분석

2.5.1 평가 지표

자세 추적:

• ADD-S: Symmetric Average Distance (mm)

\text{ADD-S} = \frac{1}{|\mathcal{M}|} \sum_{\mathbf{p} \in \mathcal{M}} \min_{\mathbf{q} \in \mathcal{M}} \| (R\mathbf{p} + t) - \mathbf{q} \|

형상 복원:

• F-Score: Precision과 Recall의 조화평균 (threshold = 5mm)

\text{F-Score} = \frac{2 \cdot P \cdot R}{P + R}

2.5.2 정량적 결과

2.5.2.1 형상 복원 (SLAM 모드)

환경	Modality	F-Score (%)	중앙 오차 (mm)
시뮬레이션	Vision Only	73.2	2.8
시뮬레이션	Vision+Tactile	81.4	2.1
실제	Vision Only	62.1	4.2
실제	Vision+Tactile	74.8	3.9

Note핵심 발견

촉각 추가 시 시뮬레이션에서 11%, 실제 환경에서 20% F-Score 개선

2.5.2.2 자세 추적 (Known Shape)

CAD 모델이 주어진 경우의 순수 추적 성능:

환경	Modality	ADD-S (mm)	개선율
시뮬레이션	Vision Only	3.2	-
시뮬레이션	Vision+Tactile	2.3	28% ↓
실제	Vision Only	5.8	-
실제	Vision+Tactile	4.7	19% ↓

2.5.2.3 폐색(Occlusion) 강건성

가장 인상적인 결과입니다. 카메라 시점을 구면(sphere) 위에서 변화시키며 폐색 정도에 따른 성능을 측정:

폐색 수준	Vision Only	Vision+Tactile	개선율
경미 (0-30%)	4.1 mm	3.8 mm	7%
중간 (30-60%)	8.2 mm	5.1 mm	38%
심각 (60-90%)	22.4 mm	6.2 mm	72%
극심 (90%+)	실패	12.1 mm	94%

“Touch, at the very least, refines and, at the very best, disambiguates visual estimates.”

2.5.3 정성적 분석

2.5.3.1 시각 vs 촉각의 상보성

flowchart LR
    subgraph Vision["👁️ 시각"]
        V1["✅ 전역 형상 파악"]
        V2["✅ 먼 거리에서도 동작"]
        V3["❌ 폐색에 취약"]
        V4["❌ 접촉면 정보 없음"]
    end
    
    subgraph Tactile["🖐️ 촉각"]
        T1["✅ 폐색 무관"]
        T2["✅ 고해상도 접촉 지오메트리"]
        T3["❌ 지역적 정보만"]
        T4["❌ 접촉 시에만 동작"]
    end
    
    subgraph Fusion["🔀 융합 시너지"]
        F1["전역 + 지역 정보"]
        F2["폐색 강건성"]
        F3["정밀한 접촉면 모델링"]
    end
    
    Vision --> Fusion
    Tactile --> Fusion

Figure 4: 시각과 촉각의 상보적 역할

2.5.3.2 실패 사례 분석

연구팀은 솔직하게 한계를 인정합니다:

1. 초기 수렴 실패: 처음 몇 초간 Neural SDF가 불완전할 때 추적 실패 가능
2. 급격한 회전: 프레임 간 변화가 너무 크면 ICP 실패
3. 투명/반사 물체: DIGIT 센서의 광학적 한계
4. 매우 작은 물체: 촉각 해상도 한계

---

2.6 기술적 심화: 수학적 배경

2.6.1 Lie Group SE(3)에서의 자세 표현

로봇 자세를 다루려면 SE(3) (Special Euclidean group)을 이해해야 합니다.

\text{SE}(3) = \left\{ \begin{pmatrix} R & t \\ 0 & 1 \end{pmatrix} \mid R \in \text{SO}(3), t \in \mathbb{R}^3 \right\}

왜 Lie Group인가?

1. 회전 행렬의 직접 최적화는 제약 조건(정규직교성)이 복잡
2. Lie Algebra \mathfrak{se}(3)로 매핑하면 무제약 최적화 가능
3. 미분과 보간이 자연스러움

Exponential/Logarithmic Map:

\exp: \mathfrak{se}(3) \rightarrow \text{SE}(3), \quad \log: \text{SE}(3) \rightarrow \mathfrak{se}(3)

NeuralFeels의 Pose Graph에서 x_t \ominus x_{t-1}는 바로 이 Logarithmic map을 의미합니다:

x_t \ominus x_{t-1} = \log(x_{t-1}^{-1} \cdot x_t)

2.6.2 Truncated SDF (TSDF) vs Neural SDF

TSDF (전통적):

\text{TSDF}(\mathbf{x}) = \text{clamp}\left( \frac{d(\mathbf{x})}{\tau}, -1, 1 \right)

• Voxel Grid에 저장
• O(N^3) 메모리
• 해상도 제한

Neural SDF (NeuralFeels):

f_\theta(\mathbf{x}) \approx \text{SDF}(\mathbf{x})

• 신경망 가중치에 암묵적 저장
• 연속적, 미분 가능
• 적응적 해상도 (Instant-NGP)

2.6.3 Sim-to-Real Transfer의 핵심

Tactile Transformer가 시뮬레이션에서만 학습했는데 실제 센서에서 동작하는 이유:

Domain Randomization 전략:

요소	랜덤화 범위
LED 색온도	±20%
젤 패드 굴절률	±5%
접촉 깊이	0.5-3mm
카메라 노이즈	Gaussian + Salt&Pepper
배경 텍스처	실제 DIGIT 비접촉 이미지 합성

ImportantDomain Gap 해소의 핵심

실제 DIGIT 센서의 “비접촉” 배경 이미지를 시뮬레이션에 합성하여 센서별 광학 특성 차이를 흡수

---

2.7 관련 연구와의 비교

2.7.1 시각-촉각 SLAM 계보

시각-촉각 인지 연구 발전 타임라인:

Table 1: 시각-촉각 SLAM 연구 계보

연도	연구	내용
2000s	Moll & Erdmann	손바닥 굴리기 형상 복원
2015	GelSight 등장	고해상도 촉각 이미징
2019	DIGIT 센서	저가/소형화
2020	Bauza et al.	촉각 SLAM 데모
2022	iSDF	실시간 Neural SDF
2023	FingerSLAM	단일 손가락 SLAM
2024	NeuralFeels	다손가락 시각-촉각 융합

2.7.2 주요 비교 대상

연구	시각	촉각	온라인	Unknown Object	Multi-finger
FingerSLAM	✅	✅	✅	✅	❌
Bauza et al.	❌	✅	❌	✅	❌
BundleSDF	✅	❌	✅	✅	N/A
NeuralFeels	✅	✅	✅	✅	✅

FingerSLAM과의 차이점:

• FingerSLAM: 단일 촉각 센서, 물체가 항상 접촉 유지
• NeuralFeels: 4개 손가락, 간헐적 접촉, 더 현실적인 조작 시나리오

---

2.8 비판적 고찰

2.8.1 강점

1. 완전한 시스템: 센서 → 처리 → 출력까지 End-to-End
2. 일반화 능력: 미지의 물체에서도 동작
3. 해석 가능성: Neural SDF가 명시적 3D 표현 제공 (vs 블랙박스 End-to-End)
4. 재현 가능성: 코드, 데이터셋, 모델 공개
5. 실용적 하드웨어: 상용 센서 사용 (DIGIT, RealSense)

2.8.2 약점 및 한계

2.8.2.1 기술적 한계

1. 처리 속도: 1-5 Hz (실시간이라 하기엔 느림)
2. 초기 수렴 문제: 처음 몇 초간 불안정
3. 범용성: 현재 in-hand rotation만 데모 (다른 조작 테스트 부족)
4. 센서 의존성: DIGIT 센서 특화 (다른 촉각 센서 미검증)

2.8.2.2 방법론적 질문

1. 3D Prior 부재: 매번 처음부터 형상 학습 (Category-level prior 미활용)
2. 단일 물체 가정: 다중 물체 시나리오 미검토
3. 동적 물체: 변형 가능 물체(soft object) 미지원

2.8.2.3 실험 설계

1. 물체 다양성: 14개 물체만 테스트 (더 다양한 형상, 재질 필요)
2. 실패 모드: 체계적인 실패 분석 부족
3. Baseline: 더 다양한 비교 대상 필요 (End-to-End 방법 등)

2.8.3 미래 연구 방향 제안

2.8.3.1 단기 (1-2년)

1. 속도 최적화: TensorRT 등으로 10Hz 이상 달성
2. 다중 센서 일반화: GelSight, DIGIT-360 등 다양한 센서 지원
3. Sim-to-Real 강화: Meta-learning 기반 빠른 적응

2.8.3.2 중기 (2-5년)

1. Category-level Prior: 사전 학습된 형상 prior로 초기 수렴 개선
2. Closed-loop Control: 인지 결과를 조작 정책에 피드백
3. 변형 물체: Neural Field + Physics 결합 (예: NeuralCloth)

2.8.3.3 장기 (5년+)

1. Foundation Model: 범용 촉각-시각 표현 학습
2. Whole-body Manipulation: 로봇 전신의 접촉 인지
3. Human-Robot Handover: 인간-로봇 상호작용으로 확장

---

2.9 실습 가이드: NeuralFeels 설치 및 실행

2.9.1 환경 설정

## 저장소 클론
git clone git@github.com:facebookresearch/neuralfeels.git
cd neuralfeels

## Conda 환경 생성 (micromamba 권장)
./install.sh -e neuralfeels
micromamba activate neuralfeels

2.9.2 데이터셋 다운로드

## FeelSight 데이터셋 (Hugging Face)
cd data
git clone https://huggingface.co/datasets/suddhu/Feelsight
mv Feelsight/* . && rm -r Feelsight
find . -name "*.tar.gz" -exec tar -xzf {} \; -exec rm {} \;
cd ..

## Tactile Transformer 모델
git clone https://huggingface.co/suddhu/tactile_transformer

## SAM 가중치
mkdir -p data/segment-anything && cd data/segment-anything
for model in sam_vit_h_4b8939.pth sam_vit_l_0b3195.pth sam_vit_b_01ec64.pth; do
  wget https://dl.fbaipublicfiles.com/segment_anything/$model
done
cd ../..

2.9.3 실행 예시

## 시뮬레이션 SLAM (고무 오리)
./scripts/run --slam-sim

## 실제 환경 추적 (피망)
./scripts/run --slam-real

## 커스텀 설정
./scripts/run feelsight slam vitac 077_rubiks_cube 00 5 0 1
##             [데이터셋] [모드] [모달리티] [물체] [로그] [FPS] [녹화] [시각화]

2.9.4 필수 하드웨어

구성요소	최소 요구	권장
GPU	RTX 3080 (10GB)	RTX 4090 (24GB)
RAM	32GB	64GB
저장공간	50GB SSD	100GB NVMe

---

2.10 결론

2.10.1 핵심 메시지

NeuralFeels는 로봇 조작 인지에서 중요한 이정표입니다:

1. 시각-촉각 융합의 정량적 효과를 명확히 보여줌
2. Neural Field라는 현대적 표현을 로봇 SLAM에 성공적으로 적용
3. 온라인, 미지 물체 시나리오에서의 동작을 입증
4. 재현 가능한 벤치마크 제공으로 후속 연구 촉진

2.10.2 Feynman식 요약

“만약 로봇 손에게 ’느끼면서 배우라’고 할 수 있다면, 눈이 가려져도 물체를 다룰 수 있다. NeuralFeels는 그 ’느끼면서 배우기’를 신경망으로 구현한 것이다.”

2.10.3 연구자를 위한 조언

이 연구를 확장하고 싶다면:

1. 다른 촉각 센서 적용: GelSight, Soft Bubble 등
2. 다른 조작 작업 적용: 삽입, 비파지 조작, 양손 조작
3. Foundation Model 결합: CLIP, SAM과의 더 깊은 통합
4. Sim-to-Real 개선: Domain Adaptation, Meta-learning

---

2.11 참고 문헌

주요 참고 논문:

1. Suresh et al., “NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation,” Science Robotics, 2024.
2. Müller et al., “Instant neural graphics primitives with a multiresolution hash encoding,” ACM TOG, 2022.
3. Ortiz et al., “iSDF: Real-time neural signed distance fields for robot perception,” RSS, 2022.
4. Qi et al., “In-hand object rotation via rapid motor adaptation,” ICRA, 2023.
5. Lambeta et al., “DIGIT: A novel design for a low-cost compact high-resolution tactile sensor with application to in-hand manipulation,” RA-L, 2020.
6. Kirillov et al., “Segment anything,” ICCV, 2023.
7. Zhao et al., “FingerSLAM: Closed-loop unknown object localization and reconstruction from visuo-tactile feedback,” arXiv, 2023.

---

Tip논문 원문 및 자료

• arXiv: https://arxiv.org/abs/2312.13469
• Science Robotics: https://www.science.org/doi/10.1126/scirobotics.adl0628
• GitHub: https://github.com/facebookresearch/neuralfeels
• 데이터셋: https://huggingface.co/datasets/suddhu/Feelsight

---

3 ⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

3.1 서론: 시각과 촉각의 결합이 필요한 이유

사람은 여러 감각을 자연스럽게 통합하여 주변을 인지합니다. 예를 들어, 어두운 주머니 속에서 열쇠를 찾거나, 밤중에 불을 켜지 않고도 열쇠를 자물쇠에 맞춰 넣을 수 있습니다. 우리의 시각이 제한될 때 촉각을 통해 물체의 형태와 위치를 파악하고, 두 감각 정보를 결합해 정확한 조작을 수행하죠. 그러나 오늘날 로봇은 이러한 멀티모달 인지를 거의 활용하지 못하고 있습니다. 특히 다지 로봇 손(여러 손가락을 가진 로봇 핸드)이 물체를 손 안에서 이리저리 돌리는 in-hand 조작 상황에서는, 물체가 손이나 손가락에 가려 시야가 차단(occlusion)되는 경우가 잦습니다. 기존 로봇 인핸드(in-hand) 인지 연구들은 주로 카메라 비전에 의존하여 미리 모델이 알려진 물체의 자세(pose)를 추적하는 데 한정되어 있었고, 시야 가림이 없는 개방된 환경에서만 동작하는 경우가 많았습니다. 또한 일부 연구에서는 물체나 환경에 마커(fiducial) 부착 등 편법으로 인지 문제를 단순화하기도 했죠. 하지만 가정이나 비구조화된 환경에서 일반적인 로봇 손재주를 실현하려면, 견고하고 범용적인 물체 인지가 필수입니다.

이때 촉각은 강력한 보완 감각으로 떠오릅니다. 로봇 비전은 조명이나 반사, 투명도 등의 현실 문제로 오작동하기 쉽지만, 촉각 센서는 실제 접촉을 통해 물체의 국지적인 형상과 상대 위치 정보를 직접 제공합니다. 사람의 인지 연구에서도 시각과 촉각이 서로 보완적임이 알려져 있습니다. 최근 비전 기반 촉각 센서(예: GelSight, DIGIT 등)가 저렴해지고 소형화되면서 로봇 손가락에 내장할 수 있게 되었고, 촉각 센서의 시뮬레이션 환경도 발전하여 촉각 데이터를 학습에 활용하기 수월해졌습니다. 이제 로봇은 시각 + 촉각의 멀티모달 데이터를 동시에 사용할 준비가 된 것입니다.

그렇다면 주어진 멀티모달 데이터를 어떻게 표현하고 활용해야 할까요? 최근 신경장(neural field) 기반의 연속적 3차원 표현이 컴퓨터 비전 분야에서 각광받고 있습니다. 신경장은 좌표를 입력하면 그 지점의 특성(예: 밀도, 색깔, 거리 등)을 출력하는 신경망으로, NeRF와 같은 기술을 통해 고품질 3D 재구성이 가능함이 입증되었죠. 신경장은 연속적이고 해상도 제한이 없는 표현이라서, 포인트 클라우드나 격자(mesh)보다 물체 형상을 정교하게 나타낼 수 있습니다. 다만 전통적인 NeRF는 오프라인 일괄(batch) 최적화에 치중되어 있어, 로봇의 실시간 온라인 인지에 바로 쓰기 어렵습니다. 다행히도 최근에는 경량화된 SDF 신경장 모델들이 등장하여 온라인으로 환경 지도를 학습하거나 물체를 추적하는 시도가 이뤄지고 있습니다. 예컨대 Ortiz 등은 iSDF를 통해 실시간으로 환경의 SDF 지도를 구축하였고, Lin 등은 iNeRF를 통해 미리 학습된 NeRF를 이용해 카메라 pose 추정을 역으로 수행하기도 했습니다. 신경장 기법을 로봇 manipulation에 적용하려는 연구도 점차 나타나고 있지만, 시각-촉각 같이 서로 다른 모달 데이터를 통합하는 최적화 방법은 아직 개척 단계입니다.

이러한 배경에서, CMU·Meta AI·Berkeley 등의 협업으로 발표된 NeuralFeels (Science Robotics, 2024) 연구는 멀티모달 (시각+촉각) SLAM 방식을 통해 손안의 물체를 동시에 추적하고 모델링하는 신뢰성 높은 인지 방법을 제안합니다. 한마디로 요약하면: “뉴럴 필드(신경장)로 물체의** 느낌(feel)까지 학습하는” 기술입니다. 로봇 손에 장착된 카메라와 촉각 센서로부터 입력 스트림을 받아, 물체의 자세(6-DoF 위치/방향)와 형상(3D 모양)을 실시간 추정합니다. NeuralFeels는 물체에 대한 사전 모델 없이 완전히 처음 보는 물체라도 상호작용을 통해 모양을 배워가며** 추적할 수 있고, 시각 정보가 부족해도 촉각으로 보강하여 추적 정확도를 높입니다. 특히 시야가림이 심한 경우 최대 94%까지 추적 정확도가 향상되는 결과를 보여주며, 최종적으로 형상 재구성 F-스코어 81%와 평균 자세 오차 4.7 mm 수준의 성능을 달성했습니다. (F-스코어와 자세 오차는 뒤에서 자세히 설명합니다.) 또한 동일 기법을 물체 CAD 모델이 주어진 경우에 적용하면, 평균 2.3 mm 수준까지 오차를 줄일 수 있어 기존 모델 기반 추적보다도 향상된 결과를 보였습니다. 저자들은 이 방법을 구현한 소스 코드와, 시뮬레이션 및 실제 로봇으로 수집한 FeelSight 데이터셋(총 70회 실험 시퀀스)을 공개하여 향후 연구를 가속화하고자 했습니다.

이 글에서는 NeuralFeels 논문의 핵심 아이디어와 기여, 사용된 기술 요소와 알고리즘, 주요 실험 결과, 그리고 강점과 한계, 미래 연구 방향 등을 로봇공학자의 관점에서 심층 분석합니다. 리처드 파인만의 설명처럼 최대한 직관적 비유를 들어 이해를 돕고자 하며, 복잡한 수식이나 기술적 개념도 쉬운 언어로 풀어보겠습니다.

3.2 방법: NeuralFeels의 visuo-tactile SLAM 알고리즘

NeuralFeels의 방법론을 한 마디로 표현하면 “멀티모달 SLAM”입니다. 여기서 SLAM이란 로봇공학에서 흔히 말하는 동시적 위치추정 및 지도작성(Simultaneous Localization And Mapping)을 뜻하는데요, 일반적인 SLAM은 로봇이 자신의 위치와 주변 지도를 동시에 알아내는 과정입니다. 흥미롭게도, NeuralFeels에서는 로봇이 아니라 손에 든 물체의 자세(위치/자세)와 모양(지도에 해당)을 동시에 추정하기 때문에, 맥락은 같지만 대상이 “물체”로 바뀐 SLAM이라 할 수 있습니다. 로봇 손은 물체를 쥐고 다양한 방향으로 회전시키면서, RGB-D 카메라(시각)와 손가락의 촉각 센서로부터 연속적인 관측 데이터 스트림을 받아들입니다. 이 스트림을 처리하여 매 순간 “지도”(물체의 점진적으로 완성되는 모양)와 “위치”(물체의 자세)를 갱신해가는 것이 NeuralFeels의 핵심 흐름입니다. 아래 그림은 전체 파이프라인을 요약합니다.

flowchart LR
    subgraph frontend["Frontend"]
        Vision[RGB-D 카메라] --> Seg[분할]
        Seg --> VDepth[객체 깊이 맵]
        Tactile[촉각 이미지] --> TT[촉각 트랜스포머]
        TT --> TDepth[접촉 깊이 맵]
    end
    subgraph backend["Backend"]
        VDepth & TDepth --> SDF[신경장 SDF 모델]
        SDF --> PoseOpt[물체 자세 최적화]
        PoseOpt --> SDF
    end
    PoseOpt --> PoseOut[추정 물체 자세]
    SDF --> ShapeOut[추정 물체 형상]

위 파이프라인은 크게 프론트엔드(Frontend)와 백엔드(Backend) 모듈로 나뉩니다. 프론트엔드는 원시 센서 데이터를 받아 유용한 형태의 입력으로 변환해줍니다. 백엔드는 이 입력을 토대로 신경장(Neural Field) 형태의 물체 모델(지도)을 실시간 학습하면서, 한편으로는 물체의 6자유도 자세도 추적합니다. 두 부분을 차례로 자세히 살펴보죠.

3.2.1 프론트엔드: 시각-촉각 데이터 처리

프론트엔드의 역할은 다양한 센서 출력(카메라 영상, 깊이, 촉각 이미지 등)에서 물체에 대한 유용한 정보만 추출하는 것입니다. 마치 사람으로 치면, 눈에 보이는 복잡한 장면에서 관심 물체만 인식해내고, 손끝의 신호에서 표면의 굴곡만 뽑아내는 과정이라 할 수 있겠습니다.

• 시각 부: 로봇 손이 물체를 쥐고 있을 때 카메라가 보는 장면은 복잡합니다. 손가락, 물체, 배경이 섞여 있고, 특히 물체 일부는 손에 가려 보이지 않습니다. NeuralFeels는 고정된 RGB-D 카메라를 사용하며, 여기서 얻은 깊이버퍼(depth)에서 물체 부분만 분리해내는 알고리즘을 적용했습니다. 핵심은 Meta AI에서 최근 공개한 세그먼트 에니싱 모델(SAM) 같은 파운데이션 세그멘테이션 모델을 활용하되, 로봇의 기구학 정보를 결합했다는 점입니다. 로봇 손의 관절 각도(자세)는 항상 알고 있으므로, 이를 이용하면 현재 프레임에서 손가락과 손바닥의 3D 위치를 예측할 수 있습니다. 이 영역을 프롬프트(prompt)로 주어 SAM에게 “이 영역은 로봇 손이니 배제하고, 나머지 중 특정 물체에 속하는 픽셀을 찾아라”라고 할 수 있겠지요. 저자들은 이렇게 로봇 손 kinematics로 제한 조건을 준 세그멘테이션을 통해, 손과 물체가 복잡하게 뒤엉켜 있어도 물체의 픽셀만 잘 분리해냈습니다. 그 결과 RGB-D 카메라로부터 배경과 손이 제거된 오브젝트의 깊이맵 D_{\text{vision}}을 얻게 됩니다. 이 시각 깊이맵에는 물체 표면의 일부 (카메라에 보이는 부분)에 대한 거리 정보가 촘촘히 들어있습니다.

• 촉각 부: 손가락 끝에 장착된 DIGIT 촉각 센서들은 마치 작은 카메라처럼, 손가락 젤패드 표면의 변형을 이미지로 보여줍니다. 예를 들어 손가락이 물체를 누르면 그 부분에 선명한 윤곽이 찍혀나오죠. 하지만 이 촉각 이미지는 사람 눈에도 해석하기 쉽지 않고, 일반 자연영상과는 전혀 다른 분포(조명 패턴 등)를 가집니다. 따라서 이 이미지에서 바로 3D 정보를 얻기는 어렵습니다. 기존 연구에서는 촉각 이미지를 합성곱 신경망(CNN)으로 처리해 접촉 지형의 깊이를 추정하곤 했는데, NeuralFeels는 한 발 더 나아가 Vision Transformer(ViT) 기반의 촉각 트랜스포머 네트워크를 제안했습니다. ViT가 자연영상의 깊이 추정에서 좋은 성능을 보인다는 최근 연구에 착안한 것인데요, 촉각 데이터에도 자기어텐션 기반 접근이 효과적일 것이라 본 것입니다. 이 촉각 트랜스포머 모델은 시뮬레이션으로 전적으로 자율 학습되었는데, Meta AI의 TACTO 프레임워크 등을 활용해 다양한 가상의 물체를 DIGIT로 누르는 상황을 만들고, 그때의 촉각 이미지와 정확한 접촉 깊이맵 쌍을 대량으로 모았습니다. 여기에 카메라 노이즈나 촉각센서 편차 등을 데이터 증강으로 섞어 학습시켜, 실제 다양한 DIGIT 센서에 범용적으로 적용될 수 있게 만들었습니다. 최종적으로 이 모델은 주어진 촉각 이미지에서 접촉 표면의 깊이맵 D_{\text{tactile}}을 출력합니다. 접촉한 부분은 깊이값 (손가락 표면으로부터의 국소 변위)이 나타나고, 접촉이 없는 부분은 빈 영역으로 마스킹하여 비접촉 영역은 무시하도록 처리합니다. 저자들의 보고에 따르면 이 촉각 깊이지도 예측은 시뮬레이션 테스트 세트 기준 평균 오류가 매우 낮은 수준이며, 실제 데이터에도 잘 들어맞는다고 합니다 (Fig. 8(b)에서 시뮬레이션-실제 간 예측을 검증).

프론트엔드의 결과로, 매 시각 프레임마다 두 가지 깊이 정보 D_{\text{vision}} (카메라 기반)과 D_{\text{tactile}} (촉각 기반)이 산출됩니다. 각각 물체의 겉보기 표면 일부와 손가락이 닿은 부분의 국소 표면을 나타내죠. 이처럼 멀티모달로 얻은 "점군" 데이터를 다음 단계에서는 일관된 3D 모델로 통합하는 작업이 필요합니다.

3.2.2 백엔드: Neural Field 기반 형태 학습과 자세 추적

NeuralFeels 백엔드는 물체의 형상을 신경장 모델로 학습(mapping)하고, 동시에 물체 자세를 추적(localization)하는 최적화 엔진입니다. 이는 마치 지도 작성자와 측량사가 한 팀을 이뤄 교대로 일하는 모습과 비슷합니다. 지도 작성자는 현재까지 모인 데이터를 이용해 지도를 조금씩 수정하고, 측량사는 그 지도(모델)를 참고해 현재 위치(자세)를 바로잡는 식이죠. NeuralFeels에서는 두 작업을 교차 반복(alternate)하여, 시간이 지날수록 정확한 형상과 자세를 동시에 얻습니다. 구체적으로 한 루프(iteration)에서는 먼저 포즈 최적화(Pose Optimization)를 수행한 후, 그 결과를 토대로 형상 최적화(Shape Optimization)를 수행합니다. 이때 형상 최적화 단계에서 신경 SDF(Signed Distance Function) 모델의 가중치를 조정하여 물체 형상을 학습하고, 포즈 최적화 단계에서는 현재 신경장 모델을 고정한 채 물체의 자세 변수를 조정합니다. 이러한 방식은 동시 최적화의 어려움을 피하면서도, 빠른 교대 반복으로 결과적으로 동시추정에 수렴하도록 합니다. 각각의 내부 알고리즘을 자세히 들여다보겠습니다.

(a) 형상 표현과 최적화 – NeuralFeels는 물체의 형상을 신경장(SDF)으로 표현합니다. 이는 3D 공간의 좌표 \mathbf{x}를 입력하면 그 점이 물체 표면으로부터 얼마나 떨어져 있는지(부호있는 거리) 출력하는 연속 함수입니다. SDF 값이 0인 좌표들의 집합이 바로 물체의 표면을 이루죠. 이 SDF를 작은 다층퍼셉트론(MLP)으로 표현하되, Instant-NGP 기법을 사용해 다중 해상도 격자 임베딩으로 학습을 가속화합니다. 쉽게 말해, iSDF 스타일의 경량 네트워크로 물체 모양을 점점 학습하는 것입니다.

이 형상 네트워크(지도)는 실시간으로 업데이트되어야 하기 때문에, 모든 프레임 데이터를 누적하여 한꺼번에 학습시키는 건 비현실적입니다. 대신 저자들은 키프레임(keyframe) 개념을 도입했습니다. 정보량이 많은 프레임만 선별하여 키프레임으로 유지하고, 새로운 관측이 들어올 때 기여도가 큰 경우에만 키프레임으로 채택합니다. 또한 오래된 정보가 완전히 잊히지 않도록, 과거 키프레임 중에서도 오차가 컸던 것들은 확률적으로 재표현하여 학습시 리플레이합니다. 이는 catastrophic forgetting(과거 정보 소실) 현상을 막기 위한 장치입니다. 구체적으로, 최초 프레임은 무조건 키프레임으로 택하고, 이후에는 “렌더링 손실”이 일정 임계값 이상 증가한 경우 그 프레임을 키프레임으로 추가하며, 너무 오랫동안 키프레임이 추가되지 않으면 주기적으로 하나를 추가하도록 했습니다.

형상 최적화시에는, 수집한 깊이맵들(시각 및 촉각)로부터 물체 표면과 주변 공간에서 샘플 점들을 추출하여 SDF 네트워크의 손실(loss)을 계산합니다. 표면에 해당하는 픽셀(예: 깊이맵에서 물체가 관측된 픽셀들)은 그 광선(ray)을 따라 표면 부근의 3D 점들을 뽑아 SDF=0이 되도록 학습시킵니다. 반면 물체가 보이지 않은 빈 공간의 픽셀은 그 선상에서 물체가 없어야 하므로, 해당 구간 점들은 양의 SDF(거리) 값을 갖도록 학습합니다. 한 프레임의 광선당 표본 중에는 표면 근처 점들과 공간 점들을 혼합하여 일정 수 선택합니다. 카메라 (vision)의 경우 물체 주변 빈 공간도 중요하므로 표면:공간 비율을 적절히 섞고, 촉각 (touch)의 경우 촉각센서는 접촉된 표면 주변 정보만 있으므로 표면점 위주로 샘플링합니다. 이렇게 모은 샘플들 \{\mathbf{x}_{i}\}에 대해 SDF 네트워크의 예측 f_{\Theta}\left( \mathbf{x}_{i} \right)를 계산하고, Truncated SDF Loss를 적용합니다. 예를 들어 Azinović 등의 방식처럼, 표면으로부터 일정 임계 거리 \tau 이내의 점들은 SDF 예측값 d_{i}와 목표값(표면점이면 0, 공간점이면 \tau 정도의 양수)을 비교해 제곱 오차를 계산하고, \left| d_{i} \right|가 너무 큰 점들은 이상치로 취급하여 Loss에 완전히 반영하지 않습니다 (loss 기여를 잘라냄). 이렇게 하면 SDF 함수가 물체 표면 근처에서는 정확히 0을 맞추고, 먼 공간까지는 굳이 정확히 예측하지 않아도 안정적으로 수렴합니다. 요컨대, 형상 최적화는 현재 추정된 물체 자세들(포즈)에 맞춰, 시각-촉각 관측값에 일치하도록 SDF 파라미터 \Theta를 업데이트하는 단계입니다.

(b) 자세 추정(포즈) 최적화 – 앞서 형상 학습에서는 물체의 자세가 이미 주어진 것처럼 진행했지만, 실제론 시간이 지남에 따라 물체가 손안에서 움직이고 회전합니다. 프레임마다 물체 자세 T_{t} (예: 월드 좌표계에서 물체 좌표계로의 변환)도 추적해야 하는데, 이는 쉬운 문제가 아닙니다. NeuralFeels는 이를 포즈 그래프 최적화 형태로 해결했습니다. 개념상 Visual SLAM의 BA(Bundle Adjustment)와 비슷하게, 최근의 여러 키프레임들에 대한 물체 자세를 묶어서 한꺼번에 최적화합니다. 예를 들어 가장 최근 N개의 키프레임에 해당하는 물체 자세 \{ T_{t - N + 1},...,T_{t}\}를 변수로 두고, 각 키프레임의 관측값과 현재 형상 모델(동결된 SDF)을 일치시키는 목적식들을 설정합니다. 이 목적식들을 그래프상의 Factor로 볼 수 있어서 Factor Graph 혹은 Pose Graph라 부릅니다. 페이서스(Theseus)라는 PyTorch기반 최적화 라이브러리를 사용하여, 이 그래프를 비선형 최소제곱 문제로 풀었습니다. 최적화 알고리즘은 2차 기법인 Levenberg–Marquardt (LM)를 사용하여 더 빠르게 수렴하도록 했습니다 (기존 iNeRF 등은 경사하강(1차)으로 했던 데 비해 개선).

포즈 그래프의 Factor(코스트 항)들은 크게 세 종류가 있습니다: 1. 신경장 정합 오차(SDF alignment loss) – 현재 고정된 신경장 SDF 모델과 각 키프레임의 깊이 관측(시각/촉각)을 일치시키는 항입니다. iNeRF에서 카메라 포즈를 조정하여 렌더링된 영상과 실제 영상을 맞추던 것을 연상하면 됩니다. 구체적으로, 각 키프레임 k의 깊이맵 픽셀들을 광선으로 쏴서 표면점 몇 개씩 샘플링한 뒤(오직 표면 부근 점들만, 왜냐하면 표면에서 멀리 떨어진 점들은 오차 신호가 약하니까요), 현재 추정된 물체 포즈 T_{k}로 이 점들을 물체 좌표계로 변환합니다. 그 점들의 SDF 예측값을 신경장으로부터 구하고, 이들이 0에 가깝도록(표면이어야 하므로) 오차를 계산합니다. 직관적으로, “현재 물체 포즈에서 보면 키프레임 깊이 맵에 있는 점들이 정확히 SDF 모델 표면에 놓여야 한다”는 조건입니다. 이 오류의 자코비안(기울기)를 물체 포즈 변수(변환 행렬의 Lie algebra 표현)에 대해 해석적으로 계산하여 Theseus에 전달했다고 합니다. (PyTorch 자동미분을 쓰면 너무 느리기 때문에, 직접 유도한 커스텀 Jacobian을 구현하여 4배 효율을 높였다고 합니다.) 2. 포즈 연속성 정규화(Pose regularizer) – 연속된 두 키프레임의 물체 자세 변화가 너무 비현실적으로 크지 않도록 약한 제약을 거는 항입니다. 이는 주로 깊이 데이터에 노이즈가 있거나 세그멘테이션이 잘못되어 발생할 수 있는 잡음성 튀는 추정을 억제하는 역할입니다. 손안에서 돌리는 동작은 연속된 프레임에서 극단적인 이동이 없으므로, 이 정규화로 추정의 안정성을 높입니다. 3. ICP 정합 오차(Iterative Closest Point loss) – 마지막으로, 프레임 간 점군 정합을 돕는 항목입니다. 이것은 현재 키프레임과 이전 키프레임 사이의 깊이점들의 상호 일치를 유도합니다. 예를 들어 키프레임 k와 k - 1에서 얻은 물체 표면점 구름들이 서로 잘 겹치도록 T_{k}와 T_{k - 1}를 조정하는 식입니다. 전통 ICP 알고리즘처럼 최근접점 쌍을 찾아 오차를 계산합니다. 이 항은 프레임-프레임 간 상대적인 관측 정합을 주어, 앞의 신경장 정합이 프레임-모델 전역 정합인 것과 상보적으로 작용합니다. 즉, 프레임 대 프레임+프레임 대 모델 두 방향에서 최적화를 거는 것이죠.

이러한 Factor들을 모두 합쳐 포즈 그래프의 최소화 문제를 세우고, LM 알고리즘으로 해를 구하면 N개 키프레임의 물체 자세가 한꺼번에 조정됩니다. 이 결과 중 가장 최신 프레임의 자세가 바로 현재 시각의 물체 추정 자세 T_{t}가 되고, 이전 것들은 그래프 메모리에서 더 이상 쓰이지 않으면 폐기되거나(슬라이딩 윈도우) 필요시 유지됩니다.

요약하면, 백엔드는 매 입력 시퀀스에 대해 (포즈 최적화 → 형상 최적화) 루프를 돌면서, 신경 SDF 모델 파라미터 \Theta와 물체 자세 T를 교대로 보정해 나갑니다. 이를 통해 형상 지도와 위치 추적이 동시에 정밀해집니다. NeuralFeels의 접근법은 완전한 엔드투엔드 딥러닝과 달리, 이렇게 모듈화된 최적화로 이루어져 있어서 결과물이 해석 가능하고 신뢰성이 높습니다. (예를 들어 최종 출력인 SDF 기반 3D 모델과 물체 자세 경로는 사람이 이해하기 쉽고, 로봇의 후속 작업에도 직접 활용 가능합니다.) 또한 하드웨어 측면에서도 특수한 멀티카메라 장치나 비전 모션캡처 없이 간단한 센서 구성(카메라 1대 + 촉각센서 몇 개)으로 이 문제를 풀었다는 점이 돋보입니다.

3.3 실험: 시뮬레이션 및 실제 로봇 검증

NeuralFeels의 연구진은 위 방법을 시뮬레이션과 실제 로봇 플랫폼 양쪽에서 구현하고 평가했습니다. 하드웨어는 다섯 손가락을 가진 로봇 손(아마 Shadow Hand나 비슷한 다지 핸드로 추정)이며, 각 손가락 끝에 DIGIT 촉각 센서가 장착되어 있습니다. 손목에는 관절 각도 센서로 손가락 위치를 읽고, 환경에는 Realsense RGB-D 카메라(고정)가 설치되었습니다. 물체는 사람 주먹 정도 크기의 일상 물건들로, 시뮬레이션에서는 물체 3D 모델(메시)을 임의로 선택해 가상 물리엔진(IsaacGym) 속에서 손이 쥐고 돌렸습니다. 실제 실험에서는 동일하거나 유사한 물건을 3D프린팅하거나 준비하여 로봇 손에 쥐게 했습니다. 물체로는 장난감 오리, 주사위 모형, 루빅스 큐브, 블록 등 다양한 형태와 표면특성을 가진 것들이 사용되었습니다 (일부는 YCB 벤치마크나 ContactDB에서 모델을 가져왔다고 언급됩니다).

In-hand 회전 정책: 실험에서 로봇 손은 물체를 손바닥 앞에서 집은 상태로 시작하여, 자유롭게 회전시켰습니다. 이 동작을 위한 정책(policy)은 이 연구의 초점은 아니지만, Haozhi Qi 등이 개발한 HORA(In-Hand Object Rotation via Rapid Motor Adaptation) 알고리즘을 활용했다고 합니다. 쉽게 말해, 물체를 놓치지 않으면서 손가락들만으로 연속 회전을 실행하는 학습된 제어기를 쓴 것입니다. 이렇게 약 수 초 간 회전시키면, 물체의 여러 면이 손가락에 닿았다 떨어지며 촉각 정보를 주고, 카메라 시점에서도 다양한 각도로 물체를 보게 됩니다. 시뮬레이션과 실제 양쪽 모두 보통 한 시퀀스 길이가 수백 프레임(몇 초) 정도로 진행되었습니다. FeelSight 데이터셋에는 이러한 회전 시퀀스가 총 70개 담겨 있으며 (시뮬레이션 40회, 실제 30회), 각 시퀀스는 다른 물체와 초기 배치로 5회 반복되어 통계적 유효성을 확보했습니다. 데이터셋은 HuggingFace를 통해 공개되어 있어, 시뮬레이션 25GB, 실제 15GB, 추가로 가려진 시점 실험 12GB 등의 데이터로 구성되어 있습니다 (깊이 영상, 촉각 프레임, 로봇 상태, 그리고 실제의 경우 추정된 “준-정답” 자세 등이 포함).

평가지표: 성능 평가를 위해 형상 재구성 정확도와 자세 추적 정확도 두 축을 측정했습니다. - 형상 정확도는 F-Score로 표현했는데, 이는 3D 모양 비교시 정밀도(precision)와 재현율(recall)의 조화평균입니다. 구체적으로, 실험 종료 후 얻은 신경장 SDF 모델을 Marching Cubes로 메시 추출하여 재구성된 물체 모델을 만들고, 이를 그라운드트루스 메쉬(시뮬레이션은 알고 있고, 실제는 사전 스캔하거나 CAD 모델 사용)와 비교합니다. 두 메쉬를 정합하여 서로의 점들을 일정 임계 거리(예: 5mm) 이내에 갖는 비율을 계산합니다. 정밀도는 재구성 메쉬의 점들 중 GT에 근접한 비율, 재현율은 GT 점들 중 재구성에 의해 설명되는 비율입니다. 두 값의 조화평균이 F-Score로, 높을수록 GT와 재구성이 잘 일치했다는 의미입니다. - 자세 추적 오차는 ADD-S (Average Distance – Symmetry) 지표를 사용했습니다. 이는 물체의 3D 표면 포인트 집합을 일정 간격 샘플링하여, 추정 자세로 변환한 점들과 GT 자세의 점들 사이의 최근접 거리 평균을 구한 것입니다. 물체에 대칭 구조가 있으면 (예: 정육면체 주사위처럼 회전해도 모양 같아 구분 안 되는 경우), 최근접 기준으로 하여 오차가 과대평가되지 않도록 합니다. ADD-S 오차는 낮을수록 (mm 단위로 표기) 추적이 잘 되었다는 뜻입니다. 시뮬레이션에서는 GT 자세를 알고 있으므로 직접 계산 가능하지만, 실제 실험에서는 GT 자세를 얻기 어려워서 “준지도” 방식을 썼습니다. 방해 없는 환경에서 카메라 여러 대를 동원해 물체를 관찰하고, NeuralFeels 알고리즘을 CAD 모델이 있는 모드로 돌려 얻은 최상의 추적 결과를 “GT”처럼 사용한 것입니다. (모션캡처는 마커가 간섭하여 어려웠다고 하네요.)

비교 기법 및 실험 시나리오: 저자들은 NeuralFeels의 효과를 검증하기 위해 몇 가지 비교 모드를 설정했습니다: 1. Vision-only vs Visuo-tactile: 본 논문의 핵심은 촉각을 추가함으로써 개선되는 부분이므로, 촉각을 배제한 경우를 일종의 baseline으로 삼았습니다. 즉 시각 전용 모드에서는 카메라 깊이로만 동일한 파이프라인을 돌리고, 시각+촉각 모드에서는 전체 모달 데이터를 다 활용합니다. 두 경우의 형상/자세 성능을 비교하여, 특히 시야가림 정도에 따라 어떤 차이가 나는지 분석했습니다. 2. Unknown Object SLAM vs Known Object Tracking: 미지 객체 SLAM 시나리오에서는 물체의 CAD 모델이나 사전 정보 없이 Shape+Pose 동시추정을 하는 완전판 NeuralFeels를 평가했습니다. 그리고 모델이 알려진 객체 추적 시나리오도 따로 두었는데, 이때는 NeuralFeels의 신경장 SDF 모델을 물체의 GT CAD로 초기화하거나 아예 고정한 채, 포즈만 추적하도록 했습니다. 이렇게 하면 순수 멀티모달 추적기로서 기존 방법들과 성능 비교가 가능합니다. 특히 이 경우 물체가 거의 보이지 않을 때 (예: 완전히 손에 가려짐) 촉각만으로 어느 정도 추적이 계속되는지 확인할 수 있습니다. 또한 시각전용 추적기(CAD 알고리즘 + ICP 등) 대비 향상을 정량화했습니다. 3. Occlusion & Noise Stress Test: 마지막으로 시각센서의 시야 가림 정도와 노이즈 변화에 따른 성능 변화를 실험했습니다. 시야 가림은 카메라 위치를 달리하여 물체를 보는 각도 범위를 구분했습니다. 예컨대 어떤 각도에서는 물체가 손으로 거의 가려져 있고, 어떤 각도에서는 잘 보이는 식입니다. 시뮬레이션 환경에서 카메라를 구 형태로 둘러 배치해가며 포즈 오차 변화를 분석했습니다. 한편 노이즈 실험에서는 RealSense 카메라의 깊이 노이즈 모델을 적용하여 깊이 데이터를 점진적으로 더 부정확하게 만들고, 그에 따른 추적 성능 저하를 보았습니다. 이는 조명이나 물체 재질(예: 유광 물체) 등에 따른 실제 센서 불안정 상황을 모사한 것입니다.

주요 결과: - 미지 물체 SLAM: NeuralFeels는 아무 사전정보 없는 새로운 물체들을 대상으로 안정적으로 3D 모델을 형성하고 추적해냈습니다. 평균 F-Score 약 81% 수준으로 형상을 복원했으며, ADD-S 자세 오차 평균 4.7 mm로 초기 위치에서 크게 벗어나지 않고 끝까지 추적 유지했습니다. 이 결과는 시뮬레이션과 실제에서 큰 차이 없이 유사한 성능이었으며, 이는 학습된 촉각 트랜스포머의 시뮬레이션→실제 일반화가 성공적임을 반증합니다. 비전 전용 대비 멀티모달의 이점은 특히 어려운 상황에서 두드러졌습니다. 전체 70회 실험을 통계낼 때 시각+촉각 융합이 모든 실험에서 형상 F-스코어를 더 높게 달성했고, 자세 드리프트도 줄여주어 Vision-only가 간혹 추적에 실패하는 케이스들을 현저히 줄였습니다. 논문 Figure 3(c)에서는 Vision-only의 추적 실패 횟수가 많지만 Visuo-tactile의 실패는 훨씬 적다는 점을 보여줍니다. 정성적인 예로, Vision-only는 큰 주사위의 숨은 면이나 고무 오리의 등 뒤처럼 보이지 않는 부분을 제대로 재현 못하지만, 촉각을 쓴 방법은 그 부분까지 비교적 완성된 형태를 얻었습니다. 이는 촉각 정보가 보이지 않는 표면을 메워주어 물체 모델의 완성도(completion)를 높여줬기 때문입니다.

• CAD 모델 추적: 물체의 3D 모델이 미리 주어져 있는 경우, NeuralFeels는 신경장 학습을 생략하고 자세 추적 전용 모드로 동작합니다. 이 경우 초기 몇 프레임만에 물체 자세를 정확히 찾아낸 뒤, 이후에는 LM 최적화 + 촉각 보조로 매우 낮은 드리프트를 유지했습니다. 평균 2.3 mm 오차 수준은, 일반적인 모델 기반 6-DoF 추적기들(예: ICP 기반)보다도 뛰어난 결과입니다. 특히 시야가 가려질수록 성능 차이가 극명해졌는데, Vision-only 추적의 경우 손가림으로 특징이 부족해지면 머뭇거리거나 잘못된 방향으로 튀는 반면, 촉각 융합 추적은 손끝에서 느낀 움직임을 포착하여 연속성 있게 추적했습니다. 이에 따라 강한 occlusion 환경에서 최대 94%까지 추적 성능 향상을 달성했다고 보고됩니다. Figure 4에 해당하는 결과에서, 시각이 거의 차단된 극단적 각도에서조차 촉각이 로컬하게 보충 시야 역할을 하여 추적을 이어가는 것을 보여줍니다. 반대로 물체가 카메라에 잘 보이는 경우에는 촉각의 영향이 상대적으로 적었는데, 이때는 Vision-only도 충분히 잘 추적할 수 있으므로 촉각은 미세한 보정 정도의 역할을 합니다. 이 관찰은 “촉각은 시각이 모호할 때 결정적으로 도움이 되고, 시각 정보가 풍부할 때는 세부를 다듬어주는 역할을 한다”는 연구진의 결론과도 일치합니다.

• 노이즈 민감도 분석: 시뮬레이션에서 카메라 깊이맵에 점진적 노이즈를 추가해본 결과, Vision-only 방식은 노이즈가 커지면 추적 오류가 급격히 증가하는 반면, 멀티모달 방식은 상대적으로 완만하게 악화되었습니다. 이는 촉각 센서가 노이즈 영향을 받지 않으므로 (물론 실제 촉각에도 약간의 잡음은 있겠지만, 깊이 카메라만큼 크지 않음) 어느 정도 견인 역할을 해준 덕분입니다. RealSense 등의 실제 깊이센서는 환경에 따라 띄엄띄엄 점이 누락되거나 잘못 측정하는 경우가 많은데, 이러한 경우에도 촉각이 보강 신호로 작용하면 더 견고한 추적이 가능함을 시사합니다.

FeelSight 데이터셋: 앞서 언급한 70개 실험 시퀀스 묶음인 FeelSight는 이 분야의 첫 번째 공개 벤치마크로 의미가 큽니다. 시뮬레이션 40개와 실제 30개의 in-hand 회전 시나리오가 동일 포맷으로 제공되어, 모델 학습이나 타 알고리즘 평가에 활용할 수 있습니다. 특히 촉각과 시각을 동시에 제공하는 데이터가 드물기 때문에, 향후 멀티모달 인지 알고리즘의 평가 표준으로 자리잡을 수 있습니다. 데이터셋에는 각각의 시퀀스에 대해 초당 1fps, 5fps 등 여러 버전이 있고, Occlusion 전용 실험 세트도 별도로 포함되어 있습니다. 또한 huggingface의 모델 저장소를 통해 학습된 촉각 트랜스포머 모델과 세그먼트에니싱 가중치 등도 제공되어, 연구자들이 바로 재현 실험을 해볼 수 있게 했습니다. GitHub 코드 상에서 ./scripts/run 스크립트를 호출하면 다양한 모드(vi: vision only, vitac: vision+tactile, tac: tactile only 등)로 데이터를 재생하며 알고리즘을 실행해볼 수 있도록 설계되어 있습니다.

3.4 비판적 고찰: 강점, 약점과 미래 방향

NeuralFeels는 로봇 시각-촉각 통합 인지 분야에서 여러 중요한 진전을 이뤘습니다. 우선 핵심 강점을 정리해보면:

• 멀티모달 통합의 효과 입증: 이 연구는 실험적으로 촉각의 가치를 계량화했습니다. 특히 시야가림이나 센서 노이즈 같은 현실적 문제에서 촉각이 없을 때와 있을 때의 성능 차이를 명확히 보여줌으로써, 향후 로봇 시스템에 촉각 센서 채택을 정당화하는 근거를 마련했습니다. 그간 촉각 센서는 구현 복잡성과 데이터 처리 어려움 때문에 부차적 취급을 받곤 했지만, 본 연구 결과는 “촉각을 쓰면 이렇게 좋아진다!”를 수치로 제시하여 로봇공학자들에게 시사하는 바가 큽니다.

• 미지 물체에 대한 일반성: NeuralFeels는 물체 범주나 사전모델 제한 없이 동작합니다. 이전의 대부분 in-hand 추적 연구들은 CAD 모델이 있는 물체만 다루거나, 물체를 마커로 태깅하는 방식이 많았습니다. 반면 본 기법은 완전 모델 프리(model-free)이며, 심지어 카테고리 수준 사전 학습조차 없습니다. 매 새로운 물체를 제로-샷으로 다루면서도 훌륭한 재구성 품질을 보인 건 놀라운 점입니다. 이는 가정 환경 등 무궁무진한 종류의 물건을 다뤄야 하는 로봇에게 필수적인 능력이죠.

• Neural SLAM 프레임워크의 성공: 신경 implicit 모델을 온라인으로 최적화하는 접근은 아직 생소한데, NeuralFeels는 이를 SLAM의 관점에서 잘 구조화했습니다. 키프레임 관리, 지도-포즈 교차 최적화, factor graph 등 검증된 기법들을 활용하여 안정적 수렴을 얻었습니다. 특히 Theseus 기반의 LM 솔버 + 커스텀 제이콥ian으로 최적화 속도를 높인 부분, 그리고 ICP 팩터 도입으로 실용 신뢰성을 강화한 부분은 엔지니어링의 승리라 할 만합니다. 덕분에 훈련 없이 실시간 동작 가능한 온라인 최적화식을 제시하였고, 결과도 사람이 이해하기 좋은 형태(포인트맵이나 메시, 6-자세 시퀀스)라서 투명성도 확보했습니다.

• 최신 기술 종합 활용: 논문을 자세히 들여다보면, 최근 1-2년간 등장한 최신 기법들을 적재적소에 활용했음을 알 수 있습니다. Segment-Anything으로 대표되는 비전 파운데이션 모델의 로봇 활용, DIGIT & TACTO로 상징되는 촉각 센서 하드웨어·시뮬 레이션, Instant-NGP와 iSDF로 이어지는 신경장 가속 기술, Levenberg-Marquardt와 Theseus로 대표되는 differentiable 최적화, ViT 기반 트랜스포머의 응용 등, 하나하나가 각 분야의 최첨단 요소들입니다. NeuralFeels는 이들을 한 데 통합하여 실제 로봇 시스템으로 구현해 냈다는 데 큰 의의가 있습니다. 이는 곧 멀티모달 통합 연구의 종합 예시를 보여준 것으로, 앞으로 다른 연구자들이 이 구성요소들을 활용하거나 개선해나갈 토대를 제공합니다.

• 재현성과 개방성: 페이스북/Meta 연구진 답게, 본 결과물은 오픈소스로 잘 정리되어 제공됩니다. 데이터셋과 코드, 사전 학습모델까지 풀세트로 공개하여 재현 연구에 모범 사례가 되었습니다. 이런 개방은 해당 분야의 표준 평가 셋 및 벤치마크 구축으로 이어지고, 더 나은 후속 연구를 끌어내는 선순환이 될 것입니다.

한편, 제한점과 약점도 분명 존재합니다. 몇 가지를 지적해보면:

• 복잡한 시스템과 계산비용: NeuralFeels 파이프라인은 한두 개 모듈이 아니라 여러 단계의 신경망과 최적화가 얽혀 있습니다. SAM 세그멘테이션, ViT 트랜스포머 추론, 신경장 학습, LM 최적화 등이 매 프레임마다 돌아가니 연산량이 상당합니다. 논문에서 실시간성에 대해 명시적으로 언급하지는 않았지만, 아마 GPU 가속 없이는 힘들고, GPU를 써도 프레임당 수백 ms 이상의 시간이 걸릴 가능성이 있습니다. 이는 로봇이 아주 빠르게 물체를 돌리는 경우 추적 지연이 생길 수 있음을 의미합니다. 다만 Instant-NGP 덕분에 신경장 학습은 꽤 빠르다고 알려져 있고, Theseus LM도 효율적이라 최적화 부분도 병렬화가 잘 된다면 가까운 실시간 수준은 될 수도 있습니다. 최적화 이터레이션 횟수나 키프레임 윈도우 크기에 따라 트레이드오프가 있겠지요. 향후 경량화 및 최적화 속도 개선이 실용화를 위해 필요할 것입니다.

• 초기 상태 의존성: 현재 방법은 물체를 잡은 초기 상태에서 시작합니다. 물체를 놓친다든가, 처음에 물체가 어느 정도 보여야 세그멘테이션이 될 텐데 만약 손에 완전히 파묻혀 있으면 시작을 못 한다든가 하는 초기 조건 문제가 있을 수 있습니다. 실제 인간이 주머니 속에서 열쇠 찾을 땐 손끝 감각만으로 시작하지만, NeuralFeels는 초기는 시각에 조금 의존해야 할 가능성이 있습니다 (SAM으로 물체를 구분하려면 약간이라도 보여야 하니까요). 물론 손가락에 닿으면 촉각도 시작되니, 어느 한쪽도 0인 상태는 없겠지만, 초기 탐색 전략이 주어지지 않으면 무작정 손가락 비비는 식으로는 어렵죠. 논문에서는 proprioception-driven 정책으로 손가락을 움직였다 했지만, 만약 물체 위치를 초기엔 모른다면 잡기도 어렵습니다. 즉 물체 집기(grasp) 이후의 문제 설정이라, 집기 이전에 촉각을 활용하는 건 범위 밖입니다. 미래에는 집는 단계부터 촉각-시각 폐루프를 구성하는 연구로 확장될 수 있겠습니다.

• 모델의 한계와 확장성: 신경 SDF 모델은 연속 표현으로 정밀하지만, 복잡한 모양을 학습할 때 로컬 섬세함이 부족할 수 있습니다. Instant-NGP가 multi-level grid를 통해 많은 부분 완화하지만, 여전히 얇은 구조나 고해상도 텍스처 같은 것은 표현에서 놓칠 수 있습니다. 다행히 이번 연구는 물체 형상만 다루고, 표면 재질이나 색은 무관하지만, 나중에 식별을 위해 텍스처까지 고려하려면 더 복잡한 신경장 (예: radiance field)으로 확장해야 할 수도 있습니다. 또한 물체가 비(非)강체거나 변형되는 경우에는 SDF 하나로는 안 되고 더 복잡한 모델이 필요합니다. 이번은 강체만 대상으로 했습니다.

• 촉각 정보의 범위: DIGIT 촉각 센서는 손가락 극히 일부 면적의 접촉만 알 수 있습니다. 사람 손의 촉각에 비하면 범위와 종류가 제한되지요. 그래서 물체 대부분 표면은 여전히 시각에 의존할 수밖에 없습니다. 이번 연구의 촉각은 “국부적인 윤곽 정보를 제공해 주는 보조” 역할인데, 향후 촉각 범위를 늘리려면 센서 여러 개를 손 전체에 붙이거나, 힘/토크 센서까지 포함해 보다 풍부한 촉각 피드백을 수집하는 방향도 생각해볼 만합니다.

• 세그멘테이션 신뢰성: SAM을 활용했다고 하지만, 여전히 완벽하지 않을 수 있습니다. 손가락과 물체의 경계가 애매하거나, 손가락에 묻은 물체색, 혹은 물체 표면에 반사가 있어 깊이 오점이 생기는 경우 오분류 가능성이 있습니다. 저자들도 잘못된 세그멘테이션을 대비해 포즈 최적화에서 Pose regularizer로 완충을 넣었지만, 아주 큰 오류가 있으면 추적이 꼬일 수 있습니다. 세그멘테이션 오류는 로봇에겐 치명적일 수 있으므로, 이 부분의 안정화가 중요합니다. 추후엔 시각-촉각-기구학 정보를 합친 동시 세그멘테이션 기법으로 더 견고하게 개선할余地가 있습니다.

• 일반화된 상호작용 부족: 본 실험 시나리오는 오로지 공중에서 회전만 다룹니다. 이는 매우 깔끔한 상황인데, 실제 가정용 로봇이 물체를 다룰 땐 집어 옮기고, 도구에 꽂고, 책상에 내려놓기도 합니다. 즉 물체-물체 상호작용이나 환경과의 접촉도 발생합니다. NeuralFeels는 현재 손과 물체의 상호작용만 모델링했지만, 미래에는 물체를 다른 표면에 문지르며 촉각을 얻는다거나 하는 보다 일반적인 상호작용 인지로 나아가야 합니다. 이런 경우엔 SLAM 범위도 더 넓어져야 합니다 (예: 손에 든 물체와 주변 환경까지 동시에 모델링).

그럼에도 불구하고, NeuralFeels의 기여는 로봇 Dexterity에 새로운 지평을 열었다고 평가할 수 있습니다. 연구진도 본 기법을 “향후 로봇 손재주 향상을 위한 인지 백본”으로 활용할 수 있다고 강조합니다. 이를 바탕으로 몇 가지 후속 연구 방향을 제안해보죠:

• 학습과 사전 지식의 융합: NeuralFeels는 제로부터 배우지만, 경우에 따라 사전 학습이나 생성 모델의 힘을 빌릴 수도 있습니다. 예컨대 Shape Completion 분야의 딥러닝을 접목하면, 짧은 상호작용으로 얻은 단편 정보만으로도 물체 전면을 추측하게 할 수 있습니다. 카테고리 별 제너레이터를 이용하거나, 대규모 사전 학습된 신경장으로 빠르게 초기화하는 방식도 가능할 것입니다. 이는 마치 처음 본 물체라도 사람은 유사한 걸 떠올려 대충 짐작하듯이, 로봇도 경험을 이용해 더 빠르게 모델링하는 방향입니다.

• 실시간성과 경량화: 앞서 지적한 속도 문제를 개선하기 위해, 보다 간결한 모델이나 병렬 최적화 기법 연구가 필요합니다. 예컨대 포즈 추정을 완전히 end-to-end 학습시켜 네트워크로 대체하되, 그 출력을 신경장 업데이트에 반영하는 학습+최적화 하이브리드도 생각해볼 수 있습니다. 혹은 포즈 최적화 빈도를 낮추고 IMU 등의 추가 센서로 보완해도 될 것입니다. 궁극적으로 로봇 제어에 넣으려면 perception이 실시간으로 나와야 하니, GPU 하나로 여러 객체 처리도 고려해야겠지요.

• 다양한 촉각 센서와 통합: DIGIT 외에도 압력매트릭스, 커패시티브 센서, 핀 배열 센서 등 촉각 방식이 다양합니다. 각기 다른 속성 (예: 힘-변형 관계)도 있으므로, 이들을 같은 프레임워크에 통합하면 더 풍부한 정보로 정확도를 높일 수 있습니다. 또한 촉각-시각 외에 청각(예: 물체가 움직일 때 나는 소리로 재질 추정) 등 다른 모달리티도 고려 가능하죠. 멀티모달 sensor fusion의 확장성이 열려 있습니다.

• 상호작용적(next-best-sense) 인지: 현재는 정해진 정책으로 물체를 돌렸지만, 향후에는 인지 성능을 높이기 위해 로봇이 적극적으로 탐색 행동을 할 수 있습니다. 예를 들어 아직 안 만져본 부분을 만지러 움직인다거나, 특정 각도가 안 보였으면 손목을 돌려 더 잘 보이게 하는 식입니다. 이를 Planning 문제 (다음 어디를 만질까?)로 풀면 최소한의 동작으로 최대 정보 획득하는 지능형 인지가 될 것입니다. NeuralFeels의 구성요소들은 이러한 active perception 전략과도 궁합이 좋습니다. 신경장 모델의 불확실성을 분석하여, 가장 불확실한 부분의 정보를 얻는 행동을 선택하도록 할 수 있을 것입니다.

• 관련 연구와 비교: 마지막으로, 본 연구를 기존 시각-촉각 인지 연구들과 맥락 속에서 보면, FingerSLAM (dense touch로 고정 물체 모델 재구성)이나 Gelsight 기반 Pose Tracking 등 선행 연구들이 존재합니다. FingerSLAM은 한 개의 촉각 센서로 카메라 전면 가림 없는 조건이라 단순했지만, NeuralFeels는 다수 촉각 + 가림허용 다이내믹으로 문제 난이도를 높인 것입니다. 또한 Rodriguez 그룹의 TACTO-SLAM 관련 연구나, SIMPLE (sim-to-real visuotactile regrasp) 등도 물체 위치 추정에 촉각을 활용했지만, 이들은 물체가 테이블 위에 고정되었거나 간단 이동만 고려했습니다. NeuralFeels는 복잡한 6-DoF in-hand 운동을 커버하며, shape까지 동시추정하는 점에서 차별화됩니다. 한마디로 로봇 촉각 SLAM의 새로운 챕터를 열었다 평가할 수 있겠습니다.

3.5 요약 및 결론

NeuralFeels: Neural Fields + Feels(촉감)라는 재치있는 제목의 이 논문은, 로봇이 손끝의 촉감까지 활용하여 물체를 이해하는 방법을 제시했습니다. 멀티모달 인핸드 SLAM 파이프라인을 통해, 로봇이 처음 보는 물체라도 들고 움직이는 짧은 상호작용만으로 그 3D 형상과 자세 움직임을 거의 인간 수준 정확도로 파악할 수 있음을 시연했습니다. 이는 로봇이 인간에 비해 현격히 부족했던 부분인 촉각적 탐색과 인지 영역에서 큰 진전입니다. 사람으로 치면 눈을 감고도 손으로 물체를 더듬어 그 물건을 상상해내는 능력을 기계에 부여한 셈이죠.

NeuralFeels의 성공은 여러 의미를 가집니다. 실용 면에서, 이 기술이 발전하면 로봇은 부엌 서랍 속 물건 찾기, 비정형 물체 조립, 어두운 곳에서의 조작 등 지금까지 힘들었던 작업들을 더 잘 할 수 있게 될 것입니다. 또한 확보된 3D 모델과 위치 정보는 로봇의 다른 지능 모듈(예: 경로계획, 그립 조정, 물체 식별)에 바로 활용될 수 있어, 종합적인 로봇 기술 향상으로 이어집니다. 학술 면에서도, 본 연구는 시각과 촉각의 진정한 의미의 센서 융합을 구현하여 향후 multimodal SLAM이나 interactive perception 분야의 많은 후속 연구를 자극할 것입니다.

마지막으로 저자들은 “To perceive deeply is to have sensed fully”라는 통찰로 논문을 시작했습니다. 깊이 인지한다는 것은 충분히 감지한 것과 다름없다는 의미이지요. 로봇에게 있어 충분히 감지한다는 것은 하나의 센서에 의존하지 않고, 이용 가능한 모든 감각을 총동원하는 것일 겁니다. NeuralFeels는 그러한 로봇 감각 통합의 가능성을 활짝 열어 보인 훌륭한 예이며, 향후 우리 주변에서 더욱 똑똑하고 능숙한 로봇 손들을 만나게 될 전망을 한층 밝게 해주는 연구라고 결론지을 수 있겠습니다.

---

🧾 참고자료

• GelSight 기술 개요
• NeRF 개념 설명 블로그