📃3D Deformable Surface Reconstruction

3D deformable surface reconstruction from visual and tactile input with geometric prior

• Paper Link
• Poster Link

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

한 문장 요약

이 논문은 휴머노이드 로봇 손이 물체를 쥐는 순간, 깊이 카메라가 준 거친 기하학적 사전지식(geometric prior, 예: 원기둥·구 같은 원시형상) 과 손가락 촉각 센서가 준 국소 3D 정보를 융합하여, 단단한 물체(rigid)인지 무른 물체(deformable)인지를 구분하고 그 표면의 곡률(반지름)을 mm 단위로 추정하는 실용적 파이프라인을 제안합니다.

저자는 Ioan Laurentiu Popa(Analog Devices Inc., 루마니아 클루지나포카)와 Tudor Brezae, Paul Sucala, Robert Konievic, Levente Tamas(Technical University of Cluj-Napoca, Automation Department)입니다. ICRA 2026 ViTac 워크숍(2026년 6월 1일, 비엔나) 채택 논문 #14입니다.

왜 이 문제인가: 휴머노이드 시대의 그래스핑

논문은 도입부에서 저렴한 휴머노이드 로봇의 보급으로 물체 잡기(grasping)가 다시 핵심 주제가 되었다는 점을 강조합니다. 로봇 팔에 달린 촉각 센서뿐 아니라 시각 데이터까지 함께 쓰는 시각-촉각 융합(visual-tactile fusion) 이 3D 표면 추정의 자연스러운 방향이라는 것입니다.

여기서 한 가지 결정적 난제가 등장합니다. 바로 물체가 무를 때(deformable) 입니다.

• 단단한 물체(rigid): 손가락으로 눌러도 모양이 변하지 않으므로, 접촉점에서 읽은 곡률이 곧 물체의 진짜 곡률입니다.
• 무른 물체(deformable): 쥐는 힘에 눌려(compression) 모양이 변합니다. 그래서 촉각이 읽은 “현재 곡률”은 물체 본연의 모양이 아니라 눌린 결과 입니다.

비유하자면, 손으로 사과를 쥘 때와 물풍선을 쥘 때 손바닥이 느끼는 모양은 전혀 다릅니다. 같은 30mm 반지름의 물체라도 무른 쪽은 손에 눌려 더 평평하게(즉 더 큰 반지름처럼) 느껴집니다. 논문의 목표는 이 “눌림으로 인한 변형의 정도” 를 시각 prior로 보정하면서 표면을 복원하는 것입니다.

핵심 아이디어와 기여

이 논문이 가장 가까운 선행 연구로 꼽는 것은 Smith 등의 3D Shape Reconstruction from Vision and Touch(NeurIPS 2020, 참고문헌 [14])입니다. 그 연구는 “시각=전역 맥락(global context), 촉각=국소 구조(local structure)”라는 상호 보완 구도를 제시했는데, 본 논문은 여기에 시각 단계에서 기하학적 원시형상(geometric primitive)을 추정하는 단계를 추가하여 확장합니다.

구체적 기여는 다음과 같습니다.

1. 기하학적 prior 기반 융합 그래스핑 파이프라인: 깊이 카메라에서 샘플링 컨센서스(sampling consensus, SAC/RANSAC 계열) 로 원기둥·구 같은 사전 정의된 물체 클래스(병, 공 등)를 정합해 prior를 얻고, 이를 6-DoF 손 역기구학(IK)·순기구학(FK) 및 촉각 센서 정보와 융합합니다.
2. 시뮬레이션과 실로봇 양쪽에서의 변형 모델링: IsaacSim의 PhysX 접촉 센서로 강체에 컴플라이언트 접촉(compliant contact) 을 부여해 변형을 흉내 내고, 실제로는 5지(다섯 손가락)+손바닥에 촉각 센서가 박힌 6-DoF Inspire 손으로 실험합니다.
3. 6,000+ 동기화 멀티모달 그래스핑 데이터셋: RGB 영상, 촉각 히트맵, 강도(intensity) 포함 3D 촉각 점군, 손 액추에이터 상태, 관절각을 동기화하여 수집하고 deformable/non-deformable로 분류합니다.
4. 두 갈래의 추정기: 촉각 점군에서 곡률→반지름을 회귀하는 PointNet++ 와, RGB-촉각 영상에서 반지름을 추정하는 VGG19 를 비교 평가하고, 학습이 필요 없는 SAC 기하 정합을 베이스라인으로 둡니다.

핵심 메시지는 “단단한 물체는 어떤 방법으로도 sub-mm 정확도로 잘 복원되지만, 무른 물체는 쥐는 압축 때문에 오차가 크게 늘어난다” 는 정량적 관찰이며, 시각 prior가 이 변형 오차를 보정하는 단서를 제공한다는 것입니다.

방법

전체 파이프라인 개관

전체 흐름은 “깊이 영상에서 기하 prior 추정 → 손으로 쥐며 촉각 점군 수집 → 두 정보를 융합해 반지름/변형 추정 → deformable 여부 분류”로 이해할 수 있습니다.

flowchart TD
    A[Depth camera RGB-D] --> B[Sampling consensus SAC: fit cylinder/sphere primitive]
    B --> P[Geometric prior: object class and radius]
    C[6-DoF Inspire hand grasp] --> D[Tactile sensors: 5 fingers and palm]
    D --> E[Forward kinematics FK]
    E --> F[3D tactile point cloud: xyz + RGB + 12-bit intensity]
    F --> G[PointNet++ regression: radius]
    A --> H[RGB-touch image]
    H --> I[VGG19 regression: radius]
    P --> J[Fuse visual prior with tactile estimate]
    G --> J
    I --> J
    C --> K[Proprioception: joint angles and contact forces]
    K --> L[Cylindrical projection to 2D image]
    L --> M[Deformable vs non-deformable classification]
    J --> N[Reconstructed surface radius / deformation degree]
    M --> N

위 그림의 핵심은 시각 경로(SAC 기하 prior + VGG19) 와 촉각 경로(FK 점군 + PointNet++) 가 각각 독립적으로 반지름을 추정한 뒤 융합된다는 점, 그리고 변형 여부 판단은 고유수용성 감각(proprioception)+촉각력 을 2D 영상으로 인코딩해 별도로 분류한다는 점입니다.

단계 1 — 시각 기하 prior: 샘플링 컨센서스 (Geometric prior via SAC)

깊이 카메라가 본 점군에 대해, 사전 정의된 물체 클래스(원기둥, 구)의 모델을 샘플링 컨센서스 로 정합합니다. 이는 RANSAC 계열의 강건 추정으로, “잡음과 가림이 섞인 점군에서 다수의 점이 동의하는(consensus) 기하 모델을 찾는” 방식입니다.

직관: 흩어진 점들 사이에 가장 많은 점이 들러붙는 원기둥/구를 끼워 맞추는 것입니다. 테이블 위 병을 보면 “이건 반지름 33mm짜리 원기둥”이라는 식으로, 학습 없이도 즉시 거친 형상과 반지름을 뽑아냅니다. 이 prior가 이후 촉각 추정의 기준점(특히 변형 보정의 닻) 역할을 합니다.

단계 2 — 촉각 점군 생성과 PointNet++ 회귀

실로봇에서는 6-DoF Inspire 손이 ROS2(Modbus TCP)로 제어되며, 모터 전류 기반 힘 피드백과 분산 센서 어레이의 고해상도 압력값을 함께 제공합니다. 이 촉각 데이터를 손의 순기구학(FK) 으로 3D 공간에 재투영하면, 점마다 5개 필드를 갖는 점군이 됩니다.

\text{point} = (\,x,\; y,\; z,\; \text{RGB},\; \text{intensity}_{12\text{-bit}}\,)

이 점군에서 곡률→반지름을 회귀하기 위해 PointNet++ 를 씁니다. 원조 PointNet이 전역 풀링(global pooling)으로 점군 전체를 하나로 요약하는 반면, PointNet++는 집합 추상화 계층(set abstraction layers) 으로 국소 기하 구조를 계층적으로 포착합니다.

직관: PointNet이 “사진 전체를 한 번에 흐릿하게 보는” 것이라면, PointNet++는 “가까운 점들끼리 먼저 묶어 동네 단위로 본 뒤 점점 넓혀 보는” 것입니다. 곡률처럼 국소적인 표면 특성을 읽는 데 유리합니다. 회귀 설계는 3D 손 자세 추정에 PointNet을 쓴 선행 연구(참고문헌 [9])에서 영감을 얻었고, z축 회전과 ±10% 스케일링 데이터 증강으로 일반화를 높였습니다.

단계 3 — 시각 반지름 추정: VGG19

시뮬레이션에서는 RGB-촉각 영상 입력에 대해 VGG19 로 반지름을 추정하는 파이프라인을 평가합니다. 모든 값은 0–1로 정규화되며, 모델은 영상 패턴에서 곡률을 읽어 반지름을 예측합니다. 흥미롭게도 저자들은 전이학습(transfer learning) 도 탐구하여, 왼손 데이터로 학습한 VGG19를 오른손에 적응시켜 검증했습니다.

단계 4 — 변형 여부 분류: 고유수용성 감각의 2D 인코딩

deformable/non-deformable 판단은 관절각(joint angles)과 접촉력(contact forces) 을 원통형 투영(cylindrical projection) 으로 2D 영상에 인코딩하여 수행합니다.

직관: 손가락 관절이 얼마나 굽었는지와 각 접점에서 느낀 힘을 한 장의 이미지로 펼쳐 놓으면, “단단한 물체를 쥘 때의 패턴”과 “무른 물체가 눌리며 손가락이 더 깊이 파고드는 패턴”이 시각적으로 구분됩니다. 같은 반지름이라도 무른 물체는 더 큰 압축 흔적을 남기므로, 이 영상으로 변형 여부를 분류할 수 있습니다.

시뮬레이션에서의 변형 모델링

IsaacSim은 PhysX Contact Report API 기반의 물리 접촉 센서를 제공합니다. 다만 IsaacSim의 제약상 접촉 리포팅 API는 강체(rigid body)에만 붙일 수 있습니다(참고문헌 [4]). 그래서 저자들은 변형체를 직접 FEA로 시뮬레이션하는 대신, 강체 원기둥/구에 컴플라이언트 접촉(compliant contact) 물성 을 부여하는 방식을 택했습니다. 즉 물성 재질에 0이 아닌 컴플라이언트 강성(stiffness)과 감쇠(damping) 를 설정해 제한된 상호침투(interpenetration)를 허용함으로써, 강체를 유지하면서도 무른 상호작용을 흉내 냅니다. 이는 페널티 기반 소프트 접촉 제약을 쓰는 TacSL(참고문헌 [7])과 같은 결의 근사입니다.

의사코드

Input: depth point cloud D, grasp trajectory for 6-DoF hand
# Visual branch
prim, r_visual <- sampling_consensus(D, classes={cylinder, sphere})   # SAC geometric prior
r_vgg <- VGG19(rgb_touch_image)                                       # learned visual radius

# Tactile branch
grasp(object)
for each finger/palm sensor s:
    p_s <- forward_kinematics(s)        # reproject tactile reading to 3D
    point = (x, y, z, RGB, intensity)
    tactile_cloud.append(point)
r_tactile <- PointNet++(tactile_cloud)  # regress radius from local curvature

# Deformation classification
img2d <- cylindrical_projection(joint_angles, contact_forces)
label <- classify(img2d)               # deformable vs non-deformable

# Fusion
radius <- fuse(r_visual, r_vgg, r_tactile)   # visual prior corrects tactile compression
return radius, label

실험

설정

• 시뮬레이션: IsaacSim에서 동일한 깊이 카메라 모델과 로봇 팔 구성으로 원기둥·구를 컴플라이언트 접촉으로 모델링.
• 실로봇: 5지+손바닥에 촉각 센서가 박힌 6-DoF Inspire 휴머노이드 손, ROS2/Modbus TCP 제어, 모터 전류 기반 힘 + 분산 압력 어레이.
• 데이터셋: 6,000개 이상의 동기화 멀티모달 샘플(RGB, 촉각 히트맵, 강도 포함 3D 촉각 점군, 액추에이터 상태, 관절각), deformable/non-deformable로 분류.
• 평가 대상: 원기둥 계열(250ml, 330ml slim, 330ml, 500ml, 500ml bottle, 1L bottle, 1.5L bottle), 구 계열(테니스공, 흰 공, 주황 공). 각 GT 반지름이 명시됨(예: 250ml=24.0mm, 330ml slim=29.0mm, 1.5L bottle=46.0mm, 테니스공=32.0mm).

평가지표

지표	의미	좋은 방향
MAE (mm)	추정 반지름과 GT 반지름의 평균 절대 오차	작을수록 좋음
Std (mm)	오차의 표준편차(안정성)	작을수록 좋음

반지름을 직접 추정하므로 평가가 직관적입니다. “추정한 곡률 반지름이 실제 물체 반지름에서 평균 몇 mm 벗어났는가”가 곧 성능입니다.

결과 (Table I 실제 수치)

논문 Table I은 두 가지 방법(PointNet, SAC)을 각각 rigid/deformable 가정으로 평가한 결과를 담습니다. 대표 수치는 다음과 같습니다.

방법	대상	MAE (mm)	비고
PointNet (Rigid)	강체 원기둥 전반	0.7	표준 캔류는 0.2mm 미만, sub-mm 달성
PointNet (Deform)	무른 원기둥 전반	6.6	쥐는 압축으로 오차 급증
PointNet (Rigid)	테니스공	1.0	원기둥 학습 모델이 공에도 일반화
SAC (Rigid)	강체 원기둥 전반	5.4	학습 불필요하나 오차 큼
SAC (Deform)	무른 원기둥 전반	8.1
VGG19 (sim)	원기둥	0.6	RGB-촉각 영상 기반
VGG19 (sim)	테니스공(구)	0.04
VGG19 (transfer)	원기둥(좌→우손 전이)	0.02	전이학습 후 실세계 검증

핵심 경향은 매우 명확합니다.

• 단단한 물체는 sub-mm로 거의 완벽하게 복원됩니다(PointNet 0.7mm, 표준 캔은 0.2mm 미만). 학습 모델이 표면 곡률→반지름 매핑을 제대로 학습했음을 보여줍니다.
• 무른 물체는 오차가 한 자릿수 mm로 크게 증가합니다(PointNet deform 6.6mm). 원인은 명확히 쥐는 동안의 압축(compression) 으로 지목됩니다.
• VGG19(시각) 는 시뮬레이션에서 가장 낮은 오차(원기둥 0.6mm, 구 0.04mm)를 기록하고, 전이학습 시 원기둥에서 0.02mm까지 내려갑니다.
• SAC(기하 정합) 는 학습이 필요 없다는 장점이 있으나, 학습 기반보다 오차가 큽니다(5.4–8.1mm).

의미: 이 결과는 “촉각만으로 무른 물체의 진짜 형상을 알기 어렵다”는 본 논문의 동기를 정량적으로 입증합니다. 촉각이 읽는 것은 눌린 후의 곡률 이므로, 압축을 겪지 않는 시각 prior가 변형 보정의 기준 으로서 가치를 갖습니다.

비판적 고찰

강점

• 문제 정의가 정직하고 정량적입니다. “rigid는 잘 되고 deformable은 압축 때문에 오차가 6.6mm로 커진다”는 관찰을 표로 분명히 제시합니다. 변형이라는 난제를 미화하지 않고 수치로 드러냅니다.
• 두 감각의 역할 분담이 명확합니다. 시각(SAC+VGG19)=압축 없는 기준 prior, 촉각(PointNet++ 점군)=국소 곡률 측정이라는 구도가 합리적입니다.
• sim2real과 전이학습을 함께 다룹니다. IsaacSim 컴플라이언트 접촉으로 변형을 근사하고, 좌→우손 전이학습으로 데이터 효율과 손 간 일반화를 보였습니다(전이 후 0.02mm).
• 실용적 데이터셋 자산: 6,000개 이상의 동기화 멀티모달 샘플은 그 자체로 후속 연구에 재사용 가치가 큽니다.

약점·한계

• “표면 복원”이라기보다 “반지름/곡률 추정”에 가깝습니다. 제목은 deformable surface reconstruction을 표방하지만, 실제 평가는 원기둥/구의 단일 반지름 회귀에 집중되어 있어, 임의 위상의 자유 형상 표면을 복원하는 단계까지는 보이지 않습니다.
• 기하 prior의 클래스가 협소합니다. SAC가 다루는 원시형상이 원기둥·구로 한정되어, 손잡이·분기·오목 내부 같은 복잡 위상의 물체에는 부적합합니다.
• 변형의 물리 모델이 근사적입니다. 시뮬레이션에서 진짜 FEA 변형체 대신 강체+컴플라이언트 접촉으로 대체했는데(IsaacSim 접촉 API의 강체 제약 때문), 이는 큰 탄성 변형(천, 스펀지)과는 거리가 있습니다.
• 시각-촉각 융합 방식의 구체성: 두 경로의 반지름을 어떻게 결합해 변형을 정량 보정하는지(가중·필터·학습 융합 등)의 구체적 알고리즘은 워크숍 논문 분량상 상세히 기술되지 않았습니다. (추측) 융합은 시각 prior를 기준으로 촉각 압축분을 보정하는 형태로 보입니다.
• 베이스라인 폭: 비교가 주로 자체 방법들(PointNet vs SAC vs VGG) 사이에서 이뤄져, 최신 학습 기반 형상 복원(예: Touch2Shape 디퓨전 [15], TAPCNet [10])과의 직접 비교는 제한적입니다.

관련 연구 비교

접근	표면/형상 표현	시각 사용	변형 처리	특징
본 논문 (#14)	원시형상(원기둥/구) 반지름 + 촉각 점군	SAC 기하 prior + VGG19	rigid/deform 분류, 압축 인지	6-DoF Inspire 손, IsaacSim, 전이학습
Smith et al. (NeurIPS’20, [14])	메시	전역 맥락	강체 중심	본 논문이 직접 확장한 선행(시각 단계에 기하 prior 추가)
Touch2Shape (CVPR’25, [15])	음함수/디퓨전	조건부	학습 기반 탐색·복원	Touch-conditioned 3D diffusion
TAPCNet (IET CV’25, [10])	점군 완성	보조	반복 융합	Tactile-assisted point cloud completion
TacSL (T-RO’25, [7])	— (센서 시뮬레이션 라이브러리)	시각촉각	페널티 기반 소프트 접촉	본 논문의 IsaacSim 변형 근사가 차용한 결

비교 관점: 학습 기반 디퓨전·점군 완성(Touch2Shape, TAPCNet)이 데이터에서 형상 prior를 학습 하는 반면, 본 논문은 SAC라는 해석적·기하학적 prior 를 시각 단계에 명시적으로 끼워 넣습니다. 전자는 자유 형상 일반화 잠재력이 크지만 데이터·도메인 갭에 취약하고, 후자는 학습 없이 즉시 동작하며 해석이 쉽지만 원시형상에 한정됩니다. 본 논문은 선행 Smith et al.[14]의 “시각=전역/촉각=국소” 구도를 계승하되, 시각 단계의 기하 추정을 더한 점이 차별점입니다.

요약 및 결론

이 논문은 휴머노이드 손의 그래스핑 상황 에서, 깊이 카메라의 SAC 기하 prior(원기둥/구)와 5지+손바닥 촉각 센서의 3D 점군을 융합해 물체의 반지름을 추정하고 deformable 여부를 분류하는 실용 파이프라인을 제안합니다. PointNet++(촉각 점군)와 VGG19(RGB-촉각 영상)를 비교 평가했고, SAC를 학습 불필요 베이스라인으로 두었습니다.

핵심 정량 결과는 다음과 같습니다.

• 단단한 물체: PointNet 0.7mm MAE(표준 캔 0.2mm 미만)로 sub-mm 정확도.
• 무른 물체: PointNet 6.6mm MAE 로 오차가 크게 증가(쥐는 압축이 원인).
• VGG19(시각): 시뮬에서 원기둥 0.6mm, 구 0.04mm, 전이학습 시 원기둥 0.02mm.
• SAC: 학습 불필요하나 오차가 큼(5.4–8.1mm).

로봇공학자를 위한 시사점:

• 무른 물체의 표면을 촉각만으로 정확히 알기는 어렵습니다. 촉각은 눌린 후 의 곡률을 읽기 때문이며, 압축을 겪지 않는 시각 prior 가 변형 보정의 기준점으로 결정적입니다.
• IsaacSim에서 진짜 변형체 시뮬레이션이 까다로울 때(접촉 API의 강체 제약), 강체+컴플라이언트 접촉(강성·감쇠 설정) 으로 무른 상호작용을 근사하는 실용적 우회로가 유효합니다.
• 좌→우손 전이학습 으로 손 간 데이터 효율을 끌어올린 점은 다지(multi-finger) 휴머노이드 손 응용에 이식할 만한 패턴입니다.

한계와 향후: 기하 prior가 원기둥·구로 한정되고, 평가가 단일 반지름 회귀에 머물며, 변형의 물리 모델이 근사적이라는 점은 남은 과제입니다. 자유 위상 표면으로의 확장, 명시적 탄성 변형 모델과의 결합, 학습 기반 형상 복원(디퓨전·점군 완성)과의 직접 비교가 자연스러운 다음 단계로 보입니다.

정리하면, 화려한 신규 모델보다 휴머노이드 손의 실측 데이터(6,000+ 샘플)와 시각 기하 prior 를 결합해 “단단함은 쉽고 무름은 어렵다”는 사실을 정량적으로 못박고, 그 보정 단서를 시각에서 찾는 견고하고 실무 친화적인 워크숍 연구입니다.