📃NeuralTouch

tactile

sim2real

neural

NeuralTouch: Leveraging Implicit Neural Descriptor for Precise Sim-to-Real Tactile Robot Control

Published

April 3, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

사람은 물건을 집을 때 두 단계를 자연스럽게 거칩니다. 먼저 눈으로 대상을 훑어보고 손을 대략적인 위치로 가져간 뒤, 손가락 끝의 촉감으로 미세하게 위치를 조정해 컵의 손잡이나 병의 목을 정확히 잡습니다. 즉 시각은 “어디쯤”을 알려주고, 촉각은 “정확히 거기”를 완성합니다. 로봇에게 이 두 감각을 함께 쓰게 만드는 것이 이 논문의 출발점입니다.

문제는 두 감각이 각각 한계를 가진다는 데 있습니다.

시각 기반 접근(특히 Neural Descriptor Fields, NDF): 카메라로 본 점군(point cloud)에서 잡기 자세(grasp pose)를 추정하면 여러 물체 카테고리에 일반화할 수 있습니다. 하지만 카메라 캘리브레이션 오차, 가려짐으로 인한 불완전한 점군, 물체 형상의 다양성 때문에 추정된 자세가 수 mm에서 1~2 cm씩 틀어집니다. 이는 정밀 조립이나 삽입 작업에서 치명적입니다.
촉각 기반 접근: 손끝의 접촉 정보를 쓰면 정밀해지지만, 기존 연구들은 “평평한 면에 수직으로 접촉” 같은 미리 정해진 접촉 형상(predefined contact geometry)에 정책(policy)을 한정합니다. 또한 촉각 이미지만으로는 컵의 테두리와 컵의 벽처럼 만져서는 거의 똑같이 느껴지는 형상들을 구별하지 못합니다. 논문은 이를 특징 모호성(feature ambiguity) 이라 부릅니다.

NeuralTouch의 핵심 아이디어는 이 둘을 한 줄기로 엮는 것입니다. 시각으로 학습한 암묵적 신경 디스크립터(implicit neural descriptor) 를 “목표 접촉 형상이 무엇인지”를 알려주는 조건(condition)으로 삼아, 강화학습(RL) 촉각 정책이 그 조건에 맞게 접촉을 미세 조정하도록 합니다. 비유하자면, 촉각 정책에게 눈을 가린 채 더듬게 하는 대신 “지금 네가 더듬는 건 컵의 테두리야”라는 귓속말(디스크립터)을 계속 들려주는 셈입니다. 그러면 정책은 모호한 촉감 속에서도 자신이 어떤 형상을 목표로 하는지 알게 됩니다.

저자들은 영국 University of Bristol과 Bristol Robotics Laboratory 소속이며, TacTip 촉각 센서와 Tactile Gym 기반 시뮬레이션을 활용합니다.

한눈에 보는 파이프라인

flowchart TD
    A[RGB-D Camera] --> B[Object Point Cloud P]
    B --> C[NDF Backbone f x given P]
    C --> D[Coarse Phase: NDF Pose Regression]
    D --> E[Initial Grasp Pose Tg]
    C --> F[Neural Pose Descriptor Z]
    E --> G[Move EE near target]
    G --> H[Fine Phase: Tactile RL Servoing]
    F --> H
    I[TacTip Tactile Image] --> J[pix2pix GAN real-to-sim]
    J --> H
    K[Proprioception e] --> H
    H --> L[7D EE Twist Action a]
    L --> M[Refined Precise Grasp]
    M --> N[Replay Downstream Task]

방법

1) Neural Descriptor Fields(NDF): 점에 의미를 부여하는 좌표계

NDF는 물체 표면 위/주변의 한 점에 “이 점이 형상적으로 어떤 의미를 갖는가”를 나타내는 디스크립터 벡터를 부여하는 함수입니다.

f(x \mid P): \mathbb{R}^3 \times \mathbb{R}^{3 \times n} \rightarrow \mathbb{R}^d

여기서 x는 질의점(query point)의 3D 좌표, P는 물체 점군, 출력은 d차원 디스크립터입니다. 직관적으로, 서로 다른 머그컵이라도 “테두리 위의 한 점”은 비슷한 디스크립터 값을 갖습니다. 즉 디스크립터는 인스턴스가 달라도 의미가 같은 부위를 같은 좌표로 매핑하는 일종의 “의미 좌표계”입니다.

두 가지 성질이 핵심입니다.

SE(3) 등변성(equivariance): 물체를 회전·이동시키면 디스크립터도 같은 방식으로 따라 움직입니다. f(x \mid P) \equiv f(Tx \mid TP) 덕분에 물체가 어떤 자세로 놓여 있어도 동일한 부위는 동일하게 식별됩니다. 회전 등변 신경망(rotation-equivariant network)으로 이 성질을 보장합니다.
기하적 대응(geometric correspondence): 백본을 카테고리 단위의 형상 복원(occupancy 예측)으로 사전학습하면, 인스턴스 간 의미적 유사성을 자연히 학습합니다.

6D 자세를 표현할 때는 한 점만으로는 회전을 못 잡으므로, 일직선이 아닌(non-collinear) 여러 질의점을 강체 배치로 묶어 디스크립터를 쌓습니다.

Z = F(T \mid P) = \bigoplus_i f(T x_i \mid P)

이렇게 하면 잡기 자세 T 전체를 하나의 신경 디스크립터 Z로 기술할 수 있습니다. 이 Z가 뒤에서 RL 정책에 넘겨주는 “귓속말”입니다.

2) Coarse 단계: 디스크립터 거리 최소화로 초기 자세 추정

시연(demonstration) 물체 P_d에서 사람이 잡은 자세 T_d의 디스크립터 F(T_d \mid P_d)를 기록해 둡니다. 새 물체 P_u에 대해, 같은 디스크립터를 만드는 자세를 찾습니다.

T_g = \arg\min_{T} \; \big\| F(T \mid P_u) - F(T_d \mid P_d) \big\|

즉 “시연에서 잡았던 부위와 의미적으로 같은 곳”을 새 물체에서 찾아 초기 자세 T_g를 얻습니다. 이 최적화는 GPU에서 에피소드 리셋당 약 1초 정도로 오프라인 수행됩니다. 하지만 앞서 말한 이유들로 T_g에는 오차가 남습니다 — 그래서 다음 단계가 필요합니다.

3) Fine 단계: 신경 디스크립터로 조건화된 촉각 RL 서보잉

미세 조정 정책은 다음과 같이 정의됩니다.

a = \pi\big(i^c, \; e, \; Z^{G_\tau}\big)

i^c: 접촉 시 얻은 촉각 이미지(TacTip)
e: 고유수용 감각(proprioception) — 엔드이펙터 자세, 그리퍼 손가락 간 거리
Z^{G_\tau}: 목표 형상 G_\tau를 나타내는 신경 자세 디스크립터
a: 7차원 엔드이펙터 트위스트 — 3D 병진 속도 + 3D 각속도 + 그리퍼 손가락 거리

여기서 가장 중요한 설계는 정책을 “접촉 종류”가 아니라 디스크립터 Z로 조건화한다는 점입니다. 평면 접촉, 모서리 접촉, 곡면 접촉을 각각 별도 정책으로 학습하는 대신, 하나의 정책이 입력으로 들어온 디스크립터에 따라 목표를 바꿔 행동합니다. 테스트 중에 조건 디스크립터만 바꿔주면 재학습 없이 목표 형상을 실시간으로 전환할 수 있습니다.

네트워크 구조

Tactile image i_c  --> CNN encoder --------+
Proprioception e   --+                     |
Descriptor Z       --+--> MLP[512,256,128] --> concat --> MLP[256,128] --> action a (7D)

고유수용 감각 + 신경 디스크립터: 3-layer MLP(은닉 차원 512, 256, 128)
촉각 이미지: CNN 인코더(선행 연구와 동일 구조)
두 특징을 결합 후 2-layer MLP([256, 128])로 행동 출력

보상 함수

R_t = w_1 \sum_{i=1}^{2} \big\| p^g_i - p^f_i \big\| \;+\; w_2 \, S(q^g_t, q^e_t) \;+\; r_{stable} + r_{act} + r_{term}

각 항의 직관:

항	의미	부호
w_1 \sum \\|p^g_i - p^f_i\\|	좌/우 손가락의 목표 대비 위치 오차	음(-)
w_2\,S(q^g_t,q^e_t)	코사인 거리로 잰 방향(orientation) 오차	음(-)
r_{stable}	목표 지점에서 50 스텝 이상 머물면 부여하는 안정성 보상	양(+)
r_{act}	행동 크기에 대한 페널티(부드럽고 효율적인 움직임 유도)	음(-)
r_{term}	100 스텝 동안 접촉이 없으면 조기 종료 페널티	음(-)

즉 “목표 부위에 손가락을 정확히, 올바른 방향으로, 안정적으로, 부드럽게” 가져다 대도록 유도합니다.

4) 통합된 의미적 잡기 자세: 탐색 공간을 줄이는 묘수

NDF 디스크립터 공간 전체를 RL로 탐색하면 너무 넓습니다. 저자들은 촉각 센서가 국소 표면에 수직(perpendicular)을 유지한다는 가정을 둡니다. 그러면 평면(자유도 3), 모서리(자유도 5), 곡면(6D) 같은 서로 다른 접촉 특징들이 이 수직 제약 아래에서 하나의 형태로 통합됩니다. 덕분에 단일 정책이 디스크립터만 바꿔가며 다양한 목표를 처리할 수 있습니다.

5) Sim-to-Real: 촉각 도메인 변환

시뮬레이션의 촉각 이미지와 실제 TacTip 이미지 사이의 간극은 pix2pix GAN으로 메웁니다(실제→시뮬레이션 방향 변환). 센서당 시뮬/실제 쌍 이미지 5,000장으로 학습하며, 실린더 특징을 다양한 자세 범위에서 수집했습니다. 실시간 제어는 다음 구조로 동작합니다.

NDF 최적화: GPU에서 오프라인(에피소드 리셋당 약 1초)
RL 정책 추론: 스텝당 약 45 ms → 20 Hz 폐루프 제어
두 대의 PC 사용(인지·최적화 / 실시간 제어 분리)

실험

설정

로봇: 7-DOF Franka Panda, 손목에 Intel RealSense D435 장착
그리퍼: 평행 조(parallel jaw), 양쪽 손가락에 TacTip 촉각 센서
시뮬레이터: PyBullet + Tactile Gym 2.0
RL 알고리즘: PPO(Stable-Baselines3). NDF 부정확성을 모사하려고 초기 잡기 자세를 [\pm 20\,\text{mm}, \pm 20\,\text{mm}, \pm 20\,\text{mm}, \pm 20^\circ, \pm 20^\circ, \pm 20^\circ] 범위에서 샘플링하여 학습
NDF 사전학습: ShapeNet의 병/머그 메시 + 볼트용 커스텀 메시로 occupancy network 학습, 목표 특징당 12개 디스크립터 벡터 수집

과제

시뮬레이션: (1) 픽앤플레이스(머그를 테두리/손잡이로, 병을 목으로 잡기), (2) 볼트 빼서 다른 구멍에 넣기
실세계: (1) 병뚜껑 열기(다양한 뚜껑 형상·질감으로 일반화), (2) 점점 좁아지는 공차의 삽입 — 볼트(2 mm), 플러그(1 mm), USB(0.5 mm)

베이스라인

NDFs: 촉각 없는 원래 NDF
NDFs+RL-Touch: NDF coarse + 디스크립터 없는 촉각 RL 정책
C2FIL: 시연 기반 Coarse-to-Fine Imitation Learning
C2FIL+RL-Touch: C2FIL에 촉각 미세조정 추가

결과

(a) 정밀도 — 시뮬레이션 절제 실험

NeuralTouch는 여섯 가지 목표 특징에서 서브 밀리미터급 정밀도(평균 위치 오차 약 0.86 mm)를 달성합니다.

특징	NeuralTouch	NDFs	NDFs+T	C2FIL	C2FIL+T
머그 테두리	0.8 mm	13.6 mm	15.3 mm	17.3 mm	22.5 mm
병 목	0.9 mm	9.0 mm	2.0 mm	20.2 mm	15.2 mm

특히 디스크립터 조건이 없는 NDFs+RL-Touch는 오히려 더 나빠지기도 합니다. 머그 테두리와 머그 벽처럼 촉감이 비슷한 형상에서 정책이 목표를 혼동하기 때문입니다. 이것이 본 논문이 강조하는 “특징 모호성”이며, 신경 디스크립터가 이를 해소하는 핵심 장치임을 보여줍니다.

(b) 조작 성공률 — 시뮬레이션

머그 수평 손잡이: NeuralTouch 95.0% vs NDFs 40.0%, C2FIL 46.7%
병뚜껑: NeuralTouch 93.3% vs NDFs 51.7%, C2FIL 43.3%
볼트 빼서 넣기: NeuralTouch 86.7% vs C2FIL 71.7%

(c) 실세계 — 병뚜껑 열기

대상	NeuralTouch	NDFs	C2FIL
사과주스	90%	40%	85%
케첩	90%	45%	20%
시럽	85%	30%	10%

C2FIL은 시연한 물체를 벗어나면 성능이 약 75%p 급락하는 반면, NeuralTouch는 15종의 다양한 뚜껑에서 평균 81.0% 성공률을 유지했습니다. 일반화 능력의 차이가 뚜렷합니다.

(d) 실세계 — 삽입(공차가 좁아질수록)

볼트(2 mm): NeuralTouch 55% vs C2FIL 25%
플러그(1 mm): NeuralTouch 25% vs 베이스라인 0~5%
USB(0.5 mm): NeuralTouch 15% vs 베이스라인 0%

여기서 중요한 관찰은 sim-to-real 격차입니다. 시뮬에서 86.7%였던 성공률이 실세계 평균 31.7%로 떨어졌고, 저자들은 주원인을 섬세한 접촉에서의 촉각 real-to-sim 변환 한계로 봅니다.

(e) 온라인 적응성

테스트 중 조건 디스크립터만 바꿔 목표 특징을 동적으로 전환할 수 있습니다. 재학습이 필요 없으며, 이는 디스크립터 조건이 없는 RL-Touch 베이스라인은 못 하는 능력입니다.

의미 해석

결과를 종합하면 세 가지 메시지가 읽힙니다. 첫째, 시각(NDF 기하 이해)과 촉각(접촉 피드백)을 결합하면 단일 감각보다 확실히 낫습니다. 둘째, 단순히 둘을 붙이는 것이 아니라 시각 디스크립터로 촉각 정책을 조건화해야 모호성이 풀립니다. 셋째, 의미적 대응을 쓰는 NDF 덕분에 시연 물체를 벗어난 카테고리 일반화가 가능해, 시연에 과적합되는 모방학습(C2FIL)보다 강건합니다.

비판적 고찰

강점

모달리티 융합 방식이 우아함: “촉각 정책을 시각 디스크립터로 조건화”한다는 한 줄 아이디어가 특징 모호성을 직접 겨냥합니다. 별도 정책을 형상마다 만들지 않아도 됩니다.
일반화와 정밀도를 동시에: NDF의 SE(3) 등변성·의미 대응이 카테고리 일반화를 주고, RL 촉각 서보잉이 서브 밀리미터 정밀도를 줍니다. 모방학습 대비 미지 물체에서 강건합니다.
재학습 없는 목표 전환: 디스크립터만 교체하면 목표 형상을 바꿀 수 있어 실전 유연성이 큽니다.
현실적인 학습 설계: 학습 시 초기 자세를 \pm 20 mm/\pm 20^\circ로 흔들어 NDF 오차를 미리 모사한 점이 zero-shot 전이를 도왔습니다.

약점·한계

촉각 sim-to-real 격차가 가장 큰 병목: 좁은 공차 삽입에서 성공률 급락(86.7%→31.7%)의 주범은 가벼운 접촉의 GAN 변환 품질입니다. 가장 정밀해야 할 영역에서 가장 약합니다.
서브 밀리미터의 천장: 평균 정밀도는 좋지만, 산업 양산에서 요구되는 일관된 서브 밀리미터 수준에는 아직 못 미친다고 저자도 인정합니다.
다운스트림 실행 시 촉각 피드백 부재: 정밀 잡기 이후 실제 조작(삽입·열기) 단계는 “리플레이(replay)”로 수행되어 실시간 촉각 피드백이 없습니다. 외란(disturbance) 발생 시 대응 기회를 놓칩니다. (추측) 이 단계까지 촉각 폐루프를 넣으면 좁은 공차 성공률이 더 오를 가능성이 있습니다.
사전학습 의존성: NDF 백본을 카테고리별 메시(ShapeNet, 커스텀 볼트)로 사전학습해야 합니다. 메시가 없는 완전 신규 카테고리로의 즉시 확장성은 (추측) 제한될 수 있습니다.
시스템 복잡성: NDF 최적화용/실시간 제어용 PC 2대, pix2pix GAN, occupancy network, PPO 정책 등 구성 요소가 많아 재현·배포 부담이 있습니다.

요약 및 결론

NeuralTouch는 “눈으로 대충, 손으로 정확히”라는 인간의 잡기 전략을 로봇에 옮긴 프레임워크입니다. 핵심은 단순한 시각+촉각 결합이 아니라, 시각으로 학습한 암묵적 신경 디스크립터를 촉각 강화학습 정책의 조건(목표 지시)으로 사용한다는 점입니다. 이로써 촉감만으로는 구별되지 않는 형상(특징 모호성)을 풀고, 미리 정해진 접촉 형상에 정책을 가두지 않으면서도, 단일 정책으로 다양한 목표를 다룹니다.

Coarse 단계에서 NDF 디스크립터 거리 최소화로 초기 자세를 얻고, Fine 단계에서 디스크립터로 조건화된 촉각 RL 서보잉으로 미세 조정합니다. 시뮬레이션에서 평균 0.86 mm의 정밀도, 추가 미세조정 없는 zero-shot 실세계 전이로 병뚜껑 열기·삽입 같은 과제에서 베이스라인을 크게 앞섰고, 특히 미지 물체 일반화에서 모방학습 대비 강건했습니다.

남은 과제는 명확합니다. 가벼운 접촉의 촉각 sim-to-real 변환을 개선하는 것이 좁은 공차 작업의 성패를 좌우하며, 다운스트림 조작 단계까지 실시간 촉각 폐루프를 확장하면 외란 대응력이 높아질 것입니다. 그럼에도 “신경 디스크립터로 촉각 정책을 조건화”한다는 아이디어는, 시각-촉각 멀티모달 정밀 조작 연구에 두고두고 울리는(ring) 설계 원칙으로 남을 만합니다.

참고: 본 리뷰는 arXiv 공개본(arXiv:2510.20390, University of Bristol)을 근거로 작성되었습니다. 워크숍 PDF 링크(ViTac 2026)가 404로 접근되지 않아 동일 논문의 arXiv 버전을 확보해 정리했습니다.