📃ViTacGen

tactile

generation

manipulation

ViTacGen: Robotic Pushing with Vision-to-Touch Generation

Published

May 31, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

로봇이 물체를 “민다(pushing)”는 행위는 단순해 보이지만, 사실 매우 미묘한 작업입니다. 손끝으로 무거운 책을 책상 위에서 밀어 본다고 상상해 보세요. 우리는 책이 미끄러지기 시작하는 순간, 회전하려는 기미, 접촉면의 마찰 변화를 거의 무의식적으로 손끝의 촉감으로 감지하고 힘을 조절합니다. 로봇 역시 마찬가지로, 엔드이펙터(end-effector)와 물체 사이의 접촉력(contact force)과 상호작용 동역학을 알아야 물체를 원하는 위치로 정확히 밀 수 있습니다.

문제는 이 “촉각”을 로봇에게 어떻게 줄 것인가입니다. GelSight, TacTip 같은 고해상도 광학식 촉각 센서는 풍부한 접촉 정보를 제공하지만, 현실적인 장벽이 많습니다.

비용: 고해상도 촉각 센서는 비싸고, 모든 로봇 손에 장착하기 어렵습니다.
내구성: 탄성체(elastomer) 표면이 마모되거나 찢어지기 쉽습니다.
보정(calibration): 센서마다, 심지어 같은 모델의 개체마다 출력 특성이 달라 일관성을 맞추기가 까다롭습니다.
제조 편차: 양산된 센서 간 변동이 정책(policy)의 재현성을 해칩니다.

반대로 카메라(비전)만 쓰는 정책은 이런 하드웨어 문제에서 자유롭지만, 접촉 순간의 섬세한 힘 변화를 직접 보지 못해 정밀도가 떨어집니다.

ViTacGen의 출발점은 사람의 능력에서 영감을 받았습니다. 우리는 손을 대 보지 않아도, 물체가 눌리고 미끄러지는 모습만 보고도 대략적인 접촉 상태를 추론할 수 있습니다. 마치 영상만 봐도 “저건 미끄러지겠다”라고 직감하는 것처럼요. 저자들의 핵심 질문은 이것입니다.

“비전 입력만으로 가짜 촉각 신호를 생성(generate) 해서, 진짜 촉각 센서 없이도 촉각 기반 정책의 이점을 누릴 수 있을까?”

ViTacGen은 이 질문에 “그렇다”라고 답합니다. 비전 영상 시퀀스로부터 접촉 깊이 이미지(contact depth image) 라는 표준화된 촉각 표현을 합성하는 생성 네트워크와, 이 생성된 촉각을 비전과 융합해 학습하는 강화학습(RL) 정책을 결합합니다. 결과적으로 물리 촉각 센서가 전혀 없는 비전 전용 로봇에 제로샷(zero-shot)으로 배포 가능하면서도 최대 86%의 실세계 성공률을 달성합니다.

이 논문은 King’s College London과 University of Bristol 연구진(Zhiyuan Wu, Yijiong Lin, Yongqiang Zhao, Xuyang Zhang, Zhuo Chen, Nathan Lepora, Shan Luo)이 작성했으며, IEEE Robotics and Automation Letters(RA-L)에 게재되었습니다.

방법

ViTacGen은 크게 두 모듈로 구성됩니다.

VT-Gen (Vision-to-Touch Generation Network): 비전 시퀀스 → 접촉 깊이 이미지 생성
VT-Con (RL Policy with Contrastive Learning): 비전 + 생성된 촉각을 대조학습으로 융합하는 강화학습 정책

전체 파이프라인을 직관적으로 그리면 다음과 같습니다.

flowchart LR
    subgraph Input
        V["Visual sequence v1..vn<br/>(RGB camera frames)"]
    end

    subgraph VTGen["VT-Gen (frozen at policy stage)"]
        CE["Coarse encoder"]
        CMA["Cross-modal attention"]
        RE["Refine encoder + residual blocks"]
        DEC["Hierarchical decoder"]
        CE --> CMA --> RE --> DEC
    end

    subgraph VTCon["VT-Con (RL policy)"]
        EV["Visual CNN encoder Ev"]
        EC["Tactile CNN encoder Ec"]
        MOCO["Momentum Contrast<br/>InfoNCE alignment"]
        FUSE["Attention fusion"]
        SAC["SAC policy"]
    end

    V --> CE
    DEC -->|"generated contact depth c_gen"| EC
    V --> EV
    EV --> MOCO
    EC --> MOCO
    EV --> FUSE
    EC --> FUSE
    FUSE -->|"+ TCP coords"| SAC
    SAC --> ACT["Action: push command"]

표준화된 촉각 표현: 접촉 깊이 이미지

먼저 핵심 설계 결정 하나를 짚어야 합니다. 저자들은 생성 목표를 “원시 광학 촉각 이미지”가 아니라 접촉 깊이 이미지(contact depth image) 로 잡았습니다.

직관적으로 비유하면, 접촉 깊이 이미지는 물체가 센서 표면을 얼마나 깊게 눌렀는지를 픽셀별 깊이로 표현한 “지형도”입니다. 광학 촉각 센서마다 조명, 마커 패턴, 색감이 제각각이지만, 접촉 깊이라는 기하학적 양은 센서 종류에 비교적 불변(invariant) 합니다. 즉, 특정 센서 브랜드의 외형에 종속되지 않는 표준화된 표현이라 비전으로부터 학습·생성하기에 더 안정적입니다. 다만 이 선택은 뒤의 한계(국소 힘 분포 같은 세밀한 물리량은 못 담음)와도 직결됩니다.

VT-Gen: 비전에서 촉각을 그려내기

VT-Gen은 인코더-디코더 구조로, 비전 프레임 시퀀스 \{\mathcal{V}\} = \{v_1, \dots, v_n\}을 입력받아 접촉 깊이 이미지 \boldsymbol{c}^{gen}을 생성합니다.

Coarse-to-Refine 인코딩. 여러 프레임을 채널 차원으로 이어 붙인 뒤,

Coarse encoder \mathcal{E}_{coarse}가 거친 특징맵 \boldsymbol{f}^v_{coarse}를 뽑고,
Cross-modal attention이 학습 가능한 위치 임베딩 \boldsymbol{p}를 사용해 특징을 정제하며,
Refine encoder \mathcal{E}_{refine}와 잔차 블록(residual block)이 공간 정보를 보존하면서 더 깊은 표현을 만들고,
계층적 디코더(transposed convolution)가 최종 접촉 깊이 예측을 출력합니다.

거칠게 그린 뒤 세밀하게 다듬는 화가의 작업 순서와 닮았습니다. 먼저 큰 윤곽을 잡고(coarse), 그 위에 디테일을 채워 넣는(refine) 방식입니다.

크로스 모달 어텐션은 멀티헤드(h=8) 형태로,

\boldsymbol{f}^v_{cm} = \boldsymbol{C}\big[\mathcal{A}^1_{cm}(\boldsymbol{f}^v_{coarse}, \boldsymbol{p}),\ \dots,\ \mathcal{A}^h_{cm}(\boldsymbol{f}^v_{coarse}, \boldsymbol{p})\big]\boldsymbol{w}_0

이며, 각 어텐션은 익숙한 스케일드 닷프로덕트 형태입니다.

\mathcal{A}_{cm}(\boldsymbol{x}, \boldsymbol{y}) = \mathrm{softmax}\!\left(\frac{\boldsymbol{q}\boldsymbol{k}^\top}{\sqrt{d}}\right)\boldsymbol{v}

학습 손실: VGG 지각 손실(perceptual loss). 픽셀별 L2가 아니라, 사전학습된 VGG의 특징 공간에서 거리를 재는 지각 손실을 씁니다.

\mathcal{L}_{vgg} = \big\| \phi(\boldsymbol{c}^{gen}) - \phi(\boldsymbol{c}^{gt}) \big\|^2

여기서 \phi는 VGG 인코더가 추출한 특징입니다. 직관적으로, 픽셀 하나하나를 똑같이 맞추라고 강요하기보다 “사람 눈에 비슷하게 보이는 구조”를 맞추라고 유도하는 것입니다. 덕분에 접촉 패턴의 구조적 형태가 더 자연스럽게 생성됩니다.

보고된 모델 크기는 약 146.74 MB, 추론 속도는 305.90 FPS로, 실시간 제어 루프에 충분히 빠릅니다.

VT-Con: 생성된 촉각을 정책에 녹이기

VT-Gen이 만들어 준 촉각을 어떻게 비전과 합쳐 정책을 학습할까요? VT-Con은 세 가지 아이디어를 씁니다.

(1) 두 갈래 특징 추출. 구조가 동일한 두 CNN \mathcal{E}^v, \mathcal{E}^c가 각각 비전 시퀀스와 생성된 촉각 시퀀스를 처리해 \boldsymbol{f}^v, \boldsymbol{f}^c를 만듭니다. 시간 창은 3프레임(t-2 \to t)으로, 위치뿐 아니라 속도·가속도 같은 동역학 단서를 담습니다. 한 장의 사진으로는 물체가 미끄러지는지 알 수 없지만, 연속된 세 장이면 움직임의 흐름이 보이는 것과 같습니다.

(2) 대조학습으로 두 모달리티 정렬. 비전과 생성 촉각이 “같은 접촉 사건”을 서로 다른 시선으로 본 것이라는 점을 모델에 가르칩니다. Momentum Contrast(MoCo) 방식의 모멘텀 인코더 \mathcal{M}^v, \mathcal{M}^c를 천천히 갱신하고,

\mathcal{M}^v \leftarrow \eta\,\mathcal{M}^v + (1-\eta)\,\mathcal{E}^v, \qquad \mathcal{M}^c \leftarrow \eta\,\mathcal{M}^c + (1-\eta)\,\mathcal{E}^c

InfoNCE 손실로 양방향 정렬을 수행합니다. 비전→촉각 방향은

\mathcal{L}_{vt} = -\frac{1}{B}\sum_{i=1}^{B} \log \frac{\exp(\boldsymbol{f}^v_i \cdot \boldsymbol{m}^c_i / \tau)} {\sum_{j \ne i} \exp(\boldsymbol{f}^v_i \cdot \boldsymbol{m}^c_j / \tau)}

촉각→비전 방향은

\mathcal{L}_{tv} = -\frac{1}{B}\sum_{i=1}^{B} \log \frac{\exp(\boldsymbol{f}^c_i \cdot \boldsymbol{m}^v_i / \tau)} {\sum_{j \ne i} \exp(\boldsymbol{f}^c_i \cdot \boldsymbol{m}^v_j / \tau)}

이며 총 대조 손실은 \mathcal{L}_{con} = \mathcal{L}_{vt} + \mathcal{L}_{tv}입니다(B는 배치 크기, 온도 \tau = 0.1).

직관적으로, 같은 시점의 (비전, 촉각) 쌍은 가깝게 끌어당기고(\boldsymbol{f}_i \leftrightarrow \boldsymbol{m}_i), 서로 다른 시점의 쌍은 밀어냅니다. 이렇게 하면 두 모달리티가 공유하는 “접촉의 본질”을 담은 정렬된 표현 공간이 만들어져, 생성 촉각의 노이즈에 정책이 덜 흔들립니다.

(3) 어텐션 기반 융합. 정렬된 두 특징을 멀티헤드 어텐션으로 합칩니다.

\boldsymbol{f}^{fuse} = \boldsymbol{C}\big[\mathcal{A}^1_{cm}(\boldsymbol{f}^v, \boldsymbol{f}^c),\ \dots,\ \mathcal{A}^h_{cm}(\boldsymbol{f}^v, \boldsymbol{f}^c)\big]\boldsymbol{w}_0

이 융합 특징에 평탄화한 TCP(tool center point) 좌표를 더해 최종 관측 벡터를 만듭니다.

(4) SAC로 정책 학습. 강화학습 알고리즘은 Soft Actor-Critic(SAC)입니다. 목적함수는

J(\pi) = \mathbb{E}_{(s_t, a_t)\sim \rho_\pi}\left[\sum_t \gamma^t \big(R(s_t, a_t) + \alpha\,\mathcal{H}(\pi(\cdot|s_t))\big)\right]

이고, 보상은 물체-목표 거리와 TCP-물체 거리를 함께 줄이는 조밀(dense) 보상 R(s_t, a_t) = -d_{goal} - d_{TCP}입니다. 엔트로피 항 \alpha\,\mathcal{H}가 탐색을 장려해, 미는 동작이 단조롭게 한 방향으로 빠지지 않게 합니다.

학습 파이프라인 (의사코드)

학습은 두 단계로 분리됩니다.

Stage 1: Train VT-Gen
  collect 1000 paired (vision, tactile) trajectories from a pretrained RL expert
  split 7:2:1 (train:val:test)
  for epoch in 1..200:
      minimize L_vgg with Adam (lr=1e-4, eps=1e-8), batch=64

Stage 2: Train VT-Con (freeze VT-Gen)
  initialize SAC policy, replay buffer size = 20000
  for step in 1..1_000_000:
      v_seq      <- last 3 camera frames
      c_gen      <- VT_Gen(v_seq)            # generated contact depth
      f_v, f_c   <- E_v(v_seq), E_c(c_gen)
      L_con      <- InfoNCE(f_v, f_c) via MoCo momentum encoders
      f_fuse     <- AttentionFusion(f_v, f_c)
      obs        <- concat(f_fuse, TCP_coords)
      action     <- SAC_policy(obs)
      update SAC with reward R = -d_goal - d_TCP
      update encoders with L_con

핵심은 Stage 2에서 VT-Gen을 동결(freeze) 한다는 점입니다. 생성기는 한 번 잘 학습해 두고, 정책은 그 출력을 고정된 “가상 촉각 센서”처럼 사용합니다.

실험

설정

시뮬레이터: Tactile Gym 2, UR5e 로봇 + 푸싱 엔드이펙터
제어 주파수: 500 Hz, 에피소드 최대 350 스텝
작업 공간: 800 × 600 mm xy-평면, 2 cm 높이
카메라: Intel RealSense D435 RGB, FOV 42°, 거리 1 m, 30° 하향
이미지 크기: 비전·촉각 모두 128 × 128로 리사이즈
도메인 랜덤화: 카메라 시점, 조명, 배경, 색상 변화 + OpenSimplex 노이즈로 생성한 무작위 푸싱 궤적

물체 구성. 학습은 YCB 데이터셋의 tea box, meat can, mug 3종. 제로샷 테스트는 olive jar, apple, coffee can, soup can, ceramic cup 5종으로, 학습에 전혀 보지 못한 형상들입니다.

평가지표. 시뮬레이션은 누적 보상, 에피소드 길이, 거리 오차(mm), 성공률(임계 2.5 cm). 실세계는 거리 오차(cm)와 성공률(수동 측정). 생성 품질은 PSNR(↑), SSIM(↑), LPIPS(↓)로 측정합니다.

생성 품질 (VT-Gen)

물체	PSNR ↑	SSIM ↑	LPIPS ↓
Tea Box	30.75	0.9482	0.0101
Meat Can	20.50	0.8657	0.0327
Mug	20.25	0.8222	0.0417

평면적이고 형상이 단순한 tea box에서 생성 품질이 가장 높고(PSNR 30.75, SSIM 0.95), 곡면이 많은 mug에서 다소 떨어집니다. 곡면 물체일수록 접촉 깊이 패턴이 복잡해 비전만으로 추론하기 어렵다는 점이 드러납니다.

시뮬레이션 푸싱 성능

물체	방법	성공률	누적 보상
Tea Box	Baseline (visual-only)	12%	-155.73
Tea Box	Baseline (visual & tactile)	13%	-147.01
Tea Box	ViTacGen (visual-only)	84%	-84.35
Tea Box	ViTacGen (visual & tactile)	92%	-44.83
Meat Can	Baseline (visual-only)	16%	-169.27
Meat Can	ViTacGen (visual-only)	81%	-88.19
Meat Can	ViTacGen (visual & tactile)	86%	-44.49
Mug	Baseline (visual-only)	20%	-112.65
Mug	ViTacGen (visual-only)	86%	-41.53
Mug	ViTacGen (visual & tactile)	83%	-34.92

여기서 가장 인상적인 부분은 ViTacGen의 visual-only 버전조차 baseline을 압도한다는 점입니다. 예를 들어 tea box에서 비전 전용 baseline은 12%인데, 동일하게 비전만 쓰는 ViTacGen은 84%입니다. 즉, “실제 촉각 센서 없이 생성된 가짜 촉각”을 더했을 뿐인데 성공률이 7배가량 뛴 것입니다. 전체적으로 누적 보상은 약 64.6~69.5% 개선, 에피소드 길이는 12.9~23.3% 단축, 거리 오차는 13.36~26.94 mm 감소했습니다.

흥미로운 대비점: baseline은 진짜 촉각을 넣어도(visual & tactile) 거의 나아지지 않았습니다(tea box 12%→13%). 이는 단순히 촉각 데이터를 합치는 것만으로는 효과가 없고, 대조학습 정렬 + 어텐션 융합이라는 ViTacGen의 표현 학습 방식이 성능 향상의 진짜 원인임을 시사합니다.

실세계 결과

물체	Baseline 성공률	ViTacGen 성공률	Baseline 오차	ViTacGen 오차
Tea Box	14%	76%	6.5 cm	2.6 cm
Meat Can	8%	82%	8.2 cm	1.9 cm
Mug	10%	86%	7.2 cm	1.8 cm

물리 촉각 센서 없이 비전만 달린 실제 로봇에 제로샷으로 배포한 결과입니다. 성공률이 baseline 대비 크게 뛰었고(예: mug 10%→86%), 거리 오차도 7 cm대에서 2 cm 안팎으로 줄었습니다. 시뮬레이션에서 학습한 정책이 현실로 잘 넘어왔다는 강한 증거입니다.

제로샷 일반화 (미학습 물체)

olive jar, apple, coffee can, soup can, ceramic cup 5종 평균으로 성공률 약 75.2%, 거리 오차 약 3.8 cm를 기록했습니다. apple이 82%로 가장 좋고 soup can이 70%로 가장 낮았습니다. 학습에 없던 형상에서도 70%대를 유지한다는 점은, 접촉 깊이라는 표현이 물체 형상에 과적합되지 않고 일반적인 접촉 기하 단서를 포착한다는 해석을 뒷받침합니다.

절제 실험 (Ablation)

융합 방식 (임계 4.0 cm 기준):

융합	성공률	보상
Addition	77%	-70.00
Concatenation	90%	-67.84
Attention	95%	-66.92 ✓

대조학습 방식 (임계 4.0 cm 기준):

방법	성공률	보상
SimCLR	89%	-70.03
MoCo	95%	-66.92 ✓

어텐션 융합이 단순 덧셈·연결보다 낫고(95% vs 77%), MoCo가 SimCLR보다 낫습니다. 어텐션은 상황에 따라 비전과 촉각의 가중치를 동적으로 조절할 수 있어, 접촉이 중요한 순간엔 촉각에 더 집중하는 식의 적응이 가능하다는 직관과 맞습니다.

비판적 고찰

강점

하드웨어 의존성 제거: 가장 큰 실용적 가치입니다. 비싸고 약한 촉각 센서 없이도 촉각 정책의 이점을 누리며, 비전 전용 로봇에 제로샷 배포가 됩니다.
표현 설계의 영리함: 센서 종속적인 원시 광학 이미지 대신 센서 불변적인 접촉 깊이를 생성 목표로 삼아, 비전→촉각 학습을 안정화했습니다.
융합 방식의 본질 규명: baseline에 진짜 촉각을 넣어도 효과가 미미했던 반면 ViTacGen은 크게 좋아진 대비는, 성능이 “촉각 데이터의 존재”가 아니라 “정렬·융합 표현 학습”에서 온다는 점을 설득력 있게 보여줍니다.
실시간성: 305.90 FPS의 생성 속도는 500 Hz 제어 루프 안에서 실제로 쓸 만합니다.

약점과 한계

접촉 깊이의 정보 한계: 저자들도 인정하듯, 접촉 깊이는 고수준 접촉 기하만 담고 국소 힘 분포나 전단력(shear force) 같은 세밀한 물리량은 표현하지 못합니다. 미끄러짐 감지나 마찰 추정이 결정적인 작업으로 확장할 때 병목이 될 수 있습니다.
푸싱이라는 단일 과제: 검증이 평면 푸싱에 한정됩니다. 잡기(grasp), 인-핸드 조작 등 접촉 동역학이 더 복잡한 과제로의 일반화는 아직 미지수입니다. (추측: 곡면 mug에서 생성 품질이 떨어진 점을 보면, 접촉이 더 복잡한 과제에서는 생성기의 품질이 더 큰 제약이 될 가능성이 있습니다.)
Sim-to-real 노이즈: 실세계 촉각 예측에 노이즈 아티팩트가 보고됩니다. 시뮬레이션 시각과 현실 시각의 차이가 생성 촉각의 품질을 떨어뜨립니다.
전문가 의존 학습: VT-Gen 학습 데이터를 “사전학습된 RL 전문가”의 1,000개 궤적에서 수집합니다. 이 전문가의 행동 분포에 생성기가 편향될 수 있고, 전문가가 닿지 못한 상태에서의 생성 품질은 불확실합니다.
물체 다양성: 학습 물체가 3종으로 제한적입니다. 제로샷 결과는 고무적이나, 더 폭넓은 형상·재질에서의 강건성 검증이 필요합니다.

요약 및 결론

ViTacGen은 “비전만으로 촉각을 생성하면 진짜 촉각 센서를 대신할 수 있다”는 발상을 체계적으로 구현한 프레임워크입니다. 비전 시퀀스에서 센서 불변적인 접촉 깊이 이미지를 생성하는 VT-Gen과, 생성 촉각을 대조학습(MoCo/InfoNCE)으로 비전과 정렬한 뒤 어텐션으로 융합해 SAC 정책을 학습하는 VT-Con이 핵심입니다.

실험적으로, 시뮬레이션 성공률을 baseline 대비 수 배 끌어올렸고(예: 12%→84~92%), 촉각 센서가 없는 실제 로봇에 제로샷 배포해 최대 86%의 성공률과 2 cm 안팎의 거리 오차를 달성했습니다. 미학습 물체에서도 평균 75% 수준을 유지해 일반화 가능성을 보였습니다.

로봇공학 실무자 관점에서 이 연구가 주는 메시지는 분명합니다. 고가의 촉각 센서를 모든 로봇에 달 수 없다면, 비전으로부터 촉각을 “상상”하게 만들어 그 간극을 메우는 길이 현실적으로 작동한다는 것입니다. 다만 접촉 깊이라는 표현이 담지 못하는 힘·전단 정보, 그리고 푸싱을 넘어선 복잡 조작으로의 확장은 앞으로 풀어야 할 과제입니다. 저자들도 향후 방향으로 물리량의 명시적 예측, 물체 운동으로부터의 전단력 추론, 비전-촉각 모달리티 격차의 추가 해소를 제시하고 있습니다.