📃Heterogeneous Tactile GNN

tactile

gnn

dexterous

Learning Heterogeneous Tactile Representations with Graph Neural Networks for Dexterous Manipulation

Published

May 1, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

손은 한 종류의 센서로 만져지지 않는다

사람이 컵을 집어 뚜껑을 열고 내용물을 따르는 동작을 떠올려 보세요. 손끝(fingertip)은 표면의 미세한 굴곡과 미끄러짐을 매우 예민하게 느끼고, 손바닥(palm)은 물체를 감싸 안을 때의 넓은 접촉과 분포된 힘을 감지합니다. 실제로 사람 손은 손끝에 기계수용기(mechanoreceptor)가 손바닥보다 훨씬 조밀하게 분포되어 있어서, 손끝은 정밀 식별을, 손바닥은 광역 접촉 정보를 담당합니다. 이 논문은 바로 이 인간 손의 이종(heterogeneous) 촉각 구조에서 영감을 얻습니다.

로봇 촉각 연구의 고질적인 한계는, 대부분의 학습된 촉각 표현이 단 하나의 센싱 방식(single modality)에만 의존한다는 점입니다.

비전 기반 촉각 센서(vision-based tactile sensor): GelSight, DIGIT 류처럼 카메라로 접촉면의 변형을 찍어 고해상도 공간 구조·텍스처를 잡습니다. 하지만 이미지 한 장이 곧 한 손끝의 이야기일 뿐입니다.
희소 taxel 기반 센서(sparse taxel-based sensor): 압전(piezoelectric)·정전용량(capacitive)·자기(magnetic) 방식 등으로, 접촉 압력과 분포된 힘(distributed force)을 측정하는 데 강합니다. uSkin이 대표적인 자기식 3축 힘 센서입니다.

두 방식은 서로 다른 물리량을, 서로 다른 위치에서, 서로 다른 해상도로 측정합니다. 비유하자면 손끝의 비전 센서는 고화질 영상 카메라이고, 손바닥의 uSkin은 여러 지점에 박힌 3축 저울입니다. 기존 연구는 이 둘을 함께 모델링하는 일을 거의 다루지 않았고, 이 논문의 표현을 빌리면 “이종 촉각 모달리티를 함께 모델링하는 방법은 사실상 미개척(largely unexplored)” 상태였습니다.

이 논문의 한 줄

손끝의 비전 촉각과 손바닥의 자기식 taxel을 손의 물리적 배치에 맞춘 하나의 이종 그래프(heterogeneous graph)로 묶고, GCN과 masked autoencoder로 압축된 통합 촉각 임베딩을 학습한다.

이렇게 학습한 표현을 30개 물체의 “놀이 데이터(play data)”로 사전학습한 뒤, (1) 8종 컵 분류에서 거의 완벽한 성능을, (2) 원격조작(teleoperation) 동안 의미 있게 구조화되는 잠재 공간을 보여주는 것이 핵심 결과입니다.

저자진은 와세다대학(Waseda University) 연구진 — Tai Yamada, Satoshi Funabashi, Steven Oh, Pranav Ponnivalavan, Tetsuya Ogata, Shigeki Sugano — 이며, 본 논문은 ICRA 계열 ViTac 워크숍의 단편(short paper)입니다.

방법

큰 그림: 두 종류 센서 → 하나의 그래프 → 임베딩

flowchart LR
    subgraph FT["Fingertips x4 (vision-based)"]
        IMG["Image 680x480"] --> CNN["CNN encoder"]
        CNN --> FM["Feature map 16x12<br/>= 192 nodes / fingertip"]
    end
    subgraph PA["Palm (uSkin magnetic)"]
        TX["248 taxels<br/>tri-axial (fx, fy, fz)"]
    end
    FM --> G
    TX --> G
    G["Heterogeneous tactile graph<br/>768 + 248 = 1016 nodes<br/>edges = spatial proximity + hand kinematics"]
    G --> GCN["Graph Convolutional Network"]
    GCN --> MAE["Masked Autoencoder<br/>(compression)"]
    MAE --> EMB["Unified tactile embedding"]
    EMB --> HEAD["Frozen encoder + task head<br/>(classification / analysis)"]

이 그림이 논문 Fig. 1과 Fig. 2의 핵심을 요약합니다. 두 모달리티가 각자의 방식으로 노드가 되어 하나의 손-정렬 그래프에 합쳐지고, 그 위에서 GCN이 정보를 섞은 뒤 masked autoencoder가 압축해 최종 임베딩을 만듭니다.

노드를 만드는 법: 모달리티마다 다른 입구

이 논문에서 “heterogeneous(이종)”가 구체적으로 무엇을 뜻하는지가 중요합니다. 두 센서가 노드가 되는 방식이 서로 다릅니다.

1) 손끝 — 비전 기반 촉각

각 비전 촉각 센서는 680 × 480 해상도의 이미지를 만듭니다.
이미지를 그대로 그래프에 넣으면 차원이 너무 큽니다. 그래서 CNN으로 16 × 12 특징 맵으로 압축합니다.
이 특징 맵의 각 공간 위치(spatial location)를 하나의 그래프 노드로 취급합니다. 즉 16 \times 12 = 192개 노드가 손끝 하나에서 나옵니다.
Allegro hand는 손끝 센서가 4개이므로, 손끝 노드는 4 \times 192 = 768개입니다.

직관적으로, 손끝의 고해상도 이미지를 “작은 패치들의 격자”로 쪼개고, 각 패치가 자기 영역의 접촉 구조를 대표하는 노드가 되는 셈입니다.

2) 손바닥 — uSkin 자기식 taxel

손바닥에는 248개의 uSkin taxel이 있고, 각 taxel은 3축 힘 (f_x, f_y, f_z)을 측정합니다.
taxel 하나가 곧 노드 하나입니다. 따라서 손바닥 노드는 248개입니다.

3) 합치면

\underbrace{4 \times 192}_{\text{fingertip} = 768} + \underbrace{248}_{\text{palm}} = 1016 \ \text{nodes}

이렇게 총 1016개 노드의 이종 그래프가 만들어집니다. 여기서 핵심은, 손끝 노드의 특징(고해상도 영상에서 온 잠재 벡터)과 손바닥 노드의 특징(3축 힘)이 물리적 의미가 전혀 다르다는 점이고, 그것을 하나의 그래프 안에 공존시킨다는 것이 “heterogeneous”의 실체입니다.

엣지: 손의 위상과 운동학을 따른다

노드만큼 중요한 것이 엣지(연결)입니다. 논문은 엣지를 두 가지 기준으로 정의합니다.

공간적 근접성(spatial proximity): 물리적으로 가까운 촉각 요소끼리 연결. → 국소 접촉 영역 내부에서 정보 교환.
손의 운동학 구조(kinematic structure): 손가락-손바닥처럼 운동학적으로 이어진 부위를 연결. → 손 전체(hand-level) 수준의 구조적 정보 교환.

이렇게 하면 메시지가 국소 접촉(미세한 손끝 접촉)과 광역 구조(손 전체에 퍼진 힘) 두 스케일을 모두 오갈 수 있습니다. 비유하면, 옆자리 동료와 귓속말(국소)도 하고, 부서 전체 회의(광역)도 하는 통신망을 한 그래프 안에 깔아 둔 것입니다.

GCN 메시지 패싱의 직관

그래프 합성곱(GCN)의 한 레이어는 “각 노드가 이웃의 정보를 모아 자신을 갱신”하는 연산입니다. 표준 GCN 형태로 쓰면:

h_v^{(l+1)} = \sigma\!\Big( \sum_{u \in \mathcal{N}(v) \cup \{v\}} \frac{1}{c_{vu}}\, W^{(l)} h_u^{(l)} \Big)

h_v^{(l)}: 레이어 l에서 노드 v의 특징 벡터.
\mathcal{N}(v): v의 이웃 노드(공간 근접 + 운동학 연결).
W^{(l)}: 학습되는 가중치.
c_{vu}: 정규화 상수(예: \sqrt{\deg(v)\deg(u)}).
\sigma: 비선형 활성화.

레이어를 쌓을수록 손끝의 미세 접촉 정보와 손바닥의 분포 힘 정보가 손 전체로 번져 섞입니다. 손끝 노드가 손바닥 노드의 힘 맥락을 “참고”하고, 손바닥 노드가 손끝의 미세 구조를 “참고”하는 식의 교차 모달리티 통합이 그래프 위에서 자연스럽게 일어납니다.

Masked Autoencoder로 압축

GCN이 만든 잠재 표현을 masked autoencoder(MAE)로 한 번 더 압축해 최종 임베딩을 만듭니다. MAE의 발상은 “입력의 일부를 가린 뒤 복원하게 학습”하는 자기지도(self-supervised) 방식입니다. 일부 노드/특징을 가려도 나머지 맥락으로 복원할 수 있어야 하므로, 모델은 분포된 촉각 신호 사이의 상관 구조를 표현 안에 담게 됩니다. 결과적으로 손끝의 미세 접촉 구조와 손바닥의 분포 힘을 모두 품은 컴팩트한 이종 촉각 임베딩이 나옵니다.

학습-사용 프로토콜(의사코드)

# Pre-training (self-supervised, on play data from 30 objects)
for batch in play_data:
    G = build_hetero_graph(fingertip_images, palm_taxels)   # 1016 nodes
    H = GCN(G)                                               # message passing
    z = MaskedAutoencoder.encode(H)                          # compact embedding
    loss = MaskedAutoencoder.reconstruction_loss(H, mask)
    update(GCN, MaskedAutoencoder)

# Downstream (encoder frozen)
freeze(GCN, MaskedAutoencoder)
for batch in task_data:
    z = encode(build_hetero_graph(...))
    y = TaskHead(z)            # e.g. cup classification
    update(TaskHead)           # only the head is trained

핵심 설계 결정은 사전학습된 인코더를 동결(freeze)하고, 다운스트림에서는 가벼운 태스크 헤드만 학습한다는 점입니다. 즉 “촉각 표현 자체는 한 번 잘 배워 두고, 과제마다 작은 헤드만 갈아 끼운다”는 표현학습(representation learning)의 전형적 구도를 따릅니다.

실험

하드웨어 설정

로봇 팔: UR5e
손: Allegro hand (4지)
손끝: 자체 제작 비전 기반 촉각 센서(부드러운 접촉면 + 내부 마커 층 + 임베디드 카메라; Appendix I).
손바닥: uSkin 자기식 taxel 센서(3축 힘).
원격조작: Allegro hand 제어용 모션캡처 글러브, 팔 제어용 축소형 리더 디바이스(leader device).

실험 A: 8종 컵 분류

기하학적 변형이 다른 8가지 컵 변형(cup variants)을 분류하는 과제입니다. 데이터 수집 시 로봇 손이 각 물체를 잡고 조작하면서 손끝과 손바닥 센서가 접촉 신호를 모으고, 동결된 GCN 인코더가 만든 임베딩을 가벼운 분류 헤드에 넣습니다.

결과는 다음과 같습니다(논문 Table I).

Class	Precision	Recall	F1-score
Original Cup	1.000	1.000	1.000
Standard Cup	0.988	0.995	0.992
Low-Poly Cup	0.999	1.000	0.999
Cup with Double Strip Deformation	1.000	1.000	1.000
Cup with Single Strip Deformation	1.000	0.952	0.975
Polygonal Cup	0.954	1.000	0.976
Wavy Cup	1.000	1.000	1.000
Wavy Twisted Cup	1.000	0.982	0.991

대부분의 변형에서 거의 완벽(near-perfect)한 성능을 보입니다. F1이 가장 낮은 항목도 0.975(Single Strip), 0.976(Polygonal)으로 높습니다. 해석하면, 이종 촉각 표현이 컵들 사이의 기하학적·접촉적 차이를 효과적으로 포착하고 있다는 뜻입니다. 흥미롭게도 오분류가 몰리는 쌍을 보면, Single Strip의 recall 저하와 Polygonal의 precision 저하가 함께 나타나는데, 이는 두 클래스가 서로 혼동되는 경향(형태가 비교적 가까운 변형끼리)을 시사합니다.

저자들은 향후 텍스처·경도(hardness)를 포함한 더 넓은 재질 이해 과제로 평가를 확장하겠다고 밝힙니다.

실험 B: 조작 중 잠재 공간 분석

두 번째 실험은 정량 지표가 아니라 잠재 공간의 구조를 들여다봅니다. 모션캡처 글러브로 수집한 원격조작 시연에서, 손이 컵을 잡고 → 엄지와 검지로 뚜껑을 열고 → 내용물을 따르는 시퀀스를 수행합니다. 인코더는 30개 물체 play data로 사전학습 후 동결되어 있습니다.

촉각 잠재 공간을 PCA로 시각화하면(논문 Fig. 3) 다음과 같은 흐름이 관찰됩니다.

phase 1: before contact      -> latent stays compact (clustered)
phase 2: palm touches cup     -> embedding starts to separate into structured regions
phase 3: fingertips open lid  -> latent trajectory spreads further
         & pour                  in the embedding space

즉 접촉 이전에는 표현이 한 점에 뭉쳐 있다가, 손바닥이 컵에 닿는 순간부터 구조적으로 갈라지고, 손끝이 뚜껑 열기·따르기에 관여하면서 잠재 궤적이 더 넓게 퍼집니다. 이는 학습된 이종 표현이 분포된 손바닥 힘과 미세한 손끝 접촉 구조를 통합하여, 조작 도중의 의미 있는 접촉 전이(contact transition)를 포착함을 시사합니다.

비판적 고찰

강점

진짜 이종 융합: 손끝 비전 촉각(고해상도 구조)과 손바닥 자기식 taxel(분포 힘)을 하나의 손-정렬 그래프에서 통합합니다. 두 모달리티를 함께 모델링하는 일이 그동안 거의 없었다는 점에서 문제의식이 신선합니다.
그래프의 자연스러움: 손끝 4개 + 손바닥처럼 위치·해상도·물리량이 제각각인 센서를 다루는 데 그래프는 매우 자연스러운 자료구조입니다. 공간 근접성과 운동학 구조를 엣지로 명시해, 국소 접촉과 손 전체 구조를 한 번에 다룹니다.
표현학습 구도: play data 30개로 자기지도 사전학습 → 인코더 동결 → 가벼운 헤드만 학습. 라벨이 귀한 로봇 촉각 도메인에 적합한 설계이고, 분류 성능(거의 완벽)으로 표현의 유용성을 직접 보였습니다.
정성 분석의 설득력: 컵 잡기-뚜껑 열기-따르기 시퀀스에서 잠재 공간이 단계적으로 펼쳐지는 모습은, 임베딩이 단순 분류 특징이 아니라 조작의 접촉 동역학을 담고 있음을 직관적으로 보여줍니다.

약점·한계

평가가 좁다: 다운스트림 정량 평가가 사실상 8종 컵 분류 단일 과제입니다. 게다가 모두 “컵”이라는 한 범주의 변형이라, 재질·범주를 넘나드는 일반화는 아직 입증되지 않았습니다(저자들도 텍스처·경도 확장을 향후 과제로 둠).
비교 기준선(baseline) 부재: 단일 모달리티(손끝만 / 손바닥만)나 동질 그래프 대비 이종 융합의 이득을 정량적으로 분리하는 ablation이 본문에 없습니다. 따라서 “이종이라서 좋다”가 수치로 증명되었다기보다는 설계 논거에 가깝습니다.
거의 완벽한 점수의 양면성: F1이 대부분 1.0에 가깝다는 것은 과제가 표현의 변별력을 충분히 시험할 만큼 어렵지 않았을 가능성도 시사합니다. 더 혼동되기 쉬운 물체군에서의 성능이 궁금합니다.
조작 정책으로의 연결은 미완: 잠재 공간 분석은 정성적이며, 이 표현이 실제 정책 학습(policy learning) 성능을 얼마나 끌어올리는지는 향후 과제로 남겨 두었습니다.
워크숍 단편의 한계: 분량상 GCN의 구체적 층수·MAE의 마스킹 비율·임베딩 차원 등 하이퍼파라미터가 본문에 명시되지 않습니다. (추측: 정식 확장 논문에서 보강될 부분.)

요약 및 결론

이 논문의 핵심은 “제각각인 두 종류의 손 촉각 — 손끝의 고해상도 비전 촉각과 손바닥의 분포형 자기식 3축 taxel — 을 손의 물리적 배치에 맞춘 1016개 노드의 이종 그래프로 묶고, GCN과 masked autoencoder로 하나의 컴팩트한 촉각 임베딩을 학습한다”는 것입니다.

직관적으로, 사람 손이 손끝(정밀)과 손바닥(광역)이라는 이질적 감각을 자연스럽게 통합하듯, 이 연구는 그 이질성을 그래프 구조 자체로 흡수합니다. 비전 이미지는 CNN으로 16×12 격자 노드(손끝당 192개)가 되고, uSkin taxel은 그대로 248개 노드가 되며, 공간 근접성과 운동학 구조로 엣지를 깔아 두 세계를 잇습니다.

실험적으로는 30개 물체 play data로 사전학습한 동결 인코더가 8종 컵 분류에서 거의 완벽한 F1(대부분 ~1.0, 최저 0.975)을 달성했고, 원격조작 시퀀스에서 잠재 공간이 접촉-비접촉, 손바닥-손끝 관여에 따라 단계적으로 구조화되는 모습을 보였습니다.

종합하면, 이 워크숍 단편은 “이종 촉각을 어떻게 하나의 표현으로 통합하는가”라는 능숙 조작의 핵심 난제에 대해, 이종 그래프 + 자기지도 사전학습이라는 깔끔한 한 수를 제시한 초기 단계의 유망한 시도입니다. 정량 baseline·ablation과 정책 학습으로의 연결이 보강된다면, 다종 촉각 융합 표현의 실용적 기준점이 될 잠재력이 있습니다.