📃Deformable Tactile Simulation with GNN

tactile

simulation

gnn

Real-Time Simulation of Deformable Tactile Sensors and Objects in Robotic Grasping using Graph Neural Networks with Inductive Biases

Published

May 15, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

왜 “촉각 센서 시뮬레이션”이 이렇게 어려운가

로봇이 물건을 집을 때, 손가락 끝에서 무슨 일이 벌어지는지 우리는 사실 거의 모릅니다. 사람은 사과를 쥐면 손끝의 살이 눌리고, 그 눌림의 분포로부터 “이 정도면 안 떨어뜨리겠다”, “더 세게 쥐면 멍들겠다”를 직감적으로 압니다. GelSight 같은 시각 기반 촉각 센서(visual tactile sensor)는 이 직관을 로봇에게 주려는 장치입니다. 부드러운 젤(gel) 표면이 물체에 눌리면 그 변형을 내부 카메라로 찍어 “촉각 이미지”로 만듭니다.

문제는 이 센서를 시뮬레이션하는 것이 매우 비싸다는 점입니다. 이 논문은 촉각 시뮬레이션을 두 부분으로 나눕니다.

물리(physics): 젤과 물체가 접촉하면서 실제로 어떻게 변형되고, 어디에 얼마나 응력(stress)이 걸리는가.
렌더링(rendering): 그 변형으로부터 카메라가 보는 이미지를 만들어내는가.

이 논문은 오직 물리 부분만 다룹니다(렌더링은 범위 밖). 그리고 물리 시뮬레이션 진영은 크게 둘로 나뉩니다.

강체(rigid-body) 시뮬레이션: 빠릅니다. 강화학습처럼 대량의 데이터를 뽑아야 할 때 유리합니다. 하지만 젤이 눌리는 전단력(shear)이나 미세 변형을 제대로 못 담습니다. 즉 “현실감”이 떨어집니다.
연체(soft-body) 시뮬레이션: 보통 유한요소법(FEM, Finite Element Method)으로 풉니다. 젤과 물체를 작은 사면체(tetrahedron) 요소로 잘게 쪼개고, 각 요소가 받는 힘과 변형을 물리 방정식으로 정밀하게 계산합니다. 현실감은 뛰어나지만, 강체 대비 수백~수천 배 느립니다. 그래서 실시간 제어나 대규모 데이터 생성에는 사실상 못 씁니다.

비유하자면, FEM은 “정답을 알지만 시험 시간이 끝나도록 한 문제도 다 못 푸는 우등생”이고, 강체 시뮬레이션은 “대충 찍어서 빨리 내지만 절반은 틀리는 학생”입니다. 이 논문의 목표는 FEM의 정답을 흉내 내되 강체만큼 빠른 제3의 학생을 만드는 것입니다.

핵심 아이디어 한 줄 요약

FEM으로 정답 데이터를 만들어 두고, 그래프 신경망(GNN)에게 “FEM이라면 어떻게 변형·응력을 줄지”를 학습시킨다. 결과적으로 FEM 대비 10^2 \sim 10^3배 빠르면서도 변형과 응력을 동시에 예측한다.

이 논문의 기여는 다음과 같습니다.

시각 촉각 센서 시뮬레이션에 GNN 기반 물리 학습을 처음으로 적용한 연구입니다. (기존 GNN 물리 학습은 변형 물체 자체에 집중했지, 센서를 다루지는 않았습니다.)
FEM 대비 10^2~10^3배 가속하면서, 학습 때 보지 못한 그립 자세(unseen grasping pose)로도 일반화하는 예측 프레임워크를 제시합니다.

저자는 Centrale Lyon(LIRIS)과 TU Darmstadt(IAS Lab) 연구진(Guillaume Duret, Danylo Mazurak, Frederik Heller, Florence Zara, Jan Peters, Liming Chen)이며, 코드는 tacgraspnets.github.io에 공개되어 있습니다. 본 워크숍 논문은 동일 그룹의 선행 연구 두 편(데이터 생성 파이프라인 TacGraspSim, 그리고 “Inductive Biases” GNN 개선 연구)을 촉각 센서 시뮬레이션으로 확장한 작업입니다.

방법

전체 그림은 “데이터 만들기 → 그래프로 바꾸기 → GNN으로 예측하기”의 3단입니다. 먼저 큰 그림을 보겠습니다.

flowchart TD
    subgraph DataGen["A. Dataset Generation (FEM in Isaac Gym)"]
        O[Load object] --> G[Load gripper at grasp pose]
        G --> C[Close gripper until contact]
        C --> F[Ramp grasp force to threshold N]
        F --> R[Record 50 frames per run:<br/>node deformation, rigid poses,<br/>stress, finger translation]
    end

    R --> GR

    subgraph Graph["B. Graph Construction"]
        GR[Nodes: gripper tetra vertices + object vertices] --> ME[Mesh edges:<br/>neighbor nodes within a body]
        GR --> CE[Contact edges:<br/>object node to gripper node]
    end

    ME --> GNN
    CE --> GNN

    subgraph Model["C. GNN: Encode-Process-Decode"]
        GNN[Encode node/edge features] --> MP[Multiple message-passing rounds]
        MP --> DEC[Decode]
        DEC --> OUT1[Deformation field]
        DEC --> OUT2[Stress field]
    end

1단계: FEM으로 정답 데이터 만들기

GNN은 지도학습 모델이므로 “정답”이 필요합니다. 그 정답을 FEM이 만들어 줍니다.

시뮬레이터: NVIDIA Isaac Gym(GPU 기반 고성능 물리 엔진) 위에서 FEM을 돌립니다.
기반: DefGraspSim(3D 변형 물체의 그립 결과를 FEM으로 시뮬레이션하는 선행 연구)을 가져오되, 정적 그립이 아니라 동적 그립(dynamic grasping) 시나리오로 확장한 자체 파이프라인 TacGraspSim을 씁니다.
하드웨어 설정: 평행 그리퍼(parallel gripper)에 GelSight Mini 촉각 센서를 URDF로 모델링해서 붙였습니다.

데이터 한 번 뽑는 절차는 이렇습니다.

물체를 불러온다.
그리퍼를 그립 위치에 놓는다.
접촉할 때까지 그리퍼를 닫는다.
그립 힘을 임계값 N까지 서서히 키우면서 데이터를 기록한다.

한 번의 실행(run)마다 50프레임을 저장하며, 각 프레임에서 (i) 노드별 변형(node-wise deformation), (ii) 강체 자세(rigid body pose), (iii) 응력 분포(stress distribution), (iv) 그리퍼 손가락 이동량(finger translation)을 기록합니다. 데이터셋은 10종의 물체 × 물체당 100개의 그립 자세로 구성됩니다(사과, 감자, 레몬, 오이, 딸기 등 식료품류 형상).

2단계: 메시를 그래프로 바꾸기 — 왜 GNN인가

GNN을 선택한 이유는 직관적입니다. FEM의 메시 자체가 이미 그래프이기 때문입니다.

FEM은 물체를 사면체 요소들의 그물망으로 잘게 나눕니다. 각 꼭짓점(vertex)은 그래프의 노드(node), 인접 꼭짓점을 잇는 변은 그래프의 엣지(edge)로 자연스럽게 대응됩니다.
더 결정적으로, GNN의 메시지 전달(message passing)은 FEM에서 힘이 이웃 요소로 전파되는 과정과 닮았습니다. FEM에서 한 곳을 누르면 그 힘이 인접 요소를 통해 옆으로, 또 옆으로 퍼져 나갑니다. GNN에서 한 노드의 정보가 메시지를 통해 이웃 노드로 퍼지는 것과 구조적으로 동일합니다. 이것이 이 논문이 강조하는 귀납 편향(inductive bias)의 핵심입니다. 즉 “물리적으로 정보가 국소적으로 전파된다”는 사실을 모델 구조에 처음부터 박아 넣은 것입니다.

그래프 구성은 다음과 같습니다.

노드: 그리퍼(젤의 사면체 메시 꼭짓점)와 물체 형상의 노드를 모두 포함합니다.
두 종류의 엣지:
- 메시 엣지(mesh edge): 한 물체 내부의 이웃 노드를 연결합니다. → “이 몸체는 어떻게 생겼는가”라는 기하 정보를 담음.
- 접촉 엣지(contact edge): 물체 노드와 그리퍼 노드를 연결합니다. → “어디서 닿았고 얼마나 힘이 걸리는가”라는 접촉/힘 정보를 담음.

이렇게 엣지를 둘로 분리한 것 역시 귀납 편향입니다. “물체 내부의 변형 전파”와 “물체-그리퍼 사이의 접촉력”은 본질이 다른 상호작용이므로 다른 엣지 타입으로 구분해 주면 학습이 쉬워집니다.

그래프 요소	무엇을 담는가	물리적 의미
노드(node)	기하 상태(state), 타입(type), 운동 단서(motion cue)	“이 점은 젤인가 물체인가, 지금 어디 있고 어디로 움직이나”
메시 엣지	기하 정보(geometric)	“한 몸체 내부의 이웃 연결 = 형상”
접촉 엣지	힘 신호(force)	“물체와 그리퍼가 닿는 곳의 상호작용”

3단계: GNN 모델 — Encode-Process-Decode

모델은 물리 학습 GNN의 표준 골격인 Encode-Process-Decode 구조를 따릅니다.

Encode: 각 노드와 엣지의 원시 특징(feature)을 잠재 벡터(latent vector)로 인코딩합니다.
- 노드 특징: 기하 상태 + 노드 타입 + 운동 단서.
- 엣지 특징: 메시 엣지는 기하 정보, 접촉 엣지는 힘 신호.
Process: 여러 번의 메시지 전달 라운드(multiple message-passing rounds)를 돌립니다. 각 라운드에서 노드는 이웃으로부터 메시지를 모아 자기 상태를 갱신합니다. 라운드를 거듭할수록 정보가 그래프 전체로 퍼져 나가며, 이것이 FEM의 힘 전파를 흉내 냅니다.
Decode: 최종 노드 표현으로부터 변형(deformation)과 응력(stress)을 동시에 출력합니다.

메시지 전달을 직관적인 의사코드로 표현하면 다음과 같습니다(개념 설명용).

# Encode-Process-Decode, conceptual
h_v = encode_node(features_v)          for each node v
h_e = encode_edge(features_e)          for each edge e (mesh or contact)

for round in 1..K:                     # multiple message-passing rounds
    for each edge e = (u, v):
        m_e = edge_update(h_e, h_u, h_v)   # build message along the edge
    for each node v:
        agg = aggregate(m_e for e incident to v)
        h_v = node_update(h_v, agg)        # update node from neighbors

deformation_v = decode_def(h_v)        for each node v
stress        = decode_stress(...)     # predicted as field over the body

이 논문의 모태가 된 선행 연구(“Inductive Biases …” 논문)는 표준 GNN(DefGraspNets)에 두 가지 귀납 편향을 더했습니다. 본 논문은 그 개선판을 기반(baseline)으로 삼습니다.

사면체 단위 특징(tetrahedral features): 응력을 꼭짓점(vertex)이 아니라 사면체 요소 자체에서 예측합니다. FEM이 본래 요소 단위로 응력을 계산하므로, 예측을 그 물리 모델에 정렬시켜 더 사실적인 결과를 냅니다.
전역 특징 지름길(global feature shortcut): 메시 해상도가 높고 메시지 전달 라운드 수가 적으면, 정보가 그래프 끝까지 못 퍼지는 한계가 생깁니다. 전역 특징은 그래프 전체에 관련된 정보를 곧장 전달하는 지름길 역할을 해 이 문제를 완화합니다.

입력 구성에 대한 절제(ablation): force-only vs. translation

저자는 두 가지 입력 방식을 비교합니다. 이 비교가 결과를 이해하는 데 중요합니다.

Force-only 입력: 그립 힘만 주고, 모델이 손가락 이동량(translation)과 변형을 둘 다 예측해야 합니다. → 더 어려운 과제.
Translation 입력: 손가락 이동량을 미리 알려주고, 모델은 변형만 예측합니다. → 더 쉬운 과제.

직관적으로, 손가락이 얼마나 들어갔는지를 알려주면 “그 결과 젤이 어떻게 눌리나”만 풀면 되니 학습이 단순해집니다. 게다가 실제 로봇 제어에서는 위치 명령을 주는 경우가 많으므로, translation 입력 방식이 sim-to-real 전이에도 더 유리하다고 저자는 주장합니다.

실험

설정

데이터: 10종 물체 × 100 그립 자세, 실행당 50프레임.
정답(ground truth): Isaac Gym FEM 시뮬레이션.
평가 지표: 변형 MAE(Mean Deformation MAE)와 응력 MAE(Mean Stress MAE). MAE는 평균 절대 오차로, 예측과 정답의 차이를 절댓값 평균한 값이며 작을수록 좋습니다.
실험 단계: (1) 단일 물체 학습 → 같은 형상의 보지 못한 그립 자세로 일반화 검증, (2) 다중 물체 학습 → 물체당 그립 자세의 80%로 학습하고 나머지 20%로 테스트.

결과 1: 단일 물체 — 보지 못한 자세로 일반화

Class	Translation 입력	변형 MAE	응력 MAE
potato	True	6.57e-05	372.7
potato	False	2.92e-04	382.8
apple	True	7.20e-05	370.5
apple	False	2.97e-04	427.9
lemon	True	5.40e-05	212.1
lemon	False	2.38e-04	265.6

(굵은 글씨가 더 좋은 성능. 출처: 논문 Table I.)

해석: translation 입력을 주면 변형 MAE가 한 자릿수(약 4~5배) 줄어듭니다. 예를 들어 감자는 2.92e-04 → 6.57e-05. 응력 오차도 줄지만 변형만큼 극적이지는 않습니다. 즉 “이동량을 알려주는 것”이 변형 예측 난이도를 크게 낮춘다는 직관이 수치로 확인됩니다. 핵심은, 같은 물체라도 학습 때 보지 못한 그립 자세에서 잘 작동했다는 점입니다.

결과 2: 다중 물체 — 형상 간 일반화

Class	Translation 입력	변형 MAE	응력 MAE
Average	True	6.30e-05	360.3
Average	False	2.69e-04	420.2

(10개 물체 평균. 출처: 논문 Table II.)

해석: 10종 물체로 한꺼번에 학습했을 때의 평균 오차가 단일 물체 학습과 거의 같은 범위에 머뭅니다(변형 6.30e-05 vs. 단일 평균 6e-05대). 즉 물체 종류를 늘려도 성능이 무너지지 않고, 여러 형상에 걸쳐 일반화된다는 뜻입니다. 여기서도 translation 입력이 일관되게 더 좋습니다.

속도

가장 인상적인 결과는 속도입니다. GNN은 FEM 대비 10^2~10^3배 빠릅니다. 정확도는 FEM 정답에 견줄 만한 수준을 유지하면서요. 이 정도면 강화학습용 대규모 데이터 생성, 실시간 폐루프(closed-loop) 촉각 제어, 그립 계획(grasp planning) 같은 곳에 실제로 쓸 수 있는 영역에 들어옵니다.

그림 1(논문)에 대한 설명: 윗줄은 FEM이 계산한 정답 응력·변형, 아랫줄은 GNN 예측을 여러 그립 자세에서 나란히 보여 줍니다. 색으로 칠해진 응력 분포의 위치와 강도가 두 줄에서 시각적으로 거의 일치합니다. “빠르게 뽑은 예측이 정밀 시뮬레이션과 눈으로 봐도 비슷하다”는 것이 핵심 메시지입니다.

비판적 고찰

강점

명확한 문제 정의와 깔끔한 발상: “FEM 메시 = 그래프, 힘 전파 = 메시지 전달”이라는 대응은 우아하고, 물리 구조를 모델에 박아 넣는(귀납 편향) 방향이 옳습니다. 데이터에서 모든 것을 짜내려는 무지성 접근보다 표본 효율이 좋을 가능성이 큽니다.
변형과 응력을 동시에 예측: 단순 형상 변형뿐 아니라 응력 분포까지 내놓는다는 점이 촉각 응용에서 특히 중요합니다. 응력은 미끄러짐 예측이나 파손 방지(예: 과일이 멍드는지)와 직결됩니다.
실용적 입력 설계: translation 입력 방식이 sim-to-real 정렬과 학습 단순화를 동시에 잡는다는 통찰은 실무적으로 가치가 있습니다.
재현성: 코드와 데이터 생성 파이프라인을 공개했습니다.

약점·한계

새 물체·새 센서로의 일반화는 미검증: 저자 스스로 첫 번째 한계로 인정합니다. 실험은 식료품류 형상 10종에 한정되며, 형상이나 재질이 크게 다른 물체, 혹은 GelSight Mini가 아닌 다른 센서(DIGIT 등)로의 전이는 보여 주지 못했습니다.
중력 무시: 현재 구현은 중력 효과를 무시합니다. 동적 그립에서 물체 무게에 따른 힘 분포 변화가 예측에 영향을 줄 수 있는데, 이것이 반영되지 않았습니다.
워크숍 단계의 제한된 평가: 베이스라인 비교가 self-baseline(자체 입력 구성 ablation) 중심이고, 외부 방법(예: 강체 시뮬레이션, 다른 학습 기반 촉각 시뮬레이터)과의 직접적 정량 비교는 부족합니다. 속도 10^2~10^3배 역시 측정 조건(메시 해상도, 하드웨어, FEM 솔버 설정)이 본문에 정밀하게 명시되지 않았습니다. (추측) 결과의 일반성을 단정하기에는 표본과 비교군이 좁습니다.
응력 MAE 절대값의 해석 여지: 변형 MAE는 translation 입력으로 크게 개선되지만 응력 MAE 개선폭은 상대적으로 작습니다. 응력이 변형보다 본질적으로 학습이 어렵다는 신호일 수 있으며, 응력 정확도가 충분한지는 다운스트림 과제(미끄러짐 감지 등)에서의 검증이 필요합니다.
렌더링 미포함: “촉각 이미지”까지 만들어야 진짜 시각 촉각 센서 시뮬레이터입니다. 본 연구는 물리 층까지만이므로, 실제 GelSight 이미지를 쓰는 정책에 바로 꽂으려면 추가 렌더링 단계가 필요합니다.

요약 및 결론

이 논문은 “FEM은 정확하지만 너무 느리다”는 시각 촉각 센서 시뮬레이션의 고질적 병목을, 그래프 신경망으로 FEM을 모사해 푸는 깔끔한 접근을 보여 줍니다. FEM 메시를 그래프로 보고, 메시지 전달을 힘 전파에 대응시키며, 메시 엣지/접촉 엣지 분리와 사면체 단위 응력 예측 같은 물리적 귀납 편향을 심은 것이 핵심입니다.

결과적으로 FEM 대비 10^2~10^3배 빠르면서 변형과 응력을 동시에 예측하고, 보지 못한 그립 자세와 여러 물체 형상에 일반화합니다. 손가락 이동량을 입력으로 주는 방식이 학습을 단순화하고 sim-to-real에도 유리하다는 실용적 관찰도 인상적입니다.

다만 새 물체·새 센서 일반화, 중력 효과, 외부 베이스라인과의 비교, 그리고 렌더링까지 이어지는 end-to-end 파이프라인은 앞으로의 숙제입니다. 그럼에도 실시간 촉각 기반 폐루프 제어와 대규모 데이터 생성이라는, 그동안 FEM 속도에 막혀 있던 응용의 문을 여는 의미 있는 한 걸음입니다.