📃TactileLab

tactile

simulation

sim2real

TactileLab: Efficient Shear-Sensitive Tactile Simulation for Dexterous Sim2Real Robotic Manipulation

Published

April 1, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

왜 “전단(shear)”이 그렇게 중요한가

물건을 손가락으로 집어 들 때 우리가 미끄러짐을 막을 수 있는 이유는, 피부가 단순히 “얼마나 세게 눌렸는가(normal contact)”만 느끼는 것이 아니라 “표면이 옆으로 얼마나 밀렸는가(tangential/shear motion)”까지 함께 느끼기 때문입니다. 컵을 들 때 손가락 피부가 살짝 끌리는 그 감각 - 그것이 바로 전단입니다. 전단 정보가 없으면 로봇은 물체가 막 미끄러지기 시작하는 순간(incipient slip)이나 접촉이 시간에 따라 어떻게 변해 가는지를 알아챌 수 없습니다.

비전 기반 촉각 센서(GelSight 계열, TacTip 계열)는 부드러운 탄성막의 변형을 카메라로 관찰해 고해상도의 공간 정보와 풍부한 시간 정보를 읽어냅니다. 문제는 학습 규모입니다. 손재주(dexterity)가 필요한 조작 정책을 강화학습으로 얻으려면 수많은 시도가 필요한데, 이를 실물 로봇과 부드러운 센서로 반복하는 것은 비현실적입니다. 그래서 시뮬레이션에서 학습한 뒤 실물로 옮기는 Sim2Real이 표준 전략이 되었고, 핵심은 “확장 가능한(scalable) 촉각 시뮬레이션”입니다.

시뮬레이터의 두 갈래, 그리고 빈 칸

본 논문은 기존 촉각 시뮬레이터가 대체로 두 부류로 나뉜다고 진단합니다.

변형체(deformable) 시뮬레이터: 탄성막의 순응(compliant) 접촉을 높은 충실도로 모델링하지만(예: SimTac 같은 물리 기반 접근), 대규모 강화학습에는 너무 느립니다.
강체(rigid-body) 시뮬레이터: 빠르고 확장성이 좋지만, 보통 깊이(depth) 비슷한 신호, 힘(force) 비슷한 신호, 혹은 압축된 접촉 신호만 제공합니다(Tactile Gym 계열 등). 그래서 법선 접촉 추론에는 잘 맞지만, 전단·미끄러짐·접선 운동이 중요한 태스크에는 약합니다.

논문이 짚는 핵심 통찰은 부분 관측성(partial observability) 문제입니다. 깊이만 보는 관측(depth-only observation) 으로는 접촉이 시간에 따라 어떻게 진화하는지를 설명할 수 없습니다. 서로 다른 접촉 상태가 순간적으로는 거의 같은 깊이 신호를 만들면서도 미래에는 전혀 다른 결과로 이어질 수 있기 때문입니다. 즉 “지금 얼마나 깊이 눌렸나”는 같아 보여도 “어느 방향으로 끌리고 있나”가 다르면 정책이 내려야 할 판단은 완전히 달라집니다. 이것이 정책 학습을 어렵게 만드는 근본 원인입니다.

최근 TacSL처럼 전단 관련 촉각량을 모델링하는 프레임워크도 있지만, 논문은 그것이 시뮬레이터별 가정과 물체 기하(object geometry)에 의존해 일반화와 실제 배치에 제약이 있다고 지적합니다.

TactileLab의 한 줄 주장

탄성막 변형을 명시적으로(비싸게) 풀지 말고, 강체 촉각 감지에 조밀한 접선 접촉-운동 단서(dense tangential contact-motion cue) 를 더하라.

TactileLab은 접촉을 두 가지 상보적 촉각 모달리티로 표현합니다. 하나는 법선 접촉 깊이(normal-contact depth), 다른 하나는 시뮬레이션된 촉각 흐름(simulated tactile flow) 입니다. 깊이는 국소 함입(indentation)과 접촉 기하를 담고, 촉각 흐름은 평면 내 운동장(in-plane motion field)으로 접선 방향의 접촉 진화를 담습니다. 이 표현은 (1) 계산이 효율적이고, (2) 대규모 강화학습과 호환되며, (3) real-to-sim 변환을 통해 실제 비전 촉각 센서로 전이 가능하다는 것이 핵심입니다.

flowchart TD
    A[Dexterous Sim2Real needs<br/>scalable + shear-aware tactile] --> B{Existing simulators}
    B -->|Deformable| C[High fidelity<br/>but too SLOW for RL]
    B -->|Rigid-body| D[Fast and scalable<br/>but depth/force-like only]
    C --> E[Gap: efficient + dense + shear-sensitive]
    D --> E
    E --> F[TactileLab on IsaacLab:<br/>contact depth + simulated tactile flow]
    F --> G[Tactile RL teacher-student]
    G --> H[Real2Sim transfer]
    H --> I[Sim-to-real deployment]

방법

TactileLab은 IsaacLab 위에 구축된 엔드투엔드 프레임워크로, 단일 GPU 병렬 파이프라인 안에서 (1) 효율적 촉각 시뮬레이션, (2) 접촉 풍부(contact-rich) 태스크 설계, (3) 촉각 강화학습, (4) real-to-sim 촉각 전이, (5) sim-to-real 배치를 통합합니다. 단일 팔, 양팔, 그리퍼, 다지(multi-finger) 등 이질적(heterogeneous) 로봇 형태를 지원하면서도 촉각 관측 생성·정책 학습·배치에 대해 공통 인터페이스를 유지하는 것이 설계 목표입니다.

시스템의 네 기둥

논문은 시스템 수준에서 네 가지 주요 구성요소를 제시합니다.

효율적 촉각 시뮬레이션 스택: 저차원 접촉 정보, 접촉-깊이 이미지, 시뮬레이션된 촉각-흐름장 등 다중 모달리티를 제공.
통합 태스크 라이브러리: 비파지(non-prehensile) 상호작용부터 손안(in-hand) 정밀 제어까지 아우르는 촉각 로봇 태스크 모음.
학습 도구: 촉각 강화학습, 교사-학생(teacher-student) 증류, 촉각 데이터 수집.
real-to-sim 전이 및 실세계 배치: 시뮬레이션 촉각으로 학습한 정책이 실제 촉각 입력으로 동작하도록 연결.

핵심 표현: 깊이 + 촉각 흐름

TactileLab의 핵심 표현은 접촉 깊이에 시뮬레이션된 촉각 흐름을 덧붙이는 것입니다. 촉각 흐름은 촉각 이미지 평면 위에 정의된 조밀한 접선 운동장입니다. 깊이는 “얼마나 깊이 함입되었는가”를, 흐름은 “각 공간 위치에서 평면을 따라 어떻게 움직이는가”를 담습니다. 둘을 합치면 접촉 기하와 접선 접촉 진화를 동시에 인코딩하는 전단 민감 촉각 관측이 됩니다.

여기서 가장 중요한 설계 결정이 등장합니다. 시뮬레이션된 촉각 흐름은 완전한 변형체 물리 시뮬레이션이 아니라 효율적인 추상화(abstraction) 로 정의됩니다. 즉 탄성막 역학을 명시적으로 풀지 않고, 접촉 인터페이스의 운동으로부터 유도되는 이미지 공간의 접선 운동 단서로 전단 관련 상호작용을 표현합니다. 이렇게 하면 강화학습에 필요한 강체 시뮬레이션의 확장성을 유지하면서도, 실제 카메라 기반 촉각 센서의 광학 흐름(optical-flow) 유사 신호와 정렬할 수 있는 촉각 모달리티를 얻습니다. 포스터에서는 이 모달리티를 명시적으로 “Optical-based Tactile Flow”라고 부릅니다.

직관적 수식화

접촉면 위 한 점 p에서 센서가 느끼는 물리적 상호작용을 법선과 접선 성분으로 나누어 보면 다음과 같이 이해할 수 있습니다.

\text{Tactile Obs}(p) \;=\; \big[\, d(p),\; \mathbf{w}(p)\,\big]

d(p): 접촉 깊이(contact depth). 물체가 촉각 표면으로 얼마나 함입되는지를 나타내며, 강체 엔진의 침투/접촉 기하로부터 직접 계산됩니다.
\mathbf{w}(p): 촉각 흐름(tactile flow), 즉 점 p에서의 2D 접선 운동 벡터. 직관적으로 연속한 두 시점의 접촉 인터페이스 변위로부터 유도되는 평면 내 운동장입니다.

\mathbf{w}(p) \;\approx\; \frac{\partial \mathbf{x}_{\text{contact}}(p)}{\partial t}\Big|_{\text{tangential}}

깊이만 보는 관측의 한계는 다음 직관으로 요약됩니다. 두 접촉 상태 s_1, s_2가 있을 때 d_{s_1}(p)\approx d_{s_2}(p) 이면서도 흐름장이 \mathbf{w}_{s_1}(p)\neq \mathbf{w}_{s_2}(p) 라면, 깊이만 보는 정책은 두 상태를 구분하지 못합니다. 하지만 미래 동역학은 전혀 다르므로, 흐름을 더하는 것이 곧 부분 관측성을 줄이는 일입니다. 실제 센서 쪽에서는 이 \mathbf{w}(p)가 연속한 촉각 이미지 사이의 광학 흐름에 대응합니다.

태스크 스위트와 PETS-Net

태스크 스위트는 단순한 접촉 풍부 행동에서 매우 동적인 손재주 조작까지 하나의 진행(progression)으로 구성됩니다. 논문이 명시하는 태스크는 다음과 같습니다.

단일 팔 촉각 태스크: 물체 밀기(object pushing), 모서리 따라가기(edge following), 표면 따라가기(surface following).
양팔(bimanual) 태스크: bi-pushing.
전단 민감 추적 태스크: 양팔 물체 따라가기(dual-arm object following).
손안 조작: 중력 불변(gravity-invariant) 물체 회전(AnyRotate 계열).

논문은 이 중 가장 어려운 손안(in-hand) 조작에 초점을 맞춰 PETS-Net(Positional-Encoding Temporal-Spatial Network) 을 제안합니다. 이 태스크는 다지 접촉, 자기수용(proprioceptive) 이력, 이전 행동, 고차원 촉각 관측에 대한 장기 추론(long-horizon reasoning)을 요구합니다. PETS-Net은 교사-학생 프레임워크에서 학생 적응(student adaptation) 모듈 역할을 하며, 다음을 수행합니다.

관절각·행동 이력에 위치 인코딩(positional encoding) 을 적용,
접촉-깊이와 촉각-흐름 관측에서 공간(spatial) 특징 추출,
이들 특징을 시간적으로 집계(temporal aggregation) 하여 특권(privileged) 잠재 표현을 추정.

이 구조 덕분에 손안 조작 정책은 시간에 걸쳐 조밀한 촉각 정보를 활용하면서도, 배치 시점에는 시뮬레이션의 특권 상태 없이 동작할 수 있습니다.

# PETS-Net student adaptation (reconstructed from paper text; English only)
function PETS_Net(joint_action_history, contact_depth_seq, tactile_flow_seq):
    pe_hist  = positional_encoding(joint_action_history)   # encode proprio/action history
    z_depth  = spatial_encoder(contact_depth_seq)          # spatial features from depth
    z_flow   = spatial_encoder(tactile_flow_seq)           # spatial features from flow
    feats    = concat(pe_hist, z_depth, z_flow)
    latent   = temporal_aggregator(feats)                  # temporal-spatial fusion
    return latent                                          # match privileged teacher latent

두 단계 교사-학생 학습 (포스터 기준)

포스터는 학습 파이프라인을 두 단계로 명확히 설명합니다.

Stage 1 (교사): 시뮬레이션에서만 가능한 특권 정보를 사용해 교사 정책을 학습. 외재(extrinsic) 인코더가 특권 변수를 잠재 표현으로 매핑하고, 기반(base) 정책이 이를 사용해 접촉 풍부 행동을 학습.
Stage 2 (학생): 기반 정책을 복사·동결(freeze)한 뒤, PETS-Net이 특권 인코더를 대체하여 실세계에서 얻을 수 있는 관측(자기수용 이력 + 접촉 깊이 + 촉각 흐름)으로부터 잠재 표현을 예측. 교사 잠재 표현에 맞도록 학습되어, 배치 시 특권 상태 없이도 조밀한 다중모달 촉각 피드백을 사용.

Real2Sim 전이와 Sim2Real 배치

시뮬레이션과 실제 촉각 관측의 간극을 메우기 위해, 논문은 Real2Sim 촉각 전이 파이프라인을 개발합니다. 이 모듈은 실제 카메라 기반 촉각 이미지를 정책 학습에 쓰인 시뮬레이션 모달리티(시뮬레이션 스타일 접촉-깊이 이미지 + 촉각-흐름장)로 매핑하여 관측 불일치를 줄입니다. 특히 촉각-흐름 전이는 연속한 실제 촉각 이미지 두 장을 입력으로 받아 대응하는 시뮬레이션 촉각-흐름 표현을 예측합니다. 즉 실제 센서가 관측한 동적 접선 접촉 단서를 TactileLab 정책이 쓰는 모달리티로 변환합니다.

이 정식화는 접촉 변형과 전단이 이미지 공간 변화로 관측 가능한 순응형 비전 촉각 센서에 자연스럽게 들어맞습니다. 강화학습 중에 고충실도 소프트바디 렌더링을 요구하는 대신, 효율적인 시뮬레이션 촉각 관측으로 정책을 학습하고 나중에 지도학습 기반 Real2Sim 변환으로 실제 이미지를 정렬하는 전략입니다. 논문 Figure 1에 따르면 지원되는 실제 센서는 GelSight Mini, DIGIT, 9DTact, Classic TacTip, Finger TacTip, DigiTac 등으로 폭넓습니다.

flowchart LR
    subgraph SIM[TactileLab on IsaacLab]
      RB[Rigid-body contact] --> DM[Contact depth map]
      RB --> TF[Simulated tactile flow]
      DM --> OBS[Tactile observation]
      TF --> OBS
    end
    OBS --> T[Stage1: privileged teacher]
    T --> S[Stage2: PETS-Net student]
    REALSENS[GelSight Mini / DIGIT / 9DTact / TacTip / DigiTac] --> R2S[Real2Sim transfer]
    R2S --> OBS2[Sim-style depth + flow]
    OBS2 --> S
    S -->|deploy| ROBOT[Real robot embodiments]

실험

이 논문은 ICRA 2026 ViTac Workshop에 채택된 3페이지 분량의 짧은 워크숍 논문입니다. 본문 자체에는 정량 표/수치가 실리지 않았고, 포스터의 “Preliminary Experimental Results” 가 정성적 절제 연구(ablation) 형태로 핵심 결과를 보고합니다. 따라서 아래는 포스터에 명시된 세 가지 절제 실험의 결론입니다.

절제 실험 1: 촉각 모달리티의 가치 (Left)

고차원 촉각 관측이 학생 증류(student distillation)를 개선합니다. 구체적으로,

깊이(depth) + 촉각 흐름(tactile flow) 조합이 자기수용 정보만 쓰는 베이스라인(In-hand object rotation via rapid motor adaptation, 참고 [2])과 저차원 접촉만 쓰는 베이스라인(AnyRotate, 참고 [3])을 능가합니다.
나아가 저차원 접촉 + 깊이 + 흐름을 모두 결합했을 때 최고 성능을 보입니다.

해석: 전단을 담는 흐름 모달리티가 손안 조작 정책 학습에 실질적 정보 이득을 준다는 직접 증거입니다. “깊이만으로는 부족하다”는 서론의 부분 관측성 주장을 실험적으로 뒷받침합니다.

절제 실험 2: 위치 인코딩(PE)의 효과 (Middle)

위치 인코딩 모듈이 자기수용/행동 이력으로부터의 학습을 개선합니다. 주파수 대역(frequency bands)을 늘릴수록 위치 인코딩이 없는 경우 대비 증류 효율이 일반적으로 향상됩니다.

해석: 관절각·행동의 시계열을 단순히 그대로 넣기보다, 위치 인코딩으로 다중 주파수 표현을 부여하면 시간적 패턴을 더 잘 포착한다는 의미입니다. (트랜스포머/NeRF류에서 익숙한 사인-코사인 위치 인코딩 직관과 같습니다.)

절제 실험 3: 시간-공간(TS) 구조의 필요성 (Right)

고차원 촉각 입력에는 Temporal-Spatial 구조가 필수입니다. 쌓인 이미지를 시간 처리만(temporal-only) 하는 방식은 교사를 효과적으로 증류하지 못한 반면, 공간 촉각 인코딩 + 시간 집계의 결합이 가장 강한 결과를 냅니다.

해석: 촉각 흐름·깊이 이미지는 본질적으로 공간 구조(어디서 어떻게 끌리는가)를 갖기 때문에, 시간축으로만 뭉개면 정보가 손실됩니다. PETS-Net의 “공간 특징 추출 후 시간 집계” 설계의 타당성을 보여 줍니다.

절제 축	비교 대상	결론
촉각 모달리티	proprio-only [2], low-dim contact [3] vs depth+flow	depth+flow가 우수, (low-dim + depth + flow)가 최고
위치 인코딩(PE)	no-PE vs 주파수 대역 증가	대역 증가 시 증류 효율 향상
시간-공간 구조(TS)	temporal-only vs spatial+temporal	spatial+temporal 결합이 최강

Note

본문/포스터 모두 구체적인 처리량(FPS), 병렬 환경 수, Sim2Real 성공률의 수치는 명시하지 않습니다. 워크숍 단계의 “preliminary” 결과로서, 정량 지표보다 모달리티·아키텍처 설계의 유효성을 절제 연구로 검증하는 데 초점이 맞춰져 있습니다.

비판적 고찰

강점

문제 정의가 날카롭다. “강체 시뮬은 빠르지만 깊이/힘 신호만 주고, 변형체 시뮬은 충실하지만 느리다”는 이분법과, 그로 인한 부분 관측성 진단은 비전 촉각 Sim2Real의 실제 병목을 정확히 짚습니다. 흐름을 더해 이를 메운다는 처방은 명확하고 검증 가능합니다.
물리 풀이가 아닌 “표현” 전략. 탄성막 역학을 명시적으로 풀지 않고 접촉 인터페이스 운동으로부터 광학 흐름 유사 신호를 추상화함으로써, 강체 시뮬의 확장성을 유지합니다. 이는 IsaacLab의 GPU 병렬화와 자연스럽게 결합되어 대규모 강화학습을 노립니다.
모달리티-실센서 정렬이 자연스럽다. 시뮬레이션 촉각 흐름이 실제 카메라 센서의 광학 흐름과 직접 대응하므로, Real2Sim 전이(연속 두 프레임 → 시뮬 흐름)가 개념적으로 깔끔합니다. 지원 센서가 GelSight Mini, DIGIT, 9DTact, TacTip, DigiTac으로 폭넓어 일반성이 큽니다.
통합 프레임워크. 시뮬·태스크·학습·전이·배치를 한 파이프라인에 묶고, 단일/양팔/그리퍼/다지 등 이질적 형태를 공통 인터페이스로 다룬다는 점에서 벤치마크·플랫폼으로서 가치가 큽니다.

약점·한계

정량 지표의 부재. 핵심 셀링 포인트인 “efficient”를 뒷받침할 FPS·병렬 환경 수·실물 성공률 수치가 본문/포스터에 없습니다. 효율성 주장이 정성적 절제에 머물러, 동시대 고속 시뮬레이터 대비 정량 비교가 어렵습니다.
흐름 추상화의 물리 정확도. 촉각 흐름을 변형체 물리 대신 접촉-운동 단서로 근사하므로, 복잡한 다중 접촉, 재질 의존 마찰, 점착(adhesion) 등에서 힘의 물리적 절대값 충실도는 보장하기 어렵습니다. “충실도”가 정책에 유용한 단서의 풍부함인지, 물리량의 정확함인지는 구분해서 봐야 합니다.
Real2Sim의 데이터·도메인 의존성. 지도학습 기반 변환은 센서·태스크별 실데이터 수집을 요구하고, 학습 분포 밖(OOD) 접촉 패턴에서 부정확할 위험이 있습니다.
검증 범위. 정식 결과는 손안 회전 태스크의 증류 절제에 집중되어 있고, 나열된 다른 태스크(밀기, 모서리/표면 따라가기, bi-pushing, 양팔 따라가기)의 정량적 Sim2Real 결과는 이 문서 범위에서 확인되지 않습니다. 워크숍 단계의 개념 검증으로 보는 것이 타당합니다.

연구	접근	전단/접선 처리	비고
SimTac [1]	물리 기반 변형체 시뮬	고충실도 순응 접촉	RL에는 느림
Tactile Gym 2.0 [3] / R2S translation [2]	강체 + R2S 이미지 변환	깊이/저차원 접촉 위주	본 저자 그룹 계보
TacSL [7]	비주오택타일 시뮬·학습	전단 관련 촉각량 모델링	시뮬·물체 기하 가정 의존
TACTO [5] / GelSight 생성 [4]	비전 촉각 렌더링	주로 법선/이미지	빠른 렌더링
AnyRotate [11]	손안 회전 Sim2Real	저차원 접촉	본 논문 베이스라인
TactileLab (본 논문)	강체 + 깊이 + 시뮬레이션 촉각 흐름	조밀한 접선 운동장 추상화	IsaacLab GPU 병렬, PETS-Net, Real2Sim 흐름 전이

요약 및 결론

문제: 손재주 조작 Sim2Real에는 확장 가능하면서 전단을 담는 촉각이 필요한데, 변형체 시뮬은 충실하지만 느리고, 강체 시뮬은 빠르지만 깊이/힘 신호만 주어 부분 관측성을 낳는다.
아이디어: 탄성막을 명시적으로 풀지 말고, 접촉 인터페이스 운동으로부터 시뮬레이션 촉각 흐름(조밀한 접선 운동장) 을 접촉 깊이와 함께 추상화하라. 이 흐름은 실센서의 광학 흐름과 정렬된다.
시스템: IsaacLab 위의 엔드투엔드 프레임워크로 효율적 촉각 시뮬, 접촉 풍부 태스크 스위트, 교사-학생 강화학습, Real2Sim 전이, sim-to-real 배치를 통합. 다지 손안 조작을 위해 위치 인코딩·시공간 융합 기반 PETS-Net 을 제안.
결과(예비): 절제 실험에서 (1) 깊이+흐름(+저차원 접촉) 모달리티가 자기수용/저차원 베이스라인을 능가, (2) 위치 인코딩의 주파수 대역 증가가 증류 효율을 높임, (3) 시간 처리만으로는 부족하고 공간+시간 결합이 최강임을 보였다.
의의: 강체 시뮬의 확장성을 유지한 채 전단 민감 관측을 더함으로써, 미끄러짐 제어처럼 전단이 본질적인 접촉 풍부 조작의 대규모 강화학습과 Sim2Real을 실용적으로 만든다.
남은 질문: 처리량·성공률의 정량적 검증, 흐름 추상화의 물리 정확도, Real2Sim 변환의 OOD 견고성, 그리고 나열된 다양한 태스크 전반에 대한 실물 성공률 보고.

한 문장으로: “전단을 물리로 풀지 말고, 실센서의 광학 흐름과 맞닿는 운동장으로 칠하라” - 이것이 손재주 Sim2Real의 촉각 병목을 푸는 TactileLab의 핵심 직관입니다.

참고 자료

ICRA 2026 ViTac Workshop (accepted papers list): https://shanluo.github.io/ViTacWorkshops/vitac2026
IsaacLab (arXiv:2511.04831): https://arxiv.org/abs/2511.04831
TacSL: A Library for Visuotactile Sensor Simulation and Learning (T-RO 2025)
Tactile Gym 2.0 (RA-L 2022): https://scispace.com/pdf/tactile-gym-2-0-sim-to-real-deep-reinforcement-learning-for-1aralpku.pdf
Pose-and-shear-based tactile servoing (IJRR 2024)
AnyRotate: Gravity-invariant in-hand object rotation with sim-to-real touch (arXiv:2405.07391): https://arxiv.org/abs/2405.07391
Bi-Touch: Bimanual tactile manipulation with sim-to-real DRL (RA-L 2023)