📃Learn Force From Each Other

tactile

force

learning

Training Tactile Sensors to Learn Force Sensing from Each Other

Published

May 2, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

촉각 센서를 다뤄 본 로봇 연구자라면 누구나 한 번쯤 겪는 좌절이 있습니다. 어렵게 한 센서로 힘(force) 예측 모델을 학습시켜 놓았는데, 센서가 단종되거나 새 버전으로 교체되거나 혹은 다섯 손가락에 서로 다른 종류의 센서를 달았더니, 그동안 모은 데이터와 모델이 거의 통째로 무용지물이 되는 상황입니다. 결국 센서마다 처음부터 다시 힘-이미지 쌍(force-image pair) 데이터를 수집해야 하는데, 이 과정에는 정밀한 force/torque 센서, 로봇 팔, 압자(indenter)를 동원한 수만 번의 접촉 실험이 필요합니다. 센서 종류가 늘어날수록 비용은 곱셈으로 불어납니다.

이 논문은 이 문제를 정면으로 다룹니다. 제목 그대로 “서로에게서 힘 감지를 배우는(learn force sensing from each other)” 촉각 센서를 만드는 것이 목표이고, 그 프레임워크 이름은 GenForce입니다.

왜 센서마다 다시 학습해야 하는가

핵심 원인은 같은 변형(deformation)이라도 센서마다 전혀 다른 신호를 만든다는 데 있습니다. 같은 물체를 같은 힘으로 눌러도,

GelSight 계열(vision-based tactile sensor, VBTS)은 카메라로 탄성체 표면에 찍힌 점(marker)들의 움직임을 봅니다.
TacTip은 내부에 핀(pin) 구조가 박혀 있어 더 깊은 압입(>5mm)에서 큰 변형 신호를 만듭니다.
uSkin은 자기(magnetic) 방식으로 4×4 택셀(taxel) 격자가 3축 변형을 측정합니다.

센싱 원리, 구조 설계, 재료 물성이 모두 다르기 때문에, 한 센서에서 학습한 “이 신호 패턴 → 이만큼의 힘”이라는 매핑이 다른 센서에는 그대로 통하지 않습니다.

뇌에서 빌려온 직관

GenForce의 발상은 인간의 체성감각피질(somatosensory cortex)에서 영감을 받았습니다. 우리 손가락 끝, 손바닥, 손등의 피부는 구조가 제각각이지만, 뇌는 이들을 하나의 공통된 감각 표현(unified sensory encoding)으로 변환해 통합적으로 다룹니다. 그래서 우리는 손가락 끝으로 배운 “미끄러짐(slip)”의 감각을 손바닥에서도 즉시 활용합니다.

GenForce는 이 아이디어를 그대로 가져옵니다. 다양한 촉각 센서의 신호를 공통의 마커 표현(shared marker representation)이라는 중간 언어로 번역한 뒤, 이 공통 언어 위에서 힘을 예측합니다. 그러면 센서 A에서 학습한 힘 예측 능력을 센서 B로 추가 힘 데이터 수집 없이 옮길 수 있게 됩니다.

flowchart LR
    subgraph Source["Source Sensor (labeled force data)"]
        S1[GelSight raw image]
    end
    subgraph Target["Target Sensor (no force labels)"]
        T1[uSkin / TacTip signal]
    end

    S1 --> SM[Marker Representation - source]
    T1 --> TM[Marker Representation - target]

    SM --> M2M[Marker-to-Marker Translation]
    M2M --> FAKE[Synthetic target-style markers]

    FAKE --> FP[Force Prediction Model]
    TM -.shares same domain.-> FP
    FP --> OUT[Fx, Fy, Fz]

위 그림에서 핵심은, 힘 라벨이 있는 소스 센서의 데이터를 타깃 센서의 스타일로 번역해 주면, 소스의 힘 라벨을 그대로 타깃 도메인에 옮겨 쓸 수 있다는 점입니다. 타깃 센서로는 단 한 번도 force/torque 센서를 동원해 힘을 측정하지 않아도 됩니다.

방법

GenForce는 크게 세 단계로 구성됩니다. (1) 마커 표현 추출, (2) 마커-투-마커(M2M) 번역, (3) 힘 예측. 순서대로 살펴봅니다.

1. 마커 표현 추출 (Marker Representation)

가장 먼저, 서로 다른 센서의 출력을 마커 기반 이진 이미지(marker-based binary image)라는 공통 형식으로 바꿉니다. 마커란 탄성체 표면이나 내부에 찍힌 점/핀의 위치이며, 이들이 접촉으로 인해 움직이는 패턴이 곧 변형 정보입니다. 모든 센서를 “검은 배경 위에 흰 점들이 박힌 256×256 이미지”라는 동일한 시각 언어로 통일하는 것이 핵심입니다.

Vision-based 센서(GelSight 등): 두 단계로 마커를 분리합니다. 먼저 밝기 정규화와 강도 임계(intensity thresholding)로 거친(rough) 마커 영역을 뽑고, 그다음 EfficientSAM(경량 Segment Anything 계열)으로 개별 마커를 정밀하게 분할(fine extraction)합니다.
Taxel-based 센서(uSkin 등): 다채널 원신호(raw signal)를 마커의 변위(displacement)와 지름 변화(diameter change)로 변환합니다. 이때 마커 시각화 파라미터를 제어하는 7개의 하이퍼파라미터를 사용해, 자기 신호를 “움직이는 점” 이미지로 렌더링합니다.

이 단계의 의미는 직관적입니다. 물리적 원리가 다른 센서들을 “변형의 기하학(geometry of deformation)”이라는 공통 분모로 끌어내리는 것입니다. 색깔, 조명, 재질 차이 같은 도메인 특유의 군더더기를 벗겨내고, 변형의 본질만 남깁니다.

2. 마커-투-마커 번역 (M2M Translation)

마커 이미지로 통일했어도, 마커의 배치 패턴(Array, Circle, Diamond 등)과 변형 양상은 센서마다 다릅니다. 그래서 한 센서의 마커 이미지를 다른 센서의 마커 스타일로 번역하는 생성 모델이 필요합니다. 이 부분이 GenForce의 기술적 심장부입니다.

M2M 모델은 두 요소로 구성됩니다.

VAE 인코더-디코더: SD-Turbo(Stable Diffusion 계열의 빠른 변형) 아키텍처에 LoRA(rank-4)를 적용해, 256×256 마커 패턴을 잠재 공간으로 압축하고 복원합니다.
이미지 조건부 확산 모델(image-conditioned diffusion): 역시 SD-Turbo 기반 UNet 백본에 LoRA(rank-8)를 얹습니다. 생성기 G(I^S, I^T_0)는 소스 도메인 이미지 I^S를 받아, 타깃 도메인 스타일을 입히되 변형 특성(deformation)은 보존합니다. 이 “스타일은 바꾸되 내용(변형)은 유지” 과정은 cross-attention으로 구현됩니다.

여기서 직관적으로 중요한 점: 일반적인 이미지 변환(예: 말↔︎얼룩말)과 달리, 여기서는 변형 정보가 곧 라벨(힘)과 연결된 핵심 신호이므로 절대 훼손되면 안 됩니다. 스타일(어느 센서처럼 보이는가)만 바꾸고 내용(얼마나, 어느 방향으로 눌렸는가)은 픽셀 단위로 충실히 보존해야 합니다.

손실 함수

학습 목표는 세 가지 손실의 결합입니다.

적대적 손실(adversarial loss) — 번역된 이미지가 타깃 센서의 진짜 이미지처럼 보이도록:

\mathcal{L}_{gan} = \mathbb{E}\big[\log D_T(I^T)\big] + \mathbb{E}\big[\log\big(1 - D_T(G(I^S, I^T_0))\big)\big]

여기서 D_T는 타깃 도메인 판별자(discriminator), I^T는 타깃 센서의 실제 이미지입니다. 판별자는 “진짜 타깃 이미지”와 “번역된 가짜”를 구분하려 하고, 생성기는 이를 속이려 하면서 점점 진짜 같은 타깃 스타일을 만들어냅니다.

복원 손실(reconstruction loss) — 변형 내용 보존을 위해 L_2 픽셀 거리와 LPIPS(지각적 유사도)를 결합합니다.

전체 손실은 가중합으로, 보고된 가중치는 \lambda_{gan}=0.5, \lambda_{lpips}=5.0, \lambda_{l2}=1.0 입니다. LPIPS에 가장 큰 가중치를 둔 점에서, “사람 눈에 같은 변형으로 보이는지”를 가장 중시했음을 읽을 수 있습니다.

최적화는 AdamW, 학습률 5\times10^{-6}, 100,000 스텝, 배치 크기 16으로 진행됩니다.

2단계 학습: 시뮬레이션 사전학습 → 실데이터 미세조정

데이터 효율을 위해 M2M은 두 단계로 학습합니다.

시뮬레이션 사전학습: 마커 패턴별 합성 이미지 약 9,720장을 사용. Array/Circle/Diamond 각 4종, 총 12종 패턴(Array1–4 등)과 132가지 패턴 조합으로 사전학습.
실데이터 미세조정(fine-tuning): 실제 센서 데이터로 마무리.

flowchart TB
    SIM[Simulated marker images - 12 patterns] --> PRE[M2M Pretraining]
    PRE --> FT[M2M Fine-tuning on real data]
    FT --> MODEL[Trained M2M Translator]

    subgraph Losses
        GAN[Adversarial Loss]
        L2[L2 Pixel Loss]
        LP[LPIPS Perceptual Loss]
    end
    GAN --> MODEL
    L2 --> MODEL
    LP --> MODEL

3. 힘 예측 모델 (Force Prediction)

번역된 마커 이미지 시퀀스로부터 3축 힘 \{F_x, F_y, F_z\}를 회귀(regression)하는 모듈입니다. 시간적 변화(누르고 미끄러지는 동역학)를 담기 위해 시퀀스를 입력으로 받으며, 입력 텐서 형상은 (S \times B \times 3 \times 256 \times 256) (S=시퀀스 길이, B=배치)입니다. 구조는 네 부분으로 이루어집니다.

RAFT 기반 특징 인코더: 연속 이미지에서 광학 흐름(optical flow) 계열 특징을 128차원으로 추출. 마커들이 “어떻게 움직였는가”를 포착하기 좋습니다.
Convolutional GRU: 공간 정보를 유지하면서 시간적 의존성(temporal dependency)을 캡처.
ResNet 모듈: 채널을 128→256→512로 확장하고 공간 해상도는 줄이며 추상적 특징을 형성.
회귀 헤드(regression head): sigmoid 활성화로 3축 힘을 출력.

손실은 평균 절대 오차(MAE)입니다.

\mathcal{L}_{MAE} = \frac{1}{N}\sum_{i=1}^{N}\big\|\hat{F}_i - F_i\big\|_1

힘 예측 모델 역시 2단계로 학습합니다. SGD(모멘텀 0.9, weight decay 5\times10^{-4})로, 먼저 단일 센서에서 사전학습(40 epoch, lr 1\times10^{-1}) 후 전체 데이터로 미세조정(40 epoch, lr 1\times10^{-3})합니다.

4. 재료 보정 (Material Compensation)

같은 마커 패턴이라도 탄성체의 경도(softness)가 다르면 같은 힘에 대한 변형이 달라집니다. GenForce는 재료 경도 사전지식(material softness prior)을 도입해, 힘-깊이(force-depth) 관계로부터 보정 계수를 곱합니다.

F^{SC} = F^{S} \times r

여기서 로딩(누름)과 언로딩(뗌)에 각각 다른 계수 r_l, r_u를 적용해 Young’s modulus 차이를 보정합니다. 직관적으로, “더 무른 재료가 같은 깊이로 눌렸다면 실제 힘은 더 작다”는 물리를 라벨에 반영하는 것입니다.

의사코드로 보는 전체 파이프라인

# Offline training
for each (source_sensor, target_sensor) pair:
    source_markers = extract_markers(source_images)   # SAM / taxel rendering
    target_markers = extract_markers(target_images)
    M2M = train_translation(source_markers, target_markers,
                            loss = w_gan*L_gan + w_lpips*LPIPS + w_l2*L2)

# Transfer: no force labels needed on target
synth_target = M2M.translate(source_markers)          # style of target
labels       = source_force_labels * material_ratio_r # compensation
ForcePredictor = train_regression(synth_target, labels, loss = MAE)

# Inference on real target sensor
real_target_markers = extract_markers(target_live_images)
F_xyz = ForcePredictor(real_target_markers)

실험

데이터 수집 환경

데이터는 UR5e 로봇 팔 + Nano17 force/torque 센서 + 3D 프린팅 압자(indenter) 구성으로 수집했습니다. 이미지는 40 Hz로 시퀀스 수집했고, 법선힘(normal force) 0–18 N, 전단힘(shear force) ±4 N 범위를 다룹니다. 부수적으로, ROBOTIQ 2-finger 그리퍼로 압자를 쥐어 설치 방식의 영향을 비교하는 실험도 했습니다.

평가 1: 동종 센서(Homogeneous) 전이

같은 GelSight 계열이지만 마커 패턴이 다른 5개 변형(Array/Circle/Diamond) 사이의 전이를 평가했습니다.

센서당 약 180,000개의 힘-이미지 쌍, 그리고 위치를 맞춘(location-paired) 17,280장.
이미지 번역 품질: FID, KID가 동종 센서에서 각각 98%, 99% 이상 감소. 즉 번역된 이미지가 진짜 타깃과 거의 구별 불가능해짐.
힘 예측: 법선힘 MAE 최대 1 N 미만(M2M 없을 때의 4.8 N 대비 대폭 개선). 전단힘 F_x, F_y는 최대 0.24 N 미만. 결정계수 R^2는 세 축 평균 0.8 초과.
최악 조합(Circle-II → Diamond-I)에서도 정확도 80% 개선.

평가 2: 이종 센서(Heterogeneous) 전이

센싱 원리가 완전히 다른 GelSight ↔︎ uSkin ↔︎ TacTip 사이의 전이입니다. 센서당 약 100,000개의 힘-이미지 쌍을 사용했습니다.

항목	결과
F_z (법선) MAE	0.57 – 1.14 N (모든 조합)
F_x MAE	< 0.36 N
F_y MAE	< 0.27 N
대표 개선 사례	uSkin → TacTip의 F_z 예측 91.4% 개선

물리 원리가 다른 센서 간 전이임에도 1 N 안팎의 오차로 3축 힘을 복원했다는 점이 인상적입니다. 마커라는 공통 표현이 실제로 “센서 독립적 변형 언어” 역할을 했음을 시사합니다.

평가 3: 재료 보정

서로 다른 base:activator 비율(6:1 ~ 18:1)로 만든 7종 탄성체, 약 30,000개 힘-쌍 이미지로 평가. 보정은 단단함→무름 전이의 90%, 무름→단단함 전이의 62%에서 효과적이었습니다. 무른 재료에서 단단한 재료로 갈수록 보정이 어려운데, 이는 무른 재료에서 작은 힘에도 큰 변형이 일어나 정보가 포화되기 쉽기 때문으로 해석할 수 있습니다.

응용 (워크숍/저널 버전)

워크숍 및 Nature Communications 버전에서는 GenForce를 일상 물체 잡기, 미끄러짐 감지 및 보상, 다중 센서 힘 협응(multi-sensor force coordination) 같은 매니퓰레이션 과제로 확장한다고 소개합니다. 다만 arXiv 본문에서는 이들이 주로 향후 응용/논의로 언급되며, 정량적 성공률 같은 세부 수치는 본문에서 충분히 확인되지 않았습니다. (추측) 데모 영상이나 저널 보충자료에 구체적 제어 루프와 성공률이 포함되어 있을 가능성이 높습니다.

비판적 고찰

강점

문제 설정의 본질성: “센서마다 힘 데이터를 다시 모아야 한다”는 비용은 촉각 로봇 분야의 실질적 병목입니다. 이를 전이 학습 문제로 명확히 재정의한 것 자체가 큰 기여입니다.
마커라는 공통 표현의 우아함: 색/조명/재질을 버리고 변형 기하만 남기는 통일 표현은 단순하면서 강력합니다. vision-based와 taxel-based라는 이질적 센서를 같은 좌표계로 끌어들였습니다.
데이터 효율: 시뮬레이션 사전학습으로 실데이터 의존을 줄였고, 타깃 센서에서는 힘 라벨이 전혀 필요 없다는 점이 실무적으로 매력적입니다.
정량적 설득력: M2M 적용 시 4.8 N → 1 N 미만으로 떨어지는 법선힘 오차, 98% 이상의 FID/KID 감소는 번역의 효과를 분명히 보여줍니다.

약점·한계

마커 추출 파이프라인 의존성: taxel 센서 렌더링에 7개 하이퍼파라미터, GelSight에 임계값·SAM 등 전처리가 들어갑니다. 새 센서를 추가할 때 이 전처리 튜닝이 사실상 또 다른 “데이터 작업”이 될 수 있습니다.
마커 없는 센서로의 일반화 불명확: GenForce는 마커가 존재하는 센서를 전제합니다. 마커가 없는 순수 광학 깊이 센서나 정전용량 어레이 등으로의 확장성은 불분명합니다. (추측)
무름→단단함 전이의 한계: 재료 보정이 한 방향(62%)에서 약했습니다. 경도 차가 큰 실제 응용에서는 추가 보정이 필요할 수 있습니다.
매니퓰레이션 검증의 깊이: arXiv 본문 기준으로는 실제 폐루프(closed-loop) 제어에서의 미끄러짐 보상·잡기 성공률 같은 end-to-end 검증이 상대적으로 제한적입니다. 힘 예측 정확도가 곧 매니퓰레이션 성능으로 이어지는지는 별도 검증이 필요합니다.
확산 기반 번역의 추론 비용: SD-Turbo로 빠른 편이지만, 실시간 촉각 루프(수십~수백 Hz)에 M2M 번역을 매 프레임 끼워 넣을 수 있는지는 고민이 필요합니다. 실제로는 번역을 학습 시에만 쓰고 추론 시에는 마커 표현만 공유하는 방식이 합리적으로 보입니다.

요약 및 결론

GenForce는 “촉각 센서끼리 서로의 힘 감지 능력을 빌려 쓰게 하자”는 문제를, 마커 기반 공통 표현 + 확산 기반 마커-투-마커 번역 + 시퀀스 힘 회귀라는 세 축으로 깔끔하게 풀어냈습니다. 핵심 통찰은 인간 체성감각피질처럼 이질적 센서들을 하나의 공통 감각 언어(변형의 기하)로 통일하면, 한 센서에서 학습한 힘 예측을 타깃 센서의 힘 라벨 없이 옮길 수 있다는 것입니다.

실험적으로는 동종(GelSight 변형 5종)과 이종(GelSight/uSkin/TacTip) 센서 모두에서 1 N 안팎의 3축 힘 오차를 달성했고, M2M 번역이 FID/KID를 98% 이상 낮추며 핵심 역할을 했음을 보였습니다.

로봇 실무 관점에서의 메시지는 분명합니다. 센서를 바꾸거나 손가락마다 다른 센서를 섞어도, 한 번 잘 라벨링한 데이터셋을 자산처럼 재활용할 수 있다는 가능성입니다. 다만 마커 전처리 의존성, 무름↔︎단단함 비대칭, 실시간 번역 비용, 그리고 폐루프 매니퓰레이션에서의 end-to-end 검증은 앞으로 더 다져야 할 지점입니다. 그럼에도 촉각 센서의 “데이터 재사용성”이라는 오랜 난제에 설득력 있는 한 수를 둔 연구로 평가할 만합니다.