📃Beyond Binary

twist

dexterity

teleop

: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation

Published

May 24, 2026

🤖 이 연구는 접촉 기반의 정교한 로봇 조작에서 시뮬레이션과 현실 간의 격차를 해소하기 위해 물리 기반의 Center-of-Pressure (CoP)라는 새로운 촉각 표현을 제안합니다.
🛠️ CoP를 효과적으로 사용하기 위해, 본 논문은 지상 진실 힘 측정 없이 taxel 방향을 추정하는 미분 가능한 역학 기반의 센서 calibration 방법을 제시하며, 이를 통해 시뮬레이션과 하드웨어 간의 정렬을 가능하게 합니다.
🚀 CoP를 사용한 정책은 peg-in-hole 및 ball balancing과 같은 어려운 tasks에서 zero-shot sim-to-real transfer를 성공적으로 달성했으며, 기존 baseline들을 능가하고 물체 질량과 같은 task 관련 물리적 속성들을 내재적으로 학습하는 emergent 능력을 보여주었습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 로봇의 접촉이 풍부한(contact-rich) 조작(manipulation)에서 시뮬레이션-실제(sim-to-real) 간극을 줄이기 위한 새로운 접근 방식을 제시합니다. 특히 촉각(tactile) 센서 데이터를 효과적으로 활용하는 데 중점을 둡니다.

문제점 및 기여:

기존 sim-to-real 강화 학습(RL)은 실제 데이터 수집의 어려움과 시뮬레이션-실제 간극(simulation-reality gap) 때문에 촉각과 같은 정보 밀도가 높은 양식을 효과적으로 사용하기 어려웠습니다. 촉각 데이터의 복잡성 때문에 대부분은 단순화된 형태로 사용되었고, 이는 복잡한 조작에 필요한 풍부한 정보를 희생하는 결과를 낳았습니다. 이 연구는 이러한 문제를 해결하기 위해 물리 기반의(physics-grounded) 촉각 표현인 Center-of-Pressure (CoP)를 도입합니다. CoP는 조밀한 접촉 정보를 유지하면서 sim-to-real 전이(transfer)에 강인성을 제공합니다. CoP를 지원하기 위해 미분 가능한 동역학(differentiable dynamics)에 기반한 센서 캘리브레이션(calibration) 방식을 제안하여 지면 진실(ground-truth) 힘 측정 없이 taxel(개별 촉각 감지점)의 방향을 추정할 수 있게 합니다.

핵심 방법론: Center-of-Pressure (CoP) 표현 및 Taxel-CoP 매핑

CoP의 정의: CoP는 로봇 손가락 끝(fingertip)의 촉각 정보를 요약하는 표현으로, 센서 프레임(sensor frame, S)에서 정의되는 3D 힘 벡터 S f_{cop} \in \mathbb{R}^3 (총 접촉 힘)와 3D Cartesian 접촉 위치 S p_{cop} \in \mathbb{R}^3로 구성됩니다. 이는 결과적인 접촉 렌치(wrench)를 단일 힘 벡터와 그 중심 접촉점으로 단순화한 근사치입니다.
Taxel-CoP 매핑: XELA uSkin 센서와 유사한 촉각 센서의 raw taxel readings(T_i f_i \in \mathbb{R}^3)를 CoP 표현(S f_{cop}, S p_{cop})으로 매핑하는 방법을 제안합니다. 각 taxel i는 센서 프레임 S에 대해 고유한 위치 S p_i와 방향 R_i \in \text{SO}(3)를 가집니다.
- 스트레스 분포 모델(Stress Distribution Model): 기존의 단순 합산 방식이 아닌, compliant silicone 층을 통한 힘 확산(spreading)을 고려한 모델을 사용합니다.
  - CoP 힘 벡터 f_{cop}를 법선(normal) 성분 f_n과 전단(shear) 성분 f_s으로 분해합니다.
  - 각 taxel i에 대한 유효(effective) 법선 힘 f_{i,n}과 전단 힘 f_{i,s}을 모델링합니다. 이는 변형(deformation)으로 인한 힘 방향의 변화와 접촉점으로부터의 거리에 비례하는 힘 크기 감소를 반영합니다.
  - p_{cop}는 활성 taxel들의 위치 p_i에 대한 가중 평균(\sum_{i \in A} \frac{\left\lVert f_i \right\rVert}{\sum_{j \in A} \left\lVert f_j \right\rVert} p_i)으로 추정됩니다.
  - taxel의 국부 법선 벡터 \hat{n}_i와 CoP에서 taxel로의 상대 방향 벡터 \hat{v}_i를 블렌딩하여 유효 법선 힘 방향 \hat{b}_i = \text{normalize}(w_i \hat{n}_i + (1 - w_i)\hat{v}_i)을 근사합니다. 여기서 w_i = \exp(-\left\lVert p_i - p_{cop} \right\rVert^2 / (2\sigma^2))는 가우시안 방사형 가중치(Gaussian radial weight)입니다.
  - 전단 힘은 표면 접선 평면으로의 투영(P_{shear} = I_3 - \hat{n}_{cop} \hat{n}_{cop}^T)을 통해 근사됩니다.
  - 최종적으로 taxel 힘 f_i와 f_{cop}의 관계는 f_i = M_i f_{cop}으로 압축하여 표현됩니다. 여기서 M_i = w_i(\hat{b}_i \hat{n}_{cop}^T + P_{shear})입니다.
- CoP 힘의 계산: 관측된 taxel 힘 t f_i u로부터 알 수 없는 f_{cop}를 찾기 위해, 개별 taxel 방정식을 전역 선형 시스템 A f_{cop} = b로 통합하고, 정규화된(regularized) 최소 제곱 문제의 폐쇄형 해(closed-form solution)로 f_{cop}를 얻습니다: f_{cop} = (A^T A + \lambda^2 I)^{-1} A^T b 여기서 A = [M_1^T, \dots, M_N^T]^T, b = [f_1^T, \dots, f_N^T]^T입니다. 이 모델은 계산 효율적이고 미분 가능하여 그래디언트 기반 학습에 활용될 수 있습니다.

미분 가능한 동역학 기반 센서 캘리브레이션(Sensor Calibration via Differentiable Dynamics):

taxel 프레임의 방향 R_i는 수동으로 캘리브레이션하기 어렵기 때문에 이 연구에서는 이를 자동으로 추정하는 방법을 제안합니다.

데이터 수집: 로봇 손의 기본 프레임 B에서 센서 프레임 S까지의 운동학 체인(kinematic chain)을 고려합니다. 고정된 joint positions를 유지하면서 fingertip에 임의의 접촉을 가하여, 외부 힘에 균형을 맞추기 위해 joint actuators가 토크를 적용하도록 합니다. 이때 raw taxel forces T_i f_i, 적용된 joint torques \tau \in \mathbb{R}^4, joint angles q \in \mathbb{R}^4를 기록합니다. 다양한 접촉 위치와 방향을 통해 taxel의 법선 및 전단 응답을 모두 포착합니다.
회전 파라미터화(Rotation Parameterization): 학습 가능한 taxel 회전 R_i를 R_9 + \text{SVD} 방법으로 파라미터화합니다. 임의의 3x3 행렬 P \in \mathbb{R}^{3 \times 3}를 Singular Value Decomposition (SVD)를 사용하여 유효한 회전 행렬 R \in \text{SO}(3)로 투영합니다: R = \text{SVD}_+(P) = U \text{diag}(1, 1, \text{det}(UV^T))V^T, 여기서 P = U \Sigma V^T입니다.
최적화(Optimization): 훈련 중, 각 데이터 샘플에 대해 기록된 taxel forces T_i f_i를 현재의 추정된 \hat{R}_i를 사용하여 센서 프레임 S로 회전시킵니다. 이어서 taxel-to-CoP 매핑을 적용하여 추정된 CoP 힘 벡터 S \hat{f}_{cop}와 접촉 위치 S \hat{p}_{cop}를 얻고, 이를 기록된 joint angles q를 사용하여 base frame B로 변환합니다. 정적 평형(static equilibrium) 조건 하에서 joint torques \tau는 접촉점에서의 위치 Jacobian J와 외부 힘 f의 관계 \tau = -J^T f를 따릅니다. 이를 이용하여 추정된 CoP 힘 벡터 B \hat{f}_{cop}에 대한 예상 joint torques \hat{\tau} = -B \hat{J}_{cop}^T B \hat{f}_{cop}를 계산합니다. 최종적으로 추정된 \hat{\tau}와 기록된 \tau 사이의 MSE 손실(\mathcal{L} = \left\lVert \tau - \hat{\tau} \right\rVert_2^2)을 계산하고, 이 그래디언트를 역전파하여 회전 파라미터 \hat{P}의 추정치를 개선합니다.

Sim-Real 정렬(Alignment):

접촉 표현(Contact Representation): IsaacLab의 ContactSensor API를 사용하여 fingertip과 접촉 객체 간의 접촉을 추적합니다. 시뮬레이션에서 shear components가 불안정하여 CoP의 표면 법선(surface-normal) 성분만 시뮬레이션과 실제 모두에서 사용합니다. sim-to-real 간극 최소화를 위해, taxel-CoP 매핑 파라미터는 시뮬레이션과 실제에서 수집된 paired rollout data로 한 번 캘리브레이션됩니다.
액츄에이터 동역학(Actuator Dynamics): 미묘한 액츄에이터 동역학(예: 비균일 마찰)을 모델링하기 어렵기 때문에, 베이시안 최적화(Bayesian optimization) 기반의 시스템 식별(system identification) 접근 방식을 사용하여 시뮬레이션된 액츄에이터 동역학을 실제 하드웨어에 정렬합니다. step inputs, slow ramp inputs, chirp inputs 등 다양한 시퀀스로 로봇을 작동시켜 응답 데이터를 수집하고, 이를 시뮬레이션 모델에 맞춰 최적화합니다.
센서 지연(Sensor Delay): 촉각 센서의 비무시 가능한 지연(non-negligible delay)을 고려하여, 시뮬레이션 학습 중에 이 지연을 도입합니다.

실험:

16-DOF Allegro Hand에 XELA uSkin 센서가 장착된 환경에서 두 가지 도전적인 ‘맹목적인’(blind) 접촉 중심 조작 작업을 평가합니다:

Peg-in-Hole 삽입(Insertion): 다양한 모양(원, 다이아몬드, 타원, 육각형, 사각형, 삼각형)의 peg와 hole 자산을 사용하여, 손이 peg를 잡고 hole에 완전히 삽입하도록 합니다. 초기 yaw 방향과 위치는 무작위화됩니다.
Ball Balancing: 가벼운 사각형 플레이트를 네 손가락으로 지지하고, 플레이트 위에 공을 올려 균형을 유지하고 중앙에 놓이도록 합니다. 훈련은 부드러운 구를 사용하지만, 평가는 질량, 크기, 마찰, 표면 질감이 다른 네 종류의 공으로 수행됩니다.

비교 대상(Baselines):

base: proprioception (현재 및 명령된 joint angles)만 사용.
binary: 센싱 어레이 당 이진 접촉 신호.
mag: CoP 힘 크기(magnitude)만 사용.
vec: CoP 힘 벡터(vector)만 사용.
pos: CoP 접촉 위치(position)만 사용.
taxel: Raw taxel forces 사용.
cop (ours): 제안하는 CoP 표현.
human: 전문가 인간의 성능.

정책 아키텍처(Policy Architecture):

명시적인 기록 스택(explicit history stacking) 없이 순환 정책(recurrent policy) 아키텍처(GRU)를 사용하여 시간적 맥락(temporal context)을 제공합니다. 이는 더 나은 샘플 효율성과 성능을 보였습니다. 정책 학습에는 IsaacLab 및 비대칭 액터-크리틱(asymmetric actor-critic) PPO를 사용합니다.

결과 및 분석:

Peg-in-Hole 삽입:
- cop는 가장 높은 전반적인 성공률을 달성했으며 대부분의 삽입 모양에서 모든 baselines를 능가했습니다.
- vec, cop와 같은 고정밀 접촉 표현은 더 적응적이고 지속적인 정책으로 이어져 더 높은 성공률을 보였지만, 단순화된 표현(base, bin)보다 작업 완료 시간이 길었습니다.
- taxel은 다른 대부분의 baselines보다 성능이 좋지 않았습니다. 이는 불완전한 촉각 시뮬레이션, 높은 차원성, 센서별 불일치 때문일 수 있습니다.
- Out-of-Distribution (OOD) 초기화 강건성: cop 정책은 OOD peg pose 초기화에서도 가장 적은 성공률 감소를 보이며, 지속적인 in-hand object translation과 재정렬(re-orientation)을 통해 정렬을 달성하는 emergent 능력을 보여주었습니다.
- Masked Sensor 강건성: raw hardware taxel forces의 40%를 무작위로 마스킹했을 때, 고정밀 접촉 표현은 일반적으로 단순화된 표현보다 더 큰 성능 저하를 겪었습니다.
Ball Balancing:
- 정확한 힘 정보가 이 작업에 중요하며, cop, vec, taxel 정책만이 시뮬레이션에서 작업을 성공적으로 학습했습니다.
- cop와 vec 정책 간의 유사한 실제 성능은 이 작업에 힘 정보만으로 충분할 수 있음을 시사합니다.
- 정책은 가속-감속(accelerate-decelerate) 기동과 느린 중앙 정렬(centering) 프로세스와 같은 두 가지 뚜렷한 emergent 움직임 패턴을 보였습니다.
- Object State 예측: 정책 네트워크의 순환 계층 latent output을 분석한 결과, CoP 정보가 공의 위치를 효과적으로 추적하는 데 사용되었지만, 속도 예측은 상대적으로 약했습니다. 이는 정책이 공의 위치 추적을 위해 접촉 정보를 활용하지만, 운동 역학(motion dynamics)을 정밀하게 인코딩하지 않을 수 있음을 시사합니다.
- 암묵적 질량 식별(Implicit Mass Identification): 훈련된 정책의 latent representation이 공의 질량과 같은 동적 특성을 암묵적으로 포착하는지 분석했습니다. 서로 다른 질량 값에 해당하는 뚜렷한 클러스터가 latent embedding에서 나타났으며, 이는 CoP에 기반한 정책 상태가 객체 질량과 같은 작업 관련 물리적 속성을 중심으로 조직화됨을 시사합니다.

결론:

이 논문은 CoP가 실제 taxel readings를 시뮬레이션에서 사용 가능한 접촉량(contact quantities)과 정렬함으로써 촉각 sim-to-real 간극을 줄이는 물리 기반의 촉각 표현임을 제안합니다. 시각적 입력이 없는 동적 ‘맹목적인’ 조작 작업에 대한 체계적인 평가를 통해 그 효과를 입증하고, 학습된 정책의 emergent latent representation에 대한 통찰력을 제공합니다. 이러한 결과는 물리 기반의 중간 촉각 표현(intermediate tactile representations)이 접촉이 풍부한 정교한 조작을 위한 확장 가능한 sim-to-real 학습의 유망한 경로임을 시사합니다.

제한사항:

Fidelity vs. Transferability: CoP는 raw taxel readings를 힘 및 위치 정보로 추상화하여 시뮬레이션-실제 간 전이성을 높였지만, 일부 센서별 세부 정보는 손실될 수 있습니다.
Sim-Real Contact 불일치: 현재 구현은 시뮬레이션된 전단력 추정치가 신뢰할 수 없었기 때문에 CoP 힘 벡터를 표면 법선 방향으로 제한했습니다. 또한 시뮬레이터는 작업 객체와의 접촉만 보고하지만 실제 센서는 자가 충돌(self-collisions) 및 환경 상호 작용을 포함한 모든 접촉에 반응합니다.
범위 및 향후 방향: 이 연구는 XELA uSkin 센서를 사용하는 고정된 dexterous hand에 중점을 둡니다. CoP를 arm-hand 시스템, 전체 손 촉각 범위, 다른 촉각 센서 유형으로 확장하는 것은 향후 연구 과제입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 요약하면, 이 논문은 촉각 sim-to-real이 오랫동안 갇혀 있던 “거칠지만 안전한 표현 vs 풍부하지만 불안정한 표현”의 양자택일을, 물리량으로 환원된 중간 표현(Center-of-Pressure, CoP) 으로 풀어낸다. 결과적으로 teacher-student distillation 없이 곧바로 sim-to-real이 되고, 이진 접촉(binary)이나 원시 택셀(raw taxel) 표현을 모두 앞선다.

논문: Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation (Pan, Coros, Malik, Lin / ETH Zurich, UC Berkeley / arXiv:2605.28812v1, 2026)

한눈에 보기

문제: 손가락 끝 촉각은 contact-rich 조작에 결정적인데, 시뮬레이션에서 촉각을 정확히 모사하기가 어렵다. 그래서 대부분의 sim-to-real 연구가 촉각을 이진 신호(닿았다/안 닿았다)로 뭉개버리거나, 아니면 원시 신호를 그대로 쓰되 sim과 real이 안 맞아 별도의 distillation에 의존했다.
제안: 접촉을 3D 힘 벡터 + 3D 접촉 위치라는 6차원 물리량(CoP)으로 요약한다. 이건 IsaacSim·MuJoCo 같은 강체 시뮬레이터가 이미 내놓는 접촉 정보와 같은 형태라서, sim과 real을 같은 좌표계 위에 올릴 수 있다.
캘리브레이션의 묘수: 고가의 힘 센서(ground-truth force) 없이, 정적 평형 상태의 관절 토크만으로 택셀 방향을 추정한다. 미분가능 동역학을 역전파해서 푼다.
검증: 시각을 거의 안 쓰는 “눈 감은(blind)” 과제 두 개(peg-in-hole 삽입, 공 균형 잡기)에서 zero-shot sim-to-real 성공. CoP가 binary와 raw taxel을 모두 앞선다.
흥미로운 부산물: CoP로 학습한 정책의 잠재 상태(latent)를 들여다보니, 누가 가르쳐주지 않았는데도 공의 질량 같은 물리 속성이 군집으로 떠오른다.

서론: 왜 촉각은 sim-to-real의 천덕꾸러기였나

손으로 하는 정교한 조작(dexterous manipulation)은 결국 접촉의 게임이다. 못을 구멍에 끼우든, 병뚜껑을 돌리든, 손가락 끝에서 일어나는 미세한 힘과 미끄러짐을 읽고 거기에 반응하는 능력이 성패를 가른다. 문제는 데이터다. 실제 로봇으로 이런 접촉 데이터를 모으는 비용이 너무 크다. 사람이 일일이 teleoperation으로 시연을 쌓아야 하고, 견고함(robustness)까지 확보하려면 그 양이 폭발적으로 늘어난다.

sim-to-real 강화학습은 이 비용 문제의 가장 매력적인 우회로다. 시뮬레이션 안에서 수천 개의 손을 병렬로 돌리며 정책을 자율 학습시키고, 그걸 실제 하드웨어로 옮기면 된다. 그런데 지금까지 이 접근의 성공은 비교적 단순한 과제에 머물렀다. 저차원이고 sim과 real이 잘 일치하는 입력(관절 각도, 물체 자세 등)으로 풀 수 있는 과제들 말이다.

촉각은 늘 빠지거나, 빠지지 않더라도 심하게 단순화됐다. 이유는 분명하다. 촉각 센서의 응답은 실리콘 변형, 마찰, 접촉 기하 같은 고차원적이고 모델링되지 않은 물리 과정에 달려 있고, 센서마다 설계가 제각각이라 표준이 없다. 시뮬레이터가 이걸 충실히 재현하기란 사실상 불가능에 가깝다.

여기서 저자들이 짚는 핵심은 표현의 trade-off 다. 한쪽 끝에는 이진·삼진 접촉 신호처럼 단순한 표현이 있다. sim과 real이 거의 똑같이 보이니 전이는 안정적이다. 대신 “어느 손가락이 닿았다” 정도만 알 뿐, 얼마나 세게, 정확히 어디를 눌렀는지는 버린다. 반대쪽 끝에는 원시 택셀 신호처럼 정보가 풍부한 표현이 있다. 복잡한 조작에 필요한 디테일을 다 담지만, sim과 real의 모양이 달라 그대로는 전이가 안 된다.

flowchart LR
  A["Binary / Ternary contact<br/>(coarse, low-dim)"] -->|"robust transfer<br/>but blind"| B
  C["Raw taxel signals<br/>(rich, high-dim)"] -->|"detailed<br/>but brittle"| B
  B["CoP<br/>3D force + 3D position<br/>(physics-grounded middle)"]
  style B fill:#2d6cdf,stroke:#1a3d7a,color:#fff

CoP는 이 둘 사이의 정확히 중간 지점을 노린다. 접촉을 3D 힘 벡터(어느 방향으로 얼마나)와 3D 접촉 위치(손가락 끝 어디에)로 요약하는 것이다. 충분히 압축적이라 sim과 real을 맞출 수 있고, 동시에 힘과 위치라는 핵심 정보를 보존할 만큼 표현력이 있다. 그리고 이 표현이 특별한 이유는, 그것이 임의로 고른 feature가 아니라 강체 시뮬레이터가 이미 계산해서 내놓는 물리량과 같은 형태라는 데 있다. IsaacSim이나 MuJoCo는 물체 쌍 사이의 접촉 힘 벡터와 접촉 위치를 기본으로 제공한다. CoP는 거기에 직접 올라탄다.

직관: 손끝에 수십 개의 압력 센서가 박혀 있다고 하자. 그 픽셀 같은 신호 하나하나를 통째로 정책에 넘기는 건, 카메라 RAW 데이터를 그대로 던지는 것과 비슷하다. 정보는 많지만 sim과 real의 노이즈 패턴이 다르면 정책이 헛것을 학습한다. CoP는 그 픽셀들을 “힘이 평균적으로 어디에, 어느 방향으로 작용했나”라는 하나의 화살표로 압축한다. 물리학자가 분산된 압력 분포를 하나의 합력(resultant force)과 작용점으로 줄여 말하는 것과 같은 발상이다.

논문 제목의 “Beyond Binary(이진을 넘어서)”는 바로 이 지점을 가리킨다. 닿았냐 안 닿았냐는 1비트짜리 신호를 버리되, 그렇다고 원시 신호의 늪에 빠지지도 않는, 물리에 뿌리내린 중간 표현으로 가자는 선언이다.

서론의 또 다른 기여는 평가 과제의 설계다. 기존 촉각 조작 평가는 두 가지 함정이 있었다. 정책이 사실 시각에 크게 의존하거나, 과제가 단순 반복(in-hand rotation 같은 주기적 동작)이라 촉각의 역할을 분리해내기 어려웠다. 저자들은 시각 단서를 최소화한 “blind” 과제 두 개를 새로 만들어 촉각의 기여를 깨끗하게 드러내려 한다.

방법: CoP는 어떻게 만들어지고 어떻게 보정되는가

방법론은 크게 세 덩어리다. (1) CoP라는 표현 자체의 정의, (2) 원시 택셀 ↔︎ CoP 사이의 미분가능 양방향 매핑, (3) 힘 센서 없이 택셀 방향을 추정하는 캘리브레이션. 여기에 sim-real 정렬 디테일이 붙는다.

3.1 CoP라는 물리 표현

둥근 손가락 끝(round fingertip) 위에서 CoP는 두 개의 양으로 정의된다.

접촉 힘 벡터 ^{S}f_{cop} \in \mathbb{R}^3: 그 링크에 작용하는 총 접촉 힘
접촉 위치 ^{S}p_{cop} \in \mathbb{R}^3: 그 힘이 작용하는 대표 지점

둘 다 센서 좌표계 S 에서 표현된다. 핵심은, 시뮬레이터가 내놓는 접촉 정보(world frame의 힘 벡터와 위치)를 좌표 변환만 해주면 곧장 같은 형태로 만들 수 있다는 점이다. 그래서 sim과 real이 “같은 언어”로 접촉을 말하게 된다.

각주에서 저자들이 솔직하게 밝히는 부분이 있다. CoP는 임의의 다접촉 압력 분포를 완벽히 표현하는 게 아니라, 합력 렌치(resultant wrench)를 하나의 힘 벡터와 중심 접촉점으로 환원한 근사 라는 것. 즉 의도적으로 단순화한 국소 접촉 기술자(local contact descriptor)다.

3.2 택셀 ↔︎ CoP 매핑: 실리콘이 힘을 퍼뜨린다는 사실

여기가 이 논문에서 물리적으로 가장 맛있는 부분이다. XELA uSkin 같은 센서는 격자 모양으로 배열된 N 개의 택셀(taxel)로 이뤄진다. 각 택셀은 3축 힘을 측정하는 점 센서다. i 번째 택셀의 위치 ^{S}p_i 와 방향 R_i \in SO(3) 가 센서 좌표계 기준으로 주어진다.

순진한 방법은 택셀 힘들을 그냥 더하거나 평균 내는 것이다. 하지만 이건 틀린다. 왜냐하면 센서 위를 덮은 유연한 실리콘 층이 힘을 옆으로 퍼뜨리기(spreading) 때문이다. 한 점을 눌러도 주변 택셀들이 같이 반응한다. 그래서 단순 합산은 합력과 접촉 위치를 모두 편향되게 추정한다.

저자들의 응력 분포 모델(stress distribution model)은 이 퍼짐을 두 가지 물리 효과로 모델링한다.

방향의 변화: 변형 때문에 힘의 방향이 접촉점에서 멀어질수록 휜다.
크기의 감쇠: 접촉점에서 멀어질수록 힘 크기가 줄어든다.

CoP 힘 f_{cop} 를 표면 법선 성분 f_n 과 전단 성분 f_s 로 나눈 뒤, 각 택셀 i 에 작용하는 유효 법선력 f_{i,n} 과 유효 전단력 f_{i,s} 를 모델링한다.

Forward mapping (CoP → 택셀) 의 핵심 아이디어:

접촉 위치 p_{cop} 는 측정된 힘 크기 \|f_i\| 로 가중한 택셀 위치들의 가중 평균. 노이즈 제거를 위해 임계값 \epsilon 을 넘는 활성 택셀 집합 \mathcal{A} 만 쓴다.
곡면 기하를 고려해, CoP 위치에서의 법선 \hat{n}_{cop} 을 택셀 법선들의 inverse distance weighting으로 근사한다.
변형 하의 응력 방향은 “blended” 단위 벡터 \hat{b}_i 로 근사한다. 이건 택셀 자신의 법선 \hat{n}_i 와, CoP에서 택셀로 향하는 방향 \hat{v}_i 를 Gaussian 가중치 w_i 로 섞은 것이다.

\hat{b}_i = \text{normalize}(w_i \hat{n}_i + (1-w_i)\hat{v}_i), \qquad w_i = \exp\!\left(-\frac{\|p_i - p_{cop}\|^2}{2\sigma^2}\right)

여기서 \sigma 는 퍼짐 정도를 조절하는 하이퍼파라미터다. w_i 가 Gaussian이라는 건 “접촉점 가까운 택셀은 표면 법선 방향을, 먼 택셀은 방사형 퍼짐 방향을 더 따른다”는 직관을 수식으로 옮긴 것이다.

전단력은 표면 접평면으로 투영하는 사영 행렬로 처리한다.

P_{shear} = I_3 - \hat{n}_{cop}\hat{n}_{cop}^\top \in \mathbb{R}^{3\times 3}

이 모든 걸 합치면, 각 택셀 힘과 CoP 힘의 관계가 선형 사상 하나로 깔끔하게 정리된다.

f_i = M_i f_{cop}, \qquad M_i = w_i(\hat{b}_i \hat{n}_{cop}^\top + P_{shear}) \in \mathbb{R}^{3\times 3}

왜 이게 영리한가: M_i 는 거리 의존적 퍼짐이라는 지배적 효과만 잡는 저(低)파라미터 모델이면서, 동시에 미분가능하다. 미분가능성이 뒤의 캘리브레이션을 가능케 하는 열쇠다.

Inverse mapping (택셀 → CoP) 은 관측된 활성 택셀 힘 \{f_i\} 로부터 미지의 f_{cop} 를 푸는 문제다. 개별 택셀 식들을 전역 선형계 A f_{cop} = b 로 모은 뒤, 정규화 최소제곱(regularized least-squares)의 닫힌 해로 구한다.

f_{cop} = (A^\top A + \lambda^2 I)^{-1} A^\top b, \qquad A = [M_1^\top, \dots, M_N^\top]^\top, \quad b = [f_1^\top, \dots, f_N^\top]^\top

닫힌 해라서 계산이 가볍고, 양방향(forward/inverse)이 같은 미분가능 모델로 돌아가므로 sim의 CoP ↔︎ 하드웨어 택셀 사이를 실용적으로 오갈 수 있다. 이게 “정렬(alignment)”의 물리적 토대다.

flowchart LR
  subgraph SIM["Simulation (IsaacLab)"]
    S1["Pairwise contact<br/>force + position"] --> S2["CoP (sim)"]
  end
  subgraph REAL["Hardware (XELA uSkin)"]
    R1["Raw taxel forces<br/>f_i, 3-axis"] --> R2["Inverse map<br/>least-squares"] --> R3["CoP (real)"]
  end
  S2 -.->|"aligned, same form"| R3
  R3 --> POL["Policy observation"]
  S2 --> POL
  style S2 fill:#2d6cdf,stroke:#1a3d7a,color:#fff
  style R3 fill:#2d6cdf,stroke:#1a3d7a,color:#fff

3.3 캘리브레이션: 힘 센서 없이 택셀 방향 추정하기

매핑에는 한 가지 미지수가 있다. 택셀의 위치 ^{S}p_i 는 센서 사양서에서 바로 얻지만, 각 택셀이 곡면 위에서 어느 방향을 보고 있는지 (R_i) 는 손가락 끝 기하가 복잡해서 수동으로 보정하기 어렵다.

기존 연구들은 대개 고정밀 힘 센서로 ground-truth 힘을 측정해 보정했다. 이 논문의 우아한 점은 그런 별도 장비 없이, 로봇 자신의 관절 토크만으로 푼다는 데 있다. 발상은 정역학(statics)에서 온다.

손가락에 외력이 작용하면, 그걸 버텨 정적 평형을 유지하기 위해 관절 액추에이터가 토크를 낸다. 정적 평형에서 관절 토크 \tau 와 외력 f 의 관계는 위치 자코비안 J 로 묶인다(중력 보상항은 무시).

\tau = -J^\top f + g(q) \approx -J^\top f

그러면 추정된 CoP 힘으로부터 “필요했을 관절 토크” \hat{\tau} 를 역으로 계산할 수 있다.

\hat{\tau} = -\,{}^{B}\hat{J}_{cop}^\top \, {}^{B}\hat{f}_{cop}

이제 학습 루프는 단순해진다. 실제로 측정된 토크 \tau 와 추정 토크 \hat{\tau} 사이의 MSE 손실을 만들고, 이걸 택셀 회전 파라미터에 대해 역전파한다.

\mathcal{L} = \|\tau - \hat{\tau}\|_2^2

flowchart TD
  A["Apply random contacts<br/>on fingertip"] --> B["Record: taxel f_i, joint torque tau, joint angle q"]
  B --> C["Rotate taxel forces by current R_i estimate"]
  C --> D["Taxel-to-CoP map -> f_cop, p_cop"]
  D --> E["Forward kinematics + position Jacobian"]
  E --> F["Predicted torque tau_hat = -J^T f_cop"]
  F --> G["Loss = ||tau - tau_hat||^2"]
  G -->|"backprop through<br/>differentiable dynamics"| C
  style G fill:#d62d2d,stroke:#7a1a1a,color:#fff

회전 파라미터화는 SO(3) 학습에서 권장되는 R9+SVD 방식을 쓴다. 임의의 3\times 3 행렬 P 를 SVD로 가장 가까운 유효 회전 행렬로 사영한다.

R = \text{SVD}^+(P) = U\,\text{diag}(1,1,\det(UV^\top))\,V^\top, \qquad P = U\Sigma V^\top

왜 정역학인가: 동역학을 풀려면 가속도·관성을 다 알아야 하지만, 정적 평형은 “힘과 토크가 균형을 이룬다”는 한 줄짜리 제약만 쓴다. 로봇을 가만히 눌러서 버티게 하면, 그 버티는 토크가 곧 외력의 그림자다. 그 그림자를 보고 택셀이 어느 쪽을 향하는지 거꾸로 알아낸다. 장비는 로봇 자신의 토크 센서면 충분하다.

부록 A에 따르면 데이터는 단 2분(20Hz로 2400 샘플)이면 되고, Adam으로 100 스텝만 돌린다. 게다가 이론적으로는 미분가능하기만 하면 신경망 같은 임의의 매핑 함수도 학습할 수 있다고 밝힌다. 즉 프레임워크가 CoP에만 묶이지 않는다.

3.4 Sim-Real 정렬의 현실적 디테일

논문이 솔직한 지점들이다.

전단 성분 포기: IsaacLab의 ContactSensor가 이 손가락 끝 기하에서 전단(shear) 성분을 신뢰할 수 없게 추정했다. 그래서 sim과 real 모두에서 표면 법선 성분만 쓰기로 한다. 정보를 일부 희생하더라도 sim-to-real 견고함을 택한 것이다.
액추에이터 동역학: 비균일 마찰 같은 미묘한 액추에이터 거동은 해석적으로 모델링하기 어려우므로, Bayesian optimization 기반 system identification으로 시뮬레이터의 stiffness·damping·joint friction을 실제와 맞춘다(부록 C). step·ramp·chirp 입력으로 응답을 탐침한다.
센서 지연: 촉각 센서는 접촉 시점부터 정책이 관측을 받기까지 무시 못 할 지연이 있다. 동적 과제에선 치명적이라, 비전 기반으로 지연을 측정해 학습 중 시뮬레이션에 주입한다.

이 정렬 덕분에 얻는 가장 큰 실용적 이득: teacher-student distillation이 필요 없다. 기존 촉각 sim-to-real은 sim과 real의 촉각 관측이 안 맞으니, 특권 정보를 본 teacher를 sim에서 학습하고 그걸 real 관측만 보는 student로 증류하는 2단계를 거쳤다. CoP는 sim과 real이 같은 형태라 직접 전이(direct transfer) 가 된다. 파이프라인이 한 단계 짧아진다.

flowchart LR
  subgraph PRIOR["Prior tactile sim-to-real"]
    direction TB
    T1["Teacher (privileged, sim)"] --> T2["Student distillation"] --> T3["Deploy"]
  end
  subgraph THIS["This work (CoP)"]
    direction TB
    C1["Train on aligned CoP (sim)"] --> C3["Deploy directly"]
  end
  style C1 fill:#2d6cdf,stroke:#1a3d7a,color:#fff

실험: 눈 감은 손이 못을 끼우고 공을 굴린다

하드웨어와 과제

플랫폼은 16-DOF Allegro hand에 XELA uSkin 센서를 손가락 끝·지골(phalange)·손바닥에 부착한 구성이다. 정책은 blind 다. 시각 없이 고유수용성(proprioception: 현재·명령 관절각)과 접촉 관측만으로 동작한다.

두 과제가 까다로운 진짜 이유는 이차 접촉(secondary contact) 에 있다. 보통의 in-hand 조작은 손과 물체 사이의 일차 접촉만 다룬다. 여기서는 물체와 또 다른 물체(구멍, 판) 사이의 접촉 상태를 일차 접촉의 촉각 피드백을 통해 간접적으로 추론 해야 한다. 손끝으로 못을 쥔 채, 못 머리가 구멍 가장자리에 어떻게 닿는지를 손끝 감각만으로 읽어내는 식이다.

비교 대상(baseline)이 잘 짜여 있어서 ablation이 깔끔하다.

약어	표현	성격
`base`	proprioception only	접촉 정보 없음
`bin`	센싱 배열별 이진 접촉	가장 거친 표현
`mag`	CoP 힘 크기(스칼라)	방향·위치 버림
`vec`	힘 벡터만	CoP의 절반
`pos`	접촉 위치만	CoP의 나머지 절반
`taxel`	원시 택셀 힘	가장 풍부, 가장 고차원
`cop`	힘 벡터 + 위치 (제안)	물리 기반 중간
`human`	사람 전문가	상한선 참조

학습은 IsaacLab + asymmetric actor-critic PPO. actor는 고유수용성과 접촉 표현을, critic은 추가로 물체 상태 같은 특권 정보를 본다. 정책망은 history를 길게 쌓은 MLP 대신 GRU 기반 recurrent 구조 를 쓴다. 관측 차원을 늘리지 않고 시간 맥락을 주는 게 sample efficiency와 수렴 품질에서 더 나았다(부록 D, Fig. 12). MLP는 history를 늘려도 이득이 포화된다.

과제 1: Peg-in-Hole 삽입

원기둥 손잡이에 6가지 머리 모양(원·다이아몬드·타원·육각형·사각형·삼각형)을 단 못과 구멍을 직접 제작했다. 구멍은 x·y 방향으로 10% 키워 삽입 공차를 줬다. 공차가 0이면 시뮬레이터의 메시 근사·수치 오차 탓에 “jamming(끼임)”이 생기기 때문이다. 리셋마다 못의 yaw를 완전히 무작위화한다.

결과(Table 1)의 핵심 수치를 옮기면:

표현	Overall 성공률	OOD 초기화 성공률	40% 센서 마스킹 성공률
base	0.43	0.17	—
bin	0.53	0.20	0.52
mag	0.55	0.27	0.48
vec	0.67	0.42	0.57
pos	0.50	0.28	0.48
taxel	0.48	0.27	0.30
cop (ours)	0.78	0.63	0.62
human	1.00	—	—

읽어낼 점이 여럿이다.

CoP가 전 영역에서 1위. 특히 OOD 초기화에서 격차가 벌어진다(0.63 vs 차순위 0.42). 풍부한 접촉 정보가 있어야 첫 삽입 시도가 실패했을 때 못을 다시 손 안에서 이동·재정렬해 회복할 수 있다. 단순 표현(base·bin)은 특정 yaw에서 빠른 삽입은 되지만, 실패 후 회복이 안 된다.
vec과 pos는 상보적. 힘 벡터만, 위치만 쓰면 CoP보다 떨어진다. 둘을 합쳐야 진가가 난다. ablation이 표현 설계를 정당화한다.
taxel이 거의 꼴찌. 원시 택셀이 가장 정보가 많은데도 성능이 나쁘다. 불완전한 촉각 시뮬레이션 + 고차원 + 센서 특화 불일치가 겹친 탓이다. 이건 “풍부함이 곧 전이 성능은 아니다”라는 이 논문의 주장을 실증한다.
속도의 trade-off. 고fidelity 표현(vec·cop)은 성공률이 높은 대신 완료 시간이 길다. 더 적응적·끈질기게 움직이기 때문이다.
센서 마스킹 견고성. 40% 택셀을 매 스텝 무작위로 가렸을 때, 고fidelity 표현이 단순 표현보다 더 크게 저하된다(개별 택셀 힘에 민감하므로). 그래도 CoP는 0.62로 여전히 최고. 표현의 집계적(aggregate) 성격이 어느 정도 완충 역할을 한다.
사람은 여전히 압도적. 사람은 촉각에 더해 고수준 기하 추론과 탐색 전략을 쓰는 반면, 로봇 정책은 시뮬레이션에서 학습한 반응적(reactive) 피드백에 의존한다는 해석.

과제 2: 공 균형 잡기 (Ball Balancing)

네 손가락 끝으로 가벼운(50g) 정사각 판을 받치고, 그 위의 공을 가운데로 모아 떨어뜨리지 않는 과제. 시뮬레이션에선 매끈한 구로 학습하고, 실제론 질량·크기·마찰·표면이 다른 네 종류 공(테니스·야구·문볼·하키볼)으로 평가한다. 학습 분포 밖이라 구르는 거동이 제각각이다. 게다가 비균일 마찰·기어 백래시가 성능을 크게 깎고, 손가락 하나는 택셀 영역이 판에 안 닿아 접촉 정보가 없으며, 손가락 3/4가 특이점(singularity) 근처라 빠른 움직임이 어렵다. 지표는 time-to-fall(TTF, 클수록 좋음).

표현	Overall TTF (s)
base	1.38
bin	1.99
mag	2.40
vec	4.52
pos	1.55
taxel	1.49
cop (ours)	4.60
human	9.37

여기서 메시지가 더 날카롭다. 수치적 힘 정보가 있어야만 학습이 된다. 명시적 힘이 없는 base·bin·pos는 시뮬레이션에서조차 과제를 못 배운다(Fig. 13b). cop·vec·taxel만 성공하고, 그중에서도 cop과 vec이 비등하다. 즉 이 과제에선 위치보다 힘이 결정적이며, 힘 벡터만으로도 충분할 수 있음을 시사한다.

Fig. 5에 흥미로운 emergent 동작이 둘 보인다. 공격적인 단일 스텝 가속-감속(accelerate-decelerate) 기동과, 느린 2단계 센터링. 또 로봇은 매끈하고 빨리 구르는 하키볼에 약한 반면, 사람은 찌그러진 문볼(비선형·예측불가 구름)에 가장 약하다. 사람은 선형 모델로 미래를 외삽(extrapolation)하는 경향이 있어 비선형 거동에 취약하고, 로봇 정책은 즉각적 상태에 반응적이라는 대조다.

학습된 정책이 물리를 “이해”하는가

여기가 로봇공학자에게 가장 자극적인 분석이다. 정책망 recurrent layer의 256차원 잠재를 들여다본다.

물체 상태 예측 (linear probing). 잠재로부터 공의 xy 위치·속도를 선형 프로빙으로 예측한다.

	x pos	y pos	x vel	y vel
RMSE (m)	0.013	0.019	0.059	0.065
r^2	0.76	0.62	0.23	0.15

위치는 잘 잡지만 속도는 약하다. 정책이 접촉 정보로 위치는 추적하되, 운동 동역학은 정밀하게 인코딩하지 못한다는 뜻이다. 접촉 기반 상태 추정의 본질적 노이즈 탓일 것이다.

암묵적 질량 식별 (PCA). 세 가지 질량(50·150·250g) 공의 궤적에서 잠재를 모아 PCA로 2차원에 투영한다. Fig. 7이 보여주는 건 강렬하다. 궤적이 시간에 따라 진행될수록, 잠재 임베딩이 질량별로 또렷한 군집으로 스스로 재조직 된다. Silhouette Coefficient가 T=0.05s에서 -0.04였다가 T=4.55s에서 0.51까지 단조 증가한다. 누구도 질량을 지도(supervision)하지 않았는데, 정책이 제어를 잘하려다 보니 물리 속성을 부산물로 표상하게 된 것이다.

이게 왜 중요한가: 물리에 뿌리내린 표현(CoP)을 입력으로 주면, 정책의 내부 상태도 물리적으로 의미 있는 변수(질량 같은)를 중심으로 구조화되는 경향이 있다. 이건 단지 “잘 된다”를 넘어, 표현의 물리적 근거가 정책의 해석가능성과 일반화 가능성으로 이어질 수 있다 는 증거다. 물리를 입력에 심으면 물리가 표상에서 자라난다.

비판적 고찰: 강점과 한계

강점

표현 설계의 원칙성. CoP는 ad-hoc feature가 아니라 시뮬레이터 접촉 물리량과 동형(同形)이다. 이 한 가지 결정이 distillation 제거, 직접 전이, 가벼운 캘리브레이션을 줄줄이 가능케 한다. 우아한 설계는 부수 효과가 많다.
캘리브레이션의 실용성. 고가 힘 센서 없이, 2분 데이터와 로봇 토크만으로 택셀 방향을 학습한다. 미분가능 동역학을 역전파한다는 발상이 깔끔하고, 신경망 매핑으로 확장 가능하다는 일반성까지 남겨뒀다.
정직한 ablation. vec/pos/mag/taxel/binary를 모두 비교해, CoP의 두 성분이 상보적이며 원시 신호가 오히려 해롭다는 걸 데이터로 보인다. 주장과 증거가 일대일로 붙는다.
물리 표상의 emergence 분석. 단순 성능표를 넘어 잠재 공간을 해부해, 물리 기반 입력이 물리 기반 표상을 낳는다는 통찰을 제시한다. 후속 연구의 가설을 던지는 기여다.
과제 설계. 시각을 배제하고 이차 접촉 추론을 요구하는 blind 과제로, 촉각의 기여를 깨끗이 분리했다.

한계 (저자 자인 + 추가 관찰)

Fidelity vs. Transferability. CoP는 의도적으로 raw 정보를 버린다. 더 복잡한 조작에선 그 버린 디테일이 필요할 수 있다. 정확한 센서별 모델과 짝지은 raw 표현이 더 높은 성능을 낼 여지는 여전히 남는다.
전단력 포기. 시뮬레이터의 전단 추정이 불안정해 법선 성분만 썼다. 미끄러짐(slip) 감지처럼 전단이 본질적인 과제에는 현재 형태로 부족하다. 이건 CoP의 결함이라기보다 현 접촉 시뮬레이션의 한계지만, 어쨌든 적용 범위를 제약한다.
접촉 범위 불일치. 시뮬레이터는 task-object 접촉만 보고하는데, 실제 센서는 self-collision·환경 접촉까지 다 느낀다. 다양한 환경에선 OOD 촉각 관측을 유발할 수 있다.
고정 베이스, 단일 센서 종류. 표현의 효과를 분리하려 fixed-base 손 + XELA uSkin으로 한정했다. arm-hand 시스템, 전(全)손 촉각, 다른 센서로의 확장은 미래 과제다.
사람과의 큰 격차. 두 과제 모두 사람이 압도한다. 반응적 정책의 한계이며, 고수준 기하 추론·예측적 제어의 부재를 드러낸다.
추가 관찰 — 단일 접촉 가정. CoP는 손가락 끝당 하나의 합력·중심점으로 환원한다. 한 손가락이 동시에 여러 떨어진 지점과 접촉하는 다접촉 상황은 본질적으로 표현하지 못한다(저자도 각주에서 인정). 복잡한 in-hand regrasp나 도구 조작에서 제약이 될 수 있다.

갈래	대표 연구	접촉 표현	sim-to-real 방식	한계
암묵적 접촉	proprioceptive control error 기반	관절 추종 오차	직접	성능 이득 제한적
단순 이산	Rotating without seeing, Touch RL	binary / ternary	직접(안정)	디테일 손실
극좌표 힘+위치	AnyRotate	힘 크기 + 극좌표 위치	학습된 encoder	in-hand rotation에 한정, encoder 의존
원시 모델링	shear/normal skin, PTLD 등	raw taxel / latent	teacher-student distillation	센서 특화, 해석 어려움, 정렬 난해
기하 일관	TacMap, HydroShear	penetration depth map / hydroelastic shear	sim 모델 정교화	복잡한 모델링·캘리브레이션 비용
본 연구	CoP	3D 힘 + 3D 위치 (물리 동형)	직접 전이(distillation 불필요)	법선만, 단일 접촉, 고정 베이스

요약 및 결론

이 논문의 한 문장은 이렇다. 촉각 sim-to-real의 병목은 “촉각을 더 정확히 시뮬레이션하기”가 아니라 “sim과 real이 합의할 수 있는 물리적 추상 수준을 찾기”였다. CoP(3D 힘 벡터 + 3D 접촉 위치)는 그 추상 수준이 강체 시뮬레이터가 이미 내놓는 접촉 물리량과 동형이라는 점에서 영리하다. 그 결과로 teacher-student distillation 없는 직접 전이, 힘 센서 없는 미분가능 캘리브레이션, binary와 raw taxel을 모두 앞서는 성능, 그리고 질량 같은 물리 속성이 잠재 공간에서 스스로 떠오르는 emergence까지 줄줄이 따라온다.

로봇공학 실무자가 가져갈 교훈을 추리면:

표현의 추상 수준을 sim-real 정렬 가능성으로 선택하라. “가장 풍부한 신호”가 아니라 “양쪽이 같은 형태로 말할 수 있는 신호”가 전이를 결정한다. raw taxel이 cop에 진 것이 이 교훈의 증거다.
물리적 근거는 공짜 부산물을 준다. 입력을 물리량으로 심으면 캘리브레이션이 쉬워지고(정역학으로 풀림), 표상이 해석가능해지고(질량 군집), 일반화 단서가 생긴다.
distillation은 정렬 실패의 우회로였다. 표현을 잘 맞추면 한 단계 통째로 사라진다. 파이프라인 단순화 자체가 견고함이다.
단순화의 비용을 명시하라. 전단·다접촉·환경 접촉을 버린 대가는 분명하고, 그게 적용 범위의 경계다.

남는 질문들도 풍부하다. 광학식 촉각(DIGIT/GelSight)으로 CoP를 뽑으려면 응력 모델을 어떻게 다시 세울까. 전단을 신뢰할 수 있게 시뮬레이션할 수 있다면 성능은 어디까지 오를까. 다접촉을 표현하려면 “하나의 CoP”를 “여러 CoP의 집합”으로 확장하는 게 답일까. 그리고 저자들이 던진 대로, CoP를 RL 너머 imitation learning이나 sample-efficient real-world RL의 물리 기반 촉각 모달리티로 쓸 수 있을까. 이 논문은 답이라기보다, 촉각 표현 설계를 “정확도 경쟁”에서 “정렬 가능성 설계”로 옮겨놓은 좋은 출발점이다.