📃PanoTac 리뷰

PanoTac: A Dense Three-Axis Tactile Sensor for Robust Touch-Centric Manipulation

• Paper Link (arXiv:2611.03520)

• Project

• Binglin (Andre) Wang, Xiaole (Alex) Jiang, Zicheng Teng, Xinqi Liu, Yunzhu Li, Lerrel Pinto, Zichen Jeff Cui, Binghao Huang

• New York University · City University of New York · Columbia University / arXiv preprint (cs.RO), 2026 (v1)

1. 💡 dense piezoresistive array는 접촉 모양을 촘촘히 보지만 shear를 못 재고, magnetic skin은 normal·shear를 재지만 magnetometer 수만큼 듬성듬성하다. PanoTac은 두 층을 한 손끝에 겹쳐 쌓고 같은 12\times32 taxel 격자 위에 올려 taxel마다 (x, y, z) 세 성분을 갖는 표현을 만든다.
2. ⚙️ 맨 위 piezoresistive 층이 접촉 모양 A를 주고, 그 아래 TPU elastomer 속 자석 8개(2×2 checkerboard 두 묶음)의 변위를 바닥의 magnetometer 10개가 읽는다. normal 성분은 “모양은 piezo, 크기는 자기장 z의 평균”으로, shear 성분은 magnetometer의 x, y 값을 inverse-distance weighting으로 격자에 펼쳐 만든다. 이 3\times24\times32 이미지(두 손끝)를 CNN으로 encoding해 diffusion policy에 넣는다.
3. 🎯 시험관 준비·곡물 뜨기·소금 붓기 3과제(과제당 20회)에서 전체 성공률 91.7%(55/60). vision only는 45.0%, dense normal만 쓴 경우 73.3%, sparse three-axis 자기 신호만 쓴 경우 78.3%였다. 다만 손끝 신호는 힘 단위로 보정되지 않았고, 특성화 실험은 normal 하중만 가했다. shear 하중을 걸어 shear 채널을 검증한 실험은 없다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

촉각이 조작에 주는 정보는 크게 두 가지다. 하나는 접촉 모양이다. 숟가락 손잡이가 손가락에 어떻게 눌렸는지를 보면 카메라에 안 보이는 숟가락 머리가 어느 쪽을 향하는지 알 수 있다. 다른 하나는 잡은 물체를 통해 전해지는 힘, 특히 shear다. 불투명한 병을 들어 보면 무게가 손가락을 아래로 끌어당기는 정도로 병이 비었는지 안다. 저자들은 기존 저가 촉각 센서가 이 둘 중 하나만 잘한다고 본다. piezoresistive array는 촘촘한 normal 압력 지도를 주지만 shear를 직접 재지 못하고, magnetic skin(ReSkin·AnySkin·eFlesh 계열)은 normal과 shear에 모두 반응하지만 공간 해상도가 magnetometer 개수에 묶인다(§I, §II-A).

PanoTac은 이 둘을 한 손끝 안에 물리적으로 겹쳐 쌓는다. 위에는 FlexiTac 계열 piezoresistive array(12\times32, 2 mm pitch), 아래에는 자석을 품은 compliant TPU 층과 magnetometer 보드가 있다. 그리고 두 신호를 같은 taxel 격자에 투영해 taxel마다 normal 하나와 shear 둘, 세 성분을 붙인다. 광학식(카메라·조명·마커)이 아니다. 저자들은 이 표현을 별도의 fusion 모듈 없이 표준 diffusion policy의 관측 하나로 넣고, vision만으로는 풀 수 없게 설계한 “touch-centric” 과제에서 효과를 보인다.

PanoTac 손끝과 세 과제(Fig. 1). (i) 시험관 준비: 손 안의 시험관 방향 추정과 마개가 빠지는 순간 감지, (ii) 곡물 뜨기: 손잡이 접촉 패턴으로 가려진 숟가락 방향 추정, (iii) 소금 붓기: 무게 단서로 찬 병과 빈 병 구분. 위쪽 패널은 두 손끝(LEFT/RIGHT)의 three-axis field 시각화다.

프로젝트 페이지의 요약 영상(PanoTac Summary Video).

핵심 방법론:

baseline을 뺀 magnetometer m의 자기장 변화를 \Delta\mathbf{B}_m, 노이즈 문턱과 Gaussian smoothing(\sigma=0.5 taxel)을 거친 piezoresistive 접촉 활성 지도를 A라 하자. normal 성분은 모양은 piezo에서, 크기는 자기장에서 가져온다(식 3).

N_{ij}=\left(\frac{1}{M}\sum_{m=1}^{M}\lvert\Delta B_{m,z}\rvert\right)\frac{A_{ij}}{\max_{u,v}A_{uv}},\qquad M=10

shear 성분 S^x_{ij}, S^y_{ij}는 각 magnetometer의 \Delta B_{m,x}, \Delta B_{m,y}를 그 magnetometer 자리의 taxel 두 개에 놓고, 나머지 taxel은 inverse-distance weighting(거듭제곱 p=2)으로 채운다. 이 둘을 합친 것이 손끝 하나의 three-axis tactile field다(식 4).

\mathbf{T}_{ij}=\left(S^{x}_{ij},\,S^{y}_{ij},\,N_{ij}\right),\qquad \mathbf{T}\in\mathbb{R}^{12\times 32\times 3}

정책은 두 손끝의 \mathbf{T}를 세로로 붙인 3\times24\times32 이미지를 3층 CNN으로 encoding하고, 손목 카메라 RGB(ResNet-18), proprioception과 이어 붙여 FiLM으로 U-Net diffusion policy를 조건화한다(§III-D, 부록 B).

주요 결과:

• 하드웨어: 접촉면 62×30 mm, 접촉 스택 두께 18 mm, 60 Hz, 손끝당 50달러 미만(readout 보드 제외), 무인 3D 프린팅 3시간 미만 + 수작업 조립 30분(§I, §III-B).
• 하중 반복성(Table I): 6~12 N 구간에서 같은 센서 3회 반복의 평균 CV가 normal 4.8%, shear 4.3%. 센서 3개 사이의 CV는 shear가 9% 미만, normal은 22.9%(0.4~1 N) → 12.5% → 10.8%(6~12 N).
• 조작(Table III, 과제당 20회): 전체 성공률 PanoTac 91.7% vs sparse three-axis 78.3% vs dense normal 73.3% vs vision only 45.0%. vision only 대비 +46.7%p.
• 과제별로 보면 각 단일 촉각 baseline이 서로 다른 과제에서 약하다. dense normal은 시험관 마개 빼기(65%)와 소금 병 분류(70%), sparse three-axis는 곡물 뜨기(60%)에서 떨어진다. PanoTac은 세 과제 모두 85% 이상이다.
• 부록 D의 액체 붓기 보너스 과제: 한 번의 연속 녹화에서 15회 모두 성공(unseen 색 액체·쿠스쿠스 포함, baseline 없음).

결론:

PanoTac의 새로움은 새로운 감지 원리가 아니다. 이미 있는 두 저가 센서(FlexiTac형 piezoresistive array, eFlesh/AnySkin형 magnetic elastomer)를 한 손끝의 위아래 층으로 기계적으로 통합하고, 두 신호를 같은 격자 위의 고정된 수식으로 합친 것이다. 이 조합이 과제 묶음 전체에서 가장 고른 성능을 낸다는 것이 실험의 요지다. 반대로 말하면 “dense three-axis”의 dense는 접촉 모양에 대해서는 측정이고, shear와 힘 크기에 대해서는 10개 점에서의 보간이다. 이 센서가 힘을 얼마나 정확히 재는가는 이 논문이 답하지 않는다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

PanoTac은 “촘촘하지만 shear를 못 보는 층” 밑에 “shear를 보지만 듬성듬성한 층”을 깔고, 두 층의 출력을 같은 12\times32 격자 위에 겹쳐 놓은 손끝이다. 위층은 어디가 닿았는지를, 아래층은 얼마나 세게, 어느 방향으로 밀리는지를 말한다. 이 논문의 성패는 두 질문에 달려 있다. 첫째, 겹쳐 놓은 두 층이 서로를 방해하지 않고 각자의 일을 하는가. 둘째, 그렇게 만든 표현이 둘을 따로 쓰는 것보다 정책에 더 쓸모 있는가. 논문은 두 번째 질문에 실험으로 답하고, 첫 번째 질문에는 normal 하중 실험과 idealized 자기장 모델로 부분적으로만 답한다.

배경: 왜 “dense”와 “three-axis”를 동시에 얻기 어려운가 (§I, §II-A)

저자들은 문제를 두 갈래로 세운다(§I).

• 공간 해상도와 힘 감지의 충돌. dense piezoresistive array는 normal 접촉에 대한 상세한 응답을 주지만 shear 하중을 직접 잡지 못한다. magnetic 촉각 센서는 normal과 shear에 반응하지만 discrete 감지 소자의 크기와 간격이 공간 샘플링 밀도를 제한해 미세한 접촉 패턴을 직접 풀기 어렵다.
• 하드웨어 통합과 재현성. 광학 촉각 센서는 상세한 접촉 형상과 힘 추정을 주지만 카메라와 광경로 때문에 손끝 형상에 제약이 생긴다. 실제 배치에는 저렴하고 compliant하며 제작이 쉽고, 응답이 반복 가능하며, 개체 간 일관성이 있는 하드웨어가 필요하다.

§II-A는 감지 방식별 trade-off를 정리한다. 아래 표는 논문의 서술을 그대로 옮긴 것이다(필자의 평가가 아니다).

감지 방식	논문이 든 대표	장점(논문 서술)	한계(논문 서술)
광학(optical)	GelSight, DIGIT, GelSlim, TacTip, OmniTact	상세한 접촉 형상(이미지)	카메라-elastomer 광경로가 최소 두께를 정해 조작 여유 공간이 줄고, elastomer 표면이 닳아 소모품으로 다뤄진다
정전용량(capacitive)	Schmitz et al., CoinFT, UMI-FT	얇고 감도가 높으며 다축 힘을 준다	capacitance→force 매핑이 비선형이고 개체마다 달라 개별 보정이 필요하다
접촉 마이크(contact microphone)	ManiWAV, SonicSense	event 중심 신호	정적 성분이 없어 지속 하중을 직접 잴 수 없다
piezoresistive array	3D-ViTac, FlexiTac, OSMO, 촉각 장갑	유연하고 제작이 쉬우며 normal 압력의 고해상도 지도(위치·모양)	shear를 직접 재지 못한다
magnetic	uSkin, ReSkin, AnySkin, eFlesh	normal과 shear의 총합을 추정	해상도가 magnetometer 수에 묶여 국소적이고 성긴 접촉 묘사, 이웃 소자 간 cross-talk, 강자성 물체와 외부 자기장에 민감

저자의 결론은 “both worlds의 장점”이다. piezoresistive와 microstructure 기반 magnetic skin의 저가 제작을 유지하면서, 접촉 위치·형상과 normal·shear 응답을 함께 담은 표현을 만들겠다는 것이다(§II-A). 블로그에서 이미 다룬 계보로 보면, 위층은 같은 그룹(Binghao Huang·Yunzhu Li)의 Touch in the Wild가 쓴 FlexiTac형 piezoresistive 패드이고, 아래층은 ReSkin·AnySkin에서 eFlesh로 이어지는 magnetic elastomer 계열이다(AnySkin·eFlesh는 공저자 Lerrel Pinto 그룹의 작업). PanoTac은 두 계열의 센서를 한 손끝에 포갠 결과물로 읽어도 된다.

§II-B는 학습 쪽 입장을 밝힌다. 한 촉각 modality를 다른 modality에서 재구성하는 연구(Touch2Touch, FELT)에 대해 저자들은 반대 입장을 취한다. “when affordable hardware can directly measure the tactile information needed for the task, one should favor direct measurement over reconstruction.” 또 기존 visuo-tactile 연구가 센서 전용 fusion 모듈이나 사전학습 encoder를 만들고 과제도 vision 위주였다고 보고, 센서를 카메라 옆의 관측 스트림 하나로 다루며 vision only로는 풀 수 없는 과제로 검증하겠다고 한다.

센서 원리 ①: 층 구조와 치수 (§III-A, §III-B)

PanoTac 감지 플랫폼(Fig. 2). (a) 조립된 센서(62×30 mm, 두께 18 mm)와 분해도: 위에서부터 grip tape, piezoresistive 층, elastomer 층 I, 자석, elastomer 층 II, magnetometer. (b) 특성화용 압입 장치. (c) 센서 3개의 normal z 응답과 RMS shear (x,y) 응답(0.4~12 N, 음영은 ±1 표준편차). (d) 12\times32\times3 three-axis field 구성: piezoresistive (z), magnetic (z), magnetic (x,y)를 함수 f로 합친다.

센서 분해도 애니메이션(프로젝트 페이지 "Sensor Design").

센서 조립 과정(프로젝트 페이지 "Sensor Assembly").

논문이 서술한 구성 요소를 위에서 아래로 정리하면 다음과 같다(§III-B, Fig. 2(a)).

층(위→아래)	재료·사양(논문 서술)	역할
grip tape	3M Gripping Material TB641	접촉면 마찰을 높인다
piezoresistive array	FlexiTac(Huang & Li, 2026) 계열, 12\times32 taxel, pitch 2 mm, 양면 접착제로 elastomer에 부착	normal 하중이 각 taxel의 국소 전기 저항을 바꾼다. 접촉 위치·모양
elastomer 층 I	TPU 95A, 자석 pocket 위쪽. 이음새 간격(relief gap)을 둔 coplanar TPU 타일	array를 받치고 array 접착면을 제공하며 자석을 고정한다
자석	neodymium, 2묶음 × 4개(2×2 checkerboard), 각 묶음은 magnetometer 보드 바로 위 pocket 중앙. 묶음 전체를 magnetometer 축에 대해 45° 회전	하중에 따라 elastomer와 함께 움직이는 자기장원
elastomer 층 II	TPU 85A, 자석 pocket 아래쪽	더 compliant해서 하중(shear 포함)에 따른 자석 변위를 허용한다
magnetometer	손끝당 M=10개, 바닥에 고정된 보드 위. 3축 판독	자석 변위에 따른 자기장 변화 \Delta\mathbf{B}_m
하우징	경질 PLA, 평행 그리퍼 손가락에 부착. 뒤쪽에 magnetometer 보드, 앞쪽 keyed slot으로 감지 모듈 고정	공구 없이 감지 모듈 교체

수치 사양은 접촉면 62×30 mm, 접촉 스택 18 mm, 측정 60 Hz, 손끝당 50달러 미만(readout 보드 제외), 무인 프린팅 3시간 미만 + 수작업 조립 30분이다(§I, §III-B, §III-D). taxel 격자의 길이 방향 폭은 (32-1)\times2=62 mm로 접촉면 길이와 맞는다(필자 검산).

논문이 밝히지 않은 하드웨어 사양도 적어 둔다. magnetometer 칩 모델, 자석의 크기·등급, readout 보드 구성, 두 스트림 각각의 원시 샘플링 속도, piezo 노이즈 문턱값, low-pass filter 계수, 그리고 magnetometer 10개가 두 보드에 어떻게 나뉘는지가 본문에 없다(Fig. 2(a) 렌더에는 보드가 두 장 보인다). 하드웨어 저장소는 프로젝트 페이지에 “Coming soon” 버튼으로만 있다.

센서 원리 ②: normal과 shear는 어디서 오는가 (§III-B (i))

감지 원리 자체는 두 개의 기존 원리를 그대로 쓴다.

• normal: piezoresistive array의 각 taxel은 눌리면 국소 저항이 바뀐다. 이 층은 어디가 얼마나 넓게 닿았는지를 2 mm 간격으로 준다.
• shear(그리고 normal의 크기): piezo 층을 받치는 compliant elastomer 안에 자석이 박혀 있다. 외부 하중이 elastomer를 변형시키면 자석이 바닥에 고정된 magnetometer에 대해 움직이고, 측정 자기장이 바뀐다(eFlesh, AnySkin과 같은 원리). shear 하중이면 자석이 옆으로 밀려 주로 면내 성분 (B_x, B_y)가, normal 하중이면 자석이 내려와 주로 B_z가 바뀐다는 것이 직관이다.

여기서 짚어 둘 점이 있다. 논문은 이 신호를 힘으로 바꾸지 않는다. 응답은 readout 보드의 digital 출력(a.u.)이고, 가한 하중만 newton으로 재며(§IV-A), 어디에도 신호→힘 회귀나 보정 모델이 없다. 그래서 이 글에서 “normal 성분”, “shear 성분”은 힘 벡터의 성분이 아니라 자기장·저항 응답의 성분이다. 논문도 shear를 “shear-related responses”라고 부른다(§III-C (ii)). 초록과 서론의 “one normal and two shear response components at each taxel”도 정확히 읽으면 response component다.

센서 원리 ③: 자석 배치와 cross-talk 억제 (§III-B (iii), 식 1·2)

자석 배치는 이 논문에서 가장 “설계”다운 부분이다.

공간 응답 특성화용 탐침 위치(Fig. 3). 두 자석 묶음이 각각 45° 돌아간 2×2 checkerboard(이웃 자석은 반대 극)로 놓여 있고, 왼쪽 묶음과 오른쪽 묶음은 극 배치가 서로 반대다. 점 색은 자석 배치 대칭에 따른 탐침 그룹 G1~G4다.

설계 결정은 세 가지다(§III-B (iii)).

1. 묶음 2개를 magnetometer 보드 바로 위에, 서로 떨어뜨려 둔다. 국소 신호를 키우고 이웃 묶음 간 거리를 넓힌다.
2. 한 묶음 안의 자석 4개를 2×2 checkerboard로, 이웃끼리 표면 법선 방향 자화를 반대로 한다. 자기 간섭을 줄이기 위해서다.
3. 묶음을 magnetometer 축에 대해 45° 돌린다. shear로 인한 자기장 응답을 x와 y 채널에 고르게 나눠 한 채널의 포화 위험을 줄이기 위해서다.

2번의 근거로 논문은 idealized multipole 전개를 든다. 정사각형 꼭짓점에 크기가 같고 법선 방향인 point dipole 4개를 놓으면, 원거리 자기장 크기는

\lvert\mathbf{B}_{\mathrm{aligned}}\rvert=B_{0}\,g_{\mathrm{aligned}}(\Omega)\left(\frac{a}{r}\right)^{3}\left[1+\mathcal{O}\!\left(\frac{a^{2}}{r^{2}}\right)\right], \qquad \lvert\mathbf{B}_{\mathrm{checker}}\rvert=B_{0}\,g_{\mathrm{checker}}(\Omega)\left(\frac{a}{r}\right)^{5}\left[1+\mathcal{O}\!\left(\frac{a^{2}}{r^{2}}\right)\right]

이다. 2a는 2×2 배치의 한 변 길이, r은 배치 중심으로부터의 거리, B_0는 자기장 세기 척도, g(\Omega)는 관측 방향 \Omega에 따른 무차원 각도 의존 함수다. 같은 방향으로 정렬하면 r^{-3}(dipole)로 줄지만 checkerboard는 r^{-5}로 줄어든다.

왜 r^{-5}인지는 한 줄로 검산된다(필자 검산). 자석 위치를 (\pm a, \pm a), 모멘트를 m_k = m\,\mathrm{sgn}(x_k y_k)\,\hat{z}로 두면 \sum_k m_k = 0(dipole 소거)이고 \sum_k m_k\,x_k = \sum_k m_k\,y_k = 0(다음 차수 소거)이며, 처음으로 살아남는 것이 \sum_k m_k\,x_k y_k = 4ma^2이다. 모멘트 분포의 2차 모멘트가 선두항이라 원거리장이 dipole보다 a^2/r^2만큼 빨리 줄어든다. 논문 서술(“dipole과 quadrupole이 상쇄되고 octupole이 선두항”)과 일치한다.

직관적으로 보면 이 설계는 자기 묶음은 가까운 자기 magnetometer에만 크게 보이고, 맞은편 손끝이나 옆 묶음에는 거의 안 보이게 한다. 평행 그리퍼는 두 손끝이 마주 보고 물체를 사이에 두므로, 한쪽 손끝의 자석이 반대편 magnetometer에 섞이는 것이 실제 문제다.

다만 이 부분의 근거는 모델이지 측정이 아니다. 논문은 “idealized model”이라고 명시하고, 맞은편 손끝 간섭이나 묶음 간 cross-talk를 실제로 잰 실험은 없다. 그리퍼를 열고 닫을 때 손끝 간 거리에 따라 baseline이 얼마나 흔들리는지, aligned 배치와 비교해 자기 magnetometer 쪽 신호 크기가 어떻게 달라졌는지도 보고되지 않았다.

센서 원리 ④: three-axis 표현 만들기 (§III-C)

두 스트림은 low-pass filter를 거친 뒤 각자의 무접촉 baseline을 뺀다. magnetometer m의 결과를 \Delta\mathbf{B}_m이라 한다.

normal 성분. piezo 판독 중 노이즈 문턱 아래를 지우고 Gaussian smoothing(\sigma=0.5 taxel)을 해 접촉 활성 지도 A를 얻는다. 접촉이 검출되지 않으면 N=0이다. 접촉이 있으면 A를 최댓값으로 정규화하고, 모든 magnetometer의 \lvert\Delta B_{m,z}\rvert 평균을 곱한다.

N_{ij}=\underbrace{\left(\frac{1}{M}\sum_{m=1}^{M}\lvert\Delta B_{m,z}\rvert\right)}_{\text{크기: 자기장, 손끝 전체에 scalar 하나}}\;\underbrace{\frac{A_{ij}}{\max_{u,v}A_{uv}}}_{\text{모양: piezo, }[0,1]}

shear 성분. magnetometer마다 \Delta B_{m,x}, \Delta B_{m,y}를 그 magnetometer footprint의 중앙 열 taxel 두 개에 놓고, 나머지 taxel은 magnetometer 중심에서 inverse-distance weighting(p=2)으로 채운다. 논문은 IDW를 식으로 적지 않았는데, 표준 정의대로 쓰면 다음과 같다.

S^{x}_{ij}=\frac{\sum_{m} w_{ij,m}\,\Delta B_{m,x}}{\sum_{m} w_{ij,m}},\qquad w_{ij,m}=\frac{1}{d_{ij,m}^{\,p}},\quad p=2

d_{ij,m}은 taxel (i,j)와 magnetometer m 중심 사이의 거리다. S^y도 같다.

합치기. \mathbf{T}_{ij}=(S^x_{ij}, S^y_{ij}, N_{ij}), \mathbf{T}\in\mathbb{R}^{12\times32\times3}(식 4). 정책 입력으로는 두 손끝의 \mathbf{T}를 행 방향으로 쌓아 3\times24\times32 이미지를 만든다(부록 B.1).

손으로 누를 때의 tactile field 응답(프로젝트 페이지 "Sensor Response").

식을 뜯어 보면: 무엇이 측정이고 무엇이 보간인가

이 수식에서 독자가 꼭 알아야 할 구조가 셋 있다(이하 식 3·4와 §III-C 서술에서 바로 나오는 필자의 해석).

1. piezo 층의 진폭 정보는 버려진다. A는 최댓값으로 나눠지므로 piezo가 주는 것은 상대적인 모양뿐이다. normal의 절대 크기는 전부 magnetometer z의 평균에서 온다.
2. normal 크기는 손끝 전체에 scalar 하나다. 두 군데를 다른 힘으로 동시에 누르면, 두 접촉의 상대 크기는 piezo 모양(정규화 전 진폭비)을 따르고 전체 크기는 10개 magnetometer의 평균 하나가 정한다. 국소 압력 지도가 아니다.
3. shear의 공간 구조는 10개 점의 보간이다. 손끝 하나에서 실제로 측정되는 shear 관련 수치는 10\times2=20개이고, 나머지 384개 taxel 값은 거리 가중 평균이다. Fig. 1·4의 화살표장이 접촉이 없는 곳까지 고르게 퍼져 있는 이유가 이것이다.

정리하면, 손끝 하나의 12\times32\times3=1{,}152개 값은 piezo 모양 384개 + magnetometer 30개 값을 고정된 규칙으로 펼친 것이다. “dense three-axis”에서 dense는 표현의 성질이고, 측정이 dense한 것은 normal의 모양뿐이다. 저자들이 방법 절에서 이를 숨기지는 않는다. 다만 초록의 “with one normal and two shear response components at each taxel”만 읽으면 taxel마다 3축이 측정된다고 오해하기 쉽다.

이 구조는 실험 해석에도 영향을 준다. sparse three-axis baseline의 입력은 같은 magnetometer의 원시값 2\times10\times3이고, dense normal baseline의 입력은 piezo의 2\times12\times32다(부록 B.1, Table IV). 따라서 PanoTac 입력의 정보량은 두 baseline 입력의 합집합에 들어 있다. PanoTac이 더한 것은 새로운 측정이 아니라, 두 신호를 같은 좌표계에 정렬하고 CNN이 다루기 좋은 형태로 묶은 inductive bias다.

“Pano”는 무엇을 뜻하나

이름의 “Pano”가 panoramic을 뜻하는지, 다른 의미인지는 논문 본문과 프로젝트 페이지 어디에도 정의돼 있지 않다. 논문의 자기 기술은 일관되게 “dense three-axis tactile sensing”이다. 구조적으로 넓은 시야(panoramic)를 가진 광학 센서가 아니고, 감지면도 평평한 62×30 mm 한 면이다. 이름의 뜻을 기술적 특성으로 해석하지 않는 편이 안전하다.

센서 특성화: 무엇을 쟀고 무엇을 안 쟀나 (§IV, 부록 C)

실험 설정

force gauge에 실험별 indenter를 단다(§IV-A). 하중 응답 실험은 D자형 indenter의 곡면으로 직사각형 접촉을, 공간 실험은 구형 indenter로 국소 접촉을 만든다. 두 스트림을 동기 기록하고 §III-C대로 처리한다. 응답 지표는 다음과 같다(부록 C.1).

• normal 응답 =\lVert N\rVert_F (식 3의 normal 지도의 Frobenius norm)
• shear 응답 = 모든 taxel에 걸친 \lVert(S^x_{ij}, S^y_{ij})\rVert의 RMS

하중 실험(부록 C.2)은 센서 3개 × 3회 sweep, 하중 15단계(0.4, 0.6, 0.8, 1.0, 1.2, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 6.0, 8.0, 10.0, 12.0 N)를 오름차순으로 준다. sweep마다 indenter를 든 채 1초 baseline을 기록하고, 각 하중에서 목표를 넘겼다가 되돌려 맞춘 뒤 판독이 drift를 멈출 때까지 유지하고 1초 기록한다. 공간 실험(부록 C.3)은 구형 indenter를 손으로 5 N까지 눌러 2초 기록하고, 누르기 전마다 2초 baseline으로 press 간 drift를 지운다. 지점마다 10회.

압입 장치와 센서 3개의 하중-응답 곡선(Fig. 2(b)(c)의 프로젝트 페이지판, log-log 축). 음영은 같은 센서 3회 sweep의 ±1 표준편차.

결과

Table I. 하중 구간별 평균 CV(100\sigma/\mu, 표본 표준편차).

반복성/개체 간	성분	0.4–1 N	1.2–4 N	6–12 N
반복성(같은 센서 3회 sweep의 CV)	normal	15.5%	6.9%	4.8%
	shear	21.1%	8.3%	4.3%
개체 간(센서 3개 평균의 CV)	normal	22.9%	12.5%	10.8%
	shear	4.2%	5.3%	8.8%

Table II. 5 N 국소 압입에 대한 그룹별 응답(a.u., 평균 ± 표준편차).

	G1 (n=20)	G2 (n=40)	G3 (n=40)	G4 (n=40)
위치	두 묶음 사이 중앙선	바깥 모서리	중앙선 쪽 가장자리	자석 묶음 위
normal z	646.1 ± 68.7	992.7 ± 79.5	588.8 ± 82.0	683.6 ± 79.0
shear (x,y)	92.3 ± 3.4	146.3 ± 17.6	91.4 ± 8.7	59.4 ± 10.6

논문의 해석은 “하중이 클수록 반복성이 좋아지고, shear의 개체 간 CV는 9% 미만, 공간 응답은 평균 대비 moderate한 변동”이다(§IV-B, §IV-C). 결론은 이를 “spatially consistent and temporally repeatable responses across loads and sensor instances”로 요약한다(§VI).

표와 그림을 직접 읽으면

• 그룹 안의 변동은 작지만 그룹 사이의 차이는 크다. 그룹 내 CV를 계산하면 normal 8.0~13.9%, shear 3.7~17.8%다. 그러나 같은 5 N에서 그룹 평균이 normal은 588.8(G3)에서 992.7(G2)까지 약 1.69배, shear는 59.4(G4)에서 146.3(G2)까지 약 2.46배 벌어진다(필자 계산). 같은 힘이라도 어디를 누르느냐에 따라 응답이 두 배 넘게 달라진다는 뜻이다. 논문 본문(§IV-C)은 “response magnitudes varying across probe groups”라고 정확히 쓰지만, 결론의 “spatially consistent”는 그룹 내 반복성만 반영한 표현이다. 위치별 gain 보정은 없다.
• “shear 응답”은 순수 normal 하중에서도 크게 오른다. 하중 실험은 indenter를 수직으로 누르는 것뿐인데, Fig. 2(c)의 shear 응답은 0.4 N의 약 4에서 12 N의 약 380까지 두 자릿수 오른다(그림에서 읽은 근사치). 즉 (x,y) 채널은 shear 하중만의 신호가 아니고 normal 하중과 강하게 결합돼 있다. 이 결합이 정책에 문제인지 아닌지는 논문이 다루지 않는다.
• 응답은 하중에 비선형이다. log-log 그래프에서 읽으면 0.4→12 N(30배) 동안 normal 응답은 약 22→3500, shear 응답은 약 4→380이라 기울기가 각각 약 1.5, 1.3이다(그림에서 읽은 근사치로 한 필자 계산). normal 응답 \lVert N\rVert_F는 정의상 자기장 크기와 접촉 면적(A의 정규화 지도의 norm)이 곱해진 값이라, 곡면 indenter의 접촉 면적이 하중과 함께 커지는 효과가 섞여 있을 수 있다(필자의 해석).
• shear 하중 실험이 없다. 이것이 이 절의 가장 큰 공백이다. 접선 방향 하중을 걸어 (x,y) 응답의 방향 정확도, 크기 선형성, normal과의 분리 정도를 잰 실험이 하나도 없다. arXiv e-print 소스에는 §IV 도입부에 “response to shear loading” 소절을 가리키는 문장이 주석 처리된 채 남아 있다. 계획됐다가 빠진 것으로 보이지만 이유는 알 수 없다.

정량 검증 / 서술만 / 측정 없음

성질	근거의 종류	근거
normal 하중에 대한 반복성(같은 센서)	정량 검증	Table I, 15단계 × 3회 × 3개
개체 간 일관성	정량 검증(센서 3개)	Table I, Fig. 2(c)
위치별 응답 변동	정량 검증(4그룹, 손 압입 5 N)	Table II
shear 하중에 대한 응답·방향	측정 없음	§IV는 normal 하중만 가한다
신호→힘(N) 변환·정확도	측정 없음	응답은 a.u., 보정 모델 없음
측정 범위	0.4~12 N 구간만 시험	포화점·상한 미보고
노이즈 바닥·분해능	측정 없음	노이즈 문턱값도 미기재
hysteresis·creep	측정 없음	오름차순 sweep만, “drift가 멈출 때까지 유지”라는 절차 서술만
장기 drift·온도	측정 없음	공간 실험은 press마다 baseline을 다시 잡아 drift를 지운다
묶음 간·손끝 간 cross-talk	서술만(idealized 모델)	식 1·2
강자성 물체·외부 자기장 민감도	한계로만 언급	§VI Limitations
지연(latency)·주파수 응답	60 Hz 수집만 서술	측정 없음
내구성	서술 없음	grip tape·TPU 마모 언급 없음

캘리브레이션 절차라고 부를 만한 것은 무접촉 baseline 빼기뿐이다(§III-C, 부록 C). 힘 보정, 위치별 gain 보정, 개체별 보정은 없다. 저자들이 §II-A에서 정전용량 센서의 단점으로 “개체별 보정 필요”를 든 것과 맞물려, PanoTac은 보정 없이 정책이 원시 응답을 배우게 하는 쪽을 택한 것으로 보인다. 이 선택은 CoinFT처럼 F/T 값을 보정해 내놓는 센서, 그리고 다항식 보정과 gradiometric 판독으로 외부 자기장 오차를 전체 스케일의 0.3% 이내로 묶은 Gradiometric Magnetic Force Sensor와 정반대 방향이다. 정책 학습에는 충분할 수 있지만, 이 손끝을 힘 센서로 쓰려는 독자에게는 근거가 없다.

시스템 통합과 정책 학습 (§III-D, 부록 A·B)

Franka Panda 팔에 단 Robotiq 2F-85 그리퍼의 두 손가락에 PanoTac을 붙인다. 촉각은 60 Hz로 받는다.

데이터 수집: 소리로 듣는 촉각. Meta Quest 3 VR 원격조작(30 Hz)으로 시연을 모은다. 조작자에게는 접촉 지도를 실시간 heatmap으로 보여 주고, 동시에 왼쪽·오른쪽 손끝을 스테레오 채널의 소리로 들려준다(부록 A). 손끝마다 magnetometer 30개 값(3축 × 10개)의 exponential moving average로부터의 편차를 Euclidean norm으로 계산하고, deadzone 아래는 무음, 위는 log 압축해 음량과 300~1200 Hz 음높이에 매핑한다. 절대 힘이 아니라 힘의 변화를 강조하는 설계다.

촉각 기반 오디오 피드백이 있는 VR 원격조작(프로젝트 페이지 "Data Collection System", 소리 포함).

관측과 encoder(Table IV). 모든 정책은 같은 vision encoder·diffusion backbone·학습 설정을 쓰고 촉각 입력과 encoder만 다르다.

Table IV.

modality	입력(프레임당)	encoder	출력 차원
RGB(손목 카메라)	3\times256\times256	ResNet-18(ImageNet 사전학습, 함께 fine-tune)	512
proprioception	9(위치, 6D 회전)	identity	9
dense normal (baseline)	2\times12\times32	CNN	128
sparse three-axis (baseline)	2\times10\times3	MLP	256
PanoTac	3\times24\times32	CNN(3층 + FC)	512

diffusion policy(Table V). Chi et al.의 convolutional U-Net diffusion policy를 쓴다.

Table V.

항목	값
U-Net 채널	[512, 1024, 2048]
diffusion step	학습 100, 추론 16 DDIM
noise schedule	squared cosine, \epsilon-prediction
observation horizon	1 프레임
prediction horizon	16 step(6 Hz에서 약 2.7 s)
optimizer	AdamW, lr 10^{-4}, weight decay 0.01
LR schedule	10 epoch warmup, cosine decay
batch / epoch	128 / 150
EMA	U-Net에, 최대 decay 0.9999

행동은 10차원 절대값(end-effector 위치 3 + 6D 회전 6 + 이진 그리퍼 1, [-1,1] 정규화)이다. 기록 스트림을 30 Hz로 맞춘 뒤 5배 subsampling해 정책은 6 Hz로 돈다. 매 step 추론하고 겹치는 action chunk를 반감기 4 step의 exponential temporal ensembling으로 합친 뒤 30 Hz로 보간해 로봇에 보낸다(부록 B.3).

여기서 두 가지가 눈에 띈다(필자의 관찰).

• 정책은 촉각의 “변화”를 직접 보지 못한다. observation horizon이 1 프레임이고 촉각은 baseline만 뺀 절대 응답이다. 조작자의 오디오는 이동평균 대비 변화를 들려주지만, 정책은 6 Hz의 한 장면만 본다. 마개가 빠지는 순간 같은 사건 감지는 순간 상태(예: 당기는 방향 shear가 사라진 상태)로 풀어야 한다.
• encoder 용량이 통제되지 않았다. PanoTac encoder의 출력은 512차원, baseline은 128(dense normal)·256(sparse)이다. 출력 차원과 구조가 다르므로 성능 차이 일부가 용량 차이일 가능성을 배제할 수 없다.

직관: 두 층은 서로의 빈칸을 메운다

이 논문의 실험 서사를 한 문장으로 줄이면, 모양만 알면 “언제”를 놓치고, 힘만 알면 “어디”를 놓친다이다.

• 모양만 있는 경우(dense normal). 숟가락 손잡이가 손끝 어느 쪽에 대각선으로 눌렸는지는 잘 안다(방향 선택 90%). 하지만 마개가 헐거워져 저항이 사라지는 순간, 병이 비었는지 찼는지 같은 힘의 변화는 모양에 잘 드러나지 않는다. 마개를 빼고도 계속 흔들거나(시험관 65%) 빈 병을 부으려 한다(빈 병 분류 50%).
• 힘만 있는 경우(sparse three-axis). 병 무게는 잘 안다(소금 분류 95%). 하지만 10개 점의 자기장만으로는 숟가락이 어느 방향으로 잡혔는지 덜 확실하고(방향 선택 80%), 저자들은 “어느 단계인지 놓친다”는 실패(두 번 붓기, 덜 붓고 돌아가기)도 보고한다. 소금 과제에서도 shear 응답이 잡은 위치에 따라 달라지는 탓에 한 번씩 틀린다고 해석한다.
• 둘 다 있는 경우(PanoTac). 위치를 piezo가 알려 주므로 같은 자기장 값을 “어디를 잡은 상태의 값”으로 해석할 수 있다. 저자들은 소금 과제에서 dense 접촉 지도가 잡은 위치를 국소화해 shear 판독의 모호함을 푼다고 쓴다(§V-D2).

이 서사는 Table III의 패턴과 맞는다. 다만 다음 절에서 보듯 과제별 차이 대부분은 20회 시행으로 통계적으로 가려지지 않고, 위의 설명 중 상당수는 저자도 “may”, “likely”, “possibly”로 쓴 가설이다.

실험: 세 개의 touch-centric 과제 (§V)

설정 (§V-A)

과제마다 같은 시연 데이터로 정책 4개를 학습한다: vision only, dense normal(piezo 접촉 지도), sparse three-axis(magnetometer 원시값), PanoTac. 각 정책을 과제당 20회 평가하고(최대 800 step), 단계별 성공률은 그 단계에 도달하기 전에 실패한 시행까지 분모에 넣는다. 전체 성공률은 세 과제의 완주 성공을 합친 60회 기준이다.

정성 결과(Fig. 4). (a) 시험관 준비: 잡기 → 손 안 재정렬 → 삽입 → 마개 재파지 → 흔들기 → 빼기. (b) 곡물 뜨기: 잡기·위치 → 좌/우향 숟가락에 따라 다른 방향으로 뜨기 → 옮겨 붓기 → 돌려놓기. (c) 소금 붓기: 잡기 → 들기(빈 병/소금 병) → 버리기 또는 붓기. 아래 패널은 각 단계의 두 손끝 tactile field.

전체 결과 (Table III)

Table III. 성공률(%). 과제당 20회(곡물은 숟가락 방향별 10회, 소금은 병 조건별 10회). 단계 성공률은 그 단계 도달을 조건으로 하지 않는다.

정책	시험관: 재정렬	삽입	마개 빼기(END)	곡물: 방향 L	방향 R	뜨기	돌려놓기(END)	소금: 분류(소금)	분류(빈 병)	돌려놓기(END)	전체
Vision only	100	90	35	20	80	50	45	50	60	55	45.0
+ Dense normal	100	100	65	80	100	85	85	90	50	70	73.3
+ Sparse three-axis	100	100	85	90	70	70	60	90	100	90	78.3
+ PanoTac	100	100	90	100	100	85	85	100	100	100	91.7

표 내부 산술은 맞는다(필자 검산). 전체 열은 각 행의 세 END 열의 평균이고(예: PanoTac (90+85+100)/3=91.7), 헤드라인 +46.7%p는 91.7-45.0이며 과제별 격차 55·40·45%p의 평균과도 같다. 곡물의 방향 선택은 좌·우 평균(vision 50, dense 90, sparse 80, PanoTac 100), 소금 분류는 두 조건 평균(dense 70, sparse 95, PanoTac 100)으로 본문 수치와 일치한다.

과제별 정독

baseline 정책의 대표 실패(Fig. 5). (a) 마개 종류가 다른 시험관, 삽입 실패, 마개가 풀리기 전에 들어 올림, 끝없이 흔들기. (b) 숟가락 변형, 잘못된 방향, 덜 붓기. (c) 빈 병/양이 다른 병, 빈 병 붓기, 기울기 부족.

시험관 준비(§V-B). 상자에서 시험관을 꺼내 랙에 기대 세우고, 꽂고, 마개를 흔들어 풀고, 빼서 상자에 돌려놓는다. 시연 50개(시험관 위치·높이, 마개 색, 마개 끼움 정도를 바꿈). 재정렬은 네 정책 모두 100%, 삽입은 촉각 정책 셋이 100%, vision only가 90%다. 차이는 마개 빼기에서 난다: PanoTac 90%, sparse three-axis 85%, dense normal 65%, vision only 35%. vision only는 마개가 풀리기 전에 들어 올려 시험관이 랙에서 딸려 나오거나 미끄러지고, dense normal은 마개가 빠진 뒤에도 계속 흔드는 유일한 정책이다. 저자들은 자기 신호를 가진 두 정책이 마개 해제 감지에 유리하다고 해석하면서, PanoTac과 sparse three-axis의 차이는 “한 번의 성공 차이”라고 스스로 적는다.

곡물 뜨기(§V-C). 숟가락이 처음에 왼쪽 또는 오른쪽을 향하고, 잡은 뒤에는 숟가락 머리가 손목 카메라에서 가려진다. 시연 45개(숟가락 색, 손잡이 길이·폭, 배치, 곡물 높이, 용기 높이; 절반 정도는 용기를 3 cm 높임; 방향 균형). 방향 선택은 PanoTac 20/20, dense normal 18/20, sparse 16/20, vision only 10/20이고, vision only는 오른쪽으로 치우친 우연 수준이다. 완주는 PanoTac과 dense normal이 85%로 같고, sparse 60%, vision only 45%다. 저자들은 sparse 정책이 과제 단계를 놓친다(두 번 붓기, 다 붓기 전에 돌아가기)고 보고하고, vision only의 돌려놓기 실패를 용기 높이 변화로 설명하는 것은 “one possible explanation”이라고 유보한다.

소금 붓기(§V-D). 불투명 병을 들어 무게로 붓기/버리기를 결정한다. 시연 40개(거의 빈 병 20, 반 병 정도 소금 20; 반 병은 약 150 g). 붓기 시연 뒤에는 남은 소금을 그대로 둔 빈 병 시연이 이어지고, 평가는 섞은 순서로 조건당 10회다. 분류는 PanoTac 100%, sparse 95%, dense normal 70%, vision only 55%. dense normal은 소금 병은 90% 맞히지만 빈 병은 50%만 맞히고, 실패한 빈 병에서는 모두 부으려 했다. 저자들은 이를 붓기 궤적이 더 길다는 데서 오는 편향일 수 있다고 본다.

이 절에서 가장 정직한 문단은 “그리퍼 compliance가 간접적인 무게 단서를 줄 수 있다”는 저자 자신의 caveat다. 병을 가득 채운 비공식 시험에서는 vision only도 성공했고, 무게로 인한 그리퍼 변형이 카메라에 보였을 수 있다고 쓴다. 평가한 소금 양에서도 작은 변형이 영상과 normal 접촉 지도에 영향을 줬을 수 있어, 자기 신호 없이 성공한 일부 결정을 설명할 수 있다고 덧붙인다(§V-D2).

PanoTac 시험관 준비 자율 실행(2배속).

PanoTac 소금 붓기와 빈 병 버리기(2배속).

실패 사례: dense normal 정책이 마개가 빠진 뒤에도 계속 흔든다.

실패 사례: 숟가락이 반대 방향인데 뜨려 한다.

통계로 다시 보면

과제당 20회는 적다. 논문은 시드 수·반복 학습·신뢰구간을 보고하지 않는다. 보고된 정수로 직접 계산하면 다음과 같다(필자 계산, 양측 Fisher 정확 검정과 Wilson 95% 구간).

비교	값	p
전체: PanoTac 55/60 vs vision only 27/60	91.7% [81.9, 96.4] vs 45.0% [33.1, 57.5]	< 0.001
전체: PanoTac 55/60 vs dense normal 44/60	vs 73.3% [61.0, 82.9]	0.015
전체: PanoTac 55/60 vs sparse three-axis 47/60	vs 78.3% [66.4, 86.9]	0.071
시험관: PanoTac 18/20 vs sparse 17/20		1.0
곡물: PanoTac 17/20 vs dense normal 17/20		1.0
소금: PanoTac 20/20 vs sparse 18/20		0.49
소금: PanoTac 20/20 vs dense normal 14/20		0.020

즉 vision only 대비 우위는 세 과제 모두에서 뚜렷하지만, 각 과제의 최강 촉각 baseline 대비로는 어느 과제에서도 차이가 통계적으로 가려지지 않는다. PanoTac의 장점은 “어느 과제에서 압도적”이 아니라 “약한 과제가 없다”는 데 있고, 이것은 저자의 “두 정보가 상보적”이라는 주장과 정확히 같은 모양이다. 전체 비교에서 sparse three-axis 대비 p≈0.07이라는 점은 같이 적어 둔다.

보너스: 무엇이든 붓기 (부록 D)

시험한 내용물(Fig. 6). in-distribution은 물과 색 액체, out-of-distribution은 다른 색 액체와 쿠스쿠스. 로봇은 앞쪽의 작은 투명 병을 쓴다.

소금 과제를 액체로 확장한다. 시연 36개로 학습한 정책을, unseen 색 액체와 쿠스쿠스까지 포함해 9분 44초짜리 연속 녹화 한 번에 15회 평가했다. 투명 병이지만 정책이 붓기로 결정하기 전까지 손목 카메라는 액체를 볼 수 없다고 한다.

Table VI. ID = 물 2회, 진한 빨강 1회, 옅은 흰색 1회. OOD = 색 액체 4회 + 쿠스쿠스 1회(곡물을 씻어 낼 수 없어 마지막에 한 번만).

정책	빈 병	ID	OOD	전체
PanoTac	6/6	4/4	5/5	100%

보너스 과제 실행 장면(Fig. 7): 빈 병 버리기, ID·OOD 색 액체 붓기, 쿠스쿠스 붓기.

보너스 과제 연속 녹화(프로젝트 페이지 "Bonus Task").

이 결과는 baseline이 없고 15회라 “일반화”의 증거라기보다 시연이다. 붓기/버리기 결정이 무게로 내려지는 한, 액체 색이 바뀌어도 촉각 신호는 크게 달라지지 않을 것이므로 색 OOD는 vision 쪽 강건성 검사에 가깝다. 쿠스쿠스 1회만 밀도·흐름이 다른 진짜 OOD다.

비판적으로 보면

강점

• 통제가 깔끔한 modality 비교. 같은 시연, 같은 vision encoder, 같은 diffusion backbone, 같은 학습 설정에서 촉각 입력만 바꾼 4개 정책을 비교한다(부록 B). 결과가 “모양 정보”와 “힘 정보”의 기여로 해석 가능한 구조다.
• 단계별 지표와 실패 분석. 완주율만이 아니라 단계별 성공률(도달 조건 없이), 대표 실패 영상까지 공개해 각 baseline이 어디서 무너지는지 보여 준다. 숟가락 방향(좌/우)과 병 조건(소금/빈 병)을 나눠 dense normal의 “빈 병도 붓는” 편향 같은 비대칭이 드러난다.
• 값싸고 단순한 하드웨어. 손끝당 50달러 미만(readout 보드 제외), 3시간 미만 무인 프린팅 + 30분 조립, 공구 없이 교체하는 감지 모듈. 두 기존 센서를 위아래로 포갠 설계라 재현 장벽이 낮다(하드웨어 저장소가 공개되면).
• 자석 배치에 대한 원리적 설명. 2×2 checkerboard의 원거리장 감쇠(r^{-5})를 multipole로 설명하고, 45° 회전으로 채널 포화를 분산하는 등 설계 결정마다 이유를 단다.
• 저자 스스로의 caveat. 그리퍼 compliance가 vision에 무게 단서를 줄 수 있다는 관찰, PanoTac과 sparse의 시험관 차이가 한 번의 성공이라는 언급, 원인 설명에 “may/likely/possibly”를 붙인 서술은 결과를 과장하지 않는다.
• 조작자용 오디오 피드백. 시연 품질을 높이는 실용적 장치로, 촉각 정보를 원격조작자에게 전달하는 값싼 방법을 구체적 매핑(EMA 편차, deadzone, log 압축, 300~1200 Hz)과 함께 적었다.

약점·한계

• “three-axis”의 shear 축이 하중 실험으로 검증되지 않았다. §IV의 모든 실험은 normal 하중이다. 접선 하중에 대한 (x,y) 응답의 방향·크기·선형성, normal-shear 분리 정도를 잰 데이터가 없다. 오히려 Fig. 2(c)는 순수 normal 하중에서도 “shear 응답”이 두 자릿수 오른다는 것을 보여 준다. 제목의 핵심 수식어가 하드웨어 수준에서 검증되지 않은 채, 정책 성능으로만 간접 지지된다.
• 힘으로 보정되지 않는다. 모든 응답이 a.u.이고 신호→힘 변환, 측정 범위 상한, 분해능, 노이즈 바닥이 없다. 정책 학습용 관측으로는 충분할 수 있지만 “force feedback”, “weight cues”라는 표현을 물리량으로 읽으면 안 된다.
• “dense”의 범위가 초록에서 흐려진다. 측정이 dense한 것은 normal의 모양뿐이다. normal 크기는 손끝 전체에 scalar 하나(magnetometer 10개의 \lvert\Delta B_z\rvert 평균)이고, shear 지도는 magnetometer 10개 값의 IDW 보간이다. 방법 절은 이를 정확히 쓰지만, “three components at each taxel”이라는 초록 문구는 taxel마다 3축이 측정되는 것처럼 읽힌다.
• “spatially consistent”는 데이터보다 강한 표현이다. Table II에서 같은 5 N에 대한 그룹 평균은 normal 1.69배, shear 2.46배 차이가 난다. 위치별 gain 보정도 없다. 그룹 안 반복성은 좋지만 위치 간 일관성은 아니다. 게다가 공간 실험은 손으로 눌렀다.
• cross-talk 억제는 모델로만 뒷받침된다. 식 1·2는 idealized point-dipole 전개이고, 맞은편 손끝·이웃 묶음 간 간섭을 실제로 잰 실험이 없다. 강자성 물체·외부 자기장 민감도도 한계로만 언급된다(§VI). 금속 도구나 공구를 다루는 과제는 이번 실험에 없다.
• PanoTac 고유의 기여(공유 격자 fusion)를 분리하는 baseline이 없다. PanoTac 입력의 정보는 dense normal 입력과 sparse three-axis 입력의 합집합 안에 있다. 따라서 “두 원시 입력을 각자 encoder로 처리해 이어 붙인 late fusion” baseline이 있어야, 성능 향상이 두 신호를 다 가진 것에서 오는지 같은 격자에 정렬한 표현에서 오는지 가를 수 있다. 지금의 ablation은 “둘 다 > 하나”만 보여 준다. encoder 출력 차원도 512/128/256으로 다르다.
• 과제별 차이는 작은 표본에 걸려 있다. 과제당 20회, 단일 학습(시드·반복 미보고). 각 과제에서 PanoTac과 최강 촉각 baseline의 차이는 통계적으로 가려지지 않는다(위 표). 전체 비교에서도 sparse three-axis 대비 p≈0.07이다.
• vision only 대비 +46.7%p는 과제 설계가 만든 격차다. 저자는 vision only로 풀 수 없는 touch-centric 과제를 고른다고 명시한다(§II-B). 숟가락 머리가 가려지고 병이 불투명한 과제에서 vision only가 우연 수준인 것은 설계상 기대값이다. 헤드라인 숫자보다 촉각 baseline 간 비교가 이 논문의 실질적 정보다.
• 촉각 baseline 입력의 전처리가 불명확하다. dense normal baseline이 정규화 전 piezo 값을 받는지, 문턱·smoothing을 거친 A를 받는지, sparse baseline의 magnetometer 값이 low-pass·baseline 빼기를 거치는지가 본문에 명확하지 않다.
• 하드웨어 사양 공백과 프로젝트 페이지 수치 불일치. magnetometer 모델, 자석 사양, readout 보드, 비용 내역이 없다. 프로젝트 페이지의 하드웨어 소개는 “Up to 100 Hz”, “$9.4 per sensor”라고 적는데, 논문은 60 Hz 수집, 손끝당 50달러 미만(readout 보드 제외)이다. 두 수치가 무엇을 기준으로 한 값인지(예: 원시 샘플링 상한, 특정 부품 원가) 어느 쪽에도 설명이 없다.
• 두께에 대한 비교가 빠져 있다. §II-A는 광학 센서의 약점으로 광경로가 정하는 최소 두께를 들지만, PanoTac 자신의 접촉 스택도 18 mm다. 비교 대상 광학 센서와의 두께를 수치로 대조하지 않는다.
• 내구성·마모 데이터가 없다. grip tape와 piezo 층이 접촉면에 노출되는데 사용 시간에 따른 응답 변화가 없다. §II-A가 광학 센서의 elastomer 마모를 단점으로 든 만큼, 자기 센서의 마모도 같은 잣대로 보고했어야 한다.
• 코드·하드웨어 미공개. 프로젝트 페이지의 “Method Code”와 “Hardware Repo” 버튼은 누르면 “Coming soon”을 띄운다. 현재로서는 제3자가 IDW 매핑, 노이즈 문턱, encoder 세부를 확인할 수 없다.

관련 연구와의 자리 매김

축	대표 연구	PanoTac과의 관계
piezoresistive 촉각 패드	3D-ViTac, FlexiTac, Touch in the Wild	위층의 직계 조상. 같은 그룹이 dense normal 지도로 visuo-tactile 정책을 만들어 온 흐름에 shear 축을 더한다. 이 논문의 “dense normal” baseline이 곧 이 계열이다
magnetic skin	uSkin, ReSkin·AnySkin, eFlesh, VISK	아래층의 직계 조상. “sparse three-axis” baseline이 이 계열을 대표한다. PanoTac은 magnetometer 수를 늘리지 않고 위층의 모양 정보로 공간 해상도를 보완한다
자기 센서의 외란 대책	Gradiometric Magnetic Force Sensor	외부 자기장 대책을 판독(gradient)·보정에서 푸는 쪽. PanoTac은 자석 배치(checkerboard)로 원거리장을 줄이는 설계 쪽이고, 외부 자기장 내성은 측정하지 않았다
보정된 힘 센서	CoinFT, UMI-FT	신호를 F/T로 보정해 내놓는 쪽. PanoTac은 보정 없이 정책이 원시 응답을 배우게 한다
광학 촉각	GelSight, DIGIT, GelSlim, Durable Tactile Fingertip	접촉 형상은 이미지로 더 촘촘하지만 두께·마모가 단점이라는 것이 저자 입장. PanoTac은 마모·두께에 대한 자기 데이터를 내놓지 않아 이 비교는 아직 서술 수준이다
촉각 표현 학습·modality 재구성	Sparsh, UniTouch(Binding Touch), T3, AnyTouch, Touch2Touch, FELT	저자는 재구성보다 직접 측정을 택하고, 통합 표현 학습은 상보적 연구로 본다. PanoTac은 고정된 수식으로 두 신호를 합치므로 학습 기반 fusion과의 비교가 다음 질문이다
visuo-tactile 정책	Diffusion Policy, Reactive Diffusion Policy, TacFiLM	시각·촉각·proprioception 특징을 이어 붙인 벡터 하나로 U-Net을 FiLM 조건화하는 단순한 통합이다. 사전학습 촉각 표현으로 VLA의 시각 특징을 FiLM 변조하는 TacFiLM과 달리 센서 전용 fusion 모듈이나 사전학습 encoder를 두지 않는다는 것이 저자의 차별점 주장이다

이 논문 뒤에 이어져야 할 실험도 비교적 분명하다. ① 접선 하중 실험으로 (x,y) 응답의 방향·크기·normal 결합을 정량화하기, ② 같은 정책 구조에서 late fusion baseline과 비교해 공유 격자 표현 자체의 기여 분리하기, ③ 손끝 간 거리·강자성 물체에 따른 자기 신호 변화를 재기, ④ 저자들이 한계 절에서 예고한 dexterous hand 손끝과 UMI식 휴대 수집으로 확장하기.

요약

PanoTac은 FlexiTac형 piezoresistive array와 eFlesh/AnySkin형 magnetic elastomer를 한 손끝의 위아래 층으로 통합하고, 두 신호를 같은 12\times32 격자에 투영해 taxel마다 (S^x, S^y, N) 세 응답 성분을 붙인 저가 촉각 손끝이다. normal은 “모양은 piezo, 크기는 자기장 z 평균”, shear는 magnetometer 10개의 IDW 보간으로 만든다. 자석은 2×2 checkerboard를 45° 돌려 배치해 원거리장을 r^{-5}로 줄이도록 설계했다. 같은 시연으로 학습한 정책 4개를 비교하면 PanoTac이 전체 91.7%로 가장 높고, 단일 촉각 baseline(73.3%, 78.3%)은 각자 다른 과제에서 약하다. “모양과 힘이 상보적”이라는 주장은 과제 묶음 전체의 패턴으로 지지된다.

한계도 분명하다. 센서는 힘 단위로 보정되지 않았고, 특성화는 normal 하중만 다뤘으며, shear 채널은 normal 하중에도 크게 반응한다. “dense three-axis”의 dense는 모양에 대해서만 측정이고 나머지는 표현이다. 위치 간 응답 차이는 최대 2.5배이고, cross-talk 억제는 idealized 모델로만 뒷받침된다. 과제별 차이는 20회 시행으로 최강 촉각 baseline과 구별되지 않고, 공유 격자 표현의 고유 기여를 분리하는 late fusion baseline도 없다. 정책 학습용 촉각 관측으로는 설득력 있는 저가 설계이지만, three-axis 힘 센서로서의 성능은 아직 측정되지 않았다고 읽는 것이 정확하다.

이 글에 대해

• 읽은 범위: arXiv v1(2026-11-02) 본문과 부록 A~D를 HTML과 PDF로 읽었고, 표 수치는 PDF에서 확인했다. 프로젝트 페이지 PDF는 arXiv v1과 본문이 같다. 그림 1~7은 arXiv e-print 소스의 원본 그림 파일이고, 그림 8은 프로젝트 페이지의 Fig. 2(b)(c) 판본이다. 영상은 프로젝트 페이지 원본 mp4를 그대로 연결했고, 요약 영상은 프로젝트 페이지의 YouTube 영상이다.
• 공개 범위: 프로젝트 페이지의 “Method Code”와 “Hardware Repo”는 아직 공개되지 않았다(“Coming soon”). 그래서 이 글의 구현 세부는 논문이 서술한 범위로 한정했고, 성공률은 모두 논문이 보고한 값이다.
• 표기: “필자 계산·검산”은 논문의 표·식 값으로 직접 계산한 값(Fisher 정확 검정, Wilson 95% 구간, 그룹 간 배율, 그룹 내 CV, multipole 소거 확인)이다. “그림에서 읽은 근사치”는 Fig. 2(c)의 log-log 곡선에서 눈으로 읽은 값이다. “필자의 해석”으로 표시한 문장은 논문이 직접 주장하지 않은 해석이다. IDW 식은 논문이 수식으로 적지 않아 표준 정의로 옮겼다.