📃RoleOfTouch 리뷰

The Role of Touch: Towards Optimal Tactile Sensing Distribution in Anthropomorphic Hands for Dexterous In-Hand Manipulation

• Paper Link (arXiv:2509.14984v1)

• João Damião Almeida, Egidio Falotico, Cecilia Laschi, José Santos-Victor

• Instituto Superior Técnico (Universidade de Lisboa) · Scuola Superiore Sant’Anna · National University of Singapore, arXiv preprint (cs.RO), 2025

1. 💡 다지 로봇 손의 촉각 센서는 대개 fingertip에만 붙는다. 이 논문은 “손의 어느 부위의 촉각이 in-hand manipulation(IHM)에 실제로 기여하는가”를 묻고, Shadow Hand의 손가락·손바닥을 19개 영역으로 나눠 그 영역들의 촉각 기여를 시뮬레이션으로 비교한다.
2. ⚙️ Isaac Gym Shadow Hand 환경에 19개 영역의 6D force-torque 센서를 붙이고, 5개(또는 fingertip 5개 + 3개) 센서 조합을 Monte Carlo 식으로 수십 가지 바꿔 가며 LSTM-PPO policy를 학습한 뒤, 영역별 평균 성능을 0~1로 정규화한 상대 중요도 지도(Table II)를 만든다. 공 크기(4·7·10 cm)와 형태(ellipsoid·cube)도 바꾼다.
3. 🎯 fingertip 센서는 촉각 없는 베이스라인 대비 연속 성공을 최대 26% 늘리고 수렴을 약 3배 빠르게 했다. upper palm 5곳만으로도 fingertip과 거의 같은 성능(27.87 vs 28.21)을 냈고, 최적 조합은 물체 크기에 따라 크게 달라졌다. 다만 영역 간 차이는 작고(최선/최악 구성 차 18.4%) 반복 실행·분산이 보고되지 않는다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

사람 손은 fingertip뿐 아니라 손가락 마디와 손바닥 전체로 물체를 느낀다. 반면 로봇 손의 촉각은 BioTac·Xela·DIGIT처럼 fingertip에 몰려 있다. 저자들은 “fingertip이 좋은 기본값인 건 맞지만, 그 밖의 영역이 얼마나 기여하는지는 거의 연구되지 않았다”는 공백을 짚고, 이를 시뮬레이션에서 체계적으로 비교한다. 과제는 손바닥을 위로 한 Shadow Hand가 공을 떨어뜨리지 않고 목표 자세로 돌리는 object reorientation이다.

Fig. 1. 사과를 쥔 실제 Shadow Hand(사진 ©ESA)와 시뮬레이션에서 공을 쥔 Shadow Hand 모델. 실험은 모두 아래쪽 시뮬레이션에서 이루어진다.

기존 연구와 다른 점은 비교 단위다. 촉각을 “있다/없다”나 센서 해상도로 비교하지 않고, 손을 사람 해부학에 맞춘 19개 영역(엄지 3곳, 나머지 네 손가락 각 4곳: distal·middle·proximal phalanx + upper palm)으로 나눈 뒤 어느 영역에 센서를 둘지를 변수로 둔다.

핵심 방법론:

policy는 LSTM(입력 뒤에 ReLU 은닉층 하나)이고 PPO로 학습하며, 행동은 현재 관절각 대비 목표 관절각이다. 보상은 다음과 같다.

R = -\alpha d - \beta r - \gamma \lVert \mathbf{a} \rVert^2 + S - F

d는 목표까지의 위치 거리(L2), r는 자세 어긋남, \mathbf{a}는 행동, S와 F는 성공 보너스와 실패(낙하) 페널티다. 성공은 0.1 rad 이내로 자세를 맞추는 것이다. 성능 지표는 OpenAI의 in-hand 연구를 따라 실패 전까지의 연속 성공 횟수를 쓰고, 수렴 속도는 “촉각 없는 베이스라인(B1)의 최종 성능에 도달하는 데 걸린 epoch”로 잰다.

실험은 네 묶음이다. ① fingertip 5개를 middle·proximal·upper palm 줄로 통째로 옮기기(Table I), ② 19곳 중 5곳을 고르는 조합 수십 가지(Table II 1열), ③ fingertip 5개를 고정하고 나머지 14곳 중 3곳 추가(5+3, 2열), ④ 공 크기(10 cm softball·4 cm golf ball)와 형태(ellipsoid·cube) 변경. 각 영역의 점수는 그 영역이 들어간 구성들의 평균 성능이고, 열마다 0(최악)~1(최선)로 정규화한다.

주요 결과:

• fingertip 촉각의 효과(Fig. 3): B1(촉각 없음) 대비 B2(fingertip 5개 6D force-torque)가 연속 성공을 최대 26% 늘리고 수렴을 약 3배 앞당긴다. 그림에서 B1의 최종값은 약 22.3, B2는 Table I 기준 28.21이다.
• fingertip이 아닌 줄(Table I): upper palm 27.87, middle 25.89, proximal 25.77로 모두 B1보다 낫고, upper palm은 fingertip(28.21)과 거의 같다. 수렴 속도 이득은 2.2~3.2배다.
• 영역 중요도(Table II): 5개 센서·tennis ball 조건에서는 엄지 손바닥 부위(THpalm)가 1.000으로 최상, 검지 middle phalanx(FFmid)가 0.000으로 최하다. fingertip을 고정한 5+3 조건에서는 FFmid가 거꾸로 1.000이 된다.
• 물체 크기: 큰 공(10 cm)에서는 엄지·검지·중지가, 작은 공(4 cm)에서는 중지 기저부(MFpalm)가 가장 중요했고, 작은 공의 최고 구성은 손바닥 다섯 곳이었다. 구성에 따른 성능 폭은 큰 공 24.2%, 작은 공 41.9%다.
• 물체 형태(Fig. 7): 모든 형태에서 촉각이 B1보다 낫다. sphere에서 찾은 최고 구성은 cube에서 B2보다 확실히 나았지만(그림 판독 ≈ 11.5 vs 9.6), ellipsoid에서는 B2와 거의 같았다(≈ 15.6 vs 15.5).

결론:

이 논문의 가치는 “fingertip 외의 영역도 비슷한 수준의 정보를 준다(특히 upper palm)”와 “최적 배치는 물체 크기와 센서 개수에 따라 바뀐다”는 두 관찰에 있다. 손 설계자에게 “fingertip에만 투자하지 말고 손바닥 상단을 고려하라”는 실용적인 힌트를 준다. 그러나 영역 간 차이는 수 % 수준인데 반복 실행·시드·분산이 전혀 보고되지 않고, 조건 사이 영역 순위의 상관이 거의 0이어서(필자 계산) 개별 영역의 순위를 설계 지침으로 읽기는 어렵다. 촉각 신호의 시뮬레이션 모델도 상세히 밝히지 않아, 이 결과가 실제 촉각 센서에 얼마나 옮겨질지는 열려 있다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“촉각 센서를 손의 어디에 붙여야 하는가”를 같은 시뮬레이터·같은 policy 구조·같은 과제에서 센서 위치만 바꿔 비교한 연구다. 결과는 두 갈래로 읽힌다. 거시적으로는 분명하다. 촉각은 늘 도움이 되고, fingertip 외에 upper palm도 fingertip에 버금간다. 미시적으로는 흐릿하다. 19개 영역 각각의 순위는 물체 크기·센서 개수가 바뀔 때마다 거의 무작위처럼 뒤섞이고, 그 뒤섞임이 물리적 차이인지 학습 잡음인지 논문만으로는 가를 수 없다. 이 리뷰는 앞의 메시지를 인정하면서, 뒤의 순위표를 어디까지 믿을 수 있는지를 논문의 숫자로 따져 본다.

배경: 왜 “어디에”가 열린 질문인가 (§I·§II)

저자들의 문제의식은 세 가닥이다.

• 생물학적 동기(§II-A). 사람 손은 27 DoF의 근골격계이면서 감각 기관이다. mechanoreceptor 밀도는 fingertip이 가장 높지만, 촉각 장갑 연구(Sundaram et al., 2019 등)는 일상 파지에서 손바닥·마디의 접촉 패턴도 중요함을 보여 준다. 다만 저자들은 “사람 손의 촉각 배치가 IHM에 최적이라는 보장은 없다”고 선을 긋는다. 사람 손은 탐색·의사소통 등 여러 기능을 함께 하기 때문이다.
• 학습 기반 IHM(§II-B). OpenAI의 Shadow Hand 큐브 회전처럼 RL+LSTM+domain randomization 계열은 큰 성과를 냈지만 시각(물체 자세 추정)에 크게 의존해 가림·조명에 약하다.
• 촉각 기반 조작(§II-C). 촉각이 조작을 돕는다는 연구는 많지만 대부분 fingertip만 센서화하고, “어떻게, 어디서” 도움이 되는지는 잘 다루지 않는다. 저자들은 Melnik et al.(2021)이 접촉 수에 따라 손을 매핑한 정도를 예외로 들며, fingertip 밖 영역의 상대적 중요도가 간과돼 왔다고 정리한다.

이 문제를 하드웨어로 풀기는 거의 불가능하다. 센서 배치를 바꿀 때마다 손을 다시 만들어야 하고, 같은 학습 실험을 수십 번 반복해야 한다. 그래서 저자들은 GPU 병렬 시뮬레이터에서 센서 위치만 바꾸는 통제 실험을 택했다.

방법 상세 1: 과제와 지표 (§III-A)

과제는 둥근 물체의 reorientation·repositioning이다. 손이 펴진 채 위를 향한 상태에서 물체를 손 위로 떨어뜨리고, 무작위로 뽑힌 목표 자세·위치로 물체를 옮긴다. 저자들은 기본 물체로 구(sphere)를 골랐다. 형태의 비대칭이 특정 손 부위 사용을 유도할 수 있어서, 가장 대칭적인 형상으로 손 부위들의 참여를 고르게 하려는 의도다. 대신 질량 분포를 불균일하게 하고 질량을 약간씩 바꿔 “촉각으로 알아낼 것”을 만든다.

보상 식 (1)은 위에 적은 대로 거리·자세·행동 크기 페널티에 성공 보너스와 실패 페널티를 더한 형태다. 계수 \alpha,\beta,\gamma와 S,F의 값은 논문에 없다. 성공 판정의 자세 허용치는 0.1 rad이지만, 위치 허용치는 적혀 있지 않다.

지표는 두 가지다.

• 연속 성공 횟수: 떨어뜨리기 전까지 연속으로 맞춘 목표 수(OpenAI et al., 2018 방식).
• 수렴 속도: 어떤 구성이 B1의 최종 성능에 도달하는 데 걸린 epoch를 전체 학습 길이에 대한 비율로 잰다. Table I의 “3.2x” 같은 표기는 이 비율의 역수로 보인다(3000 epoch 중 약 1/3 지점에서 B1 최종값에 도달하면 약 3배).

방법 상세 2: 19개 촉각 영역 (§III-B)

Fig. 2. 왼쪽: 사람 손의 골격과 명명(LF·RF·MF·FF·TH, distal·middle·proximal phalanx, metacarpal). 가운데: 19개 감지 영역의 대략적 윤곽과 중심(노란 점). 오른쪽: 실험에 쓴 구형 물체의 상대 크기(golf ball·tennis ball·softball).

Shadow Hand는 20개 actuated DoF를 갖고, 손가락의 distal phalanx는 middle phalanx와 수동적으로 결합돼 있다. 저자들은 손 표면을 19개 영역으로 나눈다.

손가락	영역	개수
엄지(TH)	distal, proximal, palm(기저부)	3
검지(FF)·중지(MF)·약지(RF)·소지(LF)	distal, middle, proximal, palm(upper palm의 손가락 기저부)	4 × 4 = 16
합계		19

이 분할은 사람 손의 골격·피부 해부학과, 지골과 손바닥 상단을 따로 재는 상용 촉각 장갑(Tekscan Grip System의 18개 영역 등)을 참고했다. 손바닥의 아래쪽(근위·내부)은 센서화하지 않았다고 §VI에서 밝힌다.

센서 모델에 대한 서술은 짧다. 각 영역은 “해당 부위의 부피에 가해지는 평균 3D 힘과 토크”를 재고, “힘은 영역의 중심에서, 토크는 센서의 로컬 좌표계에서” 측정한다. 단일 점이 아니라 영역 전체에 가해지는 힘과 토크를 고려했다는 점을 강조한다. B2 베이스라인은 fingertip 5곳의 6D force-torque를 쓴다.

방법 상세 3: 시뮬레이션과 학습 (§III-C)

항목	값 (논문 보고)
시뮬레이터	NVIDIA Isaac Gym (GPU 병렬)
손 모델	OpenAI Gym robotics의 Shadow Hand 모델(OpenAI et al., 2018에서 보정)
병렬 환경 수	4096
학습 길이	최대 3000 epoch (약 1시간)
policy	LSTM + ReLU 은닉층 1개, PPO
행동	현재 관절각 대비 목표 관절각
촉각 없는 관측(B1)	52차원: fingertip Cartesian 위치, 물체 자세, 목표 대비 상대 자세 등
촉각 관측	센서 수에 맞게 확장, 촉각 없는 B1에는 zero-padding
잡음	물체·fingertip 위치에 Gaussian noise
결과 평활	50 epoch 이동평균

여기서 짚어 둘 점이 있다. B1은 “vision-only”라고 불리지만 카메라 입력이 없다. 잡음이 섞인 물체 자세와 fingertip 위치를 상태 벡터로 받는다. 즉 모든 촉각 구성은 “물체 자세를 이미 아는 policy에 접촉 정보를 더하면 무엇이 좋아지는가”를 재는 것이다. 이 점은 실험 해석 전체에 영향을 주므로 비판 절에서 다시 다룬다.

직관: 촉각은 “물체가 어디 있나”가 아니라 “물체가 손에서 어떻게 움직이려 하나”를 알려 준다

B1이 이미 물체 자세를 안다면 촉각이 더하는 정보는 무엇일까. 이 과제의 물체는 질량 분포가 불균일하고 질량도 조금씩 다르다. 자세 관측만으로는 이런 동역학 성질을 바로 알 수 없지만, 손에 닿는 힘과 토크의 분포는 “지금 물체가 어느 쪽으로 구르려 하는지”를 즉시 드러낸다. 그래서 fingertip 촉각이 최종 성능(+26%)보다 초기 학습 속도(약 3배)에서 더 큰 차이를 낸다는 Fig. 3의 모양이 자연스럽다. 촉각은 policy가 스스로 추정해야 할 숨은 변수의 신호를 직접 넣어 준다.

같은 관점에서 upper palm의 강세도 설명된다. 손바닥이 위를 향한 자세에서 공은 중력 때문에 손바닥 쪽으로 굴러 들어온다. 손바닥 상단은 물체 무게가 실리는 지지면이라 “물체가 지금 어디로 기울었는가”를 가장 꾸준히 받는 자리다. 저자들도 작은 공에서 손바닥이 두드러진 이유를 이 손 자세로 설명하고, 엄지가 공을 손가락 기저부에 대고 굴리는 동작을 관찰했다고 적는다(§V-B). 이 직관은 거꾸로 결과의 일반성에 한계를 긋는다. 손등이 위를 향하거나 중력 방향이 바뀌는 과제라면 같은 순위가 나올 이유가 없다.

실험 1: 촉각 유무 베이스라인 (§IV-A·§IV-B)

Fig. 3. 베이스라인의 연속 성공 학습 곡선. B1은 촉각 없음, B2는 fingertip 센서. 점선은 B1의 최종값(약 22.3)으로, B2는 약 1000 epoch에 이 선을 넘는다.

B2는 B1 대비 연속 성공을 “최대 26%” 늘리고 수렴을 “3배” 앞당긴다. 그림과 표로 검산하면 B2 28.21(Table I) ÷ B1 약 22.3(Fig. 3 점선) ≈ 1.26이고, B2가 점선을 넘는 지점이 약 1000 epoch이므로 3000/1000 = 3배다(그림 판독). Table I의 fingertip 수렴 속도는 3.2x로 적혀 있어 판독값과 약간 다르지만 같은 크기다.

저자들은 관절각·관절 속도를 포함한 다른 관측 공간에서도 실험했고, “촉각을 넣으면 항상 결과가 좋아졌으며, B1 값이 낮은 작고 잡음 많은 관측 공간일수록 이득이 컸다”고 적는다. 이 부분은 수치나 그림이 없다.

실험 2: 센서 줄을 통째로 옮기기 (§IV-C, Table I)

첫 실험은 fingertip 5개를 손가락 아래쪽으로 한 줄씩 옮긴다.

구성 (Exp 1)	distal phalanges (=B2)	middle phalanges	proximal phalanges	upper palm
연속 성공	28.21	25.89	25.77	27.87
수렴 속도	3.2x	2.7x	2.2x	3.1x
fingertip 대비 (필자 계산)	기준	−8.2%	−8.6%	−1.2%
B1(≈22.3) 대비 (필자 계산)	+26%	+16%	+16%	+25%

가장 흥미로운 결과는 upper palm이 fingertip과 거의 같다는 점이다. middle·proximal은 비슷한 수준으로 뒤처진다. 저자들은 “모든 구성이 sample efficiency를 2~3배 높인다”고 정리한다. 엄지는 middle phalanx가 없으므로 “middle 줄”의 엄지 센서가 어디에 놓였는지는 적혀 있지 않다.

실험 3: 5개 센서의 자유 조합 (§IV-C, Table II 1열)

두 번째 실험은 줄 단위 제약을 풀고 19곳 중 5곳을 고르는 조합을 여러 개 시험한다. 조합은 세 조건을 따랐다. ① 모든 영역이 비슷한 횟수로 시험될 것, ② 각 영역이 다양한 다른 센서들과 함께 들어갈 것, ③ 해석하기 쉽도록 기하적 대칭이나 범주(같은 지골, 같은 손가락, 같은 사분면, 대각선)를 따를 것.

Fig. 4. 범주·기하 집합에서 고른 구성 예시 네 가지. 같은 지골 줄(첫째), 같은 손가락(둘째), 같은 “사분면”(셋째), 대각선 배치(넷째).

각 구성의 학습 곡선을 50 epoch 창으로 평활한 뒤, 영역마다 그 영역이 포함된 구성들의 평균 점수를 내고 19개 값을 0~1로 정규화했다. 결과는 Table II 첫 열과 Fig. 5 왼쪽이다. 저자들은 “전체 폭은 최솟값의 18.4%”이고 “최고 구성은 엄지 전체와 약지·중지의 distal phalanx”였다고 보고한다. §IV-F에 따르면 이 최고 구성은 THdis, THprox, THpalm, RFdist, MFdist다.

실험 4: fingertip 너머 (§IV-D, Table II 2열)

fingertip은 정밀 작업에 필수이므로, 현실적 질문은 “fingertip 5개에 더해 어디에 센서를 추가할 것인가”다. 저자들은 센서를 8개로 늘려(로봇 손과 촉각 장갑에서 흔한 개수라고 설명한다) fingertip 5개를 고정하고 나머지 14곳 중 3곳을 바꿔 가며 시험했다. 폭은 최솟값 대비 16.9%였다.

Fig. 5. 영역별 상대 중요도(0: 최소, 1: 최대). 왼쪽은 fingertip을 포함한 5개 센서 조건, 오른쪽은 fingertip 5개를 고정하고 3개를 더한 조건(fingertip은 고정이라 점수 없음, 파란색).

5개 조건과 5+3 조건의 결과가 눈에 띄게 다르다. 5+3에서는 검지 middle phalanx(FFmid)가 최상(1.000)이고, 그다음이 LF 기저부(0.747)와 검지 proximal(0.730)이다. 5개 조건에서 FFmid는 최하(0.000)였다. 최고 구성은 엄지 기저부(THpalm)와 검지·약지의 middle phalanx를 포함했다. 저자들은 이를 “센서 개수가 바뀌면 이전에 유용했던 자리가 더 이상 최적이 아니다”로 해석한다. fingertip이 이미 분산된 접촉점을 확보하면 middle phalanx의 가치가 올라간다는 설명이다(§V-A).

본문은 “FFmid 다음이 그 proximal phalanx와 LF 기저부”라고 적지만 표에서는 LF 기저부(0.747)가 검지 proximal(0.730)보다 약간 높다. 순서를 뜻한 문장이라면 표와 어긋난다.

실험 5: 물체 크기 (§IV-E, Table II 3·4열)

7 cm(tennis ball) 대신 10 cm(softball)와 4 cm(golf ball) 공으로 5개 센서 실험을 반복했다. 밀도를 비슷하게 맞춰 큰 공은 더 무겁고 작은 공은 더 가볍다. 질량 분포는 여전히 불균일하다.

Fig. 6. 물체 크기별 영역 중요도. 왼쪽은 큰 공(softball), 오른쪽은 작은 공(golf ball).

• 큰 공: 많은 영역이 높은 점수를 받았고 TH·FF·MF가 우세했다. 최고 두 구성은 “THdis + 검지 전체”와 “THdis + 중지 전체”였다. 실패율은 약 8%로, 저자들은 “더 무겁고 다루기 어려워서일 것”이라고 추정한다.
• 작은 공: MF 기저부(MFpalm)가 중심이었고, 최고 구성은 손바닥 다섯 곳을 쓴 것이었다. 실패율은 약 4%로 다른 실험과 비슷했다.
• 구성 간 폭은 큰 공 24.2%, 작은 공 41.9%다. 저자들은 “작은 물체일수록 센서 선택의 영향이 크다”고 읽는다.

한 가지 짚을 점이 있다. 작은 공의 최고 구성인 “손바닥 다섯 곳”에는 THpalm이 들어가는데, 같은 열에서 THpalm의 개별 점수는 0.085로 19곳 중 두 번째로 낮다. 개별 영역 평균이 낮은 자리가 최고 구성에 들어가는 현상은 이 실험 전체에서 반복된다(아래 비판 절).

Table II 전체

논문의 영역별 상대 중요도 표를 그대로 옮긴다. -는 fingertip을 고정해 점수를 매기지 않은 칸이다. 마지막 열은 필자가 계산한 행 평균(- 제외)이다.

영역	5 sensors (tennis)	5+3 sensors (tennis)	5 sensors (softball)	5 sensors (golf)	행 평균 (필자 계산)
THdis	0.813	-	0.870	0.477	0.720
THprox	0.391	0.688	0.987	0.457	0.631
THpalm	1.000	0.610	0.421	0.085	0.529
FFdis	0.612	-	0.923	0.219	0.585
FFmid	0.000	1.000	0.892	0.285	0.544
FFprox	0.693	0.730	0.835	0.429	0.672
FFpalm	0.484	0.279	0.573	0.788	0.531
MFdist	0.610	-	1.000	0.430	0.680
MFmid	0.106	0.557	0.869	0.428	0.490
MFprox	0.351	0.645	0.812	0.641	0.612
MFpalm	0.833	0.275	0.550	1.000	0.664
RFdist	0.882	-	0.596	0.000	0.493
RFmid	0.047	0.485	0.331	0.105	0.242
RFprox	0.471	0.208	0.261	0.107	0.262
RFpalm	0.568	0.000	0.000	0.466	0.259
LFdist	0.643	-	0.564	0.141	0.449
LFmid	0.672	0.363	0.534	0.227	0.449
LFprox	0.197	0.575	0.464	0.248	0.371
LFpalm	0.676	0.747	0.203	0.607	0.558

행 평균으로 보면 THdis(0.720), MFdist(0.680), FFprox(0.672), MFpalm(0.664)이 위, RFmid(0.242), RFpalm(0.259), RFprox(0.262)가 아래다. 저자들의 key takeaway(“중지 기저부·엄지 끝·중지 끝이 크기에 걸쳐 꾸준히 긍정적”, “약지 middle phalanx가 평균적으로 최악”)는 이 평균과 맞는다.

실험 6: 물체 형태 (§IV-F, Fig. 7)

마지막으로 tennis ball과 부피가 비슷한 ellipsoid와 cube에서 네 구성을 비교했다. ① B1, ② B2, ③ 실험 3의 최고 구성(THdis, THprox, THpalm, RFdist, MFdist), ④ 실험 3에서 개별 점수가 가장 높은 다섯 영역(THdis, THpalm, FFprox, MFpalm, RFdist). sphere에는 최악 구성도 함께 그렸다.

Fig. 7. 형태별 5개 센서 구성의 연속 성공. sphere·ellipsoid·cube 각각에 B1, (sphere만) 최악 구성, B2, 개별 상위 5개 영역, 최고 구성을 비교한다.

논문은 Fig. 7의 수치를 본문에 쓰지 않는다. 막대 높이를 그림의 눈금으로 환산해 읽으면 다음과 같다(판독값이며 ±0.1 정도의 오차가 있다).

물체	B1	최악 구성	B2 (fingertip)	상위 5개 영역	최고 구성	최고 구성 / B2
sphere	≈22.3	≈24.4	≈28.1	≈28.4	≈28.9	≈+3%
ellipsoid	≈13.7	(없음)	≈15.5	≈16.8	≈15.6	≈+1%
cube	≈5.0	(없음)	≈9.6	≈10.6	≈11.5	≈+20%

저자들의 세 결론, 곧 ① 다른 형태가 더 어렵다, ② 촉각은 모든 경우에 성능을 올린다, ③ sphere의 상위 구성이 다른 형태에서도 B2를 넘는다 중에서 ①과 ②는 그림이 분명히 보여 준다. ③은 cube에서는 맞지만 ellipsoid의 “최고 구성”은 B2와 사실상 같다. ellipsoid에서 B2를 넘는 것은 상위 5개 영역 구성(≈16.8)뿐이다. 또한 B1 대비 B2의 상대 이득은 sphere ≈+26%, ellipsoid ≈+13%, cube ≈+92%로 형태에 따라 크게 달라, fingertip 촉각의 가치는 cube에서 가장 크다(필자 계산).

논의와 결론 (§V·§VI)

저자들의 해석은 손의 기능 해부학과 연결된다.

• 엄지는 넓은 가동 범위(5 DoF 대 3)와 대향 위치 때문에 늘 중요했다. 기저부(중간 크기 공)든 끝(나머지)이든 그렇다.
• 약지와 middle phalanx 일반은 평균적으로 가장 약했다. 소지는 사람 손에서는 약하지만, 로봇 손에서는 손 끝자락의 yaw 움직임 덕분에 의외로 중요할 수 있다고 저자들은 본다.
• fingertip은 경계 지골로서 힘과 물체 위치에 대한 정밀한 정보를 주지만 IHM에서 상대적 중요도는 정밀 파지만큼 압도적이지 않다. proximal·middle phalanx는 힘 분산과 회전·미끄러짐 추적을, 손바닥 상단(특히 엄지 기저부)은 동적 조작의 지지와 연속 접촉을 맡는다.
• 크기와 형태: 작은 물체는 손바닥이, 큰 물체는 분산된 손가락 접촉이 중요했다. 저자들은 사람이 물체를 가장 얇은 축으로 쥔다는 연구(Sartori et al., 2011)를 들어 “최소 축의 크기가 형태보다 촉각 사용에 더 큰 역할을 할 수 있고, 우리 결과가 이를 확인했다”고 쓴다.

§VI에서 저자들은 범위를 스스로 한정한다. 특정 의인형 손, 불균일 질량의 대칭 형상에 대한 reorientation이라는 좁은 설정이고, 시뮬레이션은 실제 센서 잡음과 변형되는 접촉 역학을 추상화한다. sim-to-real은 범위 밖이지만 OpenAI의 설정을 따라 전이를 염두에 두었다고 말한다. 손바닥 근위·내부는 센서화하지 않았고, 오른손만 다뤘으며, 센서 특성(해상도·힘 범위·잡음 내성)은 바꿔 보지 않았다.

비판적으로 보면

강점

• 질문이 구체적이고 실용적이다. “촉각이 도움이 되는가”가 아니라 “어디에 둘 것인가”를 묻고, 그 답을 손 설계자가 바로 쓸 수 있는 형태(영역 지도·추가 센서 우선순위)로 낸다. 비교 단위를 해부학과 상용 촉각 장갑의 영역 분할에 맞춘 것도 결과를 사람 손 데이터와 대조할 수 있게 한다.
• upper palm의 강세는 견고해 보이는 관찰이다. Table I의 줄 단위 비교(27.87 vs 28.21), 작은 공의 최고 구성(손바닥 다섯 곳), 큰 공에서는 이 효과가 약해진다는 대비가 한 방향을 가리킨다. 손바닥이 위를 향한 과제에서 “지지면의 촉각”이 중요하다는 해석도 물리적으로 납득된다. fingertip 일변도의 로봇 손 설계에 대한 유효한 반례다.
• 통제 비교의 틀이 깔끔하다. policy 구조·학습 길이·관측 차원(zero-padding)을 고정하고 센서 위치만 바꾼다. 구성 선택에 “모든 영역이 비슷한 횟수, 다양한 동반 센서”라는 균형 조건을 걸어, 특정 영역이 운 좋은 조합에만 들어가는 편향을 줄이려 했다.
• 음의 결과도 그대로 싣는다. 5+3 조건에서 순위가 뒤집히는 것, ellipsoid에서 최고 구성이 B2와 비슷한 것을 그림에 그대로 남겼다. 다만 본문 결론이 이 그림보다 강하게 쓰여 있다(아래).

약점·한계

• 반복 실행·시드·분산이 전혀 없다. 그런데 영역 간 차이는 몇 % 수준이다. “seed”, 반복 횟수, 신뢰구간, 구성의 총 개수가 논문에 없다(“dozens of configuration variations”가 전부다). 반면 결과의 폭은 작다. 5개 센서 조건의 “전체 폭 18.4%”는 Fig. 7 sphere의 최악 구성(≈24.4)과 최고 구성(≈28.9)의 비(≈1.18)와 일치하므로, 구성 점수 전체가 약 4.5 연속 성공 안에 들어 있다고 읽힌다(필자 판독). 영역 점수는 이 구성 점수들의 평균이라 영역 간 실제 차이는 이보다 더 작을 수밖에 없다. 그 작은 차이를 열마다 0~1로 늘려 놓았으니 0.000과 1.000이 “쓸모없음”과 “핵심”처럼 보이지만, 1회 학습의 시드 변동만으로도 뒤집힐 수 있는 크기일 가능성을 배제할 근거가 논문에 없다. 정규화 전 절대값을 함께 보고했어야 한다.
• 조건 간 영역 순위가 사실상 무상관이다. Table II의 열끼리 Spearman 순위 상관을 계산하면 tennis vs softball −0.11, tennis vs golf −0.03, softball vs golf +0.15이고, 같은 tennis ball에서 5개 vs 5+3(겹치는 14개 영역)도 −0.16이다(필자 계산). 저자들은 이를 “결과가 물체 크기에 따라 크게 바뀌었다”로 해석한다. 하지만 같은 물체에서 센서 3개를 더한 것만으로도 순위 상관이 0 근처라면, 남은 설명은 두 가지다. ① 영역의 가치가 조합에 극도로 의존한다(강한 상호작용), ② 순위의 상당 부분이 학습 잡음이다. 논문은 ①만 이야기하고 ②를 배제하는 실험(같은 구성의 반복 학습)을 하지 않았다. 두 경우 모두 “영역별 순위표를 설계 지침으로 쓴다”는 이 논문의 목표를 약하게 만든다.
• 영역 평균이라는 집계 방식이 상호작용을 지운다. 영역 점수는 “그 영역이 들어간 구성들의 평균”이라 각 영역이 독립적으로 더해진다는 가정에 가깝다. 그런데 논문의 최고 구성들은 개별 점수가 낮은 영역을 반복해서 포함한다. tennis 최고 구성에는 THprox(0.391)가, 5+3 최고 구성에는 RFmid(0.485, 행 평균 최하)가, golf 최고 구성(손바닥 다섯 곳)에는 THpalm(0.085)이 들어간다. Fig. 7에서도 sphere 기준 “최고 구성”과 “개별 상위 5개 영역”의 순위가 ellipsoid에서는 뒤집힌다(≈15.6 vs ≈16.8). 조합 효과가 이만큼 크다면 영역 평균보다 쌍별 상호작용 항을 넣은 회귀(예: 영역 지시변수의 주효과+상호작용 모형)나 Shapley 값 같은 기여 분해가 더 정직한 요약이다. 저자 스스로 “센서 개수가 바뀌면 최적 위치가 바뀐다”고 쓰는 만큼 이 한계는 논문 내부에서 이미 드러난다.
• “최고 구성”의 우위에는 선택 편향이 섞여 있다. sphere의 최고 구성은 수십 개 중 최댓값으로 고른 것이다. 같은 sphere 조건의 Fig. 7에서 B2 대비 우위는 ≈+3%(≈28.9 vs ≈28.1)뿐이고, 재학습 없이 같은 실행을 다시 그린 것이라면 최댓값 선택의 낙관 편향이 그대로 들어 있다. 다른 형태가 사실상 독립 검증인데, 그 검증에서 ellipsoid는 B2와 같고 cube만 우위다. “top sensor configurations on spheres still surpass the fingertip configuration (B2) for other shapes”는 cube 한 건과 ellipsoid의 상위 5개 영역 구성에만 맞는 일반화다.
• 결론의 일부가 실험 범위를 넘는다.
  • key takeaway “약지 middle phalanx가 여러 크기와 형태에 걸쳐 평균적으로 최악”에서, 형태 실험(§IV-F)은 네 구성만 비교했고 영역별 점수가 없다. 형태에 대한 영역 순위 근거는 논문에 없다.
  • §V-B의 “최소 축의 크기가 형태보다 중요하고, 우리 결과가 이를 확인했다”는 문장도 마찬가지다. 크기 실험은 구의 지름만, 형태 실험은 부피가 비슷한 두 형태만 바꿨다. 최소 축 길이를 독립적으로 바꾼 실험은 없다.
  • 초록의 “investigate the relationship between object characteristics and optimal sensor placement”는 구 3종과 비구형 2종(영역 분석 없음)이라는 범위에서 읽어야 한다.
• B1은 물체 자세를 이미 안다. 촉각의 역할이 서론의 동기와 다르다. 서론은 “시각 기반 IHM은 가림과 환경 변화에 취약하다”로 촉각의 필요를 세운다. 그런데 실험의 모든 구성은 잡음 섞인 물체 자세를 관측으로 받는다. 따라서 측정된 것은 “물체 자세 + 촉각 vs 물체 자세”이고, 가림 상황에서 촉각이 자세 정보를 대체할 수 있는가는 시험되지 않았다. 물체 자세를 빼거나 학습 중간에 가리는 조건이 있었다면 영역 순위도 달라졌을 가능성이 크다. 접촉만으로 회전을 배우는 Rotating without Seeing과 대조하면 이 차이가 분명하다. 또한 물체·fingertip 위치에 넣은 Gaussian noise의 크기가 보고되지 않아, “촉각 이득이 B1이 낮은(잡음 많은) 관측 공간에서 더 컸다”는 관찰도 정량적으로 따라갈 수 없다.
• 촉각 신호의 시뮬레이션 모델이 불분명하고, 표준 구현이라면 “접촉”만 재지 않는다. 논문은 센서 구현을 “영역 부피의 평균 3D 힘과 토크, 힘은 중심·토크는 센서 로컬 좌표계”라고만 적는다. 이 문구는 Isaac Gym 문서의 rigid body force sensor 설명(“forces are measured at the body’s center of mass, but torques are measured at the sensor’s local reference frame”)과 거의 같다. 그 표준 센서라면 문서상 두 가지 성질이 따른다(아래는 논문 밖 자료에 근거한 조건부 지적이다).
  • 판독값은 “부모 body가 받는 net force·torque로, 외력·접촉력과 solver 내부력(예: joint drive)을 포함”한다. 즉 손가락 링크의 센서는 접촉뿐 아니라 자기 관절 구동에서 오는 힘도 섞어 읽는다. 공개 IsaacGymEnvs의 Shadow Hand 과제는 fingertip force sensor를 기본 속성으로 만든다. 논문이 ForceSensorProperties로 solver 힘을 껐는지는 적혀 있지 않다.
  • “같은 body에 붙은 두 센서는 같은 힘을 보고하고 토크만 다르다.” 표준 OpenAI Shadow Hand MJCF에서 FF·MF·RF의 upper palm 영역은 하나의 robot0:palm body 위에 있거나, 충돌 형상이 없는 knuckle body에 해당한다(LF는 별도 lfmetacarpal body가 있다). 그렇다면 손바닥 상단 영역들은 공간적으로 분해된 접촉 정보를 주지 못한다.
  저자들이 메시를 영역별로 나누는 등 다른 방식으로 구현했을 수도 있으므로 단정할 수는 없다. 그러나 이 연구의 핵심 변수가 “영역별 촉각”인 만큼, 그 신호가 무엇인지(접촉력만인가, 구동력이 섞이는가, 같은 body 영역끼리 독립인가)는 결과 해석을 좌우한다. 특히 upper palm의 강세가 “지지면 촉각” 때문인지 “손바닥 body의 net force·torque라는 다른 정보” 때문인지 이 서술만으로는 가를 수 없다.
• 재현 정보가 거의 없다. 보상 계수 \alpha,\beta,\gamma,S,F, 위치 성공 허용치, 잡음 크기, PPO 하이퍼파라미터, 시험한 구성 목록과 개수, 형태 실험 물체의 치수가 모두 빠져 있다. B1의 52차원 관측 구성도 분해돼 있지 않다(참고로 공개 IsaacGymEnvs의 Shadow Hand “openai” 관측은 42차원이다). 코드·프로젝트 페이지도 없다. 7쪽 학회 형식의 제약을 감안해도, 핵심 결과가 “수 % 차이의 순위”인 연구에서는 이 정보가 결과 검증의 전부다.
• 평가 프로토콜이 학습 곡선이다. 보고된 점수는 학습 중 연속 성공을 50 epoch 이동평균한 값으로 보인다. 별도의 고정 정책 평가(정해진 에피소드 수, 고정 시드)는 기술돼 있지 않다. 학습 곡선의 끝값은 탐색 잡음과 학습 단계 차이를 함께 담는다.
• 시뮬레이션 전이 논증에 서술 불일치가 있다. §III-C는 시뮬레이터를 Isaac Gym이라 하지만, §VI는 전이 가능성을 말하며 OpenAI와 “같은 시뮬레이션 도구, MuJoCo 모델”을 썼다고 적는다. OpenAI(2018)의 학습은 MuJoCo 시뮬레이터에서 이루어졌다. 여기서 같은 것은 손 asset(MJCF)이고 물리 엔진은 다르다(Isaac Gym은 PhysX). 이 차이는 접촉 힘의 크기와 분포에 직접 영향을 주므로, “OpenAI의 sim-to-real 성공을 계승한다”는 논증의 근거가 약하다. 실기 검증 자체가 없다는 점은 저자도 인정한다.
• 가장 가까운 선행 연구와의 대조가 없다. 같은 질문을 다룬 Guo et al.의 “Learning with Less: Optimizing Tactile Sensor Configurations for Dexterous Manipulation”(arXiv 2409.20473, v2 2025-05)은 손 전체를 덮은 92개 센서를 21개로 줄여도 성공률의 93% 이상을 유지한다고 보고하고(최신 v3 초록에 따르면 손은 Shadow Hand다), 임의 배치의 성공률을 예측하는 회귀 모형까지 제시한다. 이 논문은 그 연구를 “해상도와 binary contact의 영향을 다룬 연구”로 한 번 인용할 뿐, 배치 자체를 다뤘다는 점이나 결과의 차이는 논의하지 않는다. 그러면서 “fingertip 밖 센서의 상대적 중요도가 간과돼 왔다”는 공백을 주장한다. 두 연구의 영역 순위를 대조했다면 이 논문의 결과가 과제·손에 얼마나 의존하는지 가늠할 수 있었을 것이다.

관련 연구와의 자리 매김

OpenAI 계열 in-hand RL. 과제·지표(연속 성공)·손 모델·LSTM-PPO 구조는 OpenAI et al.(2018)의 Shadow Hand reorientation에서 왔다. 이 논문은 그 틀에 영역별 force-torque 관측을 덧붙인 연장선이다. 같은 틀의 sim-to-real 확장인 DeXtreme도 물체 자세 추정에 의존한다는 점에서, 이 논문의 “자세 + 촉각” 설정은 이 계보의 관측 가정을 그대로 물려받았다.

접촉만으로 하는 회전. Rotating without Seeing은 Allegro 손의 손가락 마디·손바닥까지 덮은 저가 binary 접촉 센서만으로 물체를 회전시켰다. 손 전체 커버리지가 중요하다는 문제의식은 이 논문과 같지만, 그쪽은 물체 자세 없이 접촉으로만 회전을 배우고 실기로 옮겼다. 이 논문은 반대로 자세를 주고 영역의 상대 기여를 쪼개 본다. 두 논문을 함께 보면 “센서를 어디에”라는 질문의 답이 “촉각이 무엇을 대신해야 하는가”에 따라 달라질 수 있음을 짐작할 수 있다. 이 논문이 §VI에서 미뤄 둔 “센서 모델 현실성” 문제는 다른 연구들이 서로 다른 방향에서 다룬다. AnyRotate는 fingertip TacTip 촉각을 시뮬레이션해 Allegro 손의 다축 회전을 실기로 옮겼고, PTLD는 아예 촉각을 시뮬레이션하지 않고 물체 pose를 sim-to-real의 다리로 삼아 촉각 policy를 얻는다.

센서 배치의 체계적 비교. Melnik et al.(2021)은 OpenAI Gym Shadow Hand에 MuJoCo 촉각 센서를 붙여 DDPG 기반 in-hand 과제의 sample efficiency 향상을 보였고, Guo et al.(2025)은 92개 센서의 가지치기와 기여 회귀로 배치를 최적화했다. 이 논문은 해부학 기반 19개 영역과 물체 크기·형태 변화를 더했다는 점이 다르다. 이후 Tactile Genesis는 GPU 병렬 촉각 시뮬레이션 플랫폼 위에서 센서 종류·배치·해상도·잡음을 함께 바꿔, “배치가 센서 종류보다 중요하고, fingertip만 덮으면 손 전체 커버리지에 크게 뒤지며, 손바닥과 proximal 지골을 더하면 특권 교사와의 격차 대부분을 메운다”는 결론을 냈다. 손바닥 쪽 촉각의 가치라는 큰 방향은 이 논문의 upper palm 관찰과 같은 쪽을 가리킨다. 다만 Tactile Genesis는 여러 과제·손·센서 추상을 다루고 실물 XHand1 전이까지 확인했으므로, 이 논문의 영역별 순위는 그 결론을 한 과제에서 쪼개 본 초기 시도로 자리매김하는 것이 적절하다(필자 해석).

요약

이 논문은 Isaac Gym의 Shadow Hand에서 19개 해부학적 영역에 force-torque 센서를 두고, 센서 위치만 바꾼 수십 가지 구성으로 공 reorientation policy를 학습해 영역별 촉각 기여를 비교했다. fingertip 촉각은 촉각 없는 베이스라인보다 연속 성공을 26% 늘리고 수렴을 약 3배 앞당겼다. upper palm만으로도 fingertip과 거의 같은 성능을 냈고, 최적 구성은 물체 크기와 센서 개수에 따라 달라졌다. “fingertip만이 답은 아니다”라는 메시지와 손바닥 상단의 가치는 로봇 손 설계에 쓸모 있는 관찰이다.

한계는 순위표의 신뢰도에 있다. 영역 간 차이는 수 % 범위인데 반복 실행과 분산이 없고, 조건 사이 영역 순위의 상관은 0 근처이며, 최고 구성들이 개별 점수가 낮은 영역을 거듭 포함한다. 모든 구성이 물체 자세를 이미 관측하므로 “가림 속에서 촉각이 시각을 대신하는가”는 시험되지 않았고, 촉각 신호의 시뮬레이션 모델은 접촉만을 재는지조차 분명하지 않다. 같은 구성을 여러 시드로 반복한 분산, 정규화 전 절대값, 자세 관측을 뺀 조건, 그리고 센서 모델 명세가 붙는다면 이 영역 지도는 설계 지침으로 쓸 만한 근거를 갖게 될 것이다.

이 글에 대해

• 읽은 범위: arXiv v1(2025-09-18, 7쪽)의 PDF와 HTML. 현재 공개된 판은 v1뿐이다. Table I·II는 논문 값을 그대로 마크다운 표로 옮겼다.
• 공개 범위: 논문에 코드·프로젝트 페이지·영상 링크가 없고, 별도로 공개된 코드나 영상도 찾지 못했다. 따라서 이 리뷰의 모든 결과 수치는 논문이 보고한 값이거나 논문 그림에서 읽은 값이며, 재현 확인은 하지 않았다.
• 표기: “필자 계산”은 논문의 수치로 직접 계산한 값(상대 변화, Table II 행 평균, Spearman 순위 상관)이다. “판독값(≈)”은 Fig. 3·Fig. 7의 눈금으로 읽은 근사치다. Isaac Gym force sensor의 동작, 공개 IsaacGymEnvs Shadow Hand 과제의 구성, OpenAI Shadow Hand MJCF의 body 구조, Guo et al.(2025)의 내용은 논문 밖 자료이며 본문에 조건부로만 썼다.
• 제목: 논문에 약칭이 없어 제목의 앞부분(“The Role of Touch”)을 따 RoleOfTouch로 불렀다.