📃SemanticFeels 리뷰

tactile

dexterity

sdf

semantic-mapping

material-classification

SemanticFeels: Semantic Labeling during In-Hand Manipulation

Published

September 12, 2026

Paper Link (arXiv:2602.14099): v1 (2026-02-15, cs.RO) 기준으로 읽었다.
코드·데이터셋·프로젝트 페이지·영상 공개 없음. arXiv HTML의 외부 링크는 Allegro Hand·RealSense 제품 페이지뿐이고, 웹 검색으로도 프로젝트 페이지를 찾지 못했다(2026-09-28 확인).
Anas Al Shikh Khalil, Haozhi Qi, Roberto Calandra
LASR Lab, TU Dresden · UC Berkeley. arXiv preprint(10쪽, 그림 5장), 게재처 표기 없음

💡 NeuralFeels의 시각·촉각 neural SDF에 재질(material) 라벨 가지를 붙여, 손 안에서 물체를 돌리는 동안 형상과 재질 지도를 함께 만든다.
⚙️ 손끝 Digit 촉각 이미지를 파인튜닝한 EfficientNet-B0로 4종 재질(plastic·metal·fabric·wood)로 분류하고, 그 예측을 SDF 네트워크 옆에 병렬로 붙인 작은 MLP의 cross-entropy 타깃으로 써서 3D 재질장을 학습한다.
🎯 오프라인 테스트 정확도는 98.88%지만, 로봇이 실제로 물체를 돌리는 동안의 센서별 정확도는 재질·손가락에 따라 0.23~1.00으로 흩어지고, 2재질 물체의 재질 지도 일치율은 4회 평균 79.87%다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇이 손 안에서 물체를 다룰 때 “어디에 무엇이 있는가”(자세·형상)를 추정하는 연구는 꽤 쌓였다. NeuralFeels(Suresh et al., Science Robotics 2024)는 RGB-D 카메라와 손끝 촉각 센서를 합쳐, 물체를 돌리는 동안 neural SDF로 형상을 복원하고 자세를 추적했다. 이 논문의 문제의식은 그 다음 단계다. 형상만 알면 부족하고, 그 표면이 어떤 재질인지 같은 의미(semantic) 정보도 같은 지도에 붙어야 조작 전략을 바꿀 수 있다는 것이다.

SemanticFeels는 NeuralFeels를 거의 그대로 두고 두 가지를 더한다. 하나는 촉각 이미지로 재질을 맞히는 분류기, 다른 하나는 그 분류 결과를 3D 공간에 기록하는 재질 가지(material branch)다. 시각은 형상(점군)에만 쓰이고, 재질 판단은 전적으로 촉각이 맡는다.

SemanticFeels 개요(Fig. 1). RGB-D 카메라와 손끝 촉각 센서 4개가 데이터를 모은다. 촉각 이미지는 재질 분류 모델을 거쳐 국소 재질 라벨이 되고, 시각·촉각 깊이에서 얻은 점군과 함께 “형상+재질” neural SDF에 들어가 재질이 색으로 칠해진 3D 형상을 만든다.

핵심 방법론:

NeuralFeels의 SDF 네트워크는 3D 점 \mathbf{x}를 부호 거리 하나로 보낸다. SemanticFeels는 여기에 재질 가지 g_\phi를 병렬로 붙인다.

f_\theta(\mathbf{x}) = \big(\mathrm{SDF}(\mathbf{x}),\; g_\phi([\mathbf{x}\,\|\,\mathbf{z}(\mathbf{x})])\big)

\mathbf{x}\in\mathbb{R}^3: 3D 질의점, \mathrm{SDF}(\mathbf{x})\in\mathbb{R}: 부호 거리
\mathbf{z}(\mathbf{x})\in\mathbb{R}^d: SDF 네트워크 마지막 은닉층의 특징 벡터
g_\phi: [\mathbf{x}\,\|\,\mathbf{z}(\mathbf{x})]\in\mathbb{R}^{3+d}를 4개 재질 클래스 로짓으로 보내는 MLP

재질 가지는 cross-entropy로 학습하고, 타깃 클래스는 촉각 분류기의 예측에서 온다. 즉 분류기가 손끝에서 내린 판단을 neural field가 공간적으로 모아 연속된 재질 영역으로 펴는 구조다.

주요 결과:

오프라인(손으로 모은 데이터셋) 테스트 정확도 98.88%, 센서별로는 약지 99.60% ~ 엄지 97.42%.
단일 재질 물체 실시간 평가(물체당 5회): plastic은 검지·중지 1.00, 약지 0.98이지만 엄지 0.41. metal은 0.32(엄지)~0.74(약지), wood는 0.23(엄지)~0.75(검지).
2재질 물체(plastic+fabric) 4회 조작: 일치율이 시작 43.70~74.26%에서 끝 75.09~85.12%로 올라, 최종값 평균 79.87%(표준편차 4.41%).

결론:

“촉각 재질 분류 + neural SDF 확장”이라는 조합이 실제 로봇에서 끝까지 돈다는 것을 보인 실현 가능성(feasibility) 시연이다. 다만 베이스라인·어블레이션이 하나도 없어서, 재질을 3D 지도에 녹이는 것이 프레임 단위 분류보다 무엇을 더 주는지는 이 논문으로 판단할 수 없다. 오프라인 98.88%와 실시간 단일 재질 평가의 격차(필자가 Fig. 4 값으로 계산하면 16칸 평균 0.68)가 이 시스템의 현재 병목을 가장 정직하게 보여준다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

NeuralFeels의 neural SDF에 4-클래스 재질 헤드를 하나 달고, 손끝 촉각 분류기의 출력을 그 헤드의 정답으로 써서, 손 안에서 도는 물체 위에 재질 지도를 칠한다.

아이디어 자체는 단순하다. Semantic-NeRF 계열이 카메라 라벨로 하던 일을 촉각 라벨로 하고, 장면 대신 손 안의 물체에 적용한 것이다. 이 글에서 볼 것은 그 단순한 조합이 실제 로봇에서 어디까지 되고, 어디서 깨지고, 논문이 무엇을 재지 않았는가다.

배경: 왜 촉각으로, 왜 지도에

논문 서론(§1)의 논리는 세 단계다.

SLAM만으로는 부족하다. 자세 추적과 형상 복원은 “어디에 무엇이 있는가”에 답하지만, 재질·표면 거칠기 같은 의미 특징이 있어야 로봇이 물체 성질에 맞춰 전략을 바꿀 수 있다.
시각은 손 안에서 가려진다. RGB-D 카메라는 전역적인 모양·위치를 주지만, 손가락에 가리거나 조명이 나쁘면 약하다. 반면 Digit 같은 고해상도 비전 기반 촉각 센서는 접촉면의 텍스처·컴플라이언스를 직접 본다.
촉각 재질 분류는 있었지만 in-hand 지도와는 따로 놀았다. NeuralFeels는 시각·촉각으로 형상·자세를 추정하지만 의미 라벨은 없다.

관련 연구(§2)는 두 갈래로 정리된다. 촉각 재질 분류 쪽에서는 GelSight 이미지로 옷감의 두께·보풀·부드러움 등 11가지 속성을 VGG19로 인식한 Yuan et al.(ICRA 2018), 촉각 입력에서 어디·언제를 볼지 학습하는 Spatio-Temporal Attention Model(Cao et al., 2020), Inception-V3로 20 epoch 만에 옷감 분류 95.2%를 보고한 Böhm et al.(ICRA 2024)이 인용된다. 의미 지도 쪽에서는 SIFT/HOG+SVM → FCN·Mask R-CNN → SemanticFusion(McCormac et al.)을 거쳐, NeRF에 의미 라벨을 얹은 In-place scene labelling(Zhi et al., ICCV 2021)과 실시간 대화형 라벨링 iLabel(Zhi et al.)로 이어진다.

저자들이 내세우는 차별점은 두 가지다. 기존 implicit semantic 지도는 시각 입력, 방·건물 규모 장면을 위한 것이고, 이 논문은 희소하고 국소적이며 계속 움직이는 손 안 촉각 입력을 다룬다. 그리고 재질 판단에 시각이 아니라 촉각을 쓴다.

방법 1: 하드웨어 (§3.1)

NeuralFeels의 하드웨어를 거의 그대로 쓴다.

구성	내용
손	Allegro Hand (4손가락, 전류 제어 관절 16개)
촉각	손끝마다 Digit 1개, 총 4개 (thumb·index·middle·ring)
시각	Intel RealSense D435i. NeuralFeels는 front-left·back-right·top-down 3대였지만 이 논문은 front-left 1대로 충분했다고 적는다
카메라 보정	Kalibr로 intrinsic 보정
조작 정책	HORA(Qi et al., CoRL; 논문 인용은 PMLR 2023). 원통형 물체로 시뮬레이션에서만 학습해 실기로 옮긴 proprioception 기반 in-hand 회전 정책

한 가지 짚어 둘 점이 있다. Fig. 2(A)에는 “Intel RealSense D435i (RGB-D) Cameras”라는 라벨로 카메라 여러 대가 표시돼 있는데, 본문은 front-left 1대만 썼다고 한다. 사진은 NeuralFeels 셋업을 그대로 찍은 것으로 보인다. 또 조작 정책 HORA는 촉각을 보지 않는 정책이다. 이 사실이 뒤의 엄지 성능 문제와 이어진다.

하드웨어와 백엔드(Fig. 2). (A) Digit을 손끝에 단 Allegro Hand와 RealSense D435i. (B) 이중 가지 네트워크: 기하 매핑 네트워크(점군 → 부호 거리)의 특징 벡터와 입력 좌표를 합쳐 재질 매핑 네트워크로 넘긴다. (C) 분류기 학습용 재질 샘플(판 형태의 목재·금속·플라스틱·직물 조각). (D) 실시간 실험 물체. 왼쪽부터 직물로 감싼 장난감, 실타래, 나무 캔들 홀더, 스테인리스 셰이커, 플라스틱 장난감, 그리고 직물을 일부 감은 플라스틱 장난감(2재질 물체).

방법 2: 촉각 재질 분류기 (§3.3~3.4)

데이터. Digit 4개(index·middle·ring·thumb)에서 촉각 이미지 20,749장을 모았다. 센서마다 재질별 장수가 같다.

재질	센서 1개당	센서 4개 합(필자 계산)
plastic	1,376	5,504
metal	1,297	5,188
fabric	1,297	5,188
wood	약 1,217	약 4,868
합계	약 5,187	약 20,748 (본문 표기 20,749)

분할은 train/val/test = 70/15/15%다. 합계는 본문의 “approximately 1,217”을 감안하면 20,749와 맞는다. 다만 이 이미지들이 어떻게 모였는지(손으로 샘플을 센서에 눌렀는지, 로봇이 쥐었는지, 연속 프레임인지)는 서술이 없다. “hand-collected”라는 표현과 Fig. 2(C)의 판 형태 샘플로 짐작할 뿐이다. 이 공백은 뒤에서 오프라인 정확도를 해석할 때 중요해진다.

모델과 학습.

항목	값
백본	EfficientNet-B0 (사전학습 가중치에서 파인튜닝)
입력	Digit 이미지를 224×224로 리사이즈
batch / lr / weight decay	32 / 0.0003 / 10^{-5}
early stopping	patience 10 epoch
증강	무작위 회전, 조명 변화
출력	4-클래스 로짓 (plastic·metal·fabric·wood)

배포 시에는 이 분류기가 센서 이미지를 실시간으로 처리한다. 논문은 네 센서가 하나의 분류기를 공유하는지 명시하지 않는다. 데이터를 합쳐 한 번에 나눴고(Fig. 3(A)의 혼동행렬이 네 센서 테스트셋 합계와 맞는다, 아래 참조) epoch 57에서 “best validation”을 하나로 보고하므로 공유 모델로 읽는 것이 자연스럽지만, Fig. 3(B)는 센서별 검증 곡선을 따로 그린다. 공유 모델을 센서별 부분집합으로 평가한 것으로 보인다.

또 하나. 분류기의 출력은 4개 재질뿐이고 “비접촉” 클래스가 없다. 손가락이 물체에서 떨어졌을 때의 Digit 이미지도 넷 중 하나로 분류될 수밖에 없는데, 논문은 접촉 여부로 프레임을 거르는지 밝히지 않는다.

방법 3: 재질을 neural SDF에 싣기 (§3.5)

NeuralFeels의 원래 네트워크는 점군 위치를 1차원 부호 거리로 보내는 fully fused MLP(은닉층 64 × 2, ReLU)이고, 입력은 HashGrid로 인코딩한다. SemanticFeels는 여기에 같은 3D 입력을 받는 두 번째 가지를 병렬로 붙인다.

	기하 가지 (NeuralFeels 원본)	재질 가지 (추가)
입력	3D 점 \mathbf{x}	\mathbf{x} (+ 선택적으로 \mathbf{z}(\mathbf{x}) 연결)
인코딩	HashGrid: 16 레벨, 레벨당 특징 2, 기저 해상도 16, 레벨 간 배율 1.3819, \log_2 해시 크기 24	Spherical harmonics (degree 3)
MLP	은닉층 64 × 2, ReLU	은닉층 64 × 1
출력	부호 거리 1차원	재질 로짓 4차원
손실	NeuralFeels 원 손실	cross-entropy (타깃 = 촉각 분류기 예측)

본문과 그림을 대조하면 두 가지가 모호하다.

특징 연결이 실제 실험에서 켜졌는가. 본문은 “with the option of also concatenating a feature vector”라고 선택 사항으로 쓰지만, 식 (1)과 Fig. 2(B)는 연결을 기본 구조로 그린다. 켰다면 재질 손실의 기울기가 SDF 몸통까지 흘러 형상 품질에 영향을 줄 수 있는데, stop-gradient 여부도, 형상 지표도 보고되지 않는다.
위치 입력에 spherical harmonics 인코딩. SH는 보통 방향(단위 벡터)을 인코딩하는 데 쓴다. 3D 위치에 degree 3 SH를 쓴 이유나 정규화 방식은 설명이 없다. 원문 그대로 옮겨 둔다.

가장 큰 공백은 라벨이 3D 점에 어떻게 붙는가다. 본문은 “target classes are derived from the material classification task”라고만 한다. Fig. 1의 흐름으로 보면 각 Digit의 촉각 깊이에서 나온 점들에 그 센서의 예측 클래스를 붙이는 것이 자연스럽지만, 시각 점군에도 라벨을 붙이는지, 여러 프레임의 예측을 어떻게 누적·가중하는지, 확신도가 낮은 예측을 거르는지는 적혀 있지 않다. NeuralFeels가 SLAM 모드(형상·자세 동시 추정)로 돌았는지 알려진 자세를 썼는지도 명시되지 않는다.

직관: neural field가 “투표함” 역할을 한다

이 설계가 왜 말이 되는지는 논문이 Zhi et al.(In-place scene labelling)을 소개하며 쓴 성질, 즉 implicit 표현에서 희소 라벨이 다시점 일관성과 매끄러움을 따라 퍼진다는 점으로 설명된다. 프레임 단위 분류기는 매 순간 틀릴 수 있다. 하지만 같은 표면 부근의 점들이 여러 번 만져지면, 그 예측들이 하나의 연속 함수에 맞춰지면서 사실상 공간적인 다수결이 된다. MLP의 매끄러움이 잡음 라벨을 평균 내는 정규화로 작동하는 것이다. 논문 초록이 말하는 “continuous material regions”가 이 효과다.

같은 성질이 반대 방향으로도 작동한다. 네트워크는 만져지지 않은 곳에도 어떤 클래스든 출력한다. “모름”을 표현할 클래스나 불확실도가 없기 때문이다. Fig. 5(B)의 예측 지도는 표면 전체가 빨강·파랑으로 칠해져 있는데, 그중 촉각이 실제로 닿은 곳이 어디인지는 그림에서 구분되지 않는다. 채점은 정답 지도의 검은 영역(“not under study”)을 빼고 하므로, 촉각이 닿지 않은 면에 네트워크가 무엇을 채웠는지는 평가 밖에 있다.

정리하면 이 지도는 “관측의 누적”과 “보간·외삽”이 섞인 결과물이다. 앞의 것은 이 설계의 장점이고, 뒤의 것은 아직 측정되지 않은 위험이다.

실험 1: 오프라인 분류기 (§4.1)

오프라인 데이터셋에서는 거의 완벽하다.

최고 검증 정확도 99.04% (epoch 57), 최종 train/val 99.15% / 98.62%
테스트 전체 98.88%, 센서별로 약지 99.60%(최고)·엄지 97.42%(최저)

오프라인 데이터셋 성능(Fig. 3). (A) 4재질 혼동행렬. (B) 센서별 검증 정확도 곡선. 약 67 epoch에서 끝나는 것은 epoch 57 최고점 뒤 patience 10의 early stopping과 맞는다.

혼동행렬(Fig. 3(A))의 칸 값을 옮기면 다음과 같다.

정답 \ 예측	Plastic	Metal	Fabric	Wood	행 합	재현율(필자 계산)
Plastic	849	1	0	5	855	99.30%
Metal	6	716	3	0	725	98.76%
Fabric	0	6	790	7	803	98.38%
Wood	3	0	4	723	730	99.04%

검산해 보면 합계 3,113장은 20,749장의 15%(3,112)와 맞고, 정답 3,078/3,113 = 98.876%로 본문의 98.88%가 정확히 재현된다. 즉 이 행렬은 네 센서 테스트셋을 합친 것이다.

실험 2: 단일 재질 물체, 실시간 (§4.2)

여기서 그림이 바뀐다. 로봇이 HORA로 물체를 돌리는 동안 각 Digit의 분류 정확도를 쟀다. 물체는 Fig. 2(D)의 것들이고, 물체당 5회다.

실시간 로봇 수집 데이터에서의 재질 분류(Fig. 4). (A) 센서×재질별 평균 정확도 히트맵. (B) 같은 값의 막대그래프와 오차막대. 점은 개별 시행으로 보인다.

Fig. 4(A)의 라벨 값을 표로 옮기고, 행·열 평균을 더했다(평균은 논문에 없는 필자 계산이다).

재질 \ 센서	Thumb	Index	Middle	Ring	재질 평균
Fabric	0.83	0.80	0.68	0.95	0.815
Metal	0.32	0.66	0.57	0.74	0.573
Plastic	0.41	1.00	1.00	0.98	0.848
Wood	0.23	0.75	0.30	0.73	0.503
센서 평균	0.448	0.803	0.638	0.850	0.684 (16칸)

읽을 거리가 세 가지 있다.

① 오프라인 → 실시간 격차가 크다. 오프라인 98.88%가 실시간에서는 16칸 평균 0.684가 된다. 가장 극적인 것은 엄지다. 엄지는 오프라인에서 97.42%였는데 실시간 평균은 0.448이다. 센서 자체가 나쁘지 않다는 것은 오프라인 수치가 보여주므로, 떨어진 원인은 센서를 어떻게 쓰느냐, 즉 조작 중 접촉 조건이나 학습 샘플(판 조각)과 실제 물체 사이의 차이 쪽에 있다. 논문은 이 격차를 수치로 요약하지 않고, 향후 과제에서 “offline training과 real-time deployment 사이의 성능 격차”를 줄일 온라인 학습·도메인 적응을 언급하는 데 그친다.

② 저자의 설명은 가설이다. 엄지가 약한 이유를 논문은 HORA 정책이 엄지의 접촉을 덜 단단하고 일정하지 않게 만들어 텍스처 정보가 부족한 촉각 이미지가 나오기 때문이라고 본다. 약지·검지는 물체가 미끄러지지 않게 항상 단단히 접촉한다는 것이다. 원문은 “The reason could be due to the manipulation policy”라고 추측형으로 쓴다. 접촉 품질(접촉 면적, 압입 깊이, 접촉 프레임 비율)을 따로 측정한 결과는 없다. 그럴듯하지만 검증되지 않은 설명이다.

③ 본문 서술과 그림 라벨이 어긋난다. 본문은 “The ring sensor consistently delivered the best results, including 99%+ accuracy for both plastic and fabric”이라고 쓰는데, Fig. 4(A)의 약지 값은 plastic 0.98, fabric 0.95다. 같은 절의 다음 문단은 fabric 약지를 “95%”라고 다시 써서 스스로 어긋난다. “consistently best”도 범위가 넓다. 약지가 최고인 칸은 fabric·metal 두 개이고, plastic은 검지·중지(1.00), wood는 검지(0.75)가 약지보다 높다. 센서 평균으로는 약지가 0.850으로 최고가 맞다. 나머지 본문 수치(metal 32~74%, wood 23~75%, fabric 약지 95%·엄지 83%)는 그림과 일치한다.

해석에서 조심할 점이 하나 더 있다. 재질마다 물체가 사실상 하나다(fabric은 직물 장난감과 실타래 두 개일 수도 있지만 논문은 물체↔︎재질 대응을 명시하지 않는다). 그래서 “wood가 어렵다”는 결과는 나무라는 재질이 어려운 것인지, 그 캔들 홀더의 형상이 HORA 회전 중 접촉을 나쁘게 만드는 것인지 분리되지 않는다. 또 “정확도”가 프레임 단위 비율인지, 비접촉 프레임이 포함되는지도 정의되지 않았다.

실험 3: 2재질 물체의 재질 지도 (§4.3)

마지막 실험이 이 논문의 핵심 주장, 즉 재질이 3D 지도에 실린다를 검증한다. plastic 장난감에 직물을 일부 감은 물체를 HORA로 4회 돌리며, 몇 스텝마다 재질 지도를 만들어 정답 지도와 비교한다. 정답 지도에서 “연구 대상이 아닌 영역”은 검게 칠해 채점에서 뺀다.

2재질 물체 실시간 평가(Fig. 5). (A) 4회 시행의 시간에 따른 일치율과 평균(검정), 음영은 산포. (B) 정답 지도(검정 = 평가 제외 영역), 예측 지도, 차이 마스크 두 예시. 색은 Fig. 1 범례를 따라 빨강 = fabric, 파랑 = plastic. (C) 한 시행에서 예측 지도가 시간에 따라 바뀌는 모습(2.060 s ~ 30.056 s).

시행	시작	끝	변화
Run 1	43.70%	75.09%	+31.39
Run 2	43.93%	83.32%	+39.39
Run 3	47.85%	75.93%	+28.08
Run 4	74.26%	85.12%	+10.86
평균 (끝값)		79.87%	σ = 4.41%

검산하면 네 끝값의 평균은 79.865% → 79.87%로 맞고, 4.41%는 모집단 표준편차(ddof=0)다. 표본 표준편차로 계산하면 5.09%다. 헤드라인 79.87%는 “30초 전체에 걸친 평균 일치율”이 아니라 각 시행 마지막 시점 값의 평균이라는 점을 기억해 둘 필요가 있다.

그림 Fig. 5(A)를 직접 읽으면 본문의 “consistent improvements across processing stages”보다 복잡한 모양이 보인다.

평균 곡선(검정)은 시작 약 41%에서 1초 무렵 약 74%로 튀었다가, 2~3초에 약 55%로 떨어지고, 13~14초에 다시 약 57%로 꺼진 뒤, 끝에서 약 79%에 이른다(그림 판독값). 단조 증가가 아니다.
Run 1(파랑)은 25초 무렵 약 92%까지 올랐다가 끝에서 약 75%로 내려온다. 끝값이 최고값이 아닌 시행이 있다.
본문의 시작값(Run 3 = 47.85%, Run 4 = 74.26%)은 그림의 첫 점과 바로 대응되지 않는다. 그림에서 Run 3(초록)은 0% 근처, Run 4(빨강)는 약 83%에서 출발하는 것으로 보인다. 본문이 말하는 “시작”이 어느 처리 단계인지 정의가 없어서, 필자의 판독 오차인지 정의 차이인지 가를 수 없다.

더 근본적인 질문은 이 지표가 얼마나 어려운가다. Fig. 5(B)의 정답 지도는 위쪽(초록 plastic 머리 부분으로 보인다)이 검게 제외돼 있고, 남은 관심 영역은 대부분 빨강(fabric)이다. 그림에 보이는 면만 놓고 필자가 픽셀을 세어 보면 정답 관심 영역의 약 96%가 빨강이었다(위 예시 기준, 한 시점·한 면의 판독이라 전체 표면의 비율은 알 수 없다). 만약 관심 영역 전체에서도 fabric이 이 정도로 우세하다면, 모든 곳을 fabric으로 칠하는 자명한 지도가 이미 높은 일치율을 받는다. 논문에는 이런 기준선도, 관심 영역의 클래스 비율도, 정답 지도를 어떻게 만들었는지(수작업 주석인지 등)도 없다. 그래서 79.87%의 의미를 절대적으로 평가하기 어렵다.

저자들은 변동의 원인으로 분류기의 불완전함, 조작 중 계속되는 물체 운동, 불안정한 접촉에 따른 촉각의 한계를 든다.

비판적으로 보면

논문의 주장을 근거의 종류로 나누면 다음과 같다.

주장	근거의 종류	비고
오프라인 재질 분류 98.88%	측정	혼동행렬로 검산 일치. 데이터 수집·분할 방식은 미서술
실시간 단일 재질 분류	측정	물체당 5회, 재질당 물체 사실상 1개
재질 지도 일치율 79.87%	측정	1개 물체, 4회, 끝값 평균. 기준선 없음
지도가 시간에 따라 “일관되게” 향상	측정 + 과장된 서술	끝값은 올랐지만 곡선은 비단조
엄지 저성능 = HORA 접촉 문제	가설	원문 “could be”. 접촉 품질 미측정
SDF에 녹이면 재질 인식이 좋아진다	선언 (암묵적)	프레임 단위 분류 대비 비교 없음
실시간(real-time)	선언	처리 속도·지연·지도 갱신 주기 수치 없음
시각과 촉각에서(from vision and touch)	부분적	시각은 형상에만, 재질은 촉각 전용. 한계 절은 “tactile input에 한정”이라 씀

강점

문제 설정이 자연스럽고 계보가 분명하다. NeuralFeels(Qi·Calandra 공저)와 HORA(Qi 1저자)를 만든 사람들이 자기 시스템에 의미 층을 얹는 작업이라, 하드웨어·정책·SDF 백엔드가 이미 검증된 위에 올라간다. “형상 지도에 촉각 의미 라벨을 싣는다”는 방향은 in-hand 인지에서 비어 있던 자리이고, 논문은 그 자리를 처음으로 실제 로봇에서 끝까지 채워 보였다.
확장이 최소 침습적이다. 기하 가지는 그대로 두고 병렬 가지 하나(은닉층 64 × 1)만 붙인다. 형상 파이프라인을 다시 짜지 않고 의미 채널을 추가하는 방식이라, 재질 외의 다른 촉각 속성(거칠기, 강성)으로 바꿔 끼우기 쉽다.
불리한 결과를 숨기지 않는다. 엄지 0.23~0.41, wood·metal의 낮은 정확도, 오차막대, 시행별 곡선을 모두 싣는다. 한계 절도 정책의 접촉 불안정, 4재질 한정, 촉각의 접촉각·압력 민감성, 비적응 정책, 단일 모달리티를 스스로 적는다.
재현 가능한 수치 일부가 정확하다. 혼동행렬 → 98.88%, 끝값 → 79.87%·4.41%가 산술로 맞는다. 짧은 논문이지만 옮겨 적은 수치의 내부 일관성은 좋다(아래의 본문-그림 불일치 한 건 제외).

약점·한계

베이스라인과 어블레이션이 하나도 없다. 이것이 가장 큰 약점이다. 이 논문의 기여는 “재질을 neural SDF에 싣는다”인데, 그 효과를 보일 가장 기본적인 비교, 즉 같은 시행에서 프레임 단위 분류를 그대로 투영한 지도 대 neural field로 모은 지도가 없다. 시각 기반 재질 분류, 다수 클래스 지도, 특징 연결 유무, SH 인코딩 대 HashGrid 같은 비교도 없다. 그래서 79.87%가 방법의 기여인지, 물체와 관심 영역의 성질인지 가를 수 없다.
평가 지표의 난이도가 불명이다. 정답 지도의 작성 방법, 관심 영역의 정의와 클래스 비율이 없다. 그림에 보이는 면에서는 관심 영역 대부분이 fabric으로 보여, 자명한 지도의 점수를 함께 보고했어야 한다.
실험 규모가 작다. 2재질 실험은 물체 1개·4회·30초다. 단일 재질 실험은 물체당 5회이고 재질당 물체가 사실상 하나라 재질 효과와 물체 형상 효과가 섞인다. 4회에서 구한 σ = 4.41%로는 신뢰구간을 논하기 어렵다.
오프라인 98.88%의 해석이 어렵다. 데이터 수집 절차가 없고, 무작위 70/15/15 분할이다. 만약 연속 프레임을 모은 것이라면 거의 같은 이미지가 train과 test에 함께 들어가 오프라인 수치가 낙관적으로 부풀 수 있다. 판 조각 샘플(Fig. 2(C))로 학습해 3D 물체에서 평가하는 도메인 차이도 있다. 실시간 평균 0.684와의 약 30%p 격차는 이 두 요인과 접촉 문제가 섞인 결과로 보이지만, 논문 안에서 분리되지 않는다.
방법 서술의 공백이 재현을 막는다. 라벨을 3D 점에 붙이는 규칙, 비접촉 프레임 처리(“no contact” 클래스 없음), 프레임 간 누적·확신도 처리, 특징 연결 사용 여부와 기울기 흐름, SLAM 모드인지 알려진 자세인지, 지도 갱신 주기, 연산 시간이 모두 빠져 있다. 코드도 공개되지 않아 이 빈칸을 채울 경로가 없다.
형상 품질을 보고하지 않는다. 재질 가지가 SDF 특징을 공유한다면 형상 복원에 영향이 있을 수 있는데, NeuralFeels가 보고하던 형상·자세 지표가 하나도 없다. “형상과 재질을 함께 예측한다”는 주장의 절반이 측정되지 않았다.
“real-time”은 측정되지 않았다. 본문 전체에 Hz·ms·지연 수치가 없다. 분류기와 두 가지 SDF를 동시에 온라인 학습하는 비용이 얼마인지 알 수 없다.
표현의 일관성 문제. 초록은 “from vision and touch”라 하고 한계 절은 “This work is limited to tactile input”이라 한다(재질은 촉각 전용, 형상은 시각·촉각이라 읽으면 모순은 아니지만 독자가 헷갈린다). §4.2의 “99%+ for both plastic and fabric”은 자기 그림(0.98, 0.95)과 다르다. 사소하지만 소속 표기 “UC Berkely”도 오타다.

요약

SemanticFeels는 NeuralFeels의 neural SDF에 재질 가지 하나를 병렬로 붙이고, 손끝 Digit 이미지를 EfficientNet-B0로 분류한 결과를 그 가지의 정답으로 써서 손 안에서 도는 물체 위에 재질 지도를 칠한다. 오프라인 분류는 98.88%로 거의 완벽하고, 2재질 물체의 재질 지도는 30초 조작 뒤 평균 79.87%의 일치율에 도달한다. 촉각 의미 라벨을 in-hand 형상 지도에 싣는 파이프라인이 실제 로봇에서 끝까지 돈다는 것을 처음 보였다는 점이 이 논문의 기여다.

동시에 이 논문은 시연이지 검증이 아니다. 베이스라인도 어블레이션도 없어서 “지도에 녹이는 것”의 이득이 측정되지 않았고, 채점 영역의 클래스 비율이 공개되지 않아 79.87%의 난이도도 알 수 없다. 실시간 단일 재질 평가에서 정확도가 16칸 평균 0.684로 떨어지고 엄지는 0.448까지 내려간다는 사실은 이 시스템의 진짜 병목이 분류기 성능이 아니라 조작 중 접촉의 질임을 가리킨다. 저자들도 같은 결론에 가깝게 향후 과제를 적는다. 그렇다면 다음 버전에서 기대할 것은 더 좋은 분류기보다 세 가지다. 인지를 위해 접촉을 고르는 정책, 비접촉과 불확실도를 표현하는 지도, 그리고 프레임 단위 분류 대비 지도의 이득을 재는 한 줄짜리 비교다.