📃Norm2Tex 리뷰

Norm2Tex: Augmenting Visuo-Tactile Simulations with Texture

• Paper Link (arXiv:2609.25398): v1 (2026-09-21, cs.RO) 기준으로 읽었다.

• Project

• Video (YouTube)

• 코드 미공개 (2026-10-13 확인): 프로젝트 페이지의 “Code” 버튼은 github.com/utn-air/norm2tex를 가리키지만 GitHub 페이지와 API 모두 404다. 본문도 결론에서 “procedural generation pipeline은 게재 승인 후 공개하겠다”고 적는다. 반면 서론의 기여 목록은 “Norm2Tex와 관련 자료를 모두 오픈소스로 공개한다”고 현재형으로 쓴다(아래 약점 절).

• Seongjin Bien*, Débora Oliveira Makowski*, Roberto Calandra, Florian Walter, Wolfram Burgard (*공동 1저자)

• University of Technology Nuremberg · TU Dresden · Deggendorf Institute of Technology, 2026 arXiv preprint (IEEE 학회 템플릿, 게재처 표기 없음)

1. 💡 깊이 맵을 거쳐 촉각 이미지를 그리는 시뮬레이터(Taxim·TACTO 등)는 물체 메시의 큰 형상만 반영해서, 나무결이나 직물 짜임 같은 표면 텍스처가 시뮬 촉각 이미지에서 통째로 빠진다. Norm2Tex는 물체의 UV normal map을 높이 맵으로 바꿔 렌더 직전의 깊이 맵에 더해 주는 plug-in이다.
2. ⚙️ Blender 절차적 재질로 normal map을 만들고, 이를 Frankot–Chellappa 방식의 Fourier Poisson 적분으로 전역 높이 맵 H_\text{global}로 바꾼 뒤, 시뮬레이션 중 접촉 면의 UV 좌표로 잘라낸 H_\text{local}을 H_\text{final} = H_\text{sensor} + \beta H_\text{local}로 더한다. 시뮬레이터의 접촉·렌더 파이프라인은 건드리지 않는다.
3. 🎯 렌더 시간 증가는 Taxim CUDA 1.54%·TACTO CPU 1.70%·Taxim CPU 8.54%(Table I). 시뮬 이미지로만 학습한 5클래스 재질 분류기가 실제 DIGIT에서 72.8%(Table II, 혼동행렬 기준 354/486). 실기 큐브 쥐기 RL에서는 텍스처가 있는 정책만 재질에 따라 다른 행동을 보였다(Fig. 8, 정량 지표 없음).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

DIGIT·GelSight 같은 시각 기반 촉각 센서는 젤이 눌린 모양을 내부 카메라로 찍는다. 그래서 큰 형상(모서리, 곡면)뿐 아니라 나무결·직물 짜임 같은 미세 텍스처까지 이미지에 담긴다. 그런데 이 센서를 시뮬레이션하는 Taxim·TACTO 계열 시뮬레이터는 물체 메시로 접촉 깊이 맵을 계산하고 그 깊이 맵을 그림으로 바꾸기 때문에, 메시에 없는 디테일은 시뮬 이미지에도 없다. 아래 Fig. 1의 가운데 줄처럼 나무·직물·3D 프린트·돌이 Taxim에서는 거의 같은 그림이 된다.

Norm2Tex는 새 시뮬레이터가 아니라 깊이 맵 단계에 끼워 넣는 plug-in이다. 그래픽스에서 저해상도 메시에 미세 음영을 입히려고 쓰는 normal map을 높이 맵으로 되돌린 뒤, 접촉 순간 센서 깊이 맵에 더한다. 학습 기반 sim-to-real 이미지 변환(CycleGAN, diffusion)과 달리 실제 촉각 데이터가 필요 없고, 텍스처가 물체 UV에 고정돼 있어 접촉이 미끄러져도 무늬가 프레임 사이에서 일관되게 움직인다는 점을 저자들은 차별점으로 든다(§II-B).

실제 DIGIT(위)·Taxim(가운데)·Norm2Tex(아래) 촉각 이미지 비교(Fig. 1). 왼쪽부터 나무·직물·3D 프린트·돌이다. Taxim은 재질과 무관하게 같은 그림을 내고, Norm2Tex는 재질별 무늬를 덧입힌다.

저자 공개 영상(YouTube, UTN-AIR 채널).

핵심 방법론:

tangent-space normal map의 RGB \mathbf{c}(x,y)\in[0,1]^3을 \mathbf{n} = (2\mathbf{c}-1)/\lVert 2\mathbf{c}-1\rVert로 단위 법선으로 되돌리면, 법선은 표면 접선 t_x=(1,0,h_x), t_y=(0,1,h_y)의 외적 (-h_x,-h_y,1)에 비례하므로 높이의 기울기를 얻는다.

d_x = -\frac{n_x}{n_z}, \qquad d_y = -\frac{n_y}{n_z}

이 기울기장에 가장 잘 맞는 높이 H를 최소제곱으로 찾으면 이산 Poisson 방정식 \Delta_d H = \nabla_d\cdot\mathbf{d}가 되고, 주기 경계를 가정하면 FFT 한 번으로 풀린다(Frankot–Chellappa). UV island마다 풀어 다시 붙인 결과가 H_\text{global}이다. 시뮬레이션 중에는 접촉 중인 메시 면의 UV 좌표로 H_\text{global}에서 픽셀을 뽑아 H_\text{local}을 만들고,

H_\text{final} = H_\text{sensor} + \beta H_\text{local}

을 시뮬레이터의 원래 렌더러에 넘긴다. \beta는 재질이 얼마나 울퉁불퉁한지를 나타내는 높이 스케일이다(본문 예시 0.5 mm).

주요 결과:

• 연산 비용(Table I, 1,000프레임 평균): Taxim CPU 0.1019 → 0.1106 s(+8.54%), Taxim CUDA 0.0130 → 0.0132 s(+1.54%), TACTO CPU 0.3639 → 0.3701 s(+1.70%). 8개 꼭짓점 상자 메시 하나로 잰 값이다.
• zero-shot 재질 분류(Table II, Fig. 4): Taxim+Norm2Tex로 만든 시뮬 이미지 클래스당 6,000장으로 ResNet-18을 학습하고 실제 DIGIT 이미지에서 시험. 전체 정확도 72.8%, 클래스별 recall은 돌 93.0 / 나무 73.0 / 직물 72.0 / 아크릴 68.5 / 3D 프린트 56.7%. 오류의 41%(132건 중 54건)가 아크릴↔︎3D 프린트 혼동이다.
• 실기 큐브 쥐기 RL(Fig. 8): “떨어뜨리지 않는 한 그리퍼를 최대한 벌려라” 태스크에서 Blind·Taxim 정책은 재질과 무관하게 계속 벌리다 떨어뜨리고, Norm2Tex 정책만 실기에서 재질별로 다르게(나무는 적당히 닫고, 아크릴은 끝까지 닫고, 직물은 넓게 유지) 행동했다. 성공률·보상 같은 정량 지표는 없다.

결론:

메시 해상도를 올리지 않고 깊이 맵 단계에서 텍스처를 주입한다는 발상은 단순하고, 기존 깊이 기반 시뮬레이터에 거의 공짜로 붙는다. 다만 이 논문이 실험으로 보인 것은 “텍스처가 없으면 텍스처로 구분되는 재질을 분류할 수 없다”에 가까운 명제다. 학습 기반 sim-to-real 변환과의 비교, 시뮬↔︎실기 이미지 격차의 직접 측정, RL의 과제 성능 지표가 모두 빠져 있어 “sim-to-real 격차를 메운다”는 주장은 아직 정성적 근거에 머문다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

그래픽스의 normal map은 원래 “기하를 바꾸지 않고 음영만 속이는” 도구다. Norm2Tex는 이것을 거꾸로 쓴다. 촉각 렌더러는 음영이 아니라 깊이를 입력으로 받으니, normal map을 Poisson 적분으로 높이 맵으로 되돌려 접촉 깊이에 더한다. 메시도, 접촉 해석도, 렌더러도 그대로 두고 그 사이 인터페이스 하나만 고치므로 Taxim·TACTO 같은 깊이 기반 시뮬레이터에 플러그인처럼 들어간다. 대가는 그 텍스처가 보이기만 하고 물리에는 참여하지 않는다는 점이다. 마찰도, 젤의 컴플라이언스도, 누르는 힘도 무늬의 깊이에 영향을 주지 않는다.

배경: 시뮬 촉각 이미지에는 왜 텍스처가 없나

서론(§I)의 문제의식은 데이터다. 3인칭 카메라는 에피소드 내내 정보를 주지만 촉각 센서는 접촉했을 때만 정보를 주므로 실데이터 수집이 비싸고, 그래서 시뮬레이터가 필요하다. 기존 촉각 시뮬레이터는 접촉 형상을 얻는 방식에 따라 크게 두 갈래다(§II-A).

• 깊이 맵 기반: GelSight 시뮬레이터(Phong 조명), Taxim(캘리브레이션된 데이터 기반 매핑), TacSL(가상 촉각 카메라 깊이 + 광학 모델), TACTO(깊이 맵을 젤 메시로 바꾸는 인터페이스 포함).
• 엘라스토머 물리 모델 기반: TacIPC·TacFlex·DiffTactile(FEM), Tacchi 계열(MPM). 변형된 표면을 다시 렌더 가능한 표현(Tacchi는 연속 깊이 맵)으로 바꿔 그린다.

어느 쪽이든 접촉 기하는 물체 메시에서 나온다. 그러니 텍스처를 시뮬 이미지에 넣으려면 마이크로미터 단위 디테일을 메시에 직접 새겨야 하고, 이는 모델링 비용과 접촉 계산 비용을 함께 올린다.

다른 해법은 학습 기반 이미지 변환이다(§II-B). Jianu et al.(2022)의 텍스처 생성 네트워크, CycleGAN 기반 sim↔︎real 변환(Chen et al., 2022), 차분 이미지와 힘 정보를 보존하는 SightGAN(Azulay et al., 2024), 접촉 깊이를 조건으로 촉각 이미지를 생성하는 Tactile Diffusion(Higuera et al., 2023), 물체 RGB와 접촉력을 조건으로 하는 diffusion(Lin et al., 2025)이 여기 속한다. 저자들이 이 계열에 대해 드는 한계는 두 가지다.

1. 센서 특성이나 표면 종류가 바뀌면 실제 촉각 데이터를 다시 모아 학습·파인튜닝해야 한다.
2. 이미지 생성은 연속 프레임 사이의 공간 일관성을 보장하지 않는다. 촉각에서는 접촉이 움직일 때 같은 표면 부위가 같은 무늬로 보여야 물체의 상대 운동을 읽을 수 있다.

Norm2Tex는 텍스처를 메시의 UV에 묶인 normal map으로 정의해 두 번째 문제를 구조적으로 피하고, 절차적 재질로 normal map을 만들어 첫 번째 문제를 피한다는 것이 저자들의 포지션이다. 단, 이 두 차별점 중 어느 것도 실험으로 비교되지는 않는다(약점 절).

방법 상세

Norm2Tex 구조(Fig. 2). 왼쪽 오프라인 단계에서 Blender-Python 스크립트가 대상 메시와 절차적 재질로 UV 매핑된 메시와 normal map을 만든다. 오른쪽 런타임에서 초기화 때 전역 높이 맵 H_\text{global}을 한 번 계산하고, 매 스텝 메시 변환으로 접촉 부위를 UV 투영해 H_\text{local}을 잘라 \beta배 하여 센서 깊이 H_\text{sensor}에 더한다.

1단계: normal map에서 기울기로 (§III-A)

tangent-space normal map은 각 텍스처 좌표 (x,y)에 단위 법선을 RGB로 저장한다.

\mathbf{c}(x,y) = (c_x,c_y,c_z)\in[0,1]^3,\qquad \tilde{\mathbf{n}} = 2\mathbf{c}-1,\qquad \mathbf{n} = \frac{\tilde{\mathbf{n}}}{\lVert\tilde{\mathbf{n}}\rVert}

높이 함수 h(x,y)의 접선 t_x=(1,0,h_x), t_y=(0,1,h_y)의 외적은 (-h_x,-h_y,1)이고 이것이 \mathbf{n}에 비례하므로, 성분 비로 기울기를 얻는다.

d_x = -\frac{n_x}{n_z} = h_x, \qquad d_y = -\frac{n_y}{n_z} = h_y

(본문은 h_x, h_y를 “the true, unrecoverable height”라고 부르지만 식에서는 높이의 편미분이다. 표기상의 실수로 보인다.)

2단계: 임의 메시용 절차적 텍스처 (§III-B)

공개 3D 모델은 대개 RGB 텍스처만 있고 normal map이 없다. 게다가 저자들이 원하는 것은 고해상도 메시의 디테일이 아니라 그 메시가 나타내려는 재질의 미세 텍스처(나무결 등)다. 그래서 Blender에서 노이즈와 구조 성분을 조합한 절차적 재질을 만들고, Python 스크립트로 임의 메시에 적용해 RGB 텍스처·normal map·UV 조정된 메시 사본을 내보낸다. 파라미터를 바꾸면 한 재질에서 다양한 변형이 나온다(Fig. 3). 본문은 재질 클래스가 네 가지라고 하고(서론 기여 목록), 프로젝트 페이지는 Fabric·Wood·Acrylic·Rock·3D print 다섯 이름을 나열한다. 아크릴은 사실상 무늬가 없는 매끈한 클래스다.

단일 절차적 재질(fabric)의 파라미터만 바꿔 얻은 네 가지 렌더(Fig. 3). 짜임의 간격·방향·대비가 달라진다.

3단계: Fourier Poisson 적분으로 높이 맵 (§III-C)

normal map은 메시 표면 영역별로 떨어진 UV island로 이뤄져 있으므로 먼저 N개 패치로 나눈다. 패치 p에서 높이 h_{p,i,j}에 대해 유한차분이 기울기와 가장 가깝도록 최소제곱을 푼다.

E(H_p) = \sum_{i,j}\Big[\big(D_x(h_p)-d_{p,x}(i,j)\big)^2 + \big(D_y(h_p)-d_{p,y}(i,j)\big)^2\Big], \quad D_x(h)=h_{i+1,j}-h_{i,j},\; D_y(h)=h_{i,j+1}-h_{i,j}

양자화·필터링·normal map 자체의 불일치 때문에 기울기장이 정확히 적분 가능하지 않을 수 있어서 최소제곱으로 둔다. 각 h_{i,j}에 대한 미분을 0으로 두면 이산 Poisson 방정식이 된다.

\Delta_d H_p = \nabla_d\cdot \mathbf{d}_p

주기 경계 조건에서는 이산 Fourier 기저가 5점 라플라시안을 대각화하므로, 발산을 변환한 \widehat{D}_p(u,v)를 고유값으로 나누기만 하면 된다.

\lambda_p(u,v) = 2\cos\frac{2\pi u}{W_p} + 2\cos\frac{2\pi v}{H_p} - 4,\qquad \widehat{H}_p(u,v) = \frac{\widehat{D}_p(u,v)}{\lambda_p(u,v)}\;\;((u,v)\neq(0,0)),\qquad \widehat{H}_p(0,0)=0

(0,0)에서 고유값이 0인 것은 기울기만으로는 높이가 상수만큼 정해지지 않는다는 뜻이고, 0으로 두어 평균 0 해를 고른다. 역변환한 패치들을 원래 UV 위치에 다시 붙인다. (W_p, H_p의 H_p는 패치 높이(픽셀 수)이고 같은 절에서 패치 높이 맵도 H_p로 쓴다. 기호가 겹친다.)

이 재구성을 두 번 한다. 각 패스 전에 decode한 normal map에 마스크를 고려한 가우시안 필터를 걸고 재정규화한다. 미세 패스(\sigma_\text{fine})는 국소 디테일을 살리고, 거친 패스(\sigma_\text{coarse})는 고주파를 누른다. 두 결과를 섞은 뒤 백분위 기준으로 정규화한다.

H_\text{global} = \text{normalize}\big((1-\alpha)H_\text{fine} + \alpha H_\text{coarse}\big)

정규화 범위는 [0,-1], [-1,1], [0,1] 셋 중 하나를 초기화 때 고른다. 텍스처가 표면에서 재료를 깎아내는지, 더하는지, 양쪽인지를 나타낸다.

4단계: 시뮬레이션 중 질의와 주입 (§III-D)

촉각 시뮬레이터는 H_\text{sensor}를 계산하려고 이미 물체-센서 상대 자세를 알고 있다. Norm2Tex는 이를 재사용한다. 최종 촉각 이미지 해상도와 픽셀당 mm 추정치가 주어지면, 접촉 중인 메시 면의 UV 좌표로 H_\text{global}의 해당 픽셀을 투영해 H_\text{sensor}와 같은 크기·같은 유효 픽셀을 갖는 H_\text{local}을 만든다. 그리고 H_\text{final} = H_\text{sensor} + \beta H_\text{local}을 원래 렌더 파이프라인에 넘긴다.

논문에 적힌 설정값은 아래가 전부다.

항목	값	출처
미세 패스 가우시안 \sigma_\text{fine}	0.35	§III-C
거친 패스 가우시안 \sigma_\text{coarse}	1.1	§III-C
혼합 가중 \alpha	0.2	§III-C
정규화 백분위	0.05th / 99.95th	§III-C
정규화 범위	[0,-1] / [-1,1] / [0,1] 중 선택	§III-C
높이 스케일 \beta	재질의 “울퉁불퉁함”, 예: 0.5 mm	§III-D

재질별 \beta, 정규화 범위 선택, 픽셀당 mm, 텍스처 해상도, Blender 재질 파라미터는 본문에 없다.

직관: 텍스처를 깊이로 바꾼다는 것의 의미

이 방법이 통하는 이유는 깊이 기반 촉각 렌더러의 구조에 있다. Taxim이든 TACTO의 깊이 경로든 “어디가 얼마나 눌렸나”라는 2D 높이장만 받아 빛과 색으로 바꾼다. 렌더러 입장에서는 그 높이장이 메시에서 왔는지, 메시+텍스처에서 왔는지 구분할 수 없다. 그러니 인터페이스에서 높이장만 고쳐도 렌더러가 알아서 텍스처의 음영을 그려 준다. Fig. 1 아래 줄이 그 결과다.

같은 구조가 이 방법의 한계도 정한다. 아래는 논문 밖의 필자 해석이다.

• 텍스처는 물리에 참여하지 않는다. H_\text{local}은 렌더 직전에만 더해지므로 MuJoCo의 접촉 해석, 마찰, 미끄러짐에는 영향이 없다. RL 실험에서 재질별 마찰 차이는 텍스처가 아니라 별도 물리 설정에서 와야 하는데, 논문은 시뮬 마찰 설정을 적지 않는다.
• 젤의 저역 통과 효과가 없다. 실제 엘라스토머는 두께와 강성 때문에 아주 미세한 무늬를 완전히 따라가지 못하고, 누르는 힘에 따라 무늬가 찍히는 정도도 달라진다. \beta H_\text{local}은 힘과 무관하게 같은 진폭으로 더해진다. Fig. 5에서 실제 나무 이미지의 스펙트럼이 저주파에 몰려 있는 것은 이 해석과 맞는다. 저자들은 이를 “현실 세계가 본질적으로 노이즈가 많아서”라고 설명한다.
• 주기 경계 가정. FFT 해법은 각 UV island 패치가 주기적이라고 가정하는데, 실제 island 경계는 주기적이지 않다. 경계 부근 아티팩트를 마스크 고려 필터가 얼마나 줄이는지는 논문이 다루지 않는다.

실험 1: 적용성과 연산 비용 (§IV-A)

MuJoCo에서 8개 꼭짓점 상자 메시와 직물 텍스처로 1,000프레임 평균 렌더 시간을 쟀다. TACTO는 원래 깊이 맵이 필요 없는 경로를 쓰므로 깊이 기반 렌더 경로를 사용했다.

조건	시간 (s)	증가율	필자 환산 FPS
Taxim (CPU)	0.1019		9.8
Taxim + Norm2Tex (CPU)	0.1106	8.54%	9.0
Taxim (CUDA)	0.0130		76.9
Taxim + Norm2Tex (CUDA)	0.0132	1.54%	75.8
TACTO (CPU)	0.3639		2.7
TACTO + Norm2Tex (CPU)	0.3701	1.70%	2.7

Table I 수치. 증가율 세 개는 표의 시간으로 검산하면 모두 맞는다. FPS 열은 1/시간으로 필자가 계산했다.

저자들은 Taxim CPU의 상대적으로 큰 증가를 그림자 후처리 탓으로 돌린다(깊이 맵이 복잡해질수록 비용이 늘어난다). 읽을 때 주의할 점이 셋 있다.

• 오프라인 비용이 빠져 있다. Blender 재질 적용과 두 번의 Poisson 적분은 초기화 때 한 번 하는 일이라 표에 없다. 메시 수천 개를 쓰는 대규모 데이터 생성에서는 이쪽이 지배적일 수 있는데 시간이 보고되지 않았다.
• 가장 가벼운 메시다. UV 질의 비용은 접촉 중인 면의 수에 비례할 텐데, 8개 꼭짓점 상자는 최소 사례다. 복잡한 메시에서의 비용은 측정되지 않았다.
• 1.54%는 반올림 해상도 근처다. 4자리로 반올림된 0.0130과 0.0132의 차이 0.0002 s를 그대로 나눈 값이라, 반올림 구간을 고려하면 실제 증가율은 약 0.8~2.3% 사이 어디든 될 수 있다. 결론(“오버헤드가 작다”)은 바뀌지 않는다. 측정 하드웨어(CPU·GPU 모델)는 본문에 없다.

실험 2: zero-shot 재질 분류 (§IV-B)

셋업

항목	내용
실데이터	DIGIT으로 클래스당 100장 수집(본문). 단 혼동행렬의 행 합은 100/89/100/100/97 = 486장
시뮬 데이터	Taxim + MuJoCo 수집 스크립트, 무작위 위치 접촉 후 작은 국소 운동. 클래스당 6,000장(총 30,000장)
재질 튜닝	실데이터를 보며 Blender 재질 파라미터를 수동 튜닝한 뒤, 다양성을 위해 소폭 변형
모델	ResNet-18(ImageNet 초기화, 8번째 residual block까지 동결) + dropout 붙은 선형 헤드, cross-entropy
전처리	무접촉 배경 이미지를 빼서 센서 개체 차이 흡수
미보고	에폭, 학습률, 배치, 증강, 입력 해상도, 반복 실행 여부

실데이터의 실제 출처는 다음과 같다(§IV-B). 클래스 이름이 본문과 표에서 다르다는 점이 눈에 띈다.

클래스 (본문 / Table II·Fig. 4)	실제 수집 대상
fabric / Fabric	천을 씌운 의자, 테이블 매트
rock / Rock	흔한 조약돌
smooth / Acrylic	도자기 접시, 플라스틱 생수병
3D print / 3D Print	3D 프린트한 큐브 하나
wood / Wood	철물점에서 산 나무 판재 하나

결과

시뮬 데이터로만 학습해 실기에 zero-shot 배포한 분류기의 혼동행렬(왼쪽)과 분류기에 실제로 들어가는 배경 제거 DIGIT 입력(오른쪽)(Fig. 4). 아크릴과 3D 프린트가 서로 크게 섞이고, 직물 23장이 돌로 분류된다.

Table II는 클래스별 “Accuracy”와 Precision을 준다. Fig. 4의 혼동행렬로 직접 다시 계산하면 Table II의 모든 값이 재현된다. 다만 “Accuracy” 열은 실제로는 클래스별 recall이고, 클래스별 표본 수가 같지 않다.

클래스	실데이터 수(행 합)	정답	Recall (= Table II “Accuracy”)	예측 수(열 합)	Precision	F1 (필자 계산)
Fabric	100	72	72.0	78	92.3	80.9
Acrylic	89	61	68.5	92	66.3	67.4
Rock	100	93	93.0	128	72.7	81.6
Wood	100	73	73.0	82	89.0	80.2
3D Print	97	55	56.7	106	51.9	54.2
합계	486	354	72.8(전체 정확도)	486	74.4(macro)

Recall·Precision·합계는 Fig. 4 혼동행렬에서 필자가 재계산한 값이며 Table II와 소수 첫째 자리까지 일치한다. 클래스별 recall의 단순 평균은 72.65%로, 72.8%는 표본 가중 전체 정확도(354/486)다.

전체 정확도 72.8%의 95% Wilson 구간은 대략 68.7~76.6%다(필자 계산, 486장을 독립 표본으로 가정). 5클래스 무작위 추측(20%)이나 최다 클래스 기준선(100/486 ≈ 20.6%)보다 확실히 높다. 저자들의 비교 대상도 이 무작위 추측이 전부다.

오류 132건 중 54건(41%)이 아크릴↔︎3D 프린트 혼동이다. 저자들은 3D 프린트의 무늬가 실기와 시뮬 모두에서 희미하게만 보여서라고 가설을 세운다. 직물→돌 오분류 23건은 표본 물체 표면이 변형 가능해 돌과 비슷한 노이즈 특징을 냈기 때문일 수 있다고 본다. 둘 다 “We hypothesize”·“potentially”로 쓰인 가설이다.

나무 재질의 Norm2Tex(위)와 실제(아래) 촉각 이미지 및 2D Fourier 스펙트럼(Fig. 5). Norm2Tex는 나무결 방향의 뚜렷한 선형 고주파 성분을 갖고, 실제 이미지는 무늬가 희미할 때 저주파가 지배한다.

Fig. 5는 이 논문에서 시뮬↔︎실기 이미지 차이를 직접 보여 주는 유일한 자료다. 저자들도 “테스트한 재질이 실제 시각을 완전히 재현하지는 못한다”고 인정하고, 그럼에도 분류 성능이 나오니 “완벽한 시각 일치가 효과적인 sim-to-real 전이에 꼭 필요하지는 않다”고 결론짓는다. 그러나 이 그림은 나무 한 재질, 세 쌍의 정성 비교다. 스펙트럼 차이를 수치로 요약하거나 다른 재질로 확장한 결과는 없다.

실험 3: zero-shot 실기 RL (§IV-C)

셋업

큐브 쥐기 실험 셋업(Fig. 6). 왼쪽은 MuJoCo의 Franka 시뮬레이션, 가운데는 아크릴(검정)·나무·직물로 감싼 실제 큐브 세 개, 오른쪽은 큐브에 물병을 매달아 쥔 실기 Franka. 측면·손목 카메라는 실험에 쓰지 않는다.

과제는 떨어뜨리지 않는 범위에서 가장 약하게(가장 넓게 벌려) 큐브를 쥐는 것이다. 저자들은 목적이 최적 해제 정책이 아니라 “시뮬 텍스처가 전이 후 closed-loop 행동의 차이를 만드는가”를 보는 것이라고 명시한다. 마찰 계수는 재질에 따라 다르고, 재질은 텍스처로 식별하기 쉽다는 것이 이 과제의 전제다.

항목	내용
행동	정규화 그리퍼 개구(0 = 완전히 닫힘, 1 = 완전히 열림)에 대한 이산 델타: 열기 +0.005 / 닫기 −0.005 / 유지 0
관측	정규화 개구 + 좌우 DIGIT 이미지(배경 제거, ResNet-18 인코더를 분류기 가중치에서 시작해 actor-critic 헤드의 1/10 학습률로 파인튜닝)
알고리즘	PPO(Stable-Baselines3), 128스텝 horizon
초기화	최대 압력으로 쥔 뒤 명령을 0.45~0.55 무작위로 설정, 큐브 무게중심 높이 0~2.5 cm 무작위, 재질당 텍스처 변형 24개를 순환
보상	비종료 상태는 개구의 scaled sigmoid(0.5에서 시작, 0.6에서 중점, 0.7에서 포화). 낙하하면 보상 0으로 종료
실기	같은 무게의 큐브 세 개, 500 ml 물병을 매달아 미끄러짐 유도
비교 정책	Blind(개구만 관측) / Taxim(텍스처 없는 촉각) / Norm2Tex. Taxim과 Norm2Tex는 구조가 같고 촉각 관측만 다르다
경험적 낙하 임계	나무 62.0% / 아크릴 63.5% / 직물 64.5% (Fig. 8 점선)
미보고	총 학습 스텝, 시드 수, 시뮬 재질별 마찰, sigmoid 스케일, 실기 시행 수, 재질별 \beta

결과

시뮬(파랑 점선)·실기(주황 실선) 롤아웃의 그리퍼 개구 궤적(Fig. 8). 행은 Blind·Taxim·Norm2Tex 정책, 열은 나무·아크릴·직물·빈 그리퍼. 점선과 숫자는 경험적으로 정한 낙하 직전 최대 개구다.

본문 서술과 그림을 함께 읽으면 다음과 같다. 아래 표의 시점·개구는 필자가 그림에서 읽은 근사치다.

정책	시뮬레이션	실기
Blind	세 재질 모두 임계선까지 벌리다 종료	세 재질 모두 임계선에서 종료(낙하), 대략 25~60스텝
Taxim	나무는 약 55스텝 안에 모두 종료. 아크릴·직물은 임계선에 붙은 채 종료되거나 일부는 125스텝까지 유지	나무·아크릴은 임계선에서 종료. 직물은 4회 임계선 종료, 1회는 약 55%에서 끝까지 유지
Norm2Tex	나무는 대부분 15~70스텝에 임계선에서 종료, 일부만 약 43%로 내려감. 아크릴은 약 47스텝 안에 모두 임계선에서 종료. 직물은 임계선 근처에서 여러 시점에 종료	나무는 모두 서서히 닫혀 약 30~47%에서 끝까지 유지. 아크릴은 매 스텝 닫아 약 100스텝에 0%. 직물은 2회 임계선 근처 종료, 나머지는 약 27~48%에서 유지
(빈 그리퍼)		세 정책 모두 계속 벌린다(Blind 약 75%, Taxim·Norm2Tex 100%까지)

저자들의 해석은 이렇다. Blind가 계속 벌리는 것은 예상대로다. Taxim은 시뮬에서 가장 높은 직물 임계에 과적합해 재질과 무관한 행동을 학습했다. Norm2Tex는 시뮬에서 나무·직물 롤아웃을 더 오래 유지하고 단일 임계로 수렴하지 않으며, 실기에서 재질별로 다르게 행동하므로 “텍스처가 closed-loop 제어에 전이 가능한 촉각 단서를 준다”. 아크릴에서 크게 닫는 것은 남은 sim-to-real 격차로, 실제 DIGIT의 패드 압축이 만드는 그림자를 Taxim이 모델링하지 않기 때문이라는 가설을 덧붙인다(Fig. 7).

실제 아크릴 상자의 면·모서리 DIGIT 이미지(왼쪽 두 장)와 같은 크기 상자의 텍스처 없는 Taxim 이미지(오른쪽 두 장)(Fig. 7). 실기에는 패드 압축으로 접촉 경계에 넓은 그림자가 생기지만 Taxim은 얇은 윤곽선만 그린다.

프로젝트 페이지는 조건별 실기 롤아웃 영상 한 편씩(총 9편)을 공개한다. 각 영상은 4.3초(128프레임)다. 필자가 프레임을 확인한 결과, 이 9편에서는 Blind·Taxim은 세 재질 모두 물병을 떨어뜨리고, Norm2Tex는 세 재질 모두 끝까지 쥐고 있다. 조건당 한 편이라 대표 사례일 뿐 통계는 아니다.

Wood

Acrylic

Fabric

Blind

Taxim

Norm2Tex

정책(행) × 재질(열) 실기 롤아웃 영상(프로젝트 페이지 원본, 조건당 1편).

비판적으로 보면

강점

• 인터페이스를 정확히 골랐다. 메시·접촉 해석·렌더러를 그대로 두고 깊이 맵 하나만 고치는 설계라 Taxim·TACTO에 실제로 붙였고, 런타임 비용 증가가 1.5~8.5%에 그친다(Table I). 접촉 표면을 깊이 맵으로 노출하는 FEM/MPM 시뮬레이터(Tacchi 등)에도 원리상 같은 자리가 있다.
• 시간 일관성이 구조적으로 보장된다. 텍스처가 UV에 묶여 있으므로 같은 표면 부위는 프레임이 바뀌어도 같은 무늬를 낸다. 이미지 생성 기반 변환이 보장하지 못하는 성질을 설계로 얻는다. 미끄러짐·텍스처 추적처럼 연속 프레임을 쓰는 과제에서 의미가 크다.
• 실데이터 없이 텍스처를 만든다. 절차적 재질은 파라미터로 다양성을 늘릴 수 있고(Fig. 3), 기존 normal map 자산도 바로 쓸 수 있다.
• 수식 전개가 투명하다. normal → 기울기 → 최소제곱 → Poisson → FFT 해법까지 단계마다 식이 있고, 두 스케일 혼합·정규화 설정값도 적혀 있다(구현 코드가 없어도 따라 만들 수 있는 수준).
• 자기 불리한 결과를 숨기지 않는다. Fig. 5에서 실제 스펙트럼이 시뮬과 다르다는 것, 아크릴에서 실기 행동이 시뮬과 어긋난다는 것, 어떤 정책도 빈 그리퍼에서 멈추지 못한다는 것을 그대로 싣는다.

약점·한계

1. 분류 실험에 의미 있는 비교 대상이 없다. 유일한 기준은 무작위 추측(20%)이다. 그런데 Fig. 1이 보여 주듯 텍스처 없는 Taxim은 재질과 무관하게 같은 이미지를 내므로, Taxim만으로 학습한 분류기는 정의상 우연 수준일 것이다. 그러면 이 실험이 보이는 것은 “텍스처를 넣으면 텍스처로 구분되는 클래스를 분류할 수 있다”에 가깝다. 정작 궁금한 질문인 “절차적 normal map이 학습 기반 변환보다 나은가”에는 답하지 않는다. 저자들이 §II-B에서 한계를 지적한 Tactile Diffusion·SightGAN·CycleGAN 계열은 하나도 실험에 등장하지 않는다. 실데이터로 학습한 분류기의 상한도 없다. 같은 DIGIT·배경 제거 전처리로 sim-to-real 표면 분류를 다룬 Sim2Real Bilevel 리뷰의 논문은 시뮬만 학습 34.7%, Tactile Diffusion+DANN 66.6%, 제안법 81.9%를 한 표에 놓았다. 과제가 달라 수치를 직접 비교할 수는 없지만, 그 정도의 기준선 구성이 있었다면 72.8%의 위치를 판단할 수 있었다.
2. 시험 데이터가 시뮬 생성에 관여했다. §IV-B는 “실데이터를 사용해 Blender 재질 파라미터를 수동으로 튜닝”했다고 쓴다. 튜닝에 쓴 실데이터와 분류 시험의 실데이터를 나눴다는 언급은 없다. 사람이 시험 분포를 보며 시뮬 분포를 맞춘 것이므로 “zero-shot”의 의미가 약해지고, 72.8%는 낙관적으로 편향됐을 수 있다. 이 튜닝에 들어간 노력과 시간도 보고되지 않아, 새 재질로 확장할 때의 실제 비용을 알 수 없다.
3. sim-to-real “격차”를 직접 재지 않았다. 초록·서론의 문제 제기는 시뮬과 실제 촉각 데이터 사이의 도메인 격차인데, 이미지 수준 지표(FID·SSIM·스펙트럼 거리 같은 분포 거리)는 하나도 없다. 격차가 줄었다는 근거는 하류 분류 정확도와 Fig. 5의 정성 비교 한 장뿐이다. Fig. 5는 오히려 실제 이미지가 시뮬과 다른 스펙트럼을 갖는다는 것을 보여 준다.
4. 표본이 작고 집계가 정확히 설명되지 않았다.
   • 본문은 클래스당 100장이라 하지만 혼동행렬 합은 486장이다. 아크릴 11장, 3D 프린트 3장이 어디로 갔는지 설명이 없다.
   • Table II의 “Accuracy” 열은 클래스별 recall이다.
   • 소스 물체가 클래스당 한두 개다. 나무는 판재 하나, 3D 프린트는 큐브 하나다. 이 분류기가 재질을 일반화했는지, 그 물체를 알아본 것인지 구분할 수 없다.
   • “Acrylic” 클래스의 실데이터는 도자기 접시와 플라스틱 생수병이다(본문은 이 클래스를 “smooth”로 부른다). 반면 RL 실험의 “acrylic” 큐브는 진짜 아크릴이다. 같은 이름이 서로 다른 물체를 가리킨다.
   • 반복 실행·시드가 없다. 95% 구간 약 ±4%p는 독립 표본을 가정한 하한이다. 같은 물체에서 나온 이미지끼리는 상관돼 있을 것이므로 실제 불확실성은 더 크다.
5. RL 실험에는 과제 성능 지표가 없다. 성공률, 평균 개구, 임계까지의 거리, 누적 보상이 모두 없다. 보고된 것은 “재질에 따라 행동이 다르다”는 정성 관찰이고, 실기 시행 수도 적혀 있지 않다(그림에서 세면 조건당 대략 4~6회). 행동이 다르다는 것과 과제를 잘한다는 것은 다른 명제다.
   • 논문 자신의 보상으로 보면 실기 Norm2Tex는 좋은 정책이 아니다. 보상은 개구에 대한 sigmoid로 “0.5에서 시작해 0.6에서 중점, 0.7에서 포화”된다(스케일은 미보고). 실기 Norm2Tex는 나무에서 약 30~47%, 아크릴에서 0%까지 닫는다. 서술대로 읽으면 0.5 아래 구간의 보상은 하한 근처다. 반면 Blind는 임계 바로 앞까지 벌린 뒤 떨어뜨린다. 과제 정의상 최적 개구에 가장 가까이 간 것은 Blind다(물론 매번 떨어뜨린다). “떨어뜨리지 않았다”는 사실만으로 Norm2Tex의 우위를 주장하려면 낙하 페널티를 포함한 과제 지표가 필요하다.
   • 시뮬과 실기의 행동이 반대 방향이다. Fig. 8에서 시뮬 Norm2Tex는 대부분 임계까지 벌리다 종료되는데, 실기 Norm2Tex는 닫는 쪽으로 움직인다. 저자들은 나무·직물에서 정성적 일치가 가장 강하다고 쓰지만, 그림에서는 시뮬 나무 롤아웃 일부만 아래로 내려간다. 실기의 재질별 행동이 시뮬에서 학습한 재질 단서의 전이인지, 시뮬 분포 밖 실기 이미지에 대한 재질별로 다른 분포 이탈 반응인지 이 실험으로는 가를 수 없다. 저자들 스스로 아크릴은 후자(그림자로 인한 분포 이탈)라고 설명한다. 같은 설명이 다른 재질에는 왜 적용되지 않는지 근거가 없다.
   • 차이를 만들어야 할 신호가 아주 작다. 세 재질의 낙하 임계는 62.0/63.5/64.5%로 전 범위가 2.5%p, 행동 한 스텝(0.5%p) 기준 다섯 스텝이다. 이 차이를 촉각으로 구분하는 것이 과제의 핵심인데, 정책이 이 정밀도로 재질별 임계를 맞추는지는 어느 정책에서도 보이지 않는다.
   • “가장 구별되는 재질”이라는 선택 근거가 Table II와 어긋난다. RL 큐브는 “분류 실험에서 가장 구별 가능한 세 재질”(나무·직물·아크릴)이라고 하지만, Table II의 recall은 돌 93.0, 나무 73.0, 직물 72.0, 아크릴 68.5 순이다. 가장 잘 구별된 돌이 빠지고 4위인 아크릴이 들어갔다. 큐브에 감쌀 수 있는 재질이라는 실용적 이유였을 수 있으나 본문은 그렇게 말하지 않는다.
   • 보상 설계에 대한 설명이 한쪽에만 적용된다. Taxim 정책이 재질 무관 행동을 학습한 이유로 “보상이 큰 개구는 장려하지만 낙하를 벌하지 않는다”는 가설을 든다. 그런데 Norm2Tex도 같은 보상으로 학습했다. 또 낙하 시 보상 0으로 종료되면 이후 받을 양의 보상을 잃으므로 암묵적 페널티는 있다. sigmoid 스케일이 보고되지 않아 그 페널티가 충분했는지 판단할 수 없다.
   • 시뮬 낙하 지점도 실기 임계선과 같은 높이에 찍혀 있다. 시뮬 재질별 마찰을 실기 임계에 맞춰 설정한 것으로 보이지만, 시뮬 마찰 값도 실기 낙하 판정 방식(관찰인지 임계 통과인지)도 본문에 없다.
6. 텍스처 일반화 범위가 좁다. 절차적 재질 패밀리는 직물·나무·돌·3D 프린트(+무늬 없는 아크릴)다. 센서는 DIGIT 하나, 전이 실험에 쓴 시뮬레이터는 Taxim 하나다(TACTO는 연산 시간만 쟀다). FEM/MPM 시뮬레이터 적용은 future work로 남았다. 텍스처가 마찰·접촉 물리에 참여하지 않는다는 구조적 한계(직관 절)도 이 범위를 제한한다. 미끄러짐 시작처럼 텍스처와 마찰이 함께 결정하는 현상은 Norm2Tex만으로는 시뮬레이션되지 않는다.
7. 재현에 필요한 정보와 코드가 부족하다.
   • 서론은 “Norm2Tex와 관련 자료를 모두 오픈소스로 공개한다”고 쓰고, 결론은 “게재 승인 후 공개하겠다”고 쓴다. 프로젝트 페이지의 코드 링크는 2026-10-13 현재 404다. 같은 utn-air 조직에 공개 저장소 mujoco-tacto·mujoco-taxim이 있지만, 논문과 프로젝트 페이지가 가리키지 않으므로 Norm2Tex 구현과의 관계는 확인하지 않았다.
   • 본문에 없는 값: 재질별 \beta와 정규화 범위, 픽셀당 mm, Blender 재질 파라미터, 분류기 학습 설정, PPO 하이퍼파라미터·총 스텝·시드, 시뮬 마찰, 실기 시행 수, 측정 하드웨어.
8. 사소한 표기 불일치. 초록은 “대상 물체의 깊이 맵을 수정한다”, 결론은 “깊이 표현의 normal map을 수정한다”고 하지만, 방법에서 실제로 수정하는 것은 센서 깊이 맵 H_\text{sensor}다. 세 번째 RL 정책을 “visual, tactile, and texture”라고 부르지만 관측에 카메라 이미지는 없다(Fig. 6 캡션도 카메라를 쓰지 않는다고 명시). h_x를 “height”라고 부르는 것, H_p의 이중 사용, “p\in N”(N은 개수)도 같은 부류다.

관련 연구와의 자리 매김

• 깊이 기반 촉각 시뮬레이터 위의 층. Norm2Tex는 TACTO·Taxim처럼 접촉 깊이를 렌더하는 시뮬레이터의 입력을 보강한다. TACTO 저자 Calandra가 공저자이고, 실험 센서도 같은 계보의 DIGIT이다. 깊이 이미지를 촉각 관측의 기본 모달리티로 쓰는 TactileLab 같은 대규모 RL용 스택도, 깊이 맵이 노출된다면 같은 자리에 텍스처를 넣을 수 있다(필자 해석, 논문은 다루지 않음).
• 학습 기반 이미지 변환과의 대비. Sim2Real Bilevel은 라벨 없는 실제 DIGIT 이미지로 학습한 diffusion으로 시뮬 이미지를 실제 스타일로 옮기고 특징 수준 정렬을 더한다. Norm2Tex는 반대로 실데이터 없이 기하에서 텍스처를 만든다. 두 접근은 배타적이지 않다. Norm2Tex로 텍스처를 넣은 시뮬 이미지에 조명·그림자처럼 해석적으로 모델링하기 어려운 성분만 학습 변환으로 보정하는 조합이 자연스럽다. 이 논문이 실패 원인으로 지목한 아크릴 그림자(Fig. 7)가 정확히 그 성분이다.
• 광학 쪽 sim-to-real과의 대비. 미분 가능 경로 추적 리뷰의 논문은 굴절·조명·카메라 자세 같은 광학 요인을 물리 기반 렌더러로 보정한다. Norm2Tex는 기하(표면 미세 형상) 쪽 격차를 다룬다. 실제 촉각 이미지의 격차는 두 축이 섞여 있고, 이 논문의 Fig. 7은 기하를 보강해도 광학(압축 그림자) 격차가 남는다는 사례다.
• 엘라스토머 물리 시뮬레이터. FEM/MPM 계열이나 GNN 기반 변형 촉각 시뮬레이션처럼 젤 변형을 직접 계산하는 방향은 힘에 따른 무늬 깊이, 젤의 저역 통과 효과를 원리상 담을 수 있다. 대신 미세 텍스처까지 메시로 표현하면 비용이 크다. 저자들이 future work로 제시한 FEM/MPM 통합은 이 두 장점을 합치는 시도가 될 것이다.

요약

Norm2Tex는 촉각 시뮬레이션의 깊이 맵 인터페이스에 normal map 유래 높이를 더해, 메시를 고치지 않고 표면 텍스처를 시뮬 촉각 이미지에 넣는다. Frankot–Chellappa 적분과 UV 질의로 구현은 간단하고, Taxim·TACTO에서 런타임 비용은 몇 % 수준이며, 텍스처가 물체에 고정돼 프레임 간 일관성이 보장된다. 실험적으로는 시뮬만으로 학습한 5클래스 재질 분류기가 실제 DIGIT에서 72.8%(354/486)를 냈고, 실기 RL에서 텍스처가 있는 정책만 재질별로 다른 행동을 보였다.

그러나 근거의 종류를 나누면 “텍스처가 없으면 재질을 못 가린다”는 것만 측정됐다. “학습 기반 변환보다 낫다”와 “sim-to-real 격차를 줄였다”는 선언에 머문다. 분류에는 무작위 외의 기준선이 없고 시험 데이터가 시뮬 튜닝에 쓰였다. RL에는 과제 지표가 없고, 시뮬과 실기의 행동이 반대 방향이다. 텍스처가 마찰·젤 물리에 참여하지 않는다는 구조적 한계도 그대로다. 아이디어 자체는 깊이 기반 시뮬레이터를 쓰는 사람이라면 바로 가져다 쓸 만큼 실용적이다. 코드가 공개되고 학습 기반 변환과의 직접 비교가 나오면 이 방법의 진짜 위치가 정해질 것이다.