📃NLiPsCalib

An Efficient Calibration Framework for High-Fidelity 3D Reconstruction of Curved Visuotactile Sensors

• Paper

1. 💡 NLiPsCalib은 기존 곡면 시각촉각 센서 캘리브레이션의 복잡성과 고비용 문제를 해결하고자, Near-Light Photometric Stereo (NLiPs) 모델을 활용하여 일상 물체와의 간단한 접촉만으로 고정밀 3D 재구성을 위한 캘리브레이션 데이터를 생성합니다.
2. 🛠️ 이 프레임워크는 센서 내부의 다중 광원에서 획득한 물리 기반 데이터를 통해 외부 특수 장비 없이 표면 노멀을 정밀하게 추정하며, NLiPsTac이라는 새로운 센서 하드웨어를 통해 이를 검증했습니다.
3. 🚀 NLiPsCalib으로 구축된 데이터셋은 경량 NLiPsNet의 실시간 노멀 추정 학습에 사용되어, 다양한 곡면 형태와 미지의 물체에 대해서도 높은 정확도와 일반화 성능을 입증하며 캘리브레이션의 효율성과 접근성을 크게 향상시켰습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 곡면 시각촉각 센서(curved visuotactile sensors)의 고충실도(high-fidelity) 3D 재구성을 위한 효율적인 캘리브레이션(calibration) 프레임워크인 NLiPsCalib를 제안합니다. 기존의 곡면 시각촉각 센서는 비균일한 조명(non-uniform illumination) 문제로 인해 재구성 정확도가 저하되고 캘리브레이션이 필수적입니다. 그러나 기존 캘리브레이션 방법은 맞춤형 인덴터(indenter)와 특수 장비를 사용하여 대규모 광도 측정 데이터(photometric data)를 수집해야 하므로 비용과 노동력이 많이 듭니다.

핵심 방법론 (Core Methodology)

NLiPsCalib는 이러한 캘리브레이션 문제를 해결하기 위해 물리 기반(physics-consistent) 접근 방식을 사용하며, Near-Light Photometric Stereo (NLiPs) 모델을 활용합니다. 이 모델은 센서 내부의 비균일한 조명 조건에 매우 적합하다는 점에 착안했습니다.

1. NLiPs를 이용한 지오메트리 캘리브레이션 (Geometry Calibration with Near-light Photometric Stereo)
   • 문제점 인식: 곡면 시각촉각 센서의 내부 조명은 평행광(parallel light) 가정을 무효화하는 비균일성 및 근접장 효과(near-field effects)를 가집니다. 이는 강도(intensity)와 표면 형상(surface shape) 간의 매핑을 어렵게 만듭니다.
   • NLiPs 모델 적용: NLiPs는 알려진 점 광원(point source)에서 나온 빛이 미지의 표면에서 반사되어 카메라에 포착되는 물리적 과정을 기술합니다.
     • 픽셀 p = (u_p, v_p)에서 관찰되는 i-번째 LED의 빛 강도 I_{i,c}(p)는 다음 수식으로 표현됩니다: I_{i,c}(p) = \Psi_{i,c} \rho_c(p) \left[ \frac{n_i^s \cdot (x(p) - x_i^s)}{|x(p) - x_i^s|} \right]^\mu_i \times \frac{(x_i^s - x(p)) \cdot n(p)}{|x_i^s - x(p)|^3} 여기서 x(p)는 표면의 3D 위치, n(p)는 단위 표면 법선(unit surface normal), \rho_c(p)는 알베도(albedo), \Psi_{i,c}는 보정된 강도, n_i^s는 주방향(principal direction), \mu_i는 이방성(anisotropy) 파라미터입니다. x_i^s는 i-번째 LED의 3D 위치입니다.
   • 깊이 맵 계산 (Calculating the Depth Map): NLiPs는 변형된 표면의 조밀한 픽셀별 깊이 맵 z(p)를 계산하는 것을 목표로 합니다. 깊이 맵으로부터 표면 법선 n(p)를 유도할 수 있습니다: n(p) \propto \left( -\frac{\partial z}{\partial u}, -\frac{\partial z}{\partial v}, 1 \right) 이 방법은 법선이 깊이 맵의 공간 미분값(spatial derivatives)으로 명시적으로 계산되므로, 복구된 깊이와 법선이 항상 기하학적으로 일관되도록 보장합니다.
   • 최적화 프레임워크: NLiPs는 고도로 비선형적인 Eq. (2)를 직접 푸는 대신, 변분 최적화(variational optimization) 프레임워크를 사용합니다. 로그-깊이(log-depth) 파라미터화 \tilde{z}(p) = \log z(p)를 도입하여 양수 깊이 (z > 0) 제약을 제거하고 수치적 안정성을 향상시킵니다. 전역 에너지 함수 E(\tilde{z}, \tilde{\rho})를 최소화하여 로그-깊이 맵 \tilde{z}와 “유효 알베도(effective albedo)” \tilde{\rho}를 동시에 추정합니다: \min_{\tilde{z}, \tilde{\rho}} E(\tilde{z}, \tilde{\rho}) = \sum_{p,i,c} \left(I_{obs_{i,c}}(p) - I_{pre_{i,c}}(p; \tilde{z}, \tilde{\rho})\right)^2 + \zeta \sum_p (\tilde{z}(p) - \tilde{z}_0(p))^2 여기서 첫 번째 항은 관찰된 강도(I_{obs})와 모델에 의해 예측된 강도(I_{pre}) 간의 제곱 차이를 벌하며, 두 번째 항은 초기 prior \tilde{z}_0에 대한 정규화 항(regularization term)입니다.
   • Alternating Reweighted Least Squares (ARLS): 이 최적화 문제는 ARLS 알고리즘을 사용하여 반복적으로 해결됩니다. 알베도 업데이트(pixel-wise linear least-squares)와 깊이 업데이트(Gauss-Newton step with PCG solver) 단계를 번갈아 수행하며 수렴할 때까지 반복합니다. 이 과정을 통해 고충실도 로그 깊이 맵과 해당 법선 필드가 얻어지며, 이는 캘리브레이션 데이터셋의 ground-truth 지오메트리로 사용됩니다.
2. 실시간 법선 추정 (Real-Time Normal Estimation)
   • NLiPs는 고품질 재구성을 제공하지만 계산 비용이 높고 여러 이미지를 필요로 하여 실시간 응용에는 적합하지 않습니다. 이를 해결하기 위해, NLiPs로 생성된 고충실도 캘리브레이션 데이터셋을 사용하여 신경망(neural network)인 NLiPsNet을 훈련시킵니다.
   • 데이터셋 획득: 센서의 엘라스토머(elastomer)에 일상 물체(everyday objects)를 사용하여 몇 번의 간단한 접촉(casual presses)만으로 캘리브레이션 데이터셋을 수집합니다. 각 접촉에 대해, (i) 개별 LED가 활성화된 12개의 단일-광 RGB 이미지, (ii) 모든 LED가 꺼진 하나의 어두운 이미지(dark image), (iii) 세 가지 색상 그룹으로 동시에 활성화된 12개 LED를 가진 하나의 삼색(tri-chromatic) RGB 이미지를 기록합니다. NLiPs 모델은 단일-광 및 어두운 이미지를 사용하여 변형된 영역의 표면 법선을 재구성하며, 이는 NLiPsNet 훈련을 위한 ground-truth 감독으로 사용됩니다.
   • NLiPsNet 아키텍처: NLiPsNet은 5차원 입력 (u, v, r, g, b)로부터 3차원 법선 벡터를 추론하는 경량 다층 퍼셉트론(multilayer perceptron)입니다. 3개의 hidden layers (256-256-128)와 출력 레이어로 구성됩니다. 훈련 및 추론 중 예측된 법선은 단위 길이로 정규화됩니다.
   • 훈련 목표: 예측된 법선 \hat{n}_i와 ground-truth 법선 n_i 간의 각도 정렬을 강제하기 위해 코사인 유사성 손실(cosine similarity loss)을 사용합니다: \mathcal{L}_{cos} = \frac{1}{|M|} \sum_{i \in M} \left(1 - \frac{\hat{n}_i \cdot n_i}{\|\hat{n}_i\| \|n_i\|}\right)

NLiPsTac 센서 및 실험 결과

프레임워크 검증을 위해 NLiPsTac이라는 새로운 시각촉각 센서를 설계하고 제작했습니다. 이 센서는 개별적으로 제어 가능한 여러 LED를 통합하여 NLiPs 모델의 물리적 가정을 충족시킵니다. NLiPsTac은 빛 확산기(light diffuser)가 없으며, 카메라와 LED가 단일 광학 매체 내에 있어 굴절 효과를 최소화합니다.

• 캘리브레이션 성능: NLiPsCalib는 구(sphere) 및 정육면체(cube) 인덴터에 대해 평균 각도 오차(Average Angular Error, AAE) 7.0415°, 법선 구성 요소의 평균 절대 오차(Mean Absolute Error, MabsE) 0.0588로 고충실도 캘리브레이션 결과를 달성했습니다.
• 실시간 법선 추론: NLiPsNet은 훈련 데이터셋에 포함된 인덴터에 대해 AAE 3.332°, 새롭게 보는 인덴터에 대해 AAE 3.113°를 기록하며 강한 일반화 능력을 보였습니다. 이는 소수의 일상 물체와 적은 수의 인덴테이션만으로 훈련 데이터셋을 효과적으로 생성할 수 있음을 입증합니다.
• 다양한 곡면 엘라스토머로의 일반화: NLiPsCalib는 다양한 곡면 엘라스토머 형태(예: 세 가지 다른 돔 형상)에서도 10° 미만의 일관된 AAE 캘리브레이션 오차를 달성하며 미세한 디테일을 보존했습니다.
• LED 채널 수의 영향: 캘리브레이션에 사용되는 LED 수가 증가할수록 정확도가 향상되지만, 12개 LED 이후에는 개선 효과가 미미했습니다. 12개 LED는 실용적인 트레이드오프(trade-off)를 제공합니다.

결론

NLiPsCalib는 곡면 시각촉각 센서의 캘리브레이션에 드는 비용과 복잡성을 크게 줄이는 동시에, 최첨단(state-of-the-art) 방법과 비견되는 효율성과 정확성을 제공합니다. 이를 통해 맞춤형 시각촉각 센서 개발의 진입 장벽을 낮추어 해당 분야의 접근성을 높입니다. 현재 CPU 기반 NLiPs 최적화의 계산 비용이 높은 점은 한계로, 향후 GPU 가속화를 통해 효율성을 개선할 계획입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

손끝을 닮아갈수록 보정이 어려워지는 역설

촉각 센서를 만드는 사람들은 요즘 점점 더 “둥근” 표면을 선호한다. 평평한 젤시트(GelSight) 패드 대신, 사람 손끝처럼 볼록하게 휘어진 곡면 센서를 쓰면 물체를 더 자연스럽게 감싸 쥘 수 있고, 한 번의 접촉으로 여러 방향의 정보를 얻을 수 있기 때문이다. 휴머노이드 손, 산업용 로봇의 원통형 핑거, 심지어 수술 로봇의 얇은 프로브까지 — 곡면 촉각 센서는 이미 대세다.

그런데 여기에 고약한 역설이 숨어 있다. 표면을 곡면으로 만드는 순간, 센서 내부의 빛 분포가 엉망이 된다. NLiPsCalib(ICRA 2026, ShanghaiTech)는 바로 이 문제를 정면으로 다룬다. 핵심 주장은 단순하고 강력하다. “값비싼 압입 장비(indenter)나 CNC 프로브, 로봇팔 없이도, 일상 물건으로 몇 번 누르기만 하면 곡면 촉각 센서를 고정밀로 보정할 수 있다.” 그 비결은 카메라 비전에서 잘 알려진 근접광 광도 스테레오(Near-Light Photometric Stereo, NLiPs)를 촉각 센서 보정에 끌어온 데 있다.

이 글에서는 왜 곡면 센서의 보정이 그렇게 까다로운지, NLiPs라는 물리 모델이 어떻게 이 문제를 우아하게 풀어내는지, 그리고 저자들이 만든 NLiPsTac 센서와 NLiPsNet 네트워크가 실제로 무엇을 보여줬는지를 로봇공학자의 눈높이에서 차근차근 뜯어본다.

---

1. 서론: 문제는 “빛이 균일하지 않다”는 데서 시작된다

1.1 광학 촉각 센서가 깊이를 보는 원리

먼저 기본기를 짚자. GelSight 계열의 광학 촉각 센서는 카메라로 “촉각”을 본다. 작동 원리는 의외로 직관적이다. 투명한 실리콘 젤 위에 불투명한 반사 코팅막을 입히고, 그 안쪽에서 여러 방향의 LED로 빛을 쏜다. 물체가 젤을 누르면 표면이 변형되고, 변형된 표면의 각 지점이 빛을 받아 카메라로 반사하는 밝기가 달라진다.

여기서 핵심은 광도 스테레오(Photometric Stereo)다. 같은 표면이라도 빛이 들어오는 방향이 다르면 밝기가 다르게 찍힌다. 서로 다른 방향(보통 빨강/초록/파랑 세 방향)의 빛 아래서 찍은 밝기들을 비교하면, 그 지점의 표면 법선(normal) 벡터를 역산할 수 있다. 법선을 다 모아서 적분하면 표면의 깊이(depth)가 나오고, 깊이를 모으면 3D 메시(mesh)가 된다. 이것이 광학 촉각 센서가 “접촉 형상”을 복원하는 기본 파이프라인이다.

\text{RGB 밝기} \;\xrightarrow{\;f\;}\; \text{표면 법선 } n \;\xrightarrow{\;\text{적분}\;}\; \text{깊이 } z \;\rightarrow\; \text{3D Mesh}

문제는 저 매핑 함수 f를 어떻게 알아내느냐다. 이게 바로 “보정(calibration)”이다.

1.2 평면 센서에서는 쉬웠던 일이, 곡면에서는 왜 어려운가

평면 GelSight에서는 빛이 표면 전체에 비교적 균일하게 깔린다. 그래서 “이 밝기 조합이면 이 법선”이라는 룩업 테이블(또는 작은 MLP)을 한 번 만들면 표면 어디서나 통한다. 빛이 균일하다는 가정 덕분에 매핑이 위치와 무관하게 일정하다.

곡면에서는 이 가정이 무너진다. 두 가지 물리 효과 때문이다.

첫째, 곡률(curvature) 때문에 같은 LED라도 표면의 어느 지점을 비추느냐에 따라 입사각이 제각각이다. 둘째, 근접광(near-field) 효과 때문에 LED와 표면 사이 거리가 짧고 위치마다 크게 달라서, 빛의 세기가 거리에 따라 급격히 감쇠(attenuation)한다. 멀리 있는 태양은 어디서든 똑같이 밝지만, 코앞의 손전등은 가까운 데는 눈부시고 조금만 멀어도 어두워진다. 곡면 센서 안의 LED가 딱 이 손전등 신세다.

결과적으로 곡면 센서에서는 매핑 f가 픽셀 위치 (x, y)에 따라 달라진다. 같은 RGB 밝기라도 센서 꼭대기에서 본 것과 측면에서 본 것은 전혀 다른 법선을 의미할 수 있다. 그래서 매핑은 다음처럼 위치를 인자로 포함해야 한다.

n = f(x,\, y,\, r,\, g,\, b)

1.3 기존 보정의 비용: 그라운드 트루스가 비싸다

매핑 f를 학습으로 배우려면, “이 입력일 때 정답 법선은 이것”이라는 paired 데이터가 필요하다. 그런데 곡면 센서에서 정답 법선을 얻는 일이 고역이다. 기존 방법은 크게 두 갈래였다.

1. 시뮬레이션 디지털 트윈 — 센서의 광학 구조를 정밀하게 모델링해 가상에서 렌더링한다. 디지털 트윈을 고품질로 만드는 일 자체가 큰 공수다.

2. 정밀 장비 압입 — CNC로 깎은 알려진 형상의 프로브를 로봇팔이나 정밀 압입 장비로 센서에 찍어 누른다. 형상을 미리 알고 있으니 정답 법선을 안다. 대신 장비가 비싸고, 데이터 수집이 노동집약적이며, 프로브의 위치와 센서 이미지를 정확히 정렬(alignment)하는 일이 또 다른 골칫거리다.

두 방법 모두 “맞춤형 곡면 센서를 빠르고 싸게 만들자”는 목표와 정면으로 충돌한다. 센서 모양을 하나 바꿀 때마다 디지털 트윈을 다시 만들거나 압입 데이터를 새로 모아야 한다면, 누가 새로운 형태의 센서를 자유롭게 실험하겠는가.

그림 설명 (Fig. 1, 파이프라인 개요): 왼쪽에는 기존 방식이 의존하던 “Specialized devices”와 “Datasets”가 그려져 있고, 오른쪽에는 NLiPsCalib의 방식 — 일상 물건(everyday objects, 약 10mm 크기 표시)을 가볍게 누르는 “Casual Press” → NLiPsTac 센서 → 물리 기반 근접광 광도 스테레오 → 법선/깊이/메시 산출 → 법선 네트워크 학습 — 이 화살표로 연결되어 있다. 핵심 메시지는 “특수 장비가 필요 없다”는 것이다.

NLiPsCalib의 통찰은 이렇게 요약된다. 정답 법선을 외부 장비로 측정하지 말고, 물리 모델로 직접 추정하자. 근접광 광도 스테레오는 빛의 감쇠와 방향을 명시적으로 모델링하므로, 일상 물건을 누른 이미지만 가지고도 그 접촉면의 법선을 물리적으로 풀어낼 수 있다. 정답을 “측정”하는 게 아니라 “계산”하는 발상의 전환이다.

---

2. 방법: 근접광 광도 스테레오를 촉각 보정에 이식하기

2.1 직관: 멀리 있는 태양 모델 vs 코앞의 손전등 모델

전통적 광도 스테레오는 “빛이 무한히 멀리서 평행하게 들어온다”고 가정한다(far-field, 원거리광). 이 가정에서 램버시안(Lambertian) 표면의 밝기는 다음처럼 깔끔하다.

I = rho * (n . l)

여기서 I는 관측 밝기, rho는 알베도(반사율), n은 표면 법선, l은 (모든 지점에서 동일한) 빛의 단위 방향 벡터다. 빛 방향 l이 표면 전체에서 상수이고 거리 감쇠가 없으니, 법선만 미지수로 남아 쉽게 풀린다.

근접광(near-field)에서는 이 식이 위치 의존적으로 바뀐다. 표면의 각 점 \mathbf{x}마다 빛 방향과 거리가 다르기 때문이다.

I(x) = rho(x) * (n(x) . l(x)) * a(x)

이제 세 가지가 위치 x의 함수가 된다.

• 빛 방향 l(x) = (s - x) / ||s - x|| — 광원 위치 s에서 표면점 x를 향하는 단위 벡터
• 거리 감쇠 a(x) ∝ 1 / ||s - x||^2 — 그 유명한 역제곱 법칙(inverse-square law)
• LED의 비등방성(anisotropy) 항 — 실제 LED는 정면이 밝고 옆은 어두운 방향성을 가진다

직관적으로 말하면, 원거리광 모델은 “표면이 어디 있든 빛은 똑같다”고 보는 반면, 근접광 모델은 “표면이 광원에 얼마나 가까운지, 어느 방향에서 비추는지”를 일일이 따진다. 곡면 센서의 내부 조명이 정확히 이 근접광 상황이므로, NLiPs는 물리적으로 “맞는” 모델인 셈이다.

2.2 닭과 달걀 문제, 그리고 그 해법

근접광 모델에는 고약한 순환 의존성이 있다. 빛 방향 l(x)와 감쇠 a(x)를 알려면 표면점의 위치 x(즉 깊이 z)를 알아야 하는데, 깊이를 알려면 법선을 적분해야 하고, 법선을 풀려면 다시 l(x)와 a(x)가 필요하다. 깊이 ↔︎ 법선 ↔︎ 조명이 서로 물고 물린다.

이 비선형 결합 문제를 푸는 정석은 교대 최적화(alternating optimization)다. 흐름은 대략 이렇다.

1. 깊이 z를 초기값으로 가정한다 (예: 평면 또는 센서 기준 곡면).
2. 현재 z로부터 각 픽셀의 빛 방향 l(x)와 감쇠 a(x)를 계산해, 근접광 효과를 보상(compensate)한다. 그러면 사실상 원거리광 문제로 환원된다.
3. 보상된 밝기로 법선 n을 추정한다.
4. 법선장을 적분(예: Poisson 적분)해 깊이 z를 갱신한다.
5. 수렴할 때까지 2~4를 반복한다.

NLiPsCalib가 누리는 결정적 이점이 여기서 나온다. 저자들의 센서 NLiPsTac은 광원을 제어할 수 있다(controllable light source). 즉 LED를 하나씩 또는 색깔별로 켜고 끄면서, 광원의 위치 s를 정확히 아는 상태에서 여러 장의 관측을 얻을 수 있다. 광원 위치가 미지수라면 그것까지 캘리브레이션해야 하지만, 제어 가능한 광원이면 s가 알려진 상수가 되어 문제가 훨씬 잘 정의(well-posed)된다.

2.3 RGB 삼색광: 한 장에 여러 조명을 담는 트릭

촉각 센서는 동적인 접촉을 실시간으로 봐야 하므로, 한 지점에서 여러 장을 순차로 찍을 시간이 부족할 때가 많다. 그래서 GelSight 계열은 빨강/초록/파랑 LED를 서로 다른 방향에 배치하는 삼색광(tri-chromatic) 트릭을 쓴다. 카메라 센서의 R, G, B 채널을 분리하면, 단 한 장의 컬러 이미지에서 세 방향 조명 아래의 밝기 세 개를 동시에 뽑아낼 수 있다. 채널 분리(channel-splitting)로 “한 번 찍어 세 번 관측”하는 효과다.

NLiPsCalib도 이 삼색 조명을 활용한다. 보정 단계에서는 제어 가능한 광원으로 NLiPs를 충분히 정밀하게 돌려 정답 법선을 만들고, 배포(deployment) 단계에서는 삼색 RGB 한 장만으로 실시간 법선 추론을 한다. 보정은 느려도 정밀하게, 추론은 빠르게 — 역할을 분리한 영리한 설계다.

2.4 전체 파이프라인 한눈에 보기

NLiPsCalib의 작업 흐름을 다이어그램으로 정리하면 다음과 같다.

flowchart TD
    A["일상 물건으로<br/>가볍게 누르기<br/>(Casual Press)"] --> B["NLiPsTac 센서<br/>제어형 근접 광원으로<br/>다중 광 관측 수집"]
    B --> C["NLiPs 물리 모델<br/>감쇠·방향 보상 +<br/>교대 최적화"]
    C --> D["정답 법선 n &<br/>깊이 z 추정"]
    D --> E["보정 데이터셋 구축<br/>(x, y, r, g, b) → n"]
    E --> F["NLiPsNet 학습<br/>실시간 법선 예측망"]
    F --> G["배포: 삼색 RGB 한 장<br/>→ 법선 → 적분 → 3D Mesh<br/>(실시간)"]

    style A fill:#e8f0fe,stroke:#2563eb
    style C fill:#fef3e8,stroke:#d97706
    style F fill:#e8fef0,stroke:#059669
    style G fill:#e8fef0,stroke:#059669

여기서 두 단계의 역할 분담을 다시 강조하자. NLiPs는 “정답을 계산하는 물리 엔진”이고, NLiPsNet은 “그 정답을 빠르게 흉내 내는 학습 모델”이다. 물리 모델이 그라운드 트루스 생성기를 대신함으로써, 비싼 압입 장비가 통째로 빠진다.

2.5 학습 매핑과 의사코드

NLiPsNet이 배우는 것은 픽셀 위치와 삼색 밝기로부터 법선으로 가는 함수다.

n = f_\theta(x,\, y,\, r,\, g,\, b)

위치 (x, y)를 입력에 포함하는 것이 곡면 보정의 핵심이다. 앞서 봤듯 곡면에서는 같은 RGB라도 위치에 따라 의미가 다르기 때문이다. 평면 센서라면 위치를 빼도 되지만, 곡면에서는 빼면 안 된다.

전체 보정 절차를 의사코드로 옮기면 다음과 같다.

# ---- Calibration stage (offline, accurate) ----
dataset = []
for obj in everyday_objects:          # e.g. ICRA icon, screwdriver, screw, PCB, sphere
    for press in casual_presses(obj):
        # capture under controllable, known-position lights
        imgs, light_positions = NLiPsTac.capture_multi_light(press)

        # Near-Light Photometric Stereo (alternating optimization)
        z = init_depth()
        repeat until converged:
            l, a = compute_light_dir_and_attenuation(z, light_positions)
            I_compensated = compensate(imgs, l, a)      # remove near-field effects
            n = estimate_normals(I_compensated)
            z = integrate_normals(n)                     # e.g. Poisson integration

        for pixel (x, y) in contact_region:
            r, g, b = trichromatic_intensity(x, y)
            dataset.append( ((x, y, r, g, b), n[x, y]) )

# ---- Train the real-time inference network ----
NLiPsNet = train_mlp(dataset)        # learn f_theta : (x,y,r,g,b) -> n

# ---- Deployment stage (online, fast) ----
def reconstruct(rgb_frame):
    n_field = NLiPsNet(pixel_coords, rgb_frame)   # single-shot trichromatic
    z = integrate_normals(n_field)
    return to_mesh(z)

알아둘 점은, NLiPs로 얻은 법선과 그 법선을 만든 RGB 밝기가 같은 이미지에서 나오므로 둘 사이에 공간 정렬 오차가 원천적으로 없다는 것이다. 외부 프로브를 쓰면 “프로브의 알려진 형상”과 “센서가 본 이미지”를 맞춰야 하는데, 미세한 정렬 어긋남이 곧 법선 오차로 번진다. NLiPsCalib는 정답과 입력이 한 이미지에서 동시에 나오니 이 문제 자체가 사라진다. 저자들이 강조하는 숨은 장점이다.

---

3. NLiPsTac: 보정 철학을 담은 하드웨어

방법만 좋아서는 안 되고, 그 방법을 검증할 센서가 필요하다. 그래서 저자들은 NLiPsTac이라는 제어형 광원 촉각 센서를 직접 설계했다. 이름 그대로 “Near-Light Photometric stereo Tactile” 센서다.

핵심 설계 요소는 다음 표로 정리할 수 있다.

요소	설계 선택	이유 (직관)
형상	사람 손끝을 닮은 곡면(fingertip-like)	물체를 감싸 쥐는 conformal 접촉, 전방위 지각
광원	제어 가능한 근접 광원 (controllable)	광원 위치 s를 알려진 값으로 고정 → NLiPs를 well-posed하게
조명 방식	삼색(RGB) 광도 스테레오	단일 컬러 프레임에서 다중 광 관측 → 실시간 추론
보정 대상	일상 물건 압입 (CNC/로봇팔 불필요)	빠르고 저렴한 맞춤형 센서 개발

그림 설명 (Fig. 2, 시스템 파이프라인): NLiPsTac 센서가 보정 데이터셋을 NLiPs로 수집하고, 그 데이터로 NLiPsNet을 학습시키며, 학습된 망이 삼색 조명 아래에서 실시간 3D 형상 추론을 수행하는 흐름을 보여준다. 하드웨어 → 데이터 → 모델 → 실시간 추론의 폐루프 구조다.

그림 설명 (Sensor Fabrication): 곡면 실리콘 젤 위에 반사 코팅을 입히고 제어형 RGB 광원을 배치하는 제작 공정을 단계별로 보여준다. 제작 과정 자체가 간단해야 “맞춤형 곡면 센서의 진입장벽을 낮춘다”는 논문의 주장과 맞아떨어진다.

여기서 한 가지 짚을 점. 제어형 광원은 양날의 검이다. 보정을 쉽게 만들어주지만, 광원을 켜고 끄는 회로와 동기화가 필요하므로 센서 구조가 약간 복잡해진다. 다만 보정에서 절약하는 비용(CNC, 로봇팔, 대규모 데이터)에 비하면 충분히 남는 장사라는 게 저자들의 논리다.

---

4. 실험: 무엇을 측정했고, 무엇을 보여줬나

4.1 실험 설정

저자들은 다양한 형태의 일상 물건으로 NLiPsTac을 눌러 보정하고, 복원 품질을 검증했다. 프로젝트 페이지에 공개된 보정 대상 물건들은 다음과 같다.

• ICRA 아이콘(글자/로고가 새겨진 표면)
• 드라이버(driver) 끝
• 나사(screw)의 나선 형상
• 회로 기판(circuit board)의 미세 패턴
• 구형 프로브(sphere probe) — 곡률 검증용 기준 형상

이 물건들은 매끄러운 곡면(구), 날카로운 모서리(나사산), 미세한 평면 패턴(회로 기판), 글자형 음각/양각(ICRA 아이콘) 등 서로 다른 기하학적 난이도를 대표한다. 다양한 난이도에서 골고루 잘 되는지 보려는 의도다.

4.2 정량 결과

핵심 수치는 두 지표로 보고된다.

지표	값	의미
AAE (Average Angular Error)	7.0415°	추정 법선과 정답 법선 사이 평균 각도 오차
MabsE (Mean Absolute Error)	0.0588	법선/깊이의 평균 절대 오차

법선 추정에서 평균 각도 오차 약 7도는 광도 스테레오 계열에서 상당히 양호한 수준이다. 참고로 컴퓨터 비전 쪽 근접광 광도 스테레오 벤치마크(LUCES 등)에서 최신 기법들이 보고하는 평균 각도 오차가 대략 11~13도대인 점을 떠올리면, 촉각 센서라는 통제된 환경(광원 위치를 알고, 표면 재질이 일정한 젤)에서 7도대를 달성한 것은 물리 모델이 잘 맞아떨어졌다는 방증이다. 물론 두 환경은 직접 비교 대상이 아니므로(촉각 센서는 일반 장면보다 훨씬 통제된 조건이다) 절대 우열로 읽으면 안 된다.

4.3 정성 결과와 실시간성

그림 설명 (Calibration Results, calib1~5): 각 물건을 누른 입력 RGB 이미지, 센서 상의 접촉 위치, NLiPs로 복원한 법선장, 그리고 결과 3D 형상이 나란히 제시된다. 나사산의 날카로운 능선, 회로 기판의 미세 단차, ICRA 글자의 음각/양각이 또렷하게 복원되는 것을 확인할 수 있다. 곡면 전 영역에 걸쳐 균일한 품질을 보인다는 점이 핵심이다.

그림 설명 (Real-Time Reconstruction): NLiPsNet이 삼색 RGB 한 장으로부터 법선과 3D 메시를 실시간으로 산출하는 영상 캡처들이 제시된다. 보정은 NLiPs로 정밀하게 오프라인에서, 추론은 학습된 망으로 빠르게 온라인에서 — 이 분리가 실제로 동작함을 보여주는 부분이다.

정성 결과의 메시지는 분명하다. 곡면의 꼭대기든 측면이든, 매끄러운 면이든 날카로운 모서리든, 위치에 무관하게 고품질 복원이 된다. 곡면 보정의 본질적 난점(위치 의존적 조명)을 NLiPs가 물리적으로 흡수해준 덕분이다.

4.4 결과의 의미

실험이 증명하려는 명제는 정확도 자체가 아니라 “비싼 장비 없이도 그 정확도에 도달할 수 있다”는 것이다. 일상 물건 몇 번 누르기 → 물리 모델로 정답 생성 → 망 학습이라는 파이프라인이, CNC 프로브 기반 보정에 견줄 만한 복원 품질을 낸다는 점이 핵심 기여다. 새 모양의 센서를 만들 때마다 보정 비용이 며칠에서 몇 시간으로, 수만 원에서 거의 공짜로 줄어든다면, 곡면 촉각 센서 설계의 실험 사이클이 통째로 빨라진다.

---

5. 비판적 고찰: 무엇이 빛나고, 무엇이 미심쩍은가

5.1 강점

1. 물리 일관성(physics-consistency)이 가장 큰 미덕이다. 데이터로 욱여넣어 외우게 하는 대신, 빛의 감쇠와 방향이라는 실제 물리를 명시적으로 모델링했다. 그래서 새로운 곡률, 새로운 형태로 일반화할 여지가 크다. 디지털 트윈처럼 센서마다 처음부터 다시 만들 필요가 적다.

2. 정렬 오차 제거. 정답 법선과 입력 RGB가 같은 이미지에서 동시에 나오므로, 외부 프로브 기반 방식이 시달리던 공간 정렬 문제가 원천적으로 없다. 이건 정확도의 숨은 상한선을 끌어올리는 구조적 장점이다.

3. 진입장벽 인하. 일상 물건만 있으면 되므로, 자원이 부족한 연구실도 맞춤형 곡면 센서를 빠르게 실험할 수 있다. 논문이 반복해서 강조하는 “접근성(accessibility)”은 단순한 수사가 아니라 파이프라인 설계에 녹아 있다.

4. 보정/추론 분리. 느리지만 정밀한 NLiPs로 정답을 만들고, 빠른 NLiPsNet으로 실시간 추론하는 역할 분담이 실용적이다. 두 마리 토끼를 따로 잡았다.

5.2 약점과 한계

1. 램버시안 가정의 한계. 광도 스테레오의 토대인 램버시안 반사 모델은 실제 젤 코팅의 정반사(specular) 성분이나 그림자, 상호 반사(interreflection)를 완전히 담지 못한다. 곡면에서는 표면이 안쪽으로 휘어 자기 그림자나 상호 반사가 평면보다 잦을 수 있는데, 이 부분에서 NLiPs 추정이 흔들릴 여지가 있다.

2. 제어형 광원이라는 전제. 이 방법의 우아함은 광원 위치를 정확히 안다는 데서 나온다. 기성 상용 곡면 센서(광원 위치가 불확실하거나 제어 불가)에 그대로 이식하긴 어렵다. NLiPsTac이라는 전용 하드웨어가 사실상 방법의 일부다.

3. 평가의 폭. 공개된 정량 지표는 법선 오차(AAE)와 절대 오차(MabsE) 중심이다. 깊이의 절대 거리 오차(mm 단위 유클리드 오차), 힘/접촉 위치 추정으로의 하류(downstream) 영향, 마모·온도 변화에 따른 장기 안정성 등은 더 보고되면 좋았을 항목이다. 또한 일상 물건만으로 수집한 데이터가 접촉 형상 분포를 충분히 덮는지(예: 매우 평탄한 면이나 극단적으로 날카로운 형상)는 별도 검증이 필요하다.

4. 적분 단계의 누적 오차. 법선을 깊이로 적분하는 과정(Poisson 등)은 곡면에서 경계 조건과 누적 오차에 민감하다. 법선이 7도 수준으로 좋아도, 적분 후 절대 깊이가 얼마나 정확한지는 별개 문제다.

5.3 종합 판단

NLiPsCalib는 “정답을 측정하지 말고 계산하라”는 한 줄짜리 통찰을 깔끔한 시스템으로 구현했다. 약점들은 대체로 광도 스테레오 자체가 안고 있는 고전적 한계(램버시안, 적분 오차)이거나, 전용 하드웨어 전제에서 오는 적용 범위의 문제다. 방법론의 결함이라기보다 후속 연구가 메워갈 빈칸에 가깝다.

---

6. 관련 연구와의 비교

6.1 보정 패러다임의 지형

촉각 센서 보정 방법을 정답 생성 방식으로 나누면 NLiPsCalib의 위치가 또렷해진다.

패러다임	정답 생성 방식	비용	곡면 대응
디지털 트윈 시뮬레이션	광학 구조를 가상 렌더링	트윈 제작 공수 큼	센서마다 재구축
정밀 압입 (CNC/로봇팔)	알려진 형상 프로브로 압입	장비·노동 비용 큼	정렬 오차 발생
마커/기준구 기반 광원 보정	구면·평면 타깃으로 광원 추정	중간	비균일 조명에 취약
NLiPsCalib (본 논문)	NLiPs 물리 모델로 직접 계산	일상 물건만 필요	위치 의존 조명을 물리로 흡수

6.2 비전 분야 NLiPs 계보와의 관계

근접광 광도 스테레오는 컴퓨터 비전에서 오랜 역사를 가진다. LED 기반 광도 스테레오의 모델링과 수치 해법(교대 가중 최소제곱 등), 신경 표면(neural surface)으로 날카로운 깊이 모서리를 보존하는 기법, 경량·고속 다해상도 NLiPs 등 여러 줄기가 있다. NLiPsCalib의 신선함은 새로운 NLiPs 알고리즘을 발명한 데 있다기보다, 검증된 NLiPs 물리를 촉각 센서 보정이라는 새로운 문제 영역으로 이식하고, 그것을 제어형 광원 하드웨어와 결합해 보정 비용을 무너뜨린 데 있다.

6.3 동시대 곡면·삼색 촉각 센서들과의 비교

• 곡면 핑거형 센서(GelSight Svelte, GelStereo Tip, R-Tac, DenseTact 등)는 형상 다양성을 추구했지만, 보정 비용 문제는 대체로 정밀 장비나 시뮬레이션에 의존해 풀었다. NLiPsCalib는 바로 그 보정 비용을 공략한다.
• 삼색 LED 효율화 계열(예: 대칭 색 LED로 2-shot 광도 스테레오를 푸는 SymmeTac류)은 실시간 추론 효율을 높이는 데 초점이 있다. NLiPsCalib는 추론 효율(삼색 단일 프레임)과 보정 효율(NLiPs 물리)을 한 시스템에서 동시에 잡는다는 점에서 결이 다르다.
• GelStereo 계열의 굴절 광선추적(RSRT) 보정은 다중 매질 굴절을 정밀 모델링해 곡면에서 0.35mm 이하 복원 오차를 보고하지만, 모델과 보정 절차가 무겁다. NLiPsCalib는 정밀도와 단순함 사이에서 “충분히 정확하되 훨씬 가볍게”를 노린다.

---

7. 요약 및 결론

7.1 한 문장 요약

NLiPsCalib는 곡면 촉각 센서의 보정에서 “정답 형상을 비싼 장비로 측정”하던 관행을 “근접광 광도 스테레오 물리로 직접 계산”하는 방식으로 바꿔, 일상 물건 몇 번 누르기만으로 고정밀(법선 평균 오차 약 7도) 3D 복원을 가능케 한 프레임워크다.

7.2 핵심 기여 정리

1. 물리 일관 보정 프레임워크 — NLiPs를 촉각 센서에 이식해, 디지털 트윈도 CNC 프로브도 없이 정답 법선을 계산으로 얻는다.
2. NLiPsTac 하드웨어 — 제어형 근접 광원과 삼색 조명을 갖춰 NLiPs를 well-posed하게 만들고 실시간 추론까지 지원하는 핑거형 곡면 센서.
3. NLiPsNet — 삼색 RGB 한 장으로 위치 의존 매핑 f(x,y,r,g,b) \to n을 실시간 추론하는 네트워크.
4. 접근성 — 맞춤형 곡면 센서 개발의 보정 진입장벽을 실질적으로 낮춰, 다양한 형태의 촉각 센서 실험을 촉진.

7.3 로봇공학자에게 주는 시사점

손재주(dexterous manipulation)를 연구하는 입장에서 이 논문이 주는 메시지는 분명하다. 센서 형태를 자유롭게 바꿔도 보정이 더 이상 발목을 잡지 않는다면, 작업 특화 곡면 센서(가위질용, 미세 조립용, 곡면 파지용 등)를 빠르게 프로토타이핑하고 정책 학습에 곧장 투입할 수 있다. 특히 Allegro 같은 다지 핸드의 손끝마다 형태가 다른 곡면 센서를 얹는 시나리오에서, 손끝 하나하나를 일상 물건으로 즉석 보정하는 그림이 현실적으로 가능해진다.

다만 실제 도입 시에는 (1) 제어형 광원 하드웨어가 전제라는 점, (2) 램버시안 가정과 적분 오차에서 오는 절대 깊이 정밀도의 한계, (3) 일상 물건 데이터의 형상 커버리지를 따져봐야 한다. 코드가 공개(github.com/FerryRain/NLiPs)되어 있으니, 자신의 곡면 센서 광학 구조에 NLiPs 모델이 얼마나 잘 맞는지부터 실험으로 확인하는 것이 좋은 출발점이 될 것이다.

7.4 닫는 생각

이 연구의 매력은 화려한 신규 알고리즘이 아니라, 문제를 바라보는 각도를 살짝 틀어 비용 구조를 무너뜨린 데 있다. “정답을 어떻게 더 정밀하게 측정할까”가 아니라 “정답을 측정하지 않고 물리로 계산하면 어떨까”라는 질문 하나가, 곡면 촉각 센서의 보정을 며칠짜리 노동에서 몇 분짜리 누르기로 바꿔놓았다. 좋은 물리 모델은 종종 비싼 장비보다 강하다는 것을, 이 논문은 촉각 센서라는 무대에서 다시 한번 증명한다.

---

참고 정보

• 논문: Qin, Zhao, Leng, Hu, Xiao. NLiPsCalib: An Efficient Calibration Framework for High-Fidelity 3D Reconstruction of Curved Visuotactile Sensors. arXiv:2603.09319, ICRA 2026.
• 프로젝트: https://nlipscalib.github.io/
• 코드: https://github.com/FerryRain/NLiPs