📃NormalFlow 리뷰

Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors

• Paper Link

• Code Link

• Project

• Hung-Jui Huang, Michael Kaess, Wenzhen Yuan

• IEEE Robotics and Automation Letters (RA-L), 2024

1. 💡 NormalFlow는 시각 기반 촉각 센서(GelSight 등)로 접촉한 물체의 6DoF 자세를 실시간으로 추적하는 방법으로, 노이즈가 많은 점군(point cloud) 대신 센서가 직접 측정하는 표면 법선 맵(surface normal map) 위에서 정합을 수행하는 것이 핵심 아이디어입니다.
2. ⚙️ 추적을 두 프레임의 법선 맵 불일치를 최소화하는 Gauss-Newton 최적화로 정식화하여, 학습된 신경망 가중치 없이도(고전적 최적화) CPU에서 약 70Hz로 동작하면서 텍스처가 거의 없는 물체에서도 강건하게 SE(3) 상대 자세를 복원합니다.
3. 🎯 GelSight Mini와 DIGIT 모두에서 검증되어 평균 0.29mm 병진 / 1.9° 회전 오차를 달성했고, 추적한 프레임을 융합해 고품질 촉각 기반 3D 복원까지 보여주어 기존 ICP 계열 정합법을 큰 폭으로 앞섰습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

NormalFlow는 GelSight 같은 시각 기반 촉각 센서로 손에 쥔(혹은 표면에 닿은) 물체가 프레임마다 어떻게 움직였는지, 즉 6자유도 상대 자세 변화를 실시간으로 추적하는 방법입니다. 촉각 센서로 자세를 추적하려는 기존 시도들은 대부분 센서 이미지를 높이 맵(height map)으로 적분하고 다시 점군으로 바꾼 뒤 ICP로 정합했는데, 이 변환 과정에서 노이즈와 왜곡이 누적되어 정확도와 속도가 모두 떨어졌습니다. NormalFlow는 이 우회로를 통째로 건너뛰고, 광도 스테레오(photometric stereo)로 센서가 직접, 정확하게 측정하는 표면 법선 맵 자체를 정합 대상으로 삼는다는 점이 다릅니다.

NormalFlow 개요(Fig. 1) — 시각 기반 촉각 센서가 표면에서 측정한 법선 맵을 직접 정합하여 물체의 6DoF 자세를 빠르고 강건하게 추적한다.

핵심 방법론:

NormalFlow는 학습 모델이 아니라 고전적 최적화 기법입니다. 두 시점의 법선 맵 I(기준 프레임)와 I'(현재 프레임)가 주어졌을 때, 6DoF 변환 \theta = (x, y, z, \theta_x, \theta_y, \theta_z) \in SE(3)로 한쪽을 변형했을 때 공유 접촉 영역 \bar{C}에서 두 법선 맵의 불일치가 최소가 되도록 만듭니다.

\min_{\theta} \sum_{(u,v)\in \bar{C}} \big\lVert I'(W(u,v;\theta)) - R_\theta\, I(u,v) \big\rVert^2

여기서 중요한 것은 자세 변화가 법선에 두 가지로 작용한다는 점입니다. (1) 픽셀 위치가 W(u,v;\theta)로 재매핑되고(표면 점이 회전·이동 후 다시 2D로 투영됨), (2) 법선 벡터 자체도 R_\theta로 회전합니다. 이 비선형 비용을 1차 Taylor 전개로 선형화하면 매 반복에서 \Delta\theta = H^{-1}A^\top b 형태의 닫힌 해를 얻는 선형 최소제곱 문제가 되고, \theta \leftarrow \theta + \Delta\theta를 수렴할 때까지 반복하는 전형적인 Gauss-Newton 절차로 풀립니다. 2D 투영 특성상 법선 불일치만으로는 풀리지 않는 z-병진은 평균 높이 차이로 따로 계산합니다. 속도를 위해 inverse compositional 기법(Hessian 사전 계산)과 5000개 픽셀 랜덤 서브샘플링을 적용해 품질 손실 없이 연산량을 크게 줄였습니다.

왜 법선 맵인가: 시각 기반 촉각 센서는 광도 스테레오로 표면 법선을 매우 정확하게 측정합니다. 점군은 이 법선을 높이로 적분(Poisson)하는 과정에서 노이즈가 끼지만, 법선 맵은 그 단계를 거치지 않습니다. 또한 평평한 표면이 살짝 기우는 rolling 운동은 법선 방향 변화로 즉시 드러나는데, 점군에서는 점 위치가 거의 안 바뀌어 ICP가 잡기 어렵습니다. 텍스처가 있는 영역에서도 ICP는 공의 전체 형상에 끌려가지만 NormalFlow는 다양한 법선 방향을 직접 매칭해 자세를 복원합니다.

주요 결과:

• GelSight Mini 기준 평균 병진 오차 약 0.29mm, 회전 오차 약 1.9°. MoCap 기준값 자체의 오차(~0.2mm)에 근접하는 정밀도입니다.
• ICP, FilterReg, FPFH+RANSAC+ICP 등 점군 정합 베이스라인을 모든 물체에서 능가했고, 특히 렌치·테이블처럼 텍스처가 적은 물체에서 격차가 큽니다(베이스라인은 z축 회전 오차가 15° 이상으로 사실상 실패).
• CPU(GPU 미사용)에서 프레임당 약 13.9ms, 즉 약 70Hz로 동작합니다.
• 12mm 구슬을 360° 굴리고 540° 비트는 장기 추적에서도 keyframe 기법으로 드리프트를 억제해 회전 오차가 2.5° 수준에 머뭅니다.
• DIGIT 센서(이미지가 더 흐릿함)에서도 동일한 우위를 유지해 방법의 일반성을 보였습니다.

결론: NormalFlow는 “촉각 자세 추적은 점군 정합 문제가 아니라 법선 맵 정합 문제다”라는 관점 전환으로, 학습 없이도 빠르고(70Hz), 정확하고(서브밀리미터), 텍스처 없는 물체에도 강건한 추적을 달성했습니다. 나아가 추적한 프레임을 융합해 기존 방법보다 우수한 촉각 기반 3D 복원까지 보여주어, in-hand manipulation을 위한 실용적 추적 백본으로서의 가치를 입증했습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

촉각으로 물체 자세를 추적할 때 가장 큰 적은 “변환”이다. 시각 기반 촉각 센서가 잘 측정하는 것은 표면 법선인데, 기존 방법들은 이걸 굳이 높이로 적분하고 점군으로 바꿔서 ICP에 넣었다. 그 변환 과정마다 노이즈가 붙는다. NormalFlow의 통찰은 단순하다. 센서가 잘 측정하는 양(법선)을 그대로 쓰자. 점군 정합 대신 법선 맵을 직접 Gauss-Newton으로 정합하면, 변환 단계가 사라지면서 정확도·속도·강건성이 동시에 좋아진다.

왜 촉각 기반 6DoF 추적이 어려운가

물체를 손에 쥐고 조작할 때, 그 물체가 손가락 안에서 어떻게 굴러가고 미끄러지는지를 아는 것은 dexterous manipulation의 핵심이다. 카메라는 손가락에 가려 안 보이지만, 손끝의 촉각 센서는 접촉면을 직접 본다. 그래서 촉각으로 물체의 6DoF 자세(혹은 그 변화)를 추적하려는 시도가 이어져 왔다.

문제는 촉각 센서가 보는 것이 물체 전체가 아니라 작은 접촉 패치라는 데 있다. GelSight Mini의 감지 영역은 고작 20mm × 15mm다. 이 좁은 창으로 들어오는 신호에서 6자유도를 모두 풀어내야 한다. 특히 평평하거나 매끈한 면(렌치 옆면, 테이블 표면)에서는 텍스처가 거의 없어서, 점의 위치만 보는 방법은 “이 평면이 살짝 기울었다(rolling)”는 정보를 거의 잡지 못한다.

기존 파이프라인은 보통 이렇게 흘렀다. 촉각 RGB 이미지 → 광도 스테레오로 법선 추정 → Poisson 적분으로 높이 맵 → 점군 변환 → ICP/FilterReg로 정합. 단계가 많고, 적분 단계에서 저주파 왜곡과 노이즈가 누적된다. 게다가 ICP는 반복마다 대응점을 다시 찾아야 해서 느리고, 평면처럼 기하 정보가 빈약한 곳에서는 미끄러지듯 잘못 수렴한다.

방법 상세: 법선 맵을 직접 정합한다

NormalFlow의 출발점은 “변환을 줄이자”이다. 센서가 광도 스테레오로 측정하는 1차 산출물이 표면 법선 맵이라면, 그것을 곧장 정합 대상으로 삼는다.

NormalFlow의 방법 구조(Fig. 2) — 기준 프레임의 법선 맵 I와 현재 프레임 I’를 받아, 자세 θ로 변형했을 때 공유 접촉 영역에서 법선 불일치를 최소화하는 Gauss-Newton 정합으로 6DoF를 추정한다.

먼저 법선은 픽셀의 색·위치(RGBUV)에서 표면 기울기 (g_u, g_v)로 매핑하는 작은 MLP로 얻는다. 법선 벡터는 n = [g_u, g_v, -1]^\top를 정규화한 \hat{n} = n / \lVert n \rVert이다.

이제 핵심 비용 함수를 보자.

\min_{\theta} \sum_{(u,v)\in \bar{C}} \big\lVert I'(W(u,v;\theta)) - R_\theta\, I(u,v) \big\rVert^2

이 식이 영리한 이유는 자세 \theta가 법선에 이중으로 작용하기 때문이다.

1. 위치 재매핑 W(u,v;\theta): 기준 프레임의 픽셀 (u,v)에 대응하는 3D 표면 점 q(u,v) = [u, v, z(u,v)]^\top를 자세 \theta로 회전·이동시킨 뒤 다시 2D로 투영한다. 즉 W(u,v;\theta) = P(R_\theta\, q(u,v) + t_\theta). 물체가 움직이면 같은 표면 점이 센서 이미지의 다른 위치로 옮겨가는 것을 반영한다.
2. 법선 회전 R_\theta\, I(u,v): 표면 점이 회전하면 그 점의 법선 벡터도 같은 회전 R_\theta로 돌아간다.

이 둘을 동시에 맞춰야 한다는 점이 ICP와 결정적으로 다르다. ICP는 점 위치만 본다. NormalFlow는 점이 어디로 갔는지(위치)와 그 점의 법선이 어디를 향하는지(방향)를 한꺼번에 매칭한다. 그래서 평면이 살짝 기우는 rolling처럼 위치는 거의 안 바뀌고 법선만 도는 운동도 정확히 잡아낸다.

비선형인 이 비용을 1차 Taylor 전개로 선형화하면,

\sum_{(u,v)\in \bar{C}} \Big\lVert \big(I'(W) - R_\theta I\big) + \Big(\nabla I' \tfrac{\partial W}{\partial \theta} - \tfrac{\partial (R_\theta I)}{\partial \theta}\Big)\Delta\theta \Big\rVert^2

가 되고, 이는 \Delta\theta에 대한 선형 최소제곱이다. 닫힌 해 \Delta\theta = H^{-1}A^\top b (H = A^\top A)를 구해 \theta \leftarrow \theta + \Delta\theta로 갱신하고 수렴까지 반복하는 표준 Gauss-Newton이다.

한 가지 빈틈이 있다. 법선 맵은 2D 투영이라, 센서 방향(z축)으로의 병진은 법선 불일치에 거의 영향을 주지 않아 위 식만으로는 풀리지 않는다. 그래서 z-병진은 공유 영역에서 변형 전후 평균 높이 차이로 따로 계산한다.

\Delta z = \frac{1}{|\bar{C}|} \sum_{(u,v)\in \bar{C}} \big[\, z'(W) - P_z(R_\theta q + t_\theta) \,\big]

속도 최적화도 깔끔하다. inverse compositional 기법으로 Hessian을 사전 계산해 반복 비용을 줄이고(O(nm^2N) \to O(m^2N + nmN)), 320×240 이미지에서 5000개 픽셀만 랜덤 서브샘플링한다. 품질 저하는 거의 없다고 보고한다.

흥미로운 ablation 하나. 높이 맵을 아예 0으로 가정(z(u,v)=0)해도 성능 저하가 미미하다(병진 오차 0.18~0.19mm 수준 유지). 즉 NormalFlow는 노이즈가 많은 높이 맵에 거의 의존하지 않고, 정확한 법선 정보만으로 자세를 푼다는 뜻이다. 이것이 점군 기반 방법 대비 본질적 강점이다.

왜 법선 맵인가 — 직관

세 가지 직관으로 정리할 수 있다.

첫째, 노이즈를 만들지 않는다. 센서의 1차 측정량이 법선이다. 법선 → 높이 → 점군으로 가는 변환은 정보를 더 정확하게 만들지 않는다. 오히려 적분 단계에서 저주파 왜곡과 노이즈를 더한다. NormalFlow는 이 손실 단계를 통째로 생략한다.

둘째, rolling을 직접 본다. 매끈한 면이 1~2° 기울 때 점의 3D 위치는 거의 안 변한다. 점군 정합은 이 미세한 기울기를 거의 못 잡는다. 하지만 법선 벡터는 그만큼 회전한다. 법선을 정합 대상으로 두면 이 회전이 곧바로 신호가 된다. 촉각 추적에서 표면 접선 방향 회전(rolling)은 가장 추정하기 어려운 자유도였는데, NormalFlow는 여기서 가장 큰 이득을 본다.

셋째, 텍스처를 자세 복원에 활용한다. 텍스처가 있는 면에서 ICP는 전체 곡면(예: 공의 둥근 형상)에 끌려가 미세 텍스처를 무시한다. NormalFlow는 텍스처가 만드는 다양한 법선 방향을 직접 매칭하므로, 텍스처 자체에서 자세를 읽어낸다.

실험: 정확도, 속도, 강건성

평가 셋업은 견고하다. 물체를 테이블에 고정하고, GelSight Mini를 움직이는 플레이트에 장착한 뒤 OptiTrack MoCap으로 ground truth를 잡았다. 12개 물체(YCB 일상 물체 일부, 작은 텍스처 물체, 기하 도형)를 물체당 7회, 평균 10.2초씩 추적했다.

실험 셋업(Fig. 3) — GelSight Mini를 이동 플레이트에 장착하고 OptiTrack MoCap으로 6DoF ground truth를 측정해 추적 정확도를 정량 평가한다.

정확도. 대칭 물체(공·실린더)를 제외한 6DoF 추적 MAE에서 NormalFlow는 모든 베이스라인을 모든 축에서 앞선다. 대표 수치를 풀어보면 NormalFlow는 x/y/z 병진 0.15~0.18mm, 회전 1.1~1.4° 수준이다. 반면 ICP·FilterReg는 z축 회전(\theta_z)에서 15° 이상으로 사실상 실패하고, FPFH+RI는 \theta_y에서 36.8°까지 벗어난다. 특히 텍스처가 빈약한 렌치·테이블에서 격차가 극적이다. MoCap 자체 오차가 ~0.2mm임을 감안하면 NormalFlow는 측정 한계에 근접한다.

추적 정확도 비교(Fig. 6 계열) — NormalFlow가 ICP·FilterReg·FPFH+RANSAC+ICP 등 점군 정합 베이스라인을 모든 물체·축에서 능가하며, 텍스처가 적은 물체에서 격차가 가장 크다.

속도. AMD Ryzen 7 CPU(GPU 미사용)에서 320×240 이미지·5000픽셀 기준 프레임당 평균 약 13.9ms, 즉 약 70Hz다. ICP(13.6ms)와 비슷한 속도면서 훨씬 정확하고, FilterReg(145ms)·FPFH+RI(127ms)보다는 한 자릿수 빠르다. 학습 모델이 아니라 닫힌 해 기반 최적화라 GPU 없이도 실시간이 나온다는 점이 실용성 측면에서 크다.

강건성. 수렴 영역 분석(가장 어려운 테이블 기준)에서 한 스텝당 약 1.39mm 병진, 40.1° 회전까지 수렴한다. 즉 빠른 회전은 잘 견디고, 빠른 병진은 젤 마모와 함께 추적을 잃을 수 있다. 해상도를 2배 다운샘플링해도 정확도가 유지되며, 4배에서는 텍스처가 적은 렌치에서 성능이 떨어진다.

일반성. 더 흐릿한 DIGIT 센서(640×480, 60Hz)에서도 동일한 우위를 유지한다. 모든 방법이 흐림 때문에 성능이 떨어지지만 NormalFlow의 상대 우위는 그대로다.

장기 추적과 3D 복원

좁은 접촉 창으로 물체를 계속 굴리다 보면 처음 본 표면을 벗어나 새로운 영역으로 넘어간다. NormalFlow는 keyframe 기법으로 이를 처리한다. 추적이 진행되어 공유 영역이 충분히 줄면 현재 프레임을 새 keyframe으로 등록하고, 그 keyframe을 기준으로 이후를 추적한다. 이렇게 하면 누적 드리프트를 억제할 수 있다.

장기 추적(Fig. 8) — 12mm 구슬을 360° 굴리고 540° 비트는 긴 궤적에서도 keyframe 기반 추적으로 드리프트를 억제해 회전 오차가 2.5° 수준에 머문다.

12mm 구슬을 y축으로 360° 굴리고 z축으로 540° 비트는 긴 시퀀스에서 회전 오차가 \theta_y = 2.5°, \theta_z = 1.8°에 그친다. 좁은 촉각 창으로 한 바퀴를 다 돌고도 이 정도 정밀도를 유지한다는 것은 프레임 간 추정이 그만큼 정확하다는 방증이다.

이 정밀도를 가장 설득력 있게 보여주는 것이 3D 복원이다. 접촉을 끊지 않고 작은 구슬을 손으로 굴리며 촉각 영상을 모으고, NormalFlow로 매 프레임 자세를 추정한 뒤, 초기 자세와 가장 가까운 프레임을 찾아 loop closure 제약을 걸고 pose graph를 최적화한다. 그 결과로 융합된 표면 기하는 loop closure가 있을 때 매끈하게 복원되고, 흥미롭게도 MoCap으로 추적한 자세로 복원한 결과보다 NormalFlow 쪽이 더 좋다. 추적 정밀도가 모션 캡처 기준값을 능가한다는 강력한 정성적 증거다.

촉각 기반 3D 복원(Fig. 13) — NormalFlow로 추적한 프레임을 loop closure와 함께 융합하면 고품질 표면이 복원되며, MoCap 기반 복원보다도 우수하다.

비판적으로 보면

강점

• 관점 전환이 본질적이다. “법선을 직접 정합”이라는 한 문장으로 변환 노이즈, rolling 추정 난이도, 속도 문제를 한꺼번에 해결한다. 좋은 아이디어의 전형이다.
• 학습이 필요 없다. 사전학습 가중치 없이 고전적 Gauss-Newton으로 동작한다(법선 추정용 작은 MLP는 있으나 추적 자체는 최적화다). 도메인 갭, 데이터 수집, 일반화 우려가 적고 GPU 없이 70Hz가 나온다.
• 텍스처 없는 물체에 강하다. 점군 방법이 가장 약한 지점에서 가장 큰 격차를 만든다. 실제 산업·생활 물체는 매끈한 면이 많다는 점에서 실용적이다.

약점·한계

• 빠른 병진에서 추적을 잃는다. 빠른 미끄러짐은 젤을 마모시키고 수렴 영역을 벗어나게 한다. 저자들은 ICP 결과나 접촉 영역 중심 이동으로 병진을 초기화하는 보완책을 제안하지만, 단독으로는 한계다.
• 대칭 물체는 본질적으로 모호하다. 완전 대칭인 공·실린더에서는 법선 매칭이 여러 해를 가져 모든 방법이 어려움을 겪는다. 이는 방법의 문제라기보다 문제 자체의 한계지만, 회전 대칭 부품 추적에는 추가 단서가 필요하다.
• 수렴 영역 초기화 의존. Gauss-Newton 특성상 초기값이 수렴 basin 안에 있어야 한다. 프레임 간 움직임이 너무 크면 발산한다. 고프레임레이트 센서라면 완화되지만 저속 센서·급격한 운동에서는 주의가 필요하다.
• z-병진은 여전히 높이 맵에 의존. 본문 식(4)의 \Delta z 계산은 노이즈가 있는 높이 맵을 쓴다. 저자들은 접촉 유지를 위해 \Delta z 자체가 항상 작아 오차도 작다고 설명하지만, 원리적으로는 법선만큼 깨끗하지 않은 부분이다.
• 복원의 loop closure가 단순하다. 3D 복원은 단일 loop closure 제약만 쓴다. 더 긴 궤적에서는 factor graph 기반 다중 제약이 필요하다고 저자도 인정한다.
• 연속 접촉 가정. 접촉이 끊기거나 큰 가림이 생기면 재초기화 없이는 추적을 이어가지 못한다.

관련 연구와의 자리 매김

촉각 기반 자세 추정·추적은 크게 두 흐름이 있었다. 하나는 학습 기반(예: 촉각 이미지에서 자세를 회귀하거나, FoundationPose류의 일반 6DoF 추적기를 촉각에 적용하려는 시도)이고, 다른 하나는 기하 정합 기반(촉각 → 점군 → ICP/FilterReg/FPFH)이다. 학습 기반은 데이터·도메인 갭 문제가 있고, 점군 정합은 변환 노이즈와 속도·rolling 추정 한계가 있었다.

NormalFlow는 이 두 흐름 사이에서 독특한 위치를 잡는다. 학습 모델이 아니라 최적화(고전적)이면서, 정합 대상을 점군이 아니라 법선 맵으로 옮겼다. 즉 “센서 특성에 맞는 표현(법선)을 골라 고전적 정합을 다시 잘 한다”는 전략이다. 그 결과 학습 기반의 일반화 부담 없이, 점군 정합의 노이즈·속도·rolling 한계를 동시에 넘었다. 코드가 공개되어 있어(rpl-cmu/normalflow) in-hand manipulation 파이프라인의 추적 모듈로 그대로 끌어 쓰기 좋다는 점도 실무적 가치다.

비교 관점에서 흥미로운 점은, NormalFlow가 광학 시뮬레이터(TACTO 등)와 상보적이라는 것이다. 시뮬레이터가 촉각 데이터를 대량 생성하는 도구라면, NormalFlow는 실제 촉각 스트림에서 자세를 뽑아내는 추론 도구다. 정책 학습은 시뮬레이션에서, 실시간 상태 추정은 NormalFlow 같은 고전적 추적기로 — 라는 조합이 자연스럽다.

요약

NormalFlow의 기여는 “촉각 6DoF 추적은 점군 정합이 아니라 법선 맵 정합 문제다”라는 관점 전환에 있다. 센서가 가장 정확하게 측정하는 양을 그대로 정합 대상으로 삼아, 변환 노이즈를 없애고, rolling을 직접 보고, GPU 없이 70Hz·서브밀리미터 정확도를 달성했다. 텍스처 없는 물체와 장기 추적, 그리고 MoCap을 능가하는 3D 복원까지 보여주며 실용성을 입증했다.

한계도 분명하다. 빠른 병진, 대칭 물체, 초기화 의존, 연속 접촉 가정은 실제 조작 환경에서 마주칠 수 있는 지점들이다. 하지만 그 한계들은 대부분 “더 나은 초기화”나 “더 정교한 그래프 최적화”로 보완 가능한 공학적 문제이고, 핵심 아이디어 자체는 견고하다. dexterous manipulation에서 손안 물체의 상태를 실시간으로 알아야 하는 모든 상황에서, NormalFlow는 가볍고 정확한 기본 추적 백본으로 자리 잡을 만하다.