📃TaCauchy 리뷰

tactile

visuo-tactile

simulation

fem

contact

sim2real

GelSight

DIGIT

IsaacSim

TaCauchy: An Extensible FEM Framework for Vision-Based Tactile Simulation

Published

June 21, 2026

Paper Link (arXiv:2606.20426) — 이 리뷰는 v1 (2026-06-18, arXiv 비독점 라이선스) 기준이며, 수치는 전부 원문에서 확인한 값이다.
Code Link (github.com/figsama/TaCauchy) — MIT. TacEx 코드베이스를 확장한 Isaac Lab 익스텐션 형태로 전체 공개돼 있다(REPRODUCTION.md 설치·재현 가이드, Docker, Git LFS 에셋, --sensor gelsight|digit|9dtact 데모·벤치마크 스크립트, Isaac Lab RL 태스크 포함). 2026-08-31 확인 시점 최신 푸시는 2026-07-21(재현성 개선 커밋: LFS 에셋 커밋·libuipc 패치 외부화·테스트 4종 추가).
2026-09-01 갱신 — 논문은 v1 그대로이나, 이 공개 코드를 직접 설치·실행해 본 결과를 Ring 리뷰의 재현 절에 추가했다. 논문 본문의 수치·주장 서술은 바뀌지 않았고, 리뷰가 논문 표현을 잘못 옮겼던 곳(“contact-aware” → geometry-aware)을 원문 대조로 정정했다.
Hengfei Zhao, Yifan Xie, Junhao Gong, Yue Sun, Kai Zhu, Weihua He, Shoujie Li, Haohuan Fu, Wenbo Ding (Tsinghua SIGS · Huawei)
IEEE/RSJ IROS 2026 채택 (arXiv v1 2026-06-18, cs.RO)

💡 TaCauchy는 vision-based 촉각 센서 시뮬레이션이 “그럴듯한 이미지는 만들어도 신뢰할 힘 정보는 못 준다”는 문제를, 하이퍼탄성 구성법칙에서 Cauchy 응력 텐서를 직접 계산해 접촉면에 투영하는 FEM 프레임워크로 풀고 이를 Isaac Sim 생태계에 통합합니다.
⚙️ WildMeshing 기반 geometry-aware 적응 메시(contact surface에 sizing field 등록) + UIPC(Unified Incremental Potential Contact) soft-body 솔버로 변형을 풀고, deformation gradient에서 Cauchy 응력 \sigma를 뽑아 traction t=\sigma n을 normal pressure와 tangential traction으로 분해해 물리 기반 ground-truth 힘을 제공합니다.
🎯 단일 환경 33.40 FPS·60 병렬 555 FPS 처리량(응력 추출 오버헤드 <1 ms)에, 실물 대비 SSIM 0.93+ (평균 0.9377) 검증, GelSight Mini·DIGIT·9DTact 세 센서를 최소 설정으로 통합합니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

vision-based 촉각 센서(VBTS)는 실리콘 젤이 물체에 눌리며 생기는 변형을 카메라로 찍어 고해상도 접촉 정보를 준다. 강화학습·sim-to-real로 이를 활용하려면 이 부드러운 접촉을 시뮬레이션해야 하는데, 기존 시뮬레이터는 갈림길에 서 있다. TACTO·Taxim 같은 광학(optical) 기반은 강체 침투 깊이 근사나 예시 기반 기하 매핑으로 보기 좋은 촉각 이미지를 빠르게 만들지만 표면 압력·마찰 traction 같은 물리량을 전혀 계산하지 못한다. 반대로 FEM 기반은 물리를 풀지만, 학습 기반 역추정(iFEM)은 불확실성을 끌어들이거나(실측 보정 필요), TacSL의 Kelvin-Voigt 스프링-댐퍼 근사처럼 정확도를 속도와 맞바꾼다. TaCauchy의 질문은 분명하다: “근사 없이 제1원리에서 신뢰할 힘을, GPU 병렬 학습에 쓸 만한 속도로, Isaac Sim 안에서 줄 수 있는가?”

개요(Fig. 1) — UIPC soft-body 동역학 + 자동 적응 메시 + 하이퍼탄성 구성법칙에서의 직접 응력 추출 + 모듈식 센서 인터페이스를 Isaac Sim에 통합. GelSight Mini·DIGIT·9DTact를 강화학습용 mechanical ground truth와 함께 시뮬레이션한다.

이름 그대로 핵심은 Cauchy 응력 텐서다. 광학 시뮬레이터가 “어떻게 보일까”를 흉내내는 대신, TaCauchy는 변형장(deformation gradient field)에서 진짜 응력 상태를 계산하고 이를 접촉면에 투영해 traction force를 얻는다. 경험적 추정의 불확실성 없이 물리 기반 ground truth를 제공한다는 것이 한 줄 요지다.

시뮬레이션 파이프라인(Fig. 2) — 센서 geometry 입력 → 적응 메시 자동 생성 → UIPC-FEM 솔버(하이퍼탄성에서 직접 힘 계산) → Cauchy 응력 추출·traction 분해 → 모듈식 센서 인터페이스 + 선택적 광학 렌더링 → Isaac Lab 강화학습 연동. 빨간 테두리가 핵심 기여 모듈.

핵심 방법론:

젤 패드는 Stable Neo-Hookean 하이퍼탄성 모델로 모델링한다. Young’s modulus E와 Poisson’s ratio \nu에서 Lamé 상수를 얻고(Eq. 1 — 관계식 자체는 \nu<0.5 를 요구하고, 젤은 거의 비압축성이라 \nu\approx 0.5 로 잡는다):

\mu = \frac{E}{2(1+\nu)}, \qquad \lambda = \frac{E\,\nu}{(1+\nu)(1-2\nu)}

변형 gradient F에서 First Piola-Kirchhoff 응력 P를 얻고(Eq. 2), 이를 현재(변형된) 형상의 진짜 응력인 Cauchy 응력 \sigma로 변환한다(Eq. 3, J=\det F):

P = \mu F + \lambda\bigl(\det(F)-1\bigr)\det(F)\,F^{-\top}, \qquad \sigma = \frac{1}{J}\,P\,F^{\top}

Eq. 2를 Eq. 3에 대입해 정리하면 \sigma가 left Cauchy-Green 텐서 b=FF^{\top}와 항등 텐서 I만으로 떨어진다(Eq. 4):

\sigma = \frac{\mu}{J}\,b + \lambda\,(J-1)\,I

그다음 표면 삼각형마다 Cauchy 응력 정리로 traction을 뽑고(Eq. 6) normal/tangential로 분해한다(Eq. 8·9):

t=\sigma n,\qquad p = n^{\top}\sigma n,\qquad t_{\text{tan}} = t-(t\cdot n)\,n

p는 표면에 수직인 압력(스칼라, >0 인장·<0 압축), t_{\text{tan}}은 마찰·슬립을 가르는 전단 traction이다. 동역학은 UIPC 솔버(IPC barrier \hat d=0.001 m, friction ratio 0.5, Newton 최대 1024 iter)로 풀어 메시 반전·관통 없이 큰 변형을 견딘다. 메시는 WildMeshing으로 생성하되 접촉면(패드 하단 두께의 15% 이내)에 per-vertex sizing field를 등록해 중심부 edge length를 코사인 전이로 조밀화한다.

주요 결과:

성능(RTX 5090): 단일 환경 33.40 FPS(headless)·9.23 FPS(GUI), 60 병렬 시 합산 555 FPS(headless)·455 FPS(GUI). 물리 계산이 지배적(88.92 ms headless)이고 응력 추출은 <1 ms.
적응 메시(GelSight Mini): 661→1,920 tet으로 2.90× 증가, contact-center edge length 1.82 mm→0.68 mm, 접촉 영역 메시 밀도 7.35× 향상(최종 553 vertices·712 faces).
물리 검증(UR5 + M3733C 6축 F/T + 원통 indenter): 6회 trial, 1.2556 N~4.7332 N. SSIM 평균 0.9377(>0.93), NCC 0.9669, Histogram Corr. 0.6920, PSNR 22.13 dB. 힘이 커질수록 SSIM 0.947→0.933으로 미세 저하.
다중 센서 광학 검증: GelSight Mini SSIM 0.9277·PSNR 22.45 dB, DIGIT SSIM 0.9215·PSNR 25.42 dB.

결론: 광학 시뮬레이터의 “보기 좋지만 힘 없는” 한계와 단순화 FEM의 “빠르지만 부정확한” 한계 사이에서, TaCauchy는 UIPC로 제1원리 응력을 풀고 이를 Isaac Sim에 얹어 정확한 힘 + 사실적 이미지를 한 프레임워크로 제공한다. 저자들은 SSIM 0.93+가 “sim-to-real 전이에 필요한 구조적 정확도”를 뒷받침한다고 주장하며(§IV-B), 모듈식 인터페이스로 이종 센서 확장성을 보였다. 다만 그 전이 자체를 실험으로 보인 것은 아니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

TaCauchy의 한 문장은 “촉각 이미지를 흉내내지 말고, 응력을 계산해서 거기서 이미지와 힘을 함께 끌어내라”다. Cauchy 응력 텐서를 first-principle로 계산하는 이 한 결정이, 광학 시뮬레이터엔 없던 mechanical ground truth(압력·전단 traction)를 공짜에 가깝게(<1 ms) 부산물로 내놓고, 동시에 그 변형 메시를 광학 렌더의 물리적 경계로 써서 이미지 사실성까지 끌어올린다.

왜 어려운가: “보기 좋은 이미지”와 “믿을 힘” 사이

VBTS 시뮬레이션은 두 진영으로 갈린다.

광학 진영(TACTO, Taxim): 강체 침투 깊이나 예시 기반 매핑으로 촉각 이미지를 생성한다. 빠르고 시각적으로 그럴듯하지만, 표면 압력·마찰 traction·젤의 실제 변형 같은 물리량을 만들 수 없다. contact-rich 조작처럼 힘 피드백이 성패를 가르는 태스크엔 부족하다.
FEM 진영: 물리를 풀지만 접근마다 약점이 다르다. iFEM 같은 학습 기반 역추정은 관측된 변형에서 힘을 거꾸로 추정해 불확실성과 실측 보정 비용을 안고, TacSL의 Kelvin-Voigt는 full FEM을 스프링-댐퍼로 대체해 200× 이상 빨라지는 대신 정확도를 경험적 근사와 맞바꾼다. TacIPC·DIFFTACTILE은 정확하지만 Isaac 생태계 밖이라 대규모 병렬 RL에 쓰기 어렵다.

저자가 짚는 빈칸은 명확하다: rigorous한 응력·압력·traction을 제1원리로 주면서, 사실적 촉각 이미지를 만들고, Isaac Sim의 GPU 병렬 학습에 맞는 효율을 유지하는 시스템. TaCauchy는 TacEx의 Isaac 통합 위에, 완전한 힘 계산(full Cauchy 응력 추출 + 법선/전단 분해)을 얹는 것으로 그 자리를 노린다.

방법 상세

1) 메시: geometry-aware 적응 세분화

젤 elastomer를 사면체(tetrahedral) 메시로 모델링한다. 생성기는 WildMeshing으로, intersection-free·inversion-free·manifold-valid 메시를 보장한다. 표면 삼각화 → 체적 사면체화 순으로 진행하며, 핵심 파라미터는 상대 target edge length(전역 밀도), envelope(미세 표면 보존), AMIPS 에너지 임계(요소 품질), stopping quality(최악 종횡비 상한)다.

여기에 geometry-aware adaptive refinement를 더한다. 핵심은 WildMeshing의 per-vertex sizing field를 사면체화 커널에 직접 등록하는 것 — 후처리 세분화가 아니라 Delaunay 최적화 중에 밀도가 조절돼 전이 영역에서도 well-shaped tet이 나온다. 작동 방식:

바운딩 박스에서 가장 얇은 축을 패드 두께 방향으로 자동 식별하고, 하단면에서 두께의 15% 이내 정점을 contact surface로 라벨링.
그 표면에 방사형 밀도 프로파일 적용 — 중심부(평면 half-extent의 r_c=40\% 이내)는 fine edge length l_c\approx 0.8 mm, 주변부는 전역 coarse 해상도 l_g\approx 3.2 mm.
두 영역 사이를 폭 r_t=20\%(half-extent 기준)의 코사인 평활 전이 밴드로 이어 강성 불연속을 피함.

용어를 짚어두면, 논문이 쓰는 표현은 geometry-aware adaptive refinement이고(§III-A 제목은 “Mesh Generation and Contact-Surface Refinement”, Alg. 2 1행은 “contact-surface adaptive sizing field”), 여기서 “contact surface”는 런타임 접촉 위치가 아니라 바운딩 박스에서 기하학적으로 판정한 하단 15% 대역이다. 즉 밀도 분포는 메시 생성 시점에 고정된다. (이 리뷰의 이전 판은 이를 “contact-aware”로 옮겼는데, 실제 접촉 위치를 보는 적응으로 오해될 수 있어 2026-09-01 갱신에서 정정했다.)

GelSight Mini 기준으로 baseline 661 tet → 1,920 tet(2.90×)으로 늘되, contact-center edge length를 1.82 mm→0.68 mm로 줄여 접촉 영역만 7.35× 조밀해진다(최종 553 vertices / 그중 표면 358 / 712 triangular faces). 자원을 접촉이 일어나는 곳에 집중시키는, 비용-정확도 trade의 영리한 절충이다.

2) 구성법칙과 UIPC 솔버

재료는 Stable Neo-Hookean(Smith et al. 2018)이다. 선택 근거가 셋: ① Neo-Hookean은 가교 고분자 사슬의 통계 열역학에 근거해 실리콘 고무의 거동을 잘 잡고, ② Stable 변형은 극단적 변형·요소 반전에서 수치적으로 강건하며(고주파 접촉에서 자주 발생), ③ 거의 비압축성인(\nu\approx 0.5) 젤의 부피 보존을 잘 지킨다. E,\nu에서 Lamé 상수 \mu(전단)·\lambda(체적)를 얻고(Eq. 1 — 이 관계식은 \nu<0.5 에서만 정의된다), 변형 gradient F에서 PK1 응력 P=\mu F+\lambda(\det F-1)\det F\,F^{-\top} 를 도출한다(Eq. 2).

동역학은 UIPC 엔진의 최적화 기반 적분으로 푼다. IPC barrier 거리 \hat d=0.001 m, velocity threshold 0.01 m/s, frictional contact ratio 0.5, Newton 솔버 최대 1024 iter/step — 큰 전단 하중에서도 관통·반전 없이 수렴하도록 설정했다.

3) Cauchy 응력 추출과 traction 분해 (핵심 기여)

엔지니어링 측 핵심은 UIPC 변형장에서 Cauchy 응력 \sigma를 직접 뽑아 표면에 투영하는 것이다. 현재(변형된) 형상의 진짜 응력 상태는 PK1에서:

\sigma = \frac{1}{J}\,P\,F^{\top}, \qquad J=\det F

Eq. 2를 대입·정리하면 \sigma=\tfrac{\mu}{J}b+\lambda(J-1)I 로, left Cauchy-Green 텐서 b=FF^{\top}와 항등 I의 함수가 된다(Eq. 4) — 경험적 fitting이 아니라 고분자 탄성의 통계 열역학에 뿌리를 둔 형태라는 게 저자들의 논거다. 대칭 \sigma는 9성분(대칭으로 6 독립), 대각이 법선 응력(인장/압축), 비대각이 전단 응력이다.

표면 투영(Algorithm 1)은 각 surface triangle마다: 부모 tet의 응력 텐서를 가져와 표면 법선 n을 구하고, Cauchy 응력 정리로 traction을 계산한 뒤 법선·접선으로 분해한다:

t=\sigma n \quad(\text{traction}), \qquad p = n^{\top}\sigma n \quad(\text{normal pressure}), \qquad t_{\text{tan}} = t-(t\cdot n)\,n \quad(\text{tangential})

p는 스칼라 압력(p>0 인장, p<0 압축), t_{\text{tan}}은 표면에 평행한 전단 벡터로 구성상 t_{\text{tan}}\cdot n=0을 만족한다. \lVert t_{\text{tan}}\rVert이 곧 마찰·슬립을 판단하는 전단 강도다. 전체 루프(Algorithm 2)는 메시 생성 → UIPC step → tet별 \sigma 계산 → 표면 삼각형별 분해를 매 스텝 통합한다. 여기에 접촉 정점 경로가 하나 더 붙는데, IPC 접촉 에너지의 gradient \mathbf{g}_k에서 \mathbf{f}_k=-\mathbf{g}_k/\Delta t^2로 절점력을 복원하고 법선/접선 분해 후 정점 면적 A_k로 나눠 압력 p_k=\lVert\mathbf{f}_k\rVert/A_k를 얻는다(Alg. 2, 10–15행). 즉 응력장 경로(연속체)와 접촉력 경로(IPC)를 둘 다 내놓는 구조다. 이렇게 얻은 힘은 역추정의 불확실성도, 단순 경험 모델의 부정확함도 없는 순수 물리 ground truth라는 게 저자 주장이다.

4) 물리 제약 광학 렌더링

이미지는 별도 모듈로 합성하되, 기존 분리형(광학과 물리가 독립)과 달리 FEM 변형 메시로 물리 제약을 건다. Taxim 등에서 흔한 젤-물체 비정상 관통(interpenetration)은, 광학 depth 생성에 물리 접촉 제약이 없어서 생긴다. TaCauchy는 FEM이 푼 non-penetrating 메시를 광학 모듈의 엄격한 물리 경계로 써서 depth map을 그 변형 체적 안으로 제한한다 — 시각 신호가 실제 접촉 상태를 반영하게 된다. 마커가 있는 센서엔 FOTS 프레임워크로 마커 동역학을 입힌다.

직관: 왜 “응력을 먼저”가 이득인가

광학 시뮬레이터는 접촉의 결과(이미지)를 모델링하지만, contact-rich 학습에 정작 필요한 건 원인(힘장)이다. TaCauchy는 순서를 뒤집어 응력을 먼저 풀고, 거기서 이미지와 힘을 함께 파생시킨다. 이 한 결정이 두 가지를 동시에 얻게 한다 — (1) 압력·전단 traction이라는, 광학 방식엔 원천적으로 없는 supervision이 거의 공짜로(추출 <1 ms) 따라오고, (2) 같은 변형 메시가 광학 렌더의 물리 경계가 돼 관통 아티팩트를 없애므로 이미지 사실성까지 올라간다. “보기 좋게 만들기”와 “믿을 힘 주기”가 별개 목표가 아니라 같은 응력장에서 나오는 한 쌍이 된다.

실험

셋업과 성능

워크스테이션은 AMD Ryzen 9 9950X + RTX 5090, Isaac Sim 5.1.0 / Isaac Lab 0.51.1 + UIPC. 세 센서(GelSight Mini·DIGIT·9DTact)를 각각 Franka Panda에 장착해 평가했다. 성능은 단일 33.40 FPS(headless)·9.23 FPS(GUI), 60 병렬 시 9.25/7.59 FPS → 합산 555/455 FPS. 물리가 시간을 지배(88.92 ms headless, 102.72 ms GUI)하고 응력 추출은 <1 ms로 무시할 수준 — 핵심 기여(응력 추출)가 병목이 아니라는 점을 보인 셈이다.

물리 검증: 실물 대비 SSIM 0.93+

UR5 협동로봇 EE에 M3733C 6축 F/T 센서를 달고 원통 indenter(지름 5 mm·높이 10 mm)로 GelSight Mini를 수직 가압했다. 힘은 100 Hz·0.0001 N 해상도로, 촉각 이미지는 25 FPS로 하드웨어 트리거 동기화 기록. 6 trial, target force 1.2556 N~4.7332 N. 시뮬레이션은 동일 형상·재료로 변위 경계조건을 줘 측정 F_z를 0.0800 N 오차 내로 맞춘 뒤 같은 photometric 모델로 렌더했다(Fig. 4 기준 실측 1.2556 / 1.8686 / 2.8766 / 3.6195 / 4.2234 / 4.7332 N에 대해 시뮬은 1.2362 / 1.8932 / 2.8237 / 3.6332 / 4.2933 / 4.7632 N — 최대 오차는 4.2234 N 시행의 0.070 N으로 선언한 0.0800 N 허용치 안에 들어온다).

실물 vs 시뮬 촉각 이미지(Fig. 4) — 6개 힘 레벨에 대해 (1행) 실제 센서, (2행) 시뮬, (3행) 픽셀 차이. 힘이 커질수록 접촉 면적이 원통 형상대로 원형 대칭으로 확장되고, 밝은 중심 + 어두운 주변 패턴이 양쪽에서 일관. 그림 안에 시행별 MAE 16.84~17.74, SSIM 0.947 / 0.940 / 0.938 / 0.932 / 0.933 / 0.933이 함께 표기돼 있다.

정량 지표(평균): SSIM 0.9377(전 구간 >0.93), NCC 0.9669, Histogram Correlation 0.6920, PSNR 22.13 dB, MSE 372.0~414.1. 힘이 1.2556 N→4.7332 N으로 커지면 SSIM 0.947→0.933, NCC 0.974→0.965, PSNR 22.43→22.03 dB로 미세 저하 — 변형이 커질수록 기하 비선형성·재료 불확실성이 커지는 것과 부합하나 전 구간 허용 범위 유지. Histogram Correlation(0.69)이 상대적으로 낮은 건 조명/색 보정 차이에 민감하기 때문이라고 설명한다.

접촉 모드 분석: 힘장이 물리를 드러내는가

원통 indenter로 세 정준 접촉 모드를 정성 분석한다.

세 접촉 모드 힘장(Fig. 7) — (위) normal pressing, (중) tangential translation, (아래) rotation. 열: (좌) 기하·접촉 뷰, (중) 법선 힘장, (우) 접선 힘장. 응력 분해가 각 상호작용의 물리적 서명을 드러낸다.

Normal pressing: 접촉 영역에 집중된 대칭 법선 압력 + 중심→주변으로 퍼지는 방사 대칭 접선 traction. 부피 보존·Poisson 효과(수직 압축이 측방 팽창을 유발)를 반영.
Lateral translation(sliding): 응력장의 대칭 깨짐 — 법선 압력이 진행 방향 leading edge로 쏠리고(전방 젤 축적), 접선 벡터는 슬라이딩 반대 방향으로 균일 정렬(전역 마찰 저항). leading edge에선 국소 물질 흐름으로 방사 확산 경향.
Axial rotation(torsion): 법선은 대칭 유지, 접선은 회전 경로에 정확히 접하는 vortex 형 벡터장 — 다축 응력 성분을 분리(decouple)하는 능력을 시연.

정량 검증이 아니라 정성 시각화라는 점은 짚어둘 만하다. “물리적으로 그럴듯한 힘장이 나온다”는 것을 보이지만, 이 traction 자체의 정확도를 실측 6D 힘과 직접 대조하지는 않는다(검증은 이미지 SSIM 쪽).

다중 센서 확장성

다중 센서 힘장 검증(Fig. 8) — 구형 indenter 접촉. 행: (위) GelSight Mini, (중) DIGIT, (아래) 9DTact. 열: 시뮬 장면 / 적응 메시 / 법선 압력 / 접선 traction. 9DTact는 soft 반투명 base + stiffer black surface의 이중층으로 모델링.

세 주류 센서에 대해 geometry별 적응 메시를 자동 생성해 구형 indenter 접촉을 시뮬레이션했다. 법선 압력은 접촉 중심에 집중 후 방사 감쇠, 접선 traction은 Poisson 효과로 방사 확산 — geometry가 달라도 센서별 mechanical 응답을 잡아낸다고 보고한다. 새 센서 추가는 “geometry + calibration 파라미터만 제공”하면 된다는 모듈식 설계가 강점으로 제시된다.

실물 vs 시뮬 다중 센서(Fig. 9) — GelSight Mini(좌)·DIGIT(우), 각 5개 시험 물체. 각 열: 실제(상)/TaCauchy 시뮬(중)/픽셀 차이(하). 논문은 GelSight의 마커 패턴과 DIGIT 특유의 외관까지 재현했다고 적는다.

내부 조명 원리 센서(GelSight·DIGIT)에 물리 제약 광학 렌더를 적용해 5개 시험 물체(날카로운 엣지~매끈한 곡률)로 검증: GelSight Mini SSIM 0.9277·PSNR 22.45 dB, DIGIT SSIM 0.9215·PSNR 25.42 dB. 차이는 주로 조명·재료 결함이 끼는 경계 영역에 집중된다.

재현해 보니 (2026-09-01 갱신)

논문이 IROS 2026 채택본이고 코드가 MIT로 공개돼 있으니, “공개된 코드가 실제로 도는가”를 직접 확인했다. 대상은 upstream figsama/TaCauchy @ 66f8a41(2026-07-21 푸시, 재현성 개선 커밋 반영본)이고, 실행 기록 전문은 실험 레포의 EXPERIMENTS.md에 있다.

읽을 때 세 층을 구분해야 한다 — ① 논문이 주장한 값, ② 레포 문서가 지시한 환경, ③ 우리가 측정한 값. 셋이 서로 다르고, 차이의 책임도 서로 다른 곳에 있다.

환경: 논문과 레포 문서부터 어긋난다

항목	논문(§IV)	레포 `REPRODUCTION.md`	우리 실측
GPU	RTX 5090	RTX 5090	RTX 5090 (동일)
Isaac Sim	5.1.0	5.0.0	6.0.1-rc.7
Isaac Lab	0.51.1	2.2.1	3.0.0-beta2
`CMAKE_CUDA_ARCHITECTURES`	—	89	120

논문은 Isaac Sim 5.1.0 / Isaac Lab 0.51.1에서 벤치마크했다고 적는데 레포 문서는 5.0.0 / 2.2.1을 설치하라고 한다. 논문과 자기 레포 문서가 먼저 어긋나 있다. 우리는 기설치본(6.0.1 / 3.0.0-beta2)을 재사용했으므로 여기서 생긴 문제는 전부 우리 쪽 이탈의 대가이지 논문의 결함이 아니다 — 그 구분을 아래에서 끝까지 지킨다. 문서 자체의 사소한 오류는 별개로 있었다: CMAKE_CUDA_ARCHITECTURES=89는 Ada(4090) 값이고 5090은 Blackwell sm_120이라 틀렸으며(실측 get_device_capability()==(12,0)), git-lfs가 요구사항 표에 빠져 있고, 스크립트마다 센서 인자 이름이 gelsight/gsmini로 갈린다. 그리고 포크에서는 setup_assets.sh가 반드시 실패한다 — GitHub이 LFS 오브젝트를 포크에 복제하지 않기 때문에 upstream 리모트에서 직접 당겨야 한다.

검증된 것: 핵심 기여는 실제로 동작하고, 오버헤드 주장도 맞다

논문의 심장은 “하이퍼탄성 커널 안에서 Cauchy 응력을 직접 뽑는다”이고, 이건 코드에 실재하고 실제로 돈다. libuipc 패치가 Stable Neo-Hookean 커널에서 \sigma=\frac{1}{J}PF^{\top}를 계산해 cauchy_stress라는 tet 속성 (n_tet, 3, 3)로 내보내고, 파이썬 쪽 stress_extractor.py:44의 geo.tetrahedra().find("cauchy_stress")가 그것을 읽어 t=\sigma n·n^\top\sigma n·t_\text{tan}으로 분해한다. Isaac Sim 없이 단일 tet만 돌린 최소 검증에서 이 속성이 대칭 텐서로 나오는 것까지 확인했고, sm_120에서 CUDA 백엔드도 정상 동작했다.

지표	논문 주장	우리 실측	판정
응력 추출 오버헤드	< 1 ms	0.43 ± 0.02 ms	✅ 부합
단일 환경 FPS	33.40 (headless)	17.83	⚠️ 약 0.53× — 직접 비교 불가
60 병렬 합산 FPS	555	미측정	—

핵심 기여가 병목이 아니라는 주장은 실측으로 지지된다. 반면 FPS 절반은 결론으로 쓸 수 없다: GPU는 같은 5090이지만 Isaac 스택 세대가 다르고(6.0/3.0 vs 5.1/0.51), 우리 attachment가 기하학적 근사 경로였다. 덧붙이면 젤패드가 케이스에 부착되지 않은 초기 상태에서는 34~40 FPS가 나왔다가 부착이 잡히자 17.8로 떨어졌다 — 접촉 연산이 물리 스텝을 2.3배(24.1→55.3 ms)로 올린 것이라, “FPS가 잘 나온다”는 관측 자체가 접촉이 실제로 일어나는지 확인 없이는 무의미했다.

공개 코드의 실재 결함 2건 (Isaac 버전과 무관)

우리 환경 문제와 분리해서, 최초 공개 릴리스 a230d76부터 있었던 결함이 둘 있다(git show로 확인).

원저자 머신 절대경로 하드코딩 3곳 — force_visualizer.py:28, simple_visualizers.py:21, run_shape_touch.py:108이 /home/ly/data/hengfei/...를 기본 저장 경로로 쓴다. 문서상 GUI 진입점 simple_tactile_demo.py는 타 머신에서 PermissionError: /home/ly로 즉사한다.
uipc_object.py::_init_uipc_object의 죽은 코드 — 함수 중간에 @staticmethod가 끼어들면서, 원래 함수 꼬리였던 렌더 메시 등록 블록이 그 staticmethod의 return 뒤에 남았다. 결과적으로 self._uipc_sim._fabric_meshes.append(...)가 한 번도 실행되지 않고(실측 len(_fabric_meshes)=0), 매 스텝 호출되는 update_render_meshes()가 아무 일도 하지 않는다. 즉 UIPC 객체가 Isaac Sim 뷰포트에 전혀 렌더되지 않는다. 물리·응력 경로와는 독립이라 논문 수치에는 영향이 없지만, 논문의 주인공인 변형 젤패드를 공개 코드 그대로는 화면에서 볼 수 없다. 두 줄만 살아 있는 본문으로 되돌리자 곧바로 len(_fabric_meshes)=2가 되고 젤패드가 실시간으로 보였다.

[우리 재현 결과] uipc_object.py의 죽은 코드를 되살린 뒤 Isaac Sim 뷰포트에 나타난 DIGIT 젤패드(가운데 흰 렌즈형 메시, 압입 중). 공개 코드 그대로는 이 메시가 등록되지 않아 화면에 아무것도 그려지지 않는다. (인덴터가 여전히 안 보이는 건 원인을 못 밝혀 결함으로 승격하지 않았다.)

이 둘을 제외한 나머지 마찰은 전부 우리가 문서가 지정한 스택을 벗어난 대가다. Isaac Sim 6.0에서 legacy omni.physx scene query가 전면 hit=False라 attachment 후보 탐색이 죽고, Isaac Lab 3.0이 쿼터니언 레이아웃을 (w,x,y,z)→(x,y,z,w)로 바꿔 하드코딩 상수 3곳이 조용히 틀린 값을 냈으며(젤패드가 3.9 mm→23.5 mm로 늘고 응력이 영률 0.1 MPa 젤에서 1.8 MPa까지 튀는 비물리적 결과), PhysxCfg 이동·wp.array 전환·isaacsim.core.prims deprecated 등 14건 이상의 포팅이 필요했다. Isaac Lab 3.0 자체 문제도 하나 나왔다 — depth-only 카메라 센서가 하나라도 있으면 전역 /rtx/sdg/force/disableColorRender가 켜지는데, 되돌리는 가드가 보는 /isaaclab/has_gui를 아무도 세팅하지 않아(레포 전체에서 읽는 곳 7·쓰는 곳 0) GUI 뷰포트가 검게 나온다. TaCauchy 잘못이 아니다.

Fig. 7·8 재현: 절반의 성공

[우리 재현 결과 — 논문 그림이 아니다] Fig. 8 구성 재현. 행=센서(DIGIT/GelSight Mini/9DTact), 열=적응 메시 / 법선 압력(n^T σ n) / 접선 traction. 구형 인덴터 2 mm 압입. 접선 traction의 방사대칭은 세 센서 모두에서 나타나지만, 법선 압력은 중심 부근 압축 군집은 보이되 논문 같은 깨끗한 국소 패치는 아니고, “적응” 메시 열은 육안상 거의 균일하다.

press(수직 압입)는 유효했다. 비접촉 상태의 잔류 응력 5.4 Pa에서 압입 시 44.6 kPa로 3~4자릿수 급등하고 국소 접촉 패치가 나온다. Fig. 8 구성에서도 세 센서 모두 같은 급등(9DTact 193.6 kPa 등)으로 접촉 이벤트가 명확했고, 접선 traction의 방사대칭은 재현됐다 — 구형 인덴터 수직 압입의 축대칭 서명이 실제로 보인다.
slide는 미재현. 측정 하중을 되먹여 z를 서보하는 폐루프를 넣어 접촉 유지에는 성공했고 traction이 좌측으로 편중되기 시작했지만, 논문이 말하는 leading-edge 정렬은 아니다.
twist는 미재현. 회전각을 40°→15°로 낮추고 전 구간 하중 서보를 걸어 접촉을 한 번도 놓치지 않은 상태에서도(gap 전 구간 양수) vortex 순환 구조가 나오지 않았다. 즉 “마찰 전단이 안 걸려서”라는 가설은 기각됐고, 원인은 여전히 미상이다(표면 해상도, 접선 성분의 투영 축, 회전 중심-접촉 코어 불일치가 남은 후보).
논문 Fig. 8의 “시뮬 장면” 열은 재현할 수 없어 오프라인 3D 뷰로 대체했다(위 결함 2 때문에 인덴터가 렌더되지 않는다).

이 미재현들 중 어느 것도 논문이 틀렸다는 근거는 아니다. 우리 스택이 문서가 지정한 것과 다르고, 그 경로가 검증된 적 없다는 사실이 먼저 설명해야 할 후보로 남아 있다.

적응 메시: 데모 경로에서는 실행되지 않고, 켜면 양면적이다

논문 기여 중 하나인 적응 메시 refinement가 실제로 쓰이는지 확인했더니, simple_tactile_env.py가 세 센서 모두 mesh_cfg=None이라 uipc_object.py:187 분기에서 USD에 미리 구워진 tet 메시를 읽고 MeshGenerator를 한 번도 호출하지 않는다. 코드 결함이 아니라 데모 설정 사실이지만, REPRODUCTION.md가 가리키는 진입점으로는 이 기여가 실행되지 않는다.

직접 켜서 같은 press 조건(DIGIT/cylinder/2 mm)으로 나란히 재면 결과가 양면적이다.

항목	고정 메시(데모 기본)	refinement 켬
tet 정점	430	257
표면 삼각형	640	390 (0.61×)
접촉 코어 비중	70 / 640 (10.9 %)	128 / 390 (32.8 %)
접촉 코어 밀도	0.16 tri/mm²	0.24 tri/mm² (+50 %)

중심부 상대 밀도는 실제로 +50 % 올라 기능이 동작함을 보인다. 그러나 WildMeshing이 메시를 새로 생성하므로 절대 해상도가 오히려 떨어져(430→257 정점) 순효과가 상쇄되고, 압력 패치가 더 깨끗해지지도 않았다. 레포 자체 예시 출력도 704→378 (0.54×)로 감소를 보여준다. 논문이 보고한 “661→1,920 tet, 접촉 영역 7.35× 밀도”는 우리가 실행 가능한 경로에서는 재현되지 않았고, 애초에 7.35×는 입력 파라미터이지 정확도 이득이 아니라는 약점 항목과도 이어진다. 참고로 upstream이 이번에 추가한 “테스트 4종” 중 test_mesh_refinement_stats.py는 하드코딩 문자열을 print만 하고 assert가 없어 회귀 방지 효과가 없다.

부수로, 이 환경에서는 센서 TiledCamera 깊이가 전 픽셀 inf라 tactile RGB가 접촉 정보를 담고 있지 않다(height map이 상수로 고정). 원인 미상이며 6.0/3.0 미검증 경로가 유력하다. 응력 기반 그림들은 이 경로와 무관하다.

이 재현이 리뷰에 남기는 것

논문의 핵심 주장(응력 추출이 실재하고 <1 ms)은 실측으로 지지된다. 이게 가장 중요한 결론이다.
그러나 “공개돼 있다”와 “돈다”는 다르다. 최초 릴리스부터 있던 결함 둘 때문에, 문서가 가리키는 GUI 진입점은 타 머신에서 즉사하고 UIPC 객체는 렌더되지 않는다. 아래 강점 항목을 그만큼 낮춰 읽어야 한다.
문서가 지정한 Isaac Sim 5.0/5.1을 벗어나면 재현 비용이 급격히 커진다. 버전을 고정한 컨테이너 없이는 이 프레임워크의 재현성은 얇다.

비판적으로 보면

강점

올바른 supervision을 거의 공짜로: 응력을 먼저 풀어 압력·전단 traction을 부산물로 얻는 설계가 깔끔하다. 광학 방식엔 원천적으로 없는 힘 ground truth를 추출 <1 ms로 제공한다는 점은 downstream force-aware 정책 학습에 실질적 가치가 있다.
물리-광학 결합의 일관성: FEM 변형 메시를 광학 렌더의 물리 경계로 재사용해 Taxim류의 관통 아티팩트를 구조적으로 제거한다. “정확한 힘”과 “사실적 이미지”를 한 응력장에서 동시에 얻는 통합이 설득력 있다.
생태계 적합성과 실제 공개: Isaac Sim/Lab 안에 통합돼 60 병렬 555 FPS를 내고, 핵심 기여인 응력 추출이 병목이 아님을 성능 분해로 보였다. 그리고 말뿐이 아니라 코드가 MIT로 전체 공개돼 있다 — 설치·재현 가이드(REPRODUCTION.md), Docker, LFS 에셋, 센서 3종 데모/벤치마크 스크립트, Isaac Lab RL 태스크까지 들어 있다. Isaac 밖에 있는 TacIPC·DIFFTACTILE 대비 진입 장벽이 확실히 낮다. 다만 2026-09-01 갱신 — 직접 돌려 본 결과 “공개 ≠ 동작”이었다: 문서가 지정한 Isaac Sim 5.0을 벗어나면 포팅 14건 이상이 필요했고, 그와 별개로 최초 릴리스부터 있던 결함 2건(원저자 절대경로 하드코딩, UIPC 렌더 메시 등록이 죽은 코드) 때문에 문서상 GUI 진입점은 타 머신에서 크래시하고 UIPC 객체는 뷰포트에 그려지지 않는다. 공개 자체는 여전히 강점이지만, 버전 고정 컨테이너 없이 재현 가능하다고 읽으면 안 된다. (자세한 실측은 재현 절.)
검증된 충실도와 확장성: 통제된 실험에서 SSIM 0.93+를 정량 검증하고, 세 이종 센서로 확장성을 보였다. 적응 메시는 비용-정확도 균형의 구체적 수치(7.35× 밀도)를 제시한다.

약점·한계

힘 자체의 정량 검증 부재: 이 프레임워크의 정체성은 “신뢰할 힘”인데, 정작 정량 검증(SSIM/PSNR)은 전부 이미지 유사도다. 6축 F/T 센서로 측정한 F_z는 시뮬을 맞추는 경계조건으로 쓰일 뿐, 추출된 traction·전단장의 정확도를 실측 6D 힘과 직접 대조하지 않는다. 접촉 모드 분석(Fig. 7)도 정성적이다. “first-principle이라 신뢰할 만하다”는 주장은 아직 이미지 측 간접 증거에 의존한다.
병렬성의 실제 한계: 555 FPS는 인상적이나 60 병렬에 그친다. 저자 스스로 “고해상도 FEM의 연산 부담이 초고속 정책 학습에 흔히 요구되는 대규모 병렬화를 제약한다”고 인정한다 — 같은 IPC 계열인 Taccel이 4000+ 환경을 내세우는 것과 대비된다. downstream RL 적용은 future work로 남았다.
재료 보정: 실제 젤은 마모·히스테리시스 등 시변 물성을 갖는데 이를 연속적으로 모델링하기 어렵다(저자 인정). 단일 Stable Neo-Hookean + 고정 파라미터가 다양한 센서·노화 상태를 얼마나 대표하는지는 미검증.
검증 규모: 물리 검증은 단일 형상(원통) indenter·수직 가압·6 trial로 좁다. 전단·회전이 큰 동적 접촉, 다양한 물체에서의 SSIM은 Fig. 9의 정성 비교 외엔 제한적이다. 적응 메시 파라미터(15% 두께·inner radius 등)의 민감도 분석도 없다. 우리 재현에서는 공개 데모가 애초에 mesh_cfg=None이라 이 기여를 타지 않았고, 직접 켜서 재면 중심부 상대 밀도는 +50 % 오르되 절대 해상도가 430→257 정점으로 떨어져 순효과가 상쇄됐다.
ablation 부재: 논문에 기여 모듈을 분리 검증하는 ablation이 하나도 없다. 물리 제약 광학 렌더링이 Taxim류 관통 아티팩트를 실제로 얼마나 줄이는지(before/after 비교 없음), 적응 메시(7.35× 밀도)가 힘·이미지 정확도를 baseline 661 tet 대비 얼마나 개선하는지 수치가 없다. 7.35×는 메시 밀도라는 입력값이지 정확도 이득이라는 결과값이 아니다.
downstream 미실증: 초록·결론이 “force supervision for downstream robotic manipulation”을 내세우지만, 실제 RL 정책 학습이나 sim-to-real 전이 실험은 없다(결론에서 향후 과제로 명시). 가치 명제의 마지막 한 칸이 비어 있는데, 이 칸이 얼마나 큰지는 촉각 pushing sim2real RL 리뷰처럼 실제로 그 전이를 붙들고 씨름한 작업들을 보면 짐작이 간다 — 시뮬레이터의 힘장 정확도와 정책의 sim2real 성공은 별개의 문제다.

요약

TaCauchy는 “촉각 이미지를 흉내내지 말고 응력을 계산하라”는 한 줄을, WildMeshing geometry-aware 적응 메시 + UIPC soft-body 솔버 + Cauchy 응력 추출(\sigma=\tfrac1J PF^\top, t=\sigma n의 법선/전단 분해)이라는 연속체역학 정공법으로 구현해 Isaac Sim에 통합했다. 응력을 먼저 풀어 압력·전단 traction을 <1 ms에 부산물로 얻고, 그 변형 메시를 광학 렌더의 물리 경계로 재사용해 정확한 힘과 사실적 이미지를 한 응력장에서 함께 만든다. 60 병렬 555 FPS, 실물 대비 SSIM 0.93+로 충실도를 검증했고 GelSight Mini·DIGIT·9DTact로 확장성을 보였다. 다만 정량 검증이 이미지 유사도에 치우쳐 힘 자체의 정확도가 직접 검증되지 않았고, 병렬성(60 환경)이 동급 IPC 시뮬레이터에 못 미치며, downstream RL·sim-to-real은 미실증으로 남았다. 그럼에도 “광학의 사실성과 FEM의 물리를 Isaac 안에서 합치는” 방향에 설득력 있는 한 수를 둔 작업이다. 공개 코드를 직접 돌려 본 결과(2026-09-01 갱신) 응력 추출이 실재하고 0.43 ms로 논문의 <1 ms 주장에 부합함을 확인했지만, 동시에 최초 릴리스부터 있던 결함 2건과 버전 고정 없이는 얇은 재현성도 함께 드러났다.