📃Sim2Real Bilevel Adaptation 리뷰

tactile

sim2real

DIGIT

diffusion

domain-adaptation

classification

pose-estimation

YCB

Sim2Real Bilevel Adaptation for Object Surface Classification using Vision-Based Tactile Sensors

Published

August 4, 2026

Paper Link (arXiv:2311.01380v2)
Code Link (hsp-iit/sim2real-surface-classification)
Dataset (Zenodo, 4.71 GB) — 부분 공개: 학습용 real/translated 이미지만 있고 논문 수치를 재는 실제 테스트셋은 빠져 있다(🔧 재현 노트)
저자: Gabriele M. Caddeo*, Andrea Maracani*, Paolo Didier Alfano*, Nicola A. Piga, Lorenzo Rosasco, Lorenzo Natale (* 동등 기여)
Humanoid Sensing and Perception, Istituto Italiano di Tecnologia · IIT@MIT · DIBRIS/MaLGa, Università di Genova
ICRA 2024 (6 pages)

💡 비전 기반 촉각센서 DIGIT로 접촉면의 종류(flat / curve / edge / corner)를 분류하고 싶은데, 시뮬레이터 이미지로만 학습하면 실제에서 34.7%(4클래스 랜덤이 25%)로 무너진다 — Sim2Real 갭을 이미지 수준과 특징 수준 두 층에서 각각 메운다.
⚙️ ① 라벨 없는 일상 물체 접촉 이미지 5,000장으로 Diffusion Model을 학습해 시뮬 이미지에 노이즈를 “적당히만” 주입했다가 되돌리는 방식(SDEdit식)으로 real 스타일로 번역하고, ② 물체 메시의 국소 곡률과 법선 K-means로 라벨을 자동 생성해 5만 장짜리 지도학습 셋을 만들고, ③ 학습 중 DANN(gradient reversal)으로 sim/real 특징 분포를 한 번 더 정렬한다.
🎯 3D 프린트한 YCB 물체 10종의 실제 촉각 이미지 792장에서 총 정확도 81.9% (시뮬만: 34.7%, 선행 Tactile Diffusion + DANN: 66.6%). 이 분류기를 촉각 기반 6D 물체 자세 추정에 꽂으면 위치 오차 평균 4.21 cm → 2.22 cm.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

GelSight·DIGIT 같은 비전 기반 촉각센서는 접촉면을 고해상도 RGB 이미지로 뱉어 준다. 이미지이므로 딥러닝을 쓰면 되는데, 딥러닝은 데이터를 요구하고 촉각 데이터는 로봇이 물체를 하나씩 눌러 가며 모아야 해서 비싸다. 그래서 시뮬레이터(TACTO 등)를 쓰는데, 시뮬레이터는 젤의 기계적 변형과 내부 LED의 광 전달을 충실히 재현하지 못한다. 결과적으로 시뮬 이미지로만 학습한 분류기는 실제 이미지 앞에서 사실상 랜덤 수준으로 떨어진다.

이 논문의 처방은 두 층의 적응(bilevel adaptation)이다. 제목의 “bilevel”은 이중준위 최적화(bilevel optimization)가 아니라 적응이 걸리는 두 층위 — 픽셀(이미지) 수준과 표현(특징) 수준 — 을 뜻한다. 픽셀 수준에서는 라벨 없는 실제 이미지로 학습한 Diffusion Model이 시뮬 이미지를 real 스타일로 번역하고, 특징 수준에서는 DANN이 남은 잔차 도메인 시프트를 없앤다. 여기에 “라벨은 어디서 오는가”를 메시 기하로 해결한다 — 물체 메시에서 균일 샘플링한 점마다 국소 곡률을 재서 flat/curve/edge/corner를 자동으로 붙이므로, 사람 라벨링이 파이프라인 어디에도 없다.

이미지 수준 번역(Fig. 1) — 좌에서 우로: 시뮬 이미지 → 중간 단계까지 노이즈를 준 이미지 → 역과정으로 복원한 “번역된” 이미지 → 실제 DIGIT 이미지. 시뮬의 날카로운 접촉선이 실제처럼 번지고 색 분포가 real에 가까워진다.

전체 파이프라인(Fig. 2) — 노랑: 라벨 없는 실제 이미지로 Diffusion Model 학습. 분홍: 번역된 시뮬 이미지(+ 자동 라벨)와 라벨 없는 실제 이미지로 분류기 학습. 파랑: 테스트 시에는 실제 촉각 이미지가 분류기로 바로 들어간다(Diffusion은 추론 경로에 없다).

핵심 방법론:

(1) 자동 라벨링. 메시에서 Poisson disk 샘플링으로 점군 P=\{p_i\}_{i=1}^{M}을 뽑고, 각 점 p_j의 반경 R 이웃 N_j의 3\times3 공분산 행렬의 특이값 \sigma_1^{(j)}\ge\sigma_2^{(j)}\ge\sigma_3^{(j)}로 국소 곡률을 정의한다.

\text{Curv}(p_j) := \frac{\sigma_3^{(j)}}{\sigma_1^{(j)}+\sigma_2^{(j)}+\sigma_3^{(j)}}

값이 0이면 이웃이 한 평면에 놓인 것(완전히 평평), 최댓값 1/3이면 세 특이값이 같아 곡률이 큰 것이다. 문턱 0<t_1<t_2<1/3으로 flat / curve / hard-curve를 가른다. hard-curve는 곡률만으로 edge와 corner를 못 가르므로, 이웃의 법선 벡터에 K-means를 돌려

\Delta\text{loss}_{23} := loss(K{=}2) - loss(K{=}3)

를 본다. edge는 평면 두 장이므로 K=2로 이미 잘 뭉치고(\Delta 작음), corner는 평면 세 장이라 K=3에서 손실이 크게 준다(\Delta 큼).

(2) 이미지 수준 적응. 표준 DDPM의 전향/역과정을 쓴다.

q(x_t|x_{t-1}) := \mathcal{N}\!\left(x_t;\sqrt{1-\beta_t}\cdot x_{t-1},\ \beta_t I\right), \qquad p(x_{t-1}|x_t) := \mathcal{N}\!\left(x_{t-1};\mu(x_t,t),\Sigma(x_t,t)\right)

U-Net을 실제 DIGIT 이미지만으로 학습해 역과정을 익힌 뒤, 시뮬 이미지를 전향 과정으로 T'<T까지만 노이즈로 밀었다가 역과정으로 되돌린다. 노이즈 양이 “적당”하면 스타일은 real 분포로 끌려가고 의미(접촉 형상)는 남는다. 조건부 입력(깊이 이미지 등)이 전혀 없다는 것이 선행 Tactile Diffusion과의 차이다.

(3) 특징 수준 적응. DINOv2로 사전학습한 ViT \phi를 동결하고, bottleneck \beta(선형→LayerNorm→GELU, 256차원)·분류기 \gamma·판별기 \psi만 학습한다. 판별기는 특징이 sim인지 real인지 맞히려 하고, bottleneck은 그걸 속이려 한다:

L_{cls}=\text{CE}(y_{sim},\hat{y}_{sim})-\alpha\cdot\text{BCE}(d_{all},\hat{d}_{all}), \qquad L_{dis}=\alpha\cdot\text{BCE}(d_{all},\hat{d}_{all}),\qquad \alpha=1.2

구현은 gradient reversal layer(GRL)로 end-to-end 한 번에 돈다.

주요 결과:

총 정확도 81.9% (Table I, Test_{real} 792장) — 시뮬만 학습 34.7%, 시뮬 + DANN 42.4%, 선행 Tactile Diffusion + DANN 66.6%, 제안 DM만(DANN 없이) 61.6%.
DANN을 켠 상태에서 제안 DM은 “번역 없음” 대비 약 40점, 선행 방법 대비 약 15점 상승. 반대로 DANN의 기여는 제안 DM과 결합할 때 가장 커서 약 20점.
클래스별 F1(Table II)에서 모든 클래스 최고: flat 91.1 / curve 73.5 / edge 83.2 / corner 68.3. corner는 번역 없이는 F1이 0.0% — DANN만으로도 0.0%다.
6D 자세 추정(Table III, N=3 센서): 위치 오차 평균 4.21 → 2.22 cm, ADI-AUC(2 cm) 75.68 → 86.75%.

결론:

“시뮬 이미지를 진짜처럼 만드는 것”과 “특징 공간에서 두 도메인을 붙이는 것”은 서로를 대체하지 않고 보완한다는 것이 이 논문의 실증적 메시지다. 둘 중 하나만으로는 corner 같은 어려운 클래스가 살아나지 않고, 둘을 겹쳤을 때 비로소 실사용 가능한 정확도가 나온다. 게다가 Diffusion은 학습 데이터를 만들 때만 쓰이므로 추론 시 비용은 동결 ViT + 얇은 헤드뿐이다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

라벨 없는 실제 촉각 이미지 5천 장으로 diffusion 번역기를 만들고, 메시 기하로 자동 라벨을 붙인 시뮬 이미지 5만 장을 그 번역기에 통과시켜 학습하되, 학습 중 adversarial 정렬을 한 겹 더 얹으면 — 사람 라벨 없이 실제 접촉면 종류를 81.9%로 맞힌다.

배경: 촉각 Sim2Real은 왜 유독 어려운가

비전 기반 촉각센서는 투명 젤 뒤에 카메라와 컬러 LED를 두고, 물체가 젤을 누를 때 생기는 변형을 색·음영 패턴으로 촬영한다(DIGIT 리뷰). 출력이 RGB 이미지라 CV 파이프라인을 그대로 쓸 수 있다는 것이 장점이지만, 그 이미지는 “카메라로 찍은 세상”이 아니라 젤의 물성과 특정 개체의 조명 배치가 만들어낸 이미지다. 여기서 Sim2Real 갭의 성격이 갈린다.

논문이 정리하는 선행 흐름은 두 갈래다.

렌더러를 정교하게 만드는 쪽. Phong 모델로 GelSight를 흉내내거나(Gomes et al. 2021; Hogan et al. 2021), OpenGL/pyrender 기반 DIGIT 시뮬레이터를 만들거나(TACTO), 실제 센서 출력으로 캘리브레이션을 붙이는 방식(Taxim). 한계는 젤의 기계적 성질을 반영하지 못한다는 점이다(Taxim은 캘리브레이션으로 일부 보완).
학습으로 도메인 시프트를 지우는 쪽. CycleGAN으로 sim↔︎real을 양방향 번역하거나(Chen et al. 2022), Diffusion으로 번역하는 Tactile Diffusion(Higuera et al. 2023). 다만 Tactile Diffusion은 깊이 이미지 조건을 요구하고, 그 깊이는 별도로 학습된 네트워크에서 나온다.

이 논문은 두 번째 갈래에 서되, 조건 입력을 없앤다. 시뮬 이미지가 이미 “의미(접촉 형상)”를 담고 있으니 그것을 조건으로 쓰면 되지 않나 — 라는 관찰을 SDEdit식 부분 노이즈 주입으로 구현했다.

풀려는 태스크 자체도 새롭다. 저자들은 “비전 기반 촉각센서로 물체 표면의 종류를 직접 분류한 선행 연구는 우리가 아는 한 없다”고 적는다. 인접 연구들은 시각+촉각으로 형상을 복원하거나(Xu et al. 2023), 슬라이딩하며 형상을 추정하거나(Chen et al. 2023), 국소 법선을 복원하거나(PatchGraph), 미리 만든 이미지 DB와 대조해 접촉점을 찾는다(MidasTouch). 여기서 이 논문의 차별점은 물체 비의존(object-agnostic) + 추론 시 DB 불필요다.

무엇이 “bilevel”인가 — 오해하기 쉬운 지점

제목의 bilevel은 bilevel optimization이 아니다. 상위/하위 문제가 중첩된 최적화 구조가 아니라, 도메인 적응이 걸리는 두 층위를 가리킨다:

층위	수단	학습에 쓰는 데이터	언제 도는가
이미지(픽셀) 수준	Diffusion Model (U-Net)	Train_{real} 5,000장 (라벨 없음)	학습 데이터 생성 시 오프라인
특징(표현) 수준	DANN (GRL + 판별기)	Train_{sim}(번역본, 라벨 있음) + Train_{real}(라벨 없음)	분류기 학습 중

그래서 실험 표가 2×3 격자(번역 없음 / Tactile Diffusion / 제안 DM) × (DANN 끔 / 켬)로 짜여 있고, 각 층의 기여를 따로 읽을 수 있다.

방법 상세 (1) — 시뮬 데이터 획득과 자동 라벨링

메시에서 Poisson disk 샘플링으로 법선이 붙은 균일 점군을 뽑고, 각 점에서 TACTO로 DIGIT 이미지를 렌더한다. 이때 법선 축 회전과 침투 깊이를 여러 값으로 바꿔 다양성을 확보한다(구체적 각도·깊이 값은 논문에 없다).

라벨은 4단계 알고리즘으로 붙는다.

반경 R 이웃 N_j=\{p\in P: \lVert p_j-p\rVert^2\le R\} 계산.
N_j의 3\times3 공분산 행렬 특이값 \sigma_1\ge\sigma_2\ge\sigma_3 추출.
\text{Curv}(p_j)=\sigma_3/(\sigma_1+\sigma_2+\sigma_3)로 곡률 수준을 재고, 0<t_1<t_2<1/3로 flat / curve / hard-curve 3분할.
hard-curve를 이웃 법선의 K-means 손실 차 \Delta\text{loss}_{23}=loss(K{=}2)-loss(K{=}3)의 문턱으로 edge(작음) / corner(큼)로 재분할.

3단계의 지표는 점군 처리에서 널리 쓰는 “surface variation”형 곡률이고, 값이 0이면 이웃이 두 주축이 만드는 평면 위에 놓였다는 뜻, 1/3이면 세 방향으로 고르게 퍼졌다는 뜻이다. 4단계의 직관이 특히 깔끔하다 — 모서리는 평면 두 장, 꼭짓점은 평면 세 장이므로 법선의 클러스터 개수가 곧 라벨이다.

자동 라벨링 결과(Fig. 3) — 왼쪽: “mustard bottle”과 “sugar box”의 곡률 수준(Eq. 1), 밝을수록 큼. 오른쪽: 최종 라벨(파랑 flat / 분홍 curve / 초록 edge / 주황 corner). 병의 옆면 곡면이 curve로, 상자의 능선이 edge·꼭짓점이 corner로 떨어진다.

Fig. 3을 보면 라벨이 사람이 직관적으로 그을 경계와 대체로 맞는다. 다만 병 하단부의 완만한 곡면이 flat으로 넓게 칠해진 것에서 알 수 있듯, “어디까지가 flat이고 어디부터가 curve인가”는 전적으로 R,t_1,t_2가 정한다. 이 값들은 논문에 보고되지 않는다(뒤의 약점 참조).

방법 상세 (2) — 이미지 수준: 조건 없는 diffusion 번역

전향 과정은 고정된 Markov 체인으로, 분산 스케줄 \{\beta_j\}_{j=1}^{T}에 따라 x_0에 가우시안 노이즈를 누적한다.

q(x_t|x_{t-1}) := \mathcal{N}\!\left(x_t;\sqrt{1-\beta_t}\cdot x_{t-1},\ \beta_t I\right)

역과정도 가우시안 전이의 Markov 체인이고, 평균·공분산을 U-Net으로 학습한다.

p(x_{t-1}|x_t) := \mathcal{N}\!\left(x_{t-1};\mu(x_t,t),\ \Sigma(x_t,t)\right)

번역 절차는 세 줄이다.

라벨 없는 실제 DIGIT 이미지만으로 U-Net을 학습 → 역과정 = “real 촉각 이미지 다양체로 내려가는 사다리”.
시뮬 이미지를 전향 과정으로 T'<T까지만 밀어 올린다 — 스타일은 흐트러지되 의미는 남는 지점.
학습된 역과정으로 T'\to 0까지 되돌린다 → 의미는 시뮬, 스타일은 real.

핵심은 “조건은 노이즈 양으로 준다”는 발상이다. Tactile Diffusion처럼 깊이 맵을 조건으로 넣지 않고, 시뮬 이미지 자체를 부분적으로만 파괴함으로써 semantic conditioning을 대신한다(SDEdit과 같은 아이디어). 논문 자체는 이 대가를 명시하지 않지만, T'이 곧 “스타일 변경량 ↔︎ 의미 보존량”의 손잡이가 된다 — 그리고 그 값은 보고되지 않는다.

부수적이지만 실무적으로 중요한 설계가 하나 더 있다: 배경 제거. sim/real 양쪽 모두에서 DIGIT의 무접촉 시 RGB 출력을 빼고 시작한다. 개체마다 제조 편차로 배경색이 조금씩 다르므로, 이 정규화 덕에 방법이 특정 센서 개체에 묶이지 않는다(저자들은 이를 “재학습 없이 다른 기기에 쓸 수 있다”는 장점으로 든다).

방법 상세 (3) — 특징 수준: 동결 DINOv2 + DANN

분류 아키텍처(Fig. 4) — DINOv2 사전학습 ViT는 동결(자물쇠). 그 뒤 bottleneck에서 갈라져 한쪽은 선형 분류기(4클래스), 다른 쪽은 gradient reversal → domain classifier(real/sim). 실선 분홍 = 지도 학습, 점선 분홍 = 비지도(도메인 라벨만), 파랑 = 테스트 경로.

\phi를 특징 추출기(동결 ViT), \beta를 256차원 bottleneck, \gamma를 4클래스 분류기, \psi를 도메인 판별기(sim=0, real=1)라 하면, 논문 Eq. 5~8은 다음과 같다.

\hat{z}_{real}=\phi(\beta(x_{real})),\quad \hat{z}_{sim}=\phi(\beta(x_{sim})),\quad \hat{y}_{sim}=\gamma(\hat{z}_{sim}),\quad \hat{d}_{all}=\psi(\hat{z}_{all})

⚠️ 원문 표기 불일치. 본문 정의상 \phi는 “이미지 → 특징”, \beta는 “특징 → 256차원”이므로 합성 순서는 \beta(\phi(x))여야 한다. arXiv HTML과 PDF 모두 \phi(\beta(x))로 적혀 있으나, Fig. 4의 데이터 흐름(DINOv2 → Bottleneck)은 \beta\circ\phi가 맞다. 단순 표기 오류로 보인다.

손실은 GRL로 한 번에 도는 미니맥스다.

L_{cls}=\text{CE}(y_{sim},\hat{y}_{sim})-\alpha\cdot\text{BCE}(d_{all},\hat{d}_{all}),\qquad L_{dis}=\alpha\cdot\text{BCE}(d_{all},\hat{d}_{all})

\alpha=1.2는 모든 실험에서 고정. ViT를 얼려 두었다는 점이 실무적으로 중요하다 — 학습 대상은 bottleneck·분류기·판별기뿐이라 5만 장 규모에서도 학습이 가볍고, DINOv2가 이미 갖고 있는 일반 시각 표현 위에 얇은 도메인 불변 층만 얹는 구조가 된다.

직관: 두 층은 왜 서로를 대체하지 못하는가

Table I의 6개 칸을 “이미지 번역 품질”과 “특징 정렬 여부”의 격자로 읽으면 규칙성이 보인다.

번역	DANN 없음	DANN 있음	DANN 이득
없음	34.7%	42.4%	+7.7
Tactile Diffusion	55.6%	66.6%	+11.0
제안 DM	61.6%	81.9%	+20.3

번역이 좋을수록 DANN이 더 크게 먹는다. 이유는 자연스럽다. DANN은 판별기가 두 도메인을 구별하지 못하게 만드는 정렬 기법인데, 두 분포가 애초에 너무 멀면 정렬이 의미를 보존하지 못한다 — 특징을 억지로 붙이느라 클래스 정보까지 뭉개는 것이다. 실제로 번역 없이 DANN만 켠 칸에서는 flat의 F1이 46.5% → 28.6%로 떨어졌고, corner는 0.0% 그대로다. 반대로 diffusion이 픽셀 통계를 먼저 붙여 두면 남은 시프트가 작아지고, 그 작은 잔차를 지우는 데 DANN이 정확히 맞는 도구가 된다.

요약하면, diffusion은 큰 갭을 좁히고 DANN은 잔차를 지운다. 순서를 바꾸거나 하나만 쓰면 안 되는 이유가 여기 있다.

실험: 셋업과 데이터

세 개의 데이터셋을 쓴다.

Train_{real}: DIGIT으로 무작위 일상 물체 표면을 눌러 모은 실제 이미지 5,000장, 라벨 없음. YCB Model Set 물체는 전부 제외.
Train_{sim}: YCB 10종(cracker box, tomato soup can, tuna fish can, pudding box, gelatin box, banana, bleach cleanser, bowl, power drill, wood block) 메시에서 샘플링해 렌더한 시뮬 이미지 50,000장(클래스당 12,500장), 자동 라벨 부착 후 diffusion으로 번역.
Test_{real}: 3D 프린트한 YCB 10종(master chef can, sugar box, mustard bottle, tuna fish can, potted meat can, banana, pitcher base, bleach cleanser, bowl, power drill)에서 얻은 실제 이미지 792장, 접촉 종류를 사람이 수동 라벨링.

Test 물체 10종 중 5종(tuna fish can, banana, bleach cleanser, bowl, power drill)은 Train_{sim}과 겹치도록 일부러 넣었다 — 본 물체와 새 물체 양쪽에서 성능을 보이기 위해서다.

실험 셋업(Fig. 5) — 왼쪽: 7-DoF Franka Emika Panda 손목에 DIGIT을 달고 “bleach cleanser”를 접촉. 바닥의 ArUco 마커 보드 + RealSense로 물체의 참값 자세를 측정한다. 오른쪽: 원본 YCB 물체와 3D 프린트한 대응물. 물체를 테이블에 고정하기 위해서만 3D 프린트했다.

평가는 물체별 정확도(Table I)와 클래스별 F1(Table II). 초록의 표현대로 Mean은 “total accuracy”이므로 이미지 단위 총 정확도이며, 실제로 물체별 값 10개의 단순 평균(82.7%)과 미세하게 다르다(81.9%).

실험: 표면 분류

Table I (물체별 정확도, %)

물체	None	None+DANN	TactileDiff	TactileDiff+DANN	Ours	Ours+DANN
master chef can	52.3	41.2	58.7	80.9	66.6	92.0
sugar box	35.0	35.0	84.0	71.0	57.9	93.0
mustard bottle	41.0	48.0	34.0	60.0	63.0	71.0
tuna fish can	57.5	68.1	59.0	80.3	74.2	75.7
potted meat can	35.0	43.0	54.0	76.0	87.0	84.0
banana	2.4	29.2	29.2	7.3	56.0	78.0
pitcher base	40.6	39.0	85.9	90.6	64.0	98.4
bleach cleanser	38.0	43.0	39.0	64.0	69.0	84.0
bowl	40.3	43.5	62.9	88.7	53.2	90.3
power drill	3.1	33.3	50.0	38.5	23.9	60.4
Mean	34.7	42.4	55.6	66.6	61.6	81.9

Table II (클래스별 F1, %)

클래스	None	None+DANN	TactileDiff	TactileDiff+DANN	Ours	Ours+DANN
flat	46.5	28.6	61.5	81.3	86.4	91.1
curve	3.6	31.1	18.6	30.3	45.2	73.5
edge	28.0	56.2	78.1	74.4	58.1	83.2
corner	0.0	0.0	46.6	26.3	21.1	68.3

읽을 만한 지점들:

시뮬만 학습(34.7%)은 4클래스 랜덤(25%)을 겨우 웃돈다. banana 2.4%, power drill 3.1%는 사실상 해당 물체에서 완전 실패다. Sim2Real 갭이 “성능 저하”가 아니라 “작동 불능” 수준임을 보여준다.
corner가 리트머스지다. 번역 없이는 F1 0.0%, 제안 DM만으로도 21.1%, 둘 다 켜야 68.3%. 꼭짓점 접촉은 젤 변형이 국소적이고 미묘해 도메인 시프트에 가장 취약한 클래스로 보인다.
DANN이 항상 이롭지는 않다. 물체 단위로 보면 potted meat can은 DANN을 끄는 편이 낫고(87.0 vs 84.0), Tactile Diffusion 조합에서는 sugar box(84.0→71.0)·banana(29.2→7.3)가 크게 나빠진다. 평균은 항상 올라가지만 분산이 크다.
power drill이 일관되게 최악(최고 60.4%)이다. 손잡이·트리거·배터리팩이 얽힌 복잡한 형상이라 국소 곡률 라벨 자체의 모호성이 클 것으로 보인다.

정성 결과(Fig. 6) — 위: 실제 접촉 구성. 가운데: 그때 얻은 DIGIT 이미지. 아래: 예측된 클래스와 같은 라벨을 가진 메시 위 점들. 예측 클래스가 물체 위에서 “접촉 가능 영역 가설”을 만들어 준다(예: corner 예측 → 상자의 8개 꼭짓점 부근만 남음).

Fig. 6이 이 논문의 실용적 가치를 압축한다. 분류 결과 자체(4클래스)는 정보량이 적어 보이지만, §III-A의 자동 라벨링과 짝지으면 “센서가 물체의 어디에 닿아 있는가”에 대한 가설 집합으로 바뀐다. 이것이 다음 실험의 전제다.

실험: 촉각 기반 6D 자세 추정

선행작 Caddeo et al. (ICRA 2023)의 파이프라인은 촉각 이미지에서 센서의 3D 위치 가설들을 뽑고, 여러 센서의 가설을 gradient 기반 최적화로 융합해 6D 자세 후보를 만든다. 원래는 convolutional autoencoder + 물체별 잠재 특징 DB로 가설을 뽑았는데, 이 논문은 그 부분을 제안 분류기로 교체한다. 즉 DB가 사라진다.

센서 N=3개, 물체마다 4가지 센서 배치.
비교 대상은 순수 기하 베이스라인 — 가설 추출을 건너뛰고 “센서가 물체 어디에나 닿을 수 있다”고 가정한 채 최적화.
지표는 위치 오차(cm)와 회전 오차를 반영하는 ADI-AUC 변형(문턱 2 cm).

Table III

물체	위치오차 Baseline ↓	위치오차 Ours ↓	ADI-AUC Baseline ↑	ADI-AUC Ours ↑
master chef can	2.97	0.69	93.54	97.23
sugar box	3.61	3.12	93.75	72.61
mustard bottle	2.97	1.83	69.83	96.61
tuna fish can	2.18	1.07	96.08	95.97
potted meat can	1.81	1.26	94.71	96.63
banana	6.72	2.39	48.49	96.93
pitcher base	6.71	2.73	25.0	47.19
bleach cleanser	4.97	2.96	70.34	94.28
bowl	1.74	2.08	97.29	96.27
power drill	8.36	4.09	67.77	73.76
Mean	4.21	2.22	75.68	86.75

평균으로는 위치 오차 반감, 회전 지표 +11점. 다만 물체 단위로는 균일하지 않다 — ADI-AUC에서 sugar box는 93.75 → 72.61로 21점 하락하고, tuna fish can·bowl도 소폭 하락한다. 위치 오차도 bowl은 나빠진다(1.74 → 2.08). 저자들은 이를 따로 논의하지 않는다.

자세 추정 정성 비교(Fig. 7) — 회색 메시가 참값, 빨간 점군이 추정 자세. 베이스라인(가운데)은 접촉 위치와는 맞지만 3개 센서 중 2개가 물체의 엉뚱한 부위(옆면/윗면)에 닿는 해를 낸다. 제안 방법(오른쪽)은 접촉 위치와 접촉 종류를 동시에 만족하는 해를 낸다.

이 그림이 왜 표면 종류 분류가 자세 추정에 도움이 되는지를 잘 보여준다. 접촉 위치만으로는 “캔의 윗면 테두리(edge)”와 “캔의 옆면(curve)”이 구분되지 않지만, 접촉 종류를 알면 후보가 크게 줄어든다. 또 하나 짚어 둘 것: 선행작은 정량 분석을 시뮬 데이터에 국한하고 실제 이미지에는 정성 결과만 보였는데, 이 논문은 실제 촉각 이미지로 정량 결과를 보고한다.

비판적으로 보면

강점

문제 분해가 정직하고, ablation이 그 분해를 그대로 검증한다. 2×3 격자 실험이 “이미지 수준 / 특징 수준” 주장을 뒷받침하고, 특히 “번역이 좋을수록 DANN 이득이 커진다”는 단조 관계(+7.7 → +11.0 → +20.3)가 우연으로 보기 어렵다.
사람 라벨이 파이프라인에 없다. 실제 데이터는 라벨 없이 쓰고, 라벨은 메시 기하에서 자동 생성한다. 촉각 데이터의 병목이 정확히 “라벨링”이라는 점에서 실용적 기여다.
조건 입력을 없앤 것이 단순화 이상의 의미를 갖는다. Tactile Diffusion은 깊이 조건을 위해 별도 학습된 네트워크가 필요하고, 그 네트워크 자체가 도메인 의존적이다. 배경 제거 + 무조건 diffusion 조합은 센서 개체·기종 간 이식성을 높인다(저자 주장 수준이며 다른 센서에서의 실증은 없다).
추론 비용이 싸다. Diffusion은 학습 셋 생성 시에만 돌고, 테스트 경로는 동결 DINOv2 + 256차원 bottleneck + 선형 분류기다(Fig. 2의 파란 경로). Limitations에서 “diffusion의 학습·번역 시간이 무시할 수 없다”고 인정하지만, 그 비용이 런타임이 아니라 오프라인이라는 점은 실사용에 유리하다.
다운스트림 검증을 붙였다. 분류 정확도에서 멈추지 않고 6D 자세 추정으로 넘어가, 4클래스 라벨이 실제 태스크에서 정보량을 갖는지 확인한다.

약점·한계

핵심 하이퍼파라미터가 논문에는 전혀 보고되지 않는다(코드에는 있다). 라벨 생성의 R·t_1·t_2·\Delta\text{loss}_{23} 문턱, diffusion의 T·T'·분산 스케줄, 학습률·에폭·배치 크기 — 논문 본문(부록 없음, 6쪽)에서 확인할 수 있는 값은 \alpha=1.2, bottleneck 256차원, N=3 정도다. 특히 t_1,t_2는 “정답 라벨의 정의” 자체를 바꾸는 값이라, 이 네 개의 문턱이 곧 태스크 정의다. 공개 repo의 기본 설정을 열면 값이 나오지만(아래 🔧 재현 노트 참조), 코드의 라벨 생성 절차는 논문 서술과 완전히 일치하지도 않는다 — 논문은 \text{Curv}에 곧바로 문턱을 걸지만 코드는 \text{Curv}^{0.2}에 건다. 논문만으로는 재현도 민감도 판단도 불가능하다.
평가 라벨과 학습 라벨의 생성 방식이 다르다. Train_{sim}은 기하 알고리즘이, Test_{real}은 사람이 라벨링한다. 큰 캔의 옆면이 사람에게는 “flat”이고 알고리즘에는 “curve”일 수 있다 — 즉 보고된 81.9%에는 “도메인 갭”뿐 아니라 “라벨 정의 갭”이 섞여 있고, 둘을 분리하는 실험이 없다. (시뮬 이미지로 만든 held-out 셋에서의 정확도를 상한으로 함께 보고했다면 이 분리가 가능했을 것이다.)
일반화 주장의 근거가 약하다. 저자들은 Train_{sim}과 겹치는 5종·안 겹치는 5종을 섞어 일반화를 보였다고 하지만, 물체별 수치를 뜯어보면(제안 방법 기준, 리뷰어 계산) 겹치는 5종 평균 77.7%, 안 겹치는 5종 평균 87.7%로 오히려 새 물체가 더 높다. 이는 방법이 물체 비의존이라는 방증이기도 하지만, 동시에 “새 물체”라는 것이 실은 기하적으로 새롭지 않다는 뜻이기도 하다 — master chef can은 학습에 쓴 tomato soup can과 같은 원기둥, sugar box는 cracker/pudding/gelatin box와 같은 직육면체다. 구·나사산·요철 표면처럼 학습 분포에 없는 기하에서의 성능은 알 수 없다.
테스트 규모가 작고 불확실성 보고가 없다. 792장, 물체당 평균 79장이며 클래스 분포는 보고되지 않는다. 시드·반복·신뢰구간이 없어 Table I에서 1~3점 차이(예: tuna fish can 74.2 vs 75.7)는 해석할 수 없다. Table III의 물체별 역전(sugar box −21점)도 노이즈인지 구조적 실패인지 판정할 수 없다.
“few real images”라는 표현이 다소 과하다. 5,000장은 절대 수로 적지 않고, DIGIT은 비디오 스트림이므로 몇 번의 접촉 에피소드에서 수천 프레임이 나온다 — 즉 실질적 다양성(몇 개 물체, 몇 회 접촉)이 보고되지 않아 “얼마나 적은 데이터로 되는가”를 판단할 수 없다. 데이터 양에 대한 민감도 실험(예: 500/1,000/5,000장)이 있었다면 논문의 가장 강한 주장이 되었을 것이다.
선행 방법과의 비교가 완전히 통제되지 않았다. Tactile Diffusion은 원 논문의 대상(점자 판독, GelSight 계열)과 다른 셋업으로 옮겨 온 것이고, 그쪽이 요구하는 깊이 예측 네트워크가 이 도메인에서 얼마나 잘 작동했는지는 보고되지 않는다. 15점 차이의 일부는 번역 방식의 우열이 아니라 조건 네트워크의 도메인 부적합일 수 있다.
센서 물성 한계는 저자도 인정한다. DIGIT 엘라스토머가 단단해 표면 차이를 드러내려면 “적당 이상의 힘”이 필요하다. 접촉력이 약한 상황(가벼운 탐색적 접촉, 부드러운 물체)에서는 방법 자체가 성립하지 않을 수 있는데, 힘 크기에 따른 성능 곡선은 없다.
사소하지만 Eq. 5~6의 합성 순서 표기가 정의와 어긋난다(위 ⚠️ 참조).

🔧 재현 노트

아래는 논문의 주장이 아니라 리뷰 시점(2026-08-04)에 직접 돌려 본 결과다. 공개 코드(hsp-iit/sim2real-surface-classification)와 공개 데이터셋(Zenodo record 12622682, 4.71 GB)만 사용했고, 작업 기록은 private 실험 레포에 남겼다(외부 공개 불가). 논문 수치와 재현 수치는 다른 것을 재므로 아래에서도 분리해 적는다.

① 공개 데이터셋에는 테스트셋이 없다 — 헤드라인 수치는 독립 검증 불가. 아카이브를 풀면 내용물은 train_diffusion/(실제 이미지 5,000장)과 translated/(번역된 시뮬 이미지 50,000장 + labels.csv) 둘뿐이고, PNG가 아닌 파일은 그 labels.csv 하나다. 논문 수치를 재는 데 필요한 것들이 통째로 빠져 있다.

없는 것	무엇을 막는가
`final_testset/` (+ 라벨)	81.9% — 실제 촉각 테스트셋 792장
`labels_original.csv`	34.7% — 시뮬 전용 베이스라인
`labels_tactile.csv`	66.6% — Tactile Diffusion 비교군
사전학습 체크포인트	재학습 없는 검증

실제 이미지 5,000장은 파일명(Image_real_<n>.png)에 클래스 정보가 없어 테스트셋 재구성도 불가능하다. 즉 Table I의 어떤 칸도 공개물만으로는 채점할 수 없다. 코드·환경 문제가 아니라 데이터 미공개 문제다. 다만 빠진 것은 수백 KB짜리 라벨 파일과 이미지 폴더뿐이므로, 공개되면 바로 해소될 성격이다.

② 파이프라인 자체는 돌아간다. Diffusion 학습 루프는 스모크 실행으로 통과(손실 감소·체크포인트·DDIM 샘플링 산출), 분류기의 DANN 학습과 평가는 끝까지 완주했다. 환경은 업스트림 핀(torch 1.11.0+cu102, Python 3.8.5)이 RTX 5090(Blackwell, sm_120)에서 동작하지 않아 torch 2.11.0+cu128 / Python 3.10으로 올렸고, GPU 4장→1장, sync_bn False, DataLoader workers 32→8(31 GB RAM 고갈 방지)로 조정했다. 업스트림 파일은 손대지 않고 변형은 전부 별도 파일로 두었다.

③ 잰 수치는 논문 지표가 아니다 — 나란히 두고 비교하면 안 된다. 테스트셋이 없어 번역된(source) 도메인의 held-out 20%, 10,000장에서 잴 수밖에 없었다: micro 78.31% / macro 78.27%. 논문의 81.9%는 real 도메인으로의 일반화이고, 이 값은 학습한 translated 도메인 내부의 일반화다. 78.31%를 81.9%의 “근접 재현”으로 읽으면 안 된다.

그 이유를 값싼 어블레이션 하나가 분명히 보여준다 — 적대항을 끈 beta=0이 오히려 81.82%로 더 높게 나왔다. DANN 항은 의도적으로 source 적합도를 희생해 real에 정렬시키므로, source로만 재면 이 논문의 방법이 해로워 보이는 역전이 생긴다. 그 역전을 뒤집어 확인해 줄 데이터가 바로 미공개된 real 테스트셋이다. 결국 source held-out은 이 방법의 프록시가 될 수 없다.

④ 업스트림 코드 결함 3건.

src_diffusion/.../pytorch_diffusion.py에서 x_self_cond를 x_cond로 잘못 넘겨 모든 DDIM 샘플링 경로가 TypeError로 죽는다. 업스트림 issue #4에 보고돼 메인테이너가 확인했으나 미수정 상태.
무조건부(unconditioned) 학습이 두 군데서 깨진다 — 설정 기본값이 self_condition: True라 조건 폴더 없이 돌리면 텐서 차원 오류, 그리고 학습 루프가 조건 이미지를 무조건 저장하려 해 또 한 번 죽는다.
src_training_classifier/data/__init__.py가 없어 clean clone에서 분류기 쪽 모든 엔트리포인트가 ImportError로 즉사한다. 미보고로 보이며, 이 레포의 분류기 경로가 공개 후 clean clone에서 한 번도 실행된 적 없다고 볼 만한 정황이다.

⑤ 논문에 없는 값들이 코드에는 있다. 위 “약점” 절에서 지적한 미보고 하이퍼파라미터를 업스트림 기본 설정에서 확인할 수 있었다(모두 repo 파일에서 직접 읽은 값이며, 논문에는 없다).

항목	코드의 기본값	논문
이웃 반경 R	`radius=0.006` (메시 단위)	미보고
곡률 문턱 t_1,t_2	`[0.28, 0.48]` — 단 \text{Curv}^{0.2}에 적용	미보고, 지수 변환 언급 없음
곡률 계산 부가 조건	법선 각도차 150° 초과 이웃 제외(얇은 물체의 반대면 배제)	언급 없음
diffusion T / T'	`timesteps: 1000` / `noise_steps: 100` (= 10%)	미보고
diffusion 학습	U-Net dim 64, mults [1,2,4,8], 320×240, linear 스케줄, L2, lr 2e-5, EMA 0.9999	미보고
분류기 학습	입력 224×224, bottleneck 256, SGD lr 1e-2, wd 1e-3, label smoothing 0.1, 판별기 spectral norm, GRL warm-up 100 steps	bottleneck 256만 보고
적대 가중치	`beta: 1.2`	\alpha=1.2 ✅ 일치

\alpha가 일치하는 것으로 보아 이 설정이 논문의 실험 설정과 같은 계열임은 확인된다. 반면 t_1,t_2가 \text{Curv}가 아니라 \text{Curv}^{0.2}에 걸린다는 사실은 논문 서술에 없다 — 논문의 “0<t_1<t_2<1/3” 조건과 코드의 [0.28, 0.48]이 모순처럼 보이는 것도 이 지수 변환 때문이다(0.28^5\approx0.0017, 0.48^5\approx0.026으로 환산하면 1/3 아래로 들어온다). 라벨 정의가 곧 태스크 정의인 논문에서 이 단계가 본문에 없는 것은 아쉽다.

요약하면: 재현 결과는 “코드는 돌지만 논문 수치는 공개물로 채점할 수 없다”이다. 방법의 유효성을 부정하는 근거가 아니라, 현 시점에서 제3자가 독립적으로 확인할 수 없다는 사실의 확인이다.

요약

문제: 비전 기반 촉각센서로 접촉면 종류(flat/curve/edge/corner)를 분류하고 싶지만, 시뮬 이미지로만 학습하면 실제에서 34.7%(랜덤 25%)로 무너진다.
방법(bilevel = 두 층위 적응): ① 라벨 없는 실제 DIGIT 이미지 5,000장으로 U-Net diffusion을 학습해, 시뮬 이미지를 T'<T까지만 노이즈로 밀었다 되돌리는 방식으로 real 스타일로 번역(조건 입력 없음). ② 메시 점군의 국소 곡률 \sigma_3/(\sigma_1+\sigma_2+\sigma_3)와 이웃 법선 K-means로 라벨을 자동 생성해 5만 장 지도학습 셋 구성. ③ 동결 DINOv2 위에 bottleneck을 얹고 GRL 기반 DANN(\alpha=1.2)으로 sim/real 특징을 정렬.
결과: Test_{real} 792장에서 총 정확도 81.9% (없음 34.7 / 없음+DANN 42.4 / TactileDiff 55.6 / TactileDiff+DANN 66.6 / 제안 DM 61.6). 클래스별 F1 모두 최고이며 corner는 0.0% → 68.3%. 6D 자세 추정에서 위치 오차 4.21 → 2.22 cm, ADI-AUC 75.68 → 86.75%.
가장 흥미로운 관찰: DANN의 이득이 이미지 번역 품질에 비례해 커진다(+7.7 → +11.0 → +20.3). 특징 정렬은 픽셀 분포가 먼저 가까워졌을 때만 제대로 작동한다.
가장 큰 아쉬움: 라벨 정의를 결정하는 문턱들(R,t_1,t_2,\Delta\text{loss}_{23})과 diffusion의 T'이 논문에 하나도 보고되지 않고, 데이터 양 민감도·불확실성 보고도 없다. 값 자체는 코드에서 복원되지만(🔧 재현 노트 ⑤), 논문에 없는 단계(\text{Curv}^{0.2} 변환)까지 나온다.
재현 상태(2026-08-04 기준): 코드는 (버그 3건을 고치면) 돌지만 공개 데이터셋에 실제 테스트셋이 없어 81.9%·34.7%·66.6% 중 어느 것도 제3자가 채점할 수 없다. 방법을 부정하는 결과가 아니라, 독립 검증이 현재로선 불가능하다는 확인이다. 자세한 내용은 🔧 재현 노트.