📃PokePreNet 리뷰

tactile

transparent

Where Shall I Touch? Vision-Guided Tactile Poking for Transparent Object Grasping

Published

March 30, 2026

🤔 로봇의 투명 물체 파지는 시각적 한계로 인해 도전적인 과제이며, 본 논문은 이를 해결하기 위해 Vision-guided tactile poking이라는 새로운 접근 방식을 제안합니다.
💡 이 프레임워크는 PokePreNet이라는 segmentation network를 사용하여 물체의 최적 ’poking regions’를 예측한 다음, GelSight tactile sensor로 정확한 국부 프로파일을 얻어 파지를 계획합니다.
📈 실험 결과, 제안된 방법은 투명 물체 파지 성공률을 38.9%에서 85.2%로 크게 향상시켰으며, 다양한 도전적인 물체에도 적용 가능함을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 로봇이 투명한 물체를 집는 데 있어 현재 시각 센서 기반 grasping method의 한계를 극복하기 위한 새로운 vision-guided tactile poking framework를 제안한다. 투명한 물체는 빛의 반사와 굴절(reflection and refraction)로 인해 depth sensor가 정확한 정보를 얻기 어렵고, 이로 인해 대부분의 기존 grasping method를 직접 적용하기 어렵다. 이에 인간이 투명한 물체를 다루는 방식, 즉 대략적인 윤곽(coarse profile)을 파악한 후 관심 영역을 찔러(poking) 미세한 윤곽(fine profile)을 얻어 grasping하는 방식에서 영감을 받았다.

제안된 framework는 세 가지 주요 단계로 구성된다:

Poking Region Segmentation: 먼저 RGB 이미지를 입력받아 투명 물체의 “poking regions”을 예측한다. Poking regions는 물체의 상태에 최소한의 방해를 주면서 좋은 촉각 정보(tactile reading)를 얻을 수 있는 수평 상단 영역을 의미한다.
Vision-guided Tactile Poking: 예측된 poking regions을 기반으로 로봇 팔이 GelSight tactile sensor를 이용해 물체를 찌른다. 이 접촉을 통해 물체의 국부적인 프로파일(local profiles) 정보를 얻는다.
Heuristic Grasp Planning: 촉각 정보를 통해 개선된 물체의 프로파일을 사용하여 휴리스틱 기반의 grasping proposal을 생성하고 물체를 grasping한다.

핵심 방법론 (Core Methodology)

1. Poking Region Segmentation (PokePreNet)

Poking region segmentation은 instance segmentation 문제로 다루어진다. 이를 위해 Mask R-CNN을 기반으로 한 PokePreNet이라는 딥러닝 네트워크를 제안하며, 다음 두 가지 주요 개선 사항을 포함한다:

Larger Output Feature Map: Mask R-CNN의 표준 마스크 출력 크기인 28x28을 확장하기 위해 두 개의 추가적인 deconvolutional layer를 사용하여 마스크 크기를 112x112로 늘린다. deconvolutional layer의 필터(S_f)는 2x2, 패딩(d)은 0, 스트라이드(s)는 2로 설정되어 feature map의 크기를 두 배로 만든다. 출력 feature map의 크기(S_o)는 입력 feature map의 크기(S_i)와 다음 관계를 따른다: S_o = s \times (S_i - 1) + S_f - 2 \times d
Pixel-level Positive-Negative-balanced Loss (LPN Loss): 일반적인 Mask R-CNN에서 사용하는 평균 이진 cross-entropy loss는 poking regions이 bounding box의 작은 부분만을 차지하여 positive/negative 픽셀 분포가 심하게 불균형한 문제(예: 5%만 poking region)가 발생한다. 이로 인해 poking region에 대한 loss 기여도가 작아져 정밀도가 낮아진다. 이를 해결하기 위해 PokePreNet은 Positive-Negative-balanced loss (L_{mask})를 사용한다: L_{mask}(X_i) = - \beta_i \sum_{j \in Y^+_i} \log Pr(y_j = 1 | X_i) - \sum_{j \in Y^-_i} \log Pr(y_j = 0 | X_i) 여기서 Y^+_i와 Y^-_i는 각각 i-번째 RoI (X_i)에 대한 positive 및 negative ground truth label set을 나타낸다. \beta_i는 positive/negative 픽셀 간의 loss 균형을 맞추는 가중치이다. 초기 PN loss에서는 \beta_i = |Y^-_i| / |Y^+_i|로 설정되었으나, 합성 데이터셋에서 극히 작은 poking region의 경우 \beta_i가 매우 커져 false positive가 증가하는 문제가 있었다. 이를 보완하기 위해 Log-Positive-Negative-balanced (LPN) loss를 도입하여 \beta_i에 로그 함수를 적용하여 값의 범위를 제한한다: \beta_i = \begin{cases} \ln\left(\frac{|Y^-_i|}{|Y^+_i|}\right) & \text{if } |Y^+_i| > 0 \\ 1 & \text{if } |Y^+_i| = 0 \end{cases} 이 방식은 hard example mining과 유사하며, 작은 poking region을 가진 instance의 픽셀(hard examples)을 효율적으로 학습하게 한다.

2. Vision-guided Tactile Poking

PokePreNet에서 감지된 poking region 마스크 (M_{poking})를 사용하여 이미지 프레임 내 poking point (P_t = [x_t, y_t])를 생성한다.

OpenCV의 findContours 함수로 poking region 마스크의 외부 윤곽(external contour)을 찾는다.
fitEllipse 함수로 윤곽에 타원을 맞춰 중심점(P_c)을 얻는다.
만약 P_c가 poking region 마스크 내부에 있으면 (P_c \in M_{poking}), P_c를 poking point P_t로 설정한다. (이는 일반적으로 단순 연결된 마스크에 해당하며, 원통형 물체의 측면과 같이 중심이 내부에 있는 경우).
만약 P_c가 poking region 마스크 외부에 있으면 (예: 링 형태 마스크), P_c에서 가장 가까운 positive 픽셀을 poking point P_t로 설정한다. (GelSight sensor가 물체 내부로 들어가지 않도록 방지). 로봇 팔은 이 poking point로 안내되며, GelSight sensor가 물체와 접촉하면 멈춘다. 접촉 감지는 간단한 이미지 subtraction 기반 알고리즘을 사용한다. 레퍼런스 이미지와 현재 프레임 간의 요소별 절대 차이를 계산하고 이진 임계값 처리를 수행한다. 차이 프레임에서 positive 픽셀 수가 미리 정의된 임계값을 초과하면 접촉으로 인식한다.

3. Heuristic Transparent Object Grasping

예측된 poking region과 촉각 poking을 통해 얻은 물체의 국부 프로파일(즉, 접촉 위치)을 기반으로 top-down parallel grasping을 위한 휴리스틱 grasp proposal (G_{hrst} = [x, y, z, w, \theta])을 생성한다. 여기서 [x, y, z]는 세계 좌표계(world frame)에서의 grasp 중심, w는 gripper 폭, \theta는 수직 축 주위의 방향이다.

Case 1: ellipse.centroid in Mpoking (중심 기반 grasp) Poking position P^W_t (세계 좌표계)는 P^W_c와 동일하게 설정된다. x, y, z \leftarrow P^W_t w \leftarrow \text{maximum gripper width} \theta \leftarrow \text{ellipse.rotation angle} (타원의 짧은 축을 따라 grasping)
Case 2: ellipse.centroid not in Mpoking (가장자리 기반 grasp 또는 중심 기반 grasp) P^W_c (세계 좌표계)는 pin-hole camera model을 사용하여 계산된다. D \leftarrow \text{calculateDistance}(P^W_c, P^W_t) Angle \leftarrow \text{calculateAngle}(P^W_c, P^W_t) 만약 D가 gripper finger 폭의 절반보다 크면 (gripper가 물체에 삽입될 수 있는 경우), edge grasp를 사용한다. x, y, z \leftarrow P^W_t w \leftarrow 2 \times D \theta \leftarrow Angle (벡터 <P^W_c, P^W_t>에 평행) 그렇지 않으면 (gripper가 물체에 삽입되지 않는 경우), 중심 기반 grasp를 사용한다. x, y, z \leftarrow P^W_c w \leftarrow \text{maximum gripper width} \theta \leftarrow \text{ellipse.rotation angle}

데이터셋 및 실험

합성 데이터셋: Blender의 물리 엔진과 LuxCoreRender 렌더링 엔진을 사용하여 9,000개 이상의 뷰를 가진 고품질 합성 데이터셋을 구축했다. 이 데이터셋은 투명 물체의 specular highlights 및 caustics와 같은 미묘한 효과를 포함하여 현실적인 이미지를 생성하며, RGB 이미지, depth 이미지, surface normals, instance masks, 그리고 특히 poking regions의 ground truth를 자동 생성한다. domain randomisation을 통해 시뮬레이션-실세계 간의 간극(sim2real gap)을 줄였다.
실세계 데이터셋: 9가지 투명 플라스틱 및 유리 물체를 포함하는 180개의 실세계 이미지를 수집하여 PokePreNet의 일반화 능력을 평가했다.
실험 결과: PokePreNet은 real-world test benchmark에서 0.360의 높은 mAP를 달성했다. vision-guided tactile poking은 bounding box나 instance mask를 사용하는 것보다 poking 성공률을 크게 향상시켰으며 (89.8%), 최종적으로 투명 물체 grasping 성공률을 38.9%에서 85.2%로 대폭 향상시켰다. 작은 물체(예: vial)에 대한 tactile alignment 실험에서는 손-눈 및 센서-말단 효과기 보정 오차를 완화하여 grasping 성공률을 80%에서 100%로 높일 수 있음을 보여주었다.

이 연구는 투명 물체 grasping 문제에 시각 및 촉각 센서를 성공적으로 통합한 최초의 사례이며, 그 단순성 덕분에 다른 force 또는 tactile sensors에도 적용 가능하고 다른 challenging objects의 grasping에도 활용될 수 있음을 시사한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

1. 문제 정의: 왜 투명 물체가 어려운가?

로봇 팔에 RGB-D 카메라를 달고 유리컵을 잡으려 하면 무슨 일이 생길까? 카메라는 물체를 거의 보지 못하거나, 보더라도 깊이 정보가 완전히 엉터리로 나온다.

이 문제는 투명 재질의 두 가지 광학적 특성에서 비롯된다.

① 색상/텍스처 특징의 부재. 불투명 물체는 물체 고유의 색과 표면 질감을 갖지만, 유리나 플라스틱은 배경을 그대로 투과시킨다. CNN 기반 탐지기가 학습한 시각적 특징이 존재하지 않는 것이다.

② 기하광학 가정의 붕괴. Intel RealSense 같은 structured light / ToF 깊이 센서는 빛이 표면에서 반사된다는 가정 위에 설계된다. 그러나 유리는 굴절과 반사를 동시에 일으켜, 같은 표면에서 센서 광이 제멋대로 산란된다. 결과적으로 깊이 맵에 구멍(hole)이 생기거나 완전히 잘못된 값이 나온다.

\underbrace{\text{투명 물체}}_{\text{굴절·반사}} \Rightarrow \underbrace{d_{\text{sensor}} \neq d_{\text{true}}}_{\text{깊이 오류}}

기존 연구들(ClearGrasp, Dex-NeRF 등)은 이 문제를 비전만으로 풀려 했다. 하지만 이 논문은 다른 질문을 던진다.

“인간은 어떻게 유리컵을 집는가?”

인간은 유리컵을 눈으로 대략 위치를 파악하고, 손가락으로 살짝 건드려서 정확한 형상을 확인한 뒤 집는다. 시각은 “어디쯤에 있는지”, 촉각은 “정확히 어떻게 생겼는지”를 담당한다. 이 논문은 이 분업 구조를 로봇에 그대로 구현한다.

2. 핵심 아이디어: Vision-Guided Tactile Poking

전체 파이프라인은 세 단계로 구성된다.

flowchart LR
    A["RGB 이미지"] --> B["PokePreNet\n(포킹 위치 예측)"]
    B --> C["포킹 포인트 생성"]
    C --> D["로봇 팔 이동\n& GelSight 접촉"]
    D --> E["촉각 이미지\n(로컬 형상 획득)"]
    E --> F["Heuristic Grasp\n계획 & 실행"]

2.1 포킹 영역이란 무엇인가?

논문의 핵심 개념인 poking region은 단순히 “물체의 어딘가”가 아니다. 구체적으로 테이블 표면과 법선 벡터가 비슷한 수평 상단 영역으로 정의된다. 이 조건을 만족하는 이유가 중요하다.

좋은 GelSight 읽기를 얻을 수 있다: GelSight는 표면에 수직으로 접촉할 때 가장 선명한 형상을 캡처한다. 수평 상단면은 로봇 팔이 위에서 수직으로 내리꽂기 가장 좋은 영역이다.
물체 상태를 최소로 교란한다: 측면을 밀면 물체가 넘어지거나 이동할 수 있다. 상단을 가볍게 찍으면 물체는 제자리에 있다.

즉 포킹 영역은 “정보량이 높으면서 물체를 덜 방해하는” 최적의 접촉 후보다. 음료수 병이면 뚜껑 부분, 유리컵이면 입구 테두리 같은 곳이다.

2.2 PokePreNet: 포킹 영역 세그멘테이션

포킹 영역 예측은 instance segmentation 문제로 정식화된다. Mask R-CNN을 기반으로 하되, 두 가지 핵심 수정이 가해진다.

문제 1 — 포킹 영역은 바운딩 박스 내에서 매우 작다.

유리병의 바운딩 박스 대비 상단 수평면은 전체 면적의 약 5%밖에 안 된다. 표준 Mask R-CNN의 RoI 크기에서는 이 작은 영역을 정밀하게 예측하기 어렵다.

→ 해결책: 마스크 헤드에 디컨볼루션 레이어를 추가해 출력 특징 맵 해상도를 높인다.

문제 2 — 클래스 불균형.

positive(포킹 영역) 픽셀이 바운딩 박스 내 전체 픽셀의 5%라면, 표준 binary cross-entropy는 negative 픽셀에 지배당해 포킹 영역을 무시하는 방향으로 학습된다.

→ 해결책: Positive-Negative balanced (PN) loss를 설계한다.

\mathcal{L}_{\text{mask}}(X_i) = -\beta_i \sum_{j \in \mathcal{Y}^+_i} \log \Pr(y_j = 1 | X_i) - \sum_{j \in \mathcal{Y}^-_i} \log \Pr(y_j = 0 | X_i)

여기서 \beta_i = |\mathcal{Y}^-_i| / |\mathcal{Y}^+_i| 로 인스턴스별 positive:negative 픽셀 비율의 역수를 가중치로 쓴다. 포킹 영역 픽셀이 적을수록 해당 픽셀의 loss 기여가 자동으로 커진다.

2.3 포킹 포인트 생성

예측된 포킹 영역 마스크에서 실제 접촉 포인트 P_t를 어떻게 계산할까?

먼저 OpenCV findContours → fitEllipse로 마스크의 외곽선에 타원을 피팅해 중심 P_c를 구한다. 그 다음 마스크 형태에 따라 두 가지 케이스로 나뉜다.

단순 연결 영역 (예: 원형 뚜껑): P_t = P_c (타원 중심 그대로)
링 형태 영역 (예: 컵 테두리): P_c에 가장 가까운 포킹 영역 양성 픽셀로 설정. 중심에 찍으면 GelSight가 컵 안으로 들어가버리기 때문이다.

2.4 Heuristic Grasp 생성

촉각으로 얻은 로컬 형상(접촉 위치 P^W_t)과 예측된 포킹 영역을 바탕으로 5차원 그래스프 벡터를 생성한다.

G_{\text{hrst}} = [x,\; y,\; z,\; w,\; \theta]

[x, y, z]는 그래스프 중심, w는 그리퍼 너비, \theta는 방향이다. 여기서도 두 가지 케이스가 있다.

P_c가 포킹 영역 내부: 중심 기반 파지(centroid grasp) — 원통형이나 사각형 물체에 적합
P_c가 포킹 영역 밖: 거리 D(P^W_c, P^W_t)가 그리퍼 손가락 너비의 절반보다 크면 edge grasp 사용

이 휴리스틱은 복잡한 학습 없이 기하학적 추론만으로 그래스프를 결정한다. 이것이 이 시스템의 강점이자 한계다.

3. 데이터셋: Sim-to-Real 합성 데이터

실제 투명 물체에 대해 포킹 영역 레이블을 사람이 직접 붙이는 것은 매우 어렵고 오래 걸린다. 논문은 이 문제를 Blender 기반 포토리얼리스틱 합성 데이터로 해결한다.

구성: - 9,000장 이상의 RGB 이미지 + 포킹 영역 마스크 어노테이션 - 다양한 HDRI 환경맵, 배경 텍스처, 카메라 각도를 무작위화(domain randomization) - 유리컵, 플라스틱 병, 비커 등 다양한 형태

주목할 점은 모델을 합성 데이터만으로 학습한 뒤 실제 환경에서 직접 테스트한다는 것이다. Sim-to-Real 갭을 줄이기 위해 랜더링 품질과 환경 다양성에 공을 들였다.

합성 데이터 렌더링 코드도 별도 레포(TransparentObjectRender)로 공개되어 있다.

4. 실험 결과

4.1 하드웨어 설정

컴포넌트	사양
로봇 팔	UR5
그리퍼	Robotiq 2-finger
촉각 센서	GelSight (고해상도 광학식)
깊이 카메라	Intel RealSense D415/D435
보정 방법	Tsai hand-eye calibration

4.2 PokePreNet 평가

방법	mAP
표준 Cross-Entropy Loss (Mask R-CNN)	0.319
PN Loss (PokePreNet)	0.360

약 13% 향상이다. 합성 데이터로만 학습했음에도 실제 환경에서 일반화되는 것을 확인했다.

4.3 포킹 성공률 비교

포킹 위치 가이드 방법	포킹 성공률
바운딩 박스 중심	78.4%
인스턴스 마스크 중심	84.3%
PokePreNet 포킹 영역 중심 (PN Loss)	89.8%

포킹 성공률은 GelSight가 물체에 실제로 올바르게 접촉해 유효한 촉각 이미지를 얻었는지 여부로 정의된다.

4.4 최종 파지 성공률 (핵심 결과)

방법	파지 성공률
비전 기반 직접 파지 (ClearGrasp 등)	38.9%
비전 가이드 촉각 포킹 (제안 방법)	85.2%

+46.3%p의 성공률 향상. 이것이 이 논문의 핵심 수치다. 기존 순수 비전 방법이 40%도 안 되는 성공률로 고전하는 투명 물체 파지를, 촉각 포킹 하나로 85%를 넘긴다.

5. 강점 분석

① 문제 정식화의 우아함. “포킹 영역”이라는 개념 자체가 영리하다. 그냥 “어디든 건드려봐”가 아니라, 정보량(좋은 촉각 읽기)과 부작용(물체 교란 최소화)을 동시에 최적화하는 위치를 비전으로 예측한다는 아이디어가 직관적이면서도 실용적이다.

② 합성 데이터로 Sim-to-Real 성공. 투명 물체에 대한 실데이터 레이블링의 어려움을 합성 데이터로 우회하고, domain randomization으로 실제 환경에의 일반화를 달성했다. 데이터 파이프라인까지 오픈소스로 공개한 점도 강점이다.

③ 모듈성과 확장성. GelSight에 특화된 것이 아니라 GelTip, TacTip 등 다른 광학식 촉각 센서에도 적용 가능하도록 설계되었다. 포킹 영역 예측 모듈과 파지 계획 모듈이 분리되어 각각 교체 가능하다.

④ 재현 가능성. 코드, 합성 데이터 렌더러, 사전 학습된 모델 모두 공개. T-Mech급 논문으로는 드물게 완전한 재현 환경을 제공한다.

6. 한계 및 비판적 분석

① Sequential 파이프라인의 latency. 시각 예측 → 포킹 이동 → 촉각 획득 → 파지 계획의 순차적 구조는 각 단계에 시간이 걸린다. 특히 포킹 동작 자체가 물리적 이동이라 실시간 응용에서 병목이 된다. 논문에서는 이에 대한 시간 측정치가 제시되지 않는다.

② 포킹 영역이 없는 물체. 플랫한 유리판처럼 수평 상단면이 없거나 매우 작은 물체에는 포킹 영역을 정의하기 어렵다. 논문의 실험 대상은 모두 컵·병·비커 등 상단면이 명확한 형태로 한정된다.

③ Heuristic Grasp의 단순성. 파지 계획이 기하학적 휴리스틱에 기반하다 보니, 복잡한 형태(비대칭, 손잡이 있는 물체 등)에서는 최적 파지 포즈를 찾지 못할 수 있다. 학습 기반 파지 계획과 결합하면 더 강건해질 것이다.

④ 그리퍼 기반 실험의 한계. 실험이 UR5 + 2-finger 그리퍼 조합에 국한된다. 멀티핑거 덱스터러스 핸드로 확장하면 포킹 이후의 세밀한 파지 전략이 더 중요해지는데, 이 논문은 그 방향을 다루지 않는다. 이것이 현재 가장 큰 연구 공백이자 확장 기회다.

⑤ 단일 포킹. 물체 하나당 포킹 한 번으로 파지 결정을 내린다. 복잡한 형태에서는 여러 번의 전략적 포킹이 더 나은 정보를 제공할 수 있다. TransTouch(IROS 2023)가 이 “어디를 더 건드릴지” 문제를 utility function으로 최적화한다.

7. 후속 연구와의 연결

이 논문은 “투명 물체 + 촉각” 연구 흐름의 출발점이 된다. 이후 연구들이 각각 다른 방향에서 한계를 보완한다.

flowchart TD
    A["Where Shall I Touch?\n(T-Mech 2022)\n• 포킹 위치를 비전으로 예측\n• UR5 + 2-finger + GelSight"] --> B
    A --> C
    A --> D

    B["TransTouch (IROS 2023)\n• utility function으로\n  최적 포킹 위치 선택\n• 스테레오 네트워크 자체를\n  촉각으로 교정"]

    C["Visual-Tactile Fusion\n(T-RO 2023)\n• 복잡한 배경, 수중 환경\n• 비주얼-택타일 퓨전 분류\n• TaTa 소프트 그리퍼"]

    D["TEVG (IEEE 2025)\n• 무게·놓임 상태 불확실성\n• 비전 능력을 촉각으로 강화"]

9. 요약

항목	내용
핵심 기여	투명 물체 파지를 위한 비전 가이드 촉각 포킹 프레임워크
방법론	PokePreNet (PN Loss + 고해상도 마스크) → GelSight 포킹 → Heuristic Grasp
데이터	Blender 합성 데이터 9,000장+, Sim-to-Real
핵심 결과	파지 성공률 38.9% → 85.2% (+46.3%p)
강점	우아한 문제 정식화, 모듈성, 완전 오픈소스
한계	Sequential latency, 그리퍼 한정, 단순 파지 계획
연구 갭	멀티핑거 핸드로의 확장 미개척