📃FruitTouch 리뷰

tactile

visuo-tactile

deformable object

agriculture

A Perceptive Gripper for Gentle and Scalable Fruit Harvesting

Published

March 18, 2026

🤖 FruitTouch는 고해상도 촉각 센서가 통합된 소형, 저비용, 확장 가능한 과일 수확용 그리퍼를 제안합니다.
✨ 이 장치는 단일 카메라와 최적화된 광학 설계를 사용하여 접촉 형상 재구성, 3D force 추정, slip 감지 및 과일의 softness 예측을 가능하게 합니다.
🍓 실제 과일 수확 실험을 통해 FruitTouch는 robust한 grasp 안정성, 효과적인 손상 방지, 그리고 tactile feedback 기반의 향상된 수확 효율성을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 증가하는 노동력 부족 문제에 대응하여 과일 수확 자동화를 위한 지각형 그리퍼인 FruitTouch를 제안합니다. FruitTouch는 제한된 공간에서도 사용 가능한 소형 크기, 다양한 과일을 안정적으로 잡을 수 있는 능력, 그리고 효율적인 수확을 위한 과일 상태에 대한 신뢰할 수 있는 피드백 제공이라는 요구 사항을 충족하도록 설계되었습니다. 이 그리퍼는 최적화된 광학 설계를 통해 고해상도 시각 기반 촉각 센싱을 통합하여, 저비용 및 기계적 단순성을 유지하면서 다양한 크기의 과일을 수용할 수 있습니다. 임베디드 카메라로 캡처된 촉각 이미지는 실시간 힘(force) 추정, 미끄러짐(slip) 감지, 그리고 부드러움(softness) 예측을 위한 풍부한 정보를 제공합니다. 실제 과일 수확 실험을 통해 FruitTouch의 견고한 그립 안정성과 효과적인 손상 방지 기능을 검증하였으며, 하드웨어 설계 파일과 시뮬레이션 환경은 오픈 소스로 공개되었습니다.

II. 관련 연구

기존 농업용 엔드 이펙터는 시각 피드백에 크게 의존하거나 기계적 설계에 초점을 맞추어 왔습니다. 하지만 시각 피드백은 과일 가림이나 조명 변화에 취약하고, 순수 기계적 엔드 이펙터는 과일 크기, 군집 성장, 표면 습도 등 환경적 가변성에 대한 견고성이 부족합니다. 일부 시스템은 저해상도 또는 이진 접촉 센서를 추가하지만, 이는 공간 또는 방향 정보를 거의 제공하지 못하여 풍부한 접촉 상태나 과일의 물성을 파악하는 데 한계가 있습니다. 반면, GelSight와 같은 고해상도 촉각 센싱 기술은 접촉 형상(geometry), 힘, 미끄러짐, 표면 순응도(compliance)를 상세히 파악할 수 있는 잠재력을 보여주었습니다. FruitTouch는 기존 GelSight 기반 시스템의 부피, 높은 비용, 제한된 기능 또는 일반화 능력 부족을 극복하기 위해 센서 통합, 소형화, 저비용 설계에 중점을 둡니다. 특히, 단일 카메라를 양쪽 핑거에 공유하는 방식을 통해 비용을 절감하면서 다양한 그리퍼 구성에서 효과적인 센싱을 유지합니다.

III. 센서 통합 그리퍼 설계

FruitTouch는 기계적 복잡성을 줄이고 광학 시스템 및 주변 환경과의 간섭을 최소화하기 위해 병렬-조(parallel-jaw) 그리퍼 설계를 채택했습니다. 이 설계는 두 손가락으로 집는 자연스러운 방식을 모방하며, 양쪽 손가락에 통합된 촉각 센싱 기능을 갖추고 있습니다.

A. 기계적 설계

그리퍼는 베이스에 랙(rack)과 기어(gear)를 배치하여 핑거를 작동시킵니다. 랙은 핑거에 부착되며, DYNAMIXEL XC330-M288-T 모터에 연결된 기어와 맞물립니다. 가장 작은 FruitTouch 버전은 체리 토마토와 같은 작은 과일을 다루도록 설계되었으며, 30mm의 젤패드(gelpad) 크기와 약 40mm의 스트로크(stroke)를 가집니다. 모터를 제외한 닫힌 그리퍼의 크기는 35 × 40 × 66 mm³이며, 핑거는 최대 40mm까지 벌어져 포도나 딸기와 같은 작은 과일을 잡을 수 있습니다. 그리퍼 디자인은 기하학적으로 확장 가능(geometrically scalable)하여, 기계적 구조와 미러 기반 광학 레이아웃을 균일하게 스케일링할 수 있으며, 이는 카메라의 물리적 크기에 의해서만 제약을 받습니다.

B. 광학 설계

광학 서브시스템은 그리퍼 핑거에 통합된 촉각 센싱 표면과 중앙에 위치한 단일 카메라로 구성됩니다. 중간에 배치된 미러들이 카메라의 시야를 두 부분으로 나누어 각각의 핑거팁에 대응하게 하며, 젤패드 근처의 LED는 촉각 신호 획득을 위한 균일한 조명을 제공합니다. 최적의 미러 및 센싱 표면 구성을 결정하기 위해 2D Ray Optics Simulation (phydemo.app)을 사용하여 미러를 카메라에 대해 정렬했습니다. 목표는 입사광선이 센싱 표면에 가능한 한 수직으로 닿도록 하여 프레임 내의 원근 왜곡을 최소화하고 핑거 거리에 따른 촉각 신호의 일관성을 유지하는 것입니다. 이어서 Blender에서 보다 상세한 광학 시뮬레이션을 통해 미러 구성과 LED 위치를 미세 조정하여 RGB2Norm Metric을 개선하고 고품질 광학 시스템을 달성했습니다. 이는 왜곡이 최소화된 구형 압흔을 통해 입증되었으며, 이는 형상 보정 및 재구성의 정확도를 향상시킵니다.

IV. 인지 방법론

FruitTouch 그리퍼는 다음과 같은 핵심 인지 능력을 제공합니다.

A. 촉각 형상 재구성 (Tactile Geometry Reconstruction)

형상 재구성은 시각 기반 촉각 센싱의 핵심 기능으로, 과일 종류 분류, 멍/결함 감지, 접촉 상태 추론 등 후속 작업을 가능하게 합니다. 이 방법은 알려진 반경(5mm)의 강철 공으로 압흔을 만들어 센서를 보정하는 것부터 시작합니다. 원본 촉각 이미지는 직사각형 프레임으로 보정되고, 배경 이미지는 접촉 신호를 향상시키기 위해 제거됩니다. 결과로 얻은 접촉 이미지는 수동으로 라벨링된 표면 법선(surface normal)과 짝을 이루어 보정 데이터셋을 구축합니다. 이 데이터셋을 사용하여 MLP(Multi-Layer Perceptron)를 훈련시켜 RGB 픽셀 강도에서 표면 법선으로의 매핑을 학습합니다. 추론 시에는 예측된 법선이 수치적으로 통합되어 압흔의 높이 맵(height map)을 복구하고, 이를 통해 국부적인 접촉 형상을 재구성합니다.

B. 3차원 힘 추정 (Three-dimensional Force Estimation)

과일 수확에서 닫힌 루프(closed-loop) 제어를 위해 법선(normal) 및 전단(shear) 구성 요소를 포함한 3차원 힘 추정은 필수적입니다. 법선 힘 추정은 적절한 그립 강도를 유지하는 데 도움이 되며, 전단 힘 예측은 미끄러짐 방지에 기여합니다. 이를 위해 FruitTouch는 액추에이터 신호(모터 전류)와 젤 표면의 시각적 단서를 융합하는 경량의 데이터 기반 모델을 사용합니다. 병렬-조 그리퍼 설정에서 손가락 끝의 법선 힘은 랙과 기어를 통해 모터로 전달되어 액추에이터 토크를 증가시키고 고정된 기어링 하에서 모터 전류를 비례적으로 증가시킵니다. 따라서 모터 전류 I를 법선 힘 F_n에 매핑하는 간단한 선형 모델을 사용합니다. 전단 힘 추정을 위해, 젤에 새겨진 표면 마커의 변위(displacement)를 시각적으로 추적하여 크기와 방향을 추론합니다. 자기장 비유와 Helmholtz–Hodge 분해 [15]에 따라 변위장 V는 컬-프리(curl-free) 및 다이버전스-프리(divergence-free) 구성 요소로 분리됩니다. 이들은 각각 병진(translational) 및 회전(rotational) 전단 패턴에 해당합니다. 이 구성 요소들에 저차 다항식 확장(low-order polynomial expansion)을 적용하여 특징 벡터를 구성합니다.

구체적으로, 2D 마커 변위장 V는 세 개의 직교 구성 요소로 분해됩니다: V = P + S + H

여기서 P는 컬-프리(비회전) 구성 요소로 \nabla \times P = 0을 만족하고, S는 다이버전스-프리(솔레노이드) 구성 요소로 \nabla \cdot S = 0을 만족하며, H는 \nabla \cdot H = 0과 \nabla \times H = 0을 모두 만족하는 조화(harmonic) 구성 요소입니다. 보간된 마커 구성 요소를 p, s, h로, 그 스칼라 구성 요소를 아래 첨자(예: p_x, p_y)로 나타내면, 전단 변형 특징은 다음과 같이 정의됩니다: x_{\text{shear}} = \begin{bmatrix} h_{vx}, h_{vy}, p_x^*, p_y^*, s_x^*, s_y^* \end{bmatrix}^T 여기서 p_x^* = \begin{bmatrix} p_x, p_x^2 \end{bmatrix}^T, p_y^* = \begin{bmatrix} p_y, p_y^2 \end{bmatrix}^T, s_x^* = \begin{bmatrix} s_x, s_x^2 \end{bmatrix}^T, s_y^* = \begin{bmatrix} s_y, s_y^2 \end{bmatrix}^T입니다.

그리고 총 전단 힘 예측은 다음과 같이 표현됩니다: F_{\text{shear}} = \begin{bmatrix} F_x \\ F_y \end{bmatrix} = \begin{bmatrix} w_x^T \\ w_y^T \end{bmatrix} \begin{bmatrix} x_{\text{shear}} \end{bmatrix} + \begin{bmatrix} b_x \\ b_y \end{bmatrix}

C. 실시간 미끄러짐 감지 (Real-Time Slip Detection)

미끄러짐은 엔드 이펙터와 과일 사이의 의도하지 않은 상대 운동을 의미하며, 종종 손상, 그립 실패, 효율성 저하로 이어집니다. 안정적인 과일 수확을 위해서는 미끄러짐 감지 능력이 중요합니다. FruitTouch는 재구성된 높이 맵을 임계값 처리하여 접촉 영역을 분할합니다. 이 영역의 중심점의 평균 속도는 과일의 속도를 대변합니다. 그런 다음 동일한 접촉 영역 내에서 마커 속도를 계산하고 과일과 마커 속도 간의 차이를 평가합니다. 이 차이가 프레임당 10픽셀의 사전 정의된 임계값을 초과할 때 미끄러짐 이벤트가 보고됩니다.

D. 과일 부드러움 측정 (Object Softness Measurement)

과일이 수확 준비가 되었는지 판단하기 위해 부드러움을 숙성의 대용으로 추정합니다. FruitTouch는 부드러운 압착 시 모터 전류로부터 얻은 법선 힘과 젤의 촉각 각인(imprint)을 결합하여 인-핸드(in-hand)로 부드러움을 추론할 수 있게 합니다. 이는 추가 노동 없이 수확 전 선별을 가능하게 합니다. 또한, 이 방법은 과일에 구애받지 않고(fruit-agnostic) 단일 모델이 재훈련 없이 다양한 품종에 일반화됩니다.

FruitTouch는 농업에서 부드러움 예측 문제를 쌍대 비교(pairwise comparison)로 접근합니다. 동일한 과일의 두 가지 짧은 압축 시퀀스가 주어졌을 때, 모델은 첫 번째 시퀀스가 두 번째 시퀀스보다 더 단단한지 예측합니다. 이 공식은 절대적인 보정의 필요성을 피하고, 품종 간 일반화를 지원하며, 필요에 따라 집계를 통해 절대적인 부드러움 척도로 확장될 수 있습니다. 각 압축 클립을 2D 프레임 인코더의 짧은 스택과 시간적 특징을 포착하기 위한 셀프-어텐션으로 인코딩하는 경량 랭커(ranker)를 사용합니다. 실시간 법선 힘 추정치는 시각적 임베딩과 함께 투영되고 연결됩니다. 주어진 임베딩 e_A, e_B \in \mathbb{R}^D에 대해, W = -W^T를 갖는 비대칭 이선형 비교기(asymmetric bilinear comparator) f(e_A, e_B) = e_A^T W e_B + b가 로짓(logit) f를 생성합니다. 쌍 레이블에 대한 이진 교차 엔트로피(binary cross-entropy)를 사용하여 훈련하며, 과일 내 쌍을 형성합니다. 추론 시에는 f \ge 0일 때 “A > B”를 예측합니다.

V. 실험 및 결과

A. 형상 재구성

FruitTouch는 육면체 피라미드(직경 10mm, 높이 2mm)를 사용하여 표면을 압흔 시켰을 때 0.201 mm²의 MSE(Mean Squared Error)를 달성하여 높은 재구성 정확도를 입증했습니다. 이는 단일 카메라와 현장 수확에 적합한 폼 팩터를 사용하면서도 기존 GelSight 스타일 센서에 필적하는 성능입니다.

B. 그립 힘 추정

그리퍼에 ATI Nano17 힘/토크 센서를 장착하여 다양한 위치에서 데이터를 수집했습니다. 모터 전류로부터 법선 힘을 예측하는 모델은 실제 값과 강력한 일치를 보였으며, R^2 = 0.951, MAE = 0.267 N, MAPE = 3.04%를 달성했습니다. 더 어려운 전단 힘 추정의 경우, R^2 = 0.903, MAE = 0.149 N, MAPE = 9.37%를 달성했습니다. 두 모델 모두 반복된 시험과 압흔 형상 전반에 걸쳐 일관된 성능을 보였습니다.

C. 미끄러짐 감지

미끄러짐 감지 시스템은 낮은 마찰 선형 레일에서 다양한 부하(10, 20, 50그램)와 두 가지 그립 자세(상단, 측면)로 테스트되었습니다. AprilTag 변위를 기준으로 하는 ground truth와 비교하여, 분류기는 0.725의 정밀도, 0.661의 재현율, 0.692의 F1 점수를 달성했습니다. 또한, 예측된 미끄러짐은 평균적으로 첫 번째 관찰 가능한 상대 운동보다 0.11초 먼저 보고되어 선제적인 개입 가능성을 보여주었습니다.

D. 부드러움 측정

딸기, 라즈베리, 체리 토마토의 실리콘 복제본을 다양한 경도(Shore 00 스케일 68.4, 64.8, 51.4, 42.2)로 제작하여 데이터를 수집했습니다. 복잡한 표면 질감을 가진 과일(딸기, 라즈베리)은 무질감 과일(체리 토마토)보다 높은 정확도를 보였는데, 이는 풍부한 접촉 패턴이 더 많은 정보를 제공하는 촉각 신호를 생성하기 때문입니다. 모든 과일에 걸쳐 통합된 검증 정확도는 약 94.7%에 달했습니다.

E. 수확을 위한 로봇 시스템

FruitTouch 그리퍼는 UR5e 로봇 팔에 통합된 완전 자율 로봇 시스템에서 체리 토마토 및 딸기 수확에 대한 성능을 검증했습니다. YOLOv5 검출기를 사용하여 과일을 지역화하고, 로봇은 적절한 그립 자세로 이동하며, 그리퍼는 피킹 동작을 수행합니다. 힘 추정 및 미끄러짐 감지는 약 15Hz의 통합된 지각-제어 루프에서 실행되어 그립 안정성과 반응성을 향상시킵니다. 오픈 루프(open-loop), 미끄러짐 제어(slip control), 미끄러짐+힘 제어(slip+force control)의 세 가지 제어 전략을 비교하는 어블레이션(ablation) 실험이 수행되었습니다. 미끄러짐+힘 제어는 가장 높은 수확 성공률과 가장 낮은 힘 가변성을 달성했으며, 이는 촉각 피드백이 견고하고 부드러운 과일 수확에 기여함을 보여주었습니다.

VI. 결론

본 논문은 소형, 저비용, 맞춤형, 센서 통합 그리퍼인 FruitTouch를 제안하며, 이는 고해상도 촉각 인지(형상 재구성, 힘 추정, 미끄러짐 감지, 인-핸드 부드러움 평가)를 실용적인 수확 시스템에 통합합니다. 통제된 평가에서 그리퍼는 정확한 힘 추정, 시기적절한 미끄러짐 감지, 그리고 과일에 구애받지 않는 쌍대 부드러움 순위 지정을 달성했습니다. 수확 어블레이션은 촉각 피드백의 이점을 확인했습니다. 특히, 촉각 정보를 기반으로 한 닫힌 루프 제어는 그립 견고성을 향상시키면서 과도한 접촉 힘을 줄여 부드럽고 적응적인 조작을 가능하게 합니다. 이러한 결과들은 손상 없는 취약 과일 피킹, 비용 효율적이고 확장 가능한 디자인 유지, 과일 품질 평가를 위한 인-핸드 센싱 지원을 통해 자동화된 수확의 주요 과제를 해결합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

왜 이 논문이 지금 중요한가

농업 현장에서 과일을 수확하는 일은 로봇공학의 입장에서 보면 대단히 까다로운 문제다. 겉으로는 단순해 보인다. 과일을 집어서 따내면 된다. 그런데 조금 더 들여다보면 이 문제는 수많은 공학적 제약이 얽힌 거미줄과도 같다.

수확 대상인 과일은 형태와 크기가 제각각이다. 사과, 복숭아, 토마토, 딸기는 크기도, 경도도, 표면 질감도 서로 다르다. 게다가 나뭇잎 뒤에 숨어 있거나, 가지와 가지 사이 좁은 공간에 위치하거나, 비에 젖어 미끄럽다. 사람이라면 손끝의 감각으로 이 모든 것을 자연스럽게 처리한다. 로봇은 그렇지 못했다.

FruitTouch는 이 문제에 정면으로 달려드는 연구다. 핵심 주장은 간결하다: 촉각 감지(tactile sensing)를 그리퍼에 직접 내장하면, 시각 정보가 불충분한 상황에서도 안정적이고 손상 없는 수확이 가능하다. 이 리뷰는 그 주장을 뒷받침하는 설계 원리, 알고리즘, 실험 결과를 깊이 파고든다.

배경: 농업용 말단 장치의 딜레마

현재 주류 방식과 그 한계

현재 농업용 로봇 말단 장치는 크게 세 가지 방식에 의존한다.

흡착 컵(suction cup) 방식은 구조가 단순하고 힘을 분산시킬 수 있다는 장점이 있다. 그러나 과일 표면이 불규칙하거나, 표면이 축축하거나, 오목하게 들어간 부분이 있으면 흡착력이 급격히 떨어진다. 흡착에 실패하면 과일을 그냥 놓쳐버린다.

가위형 절단기(scissor cutter) 방식은 과경(peduncle) 절단에 특화되어 있다. 하지만 과일 자체를 잡는 것이 아니라 줄기를 자르는 방식이므로, 이후 과일이 낙하하여 충격 손상이 발생하는 경우가 잦다.

다지형 그리퍼(multi-finger gripper) 방식은 가장 유연하다. 다양한 크기와 형상의 과일에 대응할 수 있다. 그러나 기계적 복잡성이 높고, 손가락 간의 간섭이나 광학계와의 충돌 문제, 협소한 공간에서의 작동 문제 등이 발생한다.

이 모든 방식의 공통적인 약점은 피드백 부재다. 그리퍼가 과일을 실제로 얼마나 세게 쥐고 있는지, 지금 미끄러지고 있는지, 과일이 단단한지 물렁한지를 실시간으로 알 방법이 없다.

시각 기반 피드백의 한계

카메라를 이용한 비전 기반 피드백은 물체 감지와 대략적 위치 추정에는 유용하다. 그러나 과일이 잎에 가려지거나, 직사광선으로 반사 포화(saturation)가 일어나거나, 그리퍼 자체가 카메라 시야를 가리면 신뢰할 수 없는 정보가 된다. 더 근본적으로, 카메라는 “보는” 것이지 “느끼는” 것이 아니다. 과일의 경도, 접촉면에서의 미끄러짐 징후, 국부적인 법선력 분포는 시각만으로는 얻을 수 없다.

FruitTouch는 이 공백을 비전 기반 촉각 센서(vision-based tactile sensor)로 채우는 방식을 선택했다.

시스템 설계: 단순함 속의 치밀함

그리퍼 기구부 설계

FruitTouch는 병렬 조(parallel-jaw) 그리퍼 구조를 채택한다. 다지형 대신 2지형(two-finger)을 선택한 이유가 있다.

첫째, 기계적 단순성이다. 병렬 조는 링크 수가 적고 제어 자유도(DOF)가 1개여서 제어 알고리즘이 단순하다. 실용적인 농업 현장에 배치하기 위해선 유지보수 부담을 최소화해야 한다.

둘째, 광학계 간섭 최소화다. 촉각 센서의 핵심인 카메라와 LED 조명계가 손가락 내부에 내장된다. 손가락 수가 많을수록 이 광학 구조를 수용할 공간이 줄어들고 배선 복잡도가 급격히 올라간다.

셋째, 인간의 두 손가락 집기 동작 모방이다. 사람이 과일을 딸 때 검지와 중지 혹은 엄지와 검지로 집는 것과 구조적으로 유사하다.

랙-피니언(rack and gear) 구동 기구는 손가락 기저부(base)에 배치된다. 이는 구동부가 손가락 선단부(fingertip)가 아닌 기저부에 있음을 의미하며, 선단부 광학 시스템과의 공간적 간섭을 피하기 위한 설계 선택이다.

FruitTouch Gripper Cross-Section (Conceptual)

+--[Rack & Gear (base)]--+
|                        |
| [Finger L]  [Finger R] |
| +--------+  +--------+ |
| | Camera |  | Camera | |
| | LED    |  | LED    | |
| | Gel    |  | Gel    | |
| | Pad    |  | Pad    | |
| +--------+  +--------+ |
+------------------------+
         |
   [Fruit contact]

비전 기반 촉각 센서: GelSight 계보의 농업 특화 구현

FruitTouch의 가장 핵심적인 기여는 GelSight 계열 비전 기반 촉각 센서를 병렬 조 그리퍼의 두 손가락 모두에 내장한 것이다. 이 센서가 어떻게 작동하는지 이해하는 것이 이 논문의 절반이다.

GelSight 계열 센서의 작동 원리

GelSight는 MIT Adelson 연구그룹이 개발한 촉각 센서 패밀리다. 기본 구조는 다음과 같다:

GelSight Sensor Structure

  Object Surface
       |||
  +----vvv----+
  | Elastomer |  <- soft silicone gel with reflective membrane
  | (deforms) |
  +-----+-----+
        |
  LED illumination (multi-directional, RGB)
        |
  +-----v-----+
  |  Camera   |  <- captures deformed surface image
  +-----------+

탄성체(elastomer)는 물체가 접촉할 때 변형된다. 이 변형을 여러 방향에서 조명된 카메라 이미지로 포착한다. 다방향 RGB 조명은 음영 원리를 이용하여 표면 기하를 3D로 재구성하는 데 사용된다.

더 중요한 것은 탄성체 표면에 배치된 마커(marker) 패턴이다. 이 마커들의 변위를 추적하면 접촉 중 발생하는 전단력(shear force)과 비틀림(torsion)을 알 수 있다.

\text{마커 변위 벡터}: \mathbf{d}_i = [u_i, v_i]^T \quad (i = 1, \ldots, N)

여기서 u_i, v_i는 마커 i의 x, y 방향 픽셀 변위다.

FruitTouch에서의 광학 설계 최적화

일반 GelSight Mini 같은 기성 제품을 농업용 그리퍼에 바로 집어넣을 수는 없다. 조밀한 공간, 외부 환경 노출, 다양한 과일 크기 등의 제약에 맞춰 광학 경로와 폼팩터를 재설계해야 한다. FruitTouch는 이 광학 설계를 최적화하여 그리퍼 손가락 내부 공간에 맞게 소형화했다.

지각(Perception) 파이프라인: 세 가지 촉각 정보 추출

FruitTouch의 촉각 지각 파이프라인은 크게 세 가지 기능으로 구성된다: 법선력 추정, 슬립 감지, 연성 예측. 이 세 가지가 함께 작동할 때 비로소 “부드럽고 안정적인 수확”이 가능해진다.

1. 법선력 추정 (Normal Force Estimation)

가장 기초적인 정보는 “얼마나 세게 쥐고 있는가”다. 법선력을 너무 약하게 가하면 과일이 미끄러지고, 너무 강하게 가하면 과일이 눌려 손상된다.

핵심 통찰은 들여쌓기 부피(indentation volume)와 법선력이 대략 선형 관계라는 점이다. 이는 Yuan et al. (GelSight 초기 연구)에서 입증된 관찰이다:

F_n \approx k \cdot V_{\text{indent}}

여기서 F_n은 법선력, V_{\text{indent}}는 탄성체의 들여쌓기 부피, k는 탄성체의 강성에 의존하는 비례 상수다.

V_{\text{indent}}는 접촉 영역에서의 깊이 맵(depth map)을 적분하여 얻는다:

V_{\text{indent}} = \iint_{\text{contact area}} d(x, y) \, dx \, dy

깊이 맵 d(x, y)는 다방향 조명 이미지에서 Photometric Stereo 기법으로 복원된다.

더 정밀한 방법으로는 FEM(Finite Element Method)을 활용하는 방법도 있다. FEM은 탄성체를 격자로 모델링하여 변형 패턴에서 3D 힘 분포를 역산(inverse problem)하는 방식이다. FruitTouch는 이 계보의 선행 연구들을 기반으로 실시간 법선력 추정을 구현했다.

2. 슬립 감지 (Slip Detection)

슬립(slip, 미끄러짐)은 파지력이 충분하지 않을 때 발생하는 초기 경고 신호다. 이를 빠르게 감지하면 그리퍼가 파지력을 증가시키는 교정 동작을 취할 수 있다.

마커 변위 기반 슬립 감지

접촉 중 과일이 미끄러지기 시작하면 탄성체 마커들이 한쪽 방향으로 일제히 이동한다. 평균 마커 변위를 슬립 지표로 사용한다:

\bar{d} = \frac{1}{N} \sum_{i=1}^{N} \|\mathbf{d}_i\|

\bar{d}가 임계값 \tau_{\text{slip}}을 초과하면 슬립으로 판정한다. 이 방식은 소형 물체에 잘 작동한다.

엔트로피 기반 슬립 감지

접촉 면적이 넓은 물체(예: 큰 사과)에서는 개별 마커 변위 크기보다 그 패턴의 불균질성(inhomogeneity)이 더 유용한 슬립 지표가 된다. 이를 정보 엔트로피(entropy)로 정량화한다:

H = -\sum_{j} p_j \log p_j

여기서 p_j는 변위 벡터장의 이산화된 방향/크기 히스토그램에서 j번째 빈의 확률이다. 슬립이 발생하면 변위 패턴이 무질서해지며 엔트로피가 상승한다. 정적 파지(static grasp) 상태에서는 엔트로피가 낮고 안정적이다.

FruitTouch는 물체 크기에 따라 두 방식을 적응적으로 적용하는 전략을 택한다.

3. 연성 예측 (Softness Prediction)

과일의 익음 정도(ripeness)와 직결되는 지표가 바로 연성(softness)이다. 덜 익은 토마토는 딱딱하고, 잘 익은 토마토는 물렁하다. 이 정보를 수확 중 실시간으로 얻을 수 있다면 품질 선별에 곧바로 활용할 수 있다.

초기 연구들은 탄성체의 밝기(image brightness)가 연성과 선형 관계가 있다고 단순 모델링했다. 접촉 압력이 낮을수록 탄성체 변형이 작고, 변형이 작을수록 표면 반사 패턴이 기준 이미지와 유사하므로 밝기 차이(△I)가 적다는 직관이다.

FruitTouch에서는 더 정교한 해석 모델(analytical model)을 도입하여 단순 선형 가정의 한계를 극복하고 compliance 추정 정확도를 높였다. 접촉 역학(contact mechanics)에서 Hertz 접촉 이론을 응용하면 접촉 반지름 a와 들여쌓기 깊이 \delta, 법선력 F_n 사이의 관계는:

F_n = \frac{4}{3} E^* \sqrt{R} \cdot \delta^{3/2}

여기서 E^*는 등가 탄성 계수(reduced elastic modulus), R은 등가 접촉 반지름이다. 동일한 법선력 F_n에서 \delta가 크다는 것은 E^*가 작다는, 즉 더 물렁하다는 의미다.

시스템 통합: 인식-계획-제어 파이프라인

세 가지 촉각 지각 결과는 개별적으로 쓰이는 것이 아니라, 하나의 통합 제어 파이프라인으로 연결된다.

flowchart TD
    A[Tactile Image Capture\nL & R fingers, camera] --> B[Preprocessing\ndiff image, marker tracking]
    B --> C1[Normal Force Estimation\nindentation volume integral]
    B --> C2[Slip Detection\nmarker displacement / entropy]
    B --> C3[Softness Prediction\nanalytical contact model]

    C1 --> D{Force in\nsafe range?}
    C2 --> E{Slip\ndetected?}
    C3 --> F[Ripeness / Quality\nInference]

    D -- Yes --> G[Maintain grasp]
    D -- No: too low --> H[Increase grip force]
    D -- No: too high --> I[Reduce grip force]

    E -- Yes --> H
    E -- No --> G

    G --> J[Harvesting Action\ndetach fruit]
    F --> K[Post-harvest\nquality log]

    H --> A
    I --> A

이 파이프라인은 닫힌 제어 루프(closed-loop)를 형성한다. 촉각 이미지가 들어오면, 법선력과 슬립 상태를 추정하고, 그 결과에 따라 파지력을 실시간으로 조정한다. “이 정도면 됐어”라는 결정이 나는 순간 수확 동작(detachment)이 실행된다.

실험 및 결과

실험 설정

FruitTouch는 실제 과일 수확 실험을 통해 검증되었다. 실험 조건은 다음과 같이 요약할 수 있다:

항목	내용
말단 장치	FruitTouch 병렬 조 그리퍼
촉각 센서	양 손가락 모두 비전 기반 촉각 센서 내장
검증 지표	파지 안정성, 손상 방지 성능
수확 대상	실제 과일 (다양한 크기 및 종류)
환경	실세계(real-world) 수확 실험

주요 결과 요약

논문은 다음의 결과를 보고한다:

파지 안정성: 다양한 크기와 형태의 과일에 걸쳐 견고한 파지 안정성을 시연했다. 촉각 피드백 없이 고정 파지력으로 수확하는 기준 방법 대비 슬립 발생률이 현저히 감소했다.

손상 방지: 실시간 법선력 피드백을 통해 과도한 파지력 적용을 억제했다. 기존 방식에서 발생하던 압흔(bruising)과 표피 파열(skin rupture)이 억제되었다.

연성 예측: 촉각 이미지 기반 연성 예측이 접촉 중에 실시간으로 이루어졌으며, 이 정보를 수확 품질 판별에 활용하는 가능성을 시연했다.

소형 폼팩터: 광학 설계 최적화를 통해 그리퍼 전체 크기를 협소한 수확 환경에 적합한 수준으로 유지했다.

왜 이 결과들이 의미 있는가

농업 로봇에서 “수확 성공”의 정의는 단순히 과일을 떼어내는 것이 아니다. 손상 없이, 크기와 관계없이, 빠르게 떼어내는 것이 중요하다. FruitTouch가 촉각 피드백으로 달성한 것은 그 세 조건 중 앞의 두 가지다.

특히 슬립 감지와 법선력 추정의 결합은 “최소 필요 파지력(minimum required grasp force)”을 동적으로 결정할 수 있게 해준다. 이는 인간이 무의식적으로 하는 바로 그 행동이다. 사람은 달걀을 쥘 때 무의식적으로 힘을 조절한다. FruitTouch는 이 동작을 촉각 피드백으로 모방하는 것이다.

센서	특징	FruitTouch와의 관계
GelSight (초기)	고해상도 형상 측정	법선력-들여쌓기 선형 관계 기초 제공
GelSight Mini	소형화, 상업화	폼팩터 참고
DIGIT (Meta)	저비용, 소형	산업 배포 가능성 벤치마크
GelSight Wedge	쐐기 형태 광학계	광학 경로 최소화 아이디어
GelLink	다관절 손가락 통합	여러 센서 동시 통합 방법론

연구	방식	피드백 종류	한계
흡착 컵 기반	진공 흡착	없음 또는 압력 센서	불규칙 표면, 젖은 표면 취약
핀레이(Fin Ray) 소프트 그리퍼	수동 컴플라이언스	서보 토크 피드백	국부적 접촉 정보 부재
ANGEL (TPU 드로우스트링)	케이블 구동 소프트	서보 피드백	촉각 정보 부재
FruitTouch	병렬 조 + 촉각	법선력, 슬립, 연성	이하 한계 섹션 참조

비판적 고찰

강점

1. 명확한 문제 정의와 통합적 솔루션 법선력, 슬립, 연성을 하나의 플랫폼에서 동시에 추정하는 것은 기존 농업 로봇 연구 대비 명확한 진보다. 단일 센서로 세 가지 피드백을 얻으므로 시스템 복잡도 대비 정보 밀도가 높다.

2. 설계 철학의 일관성 “단순하되 똑똑하게(simple but smart)”라는 설계 철학이 기구부, 광학계, 알고리즘 전반에 걸쳐 일관된다. 병렬 조 선택, 기저부 구동, 광학계 최적화가 모두 같은 방향을 가리킨다.

3. 실세계 검증 시뮬레이션이나 통제된 실험실 조건에 그치지 않고 실제 과일 수확 실험을 수행한 것은 실용적 신뢰성을 높인다. 농업 로봇 연구에서 이 차이는 매우 크다.

4. 선행 연구 기반의 검증된 원리 활용 GelSight 계열의 법선력-들여쌓기 선형 관계, 엔트로피 기반 슬립 감지 등은 이미 다른 연구들에서 검증된 원리다. FruitTouch는 이를 조합하고 응용했으며, 이는 방법론의 신뢰성을 높인다.

한계 및 약점

1. 마커 패턴의 가시성 문제 탄성체 표면의 마커는 밝은 야외 환경에서 광학적 노이즈에 취약할 수 있다. GelSight 계열 센서는 통제된 조명 조건에서 설계되었으므로, 변화하는 자연광 환경에서의 로버스트니스는 추가 검증이 필요하다.

2. 탄성체 오염 및 내구성 농업 환경은 흙, 수분, 과즙, 살충제 등 다양한 오염원이 존재한다. 탄성체(gel)의 오염은 광학 정보의 질을 저하시키고, 장기간 사용 시 탄성 특성이 변화할 수 있다. 논문에서 이 부분에 대한 내구성 평가가 충분히 제시되지 않는 것은 현실 배포 관점에서 아쉬운 점이다.

3. 계산 비용과 실시간성 비전 기반 촉각 처리는 카메라 이미지 처리를 포함하므로 순수 전기적 촉각 센서보다 계산 부하가 높다. 고해상도 이미지에서 마커 추적과 힘 추정을 동시에 실시간으로 수행하기 위한 하드웨어 요구사항이 필드 배포 시스템의 제약이 될 수 있다.

4. 2D 촉각 정보의 한계 탄성체 접촉 면이 평면(flat)이기 때문에, 구형 과일과의 접촉 시 접촉 패치(contact patch)가 곡면 과일에 균일하게 분포하지 않을 수 있다. 이는 대형 과일이나 비구형 과일(예: 배, 망고)에서의 슬립 감지 정확도에 영향을 줄 수 있다.

5. 수확 대상 범위 병렬 조 방식은 작은 과일(딸기, 체리)이나 포도처럼 밀집된 클러스터 형태의 과일에는 구조적으로 불리하다. 이는 논문의 스코프를 중형 이상의 단일 과일로 제한한다.

6. 재현성과 제조 표준화 GelSight 계열 센서는 탄성체 제작과 광학 정렬이 수동 공정에 의존하는 경우가 많아, 대량 생산 및 교체 시 센서 간 특성 편차가 발생할 수 있다. 이는 상업화 경로에서 해결해야 할 과제다.

Allegro Hand 연구자에게 주는 시사점

FruitTouch는 농업 그리퍼 연구이지만, 정밀 조작을 연구하는 로봇공학자에게도 직접적인 시사점을 준다.

비전 기반 촉각 센서 통합 방법론

Allegro Hand V4는 현재 외부 촉각 센서 모듈을 fingertip에 부착하는 형태로 촉각 연구가 진행된다. FruitTouch의 광학 경로 최적화 및 소형화 접근법은 Allegro 손가락 말단에 GelSight 계열 센서를 통합할 때의 참고 설계가 된다.

슬립 감지의 RL 통합 가능성

FruitTouch의 슬립 감지 파이프라인은 규칙 기반(rule-based) 제어와 결합되어 있다. 이를 강화학습(RL) 정책의 보상 신호(reward signal) 혹은 상태 관측(observation)으로 활용하면, In-Hand Manipulation에서의 파지 안정성을 향상시키는 데 직접 기여할 수 있다. 예를 들어, 슬립 검출 시 음수 보상(negative reward)을 부여하거나, 슬립 지표 \bar{d}와 엔트로피 H를 관측 벡터에 포함하는 방식이 가능하다.

연성 추정의 조작 계획 활용

물체의 연성(softness)을 실시간으로 추정하는 기능은 다양한 물성의 물체를 다루는 dexterous manipulation 과제에서 유용하다. 물체 모델을 접촉 중에 온라인으로 추정(online system identification)하는 파이프라인의 기초 모듈로 활용할 수 있다.

요약 및 결론

FruitTouch는 농업 자동화라는 현실적 문제에서 출발하여, 비전 기반 촉각 센서라는 강력한 도구로 세 가지 핵심 지각 기능을 하나의 컴팩트한 그리퍼에 통합했다.

핵심을 세 줄로 정리하면:

법선력 — 들여쌓기 부피의 선형 근사로 실시간 파지력 추정
슬립 — 마커 변위(소형 물체)와 엔트로피(대형 물체)의 이중 전략으로 미끄러짐 조기 감지
연성 — 접촉 역학 해석 모델로 과일 익음 정도 추정

이 세 가지 정보가 닫힌 제어 루프로 연결되어, 그리퍼는 과일의 크기와 물성에 관계없이 스스로 파지력을 조절하며 수확한다.

남은 과제는 명확하다. 야외 환경에서의 탄성체 내구성, 더 다양한 과일 종에 대한 확장성, 그리고 실제 농업 배포를 위한 제조 표준화다. 하지만 지각 그리퍼(perceptive gripper)의 설계 원리와 구현 경로를 명확하게 제시했다는 점에서, FruitTouch는 농업 로보틱스뿐 아니라 더 넓은 로봇 조작 분야에서 중요한 참조점이 된다.

결국 이 연구가 우리에게 말하는 것은 단순하다: 느끼는 것이 보는 것보다 더 믿을 수 있을 때가 있다. 그리고 그 “느낌”을 공학적으로 구현하는 방법은 이미 우리 손 안에 있다.

참고 문헌

Zhang et al. FruitTouch: A Perceptive Gripper for Gentle and Scalable Fruit Harvesting. arXiv:2602.18991, 2026.
Yuan, W. et al. Measurement of Shear and Slip with a GelSight Tactile Sensor. ICRA 2015.
Yuan, W. et al. Shape-independent hardness estimation using deep learning and a GelSight tactile sensor. ICRA 2017.
Dong, S. et al. Maintaining Grasps within Slipping Bounds by Monitoring Incipient Slip. ICRA 2019.
Lambeta, M. et al. DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor. RAL 2020.
Nam, S. et al. Softness prediction with a soft biomimetic optical tactile sensor. RoboSoft 2024.
Wang, X. et al. Development and evaluation of a robust soft robotic gripper for apple harvesting. Computers and Electronics in Agriculture 2023.
He, Z. et al. A Survey of Vision-Based Tactile Sensors: Hardware, Algorithm, Application and Future Direction. IEEE TIM 2025.