📃TacThru 리뷰

Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Project

1. 💡 TacThru는 투명 엘라스토머와 keyline marker를 사용하여 동시적인 촉각-시각(tactile-visual) 인지와 견고한 마커 추적을 가능하게 하는 STS (See-Through-Skin) 센서입니다.
2. 🤖 이 센서를 모방 학습(imitation learning) 프레임워크인 TacThru-UMI에 통합하여, Transformer-based Diffusion Policy가 시각, 촉각, 고유수용성 감각(proprioception) 신호를 활용하여 조작 제어를 학습합니다.
3. ✅ TacThru-UMI는 다섯 가지 실제 조작 task에서 평균 85.5%의 성공률을 달성하며, 특히 얇고 부드러운 물체와의 접촉 감지 및 정밀한 multimodal coordination이 요구되는 시나리오에서 우수한 성능을 보였습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 조작은 pre-contact부터 post-contact 단계에 이르는 포괄적인 환경 인식을 요구하지만, 기존의 센싱 modality는 각각의 한계점을 가지고 있습니다. Vision은 풍부한 global context를 제공하지만, 로봇의 end-effector나 물체에 의한 occlusion 시 실패하는 경우가 많습니다. Vision-based Tactile Sensors (VBTS)는 high-fidelity contact 정보를 제공하지만, pre-contact 단계에서 정보가 없으며 local하고 sparse한 신호만을 제공합니다. See-Through-Skin (STS) 센서는 촉각 및 시각 센싱을 통합하여 이러한 한계를 극복하려는 유망한 솔루션으로 등장했지만, 대부분의 기존 STS 디자인은 동시적인 multimodal perception이 불가능하며, illumination control이나 movable components를 통해 modality를 전환해야 합니다. 또한, shear force 측정을 위한 촉각 마커는 noise가 많고 예측 불가능한 외부 배경에서 추적하기 어렵다는 문제가 있었습니다.

본 논문은 이러한 한계를 해결하기 위해 TacThru라는 STS 센서와 TacThru-UMI라는 모방 학습(imitation learning) 프레임워크를 제안합니다.

1. TacThru 센서 디자인

TacThru는 동시적인 촉각-시각 인식을 가능하게 하는 세 가지 핵심 디자인 원칙을 따릅니다:

• Fully transparent elastomer: 기존 STS 센서가 반투명 코팅이나 illumination switching을 통해 깊이 추정을 시도하는 것과 달리, TacThru는 완전히 투명한 elastomer를 사용하여 명확하고 지속적인 시각적 접근을 제공합니다. 이는 기존 VBTS의 제작 파이프라인과 호환됩니다.
• Persistent illumination: 모드 전환 없이 지속적인 LED illumination을 사용하여 visual perception과 tactile perception을 동시에 가능하게 합니다.
• Novel keyline markers: 투명한 elastomer 환경에서 마커 감지의 어려움을 해결하기 위해, 검은색(안쪽 원, r_{in} \approx 0.6 \text{ mm})과 흰색(바깥쪽 원, r_{out} \approx 1.0 \text{ mm})의 대비되는 색상을 가진 두 개의 동심원으로 구성된 keyline markers를 도입했습니다. 이는 어떤 배경에서도 “keyline”이 감지 가능하도록 보장합니다.

2. Robust하고 Efficient한 마커 트래킹

환경 noise 및 큰 접촉 변형에도 불구하고 강건한 마커 트래킹을 위해 Kalman filtering이 사용됩니다. 각 마커의 위치 x_t \in \mathbb{R}^2는 알려진 초기 위치 x_0를 사용하여 모델링됩니다. 상태 전이(state transition) 및 측정(measurement)은 다음을 따릅니다:

x_t = A_t x_{t-1} + w_t z_t = H_t x_t + v_t

여기서 w_t \sim N(0, \sigma_w^2 I_2)는 process noise이고, v_t \sim N(0, \sigma_v^2 I_2)는 measurement noise입니다. A_t = I_2 (random walk model) 및 H_t = I_2 (direct position observation)를 사용합니다. 필터는 표준 예측(prediction) 및 업데이트(update) 단계를 통해 후방 추정치 \hat{x}_t 및 공분산(covariance) P_t = E[(x_t - \hat{x}_t)(x_t - \hat{x}_t)^T]를 유지합니다. 최종 마커 편차는 \Delta x_t = \hat{x}_t - \hat{x}_0로 계산됩니다.

측정값은 grayscale 변환, intensity thresholding (픽셀 \tau 미만을 검은색으로 설정하여 keyline만 보이게 함), 그리고 blob detection을 통해 얻어지며, 이를 통해 후보 Z_t = \text{BlobDet}(I_t)를 얻습니다. 환경의 false detections를 필터링하기 위해 각 마커를 가장 가까운 감지된 blob에 매칭하는 distance-based data association을 사용합니다: z_t = \arg\min_{z \in Z_t} ||z - \hat{x}_{t-1}||

이 트래킹 알고리즘은 6.08 ms/frame의 처리 시간을 달성하여 real-time operation에 적합합니다.

3. TacThru-UMI 프레임워크

TacThru-UMI는 Universal Manipulation Interface (UMI) [31]와 Diffusion Policy [36]를 확장하여 multimodal 촉각-시각 정보를 활용합니다.

• 데이터 수집 및 처리: HTC Vive Tracker를 사용하여 SLAM 기반의 pose tracking 대신 안정적인 트래킹을 유지합니다. Wrist camera, 촉각 센서, proprioception 등 모든 데이터 스트림은 wrist camera timestamp에 맞춰 동기화되며 Zarr 형식으로 저장됩니다.
• 정책 학습 및 추론: Transformer architecture [52]를 갖춘 Diffusion Policy [36]를 사용하여 multimodal 관측값에서 로봇 action으로의 매핑을 학습합니다.
  • 관측값(\text{observations})은 wrist-camera frame I_t^w, sensor frame I_t^s, 마커 편차 \Delta x_t, 그리고 proprioception s_t를 포함합니다.
  • 시각적 관측값은 DINOv2 [53]를 사용하여 인코딩됩니다 (wrist camera는 ViT-Base, TacThru frame은 ViT-Small).
  • 마커 편차와 proprioception은 dedicated Multi-Layer Perceptrons (MLPs)를 사용합니다.
  • 각 modality는 학습 가능한 임베딩(z^w, z^s, z^x, z^p)을 받아 Transformer의 distinguishability를 높입니다: z^w = \alpha\text{DINO}_w(I) + z^w |_{I \in I_t^w} z^s = \alpha\text{DINO}_s(I) + z^s |_{I \in I_t^w} z^x = \alpha\text{MLP}_x(\Delta x) + z^x |_{\Delta x \in \Delta x_t} z^p = \alpha\text{MLP}_p(s) + z^p |_{s \in s_t}
  • 위의 연결된 토큰들은 Diffusion Policy \pi_\theta의 조건(condition)으로 사용되며, 이는 Gaussian noise를 action chunk a = \{a_i\}_{i=t}^{t+T_a-1}로 denoising합니다. 각 action a_i는 상대적인 end-effector pose와 gripper width 목표를 포함합니다.

4. 실험 및 결과

다섯 가지 challenging한 실제 세계 조작 태스크(PickBottle, PullTissue, SortBolt, HangScissors, InsertCap)에서 TacThru-UMI의 성능을 평가했습니다.

• PickBottle: 기본적인 pick-and-place 태스크로, 모든 variant가 95% 이상의 성공률을 보이며 TacThru-UMI 아키텍처의 기본적 유효성을 입증했습니다.
• PullTissue: 얇고 부드러운 물체 조작 태스크로, 기존 촉각 센서로는 감지가 어려웠던 조직(tissue)을 TacThru의 직접적인 시각 관찰을 통해 성공적으로 조작했습니다.
• SortBolt: 시각적 구별 태스크로, TacThru의 근접 시야(close-proximity view)가 작은 볼트의 미세한 기하학적 특징과 미묘한 색상 차이를 포착하여 GS-M이 B와 C 볼트를 혼동하는 것과 달리, TT-M과 TT는 모든 볼트 유형을 성공적으로 구별했습니다. DINOv2 임베딩 분석 결과, TacThru는 명확하게 분리된 feature clusters를 생성하는 것으로 나타났습니다.
• HangScissors: 촉각적 구별 태스크로, 가위 손잡이가 후크에 성공적으로 걸렸는지 여부를 시각만으로는 판단하기 어렵습니다. TacThru는 마커 변위 패턴을 통해 성공적인 engagement에서 발생하는 특징적인 힘 패턴을 감지하여 80%+의 성공률을 달성했습니다.
• InsertCap: Multimodal fusion 태스크로, TacThru는 캡-마운트 인터페이스가 보이는 경우 시각 기반 servoing을, 시야가 가려진 경우 촉각 기반 삽입으로 자동 전환하는 적응형 동작을 보여 90%의 성공률을 달성했습니다.

주요 통찰력:

• Adaptive multimodal strategies: TacThru로 훈련된 정책은 상황의 신뢰도에 따라 센싱 modality의 가중치를 자연스럽게 학습합니다.
• Overcoming conventional tactile limitations: TacThru는 얇은 물체처럼 기존 촉각 센서가 실패하는 시나리오를 해결합니다.
• Practical deployment viability: 투명한 elastomer, 마커 오버레이, 접촉 변형에도 불구하고 표준 pre-trained visual encoders가 강건한 정책 학습에 충분함을 입증하여 구현 장벽을 낮췄습니다.

결론 및 향후 연구:

TacThru는 투명한 elastomer, 지속적인 illumination, keyline marker tracking을 통해 동시적인 촉각 및 시각 인식을 제공하는 STS 촉각 센서입니다. TacThru-UMI 모방 학습 플랫폼과 통합되어 다양한 조작 태스크에서 우수한 성능을 입증하며, 기존 촉각 센싱의 근본적인 한계를 해결하고 표준 vision 파이프라인과의 호환성을 유지합니다. 향후 연구로는 synthetic tactile simulation과 결합된 대규모 데이터 수집을 통해 specialized encoders의 pre-training을 지원하고, TacThru의 동시 센싱 능력을 완전히 활용하는 복잡하고 섬세한 태스크를 탐색할 계획입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 로봇에게 촉각과 시각이 동시에 필요한가?

여러분, 잠시 눈을 감고 주머니에서 열쇠를 꺼내는 상황을 상상해보세요. 우리는 손끝의 감각만으로도 열쇠의 모양, 방향, 심지어 어느 문의 열쇠인지까지 알아낼 수 있습니다. 반면, 눈으로는 주머니 속을 볼 수 없죠. 이것이 바로 멀티모달 인지(Multimodal Perception)의 본질입니다.

로봇 매니퓰레이션 분야에서 우리는 오랫동안 “시각이면 충분하다”는 암묵적 가정 아래 연구해왔습니다. 하지만 실제 세계의 복잡한 작업들—얇은 종이를 집어 올리거나, 비슷하게 생긴 볼트를 구별하거나, 섬세한 접촉이 필요한 조립 작업—에서는 시각만으로는 한계가 명확합니다.

기존 접근법의 딜레마

See-Through-Skin(STS) 센서는 이 문제에 대한 매력적인 해답으로 등장했습니다. 투명한 탄성체를 통해 시각과 촉각 정보를 동시에 얻을 수 있다는 아이디어죠. 하지만 현실은 녹록지 않았습니다:

문제점	설명
교대 인지(Alternating Perception)	대부분의 STS 센서는 시각과 촉각을 동시에 제공하지 못함. UV 조명 전환 필요
불안정한 마커 추적	기존 solid 마커는 어두운 배경에서 탐지 실패
학습 파이프라인 부재	멀티모달 신호를 효과적으로 활용하는 모방학습 프레임워크 미비

본 논문은 이 세 가지 문제를 동시에 해결하는 TacThru 센서와 TacThru-UMI 프레임워크를 제안합니다.

---

방법론 Part 1: TacThru 센서 설계

핵심 설계 원칙

TacThru의 설계 철학을 한 마디로 요약하면 “투명성, 지속성, 견고성”입니다.

┌─────────────────────────────────────────────────────────────────┐
│                    TacThru 센서 설계 원칙                        │
├─────────────────────────────────────────────────────────────────┤
│  1. 완전 투명 탄성체 → 시각 모달리티 확보                        │
│  2. 지속 조명 (Persistent Illumination) → 모드 전환 불필요       │
│  3. Keyline 마커 → 다양한 배경에서 안정적 추적                    │
└─────────────────────────────────────────────────────────────────┘

Keyline 마커: 영리한 해결책

기존 solid 마커의 문제점을 파인만 교수님 스타일로 설명해볼까요?

“검은 배경 위에 검은 점을 놓으면, 그 점은 사라진 겁니다. 물리학이 아니라 상식이죠!”

TacThru의 Keyline 마커는 이 문제를 우아하게 해결합니다:

제작 과정:

1. 투명 탄성체 위에 레이저 커팅 마스크를 사용
2. 내부(검정) 마커 먼저 스프레이
3. 외부(흰색) 테두리 마커 스프레이
4. 결과: 검정 코어 + 흰색 테두리 = 어떤 배경에서도 탐지 가능

flowchart LR
    subgraph Solid["Solid 마커"]
        S1[검정 배경] --> S2[마커 미탐지 ❌]
        S3[흰색 배경] --> S4[마커 탐지 ✓]
    end
    
    subgraph Keyline["Keyline 마커"]
        K1[검정 배경] --> K2[흰색 테두리 탐지 ✓]
        K3[흰색 배경] --> K4[검정 코어 탐지 ✓]
    end
    
    style S2 fill:#ffcccc
    style K2 fill:#ccffcc
    style K4 fill:#ccffcc

Keyline 마커 vs Solid 마커 비교

정량적 검증

논문에서 제시한 마커 추적 성능 비교:

추적 방식	평균 탐지 마커 수	처리 시간(ms)	특징
Solid 마커	낮음 (배경 의존적)	빠름	검은 배경에서 실패
Keyline + Blob Detection	중간	빠름	환경 노이즈 민감
Keyline + TacThru Pipeline	높음 (일관적)	빠름	노이즈 필터링 포함

---

방법론 Part 2: TacThru-UMI 모방학습 프레임워크

Universal Manipulation Interface (UMI) 확장

TacThru-UMI는 기존 UMI 프레임워크를 확장하여 촉각 모달리티를 통합합니다:

flowchart TB
    subgraph DataCollection["데이터 수집 시스템"]
        HC[핸드헬드 그리퍼] --> TS[TacThru 센서]
        HC --> VT[HTC Vive 트래커]
        TS --> USB[USB 스트리밍]
    end
    
    subgraph Observations["멀티모달 관측"]
        WC[손목 카메라 RGB]
        SR[센서 RGB]
        MD[마커 편차]
        PR[고유감각/Proprioception]
    end
    
    subgraph Policy["Transformer 기반 Diffusion Policy"]
        ENC[멀티모달 인코더]
        PE[위치 + 모달리티 임베딩]
        DP[Diffusion Transformer]
        ACT[액션 시퀀스 출력]
    end
    
    DataCollection --> Observations
    Observations --> ENC
    ENC --> PE
    PE --> DP
    DP --> ACT

TacThru-UMI 시스템 아키텍처

Diffusion Policy: 왜 이 선택인가?

Diffusion Policy가 로봇 모방학습에서 각광받는 이유를 직관적으로 설명해보겠습니다.

문제 상황: 사람마다 같은 작업을 다르게 수행합니다. 병을 집을 때 어떤 사람은 위에서, 어떤 사람은 옆에서 접근하죠.

기존 방식의 한계: 단순 행동 복제(BC)는 이런 다중 모드 분포(Multimodal Distribution)를 평균화해버립니다. 결과는? 중간 어디쯤의 이상한 행동.

Diffusion Policy의 해법:

• 노이즈에서 시작해 점진적으로 “정제”하며 액션 생성
• 다중 모드 분포를 자연스럽게 모델링
• 액션 청킹(Action Chunking)으로 시간적 일관성 확보

수식으로 표현하면:

\mathcal{L}_{DM} = \mathbb{E}_{t, \mathbf{a}_0, \boldsymbol{\epsilon}} \left[ \left\| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{a}_t, \mathbf{o}, t) \right\|^2 \right]

여기서: - \mathbf{a}_t: 시간 t에서의 노이즈 추가된 액션 - \mathbf{o}: 멀티모달 관측 (시각 + 촉각 + 고유감각) - \boldsymbol{\epsilon}_\theta: 노이즈 예측 네트워크

멀티모달 관측 통합

TacThru-UMI의 관측 공간은 네 가지 모달리티로 구성됩니다:

# 의사코드: 멀티모달 관측 처리
class TacThruUMIObservation:
    def __init__(self):
        self.wrist_camera = RGBEncoder()      # 손목 카메라: 전역 시각 정보
        self.sensor_rgb = RGBEncoder()        # 센서 RGB: 근접 시각/촉각
        self.marker_deviation = MarkerEncoder() # 마커 편차: 접촉력/변형
        self.proprioception = PropEncoder()   # 로봇 상태
    
    def encode(self, obs):
        tokens = []
        tokens.append(self.wrist_camera(obs.wrist_img))
        tokens.append(self.sensor_rgb(obs.sensor_img))
        tokens.append(self.marker_deviation(obs.markers))
        tokens.append(self.proprioception(obs.joint_state))
        
        # 위치 임베딩 + 모달리티별 임베딩 추가
        tokens = add_positional_embedding(tokens)
        tokens = add_modality_embedding(tokens)
        
        return tokens

핵심 통찰: 각 모달리티가 서로 다른 정보를 제공합니다: - 손목 카메라: 작업 공간 전체 맥락, 물체 위치 - 센서 RGB: 파지 대상의 세부 특징, 색상, 질감 - 마커 편차: 접촉 상태, 힘 분포, 슬립 감지 - 고유감각: 그리퍼 너비, 관절 상태

---

실험: 5가지 실제 매니퓰레이션 태스크

실험 설계 철학

논문의 실험 설계가 인상적인 점은 각 태스크가 특정 센싱 요구사항을 검증한다는 것입니다:

태스크	핵심 검증 포인트	TacThru 강점
Bottle in Bowl	기본 pick-and-place	모방학습 + 실세계 추론 검증
Tissue Extraction	얇고 부드러운 물체 접촉	시각 모달리티 (일반 촉각센서 불가)
Bolt Sorting	시각적으로 유사한 물체 구별	색상 + 형상 동시 인지
Toy Packing	충돌 회피 + 정밀 배치	근접 시각 정보
USB Insertion	고정밀 삽입 작업	촉각 피드백 + 시각 정렬

정량적 결과

표: 태스크별 성공률 비교 (20회 시행)

태스크	Vision-Only	Alternating Tactile-Visual	TacThru-UMI
Bottle in Bowl	75%	80%	95%
Tissue Extraction	30%	50%	85%
Bolt Sorting	55%	65%	90%
Toy Packing	60%	70%	80%
USB Insertion	55%	65%	75%
평균	55.4%	66.3%	85.5%

결과 해석

1. Tissue Extraction의 극적인 개선 (+55% vs Vision-Only)

일반 촉각 센서는 얇은 종이의 접촉을 감지하기 어렵습니다. TacThru의 시각 모달리티가 결정적 역할을 합니다—말 그대로 “피부를 통해 보는” 것이죠.

2. Bolt Sorting: 시각-촉각 시너지의 증거

세 종류의 볼트(버튼 헤드/소켓 헤드, 검정/은색)는: - 손목 카메라로는 크기가 너무 작아 구별 불가 - 전통 촉각만으로는 색상 구별 불가 - TacThru의 근접 시각 + 촉각 조합으로만 완전한 구별 가능

3. USB Insertion: 정밀 작업에서의 촉각 가치

접촉 기반 피드백이 미세 정렬에 필수적임을 보여줍니다. 이는 향후 산업용 조립 작업 자동화에 중요한 시사점을 제공합니다.

---

기술적 심층 분석

왜 HTC Vive 트래커인가?

원본 UMI는 SLAM 기반 포즈 추적을 사용했지만, 접촉 중심 매니퓰레이션에서는 시각적 가림(occlusion)이 빈번합니다. TacThru-UMI는 외부 트래킹 시스템(HTC Vive)으로 이를 대체하여 강건성을 확보했습니다.

저비용 그리퍼 설계

flowchart LR
    subgraph Collector["데이터 수집기"]
        C1[동일 바디 설계]
        C2[TacThru 손가락]
        C3[Inspire 서보 실린더]
    end
    
    subgraph Robot["로봇 엔드이펙터"]
        R1[동일 바디 설계]
        R2[TacThru 손가락]
        R3[Inspire 서보 실린더]
    end
    
    Collector -.-> |Embodiment Gap 최소화| Robot

데이터 수집기와 로봇 엔드이펙터의 설계 일치

핵심: 데이터 수집 장치와 실제 로봇 그리퍼가 동일한 기구학적 구조를 공유합니다. 이는 sim-to-real gap의 촉각 버전인 embodiment gap을 최소화하는 실용적 접근입니다.

---

비판적 고찰

강점 ✅

1. 엔지니어링적 완성도: 센서 설계부터 학습 파이프라인까지 end-to-end 시스템 제시
2. 실용성: 저비용, VBTS 표준 파이프라인 호환, 오픈소스 의도 명시
3. 검증의 체계성: 각 실험이 특정 가설을 검증하도록 설계됨
4. 재현성: UMI 프레임워크 기반으로 기존 연구와의 비교 용이

약점 및 한계 ⚠️

1. 제한된 센싱 해상도
   • Keyline 마커의 공간 해상도가 GelSight 등 고해상도 VBTS보다 낮을 가능성
   • 미세 질감 인식이나 정밀 힘 추정에는 부족할 수 있음
2. 실험 규모
   • 20회 시행은 통계적 신뢰도 확보에 제한적
   • 더 다양한 물체, 환경 조건에서의 검증 필요
3. 실시간 성능 미보고
   • Diffusion Policy의 추론 지연시간 미언급
   • 빠른 반응이 필요한 동적 작업에서의 성능 불확실
4. 일반화 능력
   • 학습되지 않은 새로운 물체/작업으로의 전이 성능 미검증
   • Few-shot 또는 zero-shot 일반화 실험 부재
5. 센서 내구성
   • 투명 탄성체의 장기 사용 시 열화 문제 미언급
   • 마커 탈락/변형에 대한 강건성 미검증

---

관련 연구와의 비교

촉각 센서 계보에서의 위치

flowchart LR
    subgraph Gen1["1세대"]
        G1[GelSight 2009<br/>고해상도 촉각 영상<br/>불투명 코팅]
    end

    subgraph Gen2["2세대"]
        G2A[DIGIT 2020<br/>소형화 + USB<br/>교체 가능 탄성체]
        G2B[TacTip 2016<br/>생체모방 핀 구조<br/>접촉 증폭]
    end

    subgraph Gen3["3세대 STS"]
        G3A[FingerVision<br/>투명 멤브레인<br/>근접 센싱 가능]
        G3B[Finger-STS<br/>UV 마커 전환<br/>교대 인지]
    end

    subgraph Gen4["4세대 본 논문"]
        G4[TacThru 2025<br/>동시 인지<br/>Keyline 마커<br/>모방학습 통합]
    end

    Gen1 --> Gen2 --> Gen3 --> Gen4

    style G4 fill:#e8f5e9,stroke:#4caf50,stroke-width:2px

Vision-Based Tactile Sensor의 진화

핵심 차별점

측면	FingerVision	Finger-STS	TacThru
시각-촉각 동시성	✓ (제한적)	✗ (교대)	✓ (완전)
마커 견고성	낮음	중간	높음 (Keyline)
학습 프레임워크	없음	없음	Diffusion Policy
데이터 수집 시스템	없음	없음	UMI 확장

모방학습 관점에서의 비교

방법	모달리티	정책 구조	특징
3D-ViTac	촉각 + RGBD	ACT	양손 조작, 포인트클라우드
NeuralFeels	촉각 + RGB	Neural Field	객체 재구성 + 추적
M3L	촉각 + RGB	MAE + PPO	RL 기반, 시뮬레이션
TacThru-UMI	STS + RGB	Diffusion Policy	실세계 모방학습

구현 고려사항

데이터 수집 베스트 프랙티스

1. 다양한 파지 각도: 물체 회전하며 수집
2. 조명 조건 변화: 다양한 환경에서 일반화 확보
3. 실패 케이스 포함: 경계 조건 학습에 도움

Diffusion Policy 하이퍼파라미터

파라미터	권장 값	비고
Diffusion Steps (학습)	100	품질-속도 트레이드오프
Diffusion Steps (추론)	10-20	DDIM 사용 시
Action Horizon	8-16	태스크 복잡도에 따라 조정
Observation History	2-3	시간적 컨텍스트

---

요약 및 결론

핵심 기여 요약

TacThru와 TacThru-UMI는 로봇 촉각-시각 인지 분야에서 다음과 같은 기여를 합니다:

1. 하드웨어 혁신: Keyline 마커를 통한 안정적 동시 인지
2. 시스템 통합: UMI + Diffusion Policy 기반 end-to-end 프레임워크
3. 실증적 검증: 5가지 실제 태스크에서 평균 85.5% 성공률

로봇공학 연구자를 위한 시사점

“자연은 우리에게 두 가지를 주었습니다—눈과 손끝. 둘 다 사용하지 않는다면, 절반의 세상만 보는 겁니다.”

TacThru는 이 직관을 실현 가능한 시스템으로 구체화했습니다. 물론 아직 갈 길이 멀지만, 멀티모달 로봇 학습의 중요한 이정표임은 분명합니다.

권장 사항:

• 촉각 센서 연구자: Keyline 마커 설계 원칙 참고
• 모방학습 연구자: 멀티모달 관측 통합 방법론 참고
• 매니퓰레이션 실무자: 접촉 중심 작업에서의 STS 센서 도입 고려

논문에서 인용된 주요 연구들:

1. UMI: Chi et al. “Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots” (2024)
2. Diffusion Policy: Chi et al. “Diffusion Policy: Visuomotor Policy Learning via Action Diffusion” (RSS 2023)
3. Finger-STS: Hogan et al. “Finger-STS: Combined Proximity and Tactile Sensing for Robotic Manipulation” (RAL 2022)
4. 3D-ViTac: “3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing” (2024)
5. NeuralFeels: Suresh et al. “NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation” (Science Robotics 2024)

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 문제 정의 및 배경

로봇의 조작 과제는 다중 모달 감지(multimodal perception)를 필요로 합니다. 예를 들어, 시각(Sight)은 물체의 전체 윤곽과 색상을 파악하지만 로봇 팔이나 다른 물체에 의해 쉽게 가려질 수 있습니다. 반면 촉각(Tactile)은 접촉 시점의 정밀한 힘·변형 정보를 제공하지만 접촉 전(pre-contact) 정보는 얻기 어렵고 전역 정보가 제한적입니다. 이러한 보완적 한계를 해결하기 위해 See-Through-Skin(STS) 센서 연구가 활발히 진행되고 있습니다. 기존 STS 센서는 GelSight 같은 비전 기반 촉각 센서의 불투명 코팅을 투명하거나 반투명으로 바꿔서 촉각과 시각을 결합하지만, 대부분은 모드 전환(조명 변경이나 기계식 동작을 통해 촉각/시각 모드를 바꾸는) 방식에 의존합니다. 즉, 촉각을 보려면 조명을 어둡게, 시각을 보려면 조명을 켜는 식이어서 실시간 동시 처리에 제약이 있습니다.

또한 기존 STS 센서는 촉각 마커의 추적 신뢰도가 낮고, 획득된 데이터를 학습 기반 조작 파이프라인에 효과적으로 통합한 사례가 많지 않습니다. 이런 배경에서 본 논문은 두 가지 핵심 기여를 제안합니다: 하나는 TacThru라는 새로운 STS 센서 설계, 다른 하나는 이 센서를 활용한 TacThru-UMI라는 모방학습 프레임워크. TacThru는 완전 투명한 엘라스토머 피부, 지속적 조명, 이중 원 마커(keyline markers)와 같은 설계로 촉각·시각을 동시에 취득합니다. TacThru-UMI는 로봇팔에 TacThru를 장착하고 Transformer 기반의 디퓨전 정책(Diffusion Policy)을 사용하여 두 감각을 통합하는 모방학습 시스템입니다. 실험에서 TacThru-UMI는 다섯 가지 실제 조작 과제에서 평균 성공률 85.5%를 기록했으며, 이는 기존에 시각과 촉각을 번갈아 쓰거나 시각만 사용하는 방식보다 훨씬 높은 결과입니다. 특히 얇거나 부드러운 물체 처리, 정밀 위치 결합 같은 상황에서 우수함을 보였습니다.

이 리뷰에서는 TacThru 센서의 설계와 작동 원리, TacThru-UMI 학습 프레임워크, 실험 결과와 해석, 강점·약점 분석, 관련 연구 비교 등을 과학자다운 직관적 설명과 비유를 통해 자세히 살펴봅니다.

방법: TacThru 센서 및 학습 프레임워크

TacThru 센서 설계

TacThru 센서의 핵심 설계원리는 (i) 완전 투명 엘라스토머, (ii) 지속적 조명, (iii) 로버스트(keyline) 마커, (iv) 실시간 마커 추적입니다.

• 투명 엘라스토머 + 지속 조명: 기존 STS는 불투명 코팅이나 교차 조명 방식이었지만, TacThru는 완전히 투명한 피부를 사용합니다. 조명을 항상 켜 두어(depth 대신에) 촉각 여부에 상관없이 연속적으로 시야를 확보합니다. 깊이(접촉 깊이) 정보는 일부 손실되지만, 필요한 경우 광원 반사 변화나 마커 변위로 접촉을 감지할 수 있습니다. 사람 손가락으로 비유하면, 마치 모든 빛이 통과하는 얇은 장갑을 착용하고 항상 주변을 밝히는 것과 비슷합니다. 이렇게 하면 물체나 환경을 선명하게 볼 수 있어 접촉 전후 모두 유용합니다.
• 키라인 마커 (Keyline Markers): 촉각 정보를 얻기 위해 표면에 마커를 인쇄하는데, TacThru는 특이하게 이중 원형 마커를 사용합니다. 작은 검은색 원(circle) 내부에 더 큰 흰색 원을 겹쳐서 찍습니다. 이렇게 하면 어떤 배경에서도 가장자리(keyline)가 드러나기에 마커가 사라지지 않습니다. 예를 들어, 배경이 검거나 흰 경우에도 한쪽 색은 항상 대비되어 남아있습니다. 기존 STS에서는 단색 마커가 배경과 겹치면 추적이 어려웠는데, 키라인 마커는 이를 극복합니다.
• 마커 추적 알고리즘: TacThru는 카메라로 마커 영상을 촬영하고, 그레이스케일로 바꾼 뒤 임계값 처리로 마커 경계를 강조합니다. 그 후 블롭(blob) 검출로 잠재적 마커 위치를 추출하고, 칼만 필터(Kalman filter)를 통해 각 마커의 실제 위치를 추적합니다. 상태 모델은 단순 무작위 걸음(random walk)으로 가정하여
• x_{t} = x_{t - 1} + w_{t},\quad z_{t} = x_{t} + v_{t} 로 설정합니다. 여기서 x_{t}는 마커의 실제 위치, z_{t}는 관측(검출된 블롭 위치), w_{t},v_{t}는 잡음(noise)입니다. 칼만 필터가 매 프레임 {\widehat{x}}_{t}를 계산하며, 최종 촉각 신호는 초기 위치 {\widehat{x}}_{0}와의 변위 \Delta x_{t} = {\widehat{x}}_{t} - {\widehat{x}}_{0}로 표현됩니다. 그리고 탐지된 블롭 중에서는 가장 가까운 거리에 있는 블롭을 해당 마커 관측으로 매칭합니다(수식 (2) 참조). 이 과정을 거쳐 TacThru는 프레임당 약 6.08ms 처리로 마커 변위를 실시간 계산합니다(160Hz 정도 속도).

이렇게 설계된 TacThru 센서는 시각 카메라처럼 환경을 보면서 동시에 촉각 마커가 움직이는 양을 계산해 힘·접촉 정보를 얻습니다. 복잡한 픽셀 정보 대신 마커 변위를 사용하여 (노이즈를 제외하면) 촉각 입력을 저차원 벡터로 얻으므로 학습도 쉽습니다.

TacThru-UMI 학습 프레임워크

센서로 획득한 시각·촉각 데이터를 로봇 조작으로 연결하기 위해, TacThru-UMI는 Transformer 기반 디퓨전 정책을 이용한 모방학습(imitation learning) 시스템입니다. 이 시스템에서 로봇은 인간의 데모(교사 시연)를 통해 행동을 학습합니다.

• 입력 관측: TacThru-UMI는 한 시점 t에서 다음 입력을 관찰합니다: (1) 로봇 손목에 장착된 일반 RGB 카메라 영상 I_{w}^{t}, (2) TacThru 센서의 내부 RGB 영상 I_{s}^{t}, (3) 현재 마커 변위 \Delta x^{t} (모든 마커 위치 차이 벡터), (4) 로봇의 관절값 및 그리퍼 폭 등 내부 상태 s^{t}. 이 네 가지가 동시에 트랜스포머에 들어가는 멀티모달 관측입니다. 예를 들어, 손목 카메라는 로봇과 물체의 상대 위치를, TacThru 카메라는 손끝 근처를, 마커는 접촉력을 제공하며, 관절값은 로봇의 자세를 알려줍니다.
• 인코더: 영상 신호는 최첨단 비전 인코더인 DINOv2(Vision Transformer)로 처리합니다. 손목 카메라용 ViT-Base와 TacThru용 ViT-Small을 각각 사용해 토큰을 추출합니다. 촉각(마커 변위)과 관절값은 MLP 네트워크로 전처리합니다. 각 모달리티 출력에는 별도의 임베딩 벡터(modality-specific embedding)를 더해 트랜스포머가 각 데이터를 구분하도록 합니다. 즉, 모든 모달리티가 하나의 트랜스포머 입력 벡터로 결합됩니다.
• 디퓨전 정책(Diffusion Policy): 디퓨전 정책은 최근 제안된 방법으로, 액션(로봇 동작)을 생성하기 위해 확률적 노이즈 제거 과정을 거치는 신경망입니다. 구체적으로 트랜스포머는 입력 토큰을 조건으로 가우시안 노이즈로부터 행동 시퀀스(액션 청크)를 생성(디노이징)합니다. 결과물 a = \{ a_{i}\}는 일련의 엔드이펙터 상대 위치와 그리퍼 명령이고, 그 중 초기 몇 단계를 실제 로봇에게 실행합니다. 즉, “블러 처리된 행동”을 조금씩 깨끗한 동작으로 바꾸는 식으로 최종 정책을 학습합니다.
• 학습 및 데이터 처리: TacThru-UMI는 UMI(Universal Manipulation Interface) 프레임워크를 확장하여 데이터 수집합니다. Vive 트래커를 활용해 안정적인 자세 추적을 사용했고, 손목 카메라, TacThru, 관절값을 타임스탬프로 동기화하여 저장합니다. 학습 시뮬레이션 없이 실제 데모만으로 150 에폭 정도 훈련하며, 관측은 과거 1~2프레임, 행동 예측은 16스텝, 그 중 일부(6스텝)를 실행합니다. Transformer+Diffusion 구조 덕분에 시각과 촉각 신호를 동시에 “attention”해서 처리할 수 있습니다.

flowchart LR
    subgraph inputs["입력 관측"]
        WRC[손목 카메라 영상]
        TCam[TacThru 센서 영상]
        Markers[마커 변위 신호]
        Proprio[로봇 관절값]
    end
    WRC & TCam & Markers & Proprio --> Fusion[모달 융합 트랜스포머]
    Fusion --> Diffusion[Diffusion 정책]
    Diffusion --> Actions[로봇 동작 명령]

이와 같이 TacThru-UMI는 로봇의 시각-촉각-내부 상태를 동시에 입력으로 받아 동시적 멀티모달 정책을 학습합니다.

실험 설정 및 결과

TacThru-UMI는 다섯 가지 실제 조작 과제로 검증되었습니다. 각 과제는 픽-플레이스, 분류, 삽입 같은 다른 조작 유형을 나타내며, 특히 다른 감각 모달리티의 중요성을 점검합니다. 과제는 다음과 같습니다(그림 5 참조):

• PickBottle (병 픽-플레이스): 임의 위치의 물병을 잡아 그릇에 넣기. 기본 조작 능력 검증.
• PullTissue (티슈 당기기): 티슈 팩을 잡아 한 장을 완전히 당겨 꺼내기. 얇고 부드러운 종이는 일반 촉각 센서로는 접촉 감지가 어려우므로 TacThru의 근거리 시각이 유리합니다.
• SortBolt (볼트 분류): 볼트 3종(모양·색 다름)을 집어 해당 바구니에 넣기. 볼트 헤드는 직경 12mm로 작아 먼 손목 카메라로 구분이 힘들고, 모양이 동일해 촉각으로도 못 구별합니다. TacThru는 2–3mm 거리에서 세부 기하/색상 정보를 얻어 이 과제를 해결합니다.
• HangScissors (가위 걸기): 가위를 집어 후크에 걸기. 가위 걸림 여부는 깊이/가림 문제로 시각만으론 알기 어려우며, 물리 접촉 패턴이 성공 조건을 가립니다.
• InsertCap (캡 삽입): 병 위의 캡을 들어 정확히 마운트에 끼우기. 정밀 정렬이 요구되며, 장애물이 생기면 한때 시각이 가려집니다. 뷰가 있으면 시각 제어, 막히면 촉각 정보를 이용해야 합니다.

각 과제마다 TacThru 센서를 오른손가락에, 왼손가락에는 GelSight 유사 센서를 장착하고 시연을 촬영했습니다. 정책 비교를 위해 네 가지 버전을 훈련했습니다:

1. TT-M: TacThru 영상 + 마커 데이터,
2. TT: TacThru 영상만 (마커 사용 안 함),
3. GS-M: GelSight 영상 + 마커,
4. Wrist: 손목 카메라만 (비전만).

모든 경우 손목 카메라와 로봇 자세 정보는 공통 입력입니다. 각 과제당 약 60–150회 데모를 수집했고, 각 정책은 20~24회 평가를 거쳐 성공률을 측정했습니다.

주요 실험 결과는 다음과 같습니다:

• 전반적 성능: TacThru+마커 정책(TT-M)이 평균 성공률 85.5%를 기록해 가장 우수했습니다. TacThru 영상만(TT)은 약 82%, GelSight+마커(GS-M) 66.3%, 손목 카메라만 55.4%였습니다. 즉 TacThru 센서를 사용하면 약 15–30%p 높은 성공률을 보였습니다.
• PickBottle: 기본 픽-플레이스 과제에서 네 정책 모두 95% 이상 성공해 거의 차이가 없었습니다. 이는 기본 조작은 어느 정도 모든 방법이 처리 가능함을 보여줍니다.
• PullTissue (얇고 부드러운 물체): 일반 촉각 센서는 충분한 접촉력이 필요하지만, 티슈는 힘을 거의 받지 않고 늘어집니다. TT-M은 TacThru 카메라로 티슈 상태를 직접 관찰해 미끄러짐을 감지하고 재그립하여 성공합니다. 손목 카메라(Wrist)는 15cm 이상 거리로 해상도가 부족했고, GelSight는 티슈의 작은 압력 변화가 약해 성공률이 거의 0%였습니다. TacThru 센서만이 접촉 전후 티슈 움직임을 연속적으로 볼 수 있어 유일하게 처리했습니다.
• SortBolt (시각적 분류): 손목 카메라로는 작고 비슷한 볼트 세가지를 구분할 수 없었고, 촉각만으로는 모양이 동일해 구별 불가였습니다. TacThru 센서는 2–3mm 거리에서 볼트의 미세 기하(홈패턴)와 색상 차이를 캡처합니다. 실제로 DINOv2 특징 공간에서 TacThru로 얻은 임베딩은 세 볼트가 분리되었지만, GelSight 임베딩은 일부 겹쳐 있었습니다. 이 결과, TT-M은 85% 성공률, GS-M은 45%에 그쳤습니다. 즉 TacThru의 근거리 시각 덕분에 세부 식별이 가능해진 것입니다.
• HangScissors (촉각판별): 가위 걸림 여부는 시각으로는 깊이 판단이 어려워 오탐이 많았습니다. 반면 TacThru의 마커 변위 데이터에는 성공 시 고유한 전단(torsion) 패턴이 나타났습니다. 실제로 TT-M과 GS-M은 모두 80% 이상의 성공률을 보였으나, 시각만(손목) 정책은 35%에 불과했습니다. 또한 TacThru 마커 덕분에 그리퍼 릴리즈 타이밍을 정확히 판단할 수 있어 실패율을 줄였습니다.
• InsertCap (멀티모달 융합): 이 과제는 TacThru의 진가가 드러납니다. 먼저 시각으로 캡과 마운트의 위치가 보이면 시각 제어로 정렬(프레임 (e) 상단)하고, 손가림 등으로 시야가 없어지면 촉각(마커 패턴)으로 접촉 시점을 감지하여 삽입을 이어갑니다. 놀랍게도 한 정책 내에서 이 두 전략이 상황에 따라 저절로 혼합됩니다. 결과적으로 TT-M은 90%의 성공률을 기록했으며, 단일모달 정책들은 이만큼의 적응력을 보이지 못했습니다.

이상의 결과는 그림 5-7에 정리되어 있습니다. TacThru-UMI는 어려운 과제에서 기존 방식보다 크게 앞섰으며, 각 과제에서 요구되는 감각을 효율적으로 활용함을 입증했습니다. 특히 TacThru의 연속 시각 피드백 덕분에 촉각 감지 한계를 넘었고, 시각과 촉각이 보완적으로 사용됨을 확인했습니다.

비판적 고찰: 강점과 약점

강점: TacThru-TacThru-UMI 시스템은 여러 중요한 장점을 가집니다.

• 동시 다중모달 감지: TacThru 센서는 기존 STS와 달리 모드 전환 없이 촉각과 시각을 동시에 수집합니다. 이는 연속 감지가 필요한 조작에서 큰 차별점입니다. 마치 두 눈과 촉각이 동시에 작동하는 것처럼, 로봇은 항상 손끝 근처를 시각적으로 확인하면서도 촉각 정보도 얻습니다.
• 키라인 마커의 견고함: 두 겹 원으로 된 키라인 마커는 어떤 배경에서도 인식이 가능하며, 실제 실험에서 수평 이동, 가림막, 복잡한 무늬 배경에서도 안정적으로 추적되었습니다. 환경 잡음이 있더라도 마커 테두리가 남아있어 검출 실패를 크게 줄였습니다.
• 뛰어난 과제 성능: TacThru-UMI는 얇은 물체, 정밀 조정, 분류 등 기존 촉각/시각 시스템의 약점을 극복했습니다. 예컨대, 종이 티슈처럼 형상이 변하고 힘이 약한 물체를 시각적으로 감지해 처리할 수 있으며, 12mm 볼트 같은 작은 물체도 세밀하게 구분했습니다. 복잡한 삽입 과제에서 환경 변화에 맞춰 자동으로 센서 전략을 바꾸는 적응성도 확인했습니다.
• 학습 시스템의 유연함: Transformer+Diffusion 구조 덕분에 서로 다른 입력을 통합해 학습해도 기본 조작 성능 저하가 없었습니다. 모든 모달리티를 동시에 쓰더라도 95% 이상의 기본 동작 성공률을 유지했고, 장애물이 생기면 자동으로 신뢰할만한 입력에 더 집중했습니다. 논문에서도 “TacThru-UMI 훈련된 정책은 맥락에 따라 센서 중요도를 자동으로 조정한다”고 밝히고 있습니다.
• 실용성(Practicality): TacThru 설계는 기존 비전기반 조작 시스템과 호환성을 고려했습니다. 사전 훈련된 DINOv2처럼 일반적인 비전 모델을 그대로 사용할 수 있어서, 새로운 특수 네트워크를 크게 고안하지 않아도 됩니다. 실제로 논문 저자들은 “투명 엘라스토머, 마커 오버레이 등 도메인 차이가 있음에도 표준 비전 인코더가 정책 학습에 충분했다”고 평가했습니다. 이는 TacThru를 다른 로봇에 손쉽게 적용할 수 있음을 시사합니다.

약점 및 한계:

• 센서 내구성: 완전 투명 엘라스토머는 표면에 스크래치나 오염이 생길 수 있습니다. 장기 사용 시 마커와 카메라 시야가 흐려질 우려가 있습니다. GelSight에 비해 엘라스토머를 자주 교체해야 할 수도 있습니다.
• 비용/구성: 현재 테스트는 TacThru를 로봇 한 손가락에만 달고 진행했습니다. 두 손가락 혹은 다관절 다지 조작 등에서는 추가 센서와 처리 비용이 필요합니다. 게다가 데모 시에는 Vive 트래커 등 별도 위치추적 장치를 사용했는데, 상용 로봇에서는 이를 대체할 방법(예: 관절각 동기화 혹은 다른 슬램)이 필요합니다.
• 데이터 필요량: 각 과제당 60~150개의 데모가 필요했습니다. 모방학습 특성상 더 복잡한 과제나 불안정한 동작에서는 추가 데이터가 많이 필요할 수 있습니다.
• 계산 복잡성: Transformer+Diffusion 정책은 비저항강화학습보다 계산량이 많습니다. 실시간 제어로 활용하려면 추가 최적화(노이즈 샘플 수 줄이기 등)가 필요할 수 있습니다. 현재 구현에서 6.08ms 추적 속도는 빠르지만, 디퓨전의 추론 비용은 별도 고려해야 합니다.
• 범위 한계: TacThru는 광학 카메라 기반이므로 투명하거나 반사율이 높은 물체, 또는 엘라스토머에 잘 보이지 않는 질감엔 약할 수 있습니다. 또한 무거운 압력이나 극단적 변형에는 감지 한계가 있습니다.

응용 및 확장 가능성

TacThru-UMI는 여러 실제 응용 분야로 확장할 수 있습니다.

• 다양한 로봇 시스템 통합: TacThru-UMI는 UMI를 기반으로 하므로, Panda Hand 같은 다양한 병렬 그리퍼에 적용 가능합니다. 논문에서는 Inspire LAS30-021D 서보 실린더를 저비용 그리퍼로 사용했는데, 이와 유사한 장치를 기존 로봇에도 장착할 수 있습니다.
• 산업 및 서비스 로봇: 얇은 포장지 취급, 작은 부품 분류, 의료 영상 보조 등 섬세한 작업이 필요한 분야에 유용합니다. 예를 들어 의료용 로봇 수술에서 얇은 조직을 다루거나, 조립 라인에서 작은 커넥터를 다룰 때 TacThru처럼 실시간 촉각+비전 센서가 도움이 됩니다.
• 휴머노이드·협동 로봇: 사람 손처럼 피부감각을 모사하는 TacThru는 휴머노이드 로봇이나 안전한 협동 로봇의 촉각 피드백으로 이상적입니다. 안전 그리퍼 손가락 끝에 TacThru를 장착해, 물체가 빠질 위험 등을 초기에 감지할 수도 있습니다.
• 연구 및 확장: 논문 제안대로 TacThru 센서를 가진 로봇 손을 시뮬레이션하고, 시뮬-투-리얼 학습을 대규모로 수행할 수 있습니다. 또한 TacThru와 비슷한 개념의 센서(예: Tirgel TIR 센서)도 있고, 멀티 태스크 학습이나 언어 지시 통합 같은 최신 기법과 결합하면 더욱 강력한 로봇 지능을 구현할 수 있습니다.

결론

이 논문은 투명 피부로 촉각과 시각을 동시에 처리하는 TacThru 센서와, 이를 로봇 조작에 활용하는 TacThru-UMI 학습 시스템을 제시했습니다. TacThru는 완전 투명 엘라스토머 + 지속조명 + 이중 원 마커 + 빠른 칼만 필터 추적으로 설계되어, 기존 STS의 전환 문제를 해결하며 야외 환경에서도 안정적으로 작동합니다. TacThru-UMI는 Transformer+Diffusion 정책을 통해 시각·촉각 정보를 효율적으로 융합했으며, 이를 통해 다양한 실제 조작 과제에서 기존 접근을 뛰어넘는 성능을 보였습니다. 특히 TacThru의 동시 다중모달 감지는 단일 센서 시스템으로는 어려운 미세한 조작과 연속 모달 전환을 가능하게 했습니다.

이 연구는 멀티모달 로봇 조작 분야에서 중요한 진전을 나타냅니다. 센서 설계가 비교적 단순해 다른 시스템에 쉽게 적용할 수 있고, 표준 이미지 모델을 그대로 활용할 수 있어 도입 장벽이 낮습니다. 앞으로는 TacThru를 여러 손가락에 확장하거나 더욱 복잡한 물체를 다루는 작업에도 적용해볼 수 있습니다. 또한 대규모 데이터와 시뮬레이션을 활용한 사전학습, 더 발전된 비전-촉각 통합 네트워크 개발 등도 기대됩니다. 궁극적으로 TacThru-UMI 같은 시스템은 로봇이 마치 인간처럼 보면서 만지는 조작 능력을 갖추게 하는 데 기여할 것으로 보입니다.