📃EyeSight Hand 리뷰

Design of a Fully-Actuated Dexterous Robot Hand with Integrated Vision-Based Tactile Sensors and Compliant Actuation

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link (IROS 2024 (RoboCup Best Paper Finalist))
• Project

1. ✨ 본 논문은 Vision-based tactile sensor와 Compliant actuation이 통합된 7-DoF Humanoid Hand인 EyeSight Hand를 소개하며, 인간과 유사한 강도, 속도, 그리고 대규모 데이터 수집을 위한 견고성을 제공합니다.
2. 🤖 EyeSight Hand는 새로운 GelSim(ple) 촉각 센서 디자인과 Quasi-direct drive Actuation Scheme을 활용하여 Bottle opening, Plasticine cutting, Plate pick and place와 같은 복잡한 작업에서 Whole-hand manipulation을 가능하게 합니다.
3. 📈 모방 학습 모델을 통한 실험 결과는 Vision dropout strategy와 결합된 Tactile sensing이 다양한 Contact-rich 작업에서 Robot의 task success rate를 크게 향상시킴을 정량적으로 보여줍니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 통합된 vision-based tactile sensor와 compliant actuation을 특징으로 하는 7 자유도(DoF) humanoid 로봇 손인 “EyeSight Hand”를 소개합니다. 이 로봇 손은 강화된 whole-hand manipulation을 위해 설계되었으며, human-like strength와 속도를 달성하면서 large-scale data collection을 위한 견고성을 보장하기 위해 quasi-direct drive actuation 방식을 채택합니다.

I. 기계 설계 (Mechanical Design)

EyeSight Hand는 인간 손의 해부학적 구조와 운동학을 최대한 모방하여 직관적인 teleoperation과 인간 데이터 활용을 용이하게 합니다.

• 운동학 (Kinematics): 인간 손의 운동학적 구조를 따르지만, index/middle finger의 metacarpophalangeal (MCP) joints와 distal interphalangeal (DIP) joints, 그리고 thumb의 MCP joint에서는 단순화를 통해 다른 기능들을 통합합니다. 예를 들어, DIP joint와 index/middle finger의 MCP joint의 lateral axis는 생략되었으며, thumb의 MCP joint도 생략되었습니다.
• 구동 (Actuation): Compliance를 제공하기 위해 두 가지 유형의 actuator가 사용됩니다. worm drive (30:1 N20 Micro DC Motor with 20:1 worm gear reduction)는 높은 감속비와 self-locking 특성으로 PIP joint (index/middle finger) 또는 IP joint (thumb)를 구동합니다. BLDC motor (TMotor GL40 KV210 KV210 with 5.23:1 planetary reduction)는 MCP joint (index/middle finger) 또는 TM joint (thumb)의 굴곡 축을 구동합니다. 이 actuator들은 직접적으로 또는 four-bar linkage를 통해 joint를 구동하여 tendon-driven 방식보다 훨씬 견고합니다. 낮은 BLDC motor 감속비는 transmission 마찰과 reflected inertia를 줄여 외부 힘에 대한 저항을 감소시키고 파손 위험을 줄입니다. 이 구동 방식은 추정치로 19N의 연속적인 fingertip force와 최대 57N의 fingertip force, 그리고 420 RPM의 최대 속도를 제공하며, 지속적인 사용에도 과열되기 어렵습니다.
• 전자 장치 (Electronics): BLDC actuator는 MJBOTS Moteus N1 Brushless Controller에 의해 제어되며, AMS AS5047P 14-bit magnetic encoder를 통해 rotor 위치를 제공합니다. 통신은 5MBPS CAN-FD를 통해 1kHz로 이루어집니다. Micro DC motor는 TI DRV8876에 의해 제어되며, Teensy 4.1을 통해 serial 통신을 합니다.

II. 촉각 센서 설계 (Tactile Sensor Design)

EyeSight Hand는 7개의 tactile surface를 가지며, 각 finger segment와 palm에 8개의 이미지를 스트리밍하는 GelSim(ple)이라는 새로운 vision-based tactile sensor를 통합합니다.

• 조명 (Illumination): GelSim(ple)은 새로운 조명 전략을 사용합니다. diffuser의 perimeter를 side-illuminating하여 semi-specular sensing surface에 non-directional overhead lighting을 제공합니다. 이는 그림자 문제를 제거하고 데이터 처리량을 늘려 단일 channel 이미지를 전송할 수 있게 합니다. simulation을 위해, pixel-wise inference는 MLP를 통해 수행되며, surface normal, viewing direction, 그리고 simulated deformation의 positional encoding을 입력으로 받아 추정된 RGB 값을 출력합니다.
• 구현 세부 사항 (Implementation Details): GelSim(ple)은 Arducam B0286 IMX219 Camera Module과 220도 fisheye lens를 사용합니다. 카메라와 sensing module은 3D 프린팅된 부품에 통합됩니다. 조명은 SuperLightingLed Narrowest 3mm COB LED White Light Strip을 사용하며, sensing surface는 SILICONES, INC. XP-565와 Print-On® Clear Silicone Ink, aluminum pigment로 구성됩니다. 각 카메라는 Arducam B0439 Sensor Extension Cable을 통해 원격으로 연결되며, 8개의 카메라 모듈은 두 개의 Raspberry Pi 4를 통해 인터페이스됩니다. 단일 channel 이미지는 ZeroMQ를 통해 60Hz로 640x480 해상도로 호스트 컴퓨터에 전송됩니다.

III. 실험 설정 (Experiment Setup)

EyeSight Hand의 성능을 검증하기 위해 세 가지 도전적인 작업(bottle opening, plasticine cutting, plate pick and place)에 대해 imitation learning을 수행했습니다.

• Teleoperation: 3D Guidance trakStar tracking system을 사용하여 teleoperation을 수행합니다. 인간 손의 4개 센서 위치에서 얻은 6-DoF pose를 바탕으로 Task Space Vector (TSV) optimization [26, 13, 4]을 통해 로봇의 joint angle을 추정합니다. 최적화 루틴은 JAX [6]에서 Sequential Least-Squares Quadratic Programming (SLSQP) [19, 16]과 Automatic Differentiation for rigid-body-dynamics AlgorithMs (ADAM) [2] 라이브러리를 사용하여 구현되었습니다. 최적화 식은 다음과 같습니다: \min_{Q(t)} \sum_{i \neq j} \|r_{ij}(Q(t)) - h_{ij}\|^2 + \alpha \|Q(t) - Q(t')\|^2 여기서 Q(t)는 현재 시간 스텝의 로봇 joint angle, Q(t')는 이전 시간 스텝의 joint angle, r_{ij}와 h_{ij}는 각각 로봇과 인간 손의 task space vector를 나타내며, \alpha는 이전 시간 스텝과 현재 시간 스텝 간의 joint angle 변화 중요도를 나타내는 가중치입니다. 이 시스템은 125Hz로 작동합니다.
• 작업 사양 (Task Specification): 각 작업에 대해 EyeSight Hand와 UR5 로봇의 proprioceptive data, global camera, wrist camera, 그리고 tactile sensor로부터 이미지를 30Hz로 수집했습니다. 각 작업에 대해 100개의 demonstration이 수집되었습니다.
  • Bottle Opening: 무작위로 배치된 ketchup bottle의 뚜껑을 열기 위해, 로봇은 병을 고정하고 엄지 손가락으로 뚜껑을 완전히 열어야 합니다.
  • Plate Pick and Place: 쌓여있는 두 개의 접시 중 상단 접시를 밀어 graspable 위치에 놓은 다음 들어올려 옆에 놓아야 합니다.
  • Plasticine Cutting: 상자에 보관된 칼을 꺼내 plasticine roll을 완전히 반으로 잘라야 합니다.
• 모방 학습 (Imitation Learning): Action Chunking with Transformers (ACT) [47]를 사용하여 dexterous manipulation을 학습합니다. ACT는 CVAE (conditional variational autoencoder) 구조를 가지며, encoder는 hidden style variable을 학습하고 decoder는 현재 관측값과 style variable을 기반으로 미래 action trajectory를 예측합니다.
  • 입력 (Input): global camera와 wrist camera의 이미지는 공유 vision encoder를 통해 처리됩니다. 8개의 tactile image는 2x2 super-image로 결합된 두 개의 subset으로 나뉘어 공유 tactile encoder를 통해 처리됩니다. 시각 및 촉각 feature는 로봇 joint position 및 style variable과 함께 transformer network에 입력되어 joint space의 미래 action trajectory를 예측합니다.
  • 정책 변형 (Policy Variants): 세 가지 ACT 변형이 훈련되었습니다: Vision-only ACT (시각 이미지2만 사용), Vision-tactile ACT (시각 및 촉각 이미지 모두 사용), Vision-tactile ACT with vision dropout (훈련 중 vision encoder 입력에 30% 확률로 무작위 dropout 적용, 즉 시각 이미지를 0으로 설정하여 촉각 신호 활용을 장려).
  • 구현 세부 사항 (Implementation Details): 모든 시각 및 촉각 super-image는 320x480으로 resize되었고, ResNet-18 [14]이 vision 및 tactile encoder로 사용되었습니다. Joint position vector는 UR5 arm의 6 DoF와 Hand의 7 DoF를 포함한 13차원입니다. Action trajectory는 다음 20 timesteps에 대해 예측되며, 예측 주파수는 15Hz입니다. 훈련은 Nvidia A6000 GPU에서 batch size 48, learning rate 1e-5로 500 epochs 동안 진행되었습니다.

IV. 실험 결과 (Experimental Results)

각 정책 변형의 성공률은 10회 실험을 통해 평가되었습니다.

• Plate Pick and Place: Vision-only 정책은 50%의 성공률을 보였으나, tactile sensing을 통합하자 100%로 증가했습니다. Tactile sensing이 없으면 plate를 밀 때 접촉 실패나 불충분한 힘 적용, 또는 불안정한 grasp로 인한 slip이 주요 실패 원인이었습니다.
• Plasticine Cutting: Vision-only 정책은 50%의 성공률을 보였고, 일반적인 tactile sensing 통합 방식으로는 70%로 개선되었습니다. Vision dropout training strategy를 적용하자 90%의 성공률을 달성했습니다. 촉각 센서가 없을 경우 부분적인 절단이 많았으며, 촉각 센서 통합은 부분 절단을 줄이고 과도한 힘 적용을 방지했습니다. Vision dropout은 촉각 센서에 대한 정책의 의존도를 더욱 높였습니다.
• Bottle Opening: 이 작업은 특히 어려웠으며, Vision-only 정책과 vanilla Vision-tactile 정책 모두 병을 여는 데 실패했습니다. Vision dropout training strategy를 적용했을 때 30%의 성공률을 보였습니다. 이는 시각 정보만으로는 뚜껑 여는 과정에 대한 단서가 제한적이며, dropout 전략이 네트워크가 action 예측 시 촉각 sensing에 더 많이 의존하도록 유도했음을 보여줍니다.

V. 결론 (Conclusion)

EyeSight Hand는 고해상도 촉각 센서와 compliant actuation을 갖춘 fully-actuated 7-DoF 로봇 손입니다. 이 디자인은 풍부한 sensing 능력, 충돌에 대한 견고성, 그리고 인간 손과 유사한 형태 덕분에 로봇 학습 커뮤니티에 적합합니다. 본 논문은 imitation learning baseline을 개발하고, EyeSight Hand의 풍부한 촉각 sensing이 여러 도전적인 real-world task에서 성능을 크게 향상시킴을 입증했습니다. 향후 연구에서는 손에 추가적인 fingers를 통합하고 풍부한 촉각 sensing을 더 잘 활용하는 알고리즘을 탐구할 계획입니다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 우리는 아직도 물건을 제대로 못 집는가?

여러분, 잠시 손을 한번 봐주세요. 지금 커피잔을 집어들거나, 스마트폰을 만지작거리거나, 혹은 펜을 돌리고 계실지도 모르겠습니다. 이 모든 동작은 여러분에게 아무것도 아닌 것처럼 느껴지겠지만, 로봇공학자들에게는 30년 넘게 풀지 못한 난제입니다.

인간의 손은 정말 경이로운 시스템입니다. 복잡한 운동학적 구조, 근육과 힘줄이 제공하는 컴플라이언스(compliance), 그리고 피부에 밀집된 촉각 센서들의 조합—이것이 바로 우리가 날계란을 깨뜨리지 않고 집을 수 있는 이유이며, 동시에 무거운 문고리를 돌릴 수 있는 이유입니다.

MIT의 Branden Romero, Hao-Shu Fang, Pulkit Agrawal, Edward Adelson 연구팀은 IROS 2024에서 발표한 EyeSight Hand를 통해 이 문제에 대한 통합적 해법을 제시합니다. 이 논문은 RoboCup Best Paper Finalist에 선정되었으며, 로봇 손 설계의 새로운 패러다임을 제안합니다.

기존 로봇 손의 딜레마

로봇공학에서 “좋은 손”을 만들기 위해서는 세 가지 요소가 필요합니다:

1. 컴플라이언스(Compliance): 외부 충격에 유연하게 대응하는 능력
2. 촉각 센싱(Tactile Sensing): 접촉 정보를 정밀하게 감지하는 능력
   
3. 인간과 유사한 형태(Anthropomorphic Design): 텔레오퍼레이션과 데이터 수집의 용이성

문제는, 기존의 로봇 손들이 이 세 가지 중 기껏해야 하나 또는 둘만 만족시킨다는 점입니다.

Table 1: 기존 로봇 손과 EyeSight Hand의 비교

로봇 손	가격(USD)	DoF	컴플라이언스	촉각 센싱	인간형 형태
Shadow Hand	~100,000+	24	높음 (텐던)	제한적	높음
Allegro Hand	~15,000	16	낮음 (고기어비)	없음	보통
LEAP Hand	~2,000	16	낮음	없음	높음
RBO Hand	~저가	제한적	높음 (소프트)	제한적	높음
EyeSight Hand	~2,500	7	높음 (QDD)	8개 센서	높음

Shadow Hand는 텐던 기반으로 컴플라이언스는 좋지만, 10만 달러가 넘고 유지보수가 어렵습니다. Allegro Hand는 모터가 직접 관절을 구동하지만, 높은 기어비로 인해 reflected inertia가 커서 외부 힘에 뻣뻣하게 반응합니다. 소프트 핸드(RBO Hand 등)는 컴플라이언트하지만 정밀 제어가 어렵고 촉각 센서 통합이 힘듭니다.

연구의 핵심 질문

EyeSight Hand는 다음 질문에 답하고자 합니다:

“대규모 데이터 수집을 위한 강건성, 모방 학습을 위한 직관적 텔레오퍼레이션, 그리고 인간 손 데이터 활용 가능성을 동시에 만족시키는 로봇 손을 어떻게 설계할 수 있을까?”

설계 철학: Co-Design의 아름다움

EyeSight Hand의 가장 큰 강점은 구동(actuation), 센싱(sensing), 기구학(kinematics)을 동시에 고려한 통합 설계에 있습니다. 이는 각 요소를 개별적으로 최적화하는 것과는 질적으로 다른 접근법입니다.

기구학 설계: 인간 손과의 타협

flowchart TD
    subgraph THUMB["엄지 (2 DoF)"]
        T_CMC["CMC 관절<br/>(Abduction/Adduction)"]
        T_MCP["MCP 관절<br/>(Flexion/Extension)"]
        T_CMC --> T_MCP
    end
    
    subgraph INDEX["검지 (2 DoF)"]
        I_MCP["MCP 관절<br/>(Coupled F/E)"]
        I_PIP["PIP+DIP 관절<br/>(Coupled)"]
        I_MCP --> I_PIP
    end
    
    subgraph MIDDLE["중지 (2 DoF)"]
        M_MCP["MCP 관절<br/>(Coupled F/E)"]
        M_PIP["PIP+DIP 관절<br/>(Coupled)"]
        M_MCP --> M_PIP
    end
    
    subgraph WRIST["손목 (1 DoF)"]
        W["손목 회전<br/>(Pronation/Supination)"]
    end
    
    WRIST --> THUMB
    WRIST --> INDEX
    WRIST --> MIDDLE

Figure 1: EyeSight Hand의 기구학적 구조

인간의 손은 약 27개의 자유도를 가지고 있습니다. 이를 완벽히 복제하는 것은 비현실적이므로, EyeSight Hand는 7 DoF로 축소했습니다. 핵심 타협점은 다음과 같습니다:

MCP 관절의 단순화: 인간의 MCP 관절은 굴곡/신전(flexion/extension)과 내전/외전(abduction/adduction) 두 가지 자유도를 가집니다. EyeSight Hand는 검지와 중지의 MCP에서 내전/외전을 생략했습니다.

DIP 관절의 커플링: 원위지절간(DIP) 관절을 근위지절간(PIP) 관절과 기계적으로 커플링시켜, 하나의 모터로 두 관절을 동시에 구동합니다. 이는 인간 손의 “굴곡 시너지(flexion synergy)”를 모사한 것입니다.

3손가락 구성: 약지와 소지를 제거하여 설계를 단순화했습니다. 이는 대부분의 일상적 조작 작업에서 엄지-검지-중지의 “tripod grip”이 지배적이라는 관찰에 기반합니다.

이러한 단순화에도 불구하고, 손의 전체 크기와 비율은 인간 손과 매우 유사하게 유지됩니다(너비 약 90mm, 길이 약 190mm). 이것이 중요한 이유는 텔레오퍼레이션 시 조작자가 자신의 손 움직임을 로봇 손에 직관적으로 매핑할 수 있기 때문입니다.

구동 시스템: Quasi-Direct Drive의 마법

EyeSight Hand의 구동 시스템은 이 논문의 핵심 기술적 기여 중 하나입니다. 여기서 Quasi-Direct Drive(QDD)라는 개념을 이해하는 것이 중요합니다.

기존 구동 방식의 문제

전통적인 로봇 손(예: Allegro Hand)은 작은 DC 서보모터와 높은 기어비(100:1 이상)를 사용합니다. 이 방식은 다음과 같은 문제가 있습니다:

높은 Reflected Inertia: 기어비 N으로 감속하면, 모터 관성 J_m이 출력축에서 N^2 \cdot J_m으로 느껴집니다. 기어비가 100이면, 관성이 10,000배로 증폭됩니다!

J_{reflected} = N^2 \cdot J_m

낮은 Backdrivability: 기어박스의 마찰로 인해 외부에서 힘을 가해도 모터가 쉽게 돌아가지 않습니다. 이는 충돌 시 손이나 물체가 파손될 위험을 높입니다.

발열 문제: 지속적인 힘 출력을 위해 모터가 stall 상태에 가깝게 작동하면, 권선이 과열됩니다.

QDD 솔루션

QDD는 낮은 기어비(5~10:1)의 고토크 BLDC 모터를 사용합니다. EyeSight Hand는 다음과 같은 구성을 채택했습니다:

BLDC 액추에이터 스펙:

Table 2: QDD 액추에이터 사양

파라미터	값
기어비	9:1 (행성기어)
연속 핑거팁 힘	19N
최대 핑거팁 힘	57N
최대 속도	420 RPM
통신	CAN-FD @ 5Mbps, 1kHz
컨트롤러	MJBOTS Moteus N1

낮은 기어비 덕분에:

1. Reflected inertia가 낮음: 외부 힘에 자연스럽게 따라감
2. Backdrivable: 충돌 시 손이 “밀려남”
3. 토크 투명성: 전류 센싱으로 정확한 토크 추정 가능

특히 세 번째 특성은 촉각 센싱이 없는 상황에서도 힘 피드백을 얻을 수 있게 해줍니다:

\tau_{output} = K_t \cdot I_{motor} \cdot N

여기서 K_t는 토크 상수, I_{motor}는 모터 전류, N은 기어비입니다.

기계적 트랜스미션: 벨트 vs 링키지

모든 관절이 동일한 트랜스미션을 사용하지는 않습니다. EyeSight Hand는 적재적소에 다른 방식을 적용합니다:

타이밍 벨트: 검지/중지의 MCP 관절에 사용. 모터를 손바닥 쪽에 배치하고, 벨트로 회전력을 전달합니다. 장점은 가볍고 조용하다는 것.

4절 링키지(Four-bar linkage): 손가락 굴곡 관절에 사용. 하나의 모터로 PIP와 DIP 관절을 동시에 커플링하면서도, 인간 손가락의 자연스러운 굴곡 궤적을 모사합니다.

flowchart LR
    subgraph MOTOR["액추에이터"]
        M["BLDC 모터"]
    end
    
    subgraph FOURBAR["4절 링키지"]
        L1["Ground Link<br/>(손바닥)"]
        L2["Input Link<br/>(Proximal)"]
        L3["Coupler Link"]
        L4["Output Link<br/>(Distal)"]
        L1 --- L2
        L2 --- L3
        L3 --- L4
        L4 --- L1
    end
    
    M --> L2
    L3 --> FT["손가락 끝"]

Figure 2: 손가락 굴곡 메커니즘의 4절 링키지

마이크로 DC 모터: 엄지의 MCP 굴곡과 손목 회전에는 공간 제약으로 인해 작은 DC 모터(TI DRV8876 드라이버, Teensy 4.1 컨트롤러)를 사용합니다.

촉각 센싱: GelSim(ple)의 혁신

왜 Vision-based Tactile Sensing인가?

촉각 센싱 기술은 크게 두 가지로 나뉩니다:

1. 전통적 방식: 저항식, 정전식, 압전식 센서 어레이
2. 비전 기반 방식: 카메라로 탄성체 표면의 변형을 촬영

GelSight로 대표되는 비전 기반 촉각 센서는 몇 가지 결정적 장점이 있습니다:

• 고해상도: 수천 개의 “촉각 픽셀”을 단일 카메라로 획득
• 다중 모달: 깊이, 전단력, 미끄러짐을 동시에 추론 가능
• 범용성: 새로운 접촉 유형에 대해 학습으로 대응 가능

그러나 기존 GelSight 센서는 평평한 표면에 최적화되어 있었습니다. 손가락 끝의 곡면이나 손바닥의 복잡한 형상에 적용하기 어려웠죠.

GelSim(ple): 시뮬레이션 친화적 설계

EyeSight Hand는 새로운 촉각 센서 GelSim(ple)을 제안합니다. 이름에서 알 수 있듯이, “simple”하면서도 “simulation”에 친화적인 설계가 핵심입니다.

기존 GelSight의 조명 문제

원래 GelSight는 Photometric Stereo 원리를 사용합니다. 3개의 다른 색(RGB)의 방향성 광원을 표면에 비추고, 각 픽셀에서 색상 비율을 분석하여 표면 법선(surface normal)을 추정합니다.

\vec{n}(x,y) = f(R, G, B)

이 방식의 문제점:

1. 곡면 적용 어려움: 광원 배치가 기하학적으로 제한됨
2. 그림자 문제: 돌출된 물체가 그림자를 만들어 노이즈 발생
3. 시뮬레이션 복잡성: RGB-to-normal 매핑과 그림자를 정확히 시뮬레이션해야 함

GelSim(ple)의 새로운 조명 전략

GelSim(ple)은 비방향성 측면 조명(non-directional side illumination)을 채택합니다:

flowchart TB
    subgraph OPTICAL["광학 시스템"]
        CAM["Arducam B0286<br/>220° 어안렌즈"]
        DIFF["3M 3635-70<br/>디퓨저"]
        LED["3mm COB LED 스트립<br/>(측면 조명)"]
        GEL["실리콘 젤<br/>(XP-565)"]
        COAT["은색 알루미늄 코팅<br/>(반사면)"]
    end
    
    CAM --> |"관찰"| DIFF
    LED --> |"측면 조명"| DIFF
    DIFF --> |"확산광"| GEL
    GEL --> COAT
    COAT --> |"반사"| CAM

Figure 3: GelSim(ple) 센서 구조

핵심 설계 결정:

1. COB LED 스트립을 탄성체 둘레에 배치하여 측면에서 조명
2. 디퓨저가 빛을 확산시켜 균일한 오버헤드 조명 생성
3. 알루미늄 코팅된 반사면이 접촉점에서의 기울기 변화를 밝기 변화로 변환

이 방식의 장점:

• 그림자 제거: 비방향성 조명으로 그림자가 거의 없음
• 단일 채널: 컬러 RGB 대신 그레이스케일만 필요 → 데이터 처리량 3배 감소
• 시뮬레이션 용이: 단순한 기하학적 변환으로 근사 가능

센서 사양 및 배치

EyeSight Hand에는 총 8개의 GelSim(ple) 센서가 장착되어 있습니다:

Table 3: GelSim(ple) 센서 배치

위치	센서 수	특징
엄지 끝	1	구형 형태
검지 끝	1	구형 형태
중지 끝	1	구형 형태
검지 Proximal	1	원통형
중지 Proximal	1	원통형
손바닥	2	평면형

모든 센서는 30Hz로 이미지를 스트리밍하며, 전체 시스템의 이미지 처리 파이프라인과 동기화됩니다.

촉각 시뮬레이션

시뮬레이션에서 촉각 이미지를 생성하는 것은 sim-to-real 전이 학습에 필수적입니다. GelSim(ple)의 단순한 조명 구조 덕분에, 접촉 면의 깊이 맵(depth map)을 직접 밝기로 변환하는 것이 가능합니다:

I(x,y) \propto \frac{\partial z}{\partial x} + \frac{\partial z}{\partial y} + \text{ambient}

여기서 z(x,y)는 탄성체의 변형 깊이입니다. 이는 표면 법선의 수평 성분과 밝기가 비례한다는 근사에 기반합니다.

모방 학습: ACT와 Vision Dropout 전략

Action Chunking with Transformers (ACT) 개요

EyeSight Hand의 평가에는 ACT(Action Chunking with Transformers) 알고리즘이 사용됩니다. 이 알고리즘은 2023년 RSS에서 Tony Zhao 등에 의해 발표되었으며, 정밀 조작 작업에서 뛰어난 성능을 보입니다.

전통적 Behavior Cloning의 문제

일반적인 Behavior Cloning(BC)은 현재 관찰 o_t에서 다음 행동 a_t를 예측합니다:

\pi_\theta(a_t | o_t)

이 방식의 문제는 누적 오차(compounding error)입니다. 정책이 조금이라도 벗어나면, 학습 데이터 분포에서 멀어진 상태에 도달하고, 거기서 더 나쁜 예측을 하여 빠르게 실패합니다.

특히 50Hz 제어가 필요한 정밀 조작에서, 10초짜리 작업은 500 스텝의 결정을 의미합니다. 각 스텝에서 1%만 틀려도 누적되면 치명적입니다.

Action Chunking 아이디어

ACT는 단일 행동 대신 행동 청크(action chunk)—향후 k 스텝의 행동 시퀀스—를 예측합니다:

\pi_\theta(a_{t:t+k} | o_t)

이렇게 하면:

1. 유효 호라이즌 감소: 500 스텝 작업이 k=100이면 5번의 결정으로 줄어듦
2. 일관성 향상: 한 청크 내에서는 연속적이고 일관된 동작 보장
3. 인간 시연 모사: 인간도 행동을 “덩어리”로 계획함 (신경과학적 근거)

CVAE 구조

ACT는 Conditional Variational Autoencoder(CVAE) 프레임워크를 사용합니다:

flowchart TB
    subgraph ENCODER["CVAE 인코더<br/>(학습 시에만)"]
        A["행동 시퀀스<br/>a_{1:k}"]
        O1["관절 위치"]
        CLS["[CLS] 토큰"]
        TE["Transformer<br/>인코더"]
        Z["잠재 변수 z<br/>~N(μ, σ²)"]
        
        A --> TE
        O1 --> TE
        CLS --> TE
        TE --> Z
    end
    
    subgraph DECODER["CVAE 디코더<br/>(정책)"]
        IMG["RGB 이미지<br/>(4개 뷰)"]
        RES["ResNet18<br/>특징 추출"]
        O2["관절 위치"]
        Z2["z (학습 시) 또는<br/>0 (추론 시)"]
        TD["Transformer<br/>디코더"]
        AP["행동 예측<br/>â_{1:k}"]
        
        IMG --> RES
        RES --> TD
        O2 --> TD
        Z2 --> TD
        TD --> AP
    end
    
    Z --> |"학습 시"| Z2

Figure 4: ACT 정책 아키텍처

학습 시: 인코더가 실제 행동 시퀀스를 잠재 변수 z로 압축합니다. 이 z는 행동의 “스타일”을 나타냅니다—같은 목표를 달성하는 다양한 방법 중 어떤 것인지를 인코딩합니다.

추론 시: 인코더는 버려지고, z는 단순히 0으로 설정됩니다. 디코더는 현재 관찰만으로 행동 청크를 생성합니다.

손실 함수는:

\mathcal{L} = \underbrace{\mathbb{E}_{q_\phi(z|a,o)}[\log p_\theta(a|o,z)]}_{\text{재구성 손실 (L1)}} - \underbrace{\beta \cdot D_{KL}(q_\phi(z|a,o) || p(z))}_{\text{KL 정규화}}

Temporal Ensembling

ACT의 또 다른 기법은 시간적 앙상블(temporal ensembling)입니다. 매 스텝마다 새 청크를 예측하면, 중첩되는 예측들이 생깁니다. 이들을 지수 가중 평균으로 결합합니다:

a_t^{final} = \sum_{i} w_i \cdot a_t^{(i)} \quad \text{where} \quad w_i \propto \exp(-\lambda \cdot \Delta t_i)

여기서 \Delta t_i는 해당 예측이 생성된 후 경과한 시간입니다. 최근 예측일수록 가중치가 높습니다.

Vision Dropout 전략: 촉각의 가치를 깨닫게 하기

EyeSight Hand 논문의 중요한 알고리즘적 기여는 Vision Dropout 전략입니다.

문제: 시각에 대한 과의존

모방 학습에서 시각 정보와 촉각 정보를 모두 제공하면, 모델은 시각에 과도하게 의존하는 경향이 있습니다. 왜냐하면:

1. 시각은 전역적(global) 정보를 제공—물체 위치, 손 자세 등
2. 촉각은 국소적(local) 정보만 제공—접촉점의 힘, 미끄러짐 등
3. 대부분의 시간에 시각만으로 충분한 정보가 있음

결과적으로, 촉각이 결정적으로 필요한 순간(예: 뚜껑 비틀기)에 모델이 촉각 정보를 활용하지 못합니다.

해결: 학습 시 시각 드롭아웃

Vision Dropout은 학습 중 일정 확률로 시각 입력을 마스킹합니다:

o_t^{visual} = \begin{cases} \text{RGB 이미지} & \text{확률 } 1-p \\ \mathbf{0} & \text{확률 } p \end{cases}

이 간단한 기법의 효과:

• 모델이 촉각만으로도 작업을 수행하는 방법을 학습
• 시각이 있을 때는 시각과 촉각을 상호보완적으로 사용
• 결과적으로 시각-촉각 융합 품질 향상

정책 네트워크 상세

EyeSight Hand의 전체 정책 네트워크 입력은 다음과 같습니다:

flowchart LR
    subgraph VISUAL["시각 입력"]
        GC["전역 카메라<br/>(480×640)"]
        WC["손목 어안 카메라<br/>(480×640)"]
    end
    
    subgraph TACTILE["촉각 입력"]
        T1["엄지 촉각<br/>(480×640)"]
        T2["검지 촉각<br/>(480×640)"]
        T3["중지 촉각<br/>(480×640)"]
        T4["검지 Proximal"]
        T5["중지 Proximal"]
        T6["손바닥 1"]
        T7["손바닥 2"]
    end
    
    subgraph PROP["고유감각"]
        JP["관절 위치<br/>(13 dim)"]
        RP["로봇 팔 위치<br/>(6 dim)"]
    end
    
    VISUAL --> RESNET["ResNet18<br/>특징 추출"]
    TACTILE --> RESNET
    RESNET --> CONCAT["연결"]
    PROP --> CONCAT
    CONCAT --> POLICY["ACT 정책"]

Figure 5: 정책 네트워크 입력 구조

입력 요약:

Table 4: 정책 네트워크 입력

모달리티	채널	해상도/차원	주파수
전역 카메라	1	480×640	30Hz
손목 카메라	1	480×640	30Hz
촉각 (×8)	8	480×640	30Hz
관절 위치	-	13	1kHz
로봇 팔 위치	-	6	1kHz

실험 및 결과

평가 작업 설계

EyeSight Hand는 세 가지 도전적 작업에서 평가됩니다. 각 작업은 다른 유형의 조작 능력을 요구합니다:

작업 1: 병뚜껑 열기 (Bottle Opening)

flowchart LR
    A["1. 접근<br/>(Approach)"] --> B["2. 병 고정<br/>(Constrain)"]
    B --> C["3. 뚜껑 파지<br/>(Grasp lid)"]
    C --> D["4. 비틀기<br/>(Twist)"]
    D --> E["5. 열기<br/>(Open)"]
    
    style C fill:#f9d5d3
    style D fill:#f9d5d3

Figure 6: 병뚜껑 열기 작업의 단계별 분해

이 작업의 핵심 도전:

• Non-prehensile manipulation: 병을 검지, 중지, 손바닥으로 “눌러” 고정
• 접촉력 조절: 뚜껑에 충분한 마찰력을 가하면서도 미끄러지지 않게
• 시각 가림(occlusion): 뚜껑 비틀기 단계에서 손이 뚜껑을 가림

촉각의 필수성: 뚜껑 비틀기 단계에서 시각만으로는 엄지가 뚜껑 위에 제대로 위치했는지, 충분한 힘이 가해지고 있는지 알 수 없습니다.

작업 2: 플라스티신 자르기 (Plasticine Cutting)

flowchart LR
    A["1. 칼 집기<br/>(Pick knife)"] --> B["2. 자세 조정<br/>(Reorient)"]
    B --> C["3. 위치 선정<br/>(Position)"]
    C --> D["4. 자르기<br/>(Cut)"]
    
    style D fill:#f9d5d3

Figure 7: 플라스티신 자르기 작업

이 작업의 핵심 도전:

• 도구 사용(Tool use): 손 자체가 아닌 도구로 힘 전달
• 힘 조절: 플라스티신을 완전히 자르되, 테이블을 손상시키지 않게
• 정밀 궤적: 일정한 속도로 직선 이동

작업 3: 접시 집어 옮기기 (Plate Pick and Place)

flowchart LR
    A["1. 접근<br/>(Approach)"] --> B["2. 슬라이딩<br/>(Slide)"]
    B --> C["3. 들어올리기<br/>(Lift)"]
    C --> D["4. 이동<br/>(Transport)"]
    D --> E["5. 놓기<br/>(Place)"]
    
    style B fill:#f9d5d3
    style C fill:#f9d5d3

Figure 8: 접시 집어 옮기기 작업

이 작업의 핵심 도전:

• Extrinsic dexterity: 테이블 표면을 활용하여 접시 가장자리 확보
• 미끄러짐 감지: 접시가 미끄러지는 순간을 감지하여 재파지
• 얇고 깨지기 쉬운 물체: 과도한 힘으로 접시 파손 방지

실험 프로토콜

각 작업에 대해 다음 조건으로 실험합니다:

데이터 수집: 인간 조작자가 텔레오퍼레이션으로 시연 데이터 수집

정책 변형:

Table 5: 평가된 정책 변형

정책	약어	설명
Vision Only	VO	촉각 입력 없이 시각만 사용
Vision + Tactile	VT	시각과 촉각 모두 사용
Vision + Tactile + Augmentation	VTA	Vision Dropout 적용

학습: 각 작업당 50회의 시연으로 ACT 정책 학습

평가: 10회 롤아웃으로 성공률 측정

결과 분석

정량적 결과

Table 6: 작업별 성공률 (%)

작업	VO	VT	VTA	향상 (VO→VTA)
병뚜껑 열기	0%	0%	30%	+30%p
플라스티신 자르기	40%	40%	70%	+30%p
접시 집어 옮기기	50%	100%	100%	+50%p

결과 해석

병뚜껑 열기: 가장 어려운 작업으로, 시각만으로는 완전히 실패합니다. 심지어 촉각을 추가해도(VT) 개선이 없습니다! 이는 모델이 촉각 정보를 제대로 활용하지 못함을 의미합니다. Vision Dropout(VTA)을 적용해야 비로소 30% 성공률을 달성합니다.

실패 모드 분석: - VO/VT: 뚜껑에 접촉하지 않거나, 잘못된 방향으로 힘을 가함 - VTA (실패 시): 초기 파지가 불안정하여 비틀기 중 미끄러짐

플라스티신 자르기: 도구 사용 작업에서도 촉각 + Vision Dropout 조합이 중요합니다. 70%로 가장 높은 성공률을 보이지만, 여전히 30%는 실패합니다. 주요 실패 원인은 칼이 플라스티신을 완전히 관통하지 못하는 것입니다.

접시 집어 옮기기: 이 작업에서 촉각의 효과가 가장 극적입니다. VO의 50%에서 VT/VTA의 100%로 도약합니다. 흥미롭게도, 이 작업에서는 Vision Dropout 없이도 충분합니다—아마도 슬라이딩 동작에서 촉각 피드백이 매우 직관적이기 때문일 것입니다.

촉각 센싱의 역할에 대한 통찰

실험 결과에서 얻을 수 있는 핵심 통찰:

1. 촉각 센싱 자체는 필요조건이지 충분조건이 아님: VT가 VO와 동일한 성능을 보이는 경우가 있음 (병뚜껑, 플라스티신)
2. 모델이 촉각을 활용하도록 “강제”해야 함: Vision Dropout이 이 역할을 수행
3. 작업 특성에 따라 촉각의 기여도가 다름: 접시 작업처럼 촉각 피드백이 직관적인 경우 자동으로 활용됨
4. QDD의 컴플라이언스가 학습을 안정화: 수백 회의 시행착오에도 하드웨어 손상 없음

비판적 고찰

강점

통합적 Co-Design: 구동, 센싱, 기구학의 동시 최적화는 로봇 손 설계의 새로운 방향을 제시합니다. 개별 요소의 성능을 극대화하는 것보다, 전체 시스템의 조화가 중요함을 보여줍니다.

실용적 비용: $2,500 이하의 가격은 학계에서 충분히 접근 가능한 수준입니다. Shadow Hand의 1/40, Allegro Hand의 1/6 가격입니다.

GelSim(ple)의 시뮬레이션 친화성: 비전 기반 촉각 센서의 가장 큰 약점인 sim-to-real gap을 줄일 수 있는 실용적 설계입니다.

Vision Dropout의 단순함과 효과: 복잡한 attention 메커니즘이나 별도의 fusion 모듈 없이, 단순한 드롭아웃만으로 시각-촉각 융합을 개선합니다.

약점 및 한계

제한된 자유도: 7 DoF는 많은 조작 작업에 충분하지 않을 수 있습니다. 특히 in-hand manipulation(손 안에서 물체 회전 등)에는 더 많은 DoF가 필요합니다.

3손가락 구성: 약지와 소지의 부재는 power grasp의 안정성을 제한합니다. 무거운 물체나 큰 물체 조작에 불리합니다.

낮은 성공률: 가장 어려운 작업(병뚜껑 열기)에서 30% 성공률은 실용적 응용에 부족합니다. 물론 이는 정책 학습 알고리즘의 한계일 수 있지만, 하드웨어가 더 풍부한 피드백을 제공했다면 개선될 여지가 있습니다.

센서 해상도 vs 커버리지 트레이드오프: 8개의 센서가 손 전체를 커버하지 못합니다. 특히 손가락 측면과 손등은 센싱 사각지대입니다.

실시간 처리 부담: 8개의 480×640 이미지를 30Hz로 처리하는 것은 상당한 계산 자원을 요구합니다.

재현 가능성 및 확장성

논문에서 명시적으로 공개된 자료:

• 프로젝트 웹사이트: https://eyesighthand.github.io/
• 하드웨어 설계도: (확인 필요)
• 코드: (확인 필요)

재현을 위해 필요한 주요 요소:

1. 기계 가공: 금속 부품(모터 마운트 등)은 CNC 가공 필요
2. 3D 프린팅: 손가락 세그먼트, 센서 하우징
3. 전자 부품: MJBOTS Moteus N1, Arducam 모듈 등
4. 조립 전문성: QDD 시스템과 벨트 텐셔닝은 경험이 필요함

관련 연구와의 비교

LEAP Hand와의 비교

특성	EyeSight Hand	LEAP Hand
DoF	7	16
가격	~$2,500	~$2,000
촉각 센싱	8개 GelSim(ple)	없음
구동 방식	QDD + DC	직접 구동
인간형 정도	보통 (3손가락)	높음 (4손가락)

LEAP Hand는 더 많은 DoF와 인간형 구조를 가지지만, 촉각 센싱이 없습니다. EyeSight Hand는 DoF를 희생하여 촉각 센싱을 통합했습니다.

GelSight 계열 센서와의 비교

센서	형태	조명	출력	시뮬레이션
GelSight (원본)	평면	RGB 방향성	깊이맵	어려움
GelSlim	슬림 평면	RGB 방향성	깊이맵	어려움
GelSight Wedge	쐐기형	RGB 방향성	깊이맵	어려움
Digit	컴팩트	RGB	깊이맵	보통
GelSim(ple)	다양	비방향성	그레이스케일	쉬움

GelSim(ple)은 깊이 맵 대신 그레이스케일 이미지를 출력하여 해상도 정보를 일부 포기하지만, 시뮬레이션 용이성을 크게 향상시켰습니다.

미래 방향 제안

하드웨어 개선

DoF 확장: 약지 추가 또는 기존 손가락의 내전/외전 자유도 추가를 통해 조작 다양성을 높일 수 있습니다. 그러나 이는 센서 통합과 제어 복잡도 증가를 의미합니다.

센서 커버리지 확대: 손가락 측면에 추가 센서를 배치하거나, 전체 손등을 커버하는 대면적 센서를 고려할 수 있습니다.

더 가벼운 설계: 현재 설계에서 센서 모듈의 무게가 상당 부분을 차지합니다. 소형화된 카메라 모듈과 더 얇은 탄성체를 사용하면 관성을 줄일 수 있습니다.

알고리즘 개선

다중 모달 표현 학습: Vision Dropout은 휴리스틱한 방법입니다. 시각과 촉각의 상호보완적 표현을 학습하는 contrastive learning이나 mutual information maximization 기법을 적용할 수 있습니다.

계층적 정책: 저수준 촉각 반사(예: 미끄러짐 감지 시 힘 증가)와 고수준 작업 계획을 분리하는 계층적 구조가 성능을 향상시킬 수 있습니다.

Sim-to-Real 전이: GelSim(ple)의 시뮬레이션 용이성을 활용하여, 시뮬레이션에서 대규모 학습 후 실세계 미세조정 파이프라인을 구축할 수 있습니다.

응용 확장

휴머노이드 로봇 통합: EyeSight Hand의 컴팩트한 설계와 QDD 구동은 휴머노이드 로봇의 손으로 적합합니다.

원격 조작 시스템: 풍부한 촉각 피드백은 원격 수술이나 위험 환경 원격 조작에 활용될 수 있습니다.

보조 기기: 저비용과 컴플라이언스는 의수(prosthetic hand) 응용에도 유망합니다.

요약 및 결론

EyeSight Hand는 로봇 손 설계의 세 가지 핵심 요소—컴플라이언스, 촉각 센싱, 인간형 형태—를 $2,500 이하의 비용으로 통합한 의미 있는 연구입니다.

핵심 기여

1. Quasi-Direct Drive 구동 시스템: 인간 수준의 힘과 속도를 제공하면서도 backdrivable하고 강건한 구동

2. GelSim(ple) 촉각 센서: 다양한 형태에 적응 가능하고 시뮬레이션이 용이한 새로운 비전 기반 촉각 센서

3. Vision Dropout 학습 전략: 단순하지만 효과적인 시각-촉각 융합 기법

4. 통합 설계 프레임워크: 구동, 센싱, 기구학의 co-design 방법론

핵심 한계

1. 제한된 자유도 (7 DoF)로 인한 조작 다양성 제약
2. 가장 어려운 작업에서 30%의 낮은 성공률
3. 센서 커버리지의 한계

로봇공학에 대한 시사점

EyeSight Hand가 보여주는 가장 중요한 교훈은, 촉각 센싱의 가치는 그것을 활용하도록 학습 시스템을 설계해야만 발현된다는 것입니다. 단순히 센서를 추가하는 것만으로는 부족합니다.

또한, 하드웨어와 소프트웨어의 co-design이 각각의 개별 최적화보다 더 좋은 결과를 낼 수 있음을 보여줍니다. GelSim(ple)의 조명 설계는 시뮬레이션 용이성을 위해 해상도를 일부 포기했지만, 결과적으로 더 실용적인 시스템이 되었습니다.

마지막으로, 로봇 학습 연구에서 하드웨어의 중요성을 상기시켜줍니다. 아무리 좋은 알고리즘도 적절한 센싱과 구동 없이는 복잡한 조작을 달성할 수 없습니다. EyeSight Hand는 그 균형점을 찾으려는 의미 있는 시도입니다.

참고 문헌

• Romero, B., Fang, H.-S., Agrawal, P., & Adelson, E. (2024). EyeSight Hand: Design of a Fully-Actuated Dexterous Robot Hand with Integrated Vision-Based Tactile Sensors and Compliant Actuation. IROS 2024.
• Zhao, T. Z., Kumar, V., Levine, S., & Finn, C. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. RSS 2023.
• Shaw, K. (2023). LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning. RSS 2023.
• Yuan, W., et al. (2017). GelSight: High-Resolution Robot Tactile Sensors for Estimating Geometry and Force. Sensors.

---

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

EyeSight Hand: 비전 기반 촉각 센서를 통합한 컴플라이언트 완전구동 로봇 손 (심층 리뷰)

서론: 인간 손의 지능을 로봇에 담기 위한 도전

인간의 손은 정교한 구조와 유연한 구동 그리고 촉각 센싱의 절묘한 결합으로 놀라운 다재다능함을 보여줍니다. 수십 개의 관절과 근육, 힘줄이 만들어내는 탄성적 움직임 덕분에 우리는 계란껍질처럼 연약한 물체부터 단단한 도구까지 섬세하거나 강력하게 조작할 수 있죠. 또한 손바닥과 손가락 곳곳에 분포한 높은 밀도의 촉각 수용기는 접촉한 물체의 모양과 힘을 감지하여 정밀 제어를 가능케 합니다. 이러한 복합적인 능력을 기계로 구현하는 것은 로봇공학의 오랜 도전 과제였습니다.

기존의 로봇 손 연구들은 인간 손의 일부 측면만을 모방해왔습니다. 예를 들어, 완전 구동(fully-actuated) 로봇 손들은 모든 관절을 모터로 움직이지만 높은 기어 감속비로 인해 역구동성(backdrivability)이 낮고 외부 힘에 순응하지 못하는 경우가 많았습니다. 이는 충돌이나 외력에 취약하고 유연한 조작에 한계를 주죠. 반대로, 공기압이나 소프트 소재로 만든 유연 손(soft hand)들은 충격에는 강하지만 정교한 제어가 어렵고, 많은 자유도를 독립적으로 구동하지 못하는 문제가 있습니다. 또한 손 전체에 촉각 센서를 빽빽이 넣는 것은 더욱 어려워서, 기존에는 손가락 끝 일부에 저해상도 센서를 붙이는 정도에 그치거나 아예 촉각 없이 시각에 의존한 사례가 많았습니다. Dense한 촉각정보를 얻기 위한 시각 기반 촉각 센서(예: GelSight)를 손에 적용하려는 시도도 있었지만, 대체로 2~3자유도의 간단한 그리퍼나 손끝에 제한적으로 부착하는 수준이었죠.

왜 이런 요소들이 중요할까요? 로봇이 인간처럼 물체를 다루려면 충돌이나 큰 힘에도 부서지지 않는 하드웨어적 탄성이 필요하고, 정밀한 조작에는 촉각 피드백이 필수적입니다. 그리고 인간 손과 유사한 형태와 움직임 범위를 가지면 사람이 직접 로봇 손을 조종(teleoperation)하여 시범을 보이거나 학습 데이터를 수집하기도 수월합니다. 최근 인공지능 기술의 발전으로 로봇이 스스로 복잡한 조작을 학습하게 하려면, 대량의 시범 데이터와 실험을 버텨낼 튼튼하고 민감한 로봇 손이 요구됩니다.

EyeSight Hand는 이러한 요구를 모두 만족시키려는 야심찬 시도로 등장했습니다. 이 논문에서는 MIT와 Toyota Research Institute 연구진이 개발한 7자유도(7-DoF)의 인간형 로봇 손 EyeSight Hand를 소개합니다. 이 로봇 손은 다음과 같은 특징과 기여를 내세우고 있습니다:

• 준-직접 구동(quasi-direct drive) 방식을 인간형 손에 통합하여, 높은 힘과 속도를 내면서도 탄력적(compliant)으로 움직이는 구동계를 설계했습니다. 쉽게 말해, 사람 손가락처럼 외력이 가해지면 적절히 “물러주며” 부서지지 않고, 다시 빠르게 제자리로 움직일 수 있는 손가락입니다.
• 새로운 비전 기반 촉각 센서인 GelSim(ple)을 설계하여, 손가락과 손바닥을 포함한 손 전체 8군데에 고해상도 촉각 센싱을 구현했습니다. 사람으로 치면 손 끝뿐 아니라 손바닥까지 피부 감각을 부여한 셈입니다. 이 센서는 이전 세대 GelSight 수준의 민감도를 유지하면서도 여러 곡면 형태에 맞게 적용할 수 있고, 시뮬레이션으로도 재현하기 쉽게 만들어졌습니다.
• 이러한 구동계와 센서를 통합하면서도 손의 크기와 형태를 인간 손과 가깝게 디자인하였습니다. 그 결과 복잡한 좌표 변환 없이도 사람 손의 동작을 로봇 손에 직관적으로 대응시킬 수 있어, 특별한 장치나 복잡한 연산 없이도 장갑을 끼고 바로 로봇 손을 원격 조작할 수 있습니다.
• 끝으로, EyeSight Hand의 능력을 검증하기 위해 세 가지 도전적 작업(케찹 병 뚜껑 열기, 접시 밀어 집어 옮기기, 공작용 점토 자르기)을 설계하여 수백 회에 이르는 실험을 진행했고, 이 데이터를 활용해 모방 학습(imitation learning) 기반의 제어 알고리즘을 훈련했습니다. 특히 학습 과정에서 시각 정보 드롭아웃(vision dropout)이라는 기법을 도입하여, 로봇이 촉각 정보에 의존하도록 유도하였고, 그 결과 촉각 통합의 효과를 정량적으로 입증했습니다.

본 리뷰에서는 EyeSight Hand 논문의 핵심 내용과 그 의미를 로봇공학자의 시각에서 깊이 있게 분석하겠습니다. 우선 하드웨어 설계와 촉각 센서 기술을 살펴본 뒤, 제어 알고리즘과 학습 방법을 들여다보겠습니다. 이어서 실험 설정과 결과를 소개하며, 마지막으로 이 접근의 강점과 한계를 짚어보고 향후 발전 가능성을 논의하겠습니다. Richard Feynman 교수가 복잡한 개념을 알기 쉽게 풀어주듯, 최대한 친절하고 직관적인 설명을 곁들여보겠습니다.

방법: EyeSight Hand의 설계와 제어 기법

EyeSight Hand의 구조 설계와 준-직접 구동

EyeSight Hand의 목표는 인간 손의 운동 범위와 힘, 탄성을 최대한 구현하면서도 내구성과 정밀 제어를 양립하는 것이었습니다. 이를 위해 연구진은 인간 손의 운동학적 구조를 면밀히 분석하고 일부 절충을 선택했습니다. 인간 손은 각 손가락에 여러 관절이 있지만, EyeSight Hand에서는 설계 단순화를 위해 일부 관절을 생략했습니다. 예를 들어 검지와 중지에는 굽힘 관절인 PIP(근위지절관절)만 움직이고 그 끝 마디 DIP(원위지절관절)는 고정되어 있습니다. 또한 이들 손가락의 옆으로 벌리는 관절(MCP의 측면 회전)도 없습니다. 엄지의 경우도 마찬가지로, 손바닥과 만나는 기저 관절(MCP)을 생략하고 엄지 끝마디(IP)와 손목 쪽 안장관절(TM)만을 구현했습니다. 이러한 절충으로 EyeSight Hand는 총 7개의 자유도를 갖습니다 (검지 2, 중지 2, 엄지 3). 비록 인간 손보다 관절 수는 줄었지만, 핵심적인 집기와 쥐기 동작을 재현하기에는 충분하도록 설계되었습니다.

구동계(Actuation)는 EyeSight Hand의 가장 큰 혁신 중 하나입니다. 사람 손가락을 가만히 눌러보면, 끝마디 관절은 비교적 뻣뻣하게 버티지만 손가락 뿌리 관절은 물러나는 것을 느낄 수 있습니다. 이를 모방하여, EyeSight Hand는 한 손가락에 두 종류의 모터를 직렬로 배치했습니다. 작은 DC 모터가 고감속비의 웜기어(worm gear)를 구동하여 손가락의 PIP/IP 관절을 움직이고, 큰 BLDC 모터가 낮은 감속비(5.23:1)의 플래니터리 기어를 통해 MCP/TM 관절을 움직입니다. 이런 구성에서 손가락 끝 관절(PIP/IP)은 웜기어의 자기잠금 특성 덕분에 외력에 쉽게 밀리지 않고 버티는 반면, 손가락 뿌리 관절(MCP/TM)은 낮은 감속비 BLDC 덕분에 외력에 대해 쉽게 양보하며 뒤로 돌아가는 탄성을 보입니다. 마치 손가락 끝은 단단히 잡고, 손가락 뿌리는 스프링처럼 충격을 흡수하는 효과를 낸 것이죠. 이러한 준-직접 구동 방식은 손에 가해지는 큰 힘을 모터에 분산시키므로 고장에 강합니다. 실제로 웜기어는 높은 감속비로 큰 토크를 작은 공간에서 제공하며 스스로 잠겨(PIP 관절 고정) 충격을 BLDC로 전달해줍니다. BLDC 모터는 낮은 기어비로 인해 마찰과 관성이 작아 외력에 순응하고 역방향 구동이 용이하며, 플래니터리 기어 구조로 하중을 여러 기어에 분산하여 내구성을 높였습니다. 요약하면, 작은 모터+웜기어 조합이 강인한 힘과 고정성을, 큰 모터+저감속 기어가 빠른 응답성과 탄성을 담당하는 이원 구조입니다.

그림 1: EyeSight Hand의 기계적 설계. (a) 인간 손과 EyeSight Hand의 크기 비교 – 인간 손에 비해 약간 작지만 비슷한 비율을 가짐. (b) EyeSight Hand의 외형과 주요 치수. (c) 검지/중지의 내부 구조: 초록색으로 표시된 작은 DC 모터+웜기어가 PIP 관절을 구동하고, 노란색으로 표시된 BLDC 모터(5:1 기어감속)가 MCP 관절을 구동함. (d) 엄지의 내부 구조: DC 웜드라이브가 엄지 IP 관절을, BLDC 모터가 엄지의 안장관절(TM)의 두 축을 동시에 구동하도록 설계됨. 이처럼 하나의 손가락에 서로 다른 특징의 구동기를 배치하여 힘과 속도, 탄성을 모두 만족시킨다.

이 구동계의 성능은 인상적입니다. 손가락 끝으로 지속적으로 19N 정도를 눌러도 견딜 수 있고, 최대 57N의 힘까지 내며, 최대 속도는 분당 420회전(RPM)에 달합니다. 이는 인간 손가락의 힘과 속도 범주에 근접한 수치입니다. 무엇보다도, 고토크 구동기의 여유로운 사양 덕분에 연속 작동시 발열이나 과부하 없이 안정적으로 동작합니다. 기존 소형 서보 기반 손들이 지속 구동시 과열되거나 큰 힘에서 기어가 손상되기 쉬웠던 것과 대조적이죠. EyeSight Hand는 낮은 가격(부품비 \$2500 이하)으로 이러한 성능을 달성하여, 연구 목적으로 대량의 실험을 견딜 수 있는 실용적인 플랫폼을 제시했습니다.

마지막으로, EyeSight Hand는 튼튼한 직동 연결과 링크기구로 관절을 구동하여, 복잡한 텐던(힘줄) 구동을 쓰는 로봇 손들보다 구조적 견고함이 높습니다. 텐던을 사용하는 Shadow Hand 등의 플랫폼은 여러 자유도를 제공하지만 줄이 끊어지거나 마찰로 마모되기 쉬워 신뢰성이 떨어졌는데, EyeSight Hand는 직결 구동으로 이러한 문제를 감소시켰습니다. 물론, 현재는 검지와 중지만 구현되었고 약지나 새끼손가락은 없어 완전한 오지(五指)는 아니지만, 연구진은 향후 추가적인 손가락을 붙여 나갈 계획이라고 밝히고 있습니다.

통합 비전 기반 촉각 센서: GelSim(ple)

EyeSight Hand의 또 하나의 눈에 띄는 특징은 손 전체를 감싸는 촉각 피부입니다. 손바닥부터 손가락 마디 마디까지 7개의 촉각 센서면이 분포되어 있고, 이로부터 8개의 영상이 실시간으로 입력됩니다. (손가락 마디마다 한 개씩, 손바닥에 두 개의 센서가 있다고 생각하면 됩니다.) 이는 마치 로봇 손 표면 아래에 작은 카메라들을 넣어둔 것과 같습니다. 물체와 접촉하면 젤리 같은 투명층이 눌리면서 그 변형이 카메라 영상으로 포착되는데, 이 영상에는 접촉한 물체의 미세한 형상 정보와 힘 분포가 담겨 있습니다. 사람의 피부가 신경 신호로 접촉을 느끼듯이, EyeSight Hand는 카메라 영상을 통해 촉각을 “시각적으로” 감지하는 것이죠.

하지만 기존의 GelSight 계열 센서를 그대로 손가락마다 넣기는 어려웠습니다. GelSight는 일반적으로 세 가지 색상의 LED 조명을 서로 다른 방향에서 비추어 물체의 3차원 형상을 추정하는데, 센서가 평평한 경우에 적합하지 굽은 손가락에는 적용이 힘들고 구조가 복잡해집니다. 또한 그림자가 생기기 때문에 이를 시뮬레이션으로 모사하기도 까다롭죠. 연구진은 이러한 문제를 해결하기 위해 GelSim(ple)라는 단순화된 촉각 센서 설계를 고안했습니다.

GelSim(ple)의 핵심 아이디어는 조명 방식을 바꾸는 것입니다. 센서 표면에 고르게 밝기를 주기 위해, 여러 색을 쓰는 대신 투명한 확산판(diffuser)의 주변을 하얀 LED로 둘러싸 측면에서 균일하게 밝히는 방법을 사용했습니다. 이렇게 하면 센서 표면 전체에 그림자 없이 고른 조명이 들어옵니다. 표면에는 약간의 반사성 코팅(half-mirror)을 해서 눌린 부분의 밝기 변화로도 형태를 알 수 있도록 했습니다. 요약하면, 한 가지 색 광원으로 위에서 비추는 효과를 내주어, 접촉 형상의 윤곽을 선명하고 단순하게 포착하도록 한 것이죠. 덕분에 출력 영상은 사실상 단일 채널(gray-scale)로 충분했고, 데이터 전송량도 줄였습니다.

또한 이 접근은 시뮬레이션을 쉽게 해줍니다. 색상이 단순하고 그림자가 없으니, 센서 표면의 변형 → 영상 밝기 매핑을 학습된 MLP 모델로 가까스로 추정할 수 있습니다. 연구진은 물체로 눌린 센서의 표면 법선 벡터와 카메라 시야각 등을 입력하면 픽셀 RGB값을 예측하는 작은 신경망을 훈련하여, 실제 센서 영상과 유사한 출력을 내도록 했습니다. 이로써 가상 환경에서 촉각 센서 출력을 흉내낼 수 있어, 추후 시뮬레이션-현실 전이(sim2real) 연구에도 활용할 수 있는 기반을 마련했습니다.

그림 2: EyeSight Hand에 통합된 GelSim(ple) 촉각 센서 구조. (a) 센서 모듈의 폭발도와 크기: 22×23 mm 크기의 베이스에 높이 37.5 mm의 돔 형태로, 어안 카메라(검정색)와 이를 감싸는 카메라 홀더(회색), 주변을 둘러싼 COB LED 스트립(노란색)과 차광판(blinder), 반구형 확산판(diffuser), 그리고 투명 실리콘 젤(PDMS)에 반반사 코팅(semispecular coating)을 한 센싱 표면으로 구성된다. (b) GelSim(ple) 센서 출력 예시: 위 행은 실제 센서에 물체를 눌렀을 때 얻는 촉각 영상이고, 아래 행은 동일 변형을 시뮬레이션으로 예측한 영상이다. 동그라미, 삼각형, 사각형 모양의 물체를 눌렀을 때의 자국이 실제와 시뮬레이션에서 유사하게 나타남을 볼 수 있다. 이런 1채널 영상으로도 접촉 지형을 읽어낼 수 있으며, 그림자 등이 없기에 시뮬레이터로 학습된 모델이 픽셀 단위로 RGB 값을 비교적 정확히 추정해낸다.

센서 하드웨어 구현을 자세히 들여다보면, Raspberry Pi 카메라 모듈 (Arducam IMX219)에 220도 어안 렌즈를 달아 넓은 시야로 젤 표면을 관찰합니다. 카메라는 3D 프린트된 손가락 뼈대에 끼워 넣고, 그 앞에 LED를 두른 확산판+젤 구조물을 나사로 고정합니다. LED는 폭 3mm의 얇은 COB LED 스트립을 잘라서 센서 둘레 모양대로 붙였고, 그 앞으로 불필요한 광이 새지 않도록 차광판을 덮었습니다. 젤은 투명 실리콘(SILICONE XP-565)을 굳혀 만들고, 표면에 미세 알루미늄 입자가 섞인 반투명 잉크 코팅을 입혀서 반짝임과 확산 특성을 조절했습니다. 각 카메라는 Arducam 다중 카메라 어댑터 (CamArray HAT)를 통해 라즈베리파이 4 두 대에 4개씩 나뉘어 연결되어, 총 8개의 촉각 영상이 동기화되어 수집됩니다. 해상도 640x480의 영상을 각 Pi에서 60Hz로 스트리밍하면, 호스트 PC에서는 약 30Hz로 모든 촉각/카메라/관절 데이터를 모아 사용했습니다. 이러한 시스템 구성은 실시간으로 풍부한 촉각+시각 데이터를 취득하기 위함으로, EyeSight Hand가 단순히 하드웨어가 아니라 데이터 수집 플랫폼으로도 최적화되었음을 알 수 있습니다.

제어 알고리즘: 모방 학습 기반의 멀티모달 정책

하드웨어가 준비되었다면, 이제 이 손을 어떻게 움직일 것인가가 과제입니다. EyeSight Hand 논문의 중요한 축은 데이터를 통해 학습된 정책(policy)으로 복잡한 작업을 수행하는 것입니다. 사람 손처럼 섬세한 제어를 일일이 수식 모델로 설계하기는 어려우므로, 모방 학습을 통해 사람이 시연한 행동을 로봇이 배우도록 했습니다. 특히 이 연구에서는 ACT (Action Chunking with Transformers)라는 최신 기법을 활용했는데요, 이를 간단히 풀어보겠습니다.

ACT는 조건부 변분 오토인코더(CVAE) 구조를 가진 생성 모델의 하나입니다. 복잡하게 들리지만, 쉽게 말해 시범 데이터(사람의 원격조작 행동)를 보고 그와 비슷한 행동 시퀀스를 생성할 수 있도록 학습하는 신경망입니다. 구체적으로는, 인코더 네트워크가 시범 행동의 “스타일”을 하나의 잠재 벡터 z로 압축하고, 디코더 네트워크(정책)가 현재 관측을 보고 이 z에 따라 앞으로 취할 일련의 행동들을 예측합니다. 여기서 z는 사람이 같은 목표를 달성해도 약간씩 다른 궤적을 보일 수 있는 다양성을 표현해주며, 일종의 숨겨진 의도나 방식을 상징합니다. 따라서 이 모델은 하나의 관측 상황에 대해 여러 합리적인 행동 경로를 생성할 수 있고, 데이터에 내재된 다양한 인간 전략을 모방할 수 있습니다.

정책 네트워크 구조는 여러 종류의 입력을 처리하도록 구성되었습니다. 전역 카메라 영상(외부에서 본 장면)과 손목 카메라 영상(로봇 팔에 달린 어안 카메라)은 Vision 인코더(ResNet-18)를 거쳐 특징을 뽑아내고, 8개의 촉각 영상은 4장씩 묶어 만든 두 장의 “슈퍼 이미지”를 Tactile 인코더(또 다른 ResNet-18)로 처리해 특징을 얻습니다. 여기에 EyeSight Hand와 로봇 팔(UR5)의 관절각도들이 하나의 벡터로 함께 결합됩니다. 마지막으로 앞서 말한 스타일 잠재 변수 z까지 이 모든 정보를 Transformer 네트워크에 입력하면, 앞으로 몇 개의 시간 스텝에 걸쳐 로봇이 취할 미래의 관절 명령 시퀀스를 출력합니다. 이때 Transformer는 시퀀스 데이터를 잘 학습하기 위한 딥러닝 모델인데, 흔히 자연어 처리에 쓰이는 것을 로봇 행동 예측에 응용한 것입니다. 한 번 예측으로 최대 20 스텝 분량의 행동을 내다보게 했는데, 이론적으로 약 1.3초 분량을 미리 계획하는 셈이며, 제어 주기는 15Hz (0.067초마다 새 계획)로 설정되었습니다. 이는 로봇이 단순히 현재 오차를 바로잡는 반응형 제어가 아니라, 앞으로의 동작을 사람처럼 부드럽게 이어나가는 데 도움이 됩니다.

그림 3: EyeSight Hand 제어 정책(ACT 기반)의 입력과 모델 구조. 상단은 정책망에 들어가는 여러 센서 관측들로, 전역 카메라 영상과 손목 카메라 영상, 그리고 8개의 촉각 영상들이 4개씩 두 묶음으로 합쳐져 있습니다. 시각 영상들은 공유된 Vision 인코더(초록색 네트워크 아이콘)로 처리되고, 촉각 영상 묶음들은 Tactile 인코더(주황색 아이콘)로 특징을 추출합니다. 추출된 시각 특징 (녹색), 촉각 특징 (주황색), 그리고 로봇 팔+손의 관절각 정보(회색)를 모두 Transformer 인코더에 투입합니다. 이 Transformer의 디코더 부분은 각 시간 단계별 포지션 임베딩(파란색)을 참고하여 다음 여러 시점의 행동을 순차적으로 만들어냅니다. 이때 스타일 변수 z(분홍색)가 디코더에 영향을 주어, 행동 시퀀스의 전반적인 패턴을 결정합니다. 최종 출력은 향후 몇 개 스텝에 대한 로봇 손 관절 명령 시퀀스(노란색)입니다. 학습 시에는 CVAE 구조 덕분에 사람이 보인 실제 행동 시퀀스와 생성한 시퀀스가 유사해지도록 훈련되고, 실행 시에는 관측에 맞는 적절한 행동을 생성하게 됩니다.

눈치채셨겠지만, 이 정책망은 카메라로부터 보이는 것(vision)과 손이 느끼는 것(tactile)을 모두 활용하는 멀티모달 통합 구조입니다. 그렇다면 두 감각 중 무엇을 더 신뢰하게 될까요? 사람도 처음 할 때는 눈으로 보지만, 막상 보이지 않는 상황에선 감각으로 손끝의 힘을 조절하곤 합니다. 연구진은 초기 실험에서 시각+촉각 모두 입력한 모델이 정작 촉각 신호를 무시해버리는 경향을 관찰했습니다. 아무래도 영상 정보만으로도 어느 정도 판단이 가능하니, 네트워크가 촉각의 미묘한 신호 대신 시각에 의존하려 한 것이죠. 이를 해결하기 위한 기발한 트릭이 Vision Dropout입니다. 학습 단계에서 30% 확률로 카메라 영상을 아예 깜깜하게(0으로) 만들어 버리는 것입니다. 한마디로 로봇을 눈감고 연습시키는 셈이죠! 그렇게 하면 가끔씩은 오직 촉각 정보에 의존해서도 임무를 수행해야 하므로, 정책망이 촉각의 유용한 특징을 잡아내는 법을 배우게 됩니다. 당연히 테스트(실제 실행)할 때는 시각을 제대로 넣어주지만, 이미 촉각의 중요성을 학습한 덕분에 두 감각을 모두 활용하는 균형 잡힌 판단을 하게 됩니다.

학습 과정은 수집한 시범 데이터 300개(각 작업별 100개)로 위의 ACT 네트워크를 교사 강요(supervised learning) 방식으로 훈련하는 것이었습니다. 각 시간의 관측(시각+촉각+관절)과 그 다음에 인간 조종자가 취한 행동(로봇 팔/손 관절 속도 명령 시퀀스)을 묶어 주어진 데이터로, 평균제곱오차 등 손실을 최소화하도록 네트워크 파라미터를 업데이트 합니다. 500 epoch에 걸친 훈련 끝에, 주어진 관측을 보고 사람처럼 행동을 예측하는 정책이 완성되었습니다. 요약하면, EyeSight Hand의 두뇌는 사람의 시연을 본떴지만 카메라와 피부감각을 고루 활용하는 학습된 신경망인 것입니다.

실험: 학습을 통한 세 가지 작업 수행

연구진은 EyeSight Hand의 성능을 검증하기 위해 세 가지 대표 작업을 설정했습니다. 각각 도구 사용, 비전+촉각 통합, 힘 조절이 필요한 과제들로, 구체적으로는 (1) 병뚜껑 열기, (2) 접시 밀어서 집어 옮기기, (3) 공작용 점토 자르기입니다. 이 작업들은 모두 일상에서 인간이 손재주를 발휘하는 장면들인데, 로봇 손에게는 상당히 까다로운 도전입니다. 한 번씩 내용을 살펴보죠.

• 병뚜껑 열기 (Bottle Opening): 로봇은 책상 위에 놓인 케찹 병의 뚜껑을 열어야 합니다. 전략은 먼저 병의 몸통을 잡고 고정한 후, 엄지손가락으로 뚜껑을 들어올려 젖히는 것입니다. 병이 고정돼있지 않아 힘을 주면 밀려나기 때문에, 검지, 중지, 손바닥으로 병을 위에서 누르며 꽉 잡아야 합니다. 그 상태에서 엄지의 끝 촉각센서가 뚜껑 가장자리에 닿으면, 지렛대처럼 힘을 가해 뚜껑을 열고 완전히 뒤로 젖혀야 성공으로 간주됩니다. 이 과정에서 뚜껑을 정확히 물고 들어올리는 촉각, 또 병이 미끄러지지 않게 눌러주는 힘 조절이 핵심입니다.

• 접시 밀어서 집어 옮기기 (Plate Pick & Place): 두 개의 접시가 포개져 폼 블록 위에 놓여있습니다. 로봇은 맨 위 접시 하나를 옆으로 밀어 밑의 접시와 어긋나게 만든 후, 집게처럼 잡아 들어 올려 옆에 내려놓아야 합니다. 이 작업은 한 손으로 두 장의 접시를 다루는 교묘한 기술을 요합니다. 처음에 적당한 힘으로 윗접시를 밀어내야 하는데, 너무 약하면 접시가 안 움직이고, 너무 세면 아래 접시까지 함께 미끄러져버립니다. 다행히 살짝 어긋나면 로봇의 검지와 중지로 윗접시를 집을 수 있게 되고, 안정적으로 집은 채 들어 올려 옆에 내려놓으면 완료입니다. 이 과정에서는 마찰력에 기반한 미끄럼 제어, 충분한 촉각 피드백을 통한 힘 조절, 그리고 접시를 잡은 후 안정적인 파지(grasp)가 모두 필요합니다.

• 점토 자르기 (Plasticine Cutting): 작업대 위 작은 상자 안에 칼이 놓여있고, 그 옆 도마 위에 점토(plasticine) 롤이 있습니다. 로봇은 먼저 상자에서 칼을 뽑아 들고, 이어서 칼로 점토를 절단해야 합니다. 성공 조건은 점토를 완전히 두 동강내는 것입니다. 하지만 칼질을 세게 하면 점토는 잘릴지 몰라도 밑의 도마나 칼집 상자가 밀려날 수 있습니다(이들은 테이블에 고정되어 있지 않습니다). 또, 절단이 반쯤 되고 멈추면 표면상 거의 잘린 것처럼 보일 수도 있어서, 시각만으로는 성공 여부를 판단하기 어렵습니다. 이 시나리오는 도구 사용과 정교한 힘 가하기를 동시에 시험하며, 특히 촉각으로 완전히 잘렸다/안 잘렸다를 느끼는 능력이 중요합니다.

이 세 작업을 위해 연구진은 UR5 로봇 팔 끝에 EyeSight Hand를 장착한 시스템을 구축했습니다. 원격 조작(teleoperation) 방식으로 사람이 직접 로봇을 움직여 각 작업의 시범 데이터를 모았는데, 사람 손과 로봇 손의 구조가 다르기 때문에 이를 맞춰주는 특별한 기법을 사용했습니다. 사람은 엄지, 검지, 중지 손톱 부근과 손등에 4개의 소형 위치/자세 트래커(trakStar 자기 센서)를 부착하고, 가상의 물체를 조작하듯 손을 움직였습니다. 이 네 지점의 6-자유도 위치 자세를 로봇 손의 손가락 끝과 손바닥 좌표에 실시간으로 매핑하기 위해, TSV(Task Space Vector) 최적화 알고리즘을 활용했습니다. 간단히 말해, 인간 손의 손가락 끝들 간 상대 벡터와 로봇 손의 손가락 끝들 간 상대 벡터가 최대한 일치하도록 목표 함수를 세우고, 순차적 2차 프로그래밍(SLSQP)으로 매 시각 로봇 관절각을 푸는 방식입니다. 이 계산은 JAX로 자동미분을 활용해 125Hz의 빠른 속도로 실행되었고, 결과적으로 사람이 손을 움직이는 대로 로봇 손이 거의 동시추종하도록 만들었습니다. 이러한 원격 조작 시스템을 통해 각 작업마다 100개씩의 Demonstration (로봇 팔/손의 관절 데이터, 촉각/시각 센서 데이터, 등)을 수집했습니다.

데이터를 모은 후에는 이전 절에서 설명한 모방 학습(IL) 절차로 정책 모델을 학습시켰습니다. 학습된 정책은 관찰(전역카메라, 손목카메라 영상 + 촉각영상 + 관절각)을 받아 다음 행동(UR5와 손의 관절 위치 변화 명령 시퀀스)을 출력하고, 이는 저수준 제어기(moteus BLDC 컨트롤러 등)에 의해 토크/속도 제어로 실행되었습니다. 최종적으로 로봇은 사람 개입 없이 이 정책을 실행하여 주어진 작업을 수행하게 됩니다.

flowchart TB
    subgraph collect["데이터 수집"]
        user[사람 조종자] -- 장갑 센서 --> robot[EyeSight Hand]
        robot -- 다회 시연 --> demos[데모 데이터셋]
    end
    subgraph train["모방 학습"]
        demos ==> model[ACT 정책 모델]
        model --- dropout[Vision Dropout 적용]
    end
    subgraph deploy["학습된 정책 실행"]
        env[환경] -- 센서 관측 --> model
        model -- 관절 명령 --> hand[EyeSight Hand]
        hand -- 상호작용 --> env
    end

Diagram: 사람 조종자가 EyeSight Hand를 원격 조작해 다수의 시범 데이터를 모으고, 이를 토대로 Transformer 기반 ACT 정책을 훈련한다. 학습 시 Vision Dropout 기법을 사용하여 정책이 촉각 정보도 활용하도록 유도한다. 이후 학습된 정책 모델이 실시간 관측(시각+촉각)을 받아 다음 행동(팔과 손의 움직임)을 예측하며, 로봇 손이 실제 환경에서 작업을 수행한다.

실험 결과: 촉각 통합의 위력

학습된 정책들을 검증하기 위해, 연구진은 세 가지 변형된 모델을 준비하여 각각 10회의 시험을 수행했습니다:

1. Vision-Only: 카메라 영상(전역 + 손목) 입력만 받고 촉각은 무시한 정책
2. Vision+Tactile (Vanilla): 카메라 + 촉각 모두 입력하지만 드롭아웃을 쓰지 않고 학습한 정책
3. Vision+Tactile (Dropout): 카메라 + 촉각 입력, 학습 시 30% 확률로 영상 차단하여 촉각 활용을 끌어올린 정책

각 모델로 동일한 작업을 수행해본 결과는 성공률의 형태로 요약될 수 있습니다:

작업 종류	Vision-Only 성공률	Vision+Tactile (일반)	Vision+Tactile (드롭아웃)
접시 옮기기	50%	100%	100% (동일)
점토 자르기	50%	70%	90%
병뚜껑 열기	0%	0%	30%

위 표에서 알 수 있듯, 촉각 정보를 사용하기 시작하면서 성능이 큰 폭으로 향상되었습니다. 특히 Vision-Only 모델은 병뚜껑 열기의 경우 단 한 번도 성공하지 못했는데, 이는 카메라 영상만으로는 뚜껑이 제대로 잡혔는지, 얼마나 힘을 줘야 하는지 감이 오지 않기 때문입니다. 촉각이 없었던 이 모델은 엉뚱한 힘 방향으로 밀거나 아예 접촉을 놓쳐버려, 엄지손가락이 뚜껑에서 미끄러지는 실패가 반복되었습니다. 반면 촉각 통합 모델은 30%의 성공률이지만 몇 차례는 확실히 뚜껑을 여는 데 성공했습니다. 눈으로는 잘 안 보이는 뚜껑과의 접촉 감각을 손끝 카메라로 느끼며 적절한 힘과 각도로 들어올린 덕분입니다.

접시 옮기기 작업의 경우, Vision-Only 모델도 50%는 성공했으나 절반은 실패했습니다. 실패한 경우를 보면, 처음에 접시에 접촉을 못 하거나 힘이 약해 계속 헛미끄럼질만 하거나, 접시는 들었지만 충분히 꽉 쥐지 못해 옮기는 중 떨어뜨리는 일이 있었습니다. 이러한 문제는 촉각 센싱을 추가하자 말끔히 해소되어 100% 성공률을 보였습니다. 로봇이 접시에 닿았는지, 미끄러지는지 즉각 느끼고 힘을 조절한 덕분입니다. 애초에 이 작업은 시각으로 접시의 미끄러짐을 판단하기 어려운데, 촉각 덕분에 “밀리는 정도”를 감지하고 힘 조절을 할 수 있었던 것이죠. Vision+Tactile 모델은 이미 완벽했기에 드롭아웃의 유무 차이는 없었습니다 (100%로 동일).

점토 자르기에서는 차이가 더욱 극명했습니다. Vision-Only는 50% 성공에 그쳤는데, 실패한 절반에서는 점토를 끝까지 자르지 못한 경우가 대부분이었습니다. 잘린 정도가 살짝 남았어도 겉모습상 거의 잘린 것처럼 보이니, 시각 정보만으로는 완료 여부를 확신하기 힘들었던 것입니다. 또한 간혹 완전히 자르긴 했으나 힘을 너무 줘서 도마째 밀려나버리는 경우도 있었습니다. 반면 촉각을 넣은 모델은 70%로 성공률이 크게 올랐고, Vision 드롭아웃까지 적용한 모델은 90%까지 성공률이 향상되었습니다. 촉각을 쓴 모델들은 부분 절단 vs 완전 절단의 미묘한 차이를 손끝으로 느껴서 끝까지 힘을 가해 마무리할 수 있었고, 너무 과도한 힘으로 눌러 도마가 밀리는 일도 크게 줄었습니다. 특히 드롭아웃을 쓴 모델은 실패 케이스가 거의 없을 만큼 촉각 의존적으로 안정된 동작을 보여주었습니다. 이는 훈련 시 의도적으로 눈을 감긴 효과가 나타난 것으로, 동일한 촉각 상황에서 굳이 시각 정보를 찾지 않고도 잘 수행한 덕분입니다.

결과적으로 “눈과 피부를 함께 쓴 로봇 손”이 얼마나 더 뛰어난지 수치로 증명되었다고 할 수 있습니다. Vision-Only에 비해 Vision+Tactile(드롭아웃) 정책은 세 작업 모두에서 월등한 안정성과 성공률을 보였습니다. 연구진은 실패 사례의 상세 분석을 통해 촉각의 이점도 짚었는데, 공통적으로 시각으로 구분 어려운 미세한 접촉 상태를 촉각이 해결해주었다는 점을 강조했습니다. 접시를 밀 때 힘이 부족한지, 칼이 점토를 다 베었는지, 뚜껑이 제대로 걸렸는지 등은 모두 카메라 영상만으로 애매한 반면 촉각센서로는 명확히 구분되는 상황이었습니다. 또한 드롭아웃 전략은 단순하면서도 효과적이어서, 멀티모달 학습에서 한 쪽 감각에 치우치지 않게 만드는 좋은 방법임을 보여주었습니다.

마지막으로, 인간 조종에 의한 원격 조작 vs 학습된 정책의 성능은 어떻게 비교될까요? 논문에서는 정책의 절대적인 성공률만을 보고 있지만, 100개의 시범 데이터를 만들었다는 것은 사람도 몇몇 실패를 했을 가능성을 내포합니다. 실제로 수백 번의 시도 중 몇 번은 사람 실수나 로봇 지연으로 실패가 있었을 수 있지만, 전반적으로 인간은 높은 성공률로 시연을 했겠죠. 흥미로운 점은, 충분한 데이터를 모으고 나니 AI 정책이 일부 작업에서는 인간만큼, 혹은 더 나은 일관성을 보인다는 것입니다 (예: 접시 100%). 반면 병뚜껑 열기처럼 매우 어려운 작업은 아직 인간만큼 완벽히 배우지는 못했습니다 (30%). 이는 데이터의 한계와 모델의 한계가 모두 작용한 결과로 보입니다. 병뚜껑 열기는 100개 시연으로는 부족할 수도 있고, 개폐의 물리적 난이도가 높아 미세한 전략까지 학습되진 않은 듯합니다. 그럼에도, 이 정도 복잡한 실제 작업을 사람이 가르친 대로 해낸 사례는 드물기에 로봇공학 커뮤니티에 시사하는 바가 큽니다. 학습된 로봇 손이 시각+촉각을 통해 인간 수준의 섬세함에 한 걸음 다가섰음을 보여준 것이죠.

비판적 고찰: 무엇이 뛰어나고, 무엇이 남았나

지금까지 EyeSight Hand의 설계와 성능을 살펴보았습니다. 그렇다면 이 접근의 매력은 무엇이고, 한계는 어떤 것이 있을까요? 또한 관련 연구들과 비교했을 때의 위치도 짚어보겠습니다.

1) 혁신과 강점: EyeSight Hand의 가장 큰 공헌은 로봇 손의 세 가지 핵심 요소 – 구조, 구동, 센싱 –를 일체화하여 최적화한 점입니다. 기존에 나온 로봇 손들은 각기 일부 요소에 집중했지요. 예컨대 Shadow Hand는 높은 자유도를 구현했지만 복잡한 텐던구동으로 신뢰성 문제가 있었고 가격이 매우 높았습니다. Allegro Hand는 비교적 저렴하고 직접 구동했으나 작은 서보모터들의 한계로 강한 힘을 못 내고 잘 고장났습니다. 최근 MIT 등에서 나온 일부 손들은 링크구조로 강도를 높였지만 동작 속도가 느려 실시간 조작에 어려움이 있었고요. 그런 면에서 EyeSight Hand는 적당한 자유도(7 DoF)에 강인한 링크+기어 구동, 사람 수준의 힘/속도, 손 전체의 고해상도 촉각까지, 균형 잡힌 설계를 보여줍니다. 특히 $2500 이하의 비용으로 만든 점은 실험실에서 수십, 수백 번 부딪혀도 부담 없이 쓸 수 있는 플랫폼이라는 뜻이고, 이는 로봇 학습 연구의 데이터 수집 문제를 크게 개선합니다. 쉽게 망가지는 비싼 손은 함부로 많은 시도를 못하지만, EyeSight Hand는 튼튼하고 저렴하기에 대량 실험을 견딜 수 있습니다. 실제 논문에서도 “대규모 데이터 수집에 충분히 robust하다”는 표현으로 이러한 강점을 밝히고 있습니다.

또 다른 혁신은 GelSim(ple) 센서입니다. 기존 GelSight류 센서는 손가락 끝에 제한적으로 사용되었고, 해상도는 높아도 여러 개를 쓰기 어려웠습니다. EyeSight Hand는 손가락 두 마디와 손바닥을 모두 감싸는 8개의 센서를 동기화함으로써, 실질적으로 손 전체 피부를 시각화한 셈입니다. 이는 촉각 연구자들이 오랫동안 꿈꾸던 “로봇에 온몸의 피부감각 부여”를 부분적으로나마 현실화한 것으로 평가할 수 있습니다. GelSim(ple)은 단순 조명과 확산판을 활용한 영리한 설계로, 굽은 표면에도 균일 조명을 제공하고, 센서마다 다양한 모양으로 만들어도 일관된 출력 품질을 낼 수 있게 했습니다. 또한 1채널 출력과 간소화된 시뮬레이션 모델은 향후 가상 데이터로 학습하거나 시뮬레이터로 로봇을 훈련시키는 시도를 용이하게 할 것입니다. 논문에서는 이를 직접 실행하진 않았지만, 제시된 MLP 기반 렌더링 기법은 촉각 데이터를 대량으로 가상 생성해볼 수 있는 가능성을 열었습니다.

학습 측면에서도, 멀티모달 학습과 드롭아웃 기법의 조합은 강력한 메시지를 줍니다. 단순히 센서가 좋다고 로봇이 잘 쓰는 것이 아니다는 점이죠. 학습 알고리즘을 적절히 설계해야 로봇이 유의미한 촉각 특징을 학습하고 활용할 수 있습니다. Vision dropout이라는 비교적 단순한 테크닉으로도 촉각 활용도를 크게 높였다는 것은, 앞으로 모달리티 간 attention 조정이나 학습 스케줄링 등을 통해 더 영리하게 여러 감각을 통합하는 방법이 있을 것임을 시사합니다. 또한 ACT 모델을 적용하여 시퀀스 예측을 도입한 것은, 실시간 제어를 좀 더 계획적이고 안정되게 만든 측면이 있습니다. 기존의 Behavior Cloning이 즉각적인 다음 행동만 내다보는 것에 비해, 일정 구간 미래를 내다보면 흔들림이나 지터를 줄이고 의미있는 행동의 흐름(chunk)을 유지할 수 있으니까요. 이는 향후 강화학습(RL)이나 다른 최적화와 결합할 때도 유용한 구조일 것입니다.

2) 한계와 개선 방향: 아무리 좋은 연구에도 아쉬운 부분은 있게 마련입니다. 우선 EyeSight Hand 자체의 하드웨어적 한계로는, 자유도 부족과 구동 연쇄의 제약을 들 수 있습니다. 7 DoF로 검지, 중지, 엄지만 구현된 형태라 나머지 손가락(약지, 소지)이 없습니다. 이는 특정 파지나 도구 조작에 제한을 줄 수밖에 없습니다. 예를 들어 병뚜껑 열기에서도 원래 사람이면 양손으로 하거나, 한 손으로도 엄지-검지-중지 조합 외에 손바닥으로 병을 감싸 쥐는데, 로봇은 검지+중지+손바닥 면적으로 버티느라 다소 불안정해 보였습니다. 약지나 소지, 혹은 손목 회전 등이 있었다면 더 수월했을 겁니다. 연구진도 결론에서 향후 손가락을 추가하여 완전한 인간 손 형태로 확장할 뜻을 밝혔습니다.

또, 엄지의 경우 MCP 관절이 없고 안장관절(TM)의 두 축을 한 모터로 구동하는 특이한 설계였는데, 이는 엄지의 독립적 움직임을 제한합니다. 인간 엄지는 손바닥 쪽으로 굽히는 것(flexion)과 손바닥 평면에서 벌어지는 것(abduction)을 별개로 할 수 있지만, EyeSight Hand 엄지는 아마 결합된 움직임만 가능합니다. 즉, 엄지가 한 가지 궤적을 따라서만 움직여서, 세밀한 조형(grasp shape)의 다양성은 떨어질 수 있습니다. 이 역시 추후 듀얼 모터 구동으로 개선될 수 있는 부분입니다.

센서 측면에서는, 8개의 카메라를 실시간으로 다루는 시스템 통합의 복잡도와 데이터 처리 비용이 생각됩니다. 라즈베리파이 2대와 ZeroMQ로 스트리밍하는 등 꽤 공들여 세팅했는데, 이는 일반 연구자가 동일 플랫폼을 활용하려면 다소 번거로운 부분일 것입니다. 또한 촉각 영상을 8개나 넣다보니, 정책 입력 차원이 매우 높아 학습 부담도 큽니다. 본 연구에서는 ResNet-18로 각각 인코딩해 병합했지만, 만약 손가락이 더 늘어나거나 카메라 해상도를 높이면 현 접근은 한계에 부딪힐 수 있습니다. 효율적인 피처 압축이나 중요 센서 선택 등이 향후 과제로 떠오를 수 있죠. 다행히 dropout 기법 등으로 모델이 필요한 정보만 취하도록 유도했지만, 보다 구조적으로 멀티모달 표현 학습을 향상시키는 연구의 여지가 많습니다.

학습 알고리즘 면에서 보자면, 이번 연구는 오프로라인 모방학습(offline IL)으로 수행되어, 시범의 분포 밖 상황이나 실패 복구에 약할 수 있습니다. 실제로 결과에서도 병뚜껑 열기는 30% 성공에 머물렀는데, 실패 사례에서 한번 놓친 뚜껑을 다시 잡으려 시도한다든가 하는 재시도 전략은 없었습니다. 이는 IL의 한계로, 한번 잘못되면 계속 오프 정책으로 밀고 나가기 때문입니다. 강화학습(RL)이나 online 러닝을 접목하면 실패를 줄일 수 있겠지만, 이는 또 많은 시도가 필요하죠. 다행히 EyeSight Hand는 튼튼하니 RL을 해볼 수도 있겠습니다만, 8개 촉각 센서의 시뮬레이터까지 포함하여 학습하려면 계산량이 상당할 것입니다. 이 부분은 현실과 시뮬레이션의 병행이나, 인간의 추가적인 교정 피드백 등을 섞는 방법 등으로 개선 가능해 보입니다.

관련 연구와 비교하면, EyeSight Hand는 “만능 통합” 지향으로 차별화됩니다. 최근 All-While-Feeling 손(Ars Electronica 2024)이라든가 Digit 관절 손가락 등의 연구가 촉각을 크게 부각시켰지만, 이들은 주로 2-3 자유도 그리퍼 수준이었습니다. 반면 EyeSight Hand는 7 DoF로 더 복잡한 형상을 지니고, 전체 표면 촉각을 갖췄다는 점에서 앞서갑니다. Shadow Hand 등에 외부 촉각 센서를 붙인 시도도 있었으나 자유도가 높아도 센서 해상도가 낮았고, 모방학습까지 연결한 경우는 찾아보기 어려웠습니다. 또한 OpenAI의 Dactyl 같은 유명한 사례는 순전히 인공지능의 성과지만, 촬영된 손가락 위치를 믿고 RL을 한 것으로 촉각이 없었고 실제론 수만번 시뮬레이션한 끝에 간신히 실행한 것이었습니다. EyeSight Hand는 현실 세계에서 사람이 시연한 것만으로 학습을 했다는 점에서 데이터 효율성과 실용성을 보여줍니다. DexMV 같은 연구가 비디오에서 인간 손 움직임을 추정해 로봇에 모방시키는 등 흥미로운 방향도 있지만, 결국 정확한 작업 수행에는 실제 환경과 촉각 정보가 결정적이란 것을 이 논문은 보여준 셈입니다.

정리하자면, EyeSight Hand는 현재 가장 종합적으로 잘 갖춰진 로봇 손 플랫폼 중 하나로 평가할 만합니다. 휴머노이드 손 연구의 추세를 한 단계 올렸다고도 볼 수 있죠. 물론 완벽하지는 않지만, 저비용으로 튼튼한 구조, 풍부한 감각, 학습 친화성까지 고려한 점이 인상적입니다. 이러한 통합적 접근은 앞으로 로봇 손 연구에서 중요한 벤치마크가 될 가능성이 높습니다.

요약 및 결론

EyeSight Hand 논문은 로봇 손 연구의 현재 지평을 넓힌 작품입니다. 이들은 인간 손의 형태와 기능을 본따되 현실적인 절충을 통해 7자유도 손을 만들었고, 준-직접 구동이라는 독창적 방식으로 강인함과 유연성을 모두 잡았습니다. 또한 손가락과 손바닥 전면에 분포한 8개의 비전 촉각 센서를 통해 로봇 손에 촉각의 눈을 달아주었습니다. 이 덕분에 EyeSight Hand는 충돌이나 마모 걱정 없이 수백 번의 실험을 견디며, 풍부한 데이터를 쌓아 모방 학습으로 작업을 익힐 수 있었습니다. 실제 병뚜껑 열기, 접시 옮기기, 점토 자르기 등의 까다로운 작업에서, 학습된 정책이 사람처럼 환경을 조작하고, 특히 촉각을 활용할 때 성공률이 비약적으로 향상되는 것을 보여주었습니다. “손에 눈을 달아주니 비로소 섬세한 일들을 해내더라”는 메시지를 수치로 증명한 것입니다.

이 연구는 로봇공학자에게 여러 통찰을 줍니다. 하드웨어 설계와 AI 제어의 공동 최적화가 얼마나 중요한지, 그리고 인간의 능력을 모방하려면 단순히 기계 구조뿐 아니라 감각의 통합이 필수임을 깨닫게 합니다. EyeSight Hand처럼 센서리치(sensor-rich)하고 컴플라이언트한 플랫폼이 앞으로 더 많이 나올수록, 로봇의 다재다능함은 크게 향상될 것입니다. 한편으로, 이러한 플랫폼을 효과적으로 다루는 학습 알고리즘 역시 중요합니다. 이번 논문에서 보여준 멀티모달 병합 기법이나 드롭아웃 트릭은 빙산의 일각일 수 있습니다. 앞으로는 촉각 정보로부터 핵심 피처를 추출하거나, 시각-촉각 간 신뢰도를 실시간 평가하여 가중치를 조절하는 똑똑한 정책 등이 연구될 것입니다. 또한 강화학습과의 결합으로, 사람이 시연하기 어려운 더 창의적인 조작 기술을 로봇이 스스로 터득하는 방향도 기대해볼 만합니다.

마지막으로, 논문 저자들은 향후 손가락을 추가하고 알고리즘을 개선할 것을 언급했습니다. 완전한 오지 로봇 손에 가까워질수록, 아마 지금보다 훨씬 더 인간 같은 섬세한 조작이 가능해질 것입니다. 이를 통해 로봇이 공장이나 연구소를 넘어, 우리 일상 속에서 손으로 하는 일들 (문 열기, 요리 준비, 공구 사용 등)을 도울 날도 앞당겨지리라 생각됩니다. EyeSight Hand는 그 비전을 향한 중요한 걸음을 내디딘 셈입니다. 로봇공학계의 파인만 교수가 있다면, 아마 “이 로봇 손은 눈으로 보고 느낄 줄 아니까, 배우고 발전할 가능성이 무궁무진하단다!”라고 재미있게 평했을지도 모르겠습니다. 인간의 손끝 지혜를 기계에 불어넣으려는 도전은 계속되고 있으며, EyeSight Hand는 그 여정에서 빼놓을 수 없는 이정표로 기록될 것입니다.