📃DexScrew 리뷰

dexterity

teleop

Learning Dexterous Manipulation Skills from Imperfect Simulations

Published

December 4, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

💡 이 논문은 불완전한 시뮬레이션 환경에서 복잡한 접촉 기반의 능숙한 조작 기술을 학습하기 위한 sim-to-real 프레임워크인 DexScrew를 제안합니다.
🛠️ DexScrew는 단순화된 시뮬레이션에서 회전 기술을 학습하고, 이 기술을 활용한 텔레오퍼레이션으로 실제 촉각 데이터를 수집한 뒤, 이 multisensory 데이터를 기반으로 행동 모방(behavior cloning) 정책을 훈련하여 현실 적용성을 높입니다.
🚀 너트-볼트 체결 및 스크류드라이빙 작업에 대한 실험 결과, 제안된 방법은 직접적인 sim-to-real 방식보다 높은 성공률과 unseen object에 대한 일반화 능력을 보였으며, 촉각 센싱과 temporal history가 robust한 성능에 필수적임을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 불완전한 시뮬레이션 환경에서 복잡한 접촉 역학(contact dynamics) 및 다중 센서(multisensory) 신호(특히 촉각 피드백)가 필요한 섬세한 조작 기술을 학습하기 위한 sim-to-real 프레임워크인 DexScrew를 제안합니다. 기존 Sim-to-Real 방법론의 한계(정확한 물리 시뮬레이션의 어려움, 감각 모달리티의 Sim-to-Real 간극)와 모방 학습(Imitation Learning)의 한계(고품질 데이터 수집의 어려움)를 해결하고자 합니다.

제안하는 프레임워크는 세 가지 주요 단계로 구성됩니다.

시뮬레이션에서 강화 학습(RL) 정책 훈련 (III-A):
- 간소화된 객체 모델링 (Simplified Object Modeling): 너트나 스크류의 복잡한 스레드 구조를 직접 시뮬레이션하는 대신, 회전 동작의 본질을 포착하기 위해 간단한 기하학적 형태(예: 너트에는 두꺼운 삼각형, 스크루드라이버에는 팔각형 또는 십이각형)를 회전 조인트(revolute joint)로 고정된 베이스에 연결하여 사용합니다. 이는 정책이 회전 행동을 효율적으로 학습하도록 돕습니다.
- 훈련 파이프라인: 먼저 특권 정보(privileged information)에 접근할 수 있는 오라클 정책(oracle policy)을 훈련한 다음, 이를 통해 예측 모듈 \phi에 의해 과거 행동 이력(proprioceptive history) h_t로부터 추론된 임베딩 \hat{z}_t = \phi(h_t)에 기반하는 센서모터 정책(sensorimotor policy)을 Distill합니다.
- 특권 정보 (Privileged Information): 오라클 정책은 객체의 위치, 스케일, 질량, 마찰 계수 등 실제 환경 및 객체 속성에 대한 지상 진실(ground-truth) 정보에 접근합니다. (자세한 내용은 Appendix A 참조).
- 행동 (Actions): 정책은 상대적인 목표 위치(relative target position)를 출력하며, 이는 로봇의 낮은 수준의 PD 컨트롤러로 전달되어 토크로 변환됩니다.
- 보상 함수 (Reward): 시뮬레이션에서 정책의 목표는 간소화된 객체를 회전 조인트 주변으로 회전시키는 것입니다. 보상은 태스크 보상(r_{task}, 회전 및 근접성 장려), 에너지 페널티(r_{energy}, 비효율적인 동작 억제), 안정성 페널티(r_{stability}, 안정적인 행동 유지)의 가중치 합으로 구성됩니다 (Appendix B 참조).
- 훈련: 오라클 정책은 PPO(Proximal Policy Optimization)를 사용하여 훈련되며, 센서모터 정책은 DAgger 알고리즘을 통해 훈련됩니다. 센서모터 정책의 훈련 목표는 예측된 행동과 특권 임베딩이 오라클 정책의 행동 및 실제 특권 임베딩과 일치하도록 하는 것입니다: \mathcal{L} = \|a_{Hand_t} - \hat{a}_{Hand_t}\|^2_2 + \|z_t - \hat{z}_t\|^2_2.
- 도메인 무작위화 (Domain Randomization): RL 정책의 강건성(robustness)을 향상시키기 위해 객체 질량, 질량 중심, 마찰 계수, 크기, PD 이득(gain)을 무작위화하고 관측 및 행동 노이즈를 추가합니다 (Appendix C, Table V 참조).
학습된 정책을 활용한 실제 데이터 수집 (III-B):
- 스킬 기반 보조 원격 조작 (Skill-Based Assisted Teleoperation): 시뮬레이션에서 훈련된 손가락 회전 스킬(skill primitive)을 활용하여 실제 데이터를 수집합니다. 인간 조작자는 개별 조인트를 명령하는 대신 VR 컨트롤러의 조이스틱을 사용하여 로봇 팔의 손목 움직임만 제어하고, 필요할 때 손가락 회전 스킬을 활성화합니다.
- 데이터 기록: 각 타임스텝에서 RL 정책이 생성한 손 행동(a_{Hand_t})과 인간 원격 조작에 의해 생성된 팔 행동(a_{Arm_t})을 포함하는 행동 a_t = [a_{Hand_t}, a_{Arm_t}]을 기록합니다. 또한, 모든 조인트 위치(q_t = [q_{Hand_t}, q_{Arm_t}])와 5개 손가락 모두의 원시 촉각 신호(c_t \in \mathbb{R}^{5 \times 120 \times 3})를 포함하는 다중 센서 관측(q_t, c_t)을 기록합니다.
- 촉각 신호 (Tactile Signal): XHand 로봇에 내장된 압력 기반 촉각 센서를 사용하며, 각 손가락 끝에는 120개의 센싱 요소가 있어 3축 힘을 측정합니다.
다중 센서 데이터로 행동 복제(Behavior Cloning, BC) 정책 훈련 (III-C):
- 신경망 아키텍처 (Neural Network Architecture): 피드포워드 신경망을 정책으로 사용합니다. 과거 K 타임스텝의 관측(q_{t-K+1:t}, c_{t-K+1:t})은 단일 특징 벡터로 연결됩니다. 촉각 신호는 먼저 평탄화(flattening)된 후 MLP를 통과합니다. 결합된 특징 벡터는 hourglass encoder를 통해 처리되어 행동 예측을 출력합니다.
- 행동 청킹 (Action Chunking): 정책은 단일 타임스텝 행동이 아닌 미래 행동 시퀀스 \hat{a}_{t:t+H}를 예측합니다(기본값 K=5, H=16).
- 훈련: 수집된 데이터 D_Real을 사용하여 지도 학습(supervised learning) 방식으로 BC 정책 \pi_{BC}를 훈련합니다. 손실 함수는 예측된 행동 청크와 실제 전문가 행동 시퀀스 간의 L2 노름(norm) 차이의 합으로 정의됩니다: \mathcal{L}_{BC} = \sum_{t=1}^{T} \sum_{h=0}^{H} \|\hat{a}_{t+h} - a_{t+h}\|^2_2.

실험 및 결과:

두 가지 과제(너트-볼트 조임, 스크루드라이빙)에 대해 프레임워크를 평가합니다.

너트-볼트 조임 (Nut-Bolt Fastening): 직접적인 Sim-to-Real 전이로는 너트를 아래로 조일 수 없으므로, 스레드 상호작용이 시뮬레이션되지 않습니다. 학습된 정책은 다양한 너트 형태(정사각형, 삼각형, 육각형, 십자형)에 일반화됩니다.
- 관측 이력 및 촉각 정보의 효과: 관측에 짧은 시간 이력(temporal history)을 추가하는 것이 진행률(progress ratio)을 크게 향상시키고 실행 시간을 줄입니다. 촉각 입력을 추가하면 특히 삼각형 및 십자형 너트와 같은 어려운 형태에서 진행률이 개선됩니다. 촉각과 시간 이력을 모두 결합할 때 가장 강력한 성능을 보여줍니다.
- 실패 모드: 관측 이력이 없는 정책은 미묘한 형태 변화에 대응하기 어렵고, 비촉각 정책은 불안정한 접촉 상태로 자주 미끄러져 정렬을 잃습니다. 촉각 정책은 손목을 조절하거나 하향 힘을 가하여 이러한 실패를 복구할 수 있습니다.
스크루드라이빙 (Screwdriving): 너트 조임보다 본질적으로 덜 안정적인 과제입니다.
- Sim-to-Real 정책 및 전문가 재현: 직접적인 Sim-to-Real 정책은 의미 있는 행동을 생성하지만 과제를 완전히 완료하지 못합니다. 전문가 데이터 재현(expert replay)은 성공률이 높지만 배포 시 변화에 적응하지 못합니다.
- 행동 복제 정책: 제안된 BC 정책은 Sim-to-Real 및 전문가 재현 baseline보다 명확한 향상을 보여줍니다. 촉각 센싱 또는 시간 이력 개별 추가 시 진행률이 향상되며, 두 모달리티를 결합할 때 가장 강력한 성능을 발휘합니다(95.00% 진행률).
- 실패 모드: 개방 루프(open-loop) baseline은 점진적인 핸들 미끄러짐과 방향 드리프트로 인해 자주 실패합니다. 촉각 피드백과 시간 이력이 모두 있는 BC 정책은 손목 방향을 조절하고 적절한 힘을 가하여 이러한 효과를 보상합니다.
외란에 대한 강건성 (Out-of-distribution Robustness): 훈련 중 겪지 못한 외부 외란(예: 손가락을 객체에서 끌어당기거나 스크루드라이버를 반대 방향으로 회전)에도 불구하고 정책이 안정적인 조임 행동으로 일관되게 복구되는 것을 보여줍니다.

결론:

이 연구는 간소화된 시뮬레이션을 통해 섬세한 회전 스킬을 학습한 다음, 이 스킬을 기반으로 한 원격 조작을 통해 실제 데이터를 수집하고, 촉각 피드백을 통합하여 행동 복제 정책을 학습하는 DexScrew 프레임워크를 제시합니다. 너트-볼트 조임 및 스크루드라이빙 과제에서 시뮬레이션 단독으로는 복잡한 역학을 포착할 수 없었으나, 촉각 센싱과 시간 이력을 결합한 행동 복제는 다양하고 이전에 보지 못한 객체 형태에 걸쳐 강건하고 신뢰할 수 있는 성능을 달성함을 입증했습니다. 이 단계별 파이프라인은 복잡한 접촉이 많은 조작을 위한 실용적이고 확장 가능한 솔루션을 제공하며, 촉각 센싱과 스킬 기반 원격 조작이 시뮬레이션과 실제 환경 배포 사이의 효과적인 다리 역할을 함을 강조합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

1. 서론: 왜 이 논문이 중요한가?

1.1 Dexterous Manipulation의 현재 과제

로봇공학에서 다지(multi-fingered) 손을 이용한 정밀 조작(dexterous manipulation)은 인간 수준의 범용 로봇을 향한 핵심 도전 과제입니다. 인간의 손은 20개 이상의 자유도(DoF)를 가지며, 수백 개의 촉각 수용체를 통해 미세한 접촉 정보를 실시간으로 처리합니다. 이러한 복잡성을 로봇 시스템에서 재현하는 것은 기계 설계, 센싱, 그리고 제어 모두에서 근본적인 어려움을 수반합니다.

최근 몇 년간 강화학습(Reinforcement Learning, RL)과 시뮬레이션-실제 전이(Sim-to-Real Transfer)가 이 분야에서 획기적인 발전을 이끌어왔습니다. OpenAI의 루빅스 큐브 조작, DexTreme 프로젝트의 극한 민첩성 시연 등은 시뮬레이션 기반 학습의 가능성을 보여주었습니다. 그러나 이러한 성공 사례들은 대부분 객체의 단순 재배향(reorientation)이나 그래스핑(grasping)에 국한되어 있으며, 실제 산업 현장에서 요구되는 복잡한 도구 사용이나 정밀 조립 작업으로의 확장은 여전히 미해결 과제로 남아있습니다.

1.2 “불완전한 시뮬레이션”이라는 근본적 문제

이 논문의 제목에서 핵심 키워드는 “Imperfect Simulations”입니다. 현재 물리 시뮬레이터들(Isaac Gym, MuJoCo, PyBullet 등)은 강체 동역학(rigid body dynamics)에서는 상당한 정확도를 달성했지만, 다음과 같은 영역에서는 근본적인 한계를 가집니다:

복잡한 접촉 역학(Contact Dynamics): 손가락과 객체 간의 미끄러짐(sliding), 구름(rolling), 점착(stiction) 현상을 정확히 모델링하기 어렵습니다.
다중 감각 신호(Multisensory Signals): 특히 촉각(tactile) 피드백은 접촉 분포, 전단력, 법선력의 복잡한 상호작용을 포함하며, 이를 시뮬레이션에서 정확히 재현하는 것은 거의 불가능합니다.
도구 및 관절 객체(Articulated Objects): 나사, 볼트, 가위 같은 관절 메커니즘은 내부 마찰, 백래시(backlash), 클리어런스 등 시뮬레이션에서 모델링하기 극히 어려운 특성을 가집니다.

본 논문은 이러한 “불완전함”을 인정하고, 이를 우회하거나 보완하는 프레임워크를 제안함으로써 실용적인 해결책을 제시합니다.

2. 핵심 방법론: 3단계 Sim-to-Real 프레임워크

이 논문의 가장 큰 기여는 불완전한 시뮬레이션의 한계를 극복하기 위한 체계적인 3단계 파이프라인입니다.

2.1 1단계: 단순화된 시뮬레이션에서의 RL 학습

첫 번째 단계에서는 의도적으로 단순화된 객체 모델을 사용하여 시뮬레이션에서 강화학습 정책을 훈련합니다. 이 접근법의 핵심 통찰은 다음과 같습니다:

단순화의 철학: - 정확한 물리적 재현보다는 올바른 행동 구조(behavioral structure)의 출현에 집중합니다. - 너트-볼트 체결의 경우, 정확한 나사산 기하를 모델링하는 대신 기본적인 원통형 형상과 마찰 특성만으로도 올바른 finger gait(손가락 보행 패턴)가 학습될 수 있습니다.

Finger Gait의 개념: Finger gait는 in-hand manipulation에서 핵심적인 개념입니다. 인간이 펜을 돌리거나 동전을 굴릴 때, 손가락들은 순차적으로 접촉과 이탈을 반복하며 객체를 조작합니다. 이 논문에서는 너트를 돌리거나 스크류드라이버를 조작할 때 필요한 이러한 finger gait 패턴이 단순화된 시뮬레이션에서도 자연스럽게 출현(emerge)할 수 있음을 보여줍니다.

왜 이것이 작동하는가? - Domain Randomization과 함께 사용하면, 정책이 특정 시뮬레이션 파라미터에 과적합(overfit)되지 않습니다. - 단순화된 환경에서 학습된 “거친(coarse)” 정책은 기본적인 조작 전략을 인코딩하며, 이후 단계에서 정제됩니다.

2.2 2단계: 텔레오퍼레이션을 통한 실제 데이터 수집

두 번째 단계는 이 프레임워크의 가장 혁신적인 부분입니다. 1단계에서 학습된 RL 정책을 텔레오퍼레이션 시스템의 스킬 프리미티브(skill primitive)로 활용합니다.

2.2.1 기존 접근법의 근본적 한계

순수 텔레오퍼레이션의 문제:

다지 손의 직접 텔레오퍼레이션은 다음과 같은 근본적 어려움을 가집니다:

차원의 저주(Curse of Dimensionality): 16-24개의 관절을 동시에 제어해야 하며, 인간 오퍼레이터의 인지 부하가 극도로 높습니다.
기구학적 불일치(Kinematic Mismatch): 인간 손과 로봇 손의 기구학이 다르므로, 직관적인 매핑이 어렵습니다. 예를 들어, Allegro Hand는 4개의 손가락만 있고 각 손가락의 관절 배치가 인간과 다릅니다.
시간적 정밀도: Finger gait 같은 동적 조작은 밀리초 단위의 타이밍이 중요한데, 인간이 이를 직접 제어하기는 거의 불가능합니다.
훈련 비용: 숙련된 오퍼레이터 양성에 수십-수백 시간이 소요되며, 피로로 인한 데이터 품질 저하가 발생합니다.

순수 Sim-to-Real 전이의 문제:

시뮬레이션에서 학습된 정책을 직접 실제에 적용할 때의 실패 원인:

접촉 역학 불일치: 시뮬레이션의 접촉 모델은 실제의 복잡한 마찰, 변형, 점착 현상을 포착하지 못합니다.
감각 격차(Sensory Gap): 시뮬레이션에서는 완벽한 상태 정보에 접근하지만, 실제에서는 노이즈가 있는 센서 데이터만 사용 가능합니다.
액추에이터 모델링 오류: 모터의 비선형성, 백래시, 마찰 등이 정확히 모델링되지 않습니다.
환경 변동성: 조명, 온도, 습도 등 시뮬레이션에서 고려하지 않은 요소들이 실제 성능에 영향을 미칩니다.

2.2.2 제안된 하이브리드 접근법의 상세 설계

본 논문의 핵심 통찰은 RL 정책을 “자동 조종 장치(autopilot)”로 활용하는 것입니다.

시스템 아키텍처:

┌─────────────────────────────────────────────────────────────────┐
│                      HUMAN OPERATOR                              │
│  - High-level intent: start, stop, direction, force level       │
│  - Cognitive load: LOW (only strategic decisions)               │
└───────────────────────────┬─────────────────────────────────────┘
                            │ Sparse commands (1-5 Hz)
                            ▼
┌─────────────────────────────────────────────────────────────────┐
│                   COMMAND INTERFACE                              │
│  - Joystick / Keyboard / Voice commands                         │
│  - Maps discrete inputs to continuous conditioning signals      │
│  - Direction vector: 3D rotation axis                           │
│  - Force level: scalar multiplier for torque limits             │
└───────────────────────────┬─────────────────────────────────────┘
                            │ Conditioning signal c(t)
                            ▼
┌─────────────────────────────────────────────────────────────────┐
│              RL SKILL PRIMITIVE (from Stage 1)                   │
│                                                                  │
│  π(a|s,c) : (proprioception, conditioning) → joint commands     │
│                                                                  │
│  - Handles ALL low-level finger coordination                    │
│  - Generates finger gait patterns automatically                 │
│  - Adjusts grip force based on sensed slip                      │
│  - Execution rate: 30-50 Hz                                     │
└───────────────────────────┬─────────────────────────────────────┘
                            │ Joint position/torque commands
                            ▼
┌─────────────────────────────────────────────────────────────────┐
│                    ROBOT HARDWARE                                │
│  - Multi-fingered hand (16-24 DoF)                              │
│  - Tactile sensor arrays on fingertips                          │
│  - Joint encoders and torque sensors                            │
│  - Low-level PD control at 500-1000 Hz                          │
└───────────────────────────┬─────────────────────────────────────┘
                            │ Sensor feedback
                            ▼
┌─────────────────────────────────────────────────────────────────┐
│                   DATA COLLECTION MODULE                         │
│  Records synchronized streams:                                   │
│  - Tactile: contact distribution, force magnitude (100+ Hz)     │
│  - Proprioception: joint angles, velocities, torques (500 Hz)   │
│  - Task state: object pose, rotation angle (30 Hz)              │
│  - Labels: success/failure, phase annotations                   │
└─────────────────────────────────────────────────────────────────┘

조건화 신호(Conditioning Signal)의 설계:

RL 정책은 조건화 신호 c(t)를 추가 입력으로 받아 행동을 조절합니다:

c(t) = [direction_vector, force_level, task_phase]

direction_vector ∈ ℝ³:
  - Unit vector specifying desired rotation axis
  - Example: [0, 0, 1] for clockwise rotation around z-axis
  - Example: [0, 0, -1] for counter-clockwise

force_level ∈ [0, 1]:
  - Scalar multiplying base torque limits
  - 0.3: gentle manipulation (initial threading)
  - 0.7: normal operation
  - 1.0: high-torque (final tightening)

task_phase ∈ {approach, grasp, rotate, release}:
  - Discrete phase indicator
  - Enables phase-specific behaviors

RL 정책의 조건부 구조:

class ConditionalSkillPolicy(nn.Module):
    def __init__(self, obs_dim, cond_dim, action_dim):
        self.obs_encoder = MLP([obs_dim, 256, 256])
        self.cond_encoder = MLP([cond_dim, 64, 64])
        self.policy_head = MLP([320, 256, action_dim])
    
    def forward(self, observation, conditioning):
        # Encode proprioceptive observation
        obs_features = self.obs_encoder(observation)
        
        # Encode conditioning signal
        cond_features = self.cond_encoder(conditioning)
        
        # Concatenate and produce action
        combined = torch.cat([obs_features, cond_features], dim=-1)
        action = self.policy_head(combined)
        
        return action

2.2.3 인간-로봇 역할 분담의 원리

Fitts의 MABA-MABA 원칙 적용:

인간과 기계(로봇)의 역할 분담은 각자의 강점을 활용합니다:

Capability	Human	Robot (RL Policy)
Strategic planning	✓ Excellent	✗ Limited
Anomaly detection	✓ Excellent	△ Moderate
High-frequency control	✗ Poor	✓ Excellent
Precise timing	✗ Poor	✓ Excellent
Fatigue resistance	✗ Poor	✓ Excellent
Adaptability to novel situations	✓ Good	△ Within training distribution

구체적 역할 분담 예시 (너트 체결 작업):

Human responsibilities:
├── Decide WHEN to start grasping
├── Specify rotation DIRECTION (CW/CCW)
├── Judge if nut is properly seated
├── Detect cross-threading (via visual inspection)
├── Decide when tightening is complete
└── Handle exceptions and failures

RL Policy responsibilities:
├── Execute finger gait for continuous rotation
├── Maintain stable multi-finger grasp
├── Adjust grip force to prevent slip
├── Coordinate 16-24 joints simultaneously
├── React to contact events in real-time
└── Generate smooth, collision-free motions

2.2.4 데이터 수집의 상세 프로토콜

수집되는 데이터 스트림:

1. Tactile Stream (100-1000 Hz):
   ├── Per-finger contact maps: [N_fingers × H × W] pressure images
   ├── Aggregated features: total force, CoP, contact area
   ├── Temporal derivatives: force rate, slip indicators
   └── Raw sensor values for offline reprocessing

2. Proprioceptive Stream (500-1000 Hz):
   ├── Joint positions: q ∈ ℝ^{n_joints}
   ├── Joint velocities: q̇ ∈ ℝ^{n_joints}
   ├── Joint torques: τ ∈ ℝ^{n_joints}
   └── End-effector poses (computed via FK)

3. Task State Stream (30-100 Hz):
   ├── Object pose (from external tracking or estimation)
   ├── Rotation angle accumulated
   ├── Task phase labels
   └── Success/failure flags

4. Command Stream (1-10 Hz):
   ├── Human input commands (raw)
   ├── Interpreted conditioning signals
   └── Timestamps for synchronization

데이터 품질 보장 메커니즘:

자동 필터링: 불안정하거나 실패한 에피소드 자동 제외
동기화 검증: 센서 스트림 간 시간 정렬 확인
이상치 탐지: 비정상적 센서 값 플래깅
밸런싱: 성공/실패, 다양한 객체에 대해 균형 잡힌 데이터셋 구성

2.2.5 하이브리드 접근법의 이론적 장점

정보 이론적 관점:

Traditional Teleoperation:
  I(Demo; Task) ≤ I(Human_skill; Task)
  → Limited by human's motor control capability

Hybrid Approach:
  I(Demo; Task) = I(Human_intent; Task) + I(RL_execution; Task|Human_intent)
  → Human provides WHAT, RL provides HOW
  → Information is additive, not bottlenecked

샘플 복잡도 관점:

순수 텔레오퍼레이션으로 특정 작업을 학습하는 데 필요한 데모 수를 N_{teleop}, 하이브리드 방식으로 필요한 수를 N_{hybrid}라 하면:

N_hybrid << N_teleop

Reasons:
1. RL policy already knows basic manipulation structure
2. Human only needs to provide high-level variation
3. Low-level noise is filtered by RL

수집되는 데이터의 질적 차이:

Aspect	Pure Teleoperation	Hybrid Approach
Motion smoothness	Variable (human tremor)	Consistent (RL generated)
Timing precision	Poor (human reaction time)	Excellent (policy-controlled)
Coverage of state space	Biased to human preferences	More systematic
Failure modes captured	Uncontrolled failures	Controlled exploration
Sensory richness	Same	Same

이 접근법의 핵심 장점은 효율성과 데이터 품질의 동시 달성입니다. 인간이 수천 번의 시행착오 없이도 의미 있는 조작 데모를 효율적으로 수집할 수 있으며, 동시에 시뮬레이션에서는 얻을 수 없는 풍부한 실제 감각 정보가 포함됩니다.

2.3 3단계: 촉각 통합 Behavior Cloning

마지막 단계에서는 수집된 실제 데이터를 사용하여 촉각 정보를 통합한 모방 학습(Behavior Cloning) 정책을 훈련합니다.

왜 촉각이 중요한가?

너트-볼트 체결이나 스크류드라이빙 같은 작업에서 촉각은 다음과 같은 핵심 정보를 제공합니다:

접촉 상태 인식: 손가락이 객체와 접촉하고 있는지, 어디에서 접촉하는지
슬립 감지: 객체가 미끄러지기 시작하는 순간을 감지하여 그립 조절
힘 피드백: 너트가 끝까지 조여졌는지, 나사산이 정렬되었는지 판단
형상 추론: 촉각을 통해 보이지 않는 객체 특성 파악

일반화(Generalization) 능력:

논문의 핵심 주장 중 하나는 학습된 정책이 다양한 형상의 너트와 스크류드라이버로 일반화된다는 것입니다. 이는 촉각 정보가 시각적으로 보이지 않는 객체 특성(나사산 피치, 헤드 형상 등)에 대한 암묵적 정보를 제공하기 때문입니다.

3. 기술적 심층 분석

3.1 시뮬레이션 환경 설계 철학

3.1.1 객체 모델 단순화의 원칙과 근거

본 논문에서 채택한 객체 모델 단순화는 단순한 계산 효율성 추구가 아닌, 학습 가능성(learnability)과 전이 가능성(transferability) 사이의 균형을 고려한 설계 결정입니다.

단순화 전략의 상세:

Real Object	Simulation Representation	Simplification Point	Preserved Properties
Hex nut	Cylindrical primitive	Thread removed, basic friction only	Rotation axis, graspable region, basic friction
Bolt	Fixed axis	Only rotation instead of helical motion	Axis direction, torque-rotation relationship
Screwdriver	Straight rod	Head shape simplified	Length, mass distribution, grip region

왜 나사산을 모델링하지 않는가?

나사산의 정확한 물리적 모델링은 다음과 같은 문제를 야기합니다:

접촉점 폭발(Contact Point Explosion): 나사산의 헬리컬 기하는 수백 개의 접촉점을 생성하여 시뮬레이션 속도를 크게 저하시킵니다.
수치적 불안정성: 미세한 나사산 간격(0.5-2mm)에서의 접촉 해석은 수치적으로 불안정하며, 시뮬레이터마다 다른 결과를 생성합니다.
불필요한 복잡성: RL 에이전트가 학습해야 할 핵심 행동(finger gait, 그립 조절)은 나사산 세부 사항과 독립적입니다.

핵심 통찰:

시뮬레이션의 목적은 “실제와 동일한 물리적 경험”을 제공하는 것이 아니라, “올바른 행동 패턴을 탐색할 수 있는 충분히 풍부한 환경”을 제공하는 것입니다.

3.1.2 Domain Randomization의 체계적 적용

Domain Randomization은 Sim-to-Real Gap을 줄이기 위한 표준 기법이지만, 본 논문에서는 이를 선택적이고 체계적으로 적용합니다.

랜덤화 파라미터 계층:

Level 1: Physical Parameters (Strong Randomization)
├── Object mass: uniform(0.5x, 1.5x)
├── Friction coefficient: uniform(0.3, 1.2)
├── Moment of inertia: uniform(0.8x, 1.2x)
└── Contact stiffness: uniform(0.7x, 1.3x)

Level 2: Geometric Parameters (Moderate Randomization)
├── Object scale: uniform(0.85, 1.15)
├── Finger length: uniform(0.95, 1.05)
└── Joint offset: gaussian(0, 0.5mm)

Level 3: Sensor/Actuator Noise (Light Randomization)
├── Joint position noise: gaussian(0, 0.01rad)
├── Torque sensor noise: gaussian(0, 0.1Nm)
└── Control delay: uniform(0, 50ms)

랜덤화의 핵심 원칙:

보수적 접근: 과도한 랜덤화는 학습을 방해합니다. 특히 기하학적 파라미터는 실제 변동 범위 내에서만 랜덤화합니다.
상관관계 보존: 물리적으로 연관된 파라미터(예: 질량과 관성)는 함께 변경하여 비현실적인 조합을 방지합니다.
점진적 확대: 학습 초기에는 좁은 범위로 시작하여 점진적으로 랜덤화 범위를 확대하는 curriculum 적용이 가능합니다.

3.2 강화학습 알고리즘 설계

3.2.1 알고리즘 선택의 근거

다지 손 제어 문제는 다음과 같은 특성을 가집니다: - 고차원 연속 행동 공간 (16-24 DoF) - 복잡한 접촉 역학으로 인한 비smooth 보상 landscape - 장기 시간 의존성 (finger gait는 수십 스텝에 걸쳐 발생)

이러한 특성을 고려할 때, 다음 알고리즘들이 적합합니다:

PPO (Proximal Policy Optimization):

Advantages:
- Stable learning (clipping prevents large policy changes)
- Easy parallelization (thousands of environments simultaneously)
- Relatively few hyperparameters to tune

Expected hyperparameters:
- Learning rate: 3e-4
- Clip range: 0.2
- Entropy coefficient: 0.01
- GAE lambda: 0.95
- Batch size: 4096-16384

SAC (Soft Actor-Critic):

Advantages:
- Maximum entropy principle encourages exploration
- Sample efficient (off-policy)
- Can learn diverse action modes

Application scenarios:
- Useful for fine-tuning on real robot
- When learning with limited data

3.2.2 보상 함수의 상세 설계

보상 함수 설계는 RL 기반 조작에서 가장 어려운 부분 중 하나입니다. 본 논문의 작업에 적합한 보상 구조를 분석합니다:

너트-볼트 체결 작업의 보상 분해:

def compute_reward(state, action, next_state):
    # 1. 진행도 보상 (Progress Reward)
    # 너트의 회전 각도 변화를 측정
    delta_angle = next_state.nut_angle - state.nut_angle
    r_progress = progress_scale * delta_angle  # 시계방향 회전에 양의 보상
    
    # 2. 접촉 품질 보상 (Contact Quality Reward)
    # 안정적인 다중 손가락 접촉 장려
    num_contacts = count_finger_contacts(next_state)
    contact_stability = compute_grasp_stability(next_state)
    r_contact = contact_scale * (num_contacts / max_fingers) * contact_stability
    
    # 3. 정렬 보상 (Alignment Reward)
    # 너트가 볼트 축과 정렬된 정도
    alignment_error = compute_axis_alignment(next_state)
    r_align = align_scale * exp(-alignment_error / alignment_temp)
    
    # 4. 에너지 페널티 (Energy Penalty)
    # 과도한 힘 사용 억제
    total_torque = sum(abs(action))
    r_energy = -energy_scale * total_torque
    
    # 5. 슬립 페널티 (Slip Penalty)
    # 객체 미끄러짐 감지시 페널티
    if detect_slip(state, next_state):
        r_slip = -slip_penalty
    else:
        r_slip = 0
    
    # 6. 성공 보상 (Sparse Success Reward)
    # 작업 완료시 큰 보상
    if task_completed(next_state):
        r_success = success_bonus
    else:
        r_success = 0
    
    return r_progress + r_contact + r_align + r_energy + r_slip + r_success

보상 가중치 튜닝의 고려사항:

Reward Component	Problem with Low Weight	Problem with High Weight
Progress	Slow learning, meaningless motion	Unstable fast rotation, object drop
Contact	Unstable grip	Overly conservative motion
Energy	Inefficient force use	Too weak grip, task failure
Slip	Frequent object drops	Overly cautious motion

3.2.3 Teacher-Student Distillation 아키텍처

많은 sim-to-real 연구에서 효과적인 teacher-student 구조를 본 작업에 적용하면:

Teacher Policy (Simulation only):
├── Input: Full state information (object pose, velocity, contact points, etc.)
├── Output: Optimal action
└── Training: Millions of steps in simulation

Student Policy (Real deployment):
├── Input: Limited sensory information (proprioception, tactile)
├── Output: Action (similar to teacher)
└── Training: Imitate teacher's behavior + fine-tune with real data

Privileged Information의 활용:

Teacher는 시뮬레이션에서만 접근 가능한 “특권 정보”를 활용합니다:

정확한 객체 pose
모든 접촉점의 위치와 힘
객체의 물리적 파라미터

Student는 이러한 정보 없이도 유사한 행동을 출력하도록 학습되며, 이 과정에서 암묵적 상태 추정(implicit state estimation)을 수행하게 됩니다.

3.3 텔레오퍼레이션 시스템의 기술적 설계

3.3.1 하이브리드 제어 아키텍처

┌─────────────────────────────────────────────────────────────┐
│                    Human Operator                            │
│  (High-level intent: start, stop, direction, force adjust)  │
└─────────────────────────┬───────────────────────────────────┘
                          │ High-level commands (5-10Hz)
                          ▼
┌─────────────────────────────────────────────────────────────┐
│                 Command Interpreter                          │
│  - Convert to continuous direction vector                   │
│  - Map force level to torque limits                         │
└─────────────────────────┬───────────────────────────────────┘
                          │ Conditioning signal
                          ▼
┌─────────────────────────────────────────────────────────────┐
│              RL Skill Primitive Policy                       │
│  - Input: proprioception + conditioning signal              │
│  - Output: per-joint torque/position commands               │
│  - Execution rate: 30-50Hz                                  │
└─────────────────────────┬───────────────────────────────────┘
                          │ Low-level commands
                          ▼
┌─────────────────────────────────────────────────────────────┐
│                 Low-level Controller                         │
│  - PD controller (for position commands)                    │
│  - Torque control (for direct torque commands)              │
│  - Execution rate: 500-1000Hz                               │
└─────────────────────────┬───────────────────────────────────┘
                          │
                          ▼
┌─────────────────────────────────────────────────────────────┐
│                  Multi-fingered Hand                         │
│  - 16-24 DoF                                                │
│  - Tactile sensor arrays                                    │
│  - Joint encoders                                           │
└─────────────────────────────────────────────────────────────┘

3.3.2 인간-로봇 인터페이스 옵션

옵션 1: 햅틱 장치 기반

Device: Geomagic Touch, Falcon, etc.
Advantages: Force feedback, intuitive operation
Disadvantages: Not suitable for high-DoF hand control
Application: Used for wrist/arm position control, fingers delegated to RL

옵션 2: 장갑 기반 (Manus, HaptX 등)

Advantages: Natural hand movement mapping
Disadvantages: Kinematic mismatch between human and robot hands
Application: Retargeting algorithm required

옵션 3: 단순화된 명령 인터페이스

Input: Joystick, keyboard, voice commands
Advantages: Low cost, easy to learn
Disadvantages: Fine control difficult
Application: Suitable for this paper's approach (RL handles fine control)

3.4 촉각 센싱 시스템의 기술적 세부사항

3.4.1 촉각 센서 유형별 특성

저항식 어레이 센서:

Principle: Measure resistance change under pressure
Resolution: 4-16 taxel/cm²
Sampling: 100-1000Hz
Advantages: Low cost, high spatial resolution
Disadvantages: Hysteresis, drift
Examples: FSR array, Tekscan

용량식 센서:

Principle: Capacitance change under pressure
Resolution: 1-4 taxel/cm²
Sampling: 100-500Hz
Advantages: Low hysteresis, stable
Disadvantages: Sensitive to electromagnetic interference
Examples: Syntouch BioTac, Robotic Skin

광학식/비전 기반:

Principle: Camera imaging of gel deformation
Resolution: Hundreds to thousands taxel equivalent
Sampling: 30-60Hz (camera framerate)
Advantages: Very high resolution, 3-axis force measurement possible
Disadvantages: Processing delay, computational cost
Examples: GelSight, DIGIT, Soft Bubble

3.4.2 촉각 데이터의 신경망 입력 표현

촉각 데이터를 정책 네트워크에 입력하는 방법은 여러 가지가 있습니다:

방법 1: Raw 이미지 표현

# 촉각 어레이를 2D 이미지로 처리
tactile_image = reshape(tactile_readings, (H, W, 1))
features = CNN(tactile_image)  # Conv layers for spatial features

방법 2: 요약 통계량

# 저차원 특징으로 압축
tactile_features = {
    'total_force': sum(tactile_readings),
    'center_of_pressure': compute_cop(tactile_readings),
    'contact_area': count_nonzero(tactile_readings > threshold),
    'max_pressure': max(tactile_readings),
    'pressure_gradient': compute_gradient(tactile_readings)
}

방법 3: 시간적 특징 포함

# LSTM/Transformer로 시간적 패턴 학습
tactile_sequence = [tactile_t-k, ..., tactile_t-1, tactile_t]
temporal_features = TemporalEncoder(tactile_sequence)
# 슬립 감지, 접촉 전이 등의 동적 특성 포착

3.4.3 멀티모달 융합 아키텍처

┌──────────────┐  ┌──────────────┐  ┌──────────────┐
│ Tactile Input │  │Proprioceptive│  │ Task Condition│
│    (H×W×T)    │  │   Input(J×T) │  │     (D)      │
└──────┬───────┘  └──────┬───────┘  └──────┬───────┘
       │                 │                 │
       ▼                 ▼                 ▼
┌──────────────┐  ┌──────────────┐  ┌──────────────┐
│     CNN      │  │     MLP      │  │   Embedding  │
│   Encoder    │  │   Encoder    │  │    Layer     │
└──────┬───────┘  └──────┬───────┘  └──────┬───────┘
       │                 │                 │
       └────────────┬────┴────────────────┘
                    │ Concatenation
                    ▼
           ┌──────────────────┐
           │  Fusion Network  │
           │   (MLP/Attention)│
           └────────┬─────────┘
                    │
                    ▼
           ┌──────────────────┐
           │   Policy Head    │
           │  (Action Output) │
           └──────────────────┘

4. 관련 연구와의 비교

4.1 기존 Sim-to-Real 접근법들

Method	Advantages	Limitations	Comparison with This Paper
Domain Randomization	Easy to implement, no additional real data required	Unrealistic behavior learning with excessive randomization	This paper uses DR only in Stage 1, refines with real data
System Identification	Accurate simulation possible	Time consuming, needs to be redone for each object	This paper does not depend on object model accuracy
Real-to-Sim-to-Real	Corrects simulation with real data	Complex pipeline, computational cost	This paper directly uses real data instead of simulation correction
Online Adaptation	Responds to real-time environment changes	Can be dangerous on real robot	This paper deploys after offline learning for safety

4.2 유사 연구들

DexTreme (2023): - 극한의 in-hand manipulation 시연 - 대규모 시뮬레이션 + Domain Randomization에 의존 - 촉각 없이 고유감각만 사용 - 본 논문은 촉각 통합으로 더 복잡한 작업 수행

Transic (2024): - 온라인 교정을 통한 sim-to-real 전이 - 실시간 인간 피드백으로 정책 수정 - 본 논문은 텔레오퍼레이션을 데이터 수집에 활용하여 차별화

CyberDemo (CVPR 2024): - 시뮬레이션 데모의 대규모 증강 - 사전학습된 시각 표현 활용 - 본 논문은 실제 촉각 데이터를 직접 활용하여 더 풍부한 감각 정보 포함

4.3 촉각 기반 조작 연구들

Visual Dexterity (Chen et al., 2023): - 시각만으로 in-hand 재배향 - 촉각 없이 시각적 추론에 의존 - 본 논문은 촉각으로 시각의 한계 보완

In-Hand Manipulation of Articulated Tools (2025): - 관절 도구의 in-hand 조작 - 시뮬레이션 정책 + 촉각 기반 정제 - 본 논문과 유사한 철학이지만 다른 응용 영역

5. 태스크 분석: 너트-볼트 체결과 스크류드라이빙

5.1 너트-볼트 체결 (Nut-Bolt Fastening)

작업 분해:

접근 단계 (Approach Phase)
- 손이 너트에 접근
- 적절한 그립 자세 형성
파지 단계 (Grasping Phase)
- 다중 손가락으로 너트 안정적 파지
- 초기 토크 저항 없이 회전 가능 확인
회전 단계 (Rotation Phase)
- 손가락들의 순차적 재배치 (finger gait)
- 일정한 토크 적용하며 회전
체결 완료 감지 (Completion Detection)
- 토크 증가 감지
- 촉각/고유감각으로 “꽉 조여짐” 판단

도전 과제: - 너트와 볼트 나사산의 정렬 (Cross-threading 방지) - 회전 중 너트 슬립 방지 - 다양한 너트 크기/형상에 대한 일반화

5.2 스크류드라이빙 (Screwdriving)

작업 특성: - 도구(스크류드라이버) 사용이 추가됨 - 헤드와 드라이버 팁의 정렬이 중요 - 축방향 압력과 회전 토크의 조합 필요

핵심 도전: - 드라이버-스크류 결합 유지 - 적절한 축방향 힘 적용 (너무 약하면 캠아웃, 너무 강하면 손상) - 다양한 스크류 헤드 형상 (십자, 일자, 별형 등) 적응

6. 이론적 의의와 실용적 함의

6.1 이론적 기여의 심층 분석

6.1.1 “Good Enough” 시뮬레이션 가설의 형식화

본 논문의 가장 근본적인 이론적 기여는 시뮬레이션 충실도(fidelity)와 학습 효과 사이의 관계에 대한 새로운 관점입니다.

기존 관점 (High-Fidelity Paradigm):

Sim-to-Real Performance ∝ Simulation Accuracy
→ More accurate simulation = Better transfer
→ Invest in system identification, precise modeling

제안된 관점 (Behavioral Sufficiency Paradigm):

Sim-to-Real Performance = f(Behavioral Structure Learning) × g(Real Data Refinement)
→ Simulation only needs to be "sufficient for exploring correct behavior space"
→ Lack of physical accuracy is compensated by real data

이 가설의 이론적 근거:

Manifold Hypothesis for Manipulation: 성공적인 조작 정책들은 고차원 행동 공간에서 저차원 manifold 위에 존재합니다. 단순화된 시뮬레이션도 이 manifold의 대략적인 구조를 포착할 수 있다면, 세부 조정은 이후에 가능합니다.
Behavioral Invariance: 특정 행동 패턴(예: finger gait)은 물리적 세부사항의 광범위한 변화에도 불구하고 유효합니다. 이는 이러한 패턴이 특정 물리 파라미터가 아닌 구조적 제약에서 기인하기 때문입니다.
Information Bottleneck 관점: 실제 환경의 모든 정보가 조작에 필요한 것은 아닙니다. 시뮬레이션은 작업에 관련된 정보만 전달하면 되며, 관련 없는 세부사항의 불일치는 무시 가능합니다.

6.1.2 계층적 학습의 이론적 기반

본 논문의 3단계 파이프라인은 계층적 기술 학습(Hierarchical Skill Learning)의 구체적 구현으로 볼 수 있습니다.

Options Framework와의 연결:

Traditional Options:
- Option = (Initiation set, Policy, Termination condition)
- Learn high-level policy on pre-defined primitives

This paper's approach:
- RL-learned skill primitive (simulation)
- Learn option selection/composition via teleoperation (real)
- Form unified policy via BC

Information Theoretic 관점:

I(Action; Task Success | Observation) = 
    I(Action; Task Success | Low-level State)  [Maximized in RL stage]
  + I(Action; Task Success | High-level Intent) [Collected in Teleop stage]
  + I(Action; Task Success | Tactile Feedback)  [Integrated in BC stage]

각 단계가 서로 다른 정보원을 활용하여 전체 상호정보를 극대화합니다.

6.1.3 촉각의 필수성에 대한 이론적 분석

왜 시각만으로는 부족한가?

너트-볼트 체결 같은 작업에서 시각의 한계를 정보이론 관점에서 분석할 수 있습니다:

Observable information via vision:
- Approximate object pose
- Finger positions
- Global scene structure

Information NOT observable via vision (tactile required):
- Contact presence (when occluded by fingers)
- Contact force magnitude and direction
- Onset of slip
- Thread engagement state
- Torque resistance changes

Observability 분석:

시스템의 상태 x를 추정하기 위해 필요한 관측 y의 관점에서:

Vision only:
x_estimated = f(visual_obs)
→ Contact-related states are unobservable

Vision + Tactile:
x_estimated = g(visual_obs, tactile_obs)
→ Full state observable (or sufficiently estimable)

Complementary Sensing의 원리:

시각과 촉각은 서로 보완적인 정보를 제공합니다:

Aspect	Vision	Tactile
Spatial range	Global (entire workspace)	Local (contact points only)
Information type	Geometric, appearance	Dynamic, force
Occlusion robustness	Vulnerable to occlusion	Only valid during contact but occlusion-independent
Temporal resolution	Framerate limited	Very high (kHz possible)

6.2.2 데이터 수집 효율성의 정량적 분석

기존 방법과의 비교:

Pure Teleoperation (Conventional):
├── Training time: 10-50 hours (depending on task complexity)
├── Demo collection rate: 5-20 demos/hour (after training)
├── Demo quality: High variance (fatigue, concentration)
├── Required personnel: Expert operator
└── Total cost: High

RL + Teleoperation (This paper):
├── Training time: 1-5 hours (RL handles low-level)
├── Demo collection rate: 20-100 demos/hour
├── Demo quality: Consistent (RL provides stable base motion)
├── Required personnel: General worker possible
└── Total cost: Medium

Pure Simulation RL (Zero-shot):
├── Training time: Days to weeks (depending on compute)
├── Real data: Not required
├── Success rate: Low to medium (Sim2Real Gap)
├── Adaptability: Low (retrain for each new object)
└── Total cost: Low (hardware cost only)

ROI 분석:

제조 환경에서 본 접근법의 투자 대비 효과를 분석하면:

Initial Investment:
├── Multi-fingered robot hand: $20,000-100,000
├── Tactile sensors: $5,000-20,000
├── Teleoperation equipment: $2,000-10,000
├── System integration: $10,000-50,000
└── Total initial cost: $37,000-180,000

Annual Cost Savings:
├── Labor cost reduction: $30,000-80,000 (replacing 1-2 workers)
├── Quality cost reduction: $5,000-20,000 (lower defect rate)
├── Flexibility value: $10,000-50,000 (fast line changeover)
└── Total annual savings: $45,000-150,000

Break-even point: 1-3 years

6.2.3 기술 성숙도와 채택 장벽

Technology Readiness Level (TRL) 분석:

Current TRL: 4-5 (Validated in laboratory environment)

Challenges for TRL 6-7:
├── Hardware reliability (MTBF > 10,000 hours)
├── Software stability (99.9% uptime)
├── Safety certification (ISO 10218, ISO/TS 15066)
└── User interface improvement

Challenges for TRL 8-9:
├── Mass-producible hardware
├── Standardized integration protocols
├── Ease of maintenance
└── Total cost of ownership (TCO) optimization

조직적 채택 장벽:

Barrier	Description	Mitigation Strategy
Technical uncertainty	Difficult to guarantee performance	Validate with pilot projects
Initial investment	High equipment cost	RaaS (Robot-as-a-Service) model
Workforce transition	Existing worker reallocation	Phased deployment, retraining programs
Integration complexity	Connection with existing systems	Develop standard interfaces
Regulatory compliance	Safety certification requirements	Consider from early design stage

6.2.4 경쟁 기술과의 포지셔닝

기술 스펙트럼에서의 위치:

Manual Work ← -------- [This Paper] -------- → Full Automation
     ↑                    ↑                    ↑
   Max Flexibility     Balance Point       Max Speed
   Max Cost            Medium              Min Cost (at scale)
   Variable Quality    Consistent Quality  Consistent Quality

대안 기술과의 비교:

Dedicated Automation Equipment:
├── Advantages: High speed, proven reliability
├── Disadvantages: No flexibility, high initial cost
└── Suitable for: Mass production, single product

Collaborative Robot (Simple gripper):
├── Advantages: Low cost, easy programming
├── Disadvantages: Cannot perform precision manipulation
└── Suitable for: Pick-and-place, simple assembly

This Paper's Multi-fingered Hand Approach:
├── Advantages: High flexibility, complex tasks possible
├── Disadvantages: Currently high cost, immature technology
└── Suitable for: High-mix low-volume, precision assembly, high-value products

7. 한계점과 향후 연구 방향

7.1 현재 접근법의 한계

1. 작업 범위의 제한: - 현재는 너트-볼트와 스크류드라이빙에 집중 - 더 복잡한 bimanual 조작이나 도구 교체로의 확장 필요

2. 일반화의 경계: - 훈련된 객체 카테고리 내에서만 일반화 검증 - 완전히 새로운 형태의 조작으로의 전이는 미검증

3. 감각 모달리티: - 촉각과 고유감각 중심 - 시각 통합에 대한 논의 제한적

4. 실시간 적응: - 오프라인 학습 후 고정된 정책 배포 - 배포 중 온라인 적응 능력 불명확

7.2 향후 연구 방향

1. 다중 모달 감각 융합:

Vision + Tactile + Proprioception + Audio
    ↓
 Multimodal Transformer
    ↓
 Unified Policy

시각으로 전역적 상황 파악
촉각으로 국소적 접촉 정보 획득
청각으로 상태 변화 감지 (나사가 조여지는 소리 등)

2. 장기 수평 작업(Long-Horizon Tasks): - 현재: 단일 객체의 단일 조작 - 미래: 연속적인 조립 시퀀스, 에러 복구

3. 기반 모델(Foundation Models) 통합: - 대규모 사전훈련된 촉각/조작 모델 - 새로운 작업에 few-shot 적응

4. 안전성과 신뢰성: - 실패 예측 및 안전한 정지 - 인간과의 협업 시나리오

8. 결론

“Learning Dexterous Manipulation Skills from Imperfect Simulations”는 로봇 정밀 조작 분야에서 실용적이고 확장 가능한 프레임워크를 제시합니다. 이 논문의 핵심 기여는:

불완전한 시뮬레이션의 수용: 완벽한 물리적 정확성 대신 행동 구조의 출현에 집중
3단계 파이프라인: 시뮬레이션 RL → 텔레오퍼레이션 데이터 수집 → 촉각 통합 BC로 이어지는 체계적 접근
촉각의 필수성: 정밀 조작에서 촉각 피드백의 중요성 실증
실용적 태스크: 산업적으로 의미 있는 너트-볼트 체결과 스크류드라이빙에서 효과 검증

로봇공학 연구자들에게 이 논문은 Sim-to-Real의 새로운 패러다임을 제시합니다. 시뮬레이션과 실제의 간극을 좁히려 하기보다, 그 간극을 인정하고 체계적으로 보완하는 접근법은 향후 범용 조작 로봇 개발에 중요한 이정표가 될 것입니다.

본 리뷰에서 언급된 관련 연구들:

OpenAI, “Learning Dexterous In-Hand Manipulation,” IJRR 2020
Chen et al., “Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes,” Science Robotics 2023
Handa et al., “DexTreme: Transfer of Agile In-Hand Manipulation from Simulation to Reality,” ICRA 2023
Wang et al., “CyberDemo: Augmenting Simulated Human Demonstration,” CVPR 2024
Lin et al., “Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids,” arXiv 2025
Yu & Wang, “Dexterous Manipulation for Multi-Fingered Robotic Hands With Reinforcement Learning: A Review,” Frontiers in Neurorobotics 2022

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

2025년 발표된 DexScrew 논문은 시뮬레이션과 실제 간 격차(sim-to-real gap)를 줄이기 위해 시뮬레이션과 텔레옵레이션, 행동 클로닝을 결합한 새로운 프레임워크를 제안합니다. 구체적으로, 저자들은 간소화된 시뮬레이터를 사용해 기본적인 회전 조작 행동을 학습하고, 이를 실세계 텔레옵레이션 스킬로 활용하여 실제 로봇 데이터를 수집한 뒤, 최종적으로 다중 감각(tactile) 정보를 포함한 행동 클로닝으로 실제 작업 정책을 학습합니다. 이 방식을 통해 모의 물리와 촉각 센싱 간의 차이를 극복하고, 나사 체결 및 너트-볼트 조립과 같은 접촉이 복잡한 작업을 안정적으로 수행하는 정책을 얻을 수 있었습니다.

방법론 개요 및 파이프라인

DexScrew 프레임워크는 시뮬레이션 RL → 스킬기반 텔레옵레이션 → 행동 클로닝의 세 단계로 구성됩니다. 각 단계의 주요 구성은 다음과 같습니다:

Oracle RL 정책 학습: 시뮬레이터에서 강화학습을 수행하여 기초적인 회전 운동 스킬을 획득합니다. 이때 특권 정보(privileged information)를 활용해 교사(oracle) 정책을 학습합니다. 예를 들어, 시뮬레이터는 너트/볼트 또는 드라이버 핸들을 회전관절(revolute joint)로 단순화하여 실물의 나사산 모델링을 건너뜁니다. 교사 정책은 물체의 정확한 위치, 크기, 질량, 마찰계수, 관성 중심 및 손가락의 접촉 상태 등 시뮬레이터 내부 정보를 모두 관찰할 수 있습니다. 이렇게 학습된 교사 정책은 “정확한” 시뮬레이터 정보를 통해 빠르게 회전 스킬을 터득하지만, 실제 환경에 직접 적용하기에는 시뮬레이션의 불완전성이 존재합니다.
Sensorimotor 정책 추출(PADAPT 기반 학생 정책): 교사 정책에서 얻은 데이터를 이용해 관절 위치 등 내부 감각(proprioceptive) 정보만을 입력으로 받는 학생 정책을 학습합니다. 구체적으로, 저자들은 DAgger(On-policy 행위 복제) 기법을 사용하여 시뮬레이션 환경에서 학생 정책을 반복적으로 실행하고, 그 순간 교사 정책이 예측한 행동을 지도 신호로 삼아 학습합니다. 이 과정에서 학생 정책은 역사 기반 잠재 임베딩 모듈을 통해 과거 관절 상태 정보(과거 joint 목표값)를 활용하여 교사의 특권 정보를 추정합니다. 학생 정책의 관찰 공간은 관절 위치와 3-step 과거 목표값(슬라이딩 윈도우)이며, 교사 정책의 정밀함을 학습 데이터로 삼아 RL+Behavior Cloning 방식으로 학습됩니다. 이로써, 교사(oracle)의 특권관찰(privileged observation) 없이도 근사화된 회전 스킬을 획득한 학생 정책이 만들어집니다.
스킬기반 텔레옵레이션(data collection): 시뮬레이션으로 학습한 회전 스킬을 실제 조작 데이터 수집에 활용합니다. 사람 조작자는 가상현실(VR) 조이스틱을 통해 로봇 팔의 위치와 자세만을 제어하고, 손가락 관절의 회전 동작은 학습된 시뮬레이션 정책으로 자동 실행합니다. 즉, 인간은 손목(wrist)의 위치·자세를 조정하며 회전 스킬의 시작/중단 타이밍만 결정하고, 복잡한 손가락 협응은 시뮬레이션 정책에 맡깁니다. 이 덕분에 비전문가도 복잡한 손동작을 일일이 조작할 필요 없이 효율적으로 데이터를 수집할 수 있습니다. 텔레옵레이션 중 매 타임스텝마다 로봇의 관절 상태 및 시뮬레이션 정책이 생성한 손가락 목표 관절(action)과 인간이 조이스틱으로 제어한 팔 관절(action)을 함께 기록합니다. 또한 XHand 핸드에 장착된 고해상도 촉각 센서(각 손가락 끝에 120개의 3축 압력 센서, 최소 감지력 5gf)를 이용해 다중감각 관찰(관절 위치·속도와 촉각 신호)을 수집합니다. 이렇게 수집된 데이터는 실제 작업 환경에서 손가락 접촉 패턴과 힘 정보(tactile), 팔 위치 등 다양한 센서 정보를 포함합니다.
행동 클로닝(Behavior Cloning)으로 최종 정책 학습: 수집한 텔레옵레이션 데이터를 바탕으로 실제 사용 가능한 정책을 학습합니다. 구체적으로, 다중감각 관찰(관절정보 및 촉각정보 역사)과 수집된 전문가 행동(시뮬레이션 정책과 인간 조작의 결합된 행동)을 매핑하도록 신경망 기반 행동 클로닝을 수행합니다. 정책 신경망은 과거 관찰들을 시퀀스로 연결(concatenate)하여 입력으로 사용하며, 촉각 데이터는 먼저 MLP를 거쳐 압축된 후, Hourglass 아키텍처로 통합합니다. 또한 이 논문은 액션 청킹(Action Chunking) 기법을 적용하여 한 타임스텝이 아니라 연속된 액션 시퀀스(예: 일정 시간 동안의 연속 명령)를 한 번에 예측하도록 학습합니다. 학습 손실로는 예측한 액션 청킹 시퀀스와 전문가 시퀀스 간의 차이를 최소화하는 MSE 손실을 사용합니다. 이렇게 학습된 정책은 시간 정보와 촉각 정보를 모두 활용하여 팔과 손가락의 협응된 움직임을 구현하며, 최종적으로 실제 로봇에서 너트 체결과 스크류 드라이빙 작업을 수행할 수 있게 됩니다.

파이프라인의 학습 과정에서 강화학습과 지도학습 모두 활용되었습니다. 시뮬레이션 단계의 Oracle 정책 학습에는 Proximal Policy Optimization(PPO)을 사용했으며, 관찰 및 행동은 다음과 같이 정의됩니다:

관찰(Observation): 로봇의 관절 위치 및 목표 위치(과거 3스텝 이력)와 특권 정보. 특권 정보는 객체 위치/크기/질량/마찰/관성중심 등의 환경 변수와 핸드 관절 상태, PD 제어기의 파라미터 등을 포함합니다.
행동(Action): 상대적 관절 목표 위치(relativ target position)를 출력합니다. 실제 제어에서는 현재 관절 위치에 액션의 스케일을 곱한 값 (pos + 0.1 * action)을 PD 컨트롤러로 보내서 토크로 변환합니다.
보상(Reward): 회전 축 속도(angular velocity)가 양성일수록 높은 보상을 주는 회전 보상(rotation reward)과, 손가락이 물체에 가까이 유지되도록 하는 근접 보상(proximity reward)을 줍니다. 여기에 과도한 에너지 사용을 억제하는 관절 토크 및 작업량 페널티, 손가락 초기 자세 유지 편차 페널티 등 안정성 유지를 위한 페널티가 가중합으로 포함됩니다. 예를 들어, 회전 보상은 축속도를 음으로 클리핑한 뒤 정규화하여 양성 회전에만 값을 부여하며, 에너지 페널티는 크고 빠른 토크 동작에 비용을 부과합니다.

Oracle 정책 학습 시에는 도메인 랜덤화(Domain Randomization)를 적용하여 물체 질량, 마찰계수, 크기, 컨트롤러 이득 등을 무작위로 변화시켰습니다. 이는 시뮬레이션의 불확실성을 고려해 실제 상황 일반화 성능을 높이기 위함입니다. 또한, Thumb/Index 손가락과 물체 사이 거리가 일정 한계 이상 멀어지거나, 물체가 정지하거나 접촉력이 사라지는 경우 에피소드를 조기 종료하는 조건을 두어 실패 모드를 빠르게 학습에서 제외합니다.

시뮬레이션 단계의 학습 세부 설정은 아래와 같습니다. PPO는 8,192개의 병렬 환경에서 약 3.1\times10^9 샘플(환경 스텝)을 수집하여 훈련했으며, 학습률은 5\times10^{-3}로 설정되었습니다. 정책과 가치 함수는 별도의 MLP(다층 퍼셉트론)로 로봇 상태와 특권 정보를 각각 임베딩한 뒤 결합하여 예측하도록 설계했습니다. 학생 정책 학습 시에도 on-policy BC 방식을 사용하여, 매 시점마다 학생이 수행한 행동과 교사가 예측한 행동을 비교하며 옵티마이즈 합니다. 이러한 대규모 학습을 통해 시뮬레이션 정책은 상대적으로 빠르게 안정적 회전 동작을 획득하며, 학습 과정 전체는 단일 GPU에서 1일 내외의 시간에 완료되었다고 합니다.

실험 설정 및 결과 분석

하드웨어 및 시뮬레이션 환경

실험에서는 UR5e 로봇 팔(6DoF)과 12DoF의 XHand 다지 손을 사용했습니다. XHand는 엄지와 검지에 각각 3자유도(회전+폄/굽힘+벌림/모음)가 있으며, 나머지 세 손가락은 각각 2자유도입니다. 시뮬레이션은 NVIDIA Isaac Gym 엔진을 사용하였고, 8,192개의 병렬 환경을 통해 학습했으며, 각 에피소드 최대 길이는 800 스텝(제어 주기 20Hz, 40초 상당)입니다.

조작 과제는 두 가지로 구성됩니다: (1) 너트-볼트 체결(fastening)과 (2) 스크루드라이빙. 학습 시뮬레이터에서는 실제 나사산 대신 회전가능한 조인트로 연결된 기하학적 물체 모델(삼각형 또는 다각형 단면 너트, 다각형 손잡이 등)을 사용합니다. 예를 들어, 너트 체결 학습에는 삼각형 모양 너트를 사용하여 높은 전복(clearance)을 가진 회전 보행을 유도했고, 스크루드라이빙 학습에는 원형이 아닌 8각형/12각형 핸들을 다양하게 사용했습니다. 이는 다양한 형상을 노출하여 실제에서 모양 변화에 견고하도록 일반화하기 위함입니다.

성능 평가지표로는 진행률(progress ratio)와 완료시간(completion time)을 사용했습니다. 진행률은 필요 회전 횟수 대비 실제 달성한 회전 횟수의 비율로 정의하며, 100%는 작업 완전 성공을 의미합니다. 완료시간은 완전 체결(진행률 100%)을 이루는 데 걸린 시간입니다. 베이스라인으로는 순수 시뮬레이션 정책의 직접 적용(direct sim-to-real), 실제로 수집된 전문가 텔레옵 궤적의 리플레이 등이 비교되었습니다.

실험 결과 요약

너트-볼트 체결(Nut-Bolt Fastening): 시뮬레이션 정책을 바로 사용하면 스크류 회전은 가능하나 너트를 아래로 밀어넣지 못해 작업을 완료하지 못합니다. 실제로 수집된 데이터(사람이 손목 조정 포함)를 BC하여 얻은 정책은 다양한 너트형상(정사각형, 삼각형, 육각형, 십자형)에서 높은 성공률을 보였습니다. 특히 시간 이력(history)과 촉각 정보를 함께 사용한 정책이 가장 높은 성공률을 기록했습니다. 표 I의 결과에서 볼 때, 시간 이력만 사용할 때보다 촉각을 추가하면 어려운 형상(삼각형, 십자형)에서 성공률이 크게 증가하며, 두 정보를 모두 사용할 때 거의 모든 경우에서 최고 성능을 냈습니다. 예를 들어, 촉각+이력 사용 시 정사각형 너트 97.5%, 십자형 너트 95%의 성공률을 보인 반면, 촉각 없이 이력만 사용했을 때는 각각 87.5%와 85.0%였습니다. 이 결과는 촉각 정보가 어려운 형상에서의 안정성 유지와 회전 진척 감지에 특히 유리함을 보여줍니다. 또한, 이력이 없는 정책은 모양을 추론하기 어려워 일반화가 떨어졌고, 이력 덕분에 이러한 문제가 상당히 완화되었습니다.
스크루드라이빙(Screwdriving): 너트 체결보다 제약이 적어 팔을 고정해도 어느 정도 회전이 가능합니다. 하지만 실험 결과 순수 시뮬레이션 정책으로는 진행률 약 41.6%밖에 얻지 못했고(완전 성공 사례가 없어 완료시간 계산 불가), 전문가 리플레이(수집된 데이터를 그대로 재생) 정책도 50.8%에 그쳤습니다. 반면 DexScrew 방법으로 학습된 BC 정책은 기본적으로 69.2%의 성공률을 달성했고, 이력을 추가하면 67.6%, 촉각만 추가하면 87.5%, 두 정보를 모두 사용하면 무려 95.0%까지 상승했습니다. 특히 촉각과 시간 정보를 결합할 때 평균 완료시간도 크게 감소하는 등 효율성 면에서도 우수했습니다. 저자들은 때때로 BC가 전문가 데이터를 학습한 모델보다 더 높은 성능을 보이는 것을 확인했는데, 이는 성공한 궤적만 선별하여 학습하는 필터링된 행동 클로닝 효과로 설명했습니다.
정성 실험: 학습된 정책은 외란 상황에서도 강건성을 보였습니다. 예를 들어, 손가락이 물체에서 밀려나거나 반대 방향으로 돌려지는 경우에도, 정책은 촉각 신호 패턴이 정상적인 회전 단계와 달라짐을 인식하고 손목 방향을 조정하여 회전을 회복했습니다. 실제로 촉각 시그니처 분석 결과, 올바른 회전 접촉 상태에서는 안정적인 촉각 패턴이 나타나며, 이를 유지하기 위해 정책이 손목 각도와 압력을 조절하는 경향이 관찰되었습니다.

성능 지표 및 정량 평가

실험에서는 각 방식의 진행률(Progress Ratio)과 완료 시간(Time)을 비교했습니다. 진행률은 전체 회전 단계(너트는 나사산 끝까지 회전, 드라이버는 완전 체결) 대비 달성한 회전 단계의 비율로, 높은 진행률일수록 목표 작업에 가까이 도달했음을 의미합니다. 완료 시간은 완전 체결을 이룬 실험의 소요 시간 평균입니다. 표 I, II의 수치에서 보듯, DexScrew의 행동 클로닝 정책(촉각+이력)은 직접 sim2real과 비교하여 진행률이 크게 높고, 성공 시 완료시간이 짧았습니다. 예를 들어, 너트 체결에서 촉각+이력 BC는 모든 너트형상에서 95–98% 이상의 진행률을 기록해, 촉각 없이 60–80%를 넘지 못한 기존 방법과 비교해 현저히 우수한 성능을 보였습니다. 스크루드라이빙에서도 촉각+이력 BC는 95.0% 진행률을 달성해, 순수 시뮬레이션(41.6%) 대비 큰 폭의 개선을 이루었습니다. 이는 간소화된 시뮬레이터만으로는 한계가 있었던 물리적 상호작용과 촉각 피드백을 실제 데이터로 보완했기 때문으로 분석됩니다.

비판적 분석: 장단점 및 한계

장점 (Strengths): DexScrew는 시뮬레이션 정책의 장점(빠른 대규모 학습)과 실제 데이터의 장점(정확한 물리·센싱) 모두를 활용한 하이브리드 접근입니다. 시뮬레이션 단계에서 기초적인 움직임 스킬을 습득하여 인간 조작을 돕고, 실제 텔레옵을 통해 현실 세계의 접촉 역학과 촉각 정보를 학습 데이터로 확보했다는 점이 혁신적입니다. 실제 평가에서 보듯, 촉각 센싱과 시간 정보의 결합은 복잡한 접촉 상황(예: 형상이 다양한 너트, 마찰이 불확실한 스크류드라이빙)에서 현저한 성능 향상을 가져왔습니다. 또한, 행동 클로닝 단계에서 액션 청킹을 도입하여 긴 시계열 행동을 예측하도록 한 점도 실제 로봇 제어에서 유용한 기법입니다. 정책 네트워크 설계나 학습 프로세스도 비교적 표준적인 기법(MLP 임베딩, Hourglass 네트워크, PPO, DAgger 등)을 사용하여 재현 가능성을 높였고, 대규모 병렬환경으로 효율적인 학습을 달성했습니다.

단점 및 한계 (Limitations): 그럼에도 몇 가지 한계가 있습니다. 우선 텔레옵레이션 단계는 인간의 직접 개입을 필요로 하기 때문에 완전 자율성이 제한됩니다. 저자도 지적했듯이 스킬 기반 텔레옵은 자동화된 데이터 수집보다 효율성이 낮고, 대규모 데이터 수집에는 제약이 있습니다. 특히, 실험에서는 이미 너트가 볼트 위에 위치해 있고 드라이버가 나사에 맞춰 삽입된 상태에서 텔레옵을 시작했습니다. 즉, 물체 인식이나 초기 정렬은 포함되지 않은 단일 작업 단계에 국한되어 있습니다. 이를 확장하려면 비전 센서와 고정밀 힘 센서 등을 추가해야 할 것입니다.

또한, 이 접근법은 복잡한 학습 파이프라인과 리소스를 요구합니다. Oracle RL 단계에서 수십억 단계의 샘플을 필요로 했으며, XHand와 같은 고가의 촉각 센서 장착 핸드, VR기반 조작 인터페이스 등 특수 장비가 필요합니다. 정책 학습과 세 가지 단계의 통합 과정이 비교적 수고가 많이 드는 데다가, 특정 작업에 특화된 설계(예: 너트 체결을 위한 회전 스킬)라 다른 유형의 작업으로 전환할 때마다 각 단계를 다시 수행해야 할 수 있습니다. 또한, 행동 클로닝 기반 학습은 수집된 데이터의 품질에 크게 의존하며, 수집한 궤적 외의 상황에 대한 일반화가 제한적일 수 있습니다(저자도 학습 이력의 중요성을 언급함). 마지막으로, 시뮬레이션 정책 자체는 실제 나사산 물리나 전체 조립 동역학을 반영하지 못하기 때문에, 시뮬레이션과 실제 사이에는 여전히 일부 격차가 남아 있으며, 완전한 시뮬레이션 대체는 어렵습니다. Simulation ablation에서 확인했듯이, 특권 정보 없이 학습했을 때 성능이 크게 감소하여, 현 단계에서는 시뮬레이터 내부 정보를 적극 활용해야 한다는 제약이 있습니다.

적용 범위: 제안된 방법은 접촉과 촉각이 중요한 정밀 조립 작업(nut-bolt fastening, screwdriving 등)에 적합합니다. 특히, 다지(多指) 로봇 핸드와 촉각 센서가 갖춰진 시스템에서 그 효과가 큽니다. 하지만 완전히 비접촉 작업이나 시각 정보에 크게 의존하는 작업에는 추가 수정이 필요하며, 대규모 군집 조작처럼 텔레옵이 어려운 환경에서는 제한적입니다. 또한, 시뮬레이션의 단순화가 핵심인데, 너무 단순할 경우 배운 스킬이 실제 상황에 부적합해질 수 있으므로, 작업 특성에 맞는 시뮬레이터 모델링이 중요합니다.

결론 및 전망

DexScrew는 불완전한 시뮬레이션과 실제 데이터 학습을 결합하여, 촉각 기반의 섬세한 조작을 가능케 하는 유망한 접근을 제시합니다. 심층 분석 결과, 시뮬레이션 단계에서 습득한 회전 동작이 실제 텔레옵과 결합될 때 복잡한 접촉 작업에서도 높은 성공률을 달성하였습니다. 향후 연구에서는 텔레옵 의존성을 줄이기 위해 자율 데이터 수집 방법이나 사람 시각 동작 학습을 도입하고, 긴밀한 시각-촉각 통합을 통해 작업 초기 정렬 문제를 해결하는 것이 중요해 보입니다. 또한, 보다 광범위한 조작 작업에 대한 검증을 통해 일반성(generalization)을 평가하고, 학습 효율성 개선을 위한 알고리즘적 최적화도 필요한 과제입니다. 이러한 방향으로 발전한다면 DexScrew 스타일의 프레임워크는 다용도 로봇 핸드를 활용한 정밀 조립이나 제품 검사 등 실제 산업 응용에서 강력한 솔루션이 될 수 있을 것입니다.