📃SimToolReal 리뷰

An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

• Paper Link
• Code Link
• Project Link

1. 👉 SimToolReal은 시뮬레이션에서 생성된 도구 primitive와 무작위 목표 pose를 사용하여 하나의 object-centric RL 정책을 훈련하여 zero-shot으로 실제 세계의 다양한 도구 조작 작업을 수행할 수 있도록 합니다.
2. 🦾 이 프레임워크는 도구 사용을 목표 pose 시퀀스를 통한 조작으로 정의하며, vision foundation model 기반의 perception pipeline을 통해 인간 시연 비디오에서 얻은 목표 궤적을 추적하여 novel한 도구와 작업에 일반화됩니다.
3. 🚀 DexToolBench 벤치마크에서 SimToolReal은 기존 retargeting 및 fixed-grasp 방법보다 37% 향상된 성능을 보여주며, specialist 정책과 유사한 결과를 달성하여 dexterous한 도구 사용의 효과적인 zero-shot transfer 능력을 입증합니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

SimToolReal은 로봇의 dexterous한 도구 조작을 위한 object-centric 정책을 sim-to-real 방식으로 학습하는 프레임워크입니다. 이 연구는 단일의 일반 목적(general-purpose) RL 정책을 시뮬레이션에서 훈련하고 이를 실제 세계의 새로운 도구와 작업에 zero-shot으로 전이시키는 것을 목표로 합니다.

핵심 통찰 (Core Insight)

SimToolReal은 dexterous한 도구 사용을 “도구를 일련의 목표 자세(goal poses)를 통해 조작하는 것”으로 재정의합니다. 이는 복잡한 도구 사용 작업을 단일한 목표 도달(goal-reaching) RL 문제로 단순화합니다. 정책은 시뮬레이션에서 절차적으로 생성된 다양한 tool-like primitive object들을 임의의 목표 자세(random goal poses)로 조작하도록 훈련됩니다. 이러한 훈련 목표는 안정적인 grasping과 in-hand reorientation과 같은 도구 사용에 필수적인 dexterous한 기술들을 유도합니다. 테스트 시에는 이 정책이 인간 시연 비디오에서 추출된 도구 궤적(trajectory)을 순차적으로 추적하는 데 사용되어, 작업별 훈련 없이 다양한 도구 조작을 zero-shot으로 가능하게 합니다.

훈련 방법론 (Training Methodology)

1. 환경 설정 (Environment Setup)

   • 절차적 도구 생성 (Procedural Tool Generation): 시뮬레이션에서는 실제 도구의 다양성을 포괄하기 위해 절차적으로 tool-like primitive object들을 생성합니다. 각 도구는 handle과 head의 조합으로 구성되며, 이들의 기하학적 형태(cuboids 또는 capsules)와 밀도(handle은 낮은 밀도 \rho_{\text{low}} \sim U[300, 600] \text{ kg/m}^3, head는 높은 밀도 \rho_{\text{high}} \sim U[300, 2000] \text{ kg/m}^3)가 무작위로 샘플링됩니다. 이는 다양한 무게 중심(center-of-mass)과 회전 관성(rotational inertia)을 가진 도구를 생성하여 정책이 다양한 물리적 특성에 적응하도록 유도합니다.
     • Handle dimensions: length \in [5, 30] cm; width/height/diameter \in [1, 4] cm.
     • Head dimensions: length \in [1, 15] cm; width/height/diameter \in [0.5, 12] cm.
   • 초기화 (Initialization): 각 에피소드 시작 시, 무작위로 선택된 객체가 테이블 위에 무작위 자세로 배치되고, 로봇은 무작위 관절 구성으로 초기화됩니다.
   • 목표 샘플링 (Goal Sampling): 첫 번째 목표는 로봇의 reachable workspace 내에서 무작위로 샘플링되어 넓은 범위의 객체 자세와 큰 재배치를 학습하도록 합니다. 이후의 목표들은 이전 목표에 가깝게 샘플링되어 부드러운 궤적(trajectory-like motion)을 유도합니다.

2. 보상 함수 (Reward Function)

   • 총 보상 r은 세 가지 주요 구성 요소로 이루어집니다: r = r_{\text{smooth}} + r_{\text{grasp}} + I_{\text{grasped}}r_{\text{goal}}

   • 부드러움 보상 (r_{\text{smooth}}): 관절 속도(joint velocities)의 L_1 norm에 벌칙을 부과하여 부드러운 동작을 장려합니다. r_{\text{smooth}} = -\lambda_{\text{arm}}\|\dot{q}_{\text{arm}}\|_1 - \lambda_{\text{hand}}\|\dot{q}_{\text{hand}}\|_1 여기서 \dot{q}_{\text{arm}}과 \dot{q}_{\text{hand}}는 각각 7-DoF arm과 22-DoF hand의 현재 속도입니다.

   • 그랩 보상 (r_{\text{grasp}}): 중립 자세에서 안정적인 그랩으로의 전환을 돕습니다. r_{\text{grasp}} = r_{\text{approach}} + (1 - I_{\text{grasped}})r_{\text{lift}}

     • r_{\text{approach}}: 로봇 손과 객체 사이의 거리를 줄이는 것을 장려합니다. r_{\text{approach}} = \lambda_{\text{approach}} \max(\bar{d}^*_{\text{ft}} - \bar{d}_{\text{ft}}, 0) \bar{d}_{\text{ft}}는 fingertip과 객체 사이의 현재 평균 거리이며, \bar{d}^*_{\text{ft}}는 에피소드에서 달성된 최소 평균 거리입니다.
     • r_{\text{lift}}: 객체를 들어 올리는 것을 장려합니다. r_{\text{lift}} = \lambda_{\text{lift}} \max(z - z_{\text{init}}, 0) + I[z \ge z_{\text{lifted}}]B_{\text{lifted}} z는 객체의 수직 위치, z_{\text{init}}는 초기 수직 위치, z_{\text{lifted}}는 들어 올림 임계값, B_{\text{lifted}}는 보너스입니다. I_{\text{grasped}}는 z \ge z_{\text{lifted}}일 때 true가 됩니다.

   • 목표 자세 보상 (r_{\text{goal}}): I_{\text{grasped}} = 1이 되면 지배적인 보상 항이 됩니다. r_{\text{goal}} = \max(d^* - d(o_t, g), 0) + B_{\text{succ}} I[d(o_t, g) < \epsilon]

     • 밀도 있는 진행 항: 현재 객체 자세 o_t와 목표 자세 g 사이의 거리 d(o_t, g)를 최소화합니다. d^*는 현재 목표에 대해 달성된 최소 거리를 추적하는 stateful 변수입니다.
     • 희소한 성공 보너스 (B_{\text{succ}}): d(o_t, g) < \epsilon일 때 주어지며, 새로운 목표가 샘플링됩니다.
     • Keypoint Distance Formulation: 객체 자세 거리 d(o_t, g)는 D=4개의 객체 프레임 keypoint를 사용하여 측정됩니다: d(o_t, g) = \max_i \|o_{t,i} - g_i\|. 여기서 o_{t,i}와 g_i는 현재 및 목표 자세의 i-번째 keypoint의 world-frame 위치를 나타냅니다. Keypoint들은 고정된 스케일 s_{\text{rew}} = [0.14, 0.03, 0.03] (미터)을 사용하여 정의됩니다. s_{\text{rewx}} > s_{\text{rewy}}, s_{\text{rewz}}로 설정하여 긴 도구의 pitch 및 yaw 오차에 더 민감하게 반응하도록 합니다.

3. Object-Centric 정책 입력 (Object-Centric Policy Inputs)

   정책은 현재 도구의 6D 자세와 graspable region에 대한 coarse한 3D bounding box(객체 프레임에서의 중심 + 확장)만 입력으로 받습니다. 이 추상화는 sim-to-real visual gap을 효과적으로 우회하고 zero-shot 전이를 가능하게 합니다. LSTM backbone을 사용하여 상호작용 이력을 통합하고 직접 관찰되지 않는 잠재적인 물리적 및 기하학적 특성을 암묵적으로 추론합니다. 정책의 관찰 keypoint는 객체의 grasp bounding box 크기 s \in \mathbb{R}^3 (길이, 너비, 높이)를 사용하여 정의되어, 정책이 특정 도구 기하학에 조건화됩니다.

4. RL 훈련 세부 사항 (RL Training Details)

   • SAPG (Split and Aggregate Policy Gradients): PPO의 변형인 SAPG를 사용하여 훈련합니다. SAPG는 정책의 집단(population)을 유지하고 그들의 collective experience를 사용하여 리더 정책을 업데이트하여 탐색 다양성을 촉진하고 대규모 병렬 시뮬레이션에서의 탐색 병목 현상을 완화합니다.
   • Domain Randomization: sim-to-real 전이를 돕기 위해 observation delays, action-execution latency, 객체 자세 추정의 노이즈 및 지연, grasp-region bounding box 교란, 객체에 대한 무작위 힘 및 토크 교란 등을 적용합니다.
   • Asymmetric Critic: Actor는 테스트 시 사용 가능한 최소한의 객체 표현만을 받지만, Critic은 시뮬레이션의 privileged states(ground-truth 속도, 보상 신호, stateful progress features, 노이즈가 없고 지연되지 않은 객체 자세)에 접근하여 가치 함수(value function) 추정을 개선하고 훈련을 안정화합니다.
   • Action Space: 29 DoF 로봇(7-DoF KUKA iiwa arm 및 22-DoF Sharpa hand)의 관절 위치 목표(joint position targets)를 출력합니다. Arm은 이전 목표로부터의 상대 변위(delta)로, Hand는 관절 한계 내의 절대 목표로 해석됩니다. 두 경우 모두 EMA 필터가 적용됩니다.

실세계 배포 (Real-World Deployment)

1. 인간 비디오 처리 (Human Video Processing)
   • Metric-Scale Mesh 및 Grasp Bounding Box 획득: 첫 RGB-D 프레임에서 SAM 3D [16] (캡처된 깊이 맵을 사용하여 metric accuracy를 보장하도록 수정됨)를 통해 객체의 metric-scale 3D mesh를 재구성합니다. 그런 다음 SAM 2 [65]를 사용하여 의도된 그랩 영역을 세그먼트화하고, 이를 coarse한 3D bounding box로 변환하여 정책 입력의 일부로 제공합니다. 바운딩 박스는 핸들에 중심을 두고 x축이 핸들의 주 축을 따라 머리 쪽으로 향하도록 정렬됩니다.
   • 6D 객체 자세 궤적 추출: FoundationPose [80]를 사용하여 RGB-D 비디오에서 6D 객체 자세 궤적을 추출합니다. 이 궤적은 3Hz로 다운샘플링되고, 객체가 테이블에서 들어 올려지는(lift-off) 순간부터 시작되도록 정적 단계가 잘라내어집니다 (z_{\text{thresh}}=10\text{cm}).
2. 추론 시간 객체 추적 (Inference-time Object Tracking) 추론 시에는 FoundationPose [80]를 사용하여 제3자 시점 카메라에서 RGB-D 관찰을 통해 현재 6D 객체 자세를 30Hz로 추정합니다. 정책은 proprioception, 현재 객체 자세, 고정된 grasp-region bounding box, 그리고 시연 궤적에서 가져온 현재 목표 자세에 따라 조건화됩니다. 객체 자세가 목표 자세에 충분히 가까워지면(d(o_t, g) < \epsilon) 목표가 다음으로 전환됩니다.

DexToolBench

이 연구는 도전적인 도구 사용 작업을 포함하는 실세계 dexterous 조작 벤치마크인 DexToolBench를 소개합니다. 24개의 일상적인 도구 사용 작업, 6가지 범주의 12개 고유한 객체 인스턴스로 구성됩니다. 각 작업은 RGB-D 인간 비디오 시연과 쌍을 이룹니다. 평가는 Task Progress (시연된 목표 자세 중 성공적으로 추적된 비율, \epsilon = 2\text{cm})로 측정됩니다.

실험 결과 (Experimental Results)

• Zero-Shot Real-World Tool-Use: SimToolReal은 120회 이상의 실제 롤아웃을 통해 24개 작업, 12개 객체 인스턴스, 6개 도구 범주에 걸쳐 강력한 zero-shot 일반화 성능을 입증했습니다. 특히 in-hand rotation이 덜 필요한 작업(eraser, marker)에서 높은 Task Progress를 보였습니다. 주요 실패 모드는 자세 추적 손실(43.7%), 객체 떨어뜨림(34.5%), 불완전한 in-hand rotation으로 인한 목표 자세 도달 실패(18.2%)였습니다.
• Retargeting 및 Fixed Grasp Baseline과의 비교: SimToolReal은 고정된 그랩이나 Kinematic Retargeting 기반의 이전 방법들을 37% 능가하며, dexterous한 in-hand object rotation을 통해 복잡한 작업을 성공적으로 수행했습니다. Kinematic Retargeting은 접촉 상호작용을 고려하지 않아 그랩에 실패했고, Fixed Grasp는 in-hand rotation이 필요한 작업에서 로봇 팔이 테이블과 충돌하는 등의 한계를 보였습니다.
• Specialist RL 정책과의 비교: 시뮬레이션에서 SimToolReal은 특정 객체와 궤적에 대해 훈련된 specialist 정책과 유사한 성능을 보였지만, specialist 정책은 훈련 조건에서 벗어날 경우(새로운 궤적 또는 객체) 성능이 크게 저하되는 과적합(overfitting) 경향을 보였습니다. 반면 SimToolReal은 객체와 궤적 변화 모두에 대해 강한 zero-shot 성능을 유지했습니다.
• 훈련 목표의 일반화 예측 능력: 절차적으로 생성된 primitive object들에서 임의의 목표 자세에 도달하는 훈련 목표의 보상 증가가 DexToolBench 작업에서의 Task Progress 향상과 강한 상관관계를 보였습니다. 이는 훈련 목표가 실제 도구 사용의 일반화를 예측하는 신뢰할 수 있는 지표임을 시사합니다.
• RL 훈련 ablation: SAPG와 Asymmetric Critic은 성능 극대화에 필수적인 요소로 확인되었습니다. PPO 또는 표준 critic을 사용할 경우 학습 성능이 크게 떨어졌습니다.

논의 및 한계 (Discussion and Limitations)

SimToolReal은 zero-shot dexterous 도구 조작에 대한 강력한 프레임워크를 제공합니다. 그러나 이 접근 방식은 고강도 상호작용에서 기능적 작업 완료를 보장하지 않으며, 객체 자세 목표만으로는 환경을 인식하지 못하여 복잡한 환경에서의 충돌 가능성이 있습니다. 또한, 현재는 도구를 강체로 가정하며, 고수준의 목표 궤적이 고정되어 동적으로 재계획되지 않는다는 한계가 있습니다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄 요약: 도구 조작(Tool Manipulation)이라는 어렵고 다양한 문제를 “임의의 물체를 목표 포즈까지 이동시키는 단일 과제”로 환원하여, 단 하나의 RL 정책만으로 실제 세계의 다양한 도구를 Zero-Shot으로 다루는 데 성공했다.

---

1. 서론: 왜 도구 조작은 아직도 어려운가?

인간이 도구를 사용하는 모습을 잠깐 상상해 보자. 망치를 집어 올릴 때 우리는 손잡이의 얇은 부분을 잡고, 손 안에서 묵직한 부분이 위로 가도록 회전시킨 뒤, 강한 충격을 가해도 떨어뜨리지 않는다. 이 동작 안에는 세 가지 근본적인 도전이 숨어 있다.

1. 얇은 물체 파지 (Thin Object Grasping): 테이블 위에 누운 마커 펜, 붓, 드라이버의 손잡이는 두께가 수 mm에 불과하다. 일반적인 그리퍼 파지 알고리즘이 얼마나 힘들어하는지 직관적으로 느껴질 것이다.

2. 손 안 재배치 (In-Hand Reorientation): 잡은 뒤 도구를 기능적인 자세로 돌려야 한다. 이는 단순 파지를 넘어 다지 핸드(Dexterous Hand)만이 할 수 있는 정교한 조작을 요구한다.

3. 강제적 상호작용 (Forceful Interaction): 못 박기나 지우개로 지우기는 환경과 강한 접촉이 발생한다. 파지 상태를 잃지 않으면서 힘을 전달해야 한다.

기존 접근법의 한계

이 문제에 접근하는 방법은 크게 두 갈래였다.

모방 학습(Imitation Learning) 기반: 인간이 텔레오퍼레이션으로 시연 데이터를 모은 뒤 이를 학습한다. ACT, Diffusion Policy, RT-2 같은 방법들이 여기 속한다. 문제는 얇고 힘든 물체를 잡는 시연 데이터를 수집하는 것 자체가 극도로 어렵다는 것이다. 마커 한 자루를 집어 드라이버로 쓰는 자세로 돌리는 동작을 50회 이상 시연하는 것을 상상해 보라.

Sim-to-Real RL 기반: 시뮬레이터에서 강화학습으로 정책을 학습하고 현실에 적용한다. OpenAI Dactyl이 대표적이다. 그러나 기존 접근법들은 각 객체와 과제별로 별도의 시뮬레이션 모델링과 보상 함수 설계가 필요했다. 새 도구가 추가될 때마다 처음부터 다시 시작해야 한다는 의미다.

이 논문, SimToolReal은 이 양쪽 문제를 동시에 해결하는 우아한 해법을 제시한다.

---

2. 핵심 아이디어: 문제를 다시 정의하라

논문의 가장 강력한 기여는 문제 정의의 전환이다.

“도구 조작 = 도구를 일련의 목표 포즈(goal pose sequence)로 이동시키는 것”

이 정의는 얼핏 단순해 보이지만 엄청난 함의를 담고 있다.

• 망치질 = {손잡이 잡기 포즈, 위로 들기 포즈, 아래로 내려치기 포즈} 로 표현 가능
• 붓질 = {붓 잡기 포즈, 캔버스 접근 포즈, 좌우 이동 포즈들} 로 표현 가능
• 드라이버 조이기 = {잡기 포즈, 회전 포즈들} 로 표현 가능

모든 도구 과제가 동일한 추상적 표현—“다음 목표 포즈로 이동하라”—으로 환원된다. 그렇다면 시뮬레이션에서 이 단일 과제만을 잘 학습하면 되는 것이다. 도구가 뭔지, 과제가 뭔지는 전혀 몰라도 된다.

이것이 Object-Centric이라는 이름의 의미다. 로봇의 시각이 아닌 물체의 시각으로 세상을 표현하면, 모든 도구 조작이 하나의 보편적 문제가 된다.

---

3. 방법론 상세 분석

3.1 시스템 아키텍처 전체 개요

flowchart TD
    subgraph SIM ["🖥️ 시뮬레이션 (Isaac Gym)"]
        A[절차적 도구 프리미티브 생성\nProcedurally Generated Primitives] --> B[랜덤 목표 포즈 샘플링\nRandom Goal Pose Sampling]
        B --> C[RL 정책 학습\nLSTM Policy Training]
        C --> D[학습된 범용 정책\nGeneral-Purpose RL Policy]
    end

    subgraph REAL ["🤖 실세계 배포 (Real World)"]
        E[인간 비디오 시연\nHuman Video Demo] --> F[FoundationPose\n6D 목표 포즈 추출]
        G[실제 도구\nReal Tool] --> H[SAM 3D\n메쉬 + 파지 바운딩박스 추출]
        F --> I[목표 포즈 시퀀스]
        H --> J[도구 6D 포즈 트래킹]
    end

    D -->|Zero-Shot 전이| K[실시간 정책 추론]
    I --> K
    J --> K
    K --> L[29-DoF 관절 위치 타겟 출력]
    L --> M[도구 과제 수행 완료]

    style SIM fill:#e8f4f8,stroke:#2196F3
    style REAL fill:#f0f8e8,stroke:#4CAF50

3.2 시뮬레이션 훈련: 무엇을 학습할 것인가

절차적 물체 생성 (Procedural Object Generation)

기존 연구들은 특정 도구(예: 망치 하나, 드라이버 하나)를 모델링하고 그에 맞춘 환경을 구성했다. SimToolReal은 이를 완전히 뒤집는다.

수백 가지의 가상 도구 프리미티브를 절차적으로 생성한다. 이 프리미티브들은 실제 도구와 완전히 동일할 필요가 없다. 중요한 것은 다양한 형태, 크기, 질량 분포를 포괄하는 것이다.

이런 다양성이 실제 도구로의 일반화를 가능하게 한다. 마치 다양한 크기의 블록을 쌓는 연습을 한 사람이 처음 보는 물건도 쌓을 수 있는 것처럼.

범용 목표: 임의의 포즈 도달

훈련 과제는 단 하나다:

\pi^* = \arg\max_\pi \mathbb{E}\left[\sum_t r(s_t, a_t)\right]

여기서 보상은 현재 도구 포즈와 목표 포즈 사이의 거리를 최소화하는 것이다:

r(s_t, a_t) = -\left\|T_{\text{obj}}^{\text{current}} \ominus T_{\text{obj}}^{\text{goal}}\right\|

(\ominus는 SE(3) 상에서의 포즈 오차를 나타낸다)

이보다 단순할 수 없다. 과제별 보상 설계(task-specific reward shaping)가 전혀 없다.

이 단순한 과제를 수천 개의 다양한 물체에 대해 반복 학습하면, 정책은 자연스럽게 다음을 학습한다: 테이블에서 물체를 집어 올리는 방법, 손 안에서 물체를 원하는 방향으로 돌리는 방법, 물체를 안정적으로 잡은 상태를 유지하는 방법. 이 세 가지는 모든 도구 조작에 필요한 핵심 기술이다. 보상 함수가 명시적으로 지시하지 않아도 자연스럽게 창발(emerge)한다.

3.3 정책 네트워크 구조

flowchart LR
    subgraph OBS ["입력 Observation"]
        P["고유 감각\nProprioception\n관절 각도 및 속도"]
        O["물체 6D 포즈\nObject 6D Pose\n위치 + 방향"]
        B["파지 바운딩박스\nGrasp Bounding Box\n3D AABB"]
        G["목표 포즈\nGoal Pose\n위치 + 방향"]
    end

    subgraph NET ["LSTM 정책 네트워크"]
        L["LSTM Cell\n시간적 맥락 유지"]
        MLP["MLP Head"]
    end

    subgraph ACT ["출력 Action"]
        JT["관절 위치 타겟\n29-DoF\nArm + Dexterous Hand"]
    end

    P --> L
    O --> L
    B --> L
    G --> L
    L --> MLP
    MLP --> JT

왜 LSTM인가? 도구를 집어 올리고, 돌리고, 사용하는 과정은 순차적이고 맥락 의존적이다. “지금 손이 어떤 상태인지”, “방금 어떤 방향으로 힘을 줬는지”가 다음 행동에 중요하다. LSTM은 이 시간적 맥락을 내부 상태로 유지한다.

관찰 공간 설계의 핵심: Object-Centric Representation

가장 중요한 설계 결정은 관찰 공간에 카메라 이미지를 넣지 않는다는 것이다. 대신 세 가지 추상적 표현만 사용한다:

• Object 6D Pose: 도구의 현재 위치와 방향 (SE(3) 원소)
• Grasp Bounding Box: 잡아야 할 부분을 나타내는 3D 바운딩박스 (예: 망치의 손잡이 부분)
• Goal Pose: 도구가 도달해야 할 다음 목표 포즈

이 세 가지 추상적 표현은 도구의 외관과 무관하다. 마커든 망치든 붓이든, 같은 입력 공간으로 표현된다. 이것이 Zero-Shot 일반화의 열쇠다.

3.4 실세계 배포: 인식 파이프라인

시뮬레이션에서 학습된 정책이 추상적 표현(6D 포즈 + 바운딩박스)을 입력으로 받으므로, 실세계에서도 이를 정확히 추출해야 한다. 여기에 두 가지 비전 파운데이션 모델이 활용된다.

flowchart TD
    subgraph OFFLINE ["오프라인 배포 전 1회 수행"]
        V["인간 시연 비디오"] --> FP["FoundationPose\n6D 포즈 시퀀스 추출"]
        FP --> TRAJ["목표 포즈 궤적\nGoal Pose Trajectory"]
        
        IMG["도구 RGB-D 이미지\n정적 스캔"] --> SAM["SAM 3D\n메쉬 재구성 + 분할"]
        SAM --> MESH["도구 메쉬 + 파지 바운딩박스"]
    end

    subgraph ONLINE ["온라인 실시간 루프 60Hz"]
        CAM["실시간 카메라"] --> FP2["FoundationPose\n현재 도구 포즈 트래킹"]
        MESH --> FP2
        FP2 --> POSE_NOW["현재 도구 포즈"]
        
        TRAJ --> GM["목표 관리자\nGoal Manager"]
        POSE_NOW --> GM
        GM --> POLICY["LSTM 정책\nPolicy Inference"]
        MESH --> POLICY
        
        POLICY --> CMD["관절 위치 명령\n60 Hz"]
    end

    style OFFLINE fill:#fff3e0,stroke:#FF9800
    style ONLINE fill:#e8f5e9,stroke:#4CAF50

SAM 3D: Meta의 Segment Anything Model을 3D로 확장한 것으로, RGB-D 이미지에서 도구의 3D 메쉬를 재구성하고 파지 가능한 영역(손잡이)을 3D 바운딩박스로 분할한다. 이 과정은 배포 전 한 번만 수행한다.

FoundationPose: NVIDIA의 범용 6D 포즈 추정 및 트래킹 모델이다. 도구의 메쉬가 주어지면 실시간으로 6D 포즈를 추적한다. 이를 두 용도로 사용한다: 인간 시연 비디오에서 목표 포즈 시퀀스 추출, 그리고 실시간으로 현재 도구 포즈 트래킹.

목표 관리 로직: 현재 포즈가 목표 포즈에 충분히 근접하면 (\epsilon-tolerance 이내), 다음 목표 포즈로 자동 전진한다. 이를 통해 시연 궤적을 단계별로 추적한다.

3.5 목표 관리(Goal Management)의 의사코드

# 의사코드: 목표 관리 로직 (Pseudocode)
def goal_manager(current_pose, goal_trajectory, epsilon_pos=0.05, epsilon_rot=0.1):
    """
    current_pose: SE(3) — 현재 도구 포즈
    goal_trajectory: List[SE(3)] — 목표 포즈 시퀀스 (인간 비디오에서 추출)
    epsilon_pos: float — 위치 도달 임계값 (미터)
    epsilon_rot: float — 방향 도달 임계값 (라디안)
    """
    current_goal_idx = 0
    
    while current_goal_idx < len(goal_trajectory):
        goal_pose = goal_trajectory[current_goal_idx]
        
        # 위치 오차
        pos_error = norm(current_pose.translation - goal_pose.translation)
        # 회전 오차 (SO(3) 측지 거리)
        rot_error = geodesic_distance(current_pose.rotation, goal_pose.rotation)
        
        if pos_error < epsilon_pos and rot_error < epsilon_rot:
            # 현재 목표 달성 → 다음 목표로 전진
            current_goal_idx += 1
        
        yield goal_pose  # 현재 목표를 정책에 전달

이 단순한 로직이 실제로 잘 작동한다는 것이 흥미롭다. 정책이 각 중간 목표를 달성하는 능력만 있으면, 복잡한 도구 과제 전체를 자동으로 수행할 수 있다.

3.6 DexToolBench: 평가 벤치마크

SimToolReal은 단순히 방법론을 제안하는 데 그치지 않고, DexToolBench라는 새로운 벤치마크를 함께 공개한다.

구분	내용
도구 카테고리	6종 (붓, 주걱, 드라이버, 마커, 지우개, 망치)
객체 인스턴스	12개 (카테고리당 2개)
과제 수	24개 (인스턴스당 2개)
실세계 롤아웃	120회
평가 방식	Zero-Shot (훈련에 사용된 객체/과제 없음)
공개 여부	코드, 에셋, 훈련 스크립트 전체 공개

중요한 점은 모든 평가가 진정한 Zero-Shot이라는 것이다. 훈련 시뮬레이션에서는 이 12개 실제 도구 중 어느 것도, 24개 과제 중 어느 것도 사용되지 않았다.

---

4. 실험 및 결과

4.1 비교 대상 (Baselines)

논문은 SimToolReal을 세 가지 방법과 비교한다.

① Fixed Grasp + Motion Planning: 미리 정의된 고정 파지 포즈로 도구를 잡고, 모션 플래닝으로 과제를 수행한다. 도구의 기하학이 완벽히 알려져야 하며 유연성이 없다.

② Kinematic Retargeting: 인간 손 동작을 로봇 손으로 운동학적으로 변환한다. 물리적 상호작용 없이 단순 포즈 복사(pose copying)이므로 파지력 부족 문제가 있다.

③ Specialist RL Policy: 각 도구와 과제별로 별도로 훈련된 RL 정책. 이것이 사실상 오라클(oracle)에 해당한다 — 훈련 때 해당 도구를 봤기 때문이다.

4.2 정량적 결과

방법	Task Progress	비고
Fixed Grasp	기준 대비 낮음	도구/과제별 엔지니어링 필요
Retargeting	기준 대비 낮음	물리적 파지력 약함
SimToolReal	+37% (vs 위 두 방법)	Zero-Shot, 훈련 시 해당 도구 미사용
Specialist RL	~SimToolReal 수준	훈련 시 해당 도구 직접 사용

가장 주목할 결과는 Specialist RL과 동등한 성능이다. 스페셜리스트는 해당 도구를 시뮬레이션에서 직접 봤음에도, 새 도구를 전혀 본 적 없는 SimToolReal이 비슷한 성능을 낸다.

4.3 도구 카테고리별 난이도 분석

graph LR
    subgraph HARD ["고난이도 카테고리"]
        M["마커 Marker"]
        B["붓 Brush"]
    end
    subgraph MED ["중간 난이도"]
        S["주걱 Spatula"]
        E["지우개 Eraser"]
    end
    subgraph EASY ["상대적으로 쉬운 카테고리"]
        H["망치 Hammer"]
        D["드라이버 Screwdriver"]
    end

    M -.->|"얇고 가벼움 → 파지 난이도 높음"| HARD
    B -.->|"유연한 끝 → 포즈 불확실성"| HARD
    H -.->|"무게중심 명확, 굵은 손잡이"| EASY
    D -.->|"원통형 대칭"| EASY

붓과 마커는 얇고 가벼워 파지 자체가 어렵다. 망치는 무게중심이 명확하고 손잡이가 굵어 상대적으로 쉽다. 이는 직관과 정확히 일치한다.

4.4 실패 모드 분석

논문은 실패 원인을 솔직하게 분류한다. 세 가지 주요 원인으로는 초기 집어 올리기에서 손가락이 도구 아래로 들어가지 못하는 파지 실패, FoundationPose가 빠른 움직임 중 트래킹을 잃는 포즈 추정 오류, 그리고 목표 방향으로 돌리다 도구를 떨어뜨리는 손 내 재배치 실패가 있다.

흥미로운 점은 강한 회복 행동(recovery behavior)이 관찰된다는 것이다. 도구를 잠시 놓쳤다가 다시 집어 과제를 완수하는 장면이 포착되었다. 이는 RL 훈련의 자연스러운 산물이다 — 시뮬레이션에서 다양한 실패 상황을 경험했기 때문이다.

---

5. 기술적 심층 분석

5.1 왜 이미지가 아닌 포즈 표현인가?

이것은 사실 중요한 설계 선택이다. 최근의 VLA(Vision-Language-Action) 트렌드는 원시 이미지를 입력으로 사용하는 End-to-End 접근법이다. SimToolReal은 왜 반대 방향을 선택했을까?

Sim-to-Real Gap의 관점에서 보면 명확해진다. 이미지를 정책 입력으로 사용하면 시뮬레이션의 시각적 외관(텍스처, 조명, 그림자)과 현실의 차이가 직접적으로 성능을 떨어뜨린다. 도메인 랜덤화를 아무리 잘 해도 이 갭을 완전히 없애기는 어렵다.

반면 6D 포즈는 추상적이고 도메인 불변적이다. 시뮬레이션과 현실에서 동일한 의미를 가진다. 인식 파이프라인(SAM 3D + FoundationPose)이 이 추상화를 담당하고, RL 정책은 순수하게 “어떻게 물체를 움직일 것인가”만 집중한다.

이는 인식과 제어의 명확한 분리(Decoupling Perception and Control)이며, 각 모듈이 독립적으로 개선될 수 있다는 장점도 있다.

5.2 절차적 생성의 다양성이 왜 중요한가

정책이 일반화하려면 훈련 분포가 테스트 분포를 커버해야 한다.

실제 도구의 특성 공간을 \mathcal{T}라 하고, 훈련에 사용된 프리미티브의 특성 공간을 \mathcal{P}라 하면:

\text{Zero-Shot Generalization} \propto \text{overlap}(\mathcal{T}, \mathcal{P})

절차적 생성으로 \mathcal{P}를 충분히 넓게 만들면, 새로운 실제 도구가 \mathcal{P} 안에 근사적으로 속할 가능성이 높아진다. 마커는 “얇고 가벼운 원통형 프리미티브”와 유사하고, 망치는 “무겁고 헤드가 큰 비대칭 프리미티브”와 유사하다.

5.3 LSTM vs. Transformer: 왜 LSTM을 선택했는가

최근 RL 정책 네트워크로는 Transformer 아키텍처도 많이 사용된다. SimToolReal이 LSTM을 선택한 데는 실용적 이유가 있다. 계산 효율성 측면에서 LSTM은 60Hz 실시간 제어에 적합한 낮은 지연 시간을 제공한다. 가변 길이 시퀀스 처리에서는 도구 조작 과제의 길이가 다양한데 LSTM의 숨겨진 상태(hidden state)가 이를 자연스럽게 처리한다. 또한 Isaac Gym 환경에서 수천 개의 병렬 환경을 돌리는 검증된 구조다.

물론 Transformer가 더 나은 장기 의존성을 포착할 수 있다는 주장도 가능하다. 이는 향후 탐구해볼 만한 방향이다.

---

6. 관련 연구와의 비교

6.1 Sim-to-Real RL 계보

연구	방법	일반화 수준	비고
OpenAI Dactyl (2019)	DR + RL	단일 물체 (루빅스 큐브)	대규모 엔지니어링
HORA (2022)	적응형 RL	단일 물체, 여러 설정	훈련 시 물체 필요
AnyGrasp (2023)	포즈 추정 + 모션	다양한 물체, 파지만	조작 없음
DexGraspNet (2023)	RL + 촉각	파지 특화	도구 조작 없음
SimToolReal (2026)	RL + Object-Centric	다양한 도구, 다양한 과제	Zero-Shot

6.2 Dex4D와의 비교 (동시기 발표)

같은 시기에 나온 Dex4D (arXiv:2602.15828)와 직접 비교하면 흥미롭다.

graph TD
    subgraph STR ["SimToolReal"]
        STR1["목표 표현: SE(3) 포즈"]
        STR2["인식: FoundationPose\n6D 포즈 추적"]
        STR3["목표 출처: 인간 실제 비디오"]
        STR4["훈련 물체: 도구 프리미티브"]
    end

    subgraph D4D ["Dex4D"]
        D4D1["목표 표현: 3D 포인트 트랙"]
        D4D2["인식: 4D 재구성\n포인트 클라우드 트래킹"]
        D4D3["목표 출처: 비디오 생성 모델"]
        D4D4["훈련 물체: 수천 개 범용 물체"]
    end

    COMP["핵심 차이\nSE(3) 포즈 vs. 포인트 트랙\n실제 비디오 vs. 생성 비디오"]

    STR --- COMP
    D4D --- COMP

두 방법의 철학적 차이는 목표 표현 방식이다. SimToolReal의 SE(3) 포즈는 더 간결하고 해석 가능하지만, 물체의 형태 변화나 부분적 가시성에 취약할 수 있다. Dex4D의 포인트 트랙은 더 풍부한 형태 정보를 담지만 비디오 생성 모델에 의존한다.

6.3 모방 학습 접근법들과의 비교

ACT, Diffusion Policy 같은 IL 방법들은 고품질 시연 데이터가 있을 때 매우 강력하다. 그러나 SimToolReal이 공략하는 영역은 바로 그 데이터 수집이 어려운 상황이다. 얇은 도구를 집어 돌리는 동작의 텔레오퍼레이션 시연은 수십 시간의 작업자 노력이 필요하다.

SimToolReal은 이 데이터 수집 문제를 시뮬레이션으로 우회한다. 단, 그 대가로 인식 파이프라인의 정확도에 의존하게 된다.

---

7. 비판적 고찰: 강점과 한계

7.1 강점

우아한 문제 환원: 복잡한 도구 조작을 단일 목표 도달 문제로 환원한 것은 이 논문의 가장 빛나는 기여다. 이 단순화가 Zero-Shot 일반화를 가능하게 했다.

진정한 Zero-Shot: 많은 논문이 “zero-shot”을 주장하지만, 실제로는 훈련 시 유사한 물체를 봤거나 파인튜닝이 있다. SimToolReal은 진정으로 새로운 물체와 과제에 zero-shot이다.

실용적 파이프라인: SAM 3D + FoundationPose 조합은 기존 공개 모델을 활용해 재현 가능하다. 전체 코드와 에셋이 공개되어 있어 직접 사용 가능하다.

의미 있는 벤치마크 기여: DexToolBench는 향후 연구의 표준 평가 플랫폼이 될 가능성이 있다.

스페셜리스트 수준의 성능: Zero-Shot임에도 불구하고 객체별 전문 정책과 동등한 성능을 보인 것은 주목할 만하다.

7.2 한계

인식 파이프라인 의존성: 정책의 성능이 포즈 추정의 정확도에 직결된다. FoundationPose가 트래킹을 잃으면 정책이 잘못된 관측 기반으로 행동한다. 특히 빠른 망치 스윙 같은 동작에서 이 문제가 드러난다.

단단한 물체 한정: 도구를 단단한 강체(rigid body)로 가정한다. 붓의 털 부분이나 유연한 손잡이 등은 현재 프레임워크로 표현하기 어렵다.

기능적 결과(functional outcome) 미평가: 논문 제목과 동영상은 인상적이지만, 실제로 못을 박거나 나사를 조이는 기능적 결과를 성공 지표로 평가하지는 않는다. Task Progress는 도구가 올바른 궤적을 따라가는지를 측정한다.

두 손 조작 부재: 현실의 많은 도구 사용은 한 손으로 물체를 고정하고 다른 손으로 도구를 사용한다. 현재 프레임워크는 단일 다지 핸드에만 적용된다.

포즈 표현의 한계: SE(3) 포즈는 물체 전체의 rigid body 상태만 표현한다. 드라이버를 나사에 꽂는 것처럼 물체 간의 상대적 관계가 중요한 경우, 현재 표현만으로는 부족할 수 있다.

7.3 연구자를 위한 후속 연구 방향

이 논문을 읽으면서 자연스럽게 떠오르는 후속 연구 질문들:

• 파지 바운딩박스 자동 추론: 복잡한 형태의 도구에서 “잡을 부분”을 자동으로 추론하는 것은 여전히 어렵다. 현재는 SAM 3D + 수동 선택으로 보인다. 이를 언어 지시(language grounding)로 대체할 수 있을까?

• 목표 궤적 생성 자동화: 인간 비디오 없이 텍스트 명령으로 목표 궤적을 생성할 수 있는가? 예를 들어 “망치로 못을 박아라”라는 지시로부터 궤적을 자동 생성.

• 다른 플랫폼 적용 가능성: 29-DoF 시스템에 최적화된 정책이 Allegro Hand나 Shadow Hand 같은 다른 구성에도 일반화되는가?

• 촉각 감지 통합: 포즈만으로는 파지력의 충분함을 알 수 없다. 촉각 센서를 추가하면 파지 안정성이 크게 개선될 것이다.

---

8. 요약 및 결론

SimToolReal은 로봇 도구 조작 분야에 세 가지 근본적 기여를 한다.

첫째, 문제 정의의 혁신: 수십 가지 다른 도구와 과제를 하나의 통합된 목표 포즈 추적 문제로 환원했다. 이 단순화는 그 자체로 중요한 통찰이다.

둘째, 진정한 Zero-Shot 일반화: 훈련 때 보지 못한 12가지 실제 도구와 24가지 과제에서 스페셜리스트 수준의 성능을 달성했다.

셋째, 재현 가능한 실용적 시스템: 공개된 코드, 에셋, DexToolBench 벤치마크는 후속 연구를 위한 견고한 기반을 제공한다.

이 논문이 특히 의미 있는 것은 단순함이 일반화를 이긴다는 것을 보여주었기 때문이다. 복잡한 과제별 엔지니어링 대신, 하나의 단순하고 보편적인 목표 — 임의의 물체를 임의의 포즈로 이동하라 — 가 다양한 실제 도구 사용을 가능하게 했다.

물론 실제 못을 박거나 나사를 조이는 것까지 가는 길은 아직 멀다. 하지만 SimToolReal은 그 길의 중요한 이정표를 세웠다. 도구를 집고 기능적 자세로 돌리는 것, 그것만으로도 이미 로봇 도구 조작의 가장 어려운 관문 중 하나를 통과한 것이다.

로봇공학 연구자로서 이 논문에서 얻어야 할 가장 큰 교훈은 하나다. 좋은 추상화(abstraction)를 찾으면, 나머지는 따라온다.

---

참고 정보

• 논문: arXiv:2602.16863
• 프로젝트 페이지: simtoolreal.github.io
• 코드: GitHub: tylerlum/simtoolreal
• 저자: Kushal Kedia (Cornell), Tyler Ga Wei Lum (Stanford), Jeannette Bohg (Stanford), C. Karen Liu (Stanford)
• 발표일: 2026년 2월 18일 (v1), 24일 (v2)

활용된 주요 외부 모델

모델	용도	비고
FoundationPose (NVIDIA)	6D 포즈 추정 및 트래킹	CVPR 2024
SAM 3D (Meta)	3D 세그멘테이션 + 메쉬 재구성	SAM 기반 확장
Isaac Gym (NVIDIA)	RL 훈련 환경 (GPU 병렬)	수천 개 병렬 환경