📃RotateIt 리뷰

tactile

dexterous manipulation

General In-Hand Object Rotation with Vision and Touch

Published

March 24, 2026

Paper Link
Project Link
Haozhi Qi, Brent Yi, Sudharshan Suresh, Mike Lambeta, Yi Ma, Roberto Calandra, Jitendra Malik
UC Berkeley, Meta AI, CMU, TU Dresden
Conference on Robot Learning (CoRL), 2023

🚀 본 연구는 multimodal sensory input(시각, 촉각, proprioception)을 활용하여 손가락 끝으로 다양한 축에서 물체를 회전시키는 시스템인 RotateIt을 제안합니다.
💡 RotateIt은 시뮬레이션에서 privileged information을 활용한 oracle policy를 훈련한 후, visuotactile transformer를 통해 현실적인 센서 입력으로부터 이 정보를 추론하여 visuotactile policy를 학습하는 이중 단계 접근 방식을 사용합니다.
✅ Vision 및 tactile sensing이 조작 성능과 OOD(Out-of-Distribution) generalization에 중요함을 보여주며, 시뮬레이션에서 훈련된 정책이 실제 세계의 다양한 물체에 성공적으로 적용될 수 있음을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

Haozhi Qi 외 연구진은 “General In-Hand Object Rotation with Vision and Touch” 논문에서 시각 및 촉각 피드백을 통합하여 다양한 객체를 손 안에서 다축 회전시키는 시스템인 RotateIt을 소개합니다. 이 연구는 기존의 조작 기술이 직면했던 일반화 및 안정성 문제를 해결하며, 특히 다양한 형태의 객체에 대한 안정적인 힘 폐쇄(force closure) 유지의 어려움을 극복하는 데 중점을 둡니다.

핵심 방법론 (Core Methodology)

RotateIt은 시뮬레이션에서 훈련되고 실제 세계에 직접 배포되는 sim-to-real 접근 방식을 따릅니다. 훈련은 크게 두 단계로 구성됩니다.

Oracle Policy 훈련 (Oracle Policy Training):
- 특권 정보 (Privileged Information): 시뮬레이션 환경에서 객체의 정확한 물리적 특성과 형상 정보(ground-truth physical properties and shapes)를 “특권 정보(extrinsics)” z_t 로 활용합니다. 이 정보는 정책이 객체의 특성을 완벽하게 아는 상태를 모방합니다.
- 형상 정보 (Shape Information): 객체의 3D 메시에서 N_p개의 포인트(point)를 샘플링한 후, PointNet [72]을 사용하여 c_p차원의 특징 벡터 z_{shape_t}로 인코딩합니다. 이전 연구와 달리 객체의 명시적인 형상 정보를 정책에 주입하는 것이 복잡한 객체 조작에 중요함을 발견했습니다.
- 물리적 속성 및 자세 (Physical Property and Pose): 객체의 질량(mass), 무게 중심(center of mass), 마찰 계수(coefficient of friction), 스케일(scale), 반발 계수(restitution)를 포함하는 7차원 물리적 속성 벡터와 객체의 위치, 자세(orientation, 쿼터니언), 각속도(angular velocity)를 포함하는 10차원 자세 벡터를 결합하여 8차원 인코딩 z_{phys_t}로 변환합니다. 최종 특권 인코딩 z_t는 z_{phys_t}와 z_{shape_t}를 결합한 것입니다: z_t = [z_{phys_t}, z_{shape_t}].
- 관측 및 출력 (Observations and Outputs): Oracle policy \pi는 로봇의 고유수용감각(proprioception) p_t와 인코딩된 특권 정보 z_t를 입력으로 받습니다. p_t는 조인트 위치 및 이전 액션의 짧은 시간 윈도우(temporal window)를 포함합니다. 정책은 16개 관절에 대한 PD Controller의 목표값인 액션 a_t를 출력합니다. 즉, a_t = \pi(p_t, z_t)입니다.
- 보상 함수 (Reward Function): 객체 회전 보상 r_{rotr} = \max(\min(\omega \cdot k, r_{max}), r_{min})은 객체의 각속도 \omega가 목표 회전축 k와 일치하도록 장려합니다. 의도하지 않은 회전(특히 x, y축)을 방지하기 위해 r_{rotp} = -\|\omega \times k\|_1 형태의 페널티를 추가합니다. 이외에도 손 자세 이탈, 토크, 에너지 소모, 객체 선형 속도에 대한 페널티 항을 포함하여 안정적이고 효율적인 동작을 유도합니다.
- 정책 최적화 (Policy Optimization): PPO [75]를 사용하여 Oracle policy를 최적화하며, 훈련 중 다양한 객체와 무작위화된 물리적 특성 및 초기 그립을 사용합니다.
Visuotactile Policy 훈련 (Visuotactile Policy Training):
- 동기 (Motivation): 실제 세계에서는 특권 정보 z_t에 접근할 수 없으므로, 로봇의 실제 관측(시각, 촉각, 고유수용감각)을 통해 z_t의 표현 \hat{z}_t를 추론해야 합니다.
- 촉각 센싱 (Touch Sensing - Figure 4):
  - 시뮬레이션에서는 시뮬레이터가 제공하는 2D 평면상의 이산화된 접촉 위치(discretized contact location)를 촉각 정보의 대용으로 사용합니다 (8개 위치). 접촉 관측 o_{touch_t}는 접촉 개수 N_c에 9차원 배열(8차원 접촉 위치 + 1차원 손가락 인덱스)입니다. MLP를 통해 각 접촉 정보를 처리한 후 평균 풀링(average pooling)으로 통합합니다.
  - 실제 세계에서는 손가락 끝에 장착된 4개의 전방향(omnidirectional) 시각 기반 촉각 센서(vision-based touch sensor)를 사용합니다. 각 센서에서 가장 강한 픽셀의 변형(deformation)을 추적하여 접촉 위치의 대용으로 사용하며, 이 2D 키포인트(keypoint)를 직접 정책에 입력합니다.
- 시각 센싱 (Vision Sensing - Figure 5):
  - 객체 깊이 정보(object depth)를 시각 표현으로 사용합니다. 이는 실제 세계에서 사람의 라벨링이 필요 없고, RGB 이미지의 사실적인 시뮬레이션이 어려운 반면 깊이 정보는 객체 형상을 잘 추상화하기 때문입니다.
  - 실제 배포 시에는 Segment Anything [12, 13]을 사용하여 원시 깊이 이미지(raw depth)에서 객체 전경(foreground)을 분할하여 sim-to-real gap을 줄입니다.
  - 객체 깊이 이미지 o_{depth_t}는 3-layer ConvNet을 거쳐 특징 벡터 f_{depth_t}로 인코딩됩니다. 훈련 중에는 카메라 위치와 방향을 무작위화하여 정책의 강건성을 높입니다.
- Visuotactile Transformer (Figure 2):
  - 이 트랜스포머 \phi는 멀티모달(multimodal) 센서 스트림을 모델링하여 특권 정보의 학습된 표현 \hat{z}_t를 정확하게 추론하는 것을 목표로 합니다.
  - 인코딩된 깊이 이미지 f_{depth_t}, 인코딩된 촉각 접촉 포인트 f_{touch_t}, 조인트 위치 q_t, 이전 타임스텝의 액션 a_{t-1}을 연결하여 특징 벡터 f_t를 형성합니다.
  - 트랜스포머는 특징들의 시퀀스 f_T = \{f_{t-k}, ..., f_{t-1}, f_t\}를 입력으로 받아 예측된 외적 벡터 \hat{z}_t를 출력합니다.
- 훈련 (Training): Oracle policy를 롤아웃(rollout)하면서 예측된 외적 벡터 \hat{z}_t를 사용하여 액션 a_t = \pi(p_t, \hat{z}_t)를 생성합니다. 동시에 실제 특권 정보 z_t를 저장하여 훈련 데이터셋 B = \{(f_T^{(i)}, z_t^{(i)}, \hat{z}_t^{(i)})\}_{i=1}^N을 구성합니다. 트랜스포머 \phi는 z_t와 \hat{z}_t 간의 l_2 거리 및 a_t와 \hat{a}_t 간의 차이를 최소화하도록 Adam [78]을 사용하여 최적화됩니다.

평가 설정 (Evaluation Setup)

하드웨어 (Hardware): AllegroHand (16개 관절), Intel RealSense D435 깊이 카메라, 손가락 끝에 전방향 시각 기반 촉각 센서.
시뮬레이션 (Simulation): IsaacGym [79] 기반. 카메라-로봇 외적(extrinsics)은 ArUco tag [80]로 보정되며, 시뮬레이션 이미지에 무작위 자세 노이즈와 사실적인 깊이 노이즈 [81]를 적용합니다.
객체 세트 (Object Set): EGAD [30], Google Scanned Objects [31], YCB [32], ContactDB [33]에서 엄선된 다양한 객체들을 사용하며, width/depth/height (w/d/h) 비율이 2.0 미만인 객체들로 구성됩니다.
평가 지표 (Evaluation Metrics):
- Time-to-Fall (TTF): 객체가 손에서 떨어지기 전까지의 평균 에피소드 길이 (높을수록 좋음).
- Rotation Reward (RotR): 에피소드 당 평균 \omega \cdot k 값 (높을수록 좋음).
- Rotation Penalty (RotP): 타임스텝 당 평균 \|\omega \times k\| 값 (낮을수록 좋음, 특히 x, y축 회전에서 중요).
- Radians Rotated (Rotations): 실제 세계 실험에서 달성된 총 회전 각도.

결과 및 분석 (Results and Analysis)

객체 형상의 중요성 (Object Shape Importance): Table 1과 Figure 7, Figure 8은 Oracle policy 훈련에서 PointNet을 통해 객체 형상 정보를 명시적으로 사용하는 것이 성능을 크게 향상시키며, 특히 불규칙하거나 w/d/h 비율이 균일하지 않은 객체에 대해 더 큰 이점을 제공함을 보여줍니다. 형상 정보를 사용하지 않으면 정책이 객체를 구형 또는 직육면체로 간주하는 경향이 있으며, 이는 OOD(out-of-distribution) 객체에 대한 일반화 성능을 저하시킵니다.
Visuotactile Transformer의 중요성 (Importance of Visuotactile Transformer): Figure 6, Figure 7, Figure 8, Table 4는 시각 또는 촉각 중 하나만 사용해도 고유수용감각(proprioception)만을 사용한 baseline보다 성능이 크게 향상되며, 이 둘을 결합하면 성능이 더욱 개선되어 Oracle policy 수준에 근접함을 입증합니다. 트랜스포머 아키텍처는 이전 작업의 Temporal Convolution보다 시퀀스 모델링 능력이 뛰어납니다 (Table 4). OOD 일반화에도 Visuotactile 정보가 필수적입니다.
세분화된 촉각 센싱 (Finer Tactile Sensing): Table 2는 이진(binary) 접촉 정보(접촉 유무)가 추가적인 이점을 제공하지 않는 반면, 이산화된 접촉 위치(discretized contact location) 정보는 성능 향상에 매우 중요함을 보여줍니다. 이는 고유수용감각 및 액션 이력을 함께 사용하는 RotateIt의 특성 때문일 수 있습니다.
잠재 공간에서 학습된 표현 (Representation Learned in the Latent Space): Figure 9는 학습된 z_t 및 \hat{z}_t 인코딩이 객체의 3D 형상 정보를 잘 보존하고 있음을 보여줍니다. 특권 정보에 형상이 포함되면 정책은 객체의 실제 형상을 더 정확하게 이해하고, Visuotactile 센서는 고유수용감각만으로는 구분하기 어려운 불규칙한 객체의 형상 이해를 돕습니다.
실제 세계 평가 (Real-world Evaluations): Figure 10은 RotateIt이 Hora [7]와 달리 실제 세계에서 다양한 기하학적 형태의 객체들을 x축을 따라 성공적으로 회전시키는 것을 보여줍니다. RotateIt은 훈련 세트에 없는 객체들과 실제 세계의 물리적 차이에도 불구하고 뛰어난 일반화 성능을 입증합니다. 일부 촉각 센서가 비활성화된 상태에서도 유사한 성능을 보여 알고리즘의 강건성을 입증했습니다.
다축 훈련 (Multi-axis Training): Table 3은 단일 네트워크가 여러 회전축에 대한 객체 회전을 수행하도록 훈련할 수 있음을 보여줍니다. 원하는 회전축 k를 관측 공간에 추가하고 모방 학습(imitation learning) 목표와 함께 훈련하면, 증류된 다축 정책(distilled multi-axis policy)이 단일 축 Oracle 정책과 비슷한 성능을 보입니다.

한계 및 향후 연구 (Limitations and Future Work)

본 연구의 한계점으로는 객체가 로봇 팔의 기계적 한계 내에 있어야 하며 너무 길지 않아야 한다는 점이 있습니다. 또한, 훈련 후 정책이 고정(frozen)되어 배포 중 실제 경험을 활용하지 못한다는 점도 한계입니다. 향후 연구 방향으로는 교차 모달(cross-modal) 감독을 통한 실제 세계에서의 평생 학습(lifelong learning), 이미지 기반 촉각 센서의 전체 정보 활용, 시각 시스템 개선(예: 시각 사전 훈련) 등을 제시합니다.

RotateIt은 촉각 및 시각 정보를 통합하여 로봇이 다양한 객체를 손 안에서 다축으로 조작할 수 있게 함으로써, 일반적인 덱스터러스(dexterous) 손 조작을 향한 중요한 발걸음을 내딛었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한눈에 보기

이 논문은 한 가지 단순한 질문에 답한다. “어떤 모양의 물체든, 어떤 축으로든 손 안에서 돌릴 수 있는 정책을 하나로 만들 수 있는가?” 답은 “있다”이고, 그 비결은 두 가지다. (1) 시뮬레이션 안에서는 신의 시야를 가진 교사 정책을 만들고, 현실에서는 비전과 촉각만 보는 학생 정책으로 갈아끼우는 teacher-student 증류. (2) 깊이 카메라 한 대와 손 위의 이진(binary) 접촉 신호 몇십 개를 단일 트랜스포머에 흘려 넣는 단순한 표현. 결과적으로 Allegro Hand가 임의의 회전축 \hat{k}를 입력으로 받아 다양한 물체를 끊김 없이 돌린다.

핵심 메시지를 먼저 박아두자. 풍부한 센서나 정교한 모델보다, 무엇을 입력으로 줄지와 어떻게 학습 신호를 설계할지가 일반화의 8할을 결정한다. RotateIt은 이걸 깔끔하게 증명한 사례다.

왜 이 문제가 어려운가

손 안에서 펜을 돌려보자. 한 바퀴 도는 동안 손가락은 잡았다 놓았다를 수십 번 반복한다. 1초 안에 일어나는 일이고, 어느 한 손가락이 조금만 일찍 떼면 펜은 떨어진다. 사람은 이걸 거의 무의식적으로 한다. 피부 전체에 깔린 촉각 센서, 손의 자기수용감각, 시야 주변부에서 들어오는 시각 정보 (그리고 평생의 경험)가 합쳐져 만들어내는 마법이다.

로봇 손은 이 모든 게 부족하다. 그래서 in-hand rotation은 “단순한 회전 문제”라기보다 “센서 결핍 상태에서 접촉 동역학을 어떻게든 다루는 문제”에 가깝다. 어려움을 정리하면 다음과 같다.

물체 다양성. 사과, 원기둥, 펜, 정육면체는 마찰 분포도 무게중심도 관성텐서도 다르다. 정책 하나로 모두 다루려면 물체 표현이 일반화 가능해야 한다.

회전축 일반화. 기존 연구의 대부분은 z축(중력축) 회전만 다뤘다. HORA, 그 이전의 OpenAI 큐브 등이 그 예다. x축이나 y축으로 돌리려는 순간 중력이 문제를 완전히 다르게 바꿔놓는다. 손가락이 위쪽에서 떠받쳐야 하는 상황과 옆에서 잡아야 하는 상황은 동역학이 다르다.

부분 관측. 손이 물체의 반대편을 가리고, 카메라는 한 시점에서만 본다. 촉각은 있어야 하는데 Allegro Hand에는 기본 탑재된 풍부한 촉각이 없다.

Sim-to-real. 접촉 동역학은 PhysX 같은 시뮬레이터에서도 가장 노이지한 부분이다. 학습된 정책이 실제 손으로 옮겨갔을 때 무너지지 않으려면 도메인 랜덤화와 표현 설계가 절묘해야 한다.

큰 그림: 두 단계 학습 구조

RotateIt의 시스템 구조를 한 장의 다이어그램으로 그리면 이렇게 된다.

graph TB
    subgraph Stage1["Stage 1: Teacher Policy (Simulation Only)"]
        S1[Privileged State<br/>object pose, velocity, shape,<br/>mass, friction, COM, axis k]
        S1 --> T[Teacher MLP]
        T --> A1[Joint Targets]
        A1 --> R[Reward: omega dot k]
        R -.PPO Update.-> T
    end
    
    subgraph Stage2["Stage 2: Student Policy (Distillation)"]
        O[Depth Image] --> PE[Point Cloud<br/>Encoder]
        TC[Tactile Binary] --> TE[Tactile Encoder]
        P[Proprioception<br/>q, q_target] --> PR[Proprio Encoder]
        K[Target Axis k] --> KE[Axis Embedding]
        PE --> TF[Transformer Backbone]
        TE --> TF
        PR --> TF
        KE --> TF
        TF --> A2[Joint Targets]
    end
    
    T -.Action Imitation.-> A2

학습은 두 단계다.

1단계 — 교사 정책 학습. 시뮬레이터(IsaacGym) 안에서, 정책에게 모든 걸 알려준다. 물체의 정확한 자세와 속도, 무게, 관성, 마찰계수, 무게중심 위치, 그리고 목표 회전축 \hat{k}까지. 이걸 들고 PPO로 정책을 학습한다. 보상은 거의 한 줄: “물체가 목표 축 방향으로 빨리 돌아갈수록 좋다.” 다른 항들은 다 페널티(손이 너무 멀리 가지 마라, 액션이 튀지 마라 등)다.

2단계 — 학생 정책 증류. 이제 교사가 만드는 행동을 흉내내는 학생을 만든다. 학생의 입력은 현실 로봇에서 얻을 수 있는 것만: 깊이 영상, 이진 접촉 신호, 관절 각도, 그리고 목표 회전축. 교사의 출력 액션을 라벨로 삼아 지도학습 비슷하게 굴리되, 학생이 만든 trajectory 위에서 학습하는 DAgger 스타일 증류를 쓴다.

이 구조가 강력한 이유를 직관적으로 보자. 강화학습은 표현이 좋을수록 잘 된다. 그래서 정확한 상태를 다 알려주면 RL이 잘 풀린다. 하지만 그 표현은 현실에서 못 얻는다. 그렇다면? 일단 잘 푸는 정책을 시뮬레이션 안에서 만들어 두고, 그 정책의 행동을 “현실에서 얻을 수 있는 입력”으로 흉내내는 학생을 따로 짓는다. 같은 행동을 다른 입력으로 재구현하는 셈이다.

이 패턴은 HORA, DeXtreme, AnyRotate 모두가 공유한다. RotateIt의 차별점은 학생 정책에 비전과 촉각을 함께 넣었다는 것, 그리고 회전축 일반화를 위한 조건화를 명시적으로 설계했다는 것이다.

Teacher 정책: 신의 시야로 RL을 단순하게

교사의 입력은 시뮬레이터에서 직접 뽑은 특권 정보(privileged information)다.

입력 종류	내용	차원 (대략)
자기수용감각	손 관절각 q, 목표 관절각 q^{tgt}	\sim 32
물체 상태	위치 p_o, 자세 quaternion, 선/각 속도	\sim 13
물리 파라미터	질량, 마찰, 무게중심, 관성텐서, 크기	\sim 10
형상 표현	물체 점군 또는 BPS 임베딩	\sim 32~128
목표	회전축 단위벡터 \hat{k}	3

이걸 MLP에 넣어 비례 제어(target joint position)를 출력한다. 보상은 다음 형태로 요약된다.

r_t = \underbrace{\boldsymbol{\omega}_t \cdot \hat{k}}_{\text{축 정렬 회전 속도}} \;-\; c_1 \, d_{\text{wrist}} \;-\; c_2 \, \|q_t - q_0\| \;-\; c_3 \, \|\tau_t\| \;-\; c_4 \, \|a_t\|

이걸 직관적으로 읽어보자. 핵심 보상은 첫 번째 항 하나뿐이다. 물체의 각속도 \boldsymbol{\omega}_t를 목표 축 \hat{k}에 사영(projection)한 값. 만약 물체가 정확히 원하는 축으로 빠르게 돌고 있다면 이 값은 크고, 다른 축으로 돌거나 안 돌고 있으면 작다. 나머지는 모두 “이상한 짓을 하지 마라”는 페널티다. 손바닥에서 너무 멀어지면 안 되고, 관절이 초기 자세에서 너무 벗어나도 안 되고, 토크와 액션 크기도 작아야 한다.

여기서 흥미로운 디자인 선택 하나. 물체 자세(orientation)를 목표로 주지 않는다. “이 각도로 맞춰라”가 아니라 “이 축으로 계속 돌려라”다. 왜냐하면 in-hand rotation의 본질은 “특정 각도에 도달하기”가 아니라 “연속적으로 돌릴 수 있는 능력”이기 때문이다. 회전 속도를 보상하면 정책은 자연스럽게 “잡고-놓고-다시 잡기”의 리듬을 익힌다.

PPO를 IsaacGym에서 수천 환경 병렬로 돌린다. 도메인 랜덤화도 교사 단계에서 진행한다. 마찰, 질량, 무게중심, 외란 토크, 관절 PD 게인 등이 매 episode마다 흔들린다. 이 덕분에 교사 정책 자체가 이미 “다양한 물리 조건에서 견고한 정책”이 된다.

Student 정책: 비전과 촉각을 어떻게 묶을 것인가

학생 정책의 입력을 다시 정리하면 네 종류다.

자기수용감각: 관절각 q_t와 직전 목표 관절각 q^{tgt}_{t-1}. 약 32차원.
비전: 손바닥 위쪽에 부착된 깊이 카메라에서 얻은 부분 점군(partial point cloud). 다운샘플링하여 수백 개 점.
촉각: 손의 여러 링크에 분포한 이진 접촉 신호. 각 접촉 패드에서 “닿았다/안 닿았다”만 알려주는 0/1 벡터.
목표: 회전축 \hat{k} \in \mathbb{R}^3.

이걸 트랜스포머 백본 하나에 토큰 형태로 넣는다. 각 모달리티가 자기 인코더(MLP 혹은 PointNet 류)를 거쳐 같은 차원의 벡터로 변환된 뒤, 시계열로 쌓여 트랜스포머의 self-attention을 통과한다.

Pseudocode: Student Forward Pass

def student_policy(depth_img, tactile_bin, proprio, axis_k):
    # Per-modality encoders
    pc_tokens   = pointnet_encoder(depth_to_pointcloud(depth_img))   # [N_pc, D]
    tac_tokens  = tactile_mlp(tactile_bin)                            # [N_tac, D]
    prop_token  = proprio_mlp(proprio)                                # [1, D]
    axis_token  = axis_mlp(axis_k)                                    # [1, D]
    
    # Concatenate as a token sequence and run transformer
    tokens = concat([pc_tokens, tac_tokens, prop_token, axis_token])
    
    # Temporal context: stack last T frames of tokens
    seq = stack_recent_frames(tokens, history=T)
    z = transformer(seq)
    
    # Read out action from a designated CLS-like token
    action = action_head(z[CLS])
    return action

여기서 짚어야 할 디테일이 몇 가지 있다.

왜 점군인가, 왜 이미지가 아닌가. 깊이 영상을 그대로 CNN에 넣어도 되지만, 점군으로 변환해 PointNet 류로 처리하면 좌표계 정합과 시점 변화에 더 강건하다. Allegro Hand가 움직이면 카메라 시점에서 본 물체의 모양은 매 프레임 바뀌는데, 점군은 손 기준 좌표계로 변환해 쓸 수 있다.

왜 이진 촉각인가. 사실 GelSight나 DIGIT 같은 고해상도 촉각 영상은 정보량이 훨씬 많다. 그런데 RotateIt은 일부러 단순화한다. 이유는 두 가지다. (1) 시뮬레이션에서 풍부한 촉각을 충실히 재현하기 어렵다. PhysX에서 이진 접촉은 거의 무료지만 정밀 압력 분포는 sim-to-real gap이 크다. (2) 이진 신호만으로도 충분히 “어느 손가락이 어디서 닿고 있는지”를 알 수 있다. in-hand rotation에서 가장 중요한 정보는 이 위상 정보다.

축 조건화의 효과. 같은 네트워크가 \hat{k} = (0,0,1)이면 z축 회전을, \hat{k} = (1,0,0)이면 x축 회전을 만들어낸다. 이게 단순한 trick 같지만, RL 학습에서는 큰 차이를 만든다. 축마다 따로 정책을 학습하면 데이터가 분산되고, 축들 사이의 공유 가능한 표현을 활용하지 못한다. 하나의 정책이 모든 축에 대해 학습하면 “잡고-놓기”의 공통 패턴을 공유하면서 축별로 미세 조정만 한다.

증류 손실은 행동 모방(behavior cloning) 기반이다.

\mathcal{L}_{\text{distill}} = \mathbb{E}_{s \sim \pi_{\text{student}}} \big[ \|\pi_{\text{teacher}}(s_{\text{priv}}) - \pi_{\text{student}}(s_{\text{obs}})\|^2 \big]

학생이 만든 trajectory 위에서 (DAgger처럼), 같은 상태에서 교사가 어떤 액션을 했을지를 회귀로 맞춘다. 학생이 미숙해서 떨어뜨리는 상태까지 모두 경험하므로 분포 이동(distribution shift)에 강해진다.

보상과 도메인 랜덤화 디테일

교사 학습의 보상은 앞서 봤지만, 실전에 필요한 디테일 몇 개를 짚자.

축 정렬 항의 부호. \boldsymbol{\omega}_t \cdot \hat{k}는 부호가 있다. 즉 반대 방향으로 도는 건 음수 보상이 된다. 정책은 “정해진 방향으로 돌리기”를 학습한다.

Drop penalty. 물체가 손바닥 영역을 벗어나면(높이가 어떤 임계 아래로 떨어지면) episode를 종료하고 큰 음수 보상을 준다. 떨어뜨리지 않는 게 가장 우선이라는 우선순위가 보상에 새겨진다.

Action smoothness. \|a_t - a_{t-1}\| 같은 항이 들어가 액션이 진동하지 않도록 만든다. 실제 하드웨어로 옮길 때 매우 중요한 항이다.

도메인 랜덤화의 핵심 파라미터들을 표로 정리하면 대략 이렇다.

카테고리	파라미터	의미
물체	질량, 크기, 마찰계수, 무게중심 오프셋	다양한 물체 일반화
손	관절 PD 게인, 관절 마찰, 관절각 노이즈	실 로봇 응답 특성 흡수
동역학	외란 토크, 외란 힘 (물체에 가해지는)	미세 외란 흡수
센서	깊이 노이즈, 접촉 신호 dropout, 관측 지연	센서 노이즈/지연 흡수

이 중 가장 까다로운 게 촉각의 dropout과 관측 지연이다. 실제 시스템에서 촉각 센서는 가끔 신호를 놓치고, 비전 파이프라인은 100ms 단위의 지연이 발생한다. 학습할 때 이걸 시뮬레이션에 의도적으로 주입하지 않으면 실 로봇에서 한순간에 무너진다.

실험 설정

실제 셋업은 다음과 같다.

하드웨어. Allegro Hand(4지 16자유도), RealSense 류 깊이 카메라, 손 위의 자작 이진 촉각 패드. 손은 위쪽으로 들고 있는 자세(palm-up)와 옆을 향한 자세 등 여러 자세에서 테스트된다.

시뮬레이터. IsaacGym, 수천 개 환경 병렬. 학습 시간은 며칠 단위.

물체 셋. YCB-스타일의 다양한 모양: 정육면체, 원기둥, 구, 비대칭 도형 등. 학습용과 평가용을 분리.

평가 지표

평균 회전 속도 (rad/s) — 목표 축 기준.
drop이 일어나기까지의 평균 시간/회전수.
미본(unseen) 물체에서의 회전 능력.
축 변경에 대한 추종 능력.

결과: 무엇이 보여졌나

논문의 핵심 결과를 정성적으로 요약하면 이렇다.

임의 축 회전이 실제로 된다. Allegro Hand가 손바닥 위에 놓인 물체를 x, y, z 축 각각으로 (그리고 그 사이의 임의 축으로) 끊김 없이 회전시키는 모습이 정성적 비디오에서 확인된다. 특히 z축이 아닌 회전(중력이 측면으로 작용하는 회전)도 안정적으로 수행한다.

모양 일반화. 학습에서 보지 못한 새로운 물체에 대해서도 회전 속도가 크게 떨어지지 않는다. 특히 비대칭 물체(공이나 큐브가 아닌 것)에서도 견딘다는 게 중요하다. 무게중심이 한쪽으로 쏠린 물체는 회전 중에 토크 패턴이 끊임없이 바뀌기 때문이다.

축 변경 추종. 회전 중에 목표 축 \hat{k}를 갑자기 바꿔도, 정책은 단기간 내에 새 축으로 회전 방향을 전환한다. 이건 단일 정책 안에 여러 축이 통합되어 있다는 증거다.

Ablation: 무엇이 정말 중요한가

Ablation이야말로 이 논문에서 가장 배울 게 많은 부분이다. 무엇을 빼면 무너지는가를 보면, 무엇이 필수인지가 드러난다.

조건	결과 (대략의 경향)
비전만, 촉각 없음	떨어뜨림이 잦아짐. 특히 미본 물체에서
촉각만, 비전 없음	회전 속도 감소, 무게중심 추정 불안정
자기수용감각만	z축 외 회전에서 성능 크게 하락
축 조건화 제거	단일 축에는 학습되나 일반화 불가
도메인 랜덤화 없음	실 로봇에서 즉시 실패

읽어내야 할 핵심은 두 가지다.

비전과 촉각은 상호보완적이다. 비전은 “전체 형상과 자세”를 본다. 촉각은 “지금 무엇이 닿고 있는가”를 본다. 비전만 있으면 손에 가려진 부분을 모르고, 촉각만 있으면 물체가 어디로 향하는지 예측이 어렵다. 둘이 합쳐져야 정책이 안정된다.

축 조건화는 단순하지만 결정적이다. 단순히 입력에 3차원 벡터를 추가한 것뿐인데, 일반화 능력이 질적으로 달라진다. 표현 학습의 교훈이다. 정답을 명시적으로 알려주는 입력 하나가 백 개의 hidden layer보다 효과적일 때가 있다.

강점

일반성. 회전축과 물체 모양에 동시에 일반화한다. 이는 in-hand manipulation의 모든 하위 문제(돌리기, 옮기기, 자세잡기)로 가는 길의 첫 단추다.

현실 가능성. 깊이 카메라 한 대와 이진 촉각만으로 작동한다. GelSight 같은 정밀 촉각 없이도 된다. Allegro Hand 사용자에게 이건 매우 현실적인 셋업이다.

확장 가능한 아키텍처. 트랜스포머 백본 + 토큰 기반 입력은 새로운 모달리티(예: 음향, 추가 카메라, 힘토크)를 끼워 넣기 쉽다.

증류 패턴의 재현성. 코드와 학습 레시피가 후속 연구(AnyRotate, DexNDM 등)에서 재활용된다. 즉 이 논문이 제시한 방법론이 커뮤니티 표준으로 자리잡았다.

약점과 한계

이진 촉각의 한계. 0/1만으로는 미끄러짐(slip)을 정밀하게 감지할 수 없다. 사람의 손에서 미끄러짐 감지는 회전 속도 조절의 핵심인데, 이진 신호로는 사후적으로만 알 수 있다. DIGIT 같은 시각 촉각을 융합하면 더 빠르게 회전시키거나 더 작은/미끄러운 물체를 다룰 수 있을 것이다.

위치 제어의 한계. 정책의 출력은 목표 관절각이다. 임피던스/포스 제어가 아니다. 부드러운 물체, 변형되는 물체, 깨지기 쉬운 물체에는 잘 안 맞을 수 있다.

Sim-to-real의 비용. 도메인 랜덤화 + 다중 모달리티 학습은 GPU 시간이 많이 든다. 작은 랩에서 재현하기에는 무겁다.

회전 속도 제한. 시연 비디오 기준으로 회전이 빠르진 않다. 사람이 펜을 돌리는 속도에는 한참 못 미친다. 이건 하드웨어(Allegro의 동역학 한계), 정책(보수적 학습), 센서(낮은 해상도) 모두의 합산 결과로 보인다.

손바닥 위 자세 한정. 손이 옆을 향하거나 거꾸로 든 자세에서의 견고함은 비교적 적게 보고된다. 사람은 손을 어떻게 들든 손가락만으로 회전을 만들 수 있다.

고정된 회전 작업. 회전축을 따라 “계속 돌리기”는 잘 하지만, 특정 자세로 “정밀하게 정렬”하는 능력은 별도 문제다. 후속 연구들(예: Dexonomy의 일반 조작)이 이 부분을 다룬다.

Allegro Hand 사용자 관점에서의 시사점

연구 현장에서 곧장 써먹을 수 있는 인사이트를 몇 개 뽑자.

촉각이 없어도 시작할 수 있다. Allegro V4/V5에 GelSight나 DIGIT를 붙이는 게 부담스럽다면, 자작 이진 접촉 패드(혹은 모터 전류 기반 접촉 추정)로도 RotateIt 수준의 회전은 가능하다는 메시지로 읽힌다.

점군 표현이 RGB보다 합리적이다. 손 위에 마운트한 카메라의 시점은 끊임없이 흔들린다. RGB CNN보다 점군 기반 인코더가 시점 변환에 강하다. PointNet 류 + 손 기준 좌표계 변환을 한 세트로 가져가는 게 유리하다.

축 조건화는 거의 공짜다. 3차원 단위벡터 입력만 추가하면 정책이 일반화된다. 이건 회전뿐 아니라 다른 in-hand 작업에도 적용 가능한 아이디어다. 목표 자세, 목표 위치, 목표 토크 모두 같은 패턴으로 조건화할 수 있다.

Domain randomization의 진짜 비밀은 센서다. 마찰과 질량을 랜덤화하는 건 거의 모든 RL 논문이 한다. 진짜 차이를 만드는 건 센서 노이즈, 지연, dropout의 시뮬레이션이다. 이 부분의 디테일을 학습 코드에서 최우선으로 챙겨야 한다.

Isaac Lab 이식 시 주의점. RotateIt이 사용한 IsaacGym 기반 학습 레시피를 Isaac Lab으로 옮길 때, 두 가지 함정이 있다. (1) 접촉 마찰 모델(특히 torsional/rolling friction) 기본값이 다르다. (2) PhysX 솔버 설정과 substep 수가 회전 안정성에 큰 영향을 준다. HORA 이식 시 발견된 angular_damping 차이와 같은 류의 함정이 또 있을 가능성이 높다.

직관적 정리: 이 논문이 진짜로 보여준 것

마지막으로, 이 논문이 우리에게 가르쳐주는 핵심을 한 줄로 다시 압축하면 이렇다.

“센서가 풍부한 것보다, 정책이 필요한 것만 정확히 받는 것이 중요하다.”

RotateIt는 GelSight도, 6축 F/T도, 고프레임 RGB도 쓰지 않는다. 그저 손 위의 깊이 카메라 하나, 손가락에 박힌 이진 접촉 신호, 그리고 “이 축으로 돌려”라는 3차원 벡터. 이게 전부다.

대신 학습 측에서 영리하다. 시뮬레이션에서 신의 시야로 정책을 만들고, 같은 행동을 현실 가능한 입력으로 재현하는 학생을 따로 짓는다. 회전축을 입력에 명시적으로 넣어 일반화의 차원을 열어준다. 도메인 랜덤화로 시뮬레이션 동역학의 결함을 가린다.

이게 좋은 로봇학 연구의 한 모범이다. 하드웨어와 센서로 문제를 풀려 하기 전에, 표현과 학습 신호로 풀 수 있는 만큼은 풀어내는 것. 그 결과 가벼운 시스템으로도 일반화 가능한 정책을 만들 수 있다는 걸 보여준다.

다음에 in-hand manipulation 정책을 짤 때 던져야 할 질문은 분명하다. 내 정책에 진짜로 필요한 입력은 무엇인가? 그리고 그 입력은 시뮬레이션과 현실에서 일관되게 만들 수 있는가? RotateIt의 답은 깊이 + 이진 접촉 + 축 벡터였다. 우리의 답은 우리 작업에 따라 다를 것이다. 하지만 질문 자체는 같다.