📃Mana 리뷰

Mana: Dexterous Manipulation of Articulated Tools

• Paper Link (arXiv:2606.13677v1) — 이 리뷰는 v1(2026-06-11 제출, arXiv perpetual non-exclusive license) 기준이며, 수치는 본문·부록·Figure 픽셀에서 직접 확인한 값이다.

• Project Page (zhaohengyin.github.io/mana)

• Code Link: 없음. 2026-09-08 확인 시점에 프로젝트 페이지의 링크는 Paper(arXiv) 하나뿐이고, 논문 어디에도 코드·데이터·체크포인트 공개 문구가 없다. 저자 GitHub(zhaohengyin)에도 Mana 레포는 없다 — 다만 파이프라인의 핵심 부품인 lightning-grasp는 공개돼 있다.

• 저자: Zhao-Heng Yin (UC Berkeley), Guanya Shi (CMU), Pieter Abbeel (UC Berkeley), C. Karen Liu (Stanford University) — 뒤의 세 저자는 동등 기여, 저자 전원이 Amazon FAR 소속을 겸한다.

• arXiv preprint, 2026 (v1, 2026-06-11 제출 · 학회 지면 표기 없음)

1. 💡 집게·펜치·빨래집게·주사기처럼 내부 관절을 가진 도구를 다관절 손으로 테이블에서 집어 들고 실제로 작동시키는 문제를 다루는데, 이걸 로봇 문제가 아니라 컴퓨터 애니메이션의 키프레임 + 인비트위닝 문제로 다시 쓴다.
2. ⚙️ 도구 메시에 마우스 클릭 몇 번(도구당 1분 미만)으로 기능적 affordance를 찍으면 → Lightning Grasp+가 그 위에 파지 키프레임을 대량 생성하고 → 도달 구간은 GPU RRT-Connect 모션플래닝이, 접촉이 빡센 파지·인핸드 작동 구간만 짧은 호라이즌 RL이 메워 시뮬레이션 궤적을 만든 뒤, 그 데이터로 포인트클라우드 조건부 diffusion policy를 학습해 zero-shot으로 실기에 올린다.
3. 🎯 두께 0.8–1.5cm·작동에 3–7N이 필요한 4종 도구(각 2개 인스턴스)에서 파지·인핸드 조작 모두 성공률 약 70%를 달성했고, 같은 조건에서 오픈루프 재생과 사람 텔레오퍼레이션(GeoRT)은 각각 그 절반 이하·거의 0에 가깝다(Table 1).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 손 연구는 대부분 강체(rigid object) 를 다룬다. 컵을 잡고, 정육면체를 손안에서 돌린다. 그런데 사람이 실제로 쓰는 도구 중 상당수는 강체가 아니라 관절이 달린 기구(articulated mechanism) 다. 집게로 무언가를 집으려면 집게를 잡는 것만으로 부족하고, 잡은 상태를 유지하면서 그 내부 관절을 손가락으로 눌러 작동시켜야 한다. Mana(Manipulation Animator)는 바로 이 “잡기 + 작동시키기”를 테이블 위 초기 상태부터 끝까지 자율로 수행하는 sim-to-real 프레임워크다.

개요(Fig. 1). 집게(tongs)·펜치(pliers)·빨래집게(clothespins)·주사기(syringes) 4종을 zero-shot sim-to-real로 파지·작동시킨다. 파지와 손가락 동작은 전부 자율이고, 도구를 대상 지점에 정렬하는 구간만 손목 텔레오퍼레이션이 담당한다.

문제가 왜 어려운지는 힘의 관점에서 봐야 보인다. 손가락은 마찰원뿔(friction cone) 안에서 접촉력을 줘야 미끄러지지 않는데, 도구를 안정적으로 작동시키는 힘의 방향은 표면 법선과 어긋나는 경우가 많다. 법선 방향으로 밀면 안 미끄러지지만 도구 몸체가 회전·가속해 파지 자체가 무너진다. 게다가 손과 도구는 강하게 결합된 하나의 동역학계라, 한 손가락의 작은 실행 오차가 접촉점과 모멘트 암을 바꿔 전체를 불안정하게 만든다.

물리적 난점(Fig. 2). 왼쪽: 원하는 작동력이 마찰원뿔을 벗어나면 실패한다. 가운데: 손가락과 도구가 결합계를 이뤄 작은 오차가 불안정으로 번진다. 오른쪽: 텔레오퍼레이션은 위치 기반이라 방향이 노이즈투성이고 힘이 ~1N 수준에 그치는데, 태스크는 5N급 힘 제어를 요구한다.

기존 두 갈래 해법이 모두 막힌다. 텔레오퍼레이션은 손 포즈·지문 위치를 리타게팅하는 위치 기반 인터페이스라 접촉력을 직접 지정하지 못한다(§1). 흔한 우회책은 손끝 타깃을 물체 안쪽으로 조금 밀어 넣어 하위 PD 제어기가 힘을 내게 하는 것인데, 낼 수 있는 힘 크기가 제한적이고 표면 법선이 원하는 힘 방향과 일치하지도 않는다. 반대로 처음부터 end-to-end RL을 돌리자니, cm 스케일 표면 위에서 정확한 기능적 접촉점을 찾고 그걸 유지하면서 큰 힘을 내는 행동을 고차원 손 행동공간에서 탐색해야 해 사실상 불가능하다.

핵심 방법론:

Mana는 이 교착을 컴퓨터 애니메이션의 문법으로 푼다. 애니메이터가 키프레임을 찍고 그 사이를 인비트위닝하듯, 긴 조작 시퀀스를 파지 키프레임의 그래프로 골격화한 뒤 구간마다 가장 단순한 수단으로 채운다.

• Pre-grasp 구간 — 힘이 필요 없으므로 RL이 불필요. GPU 가속 RRT-Connect[21]에 경로 스무딩을 붙여 대량 생성한다. 최종 파지 자세로 곧장 계획하면 얇은 도구에 미리 충돌하므로, 손끝을 접촉점에서 국소 법선 방향으로 무작위 거리만큼 물린 자세를 pre-grasp로 정의한다.
• Grasp 구간 — 대개는 절차적으로 충분하다. 손끝을 접촉 법선 방향 안쪽으로 밀어 넣은 squeeze 자세를 만들고 그리로 닫으면 된다. 다만 얇은 도구·불안정 초기 접촉·법선과 안정화력이 어긋나는 형상에서는 이게 안 되고, 그런 경우에만 짧은 호라이즌 RL을 쓴다.
• In-hand 작동 구간 — 여기가 본체다. 안정 파지 키프레임에서 시작해 무작위 목표 도구 형상(예: 열림→닫힘)에 도달하는 goal-reaching RL로 정의하고, 보상은

r = r_{\mathrm{tool}} + w_1 r_{\mathrm{hand}} + w_2 r_{\mathrm{contact}}

세 항의 합이다. r_{\mathrm{tool}}은 도구 관절값·손 프레임 기준 도구 포즈를,

r_{tool}=\exp(-\beta_{11}\|\mathbf{q}-\tilde{\mathbf{q}}\|_1)+\lambda_1\exp\!\left(-\beta_{12}\|\mathbf{x}-\tilde{\mathbf{x}}\|_2-\beta_{13}\|\log(\mathbf{R}^{\mathsf{T}}\tilde{\mathbf{R}})^{\vee}\|_2\right)

r_{\mathrm{hand}}는 손 관절(파지 학습 시에는 손목 포즈까지)을 매칭하며, r_{\mathrm{contact}}는 접촉 수를 그냥 센다:

r_{contact}=\sum_{i\in\text{Finger},\,j\in\text{Tool}}\mathbf{1}[f_{ij}>\epsilon]

여기서 f_{ij}는 IsaacLab 접촉 센서가 읽는 손가락 링크 i–도구 링크 j 간 접촉력이다. 하이퍼파라미터는 w_1=0.1,\ w_2=0.15,\ \lambda_1=0.3,\ \lambda_2=10.0 등으로 부록 A.2에 전부 공개돼 있고, 목표 달성 시 +100 보너스·낙하 시 −50 페널티, 전체 보상은 PPO 안정화를 위해 0.1배로 스케일한다.

학습된 궤적은 그대로 실기에 못 올리므로(시뮬 상태를 관측할 수 없다) 포인트클라우드 조건부 diffusion policy로 증류한다. 손목 프레임에서 표현한 512점 도구 포인트클라우드를 Perceiver 트랜스포머[16]가 4개 토큰으로 압축하고, 고유수용감각과 함께 트랜스포머 diffusion 헤드[14]에 넣어

\mathcal{L}=\mathbb{E}_{(o_i,a_i)\sim\mathcal{D},\ t\sim U[0,T]}\left[\|a_i-\pi(\tilde{a}_i,o_i,t)\|^2\right]

로 학습한다. 출력은 delta 6D 손목 포즈 + delta 손 관절 목표이고, 손목은 differential IK, 손은 \tau=K_p e + K_d\dot e PD 제어기가 받는다.

주요 결과:

• 4종 도구 × 2 인스턴스, 각 셀 10 trial(Table 1). Mana는 파지·인핸드 조작 전 구간에서 대략 0.6–0.8대를 기록해 본문 표현으로 “약 70%”다. 예: 집게 Grasp 0.8/0.8, Open 0.8/0.8, Close 0.7/0.8; 펜치 전 구간 0.6–0.7; 빨래집게 Grasp 0.8/0.7.
• 오픈루프 베이스라인(물체 포즈를 사람이 맞춰 주고 Mana 궤적을 그대로 재생)은 집게 Grasp 0.5/0.6, 주사기 Grasp 0.1/0.0으로 크게 뒤진다 — 메시 부정확·포즈 오차가 손가락이 닫히기 전에 접촉 오차로 번지기 때문.
• 텔레오퍼레이션 베이스라인(GeoRT[54], 1시간 연습 후)은 집게에서 0.3 언저리가 최고이고 빨래집게·주사기는 전 구간 0.0 — 위치 기반 리타게팅이 빨래집게를 작동시킬 힘 자체를 만들지 못한다.
• 복합 태스크(Table 2): Tong Pick 7/10, Plier Cut 5/10, Clothespin Use 6/10, Syringe Inject 5/10. 단 도구를 대상(예: 0.5mm 전선)에 정렬하는 구간은 손목 텔레오퍼레이션을 쓴다.
• 어블레이션(Fig. 7): 궤적 수 2k→16k에서 집게 파지 성공률 0.2→0.8, 파지 키프레임 1k→8k에서 주사기 조작 0.0→0.6, 힘 랜덤화 0%→100%에서 펜치 조작 0.1→0.7.

결론:

Mana의 기여는 새 알고리즘이 아니라 문제 분해다. “긴 호라이즌 접촉 조작”을 통째로 RL에 던지는 대신, 절차적 파지 합성으로 키프레임을 깔아 탐색 문제를 짧은 구간들로 쪼갠다. 그러면 RL은 “어디를 어떻게 잡을지”를 찾을 필요 없이 주어진 두 파지 사이를 힘을 써서 잇는 일만 하면 된다. 그 대가는 아래 Ring에서 보듯, 사람이 찍는 affordance 주석 의존과 손목 텔레오퍼레이션이라는 큰 별표다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

Mana의 핵심 통찰은 “탐색이 어려우면 탐색할 필요가 없게 초기 상태를 깔아라” 이다. 다관절 도구 조작에서 RL이 실패하는 이유는 제어가 어려워서가 아니라 애초에 기능적으로 유효한 파지에 도달할 확률이 0에 가깝기 때문이다. Lightning Grasp+가 그런 파지를 수천 개 뿌려 놓으면, 남는 문제는 “안정 파지 A에서 안정 파지 B로 힘을 써서 이동”이라는 짧고 잘 정의된 goal-reaching이 된다. 논문이 애니메이션 비유를 쓰는 이유가 여기 있다 — 키프레임이 있으면 인비트위닝은 쉽다.

배경: 왜 다관절 도구인가

강체 인핸드 조작은 지난 몇 년간 상당히 성숙했다. 그런데 논문이 §2에서 정리하듯 도구·다관절 물체 조작은 여전히 미개척이다. 계보를 보면:

• Rubik’s Cube[1]는 이 분야의 상징적 성과지만 물체 특화 설계에 의존했다.
• 큰 다관절 물체(문·손잡이·노트북·병) 조작 연구는 여럿 있으나, 이들은 손가락 정밀 접촉보다 팔·전신 동작에 가깝다.
• 도구 사용 연구 다수는 도구가 걸려 있거나 공중에 떠 있는 초기 상태에서 시작해 파워 그립으로 안정적으로 쥔 뒤 모방학습을 돌린다.
• 그래픽스 쪽에서는 젓가락 같은 더 정교한 도구 사용을 시뮬레이션에서 다뤘지만[47], 실기 전이는 열린 문제로 남아 있다.
• 로봇 쪽 최근접 연구는 Xu et al.[44]과 Atar et al.[3]인데, 둘 다 고정된 안정 인핸드 파지에서 출발한다.

Mana는 이들과 달리 테이블 위 얇은 도구를 바닥에서 집어 올리는 것부터 시작해 기능적 작동까지 이어 붙이고, 그 과정에서 필요한 하이브리드 위치-힘 제어를 정면으로 다룬다. 두께 0.8–1.5cm, 작동력 3–7N이라는 스펙이 이 차이를 압축한다.

관련해서 이 블로그의 Lightning Grasp 리뷰와 GeoRT 리뷰는 Mana의 각각 데이터 생성 엔진과 베이스라인을 다룬 글이다. 저자가 같은 계열(T-Rex 리뷰의 Zhao-Heng Yin)이라 부품을 재사용하는 흐름이 뚜렷하다. 또 다른 관절 도구 계열로는 DexScrew 리뷰가 참고가 된다.

방법 1: Mana Data System — 키프레임을 깔고, 사이를 메운다

Mana 데이터 시스템 개요(Fig. 3). 전체 조작 시퀀스를 절차적으로 생성한 파지 키프레임으로 분해하고, 모션플래닝(MP)과 강화학습(RL)으로 그 사이를 인비트위닝한다.

입력은 관절 모델이 붙은 도구 메시 + 소량의 사람 affordance 주석이고, 출력은 손목 동작·손 관절 명령·물체 상태·구간 라벨(grasping/opening/closing)이 붙은 성공 시뮬 궤적 데이터셋이다.

파지 생성기 — Lightning Grasp+

사용자는 3D 인터페이스에서 도구의 정준 포즈와 기능 영역(펜치 손잡이, 집게 팔, 주사기 플런저·배럴)을 표시한다. 인스턴스당 1분 미만. 저자들도 이 단계가 향후 affordance 모델[45]로 자동화 가능하다고 본다.

그 위에서 Lightning Grasp[52] 파이프라인이 돈다. 주석으로 contact field를 질의해 접촉 도메인을 만들고, 그 안에서 손끝 접촉 위치와 손가락 관절값을 최적화한 뒤 IsaacLab[29] 시뮬레이션으로 안정성 필터링을 건다.

문제는 원래 Lightning Grasp가 바닥이나 모서리에 가까운 좁은 파지면을 못 다룬다는 것이다(부록 A.1). 운동학 최적화가 충돌을 고려하지 않아 손가락이 이웃 표면을 그대로 뚫는데, 테이블에 납작하게 놓인 얇은 도구가 정확히 그 경우다. 그래서 저자들은 충돌 인지 운동학 최적화를 붙여 Lightning Grasp+(LG+)로 확장한다. 아이디어는 간단하다 — 침투가 생긴 손가락 링크마다 침투 중심 p와 평균 분리 벡터 d를 검출해, IK 목표에 “p를 p+d로 보내라”는 항을 접촉점 추적 항과 동시에 넣는다(Algorithm 1, Levenberg–Marquardt IK, CUDA 병렬 구현).

LG+가 만든 테이블 파지 샘플(Fig. 9). 두께 1cm 안팎의 물체를 바닥에서 집는 자세들로, 논문은 “RL이 직접 탐색으로 발견하기 어려운” 파지라고 명시한다. 이 자세들에서 출발하면 RL이든 MP든 파지 학습이 훨씬 쉬워진다.

여기서 강체 파지 생성과 결정적으로 갈리는 점: 다관절 도구는 안정 파지 하나가 아니라 “미래 작동을 위한 파지의 사슬”이 필요하다. 그래서 키프레임 플래너는 기능 접촉 영역과 관련 도구 형상에 걸쳐 조밀하게 파지 상태를 샘플링한다(주사기라면 플런저 작동을 지지하는 다양한 상태들). 논문이 강조하듯 다관절 도구 조작은 밀리미터 스케일 접촉점 변화에 극도로 민감해서, 이 조밀한 커버리지 자체가 성능 요인이 된다(어블레이션이 이를 뒷받침한다).

궤적 생성기 — 구간별로 다른 도구

Ping에서 요약한 세 구간(pre-grasp / grasp / in-hand actuation)의 설계 논리는 “힘이 필요한 곳에만 RL을 쓴다” 로 요약된다. 이건 비용 절감 이상의 의미가 있다. 도달 구간까지 RL에 맡기면 보상 설계가 지저분해지고 탐색 공간이 폭발하는데, 기하 문제는 기하 풀이(RRT-Connect)로 정확히·값싸게 풀린다.

in-hand 구간의 도메인 랜덤화(부록 A.3)는 특히 힘 관련 항목에 집중돼 있다는 점이 눈에 띈다:

항목	범위	의도
Action Noise	+U[-0.1,0.1] (행동 스케일 [-1,1] 기준 약 10%)	모터 실행 노이즈
로봇 PD 게인	\times U[0.8,1.2]	액추에이터 강성·튜닝 편차
도구 PD 게인	\times U[0.8,1.5]	도구 컴플라이언스·마찰·조립 편차
질량	\times U[0.8,1.2]	도구 질량 변동
마찰	\times U[0.5,1.5]	접촉 마찰계수
물체 외력 섭동	\mathcal{N}(0,\sigma^2),\ \sigma=\alpha m g,\ \alpha\sim U[0.05,0.2]	매 스텝 가우시안 외력(수 스텝 유지 후 재샘플)

학습은 IsaacLab + PPO, actor/critic 모두 [512,512,512,512] MLP에 특권 상태(손·도구 포즈와 속도, 접촉력, 목표, 제어 타깃)를 넣는다. 4096 병렬 환경, 미니배치 8192, 8스텝마다 5 에폭 업데이트, \gamma=0.99, clip \epsilon=0.2, GAE \lambda=0.95, lr 10^{-4}에 KL 임계 0.01 스케줄러.

방법 2: 로봇 시스템 — 하드웨어가 절반이다

하드웨어 구성(Fig. 5). 왼쪽은 커스텀 손끝 설계, 오른쪽은 배치 환경. 인지는 RealSense D435 한 대만 쓴다.

플랫폼은 7-DoF xArm7 + 16-DoF Allegro hand다. 주목할 건 손끝을 새로 만들었다는 점이다. 표준 반구형 강체 손끝은 두께 1cm급 얇은 물체에 불안정한 점 접촉을 만들어 강한 작동 중 미끄러짐·도구 이탈을 유발한다. 저자들은 납작하고 순응적인 접촉면을 가진 손끝을 설계해 접촉 패치를 넓히고, 실리콘 층이 도구 표면 주위로 수동 변형되게 했다. 부록 A.7에 제작법이 상세하다 — 평면 z=0의 정준 단면 C_0을 인체 손끝 프로파일을 근사하는 이방성 스케일 함수 w_x(h),w_y(h)로 z축을 따라 압출하고

M=\operatorname{ConvHull}\!\left(\bigcup_{z\in[0,H]}C_z\right)

의 볼록껍질을 취한 뒤, 오프셋 메시로 뼈대를 만들어 3D 프린팅한 몰드에 실리콘을 주입한다.

인지는 RealSense D435 한 대. 배치 시 SAM 3[5]로 분할하고 그 마스크를 Fast-FoundationStereo[43]와 결합해 물체 포인트클라우드를 만든 뒤 손목 프레임으로 옮긴다. 전체 파이프라인은 RTX 4090 2장 워크스테이션에서 약 10Hz로 돈다.

제어기 구조(Fig. 4). 노란 모듈이 포인트클라우드 기반 diffusion policy. Mana가 생성한 성공 궤적으로 학습한다.

정책 세부(부록 A.5)는 의외로 가볍다. Perceiver 인코더는 학습 가능한 쿼리 토큰 4개, 헤드 4개, latent 128차원으로 512점을 4×128 토큰으로 줄인다. 고유수용감각은 최근 2프레임의 손 관절값과 그 타깃을 [512,256,256] MLP로 128차원 토큰 하나로 만든다. Diffusion 헤드는 6층·헤드 2·latent 256이고, 저자들은 미래 행동 1스텝만 예측해도 충분했다고 적는다(일반적인 diffusion policy의 action chunking과 다른 선택이다). AdamW, lr 10^{-4}, 배치 128, weight decay 0.01, 워밍업 1000스텝의 코사인 스케줄로 2\times10^5 스텝에서 10^{-6}까지 감쇠, 추론에는 EMA 파라미터 사용. sim-to-real을 위해 포인트클라우드 랜덤화(노이즈 섭동, 무작위 부분 마스킹)를 건다.

직관: 왜 “잘 깔린 초기 상태”가 힘 제어까지 해결하는가

논문의 어블레이션이 이 질문에 답한다. Fig. 7의 세 축은 각각 양(궤적 수), 다양성(키프레임 수), 강건성(힘 랜덤화 강도) 인데, 세 축 전부가 실기 성공률을 거의 선형에 가깝게 끌어올린다.

어블레이션(Fig. 7). 왼쪽: 궤적 수 2k→16k에서 집게 파지 SR 0.2→0.8. 가운데: 파지 키프레임 1k→8k에서 주사기 조작 SR 0.0→0.6(2k와 4k는 0.3으로 정체). 오른쪽: 힘 랜덤화 강도 0%→100%에서 펜치 조작 SR 0.1→0.7.

여기서 읽히는 인과는 이렇다. 접촉점이 1mm만 달라져도 요구되는 힘의 방향·크기가 크게 달라지므로, 정책은 “정확한 하나의 접촉 모드”를 외우는 것으로는 실기에서 살아남을 수 없다. 기능 파지 주변을 조밀하게 샘플링해 다양한 접촉 모드를 미리 겪게 하는 것이 곧 강건성이다. 즉 LG+의 대량 파지 생성은 탐색을 쉽게 하는 장치이자 동시에 데이터 증강 장치다 — 논문이 LG+를 “데이터 시스템의 동력원(powerhouse)”이라 부르는 이유다.

힘 랜덤화 축은 다른 종류의 이야기를 한다. 저자들은 실기에서 액추에이터가 과열로 토크가 떨어지는 현상을 언급하는데, 이건 시뮬레이션 모델링의 문제가 아니라 시간에 따라 변하는 실물의 문제다. 정확한 모델을 만들 수 없으니 넓게 랜덤화해 둔감하게 만든다는 전형적인 sim-to-real 전략이 여기서도 통했다.

시뮬레이터 설정 자체도 이 문제에서는 사소하지 않다(부록 A.6). 도구는 대부분 내부 스프링 구동이므로 스프링-질량-감쇠 모델로 근사하고, 전자식 포스 게이지 측정으로 파라미터를 추정해 내부 관절 마찰이 있는 PD 제어기로 구현했다. 강성과 상호작용력이 크기 때문에 명시적 오일러 대신 암시적 오일러를 써야 액추에이터 시뮬레이션이 안정적이었고, 0.5–1cm 물체에 큰 힘이 걸리면 침투가 쉽게 생겨 위치 반복 16–32회, 속도 반복 4–6회, dt=1/200s로 올렸다고 적는다. 재현을 노리는 사람에게는 이 문단이 본문 어느 곳보다 값질 수 있다.

실험: 무엇이 얼마나 되는가

실험 대상과 시뮬레이션 환경(Fig. 6). 4종 × 2 인스턴스로 크기·형상·관절 종류가 다양하다. 두께 약 1cm, 작동에 3–7N이 필요하다.

메시와 URDF는 카메라 기반 스캔으로 만들어 Mana 파이프라인에 넣었다. 평가는 구간별로 분리해서 하고, 각 구간의 시작은 그 구간에 맞는 안정 초기 자세로 맞춘다. 각 셀 10 trial.

Table 1 발췌. G=Grasp, O=Open, C=Close. 셀의 두 값은 인스턴스 1|2.

Method	집게 G/O/C	펜치 G/O/C	빨래집게 G/O/C	주사기 G/Use
Teleop (GeoRT)	0.3|0.3, 0.1|0.2, 0.3|0.3	0.2|0.1, 0.1|0.1, 0.1|0.0	0.0 전부	0.0 전부
Ours (Openloop)	0.5|0.6, 0.6|0.7, 0.4|0.6	0.4|0.4, 0.3|0.4, 0.3|0.3	0.3|0.2, 0.2|0.4, 0.4|0.3	0.1|0.0, 0.3|0.3
Ours	0.8|0.8, 0.8|0.8, 0.7|0.8	0.7|0.6, 0.7|0.7, 0.7|0.7	0.8|0.7, 0.8|0.7, 0.6|0.7	0.7|0.5, 0.6|0.6

읽을 지점 세 가지.

첫째, 텔레오퍼레이션의 실패가 “서툴러서”가 아니다. 빨래집게·주사기에서 GeoRT는 전 항목 0.0이다. 1시간 연습을 준 뒤의 숫자다. 논문 설명은 명확하다 — 위치 기반 리타게팅은 빨래집게를 열 만한 접촉력 자체를 만들지 못한다. 집게에서 0.3 언저리가 나오는 것도 최근 보고[40]와 일치한다고 적는다. 이건 조작자 숙련의 문제가 아니라 인터페이스의 표현력 한계다.

둘째, 오픈루프와 폐루프의 격차가 곧 “시각 피드백의 값”이다. 오픈루프는 물체 포즈를 사람이 맞춰 주고도 절반 수준이다. 스캔 메시가 완벽하지 않고 포즈 추정에 작은 오차가 있어, 손가락이 닫히기 전에 접촉 오차·섭동이 생겨 파지가 무너지기 때문이다. 즉 Mana의 성능은 데이터 생성만으로 나오는 게 아니라 포인트클라우드 조건부 정책이 매 스텝 보정하는 데서 상당 부분 나온다.

셋째, 복합 태스크는 확실히 더 어렵다. Table 2의 Tong Pick 7/10, Plier Cut 5/10, Clothespin Use 6/10, Syringe Inject 5/10은 구간별 70%보다 낮다. 도구가 다른 물체와 상호작용하면서 학습 때 못 본 섭동을 받고, 한 번 회복 불가능한 자세로 미끄러지면 끝나기 때문이다. 저자들은 시뮬레이션의 힘·접촉 물리 모델링 개선이 답일 것이라고 가설로만 남긴다.

비판적으로 보면

강점

• 문제 정의가 정확하다. “다관절 도구는 위치가 아니라 힘의 문제”라는 진단이 Fig. 2 한 장으로 설득되고, 그 진단이 방법 설계(힘 중심 도메인 랜덤화, 힘 시스템 식별, 접촉 보상)와 베이스라인 선택(위치 기반 텔레오퍼레이션)으로 일관되게 이어진다.
• 사람의 개입을 정직하게 최소화했다. 시연 수집이 아니라 도구당 1분 미만의 클릭 몇 번이 전부다. 시연 기반 접근이 도구·인스턴스마다 수십 분씩 드는 것과 비교하면 확장성의 결이 다르다.
• 부록이 재현 가능한 수준으로 상세하다. 보상 하이퍼파라미터 전부, 랜덤화 범위 전부, PPO 설정, 정책 아키텍처 치수, 그리고 특히 시뮬레이터 솔버 설정(암시적 오일러, 위치 반복 16–32, dt=1/200s)까지 적혀 있다. 코드가 없는 논문치고는 성의 있는 편이다.
• 하드웨어를 문제의 일부로 인정한다. 손끝을 새로 만들어야 했다는 사실을 숨기지 않고 제작 절차까지 공개한다. “알고리즘만으로 된다”고 주장하지 않는 게 오히려 신뢰를 준다.
• 어블레이션이 주장과 정확히 맞물린다. 키프레임 다양성 축(1k→8k)은 “조밀한 파지 커버리지가 핵심”이라는 논지를 직접 검증하는 실험이고, 결과가 그 논지를 지지한다.

약점·한계

• 손목 텔레오퍼레이션이라는 큰 별표. Fig. 1 캡션·§5.4·§6이 모두 밝히듯, 도구를 대상 지점에 정렬하는 구간은 사람이 손목을 조종한다. 자율인 것은 파지와 손가락 동작이다. Table 2의 “Plier Cut 5/10”을 자율 시스템의 성능으로 읽으면 곤란하다. 저자들도 “스킬 체이닝의 타당성을 보기 위한 것”이라 못 박고 완전 자율에는 추가 정책이 필요하다고 적는다.
• 평가 규모가 작다. 도구 4종 × 인스턴스 2개 × 10 trial. 0.7과 0.8의 차이는 10 trial에서 1회 차이라 통계적으로 구분되지 않는다. “약 70%”라는 요약 자체는 정직하지만, 도구 간·인스턴스 간 미세 비교를 이 표에서 끌어내긴 어렵다.
• 일반화 축이 사실상 비어 있다. 모든 실험이 스캔해서 URDF를 만든 그 물체를 대상으로 한다. 보지 못한 도구 인스턴스, 하물며 보지 못한 도구 범주에 대한 zero-shot 결과가 없다. 파이프라인이 도구마다 (주석 → LG+ → RL → 정책)을 새로 도는 구조이므로, “확장 가능(scalable)”이라는 주장은 도구를 추가하는 비용이 싸다는 의미이지 하나의 정책이 새 도구로 일반화된다는 의미가 아니다. 논문이 이를 명시적으로 구분해 주지 않는 건 아쉽다.
• 힘의 정량 측정이 없다. 논문 전체가 힘 이야기인데, 정작 실기에서 손가락이 낸 힘을 측정한 결과는 제시되지 않는다. 3–7N은 도구를 작동시키는 데 필요한 힘이고, 텔레오퍼레이션의 ~1N도 Fig. 2 도식의 라벨이다. 정책이 실제로 낸 힘의 분포·마찰원뿔 여유가 있었다면 논지가 훨씬 단단했을 것이다.
• 베이스라인이 약한 쪽으로 골라졌다는 인상. 비교 대상은 (a) 자기 데이터의 오픈루프 재생, (b) 위치 기반 텔레오퍼레이션 두 가지뿐이다. §2가 인용한 최근접 선행연구 Xu et al.[44]·Atar et al.[3]과의 직접 비교는 없다. 초기 조건이 달라(그쪽은 안정 인핸드 파지에서 시작) 공정 비교가 어렵다는 사정은 이해되지만, 최소한 in-hand 구간만이라도 맞춰 볼 여지는 있었다.
• 감지 모달리티가 시각뿐이다. §6도 인정하듯 가림 상황의 미끄러짐 감지가 안 되고, 아주 작은 도구는 어렵다. 이 태스크는 촉각·힘 센싱의 교과서적 적용 대상인데 그 축이 통째로 빠져 있다.
• 하드웨어 천장이 명확하다. 최대 토크 0.7Nm, 최장 손가락 링크 0.06–0.07m라서 10N을 넘는 도구(트리거 기구 등)는 불가능하다. 또 Allegro hand가 사람 손의 약 2배라 사람처럼 파워 그립으로 얇은 손잡이를 쥐는 전략을 못 쓰고 정밀 파지에 갇힌다. 즉 “다관절 도구 일반”이 아니라 “이 손으로 정밀 파지 가능한 다관절 도구” 가 실제 적용 범위다.
• 코드가 없다. 부록이 상세하긴 하나 LG+ 확장, GPU RRT-Connect, 힘 시스템 식별, 커스텀 손끝 CAD 어느 것도 배포되지 않는다. 파이프라인이 이 부품들의 합으로 성립하는 만큼, 제3자 재현 난이도는 상당히 높다.

관련 연구와의 자리 매김

Mana를 좌표에 놓으면 세 방향의 교차점이다.

1. 절차적 파지 합성 계보 — Lightning Grasp·Dexonomy 류의 “시연 없이 파지를 대량 합성한다” 흐름. Mana는 여기에 충돌 인지와 파지의 사슬이라는 두 확장을 얹어, 파지 합성기를 단순 데이터 소스가 아니라 RL의 커리큘럼 생성기로 쓴다.
2. sim-to-real 다관절 조작 계보 — Xu et al.[44], Atar et al.[3]이 고정 인핸드 파지에서 다룬 문제를 테이블 픽업부터 확장했다. DexScrew처럼 관절 도구를 다루되 불완전 시뮬레이션을 전제하는 접근과 비교하면, Mana는 반대로 시뮬레이션의 힘 물리를 정성껏 맞추는 쪽에 투자한다.
3. 텔레오퍼레이션의 한계를 드러내는 계보 — GeoRT는 리타게팅 자체로는 최고 수준인데도 이 태스크에서 0.0을 받는다. 이건 GeoRT의 결함이 아니라 “위치 리타게팅으로는 못 가는 태스크 영역이 있다” 는 증거이고, 힘 피드백 텔레오퍼레이션이나 Mana 같은 합성 데이터 경로가 왜 필요한지에 대한 실증이다. 같은 그룹의 T-Rex가 촉각 반응성 쪽에서 이 간극을 공략한 것과 대비해 읽으면 흥미롭다.

애니메이션 비유의 뿌리도 짚을 만하다. C. Karen Liu의 “Dextrous manipulation from a grasping pose”[26]는 그래픽스에서 파지 자세에서 출발하는 조작 합성을 다룬 고전이고, 젓가락 논문[47]도 같은 계열이다. Mana는 그 그래픽스 전통의 문제 분해를 가져오되 물리적 제약과 실기 전이라는 로보틱스의 요구를 얹은 셈이다.

요약

Mana는 “다관절 도구 조작”이라는, 지금까지 대부분 우회돼 온 문제를 정면으로 잡고 애니메이션식 coarse-to-fine 분해로 실기까지 끌고 간다. 클릭 몇 번의 affordance 주석 → LG+의 대량 파지 키프레임 → 기하 구간은 모션플래닝·접촉 구간은 짧은 RL → 포인트클라우드 diffusion policy로 증류, 이 사슬은 각 고리가 단순해서 오히려 튼튼하다. 4종 도구에서 파지·인핸드 조작 약 70%, 그리고 텔레오퍼레이션이 0.0을 받는 자리에서 0.7을 받는다는 대비는 인상적이다.

동시에 이 결과를 읽을 때 붙여야 할 조건도 분명하다. 손목은 사람이 잡는다는 것, 평가가 스캔한 그 물체 8개뿐이라는 것, 힘을 그렇게 강조하면서 힘을 재지 않았다는 것, 그리고 필요한 힘이 10N을 넘는 순간 하드웨어가 무너진다는 것. 저자들 스스로 §6에서 이 대부분을 인정한다는 점은 좋은 신호지만, “scalable approach to dexterous articulated tool use”라는 초록의 표현은 도구를 추가하는 비용이 낮다는 의미로 좁게 읽는 편이 정확하다.

그래도 이 논문이 남기는 방법론적 교훈 하나는 분명하다 — RL이 못 푸는 문제의 상당수는 제어가 아니라 초기 상태 분포의 문제다. 좋은 파지를 값싸게 대량으로 깔 수 있게 되면, 그 위에서 필요한 것은 짧고 잘 정의된 goal-reaching뿐이다. 이 구조는 다관절 도구를 넘어 접촉이 빡센 다른 장기 태스크에도 그대로 옮겨 볼 만하다.