📃GRIT

dexterous-grasping

taxonomy

manipulation

humanoid

Learning Dexterous Grasping from Sparse Taxonomy Guidance

Published

June 17, 2026

🤖 GRIT은 사전 정의된 grasp taxonomy를 활용하여 고수준의 파악 의도와 저수준의 정밀한 손가락 제어를 연결하는 2단계 dexterous manipulation 프레임워크입니다.
💡 Vision-Language Model을 통해 장면과 작업 맥락에 최적화된 taxonomy를 선택하고, multiplicative reward 구조를 적용하여 의도한 파악 형태를 충실히 유지하며 안정적으로 객체를 조작합니다.
🚀 실험 결과, GRIT은 새로운 객체에 대해 87.9%의 높은 성공률을 달성했으며, 실세계 실험을 통해 작업 목적과 객체 형상에 따라 유연하게 파악 전략을 조정하는 제어 능력을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 복잡한 Dexterous manipulation(정교한 조작)을 수행하기 위해 고차원적인 Grasp taxonomy(파지 분류)와 저수준의 제어 정책을 결합한 새로운 프레임워크인 GRIT(Grasp Reinforcement with Intended Taxonomies)을 제안합니다.

1. 배경 및 문제 제기

기존의 Dexterous manipulation 연구는 정교한 접촉점이나 연속적인 동작 궤적을 직접 학습해야 하는 어려움이 있었으며, 강화학습을 통한 종단간(End-to-end) 학습은 제어가 어렵고 사용자 개입이 불가능하다는 한계가 있었습니다. 이를 해결하기 위해 논문은 인간의 파지 유형 분류 체계(Feix et al. [4])를 활용하여, 고수준의 ’파지 의도’를 제공하고 저수준의 ’손가락 동작’을 생성하는 2단계 프레임워크를 설계했습니다.

2. 핵심 방법론

GRIT은 크게 파지 계획(Grasp Planning) 단계와 조건부 제어(Taxonomy-conditioned Control) 단계로 구성됩니다.

파지 분류 및 계획: Feix의 분류 체계를 기반으로 30개의 파지 템플릿(\tau)을 구축합니다. 각 템플릿은 기준 관절 구성(\tilde{q}), 활성 링크 마스크(\tilde{b}), 접촉 위치 및 법선(\tilde{p}, \tilde{n})으로 정의됩니다. 시각-언어 모델(VLM)을 사용하여 장면 이미지(I)와 작업 설명(T)으로부터 최적의 파지 설정(g = (\tau, \bar{w}_w))을 추론합니다.
Taxonomy-conditioned Control: 학습 목적 함수는 다음과 같이 정의됩니다. J(\pi) = E_{\pi} \left[ \sum_{t=0}^{T} \gamma^t r_t(s_t, g) \right] 제어 정책은 현재 상태와 선택된 파지 명세(g)를 입력으로 받아, 연속적인 손가락 제어 동작을 출력합니다.
다중 복합 보상 구조(Multiplicative Composite Reward): 파지 준수와 작업 성공을 효과적으로 조율하기 위해 보상 식을 다음과 같이 설계했습니다. r = r_h \cdot \alpha_h + r_o \cdot \alpha_o - r_{pen} 여기서 \alpha_h와 \alpha_o는 각각 접근 단계와 파지 단계에서 행동의 안정성을 강제하는 곱셈 계수(Multiplicative constraint coefficient)로 작용합니다. 특히, 파지 준수 정도를 나타내는 \alpha_{mimic} 항은 레퍼런스 파지 설정으로부터의 오차를 페널티로 부여하여, 사용자의 의도를 엄격하게 반영합니다. L_{mimic} = \frac{1}{N_{act}} \sum_{i=1}^{L} (\max(|q_i - q_{ref,i}| - \tau_{act}, 0))^2 + \dots
Distillation: 시뮬레이션 환경에서 특권 정보(Privileged information)를 사용하는 교사 정책(Teacher policy)을 학습시킨 후, 부분적인 관측 정보(Point cloud)만을 사용하는 학생 정책(Student policy)으로 증류하여 실제 로봇에 배포할 수 있도록 설계했습니다.

3. 주요 성과 및 실험 결과

일반화 성능: Objaverse 데이터셋을 기반으로 한 실험에서, GRIT은 기존의 RDG나 GraspXL 대비 더 높은 성공률(87.9%)을 기록했습니다.
제어 가능성: 동일한 물체라도 작업 의도(“잡기” vs “짜기”)에 따라 다른 파지 유형(Precision grasp vs Power grasp)을 선택하도록 제어할 수 있음을 증명했습니다.
효율성: 곱셈 형태의 보상 구조 덕분에 하이퍼파라미터 튜닝 없이도 파지 정확도와 작업 성공률 사이의 안정적인 균형을 유지했습니다.
실제 로봇 실험: 다양한 기하학적 형태의 물체에 대해 파지 템플릿을 선택적으로 적용함으로써, 복잡한 환경에서도 정교한 조작이 가능함을 확인했습니다.

결론적으로, GRIT은 고수준의 ’의도’와 저수준의 ’실행’을 분리함으로써 정교한 조작 작업의 제어 가능성과 일반화 성능을 동시에 확보한 효율적인 프레임워크입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

능숙한 다지 파지(dexterous grasping)에서 가장 오래된 긴장은 “무엇을 지정하고 무엇을 학습에 맡길 것인가” 입니다.

조밀한 명세(dense specification) — 손가락 관절 궤적, 접촉점, 접촉력을 물체·작업마다 사람이 직접 지정하면 제어는 정확해지지만, 새 물체·새 작업이 생길 때마다 비현실적인 주석 비용이 듭니다. 일반화도 사실상 사람이 만든 데이터의 범위에 갇힙니다.
명세 없는 순수 RL — 보상만 주고 알아서 배우게 하면 자율성은 높지만, 탐색이 비효율적이라 특정 손 자세로 편향 되기 쉽습니다. 모든 물체를 비슷한 방식으로 움켜쥐는 단조로운 정책으로 수렴하고, 사용자가 “이건 정밀하게 집어줘” 같은 의도를 주입할 통로가 없습니다.

저자들이 던지는 질문은 분명합니다. “사람이 손가락 하나하나를 지정하지 않으면서도, 어떤 식으로 잡을지에 대한 의도는 주입할 수 있는 최소한의(sparse) 인터페이스는 무엇인가?”

답은 인간 그립 분류학(grasp taxonomy) 입니다. 사람은 수많은 파지를 소수의 유형(power/precision, 감싸기/집기 등) 으로 범주화해 왔습니다. GRIT의 통찰은 이 추상적 유형이 물체 기하와 강하게 연관 된다는 점입니다 — 막대형엔 정밀 집기가, 둥근 물체엔 감싸기가 더 잘 맞습니다. 따라서 유형 하나만 고르는 것 만으로 충분한 가이드가 되며, 구체 제어는 물체에 맞춰 정책이 채우면 됩니다.

이 논문의 한 줄 요약: Feix 분류학의 30개 그립 유형 을 희소 가이드로 삼아, 1단계에서 장면·작업으로부터 유형을 고르고(VLM zero-shot), 2단계에서 그 구조를 유지하는 taxonomy-조건부 RL 정책 으로 물체 기하에 적응하는 연속 다지 모션을 생성한다 — 조밀한 주석 없이도 제어 가능성과 일반화를 동시에.

flowchart LR
    subgraph S1["Stage 1 · Taxonomy 선택"]
        IMG["장면 이미지<br/>+ 작업 맥락"]
        AXIS["3D 좌표축 오버레이<br/>(목표 방향)"]
        VLM["VLM (Gemini 3)<br/>zero-shot 선택"]
        IMG --> VLM
        AXIS --> VLM
        VLM --> TAU["그립 템플릿 τ<br/>{q̃, b̃, p̃, ñ}<br/>(30 유형 중 1)"]
    end
    subgraph S2["Stage 2 · Taxonomy-조건부 RL"]
        OBS["관측<br/>proprio + 부분 점군<br/>+ BPS 기하 + 손목-물체"]
        POL["RL 정책<br/>(teacher→student distill)"]
        ACT["행동 Δq, Δw<br/>연속 다지 모션"]
        OBS --> POL --> ACT
    end
    TAU --> POL
    ACT --> ROB["휴머노이드 손 Allex<br/>기하/작업별 파지"]

방법

GRIT는 희소 가이드 → 연속 제어 의 2단계 위에 섭니다. 핵심 철학은 “사용자는 추상적 그립 유형만 고르고, 정책은 그 구조적 의도를 보존한 채 물체에 맞춰 채운다”입니다.

그립 분류학(Taxonomy) 표현

Feix et al. 인간 그립 분류학 에서 지나치게 물체-특화된 3개를 빼 30개 유형 을 씁니다. 각 유형은 템플릿 \tau_i = \{\tilde{q}, \tilde{b}, \tilde{p}, \tilde{n}\} 으로 표현됩니다.

\tilde{q} : 참조 관절 구성(reference joint configuration)
\tilde{b} : 손/손바닥 링크가 접촉에 관여하는지에 대한 이진 결합 마스크
\tilde{p} : 로컬 손 좌표계 기준 참조 접촉 위치
\tilde{n} : 해당 접촉의 표면 법선

이 표현은 “어느 손가락·손바닥이 어떤 자세로 어디에 닿아야 하는가”라는 구조 만 담을 뿐, 절대적 관절 각이나 물체 위 정확한 접촉점은 고정하지 않습니다. 그 구체화는 2단계 정책이 물체 기하를 보고 수행합니다.

Stage 1: Taxonomy 선택

목표는 “이 장면·이 작업에서 어떤 그립 유형을 쓸 것인가”입니다.

학습 시: taxonomy와 손목 방향(wrist orientation)을 균일 샘플링 해, 정책이 다양한 유형 전반에 걸쳐 견고하게 학습되도록 합니다(특정 유형 편향 방지).
추론 시: VLM(Gemini 3) 이 zero-shot으로 유형을 고릅니다. 이때 핵심 트릭은 장면 이미지 위에 3D 좌표축을 직접 오버레이 해 잠재적 목표 접근 방향을 시각적으로 표현하는 것입니다. VLM이 2D 이미지만 볼 때 약한 공간 추론을, 이 오버레이가 보강합니다.

Stage 2: Taxonomy-조건부 RL 정책

선택된 템플릿 \tau 를 조건으로, 물체 기하에 적응하는 연속 다지 모션을 생성합니다.

관측(observation): 손 자기수용 상태(관절각, 접촉 indicator, 접촉력) + 물체 상태(RGB-D 단일 시점 부분 점군) + 손목-물체 상대 변위 + 거리 특징 + BPS(Basis Point Set) 로 인코딩한 로컬 기하.
행동(action): 관절 변위 \Delta q_t \in \mathbb{R}^D, 델타 손목 포즈 \Delta w_t \in \mathbb{R}^7(직교 + 쿼터니언).

곱셈형 복합 보상(핵심 설계). 보상은 두 축을 곱셈으로 게이팅합니다.

r_t = \alpha_h \cdot r^{\text{hand}}_t + \alpha_o \cdot r^{\text{obj}}_t - r^{\text{penalty}}_t

r^{\text{hand}} : 접근 단계 의 손 중심 보상(템플릿 자세·접촉 구조로의 정렬).
r^{\text{obj}} : 안정 파지 단계의 물체 중심 보상(들어올림·안정성).
\alpha_h, \alpha_o : 안정성·taxonomy 준수도 에 따라 보상을 켜고 끄는 곱셈형 제약 계수.
r^{\text{penalty}} : 의도하지 않은 접촉을 억제.

곱셈형이 중요한 이유는, “올바른 구조로 잡았을 때만” 물체 보상이 활성화되어 정책이 단순히 물체를 움켜쥐는 지름길을 막고 유형 충실도(adherence) 를 강제하기 때문입니다. 실제로 더하기(additive) 대비 접촉 정밀도 28.57% 향상, 관절 오차도 크게 감소했습니다.

Teacher–Student Distillation

Teacher: 전체(full) 점군과 ground-truth 접촉 등 특권 정보 로 학습.
Student: 단일 시점 부분 관측 만 받고, LSTM 으로 접촉 신호를 복원해 실세계 배포 가능 형태로 만듭니다.

학습 환경은 MuJoCo-Warp + 30개 YCB 물체 입니다.

실험

새로운 물체 일반화

학습에 없던 Objaverse RoboCasa 서브셋(373개 물체) 에서 성공률을 측정합니다.

방법	성공률	가이드 방식
RDG	81.9%	명시적 그립 조건 없음(기하/접촉 신호)
GraspXL	85.9%	graspable/non-graspable 표면 주석(간접)
GRIT	87.9%	taxonomy 희소 가이드

GRIT는 RDG 대비 +6.0%p, GraspXL 대비 +1.9%p 우위입니다. 명시적 그립 조건이 없는 RDG는 손 자세 편향에 취약하고, GraspXL의 간접 표면 주석보다 taxonomy 조건이 더 효과적임을 보입니다.

물체–Taxonomy 정렬(핵심 통찰 검증)

“특정 taxonomy가 특정 물체 기하에 더 효과적”이라는 가설을 정량 검증합니다.

과일/채소: taxonomy 간 성능 편차 25.07% — 유형 선택이 성패를 크게 가름.
포장 제품(packed goods): 편차 14.85% — 상대적으로 덜 민감.

즉 그립 유형의 효과가 물체 기하에 강하게 의존 하며, 따라서 “유형을 잘 고르는 것”이 일반화의 핵심 레버임을 확인합니다.

Ablation

BPS 특징 제거: 모든 지표에서 성능 하락 → 로컬 기하 인코딩이 적응적 파지에 필수.
보상 형태: 더하기(additive) 형태도 성공률 자체는 비슷하지만, 곱셈형이 접촉 정밀도 +28.57%, 관절 오차 측면에서도 큰 개선(naive additive 대비 57.83% 낮은 관절 오차)을 보여 유형 충실도 가 훨씬 우수.

실세계(Allex) 배포

양손 휴머노이드 로봇에 배포해 두 가지를 시연합니다.

기하 의존적 적응: 막대형(rod-like) 물체엔 정밀 4지 그립이, 스풀형(spool-like) 물체엔 중간 직경 그립이 성공.
작업별 선택: 스펀지 짜기(squeeze) 엔 파워 그립, 운반(transport) 엔 정밀 그립을 선택 — 같은 물체라도 작업 의도에 따라 다른 유형을 고름.

비판적 고찰

강점

희소 가이드라는 깔끔한 인터페이스. “유형 하나만 고른다”는 추상화가 조밀한 주석 비용과 순수 RL의 손 자세 편향을 동시에 회피합니다. 사용자가 손가락을 지정하지 않으면서도 의도를 주입하는 통로를 제공한 점이 핵심 기여입니다.
검증된 핵심 가설. “taxonomy 효과는 물체 기하에 의존한다”를 과일/채소 25.07% vs 포장 제품 14.85% 같은 정량 편차로 뒷받침해, 설계 동기를 데이터로 입증했습니다.
곱셈형 보상의 명료한 효과. 더하기 대비 접촉 정밀도·관절 오차에서 분리된 이득을 ablation으로 보여, 유형 충실도가 단순 성공률 너머의 품질임을 드러냅니다.
VLM + 좌표축 오버레이. zero-shot으로 유형을 고르되 3D 축 오버레이로 공간 추론을 보강한 실용적 설계로, 학습 없이 추론 시 인간 의도/맥락을 반영합니다.

약점과 한계

VLM 선택의 신뢰성 미검증. Stage 1이 VLM zero-shot에 의존하지만, 잘못된 유형을 골랐을 때 전체 성능이 얼마나 무너지는지(오선택 robustness)에 대한 정량 분석은 제한적입니다(추측).
단일 손/물체 파지에 한정. 양손 협응이나 in-hand manipulation, 동적 조작은 다루지 않고 정적 파지에 집중됩니다.
실세계 평가의 정량성. Allex 결과는 다양한 파지 자세의 정성 시연 중심이고, 실로봇 성공률·실패 모드의 체계적 정량 비교는 더 필요해 보입니다(추측).
30개 유형의 표현력. Feix 분류학에서 3개를 뺀 30개로 충분한지, 분류학에 없는 비정형 파지(예: 도구를 끼우는 특수 그립)에는 어떻게 대응하는지는 열린 질문입니다.

요약 및 결론

GRIT는 능숙한 다지 파지의 오랜 딜레마 — 조밀한 명세의 비현실성 vs 순수 RL의 손 자세 편향 — 을 희소한 그립 분류(taxonomy) 가이드 로 공략합니다. Feix 분류학의 30개 유형 을 추상 인터페이스로 삼아, 1단계에서 장면·작업으로부터 유형을 고르고(VLM zero-shot + 3D 축 오버레이), 2단계에서 곱셈형 보상의 taxonomy-조건부 RL 정책 으로 물체 기하에 적응하는 연속 다지 모션을 생성합니다.

핵심 수치로 정리하면, 새로운 물체 373개에서 87.9% 성공률로 RDG(81.9%)·GraspXL(85.9%)을 능가했고, 곱셈형 보상으로 접촉 정밀도를 +28.57% 끌어올렸으며, 과일/채소 25.07% vs 포장 제품 14.85%의 편차로 “유형 효과는 물체 기하에 의존한다”는 가설을 입증했습니다. 그리고 휴머노이드 Allex에서 기하·작업에 따라 그립 유형을 바꾸는 적응적 파지를 실제로 시연했습니다.

실무 관점에서 이 연구의 가치는 “손가락을 일일이 지정하지 않고 추상적 그립 유형 하나만 고르게 함으로써, 제어 가능성과 새 물체 일반화를 동시에 얻는 최소 인터페이스” 를 제시한 데 있습니다. VLM 선택의 robustness와 실세계 정량 평가라는 한계는 분명하지만, taxonomy 희소 가이드 + 곱셈형 조건부 RL 이라는 틀은 향후 사람-의도 주입형 능숙 조작 연구의 유력한 출발점이 될 것입니다.