📃Contact Trust Region 리뷰(feat.Dextreme)

mpc

dexterous

contact

trust-region

contact-rich

dexterity

Dexterous Contact-Rich Manipulation via the Contact Trust Region

Published

June 13, 2025

CTR vs DeXtreme: 능숙한 접촉 조작을 향한 두 갈래 길 모델 기반 접촉 계획(MPC-CTR)과 강화학습 기반 조작(DeXtreme)의 수학적 원리와 구조를 깊이 분석하고, 두 방법론을 다양한 관점에서 비교

이 논문은 전통적인 타원형 신뢰 영역의 한계를 극복하기 위해 편측 접촉 역학을 고려하는 Contact Trust Region (CTR)을 제안합니다.
🤖 CTR을 기반으로, 저자들은 효율적인 로컬 Model Predictive Control (MPC) 알고리즘을 개발하고, 이를 초기 추정 휴리스틱 및 빈번한 재계획과 결합하여 복잡한 접촉 조작 작업에 대한 안정화를 가능하게 합니다.
🗺️ 제안된 CTR 기반 로컬 MPC는 로드맵 프레임워크에 통합되어 전역 계획을 수행하며, 기존 방식보다 훨씬 적은 계산 시간으로 양팔 로봇 및 Allegro hand와 같은 복잡한 시스템에서 능숙한 조작을 시연합니다.

Brief Review

본 논문 “Dexterous Contact-Rich Manipulation via the Contact Trust Region”은 로봇의 능숙하고 접촉이 많은 조작(dexterous contact-rich manipulation)을 위한 효율적인 지역적 동역학 모델과 그 신뢰 영역(trust region)을 정의하는 문제를 다룬다. 기존의 많은 접근 방식은 동역학의 Taylor 근사와 타원형 trust region에 의존하지만, 본 논문은 이러한 방식이 접촉의 비대칭성(unilateral nature)과 근본적으로 일관되지 않다고 주장한다.

이러한 문제점을 해결하기 위해, 본 논문은 접촉의 비대칭성을 포착하면서도 계산 효율성을 유지하는 Contact Trust Region(CTR)을 제안한다. CTR을 기반으로, 먼저 지역적인 접촉이 많은 계획을 합성할 수 있는 Model-Predictive Control(MPC) 알고리즘을 개발한다. 그 후, 이 기능을 확장하여 지역 MPC 계획들을 연결함으로써 전역적으로 계획하고 효율적이며 능숙한 접촉이 많은 조작을 가능하게 한다.

본 논문의 주요 기여는 세 가지이다. 첫째, 접촉 역학을 효율적으로 근사하는 Contact Trust Region(CTR)이다. 둘째, 지역적인 접촉이 많은 조작에 특화된 매우 효율적인 기울기 기반 MPC 컨트롤러이다. 셋째, 지역 궤적들을 연결하는 전역 플래너이다.

핵심 방법론: Contact Trust Region (CTR)

본 논문은 접촉 동역학을 Convex Quasidynamic Differentiable Contact(CQDC) 모델로 표현한다. 이는 접촉 시뮬레이션을 다음 형태의 Second-Order Cone Program(SOCP)으로 정식화한다: \begin{aligned} \min_{q_+} & \quad \frac{1}{2} q_+^\top P(q)q_+ + b(q, u)^\top q_+, \\ \text{subject to} & \quad J_i(q)q_+ + c_i(q) \in K_i, \quad \forall i \in I_c. \end{aligned} 여기서 q는 시스템 설정(configuration), u는 로봇의 제어 입력(actuated configuration command), P, b, J_i, c_i는 q, u에 의존하는 행렬/벡터, I_c는 접촉 쌍 인덱스 집합, K_i는 가능한 속도(velocity)의 feasible cone이다. 이 SOCP의 KKT 조건은 준동적(quasi-dynamic) 운동 방정식, 비관통(non-penetration), 마찰 원뿔(friction cone), 상보성(complementarity) 제약을 만족한다.

이 모델의 직접적인 미분은 접촉 모드 전환으로 인해 기울기가 불연속적이다. 이를 완화하기 위해 본 논문은 로그 배리어(log-barrier) 스무딩을 적용한 완화된 동역학 f_\kappa(q,u)를 사용한다. 이 완화된 동역학은 스무딩 파라미터 \kappa에 의존하며, 접촉이 없는 객체 사이에도 힘을 발생시킨다. 스무딩된 동역학의 기울기는 민감도 분석(sensitivity analysis)을 통해 얻을 수 있다.

본 논문은 smoothed dynamics의 Taylor 근사를 사용하여 다음 상태 \hat{q}_+와 접촉력 \hat{\lambda}_{+,i}에 대한 선형 모델을 구축한다: \begin{aligned} \hat{q}_+ &= A_\kappa \delta q + B_\kappa \delta u + f_\kappa(\bar{q}, \bar{u}), \\ \hat{\lambda}_{+,i} &= C_{\kappa,i} \delta q + D_{\kappa,i} \delta u + \lambda_{\kappa,i}(\bar{q}, \bar{u}). \end{aligned} 여기서 (\bar{q}, \bar{u})는 현재 nominal point이고 (\delta q, \delta u)는 perturbation이다.

Ellipsoidal Trust Region (ETR)은 (\delta q, \delta u)에 대해 \delta z^\top \Sigma \delta z \leq 1 형태의 제약을 가한다. 그러나 이는 접촉의 비대칭성을 포착하지 못한다.

Contact Trust Region (CTR)은 ETR 제약에 더하여, 위 선형 모델로 예측된 다음 상태 \hat{q}_+와 접촉력 \hat{\lambda}_{+,i}가 원래 비완화된 SOCP 동역학의 primal 및 dual feasibility constraint를 만족해야 한다는 제약을 추가한다: \begin{aligned} J_i \hat{q}_+ + c_i &\in K_i, \\ \hat{\lambda}_{+,i} &\in K_i^*. \end{aligned} 이러한 제약은 선형화된 변수에 대해 부과되므로, CTR은 여전히 볼록 집합(convex set)이다 (구체적으로, 여러 개의 second-order cone constraints의 교집합). Example 1과 2를 통해, primal feasibility 제약(J_i \hat{q}_+ + c_i \in K_i)이 때때로 실제 도달 가능한 영역보다 trust region을 지나치게 보수적으로 제한함을 보여준다.

따라서 본 논문은 primal feasibility 제약을 완화한 Relaxed Contact Trust Region (R-CTR)을 제안한다. R-CTR은 ETR 제약과 dual feasibility 제약(\hat{\lambda}_{+,i} \in K_i^*)만을 포함한다. Example 3은 R-CTR을 사용한 Motion Set(선형화된 primal solution map에 의한 RA-CTR의 이미지)이 객체 움직임의 지역적 도달 가능성을 더 잘 포착함을 보여준다. 또한, RA-CTR과 그에 따른 Wrench Set, Motion Set 개념은 고전적인 접촉 역학 개념과 연결될 수 있음을 이론적으로 보인다 (Lemma 2).

지역 계획 및 제어 (Local Planning and Control)

제안된 R-CTR은 지역 궤적 최적화(trajectory optimization) 및 MPC에 활용된다. Algorithm 1은 R-CTR 제약을 포함하는 SOCP subproblem을 반복적으로 해결하여 nominal trajectory를 개선하는 방식이다. 이 방법은 smoothed dynamics의 선형 근사를 사용하지만, R-CTR을 통해 지역적으로 유효한 영역 내에서 계획이 이루어지도록 한다. 특히, 접촉이 없는 초기 상태에서 시작할 경우, 로봇이 객체에 접촉하도록 유도하는 초기 추측 휴리스틱을 적용하여 계획의 효율성을 높인다. Example 4와 5는 이 방법이 접촉 모드 전환을 탐색하고 계획에 유리한 방향으로 나아가는 과정을 보여준다.

Algorithm 2는 Algorithm 1을 MPC 프레임워크에 적용한 것이다. 현재 상태에서 미래 상태까지의 궤적을 계획하고, 계획된 첫 번째 제어 입력을 실제 시스템에 적용한 후, 다음 상태를 관찰하여 다시 계획을 수행한다 (re-planning).

실험 결과 (Experiments)

본 논문은 IiwaBimanual (planar, 29 collision geometries) 및 AllegroHand (3D in-hand, 39 collision geometries) 두 가지 접촉이 많은 로봇 시스템에서 제안된 방법론을 포괄적으로 평가한다.

CQDC 동역학에서의 지역 MPC 성능 (Section 5):
- R-CTR, CTR, ETR을 사용하는 MPC의 목표 도달 성능(최종 객체 위치/회전 오류) 비교.
- 생성된 목표는 지역적으로 도달 가능하나 MPC에 도전적인 목표들이다 (Figure 9).
- 결과(Figure 9, Table 2): R-CTR이 두 시스템 모두에서 평균 오류 및 분산 측면에서 가장 좋은 성능을 보였다. 특히 IiwaBimanual에서 CTR 및 ETR보다 유의미하게 우수했다. AllegroHand에서는 차이가 비교적 작았는데, 이는 시스템 특성상 bilateral contact regime이 더 자주 활성화될 수 있기 때문으로 추측된다.
- Trust region radius(r)와 MPC rollout horizon(H)에 대한 실험(Figure 10): 적절한 r과 H에서 성능이 최적화되며, 너무 작은 r은 도달 가능성을 제한하고 너무 큰 r은 선형 근사의 부정확성으로 인해 성능 저하를 야기한다.
2차 동역학 하에서의 안정화 성능 (Section 6):
- CQDC 동역학 모델과 실제 물리(Drake 시뮬레이션 및 하드웨어) 간의 차이(특히 hydroplaning)를 고려한 안정화 성능 평가.
- Algorithm 3을 제안: MPC 계획을 여러 물리 스텝에 걸쳐 실행하고, 재계획 시 현재 로봇 상태에 대해 초기 추측 휴리스틱을 다시 적용하여 접촉 유지를 강화 (MPCProj).
- Open-loop, No Heuristics, Closed-loop 세 가지 알고리즘 변형 평가.
- 결과(Figure 11, Table 4):
  - Closed-loop MPC는 Open-loop보다 훨씬 우수한 성능을 보이며, 접촉 동역학 모델의 부정확성에도 불구하고 피드백이 중요함을 시사한다.
  - 초기 추측 휴리스틱 적용(Closed-loop vs. No Heuristics): 평균 오류 감소 효과는 작지만, 접촉 손실로 인한 큰 오류 발생 빈도를 유의미하게 줄였다 (Figure 11 histogram). 휴리스틱 적용은 로봇 경로 길이를 단축시키는 효과도 있었다 (Figure 12).
  - IiwaBimanual과 AllegroHand 비교: AllegroHand 태스크(in-hand manipulation)의 본질적인 어려움(미끄러짐)으로 인해 IiwaBimanual보다 평균 오류가 컸다.
  - 하드웨어 실험: 시뮬레이션 결과와 유사한 성능을 보였다 (Table 4).

전역 계획 (Global Planning)

지역 MPC는 비탐욕적 움직임이 필요한 전역 목표 달성에 한계가 있다. 이를 해결하기 위해 본 논문은 지역 MPC의 장점을 활용하는 로드맵(Roadmap) 기반 전역 계획 방법을 제안한다.

목표 상태 기반 접촉 설정 생성 (Section 7):
- 주어진 객체 상태(q_o)와 목표(q_{og})에 대해, 지역 MPC가 효율적으로 목표에 도달하도록 유리한 로봇 설정(q_a)을 찾는 문제 정의.
- 최적화 문제의 비용 함수는 지역 MPC의 유한 시간 가치 함수(V)와 강건성(robustness) regularizer(r)를 조합한다. r은 RA-CTR 기반 wrench set의 최대 내접구 반경으로 정의되며, 이 설정에서 로봇이 객체에 얼마나 큰 외란을 견딜 수 있는지를 나타낸다. 비용 함수는 C(q_a; q_o, q_{og}) = V(q_a; q_o, q_{og}) - \alpha r(q_a; q_o)^2 형태이다.
- 이 문제는 비볼록하며 기울기 계산이 어렵기 때문에 샘플링 기반 최적화 휴리스틱으로 해결한다. AllegroHand와 같은 고차원 로봇의 경우, reduced-order model (4개의 sphere)을 사용하고 그 해를 역기구학(IK)으로 로봇 설정에 매핑하는 휴리스틱을 도입한다.
- 결과(Figure 18, Table 6): AllegroHand에서 직관적이고 목표 달성에 효과적인 초기 로봇 설정들을 찾았으며, MPC 롤아웃 결과 10mm 이내의 위치 오류와 30mrad 이내의 회전 오류를 달성했다.
로드맵 기반 전역 계획 (Section 8):
- 오프라인 단계(Algorithm 4): 작업 공간을 충분히 커버하는 안정적인 객체 설정들에 해당하는 접촉 설정들을 로드맵의 정점(vertices)으로 생성한다. 각 정점 쌍에 대해 지역 MPC(객체 목표 도달)와 충돌 회피 계획(로봇 재배치)을 순차적으로 적용하여 전이가 성공하면 에지(edge)를 추가한다 (Figure 19). AllegroHand의 경우 객체의 대칭성을 활용하여 로드맵 구축을 효율화했으며, 표준 노트북 CPU만으로 10분 이내에 로드맵 구축이 가능하다. 하드웨어에서 150회 연속 에지 전이에 성공하며 로드맵의 강건성을 확인했다.
- 온라인 단계: 임의의 시작 설정에서 임의의 목표 객체 설정까지의 계획은, 시작/목표를 로드맵의 가장 가까운 정점에 연결한 후 그래프 상에서 최단 경로를 탐색하는 방식으로 수행된다 (Figure 20).

결론 (Conclusion)

본 논문은 Contact Trust Region(CTR) 개념을 통해 접촉의 비대칭성을 고려한 지역적 동역학 근사를 제공하고, 이를 활용하여 효율적인 MPC 기반 지역 계획 및 제어 방법을 개발한다. 또한, 접촉 설정 생성 및 로드맵 기법을 통해 전역적인 접촉이 많은 조작 계획 능력을 구현했다. 제안된 방법은 시뮬레이션 및 실제 하드웨어 실험을 통해 그 성능과 계산 효율성을 입증했다. 특히 심층 강화 학습(deep RL) 기반 접근 방식에 비해 현저히 낮은 계산 시간으로 목표 달성이 가능함을 보여준다.

하지만 여전히 해결해야 할 과제들이 남아있다. 특정 계획 실패의 원인, IiwaBimanual과 AllegroHand 간 feasibility constraint의 역할 차이에 대한 깊은 이해, 그리고 CQDC의 hydroplaning과 같은 모델-현실 물리 간의 차이를 극복하고 접촉을 강건하게 유지하는 문제 등은 향후 연구가 필요하다. 그럼에도 불구하고 본 논문에서 제시된 CTR, MPC, 접촉 설정 생성, 로드맵 기법은 접촉이 많은 로봇 조작 문제를 해결하기 위한 새로운 강력한 도구들을 제공한다.

Detail Review

CTR 최적화 프레임워크

개요: 접촉 신뢰 영역(Contact Trust Region, CTR)은 기존의 타원형 신뢰영역(Ellipsoidal Trust Region, ETR)을 확장하여, 접촉 동역학의 물리 제약 조건을 명시적으로 포함하는 새로운 신뢰영역 모델입니다. 핵심 아이디어는 선형화 오차를 제어하는 작은 타원형 영역뿐 아니라, 접촉 가능성 제약 조건(일방향 접촉력, 마찰 원뿔 제약 등)도 함께 적용하여, 탐색 가능한 지역을 현실적인 물리 범위 내로 제한하는 것입니다.

1. 미분 가능한 접촉 동역학 모델

CTR은 미분 가능한 접촉 시뮬레이터를 활용합니다. 특히, 이전 연구인 Convex Quasi-Dynamic Contact (CQDC) 모델을 기반으로, 접촉 동역학을 볼록 최적화 문제(SOCP 등)로 표현합니다. 이 모델을 풀면 다음 상태뿐 아니라 접촉력까지 계산되며, 상태와 제어 입력에 대한 감도(Jacobian)도 함께 얻을 수 있습니다. 이는 접촉력을 쌍대변수(dual variable)로 간주한 KKT 조건 민감도 해석을 통해 가능해집니다.

2. 상태 및 접촉력의 선형화

미분 가능한 모델을 기반으로, 다음 상태 $+$와 접촉력 $+$는 다음과 같이 선형 근사됩니다:

상태 업데이트: \hat{q}_+ = A_\kappa \, \delta q + B_\kappa \, \delta u + f_\kappa(\bar{q}, \bar{u})
접촉력 응답: \hat{\lambda}_{+,i} = C_{\kappa,i} \, \delta q + D_{\kappa,i} \, \delta u + \lambda_{\kappa,i}(\bar{q}, \bar{u})

이는 표준적인 상태 선형화와 달리, 접촉력 변화까지 함께 근사하므로, 접촉의 1차 응답을 정밀하게 반영할 수 있습니다.

3. 접촉 가능성 제약(Contact Feasibility Constraints)

CTR은 위 선형화 모델에 대해, 다음과 같은 물리 기반 제약을 적용합니다:

비침투 조건 (Primal feasibility): \hat{J}_i \, \hat{q}_+ + \hat{c}_i \in K_i → 접촉면에서의 상대 운동이 interpenetration을 유발하지 않도록 제한
마찰 원뿔 조건 (Dual feasibility): \hat{\lambda}_{+,i} \in K_i^* → 마찰 계수 및 일방향 접촉력 조건(정상 마찰력은 0 이상) 보장

이러한 조건은 2차원 원뿔 제약(SOCP) 형태로 정식화되며, 신뢰 영역 내의 모든 후보해가 접촉 가능성 물리 법칙을 만족하도록 보장합니다.

4. 접촉 신뢰 영역의 수학적 정의

CTR은 다음의 조건을 만족하는 $(q, u)$의 집합으로 정의됩니다:

타원형 제약: \delta z^T \Sigma \delta z \leq 1 \quad (\delta z = [\delta q; \delta u])
선형화된 상태 및 접촉력 식 만족
비침투 제약: $_+$가 접촉면을 침투하지 않음
마찰 원뿔 제약: $_{+,i}$가 원뿔 내부에 위치함

CTR은 이러한 제약들의 교집합이며, 이는 볼록 집합(convex set)입니다. 따라서 이후의 최적화 단계도 볼록 최적화 문제(SOCP)로 유지됩니다.

5. 변형: A-CTR, R-CTR

A-CTR (Action-only CTR): 상태는 고정하고 입력 $u$만을 탐색하는 경우. 계산량이 줄어 빠른 추론 가능
R-CTR (Relaxed CTR): 비침투 조건을 제거하고 마찰 제약만 적용하여 보수성 완화 및 탐색 반경 확대

실험 결과 R-CTR이 오히려 더 높은 성능을 보이는 경우가 있었으며, 이는 최적화가 덜 제한적인 방향으로도 유효한 접촉 조작을 계획할 수 있기 때문입니다.

CTR 기반 모델 예측 제어(MPC) 통합

CTR은 그 자체로는 하나의 제약 조건 집합이지만, 이를 실질적인 조작 제어기로 사용하려면 MPC(모델 예측 제어) 프레임워크 내에 통합해야 합니다. 본 섹션에서는 CTR이 어떻게 MPC에 통합되고, 접촉-풍부한 조작을 실시간으로 실행 가능한 최적화 문제로 변환하는지를 설명합니다.

1. 접촉 암시적(contact-implicit) MPC

CTR 논문에서는 접촉-암시적(contact-implicit) MPC 문제를 구성합니다. 즉, 접촉 모드 전이를 미리 명시하지 않고, 접촉 여부 및 접촉력의 발생을 최적화 과정에서 자동으로 결정합니다.

각 시점에서 CQDC 기반 선형화를 통해 상태 및 접촉력에 대한 선형 모델을 생성
CTR 제약(접촉 가능성, 마찰 등)을 적용한 SOCP 문제를 구성
일정 시간 지평(horizon) 내에서 최적화한 후, 첫 번째 제어 입력만 적용하고 다시 반복 (Receding Horizon Planning)

CTR의 구조 덕분에 이 MPC 문제는 전 구간에서 볼록 최적화(SOCP)로 유지됩니다.

2. 반복 최적화 및 피드백

CTR-MPC는 일반적인 MPC와 마찬가지로 매 타임스텝마다 새로운 상태를 관측하고, 선형화를 새로 수행한 후 최적화합니다. 이러한 반복 피드백 구조는 다음과 같은 이점을 제공합니다:

모델링 오류나 외란에 대한 강건성 확보
접촉 변화나 미세한 환경 조건 변화에 대한 실시간 적응

3. 모드 전이 없이 접촉 처리

CTR-MPC는 접촉 모드 전이(mode scheduling)를 명시적으로 기술할 필요가 없습니다. 다음의 수식 조건을 통해 접촉의 생성과 소멸을 자연스럽게 포함합니다:

${+,i} K_i^*$ 조건은 ${+,i} = 0$ (접촉 없음)도 허용
$i + + _i K_i$는 물체와 손가락이 떨어져 있을 때도 비침투 조건을 만족하도록 허용

이러한 설계는 접촉 모드를 명시적으로 분기시키는 기존 방법들보다 훨씬 유연하고 계산 효율적입니다.

4. 계산 효율성

CTR-MPC의 각 최적화는 볼록 문제(SOCP)로 구성되며, 논문에서는 다음과 같은 실험 결과를 보고합니다:

Allegro 핸드로 큐브를 조작하는 작업에서, 온라인 최적화는 수 초 이내에 실행 가능
전체 조작을 위한 조작 동작 그래프(로드맵)를 구축하는 데 10분 미만 소요

이는 일반적인 강화학습 기반 접근보다 훨씬 낮은 계산 자원으로 유사한 성능을 달성할 수 있음을 의미합니다.

5. 예시 작업 및 결과

CTR-MPC는 두 가지 실제 예시에서 검증되었습니다:

양팔 조작 (Bimanual Manipulation): 두 개의 KUKA iiwa 팔로 큰 원통형 물체를 이동시키는 작업. 복잡한 접촉 협응이 필요하지만, CTR-MPC는 시뮬레이션과 실제 로봇 모두에서 성공적으로 수행.
손 안 큐브 회전 (In-Hand Manipulation): Allegro 핸드로 큐브를 다양한 방향으로 회전시키는 작업. Relaxed CTR (R-CTR)을 사용한 경우가 가장 높은 성능을 보였으며, 로드맵 기반 전략으로 장거리 목표 회전도 달성 가능했음.

6. 전역 계획과의 통합

CTR-MPC는 본질적으로 로컬 최적화 기반이므로, 전체 상태 공간에서의 경로 계획은 어려울 수 있습니다. 이를 보완하기 위해 논문에서는 전역 로드맵 기반 계획(global roadmap planning)을 제안합니다:

큐브의 다양한 안정된 포즈를 노드로 구성
CTR-MPC를 이용해 이들 노드 간 단거리 조작 궤적(edge)를 생성
전체 그래프를 탐색하여 멀리 떨어진 목표도 순차적 조작으로 도달 가능

이 방식은 전통적인 샘플링 기반 계획과 유사하지만, MPC 기반 동작 원시(primitive)를 사용하여 접촉-풍부한 경로 생성을 가능케 합니다.

DeXtreme: 강화학습 기반 큐브 회전 제어

DeXtreme(NVIDIA Research, 2022)은 심층 강화학습 기반으로 학습된 정책(policy)을 통해, 저비용 로봇 핸드에서도 정밀한 큐브 회전을 수행한 시스템입니다. 이 접근법은 CTR이 다룬 Allegro 핸드의 조작 문제와 동일한 문제 설정에서, 전혀 다른 방식으로 해결책을 제시합니다.

1. 시뮬레이션 기반 학습

Isaac Gym이라는 GPU 가속 물리 시뮬레이터를 사용해 정책을 학습
무려 10만 개 이상의 병렬 환경을 GPU에서 동시 실행
이로 인해 로봇은 초인적인 속도로 시행착오 학습 가능

2. 정책 구조

정책은 심층 신경망으로 구성되며, 입력은 로봇 상태 및 물체 자세 정보
비전 기반 정책도 학습됨: RGB 카메라 3대를 사용해 물체 자세 추정 후 입력으로 활용
별도의 포즈 추정 신경망을 함께 학습시켜, 시각 정보에서 3D 물체 자세를 복원

3. 도메인 랜덤화(Domain Randomization)

시뮬레이션-현실 간 격차(Sim2Real gap)를 극복하기 위해 물리 속성 및 시각 조건을 광범위하게 랜덤화
- 질량, 마찰계수, 표면 텍스처, 조명 조건, 카메라 위치 등
이로 인해 정책은 넓은 조건 분포에 대해 강건한 행동 전략을 학습함

4. 학습 비용 및 계산 자원

약 32시간 동안 고성능 GPU 서버에서 학습
이 동안 정책은 약 42년치에 해당하는 시뮬레이션 경험을 축적
이는 강화학습의 대표적인 단점인 샘플 비효율성을 보여주는 지표

5. 실행 및 실제 로봇 적용

학습 완료 후, 정책은 고속 실시간 제어 가능 (신경망 전방 연산만 수행)
Allegro 핸드에서 목표 방향으로 큐브를 안정적으로 회전시킴
OpenAI의 Shadow Hand와 달리, 관절 수가 적고 비용도 낮은 Allegro 핸드에서 성공한 점이 인상적임

6. 일반화 및 강건성

도메인 랜덤화를 통해, 하드웨어 손상에도 견디는 강건성 확보
- 예: 엄지 관절이 느슨한 상태에서도 정책이 보상하며 동작 성공
시각 네트워크는 가림(occlusion) 및 모션 블러에도 견딜 수 있도록 학습됨

7. 정책의 한계

DeXtreme은 놀라운 성능을 보여줬지만, CTR 접근과 달리 접촉 물리 법칙을 명시적으로 반영하지는 않음:

마찰 원뿔, 비침투 조건 등은 학습을 통해 암묵적으로 습득
행동은 시뮬레이터의 물리 엔진과 보상 함수 설계를 통해 유도됨
따라서 정책은 왜 해당 동작을 수행하는지 해석하기 어렵고, 제약 조건 위반 여부도 명시적으로 판단하기 어려움

CTR vs DeXtreme: 두 접근 방식의 비교 분석

CTR-MPC와 DeXtreme은 모두 손 안의 큐브 회전과 같은 고난도 접촉 조작을 목표로 하지만, 모델 기반 최적화와 데이터 기반 학습이라는 정반대의 철학을 가지고 접근합니다. 아래는 두 방법론을 주요 관점에서 비교한 내용입니다.

1. 접촉 처리 방식

항목	CTR-MPC	DeXtreme (RL)
접촉 모델링	마찰 원뿔, 비침투 조건 등을 명시적 수식으로 모델링하고 최적화에 통합	시뮬레이션과 보상을 통해 암묵적으로 접촉 전략을 학습
접촉력 추론	접촉력은 최적화 변수로 직접 계산되며, 계획 과정에서 사용됨	신경망 내부에서 암묵적으로 형성됨 (관측 불가)
물리 위반 가능성	수식 제약으로 인해 물리 법칙 위반 불가능	학습된 정책이 물리 제약을 위반할 수 있음 (ex. interpenetration)

2. 샘플 효율성과 계산 자원

항목	CTR-MPC	DeXtreme (RL)
사전 학습 필요성	없음 – 매 실행마다 최적화	필요 – 수십억 스텝의 시뮬레이션 필요
실행 시 계산 비용	중간 – SOCP 최적화 수행	매우 낮음 – 신경망 전방 연산만 수행
샘플 효율성	매우 높음 – 모델 기반 추론	낮음 – 방대한 시행착오 필요

3. 일반화와 적응성

항목	CTR-MPC	DeXtreme (RL)
환경 변화 대응	모델만 수정하면 즉시 대응 가능	사전 학습된 분포 외에는 재학습 필요
목표 변화 적응	즉시 가능 (목표 상태만 바꾸면 됨)	가능하나, 정해진 목표 형식 내에서만 일반화됨
외란 대응성	고 – 재계획 기반	중 – 일부 외란에는 강건하나 계획 능력은 없음

4. 정책 구조와 해석 가능성

항목	CTR-MPC	DeXtreme (RL)
정책 형태	최적화 기반 – 현재 상태에서 계획을 계산	신경망 기반 – 관측 → 행동 매핑
해석 가능성	높음 – 접촉력, 제약 조건 등 확인 가능	낮음 – 블랙박스 정책
제약 조건 추가 용이성	용이 – 수식 삽입만으로 반영 가능	어려움 – 네트워크 재학습 필요

요약

항목	CTR-MPC	DeXtreme (RL)
접촉 처리	명시적, 해석 가능	암묵적, 해석 불가
학습 필요성	없음	큼 (수십억 스텝)
실행 속도	느리지만 정확	매우 빠름
일반화	모델 기반 적응	제한된 목표 내 일반화
확장성 및 유지보수	제약 추가/변경 쉬움	재학습 필요

결론 및 향후 연구 방향

CTR과 DeXtreme은 각각 정확하고 물리적으로 해석 가능한 모델 기반 계획과 빠르고 강건한 데이터 기반 제어라는 상반된 강점을 보여줍니다. 이러한 성격의 차이는 오히려 상호보완적인 통합 가능성을 시사합니다.

1. 하이브리드 전략의 가능성

앞으로의 연구는 다음과 같은 하이브리드 모델을 탐색할 수 있습니다:

CTR으로 생성된 궤적을 imitation learning의 teacher로 활용
- RL의 초기 정책을 빠르게 수렴시킬 수 있음
DeXtreme 정책을 warm-start로 사용하여 CTR 최적화를 가속
- 최적화 초기화를 RL 정책 기반으로 설정해 연산량 감소
접촉 모델의 일부를 학습된 근사 모델로 대체
- 예: 마찰계수 추정, 감쇠 계수 추정 등 실제 환경 파라미터 보정

이처럼 양측의 장점을 조합하는 방식은, 물리 기반 정확성과 학습 기반 유연성을 동시에 확보할 수 있는 유망한 방향입니다.

2. 실시간성 향상

CTR-MPC의 경우, 최적화의 실시간성은 여전히 제한적입니다. 이를 해결하기 위해 다음과 같은 접근이 제안될 수 있습니다:

CTR 기반 정책을 사전 학습해 신경망으로 근사 (Policy Distillation)
CTR 해를 데이터셋으로 수집 후, offline RL이나 trajectory matching으로 정책 학습

이러한 방식은 제약 조건을 만족하는 정책을 빠르게 실행할 수 있게 해줄 뿐 아니라, 정책의 해석 가능성도 부분적으로 유지할 수 있습니다.

3. 보다 복잡한 조작 작업 확장

향후 연구는 다음과 같은 더 복잡한 작업으로의 확장을 목표로 할 수 있습니다:

비정형 물체 조작 (불규칙한 형상, 연성 물체 등)
시각 기반 입력 통합 (CTR과 카메라 인식 결합)
사람과의 협업 조작 (공동 운반, 안전 제약 등 포함)

특히 CTR 기반 접근은 제약 조건 기반의 신뢰성과 안전성을 활용해, 사람과 함께하는 환경에서도 활용 가능성을 보여줍니다.

마무리

“Dexterous Contact-Rich Manipulation via the Contact Trust Region” 논문은 고난도 조작에서 접촉 제약을 어떻게 명시적으로 다루고, 이를 모델 기반 제어 프레임워크에 통합할 수 있는지를 수학적으로 우아하게 풀어낸 작업입니다. 그에 비해 DeXtreme은 대규모 계산 자원을 활용한 전통적인 심층강화학습 방식이지만, 실제 적용성에 있어 매우 강력한 접근임을 보여줍니다.

이 두 흐름은 서로 경쟁적이라기보다, 다음 세대의 조작 시스템에서 병렬적으로 사용될 수 있는 기술 스펙트럼의 양극단으로 이해될 수 있습니다.

앞으로의 연구는, 이들 방법론을 상황에 따라 선택하거나 조합함으로써, 보다 유연하고 안전하며 일반화 가능한 로봇 조작 시스템을 구축하는 데 기여할 수 있을 것입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

왜 이 논문이 중요한가?

로봇 팔은 왜 물건을 쥘 때 항상 손가락 끝만 사용할까? 인간은 손 전체, 팔뚝, 심지어 팔꿈치까지 써서 물건을 굴리고, 밀고, 집는다. 이 차이가 단순히 기계 설계의 문제가 아니라 계산 알고리즘의 문제라는 사실이 이 논문의 출발점이다.

접촉이 풍부한 조작(contact-rich manipulation)은 로봇공학에서 오랫동안 어려운 문제였다. 손가락 하나가 물체에 닿는 순간, 동역학은 갑자기 비연속적으로 바뀐다. 이 불연속성을 다루기 위해 많은 방법들이 제안됐지만, 대부분은 다음 두 가지 중 하나를 선택해왔다.

계산 효율을 포기하고 정확한 접촉 모델을 쓰거나
물리적 정확성을 포기하고 단순한 선형 근사를 쓰거나

MIT CSAIL의 H.J. Terry Suh, Tao Pang, Tong Zhao, Russ Tedrake 팀이 제안한 Contact Trust Region (CTR)은 이 딜레마를 정면으로 돌파한다. 핵심 아이디어는 놀랍도록 간단하다: “Taylor 근사를 신뢰할 수 있는 영역이 어디인지를 접촉의 물리적 본질에 맞게 정의하자.”

결과는 인상적이다. Allegro Hand로 큐브를 in-hand 재배향하는 로드맵을, 병렬화 없이 일반 노트북 CPU에서 10분 이내에 구축하고, 온라인 추론은 불과 몇 초 만에 끝난다. 이것은 기존 RL 기반 방법들이 수백 GPU-시간을 쏟아붓는 것과 극명히 대비된다.

문제 정의: 접촉 동역학의 국소 근사 문제

접촉의 비연속성과 Taylor 근사의 함정

로봇 제어에서 반복적(iterative) 최적화 알고리즘의 핵심에는 항상 같은 질문이 있다.

“현재 상태 근방에서 동역학을 어떻게 근사할 것인가?”

매끄러운 시스템이라면 Taylor 1차 전개로 충분하다. 문제는 접촉 동역학이 본질적으로 비매끄럽다(non-smooth)는 것이다. 물체가 표면에 닿는 순간, 또는 떨어지는 순간, 동역학은 불연속적으로 바뀐다.

이에 대한 기존의 두 가지 접근법을 정리하면:

방법	대표 연구	핵심 아이디어	한계
접촉-암시적 궤적 최적화 (CITO)	Posa et al. 2014, Ding et al. 2019	상보성 제약(complementarity) 직접 인코딩	지수적으로 폭발하는 접촉 모드 수
미분가능 시뮬레이터 기반	Pang et al. 2023, Howell et al. 2023	smoothed dynamics의 Taylor 전개	Taylor 근사의 신뢰 영역 미정의
RL (샘플링 기반)	OpenAI 2019, Chen 2022	수백만 rollout으로 정책 학습	막대한 계산 자원 필요

저자들이 발견한 핵심 통찰: 미분가능 시뮬레이터의 Taylor 전개와 CITO의 상보성 조건은 사실 같은 것이다. 둘 다 Implicit Function Theorem을 통해 연결된다. 그런데 Taylor 근사를 사용할 때, 사람들은 암묵적으로 타원형 신뢰 영역(Ellipsoidal Trust Region, ETR)을 가정해왔다.

ETR (Ellipsoidal Trust Region):
  || Sigma^{-1/2} * [delta_q; delta_u] ||_2 <= 1

Symmetric -> allows "pulling" as much as "pushing"
Contact is UNILATERAL -> pulling is physically impossible!

핵심 문제: ETR은 접촉의 단방향성과 모순된다

구형 로봇이 박스를 밀고 있는 상황을 상상해보자. ETR은 대칭적이므로, “앞으로 미는 것”과 “뒤로 당기는 것”을 동등하게 국소적으로 유효한 행동으로 취급한다. 하지만 접촉력은 단방향(unilateral)이다 — 로봇은 박스를 밀 수 있지만, 당길 수는 없다.

이것이 ETR의 근본적 오류다. 물리적으로 불가능한 행동을 국소 모델이 허용한다는 것은, 계획기가 엉뚱한 방향으로 최적화될 수 있다는 뜻이다.

방법론: Contact Trust Region (CTR)

기반 모델: CQDC (Convex Quasidynamic Differentiable Contact)

CTR은 Pang et al. (2023)의 CQDC 모델 위에서 구축된다. CQDC는 접촉 시뮬레이션을 볼록 최적화 문제로 프레이밍하며, 이 덕분에 KKT 조건을 통한 감도 분석(sensitivity analysis)이 가능하다.

시스템 구성을 간략히 정리하면:

상태: q = (q^a, q^o) — 로봇(actuated) + 물체(unactuated) configuration
입력: u \in \mathbb{R}^{n_{q_a}} — 강성 컨트롤러로의 위치 명령
접촉력: \lambda_i = (\lambda_{n_i}, \lambda_{t_i}) — 법선 + 마찰 성분

운동 방정식은 다음 force balance 형태:

\mathbf{P}(q) q_+ + b(q,u) - \sum_{i=1}^{n_c} \mathbf{J}_i(q)^\top \lambda_i = 0

여기서 \mathbf{P}는 강성/질량 행렬, b는 중력 등을 포함한 외력 벡터다.

접촉 제약은 두 가지:

법선 속도-힘 조건 (Signorini): 물체 표면이 맞닿을 때만 법선력이 생기며, 서로 침투하지 않는다.
마찰 원뿔 (Coulomb friction): 접촉력이 마찰 원뿔 \mathcal{K}_i^\star 내에 존재해야 한다.

\lambda_i \in \mathcal{K}_i^\star = \{(\lambda_{n_i}, \lambda_{t_i}) \mid \|\lambda_{t_i}\| \leq \mu_i \lambda_{n_i},\ \lambda_{n_i} \geq 0\}

CQDC는 이를 하나의 볼록 프로그램으로 통합한다:

q_+ = \arg\min_{q_+} \left[ \frac{1}{2} q_+^\top \mathbf{P}(q) q_+ + b(q,u)^\top q_+ \right]

\text{subject to contact constraints at each contact pair } i

이 볼록 구조가 CTR의 핵심 재료가 된다.

Smoothing: 불연속성을 부드럽게 만들기

순수한 접촉 동역학은 비연속적이다 — 물체가 닿는 순간 동역학이 불연속으로 바뀐다. 이를 다루기 위해 CQDC는 barrier smoothing을 사용한다. 파라미터 \kappa로 내부점 완화(interior-point relaxation)를 수행하면, 멀리서도 작은 접촉력이 생기는 “힘이 거리에서 나오는” 동역학 f_{(\kappa)}가 만들어진다.

\kappa \to 0일 때 원래 비연속 동역학으로 수렴하고, \kappa가 클수록 더 매끄러운 근사가 된다. 이 smoothing이 바로 RL이 contact-rich 문제에서 성공할 수 있는 핵심 이유라는 것을 Suh et al. (2022)이 분석했다.

Sensitivity Analysis: Primal과 Dual 모두에서 기울기 추출

Taylor 근사를 위해 기존 연구들은 주로 상태(configuration, primal variable)에 대한 기울기만 사용했다.

\hat{q}_+ = f_{(\kappa)}(\bar{q}, \bar{u}) + \mathbf{A}_{(\kappa)} \delta q + \mathbf{B}_{(\kappa)} \delta u

여기서 \mathbf{A}_{(\kappa)} = \partial f_{(\kappa)}/\partial q, \mathbf{B}_{(\kappa)} = \partial f_{(\kappa)}/\partial u.

CTR의 핵심 혁신은 접촉력(dual variable)에 대해서도 선형 모델을 구축한다는 것이다:

\hat{\lambda}_{(\kappa),i} = \bar{\lambda}_{(\kappa),i} + \mathbf{C}_{(\kappa),i} \delta q + \mathbf{D}_{(\kappa),i} \delta u

여기서 \mathbf{C}_{(\kappa),i} = \partial \lambda_{(\kappa),i}/\partial q, \mathbf{D}_{(\kappa),i} = \partial \lambda_{(\kappa),i}/\partial u.

이 dual gradient는 CQDC의 볼록 최적화 구조 덕분에 자연스럽게 KKT 조건의 감도 분석으로 유도된다. 많은 미분가능 시뮬레이터들이 이미 이 정보를 갖고 있지만, 활용하지 않고 있었던 것이다.

CTR 정의: 접촉의 물리적 제약을 신뢰 영역에 통합하기

이제 핵심이다. CTR은 다음과 같이 정의된다:

Definition 1 (Contact Trust Region, CTR)

\mathcal{S}_{\mathbf{\Sigma}, \kappa} = \mathcal{E}_\mathbf{\Sigma} \cap \left\{ (\delta q, \delta u) \mid \hat{\lambda}_{(\kappa),i}(\delta q, \delta u) \in \mathcal{K}_i^\star,\ \forall i \right\}

즉, CTR = ETR (크기 제한) + 추정된 접촉력이 마찰 원뿔 안에 있어야 한다는 조건.

이 정의를 직관적으로 이해해보자.

기존 ETR의 세계:
  "현재 상태에서 반경 r 이내의 어떤 방향으로든 움직여도 된다"
  (밀기도 되고, 당기기도 된다고 암묵적으로 허용)

CTR의 세계:
  "현재 상태에서 반경 r 이내 + 그 움직임이 만들어내는 접촉력이
   물리적으로 가능한 범위 안에 있어야 한다"
  (마찰 원뿔 밖의 힘이 필요한 움직임은 이미 물리적으로 불가능)

CTR이 완전한 접촉 동역학 제약과 국소적으로 동치임을 증명

논문의 수학적 핵심 기여 중 하나는 다음 Lemma다:

Lemma 2: 충분히 작은 신뢰 영역 반경에서, CTR은 smoothed 접촉 동역학의 완전한 제약 집합과 국소적으로 동치다.

이것이 왜 중요한가? CITO 방법들은 상보성 조건(complementarity constraints)을 직접 다루어야 해서 계산이 어렵다. CTR은 이 복잡한 상보성 조건을 볼록 집합(convex set, 구체적으로 Second-Order Cone 제약들의 교집합)으로 대체하면서도 국소적 정확성을 유지한다.

\mathcal{S}_{\mathbf{\Sigma}, \kappa} = \mathcal{E}_\mathbf{\Sigma} \cap \bigcap_{i=1}^{n_c} \{ (\delta q, \delta u) \mid \hat{\lambda}_{n_i} \geq 0,\ \|\hat{\lambda}_{t_i}\| \leq \mu_i \hat{\lambda}_{n_i} \}

각 i에 대한 마찰 원뿔 조건 \|\hat{\lambda}_{t_i}\| \leq \mu_i \hat{\lambda}_{n_i}는 Second-Order Cone (SOCP) 제약이다 — 볼록하고, 효율적으로 풀 수 있다.

Action-only CTR과 Motion Set

실제 계획에서는 상태 q보다 제어 입력 u에 제약을 거는 것이 더 자연스럽다. 저자들은 Action-only CTR을 다음과 같이 정의한다:

\mathcal{S}^{\mathcal{A}}_{\mathbf{\Sigma}, \kappa} = \{ \delta u \mid \exists \delta q : (\delta q, \delta u) \in \mathcal{S}_{\mathbf{\Sigma}, \kappa} \}

즉, 어떤 상태 변화가 존재하여 CTR 조건을 만족시킬 수 있는 제어 입력의 집합이다.

더 나아가 Motion Set \mathcal{M}^{(\mathcal{A})}_{\mathbf{\Sigma}, \kappa}는 CTR 내의 모든 가능한 다음 상태를 나타낸다. 이는 고전적인 Wrench Set 개념과 직접 연결된다:

\mathcal{W}^{\mathcal{A}}_{\mathbf{\Sigma}, \kappa} = \left\{ \sum_{i=1}^{n_c} \mathbf{J}_{o_i}^\top \lambda \mid \lambda \in \mathcal{C}^{\mathcal{A}}_{\mathbf{\Sigma}, \kappa, i} \right\}

이것은 그냥 수식적 호기심이 아니다. CTR이 고전 로봇공학의 Wrench Set, 마찰 원뿔 분석과 자연스럽게 연결됨을 보여주며, 새로운 개념이 고전 이론의 확장임을 시사한다.

Relaxed CTR (R-CTR): 실용성을 위한 완화

CTR은 이론적으로 완벽하지만, 실제 MPC에서는 한 가지 문제가 있다: CTR이 너무 작을 경우, 최적화 문제가 실행 불가능(infeasible)해질 수 있다.

이를 해결하기 위해 Relaxed CTR (R-CTR)을 도입한다:

\tilde{\mathcal{S}}_{\mathbf{\Sigma}, \kappa} = \mathcal{E}_\mathbf{\Sigma} \cap \left\{ (\delta q, \delta u) \mid \hat{\lambda}_{n_i} + s_i \geq 0,\ \|\hat{\lambda}_{t_i}\| \leq \mu_i (\hat{\lambda}_{n_i} + s_i),\ s_i \geq 0 \right\}

슬랙 변수 s_i를 도입하여, 마찰 원뿔 조건을 부드럽게 완화한다. 이 슬랙 변수에는 비용 함수에서 penalty가 부과된다. 이로써 항상 실행 가능한(always feasible) MPC를 보장한다.

시스템 아키텍처: CTR 기반 MPC와 글로벌 플래너

CTR을 구축한 후, 저자들은 세 단계의 계획 체계를 제안한다.

flowchart TB
    subgraph LOCAL["Local Planning (CTR-MPC)"]
        A[Current State q, u] --> B[CQDC Simulator]
        B --> C[Sensitivity Analysis]
        C --> D[A, B, C, D matrices]
        D --> E[CTR Construction]
        E --> F[SOCP Trajectory Optimization]
        F --> G[Optimal Local Plan]
    end

    subgraph GLOBAL["Global Planning (Roadmap)"]
        H[Goal Configurations] --> I[Node Generation]
        I --> J[Contact Config Search]
        J --> K[CTR-MPC Edge Connection]
        K --> L[Roadmap Graph]
    end

    subgraph INFERENCE["Online Inference"]
        L --> M[Find Nearest Node]
        M --> N[Graph Search]
        N --> O[Execute MPC Policy]
    end

    G --> K
    O --> A

Figure 1: CTR-based manipulation system architecture

Contribution 2: CTR-MPC (Local Contact-Implicit MPC)

CTR 기반 궤적 최적화 알고리즘 CtrTrajOpt는 다음 문제를 반복적으로 푼다:

Algorithm 1: CtrTrajOpt

Input: q_0, u_0, goal q_goal, horizon T, max_iter n_max

Repeat n_max times:
  For t = 0 to T-1:
    Compute A_(k),t, B_(k),t from CQDC sensitivity analysis
    Compute C_(k),t, D_(k),t (dual gradients for contact forces)
    Build R-CTR constraints: S_tilde_{Sigma, k}

  Solve SOCP:
    min  sum_t || q_t - q_goal ||^2_Q + || delta_u_t ||^2_R
    s.t. q_{t+1} = A_(k),t * q_t + B_(k),t * delta_u_t  (linear dynamics)
         (delta_q_t, delta_u_t) in S_tilde_{Sigma, k}    (R-CTR)
         joint limits, torque limits

  Update nominal trajectory
Until convergence

Output: Optimal trajectory {q_t, u_t}

이 알고리즘의 각 반복이 SOCP(Second-Order Cone Program)이므로, 효율적인 볼록 솔버(e.g., ECOS, Mosek)로 해결된다. iLQR의 자연스러운 확장으로 볼 수 있으며, “CTR이 추가된 contact-aware iLQR”이라 이해할 수 있다.

MPC 적용: CtrTrajOpt를 온라인에서 반복적으로 실행하여 MPC를 구성한다.

Algorithm 2: CTR-MPC

Input: current state q, goal q_goal, rollout horizon H

1. Run CtrTrajOpt with horizon T from q to q_goal
2. Execute first H steps of computed trajectory
3. Re-plan from new state
4. Repeat until goal reached or timeout

초기 추정 휴리스틱: CtrTrajOpt는 초기 궤적 추정이 필요하다. 저자들은 간단하지만 효과적인 방법을 제안한다: 직선 보간. 이 단순한 초기 추정이 실제로 잘 작동하는 이유는, CTR이 물리적으로 의미있는 영역만 탐색하도록 제약하기 때문이다.

Contribution 3: 글로벌 플래너 — 로드맵

로컬 MPC는 가까운 목표에 탁월하지만, 멀리 떨어진 목표(예: 큐브를 90도 이상 회전)에는 한계가 있다. 이를 극복하기 위한 로드맵 기반 글로벌 플래너를 제안한다.

로드맵 구축 과정:

flowchart LR
    A[Sample Stable Object\nConfigurations] --> B[Generate Goal-conditioned\nContact Configurations]
    B --> C[CTR Value Function\nEvaluation]
    C --> D[Select Best\nContact Config]
    D --> E[Run CTR-MPC\nto Connect Nodes]
    E --> F{Connection\nSuccessful?}
    F -- Yes --> G[Add Edge to Roadmap]
    F -- No --> H[Discard]
    G --> I[Complete Roadmap]

    I --> J[Online Query]
    J --> K[Find Nearest Node]
    K --> L[Graph Search\nfor Path]
    L --> M[Execute Edge\nMPC Policies]

Figure 2: Roadmap construction and inference pipeline

핵심: Goal-conditioned Contact Configuration 탐색 (Section 7)

두 노드를 CTR-MPC로 연결하려면, 로봇이 어떤 초기 자세(contact configuration)를 취해야 하는지가 매우 중요하다. 나쁜 초기 자세에서는 MPC가 목표에 도달하지 못한다.

저자들은 이를 다음 최적화 문제로 정의한다:

q^a_{\text{init}} = \arg\min_{q^a} \underbrace{V_H(q; q_{\text{goal}})}_{\text{MPC value function}} + \underbrace{\rho \cdot R(q)}_{\text{robustness regularizer}}

MPC Value Function V_H: 현재 상태에서 MPC를 H step 실행했을 때 목표까지의 예측 비용. 이를 CTR의 Motion Set를 이용해 효율적으로 근사한다.
Robustness Regularizer R(q): 현재 contact configuration이 목표 방향 조작에 얼마나 적합한지 — CTR의 Motion Set이 목표 방향을 포함하는 정도를 측정.

이 최적화는 샘플링 기반으로 풀리며, CTR의 Motion Set을 활용한 빠른 평가 덕분에 효율적이다.

실험: 두 시스템에서의 검증

저자들은 두 가지 대표적인 contact-rich 시스템에서 방법론을 검증한다.

실험 시스템

Figure 1 참조: 논문의 하드웨어 실험 결과를 보여주는 배너 이미지로, 왼쪽은 Allegro Hand의 in-hand 큐브 재배향, 오른쪽은 iiwaBimanual의 버킷 조작 장면이다.

시스템	DOF (actuated)	DOF (unactuated)	충돌 기하 수	태스크
IiwaBimanual (평면)	6	3	29 (구 14개/arm + 실린더)	SE(2) 버킷 조작
AllegroHand (3D)	16	6	39	6cm 큐브 재배향

AllegroHand 시스템은 Wonik Robotics의 Allegro Hand V4로, 손목이 월드 프레임에 고정되고 큐브는 자유롭게 움직인다. 6D pose 재배향이 목표다.

실험 1: 로컬 MPC 성능 (Section 5)

신뢰 영역 반경 r과 Rollout 호라이즌 H의 영향

r이 너무 작으면: 한 번에 움직일 수 있는 거리가 제한됨 → 느리지만 안정적
r이 너무 크면: Taylor 근사의 유효 범위 초과 → 불안정

저자들은 “유효 시야(Effective Lookahead)” 개념 r \cdot H를 제안한다. 신뢰 영역 반경 r과 호라이즌 H를 함께 고려해야 실제 성능을 예측할 수 있다.

목표 도달 성능 (quasidynamic 시뮬레이션): - AllegroHand: 다양한 목표 각도에 대해 높은 도달률 - IiwaBimanual: 평면 조작에서 강건한 성능

계산 시간: 각 MPC 반복이 SOCP이므로, 표준 CPU에서 수십 ms 수준 — 실시간 제어에 충분히 빠르다.

실험 2: 2차 동역학 하에서의 안정화 (Section 6)

중요한 현실적 도전: 로컬 MPC는 quasidynamic 가정(고감쇠) 하에서 계획된다. 하지만 실제 하드웨어는 2차 동역학(second-order dynamics)을 따른다 — 관성, 진동, 오버슈트가 있다.

저자들은 이를 다루기 위한 휴리스틱을 제안하고, closed-loop MPC가 open-loop보다 훨씬 강건함을 보인다.

CTR vs. ETR 비교:

방법	성공률 (AllegroHand)	성공률 (IiwaBimanual)	비고
R-CTR (제안)	가장 높음	가장 높음	물리 제약 반영
CTR (완화 없음)	중간	중간	실행 불가능성 문제
ETR	낮음	낮음	마찰 원뿔 무시

R-CTR이 ETR보다 명확하게 우수하다는 것이 핵심 ablation 결과다. 마찰 원뿔 정보를 신뢰 영역에 통합하는 것이 실질적 도움이 됨을 보인다.

하드웨어 실험: IiwaBimanual과 AllegroHand 모두에서 하드웨어 검증 수행. 특히 100회의 하드웨어 rollout으로 통계적 검증.

실험 3: 글로벌 플래닝 성능 (Section 8)

Allegro Hand 로드맵: - 오프라인 로드맵 구축: 10분 미만, 노트북 CPU 단일 코어 - 온라인 추론: 수 초 - 하드웨어 연속 성능: 150회 연속 엣지 순회 (과열로 종료)

이것을 기존 방법과 비교하면 격차가 현저하다:

xychart-beta
    title "Computation Cost Comparison (approximate)"
    x-axis ["OpenAI Dactyl (RL)", "DextrAH (RL)", "MPPI (sampling)", "CTR (ours)"]
    y-axis "GPU Hours" 0 --> 10000
    bar [6000, 4000, 500, 0.01]

Figure 3: Computation cost comparison

참고: 위 차트의 수치는 개략적 비교를 위한 추정값으로, 논문의 직접적 수치가 아님.

CTR 방법은 GPU 없이 CPU만으로 분 단위 계산이며, 이는 실용적 배포 가능성 측면에서 획기적이다.

다양한 목표에 대한 성능: 로드맵에 없는 새로운 목표에 대해서도, 가장 가까운 노드를 찾아 연결하는 방식으로 generalization이 가능하다.

이론적 통찰: CTR과 고전 이론의 연결

Wrench Set과의 연결

CTR에서 파생되는 Motion Set은 고전 로봇공학의 Wrench Set과 직접 연결된다. Wrench Set은 현재 접촉 상태에서 로봇이 물체에 가할 수 있는 모든 가능한 일반화 힘의 집합이다.

\mathcal{W}^{\mathcal{A}}_{\mathbf{\Sigma},\kappa} = \text{conv}\left( \bigcup_{u \in \mathcal{S}^{\mathcal{A}}} \text{achievable wrenches at contact } i \right)

이 연결은 CTR이 단순히 새로운 휴리스틱이 아니라, 고전 접촉 역학 이론의 체계적 확장임을 의미한다. Craig (1986), Murray et al. (1994)의 고전적 파악 분석과 수십 년의 gap을 잇는 다리가 된다.

KKT 조건과 Dual Gradient의 의미

CQDC의 볼록 최적화 구조에서, 접촉력 \lambda는 dual variable이다. KKT 조건:

\mathbf{P}(q) q_+ + b(q,u) - \sum_i \mathbf{J}_i^\top \lambda_i = 0 \quad \text{(primal feasibility)} \lambda_i \in \mathcal{K}_i^\star \quad \text{(dual feasibility)} \lambda_i^\top (\mathbf{J}_i q_+ - \phi_i \mathbf{e}_1) = 0 \quad \text{(complementarity)}

Sensitivity analysis (Implicit Function Theorem)를 이 KKT 조건에 적용하면, 상태와 접촉력 모두에 대한 기울기를 동시에 얻는다. 기존 연구들이 primal gradient만 활용했다면, CTR은 dual gradient까지 완전히 활용한다.

비판적 고찰

강점

1. 이론적 일관성

ETR의 근본적 불일치를 명확히 지적하고, 물리 원리에 기반한 대안을 제시한다. 단순한 엔지니어링 트릭이 아닌, 볼록 최적화 이론에서 출발한 수학적으로 엄밀한 접근이다.

2. 계산 효율

병렬화 없이 노트북 CPU에서 분 단위 계획이 가능하다는 것은 실용적 배포 가능성 측면에서 혁신적이다. RL 기반 방법들이 수천 GPU-시간을 요구하는 것과 비교할 때, 소규모 연구팀이나 산업 현장에서 직접 활용 가능하다.

3. 고전 이론과의 연결

Wrench Set, 마찰 원뿔 분석 등 수십 년간 축적된 고전 접촉 역학 이론과 현대 미분가능 시뮬레이터를 자연스럽게 연결한다. 이론적 아름다움이 있다.

4. 강건한 실험 검증

2000회 시뮬레이션 rollout과 100회 이상의 하드웨어 실험은 통계적으로 의미있는 검증이다. Ablation study (R-CTR vs. CTR vs. ETR)가 체계적으로 수행됐다.

5. 실용적 설계

R-CTR의 도입으로 항상 실행 가능한 MPC를 보장하고, 초기 추정 휴리스틱으로 실제 구현의 실용성을 높였다.

약점과 한계

1. Quasidynamic 가정의 제약

방법론의 핵심 모델인 CQDC는 시스템이 고감쇠(heavily damped) 동역학을 따른다고 가정한다. 이는 빠른 동작이나 탄성 충돌이 포함된 조작에는 적용하기 어렵다. Section 6에서 2차 동역학 안정화를 시도하지만, 이는 완전한 해결책이 아닌 휴리스틱 브릿지다.

2. 접촉 기하 미리 정의 필요

CTR은 현재 접촉 쌍 \mathcal{I}_c가 알려져 있다고 가정한다. 즉, 어디서 접촉이 일어날지를 알아야 한다. 실제 환경에서는 충돌 감지 알고리즘이 이를 제공하지만, 새로운 접촉 모드로의 전환(mode switching)은 여전히 도전적이다.

3. 로드맵의 오프라인 의존성

글로벌 플래너는 오프라인 로드맵 구축에 의존한다. “10분”이라는 시간은 기존 RL에 비해 획기적으로 빠르지만, 환경이 변하거나 새로운 물체가 등장할 때마다 로드맵을 다시 구축해야 한다. 온라인 적응성이 제한적이다.

4. 지역 최솟값 문제

SOCP 기반 궤적 최적화는 볼록 문제지만, 전체 MPC는 비선형이다 (매 반복마다 선형화되므로). 복잡한 접촉 모드가 필요한 경우, 지역 최솟값에 갇힐 수 있다. 이를 일부 완화하기 위해 로드맵을 활용하지만, 완전한 글로벌 최적성은 보장되지 않는다.

5. 확장성의 물음표

16 DOF Allegro Hand와 6 DOF 물체(39 충돌 기하)까지 성공적으로 확장했지만, 이보다 복잡한 시스템(예: 두 손으로 협력 조작, 수십 개의 능동 접촉)에 대한 확장성은 아직 미검증이다.

6. 퍼셉션과의 통합 부재

현재 방법은 완전한 상태 관측(full state observation)을 가정한다. 실제 배포를 위해서는 카메라, 촉각 센서 등을 통한 상태 추정이 필요하며, 관측 노이즈와 부분 관측 문제가 추가된다.

방법	신뢰 영역	접촉력 활용	마찰 원뿔 통합	계산 비용
Suh et al. 2022 (bundled gradients)	ETR (implicit)	Primal only	No	중간
Pang et al. 2023 (CQDC)	ETR	Primal only	No	중간
Howell et al. 2023 (MJPC)	ETR	Primal only	No	낮음
CTR (this work)	CTR	Primal + Dual	Yes	매우 낮음

요약 및 결론

이 논문이 해결하고자 한 질문을 다시 떠올려보자.

“접촉이 풍부한 조작을 위한 좋은 국소 접촉 역학 설명이란 무엇이며, 어디서 이 설명을 신뢰할 수 있는가?”

답은 CTR이다. CTR은 세 가지를 동시에 달성한다:

물리적 일관성: 접촉의 단방향성과 마찰 원뿔을 신뢰 영역에 직접 통합
계산 효율: SOCP로 표현되어 효율적으로 풀 수 있는 볼록 집합
이론적 우아함: 고전 Wrench Set과 현대 미분가능 시뮬레이터를 잇는 교량

세 가지 기여의 최종 결과는 인상적이다: Allegro Hand의 3D 큐브 재배향 로드맵을, GPU 없이 노트북에서 10분 만에 구축하고, 하드웨어에서 150회 연속으로 실행한다.

이 논문이 로봇공학 커뮤니티에 주는 함의

단기적 시사점: - 기존의 contact-implicit 궤적 최적화 파이프라인에 CTR을 플러그인으로 추가할 수 있다. Dual gradient는 대부분의 현대 미분가능 시뮬레이터에서 이미 계산 가능하다. - ETR을 사용하는 기존 contact-rich MPC 구현에서 R-CTR로 교체하면 즉시 성능 향상이 기대된다.

중기적 시사점: - 촉각 센서와 결합 시, 실시간 접촉 상태 추정 → CTR 업데이트 → 반응적 조작의 파이프라인이 가능해진다. - IL/RL과의 시너지: CTR 로드맵으로 생성된 고품질 시연 데이터를 활용한 효율적 학습.

장기적 시사점: - 인간이 신체 전체를 사용하는 방식처럼, 로봇이 팔 전체와 손바닥, 손가락 전체를 능동적으로 활용하는 whole-body contact-rich manipulation의 실현 가능성을 높인다. - Humanoid 로봇의 loco-manipulation에서, 발과 손을 동시에 사용하는 전신 접촉 계획에 이 프레임워크가 확장될 수 있다.

결국 이 논문이 보여주는 것은, 문제의 물리적 구조를 깊이 이해하고 활용하면 막대한 계산 자원 없이도 놀라운 결과를 얻을 수 있다는 사실이다. 강화학습이 규모의 힘으로 접촉 문제를 해결하려 할 때, CTR은 이해의 힘으로 같은 문제에 접근한다. 두 철학은 경쟁자가 아니라, 서로를 보완하는 동반자다.

참고 자료

논문: Suh, H.J.T., Pang, T., Zhao, T., Tedrake, R. “Dexterous Contact-Rich Manipulation via the Contact Trust Region.” International Journal of Robotics Research (IJRR), 2025. arXiv:2505.02291
프로젝트 페이지: ctr.theaiinstitute.com
선행 연구: Pang et al. “Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models.” IEEE T-RO, 2023. (King-Sun Fu Memorial Best Paper Award Honorable Mention)
기반 모델: Pang, T., Tedrake, R. “A Convex Quasidynamic Differentiable Contact Simulator.” 2021.