📃Contact Trust Region 리뷰

Dexterous Contact-Rich Manipulation via the Contact Trust Region

• Paper Link
• Project Link
• Code Link

1. ✨ 접촉이 풍부한 로봇 조작에는 신뢰할 수 있는 국소 접촉 동역학 묘사가 중요하며, 본 논문은 접촉의 단측성을 포착하는 컨택트 트러스트 리전(CTR)을 제안합니다.
2. 🤖 CTR을 활용하여 국소 접촉 조작 계획 및 안정화에 효율적인 모델 예측 제어(MPC) 알고리즘을 개발하고, 시뮬레이션 및 하드웨어 실험으로 성능을 입증했습니다.
3. 🗺️ MPC 기반의 국소 계획을 연결하는 로드맵 방식을 통해 장거리 덱스터러스 조작을 위한 전역 계획이 가능하며, 기존 방법보다 계산 시간을 크게 단축했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문 “Dexterous Contact-Rich Manipulation via the Contact Trust Region”은 로봇의 능숙하고 접촉이 많은 조작(dexterous contact-rich manipulation)을 위한 효율적인 지역적 동역학 모델과 그 신뢰 영역(trust region)을 정의하는 문제를 다룬다. 기존의 많은 접근 방식은 동역학의 Taylor 근사와 타원형 trust region에 의존하지만, 본 논문은 이러한 방식이 접촉의 비대칭성(unilateral nature)과 근본적으로 일관되지 않다고 주장한다.

이러한 문제점을 해결하기 위해, 본 논문은 접촉의 비대칭성을 포착하면서도 계산 효율성을 유지하는 Contact Trust Region(CTR)을 제안한다. CTR을 기반으로, 먼저 지역적인 접촉이 많은 계획을 합성할 수 있는 Model-Predictive Control(MPC) 알고리즘을 개발한다. 그 후, 이 기능을 확장하여 지역 MPC 계획들을 연결함으로써 전역적으로 계획하고 효율적이며 능숙한 접촉이 많은 조작을 가능하게 한다.

본 논문의 주요 기여는 세 가지이다. 첫째, 접촉 역학을 효율적으로 근사하는 Contact Trust Region(CTR)이다. 둘째, 지역적인 접촉이 많은 조작에 특화된 매우 효율적인 기울기 기반 MPC 컨트롤러이다. 셋째, 지역 궤적들을 연결하는 전역 플래너이다.

핵심 방법론: Contact Trust Region (CTR)

본 논문은 접촉 동역학을 Convex Quasidynamic Differentiable Contact(CQDC) 모델로 표현한다. 이는 접촉 시뮬레이션을 다음 형태의 Second-Order Cone Program(SOCP)으로 정식화한다: \begin{aligned} \min_{q_+} & \quad \frac{1}{2} q_+^\top P(q)q_+ + b(q, u)^\top q_+, \\ \text{subject to} & \quad J_i(q)q_+ + c_i(q) \in K_i, \quad \forall i \in I_c. \end{aligned} 여기서 q는 시스템 설정(configuration), u는 로봇의 제어 입력(actuated configuration command), P, b, J_i, c_i는 q, u에 의존하는 행렬/벡터, I_c는 접촉 쌍 인덱스 집합, K_i는 가능한 속도(velocity)의 feasible cone이다. 이 SOCP의 KKT 조건은 준동적(quasi-dynamic) 운동 방정식, 비관통(non-penetration), 마찰 원뿔(friction cone), 상보성(complementarity) 제약을 만족한다.

이 모델의 직접적인 미분은 접촉 모드 전환으로 인해 기울기가 불연속적이다. 이를 완화하기 위해 본 논문은 로그 배리어(log-barrier) 스무딩을 적용한 완화된 동역학 f_\kappa(q,u)를 사용한다. 이 완화된 동역학은 스무딩 파라미터 \kappa에 의존하며, 접촉이 없는 객체 사이에도 힘을 발생시킨다. 스무딩된 동역학의 기울기는 민감도 분석(sensitivity analysis)을 통해 얻을 수 있다.

본 논문은 smoothed dynamics의 Taylor 근사를 사용하여 다음 상태 \hat{q}_+와 접촉력 \hat{\lambda}_{+,i}에 대한 선형 모델을 구축한다: \begin{aligned} \hat{q}_+ &= A_\kappa \delta q + B_\kappa \delta u + f_\kappa(\bar{q}, \bar{u}), \\ \hat{\lambda}_{+,i} &= C_{\kappa,i} \delta q + D_{\kappa,i} \delta u + \lambda_{\kappa,i}(\bar{q}, \bar{u}). \end{aligned} 여기서 (\bar{q}, \bar{u})는 현재 nominal point이고 (\delta q, \delta u)는 perturbation이다.

Ellipsoidal Trust Region (ETR)은 (\delta q, \delta u)에 대해 \delta z^\top \Sigma \delta z \leq 1 형태의 제약을 가한다. 그러나 이는 접촉의 비대칭성을 포착하지 못한다.

Contact Trust Region (CTR)은 ETR 제약에 더하여, 위 선형 모델로 예측된 다음 상태 \hat{q}_+와 접촉력 \hat{\lambda}_{+,i}가 원래 비완화된 SOCP 동역학의 primal 및 dual feasibility constraint를 만족해야 한다는 제약을 추가한다: \begin{aligned} J_i \hat{q}_+ + c_i &\in K_i, \\ \hat{\lambda}_{+,i} &\in K_i^*. \end{aligned} 이러한 제약은 선형화된 변수에 대해 부과되므로, CTR은 여전히 볼록 집합(convex set)이다 (구체적으로, 여러 개의 second-order cone constraints의 교집합). Example 1과 2를 통해, primal feasibility 제약(J_i \hat{q}_+ + c_i \in K_i)이 때때로 실제 도달 가능한 영역보다 trust region을 지나치게 보수적으로 제한함을 보여준다.

따라서 본 논문은 primal feasibility 제약을 완화한 Relaxed Contact Trust Region (R-CTR)을 제안한다. R-CTR은 ETR 제약과 dual feasibility 제약(\hat{\lambda}_{+,i} \in K_i^*)만을 포함한다. Example 3은 R-CTR을 사용한 Motion Set(선형화된 primal solution map에 의한 RA-CTR의 이미지)이 객체 움직임의 지역적 도달 가능성을 더 잘 포착함을 보여준다. 또한, RA-CTR과 그에 따른 Wrench Set, Motion Set 개념은 고전적인 접촉 역학 개념과 연결될 수 있음을 이론적으로 보인다 (Lemma 2).

지역 계획 및 제어 (Local Planning and Control)

제안된 R-CTR은 지역 궤적 최적화(trajectory optimization) 및 MPC에 활용된다. Algorithm 1은 R-CTR 제약을 포함하는 SOCP subproblem을 반복적으로 해결하여 nominal trajectory를 개선하는 방식이다. 이 방법은 smoothed dynamics의 선형 근사를 사용하지만, R-CTR을 통해 지역적으로 유효한 영역 내에서 계획이 이루어지도록 한다. 특히, 접촉이 없는 초기 상태에서 시작할 경우, 로봇이 객체에 접촉하도록 유도하는 초기 추측 휴리스틱을 적용하여 계획의 효율성을 높인다. Example 4와 5는 이 방법이 접촉 모드 전환을 탐색하고 계획에 유리한 방향으로 나아가는 과정을 보여준다.

Algorithm 2는 Algorithm 1을 MPC 프레임워크에 적용한 것이다. 현재 상태에서 미래 상태까지의 궤적을 계획하고, 계획된 첫 번째 제어 입력을 실제 시스템에 적용한 후, 다음 상태를 관찰하여 다시 계획을 수행한다 (re-planning).

실험 결과 (Experiments)

본 논문은 IiwaBimanual (planar, 29 collision geometries) 및 AllegroHand (3D in-hand, 39 collision geometries) 두 가지 접촉이 많은 로봇 시스템에서 제안된 방법론을 포괄적으로 평가한다.

1. CQDC 동역학에서의 지역 MPC 성능 (Section 5):
   • R-CTR, CTR, ETR을 사용하는 MPC의 목표 도달 성능(최종 객체 위치/회전 오류) 비교.
   • 생성된 목표는 지역적으로 도달 가능하나 MPC에 도전적인 목표들이다 (Figure 9).
   • 결과(Figure 9, Table 2): R-CTR이 두 시스템 모두에서 평균 오류 및 분산 측면에서 가장 좋은 성능을 보였다. 특히 IiwaBimanual에서 CTR 및 ETR보다 유의미하게 우수했다. AllegroHand에서는 차이가 비교적 작았는데, 이는 시스템 특성상 bilateral contact regime이 더 자주 활성화될 수 있기 때문으로 추측된다.
   • Trust region radius(r)와 MPC rollout horizon(H)에 대한 실험(Figure 10): 적절한 r과 H에서 성능이 최적화되며, 너무 작은 r은 도달 가능성을 제한하고 너무 큰 r은 선형 근사의 부정확성으로 인해 성능 저하를 야기한다.
2. 2차 동역학 하에서의 안정화 성능 (Section 6):
   • CQDC 동역학 모델과 실제 물리(Drake 시뮬레이션 및 하드웨어) 간의 차이(특히 hydroplaning)를 고려한 안정화 성능 평가.
   • Algorithm 3을 제안: MPC 계획을 여러 물리 스텝에 걸쳐 실행하고, 재계획 시 현재 로봇 상태에 대해 초기 추측 휴리스틱을 다시 적용하여 접촉 유지를 강화 (MPCProj).
   • Open-loop, No Heuristics, Closed-loop 세 가지 알고리즘 변형 평가.
   • 결과(Figure 11, Table 4):
     • Closed-loop MPC는 Open-loop보다 훨씬 우수한 성능을 보이며, 접촉 동역학 모델의 부정확성에도 불구하고 피드백이 중요함을 시사한다.
     • 초기 추측 휴리스틱 적용(Closed-loop vs. No Heuristics): 평균 오류 감소 효과는 작지만, 접촉 손실로 인한 큰 오류 발생 빈도를 유의미하게 줄였다 (Figure 11 histogram). 휴리스틱 적용은 로봇 경로 길이를 단축시키는 효과도 있었다 (Figure 12).
     • IiwaBimanual과 AllegroHand 비교: AllegroHand 태스크(in-hand manipulation)의 본질적인 어려움(미끄러짐)으로 인해 IiwaBimanual보다 평균 오류가 컸다.
     • 하드웨어 실험: 시뮬레이션 결과와 유사한 성능을 보였다 (Table 4).

전역 계획 (Global Planning)

지역 MPC는 비탐욕적 움직임이 필요한 전역 목표 달성에 한계가 있다. 이를 해결하기 위해 본 논문은 지역 MPC의 장점을 활용하는 로드맵(Roadmap) 기반 전역 계획 방법을 제안한다.

1. 목표 상태 기반 접촉 설정 생성 (Section 7):
   • 주어진 객체 상태(q_o)와 목표(q_{og})에 대해, 지역 MPC가 효율적으로 목표에 도달하도록 유리한 로봇 설정(q_a)을 찾는 문제 정의.
   • 최적화 문제의 비용 함수는 지역 MPC의 유한 시간 가치 함수(V)와 강건성(robustness) regularizer(r)를 조합한다. r은 RA-CTR 기반 wrench set의 최대 내접구 반경으로 정의되며, 이 설정에서 로봇이 객체에 얼마나 큰 외란을 견딜 수 있는지를 나타낸다. 비용 함수는 C(q_a; q_o, q_{og}) = V(q_a; q_o, q_{og}) - \alpha r(q_a; q_o)^2 형태이다.
   • 이 문제는 비볼록하며 기울기 계산이 어렵기 때문에 샘플링 기반 최적화 휴리스틱으로 해결한다. AllegroHand와 같은 고차원 로봇의 경우, reduced-order model (4개의 sphere)을 사용하고 그 해를 역기구학(IK)으로 로봇 설정에 매핑하는 휴리스틱을 도입한다.
   • 결과(Figure 18, Table 6): AllegroHand에서 직관적이고 목표 달성에 효과적인 초기 로봇 설정들을 찾았으며, MPC 롤아웃 결과 10mm 이내의 위치 오류와 30mrad 이내의 회전 오류를 달성했다.
2. 로드맵 기반 전역 계획 (Section 8):
   • 오프라인 단계(Algorithm 4): 작업 공간을 충분히 커버하는 안정적인 객체 설정들에 해당하는 접촉 설정들을 로드맵의 정점(vertices)으로 생성한다. 각 정점 쌍에 대해 지역 MPC(객체 목표 도달)와 충돌 회피 계획(로봇 재배치)을 순차적으로 적용하여 전이가 성공하면 에지(edge)를 추가한다 (Figure 19). AllegroHand의 경우 객체의 대칭성을 활용하여 로드맵 구축을 효율화했으며, 표준 노트북 CPU만으로 10분 이내에 로드맵 구축이 가능하다. 하드웨어에서 150회 연속 에지 전이에 성공하며 로드맵의 강건성을 확인했다.
   • 온라인 단계: 임의의 시작 설정에서 임의의 목표 객체 설정까지의 계획은, 시작/목표를 로드맵의 가장 가까운 정점에 연결한 후 그래프 상에서 최단 경로를 탐색하는 방식으로 수행된다 (Figure 20).

결론 (Conclusion)

본 논문은 Contact Trust Region(CTR) 개념을 통해 접촉의 비대칭성을 고려한 지역적 동역학 근사를 제공하고, 이를 활용하여 효율적인 MPC 기반 지역 계획 및 제어 방법을 개발한다. 또한, 접촉 설정 생성 및 로드맵 기법을 통해 전역적인 접촉이 많은 조작 계획 능력을 구현했다. 제안된 방법은 시뮬레이션 및 실제 하드웨어 실험을 통해 그 성능과 계산 효율성을 입증했다. 특히 심층 강화 학습(deep RL) 기반 접근 방식에 비해 현저히 낮은 계산 시간으로 목표 달성이 가능함을 보여준다.

하지만 여전히 해결해야 할 과제들이 남아있다. 특정 계획 실패의 원인, IiwaBimanual과 AllegroHand 간 feasibility constraint의 역할 차이에 대한 깊은 이해, 그리고 CQDC의 hydroplaning과 같은 모델-현실 물리 간의 차이를 극복하고 접촉을 강건하게 유지하는 문제 등은 향후 연구가 필요하다. 그럼에도 불구하고 본 논문에서 제시된 CTR, MPC, 접촉 설정 생성, 로드맵 기법은 접촉이 많은 로봇 조작 문제를 해결하기 위한 새로운 강력한 도구들을 제공한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.