📃Push Anything 리뷰

push

mpc

Single- and Multi-Object Pushing From First Sight with Contact-Implicit MPC

Published

October 31, 2025

🤔 이 연구는 다양한 형태의 단일 및 다중 객체를 실시간으로 밀어 조작하는 핵심 과제를 해결하기 위해 ’Push Anything’이라는 통합 파이프라인을 소개합니다.
🚀 이 파이프라인은 객체 스캔 및 메시 재구성, 견고한 객체 추적, 그리고 ADMM 기반 CI-MPC인 C3를 개선하여 투영 단계 연산 속도를 획기적으로 향상시킨 C3+ 컨트롤러를 통합합니다.
✨ 하드웨어 실험을 통해 33개 객체에 걸쳐 98%의 성공률과 높은 정밀도를 달성했으며, 이전에 다루기 어려웠던 복잡한 다중 객체 밀기 작업을 실시간으로 성공적으로 수행함을 입증했습니다.

Brief Review

본 논문은 다양한 형상의 객체, 특히 다중 객체 환경에서 정밀한 비파지(non-prehensile) 평면 푸싱 작업을 수행하기 위한 “Push Anything”이라는 로봇 조작 파이프라인을 제안합니다. 기존의 Contact-Implicit Model Predictive Control (CI-MPC) 방법은 복잡한 접촉 상호작용과 알 수 없는 물리적 특성으로 인해 제한된 시나리오에서만 적용 가능했으며, 다중 객체 환경에서의 수많은 접촉 추론은 사실상 불가능했습니다. 이를 극복하기 위해 본 연구는 핵심적으로 Consensus Complementarity Control (C3) [1]의 개선된 버전인 Consensus Complementarity Control Plus (C3+) 알고리즘을 도입하여 실시간 성능을 대폭 향상시키고, 객체 스캐닝, 메시 재구성, 로봇 하드웨어 실행을 아우르는 완전한 파이프라인을 구축했습니다.

핵심 방법론: C3+ (Consensus Complementarity Control Plus)

C3+는 접촉 동역학을 최적화 문제에 직접 내장하는 CI-MPC 프레임워크를 기반으로 합니다. 특히, Venkatesh, Bianchini et al. [4]의 샘플링 기반 CI-MPC 접근 방식에 개선 사항을 적용했습니다. 이 접근 방식은 로봇의 엔드 이펙터(end effector) 후보 위치를 샘플링하고, 각 후보에 대해 CI-MPC 문제를 풀어 최적의 궤적을 찾는 방식으로 지역 최적화 문제를 극복합니다.

1. 접촉 동역학 모델:

접촉 동역학은 본질적으로 불연속적이며, 부착(sticking), 미끄러짐(sliding), 분리(separation)와 같은 행동을 포함합니다. 이는 상보성 제약 조건(complementarity constraints)을 사용하여 하이브리드 모델로 표현됩니다:

x_{k+1} = f (x_k, u_k, \lambda_k) 0 \le \lambda_k \perp \Phi(x_k, u_k, \lambda_k) \ge 0 여기서 x_k \in \mathbb{R}^{n_x}는 시스템 상태, u_k \in \mathbb{R}^{n_u}는 제어 입력, \lambda_k \in \mathbb{R}^{n_\lambda}는 접촉력, \Phi는 잠재적 접촉 쌍 사이의 부호 있는 거리(gap function)입니다. 이 모델은 접촉 모드의 다중 모드(multi-modal) 특성을 보존합니다.

2. CI-MPC 문제 공식화:

C3+는 이 접촉 동역학 모델을 표준 2차 비용 함수와 결합하여 Quadratic Program with Complementarity Constraints (QPCC)를 형성합니다:

\min_{x_{0:N}, u_{0:N-1}, \lambda_{0:N-1}} \sum_{k=0}^{N-1} (x_k^T Q_k x_k + u_k^T R_k u_k) + x_N^T Q_N x_N \text{s.t.} x_{k+1} = A x_k + B u_k + D \lambda_k + d 0 \le \lambda_k \perp E x_k + F \lambda_k + H u_k + c \ge 0 (x_k, u_k) \in \mathcal{C}

여기서 동역학 f와 거리 함수 \Phi는 상태 x, 입력 u, 접촉력 \lambda에 대해 선형화된 근사치를 사용합니다. 기존의 QPCC는 비볼록(non-convex) 문제이며 Mixed-Integer Quadratic Program (MIQP)으로 재구성될 수 있지만, 이는 계산 비용이 매우 높습니다.

3. C3+의 핵심 개선 사항: Slack Variable 도입 및 ADMM 최적화:

C3+는 효율적인 해법을 위해 ADMM(Alternating Direction Method of Multipliers) [33]을 활용하는 C3 프레임워크를 기반으로 합니다. C3+의 핵심은 상보성 제약 조건 내의 선형 표현식(E x_k + F \lambda_k + H u_k + c)을 나타내는 슬랙 변수 \eta_k \in \mathbb{R}^{n_\lambda}를 도입하는 것입니다.

\min_{x_{0:N}, u_{0:N-1}, \lambda_{0:N-1}, \eta_{0:N-1}} \sum_{k=0}^{N-1} (x_k^T Q_k x_k + u_k^T R_k u_k) + x_N^T Q_N x_N \text{s.t.} x_{k+1} = A x_k + B u_k + D \lambda_k + d \eta_k = E x_k + F \lambda_k + H u_k + c 0 \le \lambda_k \perp \eta_k \ge 0 (x_k, u_k) \in \mathcal{C}

이 문제(5)는 컨센서스(consensus) 형태로 재구성되어 ADMM 알고리즘을 통해 반복적으로 해를 찾습니다. ADMM은 다음 세 가지 업데이트 단계를 반복합니다:

Quadratic Step (z-update): 볼록(convex) QP를 풀어 시스템 동역학, 슬랙 변수 등 시간에 걸쳐 결합된 제약 조건을 업데이트합니다. C3+에서는 \eta_k에 대한 선형 등식 제약이 추가되어 QP 크기가 약간 커지지만, OSQP [34]와 같은 표준 솔버로 효율적으로 풀 수 있습니다.
Projection Step (δ-update): 이 단계는 C3+의 주요 계산상의 이점입니다. 각 타임스텝 k에 대해 이전 단계의 결과를 단순 상보성 집합 0 \le \delta\lambda_k \perp \delta\eta_k \ge 0에 투영합니다. 슬랙 변수 도입 덕분에 비볼록 상보성 제약 조건이 접촉별로 분리됩니다. 따라서, (11)은 많은 독립적인 1D MIQP를 푸는 것과 동등해지며, 이는 각 구성 요소에 대해 간단한 닫힌 형태의 해를 가집니다: (\delta\lambda_k, \delta\eta_k)^* = \begin{cases} (0, \eta^\circ) & \text{if } \eta^\circ \ge 0 \text{ and } \eta^\circ \ge p_{\lambda}/p_{\eta} \lambda^\circ \\ (\lambda^\circ, 0) & \text{if } \lambda^\circ \ge 0 \text{ and } \eta^\circ < p_{\lambda}/p_{\eta} \lambda^\circ \\ (0, 0) & \text{otherwise} \end{cases} 여기서 \lambda^\circ = (z_{k+1}^i + w_k^i)_\lambda, \eta^\circ = (z_{k+1}^i + w_k^i)_\eta이며 p_\lambda, p_\eta > 0는 가중치입니다. 이 닫힌 형태의 해는 값비싼 MIQP를 상수 시간의 분석적 계산으로 대체하여 상당한 속도 향상을 가져옵니다.
Dual Update (w-update): 스케일링된 듀얼 변수 w_k를 조정하여 z_k와 \delta_k가 다음 반복에서 일치하도록 합니다.

C3+는 정해진 수의 ADMM 반복 후 조기 종료하여 실시간 제어 속도를 유지하며, 마지막 이차 단계에서 엔드 이펙터-객체 접촉 구성 요소에 큰 가중치를 부여하여 동역학적으로 실현 가능한 힘을 유도합니다.

Push Anything 프레임워크의 다른 구성 요소:

객체 메시 재구성: RealSense D455 RGBD 카메라로 객체 비디오를 녹화하고, XMem [29]으로 객체 마스크를 생성한 후, BundleSDF [30]를 통해 메시 재구성을 수행합니다.
다중 객체 추적: FoundationPose [31]의 여러 인스턴스를 병렬로 실행하여 다중 객체를 추적합니다. XMem [29]을 통합하여 마스크의 주기적 재등록을 통해 시간 경과에 따른 드리프트(drift)를 수정하고, 갑작스러운 방향 변화를 감지하여 객체 대칭 문제를 해결합니다.
샘플링 전략: 객체 메시의 바디-프레임(body-frame) 면 위치, 면적, 법선 벡터를 사용하여 엔드 이펙터 후보 위치를 생성합니다. 임의로 객체, 면, 면 위의 점을 선택한 후, 그 점을 면의 바깥 법선 벡터를 따라 고정된 거리만큼 투영하고, 다시 고정된 월드 높이로 투영하여 후보 위치를 만듭니다. 다른 객체에 너무 가까운 샘플은 제거합니다.

실험 및 결과:

Franka Panda 로봇과 구형 엔드 이펙터를 사용하여 33개의 다양한 객체에 대해 광범위한 하드웨어 실험을 수행했습니다. * 단일 객체 푸싱: 25개 객체에 대한 701회 시도에서 99.9%의 성공률을 달성했습니다. 평균 목표 도달 시간은 약 31초였으며, 이전 작업 [4]보다 향상된 성능을 보였습니다. * 다중 객체 푸싱: 2-객체, 3-객체, 4-객체 시나리오에서 총 227회 시도에 걸쳐 92.5%의 성공률을 기록했습니다. 평균 목표 도달 시간은 각각 96.4초, 191.1초, 315.7초로, 객체 수의 증가에 비례하여 증가했습니다. * C3 대비 C3+의 해법 시간 비교: C3+는 C3에 비해 전체 성능이 더 빠릅니다. Quadratic Step은 약간 느리지만, Projection Step은 네다섯 자릿수만큼 압도적으로 빠르며, 이는 슬랙 변수 도입으로 인한 계산 효율성 덕분입니다.

한계 및 향후 연구:

FoundationPose의 포즈 추적 정확도, 특히 객체 가림(occlusion) 상황에서 성능이 저하될 수 있습니다. 다중 뷰 추적을 통한 지각(perception) 견고성 향상이 필요합니다.
모든 객체에 동일한 질량과 관성을 모델링하여, 향후 온라인 모델 학습 또는 적응(adaptation)이 필요합니다.
고차원적인 다단계 장기 계획(multi-step long-horizon planning)을 수행하지 않아 작업 복잡성이 증가함에 따라 비효율적일 수 있습니다. 상위 레벨 추론과의 결합이 필요합니다.
파이프라인을 3D 비파지 조작으로 확장하는 것이 목표입니다.

결론적으로, “Push Anything”은 C3+ 알고리즘의 도입을 통해 복잡한 다중 객체 접촉을 실시간으로 처리할 수 있는 CI-MPC의 능력을 크게 확장했으며, 다양한 실제 객체에 대한 고정밀 평면 푸싱 작업을 성공적으로 수행할 수 있음을 하드웨어 실험을 통해 입증했습니다.

Detail Review

Push Anything: 단일 및 다중 객체 푸싱을 위한 CI-MPC (Contact-Implicit MPC) – 심층 리뷰

본 리뷰에서는 Hien Bui 등(2025)의 Push Anything: Single- and Multi-Object Pushing From First Sight with Contact-Implicit MPC 논문을 다룬다. 이 연구는 비선점적 조작(planar pushing) 문제에서 Contact-Implicit MPC (CI-MPC) 기반 제어법을 확장하여 단일 객체뿐 아니라 다중 객체 환경에서도 실시간으로 고정밀 푸싱 제어를 구현했다. 주요 기여는 다음과 같다. 첫째, 실제 물체 스캔 및 메시 재구성, 객체 추적, 샘플링 기반 CI-MPC를 통합하는 완전한 조작 파이프라인인 Push Anything를 제안했다. 둘째, 기존 C3(Consensus Complementarity Control) 방법을 개선한 C3+ 알고리즘을 개발하여 풀기 어려운 혼합정수제곱문제(MIQP)를 효율적으로 해결했다. C3+는 접촉 모드를 느슨하게 분리하고 ADM(Mixed-Integer Linear Complementarity) 기반 ADMM 최적화로 병렬 계산을 가능케 함으로써, C3 대비 투영 단계에서 10⁴–10⁵배에 달하는 속도 향상을 달성했다. 셋째, 개발된 시스템을 33종의 다양한 객체에 적용하여 928회의 하드웨어 실험을 수행한 결과 98% 이상의 성공률(단일 객체 99.9%, 다중 객체 92.5%)과 물체 위치 오차 2cm, 회전 오차 0.1rad 내 도달을 보였으며, 실시간 성능(단일 객체 0.5분 평균, 4객체 5.3분 평균)으로 목표 위치까지 정밀하게 푸싱함을 보였다. 이처럼 Push Anything은 미리 알려지지 않은 다양한 형상의 객체들에 대해, 많은 물체-물체 및 물체-환경 간 접촉을 포함하는 복잡한 장면에서도 기존 CI-MPC 방식으로는 불가능했던 작업을 실시간으로 수행할 수 있음을 보였다.

기술적 메서드 분석

2.1 파이프라인 개요 (Perception-to-Control Pipeline)

Push Anything 시스템은 오프라인 단계와 온라인 단계로 구분된다. 오프라인 단계에서는 새 객체를 카메라로 스캔해 이를 기하 모델로 변환한다. 예를 들어, RealSense D455 RGB-D 카메라로 객체 동영상을 촬영한 뒤, 첫 프레임에서 수동 마스킹을 수행하고 이후 프레임에서는 XMem을 사용해 마스크를 자동 추적한다. 이 RGB, 깊이, 마스크, 카메라 내부파라미터를 입력으로 BundleSDF (신경 임베디드 SDF) 알고리즘을 통해 객체 메시를 재구성하고, 표면을 밀봉(watertight)하여 URDF 모델을 생성한다. 여기서는 모든 객체의 질량과 관성 텐서를 동일하다고 가정한다. 이후 URDF들을 라이브러리에 저장해 두고, 실험 시에는 임의로 선택된 1~4개의 객체를 사용한다.

온라인 단계에서는 카메라 영상으로부터 FoundationPose 기반의 객체 상태 추정기로 각 객체의 위치·자세를 추적한다. 이를 위해 프레임마다 여러 FoundationPose 인스턴스를 병렬 실행하며, 앞서 얻은 객체 메시를 참조하여 추적을 초기화하고 진행한다. 다만, 객체 간 또는 로봇의 팔에 의한 빈번한 가림과 메시의 불완전성으로 인해 추적 에러가 생길 수 있다. 이를 보완하기 위해 주기적으로 XMem으로 마스크를 재등록하여 추적 드리프트를 보정하고, 객체 대칭성으로 인한 자세 추정 불연속을 걸러낸다. 결과적으로 현재 로봇 상태와 추정된 각 객체의 상태(x_{obj})가 획득된다.

이후 샘플링 기반 CI-MPC 컨트롤러가 동작한다. 우선 객체 메시와 상태를 기반으로 가능성 있는 푸싱 접점(또는 엔드이펙터 목표 위치) 후보를 샘플링한다. 그런 다음 각 후보 위치에 대한 현지 CI-MPC 최적화를 풀어 비용을 계산하고, 최종적으로 가장 낮은 비용을 내는 후보로 로봇을 이동시켜 실질적인 푸싱 동작을 수행한다. 로봇의 움직임은 운동 공간 제어기(operational space controller)를 통해 실행된다. 즉, CI-MPC가 계획한 엔드이펙터 궤적 u^{*}, x^{*}를 1kHz의 고주파 제어기로 추종한다. 하드웨어 구성으로는 고성능 CPU 3대를 사용하여 (i) CI-MPC 알고리즘 전용, (ii) 로봇 제어와 OSC, (iii) FoundationPose 등 인식용으로 분리하여 병렬 처리한다.

2.2 엔드이펙터 샘플링 전략 (End-Effector Sampling Strategy)

샘플링 기반 CI-MPC의 핵심은 다양한 엔드이펙터 위치 후보를 생성하는 것이다. 이를 위해 먼저 각 객체 메시에 포함된 모든 삼각형 면의 위치, 면적, 법선 벡터를 저장한다. 샘플링 절차는 다음과 같다: (1) 전체 객체 중 하나를 균등하게 선택, (2) 해당 객체에서 면적에 비례해 하나의 삼각형 면을 선택, (3) 선택된 면 위에서 임의의 점을 샘플링한다. 이렇게 얻은 표면상의 점을 해당 면의 법선 방향으로 고정 거리만큼 바깥으로 이동시키고, 세계 좌표에서 고정된 높이로 투영하여 후보 위치를 얻는다. 생성된 후보 위치 중 물체 표면과 지나치게 가까운(충돌 가능성이 있는) 위치는 필터링해 제거한다. 위 과정을 원하는 후보 개수가 나올 때까지 반복한다. 이 샘플링 전략은 대상 객체의 메시만 있으면 적용 가능하며, 비구형/오목형 객체나 다중 객체 환경도 문제없이 다룰 수 있다.

이러한 샘플링 결과로 얻은 엔드이펙터 위치 후보 x_{\text{ee}}^{(i)}들이 로봇 시작 위치 x_{\text{ee}}^{(0)}와 함께 CI-MPC의 입력으로 들어간다. 즉, 각 후보에 대해 로컬 CI-MPC 문제를 풀어 비용 \mathcal{J}를 계산하고, \min_{i}\mathcal{J}\left( x_{\text{ee}}^{(i)} \right)가 되도록 로봇을 이동시킨다. 이때 이동 경로는 충돌이 없는 경로 찾기 알고리즘으로 사전 계획한 뒤, 그 목표 위치에서 CI-MPC를 수행하는 두 단계 방식이다. 샘플링을 통해 전역 탐색(guidance)을 보완함으로써, 로컬 CI-MPC의 지역 최적화 한계를 극복하고 장기적 목표를 달성할 수 있다.

2.3 접촉-암시적 MPC 수식 모델 (LCS와 QPCC)

CI-MPC는 혼합 연속-불연속 시스템(hybrid dynamics) 모델을 사용하며, 특히 접촉 역학을 명시적으로 포함한다. 상태 x_{k} \in \mathbb{R}^{n_{x}}와 제어입력 u_{k} \in \mathbb{R}^{n_{u}}가 주어질 때, 선형화 전의 일반 동역학은 다음과 같이 표현할 수 있다:

x_{k + 1} = f\left( x_{k},u_{k},\lambda_{k} \right),\quad 0 \leq \lambda_{k}\bot\Phi\left( x_{k},u_{k},\lambda_{k} \right) \geq 0,

여기서 \lambda_{k} \in \mathbb{R}^{n_{\lambda}}은 접촉력(contact force)을 나타내고, \Phi( \cdot )는 접촉 간극(gap 함수 또는 signed distance)이다. 0 \leq \lambda\bot\Phi \geq 0는 보완성 제약으로, 접촉력이 비제로면 접촉 간극은 0 (밀착), 간극이 양이면 접촉력은 0(비접촉)을 의미한다. 이 비선형 모델을 시간-이산화하고 선형화하여 얻은 선형 보완 시스템(Linear Complementarity System, LCS)의 형태는 다음과 같다:

\begin{aligned} x_{k + 1} &= Ax_{k} + Bu_{k} + D\lambda_{k} + d, \\ 0 \leq \lambda_{k} &\bot Ex_{k} + F\lambda_{k} + Hu_{k} + c \geq 0, \end{aligned}

여기서 A,B,D,E,F,H,c,d는 선형화 계수 행렬 및 상수항이다. 이 모델은 접촉 시 미끄러짐·고착 같은 다중 접촉 모드를 포함하는 복합 역학을 유지하면서도, 이산선형 형태로 근사한 것이다.

이 LCS 모델과 이차비용(예: x^{T}Qx + u^{T}Ru)을 결합하면, 모든 시간 단계에 대한 미분불가능한 보완성 제약까지 포함하는 QPCC(Quadratic Program with Complementarity Constraints) 문제를 정의할 수 있다. 이 문제는 \min\sum_{k = 0}^{N - 1}\left( x_{k}^{T}Q_{k}x_{k} + u_{k}^{T}R_{k}u_{k} \right) + x_{N}^{T}Q_{N}x_{N} 같은 이차목적과, x_{k + 1} = Ax_{k} + Bu_{k} + D\lambda_{k} + d, 그리고 0 \leq \lambda_{k}\bot Ex_{k} + F\lambda_{k} + Hu_{k} + c \geq 0 등의 제약을 갖는 비볼록 최적화 문제이다. 보통 이를 풀기 위해 혼합정수 제곱계획(MIQP) 형태로 변환하여 푼다. 그러나 실제 연산 비용이 매우 크기 때문에 C3+는 이 문제를 효율적으로 근사·해결하는 전략을 사용한다.

2.4 C3+ 알고리즘 (슬랙 변수와 ADMM)

C3+는 기존 Consensus Complementarity Control (C3) 방법을 개선한 기법이다. 핵심 아이디어는 보완성 제약의 식 표현을 별도의 슬랙 변수 \eta_{k}로 분리하는 것이다. 즉 Ex_{k} + F\lambda_{k} + Hu_{k} + c의 값을 \eta_{k}로 정의하면, 보완성 제약 0 \leq \lambda_{k}\bot Ex_{k} + F\lambda_{k} + Hu_{k} + c \geq 0은 대신에

\eta_{k} = Ex_{k} + F\lambda_{k} + Hu_{k} + c,\quad 0 \leq \lambda_{k}\bot\eta_{k} \geq 0

로 바뀐다. 이를 통해 원래 문제(4번)을 등가 문제(5번)로 재구성할 수 있는데, 이 형태는 풀기 위해 ADMM (Alternating Direction Method of Multipliers)를 적용할 수 있게 된다.

구체적으로, C3+는 변수를 z_{k} = \left\lbrack x_{k};\lambda_{k};u_{k};\eta_{k} \right\rbrack로 묶고, 이를 복사한 \delta_{k}를 도입하여 제약을 두 그룹으로 분리한다. 첫 번째 집합 \mathcal{C}_{z}은 선형 동역학(式(5b))·슬랙 정의(式(5c)) 및 입력/상태 경계(式(5e))를 포함하는 결합 제약들을 포함하고, 두 번째 집합 \mathcal{C}_{\delta}는 간단해진 보완성 제약 0 \leq \delta\lambda_{k}\bot\delta\eta_{k} \geq 0만을 갖는다. ADMM 알고리즘은 이 두 집합에 대해 반복적으로 다음 세 단계(예: 1-Quadratic, 2-Projection, 3-Dual)를 수행하며 최적해를 구한다:

Quadratic Step (z-업데이트): 제약조건과 ADMM 패널티 항을 포함한 확장 라그랑지언의 이차 목적 문제를 푼다. 즉, z 변수를 고정하고, \delta, \omega (라그랑주 승수) 등을 포함한 연관된 2차 계획문제를 풀어 z를 업데이트한다. 이때 풀리는 문제는 선형 제약만을 포함하는 볼록 이차계획(QP)이다.
Projection Step (δ-업데이트): 각 시간 단계별로, z-업데이트 결과를 집합 \mathcal{C}_{\delta}에 투영한다. 즉, 0 \leq \delta\lambda_{k}\bot\delta\eta_{k} \geq 0 조건을 만족하도록 \left( \delta\lambda_{k},\delta\eta_{k} \right)를 조정한다. 슬랙 변수 도입 덕분에 이 문제가 시간 및 접촉별로 완전히 분리되어, 각 접촉 성분은 독립적인 1차원 MIQP가 된다. 놀랍게도 이 1D MIQP는 닫힌형태 해를 갖는다. 실제로 수식(11)–(12)에서 보듯이, 투영값 \left( \lambda_{k}^{*},\eta_{k}^{*} \right)는 원래값 \left( \lambda_{k}^{\circ},\eta_{k}^{\circ} \right)과 가중치 u_{\lambda},u_{\eta}를 이용한 간단한 부등식 판별로 계산된다. 이 방식으로, 원래 C3에서 지수시간에 가까운 복잡도를 갖던 믹스드 인티저 문제풀이가 상수시간 함수 평가로 변환되어, 투영 단계의 연산량이 10⁴–10⁵배 이상 감소한다.
Dual Step (w-업데이트): 증분된 듀얼 변수(라그랑주 승수) \omega를 업데이트하여, 다음 반복에서 z와 \delta가 일치하도록 조정한다.

이 ADMM 반복은 관점에 따라 무한히 수행할 수 있으나, Push Anything 시스템에서는 실시간 제어를 위해 제한된 반복 횟수만 수행하고 조기 종료한다. 실제 구현에서는 극히 소수(예: 1–2회) 반복 후 종료하며, 마지막 Quadratic Step만 수행하는 방법이 성능상 유리했다. 또한 최종 단계에서 엔드이펙터-객체 접촉 성분의 가중치를 크게 조정하여(예: 1000배) 제약 만족도를 높인다.

요약하면, C3+는 C3가 사용하는 SLIM, 퍼텍스 접근과 ADMM 구조를 계승하되, 슬랙 변수를 활용하여 접촉 제약을 해체하고 대수적 닫힌형 해로 해결함으로써 계산 비용을 극적으로 줄인다. 이를 통해 다수의 접촉이 있는 다중 물체 장면에서도 실시간으로 CI-MPC를 돌릴 수 있는 효율성을 확보했다.

2.5 시스템 구현 요약

앞서 설명한 파이프라인에 따라, 실제 시스템은 Fig.28과 같은 구조를 갖는다. 오프라인에 생성한 객체 메시와 URDF 파일들은 온라인에서 엔드이펙터 샘플링 + C3+ 컨트롤러로 전달된다. 엔드이펙터는 7–40Hz 빈도로 후보 위치를 샘플링하고, 각 후보에 대해 C3+ 기반 CI-MPC를 해 풀이 나온다. 이후 최적 후보가 선택되면, 로봇은 충돌 회피 경로로 이동한 뒤 CI-MPC 궤적을 OSC(1kHz)로 추종하여 물체를 푸싱한다. 모든 컴포넌트는 Drake 등 로봇 프레임워크 위에 C++로 구현되어 있으며, 컴퓨터 간 LCM 통신으로 실험이 수행된다.

실험 설정 및 결과 평가

3.1 실험 구성

실험은 Franka Emika Panda 7자유도 협동로봇과 구형(end-cap) 푸시 툴을 사용해 수행되었다. 33종의 다양한 객체(볼록체, 오목체, 3D 프린팅된 문자, 가정용품 등)가 준비되었으며, 각 객체가 탁자 위에 놓인 상태에서 목표 자세(goal pose)까지 SE(2) 평면 내 이동하도록 설정했다. 목표 허용오차는 높음(평면상 5cm, 회전 0.4rad)과 낮음(2cm, 0.1rad)의 두 조건으로 평가하였다.

장면 설정으로는 단일 객체부터 네 개의 객체가 초기 난잡(cluttered)하게 놓인 다중 객체 까지 다뤘다. 성능 평가는 하드웨어 실험을 통해 이루어졌다. 단일 객체 실험은 25개 객체 각각에 대해 28번의 성공적인 트라이얼을 얻을 때까지 반복했으며, 결과 701회의 실험이 수행되었다. 다중 객체 실험은 2개 객체 조합 10개, 3개 조합 6개, 4개 조합 5개를 각각 10번의 성공 사례를 얻을 때까지 수행하여 총 227회의 실험을 진행했다. 모든 실험은 물리 굴절 및 마찰이 있는 실제 환경에서 이루어졌다.

3.2 단일 객체 푸싱 결과

단일 객체 실험에서 시스템은 99.9%의 성공률을 보였다. 25개 객체를 대상으로 701회 실험을 진행하여 700회 성공(실패 1회: 큰 달걀판이 로봇 작동 범위를 벗어난 사례)하였다. 엄격한 허용오차(이동 ≤2cm, 회전 ≤0.1rad) 기준에서 평균 목표 도달 시간은 대략 약 31초(0.52분)로 기록되었다. 이는 종전 연구[4]보다 목표 시간(35.5초) 대비 약 13% 단축된 결과이다. 대부분의 객체에서 일관되게 빠른 도달이 가능했으며, 예외적으로 무거운 집게(clamp)나 마찰이 큰 물병 같은 경우 일부 롱테일(outlier)이 나타나기도 했지만, 전반적으로 높은 정밀도와 신뢰성을 확인했다.

3.3 다중 객체 푸싱 결과

다중 객체 실험(2~4개 객체)에서는 성공률이 92.5%였다. 2개 객체 실험(1010), 3개(610), 4개(5*10)로 총 227회의 실험 중 210회를 성공적으로 마쳤다. 실패(17회) 사례는 모두 객체가 로봇의 작동 범위를 벗어난 경우였다. 다중 객체 설정에서는 계획 수평선(horizon)을 줄여(2객체: N=15, 3객체: N=10, 4객체: N=5) 연산 속도를 유지했다. 그 결과, 2객체 작업의 평균 목표 시간은 약 96.4초, 3객체 191.1초, 4객체 315.7초로 측정되었다. 참고로 이는 1개 객체 때(≈31초)보다 선형적으로 증가하지 않았는데, 이는 각 실험에서 객체별 목표 할당(goal assignment)이 무작위로 다르게 설정되어 추가적인 재배치 동작이 필요했기 때문이다.

하드웨어 실험에서 C3+ 기반 시스템은 매우 강인한 성능을 보였다. 평균 목표 시간은 1, 2, 3, 4개 객체에서 각각 0.5분, 1.6분, 3.2분, 5.3분(≈30s, 96s, 192s, 318s)이었다. 특히 네 객체에서도 5분 이내에 모든 목표를 달성하여, 이전까지 불가능했던 복잡한 다중 객체 환경에서의 안정적인 푸싱을 입증했다.

3.4 C3 vs C3+ 속도 비교

한편 CI-MPC 내부 성능도 평가되었다. C3+는 기존 C3에 비해 해결 시간 면에서 획기적 개선을 보였다. 실험적으로 1~4개 객체의 CI-MPC 계획을 반복적으로 풀어본 결과, C3+의 전반적인 퍼포먼스가 우수했다. 구체적으로, ADMM의 Quadratic Step에서는 C3에 비해 오히려 약간 느렸지만, Projection Step 속도가 4~5자릿수(10⁴–10⁵)배 빨랐다. 예를 들어 3객체 상황에서 C3의 단일 투영 연산 시간이 평균 40ms인 반면, C3+에서는 0.005ms 수준에 불과했다. 이로써 C3+는 투영 단계에서 실제 마이크로초급 연산만으로도 접촉 모드를 결정할 수 있게 되었다. 결과적으로, C3+ 기반 컨트롤러는 실제 하드웨어 제어 주기(20–40Hz)를 충분히 만족시켜 실시간 성능을 유지했다.

기존 연구와의 비교 분석

Push Anything는 여러 측면에서 기존 연구들을 확장 및 통합하였다. 전통적인 접촉 비선점적 조작 연구(예: Mason의 기계적 푸싱 모델 [32], 힘 기반 비선점적 계획 등)는 주로 단일 객체의 정적 환경에서 이론적 모델에 근거해 추진력을 계산하거나 그리퍼를 이용한 하이브리드 계획을 다루어 왔다. 그러나 이들 방법은 조합적 복잡성으로 인해 다중 객체 환경이나 접촉 모드 변화가 많은 동적 상황에서 확장성이 떨어진다. 데이터 기반 접근법(예: Push-Net, 강화학습 기반 푸싱 [38–40])은 단일 객체에서 경험을 쌓아 회전·재배치 등에 강인한 성능을 보였으나, 높은 데이터 수집 비용과 다중 객체 장면의 확장성 문제로 아직 제한적이다.

한편 Contact-Implicit MPC 계열 연구는 모델 기반으로 접촉 거동을 제어 궤적 최적화에 직접 포함시킨다. Aydinoglu 등[1]의 C3는 ADMM을 이용해 접촉 제약을 해결했으며, Venkatesh 등[4]은 엔드이펙터 샘플링을 결합해 지역 최적화의 한계를 일부 극복했다. 그러나 이들 초기 연구들은 모두 CAD로 정확하게 알려진 단일 객체를 전제로 했으며, 대상 객체의 물리 파라미터와 메시를 미리 알고 있어야 했다. 또한 계산 비용이 커서 실시간 적용이 제한적이었다.

본 논문은 이러한 한계를 극복했다. 먼저 객체의 3D 형태를 실시간으로 획득하기 위해 학습기반 3D 재구성(BundleSDF)과 비전 기반 자세 추정(FoundationPose) 모듈을 도입함으로써, 사전 정보 없이 다양한 물체를 처리할 수 있게 했다. 이는 이전 CI-MPC 연구에서는 다루지 않았던 혁신적 통합이다. 또한 C3+ 알고리즘은 원본 C3 대비 비선형 보완성 제약을 해체하고 병렬화하여 계산 복잡도를 대폭 줄였는데, 이는 도식적으로도 이 논문이 제안한 핵심 공헌이다. C3+는 이전 방법들이 인스턴트적으로 처리하지 못했던 최대 19개 접촉까지 효율적으로 고려하면서 다중 객체를 제어할 수 있음을 보였다.

실험적으로도, Push Anything는 고정밀 실시간 하드웨어 제어 성능을 실증했다는 점이 독보적이다. 실제 로봇으로 33개 임의 객체를 대상으로 928회 실험을 진행해 98% 이상의 성공률을 달성한 것은 이전 CI-MPC 문헌에서 보고된 수치(98–99.9%)와 비슷하거나 높다. 동시에, 상당수 다중 객체 장면(최대 4개)에서 수분 내에 목표를 달성한 점은, 기존에 다루지 못했던 클러터 정리(cluttered scene) 문제를 해결했다는 점에서 의미가 크다. 요약하면, Push Anything는 실제 감지-추적-최적화-제어가 결합된 완전 시스템으로서, 이 분야의 획기적 진전으로 평가할 수 있다.

결론 및 향후 연구

Push Anything 논문은 접촉 풍부한 비선점적 조작에서 모델 기반 최적화 방식의 새로운 지평을 열었다. 저자들은 C3+를 도입해 수많은 접촉 상황에서도 실시간으로 MPC를 구현하고, 이를 실제 로봇 하드웨어에 통합하여 높은 정확도와 성공률을 입증했다. 비록 동일한 질량·관성 가정, 단일 시점 카메라 의존, 다중 단계 계획 부재 등 몇 가지 한계는 남아 있으나, 이는 추후 리서치 방향을 제시한다. 예를 들어 다중 뷰 인식, 온라인 물리 파라미터 학습, 고수준 플래너와의 통합 등을 통해 현 시스템의 범용성과 성능을 더욱 높일 수 있을 것이다. 전반적으로, Push Anything은 접촉-암시적 MPC의 적용 범위를 크게 확장시켰으며, 로봇공학 분야의 푸싱·조작 연구자들에게 유용한 기술적 통찰을 제공한다.

참고문헌

논문 본문 내용은 주로 Push Anything (2025) 논문 자체에서 발췌하여 정리하였다. 추가로 CI-MPC의 현황 개요는 EmergentMind 블로그를 참고하였다.

출처:

Push Anything: Single- and Multi-Object Pushing From First Sight with Contact-Implicit MPC(Hien Bui et al., University of Pennsylvania, 2025)
Additional References:
- Literature Review: https://www.themoonlight.io/en/review/push-anything-single-and-multi-object-pushing-from-first-sight-with-contact-implicit-mpc
- Contact-Implicit MPC Overview: https://www.emergentmind.com/topics/contact-implicit-model-predictive-control-ci-mpc