📃Catching Objects in Flight 리뷰

Catching, Gaussian mixture model

• Paper Link
• Youtube Link

1. 이 논문은 불규칙한 형태의 고속 비행 물체의 궤적을 예측하고 성공적으로 포획하는 로봇 시스템을 제안합니다.
2. 시스템은 시연 학습을 통해 물체 역학 모델과 로봇의 포착 가능 및 도달 가능 공간 모델을 구축하고, 결합 동적 시스템(Coupled Dynamical Systems, CDS)으로 손-팔 협응 동작을 실시간으로 생성합니다.
3. iCub 시뮬레이션 및 KUKA LWR 4+ 실제 실험에서 해머, 라켓, 병 등 다양한 복잡한 물체들을 성공적으로 포획하여, 불확실성 환경에서의 초고속 로봇 제어 가능성을 입증했습니다.

---

1 Brief Review

이 논문은 불규칙한 형태의 비행 물체를 잡는 어려운 문제를 다룹니다. 이 문제는 세 가지 복잡한 하위 문제의 해결을 요구합니다: 빠른 속도로 움직이는 물체의 궤적을 정확하게 예측하는 것, 가능한 잡기 자세(catching configuration)를 예측하는 것, 그리고 로봇 팔의 움직임을 밀리초 단위로 빠르게 계획하는 것입니다.

핵심 방법론

본 연구는 “시범을 통한 프로그래밍(programming-by-demonstration)” 접근 방식을 채택하여 물체 동역학 및 팔 움직임 모델을 학습합니다. 특히, 확률론적 방식으로 실행 가능한 잡기 자세를 찾는 새로운 방법론을 제안하며, 여러 시범으로부터 움직임을 인코딩하기 위해 동역학 시스템(Dynamical Systems, DS) 접근 방식을 사용합니다. 이는 센서 불확실성이 존재하는 상황에서도 팔 움직임을 빠르고 반응적으로 적응시키는 것을 가능하게 합니다.

1. 움직이는 물체의 동역학 학습 (Learning the Dynamics of a Moving Object)

• 문제 정의: 공기 저항, 불규칙한 형태, 질량 중심(COM)이 아닌 지점에서 잡아야 하는 비강체 또는 불규칙한 물체의 비선형적인 병진 및 회전 운동을 예측하는 것은 매우 어렵습니다. 기존의 강체 역학 모델은 물체의 질량, COM 위치, 관성 모멘트와 같은 물리적 속성 정보를 필요로 하지만, 이들은 임의의 물체에 대해 측정하기 어렵거나 비행 중 변할 수 있습니다(예: 부분적으로 채워진 병).
• 제안하는 방법: 저자는 시범을 통해 관찰된 물체의 움직임으로부터 직접 물체의 비선형 동역학을 학습합니다. 물체의 관심 지점(point of interest)의 상태 \xi \in \mathbb{R}^D (위치 및 쿼터니언을 사용한 자세)와 그 미분 값 \dot{\xi}, \ddot{\xi}를 사용하여 물체의 동역학을 2차 자율 동역학 시스템으로 모델링합니다: \ddot{\xi} = f(\xi, \dot{\xi})
• 학습 과정: 미지의 함수 f(.)는 서포트 벡터 회귀(Support Vector Regression, SVR)를 사용하여 모델링됩니다. 입력 \zeta = [\xi; \dot{\xi}] \in \mathbb{R}^{2 \times D}에 대해 각 차원마다 D개의 SVR 모델 d f_{SVR}가 학습됩니다. 회귀 추정치는 다음과 같습니다: \ddot{\xi} = f_{SVR}(\zeta) = [\mathrm{d}f_{SVR}(\zeta)]_{d=1...D}
  • 여기서 \mathrm{d}f_{SVR}(\zeta) = \sum_{m=1}^M \mathrm{d}\alpha_m K (\zeta, \mathrm{d}\zeta_m) + \mathrm{d}b 입니다.
  • 커널 함수 K(\zeta, \zeta_m) = \exp(-\gamma\|\zeta - \zeta_m\|^2)는 방사형 기저 함수(RBF) 커널을 사용합니다. 학습된 모델은 칼만 필터(Extended Kalman Filter, EKF)와 결합되어 잡음이 있는 센싱에 대한 견고성을 확보합니다.

2. 잡기 자세 예측 (Predicting the Catching Configuration)

이 단계는 세 가지 하위 문제로 구성됩니다: 물체를 잡을 수 있는 자세 학습, 로봇의 도달 가능한 공간 모델링, 그리고 이 두 모델을 결합하여 최적의 잡기 자세 및 시간을 결정하는 것입니다. 잡기 자세 \eta = [\eta_{pos}; \eta_{ori}]는 엔드-이펙터의 위치 \eta_{pos} \in \mathbb{R}^3와 자세 \eta_{ori} \in \mathbb{R}^6 (회전 행렬의 처음 두 열 벡터로 구성)로 정의됩니다.

• 잡을 수 있는 공간 모델 (Graspable-Space Model):
  • 학습: 로봇 핸드를 수동으로 물체에 가져다 대는 시범을 통해 다양한 잡기 자세(위치 및 자세)를 기록합니다. 이 데이터는 물체 좌표계에서 저장됩니다.
  • 모델링: 기록된 잡기 자세의 밀도 분포는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 사용하여 모델링됩니다: M_{grasp} = \{\pi_k, \mu_k, \Sigma_k\}_{k=1:K}.
  • 확률 밀도: 주어진 잡기 자세 \eta \in \mathbb{R}^9에 대한 확률 밀도는 다음과 같습니다: P(\eta|M_{grasp}) = \sum_{k=1}^K \pi_k \mathcal{N}(\eta|\mu_k, \Sigma_k)
  • 실행 가능성: P(\eta|M_{grasp})가 특정 임계값 \rho_{grasp}를 초과하면 해당 자세는 실행 가능한 것으로 간주됩니다.
  • 좌표계 변환: 물체가 움직이므로 물체 좌표계의 모델을 로봇 좌표계로 변환해야 합니다: \text{robot}\mu_k(t) = \Omega(t)\text{obj}\mu_k + P(t) \text{robot}\Sigma_k(t) = \Omega(t)\text{obj}\Sigma_k\Omega(t)^T
    • 여기서 P(t) = \begin{pmatrix} p(t) \\ \text{zeros}(6, 1) \end{pmatrix}이고, \Omega(t) = \text{diag}(R(t), R(t), R(t))입니다. p(t)와 R(t)는 물체 참조 프레임의 위치 벡터와 회전 행렬입니다.
• 도달 가능한 공간 모델 (Reachable-Space Model):
  • 학습: 로봇 팔의 모든 관절 변위를 체계적으로 샘플링하여 로봇이 달성할 수 있는 엔드-이펙터 자세(위치 및 자세)를 기록합니다. 이 샘플들도 GMM M_{reach} = \{\pi_l, \mu_l, \Sigma_l\}_{l=1:L}로 모델링됩니다.
  • 정확성 및 제약: GMM의 가우시안 개수는 베이지안 정보 기준(BIC)으로 결정됩니다. 모델의 정확도는 무작위 샘플링을 통해 검증됩니다. 또한, 로봇이 테이블과의 충돌을 피하기 위해 z < 0.1 \text{m}인 도달 가능한 샘플은 버려집니다. 자체 충돌을 피하기 위해 보수적인 관절 범위가 설정되며, 손바닥 방향이 지면을 향하는 자세도 제외됩니다.
• 최적 잡기 자세 예측 (Predicting Catching Configuration):
  • 결합 모델: 잡을 수 있는 공간 모델과 도달 가능한 공간 모델은 통계적으로 독립적이므로, 두 모델의 확률 분포를 곱하여 결합 확률 분포 M_{joint}(t)를 계산할 수 있습니다. 결합된 GMM의 각 가우시안 파라미터 j=(l-1) \times L + k는 다음과 같습니다: \Sigma_j(t) = (\Sigma_k^{-1}(t) + \Sigma_l^{-1})^{-1} \mu_j(t) = \Sigma_j(t) (\Sigma_k^{-1}(t)\mu_k(t) + \Sigma_l^{-1}\mu_l) \pi_j(t) = \pi_k(t)\eta_{grasp} \cdot \pi_l\eta_{reach} \cdot \mathcal{N}(\mu_k(t)|\mu_l, \Sigma_k(t) + \Sigma_l)
  • 최적화: 예측된 물체 자세에서 최적의 잡기 자세 \eta(t)를 찾기 위해, 결합 모델 M_{joint}(t)에 대해 경사 상승법(gradient ascent)을 사용하여 P(\eta(t)|M_{joint}(t))를 최대화합니다. 초기값은 현재 손 자세에 가장 가까운 가우시안의 중심 \mu_j(t)로 설정됩니다.
  • 충돌 회피 휴리스틱: 손이 물체와 충돌할 위험을 줄이기 위해, 잡기 자세에서 로봇 손바닥의 방향이 물체 속도 방향의 반대여야 한다는 제약 조건을 추가합니다: \text{dot}(\dot{\eta}_{pos}(t), \eta_{palm}(t)) < d. 이는 실시간 충돌 회피 계산의 부재를 보완합니다.

3. 팔-손 협응 운동 (Hand–Arm Coordinated Motion)

• 접근 방식: 엔드-이펙터의 위치 \xi_h \in \mathbb{R}^3와 자세 \xi_o \in \mathbb{R}^3 (스케일된 축-각 표현) 궤적은 동역학 시스템 기반 모델을 사용하여 모델링됩니다. 이는 안정적인 동역학 시스템 추정기(Stable Estimator of Dynamical System, SEDS) 기술로 학습됩니다. 손-손가락 연동은 결합 동역학 시스템(Coupled Dynamical Systems, CDS) 모델을 사용하여 모델링됩니다.
• CDS 모델: CDS는 세 가지 GMM으로 학습된 독립적인 동역학 시스템으로 구성됩니다:
  1. 마스터 서브시스템: 손 이동의 동역학을 인코딩하는 P(\xi_h, \dot{\xi}_h|\theta_h).
  2. 슬레이브 서브시스템: 손가락 움직임의 동역학을 인코딩하는 P(\xi_f, \dot{\xi}_f|\theta_f).
  3. 추론 서브시스템: 손가락의 추론된 상태와 현재 손 위치의 결합 확률 분포를 인코딩하는 P(\Psi(\xi_h), \xi_f|\theta_{inf}). 여기서 \Psi(\xi_h)는 손의 현재 상태를 손가락 움직임에 연결하는 결합 함수입니다.
• 궤적 생성 및 타이밍 제어: 잡기 동작을 실행하는 동안, 마스터 DS는 엔드-이펙터 속도 명령을 생성하며, 이는 스칼라 부스트 인자로 지속적으로 크기가 보정되어 로봇이 원하는 시간에 잡기 자세에 도달하도록 합니다. 손가락 관절은 추론된 (원하는) 상태로 움직이는 데 필요한 속도가 가우시안 혼합 회귀(Gaussian mixture regression)를 통해 생성됩니다. Cartesian 공간의 궤적은 역기구학(Inverse Kinematics, IK)을 사용하여 7-자유도 관절 상태로 변환됩니다.

실험 검증 (Empirical Validation)

제안된 시스템의 성능을 평가하기 위해 두 가지 실험을 수행했습니다: iCub 시뮬레이터와 실제 KUKA LWR 4+ 로봇(Allegro Hand 장착).

• iCub 시뮬레이션: 해머와 테니스 라켓을 사용하여 20번의 던지기 시범으로 동역학 모델을 학습했습니다. 무작위 초기 위치, 속도, 각속도로 50번의 던지기를 수행하여 100%의 성공률을 기록했습니다 (도달 가능한 공간 밖으로 나간 3번의 시도는 제외).
• 실제 KUKA LWR 4+ 로봇: 빈 병, 부분적으로 채워진 병, 테니스 라켓, 골판지 상자 등 네 가지 물체를 사용했습니다. 각 물체는 20번 던져져 동역학 모델 학습에 사용되었고, 옵티트랙(Optitrack) 모션 캡처 시스템으로 물체와 로봇 핸드의 자세를 240Hz로 기록했습니다. 물체의 동역학 모델은 SVR-RBF로 학습되었으며, 부분적으로 채워진 병에 대한 강체 역학 모델과의 비교에서 SVR-RBF가 훨씬 높은 예측 정확도를 보였습니다. 손-팔 협응 모델은 키네스틱 시범(kinesthetic demonstrations)과 인간이 물체를 잡는 시범(모션 캡처 및 5DT 데이터 글러브 사용)을 통해 학습되었습니다.
  • 성공률: 총 80번의 시도 중 로봇의 도달 가능한 공간에 들어오지 않은 9번의 시도를 제외한 71번의 시도에서 52번 성공하여 73.2%의 성공률을 보였습니다.
  • 실패 원인:
    1. IK 해법의 실행 불가능성: 목표 관절 자세가 초기 자세와 너무 멀어 로봇이 제시간에 도달할 수 없는 경우 (19번의 실패 중 12번).
    2. 손가락이 물체를 쳐서 튕겨내는 경우 (19번의 실패 중 4번).
    3. 관절 토크 한계 위반으로 로봇이 자동으로 멈추는 경우 (19번의 실패 중 3번).
  • 인간과의 비교: 동일한 제약 조건에서 인간은 100번의 시도 중 38번 성공하여 38%의 성공률을 보였으며, 이는 로봇보다 현저히 낮은 수치입니다.

결론 및 한계

본 논문은 불규칙한 질량 분포와 비강체 질량 분포를 가진 비행 물체를 잡는 로봇 프레임워크를 제시했습니다. 이 프레임워크는 인간 시범을 통한 학습과 탐색을 통해 프로세스의 각 단계를 로봇이 습득하도록 합니다. 이는 두 가지 다른 로봇 플랫폼(iCub 시뮬레이터, KUKA LWR 4+)과 복잡한 동역학을 가진 네 가지 물체에 대해 검증되었습니다. 제안된 방법은 기존의 연구보다 계산 속도가 매우 빠르며, 복잡한 물체에 대한 높은 성공률을 보였습니다.

한계 및 향후 연구:

• SVR-RBF 기반 동역학 모델은 학습된 상태 공간에서 멀리 떨어진 영역에서는 예측 정확도가 떨어질 수 있습니다 (국소적인 일반화).
• 명시적인 실시간 충돌 회피가 없으며, 손바닥 방향 휴리스틱에 의존합니다. 이는 일부 실패의 원인이 됩니다.
• 잡을 수 있는 모델은 주로 파워 그립에 중점을 두었으며, 정밀 그립은 다루지 않았습니다.
• 로봇의 동역학(예: 관절 속도, 토크 한계)이 모델링되지 않아, 생성된 궤적이 로봇에게 실행 불가능할 수 있습니다. 향후 연구에서는 최적 제어를 통해 로봇 동역학을 만족하는 실행 가능한 궤적을 생성하여 CDS 모델을 보강하는 방향이 고려될 수 있습니다.

이러한 문제점들은 향후 연구에서 다루어질 과제로 남아있습니다.

---

2 Detail Review

2.1 서론: 비행 물체 잡기의 어려움과 연구 목표

고속으로 비행하는 물체를 로봇이 공중에서 잡아내는 것은 로봇공학에서 매우 도전적인 과제입니다. 이 작업을 위해서는 (1) 빠르게 움직이는 물체의 궤적을 정확히 예측하고, (2) 물체를 잡기 위한 최적의 로봇 팔-손 자세(잡기 구성)를 찾아내며, (3) 제한된 시간 내에 로봇 팔의 궤적을 계획하여 목표 지점에 도달하도록 제어하는 것, 이 세 가지 문제를 모두 풀어야 합니다. 이러한 모든 처리를 밀리초(ms) 단위의 시간 안에 수행해야 한다는 점에서 기술적 난도가 매우 높습니다. 특히 공중에서 잡으려는 대상이 망치, 라켓, 병과 같이 무게 중심이 한쪽으로 치우치거나 비대칭인 물체인 경우, 단순한 포물선 모델로는 운동을 설명하기 어렵고 물체의 자세(orientation)까지 고려해야 하므로 문제가 더욱 복잡해집니다.

이 논문의 저자들은 이러한 문제를 해결하기 위해 프로그래밍-바이-데몬스트레이션(programming by demonstration) 접근을 활용하였습니다. 즉, 사람이나 로봇이 물체를 던지고 잡는 시범 데이터로부터 학습함으로써, 물체의 동특성과 로봇 팔의 움직임을 모델링하였습니다. 이를 통해 물체 비행 궤적의 학습 기반 예측 모델을 얻고, 확률적인 방법으로 로봇의 잡기 자세를 결정하며, 동적 시스템(Dynamical System, DS) 기반의 제어기로 로봇 팔을 빠르고 유연하게 움직이도록 하였습니다. 이러한 통합 프레임워크를 통해 센서 노이즈나 예기치 않은 변화에도 실시간으로 대응하면서 로봇 팔이 공중의 물체를 잡을 수 있도록 하였습니다. 본 리뷰에서는 해당 논문의 기술적 기여를 중심으로, 제안된 방법론(알고리즘, 실험 설정, 하드웨어/소프트웨어 구성, 데이터 흐름 등)을 상세히 분석하고, 기존 연구들과의 차별점을 함께 논의합니다.

그림 1: KUKA LWR 4+ 로봇 팔과 Allegro 로봇 손을 이용해 공중에 던져진 우유병 형태의 물체를 잡는 장면. 해당 연구에서 로봇은 테니스 라켓, 망치, 빈 병, 내용물이 일부 든 병, 박스 등 다양한 형태의 물체를 0.5초 이내의 비행 시간 동안 추적하여 잡아낼 수 있음을 입증하였다.

2.2 기존 연구와의 차별성

고속 비행 물체 포획에 관한 선행 연구들은 주로 이론적 모델이나 사전 정의된 궤적에 기반한 접근을 취해왔습니다. 예를 들어, 공을 잡는 문제에서는 물체의 궤적을 포물선(탄도)으로 가정하고 최소자승 등의 기법으로 실시간 추정하거나, 공기 저항을 포함한 탄도 모델에 확장 칼만 필터(EKF)를 결합하여 궤적을 예측하는 시도가 있었습니다. 이러한 방법들은 물체의 동역학 모델이 정확히 알려져 있는 경우에는 궤적 추정 정확도가 높았지만, 모델에 대한 사전 지식(예: 물체의 질량, 무게중심 위치, 관성 모멘트 등)이 필요하고, 주로 구 형태의 물체(공)를 전제로 질점(COM) 궤적만 추적하기 때문에 망치나 라켓처럼 복잡한 형태의 물체에는 적용하기 어렵다는 한계가 있습니다. 반면 이 논문에서는 임의 형태의 물체에도 적용 가능하도록, 데이터 기반으로 물체의 운동을 학습하여 모델을 구축함으로써 사전에 물리적 매개변수를 알 필요 없이 궤적을 예측할 수 있게 했습니다. 실제로 저자들의 이전 연구에서는 사람의 던지기 시演으로부터 물체 운동의 동역학을 학습하여, 물체의 질량이나 관성 등의 정보 없이도 6자유도(위치+자세) 궤적을 예측하는 자율 동적 시스템 모델을 구현한 바 있습니다.

또 다른 차별점은 실시간성과 불확실성 대응입니다. 과거의 여러 로봇 catching 연구들은 사전에 계산된 시간-의존 궤적(예: 다항식 보간, 최소 가속도 궤적 등)으로 로봇을 움직이도록 했기 때문에, 일단 궤적 생성 후에 시간상의 교란이나 목표 위치의 변화가 생기면 대응하기 어려웠습니다. 즉, 잡기 동작이 시작된 후에 물체의 운동에 변화가 생겨도 로봇 궤적을 즉각 재계산하기 어렵다는 문제입니다. 본 연구에서는 이러한 한계를 극복하기 위해 시간-불변적 동적 시스템을 기반으로 한 반응형 제어기를 사용하고, 여기에 시간 조율 기법(fast-forward integration & scaling)을 적용하여 잡는 순간에 정확히 도달하도록 궤적을 실시간으로 조절합니다. 그 결과, 예측된 catching 자세가 수시로 변경되어도 로봇 팔의 DS 제어 궤적을 그에 맞게 고속 재계획(약 10ms 주기)할 수 있어, 비행 중 발생하는 센서 지연이나 잡기 시점 변화에도 대응할 수 있습니다. 특히 논문에서는 제안한 확률적 모델 덕분에 전체 비행 시간이 0.7초 이하인 경우에도 로봇이 물체를 잡을 수 있었고, 최적 잡기 자세 계산에는 0.2ms 정도밖에 걸리지 않았다고 보고합니다. 이는 이전 연구들과 비교해 압도적으로 빠른 계산 및 적응 속도를 보여주는 것으로, 과거에는 이 정도 속도의 궤적 재계획을 위해 32코어 병렬컴퓨팅을 활용한 복잡한 최적화 기법을 써야 했던 사례도 있었던 것과 대비됩니다.

마지막으로, 로봇 손가락 제어 측면에서도 본 연구는 기존 방식과 차별됩니다. 전통적으로 로봇이 물체를 잡을 때는 엔드이펙터(손바닥)와 물체 사이 거리가 일정 임계값 이하로 좁혀지는 순간 손가락을 닫는 간단한 트리거 방식이 주로 사용되었습니다. 이러한 방식은 손가락 닫는 타이밍, 속도 등의 매개변수를 사람이 튜닝해야 하고 물체의 접근 방향이나 속도 변화에 따라 최적의 타이밍을 보장하기 어렵습니다. 반면 이 논문에서는 팔과 손가락을 하나의 연합된 동적 시스템(CDS)으로 모델링하여, 팔의 운동 궤적과 손가락의 닫힘 동작이 자연스럽게 동기화되도록 만들었습니다. 즉, 팔의 움직임 상태에 따라 손가락 동작이 자동으로 결정되므로, 별도의 임계값 트리거 없이도 물체가 손바닥에 닿는 정확한 순간에 손가락이 닫히게 됩니다. 이는 팔 운동이 예측과 달리 지연되거나 가속되더라도 손가락 타이밍이 함께 조절되므로, 물체를 흘리거나 튕겨내지 않고 안정적으로 잡을 확률을 높여줍니다. 이러한 팔-손 연합 제어 기법은 저자들의 선행 연구에서 제시된 것으로, 본 논문에서는 이를 실제 7자유도 KUKA 팔과 4-손가락 Allegro Hand 플랫폼에 적용하여 유효성을 검증하였습니다.

2.3 물체 궤적 학습과 예측 (Dynamics Learning)

이 논문에서는 비행 물체의 궤적을 모델링하기 위해 비선형 동역학 모델을 학습하는 접근법을 사용했습니다. 물체의 상태를 \xi = [p,; q]로 정의하는데, 여기서 p는 물체에 고정된 특정 관심 지점(point of interest)의 3차원 위치이고, q는 물체의 자세(orientation)를 나타내는 사원수(quaternion)입니다. 물체의 운동 방정식은 2차 자율 동적 시스템(이차 미분방정식)으로 가정되며, 형태는 다음과 같습니다:

• \ddot{\xi} = f(\xi,; \dot{\xi}), 즉 가속도 \ddot{\xi}가 현재의 위치와 속도 (\xi, \dot{\xi})의 함수로 표현됩니다. 이때 f(\cdot)는 비선형 함수로서 명시적 수식을 알 수 없으므로, 머신러닝 기반 회귀로 근사하게 됩니다.

저자들은 서포트 벡터 회귀(Support Vector Regression, SVR) 기법을 활용하여 이 함수를 학습시켰습니다. N개의 던지기 실험으로부터 얻은 물체 궤적 데이터(각 궤적에 시간순으로 T개의 상태 데이터 포함)를 사용하여, 입력 \zeta = [\xi; \dot{\xi}] (위치+자세와 그 미분을 이어붙인 벡터)을 받고 출력 \ddot{\xi} (가속도)을 예측하는 SVR 모델을 훈련합니다. 각 출력 차원(\xi의 각 성분)에 대해 별도의 SVR을 학습하여 총 D개의 회귀 모델 f_{SVR}^d를 얻으며, RBF 커널을 사용하여 비선형 특성을 모델링했습니다. 최적의 커널 매개변수 및 정규화 파라미터 C는 교차검증(grid search)을 통해 결정되었고, 학습 완료 후 SVR 모델은 다음과 같은 회귀 함수를 제공합니다:

\hat{\ddot{\xi}} = f_{SVR}(\zeta) = \sum_{m=1}^{M} \alpha_m K(\zeta, \zeta_m) + b,

여기서 M은 서포트 벡터의 수, \alpha_m은 학습된 계수, K는 RBF 커널 함수입니다. 이 회귀식이 곧 물체 운동 방정식 f(\cdot)에 대한 근사이며, 임의의 현재 상태 (\xi, \dot{\xi})를 넣으면 다음 순간의 가속도를 예측할 수 있습니다.

이렇게 학습된 물체 동역학 모델을 이용하면, 로봇은 비행 물체의 현재 상태 측정값(위치, 자세, 속도)을 입력하여 미래의 궤적을 실시간으로 예측할 수 있습니다. 논문에서는 이 예측 모듈을 주기적으로 갱신하도록 설계하였는데, 카메라 등의 센서로부터 새로운 물체 위치/자세 데이터가 들어올 때마다 SVR 모델로 남은 비행 경로를 빠르게 계산합니다. 또한 앞서 언급한 대로 예측 과정에 EKF 기반의 보정을 결합하여, 센서 노이즈나 외란으로 인한 불확실성을 줄였습니다. 요컨대, SVR 회귀가 이상적인 운동을 내다보는 역할을 하고, EKF 추정기가 새로운 관측값으로 그 예측을 미세 조정함으로써, 노이즈에 강인하면서도 빠른 궤적 예측을 구현한 것입니다.

저자들은 물체 동역학 모델을 학습하기 위해 다양한 초기 조건으로 물체를 던지는 실험을 수행하여 데이터셋을 구축했습니다. 예를 들어, 시뮬레이션 상의 iCub 로봇을 이용해 망치와 테니스공을 20회씩 던져 서로 다른 궤적을 만들고, 실제 실험에서도 빈 병, 물이 절반 든 병, 라켓, 상자 등을 각각 여러 차례 던져 데이터로 활용했습니다. 각 던지기 궤적은 최대 100Hz로 기록되었고, 사전에 저역 통과 필터(Butterworth, 25Hz)로 노이즈를 제거한 후 속도와 가속도를 계산하여 학습에 사용했습니다. 이렇게 수집한 약 20개 내외의 궤적 데이터로 SVR을 훈련한 결과, 불과 수십 개의 시연만으로도 물체 운동의 비선형 패턴을 학습할 수 있었습니다. 학습된 모델은 텍스트 파일로 저장하여 실시간 실행 시 불러오도록 구성하였으며, C++ 기반 제어 소프트웨어에서 해당 모델을 활용해 매 주기마다 물체의 다음 위치와 자세를 예측하게 됩니다.

예측 성능 평가를 위해 진행된 시뮬레이션 실험에서, 제안한 SVR-RBF 기반 모델은 매우 정확한 궤적 예측을 보여주었습니다. iCub 시뮬레이터 상에서 망치와 라켓을 무작위 초기조건으로 50회 던져본 결과, 그 중 로봇 작업공간 내로 들어온 시도 47회에 대해 로봇이 100%의 성공률로 물체를 잡았습니다. (나머지 3회는 물체가 로봇이 닿을 수 없는 범위를 벗어나 아예 잡을 수 없는 경우였습니다.) 특히 시뮬레이션에서는 공기저항이나 센서 오차 등의 불확실성이 없었기 때문에, 처음 몇 프레임의 관측만으로도 궤적 예측이 실제 궤적에 거의 수렴하였고 예측 오차도 매우 작았습니다. 한편, 부분적으로 물이 든 병과 같이 질량 분포가 변화하는 복잡한 물체의 경우, SVR로 학습한 모델과 전통적인 강체 동역학 모델의 예측 성능을 비교한 결과가 흥미롭습니다. 강체 모델을 위해 병의 초기 무게중심과 질량, 관성 등을 계측하여 포물선+회전 운동 방정식을 구성해 보았으나, SVR 학습 모델은 실제 궤적을 정확히 맞춘 반면, 강체 모델은 특히 물체의 회전(자세) 예측에서 큰 오차를 보였습니다. 논문에 제시된 부분채워진 물병의 궤적 그래프(Fig. 13)를 보면, SVR 기반 추정은 물체의 복잡한 운동(비선형 공중회전까지 포함)을 잘 따라가는 반면, 강체 역학 모델은 시간 경과에 따라 예측 자세가 실제와 동떨어져 결국 물체를 놓치는 상황으로 이어짐을 알 수 있습니다. 이 결과는 사전 모델링 없이 데이터로부터 학습한 접근법의 우수성을 보여주는 사례로, 특히 물체의 물리적 특성이 불완전하거나 변화하는 상황에서 유용함을 시사합니다.

2.4 최적 잡기 자세 결정: 가용 공간 & 파지 공간 모델링

비행 물체를 잡기 위해서는 로봇 팔이 어떤 위치에서 어떤 자세로 물체를 포착할 것인지 결정해야 합니다. 일반적인 로봇공학 용어로, 이는 로봇의 작업 공간(reachable space)과 물체의 파지(grasp) 가능한 자세 공간이 교집합을 이루는 지점을 찾는 문제로 볼 수 있습니다. 본 논문에서는 이 문제를 풀기 위해 로봇의 가용 공간 모델과 물체의 파지 공간 모델을 확률적 방식으로 학습하고, 두 모델을 결합하여 실시간으로 최적의 잡기 자세(인터셉트 지점)를 결정하는 새로운 방법론을 제안했습니다.

먼저 로봇의 가용 공간(reachable space) 모델링부터 살펴보겠습니다. 로봇 팔이 도달 가능한 모든 손끝 자세(위치+방향)의 집합은 일반적으로 6차원(SE(3)) 공간에서 매우 복잡한 형태의 영역을 이룹니다. 이를 분석하기 위해 과거 연구들에서는 로봇의 작업공간 경계를 기하학적으로 해석하거나, 격자화된 3D 공간의 점들에 대해 역기구학(IK)으로 도달 가능 여부를 일일이 검사하여 데이터베이스를 만드는 접근이 시도되었습니다. 그러나 이러한 방법들은 불연속적(discrete)인 근사만 제공하거나 로봇 종류마다 개별 설계가 필요하며, 실시간으로 활용하기 어렵다는 단점이 있습니다. 이에 반해 본 논문에서는 로봇의 6D 가용 공간을 하나의 확률분포로 모델링하는 아이디어를 취했습니다. 구체적으로, 로봇이 취할 수 있는 손끝의 위치 및 방향 데이터를 양성 표본(positive examples)으로 수집한 뒤, 이를 학습시켜 확률 밀도 함수로 표현합니다. 저자들은 이러한 one-class 분류 접근법을 사용하면, 오로지 도달 가능한 경우의 데이터만으로도 로봇 작업공간을 충분히 묘사할 수 있고, 도달 불가능한 영역에 대해서는 모델의 밀도 값이 자연스럽게 0에 가까워져 거짓 양성(false positive)을 거의 내지 않는다고 설명합니다.

가용 공간 모델 학습을 위한 데이터 획득은 두 가지 방식으로 이루어졌습니다. 첫째, 인간 조작을 통한 로봇 팔 시범입니다. 연구진은 KUKA LWR 4+ 로봇팔을 사람이 직접 이끌어(kinesthetic teaching) 다양한 위치로 움직이는 시범 조작을 수행하여, 로봇이 닿을 수 있는 끝부분 자세들을 수집했습니다. 특히 로봇이 매번 동일한 초기 자세(대기자세)에서 출발하여, 작업공간 내 여러 지점을 향해 팔을 뻗는 약 20개의 데모를 진행함으로써, 로봇이 어디까지 팔을 뻗을 수 있는지 다양한 방향으로 데이터를 얻었습니다. 각 데모의 말단 자세(손끝 위치와 자세)를 모으면 로봇 reachable space 경계 부근의 표본을 얻을 수 있는데, 연구진은 20개 정도의 데모로도 충분히 안정적인 작업공간 모델을 학습할 수 있었다고 합니다. 둘째, 이러한 인간 시범 외에 알고리즘적 표본 생성도 활용되었습니다. 예를 들어 로봇의 관절공간을 임의로 샘플링하여 손끝의 6D 자세를 계산하고, 자가 충돌이나 특이점 등을 걸러낸 유효 자세들을 모을 수도 있습니다. 논문에서는 자세한 구현을 밝히진 않았으나, 언급된 Section II-B2의 방법으로 LWR 4+ 로봇의 reachable space를 추가로 모델링했다고 되어 있습니다. 결과적으로 이렇게 수집된 수천 개 이상의 손끝 자세 데이터에 대해 가우시안 혼합 모델(GMM)을 학습함으로써, 로봇 팔이 어떤 위치에서 어떤 방향으로 손목을 향하게 할 수 있는지에 대한 확률 모델을 만들었습니다.

예를 들어, 논문에 제시된 Fig. 7은 7-DOF LWR 로봇의 reachable space를 나타낸 그림으로, 로봇 손끝의 3차원 위치를 둘러싼 등고선(plots)과 대응 가능한 손목 방향의 분포를 시각화하고 있습니다. 이 모델을 이용하면, 어떤 3D 위치가 로봇으로 reachable 한지를 밀도 값으로 판단할 수 있을 뿐 아니라, 특정 위치에서 로봇이 취할 수 있는 최적 손목 방향이 무엇인지도 조건부 확률 질의로 얻을 수 있습니다. 즉, 학습된 GMM으로부터 “만약 손끝 위치가 (x,y,z)라면, 로봇 손목은 어떤 방향 쪽으로 향할 수 있는가?”를 질의하면 가장 가능도 높은 방향(orientation)을 계산할 수 있고, 반대로 “손목 방향을 특정 각도로 정하면 reachable 위치가 어디인가?”도 추론할 수 있는 것입니다.

한편, 물체의 파지 공간(graspable space) 모델링은 물체를 어떤 자세로 쥘 수 있는지를 확률적으로 표현한 것입니다. 로봇이 공중에서 물체를 잡는 경우, 아무 위치나 잡는 것이 아니라 정해진 부분(예: 라켓의 손잡이, 망치의 손잡이 부분 등)을 잡아야 하며, 또 로봇 손가락이 물체를 둘러싸는 방향도 제한됩니다. 따라서 물체마다 잡기 좋게 손을 가져갈 수 있는 위치와 자세의 집합이 존재하며, 이를 Graspable space라 정의합니다. 이 또한 6차원 공간(손끝의 상대적인 위치+자세)에서 복잡한 분포를 가지므로, 시범 학습을 통해 모델링하였습니다. 연구진은 각 물체에 대해 인간이 직접 로봇 팔과 손을 움직여서 물체를 잡는 시범을 제공했고, 이 과정에서 물체와 로봇 손의 상대적인 위치/자세를 캡쳐하여 데이터로 활용했습니다. 예를 들어 Allegro Hand로 병을 잡는 파지 공간을 학습하기 위해, 사람 연구자가 로봇 팔을 수동으로 이끌어 약 15초 동안 여러 각도에서 병을 쥐어보는 시범을 보였습니다. 이 동안 240Hz로 모션 캡쳐 시스템이 물체의 좌표와 로봇 손끝의 좌표를 동기화하여 기록하였고, 총 약 3600개의 순간 자세 표본을 얻었습니다. 이렇게 모인 데이터 중 대표적인 300개 표본을 무작위 추출하여 GMM 학습에 사용함으로써, 해당 물체를 잡을 수 있는 손 위치/방향의 확률 모델을 구축했습니다. Fig. 4에 그 예시가 제시되어 있는데, (a)는 로봇 손, (b)는 시범 과정, (c)는 시범으로 얻은 파지 자세 표본 분포, (d)는 GMM으로 모델링한 후 특정 위치에서의 손목방향 가능도 분포 등으로 구성되어 있습니다. 이를 통해 물체에 대해 “어떤 상대적 자세로 로봇 손을 가져가면 잡을 수 있다”를 확률적으로 표현할 수 있게 되었습니다.

가용 공간 모델과 파지 공간 모델이 모두 준비되었다면, 이제 비행 물체를 언제 어디서 잡을지 결정하는 일만 남습니다. 저자들은 두 모델을 통합적으로 활용하여 최적의 catching 자세와 시점을 산출하는 알고리즘을 구현했습니다. 개략적인 과정은 다음과 같습니다. 우선 앞서 설명한 SVR 기반 물체 궤적 예측 모듈을 통해, 물체가 앞으로 비행할 경로(연속적인 위치와 자세의 시간 함수)를 예측합니다. 이 예측 궤적 상에서 일정한 시간 간격으로 후보 포인트(미래 시각 t_i에서의 물체 자세)를 샘플링합니다. 그런 다음 각 후보 (p_i, q_i)에 대해 로봇이 그 지점에서 잡을 수 있는지를 평가하는데, 이것이 바로 reachable-space 모델과 graspable-space 모델의 결합 판단입니다. 구체적으로, 후보 물체 자세 (p_i, q_i)가 주어지면 우선 로봇 가용 공간 모델을 이용해 그 위치 p_i에서 로봇 손끝이 취할 수 있는 방향 분포를 계산할 수 있습니다. 동시에 파지 공간 모델로부터는 물체가 자세 q_i일 때 로봇 손이 취해야 할 상대 방향을 얻습니다. 이 둘이 일치한다면 (즉, 물체의 그 자세에서 로봇이 손을 넣어 잡을 수 있는 경우), 해당 지점은 유효한 catching 자세가 됩니다. 논문에서는 이 과정을 더욱 효율화하기 위해, 아예 reachable-space와 graspable-space를 하나의 결합 확률모델 M_{\text{joint}}로 간주하여, 특정 물체 자세에 대한 공동 확률밀도를 계산하는 방법을 취했습니다. 예를 들어 “시간 t_i에 물체가 자세 (p_i, q_i)일 확률”과 “그때 로봇 손이 자세 (p_i, o) (어떤 방향 o)로 도달할 수 있을 확률”을 함께 고려하는 식입니다. 이 joint 모델의 밀도가 가장 높은 (p, q, o, t) 조합이 바로 최적 잡기 자세 및 시점으로 선택됩니다. 저자들은 여기에 하나의 추가적인 휴리스틱을 적용했는데, 잡기 직전 로봇 손바닥의 방향이 날아오는 물체의 운동 방향에 정확히 반대가 되도록 자세를 정제하였습니다. 이는 물체를 받쳐서 충격을 흡수하고 흘리지 않기 위한 것으로, 예를 들어 공이 날아올 때 손바닥이 공의 진행 방향을 향해 있어야 튕겨내지 않고 품을 수 있는 것과 같은 원리입니다.

위와 같은 절차를 통하면, 매 새로운 센서 관측 시점마다 로봇 시스템은 현재 추정된 물체 상태로부터 미래의 잡기 지점과 시간을 지속적으로 업데이트하게 됩니다. 논문에서는 이 과정을 Thread 1로 명명하여, 물체 궤적 예측과 최적 자세 계산이 병렬 쓰레드로 상시 실행됨을 설명합니다. 이 쓰레드는 새로운 카메라 측정이 들어올 때마다 물체의 남은 궤적을 다시 예측하고, 최적의 catching 시점/자세를 다시 계산하여 갱신합니다. 이렇게 계산된 목표 catching 자세는 Thread 2인 로봇 팔 제어기에 실시간으로 전달되어, 로봇 팔이 그 지점으로 이동하도록 유도됩니다. 두 쓰레드의 상호작용은 논문의 Fig. 2 블록 다이어그램에 잘 나타나 있으며, 이러한 계속적인 재계획(replanning) 덕분에 센서 지연이나 예측 오차가 조금씩 누적되더라도 로봇이 잡기 직전까지 궤적을 수정하여 정밀한 포획이 가능해집니다. 다만, 실제 시스템에서는 물체가 로봇에 너무 가까이 접근한 마지막 0.09초 정도 전부터는 더 이상 계획을 변경하지 않고 최종 동작에 집중하도록 하였습니다. 이는 물체가 눈앞에 근접했을 때 후방 카메라 시야에서 부분적으로 사라져 위치 추정이 흔들릴 수 있고, 임계시간 내에 새로운 계산을 반영하기 어려워질 수 있기 때문입니다. 따라서 잡기 90ms 전을 최종 커트오프로 두고, 그 이후에는 현재 계획대로 손가락을 닫는 동작까지 수행하도록 설계되었습니다.

요약하면, 제안된 방법은 확률적 모델링을 통해 로봇의 가능한 자세 공간과 물체의 잡기 가능한 자세를 하나로 통합한 뒤, 실시간 궤적 예측과 결합하여 밀리초 단위로 최적 인터셉트 지점을 찾아내는 알고리즘입니다. 이러한 접근은 기존의 기하학적/격자 기반 방법에 비해 훨씬 매끄럽고 연속적인 해결책을 주며, 계산 비용도 낮아서 2.7GHz CPU에서 0.2밀리초 만에 잡기 자세를 결정할 수 있었던 것으로 보고됩니다. 이는 로봇이 공중에 떠있는 물체를 잡기 위해 쓸 수 있는 시간 여유가 많지 않을 때(보통 <0.5–0.7초)에 큰 강점이 됩니다.

2.5 로봇 팔-손 운동 계획과 제어 (Reactive Arm-Hand Control)

잡기 시점과 목표 자세가 정해지면, 이제 로봇은 그에 맞추어 팔을 움직이고 손가락을 제어해야 합니다. 이 논문에서는 로봇 팔의 궤적을 생성하기 위해 안정적인 동적 시스템 기반 제어기를 사용하였습니다. 이는 저자들이 이전 연구들에서 개발한 기법으로, 여러 시연 궤적을 일반화하여 종료 안정(equilibrium stable)한 벡터장 형태로 학습하는 시간-불변 DS 기술입니다. 간단히 말해, 사람이 가르쳐준 몇 가지 경로를 자유롭게 뒤섞어도 목표점에 수렴하도록 보장되는 연속 함수 형태로 모델링하는 것으로, SEDS (Stable Estimator of Dynamical Systems) 등의 알고리즘을 응용한 방법입니다. 이 DS 제어기의 장점은 현재 상태를 입력하면 다음에 어느 방향으로 움직일지 즉각 출력해주는 형태이므로, 로봇이 목표에 도달할 때까지 닫힌 형식(closed-form)으로 쭉 따라가는 연속 궤적을 만들어준다는 점입니다. 특히 DS는 시간 매개변수가 없어 목표점만 향하도록 설계되므로, 예측되는 목표 위치나 팔의 경로가 실시간으로 바뀌어도 그때그때 새로운 벡터장을 따라가면 됩니다.

논문에서는 이 DS 기반 팔 제어기를 학습하기 위해 20개의 팔 움직임 시범을 사용했습니다. 앞서 가용 공간 모델을 수집할 때와 동일한 방법으로, 연구자는 로봇 팔을 초기자세에서 시작하여 여러 가지 잡기 목표 자세까지 이끄는 데모들을 수행했습니다. 각 데모는 시작 (대기자세)부터 끝 (잡기자세)까지 팔의 궤적을 제공하며, 이렇게 모인 다수의 경로를 Gaussian Mixture Model로 학습한 후 Dynamical System으로 변환하여 팔 움직임을 생성합니다. 결과적으로, 로봇 팔은 현재 자신의 손끝 위치가 어디에 있든지 간에 DS가 지시하는 방향으로 움직이면 자연스럽게 목표 잡기 자세로 수렴하게 됩니다. 또한 잡기 목표 자체가 움직이는 경우(예: 예측이 변경된 경우)에도, DS는 새로운 목표를 향해 연속적으로 방향을 수정해주므로, 마치 목표를 추적하는 유도장치처럼 팔을 몰고 가는 효과를 냅니다.

하지만 물체 잡기 동작에서는 “언제 도착하는가” 또한 매우 중요합니다. DS 단독으로는 시간에 대한 개념이 없기 때문에 목표점에는 수렴하지만 주어진 시간 내 도달을 보장할 수 없습니다. 이를 위해 논문에서는 타이밍 조절기(timing controller)를 도입했습니다. 타이밍 조절기는 현재 남은 시간과 거리를 바탕으로 DS 출력을 스케일링하여, 로봇이 정확히 물체 도착 시간에 맞춰 도달하도록 속도를 조절합니다. 예를 들면, 처음 예측으로는 잡기 시점이 0.5초 뒤로 계획되었다가 이후 예측이 0.6초로 수정되면, DS의 진행 속도를 20% 늦추어 팔이 약간 천천히 움직이도록 만드는 식입니다. 반대로 시간이 촉박해지면 DS의 스케일을 키워 최대 속도 한계까지 더 빨리 움직이도록 합니다. 이 타이밍 조절은 상시로 작동하여, 예측 시간이 바뀔 때마다 로봇이 그 새로운 시간에 맞춰 도달하도록 해줍니다. 단, 로봇의 물리적 한계를 넘어서까지 보상할 수는 없기 때문에, 만약 목표 잡기 자세에 도달하려면 처음 자세에서 너무 크게 움직여야 하는 경우(예: 반대편에 던져졌는데 로봇이 돌아가야 한다거나)에는 최대 속도로도 시간 내 도달이 불가능할 수 있습니다. 그런 상황은 실패 시도로 간주되며, 논문에서도 실패 사례의 약 12건이 이러한 동역학적으로 불가능한 목표 때문이었다고 보고하고 있습니다.

이제 손가락 제어를 살펴보겠습니다. 앞서 강조했듯, 본 연구는 팔(손목)과 손가락의 움직임을 밀접히 연동시켰습니다. 이를 위해 팔 동작을 담당하는 DS를 마스터(master) DS, 손가락 쪽을 담당하는 DS를 슬레이브(slave) DS로 설정한 연합 Dynamical System (CDS) 구조를 사용했습니다. 팔의 end-effector 상태 (위치 \xi_h \in \mathbb{R}^3, 손목 자세는 별도 \xi_o \in \mathbb{R}^3 축각(axis-angle) 표현)와 손가락 벌어짐 정도 (\xi_f \in \mathbb{R}, 이를 여러 손가락 조인트로 매핑) 등을 모두 상태로 포함하는 결합 시스템을 구성한 것입니다. 마스터 DS는 팔의 궤적을 생성하고, 슬레이브 DS는 손가락의 궤적(벌리고 쥐는 동작)을 생성하되, 슬레이브는 마스터의 진행 상황에 따라 결정되도록 설계되었습니다. 쉽게 말해, 팔이 목표에 가까워짐에 따라 손가락이 닫히는 속도가 빨라지거나, 팔의 속도가 느려지면 손가락 동작도 지연되는 식으로 상호 결합(coupling)된 것입니다. 이 모델을 학습시키기 위해, 연구진은 별도의 데모 실험도 수행했습니다. 사람에게 센서를 장착하여 직접 물체를 잡게 하고, 이 때 손의 궤적과 손가락 굽힘 각도 변화를 기록하여 팔-손 연동 동작의 예시로 삼았습니다. 구체적으로, 5DT 데이터 글러브로 사람 손가락 관절각을 측정하고, 모션캡쳐로 물체와 손의 위치를 추적하면서, 사람이 공중에 던져진 물체를 한 손으로 잡는 동작을 여러 차례 수행했습니다. 이 데이터를 통해 “팔이 이만큼 움직였을 때 손가락은 얼마나 닫혀야 하는가”의 관계를 학습하고, CDS의 마스터-슬레이브 DS 간 결합 함수를 구했습니다. 논문에서는 손가락 동작을 팔 동작의 특정 지표(distance)에 따라 트리거하는 대신, 이러한 데이터 기반 결합 모델을 사용함으로써 별도의 튜닝 없이도 손가락이 정확한 타이밍에 닫히도록 만들었다고 강조합니다. Fig. 15에는 Barrett Hand를 사용한 팔-손 CDS 제어 구성요소들이 제시되어 있고, Fig. 16에는 실제 잡기 동작 시 로봇 팔의 궤적이 예측 궤적을 계속 추종하면서 시간에 맞춰 도달하는 모습이 그려져 있습니다.

최종적으로, 로봇 제어 시스템은 Thread 2 (Arm Controller)로 구현되어 500 Hz 주기로 동작합니다. 이 제어 스레드는 매 주기마다 현재 로봇 팔의 상태와 Thread 1이 업데이트한 최신 목표(잡기 위치, 도달 시각)를 받아서, CDS 컨트롤러를 통해 다음 순간의 팔-손속도 명령을 계산합니다. 계산된 로봇 손끝의 목표 변화(선속도, 각속도)는 다시 역기구학(IK) 모듈을 거쳐 7개 관절의 목표 회전각으로 변환되며, 임계 감쇠 필터(critically damped filter)로 신호를 부드럽게 한 뒤 로봇에 전송됩니다. KUKA LWR 4+ 로봇팔은 자체 내장 제어기로 500Hz의 위치 제어가 가능하므로, 호스트 컴퓨터에서 보낸 관절각 명령을 실시간으로 추종하게 됩니다. 이처럼 예측-계획 쓰레드와 제어기 쓰레드가 동시에 돌아가면서, 로봇은 물체를 향해 팔을 뻗고 손가락을 벌린 채 접근하다가, 적절한 순간에 손가락을 오므려 물체를 붙잡게 됩니다.

2.6 실험 결과 및 분석

논문에서는 제안된 시스템을 시뮬레이터와 실제 로봇 양쪽에서 검증하였습니다. 시뮬레이션 실험은 iCub 휴머노이드 로봇의 상반신 모델을 사용했고, 실제 실험은 KUKA LWR 4+ (7-자유도 로봇팔)에 SimLab Allegro Hand (4지 로봇 손)를 장착한 구성으로 진행되었습니다. 물체 인식 및 추적을 위해 OptiTrack 다중 카메라 모션캡쳐 시스템이 이용되었으며, 물체마다 표면에 반사 마커 3개를 부착하여 240 Hz로 6DOF 자세를 측정했습니다. 주요 실험 시나리오는 사람이 물체를 로봇을 향해 던지면 로봇이 이를 받아잡는 형태로, 던지는 초기 조건(위치, 속도, 각속도)은 실험마다 무작위로 조금씩 달리하여 다양한 상황을 시험했습니다. 특히 물체로는 망치, 테니스 라켓, 빈 플라스틱 병, 절반가량 물이 든 병, 작은 박스 등을 사용하여, 물체의 질량 분포와 공기역학적 특성이 크게 다르도록 구성했습니다. 이들은 로봇에게 매우 다양한 도전 상황을 제공하는데, 예컨대 라켓이나 망치는 잡아야 할 부분(손잡이)이 무게중심과 떨어져 있고, 특히 부분 채운 물병은 비행 중에 내부 유체 이동으로 무게중심이 계속 변하는 등 난해한 움직임을 보입니다. 그럼에도 불구하고, 로봇은 이러한 물체들을 정확히 추적하여 대부분의 경우 공중에서 붙잡는 데 성공하였습니다.

시뮬레이션 결과는 앞서 언급한 대로 iCub 로봇을 통해 확인되었으며, 50회의 무작위 던지기 중 reachable space에 들어온 약 47회의 상황에서 100% 잡기 성공률을 보였습니다. 시뮬레이터에서는 물체 움직임에 모델링 오차나 외란이 없으므로 예측이 완벽에 가깝게 맞아떨어졌고, DS 제어기의 이상적 동작으로 로봇팔이 신속히 목표에 도달하여 실패 사례가 전혀 없었습니다. 이에 반해 실제 로봇 실험에서는 소프트웨어적/기계적 한계와 센서 불확실성이 존재하기 때문에 일부 실패가 발생했지만, 그럼에도 불구하고 매우 높은 성공률을 달성했습니다. 논문에 따르면, 빈 병, 절반 채운 병, 라켓, 박스의 4가지 물체에 대해 각각 20회씩 (총 80회) 던져 실험한 결과, 로봇 작업공간에 들어오지 않은 9회를 제외한 71회의 시도 중 52회 성공하여 73.2%의 전체 성공률을 기록했습니다. 이때 한 번 던져진 물체의 평균 비행시간은 약 0.5초에 불과했으며, 3.5m 거리에서 던진 물체를 그 짧은 시간 안에 잡아낸 것입니다.

성공률 73%라는 수치는 언뜻 완벽해 보이지 않을 수 있으나, 상대적으로 인간의 성능과 비교하면 이 로봇 시스템의 우수성이 두드러집니다. 저자들은 동일한 실험 조건에서 사람 10명에게 맨손으로 물체 잡기를 시도하도록 하여 결과를 비교했는데, 피험자들은 100회의 빈 병 던지기 중 평균 38회밖에 잡지 못했고, 잘 하는 사람도 성공률 70% 수준에 그쳤다고 합니다. 특히 경험이 적은 사람의 경우 성공률이 겨우 10%대에 불과하여, 공중의 변칙적인 물체를 한 손으로 잡는 일이 얼마나 어려운지 보여주었습니다. 이에 비하면, 로봇은 일관되고 높은 성공률(73%)을 보이며 숙련 인간 수준에 가까운 성능을 발휘한 것입니다. 이는 본 논문의 접근법이 실제 현실 상황에서도 효과적으로 작동한다는 강력한 증거라 할 수 있습니다.

물론 실험에서 관찰된 실패 사례들은 향후 개선점을 시사합니다. 논문에서는 총 19회의 실패 원인을 분석하였는데, 12건(과반수)은 잡기 목표가 로봇의 초기자세로부터 너무 멀리 떨어져 관절속도 한계를 넘은 경우였습니다. 이때는 로봇이 최대로 팔을 뻗어도 시간 내 도달하지 못해 물체를 놓치게 됩니다. 4건은 잡는 순간에 손가락 일부가 물체를 잘못 쳐서 물체가 튕겨나간 경우였습니다. 이러한 경우는 드물게 발생했으며, 아마도 물체의 접근 각도가 예상보다 미묘하게 달라 손가락이 충돌한 것으로 보입니다. 남은 3건은 로봇 관절에 부하가 급격히 걸려 토크 제한에 걸리며 로봇이 안전정지한 경우였습니다. 전체적으로 보면 실패는 주로 하드웨어적 한계 상황에서 발생했으며, 제어 알고리즘 자체의 문제로 인한 실패는 매우 적었습니다. 특히 센서의 잡음이나 예측 오차 때문에 엉뚱한 곳으로 팔이 간 경우는 없었다는 점에서, 제안된 확률적 예측+계획 통합 알고리즘의 견고함을 확인할 수 있습니다.

마지막으로, 논문의 실험 결과에는 제안된 방법의 학습 효율과 범용성에 대한 언급도 있습니다. 물체 동역학 모델 학습에 약 20개 정도의 던지기 궤적을 사용하고, 팔 DS 및 파지 모델 학습에도 10~20개 안팎의 시연을 사용한 정도로, 비교적 적은 데이터로 상당히 복잡한 과제를 달성한 것이 인상적입니다. 또한 이 프레임워크를 서로 다른 두 로봇 플랫폼(iCub과 KUKA)에서 모두 구현해보았고, 여러 형태의 물체에 대해서도 유사한 성능을 보였다는 점에서, 제안 기법의 일반화 가능성을 보여줍니다. 이는 핵심 아이디어들이 구체적인 로봇 파라미터나 물체 속성에 강하게 의존하지 않고, 학습으로부터 자동적으로 유도되기 때문으로 판단됩니다. 실제로 저자들은 “본 논문이 불확실성 하에서 초고속 제어의 한 예를 제시하였으며, 과거 연구들이 주로 단순 공 모양 물체나 천천히 회전하는 물체에 국한되었던 데 비해 우리의 연구는 그 범위를 크게 넓혔다”라고 강조하고 있습니다.

2.7 결론

“Catching Objects in Flight” 논문은 로봇이 공중에서 복잡한 물체를 잡는 문제에 대해 학습 기반의 종합적 해결책을 제시한 뛰어난 연구입니다. 물체 궤적 예측부터 잡기 자세 결정, 팔-손 제어에 이르는 전 과정을 통합하였고, 각각의 단계에서 기존 방식의 한계를 극복하는 독창적인 접근을 보여주었습니다. 프로그래밍-바이-데몬스트레이션 기법으로 물체의 비행 동역학과 로봇의 동작 패턴을 획득하고, 이를 확률적 모델과 동적 시스템 제어기로 구현함으로써, 로봇이 밀리초 단위의 반응속도와 높은 적응성을 갖추게 했습니다. 특히 잡기 대상이 불규칙한 모양이고 비행 시간이 매우 짧아 사람조차 잡기 어려운 상황에서, 제안된 시스템이 인간에 필적하는 수준의 성능(성공률 ~73%)을 보인 점은 주목할 만합니다. 이는 로봇이 단순 반복 작업을 넘어 동적인 실제 환경에 대응할 수 있음을 보여준 사례로, 향후 우주 쓰레기 포집이나 고속 물체 조작 등 다양한 응용에 활용될 수 있을 것으로 기대됩니다. 물론 현재 프레임워크는 고정된 위치의 모션캡쳐 카메라에 크게 의존하고 있고, 로봇의 물리적 스펙 한계로 인한 제약도 존재합니다. 따라서 이동 로봇 플랫폼이나 온보드 센서로 확장하고, 보다 빠르고 강인한 로봇 하드웨어와 결합한다면, 공중에서 물체를 잡는 로봇의 활용 범위는 더욱 넓어질 것입니다. 전체적으로 이 논문은 로봇 학습과 실시간 제어를 접목하여 난제를 해결한 훌륭한 사례로서, 추후 동분야 연구자들에게도 많은 영감을 제공하고 있습니다.

참고 자료: 본 리뷰에서는 논문의 내용과 실험 결과를 기반으로 핵심적인 사항들을 정리하였습니다. 자세한 기술 구현이나 추가 실험 정보는 원문을 참고하시기 바랍니다. 또한 관련 분야의 발전된 연구로, 물체 포획을 위한 궤적 최적화 기법이나 딥러닝 기반 접근법 등이 있으나, 해당 논문의 범위를 벗어나므로 본 리뷰에서는 다루지 않았습니다. 이 논문의 접근법은 로봇의 인지-계획-제어 전 과정을 아우르는 통합 설계를 보여주며, 향후 더욱 복잡한 동작 학습과 고속 제어 연구의 밑거름이 될 것으로 평가됩니다.