📃3D Motion Field 리뷰

Object-centric 3D Motion Field for Robot Learning from Human Videos

• Paper Link
• Project Link

1. 🤖 로봇 학습에서 인간 영상을 활용하는 주요 과제는 액션 지식을 추출하는 것이며, 본 논문은 객체 중심 3D 모션 필드를 로봇 학습을 위한 새로운 액션 표현으로 제안합니다.
2. ⚙️ 제안된 프레임워크는 시뮬레이션 학습을 통해 노이즈가 심한 RGBD 영상에서 정밀한 객체 3D 모션을 강건하게 추출하는 ‘디노이징’ 3D 모션 필드 추정기를 구현합니다.
3. 📊 실제 실험 결과, 본 방법은 기존 방식 대비 3D 모션 추정 오류를 50% 이상 줄였고, 다양한 작업에서 이전 방식보다 월등히 높은 평균 약 55%의 제로샷 성공률을 달성하며 정밀 조작 능력까지 보여주었습니다.

---

1 Brief Review

로봇 학습에서 데이터는 주된 병목 현상입니다. 대규모의 고품질 로봇 데이터를 실제 세계에서 수집하는 것은 비용이 많이 들고 복잡한 작업의 경우 정신적으로도 어렵습니다. 인간 객체 상호작용 비디오는 이러한 과제를 극복하기 위한 유망한 수단으로 떠오르고 있습니다. 이러한 비디오는 확장 가능하며 풍부하고 자연스러운 복잡한 작업 시연을 담고 있습니다. 그러나 비디오에서 액션 지식 (또는 액션 표현)을 추출하여 정책 학습에 사용하는 방법은 여전히 핵심 과제입니다. 기존의 액션 표현들(예: video frames, pixelflow, pointcloud flow)은 모델링 복잡성 또는 정보 손실과 같은 내재적 한계를 가집니다.

본 논문은 인간 비디오에서 로봇 학습을 위한 액션 표현으로 object-centric 3D motion field를 사용할 것을 제안합니다. object-centric 3D motion field는 입력 이미지에서 객체 픽셀에 대한 밀집된 위치 및 모션 필드로, 객체의 관찰 가능한 각 지점이 각 작업에서 어떻게 움직여야 하는지를 나타냅니다. 이 표현은 로봇 제어를 위한 최소한의 충분한 3D 정보를 보존하고, 이미지 기반이며, 객체 중심적이어서 cross-embodiment transfer를 단순화하며, RGBD 비디오에만 의존합니다. 본 논문은 zero-shot control을 위해 이 표현을 비디오에서 추출하는 새로운 프레임워크를 제시합니다.

이 프레임워크는 두 가지 주요 단계로 구성됩니다.

Phase I: Seeing 3D Motion Field in Noise (3D Motion Field 추출)

첫 번째 단계는 노이즈가 많은 RGBD 비디오에서 정확한 3D motion field를 추출하는 것입니다. 기존의 direct approach는 노이즈가 많은 depth 측정값과 pixel tracker 오류로 인해 부정확한 3D 모션을 초래합니다. 이를 해결하기 위해, 본 논문은 노이즈가 많은 센서 측정값으로부터 groundtruth 3D motion field를 재구성하는 “denoising” 3D motion field estimator를 학습하는 방법을 제안합니다. 깊이 노이즈는 시뮬레이션하기 쉬운 특성을 가지고 있으며, 이 태스크는 기하학적 데이터만 포함하므로 simulation으로 훈련된 estimator는 real world로 잘 전이됩니다.

• 데이터 생성: ShapeNet 데이터셋의 객체와 무작위로 생성된 강체를 사용하여 훈련 객체를 생성합니다. 무작위로 카메라와 객체 위치를 설정하고 무작위 twist motion(translation 및 rotation)을 적용하여 여러 스텝 동안 객체를 이동시킵니다. ray casting 및 projection을 통해 초기 프레임의 각 관찰된 픽셀에 대한 3D pixel movement와 groundtruth 3D motion을 계산하여 입력 및 레이블 데이터를 생성합니다 (Figure 3 좌측). 256x256 해상도의 8M 샘플을 생성합니다.
• 데이터 증강: 훈련 중 다양한 데이터 augmentation을 적용하여 센서 노이즈를 시뮬레이션합니다. depth에는 무작위 missing value, white noise, wrong value 효과를 적용합니다. pixel flow 입력에는 무작위 Gaussian noise를 적용하고 random dropout을 사용하여 부분적/희소한 pixel flow에서도 추론할 수 있도록 합니다 (Phase II-A 라벨링 속도 향상). subset masking도 적용하여 복잡한 객체 윤곽을 근사합니다. 이는 Denoising Autoencoder와 유사한 아이디어입니다.
• 모델 아키텍처: 3D motion field estimator f는 dual head UNet 모델을 사용합니다 (Figure 4). 이 모델은 Fdepth와 Fmotion을 별도의 저수준 디코더 브랜치(fdepth, fmotion)를 통해 예측합니다. 입력에 dense한 “intrinsic” map feature Imap \in R^{H \times W \times 4}을 concatenated 합니다. Imap은 ((y - c_y)/f_y, (x - c_x)/f_x, 1/f_y, 1/f_x)로 정의되며 (식 1), 정확한 Fmotion 예측에 중요한 low-level 정보를 제공합니다.
• 훈련: weighted Huber loss를 사용하여 모델을 훈련합니다 (식 2): L = E_{x,F,M \sim D_{sim}} \|M \odot (f_{depth}(x) - F_{depth})\| + \alpha\|M \odot (f_{motion}(x) - F_{motion})\|. 여기서 Dsim은 시뮬레이션 데이터셋, M은 객체 마스크, \odot는 요소별 곱이며, 손실은 객체 부분에만 적용됩니다. \alpha는 가중치 하이퍼파라미터입니다. AdamW optimizer를 사용합니다.

Phase II: Predicting Object 3D Motion Field for Control (제어를 위한 3D Motion Field 예측)

정확한 3D motion field를 추출하는 estimator를 확보한 후, 인간 비디오를 사용하여 제어 정책을 훈련합니다.

• 데이터셋: 인간 객체 상호작용 비디오 데이터셋 Dhuman을 사용합니다. 이 데이터셋은 SAM2를 사용하여 각 프레임에서 작업 관련 객체의 segmentation을 추출하고, CoTracker3를 사용하여 각 객체 지점의 noisy 3D pixel flow를 추출한 다음, 미리 학습된 estimator를 통해 정확한 3D motion field로 변환하는 전처리 과정을 거칩니다. 객체가 비디오 세그먼트 전체에서 일관되게 보이는 (완전히 가려지지 않은) 경우에만 사용합니다.
• 모델 및 훈련: 정책 네트워크 \pi는 segmented RGBD 이미지를 입력으로 사용하여 레이블된 3D motion field를 예측하도록 훈련됩니다. motion field가 이미지 형태이므로, Gaussian policy 또는 Diffusion policy를 사용할 수 있습니다 (Figure 4). dual-head UNet 아키텍처를 재사용합니다. 일반적인 회귀 손실 함수를 사용하여 훈련합니다 (식 3): L_{\pi} = E_{o,F,M \sim D_{human}} \|M \odot (\pi_{depth}(o, \tilde{F}, t) - F_{depth})\| + \alpha\|M \odot (\pi_{motion}(o, \tilde{F}, t) - F_{motion})\|. 여기서 o는 segmented RGBD 관찰, F는 groundtruth object 3D motion field (추정기가 레이블링), M은 객체 마스크입니다. (\tilde{F}, t)는 Diffusion model의 noised motion field sample과 timestep입니다. 정책 네트워크는 작업 관련 객체 정보만 사용하므로 human domain과 robot domain 간의 차이가 최소화됩니다. random masking data augmentation을 적용하여 robustness를 향상시킵니다. Diffusion model의 경우 “masked noise sample”을 입력으로 사용합니다.
• 배포: 추론 시, 예측된 3D motion field F를 로봇 액션으로 변환해야 합니다. 로봇이 이미 객체를 단단히 잡고 있으므로 변환은 간단합니다. 객체 마스크의 각 픽셀에 대해 F를 사용하여 카메라 프레임에서의 현재 및 미래 3D 좌표를 계산하여 두 개의 point cloud P_0, P_1 \in R^{N \times 3}를 얻습니다. 이 point cloud들은 점별 대응 관계가 있으므로 SE(3) transformation T_o = \{R, t\}를 직접 해결하여 정렬할 수 있습니다. \|RP_0^T + t - P_1^T\|^2를 최소화하며, Kabsch method를 통해 폐쇄형 해를 얻습니다. outlier 처리를 위해 RANSAC도 사용합니다. 카메라 포즈가 로봇 베이스 프레임 {b}에서 T_{bc}라고 가정하면, 원하는 로봇 액션은 T_a = T_{bc}T_oT_{bc}^{-1}로 계산됩니다.

실험: real world 실험을 통해 제안하는 방법의 효과를 입증합니다. Intel D435 RGBD 카메라와 XArm7 로봇 팔을 사용합니다.

• 3D Motion Field Estimator 평가: 로봇 팔로 객체를 잡고 카메라 앞에서 움직이는 RGBD 비디오를 촬영하여 ground truth transformation과 함께 test set으로 사용합니다. 제안하는 방법은 baseline인 “direct” method보다 50% 이상 낮은 SE(3) motion error를 달성합니다 (Figure 8 좌측). 입력 깊이에 노이즈가 많더라도 부드러운 깊이와 모션 필드를 성공적으로 재구성합니다 (Figure 6, 14). adversarial robustness 테스트에서 제안하는 방법은 노이즈에 더 강건함을 보여줍니다. Ablation studies에서는 intrinsic map의 두 요소 (좌표 및 inverse focal length) 모두 성공적인 학습에 중요함을 확인했습니다 (Figure 8 중앙).
• 로봇 학습 정책 평가: 인간 비디오 데이터셋으로 훈련된 정책을 사용하여 real world task에서 zero-shot success rate를 평가합니다. Task들은 Pick, Rotate, and Place, Line Tracking, Tool Use I: Pushing, Tool Use II: Wrench, Insertion입니다. 제안하는 방법은 기존 방법들(General Flow 등)보다 훨씬 높은 평균 성공률을 달성합니다 (약 55%, 기존 방법들은 10% 미만) (Figure 8 우측). fine-grained manipulation인 insertion 태스크에서도 높은 정밀도를 보여주며 성공합니다 (Figure 7). 객체 중심적 입력 표현 덕분에 배경 변화에 대한 robustness도 관찰됩니다.
• 정책 Ablation: Fine-grained task의 경우 Diffusion policy가 Gaussian policy보다 정확하고 고품질의 motion field를 생성하는 데 중요함을 확인했습니다. 또한 Diffusion model에서 객체 마스크 외부 영역의 노이즈를 마스킹하는 것이 훈련을 단순화하고 성능을 향상시키며, 훈련 중 object masking augmentation이 subtle한 domain gap을 줄이는 데 중요함을 발견했습니다 (Table 1).

결론: 본 논문은 object-centric 3D motion field 표현을 사용하여 인간 비디오로부터 로봇 제어 정책을 학습하는 새로운 프레임워크를 시연했습니다. 제안하는 방법은 강력한 3D motion estimator와 밀집된 flow prediction 아키텍처를 도입하여 기존 표현의 주요 한계를 극복하고 더 나은 cross-embodiment transfer 및 배경 일반화를 가능하게 합니다. 실험 결과는 모션 추정 및 다양한 real world task 전반에 걸쳐 기존 방법 대비 상당한 개선을 보여주며, 정밀 조작 태스크 처리에서 전례 없는 효과를 입증했습니다. 본 방법은 확장 가능한 인간 비디오 데이터셋을 활용하여 다재다능하고 일반화 가능한 로봇 에이전트를 훈련할 수 있는 새로운 가능성을 열어줍니다.

제한 사항: 완전한 occlusion 상황에서의 지식 추출 미고려, 그리퍼 외 로봇 손으로의 확장, 움직이는 카메라로의 확장, soft-body 처리에 대한 추가 연구 필요.

주요 기여:

1. 로봇 학습을 위해 object-centric 3D motion field를 사용하고 이를 비디오에서 추출하는 새로운 학습 프레임워크 제안.
2. real world에서 object-centric 3D motion field를 학습하고 예측하는 간단하고 새로운 아키텍처 제시 (인간 비디오만으로 로봇 기술 학습 가능).
3. 구성 요소의 real world 검증 (motion estimation 오류 50% 이상 감소, 기존 방법 능가, fine-grained manipulation 기술 획득).

---

2 Detail Review

객체 중심 3D 모션 필드: 인간 비디오로 로봇 학습하기 (심층 리뷰)

인간 시연 영상(왼쪽)만으로 학습한 로봇이 유사한 작업을 수행하는 모습(오른쪽). 이 연구는 로봇이 사람 영상을 보고 제로샷으로 동작을 학습하도록 하는 새로운 프레임워크를 제안한다.

2.1 기술적 기여

데이터 병목 문제와 기존 접근의 한계: 로봇 제어 정책 학습에는 대규모의 로봇 시연 데이터가 필요하지만, 실제 로봇으로 양질의 데이터를 모으는 일은 비용과 시간이 많이 드는 어려운 작업입니다. 이에 대한 대안으로 인간-객체 상호작용 비디오가 주목받고 있습니다. 하지만 사람이 등장하는 영상을 로봇 학습에 활용하려면, 영상으로부터 행동 표현(action representation)을 효과적으로 추출하는 것이 관건입니다. 기존에 제안된 다양한 표현 방식들이 있지만 각각 단점이 있었습니다. 예를 들어, 미래 비디오 프레임 자체를 행동으로 예측하는 접근은 영상이 불필요하게 복잡하고 흐릿해 학습을 어렵게 만들었고, 2D 픽셀 흐름(Optical Flow) 기반 표현은 3차원 정보가 손실되는 문제가 있었습니다. 3D 포인트클라우드 흐름은 센서 잡음에 민감해 부정확했고, SE(3) 객체 자세 변환 기반 방법은 미리 알고 있는 물체 3D 모델에 의존하며 강체(rigid) 물체로 한정되는 한계가 있었습니다. 요컨대, 로봇 학습을 위한 이상적인 행동 표현이 무엇인지 명확하지 않은 상황이었고, 이에 대한 해답을 이 논문이 제시합니다.

객체 중심 3D 모션 필드(Object-centric 3D Motion Field)의 개념: 저자들은 객체의 3차원 움직임 자체에 초점을 맞춘 새로운 행동 표현을 제안합니다. 구체적으로, 연속된 두 영상 프레임 사이에서 화면에 보이는 각 지점(pixel)의 깊이 및 3D 이동값을 나타낸 4채널 밀집 이미지 형태의 정보를 정의합니다. 첫 번째 채널에는 현재 프레임 각 픽셀의 깊이값이, 나머지 세 채널에는 다음 프레임으로의 3D 이동 벡터(dx, dy, dz)가 저장됩니다. 이처럼 픽셀 단위로 해당 물체 표면의 이동을 표현함으로써, 카메라 내부 파라미터(intrinsics)와 함께하면 각 점의 3D 위치 변화까지 완전히 재구성할 수 있습니다. 중요한 것은 이 표현이 오직 관심 물체(object)에 국한되도록 객체 중심으로 설계되었다는 점입니다. 사람이 어떻게 손을 움직였는지 등의 정보는 배제하고, 작업을 수행함에 있어 물체가 어떻게 이동해야 하는지만 캡처합니다. 이러한 설계는 인간과 로봇의 팔/손 구조 차이를 극복해 플랫폼 간(embodiment 간) 지식 전이를 쉽게 하고, 배경이나 사람 모습이 달라도 동일한 작업으로 학습할 수 있게 합니다. 요약하면 객체 중심 3D 모션 필드는 로봇 제어에 필요한 최소한의 3D 정보만 유지하고, 이미지 기반 표현으로서 강력한 비전 모델들과 결합할 수 있으며, 구체적인 3D 모델 사전 지식 없이 RGB-D 영상만으로 추출 가능하다는 장점이 있습니다.

핵심 아이디어 및 차별성: 객체 중심 3D 모션 필드를 활용함으로써 이 연구는 사람 시연 영상만으로 로봇을 가르치는 새로운 프레임워크를 구현했습니다. 기존 방법들과 달리, 이 접근법은 로봇 데이터를 전혀 사용하지 않는 제로샷 학습, 물체 3D 모델이나 자세 추정 불필요, 실행 중 피드백을 통한 폐루프 제어, 깊이 센서 노이즈에 강인함, 복잡한 배경이나 방해물에 대한 일반화 등의 측면에서 두드러진 이점을 보입니다. 이러한 특징들은 논문의 기법이 앞서 언급한 기존 연구들의 한계를 효과적으로 극복했음을 나타냅니다.

그림: 논문의 전체적인 학습 프레임워크 개요. (위) Phase I: 시뮬레이션에서 다양한 객체와 랜덤 3D 이동으로 구성된 데이터를 생성하여, 3D 모션 필드 추정기를 학습시킵니다. 이 모델은 노이즈가 섞인 깊이/흐름 입력으로부터 부드럽고 정확한 3D 모션 필드를 복원하도록 훈련됩니다. (아래) Phase II-A: 학습된 추정기를 활용해 실제 인간 영상에서 객체의 3D 모션 필드를 추출합니다. SAM과 CoTracker로 물체를 분할 및 추적한 후, 추적 결과(노이즈 있는 3D 픽셀 흐름)를 추정기에 넣어 정확한 3D 모션 필드 레이블을 얻습니다. Phase II-B: 이렇게 레이블링된 인간 시연 데이터로 3D 모션 필드 예측 정책 모델을 학습합니다. 이 정책은 새로운 관측 이미지(분할된 RGB-D 입력)를 받아 해당 작업에서 물체가 어떻게 움직여야 하는지를 3D 모션 필드 형태로 예측합니다. 마지막으로 예측한 모션 필드를 로봇 제어 명령(SE(3) 이동)으로 변환하여 실제 로봇을 움직입니다.

Phase I: 노이즈 제거 3D 모션 필드 추정기 – 깊이 노이즈 문제 해결: 일반적인 RGB-D 카메라는 조명이나 물체 움직임에 따라 심각한 깊이 노이즈를 발생시키며, 이는 3D 모션 추정에 큰 오차를 유발합니다. 논문에서는 이 문제를 해결하기 위해 대규모 시뮬레이션 데이터로 학습한 ‘디노이징(denoising) 3D 모션 필드 추정기’를 제안했습니다. 연구진은 ShapeNet 등에서 다양한 모양의 가상 객체를 가져와 무작위 크기와 위치로 배치하고, 임의의 3D 이동(병진+회전)을 발생시켜 다량의 합성 RGB-D 영상 쌍을 생성했습니다. 각 사례마다 노이즈 없는 정확한 3D 모션 필드를 레이블로 계산하고, 입력으로는 인위적으로 노이즈를 추가한 깊이 지도와 2D 추적 결과(픽셀 흐름)를 사용했습니다. 이렇게 8백만 개가 넘는 학습 샘플을 생성하여 추정기 신경망을 훈련했는데, 주로 U-Net 구조를 활용하였고 출력으로 깊이 보정값과 3D 이동값을 각각 예측하는 듀얼 헤드(decoder) 방식을 취했습니다. 또한 카메라 좌표계에서의 픽셀 위치좌표 및 초점거리 역수로 이루어진 내부파라미터 맵을 추가 입력 채널로 주어, 신경망이 투영 기하의 미분관계까지 학습하도록 설계했습니다. 이렇게 함으로써 픽셀 움직임을 정확한 3D 이동으로 환산하는 데 필요한 정보(예: 깊이에 따른 z축 이동 스케일 변화)를 네트워크가 효율적으로 활용할 수 있었습니다. 학습 손실은 객체 영역에 한해 적용되는 Huber 손실로 안정적으로 구성했고, 깊이 구멍(missing data)이나 오차에 robust하도록 입력에 마스크 및 부분 랜덤 결손 등의 노이즈 증강도 수행했습니다. 그 결과 이 모델은 노이즈가 있는 실제 RGB-D 영상에서도 정확한 3D 모션 필드를 복원해낼 수 있게 되었고, 시뮬레이터로 학습했음에도 내용이 순수 기하학적이라 실세계로의 sim-to-real 격차가 매우 작음을 확인했습니다. 실제 실험에서 이 기법은 기존의 직접 계산 방법 대비 3D 운동 추정 오차를 50% 이상 줄여주는 성과를 보였습니다.

Phase II: 객체 중심 3D 모션 필드 예측 정책 – 영상에서 정책으로: Phase I이 3D 모션 필드를 “보는” 능력을 확보했다면, Phase II에서는 로봇이 실제로 동작할 수 있도록 “예측하고 따라하는” 능력을 학습합니다. 우선 다양한 인간 시연 RGB-D 영상 데이터셋을 수집하여, 앞서 학습한 추정기로 각 영상의 과제 관련 물체 움직임을 모두 3D 모션 필드로 변환하고 레이블로 삼았습니다. 이 때 SAM (Segment Anything Model)을 활용해 관심 객체를 매 프레임 자동 분할하고, CoTracker로 객체 픽셀들을 프레임 간 추적하여 픽셀 흐름을 얻은 뒤, 추정기를 통해 정밀한 3D 운동 레이블을 획득합니다. 이렇게 준비된 데이터로 정책 신경망(모션 필드 예측기)을 학습하는데, 입력은 분할된 객체의 RGB-D 영상이고 출력은 해당 장면에서 목표로 하는 물체의 3D 모션 필드입니다. 네트워크 구조는 Phase I의 U-Net 기반을 대부분 공유하며, 출력이 이미지 형태이므로 확률적 생성 모델인 확산 모델(diffusion model)을 도입해 정밀도를 높였습니다. diffusion 정책의 학습에는 출력 모션 필드에 노이즈를 추가한 샘플들을 단계별 복원하도록 하여, 기존 회귀(gaussian) 접근보다 안정적이고 높은 해상도의 결과를 얻을 수 있었습니다. 학습 시 객체 마스크 영역 외의 부분은 무시하도록 하여 배경의 불필요한 노이즈 영향을 줄였으며, 인간 손 vs 로봇 그리퍼로 인한 물체 외형 차이에 대응하기 위해 랜덤 마스킹 증강을 실시하여 약간의 도메인 차이를 보완했습니다. 이렇게 준비된 정책은 사람이나 로봇의 형태 정보를 전혀 보지 않고 오직 물체와 작업 맥락만 활용하기 때문에, 사람 영상으로 학습했어도 로봇에 그대로 적용하는 데 격차가 매우 작습니다. 실제로 학습된 정책망은 카메라 영상만 보고도 인간 시연에서 추출한 것과 동일한 형식의 3D 모션 필드를 예측하며, 이를 최종 로봇 명령으로 변환해 즉각 실행에 옮길 수 있게 됩니다.

로봇 제어로의 변환: 정책이 출력한 3D 모션 필드는 곧 물체의 3차원 목표 이동을 의미하므로, 이를 로봇의 잡고 있는 물체 이동 명령(SE(3) 변환)으로 변환합니다. 방법은 간단합니다: 현재 프레임에서 물체 마스크 내 각 픽셀의 현재 3D 좌표를 깊이값과 카메라 투영으로 계산하고, 모션 필드의 (dx,dy,dz)를 더해 목표 3D 좌표를 얻습니다. 이렇게 얻은 현재-목표 점군(point cloud) 쌍은 픽셀 단위로 1:1 対응되므로, 이들을 가장 잘 맞춰주는 최적의 회전·병진 변환(SE(3))을 폐쇄해형 해법(Kabsch 알고리즘)으로 계산합니다. 노이즈나 외란에 강건하도록 RANSAC으로 이상치도 제거한 뒤 최종 변환을 얻으면, 로봇 기준 좌표계로 변환하여 로봇 팔에 해당 이동을 실행시키면 됩니다. 이 변환 계산은 매우 빠르고 (300~1000Hz 수준) 로봇 제어 루프에 무리 없이 통합됩니다. 단, 이 논문에서는 로봇의 물체 잡기/놓기 동작은 별도의 모듈(사전에 확보된 그리퍼 제어 정책)에 맡기고 있으며, 학습된 정책은 물체를 잡은 이후의 움직임에 초점을 맞추고 있습니다. 이는 사람 손동작을 로봇에 그대로 모방하는 것이 어렵고 불필요하다는 저자들의 판단에 따른 것으로, 차후 어떤 부분을 잡아야 하는지 등의 접촉에 대한 암묵적 지식(affordance)은 추가 학습이 필요하지만 현재는 분리하여 고려한 것입니다.

요약하면, 이 논문의 기술적 기여는 다음과 같습니다:

• 인간 시연 영상으로부터 로봇 행동을 학습하기 위한 새로운 행동 표현으로 객체 중심 3D 모션 필드를 도입하고, 이를 추출하고 활용하는 학습 프레임워크를 제시했습니다.
• 시뮬레이션 기반의 3D 모션 필드 추출 파이프라인과 현실 세계 영상에서의 예측 모델이라는 간단하면서도 효과적인 아키텍처를 고안하여, 노이즈가 많은 RGB-D 영상에서도 정교한 객체 움직임 추출이 가능함을 보였습니다. 이를 통해 인간 영상만으로 새로운 로봇 기술을 가르칠 수 있는 길을 열었습니다.
• 제안한 구성 요소들을 실제 로봇 실험으로 검증한 결과, 모션 추정 오차 50% 이상 감소, 다양한 작업에서 평균 55%의 성공률(이전 기법들은 10% 미만)이라는 뛰어난 성능을 보였고, 순수 인간 손 시연으로 학습한 정책이 정밀 삽입 작업까지 구현하는 것을 최초로 시현해 보였습니다.

2.2 실험 결과 해석

실험 환경: 저자들은 Intel RealSense D435 RGB-D 카메라(정지된 상태)로 사람 시연 영상을 수집하고, UCT 교육용 로봇팔(XArm7)과 병렬 그리퍼로 실제 작업을 수행하는 실험을 구성했습니다. 카메라는 작업대로부터 약 40–50cm 거리에서 물체를 바라보도록 배치되었고, 로봇 손목 카메라는 사용하지 않았습니다. 학습시 입력 영상 해상도는 적절히 크롭 및 리사이즈하여 사용했습니다. 실험은 크게 두 부분으로 나뉩니다: (1) 3D 모션 필드 추정기(Phase I)의 정밀도 평가, (2) 학습된 정책(Phase II)의 로봇 작업 성공률 평가입니다.

1. 3D 모션 필드 추정 성능 평가: 합성 데이터로 학습된 추정기 모델이 실제 환경에서도 정확히 작동하는지 확인하기 위해, 저자들은 로봇이 물체를 임의로 움직이는 장면을 직접 만들어 정확한 기준 답과 함께 테스트했습니다. 로봇 그리퍼로 다양한 모양의 물체들을 쥔 채 무작위로 흔들어서 (병진+회전 운동) 카메라 앞에서 움직이고, 이 때 로봇의 실제 그리퍼 포즈 변화로부터 물체의 실제 3D 변환량(ground-truth)을 계산했습니다. 그런 다음 제안된 추정기와 기존의 직접 계산 방식(깊이값+추적 결과로 바로 3D 계싼)을 비교하여, 복원된 물체 이동 변환의 오차를 측정했습니다. 결과는 Figure 8 (왼쪽) 그래프로 제시되는데, 물체의 평행이동 MSE와 회전 행렬 오차(norm) 지표 모두에서 제안 방법이 기존 대비 현저히 낮은 오차를 기록했습니다. 특히 깊이 입력에 인위적으로 잡음(Gaussian noise)을 추가해 공격적인 강건성 테스트를 수행한 경우, 기존 방법은 오차가 급격히 커진 반면 제안 방법은 훈련시 노이즈에 대비한 덕분에 오차 수준이 거의 증가하지 않았습니다. 또한 네트워크 설계 요소의 유효성도 확인했는데, 카메라 내부 파라미터 맵을 입력에 포함시킨 경우와 아닌 경우를 비교한 어블레이션(ablation)에서, 픽셀 좌표와 초점거리 정보가 없을 때 성능이 크게 떨어지는 것이 입증되었습니다. 이는 본문의 유도대로 화면 좌표와 카메라 모델 정보가 3D 운동 예측에 필수적임을 보여주며, 작은 시야각 변화(±10도)에서조차 초점거리 값의 차이가 예측 정확도에 영향을 줌을 확인했습니다.

2. 인간 영상으로 학습한 정책의 로봇 작업 평가: 다음으로, 진짜 인간 시연만으로 학습된 정책이 실제 로봇 물체 조작 작업들을 성공적으로 수행할 수 있는지 시험했습니다. 저자들은 여러 가지 대표적인 물체 조작 과제를 선정하여 벤치마크로 사용했습니다. 평가한 실제 작업과 목표는 다음과 같습니다:

• 1. 잡아서 돌려 놓기 (Pick, Rotate, and Place): 로봇이 물체를 집어들고 특정 각도로 회전시킨 후 목표 위치에 내려놓는 작업. 최종적으로 정해진 자세로 정확히 물체를 배치해야 성공으로 간주됩니다.
• 2. 선 추적 (Line Tracking): 펜 모양의 손전등을 집어 들어 책상 위에 놓인 전선 모양 라인을 따라 이동시키는 작업. 손전등 불빛이 계속 선을 비추면서 정해진 경로를 끝까지 따라가면 성공이며, 중간에 크게 벗어나면 실패입니다.
• 3. 도구 사용 I - 밀어서 옮기기 (Tool Use I: Pushing): 막대기나 밀대 같은 도구를 집어 한 물체를 목표 위치까지 밀어서 이동시키는 작업.
• 4. 도구 사용 II - 렌치 조이기 (Tool Use II: Wrench): 렌치(스패너)로 너트를 한 바퀴 조이는 작업. 회전하여 끼우는 동작이라 1번 작업과 유사하지만, 물체 간 기구적으로 연결되어 있어 회전 각도가 제약되고 정밀한 맞춤이 필요한 더 어려운 과제입니다.
• 5. 삽입 (Insertion): 물체를 집어서 회전시킨 후 작은 구멍이나 슬롯에 정확히 끼워넣는 작업. 허용 오차가 2.5mm에 불과하여, 몇 도의 각도나 몇 mm 위치 어긋남도 실패로 이어질 수 있는 아주 고난이도 정밀 작업입니다.

각 작업마다 50~150개의 인간 시연 영상을 수집하여 학습에 사용했고, 과제 복잡도에 따라 데이터 수집에 약 2~15분 정도 소요되었다고 보고됩니다. (시연 영상은 일반인이 휴대폰 등으로 촬영한 짧은 3~5초 길이의 RGB-D 클립들로 구성되었습니다.) 학습 시에는 각 프레임의 물체 분할과 추적이 자동화되었지만, 평가 시에는 공정한 비교를 위해 모든 비교 방법들에 대해 물체 분할과 초기 파지(grasp)가 제대로 된 경우만 집계했습니다.

평가 결과, Figure 8 (오른쪽)에 제시된 작업별 성공률에서 제안된 방법이 다른 모든 비교 방법 대비 월등히 높은 성공률을 기록했습니다. 특히 기존 최신 방법으로 알려진 General 3D Flow 기반 정책은 거의 모든 작업에서 한 자릿수 또는 0%에 가까운 성공률에 그친 반면 (정밀 작업에서는 전혀 성공하지 못함), 본 논문의 방법은 평균 55%의 성공률로 유의미하게 높은 성과를 보였습니다. 더욱이 로봇의 동작 궤적을 관찰한 결과, 기존 방법은 초반부터 물체를 엉뚱한 방향으로 움직여 경로를 이탈하는 반면, 제안 방법은 끝까지 인간 시연 경로를 잘 따라가면서 과제를 완수하는 모습을 보였습니다. 이는 앞서 추출한 모션 필드가 정확하고 매끄럽게 연결된 움직임 정보이기에 가능한 일로, 부드러운 추정이 곧 정확한 제어로 이어진 사례입니다. 배경이 학습 때와 달라져도, 입력으로 배경을 제외한 객체 중심 정보만 사용하기 때문에 성능에 문제가 없었음을 확인했습니다.

가장 난이도가 높은 삽입 작업의 경우를 살펴보면, 인간 영상만으로 학습한 정책이 이처럼 섬세한 작업을 해낸 것은 처음이라 의미가 큽니다. 성공률은 약 35% 정도로 완벽하다고 할 수는 없지만, 비교군들은 단 한 번도 성공하지 못했음을 감안하면 상당히 고무적인 결과입니다. 저자들은 삽입 작업 실행 영상을 면밀히 분석한 결과, 로봇이 한 번에 매끄럽게 꽂지는 못하고 “땅땅(bang-bang) 제어”에 가까운 미세 조정을 반복하며 간신히 성공하는 양상을 보였다고 합니다. 이는 사람은 손끝의 미세 감각으로 한 번에 꽂는 반면 로봇은 카메라 관찰만으로 움직이다 보니 약간씩 위치를 보정해가는 것으로, 여전히 인간에 비해 부족한 부분이지만 최종적으로 목표를 달성한다는 점에서 학습 효과를 확인할 수 있습니다. 또한 이러한 추가 미세 조정 동작도 정책이 모션 필드 형태로 목표 이동을 지속 예측하며 마무리 방향을 제시했기에 가능한 것으로, 완전히 실패하는 기존 정책들과 비교됩니다.

정책 구성 요소에 대한 추가 분석: Table 1은 정밀 작업들에 대한 정책 설계 선택의 영향을 요약한 어블레이션 실험 결과입니다. diffusion 모델 대신 전통적 Gaussian 회귀 출력을 사용하거나, diffusion 단계에서 객체 마스크 적용을 생략한 경우 삽입과 렌치 작업에서 0% 성공으로 전혀 성공하지 못했습니다. 또한 학습 시 객체 마스크 증강을 하지 않은 경우 성공률이 5%로 매우 저조했으나, 제안한 모든 기법을 포함한 완전한 모델은 35%까지 향상되었습니다. 이는 diffusion 기반의 고해상도 예측이 정밀 작업에 필수적이고, 비객체 영역 노이즈 제거와 로봇-인간 물체 외형 차이에 대한 증강이 성능에 큰 영향을 미친다는 것을 입증합니다.

정리하면, 이 논문의 실험 결과는 제안한 객체 중심 3D 모션 필드 접근이 실제 현실의 다양한 물체 조작 작업에서 기존 기법들이 실패하던 것을 성공으로 바꿔놓을 만큼 효과적임을 보여줍니다. 인간 영상에서 추출한 정확한 3D 행동 표현을 토대로 학습된 로봇 정책은, 별도의 로봇 데이터 수집 없이도 놀라울 정도의 일반화 성능을 발휘했습니다. 비록 성공률이 100%는 아니지만, 데이터 준비의 용이성과 학습 효율을 고려하면 향후 발전 가능성을 강력히 시사합니다.

2.3 장점과 한계

장점 – 데이터 효율과 일반화의 새로운 지평: 이 논문의 가장 큰 성과는 로봇 학습의 데이터 문제를 인간 시연 영상으로 풀어낸 점입니다. 사람 손으로 시연한 짧은 영상 수십 개만으로도 로봇에게 새로운 기술을 가르칠 수 있다는 것은, 향후 로봇에게 필요한 방대한 데이터를 보다 쉽게 획득할 수 있음을 의미합니다. 또한 객체 중심 3D 모션 필드라는 표현은 로봇 제어에 필요한 핵심 정보만 담고 있어 효율적일 뿐 아니라, 사람과 로봇의 형태 차이를 초월해 동작을 전달한다는 발상의 전환을 보여줍니다. 이 덕분에 하나의 정책으로 다양한 로봇 플랫폼에 적용하거나 새로운 물체나 배경 환경에도 비교적 강인한 일반화를 기대할 수 있습니다. 실제 실험에서도 배경이 바뀌거나 distractor가 있어도 문제없었고, 학습에 사용하지 않은 새로운 물체에 대해서도 제대로 동작하는 등 범용성을 확인했습니다. 또한 시뮬레이션을 활용한 노이즈 제거 추정기는 비교적 단순한 아이디어이지만, 기존에 센서 오차로 어려움을 겪던 3D 추적 문제에 큰 돌파구를 마련했습니다. 이 모델은 입력 깊이에 부분 결함이나 오류가 있어도 2D 추적 정보로 보완하여 3D 데이터를 복원해주므로, 값비싼 고성능 센서를 쓰지 않고도 저렴한 RGB-D 카메라로 정밀 제어를 할 수 있게 합니다. 더 나아가 정책망에 확산 모델을 도입한 것은 로봇 제어 분야에 최신 생성 모델 기법을 적용한 흥미로운 시도로서, 이를 통해 고해상도 연속 행동 출력이 가능함을 보였습니다. 전반적으로 이 연구는 사람 영상에서 로봇이 학습한다는 흥미로운 방향성에 대해, 구체적인 기술적 해법과 가능성을 증명해 보였다는 의의가 있습니다. 특히 삽입 작업 성공과 같은 성과는 이 방법의 실용적 잠재력을 보여주는 사례로, 향후 산업 현장이나 가정에서 사람 시연 한두 번으로 로봇에게 새로운 작업을 가르치는 모습도 상상해볼 수 있게 합니다.

한계 – 깊이 데이터 의존 및 다중 객체 등 현실적 과제: 그럼에도 불구하고, 현재 단계의 기법에는 분명한 한계와 향후 과제가 존재합니다. 먼저, RGB-D 영상 데이터에 대한 의존성입니다. 논문에서는 정확한 3D 모션 추정을 위해 깊이 채널이 필수적이라고 강조합니다. 이는 기술적으로 타당한 주장이나, 현실적으로 인터넷상의 방대한 기존 RGB 영상 데이터를 그대로 활용하지 못한다는 제한이 됩니다. 다행히 휴대폰 등 깊이 센서가 달린 기기가 늘어나고 있어 새로운 RGB-D 데이터 축적도 기대해볼 수 있지만, 어디까지나 추가로 데이터를 모아야 한다는 점은 고려해야 합니다. 둘째, 물체가 카메라에 완전히 가려지는 경우에는 현재 방법이 통하지 않습니다. 학습 시 완전 가려진 구간의 영상은 제외했고, 실행 중에도 물체가 보이는 전제하에 제어가 이뤄집니다. 따라서 사람 시연이나 로봇 수행 중에 물체가 오랫동안 안 보이게 되는 작업 (예: 통 안에 넣었다 꺼내는 등)에는 대응하기 어렵습니다. 이는 추후 추적이 끊기더라도 재식별하거나 기억하는 기술로 보완해야 할 것입니다. 셋째, 다중 객체 또는 복잡한 상호작용의 문제입니다. 본 논문은 한 번에 하나의 주된 작업 대상에 초점을 맞춥니다. 그런데 실제 시나리오에서는 로봇이 여러 개의 물체를 동시에 다루거나, 여러 단계의 도구/대상 상호작용을 거치는 일이 많습니다. 현재 방법을 그대로 확장하면 각 객체마다 모션 필드를 따로 예측하고 순차 제어해야 할텐데, 이 경우 상호 의존성까지 고려하려면 더 발전된 표현과 정책이 필요할 것입니다 (예를 들어 끈으로 연결된 두 물체를 동시에 추적하는 등). 넷째, 로봇 잡기 동작의 통합입니다. 앞서 가정한 대로 본 연구에서는 물체 잡는 정책은 별도로 가정했습니다. 하지만 사람 영상에는 물체를 어떻게 쥐는지까지 모두 나타나므로, 이를 활용하면 로봇이 적절한 파지 방법이나 도구 사용법까지 배울 가능성이 있습니다. 향후에는 어포던스 학습이나 임의 형태 그리퍼에의 일반화 등으로 이 부분까지 통합한다면 더욱 자연스러운 학습 프레임워크가 될 것입니다. 다섯째, 로봇 구성과 환경에 따른 제약입니다. 현재 방법은 UC Berkeley의 XArm7 로봇으로 검증되었는데, 다른 로봇이라도 물체를 task-space에서 움직이는 기능만 있으면 적용 가능할 것으로 보입니다. 하지만 로봇마다 관절 구성이나 작업공간이 다르므로, 추후 다양한 로봇에 이식하며 미세 조정이 필요할 수 있습니다. 또한 환경적으로는 카메라가 고정되어 있고 비교적 단순한 탁상 환경이었는데, 카메라가 이동하거나 작업 공간이 복잡한 경우 추가 모듈(SLAM 등)로 카메라 움직임을 보정하는 확장이 필요합니다. 마지막으로, 성능 향상의 여지입니다. 성공률 55%는 기존 대비 크게 향상된 것이지만, 실제 서비스 로봇에 적용하기엔 아직 실패 확률이 높습니다. 특히 정밀 작업은 3번 중 1번만 성공하는 수준이므로, 더욱 많은 데이터 축적이나 모델 개선으로 성공률을 높여야 합니다. 예컨대, 인간 시연을 단순히 따라하는 것을 넘어 실시간 피드백으로 오차를 보정하는 강화학습이나, 멀티스텝 계획을 접목하면 성공률과 안정성이 향상될 것으로 예상됩니다. 또한 비디오 이해 측면에서, 사람의 의도나 행동 단위를 파악하여 더 고차원의 개념으로도 학습할 수 있을 것입니다.

향후 전망: 저자들은 이러한 한계를 인지하고 향후 연구 방향으로 여러 물체가 있는 복잡한 상호작용 상황, 다른 형태의 로봇 적용, 환경적 제약 처리, 보지 못한 새로운 객체에 대한 일반화 등을 제시하고 있습니다. 결국 이 연구는 “사람처럼 보고 배우는 로봇”의 가능성을 한 단계 보여준 것으로서, 앞으로 남은 도전들은 이 개념을 더욱 일반적이고 강력하게 만드는 과정이라 할 수 있습니다. 로봇공학의 관점에서, 인간 영상으로부터 학習한다는 것은 로봇이 세상의 방대한 비디오 지식을 활용할 길을 열어줍니다. 이번 논문의 객체 중심 3D 모션 필드는 그 중요한 퍼즐 조각 중 하나로, 향후 다른 연구들과 합쳐져 우리가 흔히 보는 유튜브 영상만 보고도 척척 배우는 미래 로봇의 모습을 현실에 가까이 데려올 것으로 기대됩니다.