📃GraspGen 리뷰

A Diffusion-based Framework for 6-DOF Grasping with On-Generator Training

• Paper Link
• Project Link
• Github Link

1. 🤖 GraspGen은 다양한 그리퍼와 복잡한 환경에서 6-DOF 그립 생성을 위한 새로운 확산 모델 기반 프레임워크를 제안하며, 기존 방식들의 일반화 및 안정성 부족 문제를 해결합니다.
2. 🚀 이 프레임워크는 Diffusion-Transformer 아키텍처와 생성 모델 자체의 오류를 학습하여 필터링하는 온-제너레이터(On-Generator) 학습 방식을 적용한 효율적인 Discriminator를 통합하며, 5,300만 개 이상의 대규모 그립 데이터셋을 제공합니다.
3. ✨ GraspGen은 시뮬레이션에서 이전 방법들보다 뛰어난 성능을 보였고, FetchBench 벤치마크에서 최첨단(SOTA) 결과를 달성했으며, 시끄러운 시각적 관측에도 불구하고 실제 로봇 환경에서 효과적인 그립 능력을 입증했습니다.

---

1 Brief Review

본 논문은 6-자유도(DOF) 그립 생성을 위한 확산 기반 프레임워크인 GraspGen을 제안한다. 기존 학습 기반 6-DOF 그립 접근 방식은 다양한 엔드이펙터 및 실제 환경에서 일반화에 어려움을 겪고, 특히 FetchBench와 같은 벤치마크에서 낮은 성공률을 보였다. 이를 해결하기 위해 본 연구는 확산 트랜스포머(Diffusion-Transformer) 아키텍처와 샘플링된 그립의 점수를 매기고 필터링하는 효율적인 판별자(discriminator)를 결합한 GraspGen을 선보인다.

GraspGen의 핵심적인 기술적 기여는 두 가지다.

• 첫째, 6-DOF 그립 생성 문제를 SE(3) 리 군(Lie group) 상의 확산 모델로 정식화한다. 기존 에너지 기반 모델(EBM) 대신 Denoising Diffusion Probabilistic Model(DDPM)을 사용하여 계산 효율성을 높이고 구현을 간소화한다. 그립의 translation 성분을 데이터셋 통계를 기반으로 정규화하는 계수 \kappa = \frac{1}{N}\sum_{i=0}^{N}(max(t_i) - min(t_i))를 도입하며, 이는 translation이 객체 크기에 무관하게 정규화되도록 돕는다. 객체 인코더로는 계층적 특징 처리의 병목 현상을 우회하고 비정형 점 구름을 구조화된 형식으로 변환하여 트랜스포머에 적용하는 PointTransformerV3(PTv3)를 사용한다. 노이즈 예측 네트워크는 점 구름과 그립 포즈를 객체 평균 중심으로 변환하여 입력받고, 훈련 손실은 예측 노이즈와 실제 노이즈 간의 위치 및 방향 차이에 대한 평균 제곱 오차로 정의된다: L = \|\epsilon - \varphi(t, \tilde{g}, \mathcal{X})\|_2^2 여기서 \varphi는 노이즈 예측 네트워크, \mathcal{X}는 객체 점 구름, \tilde{g}는 노이즈가 추가된 그립, t는 확산 시간 단계이다. 특히 translation과 orientation 구성 요소에 대해 두 개의 별도 디노이징 프로세스를 실행하여 성능을 향상시킨다.

• 둘째, 생성 모델의 오탐(false positives) 문제를 해결하기 위해 “온-제너레이터 훈련(On-Generator Training)”이라는 새로운 판별자 훈련 방법을 제안한다. 기존의 오프라인 데이터셋만으로는 생성 모델이 만들어내는 그립의 분포와 실제 실패 패턴을 충분히 반영하지 못한다는 점에 착안한다. 본 방법은 확산 모델로 샘플링된 그립들을 대상으로 시뮬레이션을 통해 성공/실패 여부를 다시 어노테이션하여 “온-제너레이터 데이터셋”을 구축하고, 이 데이터셋으로 판별자를 훈련시킨다. 이 과정을 통해 판별자는 확산 모델이 생성하는 약간의 충돌이나 이상치와 같은 특정 실패 모드를 인지하고 낮은 점수를 할당하도록 학습된다. 판별자 아키텍처는 생성 단계에서 사용된 PointTransformerV3 기반의 객체 인코더를 재사용하며, 이 인코딩된 객체 임베딩과 그립 포즈(SE(3) 표현)를 연결하여 멀티레이어 퍼셉트론(MLP)에 입력해 그립 성공 확률을 예측한다. 이 방식은 기존 판별자보다 메모리 효율성이 21배 높고 정확도도 개선되었다.

GraspGen의 스케일 확장을 위해 Objaverse 데이터셋을 기반으로 8,515개 객체에 대해 Franka Panda, Robotiq-2f-140, 진공 그리퍼의 세 가지 그리퍼 유형에 걸쳐 총 5천3백만 개 이상의 그립으로 구성된 대규모 시뮬레이션 데이터셋을 공개한다. 그립 라벨링은 Isaac 시뮬레이터에서 객체 흔들림 시뮬레이션을 통해 안정적인 접촉 구성을 확인하는 방식으로 이루어진다.

실험 평가는 시뮬레이션과 실제 로봇 환경 모두에서 이루어졌다.

• 시뮬레이션에서는 ACRONYM 데이터셋의 단일 객체 그립 생성 및 FetchBench 벤치마크의 복잡한 클러터 환경에서 GraspGen이 기존의 Contact-point 기반(M2T2, Contact-GraspNet) 및 확산 기반(DexDiffuser, SE3-Diffusion Fields) 방법들을 압도하는 성능을 보여주며 SOTA를 달성했다. 특히, Precision-Coverage 곡선의 AUC(Area Under Curve) 지표에서 다른 모델들을 크게 능가했다. 또한, 부분/단일 시점 점 구름과 전체 점 구름에 모두 일반화하기 위해 두 가지 유형의 데이터를 혼합 훈련하는 접근 방식의 효과를 입증했다. 온-제너레이터 훈련의 중요성은 오프라인 데이터셋과의 EMD(Earth Mover’s Distance) 분석을 통해 확산 모델 생성 그립 분포와의 차이를 명확히 보여주었고, 이로 인해 판별자의 성능이 크게 향상됨을 확인했다. 다양한 그리퍼(Franka, Robotiq-2F-140, 진공)에 걸쳐 GraspGen의 우수성을 입증했으며, 특히 적응형 그리퍼인 Robotiq-2F-140에서는 기존 접촉점 기반 모델의 한계를 극복했다.
• 실제 로봇 평가에서는 UR10 팔과 RealSense D435 카메라를 사용하여 격리된 객체뿐만 아니라 테이블, 바구니, 선반 등 다양한 클러터 환경에서 M2T2 및 AnyGrasp 대비 월등히 높은 그립 성공률(81.3%)을 달성하여 실제 환경으로의 강력한 일반화 능력을 입증했다.

GraspGen은 심층 센싱 및 인스턴스 분할 품질에 의존하며, 특정 기하학적 형태(예: 큐보이드)에 대한 그립 예측에 어려움을 겪는 한계와 데이터 생성 및 훈련에 상당한 계산 자원(약 3K GPU 시간)이 소요된다는 점을 언급한다.

---

2 Detail Review

GraspGen: On-Generator 훈련을 적용한 6-자유도 파지용 확산 기반 프레임워크 – 심층 리뷰

2.1 Introduction

로봇의 6-자유도 파지(Grasping) 문제는 최근 많은 발전이 있었지만, 일반적인 로봇 파지 시스템을 구축하기에는 여전히 어려움이 남아 있다. 예를 들어, 최신 벤치마크인 FetchBench에서 현재 최첨단(SoTA) 기법조차도 20% 미만의 파지 성공률을 보였으며, 지식 기반 모바일 조작 시스템인 OK-Robot의 경우 파지 모듈 실패만으로도 약 8%의 작업 오류율을 기록하였다. 이는 다양한 로봇 형태나 복잡한 실제 환경에서 파지 모델의 일반화 성능에 한계가 있음을 보여준다. 기존의 파지 기법들은 정밀한 물체 자세 정보를 필요로 하거나, 단일 물체에 대해 다중 뷰 스캔을 요구하여 복잡한 환경에는 적용하기 어렵고, 혹은 접촉점 기반(contact-point-based) 표현에 의존함으로써 그리퍼(말단작동기)의 형태가 달라지면 성능이 크게 저하되는 문제가 있었다. 특히 접촉점 기반 파지 모델들은 대칭적인 평행 그리퍼 이외의 다른 형태로 일반화하기 어렵고, 예측한 그립의 점수화를 정확히 수행하는 데에도 한계를 보였다. 일부 연구에서는 복잡한 적재 환경(clutter)에서 여러 물체에 대해 파지를 생성하는 방안을 제시하였으나, 이러한 환경 중심(scene-centric) 접근은 전체 Scene을 시뮬레이션하거나 대규모의 실제 데이터 수집이 필요해 확장성이 떨어지며, 테스트 시 현실 세계 분포와의 괴리 문제를 야기한다. 더욱이 이러한 방법들도 궁극적으로는 인스턴스 세그멘테이션과 결합하여 목표 물체를 지정하는 방식을 사용하므로, 최근 SAM 등의 파운데이션 모델 기반 분할 기법의 발전으로 물체 중심(object-centric) 접근으로 회귀하여 파지 생성을 단순화할 수 있다는 논의가 제기되고 있다.

이러한 배경에서, 본 리뷰의 대상인 GraspGen은 확산 기반 생성 모델과 효율적인 Discriminator(discriminator)를 결합한 새로운 6-자유도 파지 프레임워크로서, 기존 한계를 극복하고자 한다. 이 연구의 핵심 기여는 두 가지로 요약된다:

• 다양한 조건에 대한 유연한 파지 생성: GraspGen은 하나의 통합된 Diffusion-Transformer 기반 아키텍처로 여러 형태의 그리퍼(평행 그리퍼 두 종류와 흡착 패드)와 다양한 관측 환경(부분 point cloud vs. 완전 point cloud), Scene 복잡도(단일 물체 vs. 복잡한 적재 환경), 시뮬레이션 vs. 실제 등 다양한 설정에 걸쳐 확장성을 보이는 파지 생성 시스템을 구현하였다. 이는 현존 파지 시스템의 유연성 부족 문제를 개선한 것이다.

• On-Generator 훈련을 통한 Discriminator 개선: 기존 6-자유도 파지 Discriminator들은 사전 수집된 오프라인 데이터로만 학습되었으나, GraspGen은 생성기가 만들어낸 샘플 분포를 직접 활용하여 Discriminator를 훈련시키는 On-Generator 훈련 방법을 도입하였다. 이를 통해 Discriminator가 생성 모델이 범하는 오류 패턴을 인지하고 잠재적 거짓 양성(false positive) 파지 후보에 낮은 점수를 부여하도록 학습됨으로써, 오직 오프라인 데이터로만 학습된 표준 Discriminator에 비해 성능이 크게 향상됨을 보였다. 다시 말해, GraspGen의 Discriminator는 확산 생성 모델의 고질적 실수(예: 물체와 미세 충돌하거나 물체에서 멀리 떨어진 부적절한 파지 자세)를 걸러내는 능력이 향상되었다.

추가적으로 저자들은 GraspGen의 다양한 설계 선택(훈련 레시피부터 아키텍처 개선까지)이 이전 연구 대비 성능을 향상시킴을 입증하고 있으며, 추론 속도와 메모리 사용량 면에서도 개선을 달성했음을 보고하였다. 또한 5,300만 개 이상의 파지 사례로 구성된 새로운 대규모 시뮬레이션 데이터셋을 공개하여, 본 분야 연구 커뮤니티에 자원을 제공하고 GraspGen의 객체/그리퍼 확장성을 뒷받침하였다. 본 리뷰에서는 이 논문의 동기와 관련 연구를 살펴보고, GraspGen 프레임워크의 전체적인 구성과 확산 기반 파지 생성 아키텍처의 설계 및 참신성, On-Generator 훈련 전략의 구체적 방법과 효과를 분석한다. 이어서 실험 구성과 결과를 섹션별로 상세히 검토하고, 성능상의 우위와 한계점을 비판적으로 논의한다. 마지막으로 이러한 고찰을 바탕으로 향후 연구 방향에 대해 제언한다.

2.2 Related Work

6-자유도 파지는 일반적으로 Grasp Sampling(GS)과 Grasp Analysis(GA)의 두 단계로 구성된다. 최근 생성 모델의 발전에 힘입어 GS 단계에 딥러닝 기반의 확률 생성 기법들이 도입되었다. 초기에는 자기회귀 모델이나 변분 오토인코더(VAE) 기반 접근법이 시도되었으며, 후속 연구에서는 확산 모델(diffusion model)을 6-DoF 파지 생성에 활용하는 방향으로 나아가고 있다. 대표적으로, Mousavian 등의 VAE 기반 GraspNet, Urain 등의 SE3-DiffusionFields, Weng 등의 DexDiffuser 등이 6-자유도 파지 문제에 확산 모델을 적용한 최근 연구들이다. 한편 GA 단계에서는 생성된 파지 후보의 성공 가능성을 점수화하고 순위 매기기 위한 Discriminator 모델이 주로 사용된다. 예를 들어, GQCN (Grasp Quality CNN, Mousavian 등 2019)이나 PointNetGPD (Liang 등 2019) 등이 단일 파지 평가기(discriminator)로 활용된 바 있으며, Weng 등은 확산 기반 생성기에 별도의 Discriminator를 접목하였다. 흥미로운 시도로는 단일 모델이 파지 후보 생성과 평가를 동시에 수행하도록 한 방법도 있는데, Sundermeyer 등은 그리퍼 접촉점을 표현한 후 이를 학습해 곧바로 최고 파지를 예측하도록 하였고, Yuan 등은 이를 변형하여 Transformer를 활용한 M2T2 모델을 개발하였다. 그러나 이러한 접촉점 기반 접근은 앞서 언급했듯이 그리퍼 형태가 달라지면 성능이 떨어지는 문제가 있다.

입력 데이터 형태 측면에서도 다양한 연구가 이루어졌다. 파지 모델은 물체의 3D 형상을 받아들이는데, point cloud 기반 표현이 많이 활용되었고, 이외에도 암시적 표현(Implicit surface)이나 복셀(voxel) 표현 등을 사용한 사례가 있다. GraspGen을 비롯한 다수의 최신 프레임워크는 물체 중심의 3D point cloud 입력을 필요로 하며, 이는 전이학습된 인스턴스 세그멘테이션 모듈 등을 통해 Scene에서 대상 물체의 point cloud을 분리하여 공급받는 시나리오를 가정한다. 물체 중심 접근의 장점은 훈련 시 복잡한 Scene을 일일이 생성하지 않아도 된다는 점이며, SAM2 등 분할 모델의 성숙으로 이러한 접근이 현실적으로 가능해졌다는 것이 저자들의 주장이다.

확산 모델과 로봇 조작 분야의 접목은 최근 활발하다. 확산 모델(Diffusion model)은 이미지 생성에서 큰 성공을 거두었고 (Ho 등 2020; Song & Ermon 2019) 높은 차원 연속확률 분포를 모델링하는데 강력한 도구로 인정받고 있다. 로봇 분야에서도 이를 활용하여 비전-모터 정책 학습 (Chi 등 2024), 모션 플래닝 (Huang 등 2024), Scene 생성 등 다양한 문제를 다루고 있으며, 특히 파지 생성에는 여러 연구가 시도되었다. Urain 등은 antipodal 그립의 6-DoF 위치를 확산 모델로 생성하는 개념을 처음 제안하였고, Weng 등은 이를 미지의 물체와 멀티핑거 손 동작으로 확장하여 DexDiffuser를 발표하면서 Discriminator를 추가하였다. 이 두 연구는 GraspGen에 직접적인 선행으로 볼 수 있는데, GraspGen은 대규모 다중-그리퍼 데이터셋을 추가로 구축하고 생성(파지 후보 생성)과 평가(파지 판별) 단계 모두에서의 성능 향상을 꾀한 점에서 차별화된다. 다시 말해, GraspGen은 이전 확산 기반 파지 생성기의 개념을 발전시키면서, 온-제너레이터 데이터 기반 Discriminator 학습이라는 새로운 요소를 도입하여 전체 파지 파이프라인의 정확도와 효율을 개선한 최신 프레임워크라고 할 수 있다.

2.3 GraspGen 프레임워크 (Proposed Method)

GraspGen은 파지 후보 생성과 파지 평가의 두 모듈로 구성된 모듈식 프레임워크이다. 전자는 확산 모델에 기반한 생성기(generator)가 맡고, 후자는 별도로 학습된 Discriminator(discriminator)가 담당한다. 생성기와 Discriminator는 모두 물체 중심의 point cloud 입력에 조건부로 동작하며, 두 모듈 모두에 Transformer 신경망 구조를 활용한 것이 특징이다. 이하에서는 먼저 확산 기반 파지 생성기의 설계와 학습 방식을 살펴보고, 이어서 On-Generator 훈련 기법을 적용한 Discriminator의 구조와 훈련법을 설명한다. 마지막으로 GraspGen의 대규모 데이터셋 구성에 대해 언급한다.

2.3.1 Grasp Generation with Diffusion

GraspGen의 핵심은 SE(3) 공간에서의 6-자유도 파지 분포를 확산 모델로 학습하는 것이다. 각 물체에 대해 성공 가능한 파지 자세는 연속적이면서도 고도로 다중모드(multimodal) 분포를 이루므로, 이를 데이터 주도적으로 모델링하는 데 확산 기반 접근이 적합하다. 확산 모델에서는 학습 시 정답 데이터에 점차 노이즈를 주입하고, 추론 시는 반대로 노이즈로부터 데이터를 복원하는 과정을 거친다. Urain 등(2023)은 6-DoF 파지를 에너지 기반 모델(EBM)로 정식화하여 score-matching Langevin dynamics 방식의 확산을 구현하였으나, 이 접근은 추론 시 매 단계마다 EBM의 로그-밀도 기울기를 계산해야 하므로 매우 느리다는 단점이 있다. GraspGen은 대신 DDPM(Denoising Diffusion Probabilistic Model) 방식을 채택하여, 반복적 노이즈 제거로 분포를 모델링한다. DDPM은 구현이 간단하고 계산 효율이 높아 파지 문제에 더 적합하며, 최근 연구에 따르면 EBM 기반 SMLD와 DDPM 사이에 이론적 동등성이 성립함이 알려져 있다.

한 가지 문제는 SE(3) 공간 중 회전 공간(SO(3))이 유클리드 공간이 아니라는 점인데, GraspGen은 Urain 등의 선행 연구와 유사하게 SE(3)을 translation(평행이동) 부분과 회전 부분으로 분리(factorize)하여 다룬다. SO(3)는 특수한 리 군 공간이지만, 이를 적절한 표현(예: 회전 행렬 또는 리 대수 등)으로 변환하면 사실상 유클리드 공간처럼 취급할 수 있다. GraspGen은 translation 벡터(3차원)와 회전 표현(3차원; 예: Lie algebra)로 그립을 표현하고, 이들 각각에 별도의 확산 프로세스를 적용하였다. 하나의 DDPM으로 translation+회전을 동시에 생성하는 것보다 두 개의 프로세스로 분리하여 병행 생성하는 편이 성능이 더 우수했는데, 저자들은 이렇게 분할함으로써 모델이 각 부분에 보다 특화된 학습을 할 수 있었기 때문으로 해석한다. 또한 파지의 총 차원이 6으로 비교적 낮기 때문에, 이미지 생성에 흔히 쓰이는 100회 이상의 확산 단계 대신 20회 미만의 노이즈 제거 스텝만으로도 충분한 성능을 얻을 수 있었다고 보고한다. (이미지의 경우 픽셀 차원이 수만 이상이므로 훨씬 복잡한 반면, 파지 자세는 6차원의 비교적 간단한 출력이라는 점을 고려한 것이다.)

확산 모델 학습 시 입력과 출력의 스케일 정규화도 중요한 이슈이다. 특히 translation 성분의 경우 물체 크기에 따라 값의 범위가 크게 달라질 수 있다. GraspGen은 학습 데이터의 통계치를 이용하여 translation 벡터를 정규화하였는데, 모든 학습 데이터(성공 파지들의 translation 성분)를 모은 뒤 그 표준편차에 해당하는 값을 스케일 인자로 채택하였다. 이렇게 하면 별도 그리드 탐색 없이 자동으로 적절한 정규화 계수를 설정할 수 있으며, 실험 결과 이 값이 성능 측면에서 합리적인 국소 최적 역할을 함을 확인하였다. 예를 들어 Franka 그리퍼의 경우 약 3.27의 스케일 인자를 사용하였다. 한편 회전 성분은 이미 제한된 범위를 가지므로 (예: 6D 회전 표현의 경우 한정된 공간), 추가 정규화가 필요 없다.

GraspGen의 확산 모델 네트워크는 Transformer 기반으로 구성된다. 우선 물체의 point cloud은 최신 구조인 PointTransformerV3 (PTv3)로 임베딩된다. 이전까지의 생성적 파지 연구들은 주로 PointNet++와 같은 PointNet 계열 백본을 사용했으나, GraspGen은 처음으로 트랜스포머 기반 point cloud 인코더를 도입하였다. PTv3는 비정형 point cloud을 일련의 토큰(시퀀스)으로 변환한 후 self-attention을 적용하는 방식으로, 기존 PointNet++의 복잡한 이웃 탐색 연산을 피하면서도 높은 표현력을 보여주는 최첨단 기법이다. 이렇게 얻은 물체 임베딩 토큰과, 그립의 현재 노이즈 상태(혹은 시간 step) 등의 정보를 결합하여 노이즈 예측 네트워크가 구성된다. 해당 네트워크는 Diffusion-Transformer 아키텍처라 불리며, 시간 스텝 인덱스 t는 사인-코사인 위치 인코딩으로 임베딩되고 그립 포즈는 MLP를 통해 변환된 후 Transformer에 입력된다.

학습 시에는 임의의 스텝 t를 선택하여 현재의 그립 데이터에 노이즈를 섞은 후, 네트워크가 주입된 노이즈를 맞추도록 학습한다 (denoising loss). 보다 구체적으로, 노이즈 예측 네트워크 f_\theta가 물체 point cloud P에 조건부로 주어진다고 할 때, 손실함수는 실제 노이즈 \epsilon과 예측 노이즈 \hat{\epsilon}=f_\theta(P, t, \text{noisy grasp}) 사이의 차이(평균제곱오차)로 정의된다.

이렇게 훈련된 생성기는 추론 시 새로운 point cloud P에 대해 랜덤 노이즈로 초기화된 그립 포즈들을 점진적으로 denoising하여 다양한 파지 후보들을 만들어낸다. GraspGen에서는 이러한 생성 과정에서 물체 point cloud과 그립 좌표계를 물체의 중심으로 정규화(평행이동)하여 입력함으로써, 좌표계 설정에 따른 혼동을 줄였다. 최종적으로 생성된 다수의 파지 후보들은 다음 단계인 Discriminator로 넘어가 성공 가능성 점수를 부여받게 된다.

2.3.2 Grasp Evaluation with On-Generator Training

생성 모델만으로 파지 후보를 생성할 경우 모델의 근사 오류로 인해 현실적으로는 성공 확률이 낮은 거짓 양성 파지(False Positive Grasp)들도 상당수 포함될 수 있다. 예컨대, 그립이 살짝 물체를 관통하거나 물체에서 상당히 떨어진 위치로 생성되는 등, 데이터 분포의 드문 영역에서 나온 부적절한 그립들이 있을 수 있다. 따라서 최종 로봇 실행 전에 이러한 후보들을 걸러낼 평가 메커니즘이 필수적이며, 많은 선행 연구가 별도의 학습된 Discriminator로 각 파지의 성공 가능성을 점수화하여 상위 몇 개를 선택하는 방식을 사용해왔다. GraspGen 역시 Discriminator를 활용하나, 두 가지 중요한 개선점을 도입하여 기존 접근의 성능 한계를 극복하고자 했다.

2.3.2.1 On-Generator Training

첫째는 앞서 강조한 On-Generator 훈련 기법이다. 기존의 시뮬레이션-현실(Sim-to-real) 파지 학습에서는 성공/실패로 라벨링된 오프라인 데이터셋만으로 Discriminator를 학습시켰다. 그러나 저자들은 생성기가 만들어내는 파지 분포가 이 오프라인 데이터 분포와 다르다는 점에 주목하였다. 오프라인 데이터의 실패 사례는 주로 물체에 전혀 접촉하지 못한 그립(예: 충돌 없이 허공을 집는 그립)이거나 아주 엉뚱한 위치의 그립들로 이루어지지만, 확산 생성기가 만들어내는 그립 중에는 물체를 살짝 관통하는 등 미세한 충돌을 일으키는 경우가 있다. 또한 생성 모델의 확률 분포 꼬리에 해당하는 이상치(outlier) 그립—예를 들면 물체에서 비정상적으로 멀리 떨어진 그립—도 나타날 수 있다. 이러한 사례들은 기존 오프라인 데이터의 실패 범주에는 거의 포함되지 않는 경우가 많다 (예: ACRONYM 데이터셋의 경우 충돌하는 실패 그립은 아예 생성하지 않았다 보고됨). 따라서 생성 모델의 고유한 에러 모드를 Discriminator가 학습하려면, 생성기 산출물을 활용한 별도 학습이 필요하다는 것이 저자들의 가설였다.

이를 구현하기 위해, GraspGen은 Algorithm 1로 제시된 절차에 따라 On-Generator 데이터셋을 구축하여 Discriminator를 학습시켰다.

구체적으로, 우선 학습에 사용된 모든 훈련 객체 약 7천 개에 대해 생성기 모델을 동결한 채 충분한 수의 파지 후보를 생성한다. 각 객체마다 약 2천 개씩, 총 1,400만 개 가량의 파지 샘플을 얻었으며, 이는 초기 오프라인 데이터셋(성공/실패 라벨이 있는 파지 데이터)의 규모와 비슷한 양이다. 다음으로 이 생성된 파지들에 대해, 오프라인 데이터 생성 때와 동일한 시뮬레이션 절차(예: 그립 후 흔들어서 유지되는지 확인하는 테스트)를 거쳐 성공 여부를 라벨링한다. 이렇게 얻은 On-Generator 데이터셋(생성기 출력에 대한 시뮬레이션 라벨)은 생성기의 오류 패턴이 반영된 실패 사례들을 다수 포함하고 있으므로, 이 데이터를 사용해 Discriminator를 학습시키면 생성기와 동일 분포에서의 판별 성능을 크게 높일 수 있다. 실제로 저자들의 분석에 따르면, 오직 오프라인 데이터로 학습한 모델 대비 On-Generator 데이터로 학습한 Discriminator가 현저히 높은 AUC를 기록하여 최고의 성능을 보였고, 두 분포를 모두 섞어서 학습한 경우 그 중간 정도 성능을 보였다. 요컨대 생성기 산출물에 특화된 훈련이 Discriminator의 거짓 양성 인지 능력을 비약적으로 향상시켰음을 알 수 있다. 참고로, 이러한 접근의 당위성은 저자들이 제시한 분포 비교를 통해서도 확인된다. 지구 이동 거리(EMD)로 오프라인 vs. On-Generator 데이터의 분포 차이를 정량화한 결과, 두 분포 간에 상당한 차이가 존재하며 특히 실패 그립들에서 그 차이가 훨씬 큼을 보였다. 이는 실패 사례의 공간적 분포가 생성기 출력 쪽이 더 넓게 퍼져있음을 의미하며, On-Generator 훈련의 필요성을 뒷받침한다.

2.3.2.2 Efficient Distriminator

둘째 개선점은 효율적인 Discriminator 아키텍처이다. 기존의 6-DoF 파지 Discriminator는 물체 입력을 처리하기 위해 별도의 PointNet 기반 네트워크를 처음부터 다시 학습시키는 등 복잡한 구조를 사용했는데, GraspGen은 생성기 단계에서 학습한 물체 임베딩을 그대로 활용함으로써 이러한 중복을 제거했다. 구체적으로, 앞 단계의 PTv3 물체 인코더가 출력한 물체 임베딩 벡터를 가져오고, 여기에 대응하는 그립 자세를 간단한 형태로 표현한 벡터를 단순 연결(concatenation)하여 MLP Discriminator에 입력한다. 그립 자세의 표현으로는 SO(3)의 회전 부분을 좌표로 나타낸 벡터 등을 이용한다. 이는 Mousavian 등(2019)의 GQCN에서 사용한 기법—그립의 6D pose로 미리 정의된 그리퍼 점들을 변환시켜 물체 point cloud과 함께 PointNet에 넣는 복잡한 방식—보다 훨씬 단순화된 처리이다. 덕분에 GraspGen의 Discriminator는 최소한의 추가 매개변수와 연산만으로 동작하며, 물체 임베딩 부분은 학습된 것을 frozen하여 쓰고 오직 마지막 MLP 계층만 이진 교차 엔트로피 손실로 학습하면 된다. 이러한 경량 설계로 인해 GraspGen의 Discriminator는 기존 대비 메모리 사용을 크게 절감하면서도 정확도를 높였는데, 논문에 따르면 이전 SoTA Discriminator 구조에 비해 약 6.7 포인트 높은 AUC를 달성하면서 메모리 사용량을 21% 감소시켰다고 한다. 이처럼 가벼운 Discriminator는 다수의 파지 후보를 빠르게 평가하는 데 유리하며, 실제 GraspGen 프레임워크의 실시간 추론 성능(별도 최적화 전 약 20Hz 수준)에도 기여하는 부분이다.

2.3.3 GraspGen Dataset

GraspGen의 성공은 대규모 학습 데이터에 크게 힘입고 있다. 저자들은 GraspGen을 확장성 있게 학습시키기 위해 다양한 물체와 그리퍼를 포괄하는 방대한 시뮬레이션 파지 데이터셋을 구축하였다. 이 데이터셋은 총 3종의 그리퍼(Franka Panda, Robotiq 2F-140 병렬 그리퍼 두 가지; 직경 30mm의 진공 흡착 패드) 각각에 대해 약 1,700만 개씩의 파지 시도 데이터를 포함하며, 총 합하면 5,300만에 이르는 규모이다.

데이터셋 구축을 위해 사용된 물체는 대규모 3D 자율형 객체 모음인 Objaverse에서 선정되었다. Objaverse는 수십만 개의 3D 모델을 담고 있는데, 이 중 저자들은 LVIS 데이터셋의 1,156개 범주와 겹치면서 라이선스가 CC-BY인 36,366개의 메쉬를 선별하였다. 이 방대한 물체 풀(pool)로부터 ShapeNetSem 기반의 기존 파지 데이터셋(예: ACRONYM)보다 더 크고 다양하며 라이선스 제약이 적은 학습 자원을 확보하였다. 다만 공정한 비교를 위해, 이 중 무작위로 8,515개의 객체를 뽑아 ACRONYM과 동일한 규모의 하위셋을 구성하고 이를 일부 실험에 활용하기도 했다.

각 객체에 대해서는 표면 주변의 공간에서 uniform random로 2,000개의 파지 후보(6D 그립 자세)를 샘플링한 후, 시뮬레이터를 통해 성공 여부를 레이블링하였다. 레이블링 파이프라인은 ACRONYM에서 사용된 것과 동일하게, NVIDIA Isaac Gym/Sim 물리 시뮬레이터 안에서 그리퍼로 물체를 쥔 후 흔드는(shaking) 동역학 테스트를 거쳐 물체가 떨어지지 않으면 성공으로 판정하는 방식을 따랐다. 다만 흡착 패드 그리퍼의 경우 흡착 모델 특성상 물리 시뮬레이션보다는 분석적 모델(Mahler 등 2018의 흡착 성공 판정 공식)을 사용하여 성공 여부를 결정하였다.

이렇게 하여 평행 그리퍼 2종과 흡착 패드 각각에 대해 독립된 파지 데이터셋을 얻었으며, GraspGen은 이를 활용하여 다중-그리퍼에 공용으로 적용 가능한 생성 모델을 학습할 수 있었다. 이 새로운 데이터셋은 현 시점 가장 큰 규모의 공개 6-DoF 파지 데이터셋으로서, 향후 보다 복잡한 파지 문제(예: 다지 손가락 그리퍼나 모바일 매니퓰레이터 환경)로의 확장 연구에도 유용한 자원이 될 것으로 기대된다.

2.4 Experimental Evaluation

GraspGen의 성능은 다양하게 검증되었다. 저자들은 시뮬레이션 환경에서 기존 방법들과 비교 실험을 수행하였고, 복잡한 적재 시나리오 벤치마크에서의 성능을 측정하였으며, 부분 관측 vs. 완전 관측 상황에 대한 일반화 실험도 진행하였다. 아울러 On-Generator 훈련의 효과를 분석하기 위한 추가 실험과, 모델 설계 요소들에 대한 성능 기여도 분석(ablation)을 실시하였다. 마지막으로 실제 로봇 실험을 통해 시뮬레이션으로 학습된 GraspGen의 현실 적용성을 평가하였다. 각 결과를 순차적으로 살펴본다.

2.4.1 Simulation Results

실험 셋팅

우선 단일 물체에 대한 6-DoF 파지 생성 정확도를 기존 기법들과 비교하였다.

비교 대상 베이스라인으로는 접촉점 기반 방법인 M2T2 (Yuan 등 2023)와 Contact-GraspNet (Sundermeyer 등 2021), 확산 모델 기반 방법인 SE3-DiffusionFields (Urain 등 2023)와 DexDiffuser (Weng 등 2024), 그리고 강화학습 기반의 AnyGrasp (Fang 등 2023)를 포함하였다. 다만 Contact-GraspNet은 이전 연구에서 이미 M2T2보다 성능이 낮은 것으로 보고되어 본 장의 주요 비교에서는 제외하고, 후술하는 추가 실험에서 다루었다고 한다. 또한 AnyGrasp의 경우 라이선스 문제로 인해 클러스터 상의 시뮬레이션에서 직접 실행하지 못해, 시뮬레이션 비교에서는 빠지고 추후 실제 로봇 실험에서만 다루었다. 공정한 비교를 위해 모든 학습 모델은 앞서 소개한 동일한 GraspGen 데이터셋(Franka-ACRONYM 하위셋, 약 8.5k 객체)으로 훈련되었으며, 테스트는 그 중 815개의 미사용 객체에 대해 각 2,000개의 파지 후보를 생성하여 총 162만 회의 시뮬레이션 파지 시도로 성공률을 측정하는 방식으로 진행되었다.

Full Point Cloud of Single Objects

이 실험에서는 full point cloud – 즉 물체의 3D 메쉬를 샘플링한 완전한 point cloud (스스로 가리는 경우가 없는 상황) – 을 입력으로 사용하여, 순수 파지 생성기의 성능을 평가하였다. 평가 지표로는 Precision-Coverage 곡선을 사용하였는데, Precision은 파지 성공률(정밀도)에 해당하고 Coverage는 예측한 그립들이 실제 양성 그립 분포를 얼마나 포괄하는지 나타내는 지표로서, 일정 거리 이내에 예측 그립이 존재하는 실제 성공 그립의 비율(Recall에 유사한 개념)로 정의된다. Coverage는 파지 결과의 공간적 다양성을 나타내는 척도이며, 두 값 사이의 AUC (곡선 아래 면적)가 높을수록 이상적이다.

비교 결과, GraspGen이 모든 기준에서 우수한 성능을 보였다. Precision-Coverage 곡선의 AUC 측면에서 GraspGen은 기존 방법들을 크게 상회하였으며, AUC 기준 2위와의 격차가 상당한 것으로 보고되었다. 특히 Discriminator를 활용하는 방법들(GraspGen, DexDiffuser, M2T2)이 순수 생성 모델인 SE3-DiffusionFields보다 높은 성능을 보이며, Discriminator의 중요성을 재확인시켰다. 그 중에서도 GraspGen의 Discriminator는 On-Generator 훈련 덕분에 DexDiffuser의 Discriminator보다 생성기 출력 분포에 잘 적응되어 있어, 생성된 그립의 순위매김을 더 정확히 수행한 것으로 나타났다. 반면 M2T2의 접촉점 판별 모듈은 성공 그립에 대해서만 학습되어 실제로는 좋은/나쁜 접촉점 구별에 그치므로, 실패 그립을 걸러내는 능력이 떨어져 전반적인 성능이 낮았다. 이러한 결과는 GraspGen의 생성-평가 결합 전략의 효과를 입증하는 동시에, 파지 문제에서 생성 품질과 함께 평가(스코어링) 품질이 중요함을 보여준다.

Task-level Evaluation in Clutter

추가로, GraspGen은 FetchBench 벤치마크를 통해 복잡한 적재 환경(clutter)에서의 파지 성능도 평가되었다.

FetchBench (Han 등 2024)는 다양한 물체들이 놓인 테이블 환경에서 인식-파지-경로계획-배치에 이르는 전체 파지 파이프라인을 종합 평가하는 시뮬레이션 벤치마크이다. 실험에서는 Franka Panda 로봇팔과 100개의 임의 생성 장면에 대해, 각 장면마다 60개의 파지-이동 작업을 시도하여 총 6,000회의 grasp-place 시나리오를 평가하였다. 이때 GraspGen의 입력은 단일 RGB-D 카메라 관측으로 생성된 부분 point cloud들이며, 인스턴스 세그멘테이션을 통해 물체별 point cloud을 얻는다 (실제 로봇 실험과 동일한 설정). 공정한 비교를 위해, 경로계획에는 장면의 정확한 충돌 모델(ground-truth collision mesh)을 사용함으로써 인식 오차나 모션 플래너의 불완전성이 파지 성능 평가에 끼치는 영향을 줄였다.

결과 지표로는 task success과 grasp success이 사용되었는데, 전자는 물체를 집어 목표 위치에 놓는 전체 작업의 성공 비율이고 후자는 집어 드는 단계까지만 고려한 비율이다. (보통 grasp success가 더 높게 나오며, grasp 이후 운반 중 미끄러짐이나 충돌이 추가로 과제 실패를 야기할 수 있다.) 흥미롭게도, 전지적 시점에서 최상의 성능을 낼 수 있는 Oracle 플래너(즉 데이터셋에 있는 실제 성공 그립을 알고 있다고 가정)가 시도되어 비교되었는데, 이 Oracle의 성능조차 grasp success 약 80%, task success 65% 남짓에 그쳤다. 이는 FetchBench의 난이도가 매우 높음을 보여주며, 주요 원인으로는 충돌 없는 경로가 없는 경우, 기존 모션 플래너 한계로 경로 탐색 실패, 물체가 비좁은 공간에 있어 그립이 있어도 진입 불가능 등의 현실적인 문제가 지목되었다. 이러한 한계는 GraspGen 등 파지 모듈 외적인 요소로 인한 실패 요인으로, 차후 보다 고차원적인 통합적 계획/제어 정책 연구가 필요함을 시사한다.

그럼에도 불구하고, GraspGen은 FetchBench에서 최신 기존 기법들을 능가하는 성과를 보였다. Contact-GraspNet과 M2T2 대비 각각 유의미한 향상폭(수 %~두 자릿수 %대)을 기록하며 종합적인 SOTA 성능을 달성했다. 이는 GraspGen이 복잡한 적재 환경에서도 강인한 파지 후보를 생성하고, 모션 플래너 등의 후속 단계에서 필터링을 거친 후에도 여전히 실행 가능한 좋은 파지들을 제공함을 뜻한다. 요약하면, 단순 Scene(단일 물체)부터 복잡한 Scene(다중 물체)까지 GraspGen의 파지 생성/평가 품질이 동급 최고 수준임을 시뮬레이션으로 입증한 것이다.

Sensitivity to Occlucions

마지막으로, 관측 정보의 불완전성에 대한 일반화 실험 결과를 살펴보자.

GraspGen은 부분 point cloud과 완전 point cloud 모두에 대응할 수 있도록 훈련될 수 있는데, 저자들은 훈련 데이터 구성에 따른 성능 변화를 분석하였다. 하나의 GraspGen 모델을 부분 관측 데이터(단일 뷰 point cloud)만으로 훈련한 경우 완전 point cloud 상황에서 성능 저하가 뚜렷했고, 그 반대의 경우도 마찬가지로 부분 point cloud에 대해 성능 문제가 나타났다. 이는 각각의 경우 모델이 한쪽 분포에 과적합되어 다른 경우에 적응하지 못한 것으로 볼 수 있다. 반면 두 가지 유형의 point cloud 데이터를 50:50 비율로 섞어 훈련한 모델은 부분/완전 point cloud 모두에 견고한 성능을 보였다. 이는 훈련 데이터의 다양성이 GraspGen의 관측 변화에 대한 일반화에 중요함을 시사하며, 실제 어플리케이션에서 센서 구성이 달라지거나 멀티뷰/싱글뷰 환경이 혼재할 경우를 대비해 혼합 데이터를 사용할 필요가 있음을 보여준다.

2.4.2 Analysis of On-Generator Training

본 절에서는 On-Generator 훈련 기법의 효과를 정량적으로 분석한 결과에 대해 조금 더 자세히 언급한다. 앞서 On-Generator 데이터셋의 분포 차이를 EMD로 비교하여 그 필요성을 보인 바 있는데, 추가로 Discriminator 학습 데이터 구성에 따른 성능을 직접 시험하였다.

Discriminator를 오프라인 데이터로만 학습한 경우, On-Generator 데이터로만 학습한 경우, 그리고 두 데이터를 혼합하여 학습한 경우를 비교한 결과, On-Generator 전용 학습 모델이 가장 높은 성능을 보였고 혼합 학습이 그 다음, 순수 오프라인 학습이 가장 저조했다. 예를 들어 AUC 기준으로 오프라인 전용 대비 On-Generator 전용이 상당한 상승폭을 보였다고 보고된다. 이는 On-Generator 훈련이 생성기 고유의 실패 양상을 잡아내는 데 효과적임을 재확인해준다. 또한 On-Generator 데이터로 학습한 모델의 성공 사례를 분석해보면, 물체와 살짝 겹치는 그립이나 경미한 자세 오류로 인해 불안정한 그립 등을 잘 걸러낸다는 점을 확인할 수 있다. 반면 오프라인 데이터로 학습한 Discriminator는 이러한 경우에 상대적으로 높은 점수를 줌으로써 잘못된 양성으로 남기는 경향이 있었다고 한다. 결국 On-Generator 훈련 덕분에 GraspGen의 Discriminator는 자기 생성기의 고질적 실수까지도 인지하여 걸러줄 수 있게 되었고, 이것이 전체 파지 성공률 향상에 핵심적인 기여를 했음을 알 수 있다.

추가적인 소규모 ablation 실험도 Discriminator 구조의 장점을 뒷받침한다. 기존의 복잡한 PointNet 기반 Discriminator(Mousavian 등, 2019 등)와 비교하여 GraspGen의 경량 Discriminator는 메모리 사용을 1/5 수준(약 21%)으로 줄이면서도 정확도를 높였다고 보고된다. 이는 동일한 hardware 자원에서 훨씬 많은 수의 파지를 동시에 평가할 수 있음을 의미하며, 특히 복잡한 Scene에서 상위 파지를 찾기 위해 수백~수천 개의 후보를 걸러내야 하는 상황에서 큰 이점이 된다.

2.4.3 Ablation Studies

GraspGen에 도입된 몇 가지 설계상의 선택들에 대해, 저자들은 별도의 실험을 통해 각각의 성능 영향도를 평가하였다. 주요 ablation 결과는 다음과 같다:

• translation 정규화 스케일: 앞서 언급한 대로, translation 성분에 대한 정규화 스케일의 크기는 성능에 비선형적(convex) 관계를 보였다. 너무 작거나 너무 크게 정규화하면 오히려 파지 예측 오차가 증가하거나 recall(coverage)이 감소하였으며, 적절한 중간값에서 균형이 맞춰졌다. 실험 결과 저자들이 데이터 기반 공식으로 계산한 값이 이 최적점 근처의 성능을 보여, 번거로운 하이퍼파라미터 탐색을 대체할 수 있음을 확인하였다.

• 회전 표현: 회전을 나타내는 방법으로는 6차원 회전 벡터 표현, 오일러 각, Lie Algebra 등 여러 가지를 시험했는데, 유의미한 성능 차이가 나타나지 않았다고 한다. 이는 GraspGen의 확산 모델이 회전 공간을 학습하는 데 있어 특정 표현에 크게 의존하지 않을 만큼 충분한 학습 용량을 지닌 것으로 해석할 수 있다.

• point cloud 인코더 백본: PointNet++ 대비 PointTransformerV3를 사용함으로써 성공률 및 정밀도 향상을 얻었다. 구체적으로, PTv3로 교체 시 translation 오차가 감소하고 recall(coverage)이 증가하는 유의한 개선이 있었으며, 이는 최신 Transformer 기반 point cloud 처리 기법이 파지 생성 문제에도 효과적임을 보여준다.

2.4.4 Performance on Multiple Grippers

GraspGen은 여러 종류의 그리퍼에 대해 단일 프레임워크로 학습될 수 있다는 유연성을 갖는다. 본문에서는 주로 Franka 병렬 그리퍼에 대한 결과를 다루었지만, 부록에 Robotiq-2F-140 병렬 그리퍼와 흡착 패드 gripper에 대한 실험도 포함되었다고 한다. 핵심적으로, GraspGen은 모든 그리퍼에 대해 가장 뛰어난 성능을 보였으며, 성능 격차는 그리퍼 종류에 따라 다르게 나타났다. 예를 들어, Franka 시뮬레이션 실험에서 GraspGen이 M2T2 대비 약 두 자릿수 퍼센트의 향상을 보였는데, Robotiq-2F-140의 경우 그 격차가 더 벌어졌다고 한다. 이는 M2T2가 접촉점 표현을 사용하는데, 해당 표현이 Robotiq 같은 adaptive 그리퍼에는 적합하지 않아 성능이 크게 저하되었기 때문으로 분석된다. 반면 GraspGen은 입력 point cloud 기반이므로 그리퍼 형상 변화에 상대적으로 강인하여, 두 평행 그리퍼 모두에서 안정적인 성능을 유지하였다. 또한 흡착 패드의 경우에도 GraspGen이 SE3-DiffusionFields 등 다른 생성 모델 대비 우수한 결과를 얻었다고 보고된다. 이는 GraspGen의 아키텍처가 그리퍼 임베디드 형태 (즉, 물체+그리퍼 조건) 학습에 무리가 없음을 시사하며, 나아가 향후 다지그리퍼나 로봇 핸드와 같은 복잡한 형태로 확장하는 데도 기반이 될 수 있음을 보여준다.

2.4.5 Real Robot Evaluation

마지막으로, 시뮬레이션에서 학습된 GraspGen의 Real World 성능을 검증하기 위한 실험이 수행되었다.

하드웨어 구성은 UR10 로봇 팔에 Robotiq-2F-140 그리퍼를 장착하고, 상단에 Intel RealSense D435 RGB-D 카메라 한 대를 설치하여 테이블을 내려다보는 형태였다. 소프트웨어적으로는 Jetson 보드 상에서 cuRobo (샘플 기반 모션 플래너)를 사용하여 경로계획 및 역기구학 필터링을 수행하고, NVBlox를 통해 실시간 충돌 맵을 생성하였다. Object instance 분할에는 SAM2 (세그멘테이션 파운데이션 모델), depth 보완에는 FoundationStereo 모델 등을 활용하여, 가능한 현실에서의 인식 성능을 끌어올렸다.

테스트 환경은 네 가지로 구성되었다:

• 단일 물체 (isolated)
• 테이블 위 다수 물체 (table clutter)
• 바구니 안의 물체들 (basket)
• 선반 위의 물체들 (shelf)

점차 난도가 올라가는 시나리오로, 특히 바구니나 선반의 경우 격자 내부나 좁은 공간이라 파지 및 인출 동작이 어렵다. 비교 대상으로는 시뮬레이션에서 우수한 성능을 보인 M2T2와, 실제 데이터로 학습된 AnyGrasp를 선정하였다. 두 모델 모두 공개된 학습 가중치와 파라미터를 그대로 사용하되, 실험 환경에 맞게 몇 가지 입력 처리를 조정하였다. 예를 들어 M2T2는 원래 Scene 전체 point cloud을 입력으로 사용하도록 학습되었는데, 본 실험에서는 카메라 좌표계를 기준으로 point cloud을 90도 회전시키고 로봇 작업 공간에 해당하는 영역만 크롭하여 주는 방식으로, 훈련 시 분포와의 차이를 줄여주었다. AnyGrasp의 경우 학습 데이터가 고정된 카메라 고도에서 수집되었기 때문에, 우리 환경의 카메라 깊이에 맞춰 z축 방향 오프셋을 point cloud에 주어 보정하였다. 또한 AnyGrasp는 원래 다중 예측된 그립 중 Non-Maximum Suppression을 적용하여 중복을 제거하는 후처리가 있었지만, 이 연구의 설정에서는 NMS를 사용하지 않는 편이 성능이 나아 이를 생략하였다. (아마도 우리의 모션 플래너가 목표 그립 셋에 대해 자체적으로 충돌 제거 등을 수행하므로, 중복이 있어도 괜찮았던 것으로 추측된다.) 이러한 전처리 없이는 M2T2나 AnyGrasp 모두 결과 그립을 거의 내지 못해, 부득이 저자들이 언급한 이러한 조정들을 거쳤음을 밝히고 있다. 이는 실제 환경의 분포 차이에 대한 타 모델들의 취약성을 보여주는 것으로, GraspGen처럼 다양한 관측 분포에 대해 훈련되지 않았을 경우 현실 적용이 어렵다는 점을 시사한다.

각 방법은 Scene 당 여러 파지 후보를 출력하며, 상위 100개 그립을 모션 플래너의 목표로 사용하였다. 플래너는 이 중 로봇 충돌이나 역기구학 불능인 그립을 걸러내고, 남은 그립들 중 충돌 없는 경로를 찾아 집어올리기를 시도한다. 최종 파지 성공률은 해당 시나리오에서 잡기에 성공한 비율로 측정되었다. 결과를 보면, GraspGen은 전반적으로 가장 높은 성공률을 달성하였다. 특히 비교 대상들이 특정 어려운 환경에서 성능이 급격히 떨어진 데 비해, GraspGen은 모든 환경에서 고른 성능을 보였다. 예를 들어 단일 물체 환경에서는 GraspGen이 90.5%의 성공률로 M2T2(81.0%)와 AnyGrasp(85.7%)보다 높았고, 테이블 위 복잡 적재의 경우에도 GraspGen 83.3%로 M2T2(75.0%)를 상회하였다. 가장 어려운 선반(shelf) 시나리오에서는 GraspGen 71.4%에 비해 M2T2는 14.3%에 불과했고, AnyGrasp도 42.9%로 성능이 낮았다. 전체 평균 성공률을 보면 GraspGen이 약 81.3%로, M2T2의 52.6%, AnyGrasp의 63.7%를 크게 앞섰다. 물론 GraspGen도 선반/바구니 환경에서 다른 경우보다 성능이 낮아졌는데, 이는 위에서 언급한 대로 로봇 팔의 가용 동작 범위 제한으로 인해 다수의 파지 후보들이 실행 불가능하게 필터링된 영향이 크다. 이러한 환경에서는 모델이 애초에 접근 가능한 그립을 많이 생성해야만 최종 성공률을 높일 수 있는데, GraspGen은 부분적으로나마 그 역량을 보인 반면, M2T2와 AnyGrasp는 훈련 데이터가 단순 탁상 환경에 국한되어 있었기 때문에 새로운 형태의 환경(basket, shelf)에 전혀 일반화하지 못한 것으로 분석된다. 특히 M2T2는 scene-level 모델로 학습된 한계상 작은 물체에 대한 파지 예측을 누락하는 문제도 있었다고 한다. 요컨대, GraspGen의 시뮬레이션→현실 일반화 능력과 환경 다양성에 대한 적응력이 실제 로봇 실험에서도 확인된 셈이다. 저자들은 추가로 여러 파지 예측 예시를 부록에 제시하였는데, GraspGen이 다양한 물체들에 대해 현실에서도 안정적인 파지 자세들을 산출함을 보여준다.

2.5 Conclusion & Limitations

본 논문은 GraspGen이라는 새로운 6-DoF 파지 생성 프레임워크를 제시하고, 그 기술적 우수성을 다각도로 입증하였다. GraspGen은 확산 기반의 생성기와 효율적인 Discriminator를 결합함으로써 물체 중심 파지 문제에서 정확도와 범용성을 크게 향상시켰다. 다양한 시뮬레이션 실험에서 기존 방법들을 능가하는 성능을 보였고, FetchBench와 같은 복잡한 벤치마크에서 최신 최고 성과를 달성하였으며, 나아가 단 한 번도 실제 데이터를 학습하지 않고도 실제 로봇에서 우수한 파지 성공률을 보임으로써 시뮬레이터-현실 간 격차를 상당 부분 좁혔다. 이러한 성과를 통해 GraspGen은 향후 여러 고차원 로봇 조작 과제의 기반 모듈로 활용될 수 있는 가능성을 보여주었다. 예를 들어, GraspGen을 응용하면 목적 지향 파지(특정 부위를 잡기)나 언어 지시 기반 조작 등의 문제에 보다 강인한 파지 생성기를 제공할 수 있고, 복잡한 조작 작업에서 발생하는 파지 실패율을 낮춰 지능형 매니퓰레이션 시스템의 신뢰성을 높이는 데 기여할 수 있을 것이다.

그러나 동시에 본 연구는 몇 가지 한계점과 향후 과제를 남긴다.

• 우선, GraspGen의 성능은 여전히 센서 데이터 품질에 크게 의존한다는 점이 지적된다. 실제 로봇 실험에서 보았듯이, 정확한 깊이 추정과 물체 분할이 뒷받침되지 못하면 파지 후보의 정확도도 떨어질 수 있다. 이는 GraspGen이 물체 중심 point cloud에 의존하기 때문으로, 향후에는 잡음에 강인한 입력 처리나 멀티센서 융합을 통한 보완이 필요할 것이다.
• 두 번째 한계로, 특정 형상의 물체에 대한 일반화 부족이 관찰되었다고 한다. 저자들은 특히 직육면체 상자(cuboid) 형태의 물체에 대해 GraspGen이 실험에서 어려움을 겪었음을 보고하며, 이는 현재 데이터셋에 그러한 형태의 물체가 부족하기 때문으로 추정하였다. 향후 버전에서는 보다 박스형 물체 데이터를 늘려 이 문제를 완화할 계획이라고 언급하고 있다. 이처럼 데이터 분포의 편향에 따른 특정 경우 성능 저하는, 데이터 커버리지 확대 및 도메인 일반화 기법 등을 통해 개선할 수 있을 것이다.
• 셋째로, GraspGen의 학습에는 막대한 계산 비용이 소요된다. 시뮬레이션 데이터 생성과 학습을 합쳐 약 3,000 GPU-시간이 요구되었는데, 이는 누구나 모방하기 힘든 높은 장벽으로 작용할 수 있다. 특히 다양한 embodiment를 다루려면 여러 데이터셋에 대해 별도 학습을 해야 할 수도 있어, 추후 모델 경량화나 전이 학습을 통한 효율 향상 연구도 고려되어야 한다.
• 마지막으로, GraspGen은 파지 자체의 성능을 향상하는 데 초점을 두었지만, 앞서 FetchBench 분석에서 논의되었듯 파지 이후의 이동 경로 계획이나 환경 상호작용 등 통합 문제는 별도의 도전 과제로 남아 있다. 예를 들어, 복잡한 장애물 환경에서 로봇팔이 파지한 물체를 꺼내오는 문제 등은 단순히 파지 성공률만 높인다고 해결되지 않으므로, 향후에는 파지 생성과 후속 동작 계획을 공동으로 최적화하는 방향의 연구도 필요할 것이다.

종합적으로, GraspGen은 로봇 파지 분야에 확산 모델의 강력함을 증명하고, 생성 모델과 Discriminator의 상호보완적 학습을 통해 성능 한계를 돌파한 의미 있는 연구로 평가된다. 다양한 형태의 로봇 손과 대상에 두루 적용가능한 범용 파지 생성의 가능성을 열었으며, 이는 향후 서비스 로봇, 제조 자동화, 의료 보조 등 정밀 조작이 요구되는 분야에서 활용될 여지를 보여준다.

참고

• 엔비디아, 차세대 로봇 손 기술 AI ‘그랩젠’ 공개