📃OCRM Survey 리뷰

A Survey of Embodied Learning for Object-Centric Robotic Manipulation

• Paper Link (arXiv:2408.11537)

• HTML (v1, 2024-08-21)

• Project Repo (paper list)

• Ying Zheng†, Lei Yao†, Yuejiao Su, Yi Zhang, Yi Wang, Sicheng Zhao, Yiyi Zhang, Lap-Pui Chau* († 공동 1저자, * 교신저자)

• The Hong Kong Polytechnic University · Tsinghua University (BNRist) · CUHK

• arXiv 프리프린트 (cs.RO), 2024-08-21 (v1)

1. 💡 “물체 중심 로봇 조작(object-centric robotic manipulation)”의 연구 지형을 알고리즘 계보가 아니라 로봇 시스템의 기능 축으로 자른 서베이다 — 인식하고(perceptual), 결정하고(policy), 과제에 맞춰 실행하는(task-oriented) 세 갈래.
2. ⚙️ 세 갈래를 다시 7개 하위 방향으로 세분한다: 데이터 표현 · 물체 자세 추정 · affordance 학습 / 정책 표현 · 정책 학습 / 물체 파지 · 물체 조작. 각 하위 방향마다 “무엇으로 자르는가”의 기준(입력 이미지 수·분기 수, 사전지식 수준, 정책의 수학적 형태, 단일/다중 물체, 손의 자유도)을 명시하고 짧은 Discussion으로 장단점을 정리한다.
3. 🎯 정량 비교는 하지 않는다. 대신 taxonomy 그림 7장 + 정책/과제 정리표 2장 + 데이터셋 표(파지 8종·조작 10종) + 평가지표 정의 + 응용 5개 영역 + 오픈 챌린지 5개(sim-to-real, multimodal embodied LLM, 인간-로봇 협업, 모델 압축·가속, 해석가능성·안전)를 제공한다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

로봇 조작 서베이는 이미 많다. 저자들이 직접 정리한 Table I만 봐도 2016년 Huang(데이터셋)부터 2024년 Ma(VLA), Xu(foundation model for planning & control)까지 29편이 나열된다. 그래서 이 서베이의 첫 과제는 “왜 또 하나인가”에 답하는 것이고, 저자들은 Cong et al. (2021)의 3D vision-based robotic manipulation 서베이를 가장 가까운 선행으로 지목한 뒤 두 가지 차별점을 든다. ① 그쪽은 3D 시각 인식에 국한되지만 우리는 이미지 기반·3D-aware·촉각 기반 표현을 함께 정리한다, ② 그쪽은 인식이 중심이지만 우리는 정책 학습과 과제 지향 학습까지 포괄하며 2021년 이후 최신 연구를 담는다.

핵심 주장은 서론에 명시된 관점이다. 전통적 기계학습이 정적 데이터셋(이미지·영상·텍스트)에 의존하는 데 반해, embodied learning은 물리적 상호작용과 지각 피드백을 통해 지식을 얻는다 — 그리고 로봇 조작이야말로 그 성격이 가장 잘 드러나는 과제라는 것이다. 그래서 분류축도 “어떤 모델을 쓰는가”가 아니라 “로봇 지능의 어느 기능을 담당하는가”가 된다.

서베이의 뼈대(Fig. 1) — 왼쪽은 전형적인 로봇 조작 시스템(팔 + 카메라 + 그리퍼), 오른쪽은 embodied learning의 3분류. EPEL(perceptual)이 EPCL(policy)의 토대가 되고, ETOL(task-oriented)이 둘을 통합해 과제별 실행을 학습한다.

핵심 방법론 — 3분류 × 7하위방향:

대분류	하위 방향	자르는 기준
II. Embodied Perceptual Learning	데이터 표현 (II-A)	이미지 기반(SISB/SIMB/MISB/MIMB) · 3D-aware(DR/PR/TR) · 촉각 기반
	물체 자세 추정 (II-B)	사전지식 수준: 인스턴스(ILOPE) · 카테고리(CLOPE) · 신규 물체(NOPE)
	Affordance 학습 (II-C)	데이터 출처: 지도학습(정적 데이터) · 상호작용으로부터 학습
III. Embodied Policy Learning	정책 표현 (III-A)	수학적 형태: explicit · implicit(EBM) · diffusion
	정책 학습 (III-B)	RL · IL · 기타(RL+IL 결합, LLM/VLM 구동)
IV. Embodied Task-Oriented Learning	물체 파지 (IV-A)	단일 물체(SOG) · 다중 물체(MOG)
	물체 조작 (IV-B)	비민첩(NDM, 그리퍼·흡착) · 민첩(DM, 다지 핸드)

자세 추정 3분류는 수식으로 깔끔하게 구분된다. 인스턴스 수준은 물체 집합 \mathbf{O}와 그에 대응하는 3D 모델 \mathbf{M}을 모두 알고 있을 때

\mathbf{T} \leftarrow \mathbf{\Phi}(I \mid \mathbf{O}, \mathbf{M}),

카테고리 수준은 3D 모델 대신 카테고리 집합 \mathbf{C}만 주어질 때

\mathbf{T} \leftarrow \mathbf{\Phi}(I \mid \mathbf{O}, \mathbf{C}),

신규 물체는 둘 다 없고 참조 이미지 I_r만 있을 때

\mathbf{T} \leftarrow \mathbf{\Phi}(I \mid I_r)

로 정의된다(\mathbf{T}는 \mathbf{R} \in SO(3)와 \mathbf{t} \in \mathbb{R}^3로 구성된 변환 행렬). 즉 “얼마나 아는 물체인가”를 조건부의 조건 자리에 무엇이 들어가는가로 형식화한 것이 이 절의 설계다.

정책 표현도 마찬가지로 세 형태를 수식으로 대비시킨다. Explicit은 관측 \mathbf{v}를 행동 \mathbf{a}로 직접 사상하고(연속 공간에서는 대각 가우시안을 써서 \mathbf{a} = \mu_\theta(\mathbf{v}) + \sigma_\theta(\mathbf{v}) \odot \xi, \xi \sim \mathcal{N}(0,\mathbf{I})), implicit은 에너지 최소화 문제로 바꾸며

\hat{\mathbf{a}} = \arg\min_{\mathbf{a}\in\mathcal{A}} \mathcal{E}_\theta(\mathbf{v}, \mathbf{a}),

diffusion policy는 관측을 조건으로 하는 생성 모델로 반복 denoising한다:

\mathbf{a}^{k-1} = \alpha\big(\mathbf{a}^{k} - \beta\,\epsilon_\theta(\mathbf{a}^{k}, \mathbf{v}, k)\big) + \sigma \mathcal{N}(0, \mathbf{I}).

주요 결과(서베이이므로 “정리물의 규모”로 읽는다):

• taxonomy 그림 7장: Fig. 1(전체 구조), Fig. 2(이미지 기반 표현 4종), Fig. 3(3D-aware 표현 3종), Fig. 4(affordance 예시), Fig. 5(SOG/MOG), Fig. 6(투명물체·클러터·동적 파지), Fig. 7(NDM/DM).
• 정리표 2장: Table II(정책 학습 — explicit/implicit/diffusion, RL/IL/기타를 대표 기법 이름으로 나열), Table III(과제 지향 학습 — SOG/MOG/NDM/DM 및 그 하위 주제).
• 데이터셋 표(Table IV): 파지 8종(Cornell 885 images/8,019 grasps ~ GraspNet-1Billion 97,280 images/약 1.2B grasps, Grasp-Anything 약 1M samples/약 600M grasps), 조작 10종(YCB, AKB-48, PartNet-Mobility 14,068 articulated parts, GAPartNet 8,489 part instances, ManiSkill2 4M demonstration frames, ARNOLD 10,080 demonstrations, Bi-DexHands 1,638,400 step demonstrations, DexArt, PartManip, BEHAVIOR-1K 1,000 categories/9,318 objects/50 scenes)를 카테고리 수·물체 수·real/sim·규모·모달리티로 표준화.
• 평가지표 정의: 파지는 ‘point’ metric과 ‘rectangle’ metric(각도 편차 30도 초과 제거 후 IoU J(\hat{G},G) = |\hat{G}\cap G| / |\hat{G}\cup G|가 임계값 \tau 초과면 정답), 실기에서는 GSR = n/m. 조작은 TSR = N_s/N.
• 응용 5영역(Table V): 산업·농업·가정·수술 로봇 + 기타(우주 탐사·교육·연구).
• 오픈 챌린지 5개(Sec. VII): sim-to-real 일반화 · multimodal embodied LLM · 인간-로봇 협업 · 모델 압축과 로봇 가속 · 해석가능성과 안전.

결론:

이 서베이가 파는 것은 “정답 랭킹”이 아니라 좌표계다. 어떤 조작 논문을 집어와도 (인식/정책/과제) × (7하위방향) 격자 안에 놓을 수 있고, 각 칸마다 “이 접근의 대가(代價)는 무엇인가”가 Discussion 한 문단으로 붙어 있다 — 예컨대 자세 추정은 ILOPE는 정확하지만 아는 물체에만, CLOPE는 적용 범위가 넓지만 정확도가 상대적으로 낮고, NOPE는 유연하지만 정확도·강건성에 큰 도전이 남는다로 요약된다. 반대로, 서로 다른 방법을 같은 벤치마크에서 겨루게 하는 정량 비교는 거의 없다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

로봇 조작 연구를 “인식 → 정책 → 과제”라는 시스템 파이프라인 순서로 자르고, 각 단계에서 연구자들이 실제로 고민하는 분기점(입력을 몇 장 쓸 것인가 / 물체를 얼마나 아는가 / 정책을 어떤 함수로 쓸 것인가 / 손이 몇 개의 자유도인가)을 분류축으로 승격시킨 지도다.

배경: 왜 “embodied learning”을 따로 부르는가

저자들의 출발점은 데이터 출처다. 전통적 기계학습은 미리 구축된 정적 데이터(이미지·영상·텍스트)로 패턴 인식과 예측을 학습하는데, 이는 적용 범위와 유효성을 제한한다. 반면 embodied learning은 감각 입력·신체 행동·즉각적 환경 피드백을 데이터 원천으로 삼고, 실시간 상호작용과 피드백 루프를 통해 행동과 조작 전략을 계속 다듬는다.

물체 중심 조작 과제로 좁히면 입출력이 명확해진다 — 입력은 센서로 수집한 데이터, 출력은 로봇이 조작을 수행하기 위한 운용 전략과 제어 신호다. 목표는 다양한 환경·과제에 걸친 일반성과 유연성을 높이면서 자율적으로 조작을 수행하는 것. 어려운 이유로 저자들이 드는 것은 ① 물체와 과제의 다양성, ② 환경의 복잡성·불확실성, ③ 실제 적용에서의 노이즈·가림(occlusion)·실시간 제약이다.

Fig. 1(a)의 시스템 그림에서 지능은 세 지점에 걸린다: 진보된 인식 능력, 정밀한 정책 생성, 그리고 과제 지향성. 이 셋이 그대로 Fig. 1(b)의 EPEL / EPCL / ETOL 3분류가 된다. 서베이 전체가 이 세 글자에서 파생된다.

방법 상세 ①: Embodied Perceptual Learning (Sec. II)

데이터 표현 — “센서를 몇 개 쓰고, 3D를 어떻게 얻는가”

이미지 기반 표현은 입력 이미지 수 × 네트워크 분기 수의 2×2로 잘린다. SISB(단일 이미지·단일 분기)는 CNN으로 특징을 뽑아 자세 추정기로 넘기는 가장 단순·빠른 형태지만, 3D 기하 정보 표현력이 부족해 자세 추정이 거칠어질 수 있다. SIMB는 보조 분기를 더한다(MonoGraspNet의 keypoint 네트워크 + normal 네트워크 → keypoint heatmap과 normal map). 대신 보조 분기의 예측 정확도에 크게 의존하고, 단일 이미지 예측의 한계로 생긴 오차가 중간 표현을 통해 증폭되어 하류로 전파된다는 대가가 붙는다. MISB는 다중 이미지로 3D 재구성을 수행해 깊이를 복원하고(NeRF·Gaussian Splatting 등), MIMB는 재구성 단계를 건너뛰고 다시점 이미지 표현을 직접 만든다(RGBManip은 다시점 능동 학습 + SAM 분할 맵을 다시점 자세 추정기의 입력으로 쓴다).

이미지 기반 표현 4종(Fig. 2) — SISB / SIMB / MISB / MIMB. “이미지 몇 장 × 분기 몇 개”라는 단순한 2축으로 계보를 가른다.

3D-aware 표현은 RGB-D를 입력으로 받아 무엇을 생성하는가로 셋으로 갈린다. DR(depth-based)은 RGB-D에서 2D 특징을 뽑아 그대로 쓰거나(대개 사후 정제 필요; Lenz et al.의 2단 캐스케이드는 1단이 가망 없는 파지를 걸러내고 2단이 남은 검출을 평가한다), 두 스트림으로 RGB와 depth를 따로 처리해 융합해 F_d를 만든다. PR(point cloud-based)은 먼저 점군을 만든다 — 초기엔 복셀화 + 3D CNN이었지만 메모리 비효율이 커서 PointNet 계열의 점 단위 특징 추출이 주류가 됐다. TR(transition-based)은 RGB-D를 occupancy field·NeRF·3D Gaussian 같은 3D 표현으로 번역해 기하 이해를 높인다.

3D-aware 표현 3종(Fig. 3) — DR(깊이 특징 직접 사용) / PR(점군 변환 후 PointNet 계열) / TR(occupancy·NeRF·3D Gaussian으로의 번역).

촉각 기반 표현은 GelSight·DIGIT·AllSight 같은 센서에서 접촉 위치·법선력·접선력·토크를 얻고, 표현 형태는 ① 시간 창 내 다중 샘플링으로 만든 시계열(LSTM 등으로 특징 벡터화), ② 촉각 이미지(RGB처럼 CNN으로 처리), ③ 시각·청각과 결합한 멀티모달로 나뉜다. 촉각 데이터 수집이 시각보다 훨씬 오래 걸린다는 문제에 대해서는 NeRF·GAN으로 촉각 데이터를 생성하거나 시뮬레이션 환경을 구축하는 흐름을 소개한다. 이 절의 Discussion은 한 문장으로 정리된다 — 이미지 기반은 센서 요구가 최소지만 RGB 정보에만 의존해 제약되고, 3D-aware는 더 견고하며, 촉각은 보완재이므로 미래 연구는 셋을 결합해야 한다.

물체 자세 추정 — “얼마나 아는 물체인가”

앞의 세 수식(ILOPE/CLOPE/NOPE)이 이 절의 전부라 해도 좋다. 서베이는 먼저 2D 평면 자세 추정(위치 + 1D 회전각, 산업 분류 라인에서 위에서 아래로 집는 경우)과 3D 공간의 6D 자세를 구분한 뒤, 대부분의 연구가 6D에 몰려 있음을 밝히고 세 수준으로 들어간다.

• ILOPE: 텍스처가 있는 CAD 모델 같은 상세한 사전지식이 필요하고, 특정 물체 샘플로 학습하므로 모델이 물체 종속적이다. 6D를 직접 회귀하거나(PoseCNN, CDPN — 단순한 만큼 후처리 최적화가 필요할 수 있다), keypoint로 2D-3D/3D-3D 대응을 학습해 RANSAC 기반 PnP를 돌리거나, 템플릿 매칭·특징점 투표를 쓴다. 정확도는 높지만 인스턴스마다 학습이 필요해 대규모·다양한 물체 집합에는 부적합.
• CLOPE: 인스턴스별 3D 모델 없이 카테고리 내/간 특징으로 추정한다. NOCS(카테고리 기반 정규화 좌표계에 자세와 크기를 인코딩하고 관측 픽셀과의 대응을 신경망으로 추론), 카테고리의 구조적 prior로 자세 적응을 유도하고 transformer로 인스턴스-prior 간 전역 구조 유사도를 모델링한 접근 등. 대개 강체(rigid)에 적합하고 관절체(articulated)에는 잘 일반화되지 않는다 — 병진·회전에 더해 관절 운동이 얽히기 때문. 이에 대해 NOCS를 확장한 ANCSH, 다중 인스턴스·다양한 kinematic 구조를 다루는 실세계 세팅 CAPER를 소개한다. 한계는 명확하다: 카테고리가 알려져 있다는 가정 위에서만 작동하므로 새 카테고리는 못 다룬다.
• NOPE: 인스턴스 3D 모델도 카테고리 prior도 없고 참조 이미지만 있다. 고전적으로는 이미지/특징 매칭(Gen6D는 물체 검출기·시점 선택기·자세 정제기를 통합해 3D 모델 없이 미지 물체의 6D 자세를 추론; self-supervised ViT + 의미 대응으로 zero-shot 자세 추정), 최근에는 대형 모델을 끌어들인다(SAM-6D는 SAM의 분할 능력으로 물체 후보를 생성, Wen et al.은 LLM과 대조학습을 결합해 대규모 합성 데이터로 일반화 향상). 다만 대형 모델은 더 많은 학습 데이터와 계산 자원을 요구한다는 것이 잠재적 제약.

Affordance 학습 — “어디를 어떻게 만질 것인가”

자세를 얻은 다음 단계는 물체의 상호작용 가능 영역을 식별하는 것, 즉 affordance 학습이다. 데이터 출처에 따라 둘로 나뉜다.

Affordance 예측 예시 4종(Fig. 4) — bag lift, bottle open, knife grasp, faucet open. 빨간색이 ground truth 라벨이다.

지도학습 계열은 정적 데이터로 affordance를 배운다. AffordanceNet은 사람이 주석한 RGB 이미지를 입력으로 두 분기에서 물체 위치추정과 affordance 예측을 동시 수행하는데, 예측된 물체 내부의 각 픽셀에 affordance 라벨을 부여하므로 사실상 semantic segmentation이 된다. 대규모 인간-물체 상호작용 영상으로 interaction hotspot map을 학습한 연구도 있다. 다만 이들은 학습한 affordance를 실제 조작에 적용하는 데까지 가지 않았고, 그 간극을 메우려는 흐름이 VRB(에고센트릭 영상에서 affordance를 추출하는 궤적 예측 모델을 여러 로봇 학습 프레임워크에 통합), Robo-ABC(의미 대응 강조, 미지 물체 파지를 실기에서 구현), RAM(2D affordance를 3D로 들어올리는 검색 기반 구조 + 계층적 검색 파이프라인으로 out-of-domain 지식을 목표 도메인에 이전), OpenAD(언어 기반 affordance 라벨과 점 단위 고차원 특징의 유사도로 open-vocabulary 확장)다.

상호작용 계열은 시뮬레이션에서 데이터를 모은다. Where2Act는 SAPIEN에서 관절체에 대한 자기지도 상호작용을 수행했고, AdaAfford는 이 패러다임이 숨은 kinematic 불확실성을 무시해 부정확한 affordance를 낳는다고 지적하며 테스트 시 다중 상호작용 샘플링으로 빠르게 적응한다. DualAfford는 이를 양손(dual-gripper)으로 확장. 무작위 상호작용에 의존하는 데서 오는 샘플 비효율은 ActAIM(클러스터링 기반 전략 + 생성 모델로 상호작용 다양성·데이터 품질 향상), IDA(정보 기반 affordance 발견)가 공략한다. Where2Explore는 국소 기하를 이용해 새 인스턴스·새 카테고리로 일반화한다. 그리고 이들 전부가 노이즈 없는 시각 정보를 가정한다는 비현실성을 지적하며 coarse-to-fine 점군 노이즈 저감, 가림 아래에서의 환경 인지 affordance(대조학습), RLAfford(사전 정의된 affordance primitive의 제약을 벗어나 RL 과정의 contact map을 시각 affordance로 삼는 end-to-end 학습)를 소개한다.

Discussion: 지도학습 계열은 특정 도메인 데이터·과제에 한정되고, 상호작용 계열은 샘플 비효율에 묶인다. 인터넷 규모 데이터의 잠재력을 활용하면서 특정 과제에 빠르게 적응하는 프레임워크가 과제로 남는다.

방법 상세 ②: Embodied Policy Learning (Sec. III)

정책은 \pi: \mathcal{O} \mapsto \mathcal{A}라는 사상으로 정의되고, 이 장은 표현과 학습의 두 단계로 나뉜다.

정책 표현

Explicit은 관측을 행동으로 직접 사상하며 결정적/확률적으로 나뉜다. 확률적 정책이 탐색 능력과 불확실한 환경에서의 강건성에서 유리하다고 서술한다. 이산 행동 공간에서는 categorical 분포로 행동을 뽑고(조립 조작을 translation·rotation·insertion primitive로 개념화한 뒤 RL로 최적화한 사례), 연속에서는 대각 가우시안이 흔하며 MSE나 RL 목적으로 유도한다. 실무에서는 표준편차가 음수가 되지 않도록 \log \sigma_\theta(\mathbf{v})를 쓴다는 디테일까지 적어둔다.

Implicit은 에너지 기반 모델(action-value function으로도 불린다)로 각 행동에 값을 매기고 최소 에너지 행동을 찾는다 — 행동 예측을 최적화 문제로 재정식화하는 것이다. 전문가 시연이나 온라인 수집 궤적 \{(\mathbf{v}_t,\mathbf{a}_t)\}_{t=0}^{T}에 InfoNCE 형태의 손실로 학습하고, 추론 시 확률적 최적화로 최적 행동을 찾는다. EBIL은 EBM을 역강화학습 구조에 넣어 추정된 전문가 에너지를 대리 보상으로 쓰고, Florence et al.의 implicit behavioral cloning은 이를 시뮬레이션 밀기·양팔 쓸기 등 여러 로봇 과제에서 평가했다.

Diffusion policy는 DDPM에서 영감을 받아 정책을 조건부 생성 모델로 본다. Decision Diffuser와 Diffusion-QL이 오프라인 RL에 diffusion policy를 도입한 동시기 연구로, 전통적 정책 형식을 능가하는 표현력을 보였다. Decision Diffuser는 고차원 시각 관측으로의 확장을 제안했지만 현재 초점은 상태 기반 벤치마크에 머물고, Chi et al.은 시각 기반 조작을 겨냥한 diffusion policy를 제안해 행동의 multimodality를 다루는 데서의 우위를 보였다(receding horizon control과 시계열 diffusion transformer로 고차원 행동 공간에 적응, 학습 안정화). HDP는 다중 과제 조작의 상위 계획 에이전트에, UniDexFPM은 pre-grasp 조작에 적용했다. 언어 지시를 결합한 MDT·Lan-o3dp, 스코어 모델 학습과 샘플링을 분리해 추론을 가속한 BESO도 함께 정리된다.

Discussion: explicit은 구현이 단순하지만 복잡한 과제에서 고전하고, implicit은 학습 안정성과 계산 비용이 문제이며, diffusion은 더 표현력 있고 강건한 대안이지만 샘플링 가속이 남은 숙제다. (이 지점은 이 블로그의 REFINE-DP 리뷰나 D²PPO 리뷰가 다루는 diffusion policy 후속 흐름과 곧바로 맞닿는다.)

정책 학습

RL은 MDP로 모델링해 기대 누적 할인 보상 \mathcal{J}(\pi) = \mathbb{E}_{\tau \sim \pi}\left[\sum_{t=0}^{T} \gamma^t r_t(\mathbf{v}_t, \mathbf{a}_t)\right]를 최대화하는 \pi^* = \arg\max_\pi \mathcal{J}(\pi)를 찾는 것으로 정의된다. 사례로는 OpenAI의 sim-to-real 파이프라인(시뮬레이션에서 PPO로 학습 후 domain randomization으로 실제 5지 핸드의 시각 기반 물체 재배향에 이전; PPO가 조작에서 널리 쓰이는 on-policy 알고리즘이라고 명시), 장기 수술 과제를 위한 ViSkill(value-informed skill chaining), 다양한 물체 형상에 적응하는 RMA²(PPO 안에 adapter 학습 단계를 추가한 2단 프레임워크), SAM-RL(여러 시점에서 렌더한 이미지를 실제 관측과 정렬해 학습된 world model을 정제하는 sensing-aware 구조), 오프라인 RL의 설계 선택 영향 연구, 비모수 회귀로 전문가 선호 행동에 높은 값을 부여하는 demonstration-guided RL이 소개된다. 별도로 보상 설계가 큰 난제로 지목되고, Text2reward·EUREKA처럼 LLM이 자연어 목표 서술을 조밀하고 해석 가능한 보상 코드로 변환하고 인간 피드백으로 반복 정제하는 흐름이 강조된다.

IL은 BC·IRL·GAIL 셋으로 정리한다. 초기의 DMPs는 시스템 동역학에 가중 기저 함수들로 구성된 forcing term을 넣어 궤적 수준의 기술을 습득하는데, 파라미터 수가 적은 대신 기저 함수 선택에 성능이 좌우된다. DAgger는 현재 정책의 상호작용 데이터를 전문가 시연에 점증적으로 합치고, SpawnNet은 사전학습 시각 모델을 넣어 일반화 가능한 정책을 만들며, ACT는 양팔 조작을 위해 실기 수집 데이터로 행동 시퀀스에 생성 transformer를 직접 학습한다. 시연 수집 비용 문제로는 MimicGen(소수 시연을 입력받아 장면·분할된 물체를 조합해 증강 데이터셋 생성)과 Bridge Data·Open X-Embodiment(대규모 인간 시연 데이터 수집)를, 야생 데이터 활용으로는 Vid2Robot·Ag2Manip·MPI(인간 영상에서 기술 추출)를 든다. 마지막으로 등변(equivariant) 모델 계보 — NDFs(SE(3) 등변으로 물체를 표현하고 시연 데이터에서 대응 자세를 탐색), L-NDF(물체 간 공유 국소 기하), EDFs(NDF를 확률적 학습 틀로 재정식화해 고정되지 않은 목표로의 일반화 제약 완화), 그리고 diffusion과 결합한 Diffusion-EDFs·EDGI·SE(3)-DiffusionFields — 가 샘플 효율과 일반화의 관점에서 정리된다.

“기타” 항목에는 RL과 IL의 결합(UniDexGrasp·UniDexGrasp++의 teacher-student: oracle state를 입력받는 teacher를 model-free RL로 학습한 뒤 시각 같은 현실적 관측만 보는 student에게 IL로 증류)과 LLM/VLM 구동 정책(VILA·Grounding-RL은 사전학습 LLM 사용, OpenVLA는 사전학습 시각 인코더 특징을 언어 임베딩 공간으로 사상하고 LoRA로 미세조정, 3D-VLA는 3D 공간 관측과 목표 인지 상태 생성을 위한 diffusion을 결합한 3D 생성 world model)이 들어간다.

Discussion: 샘플 효율·도메인 적응·일반화가 여전한 과제이며, LLM·VLM의 잠재력을 끌어내 범용 에이전트를 만드는 것이 향후 방향으로 제시된다.

방법 상세 ③: Embodied Task-Oriented Learning (Sec. IV)

물체 파지

단일 물체 파지(위)와 다중 물체 파지(아래)(Fig. 5) — 각각 ARNOLD 벤치마크와 Grasp’Em 데이터셋의 예시.

SOG의 전형적 파이프라인은 파지 검출 → 궤적 계획 → 실행 3단계다. 개루프(open-loop)에서는 최적 파지 선택 후 추가 센서 피드백 없이 실행하므로 검출 정확도가 전부다(패치·물체 수준에서 클래스와 파지 자세 확률을 추론하는 계층적 캐스케이드 forest, 파지 keypoint로 실시간성을 유지하며 정확도를 높인 FANet, 물체의 질량중심을 목표 검출에 통합한 AnyGrasp). 개루프는 자세 추정 오류나 인식 아티팩트로 실패할 수 있어 폐루프(closed-loop)가 제안됐고, 물체 추적과 visual servoing이 두 축이다(6DoF 자세를 명시적으로 추적해 사전계산 파지와 결합, 픽셀 단위 파지 품질을 예측하는 경량 CNN인 GG-CNN, 점군 시각 피드백과 불확실성 인지 적응 샘플링을 쓰는 VFAS-Grasp).

SOG의 세 난제(Fig. 6) — 투명 물체(TRansPose 데이터셋), 클러터 환경(CEPB 벤치마크), 동적 물체 파지(Moving GraspNet).

세 특수 난제가 별도로 다뤄진다.

• 투명 물체: 텍스처·외형 특징이 없고 빛의 반사·굴절 때문에 대부분의 센서가 표면 정보를 정확히 못 잡으며, 마찰이 낮아 안정적 조작도 어렵다. 깊이를 보완하는 DFNet(RGB + 부정확한 깊이 → 정제된 깊이), NeRF로 깊이를 직접 만드는 접근(추가 조명으로 정반사를 증강 — 다만 파지 한 번당 수 시간의 계산이 필요), GraspNeRF(희소 6장 다시점 RGB로 zero-shot NeRF 구성 + 파지 검출, 90ms에 재질 무관 파지 검출), NFL(RGB 대신 픽셀별 표면 법선 추정으로 neural volume 학습 + 분할로 투명 물체 식별, 학습 40초). 그 밖에 스테레오 RGB-D·열적외선·물체 자세를 결합한 최초의 대규모 다중스펙트럼 데이터셋 TRansPose, 표면 fragment·엣지·기하 특징을 학습하는 TGF-Net.
• 클러터 내 파지: 목표가 가려지거나 겹치고 충돌을 피해야 한다. 충돌 없는 파지가 중심축이며(CollisionNet으로 생성된 파지의 충돌 위험 평가, 다지 충돌 없는 파지 샘플을 빠르게 생성하는 DDGC, 기하 단서와 충돌 라벨을 결합한 품질 척도 “graspness”, 판별자로 미라벨 샘플의 정보 가치를 평가해 주석 대상을 고르는 discriminative active learning), 여기서 더 나아가 밀기(push)로 주변 물체를 재배치하는 흐름이 있다(목표를 클러터에서 분리하는 pushing, 보이지 않는 물체 파지를 deep Q-learning + 도메인 지식으로 푸는 접근, VLM으로 언어 지시 기반 파지를 하며 장애물 제거 행동을 연쇄하는 접근). 저자들은 language-conditioned grasping을 유망한 신생 분야로 지목한다.
• 동적 물체 파지: 인간→로봇(H2R) 핸드오버와 인간 없는 이동 물체 파지로 나뉜다. 전자는 인간 의도 이해(시각·언어 멀티모달로 행동 의도 예측)와 동적 모션 플래닝(폐루프 모션 플래닝 + 파지 생성), 그리고 대규모 시뮬레이션 시연 + IL로 임의 형상·복잡 궤적까지 일반화한 GenH2R. 후자는 속도 성분 분석으로 궤적을 예측하는 top-down 파지에서 시작해, 물체 운동의 사전지식이나 파지 방향 제약 없이 reachability·motion awareness를 결합한 dynamic grasping, 그리고 예측 파지 자세의 시간적 매끄러움과 의미적 일관성을 함께 강조하는 target-referenced reactive grasping으로 이어진다.

MOG는 한 번의 작업 사이클에서 둘 이상을 잡는 것으로, 전체론적(holistic) 접근(여러 물체를 하나의 덩어리로 보고 한 동작에 감싸 쥔다 — 형상·기능을 고려한 12종 MOG taxonomy, 물체 간 마찰을 통합한 방법, 흩어진 다각형 물체들을 밀어 조밀한 클러스터로 모으는 Push-MOG)과 독립적(independent) 접근(손가락 사이 협력 공간으로 순차적으로 여러 물체를 잡는 알고리즘, 각 물체의 독립 조작 능력을 유지하며 효율을 높이는 MultiGrasp)으로 갈린다. Discussion은 냉정하다 — SOG는 상대적 단순함 덕에 널리 연구돼 실용화로 향하고 있지만, MOG는 복잡도가 높아 진전이 느리고 여전히 돌파가 필요하다.

물체 조작

비민첩 조작(위: 서랍 닫기, ARNOLD)과 민첩 조작(아래: in-hand manipulation, DexDeform)(Fig. 7).

NDM은 그리퍼·흡착컵·pusher 같은 단순 말단장치를 쓰며 자유도가 적다. Pick-and-place가 기본 과제인데, 초기에는 구조화된 환경에서 알려진 물체의 자세 추정이나 스크립트 기반 계획·모션 제어에 집중했고 최근에는 미지 물체를 위한 범용 pick-and-place 정책으로 이동했으며, 여기서 물체 재배열·kit assembly 같은 상위 과제로 확장된다. 변형체 조작(의류·로프·유체)은 재질별 물성 차이와 외력 하 복잡한 변형이 예측 불가능성을 만들고, 관절체 조작(문·서랍·양동이)은 각 관절부의 각도·위치를 정밀하게 지각·제어하면서 kinematic 특성과 동적 상호작용을 이해해야 한다 — 현재 연구 전선은 부품 수준 벤치마크 구축(GAPartNet·UniDoorManip)과 미지 형상·카테고리를 다루는 범용 조작 정책(PartManip)이다. 남은 과제로는 장기 과제의 안정성·연속성, 동적 환경에서의 능동 시각 적응, 실행 중 오류의 즉각 식별과 자율 교정을 든다.

DM은 다지 로봇 핸드로 병뚜껑 풀기·도구 다루기 같은 미세 동작을 재현한다. 초기에는 해석적 kinematic/dynamic 모델 기반의 궤적 최적화·kinodynamic 계획이었으나 정확한 동역학 지식과 단순화된 물체 기하 가정에 크게 의존한다는 한계가 있었고, 이후 model-based/model-free RL이 주류가 됐으며 시연으로부터의 IL(때로 RL과 결합)도 한 축이다. 다만 이들은 대체로 특정 과제 범주에 맞춰 설계·최적화돼 있어 범용 DM 프레임워크는 미해결로 남는다.

도구 조작은 DM의 핵심 하위 주제로 별도로 다뤄진다. 도구를 정확히 잡는 것을 넘어 촉각 피드백으로 도구-공작물 상호작용의 접촉 상태와 효과를 분별해야 하고, 형상·재질·용법이 제각각인 실세계 도구들에 유연히 적응해야 한다. KETO(점군에서 과제 관련 keypoint 예측), TOG-Net(대규모 시뮬레이션 자기지도로 도구 파지·조작 전략 최적화), DiffSkill(미분가능 물리 시뮬레이터로 변형체의 장기 도구 조작을 위한 skill abstraction 학습), 사전 학습 없이 신규 도구를 인식·활용하는 신경과학 영감 프레임워크, 그리고 최근의 LLM 활용 흐름(ATLA·RoboTool)이 정리된다. (도구·관절체 조작의 최신 후속 흐름은 Mana 리뷰와 이어 읽으면 좋다.)

Discussion: NDM·DM 모두 과제가 다양하고 복잡한데 기존 방법은 대개 몇몇 특정 과제를 겨냥하고 있어, 진정한 범용 물체 조작에는 크게 못 미친다.

데이터셋·평가지표·응용 (Sec. V–VI)

데이터셋 표(Table IV)는 이 서베이에서 가장 실용적인 부분이다. 파지 쪽은 실세계 소규모(Cornell 240 objects/885 images/8,019 grasps, Multi-Object 96 images/2,904 grasps)에서 시뮬레이션 대규모(Jacquard 11K objects/54K images/1.1M grasps, ACRONYM 262 categories/8,872 objects/17.7M parallel-jaw grasps, EGAD 2,331 objects/233K antipodal grasps)를 거쳐 실세계 대규모(GraspNet-1Billion 88 objects/97,280 images/약 1.2B grasps)와 텍스트·이미지 모달리티의 Grasp-Anything(236 categories/약 3M objects/약 1M samples/약 600M grasps)까지 이어진다. 조작 쪽은 YCB(5 categories/77 objects, 물체당 600 RGB-D)·AKB-48(48/2,037, 100K 생성 RGB-D) 같은 실세계 물체 데이터셋과, PartNet-Mobility(46/2,346, 14,068 articulated parts)·GAPartNet(27/1,166, 8,489 part instances)·ManiSkill2(20/2,000+, 4M demonstration frames)·ARNOLD(8/1,078, 10,080 demonstrations)·Bi-DexHands(20 categories, 1,638,400 step demonstrations)·DexArt(4/82)·PartManip(6/494, 11 object categories/1,432 tasks)·BEHAVIOR-1K(1,000 categories/9,318 objects/50 scenes/1,949 object categories)로 이어진다.

평가지표는 이 분야의 느슨함을 드러낸다. 파지의 ‘point’ metric은 예측 사각형의 중심점이 정답 파지점에서 일정 임계 거리 안이면 정답으로 치는데 방향(orientation)을 고려하지 않아 실제 성능을 과대평가할 수 있다는 지적이 명시된다. ‘rectangle’ metric은 각도 편차 30도 초과를 먼저 걸러낸 뒤 IoU를 임계값과 비교한다. 실기에서는 GSR(m번 시도 중 n번 성공 → n/m)이 쓰이고, 조작은 TSR(N_s/N)이 표준이되 성공 조건이 과제마다 다르다 — 서랍 열기의 성공 조건 예시가 “최대 개방 범위의 최소 90%까지 열리고 정지 상태를 유지”라고 구체적으로 적혀 있다. 여러 랜덤 시드로 반복해 평균과 분산을 보고하는 것이 관행으로 소개된다.

응용은 산업(조립 라인 작업·포장 및 분류·위험 환경 유지보수), 농업(FarmBot, Tevel FAR, Rowbot), 가정(가사 보조·스마트 돌봄·요리), 수술(절개와 봉합·자동 제어·수술 협업), 기타(우주 탐사·교육·연구)로 정리된다.

오픈 챌린지 (Sec. VII)

1. Sim-to-real 일반화: 실세계 데이터 수집이 어려워 시뮬레이션 학습이 주류지만, 격차는 지각 격차·컨트롤러 부정확성·시뮬레이션 편향 등에서 온다. 대응으로 domain randomization, 물리 제약 정규화, 반복적 self-training을 든다.
2. 멀티모달 embodied LLM: 다중 센서로 멀티모달 데이터를 모으고 새 환경·과제에 빠르게 적응하는 것이 범용 로봇의 목표. 로봇 파지를 위한 정확한 수치 출력을 내도록 추론을 튜닝한 연구, affordance와 물리 개념을 이미지·텍스트 너머로 LLM에 통합한 연구를 예로 들지만 전체적으로 아직 초기 단계라고 평가한다.
3. 인간-로봇 협업: 소통·조율 장벽, 과의존, 안전 문제. 심층 RL 기반 2단 계층 제어, 인간-인간 협업 시연 기반 Co-GAIL 등의 진전이 있으나 시뮬레이션에 머물거나 제한된 과제만 수행해 실용에는 부적합하다고 짚는다.
4. 모델 압축과 로봇 가속: 임베디드·모바일·엣지 환경의 자원 제약과, LLM 기반 방법의 계산 요구 증가가 충돌한다. 속도 문제를 구체적 수치로 제시한 대목이 이 서베이에서 드물게 날카롭다 — Google RT-2의 결정 주파수는 사용 VLM 파라미터 규모에 따라 1–5 Hz로, 실용화까지 상당한 격차가 있다. 반면 휴머노이드 Figure 01은 200 Hz로 행동 지시를 생성한다고 (각주의 회사 웹사이트를 출처로) 언급하며 낙관의 근거로 든다.
5. 해석가능성과 안전: 딥러닝의 블랙박스 성격이 사용자의 불신을 낳고, 인간과 밀접히 상호작용하는 환경에서는 개인 안전 우려로 이어진다. 해석가능성 연구와 더불어 신뢰할 수 있는 온라인 학습·제어, 공격 방어를 위한 적대적 학습, 강건한 안전 모니터링 설계가 필요하다고 정리한다.

비판적으로 보면

강점

• 분류축이 “연구자가 실제로 내리는 선택”과 일치한다. 이미지 몇 장을 쓸 것인가(SISB/SIMB/MISB/MIMB), 물체를 얼마나 아는가(ILOPE/CLOPE/NOPE), 정책을 어떤 함수로 쓸 것인가(explicit/implicit/diffusion) — 전부 논문을 쓸 때 실제로 갈라지는 지점이다. 유행하는 모델 이름(LLM/NeRF/diffusion)으로 자르지 않았기 때문에 새 기법이 나와도 격자가 깨지지 않는다. 예컨대 diffusion은 정책 표현에도, 촉각 데이터 생성에도, EDF 계보에도, 3D-VLA에도 흩어져 나타나는데, 축이 기능이라 각각 제자리를 찾는다.
• 자세 추정과 정책 표현을 수식으로 정의한 것이 좋다. 특히 자세 추정 3수준을 \mathbf{\Phi}(I|\mathbf{O},\mathbf{M}) / \mathbf{\Phi}(I|\mathbf{O},\mathbf{C}) / \mathbf{\Phi}(I|I_r)의 조건부 차이로 표현한 것은, 말로 “사전지식이 다르다”고 하는 것보다 훨씬 명확하다.
• Discussion 문단이 매 하위절 끝에 붙는다. 짧지만 “이 갈래의 대가는 무엇인가”를 매번 못 박아서, 목록을 읽다가 길을 잃지 않게 한다. MOG가 SOG보다 느리다, 지도 affordance는 도메인에 갇히고 상호작용 affordance는 샘플이 비싸다 같은 판단이 명시돼 있다.
• 부정적 사실을 지우지 않는다. ‘point’ metric이 방향을 무시해 성능을 과대평가한다는 것, NeRF 기반 투명 물체 파지가 파지당 수 시간이 걸렸다는 것, RT-2가 1–5 Hz라는 것 — 홍보성 서베이라면 빠뜨리기 쉬운 대목들이다.
• 관련 서베이 비교표(Table I)를 앞에 두고 차별점을 명시해, 독자가 “내가 읽어야 할 서베이가 이것인가”를 먼저 판단할 수 있게 한다.

약점·한계

• 정량 비교가 사실상 없다. 데이터셋 표는 규모를 정리하지만, 방법들을 같은 벤치마크 위에 놓고 비교하는 표는 없다. 위에서 본 Bridging Language and Action 서베이가 파라미터 수·하드웨어·제어 주파수를 한 표에 모은 것과 대조된다. “이 격자 안에서 지금 무엇이 가장 잘 되는가”에 답하지 않으므로, 지도로는 훌륭하지만 선택 근거로는 약하다.
• 분류가 “무엇을 다루는가”에 머물고 “왜 그렇게 나뉘는가”의 논증이 얇다. 예컨대 Bridging 서베이는 “RL 논문 두 편이 언어를 다르게 쓰면 둘 다 RL이라는 분류는 무의미하다”는 식으로 자기 축을 방어하는데, 이 서베이의 3분류(EPEL/EPCL/ETOL)는 로봇 시스템의 상식적 파이프라인이라 직관적이지만 새롭지는 않다. Cong et al.과의 차별점도 “우리는 더 넓게 다룬다”는 범위 주장에 가깝지, 관점의 전환이라기는 어렵다.
• 세 갈래의 경계가 실제로는 새는데 그 지점을 다루지 않는다. RLAfford는 RL로 affordance를 배우고(인식 ↔︎ 정책), UniDexGrasp++는 파지 과제를 RL+IL로 푸는 정책 연구이며(정책 ↔︎ 과제), 3D-VLA는 인식·정책·과제를 한 모델로 접는다. 격자의 칸들이 서로 어떻게 결합되고 충돌하는지 — 예컨대 “표현 선택이 정책 선택을 어떻게 제약하는가” — 에 대한 교차 분석이 거의 없다.
• 하위절 사이의 깊이가 고르지 않다. 물체 파지(IV-A)는 투명·클러터·동적이라는 세 난제를 각각 여러 문단에 걸쳐 다루는 반면, 민첩 조작(IV-B2)은 도구 조작을 빼면 문단 두어 개로 끝난다. 인간 데이터·teleoperation·촉각 기반 민첩 조작 같은 굵직한 흐름이 촉각 표현 절에 짧게 언급되고 마는 것도 아쉽다.
• 시점이 2024년 8월에 묶여 있다(v1 기준). 정책 학습 절에서 언급되는 VLA는 OpenVLA·3D-VLA 세대이고, 이후 급격히 커진 흐름(액션 청킹·flow matching 기반 정책·대규모 실기 데이터 파운데이션 모델)은 당연히 반영돼 있지 않다. 데이터셋 표도 마찬가지다. 서베이의 숙명이지만, 2026년 시점에서는 “당시의 지도”로 읽어야 한다.
• 일부 근거의 출처가 논문이 아니다. Figure 01의 200 Hz는 회사 웹사이트를 각주로 단 서술이고, 어떤 조건에서 측정된 수치인지 확인할 수 없다. RT-2의 1–5 Hz와 나란히 놓여 “가속의 낙관”을 뒷받침하는 자리에 쓰이는데, 검증 가능성의 격이 다르다.

관련 연구와의 자리 매김

이 블로그에는 이미 몇 편의 서베이 리뷰가 있고, 이 글은 그 사이에 다음처럼 놓인다.

• Bridging Language and Action — 언어를 1차 분류축으로 삼아 조작 연구를 자른다. OCRM은 언어를 하위 갈래(정책 학습의 “기타”, 오픈 챌린지의 멀티모달 embodied LLM)로 다루므로, 두 서베이는 같은 대상을 다른 칼로 자른 셈이다. 함께 읽으면 “기능 축”과 “언어 축”의 격자가 겹쳐 보인다.
• HLM Survey · HLC Survey — 휴머노이드의 로코모션·로코매니퓰레이션을 제어·계획·학습 관점에서 정리한다. OCRM은 팔·손과 물체로 범위를 좁힌 대신 인식(자세·affordance)과 파지 세부를 훨씬 깊이 판다. 전신 제어와 물체 중심 조작이 만나는 지점을 보려면 둘을 나란히 놓는 게 좋다.
• diffusion policy 계열(REFINE-DP, D²PPO)과 민첩·도구 조작 계열(Mana)은 이 서베이의 격자에서 각각 III-A3(정책 표현)과 IV-B2(민첩 조작·도구 조작) 칸을 채우는 후속 사례로 읽힌다. 서베이가 남긴 숙제(diffusion 샘플링 가속, 범용 DM 프레임워크)가 그 논문들에서 어떻게 공격되는지 대조하면 재미있다.

부수적으로, 저자들이 함께 공개한 OCRM_survey 레포는 재현용 코드가 아니라 서베이가 인용한 논문·코드 목록을 정리한 awesome-list다. 이 리뷰도 재현 없이 논문만으로 작성했다.

요약

OCRM 서베이는 물체 중심 로봇 조작을 인식(EPEL) → 정책(EPCL) → 과제(ETOL)의 세 기능 축으로 자르고, 각 축을 연구자가 실제로 마주하는 분기점으로 세분한 7개 하위 방향의 지도다. 자세 추정 3수준과 정책 표현 3형태를 수식으로 정의해 경계를 명확히 하고, 하위절마다 짧은 Discussion으로 대가를 명시하며, 데이터셋 18종·평가지표·응용 5영역·오픈 챌린지 5개로 마무리한다. 정량 비교가 없고 3분류 자체가 새로운 관점이라기보다 상식적 파이프라인이라는 점, 그리고 2024년 8월에 시점이 묶여 있다는 점은 분명한 한계다. 그럼에도 처음 이 분야에 진입해 “지금 내가 하는 일이 전체 그림의 어디에 있는가”를 알고 싶은 사람에게는 여전히 쓸모 있는 좌표계다.