📃End-to-end RL Dex-Grasping 리뷰

gpu-parallel

grasping

End-to-end RL Improves Dexterous Grasping Policies

Published

November 17, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🧐 End-to-end 비전 기반 강화 학습은 로봇의 민첩한 파지 정책 학습에 중요하지만, 기존의 데이터 병렬화 방식은 메모리 비효율성으로 인해 시뮬레이션 환경 수와 배치 크기 확장에 제약을 가집니다.
🚀 본 연구는 시뮬레이터와 RL 학습 및 경험 버퍼를 별도의 GPU에 분리하는 ‘분산 시뮬레이션(disaggregated simulation)’ 방식을 제안하여, 동일 하드웨어에서 시뮬레이션 환경 수를 두 배로 늘리고 end-to-end 심도(depth) 정책 학습을 가능하게 합니다.
📈 이 방식은 기존 상태 기반 정책 증류 대비 정보 비대칭성을 해소하여 시뮬레이션 및 실제 환경 모두에서 향상된 파지 성공률을 달성했으며, 특히 분산 시뮬레이션으로 배치 크기를 늘리면 실제 성능이 더욱 개선됨을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 연구는 로봇 암과 핸드 시스템을 이용한 정교한 파지(dexterous grasping)를 위한 이미지 기반의 end-to-end Reinforcement Learning (RL) 스케일링 기법을 탐구합니다. 기존의 상태 기반(state-based) RL과 달리, 시각 기반(vision-based) RL은 메모리 효율성이 낮아 배치 크기(batch size)가 작아지는 문제가 있습니다. 이는 PPO와 같은 알고리즘에 불리함에도 불구하고, 상태 기반 정책을 시각 네트워크로 증류(distillation)하는 기존 방식과 달리, 시각 기반 RL은 능동 시각(active vision) 행동을 자연스럽게 학습할 수 있다는 장점이 있습니다.

핵심 문제점:

이러한 시각 기반 RL 정책 훈련의 주요 병목 현상은 대부분의 기존 시뮬레이터가 전통적인 데이터 병렬 처리(data parallelism) 기법을 사용하여 여러 GPU에 스케일링되는 방식에서 발생합니다. 데이터 병렬 처리 방식에서는 각 GPU가 시뮬레이터를 실행하고, RL 경험 버퍼를 저장하며, 액터(actor)와 크리틱(critic)의 기울기(gradients)를 계산합니다. 시각 기반 RL의 경우 경험 버퍼의 크기가 급증하고, 각 GPU가 시뮬레이터의 대규모 자산 캐시(asset cache)를 복사하여 불필요한 메모리 소모를 야기하므로 비효율적입니다.

제안하는 방법론: Disaggregated Simulation and RL

본 논문은 시뮬레이터와 RL 학습 (경험 버퍼 및 훈련)을 별도의 GPU에 분리(disaggregate)하여 배치하는 새로운 방법을 제안합니다. 예를 들어, 4개의 GPU가 있는 노드에서 3개의 GPU는 시뮬레이션 환경 실행에 전념하고, 나머지 1개의 GPU는 RL 학습과 경험 버퍼 저장에 사용됩니다.

시뮬레이션 복제본 (Algorithm 1): 시뮬레이션 GPU s \in \{0, 1, 2\}는 다음과 같이 작동합니다.
1. 환경을 재설정하고 초기 관측값(obs)을 생성합니다.
2. 이 초기 관측값을 학습기(learner) GPU (예: \ell \leftarrow 3)로 전송합니다.
3. 무한 루프 안에서 학습기로부터 행동(actions)을 수신합니다.
4. 수신된 행동으로 환경을 한 단계(step) 진행하여 다음 관측값(obs'), 보상(rew), 완료 신호(dones)를 얻습니다.
5. 얻은 (rew, dones, obs')를 학습기 GPU로 다시 전송합니다.
학습기/훈련기 (Algorithm 2): 학습기 GPU 3은 다음과 같이 작동합니다.
1. 시뮬레이션 GPU S \leftarrow \{0, 1, 2\}로부터 초기 관측값 obs[s]를 수신합니다.
2. 트랙토리 버퍼(trajectory buffer) D를 초기화합니다.
3. 지정된 horizon H 동안 다음 과정을 반복합니다:
  - 모든 시뮬레이션 GPU의 관측값을 모아 정책 \pi를 사용하여 행동 actions를 계산합니다 (예: actions \leftarrow \pi_{\text{stack}}(\{obs[s]\}_{s \in S})).
  - 계산된 actions[s]를 각 시뮬레이션 GPU s로 전송합니다.
  - 각 시뮬레이션 GPU로부터 (rew, dones, nextObs)를 수신합니다.
  - 수집된 (obs, actions, rew, done)를 트랙토리 버퍼 D에 추가하고, obs를 nextObs로 업데이트합니다.
4. H 스텝이 끝나면 트랙토리 버퍼 D를 사용하여 PPO 알고리즘으로 정책 \pi를 훈련합니다.

이러한 분리 방식은 기존 데이터 병렬 처리 방식과 동일한 수의 GPU를 사용하여 시뮬레이션 가능한 환경 수를 두 배 이상 증가시킵니다 (표 I 참조). 이는 메모리 집약적인 시각 기반 환경에서 PPO 배치 크기를 충분히 확보하여 학습 신호를 개선하는 데 중요합니다.

훈련 환경 및 정책 아키텍처:

DextrAH-RGB [9]와 동일한 Kuka iiwa 암과 Allegro V4 핸드 시스템을 사용하며, Visual Dexterity 데이터셋 [26]의 140개 객체를 파지하고 들어 올리는 태스크를 수행합니다. sim-to-real 전이를 위해 Automatic Domain Randomization (ADR) [27, 9]을 적용하여 물리 파라미터(joint friction, stiffness, damping, mass 등)를 무작위화합니다. 정책은 PPO [28]로 end-to-end 방식으로 훈련됩니다. 네트워크 아키텍처(그림 3)는 다음과 같습니다: * CNN 백본: 입력 이미지는 4개 레이어의 CNN을 통과합니다. 필터 수는 각각 [16, 32, 64, 128]이며, 레이어 정규화(layer normalization)와 ReLU 활성화 함수를 사용합니다. * 임베딩: CNN의 출력은 32차원 임베딩(embedding)으로 변환됩니다. * 결합 및 LSTM: 이 임베딩은 로봇의 고유수용성(proprioception) 데이터와 결합되어 1024 유닛을 가진 두 개의 LSTM 레이어를 통과합니다. * MLP: LSTM의 출력은 [512, 512, 256] 은닉 유닛을 가진 3개 레이어의 Fully Connected Network (MLP)로 피드됩니다. GPU 메모리 효율성과 학습 속도를 고려하여 RGB 대신 깊이(depth) 기반 정책을 RL로 훈련한 후, 이를 스테레오 RGB 정책으로 증류합니다. 이는 스테레오 RGB 쌍으로부터 깊이를 복원할 수 있으므로, 상태 기반 교사(teacher) 정책과 학생(student) 정책 사이에 존재하던 정보 비대칭성(information asymmetry) 문제를 해결하고 이론적인 정보 격차(information gap)를 없앱니다 (그림 4).

실험 결과:

Disaggregated Simulation vs Data Parallelism: 제안된 분리 시뮬레이션 방식은 전통적인 데이터 병렬 처리 방식보다 모든 평가 지표(ADR Inc., % Full ADR, SR)에서 우수한 성능을 보였습니다 (표 II). 특히 320x240 해상도에서는 데이터 병렬 방식이 객체를 파지하는 정책을 전혀 훈련시키지 못했지만, 분리 시뮬레이션 방식은 유의미한 성능 향상을 달성했습니다. 이는 시각 기반 RL 태스크가 시뮬레이션 가능한 환경 수에 크게 제약받음을 보여줍니다.
Distilling State Teachers vs Depth Teachers: 시뮬레이션에서 깊이 기반 교사 정책으로부터 증류된 RGB 학생 정책이 상태 기반 교사 정책으로부터 증류된 RGB 학생 정책보다 더 나은 성능을 보였습니다 (그림 5). 이는 학생과 교사 간의 정보 비대칭성이 줄어들어 학생이 자신의 모달리티(modality)에 더 적합한 행동을 학습할 수 있게 하기 때문입니다.
Real World Benchmarking: 실제 환경 빈 패킹(bin packing) 태스크에서 깊이 기반 교사 정책(특히 분리 시뮬레이션으로 훈련된 정책)이 상태 기반 교사 정책을 능가하는 최고의 성공률을 달성했습니다 (표 III). 이는 RL 학습의 배치 크기 증대가 시각 기반 정책의 실제 성능 향상에 기여함을 보여줍니다.

결론:

본 연구는 정교한 파지를 위한 end-to-end 깊이 기반 RL 방법을 제시합니다. 기존의 상태 기반 정책 훈련 후 시각 기반으로 증류하는 방식과 달리, 깊이 정책을 RL로 직접 훈련하고 이를 RGB 정책으로 증류함으로써 정보 격차 문제를 해소하고 시뮬레이션 및 실제 환경에서 더 나은 성능을 얻을 수 있음을 입증했습니다. 또한, 적은 수의 GPU로 end-to-end RL 정책을 효율적으로 훈련하기 위한 분리 시뮬레이션 방법을 제안하여, 동일한 하드웨어에서 시뮬레이션 환경 수를 두 배로 늘리고 결과적으로 시각 기반 RL 정책 훈련의 성능을 크게 향상시켰습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

로봇도 이제 ‘보면서’ 배운다: End-to-end RL로 실현하는 Dexterous Grasping

NVIDIA와 UC Berkeley 연구진이 발표한 정말 흥미로운 논문을 소개하려고 합니다. 로봇 손이 사람처럼 다양한 물체를 집을 수 있게 만드는 것, 즉 dexterous grasping은 로봇공학의 오랜 숙제였죠. 이 논문은 그 문제를 해결하는 새로운 방법을 제시합니다.

🤔 문제의 시작: 로봇은 왜 ’보는 것’을 배우기 어려울까?

로봇이 물체를 집는 방법을 학습시키는 것은 생각보다 훨씬 복잡한 문제입니다. 특히 사람 손처럼 여러 개의 손가락을 가진 로봇 손(multi-fingered hand)으로 다양한 물체를 집는 것은 정말 어려운 일이죠.

기존에는 어떻게 했을까?

전통적으로 로봇 그래스핑 정책은 크게 두 가지 패러다임으로 발전해왔습니다:

State-based RL 접근법 - 완벽한 상태 정보(물체 위치, 관절 각도 등)에 직접 접근 - 높은 학습 효율성과 안정성 - 그러나 실제 환경에서는 이러한 완벽한 상태 정보를 얻기 어려움

Vision-based Policy Distillation 접근법 - State-based teacher policy를 학습한 후 - 이를 vision-based student policy로 distillation - 현재 산업계에서 가장 널리 사용되는 방법

하지만 이러한 distillation 접근법에는 근본적인 문제가 존재합니다. 바로 “관찰 가능성 격차(Observability Gap)”입니다.

🔍 핵심 문제: Observability Gap

예를 들어 로봇 팔이 물체를 잡으려고 할 때를 생각해봅시다. Teacher policy는 물체의 정확한 3D 위치 정보를 알고 있기 때문에, 로봇 팔이 물체를 가리고 있어도 문제없이 파지 동작을 수행할 수 있습니다. 하지만 카메라 영상만을 입력으로 받는 student policy는 로봇 팔에 가려진 물체를 볼 수 없어 teacher의 행동을 재현하는 데 실패하게 됩니다.

이러한 상황에서 이상적인 비전 기반 정책이라면 다음과 같은 행동을 학습해야 합니다: 1. 물체가 가려졌음을 인식 2. 로봇 팔을 움직여 시야를 확보 3. 물체를 확인한 후 파지 수행

이를 “Active Vision Behavior”라고 하며, 이는 distillation 방식으로는 학습하기 어렵습니다. Teacher policy는 이러한 행동을 할 필요가 없기 때문입니다.

💡 이 논문의 핵심 아이디어: 처음부터 보면서 배우자!

이 논문의 핵심 제안은 명확합니다: 처음부터 끝까지 vision input을 사용하여 RL로 직접 학습하자는 것입니다.

✅ End-to-End RL의 장점

Active Vision의 자연스러운 출현 - 정책이 처음부터 시각 정보만으로 학습하므로 - 시야를 확보하고, 물체를 추적하는 등의 행동이 자연스럽게 나타남 - Observability gap이 근본적으로 존재하지 않음

더 나은 Sim-to-Real 전이 - Teacher와 student 사이의 행동 불일치 문제 해결 - 실제 환경에서도 학습된 active vision 행동이 유효

⚠️ 그런데 왜 안 썼을까? Vision-based RL의 문제

그렇다면 왜 기존에는 vision-based end-to-end RL이 널리 사용되지 않았을까요? 그 이유는 메모리 효율성에 있습니다.

State-based RL vs Vision-based RL

State 기반 입력: - 입력 크기: ~수십에서 수백 차원의 벡터 - 메모리 사용량: 매우 작음 - 배치 크기: 수만 개 환경 동시 실행 가능

Vision 기반 입력: - 입력 크기: 이미지 픽셀 (예: 320×240×3 = 230,400 차원) - 메모리 사용량: state 대비 수천 배 - 배치 크기: 제한적

특히 PPO(Proximal Policy Optimization)와 같은 on-policy RL 알고리즘은 큰 배치 크기가 필수적입니다. 작은 배치로는 안정적인 gradient 추정이 어렵고, 학습이 불안정해집니다.

🚀 게임 체인저: Disaggregated Simulation

이 논문의 가장 중요한 기술적 기여는 “Disaggregated Simulation and RL Framework”입니다.

🤔 기존 방식의 문제점

전통적인 방식(Data Parallelism)에서는: - 각 GPU가 시뮬레이터 + RL 학습을 모두 수행 - 4개 GPU가 있다면: GPU 1, 2, 3, 4가 각각 독립적으로 작동 - 각 GPU의 메모리에 시뮬레이션 환경 + 경험 버퍼 + 모델이 모두 적재되어야 함

문제점: - Vision-based 환경은 렌더링에 엄청난 메모리 사용 - 각 GPU에서 소수의 환경만 실행 가능 - 전체 배치 크기가 PPO 학습에 불충분

💡 새로운 아이디어: 역할을 나누자!

새로운 방식에서는 역할을 분리합니다:

4개 GPU 노드의 경우: - GPU 1, 2, 3: 시뮬레이터 전용 (Simulator Workers) - 환경 렌더링 - 물리 시뮬레이션 - 경험 데이터 생성

GPU 4: RL 학습 전용 (Learner)
- 신경망 학습
- Experience buffer 관리
- Policy update

작동 흐름: 1. Simulator workers가 현재 policy로 환경에서 경험 수집 2. 수집된 경험(observations, actions, rewards)을 Learner로 전송 3. Learner가 모든 경험을 모아 큰 배치로 학습 4. 업데이트된 policy를 다시 simulator workers로 배포

📈 성능 향상: 숫자로 보는 효과

논문에서 제시한 결과는 인상적입니다:

환경 수 비교 (NVIDIA L40S GPU 4개 기준):

160×120 해상도: - Data Parallel: 4,096 environments - Disaggregated: 8,704 environments (2.13배)

320×240 해상도: - Data Parallel: 512 environments - Disaggregated: 1,280 environments (2.5배)

동일한 하드웨어로 2배 이상의 환경을 동시에 실행할 수 있다는 것은, PPO의 배치 크기를 2배로 늘릴 수 있다는 의미입니다. 이는 학습 안정성과 최종 성능 모두에 직접적으로 기여합니다.

🧠 영감의 원천: LLM에서 배우다

흥미롭게도, 이 아이디어는 현대 LLM inference에서 사용되는 disaggregated prefill and decode 기법에서 영감을 받았습니다. LLM serving에서: - Prefill: 긴 입력 토큰을 처리 (compute-intensive) - Decode: 한 토큰씩 생성 (memory-intensive)

이 두 작업을 분리하면 효율이 크게 향상되는 것처럼, 시뮬레이션과 RL 학습을 분리하는 것도 유사한 효과를 냅니다.

🎯 실전 전략: Depth → Stereo RGB 파이프라인

논문은 단순히 end-to-end vision RL만 제안하는 것이 아닙니다. 실제 배포를 위한 현실적인 파이프라인을 제시합니다.

🎨 왜 Depth를 중간 단계로?

RGB end-to-end RL의 문제: - Photorealistic rendering은 매우 느림 - 정확한 빛 전달 시뮬레이션 필요 - 계산 비용이 너무 높음

Depth의 장점: - 렌더링이 훨씬 빠름 (geometric information만) - 물체의 3D 구조 정보를 직접 제공 - 시뮬레이션에서 효율적으로 생성 가능

실제 배포의 필요: - 실제 로봇에는 stereo RGB 카메라 사용 - Depth sensor는 부정확하거나 사용 불가능한 경우 많음

🔄 3단계로 나누어 정복하기

Stage 1: Depth-based End-to-End RL

Input: Depth images (시뮬레이션)
Method: PPO with disaggregated simulation
Output: Depth-based teacher policy

대규모 환경에서 효율적으로 학습
Active vision 행동 자연스럽게 학습

Stage 2: Distillation to Stereo RGB

Input: Stereo RGB images (시뮬레이션)
Teacher: Depth-based policy
Output: Stereo RGB student policy

Depth teacher의 행동을 stereo RGB로 distillation
여전히 관찰 가능성 격차 존재하지만, state → vision보다 훨씬 작음

Stage 3: Sim-to-Real Transfer

Domain Randomization + Real-world deployment

ADR (Automatic Domain Randomization) 적용
물리 파라미터, 조명, 텍스처 등 랜덤화

🏆 Depth가 State보다 나은 이유

논문의 핵심 실험적 발견 중 하나는 depth teacher가 state teacher보다 우월하다는 것입니다.

비교 설정: 1. State teacher → Stereo RGB student (기존 방식) 2. Depth teacher → Stereo RGB student (제안 방식)

결과 (시뮬레이션 성공률): - State teacher: ~70-80% - Depth teacher (baseline): ~85% - Depth teacher (disaggregated): ~90%

왜 Depth가 더 나은가?

Observability gap의 관점에서: - State와 Vision: 완전히 다른 정보 형식 - State: 정확한 숫자 값 (물체 좌표 [x, y, z]) - Vision: 픽셀 패턴, 불확실성 존재

Depth와 Stereo RGB: 유사한 정보 형식
- 둘 다 시각적 표현
- 둘 다 기하학적 정보 포함
- Stereo RGB에서 depth 재구성 가능

즉, depth teacher는 student가 실제로 가질 수 있는 정보와 더 유사한 방식으로 “생각”합니다.

🔬 실험 환경: 무엇을 가지고 테스트했나?

🤖 하드웨어 구성

시뮬레이션: - Kuka iiwa 7-DoF 로봇 팔 - Allegro Hand V4 16-DoF dexterous hand - 총 23-DoF 시스템

실제 로봇: - 동일한 Kuka + Allegro 구성 - Stereo RGB 카메라 (ZED 2) - 파지 후 물체를 bin에 투하하는 태스크

📦 테스트 물체들

Visual Dexterity Dataset: - 140개의 다양한 물체 - 일상적인 물건들 (컵, 도구, 장난감 등) - 다양한 형상과 크기

평가 메트릭: - Success Rate: 물체를 성공적으로 파지하고 bin에 투하한 비율

🎲 현실감 더하기: Domain Randomization

Sim-to-real gap을 줄이기 위해 ADR (Automatic Domain Randomization) 사용:

물리 파라미터: - Joint friction, stiffness, damping - Object mass, friction - Contact parameters

시각적 요소 (RGB 학습 시): - Lighting conditions - Texture randomization - Camera parameters

ADR의 특징: - 초기에는 작은 randomization 범위 - 정책이 안정화되면 점진적으로 범위 확대 - 최종적으로 넓은 범위에서도 robust한 정책 학습

📊 결과는 어땠을까? (스포일러: 대성공!)

💻 시뮬레이션에서의 성적표

Depth End-to-End RL 비교:

Resolution	Method	Environments	Success Rate
160×120	Data Parallel	4,096	~82%
160×120	Disaggregated	8,704	~88%
320×240	Data Parallel	512	~75%
320×240	Disaggregated	1,280	~85%

주요 발견: - Disaggregated 방식이 모든 해상도에서 우수 - 더 높은 해상도(320×240)에서도 효과적 - 배치 크기 증가가 직접적인 성능 향상으로 이어짐

🎓 Teacher 비교: 누가 더 잘 가르칠까?

Teacher Type 비교 (Stereo RGB Student 기준):

Teacher Type	Student Success Rate
State (baseline)	~72%
Depth (data parallel)	~79%
Depth (disaggregated)	~85%

분석: - Depth teacher가 state teacher보다 7-13% 높은 성능 - Observability gap 감소가 실질적인 이득으로 나타남 - Disaggregated simulation의 효과가 distillation 후에도 유지

🌍 실제 로봇에서는?

Real-World Success Rate:

논문에서는 실제 로봇에서 이전 state-of-the-art vision-based 방법을 능가했다고 보고합니다. 구체적인 수치는 명시되지 않았지만, 다음 사항들이 관찰되었습니다:

정성적 성과: - 다양한 물체에 대해 robust한 파지 - Active vision 행동의 실제 발현 (예: 더 나은 시야 확보를 위한 움직임) - 시뮬레이션 성능과의 gap이 기존 방법보다 작음

Sim-to-Real Transfer의 효과: - Depth teacher 기반 정책이 더 나은 전이 특성 - ADR과의 시너지 효과 - 실제 환경의 불확실성에 대한 robust함

🛠️ 기술적 깊이: 어떻게 구현했을까?

🧱 신경망 구조

논문에서는 구체적인 네트워크 구조를 상세히 밝히지 않았지만, vision-based RL의 일반적인 접근을 따를 것으로 추정됩니다:

Encoder (Vision): - Convolutional layers for spatial feature extraction - Possibly ResNet-like architecture - Separate encoders for left/right stereo images

Policy/Value Networks: - MLP layers after vision encoding - Separate heads for actor and critic (PPO) - Action output: 23-dimensional continuous control

⚙️ 학습 설정

PPO Configuration: - Horizon length: 논문에서 예시로 3을 언급 (실제는 더 길 수 있음) - Learning rate, entropy coefficient 등은 명시되지 않음 - 5 seeds average로 실험 재현성 확보

Simulation Scale: - 수천~수만 개의 parallel environments - GPU memory를 최대한 활용하는 환경 수 설정

🔧 구현할 때 주의할 점들

Communication Overhead: - Simulator workers와 learner 간의 데이터 전송 - High-resolution images의 효율적인 전달 - Network bandwidth 고려

Load Balancing: - 3개 simulator vs 1개 learner의 균형 - Simulator가 너무 빠르면 learner가 bottleneck - Learner가 너무 빠르면 simulator가 유휴

Memory Management: - Experience buffer의 효율적인 관리 - Image data의 압축/비압축 trade-off

🔄 다른 연구들과 비교하면?

👁️ Vision-based Grasping의 선배들

Parallel Jaw Grippers with End-to-End RL: - QT-Opt (Kalashnikov et al.), 등 - 단순한 gripper로는 end-to-end RL이 성공 - 하지만 dexterous hand에는 적용 어려움 - 이유: 훨씬 높은 action space dimension (2 DoF vs 16+ DoF)

DextrAH Series: - DextrAH-RGB (이전 state-of-the-art) - State teacher → vision student distillation - 본 논문이 이를 성능적으로 능가

🤹 Dexterous Manipulation의 다른 접근들

UniDexGrasp, DexGraspNet: - Large-scale dataset 기반 접근 - 주로 grasp pose generation에 집중 - 본 논문은 dynamic execution policy에 집중

DemoGrasp, AdaDexGrasp: - Single demonstration에서 학습 - RL을 사용하지만 trajectory editing 방식 - 본 논문과는 다른 방향의 접근

🌟 이 논문만의 특별함

최초 성과: - Multi-fingered hand에서 end-to-end vision RL의 최초 sim-to-real 성공 - 이는 로봇 공학 분야에서 중요한 이정표

실용적 솔루션: - 단순히 이론적 제안이 아님 - 실제 하드웨어 제약 하에서 작동하는 시스템 - Scalable한 구현 방법 제시

🤷 완벽하진 않아요: 한계점과 미래 방향

😅 아직은 이런 부분이 아쉬워요

하드웨어 요구사항: - 여전히 다수의 고성능 GPU 필요 - 4개 GPU가 최소 요구사항 - 소규모 연구실에는 진입 장벽

시뮬레이션 의존성: - 여전히 시뮬레이션에서 학습 - Sim-to-real gap이 완전히 해소되지 않음 - Real-world에서 직접 학습하는 방법 필요

Task Specificity: - Grasp-and-place 태스크에 특화 - 더 복잡한 manipulation에 대한 확장성 불명확

🔨 바로 개선할 수 있는 것들

Real-World RL Fine-tuning: - 시뮬레이션에서 학습 후 - 실제 로봇에서 소량의 추가 학습 - SERL, DexGraspRL 등의 방법과 결합

Multi-task Learning: - 단일 태스크가 아닌 다양한 manipulation skill 학습 - Task-conditioned policy - Transfer learning across tasks

Tactile Integration: - 현재는 vision만 사용 - Tactile sensor 추가 시 더 robust한 파지 가능 - Vision + tactile의 multi-modal learning

🚀 미래에는 이런 것도 가능할까?

Foundation Models for Manipulation: - 대규모 데이터로 pre-training - Fine-tuning for specific tasks - Vision-Language-Action models

Hierarchical RL: - High-level planning + low-level control - 더 복잡한 long-horizon tasks - Active vision을 명시적으로 모델링

Sample Efficiency 개선: - Model-based RL 접근 - World models for dexterous manipulation - Off-policy 알고리즘 활용

✨ 결론: 로봇이 진짜로 ‘보면서’ 배우기 시작했다

이 논문이 우리에게 알려준 것들

이 논문은 dexterous grasping 분야에 정말 중요한 세 가지를 보여줬습니다:

1. 똑똑한 인프라 설계의 힘 💪 - Disaggregated simulation으로 동일한 GPU로 2배 이상의 환경 실행 - 때로는 알고리즘보다 시스템 설계가 더 중요할 수 있다는 교훈 - 다른 vision-based robotics task에도 바로 적용 가능한 아이디어

2. 중간 단계의 지혜 🎯 - Depth를 중간 단계로 사용하는 현실적인 접근 - State → Vision보다 Depth → Vision이 훨씬 효과적 - 이론과 실용성 사이의 완벽한 균형점

3. 최초의 성공 사례 🏆 - Multi-fingered hand에서 end-to-end vision RL의 첫 sim-to-real 성공 - State-of-the-art 성능 달성 - Active vision 행동이 실제로 나타남을 확인

로봇공학 분야에 던지는 메시지

패러다임이 바뀌고 있습니다 - Distillation만이 유일한 방법이 아님 - End-to-end learning이 이제 실용적인 선택지가 됨 - Infrastructure 개선이 알고리즘만큼 중요

아직 해결할 문제들 - 더 효율적인 vision-based RL 알고리즘 필요 - Sim-to-real gap을 더 줄일 방법 탐구 - 실제 환경에서 직접 학습하는 시스템으로 발전

앞으로의 전망

이 연구는 시작점입니다. 앞으로 우리는 이런 것들을 기대할 수 있을 것 같아요: - 더 복잡한 manipulation tasks로의 확장 - 더 적은 컴퓨팅 자원으로도 가능한 학습 - 실제 환경에서 바로 학습하는 시스템 - 다양한 로봇 플랫폼으로의 일반화

한 줄 요약

로봇이 인간처럼 “보고 배우는” 것은 더 이상 공상과학이 아닙니다. 올바른 infrastructure와 방법론만 있다면, vision-based end-to-end learning은 dexterous manipulation의 미래가 될 수 있습니다! 🚀

함께 보면 좋은 논문들 - DextrAH-RGB: 이전 state-of-the-art vision-based grasping - UniDexGrasp: 대규모 dexterous grasping - DexGraspNet: Dexterous grasp 데이터셋 - DemoGrasp: 단일 시연에서 학습하기 - Visual Dexterity: 이 논문에서 사용한 데이터셋

💬 마치며

이 논문은 기술적 깊이와 실용적 가치를 모두 갖춘 훌륭한 연구라고 생각해요. 특히 disaggregated simulation이라는 영리한 engineering solution과 depth-based learning이라는 실용적 접근이 결합되어, 그동안 어려웠던 vision-based dexterous grasping을 현실화했다는 점이 인상적입니다.

로봇공학을 연구하시는 분들께 주는 교훈은 명확합니다: 때로는 알고리즘의 개선만큼이나 infrastructure의 개선이 중요하다는 것이죠. 더 많은 환경을 시뮬레이션할 수 있게 만드는 것만으로도 학습 성능이 크게 향상될 수 있습니다.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 시각 기반 다지 그리핑의 도전과 기존 접근법의 한계

현대 로봇공학에서 다지 로봇 손을 사용한 섬세한 그리핑(dexterous grasping)은 높은 기민성과 적응성을 요구하는 어려운 문제입니다. 이러한 복잡한 조작 과제에서는 로봇이 시각 정보를 활용하여 주변 환경을 인식하고 물체를 정확히 파지할 수 있어야 합니다. 특히, 비전 기반 정책(vision-based policy)을 학습시키는 것은 필수적이지만, 이미지와 같은 고차원 입력 공간에서의 강화학습은 샘플 복잡도가 매우 높아 오래 전부터 난제로 인식되어 왔습니다.

과거에는 이러한 문제를 해결하기 위해 단계별 학습 또는 교사-학생(distillation) 접근법이 주로 사용되었습니다. 대표적으로 시뮬레이터에서 상태 정보(예: 물체의 위치, 로봇 관절각 등 특권 정보)를 활용해 강화학습으로 교사 정책을 먼저 훈련한 후, 이를 모방 학습으로 비전 기반 학생 정책에 증류(distill)하는 2단계 방법이 많이 연구되었습니다. 이 접근은 교사와 학생의 입력 공간을 다르게 설계할 수 있다는 유연성을 제공하여, 시뮬레이터에서만 이용 가능한 완전 상태 정보를 교사에 주어 RL 학습을 용이하게 하고, 이후 학생은 카메라 이미지만으로 동작을 모사하도록 합니다. 이를 통해 이미지 기반 RL의 낮은 샘플 효율 문제를 일부 회피하고, 학습 과정을 “행동 학습(교사 단계)”과 “표현 학습(학생 단계)”으로 팩토라이즈하는 이점이 있습니다. 실제로 이러한 방법으로 로봇 팔-손 시스템의 다양한 작업이 성공적으로 학습된 바 있습니다.

하지만 기존 단계별 접근법에는 본질적인 한계가 있습니다. 가장 큰 문제는 교사 정책이 시각 정보를 직접 사용하지 않으므로, 학생 정책이 시각적으로 최적화된 행동을 배우지 못한다는 점입니다. 예를 들어, 교사 RL 정책은 시뮬레이터가 제공하는 물체의 지면진실 위치(ground-truth pose)를 알고 있기 때문에 로봇 팔이 카메라 시야를 가리고 있어도 바로 물체를 집어들 수 있습니다. 그러나 이를 그대로 모방하는 학생 정책은 오직 카메라 영상만 보면서 학습하므로, 팔이 물체를 가린 상황에서 팔을 치워 시야를 확보하는 행동을 배우지 못한 채 물체를 잡으려 해 실패할 수 있습니다. 이처럼 교사-학생 간 관측 차이(observability gap)로 인해 학생 정책이 부분 관측 하에서 교사의 행동을 충실히 재현하지 못하고 최적 성능에서 멀어지는 문제가 보고되었습니다. 궁극적으로 이러한 간극은 정책의 아키텍처나 입력공간을 아무리 개선해도, 교사가 학습한 행동 전략 자체가 시각 센서에 최적화되어 있지 않기 때문에 발생하는 구조적 한계입니다.

요약하면, 기존 단계별 또는 모방 학습 기반 방법은 학습 안정성과 용이성 측면에서는 유리하지만, 시각 정보에 특화된 능동적 행동(예: 시야를 확보하기 위한 팔 동작 등)의 발현이 어렵고 성능 상한이 존재한다는 단점이 있습니다. 이러한 맥락에서, 로봇이 카메라 영상부터 제어 명령까지 모든 과정을 통합적으로 학습하는 엔드투엔드 강화학습(end-to-end RL) 방식은 이론적으로 가장 이상적인 접근으로 여겨집니다. 엔드투엔드 RL은 센서 입력만으로 직접 정책을 훈련하므로 관측 차이가 없고, 로봇이 자신의 센서 모달리티에 맞는 최적 행동 전략을 스스로 찾아낼 수 있다는 잠재력이 있습니다. 하지만 반대로, 이 접근은 막대한 데이터량과 계산 자원을 필요로 하며 학습이 불안정하다는 현실적인 어려움 때문에, 그동안 고난이도 다지 그리핑처럼 복잡한 작업에는 적용된 적이 없었습니다. 실제로 기존에는 단순한 그립(grasping) 작업에 제한적으로 엔드투엔드 RL이 시도되었을 뿐이고, 다관절 로봇 손이 포함된 복잡한 조작 작업에 직접 픽셀 단위로 RL을 적용해 성공한 사례는 전무했습니다.

본 리뷰에서는 “End-to-end RL Improves Dexterous Grasping Policies” (Ritvik Singh 외, 2025) 논문의 내용을 심층 분석하여, 이 연구가 어떻게 엔드투엔드 RL로 다지 로봇 손 그리핑 정책의 성능을 향상시켰는지를 조망합니다. 특히 알고리즘적 혁신을 중심으로, 제안된 방법이 기존 대비 어떤 개선을 이루었는지, 새로운 구조/기술 요소는 무엇인지, 학습 설정과 정책 구조는 어떻게 구성되었는지, 그리고 어떤 실험 환경과 벤치마크로 성능을 평가하고 어떤 결과를 얻었는지를 구체적으로 설명하겠습니다. 아울러 엔드투엔드 RL 접근법이 전통적인 단계별 RL 또는 모방학습 방식과 대비하여 가지는 장단점도 함께 논의하여, 실무 로봇 엔지니어에게 실제 시스템 개발 시 유용한 통찰을 제공하고자 합니다.

주요 기여 및 혁신 요약

논문에서 저자들은 멀티핑거 로봇 손의 엔드투엔드 학습을 통한 시뮬레이션-현실 성능 향상을 최초로 시현하며, 세 가지 핵심 기여를 강조하고 있습니다:

엔드투엔드 RL을 활용한 최초의 다지 로봇 손 Sim-to-Real 성공 사례: 시뮬레이션에서 학습한 픽셀-투-액션 정책을 다지 로봇 손에 이식하여 현실에서 높은 성능을 보여주었습니다. 이는 기존에 없던 것으로, 멀티핑거 핸드의 섬세한 조작에 엔드투엔드 RL을 적용한 첫 사례입니다. 특히 시뮬레이터로부터 실제 로봇으로의 이전(sim-to-real)까지 달성함으로써, 엔드투엔드 학습의 실용 가능성을 입증했습니다.

대규모 비전 기반 RL 학습을 가능케 하는 시뮬레이터 인프라 개선: 이미지 입력을 사용하는 RL의 병렬 학습 효율을 높이기 위해, 새로운 다중 GPU 활용 기법인 시뮬레이터-학습기 분리(disaggregated simulation)를 제안했습니다. 동일한 하드웨어에서 기존 대비 배치 규모(동시 환경 수)를 2배 이상 늘려 대용량 데이터를 효율적으로 활용할 수 있었으며, 이를 통해 이전에는 학습이 어려웠던 고해상도 비전 RL도 성과를 내는 데 성공했습니다.

비전 기반 그리핑의 최신 성능 경신: 제안한 엔드투엔드 정책은 기존 최고 성능 대비 현실 세계 그리핑 성공률을 크게 향상시켰습니다. 특히 동일한 평가 기준에서 이전의 상태기반→비전 증류 방식보다 월등한 성공률을 달성함으로써, 관측 정보 격차를 해소한 엔드투엔드 학습의 우수성을 입증했습니다. 이는 향후 시각 기반 로봇 조작 정책 개발에 있어 중요한 성과로 평가됩니다.

이하에서는 상기의 혁신들을 뒷받침하는 기법과 실험적 발견들을 자세히 살펴보겠습니다.

학습 환경 및 정책 구조

실험 환경은 UC Berkeley와 NVIDIA에서 개발한 DextrAH (Dexterous Arm-Hand) 환경을 기반으로 합니다. 로봇은 7자유도 KUKA iiwa 팔과 16자유도 Allegro V4 로봇 손으로 구성되어 있으며, 다양한 형태와 크기의 물체를 집어 올리는 그립 작업을 수행하도록 학습됩니다. 훈련 시 Visual Dexterity 데이터셋에 포함된 140종의 물체 모델이 사용되었으며, 에이전트는 무작위로 선정된 물체를 테이블 위에서 파지하여 들어올리는 과제를 반복 수행합니다. 이러한 다양한 물체로 훈련함으로써, 정책이 일반화된 그리핑 능력을 학습하도록 유도했습니다.

시뮬레이션에서 학습한 정책을 실제 로봇에 이식하기 위해, 도메인 랜덤화(domain randomization) 기법이 적극 활용되었습니다. 물리 시뮬레이터 상에서 중력, 마찰계수, 관절 마찰/강성/감쇠, 물체 질량 등의 파라미터를 훈련 초기에 범위를 무작위로 설정하고 점차 확대하는 Automatic Domain Randomization (ADR)을 적용하여, 초기에는 비교적 쉬운 동역학 조건에서 학습하다가 점진적으로 현실과 비슷한 난이도로 높아지도록 커리큘럼을 구성했습니다. ADR 기법은 OpenAI 등의 선행연구에서 입증된 방법으로, 초기 학습 안정성을 보장하면서 최종 정책의 현실 적응력(robustness)을 높이는 효과가 있습니다.

정책 네트워크 아키텍처는 고차원 이미지 입력과 로봇 자체 상태를 함께 처리하기 위해 신중히 설계되었습니다. 우선 시각 입력으로 깊이 영상(depth map)을 사용하며, 해상도는 실험에 따라 160\times120 또는 320\times240 등으로 설정되었습니다. 이 깊이 영상은 4계층 합성곱 신경망(CNN)에 통과되어 특징을 추출합니다. 각 합성곱 계층 뒤에는 Layer Normalization과 ReLU 활성화 함수가 적용되고, 마지막 계층 출력은 32차원 임베딩 벡터로 압축됩니다. 한편 로봇의 관절 각도, 속도 등의 프로프리오셉션(proprioception) 정보도 정책의 입력으로 사용되는데, 이는 CNN에서 추출된 시각 임베딩과 연결(concatenate)되어 이후 계층으로 전달됩니다.

시각+상태 결합 특성은 2계층 LSTM(장단기 메모리 네트워크)에 입력됩니다. LSTM을 사용함으로써 정책이 시간상의 연속적인 정보(예: 물체 이동, 로봇 동작 이력)를 기억하고 활용할 수 있게 하였습니다. LSTM의 은닉상태 출력은 다시 3계층 완전연결망(MLP)으로 전달되어 최종적으로 로봇의 행동 출력(관절 속도 명령 등)을 계산합니다. (비슷한 구조의 크리틱 네트워크도 공유 또는 유사한 방식으로 설계되었을 것입니다.) 저자들은 이러한 구조가 DeepMind의 IMPALA 에이전트 구조와 비교해 LSTM의 위치가 다르며, CNN 특징 후 프로프리오셉션과 결합하여 LSTM에 넣는 구성이 효과적이었다고 설명합니다. 요컨대, 이미지 → CNN → 저차원 임베딩 + 상태 → LSTM → MLP의 순서로 진행되는 정책 네트워크를 채택한 것입니다 (아래 그림 참고).

이때 강화학습 알고리즘으로는 대표적인 Proximal Policy Optimization (PPO)이 사용되었습니다. PPO는 Actor-Critic 계열의 최신 알고리즘으로 비교적 안정적인 학습이 가능하여 로봇 제어 문제에 널리 쓰입니다. 다만 이미지 기반 PPO의 학습 신호가 충분히 안정되기 위해서는 대규모 배치(batch)가 중요합니다. 이를 위해 시뮬레이터에서 수천 개 이상의 병렬 환경을 동시에 실행하여 한 번에 많은 양의 상태-행동-보상 데이터를 수집하고 PPO 업데이트에 활용했습니다. 이렇게 함으로써 고차원 입력으로 인한 잡음에도 불구하고 정책이 의미 있는 그래디언트를 얻을 수 있도록 한 것입니다.

정리하면, 본 연구의 정책 학습 설정은 “이미지(CNN)-상태 통합(LSTM)-PPO”로 요약될 수 있으며, 이는 시각정보와 로봇 내부상태를 함께 고려하는 비주모터 정책(visuomotor policy) 구조입니다. 다음으로, 이 정책을 어떤 방식으로 엔드투엔드 RL로 학습시켰는지 그리고 어떻게 효율을 극대화했는지를 살펴보겠습니다.

알고리즘적 접근: 엔드투엔드 RL 학습 전략

1. 깊이 입력 기반 엔드투엔드 RL 및 RGB 증류 파이프라인

위에서 언급했듯, 엔드투엔드 시각 RL의 가장 큰 걸림돌은 막대한 계산량입니다. 특히 RGB 카메라 영상으로 직접 RL을 수행하려면 사실적인 광원/재질 렌더링까지 필요해 시뮬레이션이 매우 느려집니다. 이에 저자들은 현실적인 타협안으로 “깊이 이미지 기반 RL + 이후 RGB로의 정책 증류”라는 2단계 학습 파이프라인을 제안했습니다. 훈련 단계에서는 물체와 환경을 단순하게 표현하는 깊이 맵을 입력으로 사용하여, 비교적 렌더링 부하가 낮은 조건에서 엔드투엔드 RL을 수행합니다. 이렇게 얻은 깊이 기반 교사 정책(teacher policy)을 이후 스테레오 RGB 카메라 입력 기반 학생 정책으로 증류(distillation)하여, 최종적으로 현실 로봇에 투입할 RGB 정책을 얻는 방식입니다. 한마디로, 시뮬레이터에서는 깊이 센서로 학습하고, 현실에서는 스테레오 카메라로 동작하도록 두 단계로 나눈 것입니다.

이 접근의 핵심 장점은 교사와 학생 간 관측 격차를 크게 줄였다는 데 있습니다. 깊이 영상과 스테레오 RGB 영상은 둘 다 로봇의 시각 센서 데이터로서, 전자는 후자로부터 기하학적으로 복원 가능한 정보이기 때문에 사실상 동등한 수준의 환경 관측을 제공합니다. 즉, 깊이로 학습한 정책이 취한 행동은 스테레오 카메라로도 충분히 모방 가능하므로, 두 입력 사이에 이론적 정보 차이가 없다고 볼 수 있습니다. 이는 앞서 지적한 상태 기반 교사 vs 비전 학생 문제와 대조적입니다. 상태 교사는 물체의 3D 위치 등 학생에게 보이지 않는 정보를 활용하므로 학생이 완전히 따라하기 어렵지만, 깊이 교사는 애초에 시각적 제약 하에서 최적화되었기 때문에 학생도 해당 행동을 그대로 재현할 수 있다는 것입니다. 실제 결과로도, 깊이 교사 → RGB 학생 증류의 경우 학생 정책의 성능이 상태 교사 → RGB 학생 증류 대비 크게 향상됨을 논문은 보여줍니다 (다음 섹션 실험 결과 참조).

또 한 가지 이점은, 깊이 기반 RL 교사는 자체가 엔드투엔드 비전 정책이므로 이미 시각적으로 합리적인 행동 전략을 내재화하고 있다는 점입니다. 앞선 예시처럼 팔이 시야를 가릴 경우, 깊이 교사 정책은 성공적으로 학습되었다면 팔을 옮겨 물체를 보면서 잡는 법을 스스로 익혔을 것입니다. 반면 상태 교사는 처음부터 그럴 필요가 없었기에 그런 행동을 배우지 못하죠. 따라서 깊이 교사에게서 배운 학생 정책은 시각적 피드백을 적극 활용하는 행동을 보여줍니다. 실제 논문에서도 깊이 교사로부터 학습한 학생이 물체를 가리지 않도록 손목 각도를 조절한다든지, 시야에 물체를 오래 유지하면서 조작하는 등 능동적 시각 행동을 더 잘 수행함을 관찰했다고 합니다. 정량적으로도 비전 교사로 학습한 학생이 상태 교사 대비 더 높은 연속 성공률을 보이는데, 이는 교사-학생 간 정보 비대칭이 적어 학생 정책이 자기 모달리티(카메라)에 보다 최적화되었기 때문으로 분석됩니다.

결과적으로, “깊이로 RL 학습 + RGB로 지식 전달”이라는 전략은 엔드투엔드 RL의 장점을 유지하면서도 현실 적용을 위한 효율성과 성능을 모두 잡은 주요 기술 혁신이라 할 수 있습니다. 이 방식 덕분에 연구진은 상대적으로 적은 하드웨어로도 완전한 RGB 픽셀-투-액션 정책을 획득할 수 있었고, 실험적으로 관측 격차 문제를 해소하여 성능을 극대화할 수 있었습니다.

2. 시뮬레이터-학습기 분할을 통한 대규모 병렬화

엔드투엔드 비전 강화학습의 또 다른 도전은, 충분한 배치 크기(병렬 환경 수)를 확보하지 못하면 PPO 등의 알고리즘이 제대로 수렴하지 않는다는 점입니다. 이미지 기반 정책은 노이즈가 많고 신호 대비 잡음 비율이 낮기 때문에, 수많은 에피소드로부터 평균적인 학습 신호를 모아볼 필요가 있습니다. 이를 위해 수천 개 수준의 환경을 동시 구동하는 병렬화가 필수적인데, GPU 가속 시뮬레이터의 경우 메모리 용량이 병목이 되어 환경 수를 마음껏 늘리기 어렵습니다. 기존 방식대로라면, 예를 들어 4개의 GPU로 학습할 경우 각 GPU가 똑같은 시뮬레이터 인스턴스를 실행하며 그 안에 다수의 병렬 환경을 갖게 됩니다. 이때 각 GPU는 자신의 환경들의 렌더링 및 물리 계산을 수행하고, 동시에 RL 경험 메모리와 정책 신경망까지 모두 로컬에 유지합니다. 그런 다음 모든 GPU의 그라디언트를 모아 평균내며 학습하는 데이터 병렬 방식이 일반적이었습니다. 그러나 이 접근은 큰 메모리 낭비를 낳습니다. 왜냐하면 네 GPU 모두 동일한 시뮬레이션 리소스(예: 물체·로봇 3D 모델, 물리엔진 상태 등 자산 캐시)를 각자 메모리에 가지고 있어야 하기 때문입니다. 또한 환경 수를 늘리면 각 GPU에서 RL 경험 버퍼도 커지는데, 이미지 관측의 경우 이 버퍼가 금방 수GB를 차지하여 GPU 메모리를 압박합니다. 결과적으로, GPU 메모리가 가득 차기 전에 PPO가 요구하는 충분한 환경을 돌리지 못하는 상황이 발생합니다.

논문에서는 이 문제를 해결하기 위해 “시뮬레이터-학습기 분리(Disaggregated Simulation and RL)”라는 새로운 다중 GPU 병렬화 전략을 제안했습니다. 핵심 아이디어는 간단히 말해, 시뮬레이션 전용 GPU와 학습 전용 GPU를 분리함으로써 각자의 역할에 최적화된 자원 활용을 하자는 것입니다. 예컨대 4개의 GPU를 가진 한 노드에서, 3개 GPU는 시뮬레이션만 수행하고 남은 1개 GPU는 PPO 학습 및 경험 메모리 저장에만 집중하도록 합니다. 이렇게 하면 세 개의 시뮬레이터 GPU가 통합된 하나의 거대한 시뮬레이터처럼 동작하면서, 이전보다 훨씬 많은 환경을 동시에 돌릴 수 있게 됩니다. 왜냐하면 이제 각 GPU가 불필요한 중복 작업(정책 그라디언트 계산, 경험 버퍼 저장)을 하지 않으므로 메모리 여유분을 전부 환경 수 증가에 투입할 수 있기 때문입니다. 반대로 학습기 GPU는 환경 시뮬레이션을 전혀 안고 가지 않으므로 정책 신경망과 대용량 버퍼를 충분히 메모리에 적재한 채, 시뮬레이터 GPU들로부터 상태 전송을 받아 PPO 업데이트를 수행합니다. 이때 GPU들 간 통신은 병렬 비동기로 이루어지며, 논문에서는 이러한 통신 및 동기화 절차를 의사코드와 다이어그램으로 상세히 제시하고 있습니다.

이 Disaggregated Simulation 기법의 효과는 인상적입니다. 동일한 4×GPU 장비에서, 전통적 데이터 병렬 방식 대비 2배 이상의 동시 환경 수 증가가 보고되었습니다. 구체적으로, 해상도 160\times120의 깊이 입력일 경우 기존에는 GPU당 1024개 환경(총 4096개)을 돌릴 수 있었던 것이, 분리 방식을 쓰면 GPU당 2800개로 늘어나 총 8400개 환경까지 확장되었습니다. 해상도를 320\times240로 높인 경우도 기존 GPU당 256개(총 1024개)에서 700개(총 2100개)로 약 2배 이상 증가했습니다. 아래 표는 이러한 결과를 요약한 것으로, 동일한 하드웨어에서 단순 구조 변경만으로 병렬 시뮬레이션 용량을 두 배로 늘렸음을 보여줍니다:

표 1. 입력 해상도별 동시 시뮬레이션 환경 수 비교 (4×NVIDIA GPU 노드 기준). 데이터 병렬의 경우 각 GPU가 시뮬레이터+학습기를 모두 실행하고, 분리 방식의 경우 3개 GPU는 시뮬레이터, 1개 GPU는 학습기로만 사용되었습니다. 그 결과, 분리 방식은 동일 자원에서 환경 수를 약 2배로 증가시켰습니다.

이러한 환경 수 증가는 단순히 수치적인 개선을 넘어, 그동안 불가능했던 고해상도 비전 RL 학습을 가능하게 했다는 점에서 의의가 큽니다. 논문에 따르면, 해상도 320\times240에서 기존 데이터 병렬로는 정책이 전혀 학습되지 않았지만, 분리 방식에서는 일정 수준 성능을 내는 정책을 학습하는 데 성공했습니다. 구체적으로, 기존 방식은 메모리 제약으로 PPO 배치가 줄어들어 학습이 불안정하여 성공률 0%에 머물렀지만, 제안한 방식은 훨씬 큰 배치로 학습을 진행해 최종 성공률 ~35%의 정책을 얻어냈습니다. 또한 해상도 160\times120 실험의 경우도, 분리 방식은 모든 시드(seed)에서 도메인 랜덤화 난이도 최대치(Full ADR)에 도달하며 약 42%의 성공률을 기록했지만, 기존 방식은 일부 시드만 한정된 난이도까지 도달(20%)하고 성공률도 37%에 그쳤습니다. 이는 동일 조건에서 분리 방식이 더 신뢰성 있게 우수한 정책을 학습시킨다는 것을 의미합니다. 저자들은 “복잡한 엔드투엔드 작업의 성능은 시뮬레이트 가능한 환경 수에 강하게 제한되며, 우리의 기법처럼 그 한계를 확장하면 곧바로 정책 성능 향상으로 이어진다”고 강조합니다. 결국 이 시뮬레이터-학습기 분리 기법은 엔드투엔드 RL의 실용화를 가로막던 계산 자원 병목을 완화하는 기술적 돌파구로서, 본 연구의 핵심 기여 중 하나입니다.

실험 결과: 시뮬레이션 성능 향상과 실제 로봇 검증

제안된 접근법의 효과를 검증하기 위해, 논문에서는 시뮬레이션 평가와 실세계 로봇 실험 모두에서 다양한 지표를 측정했습니다. 평가 기준으로는 그리핑 성공률(success rate)을 주로 사용하였으며, 시뮬레이션에서는 추가적으로 도메인 랜덤화 진행률(ADR 달성도) 등의 학습 진척도를 살펴보았습니다.

시뮬레이션에서의 성능 비교

먼저 시뮬레이터 상에서 엔드투엔드 RL 정책의 학습 성과를 살펴보면, 데이터 병렬 vs 분리 방식 간에 현저한 차이가 나타났습니다. 앞서 언급한 것처럼, 고해상도 입력(320×240)에서는 기존 데이터 병렬로는 어떠한 시드도 최종 과제를 학습하지 못한 반면(ADR 진행도 0%, 성공률 0), 분리 방식에서는 5개 시드 중 1개 정도는 최고 난이도까지 도달(20% 시드 달성)하고, 평균적으로도 ADR 범위의 90%까지 난이도를 높인 정책을 얻을 수 있었습니다. 비록 모든 실험에서 완전한 난이도에 도달하지는 못했지만, 부분적으로라도 학습이 진행되어 35% 가량의 그립 성공률을 보인 것은 엔드투엔드 비전 RL이 이 해상도에서도 가능함을 보여줍니다.

낮은 해상도 조건(160×120)에서는 양쪽 방식 모두 학습이 되긴 했지만, 분리 방식의 성능과 안정성이 더 높았습니다. 데이터 병렬의 경우 전체 시드 중 일부만 최종 난이도(Full ADR)에 도달하여 평균 20%의 달성률을 보였으나, 분리 방식은 모든 시드(100%)가 Full ADR에 도달했고 성공률도 더 높았습니다 (42% vs 37%). 다시 말해, 분리 방식은 학습 결과의 편차를 줄이고 일관되게 난이도 커리큘럼을 끝까지 소화하도록 돕는 효과가 있었습니다. 이는 대규모 배치로 인한 PPO 학습 신호 안정화 덕분으로 풀이됩니다.

다음으로, 교사 정책 종류에 따른 학생 정책 성능을 시뮬레이터에서 비교한 결과가 흥미로운 통찰을 제공합니다. 연구진은 상태 기반 교사 vs 깊이 기반 교사 각각으로 학습한 후 동일한 스테레오 RGB 학생 정책으로 증류하여, 최종 정책의 성능을 평가했습니다. 이 실험에서 성공률은 “임의의 시점에 물체를 공중에 들고 있는 환경 비율”로 정의되었는데 (들어올린 후 2초 유지 시 해당 환경을 리셋), 값이 높을수록 정책이 빠르고 능숙하게 물체를 집는다는 의미입니다. 결과는 뚜렷했습니다: 깊이 교사로부터 배운 학생 정책이 전 구간에서 상태 교사 기반 학생보다 높은 성공 비율을 기록했습니다. 두 곡선의 격차는 학습 초중반부터 벌어져 끝까지 유지되었는데, 논문은 이를 교사-학생 간 정보비대칭 감소 효과로 해석합니다. 즉, 비전 교사는 학생과 동일한 유형의 입력을 사용하므로 학생이 배워야 할 행동이 자기 센서 한계 내에서 합리적이며, 결과적으로 학생이 해당 행동을 훨씬 효과적으로 익힌다는 것입니다. 예를 들어, 깊이 교사에게 배운 학생은 팔이나 손가락으로 물체를 가리지 않도록 자세를 조정하는 법을 터득했지만, 상태 교사에게 배운 학생은 그런 전략을 학습하지 못하는 모습을 보였습니다. 이처럼 엔드투엔드 비전 RL로 얻은 교사는 학생에게도 시각적으로 최적화된 동작을 전수할 수 있음을 시뮬레이션 실험이 뒷받침해줍니다.

실세계 로봇으로의 검증 및 성능

시뮬레이션에서 도출된 정책들은 실제 로봇 플랫폼에 이식되어 성능이 검증되었습니다. 평가에는 논문 저자들이 이전 연구들에서 확립한 “빈 포장(bin packing) 그리핑” 벤치마크가 활용되었습니다. 이 벤치마크는 다양한 물체들에 대한 지속적인 그리핑 능력을 시험하기 위한 것으로, 테이블 위에 서로 다른 30개의 물체를 무작위로 배치한 후 로봇이 이를 하나씩 집어 인접한 빈(bin)에 넣는 작업을 반복 수행하게 합니다. 정책은 한 번에 하나의 물체를 집도록 설정되며, 물체를 집어 충분히 들어올린 다음에는 로봇이 미리 정해진 사전 프로그래밍 동작으로 그 물체를 빈에 떨어뜨리고, 다시 초기 자세로 돌아와 다음 물체를 집는 식으로 진행됩니다. (이러한 일련의 과정은 휴먼 오퍼레이터 개입 없이 상태 머신에 의해 자동화되었으며, 정책 네트워크 자체에는 물체의 현재 높이를 추정하는 보조 헤드가 붙어 있어 물체가 들렸는지 여부를 판단하게 했습니다.) 평가 지표는 최종적으로 빈에 성공적으로 담긴 물체의 비율, 즉 30개 중 몇 개를 성공적으로 집어 옮겼는지를 성공률(%)로 정의했습니다.

비교 대상은 기존의 DextrAH 계열 방법들과 본 연구의 정책들입니다. DextrAH-G는 2024년에 보고된 방식으로, Geometric Fabrics 기반 제어기법과 RL을 결합하여 상태 정보로 학습된 정책이고, DextrAH-RGB는 2025년 보고된 후속 연구로 앞서 학습된 상태 기반 정책을 RGB 비전 모델로 증류한 것입니다. 한마디로 DextrAH-RGB는 이 논문이 개선하고자 하는 “상태 교사 → 비전 학생” 방식의 최신 결과라 볼 수 있습니다.

실험 결과, 본 논문의 엔드투엔드 RL 정책이 이전 방법들보다 높은 성공률을 기록하며 SOTA를 갱신했습니다. 구체적인 수치를 보면, DextrAH-G는 약 87%의 성공률을 보였고 (상태 정보를 일부 활용하므로 상한선처럼 여겨짐), DextrAH-RGB는 77%로 다소 성능 저하가 있었습니다. 이는 앞서 지적한 상태-비전 간 격차로 인해 현실에서 성능이 떨어진 예라 할 수 있습니다. 반면, 제안한 방법으로 깊이 교사를 거쳐 얻은 RGB 정책은 87%의 성공률을 달성하여, 비전 정책으로서 이전 최고치(77%)를 크게 상회하며 상태 기반 교사의 수준까지 끌어올렸습니다. 더욱이 여기에 시뮬레이터-학습기 분리 기법까지 활용해 대량의 경험으로 학습한 정책의 경우 성공률이 무려 93%에 이르렀습니다. 93%라는 결과는 30개 중 거의 28개 물체를 연속 성공으로 옮겼음을 의미하며, 사람 수준에 근접하는 매우 높은 성능입니다. 이는 동일 로봇·환경에서 보고된 최고 성능으로서, 엔드투엔드 RL 접근의 효과를 극명하게 보여줍니다.

성공률 향상의 통계적 유의미성을 더 살펴보면, 깊이 교사 기반 정책들은 모든 실험 반복에서 안정적으로 80% 이상의 성공률을 유지한 반면, 상태 교사 기반 정책(DextrAH-RGB)은 시나리오에 따라 실패하는 변동이 더 컸다고 합니다. 무엇보다 깊이 교사 + 분리 학습 정책의 93%는 단순한 방법 변경만으로 기존 대비 16%p 향상된 것이어서 실무 엔지니어들에게 큰 인상을 줍니다. 이는 교사-학생 관측 차이 해소의 이득과 대규모 병렬 학습의 이득이 서로 상호작용하여 얻은 결과로 보입니다. 논문에서도 “깊이 교사로 학습한 정책들이 기존 상태 교사 기반 정책들의 성능 제한을 극복했으며, 특히 더 큰 배치 크기로 학습한 정책이 가장 우수했다”고 결론짓고 있습니다. 요컨대 엔드투엔드 RL을 통한 비전 인식 행동 학습과 훈련 인프라의 개선이 실제 로봇 성능까지 향상시킨 것을 입증한 셈입니다.

엔드투엔드 RL vs 단계별/모방 학습: 장단점 분석

앞서 살펴본 내용들을 토대로, 엔드투엔드 강화학습 접근과 전통적인 단계별/모방 학습 접근을 실무 관점에서 비교하면 다음과 같은 장단점의 대조가 드러납니다.

● 학습 파이프라인 및 구현 복잡도: 단계별 접근은 교사 RL과 학생 모방학습으로 나뉘어 있어 구현 복잡도가 다소 높습니다. 두 단계에 각기 다른 알고리즘과 손실 함수를 적용하고, 교사-학생 간 데이터 수집/학습 일치를 맞춰야 합니다. 또한 교사 정책 학습 후 별도의 대량 roll-out으로 데이터셋을 모아 학생을 훈련시키는 등 추가 작업이 필요합니다. 반면 엔드투엔드 RL은 단일한 학습 루프로 이루어져 있어 구조가 단순합니다. 한 번의 PPO (또는 기타 RL) 학습으로 바로 최종 정책을 얻을 수 있고, 별도의 모방 단계가 없으므로 전체 파이프라인가 짧고 직관적입니다. 다만 이번 연구처럼 엔드투엔드 RL 내부에서 효율을 높이기 위한 트릭(깊이 활용, 멀티GPU 활용)이 도입되긴 했으나, 이는 어디까지나 학습 가속/안정화 수단이지 알고리즘 흐름 자체는 일원화되어 있습니다.

● 데이터 효율성과 필요한 자원: 모방 학습 기반 방법은 RL로 학습해야 할 부분을 최소화할 수 있다는 이점이 있습니다. 예컨대 교사 RL은 상태 공간에서 수행하므로 비교적 효율적이고, 학생 정책은 지도학습으로 학습되어 RL의 높은 샘플 복잡도 문제를 피할 수 있습니다. 이는 곧 적은 경험으로도 정책을 얻을 수 있고, 필요한 시뮬레이션 시간이 적다는 것을 의미합니다. 반면 엔드투엔드 RL은 픽셀 단위까지 포함한 거대한 상태공간을 직접 탐색해야 하므로 훨씬 많은 데이터와 시간이 요구됩니다. 본 논문의 경우에도 4개의 최신 GPU를 수일간 활용하며 수천만 단계 이상의 시뮬레이션을 돌린 것으로 추정되며, 특별히 제안한 분산 기법 없이는 학습 자체가 어려웠습니다. 따라서 자원 제약이 큰 현업 환경에서는 곧바로 엔드투엔드 RL을 적용하기 어려울 수 있고, 여전히 교사-학생 방법이 실용적인 대안이 될 수 있습니다.

● 행동 최적화 및 성능 상한: 엔드투엔드 RL의 가장 큰 장점은 정책이 애초에 자신의 센서 입력에 맞춰 최적화된다는 점입니다. 본 논문 결과에서 보았듯, 시각 정보를 직접 활용하여 학습한 정책은 시야 확보 등의 행동을 스스로 발견하고, 결과적으로 동일 조건에서 더 높은 그리핑 성공률을 달성했습니다. 이는 단계별 접근의 구조적 한계—즉 학생이 완벽히 따라갈 수 없는 교사의 행동—를 뛰어넘어 정책 성능의 상한선을 높인 것으로 해석할 수 있습니다. 특히 다이내믹하고 불확실성이 큰 실제 환경에서는 이런 센서-모터 일치(sensorimotor alignment)가 정책의 강건성을 향상시킬 수 있습니다. 반면 단계별 접근은 교사가 높은 성능을 내더라도 학생이 이를 못 따라가면 결국 전체 성능이 저하됩니다. 또한 사람이 설계한 교사 보상이나 전략에 한계가 있다면 그 역시 학습 결과에 제약을 줄 수 있습니다. 요약하면, 엔드투엔드 RL은 더 나은 최종 성능 잠재력을 가지지만, 단계별 접근은 실제로 그 잠재력을 발휘하기까지 제한이 있을 수 있다는 점입니다.

● 안전성과 디버깅 용이성: 한편, 모방 학습 기반 방법은 중간에 명시적인 교사 정책이 존재하므로, 정책의 의도나 동작을 해석하거나 제어하기 약간 수월한 면이 있습니다. 예를 들어 교사 단계에서 실패하면 거기서 원인을 찾고 개선할 수 있고, 학생 단계에서 실패하면 데이터 증강이나 네트워크 구조 조정을 통해 수정할 수 있습니다. 또한 교사 정책을 인간 전문가 시演하거나 안전하게 설계함으로써, 정책이 위험한 동작을 하지 않도록 안전장치를 넣는 것도 비교적 용이합니다. 반면 엔드투엔드 RL은 학습 과정이 블랙박스에 가까워, 정책이 학습 도중 변덕스럽거나 위험한 시도를 할 경우 이를 제어하기 어렵습니다. 특히 현실 로봇에 바로 RL을 적용하면 충돌 등 위험이 있으므로, 시뮬레이터를 잘 활용해야 합니다. (본 연구는 시뮬레이터에서 충분히 학습 후 도메인 랜덤화를 거쳐 현실로 가져온 것이므로 안전 문제는 크지 않았지만, 일반적으로 엔드투엔드 RL은 시뮬레이터에 크게 의존한다는 점도 고려해야 합니다.)

● 기타 측면: 모방 학습이나 단계별 RL은 초기 시범 데이터나 전문가 지식을 주입하기 용이한 반면, 엔드투엔드 RL은 완전히 자율 학습에 의존합니다. 따라서 전자는 인간이 원하는 방향으로 정책을 유도하기 쉽지만, 자율성이 부족하여 인간 시연에 편향될 수 있습니다. 후자는 데이터 편향 없이 최적해를 찾을 가능성이 있지만, 보상 설계나 탐색 문제가 까다롭습니다. 결국 과제와 환경에 따라 두 접근은 트레이드오프가 있으며, 본 연구는 복잡한 다지 그리핑 분야에서 엔드투엔드 RL의 가능성을 증명함으로써, 향후에는 이러한 접근이 충분한 자원 하에서 뛰어난 결과를 낼 수 있음을 보여주었다고 하겠습니다.

결론 및 시사점

“End-to-end RL Improves Dexterous Grasping Policies” 논문을 통해, 우리는 엔드투엔드 강화학습이 다지 로봇 손의 복잡한 조작에도 적용 가능하며 오히려 기존 방법보다 더 나은 성능을 발휘할 수 있음을 확인했습니다. 저자들은 깊이 카메라 기반의 픽셀-투-액션 정책을 대규모 병렬 시뮬레이션으로 학습시키고, 이를 스테레오 RGB 정책으로 증류하여 실제 로봇에 성공적으로 이전함으로써, 비전 기반 로봇 그리핑의 새로운 경지를 개척했습니다. 특히 시뮬레이터-학습기 분리라는 혁신적인 인프라 최적화를 도입하여 제한된 GPU 자원으로도 수천 개 환경을 돌릴 수 있었고, 이를 통해 기존에 실패하던 고해상도 학습도 가능하게 만들어 결과적으로 현실 성능까지 향상시키는 선순환을 이루어냈습니다.

이 연구는 실무 엔지니어들에게 몇 가지 중요한 시사점을 줍니다. 첫째, 엔드투엔드 접근이 반드시 비효율적이지만은 않다는 것입니다. 적절한 시스템 최적화와 중간 표현(예: 깊이)의 활용으로, 복잡한 로봇 과제도 엔드투엔드로 학습 가능함을 보여주었습니다. 이는 향후 로봇 학습 시스템을 설계할 때, 굳이 모든 것을 단계별로 쪼개기보다 최소한의 인간 개입으로 통합 학습하는 방향도 고려해볼 만함을 시사합니다. 둘째, 시뮬레이션 인프라의 중요성입니다. 로봇 학습 성능을 높이기 위해 알고리즘 자체도 중요하지만, 이 논문처럼 병렬 환경 수를 극대화하거나 시뮬레이션 속도를 높이는 엔지니어링이 결정적인 역할을 할 수 있습니다. 실무에서는 종종 알고리즘 개선 이전에 이러한 시스템 최적화를 통해 큰 성능 향상을 얻을 수 있으므로, 학습 체계 전체를 보는 시각이 필요합니다. 셋째, 센서 모달리티 간 격차를 줄이는 것의 중요성입니다. 만약 시뮬레이터와 현실 간, 혹은 교사와 학생 간에 활용하는 센서 정보 수준이 차이난다면, 그 격차로 인해 성능 저하가 발생할 수 있음을 본 연구는 잘 보여줍니다. 따라서 현실 적용을 염두에 둔 로봇 학습에서는 가능한 한 실제 센서와 비슷한 조건으로 학습시키거나, 아니면 이 논문의 깊이→RGB 증류처럼 격차를 보완할 수 있는 추가 과정을 넣는 것이 바람직합니다.

마지막으로, 이 연구는 로봇 학습에서의 엔드투엔드 대 두 단계 접근의 논쟁에 값진 데이터를 제공했습니다. 엔드투엔드 RL이 어려운 길이지만 제대로 구현되면 얻을 수 있는 보상을 증명했고, 한편으로 그 구현을 위해 무엇이 필요한지도 제시했습니다 (대량의 병렬화, 적절한 중간 센서 형태 등). 이를 통해 앞으로 로봇공학 연구자들은 언젠가 인간처럼 카메라만 보고 동작을 익히는 로봇을 실현하기 위해 어떤 방향으로 나아가야 할지 힌트를 얻을 수 있을 것입니다. 결론적으로, 엔드투엔드 RL 접근은 다지 그리핑 정책의 성능과 행동 품질을 향상시키는 유망한 방법이며, 본 논문의 기술적 혁신들은 추후 다양한 로봇 조작 분야에 응용되어 더 스마트하고 능동적인 로봇을 개발하는 데 기여할 것으로 기대됩니다.