👩‍💻IsaacSim과 IsaacLab 알아보기

isaacsim

isaaclab

code

IsaacSim 4.5.0 & IsaacLab

Published

March 14, 2025

이번 포스팅에서는 대표적인 로봇 시뮬레이터 중 하나인 IsaacSim(IsaacLab)에 대해서 알아보고, 이를 Local에 설치하는 과정을 진행해보겠습니다.

H1 Humanoid example using Isaac Lab(Built on Isaac Sim)

1 어떤 로봇 시뮬레이터를 선택해야 할까?

로봇 시뮬레이션을 위한 소프트웨어는 매우 다양하며, 각 시뮬레이터는 특정한 목적과 활용 사례에 맞춰 발전해 왔습니다. 가장 오랫동안 사용되어 온 Gazebo를 비롯해, 특정 로봇 task 개발에 적합한 PyBullet, MuJoCo, 그리고 Google에서 개발한 초고속 GPU 기반 시뮬레이터 Brax 등 다양한 시뮬레이터들이 있습니다. 더 많은 로봇 시뮬레이터에 대한 정보를 알고 싶으시다면 Simulately Wiki를 한번 살펴보시는 것도 좋습니다.

그렇다면 어떤 시뮬레이터를 선택해야 할까요? 아래 표에서 볼 수 있듯이, 사용하는 물리 엔진, ROS2와의 연동 가능 여부, AI/ML 프레임워크와의 통합 용이성 등에 따라 선택 기준이 달라집니다. 예를 들어, Gazebo는 ROS(로봇 운영 체제)와의 연동이 강력한 반면, MuJoCo나 PyBullet은 강화 학습 및 AI 기반 로봇 학습에 더 적합한 환경을 제공합니다. 로봇 연구와 개발을 위해서는 목표하는 작업(Task)에 적합한 시뮬레이터를 선택하는 것이 핵심입니다.

다양한 로봇 시뮬레이터 비교표

앞서 다양한 로봇 시뮬레이터가 존재한다는 점을 살펴보았는데, 오늘은 그중에서도 NVIDIA에서 개발하고 있는 Isaac Sim이라는 시뮬레이터에 대해 자세히 알아보겠습니다. 또한, Isaac Sim을 기반으로 로봇 프로그래밍을 더욱 쉽게 만들어주는 프레임워크인 Isaac Lab도 함께 소개하려 합니다.

사실 NVIDIA는 예전부터 로봇 시뮬레이터 개발에 꾸준히 투자해 왔으며, 다양한 이름으로 여러 오픈 소스 프로젝트를 공개해 왔습니다. 그래서 “Isaac”이라는 이름을 가진 프로젝트들이 여럿 존재하는데요. 대표적인 예로, Isaac Gym, Isaac Sim, 그리고 과거 Orbit 프로젝트가 있습니다. 흥미롭게도, 오늘 소개할 Isaac Lab도 원래는 2023년까지만 해도 Orbit이라는 이름의 프로젝트였습니다. 하지만 최근 NVIDIA의 GR00T 프로젝트와 함께 통합되면서, 새로운 이름인 Isaac Lab으로 재탄생하게 되었습니다.

(사실 저도 이전에 정리했던 Orbit 설치 가이드 포스팅이 한순간에 무용지물이 되어버렸다는 안타까운 사연이 있습니다…😅 하지만, 당시 Omniverse, Isaac Sim, Orbit의 관계를 정리했던 부분은 여전히 유효하기 때문에 지금도 도움이 되는 자료이긴 합니다.)

2 IsaacSim VS. IsaacGym

Isaac Gym/Sim 무엇이 다를까?

Isaac Sim을 처음 접하시는 분들 중에는 연구 논문에서 더 자주 등장하는 Isaac Gym과 혼동하는 경우가 많습니다. 사실, 두 시뮬레이터는 서로 밀접한 관련이 있지만, 목적과 기능이 다릅니다. 따라서 본격적으로 Isaac Sim을 살펴보기 전에, 먼저 Isaac Gym과 Isaac Sim의 차이점을 이해하는 것이 중요합니다.

1. Isaac Gym: 강화 학습을 위한 고성능 GPU 시뮬레이터

먼저, Isaac Gym은 강화 학습(RL)을 위한 GPU 기반의 고성능 물리 시뮬레이터입니다. NVIDIA의 PhysX 엔진 위에 구축되어 있으며, CPU 기반의 기존 물리 엔진과 비교했을 때 훨씬 빠른 시뮬레이션 속도를 자랑합니다. Isaac Gym의 가장 큰 특징은 GPU를 활용한 병렬 연산을 통해 수많은 환경을 동시에 실행할 수 있다는 점입니다. 덕분에 로봇 학습을 위한 데이터 수집이 매우 빠르게 이루어지며, CPU 기반 시뮬레이션에서는 불가능했던 대규모 병렬 시뮬레이션이 가능합니다.

이러한 강력한 성능 덕분에, Isaac Gym은 로봇 강화 학습 연구에서 널리 사용되어 왔습니다. 예를 들어, 다리 달린 로봇의 보행 학습, In-hand Manipulation, Industrial Assembly 등의 연구에서 성공적으로 활용되었습니다.

하지만 Isaac Gym은 범용 로봇 시뮬레이터가 아닙니다. 강화 학습을 위한 최적화가 이루어진 만큼, 몇 가지 기능이 빠져 있습니다.

변형체(Soft Body) 시뮬레이션 X → 강체(Rigid Body) 물리 시뮬레이션만 지원
고품질 렌더링 X → 사실적인 그래픽 구현이 어려움
ROS/ROS2 지원 X → 실제 로봇과의 연동이 어려움

즉, Isaac Gym은 “강화 학습을 위한 초고속 물리 시뮬레이터”이지만, 범용적인 로봇 시뮬레이션에는 한계가 있습니다.

2. Isaac Sim: 범용 로봇 시뮬레이션 플랫폼

Isaac Sim은 NVIDIA Omniverse 플랫폼 위에 구축된 범용 로봇 시뮬레이터입니다. Isaac Gym이 물리 시뮬레이션에 초점을 맞췄다면, Isaac Sim은 보다 폭넓은 로봇 연구와 개발을 지원하는 환경을 제공합니다. 가장 큰 차이점은 고품질 렌더링과 다양한 로봇 기능 지원입니다. Isaac Sim은 최신 RTX 그래픽 기술을 활용하여 사실적인 3D 시뮬레이션을 제공하며, 다양한 센서(LiDAR, RGB-D 카메라 등)를 시뮬레이션할 수 있어 실제 로봇 시스템과의 연동이 용이합니다. 뿐만 아니라, ROS/ROS2를 완벽하게 지원하여, Isaac Sim에서 개발한 로봇 알고리즘을 실제 하드웨어에서도 그대로 실행할 수 있습니다.

또한, 도메인 랜덤화(Domain Randomization)와 합성 데이터 생성 기능을 활용하여, Sim2Real 연구에도 매우 유용합니다. 이러한 기능들은 실제 로봇이 직면할 다양한 환경 변화에 대해 강건한 학습이 가능하도록 도와줍니다.

Isaac Sim의 또 다른 강점은 클라우드 기반 실행이 가능하다는 점입니다. NVIDIA의 Isaac Automator를 사용하면, 물리적으로 높은 사양의 GPU를 갖춘 장비가 없더라도, 클라우드에서 Isaac Sim을 실행하여 대규모 시뮬레이션을 수행할 수 있습니다.

Isaac Gym과 Isaac Sim, 어떤 것을 선택해야 할까?

비교 항목	Isaac Gym	Isaac Sim
목적	강화 학습 (RL) 중심	범용 로봇 시뮬레이션
물리 엔진	GPU 기반 PhysX	PhysX + Omniverse RTX
강화 학습 지원	✅ 매우 빠름	✅ 지원하지만 상대적으로 무거움
ROS/ROS2 지원	❌ 없음	✅ 가능
센서 시뮬레이션	❌ 제한적	✅ 다양한 센서 모델 제공
렌더링 품질	❌ 기본 수준	✅ 고품질 (RTX 지원)
클라우드 실행	❌ 지원 X	✅ 가능 (Isaac Automator)

선택 가이드

강화 학습 중심의 빠른 물리 시뮬레이션이 필요하다면? → Isaac Gym
범용 로봇 시뮬레이션과 ROS/센서 시뮬레이션이 필요하다면? → Isaac Sim

2.1 IsaacGymEnvs 및 OmniIsaacGymEnvs

NVIDIA가 Isaac Gym과 Isaac Sim을 공개하면서, 이 두 시뮬레이터를 보다 쉽게 활용할 수 있도록 IsaacGymEnvs와 OmniIsaacGymEnvs라는 오픈 소스 환경을 함께 제공했습니다. 이 환경들은 각각의 시뮬레이터 위에서 실행되며, 기본적인 시뮬레이션 기능을 테스트하고 로봇 학습이 가능한 범위를 보여주는 소스코드들을 보여줍니다. 즉, IsaacGymEnvs는 Isaac Gym 기반, OmniIsaacGymEnvs는 Isaac Sim 기반으로 동작하며, 각 시뮬레이터의 장점을 최대한 활용할 수 있도록 설계되었습니다.

이 환경들을 사용하면, 사전 정의된 로봇 태스크를 빠르게 실행하고 학습 성능을 벤치마킹하는 데 유용합니다. 하지만, 연구자들이 직접 커스텀 환경을 개발하거나 새로운 알고리즘을 테스트하기에는 구조적으로 한계가 많았습니다.

❌ 특정 태스크에 최적화된 환경 → 새로운 태스크 추가가 어려움

❌ 환경의 확장성이 부족 → 다양한 로봇 실험을 하기에 한계

❌ 연구자가 직접 실험을 설계하기 어려움

결국, 로봇 학습 연구가 점점 복잡해지고 다양한 실험이 필요해지면서, IsaacGymEnvs와 OmniIsaacGymEnvs만으로는 한계를 극복하기 어려워졌고 이 문제를 해결하기 위해 등장한 것이 바로 Isaac Lab입니다.

3 Isaac Lab

NVIDIA는 최근 Isaac Sim을 기반으로 한 통합적인 로봇 학습 프레임워크, Isaac Lab을 발표했습니다. 이는 단순히 기존 환경들을 개선한 것이 아니라, 보다 유연하고 확장 가능한 방식으로 로봇 학습을 지원합니다. 기존의 IsaacGymEnvs, OmniIsaacGymEnvs, Orbit 같은 개별적인 프레임워크들은 특정 환경이나 태스크에 맞춰 설계된 반면, Isaac Lab은 이러한 한계를 극복하고, 연구자들이 직접 원하는 환경과 알고리즘을 쉽게 구축할 수 있도록 설계되었습니다.

Isaac Sim Ecosystem

3.1 Isaac Lab의 핵심 특징

Isaac Lab은 강화 학습(RL), 시연을 통한 학습(LfD), 모션 플래닝 등 다양한 로봇 연구 워크플로우를 단순화하는 것을 목표로 합니다. 이를 위해 모듈형(modular) 구조를 갖추고 있으며, 연구자가 손쉽게 환경을 변경하거나 새로운 태스크를 추가할 수 있도록 확장성을 고려하여 설계되었습니다.

✔️ Isaac Lab이 기존 프레임워크와 다른 점

사전 구축된 환경 & 태스크 제공 → 바로 사용할 수 있는 샘플 환경 포함
맞춤형 커스텀 환경 개발 지원 → 사용자가 직접 환경을 설계하고 실험 가능
강화 학습 & 모션 플래닝 최적화 → 다양한 학습 방법 적용 가능

3.2 Isaac Lab에서 새롭게 추가된 기능

뿐만 아니라, Isaac Sim의 모든 기능을 계승하면서도, 로봇 학습 연구를 위한 새로운 기능들이 추가되었습니다.

🔹 구동기(Actuator) 동역학 시뮬레이션

기존 IsaacGymEnvs에서는 단순한 힘 기반 제어가 주로 사용되었지만, Isaac Lab에서는 모터와 액추에이터의 동역학을 보다 정교하게 반영할 수 있습니다. 이는 실제 로봇의 제어 방식과 더욱 유사한 시뮬레이션을 가능하게 합니다.

🔹 절차적 지형 생성(Procedural Terrain Generation)

학습을 위한 다양한 환경을 자동으로 생성할 수 있도록 프로시저럴(Procedural) 방식의 지형 생성 기능을 지원합니다. 이는 로봇이 다양한 지형을 학습하는 데 유용하며, 일반화 성능 향상에 기여합니다.

🔹 사람 시연 데이터 수집 기능

시연을 통한 학습(LfD: Learning from Demonstration)을 위한 데이터 수집 기능을 포함하여, 사람 시연 데이터 기반의 강화 학습 및 행동 복제(Behavior Cloning)가 가능합니다. 이는 단순한 RL을 넘어, 보다 효율적인 학습 방법론을 연구하는 데 유용합니다.

4 Installation

이제 Isaac Sim과 그 위에서 동작하는 Isaac Lab을 직접 설치해 보겠습니다.
많은 로봇 개발이 리눅스 환경에서 진행되기 때문에, 이후 과정은 리눅스를 기준으로 설명합니다.

4.1 Isaac Sim 설치

Isaac Sim은 4.5.0 버전으로 업데이트되면서 설치 과정이 더욱 간편해졌습니다.
하지만, 시뮬레이터를 실행하기 위해서는 고성능 그래픽 카드 및 특정 요구 사항을 충족해야 합니다.

4.1.1 시스템 사양 확인: Isaac Sim Compatibility Checker

설치 요구 사항들

💻 최소 요구 사양

운영체제: Ubuntu 20.04 이상
GPU: NVIDIA RTX 3060 이상 (RTX 3090 / 4090 권장)
CUDA 버전: 11.8 이상
VRAM: 최소 8GB (12GB 이상 권장)
RAM: 최소 16GB (32GB 이상 권장)
디스크 공간: 최소 100GB 이상의 여유 공간

Isaac Sim을 실행할 수 있는지 자동으로 점검할 수 있도록 Isaac Sim Compatibility Checker 도구를 제공합니다. 이 도구를 먼저 실행하여 시스템이 적합한지 확인한 후, 설치를 진행하는 것을 추천합니다.

✅ 설치 및 실행 방법

Isaac Sim Compatibility Checker 다운로드
압축을 풀어 원하는 폴더에 저장 및 아래 명령어로 실행

./omni.isaac.sim.compatibility_check.sh

검사 결과 확인 (색상 코드 안내)
- 🟢 Green (최적): 모든 요구 사항 충족
- 🟢 Light-green (양호): 실행 가능하지만 성능 최적화 가능
- 🟠 Orange (충분하지만 개선 필요): 실행은 가능하지만 권장 사양보다 낮음
- 🔴 Red (미지원): 실행 불가능

4.1.2 Isaac Sim 설치 (Standalone 방식)

Isaac Sim은 Omniverse Launcher 없이 독립 실행형(Standalone) 패키지로 다운로드하여 설치해야 합니다.

✅ 설치 방법
1. Isaac Sim 다운로드 페이지에서 최신 릴리스 다운로드
2. 아래 명령어를 실행하여 설치

mkdir ~/isaacsim
cd ~/Downloads
unzip "isaac-sim-standalone@4.5.0-rc.36+release.19112.f59b3005.gl.linux-x86_64.release.zip" -d ~/isaacsim
cd ~/isaacsim
./post_install.sh
./isaac-sim.selector.sh

설치 후, Isaac Sim App Selector가 실행되며 실행 모드를 선택 가능

4.1.3 Isaac Sim 실행하기

설치 후 실행하려면, 아래 명령어를 사용합니다.

./isaac-sim.sh

👉 최초 실행 시 셰이더 캐시 로딩(Warmup)이 필요할 수 있습니다. 이 경우, 아래 명령어를 실행하여 셰이더 캐시를 미리 로드합니다.

./isaac-sim.sh --warmup

4.2 Isaac Lab 설치

Isaac Lab은 Isaac Sim이 설치된 환경에서 동작하므로, 먼저 Isaac Sim을 설치한 후 진행해야 합니다. Isaac Sim을 pip 환경에서 사용하기 위해 추가적인 설치 과정이 필요합니다.

4.2.1 설치 전 요구 사항 확인

✅ GLIBC 버전 확인 (Ubuntu 20.04에서는 추가 조치 필요)

ldd --version

👉 GLIBC 2.34 이상이 필요합니다. Ubuntu 20.04 기본 버전(2.31)과 호환되지 않을 수 있으므로 확인이 필요합니다.

4.2.2 Conda 가상환경 설정

Isaac Sim을 활용하기 위해 Python 3.10 환경을 갖춘 가상 환경을 생성합니다.

conda create -n env_isaaclab python=3.10
conda activate env_isaaclab

4.2.3 PyTorch 설치 (CUDA 버전에 맞게 선택)

CUDA 버전에 맞는 PyTorch를 설치해야 합니다.

✅ CUDA 11을 사용하는 경우:

pip install torch==2.5.1 --index-url https://download.pytorch.org/whl/cu118

✅ CUDA 12를 사용하는 경우:

pip install torch==2.5.1 --index-url https://download.pytorch.org/whl/cu121

4.2.4 Isaac Sim pip 설치

pip를 이용해 Isaac Sim을 가상 환경에서 설치합니다.

pip install --upgrade pip
pip install 'isaacsim[all,extscache]==4.5.0' --extra-index-url https://pypi.nvidia.com

✅ 설치 확인

isaacsim

⚠️ 첫 실행 시 NVIDIA EULA 동의가 필요합니다.

Do you accept the EULA? (Yes/No): Yes

👉 첫 실행 시 모든 확장(extension) 파일이 다운로드되므로 10분 이상 소요될 수 있습니다.

4.2.5 Isaac Lab 클론 (소스 코드 다운로드)

git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab

4.2.6 의존성 패키지 설치

Isaac Lab 실행을 위해 필요한 패키지를 설치합니다.

sudo apt install cmake build-essential

그 후, Isaac Lab의 의존성을 설치합니다.

./isaaclab.sh --install

👉 모든 강화 학습 프레임워크를 함께 설치합니다.
👉 특정 프레임워크만 설치하고 싶다면 아래와 같이 실행합니다.

./isaaclab.sh --install rl_games  # 특정 프레임워크 (예: rl_games)만 설치

✅ 설치 가능한 프레임워크 목록

rl_games
rsl_rl
sb3
skrl
robomimic
none (학습 프레임워크 제외)

4.2.7 Isaac Lab 실행 확인

# Option 1: isaaclab.sh 실행
./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

# Option 2: Python으로 직접 실행
python scripts/tutorials/00_sim/create_empty.py

✅ 정상적으로 실행되면, Isaac Lab이 올바르게 설치된 것입니다! 🎉

5 Conclusion

지금까지 로봇 시뮬레이터의 개요부터 Isaac Sim과 Isaac Lab의 차이점, 그리고 설치 과정까지 자세히 알아보았습니다. 최근 Physical AI와 로봇 개발에 대한 관심이 급증하면서, 로봇 시뮬레이터 역시 중요한 도구로 자리 잡고 있습니다. 그중에서도 Isaac Sim은 GPU 가속 기반의 강력한 물리 시뮬레이션 기능을 제공하며, 로봇 학습 및 시뮬레이션의 새로운 표준이 되고 있습니다.

Isaac Sim을 활용하면 고품질 그래픽, 물리 엔진 최적화, ROS/강화 학습 통합 등 다양한 기능을 효율적으로 사용할 수 있으며, 이를 기반으로 한 Isaac Lab을 통해 더욱 체계적인 로봇 학습 환경을 구축할 수 있습니다. 물론, Isaac Sim을 실행하기 위해서는 고사양의 GPU가 필요하다는 점이 부담이 될 수 있습니다. 하지만, 로봇 시뮬레이션과 강화 학습에 관심이 있다면 충분히 투자할 가치가 있는 환경입니다.

다음 포스팅에서는 Isaac Lab을 활용하여 직접 시뮬레이션을 실행하고, 기본적인 사용법을 익히는 과정을 다뤄보겠습니다.