📝IsaacLab VS. MjLab

Note

IsaacLab

Isaac Lab 생태계

Isaac Lab은 최신 시뮬레이션 기술을 활용하는 통합적이고 유연한 로봇 학습 프레임워크를 제공하기 위해 Isaac Sim 위에 구축되었습니다. 모듈화 및 확장성을 염두에 두고 설계되었으며, 강화학습(RL), 시범학습(learning from demonstrations), 모션 플래닝과 같은 로보틱스 연구의 일반적인 워크플로우를 단순화하는 것을 목표로 합니다. 일부 미리 만들어진 환경, 센서, 태스크를 포함하고 있지만, 주된 목표는 커스텀 환경과 로봇 학습 알고리즘을 개발·검증하기 위한 오픈소스화된 통일된 사용하기 쉬운 인터페이스를 제공하는 것입니다.

Isaac Lab을 사용하려면 Isaac Sim 설치가 필요합니다. Isaac Sim은 Isaac Lab이 의존하는 핵심 로보틱스 도구들(URDF 및 MJCF 임포터, 시뮬레이션 매니저, ROS 기능 등)을 포함한 패키지로 제공됩니다. 또한 Isaac Sim은 NVIDIA Omniverse 플랫폼 위에서 동작하며, PhysX 기반의 고급 물리 시뮬레이션, 포토리얼리스틱 렌더링 기술, 그리고 장면 생성을 위한 Universal Scene Description(USD)을 활용합니다.

Isaac Lab은 Isaac Sim의 기능을 계승할 뿐만 아니라 로봇 학습 연구와 관련된 여러 새로운 기능을 추가합니다. 예를 들어 작동기(actuator) 동역학 시뮬레이션, 절차적(프로시저럴) 지형 생성, 인간 시연으로부터 데이터 수집 지원 등이 포함됩니다.

Isaac Lab, Isaac Sim, NVIDIA Omniverse 생태계에서의 위치

Isaac Lab은 생태계에서 어디에 위치하는가?

수년간 NVIDIA는 로보틱스와 AI를 위한 여러 도구를 개발해왔습니다. 이 도구들은 GPU의 연산 능력을 활용하여 시뮬레이션의 속도와 사실감을 가속화합니다. 시뮬레이션 기술 분야에서 큰 가능성을 보여주며 전 세계의 많은 연구자와 기업에서 사용되고 있습니다.

Isaac Gym [MWG+21]은 로봇 학습을 위한 고성능 GPU 기반 물리 시뮬레이션을 제공합니다. 이는 PhysX 위에 구축되어 있으며 강체의 GPU 가속 시뮬레이션을 지원하고 물리 시뮬레이션 데이터에 직접 접근할 수 있는 Python API를 제공합니다. 엔드투엔드 GPU 파이프라인을 통해 CPU 기반 물리 엔진에 비해 높은 프레임 레이트를 달성할 수 있습니다. 이 도구는 다지간 보행(legged locomotion) [RHRH22][RHBH22], 핸드 인핸드 조작(in-hand manipulation) [HAM+22][AML+22], 산업 조립(industrial assembly) [NSA+22] 등 여러 연구 프로젝트에서 성공적으로 사용되었습니다.

하지만 Isaac Gym은 범용 로보틱스 시뮬레이터로 설계된 것은 아닙니다. 예를 들어 변형체(deformable)와 강체(rigid) 간의 상호작용, 고충실도 렌더링, ROS 지원 등은 포함되어 있지 않습니다. 이 도구는 기본적으로 기본 물리 엔진의 기능을 보여주기 위한 프리뷰 릴리스로 설계되었습니다. Isaac Sim의 출시와 함께 NVIDIA는 로봇 공학용 범용 시뮬레이터를 구축하고 Isaac Gym의 기능을 Isaac Sim에 통합하고 있습니다.

Isaac Sim은 Omniverse 위에 구축된 로봇 시뮬레이션 툴킷으로, 복잡한 3D 워크플로우를 통합하려는 범용 플랫폼입니다. Isaac Sim은 그래픽스와 물리 시뮬레이션의 최신 발전을 활용해 로보틱스를 위한 고충실도 시뮬레이션 환경을 제공합니다. ROS/ROS2 지원, 다양한 센서 시뮬레이션, 도메인 랜덤화 및 합성 데이터 생성 도구를 지원합니다. Isaac Sim의 타일드 렌더링(tiled rendering) 기능은 환경 전반에 걸친 벡터화된 렌더링을 허용하며, Isaac Automator를 통해 클라우드에서 실행하는 것도 지원합니다. 전반적으로 로보틱스 연구자에게 강력한 도구이며 시뮬레이션 분야에서 큰 진전입니다.

위의 두 도구가 출시되면서 NVIDIA는 Isaac Gym 및 Isaac Sim 위에 빌드된 오픈소스 환경 모음인 IsaacGymEnvs와 OmniIsaacGymEnvs를 공개했습니다. 이 환경들은 기저 시뮬레이터의 가능성을 보여주기 위해 설계되었고, 시뮬레이터로 무엇이 가능한지 이해하기 위한 출발점을 제공합니다. 벤치마크 용도로 사용될 수 있지만, 커스텀 환경과 알고리즘을 개발·검증하기 위한 목적으로 설계된 것은 아닙니다. 여기서 Isaac Lab이 역할을 합니다.

Isaac Lab의 역할과 목표

Isaac Lab은 최신 시뮬레이션 기술을 활용하는 통합적이고 유연한 로봇 학습 프레임워크를 제공하기 위해 Isaac Sim 위에 구축되었습니다. 모듈화 및 확장성을 염두에 두고 설계되었으며, 강화학습, 시범학습, 모션 플래닝 등 로보틱스 연구의 일반적 워크플로우를 단순화하는 것을 목표로 합니다. 일부 미리 만들어진 환경, 센서, 태스크를 포함하지만, 주요 목표는 커스텀 환경과 로봇 학습 알고리즘을 개발·검증하기 위한 오픈소스화된 통합 인터페이스 제공입니다. Isaac Sim의 기능을 계승함과 동시에 작동기 동역학, 절차적 지형 생성, 인간 시연 데이터 수집 지원 등 로봇 학습 연구에 특화된 여러 기능을 추가합니다.

Isaac Lab은 이전의 IsaacGymEnvs, OmniIsaacGymEnvs 및 Orbit 프레임워크를 대체하며, Isaac Sim용 단일 로봇 학습 프레임워크가 될 예정입니다. 이전에 배포된 프레임워크들은 더 이상 권장되지 않으며, 사용자들은 마이그레이션 가이드를 따라 Isaac Lab으로 전환하는 것을 권장합니다.

Isaac Lab은 시뮬레이터인가?

사람들이 시뮬레이터를 생각할 때 흔히 떠올리는 엔진들(예: MuJoCo, Bullet, Flex)처럼 강력한 물리 엔진들이 있습니다. 이들 엔진은 여러 연구에서 사용되어 왔지만, 이들은 로봇 공학을 위한 범용 시뮬레이터로 설계된 것은 아닙니다. 주로 강체 및 변형체의 동역학을 시뮬레이션하는 물리 엔진이며, 시뮬레이션을 시각화하기 위한 기본 렌더링 기능과 다양한 장면 기술 포맷을 파싱하는 기능을 제공합니다.

최근 작업들 중 일부는 이러한 물리 엔진들을 다양한 렌더링 엔진과 결합하여 보다 완전한 시뮬레이션 환경을 만듭니다. 이들은 물리 및 렌더링 엔진에 대한 입출력 API를 포함하고, 경우에 따라 ROS 및 하드웨어-인-더-루프(hardware-in-the-loop) 시뮬레이션을 지원합니다. 예로는 AirSim, DoorGym, ManiSkill, ThreeDWorld, 그리고 Isaac Sim이 있습니다.

본질적으로 Isaac Lab은 로봇 학습 애플리케이션을 Isaac Sim 위에 구축하기 위한 프레임워크이지, 자체만으로 범용 시뮬레이터는 아닙니다. 이와 동등한 예로는 MuJoCo 위에 구축된 RoboSuite(고정 기반 로봇에 특화) 등이 있습니다. 다른 예로 MuJoCo Playground와 Isaac Gym이 있는데, 각각 MJX와 PhysX를 사용합니다. 이들은 여러 사전 구축 태스크를 포함하지만, 태스크별로 독립적인 구현이 분리되어 있어 코드 중복이 발생하기 쉬우며, 대형 프로젝트나 팀 단위에서 코드 재사용성을 떨어뜨릴 수 있습니다.

Isaac Lab의 주요 목표는 로봇 학습에 필요한 다양한 도구와 기능을 포함하는 통일된 프레임워크를 제공하면서도 사용 및 확장이 용이하도록 하는 것입니다. 로보틱스 연구의 공통된 요구사항을 단순화하는 디자인 패턴을 포함합니다. 예를 들어 서로 다른 주파수의 센서 시뮬레이션, 데이터 수집을 위한 다양한 원격조작(teleoperation) 인터페이스 연결, 정책 학습을 위한 액션 스페이스 전환, 구성 관리를 위한 Hydra 사용, 다양한 학습 라이브러리 지원 등이 있습니다. Isaac Lab은 매니저 기반(모듈화) 패턴과 직접 실행(single-script, Isaac Gym 유사) 패턴을 모두 지원하여 사용자가 사례에 맞는 방식을 선택할 수 있게 합니다. 각 패턴에 대해 벤치마킹과 연구에 사용할 수 있는 여러 사전 구축 태스크도 포함되어 있습니다.

왜 Isaac Lab을 사용해야 하나?

Isaac Lab은 커뮤니티가 벤치마크와 로봇 학습 시스템 설계를 위한 통합된 노력을 통해 진보를 이끌 수 있도록 오픈소스 플랫폼을 제공합니다. 이는 기존 구성요소와 알고리즘을 재사용하고 서로의 작업 위에 구축할 수 있게 해줍니다. 이렇게 함으로써 시간과 노력을 절약할 수 있고, 연구의 더 중요한 부분에 집중할 수 있습니다. Isaac Lab의 목표는 로봇 학습 연구의 사실상 표준 플랫폼(데 팍토 플랫폼)과 Isaac Sim을 활용하는 환경 동물원(environment zoo)이 되는 것입니다. 프레임워크가 성숙해짐에 따라(내부 NVIDIA 개발 및 협업 파트너의 최신 시뮬레이션 발전과 함께) 큰 이득을 볼 것으로 기대합니다.

이미 대학 및 연구소의 여러 실험실과 협력하여 그들의 작업을 Isaac Lab에 통합하는 작업을 진행 중이며, 커뮤니티의 다른 이들도 이 노력에 동참하기를 기대합니다. Isaac Lab에 기여하고 싶다면 저희에게 연락해 주세요.

• Train a Quadruped Locomotion Policy and Simulate Cloth Manipulation with NVIDIA Isaac Lab and Newton

mjlab

왜 mjlab인가?

문제점

GPU 가속 로보틱스 시뮬레이션에는 훌륭한 도구들이 많지만, 각각 트레이드오프가 존재합니다:

Isaac Lab: 뛰어난 API와 RL 추상화를 제공하지만, 무거운 설치 과정, 느린 시작 시간, Omniverse 관련 오버헤드 때문에 빠른 반복 실험이 어렵습니다.

MJX: 빠르고 가볍지만, JAX의 학습 곡선과 충돌(collision) 처리의 확장성 문제로 채택이 제한됩니다.

Newton: MuJoCo, VBD 등 여러 솔버를 지원하는 새로운 범용 시뮬레이터이며 MJCF/XML 대신 USD 기반 포맷을 사용합니다. 하지만 MuJoCo가 수년간 쌓아온 생태계와 커뮤니티 자원은 아직 갖추지 못했습니다.

해결책

mjlab = Isaac Lab의 API + MuJoCo의 단순성 + GPU 가속

우리는 Isaac Lab의 검증된 매니저 기반 아키텍처와 RL 추상화를 가져와 이를 MuJoCo Warp 위에 직접 올렸습니다. 변환 레이어도, Omniverse 오버헤드도 없습니다. 빠르고 투명한 물리입니다.

왜 Isaac Lab + Newton을 쓰지 않았나?

Isaac Lab은 최근 실험적 Newton 지원을 추가했는데, 이는 기존 Isaac 사용자들이 Newton의 백엔드를 통해 MuJoCo를 시도해볼 수 있게 해주어 좋은 선택입니다.

포괄적인 플랫폼(RL, 모방학습, 포토리얼리스틱 렌더링 등)이 필요하면 Isaac Lab을 사용하세요. MuJoCo 기반의 RL 및 sim2real에 집중된 도구가 필요하면 mjlab을 사용하세요.

왜 Isaac Lab에 MuJoCo Warp를 추가하지 않았나?

에코시스템 차원에서는 멋진 아이디어입니다! NVIDIA 팀도 최근의 실험적 Newton 통합으로 이 가능성을 탐색하고 있어 흥미롭습니다.

하지만 우리는 현실적으로 유지보수할 수 있는, 더 집중된 출발점을 원했습니다. Isaac Lab은 Omniverse/Isaac Sim의 강력한 기능을 중심으로 설계되어 있고, 그만큼 광범위한 사용 사례를 지원합니다. MuJoCo Warp를 그 안에 통합하려면 더 큰 프레임워크 내에서 작업하고, 우리가 목표로 하지 않는 여러 사용 사례까지 지원해야 합니다.

멀티-백엔드 호환성을 유지하려면 자연스럽게 복잡성과 의존성 관리에서의 타협이 필요합니다. 처음부터 새로 시작함으로써 우리는 다음을 할 수 있었습니다:

• MuJoCo Warp에 최적화된 가벼운 코드베이스 작성
• 의존성을 최소화하고 설치를 빠르게 유지
• 사용자들이 익숙한 네이티브 mjModel/mjData 구조에 대한 직접 접근 유지
• 더 큰 플랫폼의 제약 없이 빠르게 반복 개선

mjlab을 Isaac Lab의 훌륭한 API 설계에 바치는 헌사로 생각하세요. 매니저 기반의 추상화를 MuJoCo 중심의 작고 집중된 도구를 원하는 연구자들에게 제공하는 것입니다. 경쟁이 아니라 보완입니다.

철학

하드웨어 수준의 성능

• MuJoCo Warp와의 직접 통합 — 중간 변환 레이어 없음
• 사용자들이 익숙한 네이티브 mjModel/mjData 구조 유지
• 최소한의 오버헤드로 GPU 가속

개발자 경험 우선

• 한 줄 설치: uvx --from mjlab demo
• 매우 빠른 시작 시간
• 표준 Python 디버깅 가능 (원하는 곳에서 pdb 사용)
• 빠른 반복 주기

명확히 집중된 범위

• 강체(rigid-body) 로보틱스와 RL에 집중 — 모든 것을 하려 하지 않음
• 기능 남발보다 깔끔하고 유지보수 가능한 코드베이스
• 범용 래퍼가 아닌 MuJoCo 네이티브 구현

언제 mjlab을 써야 하나

mjlab을 사용하세요 — 만약 당신이:

• 빠른 반복과 디버깅을 원하고,
• MuJoCo 물리를 직접 제어하고 싶고,
• Isaac Lab 스타일의 검증된 RL 추상화를 원하며,
• 무겁지 않은 의존성으로 GPU 가속을 원하고,
• 설치 및 배포를 단순하게 유지하고 싶다면

Isaac Lab을 사용하세요 — 만약 당신이:

• 포토리얼리스틱 렌더링이 필요하고,
• USD 파이프라인 통합이 필요하며,
• Omniverse 생태계 기능을 활용해야 한다면

Newton을 사용하세요 — 만약 당신이:

• 다중 물리 솔버 지원(예: 변형체 등)이 필요하거나,
• 미분 가능한 시뮬레이션이 필요하다면

결론

mjlab은 모든 것을 대체하려는 목적이 아닙니다. MuJoCo의 단순함을 사랑하고 Isaac Lab의 RL 추상화를 GPU 가속과 함께, 불필요한 오버헤드 없이 원한다면 mjlab은 그들을 위한 도구입니다.