🧩Newton 물리엔진

Train a Quadruped Locomotion Policy and Simulate Cloth Manipulation with NVIDIA Isaac Lab and Newton

This post is a translated article of the original “Train a Quadruped Locomotion Policy and Simulate Cloth Manipulation with NVIDIA Isaac Lab and Newton” News.

---

NVIDIA Isaac Lab 및 Newton으로 Quadruped 보행 정책을 학습하고 천(옷감) 조작을 시뮬레이션하기

물리(Physics)는 로봇 시뮬레이션에서 매우 중요한 역할을 하며, 로봇 동작과 현실적인 환경 내 상호작용을 정확하게 가상으로 표현하는 기초를 제공합니다. 이러한 시뮬레이터를 통해 연구자와 엔지니어는 로봇 제어 알고리즘을 학습·개발·테스트·검증하고, 프로토타입을 안전하고 가속화된 방식으로 실험할 수 있습니다. 그러나 시뮬레이션은 종종 현실과 완전히 일치하지 않는데, 이를 sim-to-real gap(시뮬레이션→현실 차이)이라고 합니다. 로보틱스 개발자들은 다양한 솔버를 지원하는 통합 가능하고, 확장 가능하며, 커스터마이즈 가능한 물리 모델링 솔루션을 필요로 합니다.

이 글에서는 NVIDIA Isaac Lab 내에서 Newton을 사용해 4족보행 로봇을 한 지점에서 다른 지점으로 이동시키는 Locomotion 정책을 학습하는 방법과 산업용 매니퓰레이터(Franka)로 천(Cloth)을 접는 등 다중 물리(multi-physics) 시뮬레이션을 설정하는 방법을 안내합니다.

1 Newton이란 무엇인가?

Newton은 NVIDIA, Google DeepMind, Disney Research가 공동 개발하고 Linux Foundation에서 관리하는 오픈 소스, 확장 가능한 물리 엔진으로 로봇 학습 및 개발을 진전시키기 위해 설계되었습니다. Newton은 NVIDIA Warp 및 OpenUSD 기반으로 구축되었으며, MuJoCo Playground나 Isaac Lab 같은 로봇 학습 프레임워크와 호환됩니다.

뉴턴의 핵심에는 수치 적분과 제약 조건 해결을 위한 솔버 모듈이 있습니다. 솔버는 제약 조건 기반 또는 힘 기반(constraint- or force-based)일 수 있으며, 직접 또는 반복 방법(direct or iterative methods)을 사용할 수 있으며, 최대 또는 축소된 좌표 표현(maximal or reduced coordinate representations)을 사용할 수 있습니다.

공통 인터페이스와 공유 데이터 모델을 사용하면 MuJoCo Warp, 디즈니 리서치 Kamino 솔버, 커스텀 솔버를 실행하든 뉴턴과 일관되게 상호 작용할 수 있습니다. 또한 이 모듈식 접근 방식을 사용하면 애플리케이션 코드를 다시 작성하지 않고도 충돌 처리, 역운동학, 상태 관리, 타임스텝 논리를 재사용할 수 있습니다.

훈련을 위해 뉴턴은 물리 상태를 PyTorch 및 NumPy 호환 배열로 노출하는 텐서 기반 API를 제공하여 Isaac Lab과 같은 로봇 학습 프레임워크와 효율적인 배치 및 원활한 통합을 가능하게 합니다. Newton Selection API를 통해 훈련 스크립트는 단일 일관된 인터페이스를 통해 공동 상태를 쿼리하고, 동작을 적용하며, 결과를 학습 알고리즘에 다시 입력할 수 있습니다.

구글 딥마인드에서 개발한 MuJoCo Warp는 뉴턴 솔버로 완전히 통합되어 있으며, 딥마인드 스택에서 MJX와 Playground에도 강력한 성능을 부여합니다. 이를 통해 모델과 벤치마크를 최소한의 마찰로 Newton, IsaacLab, 그리고 MuJoCo 환경 전반에서 원활하게 이동할 수 있습니다.(Apache 2.0 라이선스 하에 출시되어 커뮤니티가 채택, 확장 및 기여할 수 있도록 보장)

2 Newton 베타(β) 릴리스의 하이라이트

• MuJoCo Warp(주요 Newton 솔버)는 GeForce RTX 4090에서 보행(locomotion)에 대해 최대 152배, 조작(manipulation)에 대해 최대 313배 빠른 성능 (NVIDIA RTX PRO 6000 Blackwell Series는 MuJoCo Warp에 대해 최대 44% 추가 속도, MJX에 대해 75% 추가 속도 제공)
• Newton 베타는 차세대 Isaac Lab 백엔드로 사용될 때, MuJoCo Warp 대비 PhysX보다 in-hand dexterous manipulation에서 최대 65% 빠른 성능을 달성
• 얇은 변형체(예: 의복)용 Vortex Block Descent(VBD) 솔버와, 입자 기반 재료(예: 흙·자갈)용 Implicit Material Point Method(MPM) 솔버의 성능 및 안정성 확장이 포함

3 Isaac Lab에서 Newton을 사용해 쿼드러페드 보행 정책을 학습하는 방법(개요)

Isaac Lab에 통합된 Newton 물리 엔진은 로봇 연구 개발을 위한 더 빠르고 강건한 워크플로를 제공합니다. 아래는 4족보행로봇(ANYmal-D 로봇 사용 예)을 대상으로 한 엔드 투 엔드(train → validate → deploy) 예시입니다.

3.1 Step 1 — Newton으로 보행 정책 학습하기

1. 레포지토리 설정: Isaac Lab 저장소를 설정합니다(레포지토리 셋업 링크 참조).
2. 학습 스크립트 실행: Isaac Lab의 RL 스크립트(예: rsl_rl)를 사용해 ANYmal-D를 평지에서 걷도록 학습합니다. GPU 병렬화를 통해 수천 개의 병렬 환경에서 빠르게 수렴시킬 수 있습니다.
3. headless 모드에서 학습(최대 성능 권장) :

./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py \
  --task Isaac-Velocity-Flat-Anymal-D-v0 --num_envs 4096 --headless

4. Newton Visualizer(경량 모니터링 도구): 뉴턴 베타 버전을 통해 새로운 경량 뉴턴 비주얼라이저를 사용하여 전체 옴니버스 GUI의 성능 오버헤드 없이 훈련 진행 상황을 모니터링할 수 있습니다. --newton_visualizer 플래그를 추가하면 됩니다:

./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py \
  --task Isaac-Velocity-Flat-Anymal-D-v0 --num_envs 4096 --headless \
  --newton_visualizer

학습이 완료되면 .pt 형식의 정책 체크포인트가 생성됩니다.

time-lapse-rl-training-newton

Time-lapse of RL training visualized using the Newton Visualizer

3.2 Step 2 — Validation with Sim2Sim(PhysX ↔︎ Newton) transfer

• Sim2Sim 전이는 정책이 특정 물리 엔진 특성에 과적합(overfit)되지 않았는지 확인하는 필수 검증입니다. 서로 다른 시뮬레이터(예: PhysX ↔︎ Newton) 간 전이가 성공하면 실제 로봇에서도 동작할 가능성이 높아집니다.
• 서로 다른 물리 엔진은 USD를 파싱하는 방식이나 관절 순서가 다를 수 있으므로, 관찰(observation)과 행동(action)을 재매핑하는 간단한 YAML 매핑 파일로 이를 해결합니다.
• Newton에서 학습한 정책을 PhysX 기반 Isaac Lab에서 실행하려면 제공되는 전이 스크립트를 사용하세요:

./isaaclab.sh -p scripts/newton_sim2sim/rsl_rl_transfer.py \
  --task=Isaac-Velocity-Flat-Anymal-D-v0 \
  --num_envs=32 \
  --checkpoint <PATH_TO_POLICY_CHECKPOINT> \
  --policy_transfer_file scripts/sim2sim_transfer/config/newton_to_physx_anymal_d.yaml

해당 transfer 스크립트는 Isaac Sim / IsaacLab GitHub 레포지토리에서 확인 가능합니다.

An ANYmal-D policy trained with the Newton backend is successfully deployed in PhysX-based Isaac Lab, showing Sim2Sim transfer in action

3.3 Step 3 — Prepare for Sim2Real

• 시뮬레이션에서 학습한 정책을 실제 로봇으로 이전하는 마지막 단계입니다. 이 예시에서는 정책 학습 시 IMU, 관절 인코더와 같은 실제 로봇에서 사용 가능한 관찰값만 사용하도록 제한하여 특권 정보(privileged info)를 사용하지 않았음을 명시합니다.
• ETH Zurich Robotic Systems Lab(RSL)의 협력으로 해당 정책은 물리적 ANYmal 로봇에 직접 배포되어 걷는 동작을 성공적으로 수행했습니다(하드웨어 테스트 비디오 참조). 이는 Isaac Lab에서의 학습이 실세계 테스트로 이어지는 직접적인 경로를 보여줍니다.

A physical ANYmal robot executing a walking gait commanded by a policy trained entirely in the experimental version of Isaac Lab with the Newton backend and transferred directly to hardware

여기까지 훈련, 검증 및 배포 프로세스는 뉴턴이 시뮬레이션에서 실제 로봇 공학에서 사용될 수 있는 가능성을 보여줍니다.

---

4 Newton standalone 엔진을 이용한 Multiphysics

Multiphysics 시뮬레이션은 하나의 프레임워크 내에서 강체(예: 로봇 손)와 변형 가능한 물체(예: 천) 간의 결합된 상호작용을 포착합니다. 이를 통해 로봇 설계, 제어 및 작업 성능에 대한 보다 현실적인 평가와 데이터 기반 최적화가 가능합니다. Newton은 Isaac Lab과 함께 동작할 뿐 아니라, 독립 Python 모드로도 사용하여 복잡한 물리 시스템을 실험할 수 있습니다.

아래 워크플로우에서는 뉴턴의 주요 특징을 소개합니다: 다양한 물리적 특성을 가진 혼합 시스템 시뮬레이션. 변형 가능한 천을 조작하는 강체 로봇 팔의 예를 살펴보고, 뉴턴 API를 통해 여러 물리학 솔버를 하나의 실시간 시뮬레이션으로 쉽게 결합할 수 있는 방법을 강조합니다.

4.1 Step 1: Franka 암(로봇 팔) + Cloth(천) Interactive 데모 실행

1. Newton 저장소 루트에서 실행하기 쉬운 예제 모음을 제공합니다. Franka 로봇 팔과 Cloth 데모는 뉴턴 저장소의 루트에서 한 번의 명령으로 실행할 수 있습니다.
2. 환경 설정:

# Newton 예제 실행을 위한 uv 환경 설정
uv sync --extra examples

3. Franka Arm과 Cloth 데모 실행:

# Franka arm + cloth 데모 실행
uv run -m newton.examples cloth_franka

데모는 실시간 GPU 가속 시뮬레이션을 보여주는 인터랙티브 뷰어를 열며, Franka-cloth 데모는 GPU 기반 VBD Cloth 솔버를 사용합니다. RTX 4090에서 약 30 FPS로 실행되며 시뮬레이션 내 침투(penetration) 없는 접촉을 보장합니다. 다른 GPU 기반 침투-제거 시뮬레이터(예: GPU-IPC)와 비교해 300배 이상의 성능 우위를 달성하는 등, 현재 사용 가능한 완전 침투-프리(fully penetration-free) 천 조작 데모 중 매우 빠른 편입니다.

The Newton standalone engine runs the cloth manipulation demo, combining rigid body and deformable physics. This visualization is rendered in NVIDIA Omniverse Kit

4.2 Step 2: 멀티피직스 결합(multiphysics coupling) 이해하기

• 이 데모는 서로 다른 동역학적 거동을 가진 시스템을 결합하는 멀티피직스 예시입니다. 각 구성요소에 특수 솔버를 할당함으로써 구현됩니다. 예제 스크립트(example_cloth_franka.py)에서 솔버 초기화 코드는 다음과 같습니다:

# 로봇용 Featherstone 솔버 초기화
self.robot_solver = SolverFeatherstone(self.model, ...)

# 천용 Vertex-Block Descent (VBD) 솔버 초기화
self.cloth_solver = SolverVBD(self.model, ...)

• 로봇 솔버를 SolverFeatherstone 대신 SolverMuJoCo처럼 강체 시뮬레이션을 지원하는 다른 솔버로 쉽게 바꿀 수 있습니다.
• 예제는 단방향(one-way) 결합을 사용합니다(강체가 변형체에 영향을 미치지만, 반대 방향 영향은 무시). 천 조작과 같은 경우, 천이 로봇 동역학에 미치는 영향이 무시될 수 있는 조건하에 이러한 결합이 가능합니다. 시뮬레이션 루프는 다음과 같습니다:
  • Update the cloth: cloth_solver는 로봇의 충돌에 반응하여 천의 움직임을 시뮬레이션
  • Update the robot: robot_solver 프랑카 팔의 상태를 진행하며, 팔은 운동학적(kinematic) 물체처럼 움직임
  • Detect collisions: 엔진은 새로 배치된 로봇과 천 입자 사이의 충돌을 확인

def simulate(self):
    for _step in range(self.sim_substeps):
        # 1. 로봇 솔버를 한 스텝 진행
        self.robot_solver.step(self.state_0, self.state_1, ...)

        # 2. 로봇과 천 입자 간 충돌 체크
        self.contacts = self.model.collide(self.state_0, ...)

        # 3. 로봇의 충돌 정보를 전달하여 천 솔버 한 스텝 진행
        self.cloth_solver.step(self.state_0, self.state_1, ..., self.contacts, ...)

• 이처럼 사용자가 제어하는 루프는 서로 다른 물리 시스템이 어떻게 결합되는지를 세밀하게 제어할 수 있게 해 줍니다.
• 향후 양방향(two-way) 결합(예: 흙·진흙과 같은 변형성 지면 위에서의 보행 시 지면이 강체에 역으로 힘을 가하는 경우) 및 시스템 간 힘의 교환을 보다 자동으로 관리하기 위해 일부 솔버 조합에 대한 암시적(implicit) 결합도 구현할 계획입니다.

5 Newton을 생태계(에코시스템)이 어떻게 채택하고 있나?

Newton 오픈 생태계는 빠르게 확장 중이며, 여러 대학 및 기업들이 특화된 솔버와 워크플로우를 통합하고 있습니다. 촉각 센싱(tactile sensing)에서 천 시뮬레이션, 섬세한 조작(dexterous manipulation)에서 거친 지형(locomotion over rough terrain)에 이르기까지 다양한 협업이 진행되고 있습니다.

주요 사례:

• ETH Zurich Robotic Systems Lab (RSL): 대형 장비 자동화(earthmoving) 관련 멀티피직스 시뮬레이션에 Newton을 적극 활용. 암시적 Material Point Method (MPM) 솔버를 사용해 토양·자갈·돌 같은 입자 상호작용을 캡처. 또한 Warp 더 광범위하게 적용하여, 배포 가능한 locomotion 제어를 위한 미분 가능한 시뮬레이션, 가우시안 스플랫(FOCI)을 사용한 궤적 최적화, GarmenCodeData 데이터셋을 통한 대규모 3D 의류 모델링등을 개발하고 있습니다.

Newton is used to capture interaction of heavy machinery with a pile of granular material. Demo credit: Maximilian Krause, Lorenzo Terenzi and Lennart Werner from ETH Zurich

• Lightwheel: SimReady 에셋 개발 및 변형체(soil, cables 등) 솔버 최적화에 기여. ANYmal 쿼드러페드가 다중 재질로 구성된 비강체(non-rigid) 지형(모래·자갈 등) 위를 이동하는 데 MPM 솔버를 적용하는 데모를 제작.

The ANYmal quadruped interacts with non-rigid terrain composed of multiple materials such as sand and gravel

• Peking University (PKU): IPC 기반 솔버(Taccel)를 Newton에 통합해 비전 기반 촉각 센싱 시뮬레이션을 확장. Newton의 GPU 가속·미분 가능한 구조를 활용해 섬세한 접촉 상호작용을 모델링.

Taccel simulation of Tac-Man manipulation closely aligns with real-world execution, with only a small sim-real gap

• Style3D: 의류·연성체 시뮬레이션 기술을 Newton으로 통합, 수백만 정점 수준의 대규모 시뮬레이션을 지원하기 위한 API 노출 계획.

High-fidelity modeling of garments and deformable objects with complex interactions using Newton

• TUM (Technical University of Munich): AIDX Lab에서 실제 로봇에서 검증된 숙련된 조작 정책을 시뮬레이션에서 다시 재생(시뮬레이션 검증)하는 작업 등을 진행 중이며, MuJoCo Warp에서 4,000 병렬 환경으로 학습하는 것도 이미 가능하다고 보고. 향후 하드웨어로의 전송 및 공간 분해 촉각(Spatially resolved tactile skin)을 이용한 미세 조작(fine manipulation)으로 확장 예정.
  • 참고: learning tactile in-hand manipualtion agents, using Newton to advance robot learning research

Newton is used to run trained dexterous manipulation policies validated on real robots—back in simulation

Netwon Reference

• https://github.com/newton-physics/newton
• https://deepwiki.com/newton-physics/newton
• https://newton-physics.github.io/newton/guide/overview.html

Newton was initiated by Disney Research, Google DeepMind, and NVIDIA.

• Newton standalone Beta 시작: GitHub 레포지토리 newton-physics/newton — https://github.com/newton-physics/newton.
• Isaac Lab에서 Newton 사용해보기: Isaac Lab GitHub — https://github.com/isaac-sim/IsaacLab/tree/feature/newton.
• Newton Developer(추가 자료): https://developer.nvidia.com/newton-physics

---

• 본 글에 소개된 연구는 2025년 9월 27일~10월 2일 서울에서 열리는 CoRL 및 Humanoids에서 전시됐습니다.
• 또한 2025 BEHAVIOR Challenge(가정용 작업 50개 및 10,000개 원격조작 데모 포함)에 참여해 볼 것을 권장합니다.