📝 Newton, 산업용 로보틱스를 위한 접촉 풍부(contact-rich) 매니퓰레이션·로코모션 기능을 더하다

newton
robotics
simulation
Isaac Lab
MuJoCo
2026
GTC 2026에서 공개된 Newton 1.0 GA 정리 — Kamino·MuJoCo Warp 솔버, SDF 충돌과 hydroelastic contact, VBD 변형체 시뮬레이션, Isaac Lab 통합, 그리고 Skild AI·삼성/Lightwheel 산업 사례까지. NVIDIA 기술 블로그 한글 번역 노트
Published

June 4, 2026

이 글은 NVIDIA 기술 블로그 Newton Adds Contact-Rich Manipulation and Locomotion Capabilities for Industrial Robotics (Philipp Reist, 2026-03-16) 를 한글로 번역·정리한 노트입니다. 예시 코드는 원본 그대로 옮겼습니다.

물리(physics)는 로봇 시뮬레이션의 토대로, 움직임과 상호작용을 사실적으로 모델링할 수 있게 해줍니다. 로코모션(locomotion)이나 매니퓰레이션(manipulation) 같은 작업에서는 시뮬레이터가 접촉력(contact force)이나 변형체(deformable object)처럼 복잡한 동역학을 다룰 수 있어야 합니다. 대부분의 엔진이 속도와 사실성 사이에서 한쪽을 포기하는 반면, GPU 가속 오픈소스 시뮬레이터인 Newton은 두 가지를 모두 해내도록 설계되었습니다.

NVIDIA GTC 2026에서 발표된 Newton 1.0 GA는 정교한(dexterous) 매니퓰레이션과 로코모션 작업을 위한 가속화된, 프로덕션 수준의 토대를 제공합니다. NVIDIA Warp와 OpenUSD 위에 구축된 확장 가능한 물리 엔진으로서, 로봇은 NVIDIA Isaac Lab·Isaac Sim 같은 프레임워크를 사용하면서 더 높은 정밀도·속도·확장성으로 복잡한 작업을 다루는 법을 학습할 수 있습니다.

Newton은 여러 솔버와 시뮬레이션 컴포넌트를 하나의 통합 아키텍처 뒤에 묶어내는 모듈식 프레임워크입니다. 단일 씬(scene) 포맷에 종속되지 않고, MJCF·URDF·OpenUSD 같은 일반적인 로보틱스 기술(description) 포맷을 아우르는 폭넓은 런타임 데이터 모델을 지원하여, 기존 로봇 에셋과 워크플로를 손쉽게 연결할 수 있게 합니다. 개발팀은 충돌 검출, 접촉 모델, 센서, 제어, 솔버 백엔드(강체·변형체 솔버는 물론 커스텀 솔버까지)를 자유롭게 조합하면서도, 로봇 학습·개발 전반에 걸쳐 일관된 시뮬레이션 스택을 유지할 수 있습니다.

그림 1. Newton 아키텍처는 로보틱스·물리 워크로드 전반의 여러 솔버와 컴포넌트를 통합하는 모듈식 물리 시뮬레이션 프레임워크를 보여주며, Isaac Lab·Isaac Sim·MuJoCo·OpenUSD와의 통합 지점을 포함합니다.

이번 릴리스의 주요 내용:

영상 1. Newton의 GPU 가속 hydroelastic contact는 고품질의 사실적인 정교한 촉각 데이터를 생성·확장할 수 있습니다.

영상 2. 다수의 병렬 환경에 걸쳐 배치(batched) 시각 관측을 생성하는 tiled camera 센서 — 지각 RL 학습용.

Newton은 NVIDIA, Google DeepMind, Disney Research가 설립한 Linux Foundation 프로젝트입니다. 피지컬 AI를 위한 시뮬레이션 인프라의 선두주자 Lightwheel은 Newton과 손잡고 솔버 캘리브레이션을 발전시키고, SimReady 표준을 정의하며, 차세대 물리 기반 SimReady 에셋을 개발하고 있습니다. Drake 물리 엔진을 개발한 Toyota Research Institute(TRI)도 Newton과 협력하여 솔버 개발과 접촉 모델링 역량을 발전시키고 있습니다.

다음 절에서는 이러한 기능들이 로코모션·매니퓰레이션 워크플로에서 어떻게 한데 어우러지는지 살펴봅니다.

Kamino로 복잡한 메커니즘 시뮬레이션하기

Kamino 솔버는 평행 링키지(parallel linkage) 메커니즘을 포함하는 운동학(kinematics)을 가진 로봇처럼, 복잡하고 정교한 폐쇄 체인(closed-chain) 메커니즘을 다룹니다. 이를 통해 각 다리에 여러 개의 폐루프(closed loop)가 포함될 수 있는 다중 링크 보행 로봇 같은 메커니즘의 시뮬레이션이 가능해집니다. 한 예로, Newton 에셋 저장소에 있는 Dr. Legs는 폐쇄 체인 로봇 다리 메커니즘으로, Kamino가 다중 폐루프를 가진 관절(articulated) 구조를 어떻게 다루는지 보여줍니다.

영상 3. Kamino 솔버로 시뮬레이션한 폐쇄 체인 로봇 다리 메커니즘 Dr. Legs.

Newton 워크플로는 일관된 패턴을 따릅니다: 모델을 빌드하거나 임포트하고, 상태(state)를 초기화하고, 제어(관절 목표값이나 힘 등)를 적용한 뒤, Kamino 같은 솔버를 한 스텝(step) 진행시켜 물리를 전진시키고, 그 결과를 뷰어로 시각화합니다.

import newton

# Import the articulation model from USD
builder = newton.ModelBuilder()

# Register attributes to be parsed specific to Kamino
newton.solvers.SolverKamino.register_custom_attributes(builder)

# Import USD asset
builder.add_usd("robot.usd")

# Finalize the model (upload to GPU)
model = builder.finalize()

# Create Kamino solver
solver = newton.solvers.SolverKamino(model)

# Create state and control objects
state_0 = model.state()
state_1 = model.state()
control = model.control()
contacts = model.contacts()

# Simulation loop
for i in range(num_steps):
    state_0.clear_forces()
    model.collide(state_0, contacts)

    # Forward dynamics
    solver.step(state_0, state_1,
                control, contacts, sim_dt)

    # Swap states
    state_0, state_1 = state_1, state_0

Newton과 Isaac Lab을 이용한 매니퓰레이션 워크플로

그림 2. Isaac Lab에서 큐브 집기(cube-picking) 작업을 수행하는 Franka 로봇들.

NVIDIA Isaac Lab은 로봇 학습을 위한 오픈소스 프레임워크입니다. 연구자와 개발자는 시뮬레이션 환경을 정의하고, 강화학습(RL)·모방학습 파이프라인을 구성하며, GPU 규모로 정책을 학습시킬 수 있습니다. 사용자는 씬(로봇, 물체, 지형), MDP(관측, 행동, 보상, 종료 조건), 그리고 시뮬레이션 백엔드를 정의합니다. Newton은 새로운 물리·카메라 센서 백엔드로서 Isaac Lab과 통합되어, Isaac Lab의 역량을 한층 더 확장합니다.

Isaac Lab RL 워크플로에서는 물리 계층 위의 모든 것 — 작업 정의, PPO 학습 루프, 관측·보상 함수 — 이 동일하게 유지됩니다. 오직 시뮬레이션 백엔드만 바뀝니다. 즉, 개발자는 환경을 한 번만 작성한 뒤 서로 다른 물리 엔진에서 검증할 수 있어, 실제 배포 전에 정책의 견고성(robustness)에 대한 확신을 쌓을 수 있습니다.

Newton과 Isaac Lab을 함께 사용하면, Franka 로봇이 큐브 물체를 집도록 학습시키는 RL 파이프라인을 구축할 수 있습니다. 씬을 구성한 뒤에는 물리 설정을 구성합니다. 다음 예시는 Isaac Lab이 Franka 로봇 큐브 매니퓰레이션 환경에 대해 3계층(three-layer) 물리 설정을 어떻게 사용하는지 보여줍니다.

from isaaclab.sim import SimulationCfg
from isaaclab_newton.physics import NewtonCfg, MJWarpSolverCfg

# Configure Newton MJWarp simulation for the Franka Cube Env
FrankaCubeEnvCfg.solver_cfg = MJWarpSolverCfg(
    solver="newton",
    integrator="implicitfast",
    njmax=2000,
    nconmax=1000,
    impratio=1000.0,
    cone="elliptic",
    update_data_interval=2,
    iterations=20,
    ls_iterations=100,
    ls_parallel=True,
)

FrankaCubeEnvCfg.newton_cfg = NewtonCfg(
    solver_cfg=FrankaCubeEnvCfg.solver_cfg,
    num_substeps=2,
    debug_mode=False,
)

FrankaCubeEnvCfg.sim = SimulationCfg(
    dt=1 / 120,
    render_interval=FrankaCubeEnvCfg.decimation,
    physics=FrankaCubeEnvCfg.newton_cfg,
)

행동 적용, 보상 획득, 환경 리셋 같은 그 외의 모든 단계는 동일하게 유지됩니다.

Newton이 산업 현장에서 활용되는 방식

다음 두 예시는 Newton의 기능들이 실제 프로덕션 로보틱스 워크플로에서 어떻게 한데 어우러지는지 보여줍니다. 하나는 강체 정밀 조립에, 다른 하나는 변형 재료의 정교한 매니퓰레이션에 초점을 둡니다.

GPU 랙 조립 자동화

Skild AI는 전자 제조에서 가장 까다로운 접촉 풍부(contact-rich) 작업 중 하나인 GPU 랙 조립을 위해, 자사 산업 고객을 대상으로 강화학습 정책을 학습시키고 있습니다. 커넥터 삽입, 보드 배치, 체결 작업은 안정적인 충돌·접촉, 신뢰할 수 있는 힘 피드백, 그리고 대부분의 시뮬레이터가 학습 규모에서 제공하지 못하는 완전한 충실도의 기하 표현을 요구합니다.

Skild는 전자 조립 자동화 작업에 Newton 백엔드를 갖춘 Isaac Lab을 사용합니다. 이들의 워크플로에서는 SDF 기반 충돌 검출과 hydroelastic contact 모델링을 사용하여 MuJoCo Warp의 기본(native) 충돌·접촉 파이프라인을 우회함으로써 더 높은 접촉 충실도를 달성합니다. 형상(shape)은 원본 CAD 형상으로부터 미리 계산된 SDF로 구성되어, Newton이 조립 부품의 기하를 정확히 표현하는 비볼록(non-convex) 삼각 메시 모델 위에서 동작할 수 있게 합니다.

SDF 충돌은 복잡한 형상을 가진 강체·비순응(non-compliant) 상호작용에 유용하며, 커넥터·보드 및 그 외 공차가 빡빡한 부품에 대한 정밀한 접촉 질의(contact query)를 가능하게 합니다.

영상 4. RL 정책 학습에 사용되는 로봇 GPU 랙 조립 작업 — 커넥터 삽입과 부품 배치 포함.

더 풍부한 접촉 동역학을 위해, hydroelastic 모델링은 점 접촉 근사 대신 분포된 압력 접촉(distributed pressure contact)을 만들어내는 순응성(compliance)을 도입합니다. 이는 더 큰 접촉 면적을 만들어 마찰 거동을 포착하며, 복잡한 물체 매니퓰레이션 시퀀스에서 발생할 수 있는 비틀림 마찰(torsional friction) 효과까지 포함합니다. SDF 기하 표현과 hydroelastic contact 모델이 함께, 실제 산업 조립 시스템으로 신뢰성 있게 전이될 수 있는 정책을 학습시키는 데 필요한 충실도를 제공합니다.

다음 코드 조각은 SDF 충돌과 hydroelastic contact를 어떻게 구성하는지 보여줍니다.

import newton
from newton.geometry import HydroelasticSDF

# --- 1. Shape configuration: enable hydroelastic contact ---
shape_cfg = newton.ModelBuilder.ShapeConfig(
    mu=1.0,             # friction coefficient
    gap=0.01,           # contact detection margin [m]
    ke=5.0e4,           # elastic contact stiffness (MJWarp fallback)
    kd=5.0e2,           # contact damping
    kh=1.0e11,          # hydroelastic stiffness [Pa/m] — controls
                        # pressure vs. penetration across the contact patch
)

# --- 2. Build SDF on each collision mesh ---
# Precompute a sparse signed-distance field so Newton can find
# sub-voxel contact surfaces via marching cubes at runtime.
for mesh in assembly_meshes:
    mesh.build_sdf(
        max_resolution=128,                # SDF grid resolution
        narrow_band_range=(-0.01, 0.01),   # ±10 mm band around surface
        margin=shape_cfg.gap,
    )

# --- 3. Mark shapes as hydroelastic ---
# When both shapes in a colliding pair carry this flag, Newton
# routes them through the SDF-hydroelastic pipeline instead of
# MJWarp's native point-contact solver.
for shape_idx in range(builder.shape_count):
    builder.shape_flags[shape_idx] |= newton.ShapeFlags.HYDROELASTIC

# --- 4. Create the collision pipeline with hydroelastic config ---
collision_pipeline = newton.CollisionPipeline(
    model,
    reduce_contacts=True,       # contact-reduction for stable solving
    broad_phase="explicit",     # precomputed shape pairs (few shapes)
    sdf_hydroelastic_config=HydroelasticSDF.Config(
        output_contact_surface=False,   # skip surface mesh export

    ),
)

# --- 5. Simulation loop (unchanged from standard Newton) ---
# The solver receives distributed contact patches transparently.
collision_pipeline.collide(state, contacts)
solver.step(state_0, state_1, control, contacts, dt)

냉장고 조립을 위한 케이블 매니퓰레이션

삼성은 자사 vision-language-action(VLA) 모델 학습에 사용할, 물리 기반 합성 데이터 생성(synthetic data generation, SDG)에 Newton을 활용할 예정입니다.

Lightwheel은 실제 측정과 검증에 기반한 적절한 튜닝과 함께 Newton용 SimReady 에셋을 생성하는 데 Newton을 적용하고 있습니다. 이를 통해 삼성 제조 워크플로의 케이블 매니퓰레이션 작업을 포함한 다양하고 복잡한 산업 조립 작업이 가능해집니다. 케이블은 신뢰성 있게 시뮬레이션하기 가장 어려운 물체 중 하나로, 복잡한 1D 변형 거동, 자기 충돌(self-collision), 힘에 의존적인 형상 변화를 보이는데, 이는 기존 솔버들이 정확히 포착하지 못합니다.

삼성과 Lightwheel의 작업은 케이블부터 체적 고체에 이르는 Newton의 변형체 시뮬레이션 스택이, 실제 전자 조립 라인에서 볼 수 있는 모든 범위의 재료에 대해 합성 데이터 생성과 정책 학습을 어떻게 가능하게 하는지 잘 보여줍니다.

영상 5. 두 방향 결합(two-way coupled)된 MuJoCo Warp와 VBD 케이블 솔버로 시뮬레이션한, 냉장고 조립용 케이블 삽입 작업을 수행하는 RB-Y1 로봇.

Newton의 VBD 솔버는 케이블 같은 선형 변형체의 시뮬레이션을 가능하게 합니다. MuJoCo Warp 같은 강체 솔버와의 두 방향 결합을 통해, 시뮬레이션 중 로봇의 움직임이 케이블 변형과 물리적으로 상호작용할 수 있습니다. Newton의 안정적인 충돌과 고충실도 접촉 모델링이 결합되면, 냉장고 급수 호스 커넥터를 하우징에 삽입하는 것과 같은 작업의 시뮬레이션이 가능해집니다. 다음 코드 조각은 VBD와 MuJoCo Warp가 어떻게 결합되는지 보여줍니다.

import warp as wp
import newton
from newton.solvers import SolverMuJoCo, SolverVBD

# --- Universe A: MuJoCo rigid-body robot ---
robot_model = robot_builder.finalize()

mj_solver = SolverMuJoCo(
    robot_model,
    solver="newton",
    integrator="implicitfast",
    cone="elliptic",
    iterations=20,
    ls_iterations=10,
    ls_parallel=True,
    impratio=1000.0,
)

robot_state_0 = robot_model.state()
robot_state_1 = robot_model.state()
control = robot_model.control()
mj_collision_pipeline = newton.CollisionPipeline(
    robot_model,
    reduce_contacts=True,
    broad_phase="explicit",
)
mj_contacts = mj_collision_pipeline.contacts()

# --- Universe B: VBD deformable cable ---
cable_builder = newton.ModelBuilder()

cable_builder.add_rod(
    positions=cable_points,          # polyline vertices [m]
    quaternions=cable_quats,         # parallel-transport frames
    radius=0.003,                    # cable cross-section radius [m]
    stretch_stiffness=1e12,          # EA [N]
    bend_stiffness=3.0,              # EI [N*m^2]
    stretch_damping=1e-3,
    bend_damping=1.0,
)

# --- Proxy bodies: robot links mirrored into VBD ---
for body_id in proxy_body_ids:
    # Effective mass: reflects the inertia of the full articulated
    # chain when applicable, optionally scaled for coupling stability.
    proxy_id = cable_builder.add_body(
        xform=robot_state_0.body_q[body_id],
        mass=effective_mass[body_id],
    )
    for shape in shapes_on_body(robot_model, body_id):
        cable_builder.add_shape(body=proxy_id, **shape)

    robot_to_vbd[body_id] = proxy_id

cable_model = cable_builder.finalize()

vbd_solver = SolverVBD(
    cable_model,
    iterations=10,
)

vbd_state_0 = cable_model.state()
vbd_state_1 = cable_model.state()
vbd_control = cable_model.control()
vbd_collision_pipeline = newton.CollisionPipeline(cable_model)
vbd_contacts = vbd_collision_pipeline.contacts()

proxy_forces = wp.zeros(robot_model.body_count, dtype=wp.spatial_vector)
coupling_forces_cache = wp.zeros_like(proxy_forces)


@wp.kernel
def sync_proxy_state(
    robot_ids: wp.array(dtype=int),
    proxy_ids: wp.array(dtype=int),
    src_body_q: wp.array(dtype=wp.transform),
    src_body_qd: wp.array(dtype=wp.spatial_vector),
    dst_body_q: wp.array(dtype=wp.transform),
    dst_body_qd: wp.array(dtype=wp.spatial_vector),
    proxy_forces: wp.array(dtype=wp.spatial_vector),
    body_inv_mass: wp.array(dtype=float),
    body_inv_inertia: wp.array(dtype=wp.mat33),
    gravity: wp.vec3,
    dt: float,
):
    i = wp.tid()
    rid = robot_ids[i]
    pid = proxy_ids[i]

    # Copy pose and velocity from robot to proxy
    dst_body_q[pid] = src_body_q[rid]
    qd = src_body_qd[rid]

    # Undo coupling forces + gravity on proxy velocity
    f = proxy_forces[rid]
    delta_v = dt * body_inv_mass[pid] * wp.spatial_top(f)
    r = wp.transform_get_rotation(dst_body_q[pid])
    delta_w = dt * wp.quat_rotate(r, body_inv_inertia[pid] * wp.quat_rotate_inv(r, wp.spatial_bottom(f)))
    qd = qd - wp.spatial_vector(delta_v + dt * body_inv_mass[pid] * gravity, delta_w)

    dst_body_qd[pid] = qd


# --- Coupled step (staggered, one-step lag) ---

# Step 1 -- Apply lagged VBD-to-MuJoCo wrenches

robot_state_0.clear_forces()
coupling_forces_cache.assign(proxy_forces)
robot_state_0.body_f.assign(robot_state_0.body_f + coupling_forces_cache)

# Step 2 -- Advance MuJoCo (rigid-body robot)
mj_collision_pipeline.collide(robot_state_0, mj_contacts)
mj_solver.step(robot_state_0, robot_state_1, control, mj_contacts, dt)
robot_state_0, robot_state_1 = robot_state_1, robot_state_0

# Step 3 + 4 -- Sync proxy poses/velocities and undo coupling forces (single kernel)
wp.launch(
    sync_proxy_state,
    dim=len(proxy_body_ids),
    inputs=[
        robot_ids_wp, proxy_ids_wp,
        robot_state_0.body_q, robot_state_0.body_qd,
        vbd_state_0.body_q, vbd_state_0.body_qd,
        coupling_forces_cache,
        cable_model.body_inv_mass, cable_model.body_inv_inertia,
        gravity, dt,
    ],
)

# Step 5 -- Advance VBD (cable deformation + cable-proxy contacts)
vbd_collision_pipeline.collide(vbd_state_0, vbd_contacts)
vbd_solver.step(vbd_state_0, vbd_state_1, vbd_control, vbd_contacts, dt)

# Step 6 -- Harvest contact wrenches from proxy bodies (applied at next step)
proxy_forces = harvest_proxy_wrenches(vbd_solver, vbd_state_1, vbd_contacts, dt)

vbd_state_0, vbd_state_1 = vbd_state_1, vbd_state_0

삼성과 Lightwheel의 작업은 Newton의 변형체 시뮬레이션 스택이, 실제 전자 조립 라인에서 볼 수 있는 모든 범위의 재료에 대해 합성 데이터 생성과 정책 학습을 어떻게 가능하게 하는지 보여줍니다.

Newton 시작하기

Newton은 자유롭게 사용·수정·확장할 수 있습니다. 시작하려면:

NVIDIA GTC 2026에 참석한다면 다음 세션들을 확인해 보세요.