📃NeRD 리뷰

simulation

netwon

Neural Robot Dynamics

Published

February 3, 2026

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

✨ NeRD는 높은 자유도와 복잡한 메커니즘을 가진 로봇의 시뮬레이션 문제를 해결하기 위해 학습된 로봇 전용 역학 모델을 제안합니다.
⚙️ 이 모델은 기존 시뮬레이터의 저수준 역학 및 접촉 솔버를 대체하고, 로봇 중심의 공간 불변(spatially-invariant) 상태 표현을 사용하여 일반화 성능을 향상시킵니다.
✅ NeRD는 수천 스텝에 걸친 안정성과 정확성, 다양한 작업 및 환경에 대한 일반화, 그리고 실제 데이터로의 효율적인 미세 조정을 통해 시뮬레이션-실제 간 격차를 줄일 수 있음을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 높은 자유도(DoF)와 복잡한 메커니즘을 가진 현대 로봇의 정확하고 효율적인 시뮬레이션에 대한 도전 과제를 다룬다. 기존 뉴럴 시뮬레이터(neural simulators)는 주로 애플리케이션에 특화된 훈련을 요구하고, 전역 상태(global state)에 대한 부적절한 표현으로 인해 새로운 작업이나 환경에 대한 일반화에 실패하는 경향이 있다. 이러한 한계를 극복하기 위해, 본 연구에서는 연결된 강체(articulated rigid bodies)로 구성된 로봇을 위한 일반화 가능한 뉴럴 시뮬레이터를 학습하는 문제를 제안한다.

핵심 방법론: NeRD (Neural Robot Dynamics)

본 논문은 NeRD (Neural Robot Dynamics)를 제안한다. 이는 접촉 제약(contact constraints) 하에서 연결된 강체의 미래 상태를 예측하는 학습된 로봇 특화 동역학 모델(robot-specific dynamics models)이다. NeRD는 기존 해석적 시뮬레이터(analytical simulator)의 저수준 동역학 및 접촉 솔버(low-level dynamics and contact solvers)를 대체하며, 로봇 중심적이고 공간 불변(spatially-invariant)적인 시뮬레이션 상태 표현을 사용한다.

NeRD의 핵심 혁신은 두 가지다.

하이브리드 예측 프레임워크 (Hybrid Prediction Framework):
- 기존 시뮬레이터의 전체 엔진을 대체하는 대신, NeRD는 애플리케이션에 구애받지 않는(application-agnostic) 핵심 물리 구성 요소, 즉 저수준의 정방향 동역학(forward dynamics) 및 접촉 솔버만을 대체한다. 이는 NeRD가 중간 시뮬레이션 양(intermediate simulation quantities)을 일반적이고 압축적인 상태 표현으로 활용할 수 있게 한다. 이 중간 양은 로봇 상태(s_t), 접촉 정보(C_t), 조인트 토크(\tau_t)를 포함하며, 이는 어떤 애플리케이션(작업, 장면, 컨트롤러)에서도 로봇 동역학을 진화시키는 데 필요한 모든 정보를 제공한다.
- 형식적으로, 시점 t의 로봇 상태는 s_t = (x_t, R_t, q_t, \phi_t, \dot{q}_t)로 표현된다. 여기서 x_t와 R_t는 로봇 베이스의 위치와 방향(quaternion), q_t는 조인트 각도, \phi_t는 베이스의 공간 트위스트(spatial twist, 6D velocity), \dot{q}_t는 조인트 속도다. \tau_t는 조인트 공간 토크(joint-space torque), C_t는 접촉 관련 양이다. C_t = \{c_t^i\}는 시뮬레이터의 충돌 감지 모듈을 재사용하여 구성되며, 각 접촉점 p_0^i에 대해 c_t^i = (p_0^i, p_1^i, \vec{n}_i, d_i)로 정의된다. 여기서 p_1^i는 비-로봇 형상(non-robot shape)의 접촉점, \vec{n}_i는 접촉 법선(contact normal), d_i는 접촉 거리다.
- NeRD 모델은 길이 h의 히스토리 윈도우 내의 로봇 상태, 접촉, 조인트 토크를 입력으로 받아 다음 시간 단계의 상태 차이 \Delta s_{t+1} \triangleq s_{t+1} \ominus s_t를 예측하는 파라메트릭 함수 \text{NeRD}_\theta(\{s_k, C_k, \tau_k\}_{k=t-h+1})이다. 여기서 \ominus는 베이스 방향에 대한 회전 차이 R_{t+1}R_t^{-1}와 다른 상태 차원에 대한 뺄셈 연산자이다. 모델은 예측된 상태 차이와 실제 상태 차이 \hat{\Delta s}_{t+1} 간의 평균 제곱 오차를 최소화하여 훈련된다: \mathcal{L}_\theta = \frac{1}{N S} \sum_{N} \|\text{NeRD}_\theta(\{s_k, C_k, \tau_k\}_{k=t-h+1}) - \hat{\Delta s}_{t+1}\|^2 다음 상태 s_{t+1}은 s_{t+1} = s_t \oplus \text{NeRD}_\theta(\{s_k, C_k, \tau_k\}_{k=t-h+1})로 계산된다.
로봇 중심적 상태 표현 (Robot-Centric State Representation):
- 로봇의 동역학은 공간 번역(spatial translation) 및 중력축(gravity axis) 주변의 회전에 대해 불변하다는 관찰에 영감을 받아, 로봇의 베이스 프레임 B_t = (x_t, R_t)로 변환된 로봇 상태 s_t 및 접촉 관련 양 C_t를 도입하여 공간 불변성을 명시적으로 강화한다. 중력은 로봇의 베이스 프레임으로 표현된 외부 힘으로 간주되어 시뮬레이션 상태에 추가된다. 예측된 상태 차이 \Delta s_{t+1} 또한 로봇의 베이스 프레임 B_t로 표현된다.
- 로봇 중심적 상태 표현을 사용하면 손실 함수는 다음과 같이 재구성된다: \mathcal{L}_\theta = \frac{1}{N S} \sum_{N} \|\text{NeRD}_\theta(\{\mathbf{s}_{k}^{B_k}, \mathcal{C}_{k}^{B_k}, \tau_k, \vec{g}^{B_k}\}_{k=t-h+1}) - \hat{\Delta s}_{t+1}^{B_t}\|^2 여기서 B_k (또는 B_t) 상첨자는 해당 양이 시점 k (또는 t)의 로봇 베이스 프레임으로 표현됨을 의미하며, \vec{g}는 단위 중력 벡터이다. 로봇 상태 업데이트는 다음과 같다: s_{t+1} = \mathcal{T}_{B_t}^w(s_t^{B_t} \oplus \text{NeRD}_\theta(\{\mathbf{s}_{k}^{B_k}, \mathcal{C}_{k}^{B_k}, \tau_k, \vec{g}^{B_k}\}_{k=t-h+1})) 여기서 \mathcal{T}_{B_t}^w(\cdot)는 시점 t의 로봇 베이스 프레임에서 월드 프레임(world frame)으로의 변환이다.
- 상세 변환식은 다음과 같다: 로봇 베이스 프레임 B_k에서 표현된 로봇 상태 s_k^{B_k} = (x_k^{B_k}, R_k^{B_k}, q_k, \phi_k^{B_k}, \dot{q}_k)에 대해, 베이스 위치 x_k^{B_k}와 방향 R_k^{B_k}는 각각 0과 항등 행렬(Identity)이 된다: x_k^{B_k} = 0 \quad (4) R_k^{B_k} = \text{Identity} \quad (5) 공간 트위스트 \phi_k = (\nu_k, \omega_k)의 선형 및 각속도 성분 \nu_k, \omega_k는 다음과 같이 변환된다: \nu_k^{B_k} = R_k^{-1} (\nu_k - x_k \times \omega_k) \quad (6) \omega_k^{B_k} = R_k^{-1} \omega_k \quad (7) 예측된 상태 차이 \Delta s_{t+1}^{B_t}가 로봇 베이스 프레임 B_t로 표현될 때, s_{t+1}^{B_t} = (x_{t+1}^{B_t}, R_{t+1}^{B_t}, q_{t+1}, \phi_{t+1}^{B_t}, \dot{q}_{t+1})는 다음과 같이 계산된다: x_{t+1}^{B_t} = R_t^{-1} (x_{t+1} - x_t) \quad (8) R_{t+1}^{B_t} = R_t^{-1} R_{t+1} \quad (9) \nu_{t+1}^{B_t} = R_t^{-1} (\nu_{t+1} - x_t \times \omega_{t+1}) \quad (10) \omega_{t+1}^{B_t} = R_t^{-1} \omega_{t+1} \quad (11) 이러한 공간 불변성은 학습된 로봇 동역학 모델의 공간 일반화 가능성을 명시적으로 강화하며, 로봇의 모든 공간 위치 및 방향을 샘플링할 필요성을 제거하여 훈련 및 데이터 효율성을 크게 향상시킨다.
- NeRD는 다중 서브스텝 예측(multi-substep prediction) 방식을 사용하여 안정성을 높인다. 기존 시뮬레이터는 작은 타임스텝(서브스텝)을 사용하여 다음 시간 단계의 실제 로봇 상태를 얻지만, NeRD는 현재 로봇 상태에서 다음 (매크로) 타임스텝의 상태까지의 차이를 직접 예측한다. 이는 학습된 모델의 테스트 시간 효율성을 희생하지 않고 미세한 시뮬레이터에서 NeRD를 학습할 수 있게 한다.

구현 (Implementation)

NeRD는 NVIDIA의 Warp 시뮬레이터에 통합되어, Python에서 교체 가능한 솔버 모듈로 구현된다. 훈련 데이터셋은 Warp 시뮬레이터를 사용하여 태스크와 무관하게(task-agnostic) 생성된다. 각 로봇 인스턴스에 대해 무작위 초기 상태, 무작위 조인트 토크 시퀀스, 그리고 선택적으로 무작위 환경 구성을 사용하여 100 timesteps 길이의 10만 개의 무작위 궤적을 수집한다. NeRD는 causal Transformer 아키텍처(GPT-2의 경량 구현)를 사용하여 모델링되며, 히스토리 윈도우 크기 h=10을 사용한다. 훈련 중에는 teacher-forcing 방식을 사용하고, 고분산 속도 항에 의한 손실 지배를 방지하기 위해 출력 예측을 정규화한다.

실험 (Experiments)

NeRD는 Cartpole, Double Pendulum, Ant, Franka, ANYmal, Cube Toss 등 6개의 다양한 로봇 시스템에 대해 훈련되고 평가된다.

장기 안정성 및 정확성 (Long-Horizon Stability and Accuracy): Cartpole 및 Ant의 수동 움직임(passive motions)에 대해 수백에서 수천 스텝에 걸쳐 NeRD의 장기 성능을 평가한 결과, Cartpole의 1000 스텝 시뮬레이션에서 0.075 rad 및 0.033 m, Ant의 500 스텝 시뮬레이션에서 0.095 rad 및 0.057 m의 낮은 오차를 보이며 높은 정확도와 안정성을 입증했다.
접촉 일반화 가능성 (Contact Generalizability): Double Pendulum 예시에서 무작위 평면 지면(random planar ground)을 포함하는 다양한 접촉 구성에 대해 NeRD를 평가했다. 단일 NeRD 모델이 다양한 접촉 시나리오에 효과적으로 일반화됨을 보였다.
태스크, 컨트롤러, 공간 일반화 가능성 (Task, Controller, and Spatial Generalizability): 강화 학습(RL)을 통해 다양한 태스크(Cartpole swing-up, Franka reach, Ant running/spinning/spin tracking, ANYmal velocity-tracking)에 대한 정책 학습을 수행했다. NeRD 시뮬레이터에서만 훈련된 정책이 NeRD 시뮬레이터와 실제 시뮬레이터(ground-truth simulator) 모두에서 놀라울 정도로 유사한 보상을 달성하며, NeRD 모델의 장기 예측 정확도를 확인했다.
Sim-to-Real 전이 (Sim-to-Real Transfer): Franka reach 정책의 zero-shot sim-to-real 전이를 통해 NeRD 모델의 정확성을 평가했다. NeRD에서 훈련된 정책이 실제 세계에서 낮은 정착 상태 오차(steady-state error)를 달성하며, 실제 적용 가능성을 검증했다.
실제 데이터 기반 Fine-tuning (Fine-tunability on Real-World Data): 실제 cube-tossing 데이터셋을 사용하여 NeRD의 fine-tuning 능력을 평가했다. 사전 훈련된 NeRD 모델을 fine-tuning하는 것이 시뮬레이션 데이터 없이 처음부터 훈련하는 것보다 더 빠르고 (10배) 유사하거나 더 나은 정확도를 달성함을 보였다. 이는 소량의 실제 데이터로도 효율적인 적응이 가능함을 시사한다.
Ablation 연구 (Ablation Study): NeRD의 성공에 기여하는 핵심 설계 결정 사항들을 분석했다.
- Network Architecture: Transformer 아키텍처가 MLP, GRU, LSTM과 같은 다른 아키텍처보다 가장 효과적임을 보여주었다. 시퀀스 모델링이 로봇 동역학 모델의 높은 정확도를 달성하는 데 중요함을 밝혔다.
- Hybrid Prediction Framework: End-to-End (E2E) 방식과 비교하여 NeRD의 하이브리드 프레임워크가 다양한 접촉 및 공간 조건에서 더 우수한 성능을 보임을 확인했다.
- Relative Robot State Prediction: 로봇의 절대 상태를 직접 예측하는 대신 상대 상태 변화를 예측하는 것이 모델 훈련을 안정화하고 예측 오차를 크게 줄이는 데 중요함을 입증했다.
- Robot-Centric State Representation: 로봇 중심적 상태 표현이 Ant와 같이 넓은 공간을 이동하는 로봇의 공간 일반화 가능성에 필수적임을 확인했다.
- Model Input and Output Normalization: 모델 입력 및 출력의 정규화가 NeRD 모델의 성능 저하를 방지하는 데 결정적인 역할을 함을 보였다.
- History Window Size h: h=10이 안정적인 훈련과 우수한 성능을 제공하는 최적의 히스토리 윈도우 크기임을 확인했다.

한계 및 미래 연구 (Limitations and Future Work)

본 연구는 NeRD의 효과를 명확히 입증했지만, 몇 가지 유망한 방향이 남아있다. 첫째, 14-DoF Ant 로봇과 18-DoF ANYmal 로봇에 대한 평가를 넘어서, 휴머노이드 로봇과 같이 더 복잡한 시스템에 대한 테스트가 필요하다. 둘째, 현재의 무작위 샘플링 기반 훈련 데이터셋 생성 전략은 고차원 상태 공간에서 비효율적일 수 있으므로, 태스크와 무관한 특성을 유지하면서 더 효율적인 데이터셋 구성 전략을 탐색하는 것이 중요하다. 셋째, 실제 로봇 데이터는 센서 한계로 인해 부분적으로만 관측 가능한 경우가 많으므로, 부분 관측 가능한 실제 데이터로부터 사전 훈련된 NeRD 모델을 fine-tuning하는 방법에 대한 연구가 필요하다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

신경 로봇 역학(Neural Robot Dynamics): 하이브리드 시뮬레이션의 물리적 통찰과 디지털 트윈의 미래

시뮬레이션의 미스터리와 현실의 벽: 왜 우리의 로봇은 가상 세계에서만 똑똑할까?

로봇공학의 세계에서 시뮬레이션은 마치 마법의 거울과 같습니다. 우리는 그 거울 속에서 로봇이 수만 번 넘어지고 다시 일어서며 보행을 배우게 하고, 복잡한 물체를 능숙하게 집어 올리는 정책을 훈련시킵니다. 하지만 이 거울에는 치명적인 결함이 하나 있습니다. 거울 속의 물리 법칙이 우리가 사는 실제 세계의 법칙과 미묘하게 다르다는 점입니다. 우리는 이를 ’심투리얼 갭(Sim-to-Real Gap)’이라고 부르며, 수십 년 동안 이 간극을 메우기 위해 고군분투해 왔습니다.

전통적인 해석적 시뮬레이터(Analytical Simulators)는 뉴턴의 운동 법칙을 코드로 옮겨 놓은 정교한 기계 장치와 같습니다. 질량, 관성 모멘트, 마찰 계수 같은 파라미터를 입력하면 수치적 적분기가 다음 순간의 위치와 속도를 계산해냅니다. 그러나 문제는 실제 로봇의 복잡성에 있습니다. 로봇 팔의 관절 내부에 숨겨진 비선형적 마찰, 모터의 전자기적 지연, 그리고 무엇보다도 ’접촉(Contact)’이라는 불연속적인 물리 현상은 수식 몇 줄로 완벽히 설명하기엔 너무나 변덕스럽습니다.
신경망 기반 시뮬레이터는 데이터로부터 직접 역학을 학습하여 복잡한 현상을 포착하는 데는 능숙하지만, 종종 물리학의 가장 기본적인 원칙을 잊어버리곤 합니다. 어떤 모델은 로봇이 훈련받지 않은 구석으로 이동하면 갑자기 중력을 무시하고 하늘로 솟구치기도 하고, 또 어떤 모델은 특정 제어기에만 과적합(Overfitting)되어 제어 알고리즘을 조금만 바꿔도 완전히 무너져 버립니다.

여기서 우리는 근본적인 질문을 던지게 됩니다. “해석적 시뮬레이터의 견고한 논리와 신경망의 유연한 학습 능력을 하나로 합칠 수는 없을까?” 바로 이 지점에서 ’신경 로봇 역학(Neural Robot Dynamics, 이하 NeRD)’이 탄생했습니다. NeRD는 시뮬레이션의 모든 것을 신경망으로 바꾸려는 무모한 시도 대신, 가장 모델링하기 어렵고 응용 프로그램에 구애받지 않는 핵심 엔진만을 교체하는 영리한 하이브리드 전략을 취합니다.

NeRD의 설계 철학: 하이브리드 예측 프레임워크와 지능형 백엔드

로봇 시뮬레이션의 과정을 요리 과정에 비유해 봅시다. 식재료를 준비하고(로봇 모델 및 환경 설정), 칼질을 하고(충돌 탐지), 불을 조절하여 요리를 완성하는(역학 솔버 및 적분) 일련의 과정이 있습니다. 기존의 신경 시뮬레이터들이 요리사 자체를 로봇으로 교체하려 했다면, NeRD는 가장 숙련된 기술이 필요한 ‘불 조절’ 단계, 즉 물리 방정식의 수치적 해를 구하는 솔버만을 고도로 훈련된 인공지능 모듈로 교체한 것과 같습니다.

워크플로우의 재정의

NeRD의 가장 큰 기여는 시뮬레이터 내에서의 ’위치 선정’입니다. 전통적인 시뮬레이터에서 충돌 탐지기(Collision Detector)는 로봇과 환경이 어디에서 만나는지, 어느 방향으로 밀어내야 하는지(법선 벡터)를 아주 잘 계산합니다. NeRD는 이 검증된 정보를 버리지 않고 입력으로 활용합니다.

아래 다이어그램은 NeRD가 기존 시뮬레이션 워크플로우에 어떻게 스며드는지를 보여줍니다.

graph TD
    subgraph "Classical Simulation Framework"
        A --> B
        B --> C[Constraint Formulation]
        E[Controller / Action tau_t] --> D
        C --> D
    end
    
    subgraph "NeRD Integrated Hybrid Backend"
        D -.-> |Replaced by| F
        F --> G
    end
    
    G --> H
    H --> I
    I --> A

이 구조에서 NeRD는 응용 프로그램에 구애받지 않는(Application-agnostic) 모듈로 작동합니다. 즉, 로봇이 걷고 있든, 물체를 집고 있든, 혹은 제어기가 PID 제어기든 강화학습 정책이든 상관없이 NeRD는 오직 ’현재의 상태와 힘, 그리고 접촉 정보’만을 보고 다음 찰나의 움직임을 예측합니다. 이러한 설계 덕분에 NeRD는 한 번 학습되면 다양한 작업에 범용적으로 사용될 수 있는 진정한 의미의 ’로봇 역학 백엔드’가 됩니다.

수식의 직관적 이해: 왜 절대값이 아닌 변화량인가?

NeRD의 학습 목표는 단순한 미래 상태 s_{t+1}이 아닙니다. 모델은 현재 상태에서 얼마나 변할지인 \Delta s_{t+1}을 예측하도록 훈련됩니다. 이는 공학적으로 매우 중요한 결정인데, 절대적인 위치를 예측하게 하면 신경망의 미세한 오차가 시간이 지남에 따라 누적되어 로봇이 세계 좌표계 밖으로 튕겨 나가는 현상이 발생하기 쉽기 때문입니다.

모델의 손실 함수(Loss Function)는 다음과 같이 정의됩니다 :

L_\theta = \frac{1}{NS} \sum_{N} \|NeRD_\theta (\{s_k, C_k, \tau_k\}_{k=t-h+1}^{t}) - \Delta\hat{s}_{t+1}\|^2

여기서 각 기호가 갖는 물리적 의미를 살펴보면 NeRD의 영리함을 알 수 있습니다:

s_k: 로봇의 상태입니다. 위치와 속도뿐만 아니라 방향(Quaternion)을 포함합니다.
C_k: 접촉 정보입니다. 충돌 탐지기에서 제공하는 기하학적 정보로, 신경망이 물리적 경계를 이해하는 나침반 역할을 합니다.
\tau_k: 관절에 인가된 토크입니다. 로봇이 능동적으로 가하는 힘을 나타냅니다.
h: 이력 창(History Window)의 크기입니다. NeRD는 h=10 정도의 과거 데이터를 함께 봅니다.

여기서 상태의 차이를 계산할 때 사용하는 \ominus 연산자는 단순한 뺄셈이 아닙니다. 예를 들어 회전(Orientation)의 경우, 두 쿼터니언의 차이를 구하기 위해 R_{t+1}R_t^{-1}과 같은 연산을 수행하여 회전의 ’상대적 변화’를 정확히 포착합니다.

공간적 일반화의 비밀: 로봇 중심 좌표계와 불변성

만약 여러분이 눈을 감고 팔을 뻗는 연습을 한다면, 여러분이 방 중앙에 있든 구석에 있든 팔을 뻗는 데 필요한 근육의 힘은 동일할 것입니다. 물리 법칙은 좌표계의 원점이 어디냐에 따라 변하지 않기 때문입니다. 하지만 일반적인 신경망에게 (x, y) = (0, 0)에서의 움직임과 (100, 100)에서의 움직임은 완전히 다른 데이터 포인트입니다.

NeRD는 이 문제를 해결하기 위해 로봇 중심(Robot-centric) 표현형을 도입합니다. 로봇의 기저부(Base)를 원점으로 삼고, 중력 방향을 제외한 나머지 회전(Yaw)에 대해 불변성을 갖도록 모든 데이터를 변환하여 입력합니다.

데이터 유형	기존 방식 (World-frame)	NeRD 방식 (Robot-centric)	일반화 이점
기저부 위치	“(x,y,z) 절대 좌표”	이전 상태 대비 상대적 변위	맵 어디서든 동작 가능
접촉점	세계 좌표계 상의 위치	로봇 기저부로부터의 상대 위치	환경 구성 변화에 강인
속도 정보	세계 기준 선속도/각속도	로봇 로컬 프레임 기준 속도	이동 방향에 관계없이 일관됨

이러한 데이터 전처리는 신경망이 ’세계의 기하학적 구조’를 암기하는 대신 ’로봇의 역학적 본질’을 배우게 만듭니다. 그 결과, 거실에서 걷는 법을 배운 NeRD 모델이 한 번도 가본 적 없는 운동장에서도 완벽하게 물리 법칙을 재현할 수 있게 되는 것입니다.

아키텍처의 심장: 왜 트랜스포머인가?

NeRD는 역학 모델의 핵심 아키텍처로 GPT-2와 유사한 ’인과적 트랜스포머(Causal Transformer)’를 사용합니다. 언어 모델이 단어의 맥락을 파악하듯, 트랜스포머는 로봇의 움직임 맥락을 파악합니다.

왜 단순한 MLP(Multi-Layer Perceptron)나 RNN이 아닐까요? 로봇의 속도 데이터는 때때로 매우 큰 분산(High Variance)을 가집니다. 특히 접촉이 일어나는 순간 속도는 급격하게 변하며 노이즈가 섞이기 쉽습니다. 트랜스포머의 주의 집중(Attention) 메커니즘은 과거 h개의 프레임 중에서 현재의 미래 예측에 가장 중요한 순간(예: 충돌이 시작된 바로 그 프레임)에 집중할 수 있게 해줍니다. 이는 단일 시점의 데이터만 보는 모델보다 훨씬 더 부드럽고 안정적인 예측을 가능하게 합니다.

실험 결과: 가상 세계에서 배운 지혜가 현실에서 통하기까지

NeRD의 성능을 검증하기 위해 연구팀은 아주 단순한 카트폴부터 매우 복잡한 사족보행 로봇인 애니멀(ANYmal)까지 총 6가지 시스템을 시험대에 올렸습니다.

장기 안정성 (Long-horizon Stability)

신경망 모델의 고질적인 약점은 ’드리프트(Drift)’입니다. 예측이 반복될수록 미세한 오차가 쌓여 결국 로봇이 기괴한 모양으로 비틀리거나 사라져 버리는 현상입니다. NeRD는 놀랍게도 1,000단계 이상의 긴 시뮬레이션 과정에서도 해석적 시뮬레이터와 거의 일치하는 궤적을 유지했습니다.

특히 애니멀(ANYmal) 로봇의 경우, 복잡한 사족 보행 시퀀스 동안 누적 보상 오차가 0.1% 미만에 불과했습니다. 이는 NeRD가 단순한 근사치가 아니라, 물리 엔진으로서의 자격을 충분히 갖추었음을 입증합니다.

제로샷 전이: 시뮬레이션에서 실제 로봇으로

NeRD의 진정한 가치는 ’학습’에 있습니다. NeRD가 구현한 가상 환경에서 강화학습으로 훈련된 정책들은 다른 시뮬레이터나 실제 로봇으로 옮겨졌을 때 추가 학습 없이도 완벽하게 작동했습니다.

Franka Reach: NeRD 시뮬레이터 안에서만 목표 지점을 향해 팔을 뻗는 법을 배운 프랑카 로봇은, 실제 실험실에 배치되자마자 마치 수백 번 연습한 것처럼 목표물을 정확히 가리켰습니다.
Locomotion: 애니멀(ANYmal) 로봇은 NeRD 위에서 전진 보행과 횡보행(Sideways walking) 가이트(Gait)를 익혔으며, 이 보행 패턴은 물리적 타당성을 완벽히 갖추고 있었습니다.

심투리얼 갭을 메우는 미세 조정(Fine-tuning)

대부분의 전통적 시뮬레이터는 한 번 코드로 짜이면 수정하기가 매우 어렵습니다. 관절이 뻑뻑해지면 마찰 계수 파라미터를 일일이 손으로 찾아 바꿔야 합니다. 하지만 NeRD는 실제 로봇으로부터 얻은 소량의 데이터만으로도 모델을 미세 조정할 수 있습니다. 이는 로봇이 노후화되거나 환경이 바뀌어도 시뮬레이터가 로봇과 함께 ’성장’할 수 있음을 의미합니다.

비판적 고찰: NeRD가 우리에게 남긴 숙제

물론 NeRD가 모든 문제를 해결한 만능 열쇠는 아닙니다. 로봇공학자로서 우리는 이 모델의 한계를 명확히 인식해야 합니다.

데이터의 굴레: NeRD는 사전 학습을 위해 해석적 시뮬레이터로부터 생성된 대량의 데이터가 필요합니다. 만약 우리가 기초로 삼은 해석적 시뮬레이터 자체가 특정 물리 현상(예: 유체 속에서의 움직임)을 전혀 모사하지 못한다면, NeRD 역시 그 한계를 고스란히 물려받을 위험이 있습니다.
부분 관측의 문제: 현재 실험은 로봇의 모든 관절 상태와 속도를 완벽히 알고 있다는 가정하에 진행되었습니다. 하지만 실제 로봇은 센서 노이즈와 가려짐(Occlusion) 때문에 자신의 상태를 100% 알지 못합니다. 이러한 불확실성 속에서도 NeRD가 안정적인 역학을 제공할 수 있을지는 향후 연구의 핵심 과제가 될 것입니다.
조작의 복잡성: 보행과 같은 주기적인 움직임과 달리, 다수의 물체와 복잡하게 얽히는 조작(Manipulation) 작업에서는 접촉 정보(C_t)의 차원이 기하급수적으로 늘어날 수 있습니다. 이를 효율적으로 처리하기 위한 더 압축된 표현형이 필요할 수 있습니다.

결론: 로봇 역학의 새로운 장을 열며

NeRD는 시뮬레이션이 더 이상 고정된 ’계산기’가 아니라, 데이터와 물리적 직관이 결합된 ’지능형 에이전트’가 될 수 있음을 보여주었습니다. 해석적 모델의 엄격한 구조 속에 신경망의 유연함을 심어 넣은 NeRD의 하이브리드 접근법은, 우리가 꿈꾸는 진정한 디지털 트윈(Digital Twin)을 구현하기 위한 가장 현실적이고도 강력한 경로 중 하나입니다.

이제 로봇은 자신만의 시뮬레이터를 몸 안에 품고 태어날 수 있습니다. 가상 세계에서 수만 번의 상상 훈련을 거치고, 현실 세계에서의 경험을 바탕으로 그 상상을 끊임없이 교정해 나가는 로봇. NeRD는 그러한 미래를 향한 첫 번째 발걸음입니다.로봇공학자들에게 NeRD는 단순히 새로운 시뮬레이션 기술을 넘어, ’물리 법칙을 어떻게 학습할 것인가’에 대한 새로운 철학적 화두를 던지고 있습니다. 우리는 이제 수식의 견고함과 데이터의 유연함 사이에서 최적의 균형점을 찾는 여정을 시작해야 합니다. 그 여정의 끝에는 실제 세계와 가상 세계의 경계가 사라진, 진정으로 자유로운 로봇의 시대가 기다리고 있을 것입니다.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 문제 정의 및 연구 배경

로봇 공학에서 시뮬레이션은 정책 학습, 제어 검증, 로봇 디자인 최적화 등에 필수적인 도구입니다. 하지만 관절이 많은 현대 로봇의 정확하고 효율적인 시뮬레이션은 여전히 어려운 과제입니다. 전통적인 물리 기반 시뮬레이터(예: ODE, Bullet, MuJoCo 등)는 물리 법칙을 정확히 따르지만, 높은 자유도와 복잡한 접촉(dynamic contact)을 가진 시스템을 모델링할 때 계산 비용이 크고 실제 세계와의 차이를 보입니다. 최근 신경망 기반 시뮬레이터(neural simulator)가 이러한 문제에 대한 대안으로 떠올랐습니다. 신경망 시뮬레이터는 데이터를 통해 복잡한 동역학을 학습하여 빠르게 예측하고, 실제 데이터에 적응할 수 있다는 장점이 있습니다. 예를 들어, 기존 연구들은 학습된 월드 모델을 활용해 복잡한 상호작용을 예측하거나 샘플 효율적인 강화학습을 구현하기도 했습니다.

그러나 지금까지의 신경망 로봇 시뮬레이터들은 주로 개별 과제나 환경에 특화된 학습을 필요로 했고, 새로운 작업이나 환경으로 범용적으로 일반화되지 못하는 한계가 있었습니다. 대부분 엔드투엔드(end-to-end) 방식으로 동작하며, 로봇의 상태와 제어 입력만 받아 다음 상태를 바로 예측하다 보니 시뮬레이션의 전역 상태(예: 주변 환경 정보)를 제대로 표현하지 못했습니다. 환경 정보를 상태 표현에 포함하지 않으면, 학습된 모델이 실제로는 환경과 과제의 세부사항을 암기해버리고, 훈련 시 사용한 특정 제어기에 오버피팅되는 문제가 생깁니다. 그 결과 새로운 작업이나 새로운 환경 설정, 다른 제어 정책에 대해서는 고전적인 물리엔진만큼 일반화 능력을 보여주지 못했습니다. 이러한 배경에서, Neural Robot Dynamics (NeRD)는 로봇 동역학의 범용적인 신경망 모델을 제안합니다.

NeRD의 목표는 각 로봇에 특화된 신경망 동역학 모델을 만들어 물리엔진의 핵심을 대체함으로써, 다양한 작업과 환경에 걸쳐 안정적이고 정확한 시뮬레이션을 제공하는 것입니다. 저자들은 미래에는 로봇마다 이런 “신경 물리엔진”을 하나씩 장착하여, 시뮬레이터를 실제 환경에서의 경험으로 평생 학습(lifelong learning)하게 함으로써 마모, 환경 변화에 적응하고 디지털 트윈으로서 계속 업데이트되어 갈 것이라는 비전을 제시합니다. NeRD는 이러한 비전을 향해 두 가지 핵심 아이디어를 도입합니다:

하이브리드 예측 프레임워크 (Hybrid Prediction Framework): NeRD는 전통 시뮬레이터의 저수준 물리 계산 모듈만 신경망으로 대체하고, 나머지 부분은 그대로 유지합니다. 다시 말해, 순방향 동역학 계산기와 접촉 해석기(contact solver) 역할만 NeRD가 맡고, 그 외에 충돌 검출이나 제어기 등은 기존 방식대로 사용합니다. 이렇게 하면 시뮬레이터 내부의 중간 계산 결과들을 그대로 신경망의 입력으로 활용할 수 있습니다. 로봇의 상태, 접촉 정보, 관절 토크 등 응용에 무관한 일반 정보들을 신경망에 제공하여, NeRD가 주변 환경까지 포함한 종합적인 세계 상태를 인지하고 예측할 수 있게 합니다.
로봇 중심 상태 표현 (Robot-Centric State Representation): NeRD는 입력 상태를 로봇 기준 프레임으로 변환하여 학습합니다. 로봇을 공간상에서 이동하거나 회전시켜도 물리 법칙은 동일하기 때문에, 이러한 공간 불변성(spatial invariance)을 명시적으로 모델에 넣어주는 것입니다. 로봇의 기준 좌표계로 상태를 표현하면, 예를 들어 로봇이 방 안 어디에 있든 동일한 동역학 문제로 취급되어 데이터 효율성이 높아집니다. 특히 로봇의 평행이동이나 중력 축 주위 회전(yaw)에 대해 동역학이 불변이므로, 이 특성을 활용해 불필요한 상태 다양성을 줄였습니다. 또한 중력 벡터를 로봇 기준으로 표현하여, 로봇이 기울어진 경우에도 중력 방향을 입력에 포함시킵니다. 이러한 로봇 중심 표현은 학습해야 할 상태 공간을 크게 축소하여 학습 효율을 높이고, 로봇이 훈련 범위 밖으로 이동해도 일관된 예측을 할 수 있도록 도와줍니다.

이 두 가지 혁신 덕분에, NeRD는 수백~수천 스텝의 시뮬레이션에도 안정적으로 동작하고, 여러 작업과 환경, 제어기 구성에 일반화되며, 실제 데이터로 파인튜닝하여 시뮬레이터-현실 간의 차이를 줄일 수 있게 되었습니다. 특히 저자들은 사전에 학습된 NeRD 기반의 신경 시뮬레이터에서만 정책강화학습을 수행한 후, 별도 튜닝 없이도 그 정책이 전통 물리 시뮬레이터나 실제 로봇에서도 성공적으로 작동함을 시연하였는데, 이는 로봇 시뮬레이션 분야에서 최초의 성과라고 강조합니다. 아래에서는 NeRD의 기법과 구현 세부사항을 살펴보고, 실험 결과를 통해 그 의미와 한계점까지 짚어보겠습니다.

방법: 제안된 NeRD 모델과 알고리즘 상세 분석

클래식 시뮬레이터 vs NeRD: 하이브리드 시뮬레이션 구조

전통적인 강체 동역학 시뮬레이터의 흐름을 먼저 이해해봅시다. 일반적으로 사용자는 로봇 모델과 초기 상태, 주변 환경 구성(예: 지면, 물체)과 저수준 제어기(예: 관절 위치 제어 등)를 시뮬레이터에 설정합니다. 시뮬레이션이 한 타임스텝 진행될 때마다, 시뮬레이터는 현재 로봇 상태와 명령을 입력으로 받아 다음을 수행합니다:

충돌 검출: 로봇과 환경 사이에 접촉이 일어날 수 있는지 계산하여, 어느 지점에 접촉하는지, 법선 방향과 간격 등 접촉 정보를 추출합니다. (예: 로봇 발이 지면에 닿았는지, 장애물과 부딪혔는지 등)
제어기 적용: 현재 로봇 상태와 사용자가 보낸 명령(액션)을 기반으로 관절별 토크를 계산합니다. 예를 들어 관절 위치 제어기의 경우, 목표 위치 대비 현재 위치로부터 PD 제어 등으로 토크를 산출합니다.
물리 계산: 앞서 얻은 로봇 상태, 접촉 정보, 토크를 가지고 동역학 방정식과 접촉 모델을 풀어 가속도를 계산합니다. 이 단계가 물리엔진의 핵심으로, 뉴턴-오일러 방정식이나 페더스톤 알고리즘을 사용하고, 접촉해결(contact solve)은 라그랑주 승수나 미세한 시간 간격 적분 등으로 처리됩니다.
적분 업데이트: 계산된 가속도를 시간 적분하여 다음 시각의 로봇 상태를 얻습니다. 이렇게 한 스텝의 시뮬레이션이 완료됩니다.

과거의 신경망 시뮬레이터들은 위 과정 전체를 신경망으로 통째로 대체하는 경향이 있었습니다. 로봇 상태와 액션만 넣고 바로 다음 상태를 출력하니, 중간의 충돌 여부나 환경 정보는 입력되지 않았습니다. 따라서 환경이 바뀌면 모델이 대응하지 못하고, 접촉 시나리오도 내부적으로 암기에 의존하게 됩니다. 또한 특정 저수준 제어기의 출력(예: PD 제어에서 나온 토크)을 입력으로 쓰다 보면, 훈련 시 사용한 제어기의 특성에 모델이 익숙해져 버려 제어기가 바뀌면 성능이 떨어지는 문제가 있었습니다.

NeRD의 하이브리드 예측 프레임워크는 이러한 문제를 해결합니다. NeRD는 충돌 검출과 제어기 계산까지는 기존 시뮬레이터를 그대로 활용하고, “가속도 계산+적분” 부분만 신경망으로 대체합니다. 쉽게 말해, NeRD가 기존 물리엔진의 엔진룸만 신경망으로 갈아 끼운 격입니다. 이렇게 하면 충돌 검출기가 뽑아낸 접촉 정보와 제어기가 계산한 관절 토크, 그리고 현재 로봇 상태라는 충분한 정보를 신경망에 입력할 수 있습니다. 이 정보는 응용이나 과제에 관계없이 일반적이며 필수적인 물리 요소들이므로, NeRD는 이들을 활용해 어떤 상황에서도 다음 상태를 예측할 준비가 되는 것이지요.

그림 2: NeRD 하이브리드 시뮬레이션 개요. (a) 전통적인 시뮬레이터에서는 충돌 검출과 제어기 계산 후 물리엔진이 가속도를 풀고 적분한다. 초록색 음영 부분이 작업에 무관한 일반 모듈이다. (b) NeRD 프레임워크에서는 이 일반 물리엔진 부분을 NeRD 신경망으로 대체한다. (c) NeRD의 로봇 중심 상태 표현: 로봇 기준 프레임으로 좌표를 변환하고 중력 방향도 포함하여 입력으로 사용한다.

NeRD에 입력되는 구체적인 정보들을 수식으로 정리하면 다음과 같습니다. 시간 t에서 로봇의 상태를 s_t라고 할 때, s_t = {p, q, \theta, \dot{p}, \dot{\theta}}로 표현됩니다. 여기서 p, q는 로봇 베이스(기저)의 위치와 방향(쿼터니언), \theta는 관절 각도 벡터, \dot{p}는 베이스의 6차원 속도(선속도+각속도), \dot{\theta}는 관절 각속도 벡터입니다. 제어기로부터 나온 관절 토크를 \tau_t로 두고, 접촉 정보를 C_t로 정의합니다. 접촉 정보 C_t는 로봇의 미리 지정된 접촉 지점마다, 접촉한 물체의 좌표, 접촉 법선 벡터, 관입 깊이(혹은 거리) 등의 값을 포함합니다. 이러한 s_t, C_t, \tau_t (필요에 따라 과거 일정 히스토리까지 포함)들을 NeRD의 입력 X_t로 구성합니다.

NeRD 신경망은 함수 f_\theta로 표현되며, 입력 X_t를 받아 다음 상태 변화량 \Delta s_{t+1}을 예측합니다. 여기서 \Delta s는 각 상태 성분별 변화량이며, 회전(quaternion)의 경우 적절한 차분(예: 공분하게 표현된 회전 차이)을 사용합니다. 신경망의 학습은 예측한 \Delta s와 실제 진실값 \Delta s 사이의 MSE 손실으로 이뤄집니다. 수식으로는:

L=\frac{1}{B N} \sum_{i=1}^B\left\|\Delta s_{\mathrm{pred}}^{(i)}-\Delta s_{\mathrm{gt}}^{(i)}\right\|^2

여기서 B는 배치 크기, N은 상태 차원입니다. 학습이 완료되면, 시뮬레이션 시 NeRD는 \Delta s_{t+1}을 출력하고, 기존 상태에 더해 다음 상태를 계산하게 됩니다. 중요한 것은, 이러한 간결한 상태 표현과 입력이 다양한 응용에 일반화되는 성능의 핵심이라는 점입니다. 충돌 정보와 토크까지 담긴 X_t는 어떤 작업이나 환경이라도 로봇의 다음 상태를 결정하는 데 충분한 정보를 제공하기 때문에, NeRD는 특정 시나리오에 국한되지 않고 범용적으로 동작할 수 있습니다.

로봇 중심 좌표계: 공간 불변 특성의 활용

NeRD의 두 번째 핵심은 로봇 중심(state) 좌표계로의 변환입니다. 로봇 동역학은, 중력 방향 기준으로 회전하거나 전체 위치를 평행이동해도 물리적인 상호작용이 동일하다면 같은 방식으로 전개됩니다. 예를 들어, 로봇 팔로 책상을 밀 때 로봇이 방 한가운데 있든 구석에 있든 힘과 가속도의 관계는 같을 것입니다. 따라서 학습 데이터에 로봇의 전우주적 위치를 다양하게 담을 필요 없이, 로봇을 자기 자신 기준으로 보도록 입력을 구성하면 효율이 올라갑니다. NeRD는 로봇의 베이스 좌표를 원점으로 삼고, 베이스의 방향을 기준으로 모든 상태와 접촉 정보를 변환하여 신경망에 넣습니다.

구체적으로, 로봇 베이스의 위치 p는 로봇 기준으로 보면 항상 0이 되므로 제외되며, 베이스의 회전 q는 단위 회전(로봇 자신의 프레임에서는 자기가 항상 똑바로인 것으로 간주)으로 정규화됩니다. 베이스의 속도는 로봇 프레임으로 변환되고, 관절 각도와 각속도는 원래부터 내부 값이라 공간 위치와 무관합니다. 접촉 지점 좌표나 법선 등도 로봇 기준 좌표로 표현됩니다. 중력 벡터 또한 중요한데, 로봇이 한 방향으로 기울어져 있다면 로봇 기준으로 볼 때 중력은 반대 방향으로 기울어져 보일 것입니다. 이를 반영하기 위해 로봇 기준의 중력 단위벡터를 입력에 추가합니다. 그리고 NeRD가 출력하는 \Delta s 역시 로봇 기준 좌표계에서의 변화량으로 예측되도록 합니다. 마지막으로 이 출력 결과를 다시 세계 좌표계로 변환하여 실제 로봇의 새 상태를 업데이트하게 됩니다.

이러한 로봇 중심 표현 덕분에, NeRD 모델은 공간적인 일반화를 선천적으로 가지게 됩니다. 훈련 데이터가 특정 위치와 방향에 국한되어 있어도, 로봇이 다른 위치에 놓이거나 다른 방향을 바라볼 때도 일관된 예측이 가능합니다. 이는 곧 훈련 효율 향상으로 이어집니다. 저자들은 모든 위치와 방향을 일일이 데이터로 보여주지 않아도 되므로, 공간적 조합 폭발 문제를 피하면서 모델을 학습시킬 수 있었다고 설명합니다. 요약하면, 로봇 중심 표현은 “로봇의 국소 관점에서 세계를 보는” 방법으로, 로봇은 자기 관절 상태와 국소적인 접촉, 그리고 중력이 어떤 방향으로 작용하는지만 알면 된다는 직관적인 발상입니다. 이 관점은 불필요한 정보의 잡음을 줄이고 학습을 수월하게 만들었습니다.

모델 구조와 학습 세부사항

NeRD의 신경망 모델은 시계열 정보를 다루는 변형된 GPT-2 Transformer로 구현되었습니다. 저자들은 과거 H개의 상태-접촉-토크 데이터를 히스토리 윈도우로 넣어 원인-결과 관계를 학습시켰습니다. 이렇게 함으로써, 특히 속도나 가속도처럼 시간 이력에 의존하는 변수들을 더 정확히 예측할 수 있었다고 합니다. 실제로 히스토리 길이 H=10으로 하는 것이 최적의 안정성을 주었으며, 이는 한 번에 예측하는 것보다 과거 몇 스텝을 참고하는 Transformer 시퀀스 모델링이 효과적이었음을 의미합니다.

학습 데이터는 NVIDIA Warp 시뮬레이터를 사용하여 대량의 무작위 에피소드로 생성되었습니다. Warp는 GPU 가속 물리엔진으로, 페더스톤(Featherstone) 알고리즘을 통해 빠르게 강체 시뮬레이션을 수행할 수 있습니다. 각 로봇에 대해 과제에 무관한(random) 움직임을 담은 수백 개의 시뮬레이션 트라젝토리를 수집했습니다. 예를 들어, 초기 자세를 무작위로 설정하고, 가능한 범위 내에서 임의의 관절 토크 시퀀스를 100스텝 정도 가하면서 로봇을 다양한 모션으로 움직입니다. 때로는 환경 구성(예: 지면의 높낮이, 장애물 배치)도 무작위로 바꾸어가며 데이터 다양성을 확보했습니다. 이렇게 모은 데이터(대략 로봇당 수만~수십만 스텝 분량)를 가지고 교사 강제(teacher-forcing) 방법으로 NeRD를 학습시켰습니다. 즉, 트라젝토리 중 임의 구간의 연속된 H 스텝을 한 배치로 삼아, 앞 H-1스텝의 예측은 실제값으로 대체해주며 다음 스텝을 예측하도록 하는 방식입니다.

학습 안정화를 위해 입출력 정규화(normalization)를 적극 사용했습니다. 특히 속도나 각속도 성분은 분산이 커서 손실에 큰 기여를 하기 때문에, 출력 \Delta s를 예측할 때 미리 데이터의 평균과 표준편차로 스케일을 조정하여 모든 성분이 균형있게 학습되도록 했습니다. 이 기법은 NeRD의 장기 안정성을 크게 향상시켰는데, 정규화를 하지 않으면 일정 시간 이후 예측이 발산하거나 크게 틀어지는 현상이 관찰되었다고 합니다 (해당 소(ablation) 실험은 부록 C.5에 제시). 입력값(상태, 토크, 접촉)의 범위도 정규화하여, 다양한 값 범위에 걸쳐 학습이 잘 되도록 했습니다.

마지막으로, NeRD는 모듈형 설계로 구현되어 기존 시뮬레이션 프레임워크와 통합하기 쉽게 만들어졌습니다. 예를 들어 저자들은 Warp 시뮬레이터의 플러그인 형태로 NeRD를 넣어서, 사용자 입장에서는 코드 한 줄만 바꾸면 기존의 물리엔진 대신 NeRD를 사용하도록 할 수 있었다고 합니다. 이는 현실적으로 강화학습 환경 등 기존 시뮬레이터를 이용하는 많은 코드베이스에 NeRD를 적용하기 용이함을 의미합니다. 또한 Warp의 GPU 병렬화를 활용해 병렬 환경에서 NeRD를 구동하여 높은 프레임레이트로 동작시킬 수 있었습니다. 실제로 512개의 Ant 로봇 환경을 동시에 돌릴 경우 초당 46k 스텝을 처리할 수 있어, 동등 조건(Warp에서 16 서브스텝 사용) 대비 기존 Warp 물리엔진의 28k FPS를 능가하는 성능을 보였습니다. 신경망 모델은 하드웨어 가속의 이점을 지속적으로 얻을 수 있으므로, 앞으로 더 빠른 성능을 기대할 수 있습니다.

실험: 설정, 결과 및 해석

NeRD의 성능을 다각도로 검증하기 위해 6가지 서로 다른 로봇 시스템을 대상으로 광범위한 실험이 수행되었습니다. 사용된 로봇들은 간단한 카트-폴(cartpole) 시스템부터, 더블 펜듈럼(이중 진자), 4족 보행 로봇 ANYmal, 4족 크롤링 로봇 Ant(MuJoCo Ant 모델), 7자유도 매니퓰레이터 Franka(프랑카 판다 암), 그리고 큐브 토스(cube tossing) 환경까지 매우 다양합니다. 각 로봇에 대해 먼저 NeRD 모델을 시뮬레이션 데이터로 학습한 후, 아래와 같은 실험들을 통해 장기 안정성, 접촉 일반화, 과제/제어기 일반화, 정책 학습 및 실세계 전이, 실데이터 미세조정 능력을 평가했습니다. 하나하나 결과를 살펴보겠습니다.

1. 장기 안정성과 정확도 (Cartpole & Ant)

첫 번째로, 시뮬레이션을 수백~천 스텝 이상 길게 진행했을 때 NeRD의 누적 오차가 얼마나 누적되는지를 확인했습니다. 긴 지평선에서 예측이 조금씩 빗나가면, 시간이 지날수록 오차가 커져 시뮬레이터로서 불안정해질 수 있습니다. 이를 간단한 무제어 (open-loop) 수동 동작 시나리오에서 테스트했는데, Cartpole과 Ant 로봇으로 실험했습니다. Cartpole은 마찰이나 접촉이 없는 관성계 시스템이라 오차가 어떻게 축적되는지 분석하기 좋고, Ant는 지면과의 복잡한 접촉이 있는 환경이라 실제적입니다.

Cartpole: 초기 상태로 카트를 임의 위치에 두고, 이후 아무 힘도 주지 않은 채 (토크=0) 1000스텝 동안 움직임을 시뮬레이션했습니다. 이 경우 카트는 관성에 따라 등속 직진하고, 봉은 진자 운동을 하겠지요. NeRD 시뮬레이터의 예측 결과를 정확한 물리 시뮬레이터(Warp) 결과와 비교한 결과, 1000 스텝 후에도 카트 위치 오차가 약 3.3cm, 봉의 각도 오차가 약 0.075 rad(4.3°)에 불과했습니다. 이 정도면 장시간 시뮬레이션에도 드리프트 누적이 극히 적다고 볼 수 있습니다. 다시 말해, NeRD의 예측이 매우 안정적임을 보여줍니다.
Ant: 4개의 다리를 가진 Ant 로봇을 초기 자세에서 놓고, 마찬가지로 아무 제어 입력 없이 약 500 스텝 동안 움직임을 시뮬레이트했습니다. Ant는 다리 관절들이 움직이지 않으니 제자리에서 살짝 쓰러질 수도 있고, 중력으로 인해 몸체가 기울어지는 등의 움직임이 발생할 것입니다. 500 스텝 후에 몸체 위치 오차는 5.7cm, 몸체 방향(쿼터니언) 오차는 0.095 rad(5.4°) 정도로 측정되었습니다. 접촉이 여러 번 있었음에도 오차가 크지 않고, 안정적으로 예측했음을 알 수 있습니다.

이러한 결과는 NeRD 기반 신경 물리엔진이 수백~천 스텝 이상의 긴 시뮬레이션도 문제없이 추론할 수 있음을 보여줍니다. 에너지 보존이나 각운동량 등 물리적 일관성도 잘 학습된 덕분에, 시간이 지나도 작은 오차들이 폭주하지 않고 안정된 동작을 이어나가는 것으로 해석됩니다. 요약하면, NeRD는 장기 시뮬레이션에서도 물리엔진으로서 신뢰도를 갖춘 것입니다.

2. 접촉 구성의 일반화 (Double Pendulum 예제)

두 번째 실험은 다양한 접촉 상황에 대한 일반화 능력을 검증했습니다. 이를 위해 이중 진자(double pendulum) 시스템을 사용했는데, 진자 끝단이 여러 형태의 지면과 접촉할 수 있도록 환경을 랜덤하게 바꾸었습니다. 구체적으로, 진자 아래에 평면 지형을 놓되, 그 높이와 기울기(법선 방향)를 무작위로 7가지 설정했습니다. 하나는 지면이 아주 아래 있어 진자가 절대 닿지 않는 경우(접촉 없음), 나머지 여섯은 각기 다른 높이나 각도로 배치되어 진자가 살짝 스치거나 심하게 충돌하는 등 다양한 접촉 모드를 만들었습니다. 이렇게 하면 아래와 같은 극단적인 운동 모드들이 나타납니다: (a) 지면이 멀리 있으면 접촉 없는 혼돈 운동 (진자가 자유롭게 흔들리는 혼돈계), (b) 지면이 살짝 닿을 거리이면 살며시 미끄러지는 운동 (진자가 바닥을 스치며 에너지를 잃지 않고 움직임 지속), (c) 지면이 가까우면 충돌 후 정지 (진자가 바닥에 부딪쳐 에너지를 소실하고 멈춤). 이러한 상반된 운동 양상들은 신경망 모델에게는 상당히 까다로운 시험대가 됩니다. 기존의 단순한 상태 표현으로는 언제 접촉이 일어나고, 어떤 모드로 진행될지 단서를 얻기 어려워 예측이 힘들기 때문입니다.

NeRD는 이 모든 경우를 단 하나의 모델로 학습하고, 모든 환경에서 잘 예측해낼 수 있을까요? 실험 결과는 예스였습니다. 7가지 지면 환경 각각에 대해, NeRD로 100 스텝씩 수동 시뮬레이션을 해본 후 진자의 관절각 예측을 물리엔진 결과와 비교했습니다. 그랬더니 어느 환경에서도 평균 관절각 오차가 0.03 rad(약 1.7°) 이하였고, 대부분은 그보다 훨씬 작았습니다. 최대 오차 환경에서도 0.056 rad 정도였다고 하니, 1~3° 수준의 작은 각도 오차만 발생한 것입니다. 즉, NeRD 한 모델이 접촉이 전혀 없을 때부터 미끄러질 때, 쿵하고 멈출 때까지 모든 모드를 정확히 시뮬레이션해낸 것입니다. 이는 NeRD의 하이브리드 프레임워크 덕분으로 볼 수 있습니다. 로봇의 접촉 지점, 법선, 거리 등의 정보가 주어지니, 신경망이 “이번 환경에서는 곧 접촉이 올 것이다” 또는 “지금 접촉 중이니 마찰로 감속될 것이다” 등의 판단을 할 수 있었던 겁니다. 반면 환경 정보를 넣지 않는 엔드투엔드 모델이라면, 이 서로 다른 모드를 하나의 네트워크로 예측하기 어려웠을 것입니다. 저자들도 실제로 동일한 조건에서 엔드투엔드 모델(E2E baseline)을 실험했더니 접촉 발생 시 큰 오차로 실패했다고 보고합니다 (부록 C.5.2). 따라서 이번 결과는 NeRD의 일반 입력 설계(하이브리드)가 접촉 상황 일반화에 핵심적 역할을 함을 보여줍니다.

3. 작업, 제어기, 공간 범위 일반화 (강화학습 정책 평가)

다음으로, 한 번 학습된 NeRD 모델이 새로운 작업(task)이나 제어기, 심지어 훈련 때 가보지 못한 위치 영역에서도 잘 작동하는지를 종합적으로 평가하기 위해, 강화학습을 통한 정책 학습 실험을 수행했습니다. 4가지 로봇 시스템에 대해 각기 다른 과제를 설정하고, 모든 정책 학습을 NeRD 시뮬레이터 안에서 진행한 후, 학습된 정책을 기존 정확한 시뮬레이터(“ground-truth”)로 다시 실행해 보는 방식입니다. 만약 NeRD가 낯선 상황에서 오차가 커진다면, NeRD 안에서 잘 배운 정책이 실제 물리환경에서는 성능이 떨어질 것입니다. 반대로 NeRD가 어디서나 정확하다면, 두 환경에서 얻는 리워드가 거의 같을 것입니다.

실험에 사용된 과제들은 다음과 같습니다 (괄호 안은 저수준 제어 방식):

Cartpole – 폴대 세우기(swing-up) 과제 (토크 제어)
Franka 매니퓰레이터 – 엔드 이펙터 목표 도달(end-effector reach) 과제 (관절 위치 제어)
Ant – 빠르게 앞으로 달리기(running), 제자리에서 회전하기(spinning), 주어진 속도 프로파일 따라 회전하기(spin tracking) 3가지 과제 (토크 제어)
ANYmal – 지정된 앞향 속도로 걷기(forward velocity tracking), 옆으로 걷기(sideways velocity tracking) 2가지 과제 (관절 위치 제어)

각 과제들은 해당 로봇의 기존 NeRD 훈련 데이터에는 없던 새로운 동작을 요구합니다. 예를 들어, Cartpole의 NeRD는 무작위 토크 데이터로 학습되었지만 “폴대 세우기”는 일부러 폴대를 흔들어 세우는 특수한 움직임이고, Ant의 “달리기”는 한 방향으로 지속 이동하는 거라 무작위 움직임과 분포가 다릅니다. 그럼에도 NeRD가 정확하다면 이런 특수 분포의 상태에서도 잘 예측해야 합니다. 또한 Franka와 ANYmal 실험에서는 NeRD가 관절 토크 입력으로 학습되었음에도, 실제 정책은 관절 위치 제어기를 사용했기 때문에, NeRD가 보지 못한 다른 유형의 저수준 제어에 대해서도 잘 작동해야 했습니다. 게다가 Ant와 ANYmal의 과제에서는 로봇들이 초기 위치에서 멀리 이동하거나 회전하여 새로운 공간 영역에 도달합니다. 이는 NeRD 훈련 시 주로 원점 부근에서 데이터가 모였을 텐데, 훈련 분포 밖의 공간적 영역에서도 성능이 유지되는지를 보는 시험이기도 했습니다. 마지막으로 과제 길이도 Ant/ANYmal은 수백~수천 스텝(예: ANYmal 1200스텝)으로 꽤 길어서, 장시간 안정성도 다시 한 번 검증됩니다.

이런 어려운 조건들에도 불구하고, NeRD로 학습한 정책들은 훌륭한 성능으로 실제 물리엔진에 이식되었습니다. PPO 알고리즘으로 각 과제마다 다른 시드로 3개의 정책을 NeRD 시뮬레이터 안에서 훈련한 뒤, 동일한 정책을 전통 시뮬레이터에서도 실행하여 평균 에피소드 보상을 비교했습니다. 표 1의 결과에 따르면, NeRD에서 훈련된 정책의 성능은 실제 물리 시뮬레이터에서도 거의 동일한 보상을 얻었습니다. 예를 들어 Cartpole 스윙업의 경우 NeRD와 실제 환경 모두 평균 보상 ~1212로 차이가 0.01%에 불과했고, Franka 리치도 210 vs 210으로 사실상 동일했습니다. Ant 러닝/스핀 등의 과제에서도 차이가 2~4% 이내로 작았습니다. 가장 어려웠던 Ant의 제자리 스핀(Spinning) 과제에서만 NeRD 보상이 약 17% 낮았지만 (10.5→9.9), 이 정도는 절대값으로는 아주 작은 차이이며 다른 과제에서는 대체로 5% 이하의 오차 수준이었습니다. 전혀 튜닝 없이 이러한 결과가 나왔다는 점을 강조해야 합니다. 이는 NeRD 모델이 새로운 과제, 다른 제어기, 훈련 분포 밖의 영역에서도 물리엔진과 거의 동등한 정확도로 예측했음을 뜻합니다. 결국 NeRD를 동역학 모델로 사용한 강화학습으로 얻은 폴리시도 현실 정확도를 담보할 수 있음을 보여준 셈입니다. NeRD의 장기 예측 정확도와 일반화 성능이 없다면 불가능했을 결과로, NeRD 접근법의 유용성을 잘 입증합니다.

4. 프랑카 매니퓰레이터의 Sim-to-Real 정책 전이

NeRD의 궁극적 목표 중 하나는 시뮬레이터와 현실의 격차(sim-to-real gap)를 줄이는 것입니다. 앞서 NeRD로 학습한 정책을 실제 로봇에서 테스트한 실험도 이에 해당하는데요, 특히 Franka 암(arm)로 수행한 엔드 이펙터 목표 도달 과제에서 실제 로봇 실험이 진행되었습니다. 이 과제는 로봇 팔 끝(EF)을 공간상의 임의 목표 지점으로 움직여 정지시키는 것으로, joint position 제어 하에 목표 위치까지 빠르게 이동한 뒤 오차 없이 멈추는 것을 목표로 합니다. 연구진은 NeRD 시뮬레이터 안에서 이 과제의 정책을 학습한 후, 그 정책을 실제 Franka 로봇에 적용하여 50개의 목표점에 대해 시도했습니다. 그리고 각 시도에서 엔드 이펙터가 목표와 얼마나 떨어져서 멈추는지 (정상 상태 오차) 를 측정했습니다. 비교를 위해 전통 물리엔진 (Featherstone 기반)에서 학습한 정책도 동일하게 로봇에 적용했습니다.

결과는 놀랍게도, NeRD로 훈련한 정책이 현실에서도 매우 높은 정확도를 보였습니다. 두 경우 모두 목표 대비 평균 몇 mm 수준의 오차로 매우 정확히 도달했고, NeRD로 학습한 정책은 오히려 전통 물리엔진 정책보다 평균 오차가 더 낮게 나타났습니다. 구체적인 수치를 보면, NeRD 정책은 평균 1.93 mm (표준편차 0.7 mm)의 오차를 보였고, 전통 물리 정책은 평균 4.65 mm (표준편차 2.67 mm)의 오차를 보였습니다. 두 정책 모두 목표 점에 거의 닿을 정도로 정확했지만, NeRD 쪽이 약간 더 정확하고 안정적인 결과를 낸 것입니다. 아래 그림 4는 실제 로봇 실험의 장면(좌)과, 임의의 10번 실행에 대한 목표까지 거리 감소 그래프(중앙 및 우측 확대)를 보여줍니다. NeRD 정책과 물리엔진 정책 모두 빠르게 cm→mm 단위로 오차를 줄이며 수초 내 수렴함을 볼 수 있습니다.

그림 4: Franka 로봇 엔드 이펙터 목표 도달 정책의 시뮬레이터-현실 전이 결과. 좌측은 실제 실험 장면 (Franka 팔 끝에 원형 마커가 부착되어 임의 목표점들을 따라감). 가운데 그래프는 NeRD 시뮬레이터에서 학습된 정책을 실제 로봇에 적용했을 때 EF-목표 간 거리의 변화를 10회 실행에 대해 그린 것. 우측 작은 그래프는 마지막 1~2초 구간을 확대하여, 정상 상태에서 거의 0에 수렴하는 모습을 보여준다. NeRD로 학습된 정책은 평균 1.9 mm 오차로 목표에 도달했고, 이는 전통 시뮬레이터로 학습한 정책(평균 4.6 mm 오차)보다도 정확했다.

이 실험은 NeRD 신경물리 모델의 예측 정확도가 얼마나 높은지 잘 보여줍니다. NeRD 안에서만 학습한 정책이 실제 하드웨어에서 곧바로 성공하려면, NeRD가 현실 물리와 거의 같거나 약간 보수적인 동역학을 가지고 있어야 합니다. NeRD는 시뮬레이터 데이터를 학습했지만, 접촉이나 마찰 등의 미세한 실제 차이를 약간은 보정해주는 효과가 있었을 수 있습니다. 그 결과 NeRD로 만든 디지털 트윈 환경이 현실에도 통하는 정책을 만들어낸 것이죠. 정리하면, NeRD는 순수 신경망 기반 시뮬레이터로서 sim-to-real 문제에서 경쟁력 있는 정확도를 증명했다고 볼 수 있습니다.

5. 실세계 데이터로의 미세조정 (Cube Tossing 예제)

마지막으로, NeRD 모델을 실제 실험 데이터로 파인튜닝(fine-tune)하여 시뮬레이터-현실 오차를 줄이는 실험이 진행되었습니다. 대상 시나리오는 큐브 토스(cube tossing)인데, 이는 로봇보다는 단일 강체(정육면체 블록)가 지면과 충돌하며 튀는 물체 동역학 사례입니다. 해당 데이터셋은 이전 연구(ContactNets 등)에서 사용한 것으로, 큐브를 임의의 초기 속도로 던져서 땅에 충돌시키는 실제 실험 영상/모션 캡처 데이터입니다. 이 예제는 변형된 단순 물체의 복잡한 접촉 동역학을 학습해야 하므로, NeRD의 범용성과 실데이터 적응력을 확인하는데 적합합니다.

과정은 두 단계로 이뤄집니다. 먼저, Warp 시뮬레이터 안에 동일한 큐브 토스 환경을 구성하고 충분한 가상 데이터를 생성하여 NeRD를 사전학습(pretrain) 시킵니다. 여기서는 큐브의 초기 속도/각도를 랜덤하게 주어 수백 개의 시뮬레이션 트라젝토리를 모았습니다. 그 다음, 이렇게 학습한 NeRD 모델을 실제 큐브 토스 데이터에 파인튜닝합니다. 비교 대상으로는 시뮬레이션 사전학습 없이 실데이터만으로 처음부터 학습한 NeRD 모델도 함께 훈련했습니다. 또한 기존 연구들의 기법인 GNN-Rigid (그래프신경망 강체모델)와 ContactNets 모델에도 동일한 실데이터로 학습/평가를 해서 성능을 비교했습니다.

파인튜닝 결과, 시뮬레이션으로 미리 학습한 NeRD 모델이 아주 빠르게 실데이터에 적응하면서 최종 예측 정확도가 높았습니다. 그림 5의 (c) 그래프는 파인튜닝 vs 처음부터 학습의 검증 오차 감소 곡선을 보여주는데, 사전학습된 경우 불과 5 epoch 이내에 수렴한 데 반해, 처음 시작한 모델은 2배 이상 많은 epoch이 걸렸습니다. 최종 성능 면에서도, 파인튜닝 모델은 큐브의 중심 위치 오차 0.018 m, 방향 오차 0.266 rad(15°)로 가장 정확했고, 처음부터 학습한 모델은 위치 0.03 m, 방향 0.34 rad로 약간 더 오차가 컸습니다. 둘 다 기존 Warp 물리엔진의 오차(위치 ~0.05 m, 각도 ~0.7 rad 추정)보다 좋았고, ContactNets 등의 특수 모델과 유사한 수준이었습니다. 실제로 ContactNets는 이 데이터셋에서 0.02 m, 0.29 rad 정도의 오차를 보였고, GNN-Rigid는 위치 오차 0.026 m (회전 오차는 공개 코드 부족으로 측정 불가) 수준이었다고 합니다. NeRD는 이들과 대등한 정확도를 내면서도, 학습 시간은 훨씬 짧았습니다. 논문에 따르면 ContactNets를 학습하는 데 약 12시간이 소요되었으나, NeRD 파인튜닝은 10분 내외로 완료됐다고 합니다. 이는 사전학습으로 일반 물리 지식을 익혀놓으면 소량의 실데이터로 빠르게 적응 가능함을 의미하며, 로봇마다 NeRD를 장착해 현장 데이터로 미세 보정하는 구상을 뒷받침합니다.

그림 5: 큐브 토스 실험에서 NeRD의 실데이터 파인튜닝 결과. (a) Warp 시뮬레이터로 생성한 큐브 토스 장면: 큐브(회색)의 실제 궤적(연두색 윤곽)과 Warp 예측(반투명 회색)을 비교. (b) 파인튜닝한 NeRD 모델의 예측(빨강 윤곽)은 실제 궤적(연두)과 거의 일치함을 보여준다. (a,b)에서 연두색은 실제 측정 궤적, 회색/빨강은 시뮬레이터 예측 궤적이다. (c) 파인튜닝 학습曲선: 빨간색은 시뮬레이션 사전학습 모델을 5 epoch 미만으로 빠르게 튜닝하여 에러 감소한 것이고, 파란색은 처음부터 학습하여 느리게 감소하는 경우이다. 점선은 기존 ContactNets의 위치/회전 오차를 가리킨다. NeRD는 몇 분의 학습으로 ContactNets 12시간 학습과 맞먹는 성능을 달성했다.

종합하면, NeRD는 복잡한 접촉 동역학을 지닌 단일 물체부터 다관절 로봇까지 폭넓게 적용 가능하며, 시뮬레이터-현실 차이를 데이터로 좁히는 능력도 입증했습니다. NeRD 모델은 강체 시뮬레이션 분야의 여러 선행 기법과 어깨를 나란히 하는 정확도를 보이면서도, 일반성이 높고 훈련 효율이 뛰어나다는 강점을 가집니다. 이로써 “로봇마다 자체 학습 물리엔진을 갖춰, 필요한 경우 현실 데이터를 조금만 사용해 보정한다”는 구상이 더욱 현실에 가까워졌다고 볼 수 있습니다.

비판적 고찰: 장점, 한계와 로봇공학적 의의

NeRD의 주요 기여와 강점을 정리해보면 다음과 같습니다:

일반화된 동역학 학습: NeRD는 각 로봇에 특화된 신경망 동역학 모델로, 접촉까지 포함한 물리를 학습합니다. 특히 하이브리드 프레임워크로 환경과 상호작용을 상태에 명시적으로 포함함으로써, 기존 월드 모델류 기법들이 가지던 환경 불변성 부족 문제를 해결했습니다. 하나의 모델로 여러 작업과 장면에 걸쳐 정확한 예측이 가능함을 보였고, 이는 실제 로봇 시뮬레이션에 실용성을 부여하는 큰 진전입니다.
장시간 시뮬레이션 안정성: 수백~천 스텝 이상의 긴 시뮬레이션에서도 NeRD는 오차 누적이 매우 적고 안정적이었습니다 (Cartpole 1000스텝 후 몇 cm 오차, Ant 500스텝 후 몇 cm 오차). 신경망 모델임에도 물리적인 에너지/운동량 보존 특성 등을 어느 정도 내재화했음을 시사하며, 이를 통해 강화학습 환경으로 사용해도 문제가 없을 만큼 신뢰도를 확보했습니다.
다양한 접촉/환경에 대한 적응: NeRD는 접촉 조건이 바뀌어도 (지면 기울기 변화 등) 하나의 모델로 모두 대응할 수 있음을 보였습니다. 하이브리드 입력 (로봇+환경)의 효과로, 이전에 보지 못한 접촉 시나리오도 잘 예측하는 강인함을 가집니다. 이는 향후 로봇이 새로운 지형, 물체 등을 만나도 시뮬레이터를 갈아엎지 않고 미세 조정이나 추가 학습만으로 커버 가능함을 의미합니다.
정책 학습 및 전이: 본 연구의 백미는 NeRD만으로 정책을 학습하고도 전통 시뮬레이터나 실제 로봇에서 바로 실행 가능함을 증명한 것입니다. 이전까지 학습된 시뮬레이터로 정책을 훈련하는 것은 특수 경우를 빼면 위험부담이 컸는데, NeRD는 그 경계를 허물었습니다. 특히 Franka 실험에서 NeRD 정책이 실제 로봇에서 잘 동작한 것은, 신경망 시뮬레이터의 실용화를 보여주는 상징적인 결과입니다. 이는 로봇학습 커뮤니티에 “신경 물리엔진만으로 충분히 정책을 배울 수 있다”는 가능성을 제시합니다.
실세계 미세조정 용이성: NeRD의 파인튜닝 실험은, 시뮬레이터로 학습한 모델에 적은 양의 현실 데이터만 추가해도 빠르게 적응한다는 것을 보여주었습니다. 또한 ContactNets 같은 모델에 비해 학습 시간이 훨씬 짧고 자동 미분 등 특별한 기법 없이도 정확도를 달성한 점도 고무적입니다. 이는 실무자 입장에서 시뮬레이션 모델을 현실에 맞춰 보정하는 작업의 부담을 크게 줄여줄 수 있습니다.
통합 및 확장 용이성: NeRD는 NVIDIA Warp 등 현대 시뮬레이터 프레임워크에 모듈식으로 통합될 수 있어 실제 적용이 수월합니다. 사용자는 물리엔진을 NeRD로 한 줄 스위치만 하면 되고, 병렬 처리 이점도 누릴 수 있습니다. 이러한 쉬운 이식성은 NeRD 같은 신경엔진의 현장 도입 장벽을 낮춰줍니다.

이런 장점들과 더불어, 한계나 향후 보완점도 분명히 존재합니다:

복잡한 로봇에 대한 검증 부족: 논문에서는 최대 18 DoF(ANYmal) 정도의 로봇까지 다루었는데, 휴머노이드같이 30~50 DoF의 더욱 복잡한 로봇에는 아직 적용/검증되지 않았습니다. 휴머노이드는 다리+팔+손 등 기구학적 복잡성, 다양한 접촉 상황 등이 있어 시뮬레이션 난도가 높습니다. NeRD가 이 정도 규모의 시스템에서도 효과적이라면 전통 시뮬레이터를 대체하는 큰 진전을 이루겠지만, 그에 따른 학습 비용 증가나 모델 용량 이슈 등 해결할 과제가 있을 것입니다.
데이터 효율성과 샘플링: 현재 NeRD는 무작위 정책으로 생성한 대량의 데이터로 학습됩니다. 다관절 로봇의 상태공간이 커질수록 랜덤 샘플링으로 충분한 커버리지를 확보하기 어려울 수 있습니다. 예컨대 휴머노이드는 임의로 움직이면 물구나무서는 등 극단자세는 거의 안 나올 텐데, 그 상태에서의 동역학은 데이터 부족으로 학습이 안 될 수 있습니다. 향후에는 스마트한 데이터 수집 전략 (예: 다양한 안정자세나 운동패턴을 일부 의도적으로 포함)으로 효율적인 학습 데이터셋 구성을 연구할 필요가 있습니다.
로봇별 모델 학습 필요: NeRD는 로봇-특정 모델입니다. 즉 로봇마다 별도의 모델을 훈련해야 하며, 새로운 로봇이 오면 처음부터 데이터를 모아 학습해야 합니다. 이는 로봇간 공통 지식을 못 살린다는 의미인데, 한편으론 물리 파라미터가 다른 로봇간 일반화는 어렵기 때문에 불가피한 선택이기도 합니다. 장기적으로는 메타러닝이나 모델 파라미터 이식 등을 통해 유사한 로봇 간에 학습을 빠르게 전이시키는 연구로 이어질 수 있겠습니다.
부분 관찰 문제: 현재 NeRD의 파인튜닝은 실제 로봇의 완전한 상태 (모터 각도, 속도 등)와 환경의 기하 정보를 얻을 수 있다는 전제입니다. 그러나 현실에서는 센서 한계로 로봇 상태 일부만 관측되거나, 주변 환경의 정확한 모델을 모르거나 할 수 있습니다. 예를 들어 공장 로봇 팔은 카메라로 환경을 보지만 접촉 시 정확한 법선이나 거리를 모를 수도 있지요. 따라서 부분 관측 하에서 NeRD를 어떻게 보정할지는 향후 도전 과제입니다. 한 가지 아이디어는, 불확실한 부분은 NeRD의 입력 차원에 포함시키지 않고 (예: 환경을 명시적으로 모델링 못하면 접촉 감지 신호만 활용) 확률적 모델로 처리하거나, 온라인으로 모델 보정을 수행하는 방법 등이 있을 것입니다.
기타: NeRD는 접촉은 잘 다루지만, 유체나 변형체 같은 다른 물리 영역은 다루지 않습니다. 이러한 분야에는 각각 특화된 신경물리 연구들이 있으나, 궁극적으로 로봇 시뮬레이션에서도 유체 상호작용(예: 로봇 물고기)이나 물체 변형(예: 스폰지 쥐기) 등을 고려해야 할 경우가 있습니다. NeRD의 아이디어를 어떻게 확장할지 생각해볼 수 있습니다. 또한 모델의 설명가능성 측면에서는 아직 신경망이라 물리적 의미를 바로 해석하기 어렵다는 점도 있습니다. 다만 이는 신경망 기반 방법 공통의 한계이며, NeRD가 어디서 어떻게 오차가 나는지 디버깅하는 기술 등으로 보완될 수 있을 것입니다.

요약하면, NeRD는 현재 수준의 로봇 시뮬레이션에서는 매우 성공적인 결과를 보였지만, 더 복잡한 시나리오와 현실 제약에 대응하려면 추가 연구가 필요합니다. 그럼에도 NeRD가 제시한 방향성은 로봇공학에서 중요한 통찰을 줍니다. 로봇의 물리를 데이터로 학습하고, 그것을 유연하게 수정함으로써, 고정된 물리식에 의존하던 기존 방법보다 적응성과 효율성을 크게 높일 수 있음을 보인 것이지요.

요약 및 결론

Neural Robot Dynamics (NeRD)는 로봇 시뮬레이션 분야에 새로운 패러다임을 제시한 연구입니다. 이 논문의 핵심 기여는, 신경망 기반의 로봇 동역학 모델을 전통 시뮬레이터에 통합하여 물리엔진을 대체하면서도 범용성과 정확성을 모두 달성했다는 점입니다. NeRD는 하이브리드 설계와 로봇 중심 표현을 통해 학습된 모델 하나로 다양한 접촉 상황과 작업에 대응할 수 있었고, 수천 스텝 시뮬레이션에서도 안정적인 성능을 보여주었습니다. 특히 강화학습 정책을 신경망 시뮬레이터 안에서만 학습하고도 실제 로봇에 바로 적용해 성공을 거둔 것은, 로봇 시뮬레이션 및 학습 분야에 큰 의미를 갖는 결과입니다. 이는 향후 시뮬레이터에 의존한 로봇 학습의 새로운 가능성을 열어주며, 시뮬레이터-현실 간 격차를 줄이는 방법론으로 이어질 수 있습니다.

NeRD의 접근법은 “로봇별로 맞춤 학습된 물리엔진”을 운용함으로써, 각 로봇이 자기 특성에 최적화된 시뮬레이터를 갖게 하고, 실제 경험을 통해 지속 보정하는 디지털 트윈 개념을 강화합니다. 이는 로봇이 시간이 지남에 따라 스스로 자기 물리를 더 잘 이해하게 되어, 새로운 작업을 배우거나 환경이 변해도 높은 적응력을 보일 수 있음을 의미합니다. 물론 이를 더 확장하려면 대용량 데이터 학습, 복잡계 모델링, 부분 관찰 대응 등의 연구가 뒤따라야 하지만, NeRD는 그 첫 걸음으로서 높은 완성도를 보여주었습니다.

마지막으로, NeRD는 기존의 많은 연구들과도 맥이 닿아 있습니다. 단일 물체 접촉을 배우려 했던 ContactNets, 그래프 신경망으로 물리를 모델링하던 시도들, 월드 모델을 활용한 강화학습, 물리 법칙을 신경망에 넣으려는 PINNs 등 다양한 선행작업들의 아이디어를 통합 발전시켜 로봇에 적용 가능한 수준으로 끌어올린 점이 인상적입니다. 특히 NeuralSim 등의 하이브리드 시뮬레이터 연구와 비교하면, NeRD는 상태 표현의 중요성을 부각하며 한층 일반화된 해법을 제시했습니다. 요약하면, NeRD는 “신경 네트워크로 구현된 범용 로봇 물리엔진”의 가능성을 증명했고, 이는 향후 로봇공학 연구 및 산업에서 시뮬레이션 활용 방식의 혁신을 가져올 수 있습니다. 로봇 연구자와 엔지니어들에게 NeRD는, 복잡한 물리를 다루는 새로운 도구이자 로봇 학습의 가속기를 제공할 것으로 기대됩니다. 앞으로 NeRD를 더 발전시켜 더 복잡한 로봇, 더 풍부한 상호작용으로 확장하고, 실제 세계와의 거리를 한층 좁혀나간다면, 로봇은 자기만의 “똑똑한 물리엔진”을 장착하고 세상을 배워나가는 진정한 의미의 자율 지능체에 한 걸음 더 다가갈 것입니다.