📃Geometric Fabrics 리뷰

fabric-guided

behavioral dynamics

a Safe Guiding Medium for Policy Learning

Published

February 6, 2026

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

Paper Link
Project: Related with Dextreme
Code

🤔 이 연구는 Reinforcement Learning(RL) 정책이 복잡한 로봇 역학에 직접 작용할 때 발생하는 제어 및 안전 문제를 해결하기 위해 “Geometric Fabrics”를 안전한 안내 매개체로 제안합니다.
🛠️ 제안된 프레임워크는 로봇의 실제 역학을 인공적인 2차 역학(“behavioral dynamics”)과 결합하여, 보상 엔지니어링을 단순화하고 더욱 부드럽고 안전한 행동을 가능하게 하는 새로운 액션 공간을 제공합니다.
🚀 고성능 in-hand cube reorientation 작업에 적용된 Fabric-Guided Policy(FGP)는 기존 최첨단 DeXtreme 모델보다 높은 성능(CS 및 RPM)과 현저히 낮은 액션 노이즈를 달성하여 sim2real 전이의 효과를 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 로봇 정책(policy)이 복잡한 2차 역학(second order dynamics)에 종속되어 행동(action)이 결과 상태와 얽히는 문제를 다룹니다. 특히 Reinforcement Learning (RL) 환경에서 정책은 방대한 경험과 복잡한 보상 함수를 통해 이러한 복잡한 상호작용을 해독하여 작업을 수행해야 합니다. 기존의 Operational Space Control (OSC) 또는 joint PD control과 같은 제어기는 주로 태스크(task) 또는 조인트 공간(joint space)에서 직선 운동(straight-line motion)을 유도하지만, 로봇이 보여야 할 풍부하고 비선형적인 동작을 제대로 포착하지 못했습니다. 또한, RL 정책은 종종 bang-bang actions를 유발하여 로봇 하드웨어에 손상을 줄 수 있습니다.

본 연구는 이러한 한계를 극복하기 위해 “Geometric Fabrics”라는 새로운 제어 프레임워크를 제안합니다. 이는 인공적인 2차 동역학(artificial second order dynamics)을 통해 로봇의 “uncontrolled dynamics”를 변화시켜 “behavioral dynamics”를 형성합니다. 이 “behavioral dynamics”는 RL 정책을 훈련시키기 위한 새롭고 안전한 유도적 행동 공간(action space)을 제공합니다. 이는 RL 정책의 bang-bang-like action도 실제 로봇에 대해 안전하게 만들고, 보상 설계(reward engineering)를 단순화하며, 고성능 정책을 순차적으로 구성하는 데 기여합니다.

핵심 방법론: Behavioral Dynamics를 위한 Geometric Fabrics

제안하는 프레임워크는 로봇의 실제 2차 동역학을 인공적인 2차 동역학 시스템을 통해 재구성합니다. 이 인공 동역학은 [20]에서 제안된 Geometric Fabrics의 안정적인 서브클래스를 기반으로 합니다.

Geometric Fabric의 기본 동역학: Fabric의 동역학은 다음 방정식으로 표현됩니다: \ddot{q}_f = e_h(q_f, \dot{q}_f) + \alpha_L L(q_f, \dot{q}_f) \dot{q}_f - M_f^{-1}(q_f, \dot{q}_f) \partial \psi (q_f) + B(q_f, \dot{q}_f) \dot{q}_f - \beta(q_f, \dot{q}_f) \dot{q}_f \quad (1) 여기서 q_f, \dot{q}_f, \ddot{q}_f \in \mathbb{R}^n는 각각 fabric의 위치, 속도, 가속도를 나타냅니다.
- M_f \in \mathbb{R}^{n \times n}는 양의 정부호(positive-definite) system metric (질량)입니다.
- e_h \in \mathbb{R}^n는 속도(velocity)에 대해 2차 동차(homogeneous of degree 2, HD2)인 fabric 항으로, 공간을 통한 기하학적 경로(geometric paths)를 생성합니다.
- \alpha_L \in \mathbb{R}은 energization coefficient로, fabric이 특정 에너지 L을 유지하도록 합니다.
- \partial \psi \in \mathbb{R}^n는 포텐셜 함수(potential function)의 기울기이고, B \in \mathbb{R}^{n \times n}는 양의 반정부호(positive semi-definite) damping matrix이며, 이들은 시스템 가속도를 추가적으로 교란하여 제약 조건(constraints)을 부과하는 데 사용될 수 있습니다.
- \beta \in \mathbb{R}^+는 fabric의 기하학적 구조를 보존하고 시스템을 안정화하는 추가 damping scalar입니다.
Behavioral Dynamics: 식 (1)의 fabric 동역학은 다음과 같이 간결하게 다시 쓸 수 있습니다: M_f (q_f, \dot{q}_f) \ddot{q}_f + f_f (q_f, \dot{q}_f) = 0 \quad (2) 여기서 f_f \in \mathbb{R}^n는 인공적인 힘(artificial force)입니다. 이 fabric 동역학은 로봇의 실제 동역학에 다음과 같이 연결됩니다: M(q)\ddot{q} + f(q, \dot{q}) = \tau(q, \dot{q}, q_f, \dot{q}_f, \ddot{q}_f) \quad (3) 여기서 q, \dot{q}, \ddot{q} \in \mathbb{R}^n는 실제 로봇의 위치, 속도, 가속도이며, M \in \mathbb{R}^{n \times n}과 f \in \mathbb{R}^n는 실제 로봇의 질량 및 힘(접촉, 원심력/코리올리, 마찰, 중력 포함)입니다. \tau는 torque control law로, 인공 동역학과 실제 동역학을 연결합니다. 일반적으로 torque control law는 joint-level proportional-derivative (PD) controller와 inverse dynamics compensation을 포함하며, 이는 ||q_f - q|| \le \epsilon_1 및 || \dot{q}_f - \dot{q}|| \le \epsilon_2를 보장하여 로봇이 fabric의 움직임을 추적하도록 합니다. 이는 impedance control 및 admittance control 개념과 유사하게, fabric 상태와 실제 상태의 분리(separation)를 통해 접촉력(contact forces)을 유도하고 제어할 수 있게 합니다.
RL 정책의 작용 공간: RL 정책 \pi(\cdot)은 fabric에 driving force를 가하여 action a를 생성합니다: M_f (q_f, \dot{q}_f) \ddot{q}_f + f_f (q_f, \dot{q}_f) + f_\pi(a) = 0 \quad (4) 여기서 f_\pi(a)는 fabric에 작용하는 driving force로 해석됩니다. 결과적으로 fabric 상태(q_f, \dot{q}_f)의 시간 변화는 fabric 자체와 정책이 생성하는 제어력의 함수가 됩니다. RL 정책은 이 driving force를 통해 fabric의 행동을 유도하며, 이는 다시 실제 로봇의 행동으로 변환됩니다.
가속도 및 저크(Jerk) 처리:
- 로봇 제어기는 일반적으로 액추에이터 보호를 위해 q_f의 충분한 부드러움(smoothness)을 요구하며, 이는 가속도(acceleration) 및 저크(jerk) 제약으로 이어집니다. 본 프레임워크는 다음 quadratic program을 통해 이를 처리합니다: L = \frac{1}{2} (\ddot{q}_f - \ddot{q})^T M_f (\ddot{q}_f - \ddot{q}) + \alpha_2 \ddot{q}_f^T M_f \ddot{q}_f \quad (5) 여기서 \alpha \in \mathbb{R}^+는 M_f를 고려하여 ||\ddot{q}|| \to 0을 효과적으로 정규화합니다. 폐쇄형 해(closed-form solution)는 다음과 같습니다: (M_f + \alpha I)\ddot{q}_f + f_f = 0 \quad (6) \ddot{q}_f에 대해 풀면 \ddot{q}_f = -(M_f + \alpha I)^{-1} f_f가 되며, \alpha \to \infty일 때 ||\ddot{q}_f|| \to 0이므로, 가속도를 임의로 작게 만들 수 있습니다. 이는 각 조인트의 가속도 한계 | \ddot{q}_{f,i} | \le \ddot{q}_i를 만족하도록 단일 \alpha를 찾을 수 있음을 의미합니다.
- 저크 한계(jerk limits)를 수용하기 위해 다음과 같은 시간 이산화된 저크 모델을 사용합니다: \dddot{q}_f^t = \frac{\ddot{q}_f^{t+1} - \ddot{q}_f^t}{\Delta t} \quad (7) 가장 큰 저크는 다음 가속도가 최대이고 이전 가속도가 최소일 때 발생하며: \dddot{q}_f^t = \frac{2\ddot{q}}{\Delta t} \quad (8) 따라서, 저크가 특정 한계 \dddot{q}를 초과하지 않아야 한다면: \frac{2\ddot{q}}{\Delta t} \le \dddot{q} \quad (9) 이로부터 원래의 가속도 한계와 저크 한계를 모두 존중하는 단일 가속도 한계 \ddot{q}를 계산할 수 있습니다: \ddot{q} = \min \left( \ddot{q}_{\text{original}}, \frac{\Delta t \dddot{q}}{2\ddot{q}_{\text{target}}} \right) \quad (10) 이 새로운 \ddot{q}를 사용하여 가속도와 저크 제약이 유지되도록 하는 기존의 방식을 실행합니다.

다지 로봇 손의 큐브 재배치(Reorientation) 적용

제안하는 프레임워크는 16개의 액추에이터를 가진 4지 Allegro Hand v4를 사용하여 in-hand cube reorientation 문제에 적용되었습니다.

Fabric 설계:
- Attraction: 큐브와 손가락 끝(fingertip) 접촉을 유도하기 위해 fingertip 공간에, 그리고 큐브를 감싸는 손가락 말림을 유도하기 위해 configuration 공간에 geometric attractor를 구성합니다.
- Repulsion: 로봇 손의 조인트 한계(joint limits)를 준수하기 위해 상위 및 하위 조인트 한계 태스크 공간에 반발력(repulsion forcing) 항을 도입합니다. 이는 배리어 메트릭(barrier metric)을 통해 구현됩니다.
- Energization: fabric 자체의 에너지 안정성을 보장하기 위해 energization coefficient \alpha_L을 계산합니다.
- Geometrically-Consistent Damping: 최종 damping 항 \beta는 훈련 중에는 탐색(exploration)을 용이하게 하기 위해 작은 상수로 설정되고, 배포 시에는 sim2real 전환을 강화하기 위해 다양한 수준으로 테스트됩니다.
- Action Space: RL 정책의 action은 concatenation된 fingertip 공간에서 힘으로 변환됩니다 (a \in \mathbb{R}^{12}). 이 힘은 f_\pi(a) = \gamma J^T(q_f) \text{clamp}(a, -1, 1) 형태로 fabric에 전달됩니다.
Reinforcement Learning 설정: 기존 DeXtreme [8]과 동일한 보상 항과 가중치를 사용하지만, fabric layer가 부드럽고 안전한 움직임을 보장하므로 action, action delta, joint velocity 페널티를 완전히 제거하여 보상 설계를 단순화합니다. RL 훈련에는 PPO가 사용되었으며, Automatic Domain Randomization (ADR)도 적용되었습니다. 훈련 중 큐브에 대한 완전한 wrench disturbance를 적용하여 sim2real 격차를 줄이고 정책이 prehensile-lock을 더 자주 확립하도록 유도했습니다.

실험 결과 및 분석

FGP (Fabric-Guided Policy)와 DeXtreme 정책을 비교한 결과, FGP는 DeXtreme 정책보다 훈련 속도는 느렸으나 (더 부드러운 정책 학습이 어려움), 최종 entropy 수준은 더 낮았습니다.

실제 환경 성능 지표인 consecutive success (CS)와 rotations per minute (RPM)를 통해 평가되었습니다.

CS 성능: FGP는 \beta=40일 때 평균 94.1의 CS를 기록하며 이전 DeXtreme 모델 대비 3배 이상의 성능 향상을 보였습니다. DeXtreme (new)은 몇몇 매우 높은 런으로 평균 CS는 높았지만(244.6), 중앙값(median)은 FGP가 더 높았습니다 (85.5 vs 70).
RPM 성능: FGP는 모든 DeXtreme 정책보다 RPM 성능이 현저히 우수했습니다. \beta 값이 높아질수록 FGP의 RPM이 더욱 정밀해지는 경향을 보였습니다.
Action Noise Rejection: FGP는 5 Hz 이상에서 스펙트럼 진폭(spectral amplitudes)이 거의 0에 가까워 action noise가 현저히 적었습니다. 이는 DeXtreme 정책이 상당한 low-pass filtering에도 불구하고 5 Hz 이상의 노이즈를 포함하는 것과 대조적입니다. 이는 FGP가 하드웨어 마모를 줄이고 로봇의 수명을 연장하는 데 중요한 이점을 가짐을 시사합니다.

결론

본 연구는 RL 정책, 인공 동역학 시스템(geometric fabrics), 그리고 실제 시스템 동역학을 계단식으로 연결하는 새로운 패러다임을 제안합니다. 특히, 고성능 geometric fabrics를 활용하여 dexterous, high DoA 로봇 손의 cube reorientation 작업에서 state-of-the-art 성능을 달성했습니다. Fabric layer는 보상 설계를 단순화하고, 본질적인 안전성을 제공하며, action noise를 크게 줄여 하드웨어의 수명을 연장하는 등 RL 정책에 상당한 이점을 제공합니다. FGP는 RL 훈련 속도가 느려질 수 있지만, 이는 더 부드러운 정책이 가지는 일반적인 특성으로 분석됩니다.

향후 연구는 이 접근 방식을 다양한 로봇 플랫폼, 다양한 작업, 그리고 다양한 fabric 설계에 적용하는 것을 목표로 합니다. 또한, 정책 성능을 극대화하기 위한 다른 최적화 및 계획 방법도 고려될 것입니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

로봇 팔에게 “저 컵을 잡아”라고 명령한다고 생각해보자. 가장 단순한 접근은 현재 위치에서 목표까지 직선(straightline)으로 이동하는 것이다. Joint PD 제어든 Operational Space Control(OSC)이든, 대부분의 전통적 컨트롤러는 본질적으로 이런 직선 운동을 생성한다. 문제는 현실 세계가 직선으로 해결되지 않는다는 것이다. 장애물을 피해야 하고, 관절 한계를 존중해야 하며, 손가락 끝이 물체 표면을 따라 미끄러지듯 움직여야 한다. 이 모든 비선형(nonlinear) 행동의 부담이 고스란히 강화학습(RL) 에이전트에게 전가된다.

Karl Van Wyk, Ankur Handa, Viktor Makoviychuk 등 NVIDIA 연구팀은 ICRA 2024에서 발표한 이 논문에서 근본적인 질문을 던진다: “RL 정책이 작동하는 기반 동역학 자체를 더 똑똑하게 만들면 어떨까?” 그들의 답이 바로 Geometric Fabrics를 활용한 Fabric-Guided Policy (FGP) 프레임워크다.

핵심 아이디어를 비유하자면 이렇다. RL 에이전트가 빈 종이 위에서 처음부터 글씨를 쓰는 대신, 이미 연필이 자연스럽게 흘러가는 방향이 그려진 안내선이 있는 종이 위에서 글을 쓰게 하는 것이다. 이 안내선이 바로 geometric fabric이고, 에이전트는 이 흐름을 따르면서 필요할 때만 방향을 수정하면 된다.

이 논문이 해결하려는 문제

전통적인 RL 기반 로봇 제어 파이프라인에는 세 가지 구조적 문제가 있다:

첫째, 행동 공간의 빈약함. 정책이 OSC나 joint PD 컨트롤러에 목표 위치를 전달하면, 컨트롤러는 그 목표를 향해 직선 운동을 생성한다. 하지만 dexterous manipulation처럼 복잡한 태스크에서 필요한 풍부한 비선형 행동은 이 직선 동작으로 표현할 수 없다.

둘째, 안전성의 부재. RL 정책은 본질적으로 bang-bang 제어, 즉 최대·최소값을 오가는 급격한 행동을 선호하는 경향이 있다. 이는 시뮬레이션에서는 문제가 없지만, 실제 로봇의 모터와 구동계에 심각한 손상을 초래한다. 기존에는 low-pass filter로 고주파 성분을 억제했지만, 이는 관절 제약을 명시적으로 처리하지 못하고 정책의 반응성을 떨어뜨린다.

셋째, 보상 설계의 복잡성. 에이전트가 모든 행동 — 손가락을 안쪽으로 구부리기, 관절 한계 존중, 손끝으로 물체 접촉하기 — 을 보상 함수로부터 학습해야 하므로, 보상 엔지니어링이 극도로 복잡해진다.

방법: Geometric Fabrics와 Behavioral Dynamics

Geometric Fabrics란 무엇인가?

Geometric Fabrics의 이론적 기초는 Nathan Ratliff의 일련의 연구에서 비롯된다. 핵심 개념을 단계적으로 풀어보자.

고전 역학에서 입자의 운동은 2차 미분방정식으로 기술된다: M\ddot{q} + f(q, \dot{q}) = 0. 여기서 M은 질량 행렬, f는 코리올리스·원심력·중력 등을 포함하는 항이다. 이 방정식이 정의하는 것은 configuration space 위의 경로(path)다.

Geometric fabric은 이 고전 역학을 일반화한 것이다. 핵심적인 차이점은 두 가지다:

메트릭이 속도에도 의존한다. 고전 역학의 질량 행렬 M(q)는 위치에만 의존하지만, geometric fabric의 메트릭 M_f(q_f, \dot{q}_f)는 위치와 속도 모두에 의존한다. 이것은 Riemannian 기하학에서 Finsler 기하학으로의 확장에 해당한다.
속도 독립적(speed-invariant) 경로를 생성한다. Fabric이 만드는 경로는 시스템이 얼마나 빨리 움직이는지에 관계없이 동일한 형태를 유지한다. 이것은 경로의 “모양”과 “속도”를 분리해서 설계할 수 있게 해주는 강력한 성질이다.

직관적으로 말하면, geometric fabric은 configuration space 위에 깔린 “흐름의 장(flow field)”이다. 이 흐름은 로봇이 바람직한 방향으로 자연스럽게 움직이도록 유도하되, 외부 힘(forcing)이 가해지면 그 방향으로 벗어날 수 있게 한다. 마치 강물의 흐름처럼 — 배를 띄우면 물살을 따라 가지만, 노를 저으면 흐름에서 벗어날 수 있다.

수학적 공식화: Forcing Energized Fabrics

논문에서 사용하는 fabric은 다음과 같은 안정적인 2차 동역학 시스템이다:

\ddot{q}_f = \underbrace{e_h(q_f, \dot{q}_f)}_{\text{기하학적 항}} + \underbrace{\alpha_L(q_f, \dot{q}_f) \dot{q}_f}_{\text{에너지 조절}} - \underbrace{M_f^{-1}(q_f, \dot{q}_f)\left(\nabla\psi(q_f) + B(q_f, \dot{q}_f)\dot{q}_f\right)}_{\text{포텐셜 + 감쇠 (forcing)}} - \underbrace{\beta(q_f, \dot{q}_f) \dot{q}_f}_{\text{기하학적 감쇠}}

각 항의 역할을 하나씩 살펴보자:

기호	역할	직관적 의미
q_f, \dot{q}_f, \ddot{q}_f	Fabric의 위치, 속도, 가속도	가상 로봇의 상태
e_h(q_f, \dot{q}_f)	기하학적 가속도 (geodesic term)	“공간의 곡률에 의한 자연스러운 방향 전환”
\alpha_L \dot{q}_f	에너지화 계수	“시스템에 에너지를 주입/흡수하여 속도 조절”
M_f^{-1}\nabla\psi	포텐셜 함수의 그래디언트	“목표를 향한 인력, 장애물로부터의 척력”
B\dot{q}_f	감쇠 항	“포텐셜 주변에서의 진동 억제”
\beta \dot{q}_f	기하학적으로 일관된 감쇠	“fabric 자체의 에너지 소산”

여기서 중요한 이론적 보장이 있다. Ratliff et al. (2020)의 Theorem IV.1에 의해, 이 형태의 fabric은 점근적으로 안정(asymptotically stable)하다. 즉, 포텐셜 함수 \psi를 최소화하면서도 시스템이 발산하지 않는다는 것이 수학적으로 증명되어 있다.

Behavioral Dynamics: 가상과 현실의 결합

이제 핵심적인 아이디어가 등장한다. Geometric fabric은 가상의 동역학이다. 실제 로봇은 자신의 물리적 동역학을 가지고 있다:

M(q)\ddot{q} + f(q, \dot{q}) = \tau

여기서 M(q)는 실제 관성 행렬, f는 코리올리스/중력 항, \tau는 관절 토크다.

Behavioral dynamics는 이 두 세계를 연결한다. Fabric이 생성한 가속도 \ddot{q}_f를 따라가도록 실제 로봇의 토크를 계산하는 것이다:

\tau = M(q)\ddot{q}_f + f(q, \dot{q})

이것은 본질적으로 역동역학(inverse dynamics) 기반 제어와 유사하지만, 목표가 단순한 위치나 궤적이 아니라 fabric이 지시하는 가속도라는 점이 다르다. 실제 구현에서는 fabric 상태 (q_f, \dot{q}_f)와 실제 로봇 상태 (q, \dot{q})가 항상 일치하지 않으므로, PD 보상 항이 추가된다:

\tau = M(q)\ddot{q}_f + f(q, \dot{q}) + K_p(q_f - q) + K_d(\dot{q}_f - \dot{q})

RL 정책의 역할: Force Space에서의 행동

이제 RL 정책은 어디에 개입하는가? 정책은 fabric에 힘(force)을 가한다. 수학적으로 표현하면, 정책의 출력 \pi(s)는 fabric의 포텐셜 함수에 추가되는 forcing term이 된다:

\ddot{q}_f = [\text{fabric terms}] + M_f^{-1} \cdot F_{\text{policy}}

이것이 왜 혁명적인지 생각해보자. 기존 RL 정책이 “관절을 이 위치로 이동시켜”라고 직접 명령했다면, FGP에서는 “현재 fabric의 흐름에 이런 방향으로 힘을 가해”라고 지시한다. Fabric이 이미 안전하고 바람직한 행동을 인코딩하고 있으므로:

정책이 아무런 행동도 하지 않으면(zero action), 로봇은 fabric의 기본 행동을 따른다
정책이 극단적인 행동을 출력해도, fabric의 구조가 관절 한계, 가속도 제약 등을 자동으로 보장한다
결과적으로 bang-bang 스타일의 정책 행동이 실제 로봇에서도 안전하게 실행된다

아래 다이어그램은 전체 시스템의 흐름을 보여준다.

flowchart TD
    subgraph RL["강화학습 정책 (RL Policy)"]
        OBS["관측 (State Observation)"] --> POLICY["신경망 정책 π(s)"]
        POLICY --> ACTION["행동 출력 (Force Space)"]
    end

    subgraph FABRIC["Geometric Fabric Layer"]
        GEOM["기하학적 항 e_h"] --> FABRIC_ACC["Fabric 가속도 q̈_f"]
        ENERGY["에너지화 α_L"] --> FABRIC_ACC
        POT["포텐셜/감쇠 ∇ψ, B"] --> FABRIC_ACC
        DAMP["기하학적 감쇠 β"] --> FABRIC_ACC
        ACTION --> |"정책 forcing"| FABRIC_ACC
    end

    subgraph ROBOT["실제 로봇 (Allegro Hand)"]
        FABRIC_ACC --> |"역동역학 + PD 보상"| TORQUE["관절 토크 τ"]
        TORQUE --> HAND["16-DOF Allegro Hand"]
        HAND --> |"상태 피드백"| OBS
    end

    style RL fill:#e8f4f8,stroke:#2196F3
    style FABRIC fill:#fff3e0,stroke:#FF9800
    style ROBOT fill:#e8f5e9,stroke:#4CAF50

Figure 1: FGP 시스템 아키텍처 개요

기존 제어 프레임워크와의 비교

이 시점에서 자연스러운 질문이 생긴다: “OSC나 impedance control과 뭐가 다른가?” 핵심적인 차이를 정리하면 다음과 같다:

graph LR
    subgraph TRAD["전통적 RL + 컨트롤러"]
        P1["RL 정책"] -->|"목표 위치/속도"| C1["OSC / Joint PD"]
        C1 -->|"직선 운동 생성"| R1["로봇"]
    end

    subgraph FGP_ARCH["FGP (Fabric-Guided Policy)"]
        P2["RL 정책"] -->|"힘 (Force)"| F2["Geometric Fabric"]
        F2 -->|"비선형 행동 + 제약 보장"| C2["토크 컨트롤러"]
        C2 --> R2["로봇"]
    end

    style TRAD fill:#ffebee,stroke:#f44336
    style FGP_ARCH fill:#e8f5e9,stroke:#4CAF50

Figure 2: 기존 컨트롤러 vs Geometric Fabric 기반 제어

특성	OSC / Joint PD	Dynamic Movement Primitives	Geometric Fabrics
생성하는 운동	직선(태스크/관절 공간)	학습된 궤적	비선형 기하학적 경로
안정성 보장	조건부	특정 조건하	수학적으로 증명됨
제약 처리	별도 필요	별도 필요	내재적 (관절 한계, 가속도, 저크)
행동 풍부성	낮음	중간	높음
RL과의 결합	행동 공간 = 목표 위치	매개변수 학습	행동 공간 = 힘 공간
설계 시간	수 분	데모 필요	수 시간 (그러나 RL 학습 비용 절감)

적용: In-Hand Cube Reorientation

Allegro Hand를 위한 Fabric 설계

논문은 이 프레임워크를 16자유도(4개 손가락 × 4 관절) Allegro Hand V4를 이용한 in-hand cube reorientation 태스크에 적용한다. 이 태스크는 손바닥 위에 놓인 큐브를 떨어뜨리지 않고 목표 자세로 회전시키는 것이다.

Fabric 설계는 다음과 같은 핵심 컴포넌트로 구성된다:

인력 (Attraction)

각 손가락 끝이 큐브 표면을 향해 끌리도록 설계한다. 인력의 크기는 손끝과 큐브 사이의 거리에 따라 결정되며, 포텐셜 함수 \psi와 메트릭 M_f의 조합으로 표현된다. 이 설계의 직관은 명확하다: 손가락이 물체에 접촉하고 있어야 조작이 가능하므로, fabric 자체가 “손가락 끝을 큐브 쪽으로 이동시키는” 기본 경향성을 가진다.

또한 안쪽으로 구부리는(inward curling) 경향성도 인코딩되어 있다. 이는 손가락이 펴진 상태보다 구부린 상태에서 물체를 더 안정적으로 잡을 수 있기 때문이다.

척력 (Repulsion)

관절 위치 한계에 가까워지면 척력이 발생한다. 이는 관절이 물리적 한계를 넘지 않도록 하는 소프트 배리어 역할을 하며, 명시적인 클램핑(clamping) 없이도 안전한 운동 범위를 유지한다.

에너지화 (Energization)

에너지화 계수 \alpha_L은 fabric의 전체 에너지 수준을 조절한다. 논문에서는 이를 매개변수 \beta (논문에서는 이것이 에너지화와 관련된 주요 하이퍼파라미터)로 제어하며, 이 값이 클수록 fabric이 더 “적극적으로” 행동한다.

가속도·저크 제약 (Acceleration and Jerk Handling)

이것이 실제 하드웨어 배치에서 가장 중요한 부분이다. 논문은 가속도와 저크 제약을 닫힌 형태(closed-form)의 이차 프로그래밍(QP) 솔루션으로 처리한다. 이는 별도의 low-pass filtering 없이도 모터에 안전한 명령을 생성할 수 있게 한다.

기존 DeXtreme 같은 시스템은 정책 출력에 무거운 low-pass filter를 적용해야 했는데, 이는 반응성을 떨어뜨리고 그래도 고주파 성분이 완전히 제거되지 않는 문제가 있었다. FGP는 fabric 수준에서 제약을 직접 처리하므로 필터가 불필요하다.

행동 공간 (Action Space)

RL 정책의 행동 공간은 fabric에 가해지는 힘(force)이다. 정책은 각 손가락의 fabric 상태에 대해 힘 벡터를 출력하고, 이 힘이 fabric의 기본 동역학에 더해져 최종 행동을 결정한다. 정책이 영벡터를 출력하면 fabric의 기본 행동만 실행된다.

강화학습 설정

시뮬레이션 환경

시뮬레이터: NVIDIA Isaac Gym (GPU 기반 대규모 병렬 시뮬레이션)
병렬 환경 수: 수천 개 (논문에서는 구체적 수를 DeXtreme 설정과 유사하게 운용)
RL 알고리즘: PPO (Proximal Policy Optimization)
정책 네트워크: MLP (Multi-Layer Perceptron)

큐브 교란 렌치 (Cube Disturbance Wrench)

Sim-to-real transfer의 핵심 기법으로, 논문은 학습 중 큐브에 전체 렌치(wrench) — 힘과 토크 모두 — 를 무작위로 가한다. 이는 시뮬레이션과 현실 사이의 물리적 차이(마찰 계수, 접촉 역학 등)에 대한 정책의 강건성을 크게 향상시킨다.

보상 함수 단순화

FGP의 가장 큰 실용적 장점 중 하나가 여기에 있다. Fabric이 이미 다음을 인코딩하고 있으므로:

손가락 끝의 큐브 접촉 유도
안쪽으로 구부리는 자세
관절 한계 준수
가속도/저크 제약

보상 함수에서 이들을 별도로 설계할 필요가 없다. 논문의 표현을 빌리면: “경험 많은 실무자가 적절한 소프트웨어 툴링을 사용하면 수 시간 내에 fabric을 설계하고 튜닝할 수 있으며, 이는 복잡한 보상 함수를 반복 수정하고 긴 RL 학습을 반복하는 것보다 훨씬 빠르다.”

수치 적분 (Numerical Integration)

Fabric의 상태는 시뮬레이션의 물리 엔진과 독립적으로 수치 적분된다. 이는 fabric이 시뮬레이터의 물리와 별개의 “가상 세계”를 유지하면서, 그 결과를 실제 로봇 제어에 반영하는 구조를 가능하게 한다.

실험: 결과와 분석

성능 지표

논문은 두 가지 주요 지표를 사용한다:

Consecutive Successes (CS): 큐브를 떨어뜨리지 않고 연속으로 목표 자세에 도달한 횟수. 각 목표 자세에 0.4 라디안 이내로 도달하면 성공으로 간주하고 새로운 목표가 주어진다.
Rotations Per Minute (RPM): 분당 회전 수. 정책의 조작 속도를 나타낸다.

주요 결과

β 파라미터에 따른 성능

\beta는 에너지화 계수로, fabric이 얼마나 적극적으로 행동하는지를 제어한다. 논문은 \beta = \{2.5, 10, 20, 30, 40, 50\}에 대해 실험했다.

설정	평균 CS	중앙값 CS	RPM	특징
FGP β=2.5	낮음	-	낮음	Fabric 영향 약함, 정책 자유도 높음
FGP β=10	중간	-	중간
FGP β=20	높음	-	높음
FGP β=30	매우 높음	-	매우 높음
FGP β=40	최고	최고	최고	최적 설정
FGP β=50	높음	-	높음	지나친 fabric 지배

최적 \beta=40 설정에서 FGP는 단일 실행에서 186 CS를 달성했다. 이는 큐브가 떨어지지 않고 186번 연속으로 목표 자세에 도달했다는 의미다.

DeXtreme과의 비교

지표	FGP (β=40)	DeXtreme (new)	비고
평균 CS	약 3배 이상	기준선	FGP가 압도적으로 우수
중앙값 CS	유사~약간 낮음	약간 높음	DeXtreme은 최신 버전에서 중앙값 약간 우세
최대 CS	186	670	DeXtreme의 최대 단일 실행이 더 길지만, FGP의 일관성이 높음
RPM	최고	보통	FGP가 가장 빠르고 일관적인 회전 속도
행동 스무스니스	5Hz 이상 거의 0	5Hz 이상 성분 존재	FGP의 스펙트럼이 극적으로 깨끗
Low-pass filter	불필요	필수	하드웨어 안전성의 근본적 차이

핵심 결과를 정리하면:

평균 CS 기준으로 FGP가 이전 SOTA 대비 3배 이상 성능 향상을 보였다.
RPM이 가장 높고 일관적이어서, 정책의 조작 속도가 빠르고 안정적이다.
스펙트럼 분석에서 FGP의 행동 노이즈가 극적으로 낮다. 5Hz 이상의 주파수 성분이 거의 0에 가까운 반면, DeXtreme은 heavy low-pass filtering에도 불구하고 고주파 성분이 남아있다.

행동 스무스니스의 의미

이 결과의 실용적 의미는 매우 크다. 스펙트럼이 깨끗하다는 것은:

모터에 가해지는 스트레스가 극적으로 줄어든다 → 하드웨어 수명 연장
별도의 필터링이 불필요하다 → 시스템 복잡도 감소, 지연(latency) 감소
정책이 더 예측 가능하게 행동한다 → 안전성과 신뢰성 향상

이것은 단순히 “숫자가 좋다”를 넘어서, 산업 수준(industrial-grade)의 정책 배포를 현실적으로 가능하게 하는 핵심 특성이다.

Sim-to-Real Transfer

논문은 시뮬레이션에서 학습한 정책을 실제 Allegro Hand V4에 성공적으로 전이(transfer)했다. 실제 로봇에서의 핵심 관찰:

FGP는 외부 교란(큐브를 손가락으로 밀어내는 등)에 대해 강건한 복원 행동을 보였다.
\beta가 높을수록 fabric의 “유도 행동”이 강해져, 교란으로부터의 복원이 더 빠르고 안정적이었다.
Low-pass filter 없이도 모터에 안전한 명령이 생성되었다.

비판적 고찰

강점

1. 이론과 실용의 우아한 결합

이 논문의 가장 큰 미덕은 geometric fabrics라는 수학적으로 엄밀한 이론을 실제 SOTA 성능으로 연결했다는 점이다. 많은 이론적 프레임워크가 단순한 태스크에서만 검증되는 반면, 이 논문은 16-DOF hand의 contact-rich manipulation이라는 가장 도전적인 태스크에서 SOTA를 달성했다.

2. 구조적 안전성 보장

RL 정책의 안전성을 사후적(post-hoc)이 아닌 구조적(structural)으로 보장한다. Low-pass filter가 “나쁜 행동을 사후에 정리”하는 접근이라면, geometric fabric은 “처음부터 나쁜 행동이 발생하기 어려운 구조”를 만든다. 이 차이는 근본적이다.

3. 보상 엔지니어링의 단순화

Fabric이 행동의 기본 특성을 인코딩하므로, 보상 함수는 “무엇을 달성할 것인가”에만 집중할 수 있다. 이는 RL의 실무적 어려움을 크게 경감시킨다.

4. Composability (조합 가능성)

Geometric fabrics의 중요한 이론적 성질은 pullback과 combination 연산에 대해 닫혀있다는 것이다. 이는 복잡한 행동을 더 단순한 컴포넌트의 조합으로 구축할 수 있게 해주며, transform tree 위에서 자연스럽게 동작한다.

5. 고주파 노이즈 제거

Low-pass filter 없이 행동 스무스니스를 달성하는 것은 하드웨어 배포의 패러다임 전환이다. 필터 없이 안전한 행동을 보장한다는 것은 latency를 줄이면서도 안전성을 확보할 수 있다는 의미다.

약점 및 한계

1. Fabric 설계의 전문성 요구

논문은 “경험 많은 실무자가 수 시간 내에 설계할 수 있다”고 언급하지만, 이는 geometric fabrics 이론에 대한 상당한 이해를 전제한다. Finsler 기하학, spectral semi-sprays 등 비교적 비주류적인 수학 배경이 필요하며, 이는 일반 로보틱스 연구자에게 진입 장벽이 될 수 있다. RL의 보상 설계가 “어렵지만 직관적”이라면, fabric 설계는 “이론적으로 강력하지만 진입 장벽이 높다.”

2. 물체 기하학 일반화의 부재

논문은 명시적으로 인정한다: “우리는 물체 기하학 전반에 걸친 일반화에는 초점을 두지 않았다.” 실험은 오직 큐브 하나에 대해서만 수행되었다. 다양한 물체 형상에 대해 fabric을 어떻게 적응시킬 수 있는지는 열린 질문으로 남아 있다. 최근 후속 연구인 DextrAH-RGB (2024)가 이 방향을 탐색하기 시작했지만, 여전히 초기 단계다.

3. Task-Specific Fabric Design

현재 fabric은 in-hand cube reorientation이라는 특정 태스크에 맞춤 설계되었다. 다른 태스크(예: tool use, bimanual manipulation, deformable object manipulation)에 적용하려면 fabric을 처음부터 새로 설계해야 한다. 범용적인 “foundation fabric”의 개념은 아직 존재하지 않는다.

4. β 하이퍼파라미터에 대한 민감도

\beta 값에 따라 성능이 상당히 달라지며, 최적값을 찾기 위해 여러 실험이 필요하다. 이는 fabric 설계에서의 또 다른 튜닝 축을 추가한다. 다만 \beta의 범위가 비교적 넓은 영역에서 좋은 성능을 보여주므로, 이것이 치명적인 문제는 아니다.

5. 시뮬레이션 의존성

대규모 병렬 시뮬레이션(Isaac Gym)과 GPU 자원에 대한 의존도가 높다. 이는 DeXtreme과 공유하는 한계이지만, fabric layer의 추가가 시뮬레이션 복잡도를 더 높일 수 있다. Fabric의 수치 적분이 물리 엔진과 독립적으로 수행되므로, 정확한 동기화와 수치 안정성에 주의가 필요하다.

핵심 비교

vs. RMPflow

Geometric fabrics의 직접적인 선조가 RMPflow(Cheng et al., 2018)다. RMPflow는 여러 태스크 공간에서의 정책을 기하학적으로 일관되게 결합하는 프레임워크를 제안했다. Geometric fabrics는 이를 Finsler 기하학으로 일반화하고 안정성 보장을 추가한 것이다. RMPflow가 “실용적이지만 이론적 보장이 부족”했다면, geometric fabrics는 “실용적이면서 이론적으로도 견고하다.”

vs. OpenAI / DeXtreme

OpenAI의 Shadow Hand 프로젝트와 DeXtreme은 end-to-end RL로 dexterous manipulation을 달성한 선구적 연구다. 그러나 이들은 정책이 직접 관절 목표를 출력하는 구조로, 행동의 안전성은 전적으로 low-pass filtering과 보상 정규화에 의존했다. FGP는 이 구조에 fabric layer를 추가하여 안전성과 성능을 동시에 향상시켰다.

vs. Residual Policy Learning

잔차 정책 학습은 기존 컨트롤러의 출력에 학습된 보정을 더하는 접근이다. FGP와 유사한 정신을 공유하지만, fabric이 제공하는 기하학적 구조와 안정성 보장이 없다는 점에서 근본적으로 다르다.

vs. TamedPUMA

최근 연구인 TamedPUMA는 모방 학습(IL)과 geometric fabrics를 결합했다. FGP가 RL을 사용하는 반면, TamedPUMA는 IL로 정책을 학습하고 fabric으로 충돌 회피와 관절 한계를 보장한다. 두 연구 모두 fabric의 안전한 유도 역할을 활용하지만, 접근 방식이 다르며 상호보완적이다.

vs. DextrAH-RGB

FGP의 직접적인 후속 연구로, RGB 입력 기반 비전 정책과 fabric을 결합했다. FGP에서 모션 캡처로 큐브 자세를 추적했다면, DextrAH-RGB는 스테레오 카메라로부터 end-to-end로 grasping을 수행한다. 이는 fabric 프레임워크의 확장성을 보여주는 중요한 후속 연구다.

실무적 시사점: Allegro Hand 연구자를 위한 노트

Allegro Hand V4로 연구하는 실무자에게 이 논문이 주는 구체적인 시사점을 정리한다:

관절 한계 처리: Fabric의 척력 항을 활용하면 관절 한계를 소프트하게 처리할 수 있다. 이는 하드 클램핑보다 동역학적으로 자연스럽고, 특히 빠른 움직임에서 갑작스러운 불연속을 피할 수 있다.
토크 제어 모드 활용: FGP는 토크 제어(torque control)를 기반으로 한다. Allegro Hand의 위치 제어 모드 대신 토크 제어 모드를 사용하면, fabric의 이점을 온전히 활용할 수 있다.
가속도/저크 제약의 closed-form 처리: 모터 보호를 위한 제약을 닫힌 형태의 QP로 처리하는 접근은, 다른 태스크에도 바로 적용할 수 있는 실용적인 기법이다.
Disturbance wrench for sim-to-real: 큐브에 무작위 렌치를 가하는 기법은 contact-rich manipulation의 sim-to-real gap을 줄이는 효과적인 방법이다.
Fabric 설계의 재사용 가능성: 관절 한계 회피, 손가락 컬링 등의 fabric 컴포넌트는 큐브 reorientation뿐 아니라 다른 in-hand manipulation 태스크에서도 재사용할 수 있을 가능성이 높다.

향후 연구 방향

논문 저자들이 제시한 향후 방향과 필자가 제안하는 추가적인 방향:

다양한 로봇 플랫폼으로의 확장: Allegro Hand 외에 다른 robotic hand (LEAP, Shadow Hand, humanoid hand)에 적용
다양한 태스크로의 확장: In-hand manipulation 외에 도구 사용, 양손 조작, 유연 물체 조작 등
Fabric 설계 자동화: 현재 수동으로 설계하는 fabric을 자동으로 학습하거나 최적화하는 방법
Foundation Fabric: 다양한 태스크에 범용적으로 적용 가능한 기본 fabric의 개발
VLA 모델과의 결합: Vision-Language-Action 모델의 출력을 fabric의 forcing으로 활용하는 하이브리드 아키텍처
Locomotion과 whole-body control로의 확장: 보행 로봇이나 휴머노이드의 전신 제어에 fabric 적용 (이미 Kinodynamic Fabrics 등 초기 시도가 있음)

요약 및 결론

이 논문은 로봇 강화학습의 구조적 한계를 근본적으로 재고한 연구다. 핵심 통찰은 단순하지만 강력하다: RL 정책이 작동하는 동역학적 기반 자체를 기하학적으로 풍부하고 안전하게 만들면, 정책 학습이 더 쉬워지고 결과가 더 안전하며 성능이 더 높다.

문제: 기존 RL 정책은 단순한 컨트롤러(OSC, PD) 위에서 작동하여, 모든 비선형 행동을 직접 학습해야 하며 결과가 안전하지 않다.
해법: Geometric fabrics로 정의된 인공 동역학을 RL과 실제 로봇 사이에 삽입하여, 안전하고 유도적인 행동 기반 위에서 정책을 학습한다.
결과: Allegro Hand의 in-hand cube reorientation에서 이전 SOTA 대비 평균 CS 3배 이상 향상, 5Hz 이상 행동 노이즈 거의 제거, low-pass filter 불필요.

이 프레임워크가 로봇공학 커뮤니티에 주는 메시지는 분명하다: “더 똑똑한 정책을 학습하기 전에, 정책이 작동하는 토양 자체를 더 비옥하게 만들라.” Geometric fabrics는 그 비옥한 토양을 제공하는 수학적으로 엄밀하면서도 실용적인 도구다.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

1. 서론: “정책이 모든 걸 배우게 두지 말자” — 안전/구조를 동역학 레이어로 옮기기

로봇에서 RL이 어려운 이유는 단순히 “상태-행동 공간이 크다”가 아닙니다. 실제로 정책이 상대해야 하는 건 2차(Second-order) 동역학(관성, 코리올리, 접촉, 마찰, 중력 등)이고, 이 동역학은 행동(action)이 상태(state)를 어떻게 바꾸는지를 복잡하게 꼬아놓습니다. 논문은 이 점을 정면으로 짚습니다: RL 정책은 방대한 경험과 복잡한 보상 설계를 통해 이 얽힘을 풀어야 하며, 그 결과 정책이 곧잘 bang-bang(급격한) 행동을 내고 하드웨어에 해롭다는 문제로 이어진다고요. 기존의 흔한 구조는 이렇습니다.

정책이 조인트 목표각/목표속도를 내고
아래쪽에서 PD(또는 OSC) 컨트롤러가 직선(선형)적인 “목표 추종” 동작을 수행

하지만 조인트 공간/작업공간에서의 직선 추종은 로봇이 실제로 필요로 하는 풍부한 비선형 행동(예: 장애물 주변을 자연스럽게 돌아가기, 조인트리밋 회피, 접촉을 유지하며 조작하기)을 거의 담지 못합니다. 그러면 그 “비선형성”을 전부 RL이 보상으로 학습해야 하고, 보상 설계 난이도와 안전 문제는 폭발합니다. 이 논문의 핵심 제안은 한 문장으로 요약하면:

정책이 배워야 할 것을 줄이자.
그 방법으로 기하학적 Fabrics가 만들어내는 “행동 동역학(behavioral dynamics)”을 정책 아래에 깔아,
정책은 그 위에서 안전하고 유도된(action-space가 바뀐) 제어만 학습하게 하자.

2. 방법: Geometric Fabrics → Behavioral Dynamics → Fabric-Guided Policy(FGP)

2.1 큰 그림(아키텍처)

이 논문은 “실제 로봇 동역학” 위에 “인공(artificial) 2차 동역학”을 얹어 섞습니다. 그 인공 동역학이 바로 (forced, energized) geometric fabric이고, 이 조합이 behavioral dynamics입니다. 아래는 논문 구조를 제어 관점에서 재정리한 다이어그램입니다.

flowchart TB
  subgraph Policy["RL Policy π(a|o)"]
    O[Observations o_t] --> A[Actions a_t]
  end

  subgraph FabricLayer["Geometric Fabric / Behavioral Dynamics"]
    A --> Fdrive["Driving force f_π(q, qdot, a)"]
    Fdrive --> FabricDyn["Artificial 2nd-order dynamics: q̈_f = h(q_f, q̇_f) + ..."]
    FabricDyn --> Qdes["Target/desired states (e.g., q_des or task-space force)"]
  end

  subgraph LowLevel["Low-level torque control"]
    Qdes --> Tau["τ = ID(q,q̇,q̈_des)+ PD tracking"]
  end

  subgraph RealRobot["Real robot dynamics"]
    Tau --> Plant["M(q)q̈ + C(q,q̇) + g(q) + contacts = τ"]
    Plant --> O
  end

핵심은 정책이 곧바로 τ(토크)나 q_des(목표각)를 “그대로” 내는 대신, fabric이라는 ’가이드 동역학’을 밀어주는 입력(예: force-like action)을 내고, 그 결과가 안전하고 의미 있는 궤적/행동을 더 기본값으로 만들어준다는 점입니다.

2.2 (수식) Forcing Energized Fabric: 왜 “기하학적(geometric)”이고 왜 안정적인가?

논문은 fabric을 “안정성이 보장되는(Provably stable) 2차 시스템의 특정 subclass”로 둡니다.정확한 수식 표기는 HTML에서 수식이 일부 생략되어 보이지만, 논문 텍스트가 말하는 구성요소는 분명합니다:

상태: (\mathbf{q}, \dot{\mathbf{q}}, \ddot{\mathbf{q}})
system metric \mathbf{M}(\cdot): “질량/우선순위” 역할 (positive definite)
fabric term: 속도에 대해 HD2(homogeneous degree-2)로 만들어 경로가 속도에 불변(speed-invariant)인 “기하학적 경로”를 만들도록 설계
potential \psi(\mathbf{q})의 gradient, damping matrix \mathbf{B}, 그리고 기하를 보존하는 스칼라 damping(논문에서 별도 scalar로 언급)
energization coefficient \alpha: 에너지 안정성 유지(energy stable)

직관적으로 말하면:

\mathbf{M}이 “이 공간에서 어떤 방향이 중요한가(=가중치/우선순위)”를 정하고,
fabric(HD2)이 “기본적으로 따르고 싶은 길(road network of paths)”을 만들며,
\nabla\psi, \mathbf{B}, scalar damping은 “제약/안전/감쇠”를 걸어주고,
energization은 “에너지 관점에서 시스템이 폭주하지 않도록” 균형을 잡습니다.

이 “road network” 비유는 fabrics 이론 논문(2309.07368)이 직접적으로 강조하는 핵심 직관입니다: 기하학적 fabric은 속도 불변의 ’길망(road network)’을 만들고, 정책은 그 위에서 속도를 조절하고 길을 갈아타며 목표를 달성한다.

2.3 (수식) Behavioral Dynamics: 인공 동역학과 실제 동역학의 결합

논문은 인공 fabric 동역학을 “인공 force”로 다시 쓰고, 이를 실제 로봇 동역학과 토크 제어법으로 연결합니다. (논문 II-B, II-C) 개념을 정리하면:

인공 동역학(=fabric)은 \ddot{\mathbf{q}}_f = \text{(fabric dynamics)} + \text{(policy가 주는 driving force)} 처럼 볼 수 있습니다. 논문은 이를 “artificial force” 형태로 compact rewrite 가능하다고 말합니다.
실제 로봇 동역학은 \mathbf{M}(\mathbf{q})\ddot{\mathbf{q}} + \mathbf{f}(\mathbf{q},\dot{\mathbf{q}}) = \boldsymbol{\tau} 류의 형태(접촉/마찰/코리올리/중력 포함)로 생각할 수 있고, 논문은 \mathbf{M}과 \mathbf{f}를 명시적으로 언급합니다.
둘을 잇는 건 토크 제어법 \boldsymbol{\tau}(\cdot)입니다. 논문은 실무적으로 흔한 형태인
- inverse dynamics compensation + joint PD tracking 를 주로 사용한다고 말합니다. 이 경우 자유공간에서 \mathbf{q}\approx \mathbf{q}_f를 강하게 만들 수 있고, 접촉 시에는 fabric state와 real state의 “분리”가 접촉력을 유도하게 됩니다(임피던스/어드미턴스와 유사한 발상). 이 연결은 로봇 제어 관점에서 아주 중요한데요. 정책이 직접 접촉력을 ’모델링’해서 맞추는 대신, fabric/PD 계층이 만들어내는 “분리”로 접촉이 자연스럽게 발생하도록 설계하면, 정책은 그 위에서 조작을 학습하기 쉬워집니다.

2.4 (핵심) Policy Action Space의 재정의: “조인트 목표” 대신 “fingertip-space force를 밀어라”

논문의 구현 파트(Allegro Hand cube reorientation)에서 가장 인상적인 설계는 action space입니다.

RL action a_t를 바로 조인트 목표로 쓰지 않고,
손끝(fingertip) 공간의 force로 변환한 뒤,
Jacobian으로 configuration/root로 pull-back 해서 fabric에 주입합니다. 논문 표현을 요약하면:
action은 [-1,1] 같은 범위로 clamp 후 scale해서 fingertip-space force를 만들고,
이를 Jacobian으로 루트로 끌어와 fabric forcing 항에 넣는다. 이게 왜 중요한가?
정책이 직접 “조인트 각도 궤적”을 미세하게 설계하지 않아도 됩니다.
정책은 “어느 손끝을 어떤 방향으로 얼마나 밀지”만 대충 bang-bang로 내도,
fabric이 기본 경로/제약 회피/감쇠를 깔아주기 때문에,
결과 행동은 안전하고 매끈한(혹은 적어도 고주파 노이즈가 억제된) 방향으로 유도됩니다. 실제로 논문은 “raw RL actions는 bang-bang인데도, 결과 타깃 조인트 신호는 5Hz 이상에서 거의 0에 가깝다”는 스펙트럼 분석을 보여줍니다.

2.5 (수식) 가속도/저크 제한을 QP로 다루는 방법(닫힌형 해 포함)

실로봇에서 자주 무시되다가 큰 사고로 돌아오는 제약이:

joint acceleration limit
joint jerk limit

논문은 이를 fabric/토크법칙 설계에 자연스럽게 포함시키는 간단한 QP를 제시합니다. 핵심 아이디어:

원하는 \ddot{\mathbf{q}} (또는 \ddot{\mathbf{q}}_f)가 나왔을 때,
이를 그대로 쓰지 말고,
“스케일을 줄이는” 형태로 제한을 만족시키도록 \eta 같은 스칼라를 푸는 식입니다. 논문 텍스트에 따르면:
QP를 세우면 closed-form solution이 있고, \eta \to \infty일 때 \ddot{\mathbf{q}}\to 0로 만들 수 있어서,
가속도를 원하는 만큼 작게 만들 수 있다고 주장합니다. 또한 저크 제한은 이산화된 jerk 모델로부터 “가능한 최대 jerk”를 계산해 가속도 제한을 더 보수적으로 재설정하는 방식으로 다룹니다. #### 의사코드(실무 적용형)

Given desired acceleration qdd_des (from fabric / policy)
Given accel_limit qdd_max and jerk_limit j_max
Given last acceleration qdd_prev

# 1) jerk -> effective accel limit (paper's discretized bound idea)
qdd_max_eff = min(qdd_max, (j_max * dt)/2 )  # 직관: jerk 제한이 빡세면 accel도 줄여야 함

# 2) Solve scaling QP (closed-form in paper)
# choose scalar eta >= 0 so that ||qdd(eta)||_inf <= qdd_max_eff
eta = find_min_eta_satisfying_limit(qdd_des, qdd_max_eff)

qdd_safe = qdd_des / (1 + eta)   # 직관적 형태(논문은 closed-form로 유도됨)
return qdd_safe

주의: 위 식의 정확한 닫힌형 표현은 논문 수식(5~10)에 종속이지만, “스칼라 하나로 전체 가속도 크기를 조절하여 제약을 만족”시키는 구조가 요지입니다.

2.6 Fabrics 설계(Allegro Hand): Attraction / Repulsion / Energization / Geometric Damping

논문은 cube reorientation을 위해 fabric을 구성하는 요소를 분해해 설명합니다. (1) Attraction: “접촉과 케이지(caging)를 기본값으로”

손끝이 큐브 중심을 향해 “끌리게” 하여 접촉을 유도
손가락 관절이 “안으로 말린(curl)” 자세를 기본값으로 만들어 케이지 효과 제공 이 설계는 RL에게 “접촉 유지/형상 감싸기” 같은 조작의 기반을 보상 없이도 깔아주는 역할을 합니다.

(2) Repulsion: “조인트 리밋을 barrier metric으로”

upper/lower joint limit task space를 두고
metric의 대각 성분이 리밋에 가까워질수록 커지는 barrier 형태가 되게 설계
acceleration 항도 “리밋에서 멀어지게” 양의 방향으로 작동하도록 둠 여기서 중요한 포인트는 “제약을 penalty로만 넣는 게 아니라” 동역학의 metric/가속도 구조로 편입해버린다는 점입니다.

(3) Energization: “fabric 자체의 에너지 안정성”

energization coefficient는 기존 이론(Optimization/Geometric fabrics)에서 제시된 정리(Theorem 기반)로 계산해, fabric이 energy stable하도록 보장합니다. (4) Geometrically-consistent damping: “경로는 유지, 속도만 늦추기”

논문은 damping을 훈련 시 작게 두어 탐험을 돕고, 배포 시 여러 값을 실험합니다. 특히 damping을 키우면

경로(손가락 경로)는 상대적으로 유지되면서
속도만 느려지는 “기하 일관” 감쇠가 되어 sim2real에 유리하다고 보고합니다.

3. 실험: Allegro Hand 큐브 재지향(in-hand reorientation) — 학습 속도/성능/하드웨어 친화성

3.1 실험 셋업 개요

플랫폼: 16-actuator, 4-finger Allegro Hand v4
문제: 손 안에서 큐브의 orientation을 지속적으로 회전(reorientation)
인식: vision-based cube pose estimation (기존 DeXtreme 셋업과 유사) 논문은 비교 대상으로 DeXtreme 계열(기존 SOTA 라인)을 두고, fabric-guided policy(FGP)의 학습/실로봇 성능/액션 노이즈를 비교합니다.

3.2 학습 관찰: FGP는 더 “매끈함을 학습”하기 어렵지만, 가능하다

논문 Table I 요지:

DeXtreme (new)는 특정 엔트로피 수준(예: -0.5 npd)에 도달하는 시간이 더 빠른 경향
FGP는 더 낮은 entropy(더 “결정적/매끈한” 방향)로 가는 경향이 보이지만, 학습이 더 오래 걸릴 수 있음
결론적으로 “고성능 FGP도 약 1주 정도 학습으로 가능” 여기서 중요한 해석은:
FGP는 action space가 force-like이고 아래에서 동역학이 행동을 “정리”해주기 때문에,
정책 입장에선 탐험(exploration)과 성능 사이의 trade-off가 다르게 나타날 수 있습니다.
즉, “정책이 더 bang-bang로 탐험해도 안전/경로가 유지”되지만,
그 bang-bang가 완전히 사라지는 방향으로 최적화하는 건 또 별개의 문제(엔트로피, smoothness 등)입니다.

3.3 실로봇 성능: CS(연속 성공) / RPM(속도) / 고주파 노이즈 억제

논문은 세 지표를 봅니다. * CS (consecutive success): 연속 성공 회전 수 * RPM (rotations per minute): 성공 속도 * Action noise rejection: 5Hz 이상 성분 억제(FFT로 분석)

(A) CS / RPM: damping 값에 따른 트레이드오프

Table II에서 FGP는 damping 값을 바꿔가며 성능을 보고합니다. 핵심 문장:

FGP는 damping 증가에 따라 CS가 어느 지점까지 좋아지다(예: 특정 값까지), 이후 과도하면 저하
RPM은 DeXtreme보다 FGP가 전반적으로 우수, 작은 damping은 손가락 움직임이 빠르지만 에러가 늘어 RPM이 꼭 개선되진 않음
“정교함(meticulous)”이 증가하면 precision과 CS가 개선 이를 한 줄로 요약하면:

FGP는 “경로는 유지한 채 속도만 조절”하는 damping knob로 sim2real 성능을 튜닝할 수 있다. (B) 고주파 노이즈 억제: “bang-bang action인데도 하드웨어 친화적”

논문이 매우 강하게 주장하는 포인트입니다.

DeXtreme는 강한 low-pass filtering을 써도 5Hz 이상 성분이 남는데,
FGP는 5Hz 이상 스펙트럼 진폭이 거의 0에 가깝다
흥미롭게도, FGP의 raw RL action은 bang-bang일 수 있는데도 최종 조인트 타깃 신호는 깨끗하다 이게 의미하는 바는 실무적으로 큽니다.
“정책 출력에 후처리 필터(EMA/LPF)를 덕지덕지 붙이는 방식”은
- 탐험을 방해하고
- 응답성을 떨어뜨리며
- 그래도 완전한 안전을 보장하지 못합니다.
반면 FGP는 “구조적으로” 노이즈가 위에서 아래로 전달되는 것을 약화(attenuation)시켜, 하드웨어 유지비(마모/수리) 관점의 실용성을 전면에 내세웁니다.

3.4 논문 그림(텍스트 설명): Fig.1 FFT 스펙트럼

논문 Fig.1은 FGP와 DeXtreme의 target joint angles(또는 유사 타깃 신호)를 FFT로 본 그림입니다.

1. FGP: 2Hz 이하에 에너지가 몰리고, 5Hz 이상은 거의 0
1. DeXtreme: 5Hz 이상 성분이 상대적으로 크게 남음 > 해석: FGP는 “정책이 거칠게 두드려도(fast switching) fabric+토크 계층이 이를 기계적으로 정돈”하여, 고주파가 관절 목표로 번역되는 걸 막아준다.

4. 비판적 고찰: 강점/약점/한계

4.1 강점 1 — 안전을 “보상/패널티”가 아니라 “동역학”으로 옮긴다

이 논문의 가장 큰 미덕은 안전을 RL의 reward shaping에서 끌어내려 제어/동역학 계층으로 내장했다는 점입니다.

조인트 리밋: barrier metric + repulsion acceleration* 에너지 안정성: energization 기반 안정성* jerk/accel: QP 기반 제한(닫힌형 해) 이런 것들은 보상에 “조인트 리밋 패널티”, “가속도 패널티”로 넣는 것과 질적으로 다릅니다. 패널티는 학습 중 위반을 ‘덜 하게’ 만들 뿐이지만, 동역학 내장은 행동이 그쪽으로 잘 번역되지 않게 만듭니다.

4.2 강점 2 — action space 재설계의 파괴력: “힘으로 밀고, 나머지는 길이 해결”

FGP에서 policy action을 fingertip-space force로 두는 설계는, 제어 관점에서 말하면:

RL이 해야 할 일: “어디를 어떤 방향으로 밀까?”
RL이 안 해도 되는 일: “조인트 궤적을 어떻게 매끈하게 만들까?”, “리밋을 어떻게 회피할까?”, “접촉을 어떻게 유지할까?”

이 분업이 성능뿐 아니라 “정책 이식/재사용” 측면에도 잠재력이 큽니다. 동일한 fabric 위에서는 정책이 비교적 일관된 의미를 갖게 되니까요(“이 힘을 주면 이렇게 반응한다”).

4.3 강점 3 — sim2real 튜닝 노브가 명확해진다(damping)

논문이 보여준 damping knob는 실무적인 “디버깅 가능성”을 크게 올립니다.

배포 시 damping을 올리면 속도는 줄지만 경로는 유지 → 안정적, 정교함 증가 → sim2real 개선 가능 기존 end-to-end RL은 “왜 실로봇에서 흔들리는지”를 파악하기 어려운데, FGP는 최소한 “속도를 줄여 동역학/지연/미모델 효과를 완화”하는 축이 분명합니다.

4.4 약점 1 — fabric 설계는 결국 ’사람의 일’이 된다 (설계 복잡성/이식성)

논문 구현은 매우 영리하지만, 동시에 질문을 남깁니다:

fingertip attractor 목표를 어떻게 둘 것인가?
curled posture target을 어떻게 정할 것인가?
barrier metric의 shape/게인을 어떻게 튜닝할 것인가?
energization/metric 합성은 어떤 원리로 안정성을 유지하는가?

즉, 좋은 fabric을 만드는 일이 또 하나의 “컨트롤 엔지니어링”이 됩니다. 이건 장점이기도 하지만(구조/해석 가능), “도메인 확장”에선 비용일 수 있습니다.

이때 참고 연구(2309.07368)가 제안하는 방향은 “fabrics를 prior로 보고, 이를 더 일반적이고 적용하기 쉬운 형태로 이론화”하는 것이고, 이 논문은 그 틀을 RL에 강하게 접목합니다.

4.5 약점 2 — 보장 범위의 현실: ’policy driving force’는 이론적으로는 불안정화 가능

논문은 policy가 주는 driving force가 원칙적으로는 인공 동역학을 destabilize할 수 있음을 인정합니다. 다만 실무적으로 충분한 damping과 에너지 캡핑(이론적으로 가능한 방법)을 통해 안정성을 유지할 수 있다고 말합니다. 즉, “완전한 안전 보장”을 주장하기보다는,

“fabrics 자체가 안정적인 미디엄이고 policy는 그 위에서 움직이며 적절한 설계(감쇠/에너지 캡 등)로 위험을 줄인다” 라는 포지션이 더 정확합니다.

5. 관련 연구와의 비교: RMP(1801) ↔︎ Fabrics(2309) ↔︎ FGP(2405)

5.1 RMP (arXiv:1801.02854): “모션 정책 + 리만 메트릭”의 조합/변환/합성

RMP는 다음을 핵심으로 합니다.

각 작업공간(task space)에서 가속도장(2차 정책)과 메트릭(중요 방향/가중치)을 정의하고,
이를 기하학적으로 일관되게(좌표 변환/푸시포워드/풀백) 합성하여
최종 configuration-space 정책을 얻는 프레임워크 이 논문(2405)은 RMP를 직접 “참고 프레임워크”로 언급하면서, RMP가 fabrics를 포함할 수 있는 더 넓은 개념임을 시사합니다(텍스트에서 RMP가 broad하고 fabrics가 special subclass라는 취지). 차이점(실무 감각)
RMP는 “모듈형 정책 합성”이 중심이고,
2405는 “그 구조를 RL 정책 학습의 action space/안전 미디엄으로 사용”하는 데 초점을 둡니다.

즉, RMP가 “제어 구조”라면, FGP는 “RL 학습의 발판(미디엄)”으로 한 단계 더 내려가 있습니다.

5.2 Fabrics 이론 (arXiv:2309.07368): “안정한 미디엄(road network) 위에서 정책이 항해한다”

2309는 fabrics를 다음과 같이 정면 정의합니다:

fabric은 에너지를 보존하는(보존적) 자율 2차 미분방정식으로서,
정책 설계를 위한 근본적으로 안정적인 미디엄을 형성하고,
geometric fabric은 속도 불변 경로망(road network)을 제공하여 정책은 “속도 조절/경로 전환”만 하면 된다.

2405는 이 이론을 “RL에서 실제로 성능을 끌어올리는 아키텍처”로 구현했고,

안정/제약/감쇠를 fabric에 내장하고
정책은 force-like action으로 그 미디엄을 “항해”하게 했습니다.

5.3 이 논문(2405)의 고유 기여를 한 문장으로

Fabrics의 안정한 기하학적 미디엄을, RL 정책의 action space 재설계와 하드웨어 제약(가속도/저크)까지 포함한 “학습용 제어 스택”으로 구체화하여, 실로봇 성능과 하드웨어 친화성(고주파 억제)을 동시에 보여줬다.

6. 요약 및 결론: 로봇 RL 제어에서 “안전”을 다루는 더 현실적인 방법

이 논문이 던지는 메시지는 꽤 실무적입니다.

RL 정책이 bang-bang로 나오지 않게 “정규화/필터링”으로 눌러 담는 방식은 한계가 있다.* 대신, 정책이 올라타는 바닥(=동역학)을 바꾸면,
- policy는 더 단순한 선택만 학습하고
- 안전/제약/부드러움은 구조적으로 확보할 수 있다.* geometric fabrics는 그 바닥을 “기하학적으로 직관적인 road network”로 제공하고, 정책은 이를 항해한다.

(부록) 한 장 요약 표

항목	기존 흔한 RL 제어	Fabric-Guided Policy (이 논문)
정책 출력	조인트 목표/토크(직접)	fingertip-space force-like driving → fabric에 주입
안전/제약	reward penalty/필터/클리핑	barrier metric/repulsion/energization/QP 등 구조 내장
고주파 노이즈	필터로 억제해도 잔존 가능	5Hz 이상 거의 0에 가까운 스펙트럼(실험)
sim2real 튜닝	불투명(원인 파악 어려움)	geometric damping으로 속도만 조절(경로 유지)
철학	“정책이 다 배운다”	“정책은 항해만, 바닥이 길을 만든다”