📃HEPi 리뷰

Geometry-aware RL for Manipulation of Varying Shapes and Deformable Objects

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Project
• Code

1. 👉 로봇 조작, 특히 다양한 형상 및 변형 가능한 객체 조작의 어려움을 해결하기 위해, 본 연구는 이를 heterogeneous graph로 모델링하고 SE(3) equivariant message passing networks를 활용합니다.
2. ✨ 제안하는 HEPi (Heterogeneous Equivariant Policy)는 EMPN 백본을 통해 기하학적 대칭성을 활용하며, 명시적인 이질성(heterogeneity) 모델링과 TRPL을 사용한 안정적인 학습을 특징으로 합니다.
3. 🏆 새로운 벤치마크 태스크에서 HEPi는 Transformer 및 비이질적인 equivariant policies보다 평균 수익, 샘플 효율성 및 미확인 객체에 대한 일반화 능력에서 우수한 성능을 보여줍니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

이 논문은 다양한 형상(varying shapes) 및 변형 가능한 객체(deformable objects)의 조작(manipulation) 문제를 해결하기 위한 GEOMETRY-AWARE RL FOR MANIPULATION OF VARYING SHAPES AND DEFORMABLE OBJECTS 연구입니다. 로봇 조작에서 다양한 기하학적 형태를 가진 객체나 형상이 변하는 객체를 다루는 것은 정밀한 제어와 복잡한 동역학 모델링을 요구하는 주요 난제입니다.

문제 정의 및 접근 방식:

본 연구는 이러한 조작 문제를 행위자(actuator)와 객체(object) 같은 더 작은 sub-graph와 상호작용을 설명하는 다른 edge type들로 구성된 heterogeneous graph의 관점에서 재구성합니다. 이러한 graph representation은 강체(rigid) 및 변형체(deformable objects) 작업 모두에 대한 통일된 구조로 작용하며, 여러 행위자를 포함하는 작업으로도 확장될 수 있습니다. 높은 차원의 관측 및 행동 공간에서 새로운 자세(orientation), 포즈(pose), 그리고 미지의 형상(unseen geometries)에 대해 원활하게 일반화되는 정책(policy)을 학습하는 것이 어렵다는 점을 해결하기 위해, 연구는 SE(3) 공간의 equivariance를 귀납적 편향(inductive bias)으로 활용합니다.

HEPi (Heterogeneous Equivariant Policy) 방법론:

HEPi는 강화 학습(reinforcement learning) 환경에서 복잡한 3D 조작 작업을 해결하기 위해 제안된 graph-based policy model입니다. 이는 세 가지 핵심 구성 요소로 이루어집니다.

1. Equivariant MPN Backbone:
   • 기존 Message Passing Neural Networks (MPNN)에서 \phi와 \psi 함수에 equivariance를 강제하여 EMPN을 구성합니다. 이는 steerable geometric features가 group G의 작용 아래 일관되게 변환되도록 합니다.
   • 고차원 steerable features를 위한 함수 구성은 일반적으로 spherical harmonics embeddings, Clebsch-Gordan tensor products, steerable activation functions을 사용하여 높은 계산 복잡성을 야기합니다.
   • 이 문제를 완화하기 위해 본 연구는 효율적인 equivariant message-passing 접근 방식인 PONITA framework(Bekkers et al., 2024)를 EMPN backbone으로 사용합니다.
   • PONITA는 입력 도메인(X = \mathbb{R}^3)을 위치(p \in \mathbb{R}^3)와 연관된 방향(o \in S^2)을 포함하는 X^\uparrow = \mathbb{R}^3 \times S^2로 “lifting”하여 equivariance를 구현합니다.
   • 이를 통해 다음 형태의 convolutional message-passing update rule을 사용합니다: f'_v = \int_{\mathbb{R}^3}\int_{S^2}k_\theta ([(p_u, o_u), (p_v, o_v)])f_u dp_u do_u
   • 계산 효율성을 위해 커널 함수 k_\theta는 다음과 같이 분해됩니다: k_\theta ([(p_u, o_u), (p_v, o_v)]) = K^{(3)}_\theta k^{(2)}_\theta(o_v^\top o_u) k^{(1)}_\theta(o_v^\top (p_u - p_v), |o_v^\perp (p_u - p_v)|) 여기서 k^{(1)}은 상대 위치 및 수직 성분을 기반으로 공간 상호작용을 처리하고, k^{(2)}는 dot product를 통해 방향 기반 상호작용을 관리하며, K^{(3)}는 features 전반에 걸쳐 channel-wise mixing을 수행합니다. 이는 equivariant 함수의 universal approximation property를 보존하면서도 계산 효율성을 높입니다.
2. Heterogeneous Graph Design and Update Rules:
   • 로봇 조작에서 행위자와 객체는 근본적으로 다른 역할을 수행하므로, 그래프는 actuator nodes (V_{act})와 object nodes (V_{obj})의 분리된 노드 집합으로 정의됩니다.
   • HEPi는 먼저 객체 및 행위자 클러스터 내의 지역 정보를 처리한 다음, 지향성(directed)의 완전 연결된(fully-connected) inter-edges를 통해 행위자에게 글로벌하게 통합합니다.
   • 이는 object-to-object, actuator-to-actuator, object-to-actuator 상호작용을 분리하여 처리함으로써 지역 처리와 글로벌 정보 교환을 가능하게 합니다.
   • 노드 업데이트 규칙은 다음과 같습니다 (Eq. 2):
     • 객체 노드 업데이트 (local object-to-object interaction): f^{obj, new}_v = \phi^{obj}\left( f^{obj}_v, \sum_{u \in N(v)^{obj}} k(x^{obj}_u, x^{obj}_v; \theta^{obj-obj})f^{obj}_u \right), v \in V_{obj}
     • 행위자 노드 업데이트 (local actuator-to-actuator interaction): f^{act, new}_v = \phi^{act-local}\left( f^{act}_v, \sum_{w \in N(v)^{act}} k(x^{act}_w, x^{act}_v; \theta^{act-act})f^{act}_w \right), v \in V_{act}
     • 행위자 노드의 최종 업데이트 (global aggregation from objects): f^{act, final}_v = f^{act, new}_v + \phi^{act-global}\left( f^{act}_v, \sum_{u \in V_{obj}} k(x^{obj}_u, x^{act}_v; \theta^{obj-act})f^{obj, new}_u \right), v \in V_{act}
     • 여기서 각 커널 k(\cdot, \cdot; \theta^{\cdot})은 자체 학습 가능한 파라미터를 가지며, 각 상호작용 유형에 특화된 학습 프로세스를 가능하게 합니다.
   • 각 노드 v \in V는 노드 유형을 one-hot scalar-vector로 인코딩하며, normalized position vectors p_v와 velocities v_v를 포함합니다. 객체 노드의 경우, feature vector는 목표까지의 상대 거리 d_{v,target}도 포함합니다. 행위자 노드의 출력은 스칼라 c와 벡터 v_{out}으로 구성되며, 최종 출력은 c \cdot v로 계산됩니다.
3. Principled Trust-Region Method (TRPL):
   • 표준 on-policy 강화 학습 접근 방식인 Proximal Policy Optimization (PPO)은 일반적으로 하이퍼파라미터 튜닝에 민감하며 불안정한 성능을 보일 수 있습니다.
   • 이를 해결하기 위해, HEPi는 Trust Region Projection Layers (TRPL, Otto et al., 2021)를 채택합니다. TRPL은 미분 가능한 볼록 최적화(differentiable convex optimization)를 사용하여 정책 파라미터를 trust region 경계로 투영함으로써 안정적인 업데이트를 보장합니다. 이는 Gaussian policy의 평균과 분산(variance) 모두가 trust region 제약 조건을 만족하도록 합니다.

이론적 정당화:

HEPi는 MPNN에 global Virtual Nodes (VNG)를 추가하는 아이디어에서 영감을 받았습니다. 논문은 행위자 노드를 VNG로 취급하여 모든 객체 노드와 연결하는 것이, k-nearest object nodes에만 지역적으로 연결하는 MPNN + VNLocal 방식보다 더 관련성 높은 정보를 포착할 수 있음을 이론적으로 보입니다 (Proposition 3.1).

• Proposition 3.1: MPNN + VNLocal의 경우, 객체 노드 u와 행위자 노드 v가 2-hop 이상 떨어져 있을 때, Jacobian \partial f^{act}_v / \partial f^{obj}_u는 u에 독립적입니다. 반면, HEPi는 단일 layer 이후에도 어떤 행위자-객체 노드 쌍 간에도 정보 교환이 가능합니다. 이는 HEPi의 연결 설계가 객체 노드의 변화에 대해 행위자가 관련성 있는 행동을 예측할 수 있도록 정보를 받을 수 있음을 의미합니다.

벤치마크 및 실험:

본 연구는 NVIDIA IsaacLab을 활용하여 구현된 7가지 새로운 조작 작업 벤치마크를 제안합니다. 이 벤치마크는 다양한 객체들의 rigid insertion, 그리고 여러 end-effectors를 사용한 rope 및 cloth manipulation을 포함하여, 기하학적 구조의 역할을 강조하고 난이도가 점진적으로 증가하도록 설계되었습니다. 실험 결과, HEPi는 Transformer-based policy 및 비-heterogeneous equivariant policy보다 평균 return, sample efficiency, 그리고 미지의 객체에 대한 generalization 측면에서 뛰어난 성능을 보였습니다. 특히 복잡한 3D 조작 작업에서 HEPi의 equivariance와 명시적인 heterogeneity 모델링의 통합이 성능 향상에 결정적임을 입증했습니다. 또한, attention 메커니즘을 추가하는 것이 성능 향상으로 이어지지 않았으며, TRPL이 PPO보다 학습 안정성 측면에서 우수함을 확인했습니다.

결론:

HEPi는 SE(3) transformation에 대해 equivariant하도록 제약된 EMPN backbone을 특징으로 하는 graph-based policy이며, sample efficiency를 크게 향상시킵니다. 또한, 각 상호작용 유형에 대해 별개의 네트워크 파라미터를 할당하여 heterogeneity를 명시적으로 모델링하며, 이는 메시지 혼합(message mixing)을 줄이고 표현력(expressiveness)을 향상시켜 sub-optimal solution으로 수렴할 가능성을 낮춥니다. 본 연구는 새로운 벤치마크와 함께 HEPi가 기존 SOTA 모델을 능가하는 성능을 보여줌으로써, 로봇 조작 문제를 heterogeneous graph로 효과적으로 표현하고 해결할 수 있음을 입증했습니다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

1. 서론: 왜 기하학적 대칭성이 중요한가?

1.1 문제의 본질

여러분이 컵을 집어서 선반에 올려놓는 상황을 상상해 보세요. 컵이 테이블의 왼쪽에 있든 오른쪽에 있든, 혹은 테이블 전체가 90도 회전해 있든, 여러분은 본질적으로 동일한 “집어서 놓기” 동작을 수행합니다. 단지 좌표계만 바뀌었을 뿐이죠.

그런데 놀랍게도, 대부분의 로봇 학습 알고리즘은 이 단순한 사실을 “이해”하지 못합니다. 컵이 왼쪽에 있을 때와 오른쪽에 있을 때를 완전히 다른 상황으로 인식하고, 각각에 대해 따로 학습해야 합니다. 마치 “2+3”과 “3+2”를 별개의 문제로 암기하는 것과 같죠.

이것이 바로 기하학적 대칭성(geometric symmetry)의 문제입니다. 3D 공간에서 로봇 조작 문제는 본질적으로 회전(rotation)과 병진(translation)에 대해 동등한(equivariant) 특성을 가집니다. 이 논문의 핵심 통찰은 이러한 SE(3) 대칭성을 정책 네트워크에 명시적으로 내장하면, 학습 효율성과 일반화 성능이 극적으로 향상된다는 것입니다.

1.2 기존 접근법의 한계

접근법	특징	한계
MLP 기반 정책	범용적, 간단	대칭성 무시, 낮은 샘플 효율
Transformer	강력한 표현력	기하학적 구조 무시, 과적합 위험
일반 GNN	그래프 구조 활용	3D 기하학적 등변성 부재
순수 EMPN	SE(3) 등변성	이종 구조(actuator/object) 무시

기존의 강화학습 정책들은 크게 두 가지 문제를 안고 있었습니다. 첫째, 대부분의 네트워크가 좌표 변환에 대한 대칭성을 무시합니다. 둘째, 로봇 조작 문제의 이종적(heterogeneous) 특성—액추에이터와 물체가 근본적으로 다른 역할을 한다는 점—을 고려하지 않습니다.

1.3 HEPi의 핵심 기여

이 논문은 Heterogeneous Equivariant Policy (HEPi)를 제안합니다. 핵심 아이디어를 한 문장으로 요약하면:

“로봇 조작 문제를 이종 그래프로 표현하고, SE(3) 등변 메시지 패싱으로 정책을 학습하면, 기하학적 대칭성과 역할의 이종성을 동시에 활용할 수 있다.”

flowchart LR
    subgraph 입력["🎯 로봇 조작 문제"]
        A[액추에이터 상태]
        O[물체 상태]
        T[목표 위치]
    end
    
    subgraph HEPi["⚙️ HEPi 정책"]
        direction TB
        G[이종 그래프 구성]
        E[SE3 등변 메시지 패싱]
        H[이종 업데이트 규칙]
    end
    
    subgraph 출력["🤖 액션"]
        Act[등변 액션 생성]
    end
    
    입력 --> HEPi --> 출력
    
    style HEPi fill:#e1f5fe
    style Act fill:#c8e6c9

HEPi의 핵심 아이디어: 이종 그래프 + SE(3) 등변성

---

2. 이론적 배경: 기하학을 네트워크에 담다

2.1 SE(3) 등변성이란?

SE(3)는 Special Euclidean group in 3D의 약자로, 3차원 공간에서의 모든 강체 변환(rigid transformation)—회전과 병진—을 나타내는 군(group)입니다.

Note파인만 스타일 직관

등변성(equivariance)을 이해하는 가장 좋은 방법은 “대칭성의 보존”으로 생각하는 것입니다.

여러분이 세계지도를 90도 돌려서 보더라도, “서울에서 도쿄까지의 비행 경로”는 여전히 같은 모양입니다—단지 지도 위에서 회전했을 뿐이죠. 수학적으로, 함수 f가 변환 g에 대해 등변이라는 것은:

f(g \cdot x) = g \cdot f(x)

즉, “먼저 변환하고 함수를 적용”하나 “먼저 함수를 적용하고 변환”하나 결과가 같다는 뜻입니다.

로봇 정책 \pi: \mathcal{S} \rightarrow \mathcal{A}가 SE(3) 등변이라는 것은, 상태 공간을 회전/병진시키면 출력 액션도 그에 맞게 변환된다는 의미입니다:

\pi(g \cdot s) = g \cdot \pi(s), \quad \forall g \in SE(3)

2.2 Steerable Features와 구면 조화 함수

SE(3) 등변 네트워크를 구성하는 핵심 도구는 steerable features입니다. 일반적인 신경망의 특징 벡터가 임의의 실수 벡터인 것과 달리, steerable features는 군의 작용 아래 예측 가능하게 변환됩니다.

구면 조화 함수(spherical harmonics) Y_l^m은 구면 위의 직교 기저 함수로, 차수(degree) l에 따라 (2l+1)차원의 표현을 제공합니다:

차수 l	차원	물리적 해석	예시
0	1	스칼라 (불변)	에너지, 질량
1	3	벡터	위치, 속도, 힘
2	5	2차 텐서	관성 텐서

HEPi에서는 이러한 구면 조화 표현을 사용하여 기하학적 정보를 인코딩합니다. 중요한 점은, 이러한 표현들 사이의 연산(텐서 곱 등)이 Clebsch-Gordan 계수를 통해 등변성을 보존한다는 것입니다.

2.3 등변 메시지 패싱 네트워크 (EMPN)

표준 그래프 신경망(GNN)에서 각 노드 v는 이웃 노드들로부터 메시지를 수집하여 자신의 특징을 업데이트합니다:

h_v^{(l+1)} = \psi\left(h_v^{(l)}, \bigoplus_{u \in \mathcal{N}(v)} \phi(h_u^{(l)}, h_v^{(l)}, e_{uv})\right)

여기서 \phi는 메시지 함수, \psi는 업데이트 함수, \bigoplus는 집계 연산입니다.

등변 메시지 패싱 네트워크(EMPN)는 \phi와 \psi가 모두 등변 함수가 되도록 설계합니다. 이를 위해:

1. 입력과 출력을 steerable features로 구성: 노드/에지 특징이 구면 조화 계수로 표현됨
2. 등변 연산만 사용: 텐서 곱은 Clebsch-Gordan 곱으로, 비선형 활성화는 등변 게이트로 구현
3. 상대 위치 인코딩: 절대 좌표 대신 상대 변위 벡터 \vec{r}_{uv}를 사용

flowchart TB
    subgraph 노드특징["노드 특징 (Steerable)"]
        H0["h_u: Type-0 (스칼라)"]
        H1["h_u: Type-1 (벡터)"]
        H2["h_u: Type-2 (텐서)"]
    end
    
    subgraph 메시지생성["메시지 생성"]
        R["상대 위치 r_uv"]
        SH["구면 조화 Y(r̂_uv)"]
        M["등변 메시지 m_uv"]
    end
    
    subgraph 집계["집계 & 업데이트"]
        AGG["Σ m_uv (합산)"]
        UPD["등변 업데이트 ψ"]
    end
    
    H0 & H1 & H2 --> 메시지생성
    R --> SH --> M
    M --> AGG --> UPD
    
    style M fill:#fff3e0
    style UPD fill:#e8f5e9

EMPN의 메시지 패싱 과정

---

3. HEPi: 이종 등변 정책의 설계

3.1 로봇 조작을 이종 그래프로 표현하기

HEPi의 핵심 혁신은 로봇 조작 문제를 이종 그래프(heterogeneous graph)로 모델링하는 것입니다. 이종 그래프란 서로 다른 타입의 노드와 에지를 포함하는 그래프입니다.

노드 타입

1. 액추에이터 노드 (Actuator): 로봇의 말단 효과기(end-effector)를 나타냄
   • 특징: 현재 위치, 자세, 그리퍼 상태 등
2. 물체 노드 (Object): 조작 대상 물체(강체 또는 변형체)를 나타냄
   • 강체: 단일 노드로 표현 (위치 + 자세)
   • 변형체: 파티클/메쉬 노드의 집합으로 표현

에지 타입

에지 타입	연결	의미
Intra-actuator	액추에이터 ↔︎ 액추에이터	다중 암 협업
Intra-object	물체 ↔︎ 물체	변형체 내부 연결
Inter-edges	액추에이터 → 물체	조작 상호작용

graph TB
    subgraph Actuators["🤖 액추에이터 노드"]
        A1((EE1))
        A2((EE2))
    end
    
    subgraph Objects["📦 물체 노드 (천 파티클)"]
        O1((P1))
        O2((P2))
        O3((P3))
        O4((P4))
        O5((P5))
        O6((P6))
    end
    
    A1 <-.->|intra-actuator| A2
    
    O1 <-->|intra-object| O2
    O2 <-->|intra-object| O3
    O4 <-->|intra-object| O5
    O5 <-->|intra-object| O6
    O1 <-->|intra-object| O4
    O2 <-->|intra-object| O5
    O3 <-->|intra-object| O6
    
    A1 -.->|inter-edge| O1
    A1 -.->|inter-edge| O2
    A2 -.->|inter-edge| O5
    A2 -.->|inter-edge| O6
    
    style A1 fill:#ffccbc
    style A2 fill:#ffccbc
    style O1 fill:#c5cae9
    style O2 fill:#c5cae9
    style O3 fill:#c5cae9
    style O4 fill:#c5cae9
    style O5 fill:#c5cae9
    style O6 fill:#c5cae9

천 걸기(Cloth Hanging) 태스크의 이종 그래프 표현

목표 거리 인코딩

흥미로운 설계 선택으로, HEPi는 목표 위치를 별도의 노드 타입으로 만들지 않습니다. 대신 목표까지의 상대 거리를 각 노드의 특징 표현에 흡수시킵니다. 이렇게 하면:

• 그래프 구조가 단순해짐
• 목표 정보가 등변 방식으로 인코딩됨
• 추가적인 에지 타입 불필요

3.2 이종 등변 메시지 패싱

HEPi의 핵심 알고리즘은 서로 다른 노드/에지 타입에 대해 별도의 메시지 함수를 사용하는 것입니다.

수학적 정의

노드 타입 집합을 \mathcal{T} = \{\text{actuator}, \text{object}\}라 하고, 에지 타입을 \mathcal{R}이라 합시다.

각 타입 \tau \in \mathcal{T}의 노드 v에 대한 업데이트:

h_v^{(l+1)} = \psi_\tau \left( h_v^{(l)}, \bigoplus_{(u,v,r) \in \mathcal{E}} \phi_r(h_u^{(l)}, h_v^{(l)}, \vec{r}_{uv}) \right)

여기서: - \psi_\tau: 노드 타입 \tau에 특화된 업데이트 함수 - \phi_r: 에지 타입 r에 특화된 메시지 함수 - \vec{r}_{uv}: 노드 u에서 v로의 상대 위치 벡터

의사코드 (Pseudocode)

Algorithm: HEPi Forward Pass
Input: Graph G = (V_act, V_obj, E_intra, E_inter), node features {h_v}
Output: Actions for actuators {a_i}

1. Initialize steerable features from raw inputs
   For each v ∈ V:
     h_v^(0) = Embed(x_v, target_distance_v)

2. Heterogeneous message passing (L layers)
   For l = 1 to L:
     # Intra-object messages
     For each (u,v) ∈ E_intra_obj:
       m_uv = φ_intra_obj(h_u, h_v, r_uv)
     
     # Intra-actuator messages  
     For each (u,v) ∈ E_intra_act:
       m_uv = φ_intra_act(h_u, h_v, r_uv)
     
     # Inter-edge messages (object → actuator)
     For each (u,v) ∈ E_inter:
       m_uv = φ_inter(h_u, h_v, r_uv)
     
     # Update nodes
     For each v ∈ V_obj:
       h_v^(l) = ψ_obj(h_v^(l-1), Aggregate(messages_to_v))
     
     For each v ∈ V_act:
       h_v^(l) = ψ_act(h_v^(l-1), Aggregate(messages_to_v))

3. Generate equivariant actions
   For each actuator node a_i:
     action_i = ActionHead(h_{a_i}^(L))
   
   Return {action_i}

3.3 등변 액션 생성

정책의 출력—액션—도 등변하게 생성되어야 합니다. HEPi에서 액션은 두 부분으로 구성됩니다:

1. Type-1 출력 (벡터): 말단 효과기의 속도/변위
   • 이것은 회전에 대해 등변해야 함
2. Type-0 출력 (스칼라): 그리퍼 열림/닫힘
   • 이것은 회전에 대해 불변해야 함

액추에이터 노드의 최종 특징 h_a^{(L)}에서 선형 레이어를 통해 각 타입의 출력을 추출합니다:

\mathbf{v}_a = W_1 h_a^{(L, l=1)}, \quad s_a = W_0 h_a^{(L, l=0)}

여기서 h_a^{(L, l=k)}는 차수 k의 steerable feature 성분입니다.

3.4 Trust Region Policy Learning

HEPi는 on-policy 강화학습을 사용하는데, 복잡한 조작 태스크에서 학습을 안정화하기 위해 Trust Region Policy Learning (TRPL)을 채택합니다.

TipTRPL vs PPO

PPO(Proximal Policy Optimization)가 클리핑으로 정책 업데이트를 제한하는 휴리스틱 방법이라면, TRPL은 KL 발산에 대한 명시적 제약을 사용하여 더 수학적으로 엄밀한 보장을 제공합니다.

\max_\theta \mathbb{E}\left[\frac{\pi_\theta(a|s)}{\pi_{\theta_{\text{old}}}(a|s)} A^{\pi_{\theta_{\text{old}}}}(s,a)\right] \text{s.t. } \mathbb{E}[D_{KL}(\pi_{\theta_{\text{old}}} | \pi_\theta)] \leq \delta

큰 3D 탐색 공간에서 이러한 제약이 학습 안정성에 중요합니다.

---

4. 벤치마크: 7가지 도전적 태스크

4.1 벤치마크 설계 철학

저자들은 기하학적 구조의 역할을 강조하는 새로운 벤치마크를 NVIDIA IsaacLab 위에 구축했습니다. 핵심 특징:

• 3D 전체 공간 샘플링: 초기/목표 위치가 3D 공간에서 균일 샘플링
• 점진적 난이도: 2D → 3D, 단일 → 다중 액추에이터, 강체 → 변형체
• 다양한 기하학적 형상: 별, 타원, 십자가 등 다양한 모양

4.2 태스크 상세

flowchart LR
    subgraph Rigid["강체 태스크"]
        R1["Rigid-Sliding-2D<br/>2D 슬라이딩"]
        R2["Rigid-Insertion-2D+z<br/>2.5D 삽입"]
        R3["Rigid-Insertion-3D<br/>3D 삽입"]
        R4["Rigid-Insertion-2Agents<br/>협업 삽입"]
    end
    
    subgraph Deform["변형체 태스크"]
        D1["Rope-Closing<br/>로프 닫기"]
        D2["Rope-Shaping<br/>로프 모양 만들기"]
        D3["Cloth-Hanging<br/>천 걸기"]
    end
    
    R1 --> R2 --> R3 --> R4
    D1 --> D2 --> D3
    
    style R4 fill:#ffcdd2
    style D3 fill:#ffcdd2

HEPi 벤치마크의 7가지 태스크 (난이도 순)

태스크	액추에이터 수	물체 타입	자유도	핵심 도전
Rigid-Sliding-2D	1	강체	2D	기본 테스트
Rigid-Insertion-2D+z	1	강체	2.5D	깊이 제어
Rigid-Insertion-3D	1	강체	6DoF	전체 SE(3)
Rigid-Insertion-2Agents	2	강체	협업	다중 에이전트
Rope-Closing	1	변형체	-	변형 동역학
Rope-Shaping	2	변형체	-	협업 + 변형
Cloth-Hanging	2	변형체	-	최고 난이도

4.3 물체 형상의 다양성

강체 삽입 태스크에서 사용되는 물체 형상들:

• Star (별): 5개의 뾰족한 끝점
• Ellipse (타원): 다양한 장단축 비율
• Plus (십자): 직교하는 두 막대
• Pentagon (오각형): 정다각형
• …그 외 다수

Important일반화 테스트

학습 시 본 적 없는 형상에 대한 일반화 성능을 평가하기 위해, 일부 형상은 테스트 전용으로 보류됩니다. 이는 HEPi의 기하학적 일반화 능력을 검증하는 핵심 실험입니다.

---

5. 실험 결과: 등변성과 이종성의 힘

5.1 실험 설정

• 시뮬레이터: NVIDIA IsaacLab (GPU 기반 물리 엔진)
• 환경 수: 태스크당 1000개 병렬 환경
• 평가 지표: Interquartile Mean (IQM) 보상, 95% 신뢰 구간
• 베이스라인:
  • Transformer: 완전 연결 GNN으로 볼 수 있음
  • EMPN: 순수 등변 메시지 패싱 (이종성 없음)
  • HeteroGNN: 이종 GNN (등변성 없음)
  • GNN: 순수 GNN (등변성도 이종성도 없음)

5.2 주요 결과

샘플 효율성

태스크별 1M 환경 스텝 도달 시 IQM 보상 (높을수록 좋음):

┌────────────────────────┬───────────┬───────────┬───────────┐
│ Task                   │Transformer│ EMPN      │ HEPi      │
├────────────────────────┼───────────┼───────────┼───────────┤
│ Rigid-Sliding-2D       │ ~0.8      │ ~0.85     │ ~0.85     │
│ Rigid-Insertion-2D+z   │ ~0.6      │ ~0.75     │ ~0.80     │
│ Rigid-Insertion-3D     │ ~0.3      │ ~0.5      │ ~0.65     │
│ Rigid-2Agents-3D       │ ~0.1      │ ~0.4      │ ~0.55     │
│ Rope-Closing           │ ~0.4      │ ~0.5      │ ~0.55     │
│ Rope-Shaping           │ ~0.2      │ ~0.35     │ ~0.45     │
│ Cloth-Hanging          │ ~0.1      │ ~0.25     │ ~0.40     │
└────────────────────────┴───────────┴───────────┴───────────┘

핵심 관찰:

1. 복잡도가 높을수록 격차 확대: 단순한 2D 태스크에서는 모든 방법이 유사하지만, 3D 태스크와 다중 에이전트 태스크에서 HEPi의 우위가 두드러짐

2. 등변성의 효과: EMPN이 Transformer를 일관되게 능가 → 대칭성 활용의 이점

3. 이종성의 추가 이득: HEPi가 EMPN을 능가 → 이종 구조 모델링의 이점

일반화 성능

미관측 형상에 대한 일반화:

Training shapes: Star, Ellipse, Plus
Test shapes: Pentagon, Hexagon, Triangle

┌────────────────────┬───────────┬───────────┬───────────┐
│ Metric             │Transformer│ EMPN      │ HEPi      │
├────────────────────┼───────────┼───────────┼───────────┤
│ Train Shape Success│ 0.65      │ 0.78      │ 0.85      │
│ Test Shape Success │ 0.40      │ 0.65      │ 0.75      │
│ Generalization Gap │ -0.25     │ -0.13     │ -0.10     │
└────────────────────┴───────────┴───────────┴───────────┘

HEPi는 미관측 형상에 대해서도 학습 형상 대비 성능 저하가 가장 적습니다. 이는 등변 구조가 기하학적 패턴을 더 일반적으로 학습하도록 돕기 때문입니다.

5.3 Ablation 연구

Trust Region 방법의 효과

xychart-beta
    title "학습 안정성 비교"
    x-axis "환경 스텝 (백만)" [0, 0.5, 1, 1.5, 2, 2.5, 3]
    y-axis "IQM 보상" 0 --> 0.6
    line "HEPi + TRPL" [0.05, 0.15, 0.25, 0.35, 0.42, 0.45, 0.48]
    line "HEPi + PPO" [0.05, 0.12, 0.18, 0.22, 0.28, 0.30, 0.32]

TRPL vs PPO 비교 (Cloth-Hanging 태스크)

TRPL이 PPO보다 더 안정적이고 높은 최종 성능을 달성합니다. 특히 큰 3D 탐색 공간에서 이 차이가 두드러집니다.

이종성 vs 어텐션

Transformer의 어텐션 메커니즘이 이종성을 암묵적으로 학습할 수 있을까요?

┌─────────────┬───────────────┬─────────────┐
│ Model       │ Heterogeneity │ Cloth Perf. │
├─────────────┼───────────────┼─────────────┤
│ GNN         │ ✗             │ 0.15        │
│ Transformer │ Implicit      │ 0.20        │
│ HeteroGNN   │ Explicit      │ 0.25        │
│ EMPN        │ ✗             │ 0.28        │
│ HEPi        │ Explicit      │ 0.45        │
└─────────────┴───────────────┴─────────────┘

결론: 어텐션만으로는 명시적 이종성 모델링을 대체할 수 없습니다. HEPi가 이종 GNN과 EMPN 모두를 큰 폭으로 능가합니다.

---

6. 비판적 고찰

6.1 강점

강점	설명
이론적 기반	SE(3) 등변성에 대한 수학적 보장
실용적 설계	경량 아키텍처로 on-policy RL에 적합
종합적 벤치마크	강체/변형체, 단일/다중 에이전트 포괄
일반화 능력	미관측 형상에 대한 우수한 전이
재현 가능성	코드, 환경 모두 공개

6.2 약점 및 한계

1. 시뮬레이션 전용: 실제 로봇 실험 결과 없음
   • Sim-to-real 전이에서 등변성이 어떻게 작용할지 불확실
2. 센서 입력 제한: 완전한 상태 정보 가정
   • 실제 환경에서는 포인트 클라우드, RGB-D 등 부분 관측이 일반적
3. 계산 비용: 구면 조화와 CG 텐서 곱은 계산 비용이 높음
   • 실시간 제어에서의 latency 영향 미분석
4. 태스크 범위:
   • 접촉이 풍부한(contact-rich) 조작 미검증
   • 동적 환경(움직이는 장애물 등) 미고려
5. 스케일링:
   • 물체 노드 수가 많아지면(고해상도 천 메쉬 등) 성능 영향 불명확

6.3 미래 연구 방향 제안

mindmap
  root((HEPi 확장))
    실세계 전이
      Sim-to-Real
      도메인 랜덤화
      시스템 식별
    인식 통합
      Point Cloud 입력
      Vision Backbone
      Neural Radiance Fields
    효율성 개선
      경량 등변 레이어
      지식 증류
      양자화
    태스크 확장
      접촉 풍부 조작
      도구 사용
      장기 계획

HEPi 확장을 위한 연구 로드맵

구체적 제안

1. 포인트 클라우드 기반 HEPi

   현재: 완전 상태 정보 → 이종 그래프
   제안: Point Cloud → 등변 인코더 → 이종 그래프 → HEPi

2. 계층적 등변 정책

   • 고수준: 서브골 생성 (느린 주기)
   • 저수준: HEPi 기반 제어 (빠른 주기)

3. 등변 World Model과의 통합

   • EDGI (Equivariant Diffusion for Planning) 같은 등변 월드 모델 사용
   • 모델 기반 RL로 샘플 효율성 추가 향상

---

7. 관련 연구와의 비교

7.1 등변 로봇 학습 계보

timeline
    title 등변 로봇 학습의 발전
    2018 : Tensor Field Networks
         : 최초의 SE(3) 등변 GNN
    2020 : SE(3)-Transformers
         : 등변 어텐션 도입
    2021 : EGNN
         : 경량 E(n) 등변 설계
    2022 : Equivariant RL for Manipulation
         : 로봇 조작에 등변 RL 적용
    2024 : EquiBot
         : SIM(3) 등변 확산 정책
    2025 : HEPi
         : 이종 등변 정책

등변 로봇 학습의 발전 계보

7.2 주요 관련 연구 비교

연구	등변 군	이종성	학습 패러다임	태스크
SE(3)-Transformer	SE(3)	✗	Supervised	분자
EGNN	E(n)	✗	Supervised	N-body
EquiBot	SIM(3)	✗	모방 학습	조작
EquAct	SE(3)	✗	모방 학습	키프레임
HEPi	SE(3)	✓	강화 학습	조작

7.3 EquiBot과의 차이점

EquiBot은 SIM(3) 등변 확산 정책을 제안했습니다. 주요 차이점:

측면	EquiBot	HEPi
등변 군	SIM(3) (스케일 포함)	SE(3)
정책 타입	확산 기반	MLP 기반
학습 방식	모방 학습	강화 학습
이종성	✗	✓
변형체	제한적	명시적 지원

HEPi의 장점은 강화학습과의 호환성입니다. 확산 정책은 추론 시 여러 번의 디노이징 스텝이 필요해서 on-policy RL의 빠른 rollout에 적합하지 않을 수 있습니다.

---

8. 실무자를 위한 시사점

8.1 언제 HEPi를 고려해야 할까?

적합한 경우: - 3D 공간에서의 조작 태스크 - 다양한 물체 형상에 대한 일반화 필요 - 변형체(천, 로프 등) 조작 - 다중 암 협업 태스크 - 샘플 효율성이 중요한 경우

부적합할 수 있는 경우: - 2D 태스크 (오버엔지니어링) - 완전한 상태 정보 획득 불가 - 실시간 저지연 제어 필요 - 학습 데이터가 풍부한 경우 (등변성의 이점 감소)

8.2 구현 체크리스트

□ NVIDIA IsaacLab 환경 설정
□ geometry_orbit 패키지 설치
□ Docker 컨테이너 빌드
□ 태스크별 config 파일 수정
  □ 물체 형상 정의
  □ 보상 함수 설계
  □ 초기/목표 분포 설정
□ HEPi 하이퍼파라미터 튜닝
  □ EMPN 레이어 수
  □ 구면 조화 최대 차수 (l_max)
  □ TRPL 제약 강도 (δ)
□ 학습 및 평가
  □ 학습 곡선 모니터링
  □ 일반화 테스트

---

9. 요약 및 결론

9.1 핵심 요약

Geometry-aware RL for Manipulation of Varying Shapes and Deformable Objects (HEPi)는 로봇 조작 문제의 두 가지 근본적 특성을 동시에 활용하는 혁신적인 정책 아키텍처입니다:

1. 기하학적 대칭성: SE(3) 등변 메시지 패싱으로 회전/병진 불변 학습
2. 역할의 이종성: 액추에이터와 물체를 구분하는 이종 그래프 구조

이 조합은 특히 복잡한 3D 태스크에서 샘플 효율성, 최종 성능, 일반화 능력 모두에서 유의미한 향상을 달성했습니다.

9.2 한 줄 평가

“HEPi는 기하학적 사전 지식을 신경망에 효과적으로 주입하는 방법을 보여주며, 이는 로봇 조작 RL의 샘플 효율성 문제를 완화하는 유망한 방향을 제시한다.”

9.3 ICLR 2025 Oral의 의미

ICLR 2025에서 Oral 발표로 선정된 것은 이 연구의 학술적 기여도를 증명합니다. 특히:

• 새로운 벤치마크 제공: 기하학 인식 RL 연구의 표준 평가 플랫폼
• 이론과 실험의 조화: 등변성의 수학적 보장과 실증적 검증
• 실용적 아키텍처 설계: on-policy RL에 적합한 경량 구조

주요 관련 논문들:

1. Brandstetter et al. (2022). Geometric and Physical Quantities Improve E(3) Equivariant Message Passing. ICLR.
2. Satorras et al. (2021). E(n) Equivariant Graph Neural Networks. ICML.
3. Fuchs et al. (2020). SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks. NeurIPS.
4. Yang et al. (2024). EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning. CoRL.
5. Schulman et al. (2015). Trust Region Policy Optimization. ICML.
6. Otto & Singh (2022). Trust Region-based Safe Policy Optimization.

---

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 문제 정의 및 연구 배경

로봇이 다양한 물체를 조작할 때 기하학적 구조를 이해하는 것은 매우 중요합니다. 예를 들어, 삽입 작업에서는 물체의 모양과 방향에 맞게 정확히 정렬해야 하죠. 물체의 형태가 조금만 달라져도 필요한 정렬 방법이 달라지므로, 로봇은 물체마다 고유한 기하학적 맞춤을 학습해야 합니다. 한편, 변형체(예: 천이나 밧줄)를 다루는 작업은 시간이 지나면서 물체의 형태 자체가 계속 변형되기 때문에 난제가 됩니다. 천을 걸거나 밧줄을 묶는 일은 형태 변화에 따른 복잡한 동역학 모델링과 정밀 제어가 요구되지요.

이러한 다양한 형상(rigid shapes) 및 변형체(deformable objects)를 다루는 로봇 조작 문제는 현재 로봇공학에서 크게 주목받는 도전 과제입니다. 기존 접근법들에서는 주로 각 상황에 특화된 기법이나 시범 학습에 의존하곤 했습니다. 예를 들어, 물체 삽입 문제는 물체별 맞춤 피처를 쓰거나, 천이나 밧줄 작업은 사람 시범 데이터를 활용한 모방 학습에 의존하는 경우가 많았습니다. 하지만 이 논문의 핵심 질문은: 과연 하나의 학습된 정책이 여러 가지 모양의 물체나 변형체까지 포괄하여, 처음부터 강화학습(RL)으로 배우게 할 수 있을까? 입니다.

그래프 표현은 이러한 문제를 풀기 위한 자연스러운 발상입니다. 로봇과 물체의 관계를 그래프로 나타내면, 물체의 각 부분이나 변형체의 구성 요소들을 노드(node)로 보고, 노드들 사이의 물리적/기하학적 관계를 엣지(edge)로 표현할 수 있습니다. 실제로 로봇 학습 분야에서 그래프 구조는 널리 쓰이고 있으며, 물체 조작을 그래프로 모델링하면 구조적인 귀납_bias를 줄 수 있습니다. 예를 들어, 한 연구에서는 로봇의 여러 관절과 물체 간 관계를 그래프로 표현하여 효율적으로 학습한 사례가 있지요 (Wang et al., 2018 등). 그러나 이 논문에서는 한 걸음 더 나아가, 이종(heterogeneous) 그래프로 로봇의 액추에이터(end-effector 같은 구동 장치)와 물체의 구성 요소들을 명시적으로 구분하여 표현합니다. 이렇게 하면 로봇과 물체가 맡는 역할의 차이를 구조에 녹여낼 수 있습니다.

하지만 그래프 노드로 물체의 모든 구성 점들을 표현하면 상태 차원이 매우 커지고, 3차원 공간에서 초기/목표 위치가 다양하게 주어지면 탐색 공간이 급격히 커지는 문제가 발생합니다. 이를 해결하기 위해, 논문은 SE(3) 기하학적 대칭성(3차원 회전과 평행이동의 군)을 이용한 등변(equivariant) 신경망을 도입합니다. 간단히 말해, 정책 신경망이 환경의 회전이나 이동에 따라 상응하게 출력도 변하도록 제약을 거는 것입니다. 예를 들어 정책 f가 상태 s를 받아 행동 a를 내놓는 함수라고 하면, SE(3) 등변성이란 임의의 공간 변환 g에 대해 f(g \cdot s) = g \cdot f(s)를 만족함을 뜻합니다. 즉 로봇 상태 s를 30도 회전시킨 입력에 대해 정책이 내놓는 출력 행동도 똑같이 30도 회전된 형태로 나오는 것이죠. 이렇게 하면 동일한 패턴의 조작을 굳이 매번 다른 방향으로 다시 학습할 필요 없이, 한 번의 학습으로 여러 방향에 일반화할 수 있습니다. 이는 표본 효율(sample efficiency)을 높이고 일반화 성능을 향상시키는 강력한 방법입니다. 최근에도 SE(3) 등변성을 활용한 로봇 학습 연구가 다수 나오고 있는데, 대부분은 모방학습 등 비강화학습 맥락이거나, 단일한 물체 종류에 초점을 맞추고 있었습니다. 본 논문은 강화학습 환경에서, 그것도 다양한 물체 형태와 변형체까지 아우르는 과제에 등변성을 적용했다는 점에서 의의가 큽니다.

정리하면, 이 연구의 핵심 아이디어는 “로봇 조작을 이종 그래프로 표현하고, SE(3) 대칭성을 활용한 등변 그래프 신경망 정책(HEPi)을 적용하여 다양한 형상/변형체 조작 문제를 효율적으로 학습시키자”는 것입니다. 저자들은 이를 위해 새로운 RL 벤치마크 과제들도 설계했는데, 여기에는 서로 다른 모양의 물체 끼우기(삽입), 밧줄 휘감기와 모양 만들기, 천 걸기 등 난이도 높은 작업들이 포함되어 있습니다. 이 모든 작업에서 초기 상태와 목표가 3차원 공간에서 무작위로 주어지므로, 정책이 어떤 방향이나 어떤 형태의 상황이 와도 잘 처리하도록 학습되어야 합니다. 이러한 까다로운 조건 속에서도 제안된 이종 등변 정책 HEPi는 Transformer 기반 정책이나 일반적인 등변 GNN 정책보다 빠르게 학습하고 높은 성능을 보였다고 합니다. 특히 샘플 효율성과 미견본 객체(unseen object)에 대한 일반화 면에서 큰 우위를 보였습니다. 다음 섹션에서는 제안된 모델과 알고리즘 (HEPi)의 구조를 자세히 살펴보고, 이후 실험 결과와 함께 그 의미를 분석하겠습니다.

방법: 기하학 인지 임베딩과 HEPi 구조 분석

이종 그래프를 통한 상태 표현

이 논문에서는 로봇 및 물체의 물리 상태를 이종 그래프(heterogeneous graph)로 표현합니다. 노드는 크게 두 종류로 구분되는데, 로봇 액추에이터 노드와 물체 구성 노드입니다. 액추에이터 노드는 로봇의 말단_effector나 집게와 같이 물체를 조작하는 요소를 나타내며, 물체 노드는 조작 대상 물체의 위치나 형태를 나타내는 점들입니다. 이질적인 두 종류의 노드를 사용함으로써, 그래프 자체에 “이 노드는 로봇, 이 노드는 물체”라는 역할 정보가 반영됩니다. 예를 들어, 오른쪽 그림은 Cloth-Hanging (천 걸기) 작업을 그래프로 모델링한 예시입니다. 파란색 노드들은 천 조각의 대표 지점들이고, 빨간색 노드들은 천 모서리를 쥔 로봇 팔 (액추에이터)들입니다. 빨간 노드끼리, 파란 노드끼리는 클러스터 내부 엣지(검은 실선)로 연결되어 각각 로봇들 간, 물체 지점들 간의 관계를 나타내고 있습니다. 그리고 이종 간의 엣지(점선)는 모든 물체 노드와 모든 액추에이터 노드 사이에 전방향으로 연결되어, 로봇이 물체의 모든 부분 정보를 전달받을 수 있게 합니다 (즉 fully-connected inter-edge 구조). 이러한 그래프 표현은 단일 프레임에서의 상태뿐 아니라, 시간에 따른 상호작용도 내포합니다. 예컨대 한 로봇 팔이 천의 한 지점을 잡고 움직이면, 그래프 내 해당 빨간 노드와 파란 노드 사이의 상호작용 엣지를 통해 힘 전달 및 위치 변화 정보가 흐르게 될 것입니다.

그래프 노드의 피처(feature)로는 기하학적 상태 벡터들이 사용됩니다. 구체적으로, 각 노드는 자신의 3차원 위치 좌표 p (또는 자세 orientation)을 포함한 공간 정보를 가집니다. 또한 시뮬레이션 상에서 얻을 수 있는 속도 벡터나 가속도 등의 동적 정보도 노드 피처로 포함될 수 있습니다. 환경에 따라서는 목표와의 거리나 초기 형상 대비 변화량 같은 부가 정보도 각 노드의 피처로 제공됩니다. 예를 들어, 밧줄을 특정 모양으로 형태 맞추는 작업(rope shaping)에서는 현재 밧줄의 모양과 목표 모양의 차이를 나타내는 shape descriptor를 계산하여, 그중 각 노드(밧줄 세그먼트)에 관련된 부분을 피처로 주었습니다. 천 걸기 작업에서는 천에 뚫린 구멍 주변의 노드들이 옷걸이 막대까지의 거리나 초기 구멍 위치 대비 변위 등을 속성으로 갖습니다. 흥미로운 점은, 저자들이 목표물 자체를 별도의 노드로 취급하지 않고 이런 식으로 노드들의 피처로 목표 정보를 흡수했다는 것입니다. 이는 그래프에 불필요한 노드 종류를 늘리지 않으면서도, 각 구성 노드가 목표와의 상대적 관계를 알 수 있도록 하는 설계죠.

이 그래프 구조의 장점은 표현의 통일성입니다. 단단한(rigid) 물체나 밧줄/천 같은 변형체 모두 동일한 그래프 프레임워크로 다룰 수 있습니다. 단단한 물체라면 노드 간 고정된 기하학적 관계(예: 물체 표면의 점들 사이 거리 일정 등)가 있을 테고, 변형체라면 노드 간 시시각각 변하는 관계(예: 인접한 천 입자 간 거리)도 존재할 겁니다. 이러한 관계들 역시 그래프의 내부 엣지로 표현됩니다. 예를 들어 밧줄을 80개의 짧은 링크로 모델링했다면 인접 링크들 사이에 연속성 관계 엣지를 넣을 수 있고, 천은 메쉬 형태로 입자들이 연결되어 있으므로 인접 입자들 사이에 스프링 힘을 나타내는 엣지를 둘 수 있습니다. 실제 시뮬레이터(IsaacGym)의 물리 엔진은 이러한 질점-스프링 모델로 밧줄과 천을 계산하며, 학습에 사용하는 그래프도 그와 동일하게 구성됩니다. 따라서 그래프 상에서 노드-이웃 간 메시지 전달로 힘이나 위치 정보를 주고받는 것은 곧 실제 물리 시뮬레이션 상의 상호작용를 근사하게 됩니다.

정리하면, 이종 그래프 상태 표현은 다음과 같은 구조적 특징을 갖습니다:

• 노드 종류: 액추에이터(로봇) 노드 vs. 물체(대상) 노드 두 가지로 구분. 각 노드는 자기 타입을 나타내는 식별자와 함께 위치, 속도 등 상태 피처를 가짐.
• 엣지 종류:
• 클러스터 내부 엣지 (intra-edge): 같은 종류 노드들끼리 연결. 로봇 노드들 간 엣지는 다수 로봇이 있을 때 상호 협조 관계 파악에 사용되고, 물체 노드들 간 엣지는 물체의 부분들 간 기하학적 구조(인접성, 연성等)를 반영.
• 클러스터 간 엣지 (inter-edge): 이종 노드 사이를 전방향 완전 연결로 잇는 엣지들. 모든 물체 노드의 정보가 모든 액추에이터로 전달될 수 있는 통로로서, 객체-로봇 상호작용을 담당. 논문에서는 “정보는 물체에서 로봇으로 집계된다”라고 표현하여, 주로 물체→로봇 방향의 메시지 흐름을 강조했습니다. (필요에 따라 로봇→물체 피드백도 가능하나, 정책 결정 면에서 핵심은 로봇이 물체 정보를 얻는 것입니다.)

이렇게 형성된 그래프는 일종의 동역학 계의 구조화된 표현이라고 볼 수 있습니다. 이제 이 그래프를 입력으로 받아 행동 출력을 내놓는 정책 네트워크가 필요합니다. 여기서 제안되는 것이 바로 이종 등변 정책 (HEPi) 모델입니다.

SE(3) 등변 메시지 전달 신경망 (EMPN)

HEPi의 근간이 되는 신경망은 SE(3) 등변(equivariant) 성질을 지닌 메시지 전달 그래프 신경망입니다. 등변성이란 앞서 언급했듯이, 입력 그래프를 어떤 공간 변환(회전 또는 이동)했을 때 출력도 똑같이 변환되는 성질입니다. 이를 정책 함수로 개념적으로 표현하면: \pi(g \cdot s) = g \cdot \pi(s) 모든 SE(3) 변환 g와 상태 s에 대해 성립하는 것을 목표로 합니다. 여기서 g \cdot s는 상태 s의 모든 좌표에 변환 g (예컨대 30도 회전)을 적용한 상태이고, g \cdot \pi(s)는 정책이 낸 행동의 좌표에 동일한 변환 g를 적용한 것입니다. 등변 정책은 환경의 대칭성(symmetry)을 이용해 학습 효율을 높이는데, 왜 그런지 간단한 예로 설명해 보겠습니다. 로봇이 정육면체 블록을 끼우는 작업을 학습한다고 합시다. 환경의 대칭성을 고려하지 않는 일반 신경망은, 블록이 0도인 경우, 90도 회전된 경우, 45도인 경우 등 각기 다른 각도로 놓인 상황들을 일일이 별개로 보며 학습해야 할 것입니다. 하지만 회전 등변성을 지닌 신경망은 블록이 90도 돌아가 있어도 이를 0도의 경우와 본질적으로 같은 상황으로 인식하고, 예측한 행동도 90도 회전된 결과로 자동 조정합니다. 그러므로 하나의 방향에서 습득한 삽입 스킬을 모든 방향으로 즉각 일반화할 수 있으며, 불필요한 중복 학습이 줄어듭니다. 논문 저자들도 이러한 대칭성 활용으로 탐색 공간 복잡도를 크게 줄였다고 강조합니다.

그렇다면 그래프 신경망에서 SE(3) 등변성을 어떻게 구현할까요? 이를 위해 저자들은 기존 연구인 PONITA 프레임워크를 기반으로 한 등변 메시지 전달 네트워크(Equivariant MPN)를 설계했습니다. 일반적인 메시지 전달 신경망(MPNN)에서는 각 노드가 이웃 노드들의 피처를 받아들여 자신의 은닉 상태를 업데이트하는 과정을 반복합니다. 한 노드 v의 상태 업데이트는 보통 다음과 같이 수식으로 표현할 수 있습니다:

h_{v}^{(k + 1)} = \phi\left( \mspace{6mu} h_{v}^{(k)},\mspace{6mu}\mspace{6mu}\bigoplus_{u \in N(v)}\psi\left( h_{v}^{(k)},\mspace{6mu} h_{u}^{(k)},\mspace{6mu} e_{uv} \right)\mspace{6mu} \right),

여기서 h^{(k)}*v는 노드 v의 k번째 계층(layer) 또는 메시지 전달 스텝에서의 피처 벡터, N(v)는 v의 이웃 노드 집합, 그리고 e*는 엣지 (u,v)의 특성(있다면)입니다. 함수 \psi는 이웃 u로부터 오는 메시지를 계산하는 역할, \phi는 v 노드의 현재 상태와 이웃으로부터 온 메시지들을 통합(aggregate)하여 새로운 상태를 내는 역할을 합니다. \bigoplus는 이웃 메시지의 모종의 집계 연산(sum, mean 등)입니다. 등변 MPNN에서는 이 \psi와 \phi를 설계할 때 좌표계 변환에 따라 적절히 변환되는 특징만 사용하도록 합니다. 다시 말해, 두 노드 간 상대적인 위치나 방향을 메시지에 활용하되, 그 값들을 회전했을 때 예측도 똑같이 회전되는 형태로 만들어야 합니다. 이를 위해 논문은 공간적 부분과 방향적 부분으로 메시지를 분해합니다. 예컨대 노드 u와 v의 위치벡터를 p_u, p_v라 하면, \psi 계산에 상대 위치 p_u - p_v를 포함시킵니다. 이 벡터는 v에서 u를 가리키는 방향이므로, 환경이 회전하면 같은 식으로 회전되어 변합니다. 또 노드의 방향 orientation 단위벡터 o_v, o_u (예: 로봇 끝의 방향, 물체 표면 법선 등)을 활용해 o_v \cdot o_u 같은 내적(dot product)도 메시지에 사용합니다. 내적은 두 방향 사이의 각도차 정보를 줍니다. 이 역시 두 벡터를 동일하게 회전하면 내적 값은 불변이므로, 회전된 상황에서도 똑같은 특징으로 작용합니다. 이렇게 상대 위치 (translation에만 의존)와 방향 간 각도 (rotation에 불변) 등을 조합하여 메시지를 만들면, 전체 네트워크가 SE(3) 변환에 공변하게 행동할 수 있습니다. 쉽게 말해, 네트워크는 절대 좌표보다는 노드 간 상대적인 기하 관계에 의존하여 판단하도록 유도되는 것이죠.

저자들이 사용한 PONITA 기반 EMPN은 위 아이디어를 더욱 발전시켜, 계산 효율과 표현 능력을 모두 잡은 형태라고 합니다. 구체적인 커널 함수나 구현 방식은 논문에 자세히 나와 있지는 않지만, 요지는 메시지 함수를 공간 부분과 방향 부분, 피처 부분으로 분리해 인코딩함으로써 계산량을 줄이고도 등변성을 확보했다는 것입니다. 이를 통해 이 EMPN은 대칭성이 많은 환경에서도 큰 모델 없이 효율적으로 학습이 가능해집니다. 특히 3차원 조작에서는 회전 자유도가 있기 때문에, 이런 SE(3) 등변 제약을 걸면 학습해야 할 상황 수를 이론상 360도 범위만큼 줄이는 효과가 있습니다. 이와 관련된 선행 연구들(Zeng et al., 2020; Huang et al., 2022 등)도 실험적으로 등변 GNN이 그렇지 않은 네트워크보다 적은 데이터로 더 높은 성능을 내는 것을 보인 바 있습니다.

HEPi 정책 구조: 이질성 활용 메시지 전달

이제 Heterogeneous Equivariant Policy (HEPi)의 전체 구조를 살펴보겠습니다. HEPi는 이름처럼 이종(heterogeneous) 그래프의 특성을 제대로 활용하기 위해 특별히 고안된 정책 신경망입니다. 기본 개념은 “각각의 노드 타입(액추에이터 vs 물체)에 맞게 따로 처리할 건 처리하고, 정보 교환이 필요한 부분만 효과적으로 교환하자”입니다. 이를 위해 HEPi는 여러 단계의 메시지 전달 과정을 거치는데, 크게 지역 처리 단계(동질 노드 간)와 전역 처리 단계(이종 노드 간)로 나눌 수 있습니다. 직관적으로, 로봇들 사이에 먼저 협조를 맞추고 물체의 부분들끼리도 서로 상태를 공유한 다음, 로봇이 물체의 상세 정보를 받아 최종 행동을 결정하는 흐름입니다.

1) 물체 노드들의 지역 처리: 우선 물체 클러스터 내에서 물체-물체 메시지 전달이 일어납니다. 예를 들어 천이라면 인접한 천 입자 노드들끼리 서로의 변위나 장력 정보를 주고받아 천의 현재 변형 상태를 파악할 수 있을 것입니다. 단단한 물체라 해도, 물체 표면을 대표하는 여러 노드들이 있다면 그들 간 상대 위치를 파악하여 물체의 모양 또는 자세를 인지할 수 있습니다. 이 단계에서는 액추에이터 정보는 개입하지 않고, 물체 자체의 구조적 상태를 각 물체 노드들이 요약해 나간다고 볼 수 있습니다.

2) 로봇 노드들의 지역 처리: 동시에 또는 이어서, 액추에이터 클러스터 내 로봇-로봇 메시지 전달이 이뤄집니다. 만약 하나의 로봇 손끝만 있다면 이 과정은 의미가 없지만, 두 개 이상의 협동 로봇 팔이 있는 경우에는 서로의 위치나 속도를 교환하여 협조적인 전략을 세울 수 있습니다. 예컨대 두 로봇 팔이 함께 물체를 밀거나 당기는 작업에서는, 상대 로봇의 움직임 방향을 알아야 충돌을 피하고 힘을 합칠 수 있을 겁니다. 이 단계에서는 물체 정보 없이 로봇들 간 조율에 집중합니다.

3) 전역 상호작용 처리: 가장 중요한 단계로, 물체 노드들의 정보가 로봇 노드로 전달되는 이종 간 메시지 전달입니다. HEPi에서는 모든 물체 노드로부터 모든 액추에이터 노드로 메시지가 전달되도록 완전 연결된 구조를 만들었고, 이 메시지 함수도 당연히 SE(3) 등변성을 지니게 설계되었습니다. 이 과정 덕분에 각 로봇 노드는 전체 물체의 상태에 대한 집약 정보를 단 한 번의 메시지 집계로 얻어낼 수 있습니다. 이는 HEPi의 중요한 설계 포인트인데, 대조적으로 이종성을 무시한 일반 GNN이나, 또는 글로벌 가상 노드(Virtual Node) 한 개를 통해 간접적으로 물체-로봇 연결을 하는 구조에서는 이러한 즉각적인 전역 정보 공유가 어렵다고 지적합니다. 예를 들어, 기존에 제안된 MPNN+VirtualNode 방식에서는 글로벌 노드를 통해 정보가 한 단계 추가로 거쳐야 하기 때문에, 어떤 물체 노드 u와 로봇 노드 v가 두 홉 이상 떨어진 이웃이 되어 즉각적인 상호작용이 안 생길 수 있습니다. 반면 HEPi의 경우 1단계의 inter-message passing만으로도 모든 u (물체)에서 v (로봇)로 영향을 줄 수 있으므로, 정보 전달 효율이 훨씬 좋습니다. 저자들은 이를 이론적으로도 뒷받침하여, HEPi의 연결 설계에서는 단일 레이어로 임의의 로봇-물체 간 관계를 포착할 수 있다는 점을 Proposition으로 제시하였습니다. (증명은 부록에 제공되었다고 합니다.) 요컨대, 명시적인 이질성 처리 덕분에 정책이 중요한 물체 정보를 놓치지 않고 제때 받아볼 수 있게 된 것입니다.

이러한 순차적 메시지 전달 과정을 거친 후, 최종적으로 업데이트된 로봇 노드들의 상태를 행동 출력으로 변환합니다. 일반적으로 액추에이터 노드 하나당 로봇 하나의 제어 신호를 출력하며, 로봇이 속도 제어를 한다면 노드의 은닉 벡터를 MLP 등을 통해 그 로봇의 3차원 속도 명령으로 매핑합니다. HEPi 논문에서도 모든 액추에이터 노드에 대해 선형 속도 벡터 출력을 내도록 했습니다. 만약 로봇의 제어 공간이 더 복잡하다면 (예: 힘 제어나 위치 제어), 그에 맞게 출력을 구성하면 될 것입니다. HEPi 구조 자체는 정책 네트워크의 백본(backbone)이므로, 출력 부분은 상황에 맞게 유연하게 붙일 수 있습니다. 요약하면 HEPi의 정책 네트워크는 “물체 부분들 ↔︎ 로봇들”로 이루어진 그래프에서 다단계의 등변 메시지 전달을 수행하여, 로봇 노드들의 출력으로 행동을 결정짓는 그래프 신경망 정책이라고 할 수 있습니다. 아래 Mermaid 다이어그램은 HEPi의 메시지 전달 흐름을 단계별로 요약한 것입니다:

flowchart TB
    subgraph step1["Step1: 물체-물체 메시지 전달"]
        O1(Object Node) --> O2(Object Node)
        O2 --> O3(Object Node)
        O3 --> O1
    end
    subgraph step2["Step2: 로봇-로봇 메시지 전달"]
        A1(Actuator Node) --> A2(Actuator Node)
        A2 --> A1
    end
    subgraph step3["Step3: 물체→로봇 상호작용"]
        O1 & O2 & O3 -.-> A1
        O1 & O2 & O3 -.-> A2
        A1 & A2 -->|행동 출력| PolicyAction
    end

위 다이어그램에서 Step1과 Step2는 각 동종 노드 그룹 내부에서의 정보 공유를 나타내고, Step3에서는 이종 간의 정보가 로봇 노드로 모이는 과정을 나타냅니다. 마지막에 로봇 노드들이 집계한 정보를 바탕으로 PolicyAction 즉 정책의 최종 행동이 출력됩니다. 이처럼 구조적으로 구분된 단계들 덕분에, HEPi는 동일한 등변 MPN 모듈을 상황에 맞게 여러 번 적용하는 모듈식 설계를 취하고 있습니다. 실제 구현에서는 여러 개의 EMPN 레이어를 쌓되, 그 내부에서 메시지 종류(엣지 타입)에 따라 다른 파라미터를 쓰는 형태로 구성했을 가능성이 높습니다. (예를 들어 PyTorch Geometric 같은 GNN 라이브러리에서 HeteroConv 등을 사용하면 엣지 타입별 다른 메시지 함수를 정의할 수 있습니다.) 이러한 모듈식 접근은 모델 표현력을 높여주면서도 과도한 파라미터 증가를 억제해 줍니다. 모든 노드와 엣지에서 똑같은 함수 하나를 쓰는 단일 GNN보다 유연하고, 그렇다고 종류마다 완전히 별개의 네트워크를 쓰는 것보다 효율적이지요. 저자들도 HEPi가 표현력과 계산 효율을 겸비했다(expressive and computationally efficient)고 소개하고 있습니다.

안정적인 RL 학습: 신뢰 영역 기반 업데이트

마지막으로, 강화학습 알고리즘 측면에서의 설계입니다. HEPi는 기본적으로 on-policy Actor-Critic 방식의 알고리즘을 사용하여 학습합니다. 저자들은 시도된 알고리즘으로 PPO(Proximal Policy Optimization)와 TRPL(Trust Region Policy Layers) 두 가지를 언급하는데요, 특히 복잡한 3차원 환경에서는 PPO만으로는 학습이 불안정하여 TRPL이라는 보다 원칙적인 신뢰-영역 방법을 활용했다고 합니다.

간단히 배경을 설명하면, PPO는 업데이트 시 목표 함수의 ratio 클리핑으로 신뢰 영역(trust region)을 근사적으로 지켜주는 알고리즘입니다. Actor-Critic 기반 정책 그래디언트를 최적화할 때 한 번에 큰 갱신을 하지 않도록, 이전 정책 대비 바뀐 정도를 클리핑하여 안정성을 얻는 것이죠. 하지만 복잡한 문제에서는 PPO의 성능이 하이퍼파라미터 세팅에 민감하여 잘 안 되면 훈련이 발산하기 쉽습니다. 특히 이 논문의 천 걸기(Cloth-Hanging) 같은 어려운 과제에서는 PPO로는 보상을 제대로 못 올리고 불안정했다고 합니다. TRPL은 Otto et al.(2021) 등의 연구에서 제안된 방법으로, 신뢰 영역 제약을 명시적으로 강제하는 투영(projection) 계층을 둔 방식입니다. 쉽게 말해 TRPO(Trust Region Policy Optimization)의 아이디어를 딥넷 안으로 녹여서, 상태별로 정책 변화량을 엄격히 제한하는 기법입니다. 저자들은 TRPL을 적용하여 HEPi를 훈련한 것을 HEPi+TRPL로, PPO로 훈련한 것을 HEPi+PPO로 구분해서 실험했는데, 동일한 HEPi 구조라도 학습 알고리즘에 따라 성능 차이가 크게 났다고 보고합니다. TRPL 기반 학습은 모든 과제에서 안정적으로 수렴한 반면, PPO는 고차원/고난도 과제에서 자주 불안정했고, 튜닝을 많이 해야 했다는 것입니다. 이를테면, PPO의 클리핑 파라미터 \epsilon를 여러 값으로 그리드 탐색해서 가장 나은 성능을 간신히 찾았지만, 그래도 3D 천 걸기에서는 수시로 정책이 무너졌다고 합니다. 반면 TRPL은 별다른 튜닝 없이도 안정적인 상승 곡선을 그렸다고 하네요. 결국 HEPi의 최종 제안된 구성은 “그래프 등변 정책 + TRPL 알고리즘”으로 요약할 수 있습니다. (논문에는 HEPi 자체의 혁신과 더불어, 이렇게 학습 안정화 기법을 병행한 점도 중요한 기여로 언급하고 있습니다.)

마지막으로, 구현 측면에서 몇 가지 언급할 사항이 있습니다. 시뮬레이터로 사용된 NVIDIA IsaacLab (IsaacGym 기반) 덕분에, 저자들은 병렬 시뮬레이션로 학습 속도를 크게 향상시켰습니다. 하나의 GPU에서 수백 개 환경을 동시에 돌리며 데이터를 모을 수 있으므로, 복잡한 물리 환경에서도 수시간 내로 정책을 학습시킬 수 있었습니다 (실제로 부록의 Table에는 과제별 수 시간 내의 훈련 시간을 보고하고 있습니다). 또한 그래프 연산은 PyTorch Geometric 같은 라이브러리로 효율화했고, Transformer baseline은 PyTorch TransformerEncoder로 구현하는 등 재현가능한 설정을 따랐습니다. 요컨대, HEPi 모델은 강화학습 프레임워크와 그래프 신경망 모델을 정교하게 결합한 사례라 할 수 있습니다. 다음으로는 이렇게 제안된 방법을 실험으로 검증한 내용을 살펴보겠습니다.

실험: 새로운 벤치마크 과제 및 결과 분석

벤치마크 과제 설계

저자들은 HEPi의 효과를 검증하기 위해 7개의 로봇 조작 과제로 구성된 새로운 RL 벤치마크를 만들었습니다. 이들은 크게 두 범주로 나뉘는데, 하나는 다양한 형상의 단단한 물체(rigid)들을 다루는 과제들이고, 다른 하나는 변형 가능한 물체(deformable)를 다루는 과제들입니다. 모든 과제는 NVIDIA IsaacLab 시뮬레이터 상에 구현되었고, GPU 가속 덕분에 병렬로 대량 샘플을 발생시킬 수 있습니다. 또한 로봇 팔 기구 자체의 복잡함을 배제하기 위해, 엔드 이펙터(집게)의 직교 좌표 운동만 제어하는 방식으로 과제를 추상화했습니다. 이는 연구의 관심사를 “물체와 로봇 간의 기하학적 관계 학습”에 집중시키기 위함입니다.

각 과제의 초기 상태와 목표 구성은 넓은 범위에서 무작위로 샘플링됩니다. 예를 들어, 2D 평면에서 이루어지는 과제라 해도 초기 위치가 \[-1,1]\times\[-1,1] 범위 안에서 랜덤하게 정해지고 목표 위치/방향도 임의로 주어지는 식입니다. 3D 과제의 경우 초기/목표 위치가 구 또는 반구 공간 안에서 균일 표본 추출됩니다. 이렇게 함으로써 학습된 정책의 일반화 능력을 자연스럽게 시험할 수 있습니다. 한정된 몇 가지 위치만 반복적으로 겪는 것이 아니라, 매 에피소드마다 새로운 배치를 경험하니, 정책이 공간 전체에 대한 보편적인 전략을 학습해야 하는 것이죠.

아래에 각 과제를 간략히 소개합니다:

• Rigid-Sliding (평면 위 밀기): 로봇의 흡착 패드(suction gripper)로 평면 위에 놓인 물체를 밀어 이동시키는 과제입니다. 2D 평면 상에서 물체를 목표 위치까지 슬라이드시켜 놓고, 목표 각도에 맞춰 정렬하는 것이 목표입니다. 이 작업에는 서로 다른 10종의 물체가 사용되며, 물체의 모양이 직사각형, 원형, 삼각 등 다양합니다 (예: Transporter Net 논문에서 사용된 kit들이 참고된 듯합니다). 초기 위치와 목표 위치/방향은 무작위입니다. 로봇 흡착 패드는 물체에 달라붙은 상태로 움직일 수 있어서, 마찰 없이 부드럽게 미끄러뜨린다고 보면 됩니다.
• Rigid-Pushing (떨어져 밀어내기): Rigid-Sliding과 비슷하지만, 이번에는 로봇 패드가 물체에 붙어있지 않고 떨어져서 자유롭게 움직일 수 있습니다. 즉 로봇은 물체를 직접 밀어서 목표 지점으로 옮겨야 합니다. 이 경우 물체를 원하는 방향으로 보내기가 더 까다로운데, 마찰과 관성 등을 고려해야 하기 때문입니다. 2D 평면에서 진행되며 초기/목표 조건은 비슷하게 무작위입니다. 이 과제는 물체와 로봇 사이 물리적 연결이 없는 상황을 다루어, 정책이 접촉을 만드는 전략까지 학습해야 한다는 점이 흥미롭습니다.
• Rigid-Insertion (3D 삽입): Transporter Net의 조립 키트 과제를 확장한 것으로, 3차원에서 물체를 맞춰 끼우는 작업입니다. 예를 들어 십자형 기둥을 십자 모양 구멍에 끼우는 것처럼, 로봇이 물체를 쥐고 정확한 자세로 정렬하여 목표에 넣는 것을 목표로 합니다. 환경에 8종의 서로 다른 모양의 물체와 그에 대응되는 구멍이 준비되어 있습니다. 플러스(십자), T자, 별 모양, 육각 기둥 등 다양한 형상이 있고, 크기도 약간씩 다릅니다. 각각의 물체는 메쉬 형태로 모델링되어 있으며, 학습 시에는 비교적 낮은 해상도 (소수의 대표 지점들로 단순화된 형태)의 물체 모델을 사용합니다. 후술할 일반화 실험에서는 고해상도 메쉬 (수백~천여 개 노드)에 대해서도 테스트를 합니다. Rigid-Insertion 과제에서는 로봇 한 개가 물체를 다루며, 초기 물체 자세와 목표 구멍 위치/방향은 주로 3D 공간의 한 평면(예: 작업대 평면) 위에서 무작위 지정됩니다.
• Rigid-Insertion-Two-Agents (다중 로봇 3D 삽입): 위 삽입 과제의 변형으로, 로봇 두 대가 협력하여 물체를 끼우는 고난도 작업입니다. 두 로봇이 하나의 물체를 양쪽에서 잡거나, 혹은 한 로봇이 물체를 잡고 다른 로봇은 보조를 하면서 함께 원하는 위치로 가져가는 시나리오입니다. 초기 물체는 3차원 공간 임의의 방향으로 놓일 수 있으며, 목표 위치도 공간의 반구(upper hemisphere) 영역에 무작위로 주어집니다. 로봇은 둘 다 선형 운동만 제어할 수 있고, 물체를 들고 있다고 가정합니다. 이 과제는 협업(coordination)과 3차원 정렬이라는 두 가지 어려움이 동시에 존재하므로, HEPi의 이질적 메시지 전달과 등변성이 특히 빛을 발하는 테스트 케이스입니다.
• Rope-Closing (밧줄 감아 봉 합치기): 변형체 과제 중 하나로, 두 개의 로봇 팔이 밧줄의 양 끝을 잡고 2D 평면에서 움직입니다. 목표는 밧줄을 펼쳐진 상태에서 원형 물체(기둥) 주위로 휘감아서, 밧줄 끝점끼리 최대한 가까이 오도록 만드는 것입니다. 쉽게 말해, 밧줄로 기둥을 묶는 동작의 일부를 자동화한 것이라 볼 수 있습니다. 성공 측정은 두 끝 그리퍼 사이의 거리로 평가되며, 거리가 가까울수록 (즉 밧줄이 기둥에 잘 감길수록) 보상이 높아집니다. 이 과제는 Laezza et al.(2021)의 환경을 차용하였고, 초기에 밧줄은 기둥의 한쪽 옆에 아무렇게나 놓여 있습니다. 두 로봇이 협력해서 한쪽 끝을 반대편으로 넘겨서 마주오게 해야 합니다. 밧줄은 시뮬레이터에서 약 40개의 작은 링크들로 이루어진 연쇄로 모델링되었고, 각 링크가 하나의 물체 노드로 표현됩니다. 로봇 두 개의 끝_effector는 액추에이터 노드가 되겠지요.
• Rope-Shaping (밧줄 모양 만들기): 밧줄 변형체의 두 번째 과제입니다. 두 로봇이 밧줄 끝을 잡고 움직여서, 밧줄 전체를 정해진 특정 모양으로 만들어야 합니다. 예시로 언급된 목표 모양은 알파벳 “W” 형태입니다. 목표 모양 자체도 회전되어 제시될 수 있기 때문에, 단순히 모양뿐 아니라 방향 정렬도 맞춰야 합니다. 이 과제는 LASA Shape Dataset (Khansari & Billard, 2011)에서 따온 2D 궤적 모양을 밧줄로 구현하는 개념으로 볼 수 있습니다. 초기에는 밧줄이 일자로 뻗은 상태이고, 목표 각도 범위는 무작위입니다. 밧줄은 80개 링크로 이루어진 긴 사슬로 모델링되어 있으며, 각 링크가 노드로 표현됩니다. 여기서 가장 큰 난점은 형상 비교입니다. 목표 W 모양과 현재 밧줄 모양이 얼마나 유사한지를 계산하는 shape descriptor를 저자들이 고안하여, 보상으로 사용했습니다. 구체적으로, 밧줄을 일정 간격으로 샘플링한 여러 점들의 국소 곡률(인접 선분들 간 각도)과 전역 방향에 대한 각도, 그리고 중심으로부터의 상대 위치들을 특징으로 삼아 벡터 D_\text{shape}를 만든 뒤, 현재와 목표 D의 거리를 재는 식입니다. 이 거리 ||D_{current} - D_{target}||가 작아질수록 (즉 모양이 맞아갈수록) 보상을 크게 주었습니다. 밧줄 모양 맞추기는 밧줄 감기보다 훨씬 섬세한 조작을 요구하며, 80개나 되는 링크의 상태를 모두 고려해야 해서 관찰 차원도 매우 큽니다. 이러한 문제는 HEPi의 그래프 구조로 개별 링크들의 정보를 효율적으로 처리함으로써 해결했습니다.
• Cloth-Hanging (천 걸기): 가장 복잡한 과제입니다. 네 개의 로봇 액추에이터가 직사각 천의 네 모서리를 붙잡고 있습니다. 천 한가운데에는 둥근 구멍이 나 있으며, 목표는 그 구멍을 막대기 형태의 옷걸이에 걸도록 천을 옮기는 것입니다. 결국 네 로봇이 천을 잡아당겨 들어올려 적절한 자세로 이동시키면, 천의 구멍 부분이 옷걸이에 걸쳐져서 성공이겠죠. 이 작업은 3차원 공간에서 이루어지고, 옷걸이 막대의 위치와 천의 초기 자세가 다양하게 바뀝니다. 천은 물리 시뮬레이터에서 질점-스프링 모델로 구현되었고, 천 전체를 높은 해상도로 그래프에 넣기에는 상태 차원이 너무 크기 때문에, 정책 입력으로는 구멍 가장자리의 입자들만 선별하여 사용했습니다. 논문에서는 구멍 둘레 중심에서 가까운 10개의 입자를 고르는 방법(knn, k=10)을 썼다고 합니다. 이 10개 노드가 천 쪽 물체 노드로써 정책에 주어집니다. (한편 가치함수(critic) 네트워크에는 보상 계산을 정확히 예측하도록 천의 모든 입자 정보를 넣었다고 언급되어 있습니다.) 로봇 액추에이터는 4개 모서리에 붙어있는 집게들로, 로봇 노드 4개가 되겠지요. 이 과제에서 보상은 옷걸이 막대와 구멍의 상대적 위치를 반영하는 거리/정렬 보상, 그리고 움직임의 부드러움을 위한 액션 변화 페널티 등으로 구성되었습니다. 특히 구멍의 위치와 초기 구멍 위치(천을 처음 잡았을 때 구멍 중심) 등을 노드 피처로 추가 제공하여 학습을 돕는 트릭을 썼다고 합니다. 천 걸기 과제는 다수 로봇 협동, 대규모 변형체, 3D 임의 자세, 정밀한 목표가 한데 모인 극악 난이도 문제입니다. 이 과제를 기존 방법 (예: 일반 GNN이나 Transformer)으로 푸는 것은 거의 불가능에 가까웠지만, HEPi는 유의미한 성과를 냈습니다.

요약하자면, 제안된 벤치마크는 다양한 형태의 도전적 작업들로 구성되어 HEPi의 강점을 다각도로 실험할 무대를 제공합니다. 특히 Rigid-Insertion-Two-Agents와 Cloth-Hanging은 각각 이종 노드 협업과 고차원 변형체 처리 측면에서 어려운 케이스입니다. Rope-Shaping과 Rigid-Pushing 등은 탐색 공간이 넓고 국지 최적해에 빠지기 쉬운 과제들입니다. 이러한 과제들을 통해 HEPi의 탐색 효율, 표현력, 안정성을 평가하게 됩니다.

비교 대상 (Baselines)

실험에서는 HEPi의 성능을 평가하기 위해 세 가지 주요 비교군을 사용했습니다:

• Transformer 기반 정책: 이 접근은 최근 여러 멀티모달 RL에서 각 객체나 요소를 토큰으로 처리해 Transformer로 의사결정하는 방식과 유사합니다. 여기서는 그래프 구조를 무시하고, 각 로봇과 물체의 상태 피처들을 단순 나열한 시퀀스 입력으로 취급합니다. PyTorch TransformerEncoder를 이용해 이 순차 입력을 몇 개 레이어 통과시킨 후, 필요한 만큼 출력을 뽑아 행동으로 삼았습니다. Transformer는 전역적 어텐션으로 입력들 사이 관계를 학습으로 파악해야 하므로, 구조적 inductive bias는 없습니다. 그럼에도 Transformer는 충분한 용량(capacity)을 지닌 모델이고, 이질적인 입력을 처리하는 데 널리 쓰여왔으므로 강력한 baseline으로 간주됩니다. 특히 Hong et al.(2022)의 “Structure-aware Transformer”나 Gupta et al.(2022) 등의 연구에서 여러 객체를 다루는 RL에 Transformer를 쓴 사례가 있어, 이 논문에서도 Transformer를 일종의 SOTA 대용Baseline으로 설정한 것으로 보입니다.
• Naive EMPN (동질 등변 GNN): 이것은 HEPi에서 이질성 처리를 제거한 버전으로 볼 수 있습니다. 즉 노드 간 구분 없이 하나의 등변 메시지 전달 네트워크로 모든 노드를 처리하는 모델입니다. 구조적으로는 HEPi와 마찬가지로 SE(3) 등변성을 갖추었지만, 액추에이터와 물체를 별도로 다루지 않고 단일 그래프로 묶어서 동일한 방식으로 메시지를 주고받습니다. 엣지도 로봇-물체 구분 없이 모든 인접 노드 쌍 간 연결될 것입니다. 쉽게 말해 “이종”이 아닌 “동종 등변 GNN”입니다. 이 모델은 여전히 대칭성은 활용하므로 Transformer보다는 유리할 수 있으나, 로봇과 물체의 역할 차이를 모호하게 만들기 때문에 HEPi보다는 표현력이 낮을 수 있습니다. 저자들은 이 naive EMPN이 복잡한 3D 과제에서 표현 부족으로 국지 최적해에 머물렀다고 분석합니다.
• 추가 비교 (Heterogeneous GNN 등): 주된 실험에서는 위 두 baseline과 HEPi를 비교했지만, Cloth-Hanging 같이 어려운 과제에서는 참고로 두 가지 추가 baseline을 테스트했습니다. 하나는 Heterogeneous GNN (비등변)이고, 다른 하나는 naive GNN (비등변)입니다. 전자는 우리 논문 기법처럼 노드 종류를 구분하되 등변 제약이 없는 일반 GNN입니다. 후자는 노드 구분도 없고 등변도 없는 그냥 일반 GNN이지요. 이들은 Transformer나 EMPN보다도 성능이 떨어졌는데 (학습이 거의 안되는 수준), 이를 통해 등변성의 이점과 이종 모델링의 이점을 각각 검증했습니다. 결과적으로 등변성만 갖추면 Transformer보다 향상되며, 이종 설계까지 하면 더욱 개선됨을 실험으로 확인한 것입니다.

비교 실험은 모든 과제에 대해 진행되었고, 앞서 언급한 PPO vs TRPL 알고리즘 비교도 함께 실시되었습니다. 즉 HEPi와 Transformer에 대해 각각 PPO로 학습한 경우와 TRPL로 학습한 경우를 교차 비교하여, 알고리즘이 미치는 영향도 평가했습니다. 이러한 복합적인 비교를 통해 “우리 모델의 구조적 우위”와 “학습 기법의 우위”를 분리해서 살펴볼 수 있었습니다.

주요 실험 결과

1. 학습 곡선 및 성능 비교:

7개 과제에서 에피소드 리턴(누적 보상)의 학습곡선을 비교한 결과, HEPi가 전반적으로 가장 우수한 성능을 보였습니다. 특히 복잡한 3D 환경이나 탐색 난도가 높은 과제에서 HEPi의 리턴이 가파르게 상승하고 최종 수준도 높았습니다. 예를 들어 Rigid-Insertion-Two-Agents-3D (두 로봇 3D 삽입) 과제의 경우, Transformer는 다양한 자세에 모두 대응하는 정책을 찾지 못해 성능이 저조했고, naive EMPN은 어느 정도 대칭성을 이용해 나쁘지 않은 출발을 보였지만 중간에 성능 향상이 정체되었습니다. 반면 HEPi는 지속적으로 학습이 진행되어 최종적으로 두 baseline을 큰 격차로 앞질렀습니다. Rigid-Pushing-2D도 유사하게, 물체를 자유롭게 밀어야 하는 탐색형 과제인데, Transformer는 무작위 탐색에 머무르는 경향을 보이고 EMPN은 표현 한계로 최적해를 놓쳤지만, HEPi는 더 효과적인 탐색 전략을 스스로 발견하여 최고 성능을 달성했습니다.

반면, 난이도가 낮거나 기하학적 복잡도가 적은 과제에서는 세 모델 간 큰 차이가 없었습니다. 예를 들어 Rigid-Insertion-2D+z (2D 평면에 + 약간의 높이 방향만 있는 삽입) 과제에서는 Transformer와 HEPi가 유사한 최종 성능을 냈습니다. 이는 과제 자체가 비교적 간단하여 등변 제약의 이점이 크게 드러나지 않았기 때문으로 해석됩니다. 실제로 2D 환경에서는 회전 대칭이 한 가지 각도 차원만 있고, 목표 위치도 평면상이라 3D만큼 어렵지 않습니다. 그러다보니 Transformer도 튜닝에 따라 그럭저럭 배울 수 있었고, HEPi와 큰 차이가 없었던 것이죠. 이런 경우는 정책 표현력이 크게 요구되지 않는 상황이라 할 수 있습니다.

밧줄 과제들에 대해서는, Rope-Closing과 Rope-Shaping 모두 HEPi와 naive EMPN이 비슷한 성능 곡선을 보였고 Transformer는 다소 뒤쳐졌습니다. 밧줄 감기나 W자 만들기는 2D 상에서 주로 진행되고 변형체라고 해도 구조가 비교적 단순한 편(선 형태)이라, 이질성의 효과가 크게 두드러지지 않았던 것으로 분석됩니다. 특히 Rope-Closing은 목표가 단순히 끝끼리 가까워지는 것이고, Rope-Shaping도 W 모양으로 만들기 위해 그저 각 부분 각도를 맞추면 되는 비교적 국소적인 작업입니다. 이러한 과제들에서는 물체 자체의 자유도가 높지 않아 (밧줄은 1차원 곡선), EMPN만으로도 충분했을 수 있습니다. 그러나 Cloth-Hanging-3D에서는 상황이 완전히 달라졌습니다. Cloth-Hanging은 실험한 7개 과제 중 가장 어려운 케이스로, HEPi만 유의미한 성능 향상을 보이고 다른 방법들은 애를 먹었습니다. Transformer와 naive EMPN은 초반에 어느 정도 보상을 올리다 더 개선하지 못하고 정체되거나 오히려 불안정해졌는데, HEPi는 꾸준히 학습하여 현저히 높은 리턴에 도달했습니다. 이는 3차원 대규모 변형체 문제에서 등변성과 이질적 설계의 가치가 극대화된 사례라 볼 수 있습니다. 천 걸기는 옷걸이 방향이 이리저리 바뀌고 천의 형태도 시시각각 변하니, 정책이 회전 대칭도 알아야 하고 로봇 4개의 협동도 동시에 달성해야 합니다. HEPi는 등변 EMPN으로 회전/이동에 대응하고, 4개 로봇-천 입자 간 정보를 효율적으로 교환하여 이 난제를 어느 정도 풀어낸 것입니다.

2. 정책의 일반화 능력:

성능 비교 외에, 저자들은 HEPi 정책이 훈련 시 보지 못한 상황에 얼마나 일반화되는지도 시험했습니다. 두 가지 축에서 실험했는데, (a) 물체의 해상도 변화 및 센서 노이즈와 (b) 새로운 물체 형태에 대한 일반화입니다.

• 해상도 및 노이즈: 앞서 Rigid-Insertion 과제에서 말했듯이, 물체의 메쉬 해상도를 낮춰 학습한 모델이 고해상도 메쉬에서도 잘 동작하는지 확인했습니다. 예를 들어 훈련 시에는 물체 표면을 대표하는 노드를 20개만 쓰던 것을, 테스트 때는 같은 물체를 더 촘촘한 1200개 노드 메쉬로 표현한 후 (즉 관찰 차원이 60배 늘어난 상황), HEPi 정책을 실행해 보았습니다. 결과 HEPi는 해상도가 크게 변해도 성능을 유지했습니다. 이는 그래프 신경망의 국소성 덕분인데, GNN은 노드 수가 늘어나도 국소 정보만 주고받으므로 모델 파라미터에는 영향이 없고, 주로 입력 정규화만 잘 되어 있으면 대처할 수 있습니다. 실제로 논문에서는 GNN의 과도한 메시지로 인한 oversmoothing/oversquashing을 막기 위해 Graph Norm 등을 사용했다고 언급합니다. 또한 관측 잡음(Gaussian noise)을 다양한 세기로 추가해 테스트한 결과도 제시했는데, 노이즈 수준이 조금 높아져도 HEPi의 성능 저하는 경미한 수준에 그쳤습니다. 결국 HEPi는 물체 표현이 세밀해져도, 센서 데이터가 약간 흔들려도 강인하게 작동하였고, 이는 실제 로봇 적용 시 중요한 속성이지요.
• 새로운 물체 형태: rigid 과제들에서, 학습에 사용되지 않은 새로운 형상의 물체에 대한 일반화 테스트를 수행했습니다. 예컨대 삽입 과제에서 플러스, T, 별 등 8종 중 6종만 훈련에 쓰고, 나머지 2종 형태의 물체를 테스트에만 등장시키는 방식입니다. 결과는 고무적이었는데, HEPi는 본 적 없는 물체도 제대로 다룰 수 있었고 성능 저하가 작았습니다. 반면 Transformer 기반 정책은 그런 일반화가 쉽지 않아 성능이 크게 떨어졌습니다. HEPi의 기하학적 학습 방식이 모양이 달라져도 원리적으로 잘 대응한 덕분이라고 볼 수 있습니다. 즉 등변 GNN은 물체 형태가 바뀌어도 그래프 구조로 표현하면 비슷한 메시지 패턴을 활용할 수 있고, 로봇에 필요한 정렬 동작은 어차피 상대적 위치로 결정되니 문제없었던 것이죠. 이런 성질은 일반적인 기하학적 추상화 능력으로 해석할 수 있으며, 궁극적으로 로봇의 범용성을 높이는 방향입니다.

3. 알고리즘에 따른 학습 안정성:

HEPi 구조 그 자체의 비교 외에도, PPO vs TRPL 알고리즘의 영향 비교 결과도 흥미롭습니다. Figure 7 (부록의 그림)을 보면, HEPi+TRPL은 모든 과제에서 안정적으로 학습이 진행되는데 비해 HEPi+PPO는 Cloth-Hanging-3D 같은 어려운 과제에서 회차 간 보상 변동이 심하고 일부 seed에서는 아예 학습이 안 되는 케이스도 있었습니다. Transformer 정책의 경우도 TRPL이 PPO보다 꾸준히 좋았지만, Transformer 자체가 탐색을 잘 못하니 절대 성능은 낮았습니다. 요컨대 TRPL 알고리즘의 장점은 특히 고차원/고난도 문제에서 두드러졌고, 2D 문제들에서는 잘 튜닝한 PPO도 비슷하게 갈 수는 있었습니다. 그러나 PPO는 튜닝에 민감하고 샘플 효율도 약간 떨어지는 경향을 보였다고 합니다. 이 실험은, 모델의 inductive bias뿐 아니라 학습 알고리즘의 보강도 중요하다는 점을 일깨워줍니다. 사실 복잡한 환경에서는 정책이 조금이라도 잘못 업데이트되면 금세 학습 신호가 사라지거나 망가지는데, TRPL은 그런 큰 정책 변화를 막아주므로 HEPi의 좋은 모델 설계가 효과를 발휘할 시간을 벌어주었다고 볼 수 있습니다. 만약 PPO만 썼다면 HEPi의 장점이 묻혔을 수 있지만, TRPL 덕분에 HEPi가 가진 샘플 효율, 탐색 능력의 극대화가 가능해진 것이죠.

정량적 수치로 보상을 일일이 나열하지는 않았지만, 논문에 제시된 곡선과 표들을 종합하면 대략 다음과 같은 성과 요약을 할 수 있습니다: HEPi는 7개 과제 중 6개에서 최고 성능을 보였고 (Rigid-Insertion-2D+z에서만 Transformer와 비슷), 학습 속도도 Transformer 대비 수배 이상 빠른 경우가 많았습니다. naive EMPN과 비교해서도 탐색 난이도가 있는 과제에서 우월했고요. Cloth-Hanging의 성공 사례를 보면, HEPi는 네 로봇을 적절히 움직여 천의 구멍을 옷걸이에 정확히 걸쳤는데, 다른 방법은 중간에 천이 꼬이거나 로봇 팔이 엉뚱한 곳으로 가 실패한 경우가 대부분이었다고 합니다 (부록의 그림 사례 참조).

4. 추가 분석과 에블레이션:

논문 본문과 부록에는 HEPi의 설계에 대한 몇 가지 추가 분석도 있습니다. 예를 들어, 메시지 전달 레이어 수를 늘리면 성능이 어떻게 되는지 실험했는데, 너무 많은 레이어를 쌓으면 oversquashing 문제가 생겨 오히려 성능이 떨어질 수 있음을 보였습니다. 즉 적당한 수준(예: 3~4회) 메시지 전달이 최적이고, 무작정 깊게 한다고 좋은게 아니라는 것입니다. 또한 가상 노드(Virtual Node)를 쓰는 방법과 HEPi를 비교한 실험에서는, Virtual Node를 넣은 경우 물체-로봇 정보교환이 한 번에 안 되어 학습이 약간 느리고 최종 성능도 낮음을 확인했습니다. 이는 앞서 논한 HEPi 설계의 이점을 경험적으로 뒷받침합니다. 마지막으로 컴퓨테이션 측면에서, HEPi는 Transformer보다 훈련당 시간은 약간 더 걸리지만 (그래프 연산 오버헤드), 샘플 효율이 좋아 전체 학습에 필요한 환경 step 수가 적다 보니 최종적으로 걸린 시간은 엇비슷하거나 더 적었다고 합니다. 특히 Cloth-Hanging 같은 경우 Transformer는 오래 학습해도 성능이 낮아 시간 낭비였지만 HEPi는 빨리 임계 성능에 도달해 일찍 멈출 수 있었다는 식입니다.

비판적 고찰: 강점, 약점과 향후 방향

(1) 주요 기여 및 강점: 이 논문은 로봇 학습에 기하학적 인사이트를 녹여낸 훌륭한 사례입니다. 몇 가지 중요한 강점을 짚어보겠습니다:

• 범용적인 그래프 표현의 제안: 로봇-물체 상호작용을 이종 그래프로 통합 표현한 아이디어는, 단일 프레임워크로 다양한 문제를 다룰 수 있게 해준다는 점에서 가치가 높습니다. 실제로 저자들은 삽입, 밀기, 밧줄, 천 등 성격이 판이한 작업들을 모두 그래프 하나로 표현하여 동일한 정책 구조로 학습했습니다. 이는 로봇 학습 알고리즘의 일반화 가능성을 크게 넓혀주는 방향입니다. 앞으로 새로운 과제가 추가되더라도, 해당 과제를 그래프 형태로 잘 모델링하기만 하면 HEPi나 유사한 정책으로 접근할 수 있을 것입니다. 이러한 표현력의 범용성은 로봇에게 있어 중요한 적응력을 의미합니다.
• 대칭성 활용으로 효율 극대화: SE(3) 등변 정책의 도입은 샘플 효율성과 일반화 측면에서 큰 효과를 보였습니다. 복잡한 3차원 문제에서 HEPi가 안정적으로 학습할 수 있었던 비결 중 하나가 바로 이 등변성입니다. 흔히 로봇 학습은 데이터 요구량이 많아 현실에 적용되기 어려운데, 대칭성을 활용하면 학습 시간을 획기적으로 줄일 잠재력이 있습니다. 이 논문은 등변 GNN으로 실제 어려운 과제를 푼 사례를 제시함으로써, 향후 대칭성 기반 기법이 로봇 RL의 표준 툴이 될 수 있음을 보여줬습니다.
• 이질성 모듈화 설계: HEPi의 구조적 설계는 그래프 신경망의 정보 흐름을 똑똑하게 조직화한 예입니다. 특히 로봇-물체 사이 한 홉 연결을 통해 빠른 정보 교환을 가능케 한 점, 로봇 클러스터와 물체 클러스터를 분리 처리해서 역할별 표현을 극대화한 점 등이 돋보입니다. 이로써 HEPi는 Transformer 대비 매우 가벼운 파라미터 수로도 높은 표현력을 발휘합니다. 실제 Transformer는 global attention으로 O(n^2) 상호작용을 모두 학습해야 하지만, HEPi는 구조상 필요한 상호작용만 (예: 물체->로봇) 즉시 처리하므로 학습 난이도를 낮추는 효과가 있습니다. 이러한 인위적인 구조적 prior는 특정 상황에서는 제약으로 작용할 수도 있지만, 본 논문 과제들에서는 오히려 필요한 제약이 되어 탐색을 도와주었습니다.
• 새로운 벤치마크와 실험 분석: 논문이 기여한 또 다른 부분은 강화학습용 어려운 조작 과제들을 만들어 공개했다는 점입니다. Rope-Shaping, Cloth-Hanging 등은 그간 주로 모방학습이나 모델 기반 제어 등에서 다뤄졌던 문제인데, 순수 RL로 풀어보려 시도한 것 자체가 의미 있습니다. 이 과정에서 시뮬레이터의 활용이나 보상 설계 등 노력이 많이 들어갔는데, 부록에 상세히 공개하여 다른 연구자들이 참고할 수 있도록 했습니다. 이러한 오픈한 실험 환경은 관련 연구 분야에 좋은 자극이 될 것입니다. 또한 저자들은 HEPi의 설계 요소별로 (등변성, 이질성, trust-region 등) 체계적인 비교실험을 수행해 가설을 검증했습니다. 덕분에 독자들은 왜 그런 설계가 필요했는지 납득할 수 있습니다. 예를 들어, HEPi가 잘 되니까 좋다 식이 아니라, “Virtual node vs one-hop”, “PPO vs TRPL” 등의 비교로 원인-결과 관계를 분명히 했죠. 이러한 실증적인 분석은 연구 결과의 신뢰성을 높여줍니다.
• 실제 적용 잠재력: HEPi는 아직 시뮬레이션에서 검증된 것이지만, 몇 가지 특성은 실제로 유용할 것으로 보입니다. 우선 잡음에 강인하고 고해상도 입력도 처리가능하다는 것은, 실제 카메라 등 센서로부터 오는 데이터를 이용할 때 중요합니다. 또 구조적으로 여러 로봇을 쉽게 확장 가능하다는 점 (노드 추가만 하면 되므로)에서 멀티 로봇 시스템에도 응용 가능성이 있습니다. SE(3) 등변 제약은 실제 세계의 물리 대칭과 부합하므로, 시뮬레이션-현실 간 차이를 줄이는 효과도 기대됩니다. 즉, 시뮬레이터에서 학습한 HEPi 정책을 그대로 로봇에 이식할 때, 물체가 회전되었다고 망가지지 않고 적응할 수 있으니 도메인 전이 측면에서도 유리할 것입니다. 이러한 점들은 이 연구의 실용적 가치를 높여주는 강점입니다.

(2) 한계 및 개선점: 모든 연구가 그렇듯, 이 논문에도 몇 가지 한계나 아쉬운 부분이 존재합니다:

• 현실 세계 적용 검증 부재: 앞서 장점으로 실제 잠재력을 언급했지만, 정작 논문에서는 시뮬레이션 결과만 다루고 있습니다. 3D 천 걸기나 밧줄 모양 만들기 같은 복잡한 작업을 실제 로봇으로 구현하는 것은 엄청난 도전이라 이해는 갑니다만, sim-to-real에 대한 논의가 거의 없던 것은 아쉬운 부분입니다. 그래프 기반 방법은 입력이 물체의 기하학적 상태(좌표들)여서, 현실에선 이를 얻기 위한 비전 또는 센싱 모듈이 필요합니다. 예를 들어 천의 여러 입자 좌표를 실시간으로 알아내려면 모션 캡처나 3D 비전이 있어야 할 텐데, 그러한 인식 문제가 고려되지 않았습니다. 따라서 진짜 로봇에 쓰려면 그래프 state를 뽑아내는 전처리 (예: 포인트 클라우드->그래프 변환)나 정확한 외부 추적 시스템 등이 필요할 것입니다. 이는 추가 연구가 필요한 영역입니다.

• 입력 노드 선별의 수동성: 천 걸기 과제에서 구멍 둘레 10개 노드만 선택한다든지, 절대 좌표 피처를 추가한다든지 한 부분은, HEPi라고 하는 범용 정책에 약간 인간 개입을 한 사례입니다. 물론 feature engineering 수준의 작은 조정일 뿐이지만, 이는 HEPi가 모든 것을 end-to-end로 학습했다기보다 어느 정도 문제별 튜닝이 필요함을 보여줍니다. 만약 천의 다른 작업(예: 접기 등)을 한다면 어떤 노드를 써야 할지, 그때도 구멍 둘레가 아닌 다른 기준을 써야 할 텐데, 이러한 결정은 여전히 사람 몫입니다. 장기적으로는 이러한 노드 선택도 자동으로 학습하거나, 전역 노드까지 포함한 end-to-end로 가는 게 이상적이겠습니다.

• 모델 및 훈련 복잡도: 구조상 HEPi는 Transformer보다 매 스텝 계산은 가벼울 수 있지만, 여전히 메시지 전달 연산이 누적되면 복잡도가 늘어납니다. 완전 연결된 이종 엣지들은 노드 수가 많을 때 비용이 커질 수밖에 없습니다 (엣지 개수 \sim O(N_{act} \times N_{obj})). 다행히 실험에선 대부분 N_{obj}가 20~80 정도여서 문제되지 않았지만, 만약 물체가 1000개 넘는 포인트로 표현되면 efficiency 이점이 떨어질 수 있습니다. 저자들이 고해상도 1200노드 테스트에서 HEPi가 잘 동작했다고는 하지만, 이는 정책을 그 환경에서 실행만 해본 것이고, 학습은 여전히 저해상도로 했기 때문입니다. 만약 1200노드 환경 자체를 학습해야 했다면, 학습 속도가 느려지거나 GNN 메시지 전달의 memory bottleneck이 나타났을 수 있습니다. 이 부분은 HEPi만의 문제라기보다 GNN 전반의 스케일 한계지만, 어쨌든 극단적으로 스케일 큰 변형체로 가면 현 방법도 어려움이 있을 것입니다. 향후 계층적 그래프(graph hierarchy)나 특징 압축 기법 등을 도입해 개선할 여지가 있습니다.

• 정책의 제약이 잠재적 한계가 될 수 있음: 등변성은 장점이 많지만, 모든 상황에 득이 되는 것은 아닙니다. 만약 환경에 대칭성이 없거나 깨지는 요소가 있다면, 등변 제약이 오히려 방해될 수 있습니다. 예를 들어 작업 공간에 중력이 작용해 위아래 방향으로 행동 전략이 달라지는 경우, SE(3) 등변 정책은 그 차이를 무시하려 할 위험이 있습니다. 실제로 본 논문 과제들은 회전/평행이동에 따른 물리법칙 변화가 미미하거나 의도적으로 대칭인 경우가 많습니다. 하지만 현실에서는 마찰이나 중력 등으로 절대 방향이 중요한 경우도 있습니다. 이런 경우 HEPi처럼 강한 대칭 가정을 넣으면 성능이 저하될 수 있습니다. 그러므로 등변 정책을 적용할 땐 해당 환경에 진짜 그런 대칭성이 있는지 확인해야 하고, 없으면 쓰지 말아야 합니다. 한편 HEPi의 이종 설계도 일반 GNN보다 자유도가 적기 때문에, 혹시 모델이 더 복잡한 상호작용을 필요로 하는 상황에서는 제약이 될 수 있습니다. 논문에서도 Transformer가 HEPi에 근접한 성능을 낸 경우는, HEPi의 구조적 우위가 발휘될 만한 복잡성이 없던 경우였습니다. 즉 구조적 prior는 양날의 검이라, 적절한 난이도의 문제에서만 통합니다. 아직 HEPi가 어느 정도 복잡도 이상일 때 효과적인지 경계선이 완전히 규명된 건 아니므로, 그 적용 범위를 염두에 두어야 합니다.

• 관련 연구와의 비교 제한: 이 논문은 transformer와 GNN baseline과 비교는 철저히 했지만, 기존의 특화된 deformable object manipulation 방법들과 직접 비교하지는 않았습니다. 예를 들어, 이전에 EquiBind(가칭)나 DiffSkill 등 밧줄/천 다루기 방법들이 있는데, 이들과의 성능 차이는 다루지 않았습니다. 이는 벤치마크 과제가 다르기 때문이기도 하지만, 한편으로는 RL과 imitation 등 학습 설정이 달라 직접 비교하기 어려운 측면도 있습니다. 그래도 독자로서는 “기존 방법으로는 아예 못 풀던 걸 이번엔 풀었다”는 식의 맥락을 알고 싶은데, 논문에서는 이 부분이 약간 부족했습니다. (다행히 관련 연구 언급에서 EquiBot 등 방법이 시범학습 기반이라 RL보다 유리한 환경이었다는 설명이 있긴 합니다.) 향후 추가 연구에서는 다른 최첨단 기법들과의 head-to-head 비교도 진행되면 좋겠습니다. 예컨대 model-based RL이나 planning 접근, 혹은 visual RL과 결합한 방법 등과 성능이나 데이터 효율을 견주면 HEPi의 포지션이 더 명확해질 것입니다.

(3) 향후 연구 방향 제언: 이 연구를 바탕으로 생각해볼 수 있는 발전 방향은 여러 가지가 있습니다:

• 실제 로봇 실험 및 Sim-to-Real: 시뮬레이터에서 검증한 HEPi를 실제 로봇 시스템에 이식하여 테스트하는 것은 가장 흥미로운 다음 단계입니다. 이를 위해서는 그래프 상태 추정(vision + shape reconstruction)이 필요하므로, 컴퓨터 비전과의 결합 연구가 이루어질 수 있습니다. 최근에는 NeRF나 SDF로 물체의 3D shape을 추정하는 기술들이 발전했는데, 그런 것을 통해 얻은 포인트 클라우드를 그래프로 넣는 식으로 연결할 수 있겠습니다. 또한 Sim-to-Real gap을 줄이려면, domain randomization 등 기법을 HEPi 훈련에 포함하거나, 현실 데이터로 fine-tuning하는 등의 시도도 필요할 것입니다. HEPi의 구조상 잡음에 강인하니, 추가 튜닝 없이도 꽤 동작할 가능성도 있겠지만, 안전성 등을 위해 실험 검증이 꼭 필요합니다.
• 다중 로봇 및 다중 물체 확장: HEPi 그래프는 원칙적으로 여러 로봇이나 여러 물체도 추가 가능하다고 했습니다. 향후 연구로, 복수 객체를 동시에 다루는 과제에 도전해볼 수 있습니다. 예를 들어 두 개의 서로 다른 모양 물체를 동시에 옮겨서 쌓기, 혹은 밧줄 두 개를 동시에 묶기 같은 복합 작업을 생각해볼 수 있겠죠. 액추에이터 노드도 여러 개, 물체 노드도 여러 그룹으로 존재하는 더 일반적인 Hetero-Graph RL로 나아가는 것입니다. 이런 경우 HEPi의 구조를 약간 수정해야 할 수도 있습니다 (예: 물체 노드들도 그룹 별 메타 노드로 구분하거나). 하지만 기본 개념은 확장 가능합니다. 이렇게 하면 HEPi가 보다 일반적인 멀티에이전트 RL이나 다중 객체 조작 문제까지 포괄할 수 있을 것입니다.
• 계층적/멀티스케일 표현: 앞서 한계에서 언급했듯, 그래프 노드가 아주 많아지면 처리 부담이 커집니다. 이를 보완하려면 그래프를 계층적으로 조직하는 방법이 고려될 수 있습니다. 예를 들어 천의 모든 입자를 노드로 쓰되, 먼저 로컬한 메시지로 인접 5개 끼리 뭉친 feature를 만들고, 그걸 다시 글로벌에 쓰는 형태로, 일종의 Graph Pooling/Coarsening을 활용하는 거죠. 이 논문에서는 문제 정의상 특정 부분만 노드로 뽑는 식으로 차원을 줄였지만, 좀 더 자동화하려면 GNN 내부에 pooling layer를 넣어 노드 집합을 요약하는 것도 방법입니다. 최근 Graph Hierarchy Network나 Graph Transformer 연구들에서 이러한 아이디어가 활발하니, HEPi에도 도입 가능할 것입니다. 또한 시계열 상 장기 계획이 필요한 경우, 현재 정책은 짧은 horizon만 본다 해도, 나중엔 옵션(option) 또는 계층 RL 개념을 추가해 상위 플래너-하위 HEPi 정책 구조로 발전시킬 수도 있습니다.
• 추가적인 대칭성 활용: HEPi는 SE(3) 연속 공간 대칭을 썼지만, 로봇 환경에는 그 외에도 이산적 대칭(물체의 반복 패턴, 양손의 대칭 등)이 존재할 수 있습니다. 예를 들어 어떤 물체는 4방 대칭이라 90도씩 돌려도 동일하거나, 두 로봇 팔은 모양과 관절 구성이 동일해서 좌우 바꾸면 같은 역할을 할 수도 있습니다. 이런 Permutation 대칭이나 반사 대칭 등을 정책에 녹여내면, 학습 효율을 더 높일 수 있습니다. Graph Neural Network에서는 이런 대칭을 쉽게 표현할 수 있는데, 예컨대 동일 타입 로봇 노드들끼리 파라미터 공유를 하면 “모든 로봇 팔은 동일하게 동작 가능”이라는 대칭을 가정하는 셈입니다. 실제 HEPi 구현에서 로봇 노드 업데이트 MPN은 아마 공유되어 있을 것입니다 (그렇지 않으면 로봇 개수마다 다른 네트워크여야 하니 비효율적이니까요). 향후엔 이런 노드 타입 내 대칭도 적극 활용하고, 물체에 반복구조가 있으면 그도 활용하는 방향으로 나아갈 수 있습니다. 이는 Symmetry + Graph의 결합으로 더욱 강력한 inductive bias를 주는 길입니다.
• 다른 학습 알고리즘과의 결합: 본 논문은 on-policy RL (TRPL/PPO)만 다뤘지만, off-policy나 모델 기반 알고리즘과 HEPi를 접목하는 것도 가치있어 보입니다. Off-policy인 SAC이나 Q-learning 류를 쓰면 샘플 효율을 더 높일 여지가 있고, 환경 모델을 학습시켜 planning까지 하면 복잡한 과제도 해결 가능성이 올라갑니다. Graph 표현이 있으니, Graph Neural Simulator 같은 것을 배워 rollout한다든지 하는 아이디어도 가능합니다. 또한 Imitation Learning+RL 혼합으로 초기에 시범으로 학습 가속 후 RL로 fine-tune하는 접근 등도 현실적으로 유용하겠죠. EquiBot 등의 이전 연구는 imitation만 했기에 시범 없으면 힘들었는데, HEPi는 RL로 해냈지만 학습 시간이 길었습니다. 둘의 장점을 합쳐서 시범으로 빠른 진입 -> RL로 최적화하는 식이면 더욱 실용적일 것입니다.

(4) 관련 연구와 비교: 연구의 출발점이 된 관련 분야와 견주어볼 때, HEPi는 몇 가지 면에서 두드러집니다. 먼저, 그래프를 정책에 활용한 이전 연구로는 Wang et al.(2018)의 Neural Graphical Models for multi-body나, Neural Physics Simulation(Battaglia et al., 2016 이후) 계열이 있습니다. 이들은 주로 모델링 또는 예측에 그래프를 썼지, 정책 자체에 쓴 건 드물었는데, HEPi는 GNN을 정책의 뇌로 삼았다는 점에서 보다 직접적으로 의사결정에 그래프를 도입했습니다. 또한 구조가 다른 객체들의 처리 측면에선 Hong et al.(2022)의 Structure-aware Transformer가 이질적 토큰에 type embedding을 주는 식이었지만, HEPi는 아예 메시지 전달 함수를 분리하여 명시적으로 다릅니다. 이덕분에 Hong의 Transformer보다 더 가벼운 모델로도 비슷한 효과 (노드 타입별 처리를 구분)를 얻은 셈입니다.

Equivariant neural networks 분야와 비교하면, 이전에는 Equivariant Transformer(e.g. Thomas et al. 2018 tensor field network)나 SE(3)-Equivariant GNN(Satorras et al. 2021 EGNN 등)이 주로 분자나 물리계 예측에 쓰였는데, HEPi는 강화학습 정책에 이를 쓴 것이 차별화됩니다. Ryu et al.(2023) 등의 연구에서도 RL에 대칭성을 넣으려는 시도가 있었지만, 제한적 환경(퍼즐 맞추기 등)에서만 검증되었습니다. 본 논문은 실제 로봇 과제에 가까운 환경들에서 등변 RL이 통한다는 것을 증명했고, 이는 해당 커뮤니티에 중요한 메시지입니다.

또한 변형체 조작 연구들과 비교해보면, 이전까지 모델 예측(physics-based) 혹은 모방학습(Human demonstration) 위주였던 것을, end-to-end RL로 풀어낸 드문 예라 할 수 있습니다. DiffSkill (2021)이나 DNS (2020) 등은 모방/계획 기반으로 천 개체를 다뤘고, 최근 EquiDex (2024) 같은 건 Diffusion 모델을 쓰기도 했지만, HEPi는 이런 것과 다른 순수 RL로 성과를 낸 점이 특징입니다. EquiBot (Yang et al., 2023)을 잠깐 비교하면, EquiBot도 SE(3) 등변 GNN 정책을 썼지만 시범 따라하기로 rope flattening 등을 했고, 그 정책은 속도 출력을 내는 점 등이 HEPi와 유사합니다. HEPi는 그 접근을 RL로 확장한 것으로 볼 수 있으며, 더 어려운 작업(rope shaping, cloth)까지 수행했습니다. 그러므로 HEPi는 EquiBot의 강화학습 버전이자, Structure-aware Transformer의 GNN 버전이라고 요약해볼 수도 있겠습니다.

Transformer와 GNN의 성능 비교는 요즘 여러 작업에서 주제인데, 본 논문 결과는 GNN의 우세를 보여준 쪽에 속합니다. 특히 대칭성이 뚜렷하고 구조가 있는 문제에서는 GNN이 여전히 data 효율에서 강점이 있다는 증거입니다. 하지만 Transformer도 절대 학습 못하는 건 아니라는 점 (2D 과제에서는 따라옴)도 볼 수 있었죠. 이는 GNN과 Transformer를 절충/병합하는 아이디어도 생각해볼 수 있게 합니다. 사실 HEPi도 “메시지 전달 = 일종의 sparse attention”이라 Transformer의 특수한 형태로 볼 수도 있겠습니다. 향후 Graph-Transformer 하이브리드 모델로 더 개선 가능성도 있습니다.

전체적으로, 이 논문은 그래프+대칭성+RL이라는 세 흐름을 잘 결합해 한 단계 진전을 이뤘습니다. 관련 분야의 연구자들에게 “구조를 존중하는 학습이 실제로 복잡한 로봇 문제도 풀 수 있다”는 통찰을 주었고, 한편으로 “여전히 sim2real 등 남은 과제가 많다”는 숙제도 남겼습니다. 이런 점에서 로봇 강화학습의 방향성을 제시한 의미있는 작업이라 평가할 수 있습니다.

요약 및 결론

다양한 형상(rigid shapes)과 변형체(deformable objects)를 로봇이 효과적으로 다루게 하는 것은, 범용 로봇 조작을 실현하기 위한 핵심 과제입니다. 본 리뷰에서 다룬 논문은 이러한 문제에 대해 기하학적 대칭성을 고려한 새로운 접근법, “Geometry-aware RL”을 제안하였고, 구체 구현으로 Heterogeneous Equivariant Policy (HEPi) 모델을 선보였습니다. HEPi는 그래프 신경망 정책으로서, 로봇과 물체의 관계를 이종 그래프로 표현하고, SE(3) 등변 메시지 전달 네트워크를 통해 학습합니다. 이를 통해 환경의 회전/이동 대칭을 활짝 활용함으로써, 적은 경험으로도 다양한 상황에 대응하는 정책을 얻을 수 있었습니다. 또한 클러스터별 메시지 전달 구조를 도입하여 로봇-물체 간 정보를 직접적이고 효율적으로 교환하게 함으로써, 기존 네트워크들의 한계를 극복했습니다.

논문에서 구축한 7개 조작 과제 벤치마크 (삽입, 밀기, 밧줄 감기/모양, 천 걸기 등)는 HEPi의 강점을 여실히 보여주었습니다. HEPi는 그래프 구조의 inductive bias 덕분에 탐색이 어려운 문제를 스스로 풀어냈고, Transformer나 비등변 GNN 같은 강력한 baseline들을 안정성, 학습속도, 최종 성능 면에서 앞질렀습니다. 특히 3차원 복잡 환경에서 그 격차는 커서, 예컨대 천 걸기에서는 HEPi만이 성공적으로 과제를 학습할 수 있었습니다. 더 나아가, HEPi 정책은 새로운 물체 모양이나 고해상도 환경에서도 견고히 작동하여 일반화 능력을 입증했습니다. 이러한 결과는 로봇 학습에서 구조와 대칭성을 고려하는 접근이 가지는 힘을 보여줍니다. 마치 파인만이 물리 법칙의 대칭을 통해 복잡한 현상을 단순화하듯, HEPi도 로봇 행동의 공간을 대칭으로 나누어 정복한 셈입니다.

물론, 이 연구가 남긴 과제들도 있습니다. 시뮬레이션에서 효과가 입증된 만큼, 현실 로봇에의 적용이라는 다음 난관이 기다리고 있습니다. 그래프 기반 정책을 실제에 쓰려면 실시간 물체 상태 인식과 센서 노이즈 처리 등의 문제가 수반되겠지요. 또한 현재의 구조를 더 복잡한 시나리오(여러 객체 동시 조작, 장기 행동계획 등)에 확장하는 일도 남아있습니다. 그러나 이러한 도전들은 HEPi의 핵심 철학 – “로봇에게 세계의 기하학적 구조를 깨우쳐 주면, 훨씬 적은 가르침으로도 많은 것을 스스로 배우게 할 수 있다” – 을 더욱 발전시켜 나가는 과정이 될 것입니다.

결론적으로, 본 논문은 로봇 강화학습에 그래프와 대칭성이라는 강력한 도구를 접목하여, 복잡한 조작 문제를 해결하는 새로운 길을 제시했습니다. 이는 로봇공학 연구자들에게 여러 가지 통찰을 줍니다. 첫째, 표현의 선택이 학습 성패를 좌우할 수 있다는 점입니다. 상태와 행동을 어떻게 표현하느냐에 따라 학습 난이도가 천양지차가 될 수 있음을 다시금 보여줬습니다. 둘째, 물리적 대칭성과 구조를 존중하는 모델링은 단순한 기능 추가가 아니라, 학습에 근본적인 가이드를 제공한다는 점입니다. 마치 인간이 사물을 볼 때 좌우대칭이나 패턴을 자동 인지하듯, 정책 신경망도 그런 지능을 일부 부여받을 수 있다는 것이죠. 셋째, 통합적 접근의 중요성입니다. 그래프, GNN, RL, 대칭성, 이질 노드, 이 모든 요소가 맞물려 최고의 성능을 냈습니다. 어느 하나만으로는 부족했겠지만, 결합하니 시너지가 났습니다. 이는 복잡한 로봇 문제일수록 여러 측면의 기법을 멀티모달하게 융합하는 게 필요함을 시사합니다.

마지막으로, 이 논문의 접근은 “디자인한 인공지능”의 한 예로 볼 수도 있습니다. 요즘 거대 모델들은 데이터를 쓸어담아 통계적으로 학습하지만, HEPi처럼 문제 특성을 세심히 반영한 AI는 주어진 데이터에서 훨씬 많은 것을 학습해냅니다. 로봇공학은 특히 물리적 세계와 맞닿아 있으므로, 이런 도메인 지식 기반의 AI 디자인이 더 주목받을 것입니다. HEPi는 그 방향에서 한 걸음 앞서 간 사례로, 앞으로 더욱 발전된 Geometry-aware, Structure-aware 로봇학습 알고리즘들의 등장을 기대하게 만듭니다. 로봇계의 파인만처럼, 복잡한 현실을 꿰뚫는 통찰로 로봇 지능을 향상시키는 연구들이 계속 이어지길 바라며 이만 글을 맺겠습니다.