📃CSRL

Combined Constrained Sampling and Reinforcement Learning for Robotic Manipulation

• Paper Link (arXiv:2602.08557)

• Project Page (TU Berlin, 26-CSRL)

• Code: 미공개 (본 리뷰 시점 기준)

• 저자: Marc Toussaint, Cornelius V. Braun, Armand Jordana, Sayantan Auddy, Eckart Cobo-Briesewitz, Denis Shcherba, Tilman Burghoff, Justin Carpentier

• TU Berlin · Robotics Institute Germany · LAAS-CNRS · Inria & DI-ENS(PSL) / arXiv preprint, 2026

1. 💡 접촉이 많은(contact-rich) 비파지(non-prehensile) 조작에서 RL의 고질적 탐색 난이도를 풀기 위해, 물리 시뮬레이터가 “동역학”을 샘플링한다면 그와 상보적으로 “정지 가능한 접촉 상태”를 제약 위에서 직접 샘플링하는 물리 정보 기반 상태 샘플러를 제안한다.
2. ⚙️ 강체의 접촉·마찰·정적 평형 제약으로 정의된 매니폴드에서 상태를 샘플링해 goal-conditioned RL의 시작·목표 분포로 쓰고, 여기에 제약 공간으로 사영한 보간(projected interpolation)과 커리큘럼 리셋을 결합한다.
3. 🎯 panda-sphere(전신 접촉)에서 CSRL은 성공률 0.965로 무작위 리셋(0.044) 대비 압도적이며, 특히 sparse-reward 변형에서 무작위 방식(0.002)이 붕괴할 때 0.959를 유지한다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

비파지 조작(non-prehensile manipulation, 잡지 않고 밀기·굴리기·받치기로 물체를 다루는 것)은 로봇의 미해결 난제다. 접촉을 만들고 끊을 때 물체에 대한 제어 가능성이 불연속적으로 바뀌고(상보성·complementarity 구조), 이 딱딱하고 비평활한 동역학은 gradient 기반 solver에게 근본적으로 어렵다. RL은 이 불연속을 암묵적으로 매끄럽게 처리해 강점을 보이지만, 정보를 주는 보상을 받으려면 희귀한 접촉 상태에 먼저 도달해야 하는 심각한 탐색 문제를 안는다.

이 논문의 핵심 통찰은 문제를 리셋 분포(reset distribution) p(s_0)의 설계 문제로 바꾸는 것이다. 어떤 상태에서 에피소드를 시작하느냐가 “어떤 접촉 모드를 연습할 수 있는가”와 “탐색이 얼마나 어려운가”를 결정한다. 기존의 리셋 설계는 휴리스틱(무작위 씬 생성, 이전 방문 상태로의 복귀, 파지 전용 샘플러)에 의존해 비파지·전신 접촉의 다양한 접촉 구성을 일반적으로 지정하지 못했다. CSRL은 이를 모델 기반 제약 샘플링으로 대체한다.

개요(Fig. 1a) — 물리 시뮬레이터가 동역학 s'=f(s,a)를 샘플링하듯, 물리 정보 기반 상태 샘플러가 제약 g(s)\le 0, h(s)=0 위에서 시작·목표 상태를 전역적으로 샘플링한다. 둘을 결합한 것이 CSRL.

핵심 방법론:

문제는 제약이 붙은 goal-conditioned MDP로 정식화된다. 제약 함수 g_c, h_c가 정의하는 상태 공간

\mathcal{S}_c = \{ s \in \mathcal{S} : g_c(s) \le 0,\ h_c(s) = 0 \}

위에서 시작·목표를 균등하게 p_0(s) = \mathcal{U}(\mathcal{S}_c)로 놓고, 임의의 s\sim p_0에서 임의의 g\sim p_0로 이동하는 universal 정책 \pi: s, g \mapsto a를 학습한다:

\max_\pi\ \mathbb{E}_{s,g\sim p_0}\!\left[ V^\pi(s,g) \right],\qquad V^\pi(s,g)=\mathbb{E}\!\left[ \textstyle\sum_t \gamma^t R(s_{t+1}, s_t, g) \,\big|\, \pi, s_0=s \right].

표준 goal-conditioned MDP에서는 p_0 샘플링이 자명하다고 가정하지만, 여기서는 p_0를 샘플링하는 것 자체가 비선형 제약 문제(NLP)를 푸는 일이다. 이 점이 MDP 정식화를 고전적 비선형 계획법과 연결하는 이 논문의 지렛대다.

주요 결과: (TD7 기반, 5회 학습 평균 성공률, Table 1)

• panda-sphere(전신 접촉): CSRL(제약 goal+start, 보간+커리큘럼) 0.965±0.005 vs 무작위 리셋 0.044±0.050. 목표만 제약 샘플링해도 0.390에 그친다 — 시작 상태까지 제약 샘플링해야 큰 도약.
• sparse-reward 변형: 무작위 방식이 붕괴(sparse panda-sphere 0.002)하는 구간에서 CSRL은 0.959±0.010 유지.
• 보간이 결정적: 제약 샘플만으로(C,C) panda-sphere는 0.486±0.558로 분산이 폭발하지만, projected interpolation(C,Ci)을 넣으면 0.923±0.074로 안정화.

결론: RL을 바꾸는 대신 RL이 마주하는 시작·목표 분포를 물리 제약으로 설계하는 것이 비파지·전신 접촉 조작의 탐색 병목을 푸는 효과적 지렛대다. 샘플러는 off-the-shelf RL(TD7·TD3·HER)과 결합 가능한 모듈로 작동한다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“물리 시뮬레이터가 동역학을 샘플링하듯, 정지 가능한 접촉 상태를 제약 매니폴드에서 직접 샘플링해 goal-conditioned RL의 리셋·목표 분포로 쓰자” — 이것이 CSRL(Combined Constrained Sampling and RL)이다.

배경: 왜 비파지 조작이 어려운가

비파지 조작은 목표 달성에 필요한 접촉을 스스로 만들어야 하는 일반 기술을 요구한다. 문제는 접촉 동역학의 성질에 있다. 접촉을 만들고 끊을 때 물체에 대한 제어 가능성에 근본적 불연속이 생기고(상보성 구조), 이 딱딱하고 비평활한 동역학은 explicit(접촉 모드를 이산 변수로 탐색)·implicit(이산 변수 없는 정식화) 어느 쪽의 모델 기반 solver에게도 어렵다. Pure shooting이나 RL은 동역학을 black-box 시뮬레이션으로 취급해 이 난점을 피해가지만, 그 대가로 강체·접촉 동역학의 내재된 구조를 활용하지 못한다. 그리고 RL은 관련 상호작용 모드가 대개 “희귀한 접촉 상태에 먼저 도달”해야 보상을 받는 구조라 탐색이 극악하다.

기존 우회책은 두 갈래였다. 보상 정형화(touch·grasp 같은 이벤트에 보너스, exploration bonus)와 리셋 설계(reset distribution p(s_0) 수정). 저자들은 후자에 주목한다 — 리셋 분포가 “정책이 어느 상태 공간과 상호작용하는가, 어떤 접촉 모드를 연습할 수 있는가”를 결정하기 때문이다. 하지만 reverse curriculum, 이전 방문 상태 복귀(Go-Explore), 파지 전용 학습 샘플러 같은 기존 방법은 국소적으로만 상태 방문 분포를 확장하거나 특정 상호작용 primitive에 묶여 있어, 물체를 사지 사이에 받쳐 균형 잡는 것 같은 비파지·전신 접촉 구성을 일반적으로 지정하지 못한다. CSRL은 이 리셋·목표 분포를 조작 상태에 대한 일반 제약으로부터 구성한다.

관련해 CSRL은 모델 기반(제약)과 RL을 결합한다는 점에서 MPC와 RL을 결합한 리뷰와 같은 계보에 있다 — 다만 그쪽이 제어(trajectory) 차원에서 둘을 붙였다면, CSRL은 상태 분포(reset/goal) 차원에서 붙인다는 점이 다르다.

방법 상세 1 — 제약이 붙은 goal-conditioned MDP

표준 goal-conditioned MDP를 변형해, 상태공간 \mathcal{S}\subseteq\mathbb{R}^d, 행동 \mathcal{A}, 동역학 p(s'|s,a), goal-conditioned 보상 R(s',s,g), 할인율 \gamma에 더해 제약 함수 g_c, h_c를 도입한다(식 1):

\mathcal{S}_c = \{ s\in\mathcal{S} : g_c(s)\le 0,\ h_c(s)=0 \},\qquad g_c:\mathbb{R}^d\to\mathbb{R}^{g_c},\ h_c:\mathbb{R}^d\to\mathbb{R}^{h_c}.

Jacobian은 점별로(point-wise) 질의 가능하다고 가정한다. \mathcal{S}_c 위에 시작·목표를 균등하게 놓은 p_0(s)=\mathcal{U}(\mathcal{S}_c)를 정의하고, universal value function V^\pi(식 3)을 최대화하는 \pi:s,g\mapsto a를 찾는다(식 2). 핵심은 이 정식화가 “p_0를 샘플링하려면 비선형 제약 문제를 풀어야 한다”는 점이다 — 표준 세팅에서 자명하다고 넘어가던 부분을 이 논문은 정면으로 문제화한다. 그리고 \mathcal{S}_c가 black-box 동역학으로 방문 가능한 모든 상태를 담는다고 가정하지 않는다(어디까지나 사전지식 prior).

방법 상세 2 — 상태 제약: 접촉·마찰·정적 평형

m개 강체 형상을 가진 씬의 일반화 좌표를 s\in\mathbb{R}^n이라 하자. 쌍 (i,j)마다 이진 접촉 모드 변수 c_{ij}\in\{0,1\}을 두고(무작위 샘플링), d_{ij}(s)를 두 형상의 최소 거리, n_{ij}(s)\in\mathbb{R}^3을 접촉 법선이라 한다. 접촉 중인 쌍(c_{ij}=1)에는 힘 작용점(point of attack, POA) p_{ij}\in\mathbb{R}^3와 선형 힘 f_{ij}\in\mathbb{R}^3을 보조 변수로 도입한다.

모든 쌍에 비관통 d_{ij}(s)\ge 0을 부과하고, 접촉 쌍에는 (식 4–6):

d_{ij}=0,\quad d^p_{ij}=0,\quad d^p_{ji}=0 \tag{4} n_{ij}^\top f_{ij} \le 0 \tag{5} \lVert (\mathbf{I} - n_{ij} n_{ij}^\top) f_{ij} \rVert^2 \le \mu^2 \lVert n_{ij}^\top f_{ij} \rVert^2 \tag{6}

즉 (4) 두 형상이 POA에서 실제로 접촉하고, (5) 법선 힘이 밀어내는 방향이며, (6) 힘이 마찰계수 \mu의 쿨롱 마찰 원뿔 안에 있다. 여기에 정지 상태를 강제하기 위해 각 비구동 형상에 정적 Newton-Euler 평형(식 7)을 부과한다:

F_i = M_i\, g_i^{\text{grav}},

F_i는 모든 접촉 힘이 형상 i에 유도하는 6D 렌치, M_i\in\mathbb{R}^{6\times6}은 관성 행렬, g_i^{\text{grav}}는 국소 좌표계의 중력 벡터. 이 제약들이 “정지 상태로 유지 가능한(quasi-static) 접촉 구성”을 정의한다.

방법 상세 3 — 비선형 제약 샘플링

결정 변수는 이산 접촉 모드 c_{:}, 연속 s\in\mathbb{R}^n, 그리고 접촉 쌍의 p_{ij}, f_{ij}다. 계층적 샘플링을 쓴다 — 먼저 접촉 모드 c_{:}를 샘플링하고, 고정된 c_{:}에 대해 Augmented Lagrangian으로 근접(proximal) 문제(식 8)를 푼다:

\min_{s,f_{:},p_{:}}\ \tfrac{1}{2}\lVert s - \bar{s} \rVert_2^2 \quad\text{s.t.}\quad g_c(s,f_{:},p_{:})\le 0,\ h_c(s,f_{:},p_{:})=0,

여기서 \bar{s}는 box 제약에서 뽑은 균등 무작위 샘플로, 균등 box prior를 제약 공간으로 사영하는 역할이자 solver의 초기값이다. 접촉 모드 샘플링은 (본 논문 세팅에서) 조작 대상인 자유 물체 하나 i=1과 지지 형상 집합 Z를 두고, 활성 지지 접촉 수를 최대 3개로 제한해 1·2·3개 중 균등 선택 후 튜플을 균등 추출한다.

무작위 c_{ij}, \bar{s}에 대해 NLP가 비가능(infeasible)이거나 국소 최적에 갇힐 수 있으므로, 가능한 해 S개가 나올 때까지 반복해 데이터셋 \mathcal{D}=\{s_i\}_{i=1}^S\subset\mathcal{S}_c를 오프라인으로 만든다. 아래는 panda-sphere 도메인에서 이렇게 샘플된 정지 가능 상태의 예다 — 팔의 여러 링크나 벽·바닥을 이용해 공을 받쳐 든 다양한 접촉 모드를 보여준다.

제약 샘플 예(Fig. 1b) — panda 팔이 공을 링크 사이에 끼워 받치거나(좌) 벽에 대고 지지하는(우) 정지 가능 접촉 구성. 무작위 시뮬레이션으로는 이런 상태에 도달하기 어렵다.

방법 상세 4 — 리셋 전략: 사영 보간과 커리큘럼

무작위 s,g\sim\mathcal{D}를 그대로 주면 고차원에서 시작·목표가 너무 멀어 탐색이 다시 어려워진다. CSRL은 HER과 reverse curriculum을 손쉽게 통합할 수 있지만, 여기에 두 가지 새 전략을 더한다.

(1) Projected interpolation resets (식 9). 에피소드마다 a, g\sim\mathcal{D}를 뽑아 g를 목표로 두고, 시작 상태를 다음으로 리셋한다:

s = \operatorname*{argmin}_{s'\in\mathcal{D}} \lVert \phi(s') - [\,t\,\phi(a) + (1-t)\,\phi(g)\,] \rVert,\qquad t\sim\mathcal{U}[0,1].

\phi:\mathcal{S}\to\mathbb{R}^d는 상태 임베딩(Appendix A)이고, t\phi(a)+(1-t)\phi(g)는 두 상태의 볼록 보간이다. 보간에 직접 리셋하면 충돌 같은 기본 제약을 위반할 수 있으므로, kd-tree로 \phi-공간에서 가장 가까운 s\in\mathcal{D}를 찾아 제약 공간 \mathcal{S}_c로 근사 사영한다. 즉 “시작을 목표에 가깝게, 하지만 여전히 물리적으로 타당한 상태로” 놓는 장치다.

(2) Reset curriculum. 위상 변수 \alpha\in(0,1]을 학습 초기 구간에서 0 근처→1로 선형 스케줄하며 보간을 t\sim\mathcal{U}[0,\alpha]로 바꿔 처음엔 목표에 아주 가까이서 리셋한다. 동시에 MDP truncation time을 \alpha에 비례시켜 초기엔 목표 근처의 짧은 rollout만 모은다.

실전에서는 \mathcal{D}(임베딩·kd-tree 포함)를 오프라인 생성한 뒤 RL을 T_{\text{block}}=5000 스텝 블록으로 조직하고, 각 블록 시작에 시작-목표 배치를 (i) \mathcal{D}에서 i.i.d. 균등, (ii) 사영 보간, (iii) 커리큘럼(\alpha=(t+T_{\text{block}})/T_{\text{curr}}, (0,1]로 clip) 중 하나로 샘플링한다. 예컨대 T_{\text{curr}}=100{,}000, T_{\text{end}}=300{,}000이면 처음 10만 스텝이 커리큘럼 구간이고 이후 \alpha=1은 (ii)와 동치가 된다.

직관: 두 개의 “first principles”를 나눠 맡긴다

CSRL의 우아함은 역할 분담에 있다. 물리 시뮬레이터는 “동역학의 first principle”(s'=f(s,a))을 담아 RL이 이를 샘플링하고, 제약 샘플러는 “도달 가능한 다양한 조작 상태의 first principle”을 담아 시작·목표 분포를 제공한다. 접촉의 이산 구조(어떤 형상이 접촉하는가)를 명시적으로 열거·샘플링하기 때문에, RL이 우연히 마주치기 어려운 “공을 사지 사이에 받쳐 든” 희귀 상태를 처음부터 리셋 상태로 제공할 수 있다. RL은 그 상태들을 “연결”하는 정책만 배우면 되고, 이것이 탐색 부담을 크게 던다. 커리큘럼·보간은 그 연결을 “가까운 것부터 점점 멀리”로 쉬운 순서로 만들어 sparse-reward를 완화한다.

실험: 얼마나, 어떻게 좋아지는가

도메인 4종(난이도 상승): (1) double-sphere(공 물체+공 로봇, 정지 가능 상태 도달의 기본 테스트), (2) panda-sphere(공 로봇→panda 팔, panda 링크 전체가 지지 형상 → 전신 접촉), (3) sphere-cube(공→큐브, 방향까지 목표에 포함 → 모서리·꼭짓점 균형), (4) panda-cube(팔+손가락 접촉으로 큐브 제어). RL 엔진 기본값은 TD7, HER·TD3 변형도 평가한다.

결과 표기법: 목표/시작을 제약 샘플링(C) 또는 무작위 드롭(R)으로 뽑고, 선택적으로 사영 보간(i)·커리큘럼(c)을 시작 샘플링에 결합.

① 제약 샘플링이 무작위 샘플링을 압도한다 (Table 1, TD7).

시작·목표 전략	double-sphere	double-sphere(sparse)	panda-sphere	panda-sphere(sparse)
R,R (무작위)	0.317±0.293	0.045±0.006	0.044±0.050	0.002±0.001
C,R (목표만 제약)	0.813±0.316	0.176±0.303	0.017±0.033	0.001±0.001
C,Ric (목표 제약+무작위 보간·커리큘럼 시작)	0.917±0.011	0.920±0.010	0.390±0.241	0.218±0.179
C,C (제약 목표·시작)	0.872±0.336	0.762±0.392	0.486±0.558	0.121±0.267
C,Ci (+사영 보간)	0.996±0.002	0.947±0.028	0.923±0.074	0.710±0.021
C,Cic (+커리큘럼) = CSRL 완전판	0.995±0.002	0.986±0.023	0.965±0.005	0.959±0.010

panda-sphere에서 무작위 방식(0.044)은 “공을 사지 사이에 정지시키는 리셋 상태”를 거의 못 만들기 때문에 붕괴하고, 목표만 제약 샘플링해도 0.390에 그친다. 시작 상태까지 제약 샘플링(C,C)하면 0.486로 오르지만 분산이 크고, 여기에 사영 보간을 얹어야(C,Ci=0.923) 비로소 안정된다. sparse 변형에서는 그 격차가 더 벌어져, 무작위(0.002)가 완전히 실패하는 자리에서 CSRL은 0.959를 낸다.

학습 곡선(Fig. 2) — double-sphere(좌)와 그 sparse 변형(우)의 성공률. 5회 독립 실행 평균±표준오차. CCic·CCi(제약+보간/커리큘럼)가 최종 성능뿐 아니라 수렴 속도·표본 효율에서도 우위. x축은 TD7 스텝(1스텝당 80 환경 샘플). sparse에서 무작위 계열(RR 등)은 바닥에 머문다.

② RL 엔진을 바꿔도 성립한다 (Table 2). sb3의 TD3(TD7과 동일 하이퍼파라미터)는 덜 강건했고(TD7의 기여 확인), TD7의 HER 확장은 성능을 끌어올려 goal-conditioned 세팅에서 HER의 이점을 재확인한다. 핵심은 어떤 엔진에서든 제약 샘플링을 쓴 쪽이 안 쓴 쪽을 크게 앞선다는 것 — 특히 HER 단독은 제약 샘플링 없이 panda-sphere에서 54.7%에 그쳐, 제약 샘플링을 결합한 92.3%+와 대비된다.

③ 큐브 도메인은 훨씬 어렵다 (Table 3a). 목표 특징 차원 15, 관측 차원 45(sphere-cube)·66(panda-cube)로 커지고, 안정 학습에 replay buffer 4M·30만 스텝이 필요했다. 여기서 보간·커리큘럼이 사실상 필수다: sphere-cube에서 C,C는 0.000이지만 C,Ci=0.399, C,Cic=0.700. panda-cube도 0.157→0.211→0.411로 오른다.

④ 사영 보간이 reverse curriculum을 이긴다 (Table 3b). reverse curriculum(RC)은 목표에서 무작위 정책을 역방향으로 굴려 리셋을 만드는데, 단일 씬 MuJoCo 시뮬레이션을 on-the-fly로 돌려야 해 계산 비용이 크다. double-sphere/panda-sphere에서 C,Crev=0.942/0.542인 반면 CSRL의 C,Ci=0.996/0.923으로, 보간 방식이 더 낫고 무작위 드롭 시작에서도 우위다.

⑤ 실세계 전이(예비). sphere-cube 정책의 sphere 로봇을 “엔드이펙터에 붙인 공”으로 해석하고(단일 접촉 상호작용 추상), OptiTrack으로 큐브 자세를 추적, IK로 블로킹 이동해 실물 panda에서 밀기(pushing)를 시연한다.

실세계 전이(Fig. 3) — 실물 panda가 엔드이펙터의 공으로 큐브를 미는 장면(좌)과 OptiTrack 자세·관절 상태를 반영한 동기화 시뮬레이션 뷰(우). 행동 인덱스 t로 정렬.

비판적으로 보면

강점

• 문제의 재정의가 깔끔하다. “RL을 개선”하는 대신 “RL이 마주하는 p_0를 물리 제약으로 설계”로 옮긴 것은, off-the-shelf RL(TD7·TD3·HER)과 직교적으로 결합되는 모듈성을 준다. 샘플러가 특정 알고리즘에 얽매이지 않는다.
• 접촉의 이산 구조를 정면으로 다룬다. 접촉 모드 c_{ij}를 명시적으로 열거·샘플링하고 마찰 원뿔·정적 평형까지 제약으로 넣어, 파지 전용 샘플러가 못 만드는 전신 접촉·비파지 구성을 일반적으로 커버한다. 이 점이 grasp 중심의 CHORD 같은 접촉-풍부 조작 연구와 차별된다.
• ablation이 설득력 있다. C,C→C,Ci→C,Cic의 단계적 향상, sparse에서의 격차 확대, reverse curriculum 대비 우위까지, “무엇이 왜 필요한지”를 수치로 분해한다. 특히 sphere-cube에서 보간 없이는 0.000이라는 결과는 각 요소의 필요성을 강하게 증명한다.

약점·한계

• 특권(privileged) 학습에 머문다. 정책이 full state에 접근하는 teacher 세팅이며(locomotion의 teacher-student 성공에 착안), 센서 기반 student 정책으로의 증류·전이는 아직 안 했다. 저자들도 admittance 관측 편차 등 조작 특유의 sim2real 난점을 예상한다고 인정한다. 실세계 전이는 OptiTrack로 상태를 그대로 주는 예비 시연에 그친다 — 실용적 인지-행동 폐루프와는 거리가 있다.
• 샘플링 비용이 확장성의 병목. 단일 CPU·범용 NLP solver 기반이라, double-sphere처럼 단순한 씬은 효율적이지만 복잡한 물체에서는 제약(4–7)의 비선형성이 계산 비용을 크게 키운다. 저자 스스로 병렬화·전용 solver를 후속 과제로 든다. 즉 현 형태로는 물체·씬 복잡도에 대한 확장이 열린 문제다.
• 가정의 제한. 접촉 모드를 자유 물체 하나와 지지 접촉 최대 3개로 제한하고, 목표를 정지 가능(quasi-static) 상태로 한정한다. 던지기·튕기기 같은 본질적으로 동적인(비정지) 목표나 다물체 조작은 이 정식화 밖이다.
• 정밀도의 한계. 저자 관찰상 큐브의 모서리·꼭짓점 균형 목표에서 near-goal에 도달하나 정밀 임계치를 살짝 못 넘기는 경우가 잦다(특히 panda-cube). 성공률 0.411(panda-cube Cic)은 이 어려움을 반영한다.
• BC 대안은 음성 결과. Appendix E에서 다양한 open-loop 궤적으로부터의 behavior cloning을 시도했으나 negative result로 보고된다 — 제안 방식의 우회로 후보를 정직하게 기록한 점은 좋지만, “왜 BC가 안 되는가”의 분석은 부록 수준에 머문다.

관련 연구와의 자리 매김

CSRL은 세 흐름의 교차점에 있다. (1) 모델 기반 조작 계획 — Posa 등의 접촉을 통한 궤적 최적화, 환경 제약 활용, explicit/implicit 접촉 정식화의 유산을 “궤적”이 아닌 “상태 샘플링”에 이식한다(제약 매니폴드 위 샘플링이 효율적일 수 있다는 최근 결과에 착안). (2) goal-conditioned/universal 정책 — universal value function·HER·reward relabeling 계열은 대개 시작·목표 샘플링이 자명하다고 가정하는데, CSRL은 그 가정을 비선형 제약 solver로 대체한다. (3) 리셋·목표 분포 설계 — reverse curriculum, Go-Explore, 무작위 씬 생성, 파지 샘플러가 국소적·primitive-특화였던 데 반해, 일반 제약으로부터 다양한 접촉 구성을 노출한다.

방법론적으로는 모델 기반과 RL의 결합이라는 점에서 MPC+RL 결합 리뷰와, 커리큘럼으로 접촉-풍부 조작의 sparse-reward를 완화한다는 점에서 Play2Perfect와 나란히 읽을 만하다. 세 논문 모두 “순수 RL을 그대로 돌리지 않고, 구조(모델·데이터·분포)를 주입해 탐색을 쉽게 만든다”는 공통 철학을 공유한다.

요약

CSRL은 비파지·전신 접촉 조작에서 RL의 탐색 병목을, 접촉·마찰·정적 평형 제약으로 정의된 매니폴드에서 정지 가능 상태를 직접 샘플링해 goal-conditioned RL의 시작·목표 분포로 쓰는 방식으로 공략한다. 여기에 kd-tree 기반 사영 보간과 커리큘럼 리셋을 결합해 sparse-reward를 완화하고, TD7·TD3·HER 어느 엔진에서든 무작위 샘플링을 큰 폭으로 앞선다(panda-sphere 0.965 vs 0.044, sparse에서 0.959 vs 0.002). 물리 시뮬레이터의 “동역학 샘플링”에 “상태 샘플링”을 상보적으로 붙였다는 관점이 특히 인상적이다. 다만 현재는 특권 정책·단일 CPU 샘플러·정지 목표라는 제약 안의 결과이며, 센서 기반 student로의 전이와 샘플러 병렬화가 실용화의 다음 관문이다.