📃FAOC 리뷰

mpc

optimal-control

action-space

convex-optimization

feasibility

safety

planning

table-tennis

theory

Bridging Reinforcement Learning and Optimal Control via Feasible Action Mapping

Published

July 30, 2026

Paper Link (arXiv:2607.23930v1)
Code Link (SonyResearch/feasible_action_for_optimal_control) — 논문에 명시된 URL이지만 리뷰 시점(2026-07-30)에는 404(아직 비공개)
저자: Stefan Richter, Alberto Giammarino (공동 1저자), Guillem Torrente, Sam Blakeman, Peter Dürr
Richter Optimization GmbH(Vienna) · Sony AI(Tokyo/Zurich)
arXiv preprint (eess.SY), 2026-07-27 · CC BY 4.0

💡 RL 에이전트가 MPC의 파라미터를 고르는 계층형 구조에서 “RL이 고른 파라미터가 OCP를 infeasible하게 만든다”는 고질적 문제를, 정적인 추상 행동 집합 \bar{\mathcal{A}}를 상태 의존 feasible 파라미터 집합 \mathcal{P}(x)로 전단사(bijective) 매핑해서 구조적으로 없애자는 제안.
⚙️ 두 집합이 compact·solid·convex라는 조건 아래, 내부점에서 뻗은 반경(ray)의 경계 도달 배율 \alpha,\beta를 재는 radial 매핑(y=y_c+\frac{\beta}{\alpha}\phi(d))을 쓰고, 점 밀림(point accumulation)은 2D 면적 정합 또는 타원체 대리집합 기반 선형변환 \Phi=Q_{\widetilde{\mathcal{Y}}}Q_{\widetilde{\mathcal{X}}}^{-1}로 보정하며, \mathcal{P}(x)의 명시적 기하 표현 없이 내부점·\Phi·\beta를 전부 lifting된 convex 문제로 계산해 실시간성을 확보한다.
🎯 8-DoF 로봇 탁구(관절당 2차원 waypoint, RL 31.25 Hz / 저수준 1 kHz)에서 FAOC는 SAC+BRONet 기준 정규화 보상·리턴율·생성 토프스핀·타구 속도 전부에서 reachability를 모르는 2Dsoft·1D 변형을 유의하게 앞서고(Mann-Whitney U, p<0.05), RL 주기를 7.8125 Hz로 낮췄을 때 유의 우위 비교가 8건 → 13건으로 늘어난다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

RL과 최적제어(OC/MPC)를 붙이는 가장 흔한 방식은 파라미터화된 MPC를 환경의 일부로 두고, RL이 그 파라미터를 상태별로 고르게 하는 것이다. 이때 대부분의 선행 연구는 파라미터를 비용함수 쪽에만 둔다 — 비용을 바꾸는 행동은 어차피 실행 가능하므로 feasibility를 걱정할 필요가 없기 때문이다. 대신 “그럼 행동 공간의 경계는 무엇으로 정하나”라는 문제가 생기고, 결과적으로 행동 공간이 손으로 튜닝하는 하이퍼파라미터가 된다. 반대로 파라미터가 제약(예: 종단 상태 목표)을 정의하는 순간, RL이 고른 행동 하나로 OCP가 infeasible해질 수 있어 slack 변수·보상 페널티·재풀이 같은 임시방편이 필요해진다.

FAOC(Feasible Action for Optimal Control)의 주장은 단순하다. 행동 공간의 경계를 사람이 정하지 말고, OCP가 정의하는 진짜 feasible 집합을 그대로 행동 공간으로 쓰자. 문제는 그 집합 \mathcal{P}(x)가 상태 x에 따라 모양·크기·방향이 계속 변하고, 명시적 기하 표현을 뽑는 것이 실시간으로는 불가능하다는 점이다. FAOC는 RL 정책은 여전히 정적이고 단순한 \bar{\mathcal{A}}=[-1,1]^n에서 샘플링하게 두고, 그 사이에 전단사 매핑 M:\bar{\mathcal{A}}\to\mathcal{P}(x)을 끼워 넣는다. 그러면 RL은 물리 제약을 배우는 데 용량을 쓰지 않고 태스크에만 집중하며, 반대로 OCP는 hard constraint를 포기하지 않는다.

FAOC 개요(Fig. 1) — ① 정책이 가우시안 (\mu,\Sigma)를 내고 b(예: tanh)로 추상 행동 \bar a\in\bar{\mathcal{A}}를 만든다 → ② 매핑 M이 상태 의존 feasible 집합 \mathcal{P}(x) 안으로 보낸다(색 그라데이션 = 연속 대응) → ③ 그 p를 파라미터로 OCP를 풀어 제어 입력 궤적을 얻고 → ④ open-loop로 적용, 다음 상태 x^+가 다음 사이클의 초기조건이 된다.

핵심 방법론:

파라미터화된 OCP를 다음처럼 두고

\min_{z\in\mathcal{Z}} f(z,p,x)\quad \text{s.t.}\quad g(z,p,x)\le 0,\qquad H_z z + H_p p + H_x x + h = 0,

feasible 파라미터 집합을 그 유효 정의역(effective domain), 즉 z 방향으로의 사영으로 정의한다:

\mathcal{P}(x)\triangleq\{\,p\in\mathbb{R}^n \mid \exists z\in\mathcal{Z}:\ g(z,p,x)\le 0,\ H_zz+H_pp+H_xx+h=0\,\}.

Lemma 1은 \mathcal{Z}가 nonempty·compact·convex, g가 (z,p)에 대해 jointly convex·연속, 결합 feasible 집합이 p 방향 recession direction을 갖지 않고, Slater류의 strict feasibility + \operatorname{rg}(H_p)\subseteq H_z\mathbb{T}가 성립하면 \mathcal{P}(x)가 compact·solid·convex임을 보인다. 매핑은 \bar{\mathcal{A}}와 \mathcal{P}(x)가 같은 위상적 성질을 가질 때만 성립하므로, 이 Lemma가 프레임워크의 입장권이다.

매핑 자체는 반경 스케일링이다. 두 집합의 내부점 x_c,y_c를 잡고, d=x-x_c가 \operatorname{bd}\mathcal{X}에 닿는 배율 \alpha\ge1, 방향 변환된 d'=\phi(d)가 \operatorname{bd}\mathcal{Y}에 닿는 배율 \beta>0을 재서

y \;=\; y_c + \frac{\beta}{\alpha}\,d' ,\qquad d'=\phi(d)

로 보낸다. \phi가 연속·가역·양의 동차(positively homogeneous)이면 M은 전단사(Proposition 1)이고, 다면체 H-표현에서는 \alpha가 반평면들에 대한 비율 테스트로 해석적으로 나온다:

\alpha=\min_{i\in\{j\,\mid\, a_{x,j}^\top d>0\}}\frac{b_{x,i}-a_{x,i}^\top x_c}{a_{x,i}^\top d}.

\phi=\mathrm{id}면 위상적으로는 문제없지만 기하적으로 “눈이 먼” 매핑이 되어(가늘고 긴 \mathcal{Y}에 점이 몰린다), 논문은 2D에서 각도별 면적 CDF를 정합시키는 \upsilon=a_{\mathcal{Y}}^{-1}(a_{\mathcal{X}}(\xi))와, 임의 차원에서 타원체 대리집합으로 얻는 선형변환 \Phi=Q_{\widetilde{\mathcal{Y}}}Q_{\widetilde{\mathcal{X}}}^{-1}를 제시한다.

매핑 방식 비교(Fig. 2) — 좌: 단위 정사각형 \mathcal{X}의 격자 샘플. 그 다음 셋은 같은 샘플을 매우 가늘고 긴 \mathcal{Y}(가시화를 위해 x:y 축비 1:60)로 보낸 결과: identity 변환은 점이 심하게 몰리고, 면적 정합(2D 전용)과 선형변환은 밀도 비율을 유지한다.

주요 결과: (8-DoF 로봇 탁구 시뮬레이션, 컨트롤러 5종 × 시드 5개, 평가점마다 1000 에피소드)

베이스라인(SAC + BRONet, Fig. 6a): 학습 곡선 상위 두 개가 2D 컨트롤러(FAOC·2Dsoft)이고, 그림에서 읽으면 최종 정규화 보상 ≈0.69 / ≈0.66, 1D 변형들은 ≈0.19–0.63에 시드 분산이 훨씬 크다. FAOC가 상승도 가장 빠르다.
평가 지표(Fig. 5a): 리턴율에서 FAOC ≈0.88 vs 2Dsoft ≈0.85 / 1Dpos ≈0.82 / 1Dvel ≈0.80(p = 0.016 / 0.012 / 0.008), 생성 토프스핀 ≈250 rad/s vs ≈120–160(p = 0.008), 타구 속도 ≈8.2 m/s vs ≈6.4–7.1(p = 0.008). 백스핀·목표 거리는 유의차 없음. 1Dacc는 5개 시드 중 3개가 리턴율 50% 미달로 아예 보고에서 제외됐다.
더 강한 RL로 바꿔도(SimBaV2, Fig. 5b/6b): 모든 컨트롤러가 크게 좋아져 보상 곡선은 거의 겹치지만(≈0.70), FAOC는 여전히 8건의 유의 우위를 유지한다.
RL 주기를 낮추면(31.25 Hz → 7.8125 Hz, Fig. 5c/6c): FAOC는 성능을 대체로 유지(그림 zoom에서 ≈0.71–0.72)하는데 나머지는 ≈0.665–0.69로 내려앉고, 유의 우위가 13건으로 증가한다.
논문이 밝히는 중요한 단서: 어떤 방법도 어떤 지표·어떤 실험에서도 FAOC보다 유의하게 좋지 않았다.

결론: RL 알고리즘을 건드리는 대신 RL이 마주하는 행동 공간의 정의를 최적제어의 feasibility로 대체하면, ① 행동 공간 튜닝이 사라지고 ② hard constraint를 포기할 필요가 없고 ③ 낮은 결정 주기에서도 제어 가능성이 잘 유지된다. 이 매핑은 Sony AI가 실제로 프로급 선수를 상대로 승리한 탁구 로봇 스택(Dürr et al., Nature 652, 2026)의 구성요소로 배치됐다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“RL의 행동 공간을 사람이 정하지 말고, 최적제어가 대답해 주는 ’지금 이 상태에서 가능한 것 전부’를 그대로 행동 공간으로 삼자” — 그리고 그 집합이 매 제어주기마다 모양이 바뀌는데도 명시적으로 그려 볼 시간이 없다는 현실적 난점을, 내부점에서 뻗은 반경의 경계 도달 배율만 재는 값싼 전단사 매핑으로 우회한 것이 FAOC다. 기여의 절반은 위상적 조건을 정리한 것(무엇이 성립해야 이게 되는가)이고, 나머지 절반은 그 조건 아래에서 모든 계산을 명시적 기하 표현 없이 수행하는 방법이다.

배경: RL과 OC를 붙일 때 실제로 걸리는 것

RL과 MPC는 서로의 약점을 정확히 메운다. RL은 희소 보상·장기 지평·비볼록 문제를 탐색으로 뚫지만 제약 만족을 보장하지 못하고, MPC는 동역학 사전지식과 입력·상태·출력 제약을 명시적으로 강제하지만 규모가 커지면 실시간 데드라인을 못 지키고 비볼록·장기 지평·희소 보상에는 약하다. 그래서 둘을 결합하려는 시도는 오래됐고, 논문은 RL–MPC 서베이(Reiter et al., 2025)의 분류를 빌려 자기 위치를 밝힌다: 파라미터화된 MPC를 RL 환경의 일부로 보고, RL이 그 파라미터를 상태 의존적으로 학습하는 계층형(hierarchical) 구조이며, RL 정책은 OCP의 결정변수에 의존하지 않는다(즉 RL의 행동은 OCP 안에서 결정변수가 아니라 상수다).

이 계열에서 반복되는 두 가지 골칫거리가 이 논문의 표적이다.

(1) 행동 공간 경계가 하이퍼파라미터가 된다. feasibility를 건드리지 않으려고 비용함수만 파라미터화하면 어떤 행동이든 admissible하지만, 그 대가로 “행동 범위를 어디까지 열어 둘 것인가”에 답이 없다. 논문이 드는 예들: 내비게이션 서브골을 최대 속도×지평으로 휴리스틱하게 경계 지은 경우, Frenet 좌표계의 참조를 도메인 지식 기반 확장함수로 고차원 비용 파라미터로 보낸 경우, 무한 행동 공간으로 CBF 파라미터를 학습한 경우. 예외적으로 물리·확률적으로 자연히 경계가 있는 파라미터(전파 지평, 제약 robustification 인자)를 고른 연구도 있지만 문제별 특수해다.

(2) 파라미터가 제약을 정의하면 RL이 feasibility를 배워야 한다. 교차로 처리를 위해 RL 행동이 제약을 정의하고 infeasible 조합을 보상으로 벌하거나, chance-constrained MPC를 안전 필터로 두고 infeasible할 때마다 제약을 완화해 다시 푸는 식이다. Pareto-최적 가중치 후보를 유한집합으로 이산화해 안전을 확보한 접근도 있지만 행동 공간을 심하게 좁힌다. 어느 쪽이든 정책은 정의가 흐릿한 feasibility 경계를 암묵적으로 학습해야 하고, 이는 학습 효율과 최종 성능을 갉아먹는다.

가장 가까운 선행 연구는 두 편이다. 하나는 1차원 선형 매핑으로 [-1,1]을 상태 의존 feasible 구간으로 보내는 klimits(Kiemel & Kröger, ICRA 2021) — 개념은 같지만 차원별 독립 1D 매핑에 갇혀 있다. 다른 하나는 이 아이디어를 일반화하려 한 action mapping(Yuan et al., TNNLS 2023)인데, 추상 집합이 하이퍼큐브여야 하고 타깃 집합이 원점을 포함해야 한다는 제약이 있다. FAOC는 임의의 compact·convex 집합으로 확장하면서(원점 가정 제거 → 강건한 내부점 계산으로 대체) 두 집합의 기하 형상 차이까지 보정한다. 참고로 Theile et al.(RLJ 2025)처럼 매핑 자체를 지도학습으로 배우면 비볼록·비연결 집합도 다룰 수 있지만, 그 경우 엄격한 보장은 포기하게 된다.

이 자리매김은 학습된 종단 비용(learned terminal cost) 계열과 대비해 보면 더 뚜렷하다. 무한 지평 cost-to-go를 NN으로 근사해 OCP의 종단 비용에 꽂는 접근(Zhong et al. 2013, Lowrey et al. 2019, AC4MPC 2025 등; 이 블로그의 Combining MPC & RL 리뷰가 다룬 RQL이 그 계열이다)은 OCP를 일반적으로 비볼록으로 만들어 실시간 solvability를 위협한다. FAOC는 OCP 안쪽을 손대지 않고 RL↔︎OCP 인터페이스만 고친다.

문제 정식화와 가정 — 무엇이 성립해야 이게 되는가

이론 논문이므로 가정을 분명히 볼 필요가 있다.

RL 쪽. 유한 지평 할인 MDP (\mathcal{S},\mathcal{A},\kappa,r,\rho_0,\gamma)에서 확률적 정책 \pi_\theta(a|s)를 학습한다. 정책이 내는 원 행동(raw action)은 무계일 수 있으므로 유계 비선형 함수 b(원소별 tanh 등)를 통과시켜 추상 행동 \bar a=b(a)\in\bar{\mathcal{A}}를 만든다. FAOC가 요구하는 것은 \bar{\mathcal{A}}\subset\mathbb{R}^n이 compact이고 solid(내부가 비지 않음)하고 convex라는 것뿐이며, 표준 설정은 [-1,1]^n이다.

OC 쪽. 위의 (2)번 OCP에서 x는 측정/추정된 초기 상태(고정 파라미터), z는 결정변수(예측 상태·입력 궤적), p\in\mathbb{R}^n이 RL이 지정하는 행동 인코딩 파라미터(예: 종단 상태 목표)다. Lemma 1의 네 가정은 각각 다음을 담당한다:

\mathcal{Z}가 nonempty·compact·convex → Weierstrass로 “해결 가능성 = feasibility”가 되고, 사영의 closedness가 보장된다.
f 연속, g가 (z,p)에 jointly convex·연속 → 결합 feasible 집합 \mathcal{S}(x)의 볼록·닫힘.
\mathcal{S}(x)가 p 방향으로 recession direction을 갖지 않음 → 사영 \mathcal{P}(x)의 유계성.
strict feasibility(\tilde z\in\operatorname{relint}\mathcal{Z}, g_i(\tilde z,\tilde p,x)<0) + 범위 조건 \operatorname{rg}(H_p)\subseteq H_z\mathbb{T} → solidness. 직관적으로 “파라미터를 조금 흔들어도 등호 제약을 유지하면서 z를 따라 흔들 여지가 있다”는 조건이다.

f가 비볼록이어도 된다는 점은 실용적으로 의미가 있다(feasibility 구조만 볼록하면 된다). 여기서 특히 좋은 결과는 Corollary 1이다. 선형 시변 동역학 + 종단 제약 Cx_N=p인 MPC에서, 스테이지 집합 \mathcal{Z}_k와 종단 집합 \mathcal{X}_N이 compact·solid·convex이고 초기 상태 x가 strictly feasible 궤적을 허용할 때, \mathcal{P}(x)가 compact·solid·convex인 것은 C가 full row rank인 것과 필요충분이다. 필요충분조건까지 좁혀 준 것은 설계자에게 바로 쓰이는 체크리스트다(종단 제약이 중복이면 solid가 깨진다).

방법 1 — 반경 매핑과 가역성

Algorithm 1은 짧다. 기저 집합 \mathcal{X}(=\bar{\mathcal{A}}), 타깃 집합 \mathcal{Y}(=\mathcal{P}(x)), 각각의 내부점 x_c,y_c, 그리고 방향 변환 \phi가 주어지면:

d=x-x_c,\quad \alpha=\max\{\alpha\mid x_c+\alpha d\in\mathcal{X}\},\quad d'=\phi(d),\quad \beta=\max\{\beta\mid y_c+\beta d'\in\mathcal{Y}\},\quad y=y_c+\tfrac{\beta}{\alpha}d'.

x=x_c면 y=y_c. 볼록·compact·solid이므로 내부점에서 뻗은 반경은 경계와 유일한 유한 배율에서 만나고, \alpha\ge1이므로 y는 선분 [y_c,\,y_c+\beta d'] 안, 즉 \mathcal{Y} 안에 있다.

가역성(Proposition 1)의 증명이 깔끔하다. 역방향에서 v'=y-y_c=\frac{\beta}{\alpha}d'의 경계 배율은 정확히 \tilde\alpha=\alpha가 되고, \phi^{-1}의 양의 동차성 덕에 v=\frac{\beta}{\alpha}d, \tilde\beta=\frac{\alpha^2}{\beta}가 되어 x_c+\frac{\tilde\beta}{\tilde\alpha}v=x_c+d로 원점 복귀한다. 즉 \phi에 요구되는 성질은 연속·가역·양의 동차 셋뿐이며, 이것이 뒤의 두 변환(\phi 선택)을 자유롭게 만든다.

왜 가역성을 이렇게 중시하나. ① 서로 다른 추상 행동이 같은 p로 가는 action aliasing을 막고(정책·critic 학습에 유해), ② 반대 방향으로 p\mapsto\bar a를 계산할 수 있어 대칭 데이터 증강이나 전문가 시연을 replay buffer에 주입하는 것이 가능해진다. 두 번째는 실제 탁구 스택에서 의미가 큰 부분이다.

방법 2 — 기하 왜곡: 면적 정합(2D)과 선형변환(nD)

\phi=\mathrm{id}면 위상적으로는 유효하지만 기하적으로 “눈이 멀었다”. \mathcal{Y}의 종횡비·방향이 \mathcal{X}와 크게 다르면 균등 샘플이 \mathcal{Y}의 좁은 영역에 몰려(Fig. 2 두 번째 패널) 탐색에 필요한 샘플 수가 폭증한다.

2D 면적 정합. 내부점 기준 각도 wedge의 정규화 면적 a_{\mathcal{X}}(\xi)=A_{\mathcal{X}(\xi)}/A_{\mathcal{X}}는 균등분포의 각도 marginal CDF다(연속·강증가). 이를 이용해

\phi(d)=\|d\|\begin{bmatrix}\cos\upsilon\\ \sin\upsilon\end{bmatrix},\qquad \upsilon=a_{\mathcal{Y}}^{-1}\!\big(a_{\mathcal{X}}(\xi)\big),\quad \xi=\arg(d)

로 두면(노름 보존 → 양의 동차성 성립), 균등 샘플의 각도 marginal이 타깃 집합의 면적 비율과 정확히 일치한다(Proposition 3). 최적수송(optimal transport)의 1차원 CDF 정합과 같은 발상이며, 다각형이면 삼각형 부호 면적의 누적으로 삼각함수 없이 해석적으로 계산된다. 단 저자도 명시하듯 joint 분포가 균등해지는 것은 아니다 — 각 반경선 위의 점 분포는 경계 곡률에 따라 여전히 달라진다.

임의 차원의 선형변환. 면적 정합은 체적 적분에 의존해 n>2에서 비현실적이다. 대신 아핀 사상이 확률분포의 “종류”를 보존한다는 성질(p_{\mathcal{Y}}(y)=|\det\Phi|^{-1}p_{\mathcal{X}}(\Phi^{-1}(y-c_\Phi)))에 기대어 \phi(d)=\Phi d로 제한한다. \widetilde{\mathcal{X}},\widetilde{\mathcal{Y}}를 아핀으로 관계된 대리집합(surrogate)으로 두고 특히 solid 타원체로 잡으면

\Phi=Q_{\widetilde{\mathcal{Y}}}\,Q_{\widetilde{\mathcal{X}}}^{-1}

로 해석적으로 얻어진다(Proposition 4). 다면체 H-표현이 명시적으로 있다면 최대 체적 내접 타원체(MVIE)를 SDP로 풀어 대리집합을 만들면 된다. 가역 선형사상은 자동으로 연속·전단사·양의 동차이므로 Proposition 1의 조건을 그대로 만족한다.

방법 3 — 암시적으로만 주어진 타깃 집합 다루기

여기가 이 논문의 실전 핵심이다. 계층형 제어에서 \mathcal{P}(x)는 보통 OCP 제약을 통해 암묵적으로만 정의되고, 매 사이클마다 명시적 다면체 표현(사영)을 뽑는 것은 계산적으로 금지적이다. 그래서 타깃 집합을 고차원 집합의 아핀 상(image)으로 본다:

\mathcal{Y}=E\mathcal{W}+e,\qquad E\in\mathbb{R}^{n\times n_w},\ n_w>n.

이러면 compact·convex는 자동이고, solid는 Assumption 2(E(\operatorname{aff}\mathcal{W})=\mathbb{R}^n; E의 full row rank가 필요조건)로 확보한다. Example 1은 일반 OCP를 이 형태로 옮기는 조건을 밝힌다: 부등식 제약이 p와 무관하고(g(z,p,x)\equiv g(z,x)), p가 걸린 등호 제약을 B_pp=B_zz+B_xx+b(B_p 가역)로 정리할 수 있어야 한다 — 즉 p를 포함한 등호 제약이 z에 추가 제약을 숨겨 들여오지 않아야 한다. 선형 MPC에서 p=Cx_N이면 B_p=I로 자연히 성립한다.

그 다음 Algorithm 1의 세 재료를 전부 \mathcal{W} 쪽에서 계산한다.

(a) 내부점 y_c. relint의 선형사상 보존성으로 w_c\in\operatorname{relint}\mathcal{W}\Rightarrow y_c=Ew_c+e\in\operatorname{int}\mathcal{Y}(Proposition 5). \operatorname{relint}\mathcal{W}의 점은 아핀 껍질을 w=Fv+w_p로 매개화해 등호 제약을 소거한 축소집합 \mathcal{V}에서 Chebyshev center 등으로 얻는다. 선형 MPC라면(Example 2) 상태 전파 행렬이 하삼각·대각 단위라 항상 가역이므로 x_{0:N}=\mathcal{A}^{-1}(\mathcal{C}x-\mathcal{B}u_{0:N-1}), 즉 입력열 u_{0:N-1}이 그대로 축소 좌표가 된다.

단, 그렇게 얻은 임의의 내부점은 \mathcal{Y}가 심하게 비뚤거나 좁은 영역을 가질 때 경계에 너무 가까이 붙어 \beta 계산의 수치 안정성을 해칠 수 있다(저자의 수치 경험). 그래서 “깊은” 내부점을 내접 볼 반경 최대화로 구하는 두 정식화를 제시한다. 정점 기반(Proposition 6)은 정확하지만 제약 수가 노름에 따라 2n 또는 2^n개로 늘어 저차원에만 쓸 수 있고, lifting 기반(Proposition 7)은 사전상(w(q)=Lq+w_c)을 아핀으로 제한해

\max_{r,L,w_c} r \quad \text{s.t.}\quad EL=rG,\qquad \|L^\top a_j\|_*+a_j^\top w_c\le b_j\ \ \forall j

로 쓴다(듀얼 노름). 제약 수가 \mathcal{W}의 기술 복잡도에 묶이므로 고차원에서도 다룰 수 있지만, 얻는 값은 참 최대 반경의 하한 \underline r\le r^*다.

(b) 변환 행렬 \Phi. 명시적 \mathcal{Y} 없이 대리 타원체를 만들려면 축소집합 \mathcal{V}에서 타원체를 잡아 앞으로 밀면 된다. R=EFQ_{\widetilde{\mathcal{V}}}의 SVD R=U[\Sigma\ \ 0]V^\top를 쓰면 V^\top는 단위구 위의 등거리변환일 뿐이고 블록 사영은 저차원 단위구를 그대로 남기므로

Q_{\widetilde{\mathcal{Y}}}=U\Sigma

가 정확한(가역) 형상 행렬이 된다(Proposition 8). 그리고 Example 3의 트릭이 실전적으로 결정적이다 — \Phi가 상태 의존이면 매 사이클 SDP를 풀어야 해서 실시간이 깨진다. 그래서 초기 상태를 입력 공간에 끌어올린 증강 집합 \mathcal{V}_a의 타원체를 오프라인으로 구하고, 런타임에 x가 고정되면 Q_x\bar v=x-q_x라는 선형 제약이 걸리므로 \bar v=\bar v_p(x)+K_\perp v(K_\perp = Q_x의 영공간 정규직교 기저)로 쪼갠다. 이때 “슬라이스”의 형상 행렬은 r(x)Q_uK_\perp인데 r(x)=\sqrt{1-\|\bar v_p(x)\|_2^2}는 양의 스칼라이고 Algorithm 1의 \beta 라인서치가 어차피 경계까지 다시 스케일하므로 그냥 버릴 수 있다:

Q_{\widetilde{\mathcal{V}}}=Q_uK_\perp \quad(\text{상태 무관}).

즉 \Phi가 완전히 오프라인 상수가 된다. (덧붙여 \|\bar v_p(x)\|_2>1이면 r(x)가 정의되지 않는데, 이는 x가 내접 대리 타원체 밖이라는 뜻일 뿐이고 참 feasible 집합은 여전히 비어 있지 않을 수 있다 — 저자가 명시한 지점이다.)

(c) 경계 배율 \beta. 사영을 온라인으로 계산하지 않고 탐색을 고차원으로 들어올려 한 번의 convex 문제로 푼다:

\max_{\beta,\,w}\ \beta \quad\text{s.t.}\quad Ew+e=y_c+\beta d',\qquad w\in\mathcal{W}.

세 재료를 합치면, RL 정책과 OCP가 맞물려 도는 동안 \mathcal{P}(x)의 명시적 기하 표현을 단 한 번도 만들지 않는다. 이것이 “실시간 가능”이라는 주장의 근거다.

직관: 무엇이 보장되고, 무엇이 보장되지 않는가

이 논문을 읽을 때 가장 조심할 부분이다. FAOC의 보장은 조건부다.

보장되는 것: Lemma 1(또는 Corollary 1)의 가정이 성립하는 상태 x에서, 임의의 \bar a\in\bar{\mathcal{A}}는 \mathcal{P}(x) 안의 p로 가고 따라서 OCP가 feasible하다. 그리고 그 대응은 전단사여서 feasible한 모든 p가 어떤 \bar a의 상이다(“infeasible은 배제, feasible은 전부 도달 가능”). 매핑 자체의 부산물로 점 밀림도 완화된다.
보장의 출처가 다른 것: recursive feasibility는 매핑이 주는 게 아니라 OCP 설계가 준다 — 탁구 응용에서는 종단 상태를 최대 제어 불변집합(MCIS) \mathcal{X}_\infty에 넣고, 1 ms 샘플링에서의 원래 한계 위반을 막기 위해 스테이지 한계를 수학적으로 엄격하게 축소(shrink)한 덕이다. FAOC는 “그 잘 설계된 OCP를 RL이 깨뜨리지 않게” 보장한다.
보장되지 않는 것: 상태 x가 이미 가정을 벗어난 경우(외란·모델 오차로 strictly feasible 궤적이 없는 상태에 들어간 경우) 매핑은 할 말이 없다. 논문에서 이 실패 모드의 처리(백업 정책·제약 완화)는 다루지 않는다(내가 본문에서 확인한 범위). 또 보장은 OCP가 강제하는 제약 종류에 한정된다 — 탁구에서는 관절별 위치·속도·가속도·저크 한계이고, 장애물 회피나 비선형 기구학 같은 “전략적 비볼록성”은 여전히 RL이 배운다(저자가 기여 (v)에서 명시).

또 하나 짚어 둘 직관: 매핑이 상태 의존이므로 같은 추상 행동 \bar a의 물리적 의미가 상태마다 달라진다. “\bar a=(1,1)”은 항상 “지금 가능한 범위의 모서리”를 뜻하고 절대 좌표로는 매 순간 다른 곳이다. 이는 정책이 상대적·정규화된 의도를 배우게 해 유리할 수 있지만(실험이 그 방향을 지지한다), 반대로 행동 의미가 비정상적(non-stationary)이 되어 value 학습을 어렵게 할 여지도 있다. 논문은 후자를 논의하지 않는다.

실험: 셋업

응용은 8-DoF 모바일 매니퓰레이터의 로봇 탁구다. 이 스택은 실제로 공식 ITTF 경기에서 프로급 선수를 상대로 승리한 시스템(Dürr et al., “Outplaying elite table tennis players with an autonomous robot”, Nature 652, 2026)이고, 이 논문은 그중 모션 플래닝 인터페이스를 다룬다. 제어는 두 시간축으로 나뉜다 — 고수준 RL 정책이 시각·기구학 피드백으로 인터셉트 전략(+정적 장애물 회피)을 정하고, 저수준 관절 제어기는 1 kHz로 위치 참조를 추종한다. FAOC가 그 사이를 잇는다.

RL은 157차원 상태(공 관측·관절 상태·원하는 스킬 등)를 보고 16차원 행동(8관절 × 위치·속도 waypoint)을 낸다. waypoint는 32 ms 뒤에 도달해야 하므로 RL 주기는 31.25 Hz다.
관절마다 하나씩, RL 스텝당 파라미터화된 OCP(Corollary 1 구조)를 푼다. 1 ms 해상도로 계획하지 않고 32 ms를 N=4개의 T=8 ms 구간으로 나눠 저크를 구간별 상수로 두면, 3번 적분해 위치가 3차 스플라인이 된다. 상태는 x_k\in\mathbb{R}^3(위치·속도·가속도), 입력은 스칼라 저크:

\min_{x_{0:N},u_{0:N-1}}\ \tfrac12\sum_{k=0}^{N-1}u_k^2 \quad\text{s.t.}\quad x_{k+1}=Ax_k+Bu_k,\ x_0=x,\ (x_k,u_k)\in\mathcal{Z}_k,\ x_N\in\mathcal{X}_\infty,\ Cx_N=p,

A=\begin{bmatrix}1&T&\frac{T^2}{2}\\ 0&1&T\\ 0&0&1\end{bmatrix},\quad B=\begin{bmatrix}\frac{T^3}{6}\\ \frac{T^2}{2}\\ T\end{bmatrix},\quad C=\begin{bmatrix}I_2&0\end{bmatrix}\in\mathbb{R}^{2\times3}.

C가 full row rank이므로 Corollary 1이 적용되고, p\in\mathcal{P}(x)\subset\mathbb{R}^2가 관절별 종단 (위치, 속도) 목표가 된다. QP는 DAQP로 실시간 해결하고 MCIS는 Qhull로 오프라인 계산한다. 2D 면적 정합도 쓸 수 있지만 계산비용·수치 강건성·성능 동등성을 이유로 선형변환만 사용했다고 밝힌다.

실제 경기 중의 feasible 집합(Fig. 3 위) — 관절 1의 위치–속도 평면. 왼쪽 축 범위는 그 관절의 전체 기구학 한계이고, 오른쪽은 해당 모션에서 쓰인 범위로 확대한 것. 검은 점이 실행된 행동, 회색 선이 궤적, 색 조각들이 각 관측 시점의 feasible 다면체다. 31.25 Hz의 비교적 높은 제어 주기 때문에 다면체가 매우 작다 — 정적 행동 공간이 얼마나 낭비인지 보여주는 그림.

이 그림이 논문의 논지를 가장 잘 압축한다. 전체 기구학 한계(왼쪽 사각형)에 비해 한 사이클에 실제로 도달 가능한 영역은 극히 작고, 상태에 따라 위치·모양이 계속 움직인다. 정적 행동 공간을 쓰면 대부분의 행동이 도달 불가이거나 중복이다.

비교 대상. ① klimits 기반 1D 컨트롤러(reachability를 반영하지만 1차원 waypoint만 — 위치/속도/가속도 중 하나만 지정: 1Dpos·1Dvel·1Dacc), ② reachability를 무시하는 2D 컨트롤러 2Dsoft — 전체 기구학 범위에서 위치–속도 waypoint를 내고, 도달 불가일 수 있으므로 종단 등호 제약을 소프트 비용으로 바꾼다:

\tfrac12\Big(\sum_{k=0}^{N-1}w_s u_k^2+\|p-Cx_N\|_{W_t}^2\Big).

즉 2Dsoft는 FAOC와 같은 제어 자유도를 갖지만 행동 공간이 정적이고, 매끄러움과 추종을 저울질하는 가중치 w_s,W_t를 튜닝해야 한다.

행동 공간의 실제 차이(Fig. 4b, 두 번째 초기 상태 행) — [-1,1]^2에서 15×15 격자로 뽑은 행동을 궤적으로 옮긴 결과. 왼쪽 네 열은 2Dsoft(W_t=[10,10], w_s=10/1/0.1/0), 맨 오른쪽이 FAOC. w_s가 크면 도달 범위가 극단적으로 쪼그라들고, 작게 하면 궤적들이 겹치거나 뭉치며 격자의 상당 부분이 사실상 중복된다. FAOC는 같은 격자가 도달 가능 영역 전체에 고르게 퍼진다.

RL 문제. UVFA로 세 가지 탁구 스킬(볼 배치, 토프스핀/백스핀 생성, 스매시)을 학습한다. 에피소드마다 스킬을 균등 샘플링하고, 들어오는 공 하나를 받아치면(또는 놓치면) 종료 — 보상은 에피소드 끝에만 주어지는 희소 보상이다. 학습 샷은 합성 궤적과 실제 인간 샷의 혼합.

평가. 지표는 리턴율(Fraction Balls Returned), 생성 토프스핀/백스핀, 타구 속도, 목표 거리(Goal Distance)이며 모두 상대 코트 바운스 시점의 공 상태에서 계산된다(리턴 실패 시 정의되지 않으므로 리턴율 50% 미달 평가는 제외). 각 데이터 점은 1000 에피소드, 컨트롤러마다 시드 5개, 비교는 쌍별 Mann-Whitney U 검정(p<0.05).

실험 1: 베이스라인 (SAC + BRONet)

베이스라인 학습 곡선(Fig. 6a) — 환경 스텝(≈1.23억) 대비 정규화 보상, 시드 5개의 평균(굵은 선)과 표준편차(음영). 상위 두 곡선이 2D 컨트롤러(FAOC·2Dsoft)이고, 1D 변형들은 최종값도 낮고 시드 분산(음영)이 훨씬 넓다.

FAOC가 표본 효율과 최종 성능 모두에서 1위고, 2D 컨트롤러 둘이 1D 변형들을 일관되게 앞선다. 1D 변형은 시드 간 변동성도 크다. 지표별로 보면 FAOC는 리턴율·생성 토프스핀·타구 속도에서 모두 유의하게 앞서고(p = 0.008–0.016), 백스핀과 목표 거리는 유의차가 없다. 저자의 해석: 고속으로 공을 깎으면서 테이블을 피하는 것이 어렵고, 들어오는 샷과 무관하게 임의 지점에 놓는 것도 어렵다 — 측정된 조준 오차 약 30 cm는 대략적인 배치에는 충분하며 실기 zero-shot 전이를 위한 보수적 보상 설계와 일관된다는 것이다.

지표별 통계 비교(Fig. 5) — 행 = 5개 지표, 열 = (a) SAC+BRONet, (b) SimBaV2, (c) SimBaV2 + 낮은 RL 주기. 파란 점선은 FAOC 평균. 각 박스 위 숫자는 FAOC와의 쌍별 Mann-Whitney U 검정 p값(* = FAOC 유의 우위, ns = 차이 없음). (a)의 1Dacc는 시드 3개가 리턴율 50% 미달로 제외됐다.

1D가 뒤처지는 이유는 제어 가능성(controllability)의 감소로 설명된다. RL이 waypoint 변수 하나만 지정하면 남은 자유도는 옵티마이저가 결정하므로 표현할 수 있는 행동 집합이 좁아지고 탐색 민감도가 커진다. 2Dsoft는 FAOC와 같은 자유도를 갖지만 정적 행동 공간에 도달 불가 waypoint가 섞여 있어 그 탐색이 표본 효율을 깎는다.

실험 2: 알고리즘·아키텍처를 강화하면 (SimBaV2)

더 강한 RL이 FAOC의 이점을 지워 버리는지 확인하는 실험이다. critic을 categorical distributional critic으로 바꾸고 크기를 키운다 — actor는 2,570,073 → 4,407,385 파라미터(×1.71), critic은 6,380,545 → 51,519,520(×8.07). (두 배수는 직접 나눠 확인했다: 1.715, 8.07로 일치.)

모든 컨트롤러가 크게 개선되어 보상 곡선은 거의 겹친다. 저자는 그 이유를 보상 형태로 설명한다 — 스핀·속도 보상이 \tanh(\text{spin}/450), \tanh(\text{vel}/8)에 비례하므로 큰 값 구간에서의 개선은 보상 차이로 거의 안 나타난다. 대신 지표 단위로 보면(Fig. 5b) FAOC가 8건의 유의 우위를 유지한다. 즉 알고리즘·용량으로 밀어 올려도 행동 공간 설계의 이점은 남는다.

실험 3: RL 주기를 낮추면 (7.8125 Hz)

기계·센서·통신 지연 때문에 낮은 제어 주기밖에 안 되는 시스템을 상정한 실험이다. 인간의 시각–운동 지연이 빠르면 150 ms 수준이라는 점을 근거로 궤적 구간을 128 ms(→ RL 7.8125 Hz)로 늘린다. 잦은 재계획은 각 행동이 짧은 구간만 결정하므로 제어 가능성에 유리하지만, 에피소드당 결정 수가 늘어 credit assignment는 어려워진다 — 그 트레이드오프의 반대쪽 끝을 본 것이다.

낮은 RL 주기(Fig. 6c) — 위: 전체 학습 곡선(≈1억 스텝), 아래: 마지막 4500만 스텝 확대. FAOC(위쪽 곡선)만 ≈0.71–0.72를 유지하고 나머지는 ≈0.665–0.69에 몰려 있다. 높은 주기(Fig. 6b)에서는 모두 겹쳐 있었다는 점과 대비된다.

FAOC는 높은 주기에서의 성능을 대체로 유지하고 나머지는 더 크게 저하되며, 통계적으로도 유의 우위가 8건 → 13건으로 늘어난다. 이 실험이 이 논문에서 가장 설득력 있는 증거라고 본다 — “2D waypoint + reachability 인식”이라는 조합이 구간이 길어질수록 더 중요해진다는 예측을 세우고, 그 예측대로 격차가 벌어졌다.

비판적으로 보면

강점

가정을 숨기지 않는다. Lemma 1의 네 조건, Assumption 1·2, Proposition별 전제가 명확하고, 선형 MPC에 대해서는 C의 full row rank라는 필요충분조건까지 좁혔다. 프레임워크를 다른 문제에 옮길 때 무엇을 확인해야 하는지가 체크리스트로 남는다.
“실시간”을 구조적으로 확보한다. 내부점(Prop 5–7), \Phi(Prop 8 + Example 3), \beta(식 8)를 모두 \mathcal{W} 쪽 convex 문제로 옮겨 \mathcal{P}(x)의 명시적 표현을 온라인에서 만들지 않는다. 특히 r(x)가 \beta 라인서치에 흡수되므로 \Phi를 완전히 오프라인 상수로 만들 수 있다는 Example 3의 관찰은 구현자에게 바로 쓸모가 있다.
가역성을 요구사항으로 승격시킨 것. action aliasing 제거뿐 아니라 대칭 증강·시연 주입 같은 보조 기법의 문을 열어 둔다. 매핑을 지도학습으로 근사하는 대안(Theile et al., 2025)이 잃는 성질이다.
선행 연구의 제약을 정확히 겨냥해 제거했다. 하이퍼큐브 가정과 “원점이 타깃 집합 내부”라는 가정(Yuan et al., 2023)을 강건한 내부점 계산으로 대체하고, 1D 독립 매핑(klimits)을 n차원으로 확장했으며, 기하 왜곡 보정을 추가했다.
실기 배치 이력. 공식 경기에서 프로급 선수를 이긴 시스템의 실제 구성요소라는 점은, 논문의 시뮬레이션 비교와 별개로 이 인터페이스가 하드웨어 데드라인 안에서 동작한다는 강한 정황이다.

약점·한계

계산 시간 수치가 없다. “computationally efficient”, “real-time”이 반복되지만 매핑 1회의 지연(µs/ms)이나 QP 해결 시간, 관절 8개를 합친 사이클 예산 대비 비율 같은 측정치가 논문 안에 없다(솔버 이름 DAQP·Qhull만 명시). 실시간성은 구조적 논증(온라인 사영 없음, 해석적 비율 테스트)으로만 제시된다 — 측정된 것과 설계로 주장된 것을 구분해 읽어야 한다.
기여 중 하나가 실제로는 쓰이지 않았다. 2D 면적 정합(Prop 2·3)은 이론적으로 가장 예쁜 부분인데, 응용에서는 “계산비용·수치 강건성·동등한 성능”을 이유로 선형변환만 썼다. 그 “동등함”을 뒷받침하는 데이터(예: 두 \phi의 학습 곡선 비교)는 제시되지 않는다. 매핑 선택에 대한 ablation이 없으므로, 점 밀림 완화가 성능에 얼마나 기여했는지는 Fig. 2의 정성 그림 외에는 알 수 없다.
비교의 튜닝 비대칭. FAOC의 장점으로 “튜닝 불필요”를 드는데, 상대인 2Dsoft의 학습 비교에 어떤 (W_t,w_s)를 썼는지 본문에서 확인할 수 없었다(Fig. 4는 W_t=[10,10]에 w_s\in\{10,1,0.1,0\}의 정성 비교만 보여 준다). 튜닝 부담을 비판하려면 상대에게 튜닝 예산을 얼마나 주었는지가 논지의 일부여야 한다.
통계의 검정력. 시드 5개 × 5개는 Mann-Whitney U 양측 검정에서 얻을 수 있는 최소 p가 약 0.0079다 — 그래서 Fig. 5에 0.008이 반복 등장하는 것은 “완전 분리”의 하한값에 걸린 것으로 읽어야 한다. 또 실험당 5지표 × 4방법 = 20개 비교를 하면서 다중비교 보정 언급이 없다. 유의 우위 “8건 → 13건” 같은 개수 비교는 그런 전제 위에서 받아들여야 한다(방향성 자체는 학습 곡선과 일관되므로 결론이 흔들리는 수준은 아니라고 본다).
도메인이 하나, 그리고 그 도메인이 매우 유리하다. 이론은 임의 차원 convex 집합을 다루는데 검증은 탁구 하나이고, 거기서 실제로 매핑이 적용되는 문제는 관절별로 분리된 n=2(p=(\text{위치},\text{속도}), N=4)다. 즉 논문이 공들여 만든 고차원 확장(Prop 4·7·8)이 실제로 필요한 규모에서 검증되지는 않았다. 관절 간 결합(자기 충돌, 태스크 공간 제약)은 OCP가 아니라 RL이 맡으므로, 보장의 범위도 관절별 기구학 한계로 한정된다.
실기 비교가 없고, 재현 정보가 외부로 미뤄져 있다. 프로 선수 가용성 문제로 실제 로봇 비교는 불가능했다고 명시한다(합리적인 사유다). 다만 컨트롤러 간 우열은 전부 시뮬레이션 증거이고, 실기 성능 주장은 별도 논문(Nature 2026)에 의존하며 하이퍼파라미터·학습 세부도 그쪽으로 미뤄진다. 더 눈에 띄는 것은 실시간성의 열쇠인 한계 축소(shrinking) 기법이 특허(WO2025011908A1, 1저자 명의)로 인용된다는 점이다 — 논문만으로 그 보수화의 정확한 정식화를 따라가기 어렵고, 재현·상용 이용 관점에서도 유의할 지점이다.
feasible 집합 밖으로 나간 상태의 처리가 비어 있다. 보장은 “현재 상태가 strictly feasible 궤적을 허용한다”는 전제에 걸려 있는데, 외란·모델 오차로 그 전제가 깨질 때의 폴백은 논의되지 않는다. 실기 시스템에는 어떤 형태로든 그 처리가 있을 텐데(추정), 논문 범위 밖이다.
행동 의미의 비정상성(non-stationarity). 매핑이 상태 의존이라 같은 \bar a가 상태마다 다른 물리적 목표를 뜻한다. 실험은 이 설계가 유리하다고 말하지만, value 함수 학습 관점에서의 부담(같은 행동 좌표가 시점마다 다른 결과를 낸다)은 분석되지 않았다.
코드가 아직 없다. 논문은 매핑과 OCP 구현을 오픈소스로 공개한다고 밝히지만, 리뷰 시점에 해당 GitHub URL은 404다.

요약

FAOC는 “RL이 MPC 파라미터를 고르는” 익숙한 구조에서 행동 공간의 정의 자체를 최적제어에게 되돌려 준다. 정적이고 단순한 \bar{\mathcal{A}}에서 샘플링하되, 내부점 기준 반경의 경계 배율 비 \beta/\alpha로 상태 의존 feasible 집합 \mathcal{P}(x) 안으로 전단사 매핑하고, 그 계산을 전부 lifting된 convex 문제로 옮겨 명시적 사영 없이 실시간에 밀어 넣는다. 이론적으로는 \mathcal{P}(x)가 compact·solid·convex가 되는 조건(그리고 선형 MPC에서 C full row rank라는 필요충분조건)을 정리한 것이, 실용적으로는 \Phi를 상태 무관 상수로 만드는 트릭이 핵심 기여다.

한계는 이론 논문의 전형적 그림자다 — 검증 도메인이 하나이고 그 안에서 매핑이 쓰이는 차원은 n=2이며, 계산 시간 측정치·매핑 변형 ablation·실기 컨트롤러 비교가 없고, 통계는 시드 5개의 검정력 한계에 걸려 있다. 그럼에도 “정적 행동 공간은 상태 의존 도달 가능 영역에 비해 대부분 낭비거나 위반”이라는 Fig. 3의 관찰과, RL 주기를 낮췄을 때 격차가 벌어진다는 Fig. 6c의 결과는 이 방향이 왜 중요한지를 설득력 있게 보여 준다. 제약이 있는 시스템에 RL을 얹을 때, 보상이나 네트워크보다 행동 공간의 정의를 먼저 의심해 보라는 처방으로 읽으면 오래 유효할 것이다.