📃FTODG 리뷰

dexterity

in-hand

action-space

safety

Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space

Published

October 25, 2026

Paper Link (arXiv:2606.28196)
Project
Ha Thang Long Doan, Hikaru Arita, Kazuto Nakashima, Kenji Tahara
Kyushu University, arXiv preprint (cs.RO), 2026 (Taylor & Francis 저널 투고본)

💡 end-to-end RL로 in-hand manipulation을 배우면 손가락을 잠깐 떼거나 물체를 살짝 던졌다 받는 “불안정하지만 당장은 안 떨어지는” 행동이 나와 학습이 흔들린다. 이 논문은 안정성을 RL 최적화에 맡기지 말고, 손가락-엄지 대향 기반 dynamic grasping 제어 이론(FTODG)이 안정성을 보장하는 범위, 곧 stable action space 안에서만 탐색하게 하자고 제안한다.
⚙️ policy는 관절 목표가 아니라 FTODG 제어기의 피드백 gain(위치 gain P_i, 회전 gain O_{n,i},O_{t,i})만 낸다. 그 gain이 손끝 힘을 [F_{\min},F_{\max}] 밖으로 밀어내지 않도록 CBF 기반 QP filter가 매 스텝 최소한으로 고친 뒤, FTODG의 grasp 항과 겹쳐(superposition) 토크로 보낸다. 이것이 TSIGL(theoretically stable in-grasp learning)이다.
🎯 Isaac Lab의 torque 제어 Shadow Hand 96개 환경에서 TSIGL은 학습 중 물체 낙하 0회였다. CBF를 페널티로 바꾼 변형은 낙하 248~738회와 학습 발산을 보였고, end-to-end 베이스라인은 같은 학습 길이에서 연속 성공 0.8~2.1회에 머물렀다. 고정 gain FTODG 대비 연속 성공은 Skill 2에서 +130~155%, Skill 3에서 +39~81% 늘었다(시뮬레이션만, 실기 없음).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 로봇 손의 in-hand manipulation에는 두 전통이 있다. 하나는 고전 역학·제어 이론으로 손-물체 계를 모델링해 안정성을 증명하는 쪽이고, 다른 하나는 end-to-end RL로 손 동작을 자유롭게 탐색하는 쪽이다. 앞쪽은 고정된 마찰·강성·접촉 모델 같은 가정 때문에 실제 물체에서 정확도가 떨어지고, 뒤쪽은 저자들이 “long-tail instability”라 부르는 문제를 겪는다. 손가락을 불필요하게 떼거나 물체를 살짝 던지는 행동이 당장은 목표를 맞추지만 결국 낙하로 이어지고, 실패 원인이 잘 드러나지 않아 학습 목표끼리 충돌한다.

이 논문의 입장은 분명하다. “안정성을 RL 최적화(보상 shaping, curriculum, 알고리즘 선택)에만 맡기지 말라.” 대신 손가락이 물체와의 접촉을 유지하는 in-grasp 조작으로 범위를 좁히고, 그 범위에서 안정성이 이론과 실험으로 확인된 FTODG(fingers-thumb opposability-based dynamic grasping) 제어 구조를 그대로 쓴다. RL은 FTODG가 약한 부분인 정확도만 맡는다. 구체적으로 RL은 FTODG 제어기의 gain을 상태에 따라 바꾸고, CBF filter가 그 gain이 grasp를 깨뜨리지 않도록 막는다.

저자 프로젝트 페이지의 소개 영상(약 85초). end-to-end RL에서 나오는 불안정 스킬, TSIGL 구조, Stable Grasp에 외력을 가하는 장면, Position·Orientation Manipulation 학습("0 drop during training")이 차례로 나온다.

TSIGL 구조(Fig. 3). 1) RL policy가 2) gain P_i, O_{n,i}, O_{t,i}를 내면 3) CBF filter가 구현 요구조건을 만족하도록 고치고 4) FTODG 제어 식이 토크 u_i를 계산한다. 위쪽 띠는 각 블록이 FTODG의 무엇을 담당하는지(정확도 한계 / 구현 요구조건 / 이론적 안정성)를 표시한다. 회색 선은 외부 센서(물체 포즈)가 있을 때만 쓰는 경로다.

핵심 방법론:

FTODG는 접촉한 손끝 집합 I(3개 이상)의 좌표 X_i를 이어 virtual frame(VF)을 만들고, 각 손가락의 토크를 세 항의 합으로 만든다.

u_i = \underbrace{f_{d,i}J_i^{T}(X_{VF}-X_i) - \mathrm{diag}(C_i)\dot q_i}_{u_{\mathrm{stable},i}} + \underbrace{J_i^{T}\mathrm{diag}(P_i)\,e_{\mathrm{pos}}}_{u_{\mathrm{pos},i}} + u_{\mathrm{ori},i}(O_{n,i},O_{t,i})

첫 항은 손끝들이 VF 중심을 향해 미는 force/torque equilibrium grasp이고, 나머지는 위치·자세 오차에 비례하는 조작 항이다. 이 superposition이 grasp를 유지한 채 물체를 움직인다는 것이 FTODG 계열 연구의 핵심 결과다. TSIGL에서 RL의 행동은 K_{RL}=\{P_i,O_{n,i},O_{t,i}\}이고, filter는 정적 모델 F_{i,t+1}=J_{i,t}^{-T}u_{i,t}(K_t,s_t)로 다음 스텝 손끝 힘을 예측해 다음 QP를 푼다.

\min_{K_{CBF},\,\epsilon}\; K_{CBF}^{T}HK_{CBF} + C_\epsilon\epsilon \quad \text{s.t.}\quad h_{\min,i}\ge-\epsilon,\; h_{\max,i}\ge-\epsilon,\; K^{k}\in[K^{k}_{\min},K^{k}_{\max}]

여기서 h_{\min,i}=\mathrm{proj}_{(X_{VF}-X_i)}F_i-F_{\min,i}, h_{\max,i}=F_{\max,i}-\mathrm{proj}_{(X_{VF}-X_i)}F_i이고 최종 행동은 K=K_{RL}+K_{CBF}다. K_{\min}^k=0으로 두었기 때문에 최악의 경우 조작 항을 완전히 꺼서 순수 grasp로 돌아가는 해가 항상 존재한다.

주요 결과:

Skill 2(3손가락, 외부 센서 없는 VF 위치 조작): TSIGL은 약 40,000 step에서 연속 성공 약 44로 수렴하고 낙하는 0회. CBF를 페널티로 바꾼 Soft 1·2·3은 낙하 738·467·248회, 최종 연속 성공은 약 25·25·15(그림에서 읽은 값).
Skill 3(4손가락, 물체 자세 조작): TSIGL은 25,000 step 뒤 연속 성공 42 이상, 낙하 0회. Isaac Lab의 end-to-end 베이스라인은 약 0.8, 무중력 변형은 약 2.1에 그쳤고 낙하는 3,138·1,282회.
정확도(배포): 학습에 쓰지 않은 물체 4종에서 고정 gain FTODG 대비 평균 연속 성공이 Skill 2 14.3~20.3 → 36.5~48.3, Skill 3 18.5~33.3 → 33.4~46.4.
Skill 1(FTODG grasp만, 학습 없음): 0.1~8.6 N 외력 범위에서 미끄러짐 없이 물체를 유지하고 외력 제거 뒤 원위치 근처로 복귀.

결론:

이 논문의 새로움은 “제어 이론으로 RL을 돕는다”는 일반론이 아니라, 그 도움을 행동 공간의 정의로 구현한 데 있다. RL은 관절 목표 대신 안정성이 확인된 제어기의 gain만 고르고, 그 gain마저 CBF filter가 grasp force 범위 안으로 투영한다. 그 결과 낙하 페널티를 0으로 두고도 낙하가 한 번도 일어나지 않았다. 다만 모든 결과가 시뮬레이션이고, 비교 대상 end-to-end 베이스라인은 제어기 prior 없이 관절 공간에서 학습하는 전혀 다른 문제를 풀고 있어서 “sample efficiency 개선”의 상당 부분은 RL 방법이 아니라 잘 작동하는 제어기에서 출발한 효과로 읽어야 한다(아래 Ring 참고).

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“안정성은 보상으로 가르칠 게 아니라 행동 공간으로 강제하라.” TSIGL은 수십 년 쌓인 다지 손 제어 이론(FTODG)이 안정적이라고 보증하는 제어기 구조를 고정하고, 이론이 약한 부분(정확도)을 결정하는 gain만 RL에 넘긴다. 그리고 RL이 그 gain으로 grasp를 깨지 못하도록 손끝 힘 하한·상한을 CBF 형태의 QP filter로 매 스텝 강제한다. 저자들은 이 공간을 제목에서 “Non-Dropping Action Space”라고 부른다. 실험이 보여 주는 가장 강한 사실은 낙하 페널티 r_{\mathrm{drop}}=0에서도 낙하가 0회였다는 점이고, 가장 조심해서 읽어야 할 사실은 비교 상대인 end-to-end RL이 제어기 prior 없이 출발했다는 점이다.

배경: long-tail instability와 두 전통의 교차 (§1·§2)

end-to-end RL 쪽. OpenAI의 Dactyl(OpenAI et al., 2020) 이후 in-hand manipulation RL은 policy가 관절 목표를 내고 PD·impedance 같은 관절 수준 제어기가 이를 따라가는 구조가 표준이 됐다. 저자들은 이 구조가 관절 안전 한계는 엄격히 지키지만 손-물체 안정성은 보상으로 “부드럽게” 장려할 뿐이라고 지적한다. 예로 든 선행 연구가 둘이다. Tao et al.(2025)은 “접촉점이 많을수록”, “물체가 손바닥 영역에 있을수록” 같은 휴리스틱으로 안정성을 장려했고, Sievers et al.(2022)은 중력 curriculum과 force closure를 장려하는 보상 shaping을 썼다. 저자 서술로는 후자에서도 “agent가 물체 상태를 바꾸려고 가끔 안정성을 희생해 물체를 떨어뜨린다.”

저자들이 “long-tail instability”라 부르는 현상의 핵심은 불안정한 행동이 정확할 수 있다는 것이다. 손가락 하나를 떼고 다시 잡는 행동은 목표 자세를 더 빨리 맞출 수 있지만, 언젠가는 낙하로 이어진다. 낙하는 그 행동이 일어난 시점보다 한참 뒤에 생기므로 credit assignment가 어렵고, “정확하게 움직여라”와 “떨어뜨리지 마라”라는 두 목표가 충돌한다.

제어 이론 쪽. 반대편에는 power grasp, in-hand relocation·reorientation, sliding regrasp 같은 조작을 규칙 기반 제어 법칙으로 푸는 연구가 있다. 그중 Arimoto와 Tahara 계열(이 논문의 교신저자 그룹)의 FTODG는 외부 센서 없이 관절 정보만으로 안정 grasp, 재배치·재정렬, regrasp까지 다뤄 왔다. 장점은 안정성이 수학적으로 증명된다는 것이고, 약점은 그 증명이 특정 접촉 모델(rolling contact), 고정된 관절 마찰·강성·감쇠 같은 가정 위에 서 있어 실제 손-물체에서 정확도가 흔들린다는 것이다.

두 전통의 접점(§2.3). 저자들은 “과학적 지식으로 RL을 안내한다”는 흐름(Eßer et al., 2023의 guided RL 리뷰)을 세 수준으로 정리한다. 비용함수·환경에 부드럽게 넣는 방식, 제어 시스템 모델에 넣는 방식, 로봇 입력 직전의 최종 filter에 hard constraint로 넣는 방식이다(Cheng et al., 2019의 barrier function 기반 safe RL이 마지막 예). TSIGL은 둘째(제어기 구조)와 셋째(최종 filter)를 동시에 쓴다는 점이 특징이다.

방법 상세 1: FTODG 제어 구조 (§3.1)

FTODG 제어 설계(Fig. 1). (a) 엄지(th)·검지(ff)·중지(mf) 손끝이 만드는 virtual frame(VF, 주황 삼각형)의 중심을 향해 각 손끝이 힘을 내 force/torque equilibrium을 이룬다. (b) 위치 오차 e_{\mathrm{pos}}가 손끝 힘(회색)을, 자세 오차의 법선 성분 e_{\mathrm{ori},n}\hat\omega_n과 접선 성분 e_{\mathrm{ori},t}\hat\omega_t가 각각 moment n(초록)·moment t(파랑)를 안내한다.

Stable grasp: virtual frame과 force/torque equilibrium

접촉을 유지하는 손끝 집합 I\subseteq\{th,ff,mf,rf,lf\}(최소 3개)의 좌표 X_i로 VF를 정의하고, 그 위치를 가중 중심으로 잡는다.

X_{VF}=\frac{\sum_i f_{d,i}X_i}{\sum_i f_{d,i}},\qquad i\in I \tag{1}

안정 grasp 신호는 관절 위치만으로 계산된다.

u_{\mathrm{stable},i}=f_{d,i}J_i^{T}(X_{VF}-X_i)-\mathrm{diag}(C_i)\dot q_i \tag{2}

첫 항은 각 손끝이 VF 중심 쪽으로 f_{d,i}에 비례하는 힘을 내게 하는 force/torque equilibrium 항이다. f_{d,i}의 크기는 공칭 grasp force, 즉 버틸 수 있는 물체 무게와 외력을 정하고, f_{d,i}의 비율은 VF 위치와 손끝이 힘을 거는 위치를 정한다. 둘째 항은 관절 감쇠다. 이 식에는 물체 위치·자세가 전혀 들어가지 않는다는 점이 중요하다. 외부 센서 없이 동작하는 이유가 여기 있다.

Stable in-grasp manipulation: superposition 원리

Arimoto et al.(2001)의 superposition 원리는 안정 grasp 신호와 조작 신호를 더해도 grasp가 유지되면서 손-물체 상태를 조절할 수 있음을 보인다.

u_i=u_{\mathrm{stable},i}+u_{\mathrm{pos},i}+u_{\mathrm{ori},i} \tag{3}

재배치(reposition). 목표 위치 X_d, 현재 VF 위치 X_{VF}, 실제 물체 위치 X_{\mathrm{object}}에 대해

e_{\mathrm{pos}}=X_d+\underbrace{(X_{VF}-X_{\mathrm{object}})}_{\text{센서 있으면, 없으면 }0}-X_{VF},\qquad u_{\mathrm{pos},i}=J_i^{T}\,\mathrm{diag}(P_i)\,e_{\mathrm{pos}} \tag{4, 5}

정리하면 외부 센서가 있으면 e_{\mathrm{pos}}=X_d-X_{\mathrm{object}}, 없으면 X_d-X_{VF}다. 같은 식 하나로 센서 유무를 모두 다룬다. P_i는 재배치 손끝 힘을 정하는 양의 gain 벡터다.

재정렬(reorientation). VF 자세 R_{VF}=[r_{VFx},r_{VFy},r_{VFz}]를 관절 위치로 정의하고(Kawamura et al., 2012의 방식), 목표 자세 R_d와 물체 자세 R_{\mathrm{object}}로 목표 축을 만든다.

[r_{dx},r_{dy},r_{dz}]=R_d\underbrace{R_{\mathrm{object}}^{-1}R_{VF}}_{\text{센서 없으면 }I} \tag{6}

e_{\mathrm{ori}}\hat\omega=[r_{VFx}\times]r_{dx}+[r_{VFy}\times]r_{dy}+[r_{VFz}\times]r_{dz}=e_{\mathrm{ori},n}\hat\omega_n+e_{\mathrm{ori},t}\hat\omega_t \tag{7}

현재 VF 축과 목표 축의 외적을 모두 더한 것이 회전 오차이고, 이를 VF 평면의 법선 \hat\omega_n(손바닥 반대쪽)과 접선 \hat\omega_t로 분해한다. 손끝별 moment arm은

l_{n,i}=\frac{X_{VF}-X_i}{\|X_{VF}-X_i\|},\qquad l_{t,i}=[\hat\omega_n\times]\hat\omega_t \tag{8, 9}

이고 최종 회전 신호는

u_{\mathrm{ori},i}=J_i^{T}\Big(\mathrm{diag}(O_{n,i})[l_{n,i}\times]e_{\mathrm{ori},n}\hat\omega_n+\mathrm{diag}(O_{t,i})[l_{t,i}\times]e_{\mathrm{ori},t}\hat\omega_t\Big) \tag{10}

이다. 요약하면 FTODG의 조작 항은 전부 비례 피드백이고, 그 비례 상수가 P_i,O_{n,i},O_{t,i}다. TSIGL이 RL에 넘기는 것이 바로 이 상수들이다.

방법 상세 2: Stable action space (§3.2)

Stable action space 개념도(Fig. 2). 가장 안쪽 초록 원은 수학적으로 안정성이 증명된 특정 u_i 적용, 그 바깥 주황 원이 구현 요구조건으로 제약될 때 이론적 안정성 성질이 유지된다고 보는 stable action space다. 바깥 보라 영역(다른 스킬)은 별도의 이론 분석이 필요하다.

이 절은 논문의 논리에서 가장 중요한 연결고리이므로 저자들이 무엇을 주장하고 무엇을 주장하지 않는지 정확히 짚어 둘 필요가 있다.

증명의 범위. 저자들은 FTODG의 grasp 안정성과 제어계 안정성 증명이 뉴턴/라그랑주 역학과 passivity 기반 비선형 제어에 근거하며, 각 증명이 “고정 파라미터를 가진 특정 제어기”와 “고정 물성, 단순화된 동역학, rolling contact 모델을 가진 특정 손-물체 계”에 한정된다고 스스로 적는다.

실험이 넓혀 준 범위. 그 위에 실기 실험(Tahara et al., 2012; Kawamura et al., 2012; Choi & Tahara, 2020; Doan et al., 2025)이 다음을 확인했다고 정리한다.

성질	논문 서술 요지
Dynamic stability	외력이 있는 동적 조건에서도 grasp를 유지하며 손-물체 계를 조절한다. 증명된 정확한 시나리오가 아닌 다양한 손·물체에도 적용된다.
External sensorless	u_i 계산에 내부 관절 센서만 필요하다. 카메라 지연·마커 가림 같은 외부 센서 문제에 강하다.
Customizability	u_i 구성 항, 사용할 손가락, 외부 센서 사용 여부를 스킬과 로봇 구성에 맞게 해석적으로 바꿀 수 있다.

저자들은 이 성질들이 “수학적으로 증명된 것에 가깝지만 그 너머인 시나리오에서도 성립한다”고 보고, 그 범위를 FTODG 기반 stable action space라고 부른다. 다시 말해 stable action space는 정리(theorem)가 아니라 이론 + 실험 경험으로 정의된 작업 가설이다. 저자도 “Exploration in this space is considered promising for safe RL”이라고 유보적으로 쓴다.

정확도 한계(§3.2.2). 손-물체 물성이 바뀌면 고정 gain FTODG는 상태 조절이 부정확해진다. 그래서 안정성은 FTODG에 맡기고 정확도를 위한 손끝 힘·모멘트 탐색을 RL에 맡긴다는 분업이 나온다.

구현 요구조건(§3.2.3). stable action space의 성질이 유지되려면 다음이 필요하다고 정리한다.

손·물체: torque 제어 손이 조작 workspace 안에서 동작해야 하고, 물체는 강체이며 손끝과의 미끄러짐이 작은 형상·재질이어야 한다.
손끝 힘·모멘트: superposition에서 grasp 신호가 조작 신호에 “가려지면” 안 된다. 따라서 (a) 조작 중 gain의 급격한 변화를 막고, (b) equilibrium 방향 손끝 힘이 하한 F_{\min,i} 이상(꽉 쥐기)과 상한 F_{\max,i} 이하(과도한 힘 방지)여야 한다.

h_{\min,i}=\mathrm{proj}_{(X_{VF}-X_i)}F_i-F_{\min,i}\ge0,\qquad h_{\max,i}=F_{\max,i}-\mathrm{proj}_{(X_{VF}-X_i)}F_i\ge0 \tag{11, 12}

\mathrm{proj}_BA는 벡터 A의 B 방향 스칼라 투영이다. 즉 제약은 손끝 힘 전체가 아니라 VF 중심을 향하는 성분에만 걸린다.

방법 상세 3: TSIGL (§3.3)

스킬별 구성(Table 1). 빨간 체크는 모든 스킬에 공통인 stable grasp 항, 검은 체크는 스킬별로 켜는 조작 항과 RL 행동, 회색 열은 물체 상태 오차 피드백(외부 센서) 사용 여부다.

Table 1을 텍스트로 옮기면 다음과 같다.

스킬	u_{\mathrm{stable}}	+u_{\mathrm{pos}}	+u_{\mathrm{ori}}	RL 행동	물체 상태 피드백	학습 여부
Skill 1: 3손가락 precision grasp	✓			없음	없음	학습 없음(FTODG만 실행)
Skill 2: 3손가락 VF 위치 조작	✓	✓		P_i	없음(외부 센서 없음)	TSIGL
Skill 3: 4손가락 물체 자세 조작	✓		✓	O_{n,i},O_{t,i}	자세 R_{\mathrm{object}}	TSIGL

TSIGL은 네 블록으로 이뤄진다.

1) RL policy. 관측 s에서 행동 a\sim\pi^{RL}(a|s)를 샘플한다. 관측은 한계 범위로 정규화한 관절 위치·속도, 손끝 위치·속도, 제어 오차와 그 변화율, 목표 상태, 현재 실행 중인 행동이고, 외부 센서를 쓰는 스킬에서는 물체 상태도 넣는다.

2) RL actions. 행동은 P_i, O_{n,i}, O_{t,i}의 원소들이다. 각 원소의 범위 [K^k_{\min},K^k_{\max}]로 선형 스케일해 K_{RL}을 얻는다. 여기서 policy는 관절 목표를 전혀 내지 않는다. 손가락이 어떤 방향으로 힘을 낼지는 FTODG 식의 구조(VF, moment arm, Jacobian)가 정하고, RL은 그 힘의 “세기”를 손가락별·축별로 조절한다.

3) CBF filter. 구현 요구조건 중 일부는 간단히 처리된다. 작업 공간 한계는 K^k_{\max} 선택으로, 행동의 잦은 변화는 가중 이동평균 filter로 막는다. 남는 것이 식 (11)·(12)인데, 이는 행동 벡터 원소들의 선형 결합에 대한 부등식이라 일반적인 RL 기법(clipping 등)으로는 다루기 어렵다. 저자들은 이 형태가 CBF와 같다고 보고 QP filter를 만든다.

먼저 손끝이 링크 사이의 큰 내부 운동 없이 물체에 힘을 낸다는 정적·준정적 가정 아래, 가상일의 원리로 다음 스텝 손끝 힘을 근사한다.

F_{i,t+1}=J_{i,t}^{-T}\,u_{i,t}(K_t,s_t) \tag{14}

그다음 RL 행동에 보정량을 더한다.

K=K_{RL}(s)+K_{CBF}(s,K_{RL}) \tag{15}

(K_{CBF},\epsilon)=\arg\min_{K_{CBF},\epsilon}\big(K_{CBF}^{T}HK_{CBF}+C_\epsilon\epsilon\big) \quad\text{s.t.}\quad h_{\min,i}(F_{i,t+1})\ge-\epsilon,\;h_{\max,i}(F_{i,t+1})\ge-\epsilon,\;K^k\in[K^k_{\min},K^k_{\max}] \tag{16}

H는 원소별 보정 가중, \epsilon은 slack, C_\epsilon은 위반에 대한 큰 페널티 상수다. 저자들은 K^k_{\min}=0으로 두어 “조작 힘·모멘트를 완전히 멈추는” 매우 보수적인 해가 늘 존재하므로 QP가 항상 풀린다고 쓴다. 이 filter는 K_{RL} 계산 직후, FTODG 식에 넣기 직전에 학습과 배포 모두에서 적용된다.

두 가지 설계 선택이 눈에 띈다. 첫째, 식 (14)의 정적 모델은 노이즈가 섞인 관측으로 계산된다. 저자들은 정확한 정보가 없을 때도 방법이 적용 가능함을 보이려는 선택이라 설명하고, 그 대가로 F_{\min,i},F_{\max,i}를 “더 엄격하게” 잡는다고 적는다. 둘째, 식 (16)은 다음 스텝의 예측 힘에 대해 h\ge-\epsilon만 요구한다. 연속시간 CBF의 \dot h\ge-\alpha(h)나 이산시간 CBF의 h_{t+1}\ge(1-\gamma)h_t 같은 감쇠 조건이 식에 없다. 필자 해석으로는 이산시간 CBF에서 \gamma=1인 가장 공격적인 경우, 즉 “다음 스텝에서 안전 집합 안에 있기만 하면 된다”는 one-step safety filter에 해당한다.

4) Control signal computation. filter를 통과한 K로 식 (3)의 u_i를 계산해 로봇에 보낸다.

직관: RL이 고르는 것은 “어디로”가 아니라 “얼마나 세게”다

end-to-end RL의 행동은 관절 목표이고, 관절 목표 공간에는 “손가락 하나를 들어 올린다”는 선택지가 그대로 들어 있다. 보상이 그 선택을 처벌하지 않는 한(혹은 처벌이 늦게 도착하는 한) policy는 그 방향을 탐색한다. TSIGL에서는 그 선택지가 행동 공간에 존재하지 않는다. 손끝이 VF 중심을 향해 미는 grasp 항은 policy와 무관하게 항상 켜져 있고, policy가 할 수 있는 일은 조작 항의 비례 상수를 0에서 K_{\max} 사이에서 고르는 것뿐이다. 남은 위험은 조작 항이 너무 세져 grasp 항을 가리는 경우인데, 그것을 막는 것이 CBF filter다.

이 구조를 다르게 보면 TSIGL은 gain scheduling을 RL로 학습하는 것이다. 고정 gain 비례 제어는 물성이 바뀌면 정상상태 오차가 남는다(뒤의 Fig. 9가 정확히 이 모습이다). 상태에 따라 gain을 바꾸면 그 오차를 줄일 수 있고, RL은 그 스케줄을 보상으로 찾는다. 행동 차원이 손가락 수 × gain 축 수로 작고, 모든 행동이 “이미 쓸 만한 제어기”의 변형이라 탐색 초반부터 의미 있는 경험이 쌓인다.

이 시각은 FAOC 리뷰와 나란히 놓으면 선명해진다. FAOC는 RL이 MPC 파라미터를 고르는 계층 구조에서 “RL이 고른 파라미터가 OCP를 infeasible하게 만드는” 문제를 상태 의존 feasible 집합으로의 전단사 매핑으로 없앴고, slack 변수·보상 페널티 같은 임시방편을 명시적으로 비판했다. TSIGL은 같은 문제(RL이 구조화된 제어기의 파라미터를 고른다, 그 파라미터가 제약을 깰 수 있다)를 slack 있는 QP 투영으로 푼다. FAOC 관점에서 보면 TSIGL의 filter는 행동을 경계로 미는 projection 계열이라, 경계 근처에 행동이 몰리거나 policy가 filter의 존재를 모른 채 학습하는(policy gradient가 K_{RL}에 대해 계산되는지 K에 대해 계산되는지 논문에 없다) 문제가 남을 수 있다.

실험 셋업 (§4.1)

항목	논문 기재 내용
시뮬레이터	NVIDIA Isaac Lab(참고문헌은 v2.3.0 문서)
로봇	fully actuated torque 제어 Shadow Dexterous Hand, 96개 병렬 환경
학습 물체	다양한 크기의 cube, cuboid, cylinder, cone
평가 물체	tuna can, spam can, triangular prism, mustard bottle
중력	손바닥에서 멀어지는 방향(그림 표기 “Gravity upward”). 손바닥에 올려 둘 수 없어 손끝으로만 쥐어야 한다
랜덤화	손끝-물체 정지·운동 마찰(가우시안), 관절 마찰·강성·감쇠, 관측·행동의 노이즈와 지연
에피소드	손끝이 물체와 접촉한 상태로 시작. 연속 목표 50회 달성, 물체가 손가락 도달 범위 밖(낙하), 또는 시간 제한 T에서 종료
목표 갱신	현재-목표 사이 거리/각도가 \delta 안에 1.5초 넘게 머물면 새 목표
학습 알고리즘	GAE로 advantage 추정, value는 할인 보상에 회귀, policy는 PPO. actor와 critic에 같은(symmetric) 관측
보상	r_t=\sum_k\lambda_k\lvert e_k\rvert+r_{\mathrm{maintain},k}+r_{\mathrm{success}}+r_{\mathrm{drop}}, TSIGL은 r_{\mathrm{drop}}=0
PPO·보상 파라미터	“프로젝트 웹사이트에 있다”고 적혀 있으나 프로젝트 페이지에는 해당 내용이 없다

보상 식에서 \lambda_k는 위치 오차 성분 k=x,y,z당 m당, 자세 오차 성분 k=n,t당 rad당 페널티이고, r_{\mathrm{maintain},k}는 각 성분이 임계 \delta_k 안에 들어가 머물 때의 보상이다. 낙하 페널티를 0으로 둔 것은 “stable action space의 이점을 보여 주기 위해서”라고 명시돼 있다. 즉 TSIGL은 떨어뜨리지 말라는 신호를 전혀 받지 않고 학습한다.

T의 의미는 §4.1.2만 읽으면 에피소드 시간 제한처럼 보이지만, 목표 하나를 1.5초 유지해야 하므로 T=4초 안에 연속 50회는 불가능하다. §4.2.2의 “목표에 시간 안에 도달하지 못할 때만 에피소드가 리셋된다”는 문장과 합치면 목표당 시간 제한으로 읽는 것이 맞다(필자 해석). 이 해석이면 연속 성공 50회 에피소드는 최소 75초가 된다.

실험 1: FTODG 안정성 (§4.2.1, Skill 1)

Skill 1(Fig. 4). (a) force/torque equilibrium grasp 상태의 물체들에 0.1~8.6 N 외력(검은 화살표)을 가한다. 구성은 손가락 th·ff·mf, 중력은 손바닥 반대 방향. (b) 0.58~1.25초 동안 4.6 N을 가했을 때 cuboid의 변위. 외력 중 약 10.8 mm까지 밀렸다가 제거 뒤 2초 무렵 1 mm 아래로 돌아온다(그림에서 읽은 값). 파랑은 외력 없는 경우.

이 실험에는 학습이 없다. FTODG grasp 항만으로 물체를 쥐고 외력을 키워 가며 손끝-물체 미끄러짐이 관찰되는 지점을 찾았다. 저자들이 보고한 범위는 “우리의 고정 f_{d,i}, C_i 값에서 8.6 N 미만”이다. 그 범위 안에서 손끝은 물체와 함께 움직이며 grasp를 유지하고, 외력이 사라지면 원래 위치 근처로 천천히 되돌린다. Fig. 4(b)에서는 외력 없는 경우에도 변위가 0.7 mm 정도로 서서히 늘어나는데, 외력 제거 뒤 녹색 곡선은 오히려 그보다 원점에 가깝게 수렴한다.

이 절의 역할은 “TSIGL이 깔고 앉은 grasp 항이 실제로 외란에 강하다”는 전제를 확인하는 것이다. 다만 f_{d,i} 값, 물체 질량, 중력 크기가 적혀 있지 않아 8.6 N이 물체 무게의 몇 배인지는 알 수 없다.

실험 2: CBF가 필요한가 (§4.2.2, Skill 2)

Skill 2 학습(Fig. 5). (a) TSIGL이 VF 위치 조작을 학습하는 병렬 환경(손가락 th·ff·mf, 중력 손바닥 반대 방향). (b) 연속 성공의 이동평균. 범례에 각 변형의 낙하 보상 r_{\mathrm{out}}과 할인율 \gamma가 적혀 있다: TSIGL (0, 0.97), Soft 1 (-3r_{\mathrm{success}}, 0.97), Soft 2 (-9r_{\mathrm{success}}, 0.97), Soft 3 (-3r_{\mathrm{success}}, 0.99).

설정은 \delta=2.5 mm, T=4초다. CBF filter를 빼고 구현 요구조건을 “soft penalty”로 바꾼 세 변형과 비교한다. 네 변형 모두 FTODG 제어 구조와 gain 행동은 같다.

방법	제약 방식	낙하 보상 / \gamma (Fig. 5(b) 범례)	학습 중 낙하 (Fig. 5(c))	연속 성공
TSIGL	CBF	0 / 0.97	0	약 8,000 step까지 낮다가 약 39로 급등, 약 40,000 step에서 44로 수렴
Soft 1	penalty	-3r_{\mathrm{success}} / 0.97	738	빠르게 약 33(TSIGL의 약 77%)까지 갔다가 발산
Soft 2	penalty	-9r_{\mathrm{success}} / 0.97	467	낙하는 줄지만 발산은 그대로
Soft 3	penalty	-3r_{\mathrm{success}} / 0.99	248	안정되지만 느림, 최종 약 15(TSIGL의 약 35%)

연속 성공 열은 본문 서술이고, 비율은 저자가 계산한 값이다. 그림에서 읽으면 TSIGL 최종값 약 44 대비 Soft 1 최고점 33은 75%, Soft 3 약 15는 34%로 저자 수치와 거의 같다. Soft 1·2는 그림 끝(약 95,000 step)에서 둘 다 약 25로 모인다.

불안정 스킬(Fig. 6). 위 두 줄은 구현 요구조건을 soft하게 만들었을 때 나온 quick release and catch manipulation과 unstable regrasp manipulation이고, CBF가 이를 막는다. 아래 줄은 FTODG까지 제거한 end-to-end 학습에서 나온 diverging manipulation이고, FTODG 기반 stable action space가 이를 막는다.

저자들은 Soft 변형의 발산 원인으로 TSIGL에서는 보이지 않던 두 스킬을 지목한다. 손가락을 놓았다가 다시 잡는 “quick release and catch”와 손가락을 갈아 짚는 “unstable regrasp”다. 이 행동들은 §3.2.1의 안정성 정의를 벗어나지만 즉각적인 미끄러짐이나 낙하를 일으키지 않아 보상 함수의 허점을 통과한다. 저자들은 이를 long-tail 문제의 원인 중 하나로 본다.

이 결과에서 흥미로운 점이 하나 있다. Soft 변형도 policy가 고르는 것은 [K_{\min},K_{\max}] 범위 안의 gain뿐이고, grasp 항은 늘 켜져 있다. 그런데도 낙하가 248~738회 일어났다. FTODG 구조만으로는 “non-dropping”이 되지 않고, 조작 gain이 grasp 힘을 가리지 않게 막는 힘 제약이 실제로 일을 한다는 뜻이다. 이 절은 논문에서 가장 깔끔한 절제 실험이다. 다만 Soft 변형의 “penalty”가 낙하 보상 r_{\mathrm{out}}만을 뜻하는지, 식 (11)·(12) 위반에 대한 별도 페널티 항도 있는지는 본문과 범례로 확정되지 않는다. 범례에 적힌 것은 낙하 보상과 \gamma뿐이다.

실험 3: stable action space가 sample efficient한가 (§4.2.3, Skill 3)

Skill 3 학습 환경(Fig. 7(a)). 손가락 th·ff·mf·rf 네 개로 물체 자세를 조작한다. 중력은 손바닥 반대 방향.

Skill 3 학습 곡선(Fig. 7(b)(c)). 왼쪽: 본 과제(\delta=0.1 rad, T=4초). 오른쪽: 완화 과제(\delta=0.4 rad, T=5초). 오른쪽의 TSIGL 주황 점은 연속 50회 상한에 도달해 리셋된 시점들이다.

여기서는 FTODG의 안내 자체를 제거한다. 비교 대상은 OpenAI et al.(2020)에 기반한 Isaac Lab의 end-to-end 학습 베이스라인이고, 한 환경에는 Sievers et al.(2022)의 점진적 중력 도입 curriculum을 적용했다. 다만 “학습 시간이 짧아서” 그 환경에는 처음부터 끝까지 무중력을 적용했다고 적는다. 그래서 그림과 표의 라벨은 “End-to-end + No gravity”다.

방법	본 과제 낙하	본 과제 연속 성공	완화 과제 낙하	완화 과제 연속 성공
TSIGL	0	25,000 step 뒤 42 이상	0	매 에피소드 상한 50 도달
End-to-end	3,138	약 0.8	12,317	약 8
End-to-end + No gravity	1,282	약 2.1	4,880	약 22

무중력은 낙하를 본 과제에서 2.45배(3,138/1,282), 완화 과제에서 2.52배(12,317/4,880) 줄였다(필자 계산, 저자 서술 “절반 이상”·“2.5배”와 일치). end-to-end 두 방법 모두 quick release and catch, unstable regrasp, 그리고 Fig. 6(b)의 diverging manipulation을 탐색하며 물체를 자주 떨어뜨렸다.

이 절의 수치를 읽을 때 주의할 점이 셋 있다.

본 과제에서 end-to-end는 사실상 학습이 시작되지 않았다. 그림의 x축은 약 95,000 step에서 끝나고, 두 end-to-end 곡선은 그 전 구간에서 0~1.5 근처에 있다. 필자가 Fig. 7(b)를 확대해 읽으면 무중력 곡선도 대부분 2 미만으로 보여, 본문 “약 2.1”이 무엇의 평균인지는 그림만으로 확인되지 않는다.
완화 과제의 “9,000 step” 서술은 그림과 맞지 않는다. 본문은 end-to-end(중력)가 “9,000 step 뒤 약 8”에 이른다고 쓰지만, Fig. 7(c)에서 그 곡선이 8 근처에 닿는 것은 약 74,000 step이고 9,000 step 무렵은 3~4 수준이다. 단위 표기 혼선으로 보인다.
step의 단위가 정의돼 있지 않다. 환경 96개 전체의 transition 수인지, 환경당 control step인지, PPO iteration인지 논문에 없다. 제어 주기도 적혀 있지 않아 학습량을 시간으로 환산할 수 없다.

실험 4: 정확도 개선 (§4.2.4)

학습된 TSIGL policy를 고정 gain FTODG 제어기와 학습에 쓰지 않은 물체 4종에서 비교한다. 96개 환경 각각이 처음 리셋될 때의 연속 성공 수를 기록하고 물체별로 평균했다.

평가 물체(Fig. 8 이미지 부분). 왼쪽부터 tuna can, spam can, triangular prism, mustard bottle. 위 줄은 Skill 2(3손가락), 아래 줄은 Skill 3(4손가락) 파지 모습.

스킬	방법	(a) tuna can	(b) spam can	(c) triangular prism	(d) mustard bottle	평균(필자 계산)
Skill 2	FTODG	20.3	18.0	18.1	14.3	17.7
Skill 2	TSIGL	48.3	41.5	43.4	36.5	42.4
	증가율(필자 계산)	+138%	+131%	+140%	+155%
Skill 3	FTODG	23.6	25.2	18.5	33.3	25.2
Skill 3	TSIGL	42.6	39.2	33.4	46.4	40.4
	증가율(필자 계산)	+81%	+56%	+81%	+39%

저자 서술 “Skill 2는 130~155%, Skill 3는 39~81% 증가”는 위 계산과 일치한다(Skill 2 최저 130.6%를 130%로 표기). 다만 본문은 이 결과를 “Figure 6(a)”, “Figure 6(b)”로 참조하는데, 실제 수치가 있는 것은 Fig. 8이다.

tuna can 자세 조작의 step response(Fig. 9). 1.5초에 목표가 약 0.325 rad로 바뀐다. TSIGL(빨강)은 약 0.305 rad에 안착하고, 고정 gain 이론 제어(파랑)는 약 0.065 rad에서 멈춘다(그림에서 읽은 값). 목표가 0이던 구간에서도 이론 제어는 약 −0.075 rad까지 서서히 밀려난다.

Fig. 9는 “정확도 한계”가 무엇인지를 가장 직접적으로 보여 준다. 고정 gain 비례 제어는 목표 0.325 rad에 대해 약 0.26 rad의 정상상태 오차를 남기고, 이는 이 스킬의 성공 임계 \delta=0.1 rad보다 크다. TSIGL은 오차를 약 0.02 rad로 줄이지만 여전히 0으로 보내지는 않는다. 비례 제어 구조에 적분 항이 없으니 gain을 바꿔도 잔차가 남는 것은 자연스럽다.

비판적으로 보면

강점

문제 정의가 날카롭다. “불안정하지만 정확한 행동”이 보상을 통과해 학습을 망친다는 진단은 in-hand RL을 해 본 사람이라면 익숙한 현상이다. 저자들은 이를 Fig. 6의 구체적 행동 세 가지(quick release and catch, unstable regrasp, diverging manipulation)로 이름 붙여 보여 주고, 어느 장치가 어느 행동을 막는지 대응시킨다.
이론 계보를 행동 공간 설계로 잇는 방식이 깔끔하다. RL이 고를 수 있는 것을 FTODG의 gain으로 한정한 결과, policy는 grasp를 해제하는 선택지를 원천적으로 갖지 않는다. 안정성 관련 보상 항을 하나도 쓰지 않고(r_{\mathrm{drop}}=0) 낙하 0회를 얻은 것은 이 설계의 힘을 잘 보여 준다.
CBF 절제 실험의 통제가 좋다. Soft 1~3은 FTODG 구조·행동 공간을 그대로 두고 filter만 뺐다. 낙하 페널티를 3배로 키우거나 \gamma를 올리는 “RL 쪽 처방”을 차례로 시도한 뒤에도 발산이나 성능 저하가 남는다는 것을 보여, “안정성을 RL 최적화에만 맡기지 말라”는 주장에 직접 근거를 준다. Soft 변형의 낙하 248~738회는 제어기 구조만으로는 부족하고 힘 제약이 필요하다는 것까지 보여 준다.
스킬 구성이 모듈식이다. Table 1처럼 grasp 항을 공통으로 두고 조작 항과 RL 행동, 센서 사용 여부를 스킬마다 바꾼다. Skill 2는 외부 센서 없이 관절 정보만으로 학습·실행된다는 점도 실기 이전을 생각하면 매력적이다.
저자가 스스로 증명의 범위를 밝힌다. §3.2는 증명이 특정 제어기·특정 손-물체 계에 한정되고 stable action space는 “증명된 것에 가깝지만 그 너머”라고 명시한다. 과장 없이 이론과 경험의 경계를 그은 것은 좋은 태도다.

약점·한계

sample efficiency 비교의 상당 부분은 “잘 작동하는 제어기에서 출발한 효과”다. §4.2.3의 end-to-end 베이스라인은 관절 공간에서 제어기 prior 없이 학습하고, TSIGL은 이미 grasp와 조작이 되는 FTODG의 gain만 조정한다. 실제로 학습 없는 고정 gain FTODG도 Skill 3 평가 물체에서 평균 연속 성공 약 25를 낸다(Fig. 8). end-to-end가 같은 학습 길이에서 0.8~2.1에 머문 것과 비교하면, 두 자릿수 격차의 대부분은 RL 방법이 아니라 prior 제어기에서 나온다. 측정 조건(학습 곡선 이동평균 vs 배포 시 첫 리셋 평균, 학습 물체 vs 평가 물체)이 달라 직접 대조는 필자 해석이다. 공정한 비교라면 고정 gain FTODG를 학습 곡선과 같은 그림에 수평선으로 넣고, FTODG 위에 토크 residual을 학습하는 residual RL처럼 “prior는 같고 행동 공간만 다른” 중간 베이스라인이 있어야 한다. 논문은 §2.3에서 residual RL(Johannink et al., 2019)을 언급하지만 실험에는 없다.
end-to-end 베이스라인은 짧은 학습 예산에서 비교됐다. 저자 스스로 “학습 시간이 짧아서” 중력 curriculum 대신 무중력을 썼다고 적는다. x축 약 95,000 step 동안 end-to-end는 본 과제에서 사실상 학습이 시작되지 않았다. step 단위·제어 주기·wall-clock이 없어 이 예산이 Isaac Lab 베이스라인이 원래 상정한 규모와 비교해 어느 정도인지 알 수 없다. “더 sample efficient하다”는 결론은 맞겠지만, 격차의 크기는 이 예산 선택에 크게 의존한다.
“Non-Dropping”은 보장이 아니라 시뮬레이션 관찰이다. CBF filter는 노이즈 섞인 관측과 정적 모델(식 14)로 다음 스텝 힘을 예측하고, slack \epsilon이 있어 제약 위반을 허용한다. 식 (16)에는 CBF의 감쇠 조건이 없어 forward invariance 증명 구조도 아니다. stable action space 자체도 §3.2에서 보듯 실험 경험에 기댄 작업 가설이다. 그러니 낙하 0회는 “이 시뮬레이션 설정에서 관찰된 결과”이고, 실기에서 접촉 모델 오차·센서 지연이 더 크면 어떻게 될지는 열려 있다. 제목의 “Non-Dropping Action Space”는 이 범위를 감안해 읽어야 한다.
재현에 필요한 값이 거의 없다. PPO 하이퍼파라미터와 보상 파라미터는 “프로젝트 웹사이트에 있다”고 적혀 있으나, 프로젝트 페이지에는 초록과 소개 영상만 있고 해당 내용이 없다. F_{\min},F_{\max}, K_{\max}, H, C_\epsilon, f_{d,i}, C_i, 고정 FTODG gain, 이동평균 filter 계수, 노이즈·지연 크기, 제어 주기, QP solver, 네트워크 구조, 학습 물체 크기 범위가 모두 본문에 없다. 공개 코드도 없다.
시드·분산 정보가 없다. 모든 학습 곡선이 선 하나이고 음영이 없으며, 반복 실행 횟수가 적혀 있지 않다. Soft 1과 Soft 2가 끝에서 같은 수준으로 모이는 것처럼 곡선 사이 차이 일부는 단일 실행의 변동일 수 있다. Fig. 8의 평균에도 표준편차나 분포가 없다.
고정 gain FTODG 베이스라인이 얼마나 튜닝됐는지 모른다. §4.2.4의 비교 대상은 “FTODG에서 연구된 고정 파라미터 제어기”인데 gain 값이 없다. Fig. 9의 0.26 rad 정상상태 오차는 비례 제어의 구조적 한계일 수도, 단지 gain이 작게 잡힌 결과일 수도 있다. “RL이 정확도를 높였다”를 강하게 말하려면 물체별로 최적 튜닝한 고정 gain이나 적분 항을 더한 고전 제어와의 비교가 필요하다.
정확도 지표가 상한 50에 눌려 있다. 연속 성공은 50에서 에피소드가 끝나므로, TSIGL Skill 2 tuna can 48.3은 상한의 97%다. 증가율 +138%는 실제 개선을 과소평가하는 쪽으로 왜곡된다. 반대로 “accuracy”라는 이름과 달리 위치·자세 오차 자체(mm·rad)를 물체별로 보고한 표는 없고, 오차를 직접 보여 주는 것은 tuna can 한 건의 step response(Fig. 9)뿐이다.
본문 상호참조와 표기가 여러 곳에서 어긋난다. Soft 1의 낙하 증가를 “Fig. 5(b)”로 참조하지만 낙하 표는 Fig. 5(c)다. Skill 3 본 과제의 TSIGL 낙하 0회를 “Fig. 7(c)”로 참조하지만 본 과제 표는 Fig. 7(b)다. §4.2.4의 정확도 결과는 “Fig. 6(a)(b)”로 참조하지만 수치는 Fig. 8에 있다. 낙하 보상은 본문에서 r_{\mathrm{drop}}, 범례에서 r_{\mathrm{out}}이고, 베이스라인은 본문에서 “gravity curriculum”, 그림에서 “No gravity”다. 결론을 바꿀 문제는 아니지만 독자가 수치를 대조하기 어렵다.
저자가 밝힌 한계(§5.2). 저자들은 세 가지를 인정한다. ① 실기 실험이 없다. ② 미리 정한 스킬에서 안정성을 얻으려고 행동 공간을 제약하므로 탐색 능력이 제한된다(제약을 완화하면 trade-off가 가능하다고 덧붙인다). ③ grasp quality, 손-물체 workspace 분석을 다루지 않았다. ②는 특히 중요하다. stable action space는 접촉 손가락 집합 I가 고정된 in-grasp 조작에만 정의돼 있어, finger gaiting처럼 손가락을 떼고 다시 짚는 것이 본질인 큰 각도 재정렬은 이 틀로 표현할 수 없다. Fig. 6이 “불안정 스킬”로 분류한 unstable regrasp가 다른 과제에서는 필요한 스킬일 수 있다. 저자들이 “덜 제약하면 trade-off가 가능하다”고 한 근거는 Soft 변형 실험인데, 그 실험은 오히려 제약을 풀면 발산한다는 결과였다.
실기 이전의 걸림돌이 구체적이다. 실험은 “fully actuated torque 제어” Shadow Hand를 가정한다. 실제 Shadow Hand는 손가락 끝 두 관절이 결합된 tendon 구동 손이다(논문 밖 일반 지식). §3.2.3이 torque 제어 손을 요구조건으로 둔 만큼, 어떤 실기 손에서 이 방법을 검증할지가 다음 단계의 핵심 질문이 된다. 같은 그룹의 선행 연구(Doan et al., 2025)가 linkage 기반 underactuated 손에서 외부 센서 없는 위치 조작을 다뤘다는 점은 가능한 경로다.

요약

이 논문은 in-hand manipulation RL의 long-tail 불안정 문제를 “안정성을 보상으로 가르치지 말고 행동 공간으로 강제하라”는 방향에서 푼다. FTODG 제어 이론의 grasp 구조를 고정하고, RL은 조작 항의 gain만 고르며, CBF 형태의 QP filter가 손끝 힘을 하한·상한 사이로 투영한다. Isaac Lab Shadow Hand 시뮬레이션에서 이 TSIGL은 낙하 페널티 없이 학습 중 낙하 0회를 보였고, filter를 페널티로 바꾸면 낙하와 학습 발산이 돌아온다는 절제 실험이 설계의 필요성을 잘 뒷받침한다. 고정 gain FTODG 대비 연속 성공도 Skill 2에서 2.3~2.6배, Skill 3에서 1.4~1.8배로 늘었다.

한계는 주장의 범위에 있다. end-to-end 대비 sample efficiency 격차는 대부분 prior 제어기에서 출발한 효과이고, 같은 prior를 쓰는 중간 베이스라인이 없다. “Non-Dropping”은 slack 있는 one-step filter와 경험적 stable action space 위의 시뮬레이션 관찰이며, 시드·분산·하이퍼파라미터·코드가 모두 빠져 있어 제3자가 재현하기 어렵다. 행동 공간을 접촉 유지 조작으로 묶은 대가로 finger gaiting 같은 스킬은 표현할 수 없다. 그럼에도 “안정성이 증명된 제어기의 gain을 RL로 schedule하고, 그 gain이 grasp를 깨지 않게 힘 제약으로 거른다”는 레시피는 단순하고 이식성이 높다. torque 제어 손에서의 실기 검증과, prior를 공유하는 residual RL과의 비교가 다음에 볼 결과다.

이 글에 대해

읽은 범위: arXiv v2(2026-07-18, 19쪽)를 PDF와 HTML로 읽었다. v1은 2026-06-26에 제출됐다. 그림 9장과 Table 1은 arXiv HTML에서 받아 모두 열어 캡션과 대조했고, Fig. 8의 수치는 PDF 15쪽 표와 대조했다. Fig. 5(c)와 Fig. 7(b)(c)의 낙하 횟수 표, Fig. 8 수치는 본문 마크다운 표로 옮겼다.
공개 범위: 프로젝트 페이지에는 초록과 소개 영상만 있다. 위에 넣은 영상은 그 영상을 960×540으로 줄인 사본이다. 본문이 프로젝트 페이지에 있다고 한 PPO·보상 파라미터는 없고, BibTeX 칸은 템플릿 문구 그대로다. 공개 코드는 없다. 따라서 이 리뷰의 모든 수치는 논문이 보고한 값이며 코드 대조나 재현 확인은 하지 않았다.
표기: “필자 계산”은 논문 수치로 직접 계산한 값(증가율, 평균, 낙하 비율)이다. “그림에서 읽은 값”은 Fig. 4(b)·5(b)·7(b)(c)·9에서 눈으로 읽은 근사치다. “필자 해석”은 논문이 직접 말하지 않은 추론(T의 의미, 식 (16)과 이산시간 CBF의 관계, 비교 조건의 해석)이다. Shadow Hand 실기 구동 방식은 논문 밖 일반 지식이다.
제목: 이 글의 제목은 논문이 기반으로 삼은 제어 이론 이름(FTODG)을 따랐다. 논문이 제안하는 프레임워크의 이름은 TSIGL이다.