📃POISE 리뷰

dexterity

in-hand

sim2real

curriculum

Learning In-Hand Object Reaching to General 6D Poses

Published

October 9, 2026

Paper Link (arXiv:2609.13761v1): 이 리뷰는 v1(2026-09-12 제출, 8쪽) 기준이다. 프로젝트 페이지가 배포하는 PDF와 같은 판(PDF 생성일 2026-09-12)이며, 수치·수식은 PDF를 정본으로 읽었다. 참고문헌은 번호 대신 저자·논문 이름으로 적는다.
Project Page · YouTube Video · Interactive Demo (MuJoCo 브라우저 시뮬)
Code: 미공개. 2026-10-21 확인 시점에 프로젝트 페이지의 Code 버튼은 “Coming soon”이고, 페이지 하단에 “we will release our code here”라는 공개 예고만 있다. 초록도 같은 문구로 공개를 약속한다.
Junxiao Lin, Tianyue Wu, Jie Yin, Jia Pan, Kaifeng Zhang, Weiming Zhi* (*교신저자)
The University of Sydney · Sharpa · The University of Hong Kong. arXiv preprint (cs.RO), 2026. 본문이 스스로를 “this letter”라 부르지만 게재처는 표기돼 있지 않다.

💡 손 안 조작을 “회전” 또는 “평행이동” 하나로 쪼개지 않고, 이미 쥔 물체를 손가락만으로 손바닥 기준 임의의 \mathrm{SE}(3) 목표 자세까지 옮기는 문제(in-hand 6D pose reaching)로 정식화하고, 도달 후에도 다음 목표를 이어갈 수 있는 “쓸 만한 파지”를 유지하는 것까지 목표에 넣었다.
⚙️ 물리 검증을 거친 다양한 안정 파지 초기화(6,842개 리셋 캐시), BPS 형상 기술자로 조건화한 단일 정책, 회전·병진 한계를 따로 넓히는 적응형 6D 목표 커리큘럼, 마찰콘 렌치 마진의 soft-min으로 만든 파지 유지 보상을 PPO(Isaac Lab, 비대칭 actor-critic)에 묶고, 실기에서는 FoundationPose가 물체 자세를 공급한다.
🎯 시뮬에서 다양한 초기화가 미지 파지 첫 목표 성공률을 40.1% → 51.5%, 낙하 후 회복을 33.8% → 72.9%로 올리고, 커리큘럼이 전 범위 성공률을 6.2% → 59.5%로 올렸다. 22-DoF Sharpa Wave 손 실기에서 파지 유지 보상은 3-목표 연속 성공을 2/10 → 8/10으로 끌어올렸다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 손(multi-fingered hand)의 손 안 조작(in-hand manipulation) 연구는 지금까지 대부분 한 축만 풀었다. 물체를 원하는 방향으로 돌리는 재배향(reorientation), 한 축으로 계속 돌리는 연속 회전, 손바닥 위로 미끄러뜨리는 평행이동이 각각 따로 발전했다. 그런데 공구를 고쳐 쥐거나, 원하는 면을 드러내거나, 기능축을 맞추는 실제 작업은 위치와 방향을 동시에 바꿔야 한다. POISE(Palm-relative Object reaching In SE(3))는 이것을 “손바닥 기준 6D 목표 자세 도달”이라는 하나의 과제로 정의한다. 팔은 고정하고 손가락만으로, 이미 쥔 물체를 명령한 자세까지 옮긴다.

이 정식화에는 함정이 하나 있다. 목표 자세에 도달하는 것만으로는 부족하다. 물체가 손가락 두 개에 겨우 걸쳐 있으면 다음 목표를 향해 움직이는 순간 떨어진다. 그래서 POISE는 목표에 도달한 뒤 손-물체 상태를 리셋하지 않고 바로 다음 목표를 내는 연속 도달 설정에서 학습·평가하고, 보상에 파지 품질을 유지하라는 항을 넣는다.

실기 in-hand 6D 자세 도달(Fig. 1). 위는 Hammer, 아래는 Hexagonal Prism. 초록 화살표는 병진, 빨간 화살표는 회전 명령이며, 손을 리셋하지 않고 목표를 연달아 바꾼다.

저자 공식 영상(YouTube, “POISE: Learning In-Hand Object Reaching to General 6D Poses”).

핵심 방법론:

손바닥 프레임 \mathcal{H}에서 본 현재 물체 자세 {}^{\mathcal{H}}\mathbf{T}_{\mathcal{O},t}=({}^{\mathcal{H}}\mathbf{p}_t,{}^{\mathcal{H}}\mathbf{R}_t)와 목표 {}^{\mathcal{H}}\mathbf{T}_{\mathcal{O},g} 사이의 오차를 위치·측지 회전각으로 잰다.

e_p=\lVert {}^{\mathcal{H}}\mathbf{p}_t-{}^{\mathcal{H}}\mathbf{p}_g\rVert_2,\qquad e_R=\tfrac{1}{\sqrt2}\bigl\lVert \mathrm{Log}\bigl({}^{\mathcal{H}}\mathbf{R}_g({}^{\mathcal{H}}\mathbf{R}_t)^\top\bigr)\bigr\rVert_F\in[0,\pi].

정책은 목표 \mathbf{g}_t와 64차원 BPS 형상 기술자 \mathbf{z}_\mathcal{O}를 받아 손가락 관절 명령을 증분으로 갱신한다(\mathbf{q}^{\mathrm{cmd}}_{t+1}=\mathrm{clip}(\mathbf{q}^{\mathrm{cmd}}_t+s_a\mathbf{a}_t,\mathbf{q}_{\min},\mathbf{q}_{\max})). 보상은 자세 도달·검증된 목표 완료·파지 유지·정규화의 합이다.

r_t=r^{\mathrm{pose}}_t+r^{\mathrm{goal}}_t+0.05\,r^{\mathrm{grasp}}_t-80d_t-0.10\lVert\boldsymbol\tau_t\rVert_2^2-0.15\bigl(\boldsymbol\tau_t^\top\dot{\mathbf q}_t\bigr)^2 .

여기서 새로운 것은 r^{\mathrm{grasp}}다. 각 접촉을 마찰콘 렌치 광선 4개로 근사하고, 힘 3축·토크 3축의 양방향 최소 마진 m_{t,k} 6개를 soft-min으로 묶어 파지 품질 Q_t를 만든 뒤, 에피소드 시작 직후 품질 Q^\star 대비 얼마나 떨어졌는지를 벌한다.

주요 결과:

다양한 안정 파지 초기화(vs 한 파지를 섭동한 narrow 캐시, 둘 다 6,842 상태): 미지 파지 첫 목표 성공률 40.1% → 51.5%, 에피소드당 완료 목표 0.69 → 1.00
낙하 후 회복(720 trial, 손바닥에 놓인 물체에서 시작): 성공률 33.8% → 72.9%, 성공 시 평균 소요 11.63 s → 9.45 s
적응형 커리큘럼(vs 처음부터 전 범위 균일 샘플링): 전 범위 strict 성공 6.2% → 59.5%, 최대 변화(180°·30 mm) 목표 3.4% → 55.3%
파지 유지 보상(시뮬, 3 runs): 파지 품질 Q 0.032 → 0.045(약 +41%), 에피소드 성공 53.7% → 59.1%
같은 보상의 실기 효과(10 trial씩): 3-목표 연속 성공 2/10 → 8/10, 계획 목표 완료 8/30 → 27/30
실기에서 물체 4종(Cube, Hexagonal Prism, Square Bifrustum, Hammer)·손목 자세 3종에서 리셋 없이 연속 도달, 외란 후 회복을 시연

결론:

POISE의 기여는 새로운 학습 알고리즘이 아니라 문제 정의와 학습 레시피다. “6D 목표 도달 + 도달 후에도 계속 쓸 수 있는 파지”라는 과제를 세우고, 그것을 PPO로 풀기 위해 무엇이 필요한지를 세 가지 통제 실험(초기화 다양성·커리큘럼·파지 보상)으로 분해해 보였다. 각 실험은 다른 조건을 고정한 깔끔한 쌍 비교라 설득력이 있다. 대신 외부 베이스라인 비교가 없고, 실기 정량 평가는 10회짜리 표 하나뿐이며, 병진 범위가 30 mm(Hammer 100 mm)라 제목의 “general 6D poses”는 손바닥 작업공간 안의 일반성으로 읽어야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

POISE는 손 안 조작의 목표를 “회전량”이나 “이동 거리” 같은 하나의 스칼라에서 손바닥 기준 \mathrm{SE}(3) 자세로 일반화하고, 그 일반화가 만드는 두 가지 어려움에 각각 처방을 붙인다. 첫째, 6D 목표는 회전과 병진이 결합돼 있어 처음부터 전 범위를 주면 탐색이 안 된다. 그래서 회전 한계와 병진 한계를 따로 넓히는 커리큘럼을 쓴다. 둘째, 목표에 도달하는 것과 다음 목표로 이어갈 수 있는 것은 다른 문제다. 그래서 렌치 공간에서 고르게 버티는 파지를 유지하라는 보상을 넣는다. 여기에 “학습 분포의 출발점이 얼마나 다양한가”를 탐색에 맡기지 않고 물리 검증된 파지 캐시로 명시적으로 넓히는 초기화가 더해진다. 세 처방 모두 새로운 개념이라기보다 잘 알려진 도구지만, 논문은 각 처방의 효과를 다른 조건을 고정한 쌍 비교로 분리해 측정했다는 데 가치가 있다.

배경: 왜 6D in-hand reaching인가 (Sec. I–II)

저자들은 기존 연구를 두 갈래로 정리한다.

모델 기반: motion cone 계획, 궤적 최적화와 multi-modal 계획, 국소 식별 동역학이나 contact-implicit 동역학 위의 MPC. 국소 자세 제어는 정확하지만 미리 정한 접촉 모드·접촉 순서·알려진 단순 형상에 기대는 경우가 많아, 접촉을 능동적으로 바꿔야 하는 임의 \mathrm{SE}(3) 도달로 넓히기 어렵다고 본다(예: Contact Trust Region 리뷰).
학습 기반: RL은 고품질 시연 없이 접촉이 많은 다지 협응을 찾아내며, 실기 재배향·연속 회전·제약된 평행이동까지 왔다. 하지만 대부분이 방향 하나 또는 제약된 병진 하나를 다룬다. 예를 들어 AnyRotate·RotateIt·Rotating without Seeing·DexNDM는 회전, 촉각 피부 in-hand translation은 평행이동, ViserDex는 시각 기반 재배향이다.

가장 가까운 선행 연구는 Plappert et al.(2018)의 goal-pose-conditioned 시뮬 환경(block·egg·pen)과, 이를 궤적 최적화로 개선한 Charlesworth & Montana(2021)다. 둘 다 시뮬레이션에만 머물렀다. 최근에는 팔-손을 함께 움직여 월드 프레임 목표에 도달하는 시스템(SimToolReal·Play2Perfect·Dex4D)과 인간/합성 손-물체 참조 궤적을 추종하는 제어기(DexTrack 등)가 있다. POISE는 손 움직임 참조 없이, 손가락만으로, 손바닥 기준 목표에 도달한다는 점에서 이들과 선을 긋는다.

이 정식화가 어려운 이유는 결합이다. 회전만이면 물체 중심을 대략 고정한 채 돌리면 되고, 병진만이면 자세를 유지한 채 밀면 된다. 6D 목표는 둘을 동시에 제약하므로 가능한 운동 공간이 크게 줄고, 접촉 전환(contact switching)이나 finger gaiting이 필요해진다. 게다가 연속 도달에서는 도달한 자세가 다음 조작을 허용하는 파지로 지지돼야 한다.

문제 정식화 (Sec. III)

손목은 고정돼 있고 물체는 이미 쥐어진 상태에서 시작한다. 오차는 Ping에 적은 e_p와 e_R(측지 회전각, [0,\pi])이다. 과제는 goal-conditioned POMDP로 두고, actor와 critic의 입력을 비대칭으로 나눈다.

구분	입력
Actor (배포 가능 정보만)	현재·명령 손가락 관절 위치와 속도의 3-프레임 이력, 추정된 손바닥 프레임 물체 자세, 손바닥 프레임 중력 방향, 시각 자세 추정 confidence, 목표 자세, 현재→목표 병진·회전, 물체 형상 기술자 \mathbf{z}_\mathcal{O}
Critic (추가 특권 정보)	노이즈 없는 시뮬레이터 상태, fingertip 상태, 인가 관절 토크, 접촉력
행동	정규화된 증분 \mathbf{a}_t: \mathbf{q}^{\mathrm{cmd}}_{t+1}=\mathrm{clip}(\mathbf{q}^{\mathrm{cmd}}_t+s_a\mathbf{a}_t,\ \mathbf{q}_{\min},\mathbf{q}_{\max})

목표는 두 오차가 정해진 제어 스텝 동안 허용오차 안에 머물면 도달로 판정되고, 학습 중에는 손-물체 상태를 리셋하지 않고 새 목표를 뽑는다. 즉 한 rollout 안에서 연속 6D 도달을 요구한다. actor 입력에 “중력 방향”과 “자세 추정 confidence”가 명시적으로 들어가는 것이 눈에 띈다. 전자는 손목 자세가 바뀌는 실험(Sec. V-C.2)을, 후자는 FoundationPose 추정이 흔들릴 때의 행동을 염두에 둔 설계로 읽힌다(논문이 confidence의 구체적 산출 방식은 적지 않았다).

방법 상세 (Sec. IV)

POISE 개요(Fig. 2). 다양한 안정 파지가 시뮬 리셋 상태를 공급하고, 정책 \pi_\theta(\mathbf{a}_t\mid\mathbf{o}_t,\mathbf{g}_t,\mathbf{z}_\mathcal{O})는 시뮬에서는 섭동된 관측으로, 실기에서는 고유수용 감각과 FoundationPose 추정 6D 자세로 닫힌 루프를 돈다.

A. 다양한 안정 파지 초기화

과제가 파지 획득 이후에 시작하므로 모든 에피소드는 안정된 손-물체 상태에서 출발해야 한다. 리셋 파지가 하나뿐이면 탐색은 그 한 배치에서 현재 정책이 닿을 수 있는 상태에 갇히고, 다른 물체-손바닥 자세나 접촉 배치는 데이터에서 과소대표된다. 그래서 저자들은 최적화 기반 파지 합성 계열(DexGraspNet)을 따르되 Lightning Grasp의 절차를 변형해 파지를 만든다.

손 안 작업공간에서 물체 자세를 샘플링한다.
각 자세마다 안정 접촉을 최적화하고 대응 관절 배치 \mathbf{q}를 푼다.
최적화된 접촉력을 실행 가능한 위치제어 명령 \mathbf{q}^{\mathrm{cmd}}로 변환한다(접촉 탐색을 랜덤화해 같은 물체 자세에도 여러 손 자세를 얻는다).
물체 자세·\mathbf{q}·\mathbf{q}^{\mathrm{cmd}}를 섭동하고, 중력과 위치제어 하에서 2초간 시뮬레이션해 물체를 유지한 후보만 리셋 캐시 \mathcal{G}에 넣는다.

요점은 “어떤 파지에서 출발하는가”를 롤아웃 탐색에 맡기지 않고 학습 분포의 명시적인 일부로 만든다는 것이다. 4단계의 2초 물리 검증이 “physics-validated”라는 수식어의 실체다. 위치제어 명령으로 변환한 뒤 검증하므로, 최적화 단계의 이상적 접촉력과 실제 PD 추종 사이의 차이를 걸러내는 효과가 있다.

B. 형상 조건화 정책

같은 현재·목표 자세라도 물체 형상에 따라 접촉 가능한 면과 모서리, 손가락 운동이 물체에 전달되는 방식이 다르다. POISE는 이를 basis point set(BPS)으로 노출한다. 모든 물체가 공유하는 고정된 질의점 집합에서, 각 질의점과 정준 프레임 물체 표면 사이의 정규화 거리를 적은 벡터가 \mathbf{z}_\mathcal{O}(64차원)다. 차원과 공간 구조가 물체 사이에 같으므로 하나의 actor가 물체 ID 없이 형상만으로 손가락 협응을 바꿔야 한다. 실기 평가의 Cube·Hexagonal Prism·Square Bifrustum은 세 형상 계열이며, 정책은 이 세 계열 × 세 크기 = 9개 형상-크기 조합으로 공동 학습됐다.

C. 적응형 6D 목표 커리큘럼

전 범위 6D 목표를 처음부터 뽑으면 초기 탐색이 어렵다. 그래서 최대 회전량과 최대 병진량에 별도의 커리큘럼을 둔다. 축과 방향은 처음부터 랜덤이고, 스케줄되는 것은 크기뿐이다. 손바닥 작업공간 밖이거나 고정된 손 기저부와 겹치는 목표는 재샘플링한다.

항목	값
회전 한계	5° → 180°
병진 한계	10 mm → 30 mm (Hammer는 최대 100 mm)
크기 샘플링 비율	경계(frontier) 근처 0.6 / 이미 열린 범위 0.3 / 현재 한계 0.1
확장 조건	frontier 성공률 0.4 도달 시 회전 +10° 또는 병진 +10 mm
진행 단위	물체마다 독립

같은 rollout 안의 모든 목표에는 같은 한계가 적용된다. 회전과 병진을 하나의 “난이도”로 묶지 않고 따로 키우는 것이 6D 정식화에서 자연스러운 선택이다. 회전 180°는 열렸는데 병진이 아직 10 mm인 상태처럼, 두 축이 다른 속도로 진행할 수 있다.

D. 파지 보존 보상 설계

보상은 네 부분이다.

자세 도달. 회전 항과 위치 항을 따로 만들고 위치 항의 폭과 가중을 회전 오차에 따라 바꾼다.

r^R_t=\exp\!\Bigl(-\frac{e_{R,t}}{30^\circ}\Bigr),\qquad r^p_t=\alpha(e_{R,t})\exp\!\Bigl(-\frac{e_{p,t}}{\sigma(e_{R,t})}\Bigr),\qquad r^{\mathrm{pose}}_t=\tfrac16 r^R_t+\tfrac14 r^p_t,

(\alpha,\sigma)= \begin{cases} (0.15,\ 30\,\mathrm{mm}), & e_R>45^\circ\\ (0.40,\ 20\,\mathrm{mm}), & 25^\circ<e_R\le45^\circ\\ (1.00,\ 15\,\mathrm{mm}), & e_R\le25^\circ \end{cases}

회전 오차가 클 때는 위치 항이 넓고 약하다. 접촉을 재배치하려면 물체를 일시적으로 목표에서 멀리 옮겨야 할 수 있기 때문이다. 회전이 맞아 갈수록 위치 정확도에 가중이 실린다. 두 가지를 덧붙여 두자. 첫째, r^R은 e_R=180^\circ에서 e^{-6}\approx0.0025이고 90^\circ에서도 e^{-3}\approx0.05라, 큰 회전 오차 영역에서는 회전 보상의 기울기가 거의 평평하다(리뷰어 계산). 이것이 Table II에서 커리큘럼 없이 전 범위를 학습하면 6.2%에 머무는 이유와 잘 맞는 그림이다. 둘째, (\alpha,\sigma)가 구간별 상수라 e_R이 25°·45°를 지날 때 r^p가 불연속으로 뛴다(예: 위치 오차가 0이면 25° 경계에서 0.40 ↔︎ 1.00). 논문은 이 불연속이 학습에 어떤 영향을 주는지 다루지 않는다.

목표 완료. s_t\in\{0,1\}은 물체가 유지되고 두 허용오차 안에 있음을, c_t\in\{0,1\}은 그 조건이 N=20 연속 스텝 유지돼 검증이 처음 성립한 스텝을 표시한다.

r^{\mathrm{goal}}_t=0.5s_t+45c_t.

스텝당 항은 목표 영역 안에 머물도록, 일회성 보너스는 검증된 완료를 보상한다.

파지 유지. 이 논문의 가장 독창적인 부분이다. 각 활성 접촉을 마찰콘 렌치 광선 4개로 근사하고(모멘트는 물체 크기로 정규화), 힘 3축·토크 3축 각각에 대해 “양의 방향과 음의 방향 중 최대 광선 사영의 작은 쪽”을 마진 m_{t,k}\in[0,1]로 삼는다. 즉 m_{t,k}는 그 축으로 양방향 모두 렌치를 낼 수 있는 정도다. 여섯 마진을 지수 -8의 일반화 평균으로 묶는다.

Q_t=\Bigl[\tfrac16\sum_{k=1}^{6}(m_{t,k}+\varepsilon)^{-8}\Bigr]^{-1/8}-\varepsilon .

지수가 큰 음수이므로 이는 가장 약한 마진에 끌리는 soft-min이다. 여섯 축을 고르게 덮는 파지를 장려하고, 접촉 기여가 힘에 따라 포화되도록 만들어 세게 쥐어짜는 것만으로 점수를 올릴 수 없게 했다.

달성 가능한 품질은 물체와 초기 파지마다 다르므로, 절대 문턱 대신 에피소드의 안정 리셋 상태 대비 상대 품질을 지킨다. 첫 4 제어 스텝의 평균 품질을 [0.08,0.35]로 클립한 값을 Q^\star라 하면

r^{\mathrm{grasp}}_t=1-\mathrm{clip}\Bigl(\frac{(Q^\star-Q_t)_+}{Q^\star},0,1\Bigr)^2 .

초기 렌치 커버리지가 유지되는 동안은 최대(1)이고, 파지가 덜 안정해질수록 부드럽게 줄어든다.

낙하·구동 정규화. d_t\in\{0,1\}은 낙하 표시다. 전체 보상은 Ping의 식(Eq. 10)대로, 낙하 -80, 관절 토크 제곱 -0.10, 순간 기계적 일률 제곱 -0.15를 더한다.

항	형태	스텝당 최대 크기(리뷰어 계산)
r^{\mathrm{pose}}	\tfrac16 r^R+\tfrac14 r^p	약 0.417
r^{\mathrm{goal}}	0.5s_t + 일회성 45c_t	0.5 (+ 완료 시 45)
0.05\,r^{\mathrm{grasp}}	리셋 대비 상대 품질	0.05
낙하	-80d_t	−80
토크·일률	-0.10\lVert\boldsymbol\tau\rVert^2-0.15(\boldsymbol\tau^\top\dot{\mathbf q})^2	상태 의존

이 표가 보여주는 것은 파지 유지 항이 숫자상 가장 작은 항이라는 사실이다. 스텝당 최대 0.05로 자세 항의 8분의 1 수준이다. 그런데도 Table III·IV에서 효과가 뚜렷하다는 것은, 이 항이 크기가 아니라 방향으로 작동한다는 뜻으로 읽힌다. 자세 보상이 동률인 여러 접촉 배치 사이에서 균형 잡힌 쪽을 고르게 하는 tie-breaker 역할이다(리뷰어 해석).

E. 도메인 랜덤화

동역학 불일치와 불완전한 시각 자세 피드백 둘 다를 겨냥한다. 후자를 위해 actor는 관절·물체 자세 노이즈, 자세 지연, hold-last 드롭아웃이 섞인 관측을 받고, 물체 속도도 그 오염된 자세 이력에서 추정한다.

양	범위/분포
Object scale	\mathcal{U}[0.975, 1.025]
Object mass	10–100 g
Inertia multiplier	\mathrm{LogU}[1, 4]
CoM offset	축당 최대 5 mm
Friction multiplier	\mathcal{U}[0.5, 2.0]
PD-gain multipliers	\mathcal{U}[0.5, 2.0]
Wrist orientation	전체 방향 범위에서 랜덤
External disturbances	\sigma_a=6.67\ \mathrm{m/s^2}; \sigma_\alpha=133.33\ \mathrm{rad/s^2}
Disturbance probability	스텝당 \mathrm{LogU}[1/3000, 1/30]
Joint-position noise	\mathcal{U}[-0.02, 0.02] rad
Object-pose noise	\sigma_p=10 mm/axis; \sigma_R=5^\circ (clip 15^\circ)
Pose delay	0–3 스텝 (0–150 ms)
Pose dropout	스텝당 3%; 마지막 값 유지

Table I. 학습에 쓴 sim-to-real 랜덤화(원문 Table I 전재). 자세 지연 0–3 스텝이 0–150 ms로 환산되는 것은 정책 주기 20 Hz와 맞는다. 자세 노이즈 \sigma_p=10 mm는 성공 허용오차(10 mm)와 같은 크기라, 관측 노이즈가 결코 작지 않은 조건에서 학습한다는 점도 눈여겨볼 만하다.

직관: 세 처방이 각각 무엇을 고치는가

세 구성요소는 서로 다른 실패 모드를 겨냥한다.

초기화 다양성은 “출발점의 편향”을 고친다. 하나의 파지에서 출발하면 정책은 그 파지 근처에서 잘 작동하는 손가락 동작만 배운다. 처음 보는 파지나 낙하 후 손바닥에 놓인 물체는 분포 밖이다. 리셋 캐시를 넓히면 “어디서 시작해도 되는” 정책이 된다. 회복 실험(33.8% → 72.9%)이 가장 큰 효과를 보이는 것도 이 때문이다. 낙하 후 상태는 narrow 정책에게 가장 낯선 출발점이다.
커리큘럼은 “보상 지형의 평탄함”을 고친다. 위에서 계산했듯 회전 보상은 큰 오차에서 거의 평평하다. 처음부터 180° 목표를 주면 대부분의 경험이 기울기 없는 영역에 떨어진다. 작은 목표부터 열면 항상 보상이 반응하는 영역에서 배운다.
파지 보상은 “도달과 지속의 괴리”를 고친다. 자세 보상은 물체가 어디 있는지만 보고 어떻게 쥐어져 있는지는 보지 않는다. 두 손가락으로 아슬아슬하게 걸친 상태도 같은 점수를 받는다. 렌치 마진 soft-min은 “모든 방향으로 버틸 수 있는가”를 묻기 때문에 다음 목표로 움직일 여유가 있는 파지를 고른다.

비교를 위해 In-Hand Physics Priors 리뷰를 떠올리면 좋다. 그 논문은 grasp map Gramian의 최소 고윳값 \lambda_{\min}(\mathbf{G}\mathbf{G}^\top)을 shaping 보상으로 썼다. 접촉 위치만으로 계산되는 타원체 기반 대리 지표다. POISE의 Q_t는 마찰콘 광선을 써서 각 축의 양방향 마진을 재므로 마찰 제약을 반영한다는 점에서 force closure 해석에 더 가깝다. 두 논문 모두 “가장 약한 방향”을 보는 최소형 지표를 쓰지만, 앞의 것은 연속 회전을, POISE는 6D 연속 도달을 위한 것이다. 또 POISE는 절대값 대신 리셋 대비 상대 하락을 벌한다는 차이가 있다.

실험 (Sec. V)

셋업 (Sec. V-A)

항목	값
시뮬레이터	Isaac Lab, 물리 120 Hz
정책 주기	20 Hz, 증분 관절 위치 명령
알고리즘	비대칭 PPO
네트워크	actor·critic 모두 [512, 256, 128] ELU MLP
형상 기술자	64차원 BPS
기본 어블레이션 조건	40 mm Hexagonal Prism, 손바닥 위 고정 손목
도달 판정	위치 < 10 mm, 방향 < 10°, 20 연속 정책 스텝
에피소드	400 정책 스텝, 낙하 시 조기 종료
커리큘럼 실험 병렬 환경	64,000
하드웨어	22-DoF Sharpa Wave 손, RealSense D435
실기 자세 추정	FoundationPose(RGB-D + 알려진 메시), 보정된 카메라-손 변환으로 손바닥 프레임 변환, 20 Hz 폐루프

시뮬과 실기는 같은 관측·행동 인터페이스를 쓰고, actor에는 배포 가능한 고유수용 감각과 시각 추정만 들어간다. 실기 자세 추정기는 FoundationPose(arXiv:2312.08230)로, 알려진 메시를 전제로 한다. 논문에는 GPU 종류·학습 시간·PPO 하이퍼파라미터(학습률·배치 등)·시드 수(Table III 제외)가 없다(PDF 전수 grep으로 부재 확인).

저자들은 실험의 역할을 명확히 나눈다. 시뮬은 세 설계 선택(초기화·커리큘럼·파지 보상)에 대한 통제된 정량 근거를, 실기는 형상·손목 자세·외란 회복·연속 운용이라는 시스템 수준 능력을 보여주는 용도다.

B-1. 초기 파지에 대한 일반화 (Sec. V-B.1)

비교 대상인 narrow 변형은 하나의 파지 seed에서 관절 상태와 물체 자세만 섭동해 리셋 캐시를 만든다. 두 캐시 모두 6,842개 안정 리셋 상태로 크기가 같고, 다른 것은 리셋 상태 분포뿐이다. 실험 설계로서 깔끔하다.

평가	Narrow	Diverse
미지 파지, 첫 목표 성공(30 mm/180° 목표)	40.1%	51.5%
미지 파지, 에피소드당 완료 목표	0.69	1.00
낙하 후 회복, 첫 목표 성공(720 trial)	33.8%	72.9%
낙하 후 회복, 성공 trial 평균 소요	11.63 s	9.45 s

미지 초기 파지에 대한 diverse 정책의 첫 목표 성공률(Fig. 3). 구는 손바닥 프레임의 초기 물체 위치, 색은 성공률(0–100%). 30 mm/180° 목표 쌍으로 평가.

손바닥 프레임 각 축으로 주변화한 narrow vs diverse 첫 목표 성공률(Fig. 4). X는 손바닥 법선에 가깝고 Y, Z는 손바닥 평면 안에 있다. diverse가 모든 구간에서 높다.

Fig. 4를 그림에서 직접 읽으면 diverse는 X축 전 구간에서 약 48–55%로 평평하고, Y축에서는 중앙(0 mm)이 약 59%로 가장 높고 양 끝(±40 mm)으로 갈수록 떨어지며, Z축에서는 59 mm에서 약 24%로 가장 낮고 131 mm에서 약 64%까지 단조 증가한다(값은 그림 판독 근사). 저자들의 요약도 같다. 작은 Z와 Y 범위의 경계가 두 정책 모두에게 어렵고, X를 따라서는 성공률 변화가 적다. 중요한 관찰은 diverse가 모든 주변화 구간에서 높다는 것으로, 이득이 특정 영역이 아니라 작업공간 전반에 분포한다는 근거다.

같은 낙하 후 상태·같은 목표에서의 시뮬 회복 비교(Fig. 5). 위: diverse 정책이 접촉을 다시 만들고(Regrasp) 물체를 손바닥에서 들어 올려(Lifted) 목표에 도달. 아래: narrow 정책은 재파지를 시도하지만 멈춘다(Stalled).

회복 실험에서 diverse의 이득(+39.1%p)이 미지 파지(+11.4%p)보다 훨씬 크다. 낙하 후 손바닥에 누운 물체는 “확립된 파지가 없는” 상태라, 하나의 파지 주변만 본 narrow 정책에게는 가장 먼 분포 밖이기 때문이라고 읽을 수 있다. 다만 한 가지 짚어둘 점: diverse 캐시가 손바닥 근처나 접촉이 적은 상태를 실제로 포함했는지, 아니면 순수하게 다양성의 일반화 효과인지는 논문이 분리하지 않는다. 캐시의 분포(예: 접촉 수 히스토그램)가 공개되지 않았다.

B-2. 적응형 목표 커리큘럼 (Sec. V-B.2)

커리큘럼과, 학습 내내 목표 크기를 전 범위에서 균일 샘플링하는 변형을 비교한다. 각 학습은 64,000 병렬 환경, 같은 안정 파지에서 평가한다. 평가 세트는 두 가지다. 전 범위(회전 [5^\circ,180^\circ], 병진 [10,30] mm)와 최대 변화(180°·30 mm). strict는 표준 10°/10 mm, near는 완화된 20°/20 mm 기준이고, Goals/ep.는 리셋 전까지 strict로 완료한 목표 수다.

Training	Full: Strict	Full: Near	Full: Goals/ep.	Max: Strict	Max: Near	Max: Goals/ep.
Without curriculum	6.2%	18.8%	0.08	3.4%	13.9%	0.04
Curriculum	59.5%	77.0%	1.55	55.3%	72.8%	1.08

Table II. Hexagonal Prism에서의 커리큘럼 어블레이션(원문 Table II 전재). 세 실험 중 효과가 가장 극적이다. 커리큘럼 없이는 near 기준으로도 19%를 넘지 못한다. 즉 정책이 “조금 빗나가는” 수준이 아니라 6D 도달 자체를 거의 배우지 못한다. 앞서 계산한 회전 보상의 평탄함과 일관된다. 다만 비교 대상이 “커리큘럼 없음” 하나뿐이라, 이 특정 커리큘럼(분리 축, 0.6/0.3/0.1 비율, 0.4 문턱)이 다른 단순 스케줄(예: 고정 선형 증가)보다 나은지는 알 수 없다.

B-3. 파지 유지 보상 (Sec. V-B.3)

r^{\mathrm{grasp}}의 가중치만 0으로 바꾸고 나머지는 동일하게, 각 구성을 독립적으로 3회 학습했다. 두 정책이 모두 전 범위(30 mm/180°)에 도달한 뒤 같은 길이의 학습 구간에서 지표를 평균하고, 3회 실행의 평균과 표본 표준편차를 보고한다.

Metric	Without grasp reward	With grasp reward
Grasp-wrench quality Q	0.032 ± 0.002	0.045 ± 0.005
Minimum force margin	0.077 ± 0.003	0.107 ± 0.010
Minimum torque margin	0.036 ± 0.002	0.047 ± 0.004
Episode success rate (%)	53.7 ± 2.5	59.1 ± 2.5

Table III. 파지 유지 보상 어블레이션(원문 Table III 전재). 저자들은 품질 약 41%, 최소 힘 마진 39%, 최소 토크 마진 31% 상승, 성공률 +5.4%p로 요약한다. 표 값으로 다시 계산하면 0.045/0.032 = 1.41, 0.107/0.077 = 1.39, 0.047/0.036 = 1.31로 일치한다. 여기서 “Episode success rate”는 학습 중 에피소드 가운데 목표를 하나라도 도달한 비율이지 별도 평가 세트의 성공률이 아니다. 3 runs에 표준편차 2.5씩이라 성공률 차이(5.4%p)는 약 2σ 정도로, 품질 지표만큼 명확하지는 않다.

한 가지 해석상 의문이 남는다. Q^\star는 [0.08, 0.35]로 클립되는데, Table III의 학습 구간 평균 Q는 0.032–0.045로 그 하한보다 작다. 이 숫자들이 같은 척도라면, 학습 중 대부분의 스텝에서 Q_t<Q^\star이어서 r^{\mathrm{grasp}}가 최댓값 1보다 꽤 낮은 상태로 작동한다는 뜻이 된다(예: Q^\star=0.08, Q_t=0.045이면 1-(0.4375)^2\approx0.81, 리뷰어 계산). 논문은 Table III의 Q가 Eq. (8)과 정확히 같은 양인지(예: 비접촉 스텝 포함 여부)를 밝히지 않으므로 단정할 수는 없다. 재현하려는 독자라면 확인이 필요한 지점이다.

C. 실기 능력 평가 (Sec. V-C)

형상에 걸친 도달. Cube·Hexagonal Prism·Square Bifrustum은 학습한 세 형상 계열의 물체로, 9개 형상-크기 조합을 함께 학습한 하나의 정책을 공유한다. 대칭성과 표면 구조가 다르지만 크기는 비슷하다. Hammer(215 × 50 × 33.6 mm)는 종횡비·모멘트 암·병진 작업공간이 훨씬 커서 병진 커리큘럼을 최대 100 mm로 늘렸다(회전은 180° 그대로).

6D 자세 도달 성공 후의 대표 스냅샷(Fig. 6). Hexagonal Prism, Cube, Square Bifrustum, Hammer. 청록 외곽선은 명령 자세, 좌표축은 현재와 목표 자세.

연속 랜덤 목표 도달: 물체별로 실행 가능 작업공간에서 6D 목표를 랜덤 샘플링하고, 머무름 시간 동안 허용오차 안에 들면 리셋 없이 다음 목표를 낸다. 각 rollout에서 최소 5개 연속 목표를 리셋 없이 달성했다고 보고한다.
사용자 지정 목표: Hexagonal Prism은 서로 다른 면을 위로 향하게 하는 4개 목표(변화량 최대 35 mm·100°), Hammer는 주축 방향을 크게 바꾸는 7개 목표(최대 93 mm·180°)를 따랐다. 목표당 평균 도달 시간은 각각 3.0 s, 2.7 s다(Fig. 1이 이 시퀀스).

손목 자세 변화 (Sec. V-C.2). 같은 정책을 세 가지 고정 손목 자세에서 배포했다. 손바닥 프레임의 중력 방향이 바뀌고, 손바닥이 주는 수동적 지지도 줄어든다.

중력 방향이 다른 세 손목 자세에서의 실기 도달(Fig. 8).

손목 자세(Fig. 8, 왼→오)	리셋 없이 연속 완료 목표	평균 도달 시간
1	7	5.1 s
2	5	5.5 s
3	6	7.1 s

세 조건에서 목표별 최소 오차 평균은 위치 5.3–7.4 mm, 방향 3.2°–4.4°(온라인 자세 추정 기준)다. 학습에서 손목 방향을 전 범위 랜덤화하고(Table I) actor에 중력 방향을 넣은 설계가 여기서 쓰인다. 다만 각 조건이 대표 rollout 하나라 성공률은 아니다. 프로젝트 페이지는 실기 Vertical·Side·Front와 시뮬의 Side left/right, Fingers down, Palm down 영상을 따로 보여준다.

외란으로부터의 폐루프 회복 (Sec. V-C.3). 목표 도달 후 실험자가 목표는 그대로 둔 채 두 번 섭동한다. 첫 번째는 주로 방향을 바꾸고, 두 번째는 더 큰 변위와 접촉 배치 변화를 일으킨다. 두 경우 모두 정책은 갱신된 시각 자세 추정에 반응해 접촉을 재구성하고 명령 자세로 돌아온다.

하드웨어에서 연속된 두 외란으로부터의 폐루프 회복(Fig. 7). Reached → Perturbed(방향 섭동) → Recovered → Displaced(접촉이 바뀌는 큰 변위) → Recovered.

외란 회복 실기 영상(프로젝트 페이지 “Recovery from External Disturbances”, main view).

하드웨어 파지 보상 어블레이션 (Sec. V-C.4). 이 논문에서 유일한 실기 정량 비교다. Sec. V-B.3의 두 정책을 10 trial씩 배포했다. 같은 파지에서 출발해 같은 3개 목표 시퀀스를 리셋 없이 시도하고, 셋 모두 완료하면 시퀀스 성공이다. 도달 시간과 정상상태 오차는 도달한 목표들에 대한 중앙값이고, 오차는 마지막 20 정책 스텝의 평균이다.

Metric	Without grasp reward	With grasp reward
Complete sequences	2/10	8/10
Planned targets completed	8/30	27/30
Mean targets reached	0.8	2.7
Reach time (s)	6.8	4.9
Position error (mm)	4.8	6.4
Orientation error (°)	4.7	5.9

Table IV. 파지 보상 유무에 따른 실기 도달 성공(원문 Table IV 전재). 저자 서술대로 보상은 시퀀스 성공을 2/10 → 8/10, 목표 성공을 26.7% → 90.0%로 올렸다. 보상이 없으면 점진적인 접촉 상실이 낙하로 이어지고, 보상이 있으면 다지 접촉이 더 분산돼 유지됐다고 한다.

With grasp-maintenance reward

Without grasp-maintenance reward

파지 유지 보상 어블레이션 실기 영상(프로젝트 페이지 “Grasp-Maintenance Reward Ablation”, main view).

표를 정확히 읽으면 두 가지를 덧붙여야 한다. 첫째, 위치·방향 오차는 보상이 있는 쪽이 더 크다(4.8 → 6.4 mm, 4.7 → 5.9°). 원문 표는 “With” 열 전체를 굵게 표시했지만 오차는 낮을수록 좋은 지표다. 본문은 이를 “comparable pose accuracy”라고 표현했는데, 둘 다 10 mm/10° 허용오차 안이니 그 표현이 틀린 것은 아니다. 다만 파지 품질과 정밀도 사이의 작은 trade-off일 가능성은 열어 둘 만하다. 둘째, 오차와 도달 시간은 도달한 목표에 대한 중앙값이라 표본 크기가 8개 대 27개로 다르다. 보상이 없는 쪽은 쉬운 목표만 살아남았을 수 있다(생존 편향). 또 이 실험이 어떤 물체로 수행됐는지 본문에 명시돼 있지 않다.

비판적으로 보면

강점

문제 정의가 정확하고 쓸모 있다. “손바닥 기준 \mathrm{SE}(3) 목표 + 리셋 없는 연속 도달”은 회전·평행이동 연구를 하나로 묶는 깔끔한 일반화이고, 상위 계획기가 호출할 수 있는 원시 기술(primitive)의 인터페이스로 바로 쓰인다. 사용자 지정 목표 시퀀스(Hammer 7개 목표)가 그 가능성을 보여준다.
어블레이션이 통제된 쌍 비교다. 초기화 실험은 캐시 크기를 6,842로 같게 맞췄고, 파지 보상 실험은 가중치 하나만 0으로 바꿔 3회씩 학습했으며, 회복 실험은 같은 720 trial을 썼다. “무엇이 효과를 냈는가”를 분리하려는 설계 의도가 분명하다.
파지 유지를 보상으로 만든 방식이 신중하다. 마찰콘 광선 기반 양방향 마진, soft-min, 힘 포화로 “세게 쥐기” 해킹 차단, 절대 문턱 대신 리셋 대비 상대 하락 페널티. 각 선택에 이유가 붙어 있고, 마지막 선택은 물체·파지마다 달성 가능 품질이 다르다는 현실을 반영한다.
시뮬과 실기에서 같은 방향의 효과를 보였다. 파지 보상은 시뮬 품질 지표(Table III)와 실기 시퀀스 성공(Table IV) 양쪽에서 같은 방향으로 작동했다. 시뮬 효과가 실기에서도 유지된다는 것을 보여준 드문 사례다.
관측 노이즈를 진지하게 다뤘다. 자세 노이즈 10 mm/5°, 지연 0–150 ms, 3% 드롭아웃은 FoundationPose 같은 외부 추정기에 의존하는 시스템에서 현실적인 설정이다.

약점·한계

외부 베이스라인이 없다. 모든 비교가 자기 방법의 변형끼리다. 가장 가까운 선행 연구로 Plappert et al.과 Charlesworth & Montana를 들면서도 그 환경이나 방법과의 비교는 없다. 회전 전용 정책과의 비교(예: 회전만 요구되는 목표에서의 성능)도 없어서, 6D 정식화가 회전 성능을 희생하는지 알 수 없다.
실기 정량 근거가 얇다. 실기 정량 표는 Table IV 하나(10 trial × 2 조건, 3-목표 시퀀스, 물체 미명시)다. 형상 4종·손목 자세 3종·외란 회복은 대표 rollout으로만 제시되고 성공률이 없다. “최소 5개 연속 목표”는 시도 횟수 대비 비율이 아니다. 시스템 능력을 “보여준다”는 저자의 실험 목적 설정과는 일치하지만, 일반화 주장의 근거로는 약하다.
“General 6D poses”의 범위. 기본 병진 한계는 30 mm(Hammer만 100 mm)이고 목표는 손바닥 작업공간 안으로 제한된다. 회전은 180°까지 열려 있으니 방향으로는 일반적이지만, 위치로는 손바닥 위의 작은 영역이다. 제목의 “general”은 이 범위로 한정해 읽어야 한다.
배포 시 물체 메시가 필요하다. FoundationPose는 알려진 메시를 요구하고, BPS 기술자도 정준 프레임의 물체 표면에서 계산된다. 즉 처음 보는 물체에 대한 일반화는 평가되지 않았다. 실기 4개 물체 중 3개는 학습한 형상 계열이고, Hammer는 전용 커리큘럼 설정(100 mm)을 받았다. 저자들도 향후 과제로 온라인 점군 관측(observation distillation)을 든다.
시뮬 어블레이션의 통계 정보가 고르지 않다. Table III만 3 runs·표준편차를 보고하고, 초기화(Sec. V-B.1)와 커리큘럼(Table II) 실험은 seed 수와 분산이 없다. 미지 파지 평가의 trial 수도 명시되지 않았다(회복은 720 trial로 명시). 커리큘럼 효과(6.2% → 59.5%)는 크기 자체로 납득되지만, 초기화의 +11.4%p는 분산 정보 없이 판단하기 어렵다.
재현 정보 부족. GPU·학습 시간·PPO 하이퍼파라미터·행동 스케일 s_a·BPS 질의점 배치·자세 confidence 산출 방식이 없고, 코드도 아직 공개되지 않았다(“Coming soon”). 8쪽 letter 포맷의 한계이기도 하지만, 보상 계수까지 꼼꼼히 적은 것과 대조적이다.
저자가 인정한 한계. (a) 목표 물체 자세만 지정하고 원하는 손·접촉 배치는 지정하지 않으므로 효과적이지만 부자연스러운 손 자세를 쓸 수 있다. (b) 실기 성능은 불완전한 접촉 모델링과 6D 자세 추적 오차 때문에 여전히 시뮬에 못 미친다. 향후 방향으로 온라인 점군 관측 증류, 촉각 피드백, 잔차 동역학 학습 같은 실기 적응을 제시한다.
하드웨어·소속 관계. 실기 손 Sharpa Wave는 1저자·공저자 소속 회사(Sharpa)의 제품이다. 그 자체로 문제는 아니지만, 다른 손(예: Allegro·LEAP)에서의 일반성은 보이지 않았다.

요약

POISE는 손 안 조작을 “손바닥 기준 \mathrm{SE}(3) 목표로의 연속 도달”로 정식화하고, 이를 PPO로 푸는 레시피를 세 개의 통제 실험으로 분해했다. 다양한 물리 검증 파지 초기화는 미지 파지(40.1% → 51.5%)와 특히 낙하 후 회복(33.8% → 72.9%)을 개선했고, 회전·병진 분리 커리큘럼은 학습 자체를 가능하게 했으며(6.2% → 59.5%), 마찰콘 렌치 마진 soft-min 기반 파지 유지 보상은 스텝당 최대 0.05라는 작은 크기로도 실기 시퀀스 성공을 2/10에서 8/10으로 끌어올렸다.

한계도 분명하다. 외부 베이스라인이 없고, 실기 정량 평가는 10 trial짜리 표 하나이며, 병진 범위가 30 mm 수준이고, 배포에 물체 메시가 필요해 미지 물체 일반화는 다루지 않았다. 실기 표에서 파지 보상이 정밀도를 약간 낮춘 것처럼 보이는 점도 짚어 둘 만하다. 그래도 “도달한 뒤에도 계속 쓸 수 있는 파지”를 학습 목표로 명시한 것은 손 안 조작을 상위 작업의 원시 기술로 쓰려는 방향에서 올바른 질문이다. 코드가 공개되면 보상 계수까지 적힌 이 레시피가 비교 기준으로 쓰이기 좋을 것이다.