📃PTLD 리뷰

PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation

• Paper Link (arXiv:2603.04531)

• Project

• Video (YouTube)

• Rosy Chen, Mustafa Mukadam, Michael Kaess, Tingfan Wu, Francois R. Hogan, Jitendra Malik, Akash Sharma

• Carnegie Mellon University · University of Washington · FAIR at Meta · UC Berkeley, arXiv preprint (cs.RO), 2026 (v3)

1. 💡 tactile 센서는 시뮬레이션하기 어렵고 sim-to-real gap도 크다. PTLD는 tactile을 아예 시뮬레이션하지 않는다. 대신 시뮬레이션에서 물체 pose를 “privileged sensor”로 쓰는 policy를 RL로 학습하고, 그 policy를 카메라로 물체 pose를 재는 instrumented cell에서 실제로 돌려 tactile 신호와 policy latent의 쌍을 모은다.
2. ⚙️ 시뮬레이션 단계는 Asymmetric Actor-Critic(AAC)에 actor encoder가 critic encoder의 latent를 따라가게 하는 online latent distillation 항을 더한 한 단계 학습이다. 실기 단계에서는 tactile encoder가 privileged sensor policy의 latent를 MSE로 회귀하고, DAgger로 3라운드(회전 과제 기준 약 180분) 데이터를 모은다. 배포 때는 pose 추적 없이 tactile+proprioception만 쓴다.
3. 🎯 Allegro+Xela(368 taxel) 실기에서 z축 in-hand rotation의 total rotation이 최강 proprioception 베이스라인 대비 초록 기준 +182%(그림에서 읽으면 시계 방향 ≈47 vs ≈17 rad이고, 반시계 방향은 ≈64 vs ≈43 rad로 약 +48%), in-hand reorientation의 도달 목표 수가 proprioception 대비 +57%(3.3 vs 2.1개, 10회)였다. 다만 reorientation 차이는 표의 표준편차로 보면 통계적으로 약하고, cube 실험의 “학생이 교사를 넘었다”는 문장은 같은 절의 Table 3과 맞지 않는다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

다지 로봇 손에서 tactile 피드백을 쓰는 policy를 만들고 싶을 때 선택지는 둘이다. 사람 시연으로 imitation learning을 하거나, 시뮬레이션에서 RL로 배운 뒤 실기로 옮기는 것이다. 다지 손은 teleoperation·kinesthetic teaching이 어렵고, RL 쪽은 tactile 센서를 빠르고 사실적으로 시뮬레이션하기 어렵다. 그래서 기존 sim-to-real tactile 연구는 single-point나 binary contact 같은 단순화된 접촉 모델을 쓰거나, 아예 proprioception만 쓰는 blind policy에 머물렀다.

PTLD는 “tactile을 시뮬레이션하지 않고 tactile policy를 얻는다”는 쪽을 택한다. 핵심은 sim-to-real의 다리를 tactile이 아니라 물체 pose에 놓는 것이다. 물체 pose와 shape는 시뮬레이션과 실제의 차이가 작다. 실험실이라면 여러 대의 카메라와 marker로 실제로도 잴 수 있다. 그래서 pose를 입력으로 받는 policy를 시뮬레이션에서 학습하고, 그 policy를 계측된 실험 셀에서 그대로 돌린다. 돌리는 동안 손에 붙은 tactile 센서 신호와 policy 내부의 latent를 함께 기록하고, tactile encoder가 그 latent를 복원하도록 지도학습한다. 배포할 때는 카메라와 marker를 치우고 tactile encoder가 pose encoder 자리를 대신한다. 저자들은 이 대가로 “zero-shot sim-to-real” 가정을 포기한다고 명시한다.

PTLD 개요(Fig. 1). 왼쪽: 시뮬레이션에서 privileged sensor policy 학습(z축 in-hand rotation, in-hand reorientation). 가운데: 카메라와 marker로 물체 pose를 재는 instrumented cell에서 tactile 시연 수집(“object pose as privileged sensor”). 오른쪽: tactile+proprioception만으로 동작하는 실기 policy.

저자 walkthrough 영상(YouTube, 프로젝트 페이지 게시본).

핵심 방법론:

정책은 encoder \mathbf{E}와 policy \pi로 나뉜다. A_t \sim \pi(\mathbf{E}(X_{t-k+1:t}), A_{t-k:t-1}). 시뮬레이션 단계는 AAC로 한 번에 학습하되, actor encoder가 critic(privileged) encoder의 latent를 따라가도록 stop-gradient 회귀 항을 붙인다(§4.1).

\mathcal{L}_{\text{latent}} \triangleq \left\lVert \mathbf{E}(\mathcal{X}^{\text{sensor}}) - \mathrm{sg}\big(\hat{\mathbf{E}}(\mathcal{X}^{\text{priv}})\big) \right\rVert, \qquad \mathcal{L} = \mathcal{L}^{\text{CLIP}}_{\pi}(\mathbf{E},\pi) + c_V\mathcal{L}_V(\hat{\mathbf{E}},V) + \mathcal{L}_{\text{entropy}} + c_{\text{latent}}\mathcal{L}_{\text{latent}}

여기서 actor가 받는 \mathcal{X}^{\text{sensor}}에는 proprioception과 함께 noisy object pose·shape가 들어간다. 이 actor가 “privileged sensor policy”다. 실기 단계(§4.2)에서는 이 policy를 instrumented cell에서 돌려 얻은 latent z_t를 정답으로 tactile encoder \mathbf{E}_{\text{tac}}를 학습한다.

\mathcal{L}_{\text{tac}} \triangleq \lVert z_{\text{tac}} - z_t \rVert \quad (\text{본문은 MSE로 지도한다고 서술})

데이터 분포 이동을 줄이려고 DAgger를 쓴다. 중간 tactile encoder로 policy를 돌려 데이터를 모으고, 그 데이터에도 privileged sensor 쪽 latent를 정답으로 붙여 합친 뒤 다시 학습한다.

주요 결과:

• 시뮬레이션(Table 1): pose를 더하면 z축 rotation reward가 RMA 139.0→153.1, AAC 141.9→168.6으로 오른다. 같은 입력에서 AAC와 RMA의 차이(141.9 vs 139.0)는 pose 추가 효과보다 훨씬 작다.
• 실기 in-hand rotation(Fig. 6, 10회): PTLD가 total rotation과 Time to Fall에서 5개 방법 중 1위다. 시계 방향 total rotation은 그림에서 읽으면 ≈47 rad로, 다음인 AAC proprioception ≈17 rad의 약 2.8배다(초록의 +182%와 맞는 쌍). 반시계 방향은 ≈64 vs ≈43 rad다. 반시계 방향 vertical drift는 RMA(≈0.9 cm)가 PTLD(≈4.3 cm)보다 낮다.
• Cube rotation(Table 3): tactile 학생 RotR 4.5 vs proprioception distillation 0.5. 같은 표에서 FoundationPose를 쓰는 privileged sensor 교사(AAC)의 RotR은 17.3이다.
• 상태 추정(Table 2): latent에서 물체 자세를 decoder로 복원하면 상대 자세 오차가 proprioception 0.95 → tactile 0.26 rad.
• in-hand reorientation(Table 4, 10회): 도달 목표 수 3.3±1.55 vs 2.1±2.14, TTF 13.42 vs 10.99 s.

결론:

PTLD의 새로움은 “tactile 시뮬레이터를 더 잘 만든다”가 아니라 “시뮬레이션과 현실이 공유하기 쉬운 중간 관측(pose)을 interface로 삼고, 시뮬레이션하기 어려운 감각(tactile)은 현실에서만 배운다”는 역할 분담이다. 초기 실험 비용(카메라 셀, 수 시간의 실기 롤아웃)을 내고 배포 시 외부 센서를 없앤다. 실기 회전 결과는 뚜렷하지만, 헤드라인 수치가 한 방향(시계 방향)의 최선 비교이고, 교사의 실기 성능이 원통 실험에는 없으며, reorientation 개선은 10회 실험의 분산 안에 있다는 점은 읽을 때 감안해야 한다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

PTLD는 privileged latent distillation(Learning by Cheating, RMA 계열)의 “교사”를 시뮬레이션 밖으로 꺼낸다. 보통은 시뮬레이션 안에서 privileged state를 보는 교사를 sensor 관측만 보는 학생으로 증류한다. PTLD는 교사가 보는 privileged 정보 중 현실에서도 잴 수 있는 것(물체 pose)만 남겨 교사를 실기에서 돌릴 수 있게 만들고, 학생 증류를 현실에서 한다. 학생의 입력이 시뮬레이션하기 어려운 tactile이어도 상관없다. 학생은 시뮬레이터를 한 번도 보지 않기 때문이다. 저자 표현으로는 “sim-to-real transfer를 시뮬레이션과 현실이 공유하는 latent space 찾기로 본다”(§1).

배경: tactile policy를 시뮬레이션에서 배우기 어려운 이유 (§1·§2)

저자들은 두 문제를 든다(§1).

1. tactile 센서를 정확히 시뮬레이션하기 어렵다. 기존 연구는 single-point contact(RotateIt)나 binary contact(tactile skin 기반 in-hand translation) 같은 단순 모델을 쓰고, 이는 실제 센서가 주는 힘·기하 정보를 담지 못한다. TACTO, TacSL 같은 시뮬레이션 패키지는 모든 센서에 표준화돼 있지 않고 주로 rigid-body 시뮬레이션에 기댄다.
2. tactile의 sim-to-real gap이 크다. 실제 접촉 역학, 센서 hysteresis, 표면 특성을 재현하기 어렵다.

이 블로그의 기존 리뷰와 연결해 보면 문제의 모양이 분명하다. AnyRotate와 Rotating without Seeing은 tactile을 단순화된 접촉 신호로 시뮬레이션해 sim-to-real을 했고, TactileLab은 shear까지 내는 시뮬레이터를 직접 만드는 쪽으로 갔다. PTLD는 세 번째 길이다. 시뮬레이터를 개선하지 않고 시뮬레이션 경로에서 tactile을 빼 버린다.

관련 연구 절(§2)은 다른 축도 하나 세운다. 실제 데이터로 RL policy에 tactile을 붙이는 tactile adaptation(저자 그룹의 Sparsh-X / Tactile Beyond Pixels, Spin pens)은 “proprioception 교사의 성능 상한에 묶이고 단순한 rejection sampling에 기댄다”고 비판한다. PTLD의 교사는 proprioception이 아니라 pose를 본다. 그래서 상한 자체가 더 높다는 것이 저자들의 논리다.

방법 상세 1: privileged latent distillation과 AAC (§3)

Fig. 2. 왼쪽: 두 단계 privileged latent distillation(RMA). Stage 1에서 mass·COM·friction·pose·motor strength를 보는 privileged encoder \hat{\mathbf{E}}와 policy를 학습하고, Stage 2에서 policy를 고정(Copy)한 채 adaptation module \mathbf{E}가 \hat z_t를 회귀한다. 오른쪽: AAC. critic은 privileged encoder를, actor는 adaptation module을 쓰고, 둘을 동시에 학습하면서 online latent distillation \lVert \mathrm{sg}(z_t) - \hat z_t\rVert를 건다.

논문은 과제를 유한 horizon POMDP \mathcal{M}\triangleq(\mathcal{S},\mathcal{A},\mathcal{X},\mathcal{P},\mathcal{R})로 두고, 보상은 \mathcal{R}_t:\mathcal{S}_t\times\mathcal{A}_t\to[0,1]로 정의한다. 정책은 관측 이력과 이전 행동을 받는다.

Privileged latent distillation (§3.1). 1단계에서 privileged 관측 \mathcal{X}^{\text{priv}}를 보는 oracle을 PPO로 학습하고, 2단계에서 sensor 관측 이력만 보는 학생을 action 또는 latent 모방으로 학습한다.

\mathcal{L}_{\text{action}} = \lVert \hat\pi(\hat{\mathbf{E}}(\mathcal{X}^{\text{priv}}),\mathcal{A}) - \pi(\mathbf{E}(\mathcal{X}^{\text{sensor}}),\mathcal{A}) \rVert,\qquad \mathcal{L}_{\text{latent}} = \lVert \hat{\mathbf{E}}(\mathcal{X}^{\text{priv}}) - \mathbf{E}(\mathcal{X}^{\text{sensor}}) \rVert

저자들이 강조하는 점은 경험을 학생이 모은다는 것이다. 정답은 교사 encoder가 주지만 상태 분포는 학생의 것이므로 이는 on-policy DAgger 변형이다. 이 성질이 뒤에서 실기 증류에 DAgger를 쓰는 이유로 그대로 이어진다.

AAC (§3.2). critic은 privileged state를, actor는 sensor 관측만 받는다. 한 번의 RL로 끝나므로 두 단계가 필요 없다.

방법 상세 2: online latent distillation (§4.1)

AAC만 쓰면 actor encoder가 critic 쪽 privileged 정보를 복원하라는 신호를 직접 받지 않는다. 저자들은 BYOL·data2vec 같은 self-distillation에서 착안해 actor encoder latent가 critic encoder latent를 따라가게 한다(식 1). stop-gradient가 critic 쪽에 걸려 있으므로 privileged encoder \hat{\mathbf{E}}는 value loss로만 학습되고, actor encoder만 그쪽으로 당겨진다. 즉 actor가 복원하려는 표현은 “value를 예측하는 데 쓸모 있는 privileged 정보”다.

전체 loss는 PPO clip loss + value loss + entropy에 c_{\text{latent}}\mathcal{L}_{\text{latent}}를 더한 것이다(식 2·3). c_{\text{latent}} 값, norm의 종류(제곱 여부), PPO 하이퍼파라미터, 네트워크 크기는 본문과 부록 어디에도 없다.

이 기여의 근거는 Fig. 5(b) 한 장이다(아래 실험 1). arXiv v1·v2에는 Table에 “AAC (no distillation) + Pose” 행(RotR 161.48 / TTF 0.85 / RotP 29.74)이 있었는데 v3에서는 빠졌다. 그 행을 살리면 online latent distillation의 시뮬레이션 기여는 RotR 161.48 → 168.58(약 +4.4%, 필자 계산)이다.

방법 상세 3: privileged sensor로 sim-to-real 다리 놓기 (§4.2)

PTLD 실기 단계(Fig. 3). 1) instrumented cell에서 privileged sensor policy(입력: proprioception, noisy object pose, noisy object shape)를 돌려 시연을 모은다. 2) offline dataset으로 tactile encoder \mathbf{E}_{\text{tac}}가 policy latent z_t를 회귀한다(\mathcal{L}_{\text{tac}}\triangleq\lVert z_{tac}-z_t\rVert). 배포 때는 \mathbf{E}_{\text{tac}}가 adaptation module 자리를 대신한다.

§4.2의 논리는 세 문장으로 요약된다.

1. pose·shape 같은 privileged sensor를 actor에 주면 proprioception만 주는 경우보다 시뮬레이션 성능이 크게 오른다.
2. 기존 연구는 zero-shot 배포를 위해 그 성능을 포기하고 proprioception policy를 썼다.
3. PTLD는 실험 셀에 카메라와 marker를 달아 (noisy) object pose \mathbf{T}^W_t\in SE(3)를 실제 privileged sensor로 만들고, 그 policy를 실기에서 돌려 latent와 tactile 관측의 쌍을 기록한다.

학습된 tactile encoder는 tactile과 proprioception을 받아 privileged sensor policy의 latent를 MSE로 맞춘다. offline 증류는 분포 이동을 겪으므로 DAgger로 중간 tactile encoder가 모은 경험을 합쳐 반복 학습한다. 배포 때는 privileged sensor 정보를 하나도 쓰지 않는다.

여기서 짚어 둘 구조적 사실이 있다. policy 본체 \pi는 시뮬레이션에서 학습된 그대로 고정되고, 실기에서 학습되는 것은 encoder뿐이다. 따라서 PTLD 학생의 행동은 “교사의 행동 공간”을 넘을 수 없고, 학생이 잘 하려면 tactile latent가 교사 latent를 얼마나 잘 흉내 내느냐에 달린다. 저자들이 한계 절에서 “information overlap”을 첫 번째로 든 이유가 이것이다.

시스템과 과제 (§5, 부록 A–D)

하드웨어와 데이터. 부록에서 확인되는 값을 모으면 다음과 같다.

항목	값	출처
손 / 팔	Allegro hand, Franka Panda	부록 A.1
tactile	Xela uSkin 패드 18개, 총 368 taxel, 3축 raw 측정값(처리된 force 값은 hysteresis·지연이 커서 안 씀), 접촉 없는 baseline 2분 측정 후 차감	부록 A.1
tactile 주기·이력	100 Hz, 0.5 s 이력(회전 encoder)	§5.1
privileged sensor	RealSense D435i/D435 4대, 물체에 붙인 Aruco marker, multi-view pose를 GTSAM 기반 Pose Graph Optimization으로 정제, 물체 shape는 알려진 것으로 가정	부록 A.1
cube 실험의 pose	FoundationPose(markerless)	§6.2
시뮬레이터	IsaacGym	부록 A.2
tactile encoder 학습	지도학습, AdamW, lr 1e-4	부록 A.2
배포 주기	약 20 Hz(ROS2)	부록 A.2
회전 실기 데이터	DAgger 라운드당 2분 궤적 30개, 3라운드 → tactile policy당 약 180분	부록 C.2
물체	원통 4개(반지름 30 / 31.75×2 / 33.4 mm, 높이 70 / 178×2 / 200 mm), 사각 병 2개(한 변 54·60 mm), 3D 프린트 cube 2개(64·80 mm), 질량 22–90 g, 9 g 너트로 18·36 g 추가	부록 C.1

데이터 수집과 평가에 쓴 물체(Fig. 8). 원통형 병, 사각 병, cube 2개, 무게 추가용 너트.

과제 I: z축 in-hand rotation (§5.1). 물체를 손끝으로 쥔 채 z축으로 계속 돌리는 과제이고, 상태·관측·보상은 Hora(Qi et al., In-Hand Object Rotation via Rapid Motor Adaptation)를 따른다고만 적혀 있다. tactile encoder 입력은 tactile 관측 X^{\text{tactile}}\in\mathbb{R}^{368\times3}와 관절각에서 forward kinematics로 계산한 taxel 위치 X^{\text{sensor\_pos}}\in\mathbb{R}^{368\times3}를 붙인 \mathbb{R}^{368\times6}이다. 구조는 MLP → 1D temporal convolution → MLP다.

과제 II: in-hand reorientation (§5.2). 물체 자세를 목표 \mathbf{R}^{\text{goal}}_t에 가깝게 맞추는 과제이고, 목표에 도달하면 에피소드 안에서 새 목표를 다시 뽑는다. 카메라가 위쪽에 있어서 목표는 z축에서 40° 이내의 위쪽 반구에서 뽑는다. actor 입력은 관절 상태 q_t\in\mathbb{R}^{16}, 이전 목표 \tilde q_t\in\mathbb{R}^{16}, noisy object pose, 목표 자세(6D 표현), 목표와의 상대 자세이고, 30스텝(20 Hz에서 약 1.5 s) frame stacking을 쓴다. privileged encoder는 물체 속도와 손끝 상태(pose·속도)를 더 받는다. 저자들은 “현재 물체 자세를 주는 것이 policy 성공에 essential했다”고 쓴다. 이 과제의 tactile encoder는 causal Transformer다. tactile, proprioception(\mathbb{R}^{32}), 목표 자세, 이전 latent z_t\in\mathbb{R}^8를 각각 2층 MLP로 embedding해 이어 붙이고, 다음 latent z_{t+1}을 autoregressive하게 예측한다.

Tactile encoder(Fig. 4). (a) 회전: taxel 위치와 tactile 신호를 붙여 MLP–temporal convolution–MLP로 latent를 낸다. (b) reorientation: tactile·proprioception·목표 자세·이전 latent를 embedding해 Transformer decoder가 다음 latent를 예측한다.

reorientation 보상 (부록 D, Table 5·6). 보상은 목표 도달 항과 손가락 gait를 자연스럽게 만드는 항, 동작·에너지 페널티로 이뤄진다.

항	정의	scale
r_{\text{goal}}	1/(d(\mathbf{R}^{\text{object}}_t,\mathbf{R}^{\text{goal}}_t)+\epsilon)	2.0
r_{\text{success}}	d\le\delta이면 1	5.0
r_{\text{streak}}	N_{\text{success}}/N_{\text{max\_success}}	2.0
r_{\text{contact}}	\sum_i (C_i>\delta_{\text{contact}})	0.1
r_{\text{position}}	\lVert p_t-p_0\rVert	0.05
r_{\text{finger\_pose}}	\lVert q_t-q_0\rVert	−1.0
r_{\text{fingertip\_object}}	\sum_i\lVert p_{\text{fingertip}_i}-p_t\rVert	−0.2
r_{\text{angular\_velocity}} / r_{\text{object\_velocity}}	물체 각속도 / 선속도 크기	−0.05 / −1.0
r_{\text{acceleration}}, r_{\text{action}}, r_{\text{action\_rate}}	관절 가속도, 행동 크기, 행동 변화	−0.005, −0.005, −0.2
r_{\text{joint\_limit}}, r_{\text{torque}}, r_{\text{work}}	관절 한계 위반, \lVert\tau\rVert, \lVert\tau\cdot\Delta q\rVert	−0.1, −0.5, −4.0
r_{\text{timeout}}, r_{\text{alive}}	t\ge T, t-t_0	−1.0, −0.01

표를 그대로 읽으면 이상한 칸이 하나 있다. 본문은 “r_{\text{position}}이 물체를 가운데에 두도록 유도한다”고 쓰는데, 정의는 초기 위치에서 벗어난 거리 \lVert p_t-p_0\rVert이고 scale이 +0.05다. 그대로라면 물체가 초기 위치에서 멀어질수록 보상이 커진다. 부호 표기 실수일 가능성이 높지만 논문만으로는 확정할 수 없다. 또 r_{\text{goal}}의 \epsilon과 성공 판정 \delta의 실제 값은 아래 실험 5에서 보듯 문서 안에서 엇갈린다.

직관: 정보의 세 계단

PTLD를 가장 쉽게 이해하는 방법은 관측을 세 층으로 나눠 보는 것이다.

층	무엇을 보나	어디서 얻나	누가 쓰나
privileged state	mass, COM, friction, motor strength, 물체 속도, 손끝 상태	시뮬레이션에서만	critic encoder \hat{\mathbf{E}}
privileged sensor	proprioception + noisy object pose·shape	시뮬레이션 + 계측된 실험 셀	actor(교사) encoder \mathbf{E}
deployment sensor	proprioception + tactile	현실에서만(시뮬레이션 안 함)	tactile encoder \mathbf{E}_{\text{tac}}

기존 privileged distillation은 1층에서 3층으로 한 번에 내려가려 했다. 이 경우 3층 관측을 시뮬레이터가 만들어 줘야 하고, tactile에서는 그게 어렵다. PTLD는 2층을 시뮬레이션과 현실 양쪽에 존재하는 계단참으로 만든다. 1→2는 시뮬레이션 안의 online latent distillation이 맡고, 2→3은 현실의 지도학습이 맡는다. 두 증류 모두 같은 latent 공간을 겨냥하므로, tactile encoder는 “pose 기반 policy가 생각하는 물체 상태”를 tactile로 다시 표현하는 법을 배운다.

이 그림에서 PTLD의 한계도 곧바로 보인다. 2→3 증류가 잘 되려면 tactile이 그 latent에 담긴 정보(대부분 물체 자세)를 복원할 수 있어야 한다. 반대로 tactile만 아는 정보(접촉력, 미끄러짐의 시작)는 교사 latent에 없으므로 학생이 그것을 행동에 반영할 통로는 encoder가 그 정보를 latent 오차를 줄이는 데 쓰는 경우뿐이다. 저자들이 한계에서 “tactile은 힘을 직접 재고, pose는 힘의 결과를 kinematic하게만 잰다”고 쓴 정보 비대칭이 이 지점이다.

실험 1: 시뮬레이션에서 privileged sensor의 효과 (§6.1)

Fig. 5. (a) RMA Stage 2 학습 중 episode reward: proprioception+pose(≈80)가 proprioception만(≈60)보다 높다(그림에서 읽은 값). (b) “Training best PPO rewards”: Stage 2(RMA) proprioception+pose가 초반에 빠르지만 1G step에서 ≈85, AAC+pose(online distillation)는 ≈129, AAC+pose(no distillation)는 ≈123.

Table 1 (시뮬레이션, 물리 특성 randomization 하의 z축 회전). 지표는 Hora의 것이다. RotR = rotation reward \omega\cdot k, TTF = Time to Fall, RotP = 원치 않는 회전 페널티.

방법	입력	RotR ↑	TTF ↑	RotP ↓
Oracle	(privileged state)	159.4	0.89	31.86
RMA	Proprioception	139.0	0.79	28.53
RMA	+ Pose	153.1	0.86	31.09
AAC	Proprioception	141.9	0.80	27.83
AAC	+ Pose	168.6	0.88	26.5
AAC (no distillation), v1·v2에만 있음	+ Pose	161.48	0.85	29.74

읽을 거리 네 가지.

• pose의 효과가 알고리즘 차이보다 크다. 같은 입력에서 AAC − RMA는 +2.9(proprio) / +15.5(pose)이고, 같은 알고리즘에서 pose 추가는 +14.1(RMA) / +26.7(AAC)이다(필자 계산). 표 캡션의 “AAC with latent supervision significantly outperforms existing benchmarks”는 proprioception 행끼리 보면 2% 차이다.
• AAC+Pose가 Oracle을 넘는다(168.6 > 159.4). Oracle은 모든 privileged state를 보는데도 그렇다. v1·v2의 no-distillation 행(161.48)도 Oracle보다 높다. 논문은 이 역전을 설명하지 않는다. 학습 길이·seed 차이일 수도 있고 encoder 구조 차이일 수도 있다.
• 분산이 없다. Table 1에는 ± 값도, 평가 episode 수도, seed 수도 없다. Fig. 5(b)는 단일 곡선이며 지표가 “best PPO reward”(그때까지의 최댓값)라서 학습 안정성을 보여 주지 않는다. online latent distillation의 기여(≈129 vs ≈123)는 이 단일 곡선의 끝점 차이다.
• TTF·RotP의 단위 표기가 판마다 다르다. v3 본문은 “TTF: Time to Fall (second)”, “RotP: … (cm)”라고 쓰지만 표의 TTF 값은 0.79–0.89다. v1·v2는 TTF를 “낙하 전까지 완료한 에피소드 비율”로 정의했다. 표 값과 맞는 쪽은 비율 정의다.

실험 2: 실기 in-hand rotation (§6.2)

베이스라인은 다섯 가지다.

방법	시뮬레이션 학습	실기 데이터로 학습	배포 입력	무엇을 분리하나
RMA proprioception (Hora)	두 단계 RMA	없음(zero-shot)	proprio	기존 표준
AAC proprioception	한 단계 AAC	없음(zero-shot)	proprio	알고리즘만 바꾼 zero-shot
Privileged distillation proprioception	AAC+pose 교사	PTLD와 같은 파이프라인, 학생 입력만 proprio	proprio	tactile의 기여
Tactile adaptation (Sparsh-skin 표현)	proprio-only 교사	실기 tactile adaptation	tactile+proprio	교사가 privileged sensor를 보는 것의 기여
PTLD	AAC+pose 교사	DAgger 3라운드, 약 180분	tactile+proprio

평가는 방법마다 10회, 지표는 Total Rotation(rad), Time to Fall(s, 최대 에피소드 120 s), Vertical Drift(cm)다.

실기 in-hand rotation 결과(Fig. 6 상단, 원래 한 줄인 그림을 두 줄로 재배치). 위 줄은 시계 방향, 아래 줄은 반시계 방향. 막대는 왼쪽부터 RMA proprioception, AAC proprioception, Privileged distillation proprioception, Tactile adaptation(Sparsh-Skin), PTLD. TTF 칸의 점선이 최대 에피소드 길이(120 s)다.

논문은 이 그림의 숫자를 표로 주지 않는다. 그림에서 막대 높이를 읽으면 다음과 같다(±1 단위 안팎의 판독 오차가 있다).

방법	시계 Rotation (rad)	시계 TTF (s)	시계 Drift (cm)	반시계 Rotation (rad)	반시계 TTF (s)	반시계 Drift (cm)
RMA proprio	≈7.6	≈24	≈4.4	≈11.4	≈38	≈0.9
AAC proprio	≈16.8	≈27	≈4.1	≈43.1	≈80	≈4.7
Priv. distill. proprio	≈5.2	≈36	≈5.4	≈15.0	≈22	≈5.5
Tactile adaptation	≈8.8	≈28	≈6.1	≈15.5	≈39	≈5.2
PTLD	≈46.8	≈113	≈1.6	≈63.8	≈98	≈4.3

초록의 +182%는 어디서 나오나. 논문 본문에는 182라는 숫자가 초록에만 있고 계산 근거가 없다. 프로젝트 페이지는 “proprioception only policy 대비”라고 쓴다. 위 판독값으로 계산하면 시계 방향 total rotation의 PTLD ÷ AAC proprio = 46.8 / 16.8 ≈ 2.79, 곧 +179%로 판독 오차 안에서 182%와 맞는다. 같은 비교를 반시계 방향에서 하면 63.8 / 43.1 ≈ +48%이고, 두 방향을 합치면 (46.8+63.8)/(16.8+43.1) ≈ +85%다(모두 필자 계산). 즉 헤드라인은 두 방향 중 PTLD에 유리한 쪽의 비교다. 최약 베이스라인(RMA) 대비로 잡으면 +500% 이상이 되므로 저자가 과장한 것은 아니지만, 한 방향의 값이라는 점은 초록에 없다.

TTF에는 천장이 있다. 최대 에피소드가 120 s인데 시계 방향 PTLD는 ≈113 s로 거의 붙어 있다. 대부분의 시행이 끝까지 버텼다는 뜻이고, 이 경우 TTF는 실제 차이를 과소평가한다. Fig. 6 하단 캡션이 말하는 “220 s 넘게 회전 유지”는 이 평가 프로토콜 밖의 정성 시연이다.

반시계 drift는 PTLD가 이기지 못한다. 본문은 RMA가 반시계 방향에서 drift가 낮은 것을 인정하면서 “대신 물체가 크게 기울고 축을 벗어나 회전한다”고 설명한다. 그런데 이 기울기는 지표로 보고되지 않는다. 시뮬레이션에서는 RotP로 off-axis 회전을 쟀는데 실기에서는 그 지표가 없다.

회복 행동(Fig. 6 하단 왼쪽). 위: PTLD. 17 s에 물체가 안정 높이 위로 밀려 올라가자 grip을 풀어 내려앉게 하고, 124 s에 떨어지려 하자 다시 밀어 올린다. 아래: proprioception distillation policy는 13 s에 물체를 떨어뜨린다.

프로젝트 페이지 영상(2배속). 왼쪽: 시뮬레이션에서 proprioception만으로 학습해 zero-shot 배포한 policy, 약 13 s에 낙하. 오른쪽: PTLD, 2분 넘게 회전하며 미끄러짐 때 gait를 바꾼다.

여기서 작은 불일치가 하나 있다. 프로젝트 페이지는 13 s에 떨어지는 왼쪽 영상을 “proprioception으로 시뮬레이션에서 학습해 zero-shot 배포한 policy”라고 설명하는데, 논문 Fig. 6 하단의 같은 13 s 낙하 장면은 “Proprioception Distillation Policy”(실기 데이터로 증류한 베이스라인)로 표기돼 있다. 두 베이스라인은 표에서 다른 막대다.

저자의 해석. 미끄러지거나 밀려 올라갈 때 물체 pose는 바뀌는데 손가락은 평소 gait대로 움직이므로 proprioception 신호는 애매하다. 반면 그때의 미세한 힘 분포 변화는 tactile에 직접 잡힌다. 이 주장은 Table 2(실험 4)로 뒷받침된다.

프로젝트 페이지의 robustness 영상. 아래 두 영상은 논문 표에는 없는 정성 시연이다. 손목 방향을 바꾼 채 회전하는 장면과, marker를 단 병을 돌리다 끝에 놓치는 장면이다. 실패 장면까지 그대로 올린 점은 정직하다. Fig. 1 캡션의 “wrist orientation changes에 강건하다”는 주장은 이런 영상으로만 뒷받침되고 정량 평가는 없다.

프로젝트 페이지 "PTLD robustness" 영상(4배속). 왼쪽: 손목 자세를 여러 방향으로 바꾸며 회전. 오른쪽: marker 판을 얹은 병을 회전하다 마지막에 떨어뜨린다.

실험 3: cube rotation과 “학생이 교사를 넘었다” (§6.2 후반)

v3에서 새로 들어간 실험이다(v1·v2에는 cube 실험이 없다). 모서리가 있는 물체는 marker가 가려 쓰기 어려워서 privileged sensor로 markerless pose 추정기 FoundationPose를 썼다.

Cube 회전(Fig. 6 하단 오른쪽). 빨간 표시는 모서리 접촉. 8 s에 엄지가 왼쪽 모서리에 닿고 9 s에는 면으로 옮겨 안정된 grasp를 되찾는다.

Table 3 (cube, z축).

방법	입력	RotR ↑	TTF ↑	RotP ↓
AAC (교사)	Proprio + Pose(FoundationPose)	17.3±8.8	0.33±0.15	5.5±3.6
Proprio dist.	Proprio	0.5±0.5	0.11±0.03	1.3±0.9
Tactile dist. (PTLD)	Tactile	4.5±2.3	0.34±0.21	50.8±28.1

본문은 이 결과를 두고 “Notably, PTLD outperforms the AAC privileged-sensor teacher policy”라고 쓰고, 이유로 “FoundationPose 추정이 시간이 지나며 drift해 교사는 나빠지지만 학생은 영향받지 않는다”를 든다. 그런데 같은 표에서 교사가 RotR 17.3 vs 4.5로 약 4배 높고, RotP(낮을수록 좋음)는 5.5 vs 50.8로 교사가 훨씬 낫다. TTF는 0.33 vs 0.34로 사실상 같다. 표만 보면 학생이 교사를 넘었다는 근거는 TTF의 0.01 차이뿐이다. 문장이 표에 없는 다른 관찰을 가리키는지, 표 기입이 바뀐 것인지는 논문만으로 알 수 없다. 이 문장은 “distillation의 핵심 장점: 학생이 더 강건한 감각으로 교사를 넘을 수 있다”는 일반화로 이어지므로 영향이 작지 않다.

함께 짚을 점이 있다.

• PTLD의 RotP 50.8은 다른 행보다 한 자릿수 크다. cube에서 PTLD는 돌기는 하지만 원치 않는 회전도 많다. 본문은 이 열을 언급하지 않는다. 단위도 앞의 혼선(cm로 표기)을 그대로 이어받는다.
• 시행 수가 없다. Table 3의 ± 값이 몇 번의 시행에서 나왔는지 적혀 있지 않다.
• 베이스라인 구성이 원통 실험과 다르다. RMA, AAC proprio zero-shot, tactile adaptation이 빠졌다.
• “edge vs face 접촉을 구분한다”는 해석은 저자의 가설이다. 본문은 “We hypothesize”로 쓴다. Fig. 6 하단 오른쪽은 그 가설과 맞는 한 장면이다.

실험 4: tactile latent에 담긴 물체 상태 (§6.3)

학생 encoder의 rollout에서 얻은 latent로 6D 회전 decoder를 학습해 물체 자세를 얼마나 복원하는지 쟀다.

자세 parameterization	증류 modality	평균 회전 오차 (rad) ↓
절대 자세 \mathbf{R}^W_t	Proprioception	0.43±0.11
절대 자세 \mathbf{R}^W_t	Proprioception + Tactile	0.21±0.03
상대 자세 \mathbf{R}^{t-H}_t	Proprioception	0.95±0.09
상대 자세 \mathbf{R}^{t-H}_t	Proprioception + Tactile	0.26±0.05

Tactile latent에서 복원한 물체 자세(Fig. 7). 빨간 원통은 예측, 회색은 실제 자세이며 1초 단위로 누적해 그렸다.

이 표는 논문에서 tactile의 역할을 가장 직접 보여 주는 증거다. 특히 상대 자세에서 proprioception 0.95 rad(약 54°)는 거의 정보가 없는 수준이고, tactile을 더하면 0.26 rad로 떨어진다. 저자들은 이를 “미끄러짐이 있으면 같은 손가락 패턴이 서로 다른 물체 움직임에 대응되는 모호성을 tactile이 푼다”로 해석한다.

다만 실험 정의가 판마다 다르다. v3 본문은 “average rotation error”라고만 쓰고 구간·분할을 밝히지 않는다. v1·v2의 같은 표는 열 제목이 “over 100 steps”인데 캡션은 “4.5초(30 inference step) 누적 오차, encoder는 고정하고 decoder만 학습”이라고 쓴다. 배포 주기 20 Hz에서 30스텝은 1.5초다. decoder를 학습한 데이터와 평가한 데이터가 같은 rollout인지도 적혀 있지 않다. 정성적 결론(상대 자세에서 tactile이 크게 낫다)은 견고해 보이지만 숫자를 다른 논문과 비교하기는 어렵다.

실험 5: tactile in-hand reorientation (§6.4, 부록 D)

시뮬레이션 reorientation(Fig. 9). 현재 물체 자세와 목표 자세를 입력으로 받는 AAC policy가 연속으로 목표에 도달한다.
실기 tactile reorientation(Fig. 10). 위: 실제 롤아웃. 아래: 목표(위 원통)와 현재 자세 시각화. marker 판은 목표 도달 판정에만 쓰고 policy 입력에는 들어가지 않는다.

프로젝트 페이지 in-hand reorientation 영상. 왼쪽 화면은 실기, 오른쪽은 목표·현재 자세 시각화다.

Table 4 (실기, 10회).

encoder	도달 목표 수 N_{\text{goals}} ↑	TTF (s) ↑
Transformer (proprio)	2.1±2.14	10.99±10.15
Transformer (tactile+proprio)	3.3±1.55	13.42±10.18

초록의 +57%는 3.3/2.1 = 1.571로 정확히 맞는다. 저자들은 temporal convolution encoder가 한 방향 gait로 붕괴해서 Transformer를 썼다고 밝힌다. 그 붕괴를 보여 주는 수치는 없다.

이 실험은 논문의 두 번째 헤드라인이지만 근거가 가장 얇다.

• 통계적으로 약하다. ±를 10회 시행의 표준편차로 보고 Welch t-검정을 하면 N_{\text{goals}}는 t\approx1.44,\ p\approx0.17, TTF는 p\approx0.60이다(필자 계산, ±의 정의는 논문에 없어 표준편차로 가정). 본문의 “success rates drop significantly”는 통계적 의미의 유의로 읽으면 성립하지 않는다.
• 비교 대상이 PTLD 내부 변형뿐이다. proprio 행도 같은 교사에서 실기 증류한 학생이다. 교사(pose 입력 policy)의 실기 성능, zero-shot proprio policy, tactile adaptation은 없다. 초록은 “PTLD enables the challenging task of tactile in-hand reorientation”이라고 쓰지만, 증류된 proprio 학생도 평균 2.1개 목표에 도달하므로 이 표가 보여 주는 것은 “가능하게 했다”가 아니라 “더 낫게 했다”다.
• “proprioception 이력만으로는 시뮬레이션에서 학습할 수 없다”는 주장에 수치가 없다. 기여 목록과 §5.2가 이렇게 쓰지만, 시뮬레이션 proprio-only 학습 곡선이나 성공률은 제시되지 않는다.
• 성공 판정 기준이 세 군데서 다르다. §5.2는 \delta\le0.25 rad(약 14.3°)이고, 부록 D.2는 “시뮬레이션에서는 더 엄격한 20°, 실기에서는 약 30°로 완화”라고 쓴다. 0.25 rad는 20°보다 엄격하므로 둘은 서로 맞지 않는다. 목표 분포도 §5.2는 “z축에서 θ = 40°”, 부록은 “z축 주위 약 40°”다. 실기 목표 범위(40° 이내)에 비해 판정 허용치(30°)가 크다는 점도 해석에 영향을 준다. 무작위 행동이나 정지 상태가 우연히 목표를 맞히는 비율 같은 기준선은 없다.
• reorientation 데이터 규모가 없다. 부록 C.2의 “180분, DAgger 3라운드”는 회전 과제 절에 있다. reorientation의 실기 데이터 양, DAgger 사용 여부, autoregressive 예측의 오차 누적을 어떻게 다뤘는지는 적혀 있지 않다.

비판적으로 보면

강점

• 문제 설정을 바꾼 아이디어가 깔끔하다. “tactile 시뮬레이터를 더 잘 만들자” 대신 “tactile은 현실에서만 배우고, 시뮬레이션과 현실이 공유하는 관측으로 둘을 잇자”는 역할 분담은 이식성이 높다. 저자들 말대로 vision 등 시뮬레이션하기 어려운 다른 modality에도 같은 틀을 쓸 수 있다. zero-shot을 포기한다는 대가를 숨기지 않고 관련 연구 절에서 먼저 밝힌다.
• 베이스라인이 기여를 분리하도록 짜여 있다. 실기 회전 실험에서 “Privileged distillation proprioception”은 tactile의 기여를, “Tactile adaptation”은 privileged sensor 교사의 기여를 각각 떼어 낸다. 같은 파이프라인에서 학생 입력만 바꾼 대조군은 이런 논문에서 자주 빠지는 항목이다.
• 실기 회전 개선의 크기는 해석의 여지가 적다. 시계 방향 total rotation ≈47 vs 다음 ≈17 rad, TTF가 120 s 천장 근처라는 것은 오차 막대를 감안해도 뚜렷하다. 회복 행동 영상과 Table 2의 상태 추정 결과가 같은 방향을 가리켜 메커니즘 설명도 일관된다.
• Table 2는 좋은 진단 실험이다. 성능 숫자만이 아니라 “latent에 실제로 무엇이 담겼나”를 decoder로 확인했고, 상대 자세에서 0.95 → 0.26 rad라는 큰 차이가 저자들의 slip 모호성 설명과 맞물린다.
• 실기 데이터 비용을 구체적으로 적었다. 라운드당 2분×30궤적, 3라운드, 약 180분, 물체·질량 조합까지 밝혀 다른 그룹이 비용을 가늠할 수 있다.
• 실패 장면을 숨기지 않는다. 프로젝트 페이지 robustness 영상 하나는 물체를 떨어뜨리며 끝나고, 반시계 drift에서 RMA가 낫다는 것도 본문이 인정한다.

약점·한계

• cube 실험의 “학생이 교사를 넘었다”는 문장이 Table 3과 맞지 않는다. 교사가 RotR 17.3 vs 4.5, RotP 5.5 vs 50.8로 앞서고 TTF만 0.33 vs 0.34로 같다. 이 문장은 “distillation의 핵심 장점”이라는 일반화로 이어지므로 v3에서 새로 들어간 내용 중 가장 먼저 정정이 필요한 곳으로 보인다.
• 원통 실험에는 교사의 실기 성능이 없다. Fig. 6의 다섯 막대에 privileged sensor policy(AAC+pose)를 셀에서 돌린 결과가 없다. 그래서 PTLD가 교사의 몇 %를 회복했는지, 증류 손실이 얼마인지 알 수 없다. PTLD의 본질이 “교사 latent 복원”이라는 점을 생각하면 가장 기본적인 막대가 빠졌다. 보완하려면 같은 셀에서 교사를 돌린 막대를 Fig. 6에 추가하면 된다(데이터 수집 때 이미 돌렸다).
• 헤드라인 +182%는 한 방향의 최선 비교다. 시계 방향 total rotation이고, 반시계는 약 +48%, 두 방향 합산은 약 +85%다(그림 판독 기반 필자 계산). 논문 본문에 182의 계산 근거가 없다.
• reorientation 개선은 10회의 분산 안에 있다. p\approx0.17(가정한 SD 기준)이고 비교군이 PTLD 내부 변형뿐이다. “tactile reorientation을 가능하게 했다”는 초록 문장은 proprio 학생도 평균 2.1개 목표에 도달한다는 같은 표와 긴장 관계에 있다. 성공 판정 기준(0.25 rad / 20° / 30°)도 문서 안에서 엇갈린다.
• 재현 정보가 부족하다. c_{\text{latent}}, PPO 하이퍼파라미터, encoder 크기, 회전 과제의 latent 차원, reorientation 데이터 양이 없다. 회전 과제의 상태·보상은 “Hora를 참고하라”로 갈음했다. 프로젝트 페이지의 Code 버튼은 github.com/akashsharma02/ptld를 가리키지만 웹과 GitHub API 모두 404다. 비공개이거나 아직 공개되지 않은 것으로 보인다.
• 실험 규모 서술이 어긋난다. §6.2는 “두 원통 물체에서 10회”이고 Fig. 6 캡션은 “10회, 물체 3개”다(v1·v2도 “two” / “three cylinder like objects”로 같은 불일치). 회전 방향별로 별도 policy를 학습했는지, 그렇다면 180분이 방향당인지도 적혀 있지 않다. 오차 막대가 표준편차인지 표준오차인지도 없다.
• 시뮬레이션 결과에 분산이 없고 단위 표기가 바뀌었다. Table 1은 ±도 seed 수도 없고, AAC+pose가 Oracle을 넘는 역전에 설명이 없다. v3는 TTF를 “second”로, RotP를 “cm”로 표기했지만 표 값은 v1·v2의 “에피소드 비율” 정의와 맞는다. online latent distillation의 근거였던 no-distillation 행은 v3에서 사라지고 단일 “best reward” 곡선만 남았다.
• 보상표에 부호가 의심스러운 항이 있다. r_{\text{position}}=\lVert p_t-p_0\rVert의 scale이 +0.05인데 본문은 “물체를 가운데에 두도록 유도한다”고 쓴다.
• “privileged sensor”의 비용이 작지 않다. 카메라 4대, 공동 캘리브레이션, marker, PGO, 물체 shape 사전 지식이 필요하다. cube처럼 marker를 못 쓰면 FoundationPose로 대체하는데, 저자 스스로 그 drift가 교사를 나쁘게 만든다고 쓴다. 저자들도 한계 절에서 “in-the-wild 적용을 제한한다”, “pose 추정 noise가 성능 상한을 정한다”고 인정한다. PTLD가 줄인 것은 tactile 시뮬레이션 비용이지 실기 인프라 비용이 아니다.
• 학생은 교사의 행동 공간을 넘을 수 없다. policy 본체는 시뮬레이션에서 고정되고 encoder만 실기에서 학습된다. tactile이 주는 힘·접촉 정보는 교사 latent를 맞추는 데 쓰일 때만 행동에 반영된다. 저자들이 “information overlap & asymmetry”로 인정한 이 구조적 상한이 실제로 얼마나 묶는지는 실험이 없다(예: 교사 latent에 없는 정보가 필요한 과제).
• Tactile adaptation 베이스라인이 그 교사보다도 낮다. 시계 ≈8.8 vs AAC proprio ≈16.8, 반시계 ≈15.5 vs ≈43.1 rad다. 논문은 adaptation 계열이 “교사 상한에 묶인다”고 비판하는데, 이 결과는 상한에 묶인 정도가 아니라 상한보다 한참 아래다. 어느 proprio 교사를 썼는지(RMA인지 AAC인지)도 적혀 있지 않다. 같은 그룹의 이전 방법이 베이스라인이므로 구현 조건(데이터 양, 라운드 수)을 PTLD와 맞췄는지 밝혔어야 한다.
• Privileged distillation proprioception도 zero-shot AAC proprio보다 낮다. 시계 ≈5.2 vs ≈16.8, 반시계 ≈15.0 vs ≈43.1 rad다. 실기 증류 파이프라인 자체가 proprio 입력에서는 오히려 해롭다는 뜻이고, v1·v2 본문은 “tactile 없이는 실기 증류가 policy finetuning으로 퇴행한다”고 적었다. 그렇다면 “tactile의 기여”를 분리하는 대조군의 기준점이 낮게 잡혀 있다. tactile의 순수 기여를 말하려면 PTLD를 이 대조군뿐 아니라 zero-shot AAC proprio(같은 시뮬레이션 학습, 실기 데이터 없음)와도 나란히 해석해야 한다. 다행히 그 비교에서도 PTLD가 앞선다.

관련 연구와의 자리 매김

• privileged distillation 계열. Learning by Cheating, RMA(Kumar et al.), Hora가 “시뮬레이션 안의 교사 → 시뮬레이션 안의 학생”이었다면 PTLD는 “시뮬레이션 교사 → 현실 학생”이다. 시뮬레이션 단계는 AAC(Pinto et al.)에 BYOL·data2vec식 latent self-distillation을 붙인 형태다.
• sim-to-real tactile in-hand rotation. Rotating without Seeing(binary touch), RotateIt(vision+touch, 단순 접촉 모델), AnyRotate(접촉 자세·힘을 담은 dense tactile 표현)는 모두 시뮬레이션 안에 tactile 관측을 만들어 학습했다. TactileLab은 시뮬레이터 자체를 개선했다. PTLD는 이 계열과 달리 tactile을 시뮬레이션 경로에서 완전히 뺀다. 저자들은 이를 “tactile 시뮬레이션 비용을 치르지 않는” 새로운 접근으로 제시한다.
• real-world tactile adaptation. Sparsh-X / Tactile Beyond Pixels과 Spin pens는 proprio 교사를 실기 데이터로 보정한다. PTLD는 교사를 pose 기반으로 바꿔 상한을 올린다. 하드웨어(Allegro + Xela uSkin 368 taxel)와 tactile 표현 계보는 같은 저자 그룹의 Sparsh-Skin과 같다. Sparsh-Skin 표현은 PTLD에서 tactile adaptation 베이스라인의 표현으로 쓰였다.
• instrumented 실기 데이터. 동기를 설명하며 인용된 DexForce는 kinesthetic 시연에서 힘 정보를 뽑아 다지 손 imitation을 하는 쪽이다. 저자들은 다지 손 teleoperation·kinesthetic teaching의 어려움을 RL 경로의 근거로 든다. cube 실험의 markerless pose는 FoundationPose(arXiv:2312.08344)에 의존한다.
• 상보적인 방향. PTLD의 교사-학생 구조는 policy를 고정하므로 “tactile로만 알 수 있는 정보”를 행동에 쓰기 어렵다. 실기에서 소량의 RL fine-tuning이나 residual policy를 더하는 방향, 혹은 DexterityGen(arXiv:2502.04307) 같은 하위 controller 위에 tactile 상태 추정을 얹는 방향과 결합할 여지가 있다(필자 해석).

요약

PTLD는 tactile dexterous manipulation의 sim-to-real 문제를 “tactile 시뮬레이터 개선”이 아니라 “시뮬레이션과 현실이 공유하는 privileged sensor(물체 pose)를 interface로 삼아 두 번 증류하기”로 다시 정의한다. 시뮬레이션에서는 AAC + online latent distillation으로 pose 기반 policy를 한 번에 학습하고, 현실에서는 계측된 셀에서 그 policy를 돌려 tactile encoder가 policy latent를 회귀하게 한다. 그 결과 실기 z축 in-hand rotation에서 PTLD는 모든 베이스라인보다 길게, 많이 돌리고(시계 방향 total rotation ≈47 vs ≈17 rad), tactile latent는 proprioception보다 물체의 상대 자세를 훨씬 잘 담는다(0.26 vs 0.95 rad).

반면 두 번째 헤드라인인 reorientation +57%는 10회의 분산 안에 있고 비교군이 좁다. v3에 새로 들어간 cube 실험의 “학생이 교사를 넘었다”는 문장은 같은 표와 맞지 않는다. 원통 실험에는 교사의 실기 성능이 없어 증류 손실을 가늠할 수 없다. 코드와 핵심 하이퍼파라미터도 공개되지 않았다.

그래도 아이디어 자체의 가치는 분명하다. “시뮬레이션하기 어려운 감각은 현실에서만 배우고, 시뮬레이션은 그 감각이 복원해야 할 표현을 정의하는 데만 쓴다”는 설계는 tactile뿐 아니라 다른 modality에도 옮길 수 있다. 앞으로 볼 지점은 privileged sensor 인프라를 얼마나 가볍게 만들 수 있는지, 그리고 교사 latent에 없는 tactile 정보를 학생이 행동에 쓰게 하려면 무엇을 더해야 하는지다.

이 글에 대해

• 읽은 범위: arXiv v3(2026-06-18, 16쪽)를 PDF와 HTML로 읽었다. v1(2026-03-04)·v2(2026-04-20)와 프로젝트 페이지의 PDF(ptld_2026.pdf, v1·v2와 같은 IEEE 형식 판)도 대조했다. 판별 차이 중 리뷰에 반영한 것은 v3의 cube 실험·FoundationPose 추가, “AAC (no distillation)” 행 삭제, TTF·RotP 단위 표기 변경, Table 2 정의 문구다.
• 공개 범위: 프로젝트 페이지의 Code 링크(github.com/akashsharma02/ptld)는 웹과 GitHub API 모두 404이고, 코드·데이터·체크포인트는 공개돼 있지 않다. 따라서 이 리뷰의 모든 수치는 논문이 보고한 값이거나 그 값으로 계산한 값이며, 코드 대조나 재현 확인은 하지 않았다. 본문의 영상은 프로젝트 페이지 mp4를 축소한 사본이고, 큰 영상 2개(약 22 MB)는 넣지 않았다. 저자 walkthrough는 YouTube 원본을 임베드했다.
• 표기: “그림에서 읽은 값”은 Fig. 5와 Fig. 6 막대·곡선의 높이를 축 눈금에 맞춰 읽은 근사치다(±1 단위 안팎의 오차). “필자 계산”은 논문 수치나 판독값으로 계산한 비율·검정이고, Welch t-검정은 표의 ±를 10회 시행의 표준편차로 가정했다. “필자 해석”은 논문이 직접 말하지 않은 추론이다. 인용 문헌은 대괄호 번호 대신 저자·제목으로 적었다.
• 저자·소속: 소속은 arXiv v3 PDF 표기를 따랐다(Chen·Kaess·Sharma: CMU, Mukadam: UW, Wu·Hogan: FAIR at Meta, Malik: UC Berkeley). 프로젝트 페이지의 소속 번호 표기는 PDF와 다르다. 게재 학회는 논문에 적혀 있지 않아 arXiv preprint로 표기했다.