📃Tactile Pushing RL 리뷰

Sim-to-Real Model-Based and Model-Free Deep Reinforcement Learning for Tactile Pushing

• Paper Link (arXiv:2307.14272v1)

• Project Page (sites.google.com/view/tactile-rl-pushing)

• Code Link (robot-dexterity/tactile-gym-2, GPL-3.0) — 프로젝트 페이지의 “Code” 링크가 리다이렉트되는 곳은 Tactile Gym 2.0 레포다. 그 안의 object_push-v0는 이 논문이 “우리와 다르다”고 명시한 궤적 추종형 밀기 환경이고, 이 논문의 goal-conditioned 환경·model-based(PETS) 코드는 레포 트리에서 확인되지 않는다(🔧 재현 관점)

• 저자: Max Yang, Yijiong Lin, Alex Church, John Lloyd, Dandan Zhang, David A. W. Barton*, Nathan F. Lepora* (* 동등 지도) — University of Bristol / Bristol Robotics Laboratory

• IEEE Robotics and Automation Letters (RA-L), vol. 8, no. 9, pp. 5480–5487, 2023 (DOI 10.1109/LRA.2023.3295236 · arXiv v1: 2023-07-26)

1. 💡 시각 없이 촉각만으로 물체를 임의의 먼 목표점까지 미는 문제를, “물체를 목표로 옮긴다”가 아니라 “밀대 기준 접촉 자세를 제어한다”는 goal-conditioned RL 문제로 다시 쓴다.
2. ⚙️ 같은 문제 정의 위에 model-free(SAC)와 model-based(PETS + CEM 온라인 계획)를 각각 올리고, 관측을 촉각 이미지 vs 촉각 접촉 자세(pose)로 갈라 총 3개 에이전트를 시뮬레이션에서만 학습한 뒤 관측 모델(real-to-sim GAN / PoseNet)로 실기에 zero-shot 이식한다.
3. 🎯 도메인 랜덤화 없이 큐브 하나로만 학습해 시뮬 미지 물체 10종 성공률 0.66~0.99를 얻고, 실기에서는 110 mm보다 먼 목표에 대해 세 에이전트 모두 100% 성공 — 다만 model-based는 25k 샘플(model-free의 약 1/112)로 학습되는 대신, 실기 외란 실험 10개 패널에서 한 번도 1위를 하지 못했다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

평면 밀기(planar pushing)는 잡지 않고 조작하는(non-prehensile) 문제의 대표 선수다. 마찰·접촉이 지배하는 데다 물체의 질량중심·마찰계수를 모르므로 부분 관측이고, 해석 모델은 가정에 갇히고 데이터 기반 모델은 대규모 실기 데이터를 요구한다. 딥 RL이 대안으로 붙었지만 대부분 비전 기반이라, 정작 접촉이 일어나는 지점의 정보는 가려짐과 낮은 정밀도에 묻힌다.

이 논문은 카메라를 아예 빼고 광학 촉각센서 TacTip 하나로 이 문제를 푼다. 결정적으로 다른 한 가지는 목표 정의를 바꾼 것이다. 물체의 중심을 모르니 “물체를 목표로 옮겨라”는 목적함수는 세울 수 없다 — 대신 촉각으로 관측 가능한 밀대-물체 접촉면의 상대 자세를 제어 대상으로 삼고, ① 접촉을 계속 유지하고 ② 접촉면 법선 방향으로 밀도록 보상을 설계한다. 그 위에서 model-free RL과 model-based RL을 같은 문제 정의·같은 관측·같은 보상으로 나란히 놓고 비교한 것이 이 논문의 축이다.

모델링과 sim-to-real 개요(Fig. 2) — (a) 세 갈래 파이프라인: i) 촉각 이미지 + model-free, ii) 촉각 자세 + model-free, iii) 촉각 자세 + model-based(궤적 최적화). (b) sim-to-real 워크플로: 시뮬 촉각 관측으로 정책을 학습 → 촉각 데이터를 모아 관측 모델을 학습 → 실기에서 관측 모델 + 정책을 결합.

핵심 방법론:

(1) Goal-conditioned MDP. 에피소드 시작 시 목표 g를 뽑아 끝까지 고정하고, 정책이 (s_t, g)를 받게 한다.

\pi_{\theta}^{*}=\arg\max_{\pi}\mathbb{E}_{\tau\sim p_{\pi}(\tau),\,g\sim q(g)}\left[\sum_{t=0}^{T}\gamma^{t}r(s_{t},a_{t},g)\right]

model-free 쪽은 이 목적을 SAC(stable-baselines3)로 직접 최적화한다.

(2) 세 가지 관측. s^{a}_{b}는 a에 대한 b의 상대량, p=밀대, o=물체 접촉면, g=목표다.

\mathcal{S}_{1}=[I_{\text{tactile}},\,x^{p}_{g},\,y^{p}_{g},\,\theta^{p}_{g}],\quad \mathcal{S}_{2}=[x^{p}_{o},\,y^{p}_{o},\,\theta^{p}_{o},\,x^{o}_{g},\,y^{o}_{g},\,\theta^{o}_{g}],\quad \mathcal{S}_{3}=[x^{p}_{o},\,y^{p}_{o},\,\theta^{p}_{o},\,x_{o},\,y_{o},\,\theta_{o}]

\mathcal{S}_1은 촉각 이미지 기반(model-free), \mathcal{S}_2는 촉각 자세 기반(model-free), \mathcal{S}_3는 model-based가 동역학 모델을 학습할 상태공간이다.

(3) 보상 설계. 목표 방위각 g_{\theta}=\mathrm{atan2}(o_{xy},g_{xy})를 정의하고, f를 유클리드 거리·g(\cdot,\cdot)를 코사인 거리라 할 때

r=\begin{cases} -\big(g(o_{\theta},g_{\theta})+g(p_{\theta},o_{\theta})\big) & \text{if } \|o_{xy}-g_{xy}\| > d,\\[2pt] -\big(f(o_{xy},g_{xy})+g(p_{\theta},o_{\theta})\big) & \text{if } \|o_{xy}-g_{xy}\| \le d, \end{cases}\qquad d = 100~\text{mm}

멀리서는 물체를 목표 쪽으로 돌려세우는 항이, 목표 근처(100 mm 이내)에서는 거리를 줄이는 항이 작동한다. 두 경우 모두에 붙는 g(p_{\theta},o_{\theta})는 밀대가 접촉면에 수직을 유지하도록 강제하는 항으로, 저자들은 이 항이 없으면 학습 자체가 실패했다고 적는다.

(4) Model-based. 확률적 앙상블 신경망 f_{\theta}(s_t,a_t)\equiv\mathcal{N}(\mu_\theta,\Sigma_\theta)로 상태 변화 \Delta s_t = s_{t+1}-s_t를 예측하고 1-스텝 NLL로 학습한 뒤

\mathcal{L}_{\text{NLL}}=\sum_{n=1}^{N}[s_{n+1}-\mu_{\theta}]^{T}\Sigma_{\theta}^{-1}[s_{n+1}-\mu_{\theta}]+\log(\det(\Sigma_{\theta})), \qquad \arg\max_{a_{k:t+H}}\mathbb{E}_{f}\Big[\sum_{k=t}^{t+H} r(s_k,a_k,g)\Big]

MPC로 매 스텝 재계획한다(PETS on MBRL-Lib, 최적화기는 CEM이 MPPI보다 좋았다고 보고).

(5) Sim-to-real. 시뮬(PyBullet 기반 Tactile Gym)에서만 학습하고, 실기에서는 관측 모델이 갭을 메운다 — 이미지 에이전트에는 real → sim 방향 이미지 번역 GAN(pix2pix), 자세 에이전트에는 실제 촉각 이미지에서 접촉 깊이·각도를 회귀하는 PoseNet(CNN). 도메인 랜덤화는 쓰지 않았다.

주요 결과:

• 학습 표본(최고 보상의 10% 이내 도달, Table II): model-based 25k vs model-free 촉각자세 2.8M / 촉각이미지 3.2M — 각각 약 112배 / 128배 차이(논문 표현은 “100×”). 대신 최종 최고 보상은 model-free가 더 좋다: −122.85 / −124.86 vs model-based −144.70.
• 시뮬 일반화(Table III, 미지 물체 9종 포함 10종 × 54개 목표 × 5회): model-based가 10종 중 9종에서 최고 또는 동률(유일한 예외는 master chef can, 0.66 vs 촉각자세 model-free 0.76). 열 평균은 각각 0.837 / 0.865 / 0.898(논문 미보고, 직접 계산).
• 실기 목표 도달(40개 목표): 110 mm보다 먼 목표는 세 에이전트 모두 100% 성공. 가깝고 방위각이 큰 목표에서만 신뢰도가 떨어진다.
• 실기 외란·미지물체(Fig. 7, 10개 패널): 촉각자세 model-free가 유일하게 10/10 완주, 8개 패널에서 최고 보상. model-based는 2개 패널에서 실패하고 한 번도 1위가 아니다. 촉각이미지 model-free는 3개 패널에서 실패.

결론:

같은 문제 정의 위에 두 RL 패러다임을 올려 보니 우열이 축마다 갈렸다. 표본 효율과 “처음 보는 물체에 대한 성공률”은 온라인 계획(model-based)이 앞서고, 표본을 100배 더 쓴 뒤의 경로 품질과 큰 외란 하의 강건성은 학습된 정책(model-free)이 앞선다. 그리고 두 패러다임 모두에서 촉각 이미지보다 촉각에서 뽑아낸 접촉 자세가 더 잘 학습되고 더 잘 전이된다. 도메인 랜덤화도, 다양한 물체 커리큘럼도 없이 큐브 하나로 학습한 정책이 이만큼 일반화한다는 점이 이 논문이 촉각의 값어치로 내세우는 지점이다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

물체의 중심을 모르면 “물체를 목표로 옮겨라”는 목적함수를 쓸 수 없다 — 그래서 이 논문은 촉각으로 직접 관측되는 “접촉면의 상대 자세”를 제어 변수로 승격시키고, “접촉면에 수직으로 계속 밀어라”라는 한 줄짜리 안정성 조건을 보상에 박아 넣는다. 그 위에서는 model-free든 model-based든 같은 문제를 풀 수 있게 되고, 비로소 두 패러다임을 같은 조건에서 비교할 수 있게 된다. 논문의 실험적 결론은 “둘 중 무엇이 낫다”가 아니라, 표본 효율(model-based)과 최종 정책 품질·강건성(model-free)이 서로 다른 축에서 이긴다는 분해다.

배경: 밀기는 왜 아직도 안 풀렸나

밀기는 로봇 조작에서 가장 오래된 문제 중 하나다. Mason(1986)의 voting theorem이나 Lynch et al.(1992)의 limiting surface처럼 1차 원리에서 출발한 해석 모델은 성능 보장을 주지만 가정(균일 마찰, 준정적 운동 등)에 갇힌다. 그래서 MIT Push Dataset(Yu et al. 2016) 같은 대규모 실기 데이터로 신경망을 붙이거나(Kloss et al. 2022; Ajay et al. 2018), Gaussian Process·LSTM으로 동역학을 적합해 MPC를 돌리는 흐름(Bauza et al. 2018; Arruda et al. 2017; Cong et al. 2020)이 이어졌다. 문제는 이들이 대량의 실기 데이터를 필요로 하고 새 상황에 잘 옮겨가지 않는다는 점이다.

딥 RL은 이 지점의 대안이지만 대부분 비전에 의존한다. 그런데 밀기에서 결정적인 정보 — 지금 밀대의 어느 지점이 물체의 어느 면에 얼마나 깊이 닿아 있는가 — 는 정확히 카메라가 보기 어려운 곳에 있다. 촉각은 바로 그 정보를 준다. Lloyd & Lepora(T-RO 2022)는 촉각 + 고유수용 상태만으로 상태 피드백 제어기를 설계해 목표 지향 밀기를 성공시켰는데, 이 논문은 그 결과를 “촉각만으로 충분하다”는 증거로 받되 수작업 제어기 설계 없이 같은 것을 하고 싶어 한다.

실기 셋업과 시험 시나리오(Fig. 1) — 데스크톱 로봇(Dobot MG400) 끝단에 TacTip을 밀대로 달았다. 우측·하단 소패널은 본문 실험에 쓰인 외란(각도 오프셋, 편심 질량, 장애물)과 미지 물체(원기둥, 고무오리, 말랑한 인형, 나무 손)다.

한 가지 짚어둘 것: 이 논문의 로봇은 UR5가 아니라 Dobot MG400이다(4축, 최대 페이로드 750 g, 리치 440 mm, 반복정밀도 ±0.05 mm). 엔드이펙터 회전이 z축 하나뿐인 4자유도인데, 평면 밀기에는 오히려 딱 맞는 구성이다. 센서는 331핀 TacTip이고, 궤적 검증용으로만 물체 위에 ArUco 마커를 붙여 추적한다(정책 입력이 아니다).

또 하나 선행 연구와의 거리: 같은 Bristol 그룹의 Tactile Gym 계열(Church et al. 2021; Lin et al. 2022)에서 다룬 밀기는 촘촘한 웨이포인트를 따라가는 궤적 추종이었다. 이 논문은 임의로 놓인 먼 목표 하나를 준다. 경유점이 없으니 에이전트가 스스로 최단 경로를 찾아야 하고, 목표의 변동성이 훨씬 크다. (저자들은 궤적 추종이 자기 문제 정의의 특수 사례라고 정리한다.)

방법 ①: 목적함수를 “물체”에서 “접촉”으로 옮기기

촉각만 쓰면 물체의 무게중심·전체 형상·크기를 모른다. 그러니 “물체 중심을 목표로”라는 목적은 애초에 관측 불가능한 양에 대한 요구다. 논문의 처방은 제어 대상을 바꾸는 것이다 — 밀대 기준 물체 접촉면의 상대 자세를 제어하고, 여기에 두 가지 조건을 건다.

1. 접촉을 계속 유지한다 (접촉이 끊기면 관측도 제어도 끊긴다).
2. 접촉면에 수직으로 민다 (안정적인 밀기 자세).

학습·시험 환경(Fig. 3) — (a) 작업공간은 x\in[0,400] mm, y\in[-300,300] mm. 빨간 테두리 = 학습 시 목표 샘플링 영역(작업공간 가장자리), 회색 = 시험 시 목표 영역(작업공간 전체). (b) 시뮬레이션, (c) 실기. 우상단 작은 원형 이미지가 각각 시뮬 촉각 이미지와 실제 TacTip 이미지다.

행동공간은 밀대 프레임 기준 위치 제어로, \Delta y \in [-1, 1] mm, \Delta\theta\in[-1°, 1°]이다. 전진 성분은 \Delta x = 1 mm로 고정했다 — 차원을 줄이고 접촉이 끊기지 않게 하려는 선택이다. 저자들도 이 제약 때문에 물체와 아주 가까운 일부 목표는 도달 불가능해진다고 인정하지만, 강건성 이득이 그 손해보다 크다고 본다.

학습 시 목표는 작업공간 가장자리에서만 균일 샘플링하고, 시험은 작업공간 전체에서 한다(Fig. 3a). 도달 불가능한 목표를 학습에서 배제하면서 탐색은 충분히 넓게 가져가려는 장치다. 종료 조건은 접촉 위치가 목표의 25 mm 이내에 들어오는 것.

방법 ②: 촉각 이미지냐, 촉각에서 뽑은 자세냐

같은 태스크를 세 가지 관측으로 푼다(Fig. 2a).

	관측	RL	실기 관측 모델
i)	\mathcal{S}_1 = 촉각 이미지 + 밀대 기준 목표 상대자세	model-free (SAC)	real-to-sim GAN
ii)	\mathcal{S}_2 = 접촉 자세 + 물체 기준 목표 상대자세	model-free (SAC)	PoseNet
iii)	\mathcal{S}_3 = 접촉 자세 + 물체 절대자세	model-based (PETS)	PoseNet

\mathcal{S}_3에 목표가 들어 있지 않다는 점이 중요하다. model-based 에이전트가 학습하는 것은 목표와 무관한 동역학이고, 목표는 계획 단계의 보상 함수로만 들어온다. 그래서 원리적으로는 같은 모델로 다른 목표를 즉시 풀 수 있다 — 온라인 계획의 구조적 이점이다.

\mathcal{S}_1과 \mathcal{S}_2의 차이는 “무엇을 특징으로 줄 것인가”다. 촉각 이미지는 접촉의 모든 세부를 담지만 밀기에 필요한 양(접촉 깊이·각도)은 그 안에 암묵적으로만 들어 있다. 저자들은 접촉면 자세를 명시적 특징으로 뽑아 주는 편이 학습에 효율적이라고 보고, 실제로 표본 효율·최종 보상·일반화·강건성 네 축 모두에서 자세 쪽이 이겼다.

방법 ③: 보상 — “수직으로 밀어라”가 왜 핵심인가

보상 식 (4)의 세 성분을 하나씩 뜯어보면 설계 의도가 보인다.

• g(o_\theta, g_\theta) — 접촉면 방향과 목표 방위각 사이의 코사인 거리. 전진 속도가 상수로 고정돼 있으므로, “물체를 목표 쪽으로 돌려세우면” 그것만으로 최단 경로가 나온다. 이 항이 멀리서의 주 신호다.
• f(o_{xy}, g_{xy}) — 목표 100 mm 이내에서만 켜지는 유클리드 거리 항. 목표에 붙으면 방위각 신호가 무의미해지는(각도가 급격히 흔들리는) 특이점이 생기기 때문이다. 이 현상은 Lloyd & Lepora(2022)에서 이미 보고된 것이다.
• g(p_\theta, o_\theta) — 밀대 방향과 접촉면 방향의 코사인 거리, 즉 법선 접촉 유지 항. 두 경우 모두에 붙는다.

세 번째 항에 대한 저자들의 논증이 이 논문에서 가장 물리적인 대목이다. 밀대가 접촉면에 수직으로 밀면 마찰중심(center of friction, COF)을 관통해 미는 셈이 되고, 그 결과 ① 접촉이 잘 유지되며(특히 방위각이 커서 접촉을 놓치기 쉬울 때), ② 접촉점이 목표 쪽으로 이동하면 COF도 따라 이동하고, ③ 밀기가 안정적이면 동역학 예측이 쉬워져 model-based의 누적 오차 문제도 완화된다. 저자들은 “이 설계에서 어느 성분이라도 빠지면 밀기가 불안정해지고 학습에 실패했다”고 적는다 — 다만 이 진술을 뒷받침하는 절제 실험 표는 논문에 없다(아래 비판 참조).

한 가지 표기상 유의점: g_\theta = \mathrm{atan2}(o_{xy}, g_{xy})는 두 2차원 벡터를 인자로 받는 형태라 관용적 atan2(y, x)와 맞지 않는다. 물체→목표 방위각을 뜻하는 것으로 읽히지만, 정확한 정의는 논문에 더 풀려 있지 않다. 마찬가지로 f(mm 단위 거리)와 g(코사인 거리, [0,2]) 두 항의 스케일 정합/정규화 방식도 명시되지 않는다.

방법 ④: 두 패러다임을 같은 문제에 붙이기

• Model-free: SAC(off-policy, stable-baselines3). 정책을 오프라인에서 다 배워 놓고, 실기에서는 순전파 한 번으로 행동을 낸다.
• Model-based: 확률적 앙상블 동역학 모델 + MPC. 매 스텝 H 스텝 앞을 CEM으로 최적화해 첫 행동만 실행하고 다시 계획한다. 학습 중에는 계획으로 모은 궤적으로 모델을 주기적으로 갱신해 모델과 계획이 함께 좋아진다(PETS, Chua et al. 2018 / MBRL-Lib).

여기서 model-based가 실기로 옮기는 것은 정책이 아니라 동역학 모델이다. 실기에서도 계획은 온라인으로 다시 돈다 — 논문이 “sim-to-real 프레임워크 안에서 model-based RL을 성공시킨 최초 사례로 알고 있다”고 주장하는 지점이다.

방법 ⑤: sim-to-real 장치 — 관측 모델이 갭을 흡수한다

정책은 시뮬에서만 학습된다. 그러면 실기의 촉각 신호를 어떻게 시뮬의 관측 분포로 되돌릴까. 이 논문은 정책을 건드리지 않고 관측 단계에서만 갭을 메운다(Fig. 2b). 관측 종류에 따라 두 갈래다.

• Real-to-Sim GAN (촉각 이미지용): pix2pix(U-Net 생성자 + CNN 판별자)로 실제 촉각 이미지를 시뮬 촉각 이미지로 번역한다. 흔한 sim→real 방향이 아니라 반대 방향이라는 점이 포인트다 — 정책이 사는 곳이 시뮬이므로, 실기 관측을 정책의 모국어로 번역해 넣는 것이다. 학습에는 시뮬·실기에서 동일한 절차로 수집한 쌍(pair) 데이터가 필요하다.
• PoseNet (촉각 자세용): CNN이 실제 촉각 이미지에서 접촉면의 상대 자세(2D 표면에서는 접촉 깊이와 각도의 극좌표)를 회귀하고, 이를 직교좌표로 바꿔 \mathcal{S}_2, \mathcal{S}_3에 넣는다. 라벨은 고정된 3D 프린트 평면 자극에 대해 로봇 자세를 기록해서 얻는다.

Table I(논문) — 촉각 데이터 수집 시 센서 자세 샘플링 범위와 관측 모델 검증 성능

	Tactile GAN	PoseNet
깊이 범위 (mm)	[-1, -5]	[-1, -5]
각도 범위 (deg)	[-30, 30]	[-30, 30]
학습 표본	5000	1476
검증 표본	2000	524
검증 정확도	SSIM 0.99	±0.05 mm, ±0.6 deg

두 모델 모두 평평한 고정 자극 위에서 센서를 이리저리 눌러 수집한 데이터로 학습된다. 즉 태스크(밀기)와 무관한 데이터이고, 밀 물체가 무엇이든 재수집이 필요 없다. 대신 평면에서만 학습된 관측 모델을 곡면·변형체에 그대로 쓴다는 사실은 뒤의 실패 사례를 설명하는 실마리가 된다.

시뮬레이션은 Tactile Gym(PyBullet 강체 물리) 위에서 돌고, 촉각 관측은 시뮬 센서의 렌더된 깊이 이미지(이미지용)와 접촉 정보에서 추론한 접촉면 자세(자세용)로 얻는다. 학습 물체는 큐브 하나이고 — 논문 본문은 한 변 75 mm라 쓰지만 Fig. 5의 Train 항목은 80×80×80 mm(491 g)로 적혀 있어 원문 안에서 수치가 어긋난다 — 도메인 랜덤화 없이 Tactile Gym 기본 물리 파라미터로 처음부터 학습한다.

직관: 왜 “자세”가 “이미지”를 이기는가

촉각 이미지는 정보가 더 많다. 그런데도 지는 이유를 이 논문의 결과에 비추어 정리하면 세 가지로 읽힌다.

1. 태스크에 필요한 양이 저차원이다. 밀기의 안정성을 지배하는 것은 접촉 깊이와 접촉 각도 두 스칼라에 가깝다. 이미지를 넣으면 정책이 이 두 스칼라를 픽셀에서 스스로 발견해야 하고, 그 비용이 표본 수(2.8M → 3.2M)와 최종 보상(−122.85 → −124.86) 양쪽에 그대로 찍힌다.
2. sim-to-real 갭이 관측 모델의 출력 차원만큼만 남는다. PoseNet은 실기 이미지를 (깊이, 각도)로 눌러 담는다 — 갭이 2차원 회귀 오차(±0.05 mm, ±0.6°)로 압축된다. 반면 GAN은 이미지 전체를 시뮬 분포로 옮겨야 하고, 학습 분포 밖의 접촉 형태(고무오리 부리처럼 뾰족하고 변형이 큰 접촉)에서는 번역이 무너진다. 실제로 촉각이미지 에이전트가 실패한 세 패널 중 하나가 정확히 고무오리다.
3. model-based에는 아예 선택지가 아니다. 이미지 관측으로 동역학 모델을 학습하려면 잠재 동역학 모델이 필요하다. 접촉 자세로 상태를 6차원까지 낮췄기 때문에 25k 샘플로 동역학이 잡히는 것이다.

바꿔 말하면, 이 논문에서 접촉 자세는 “특징 선택”이 아니라 sim-to-real 인터페이스이자 model-based를 가능하게 한 전제다.

실험 ①: 시뮬레이션 학습 — 표본 효율 vs 최종 보상

학습 곡선(Fig. 4) — 좌: model-based, 우: model-free. 가로축은 동일한 로그 스케일의 샘플 수. model-based(초록)는 10^4대에서 이미 −150 부근에 도달하지만, model-free 두 곡선은 10^6을 넘어서야 올라오기 시작해 10^7 부근에서 −100대에 자리 잡는다.

Table II(논문) — 최고 보상의 10% 이내에 도달하는 데 필요한 표본 수와 최종 최고 보상

RL 에이전트	표본 수	최고 보상
Model-free + 촉각 이미지	3.2M	−124.86
Model-free + 촉각 자세	2.8M	−122.85
Model-based + 촉각 자세	25k	−144.70

트레이드오프가 깔끔하게 갈린다. 표본 효율은 model-based가 112~128배 앞서고(논문 표현은 “100×”), 최종 정책 품질은 model-free가 앞선다(−144.70 → −122.85, 약 15% 개선). 같은 model-free 안에서는 촉각 자세가 이미지보다 표본도 적게 쓰고(2.8M vs 3.2M) 보상도 높다.

곡선(Fig. 4 좌)에서 model-based의 학습 구간이 약 4\!\sim\!5\times10^4 샘플에서 끝나고, 곡선 자체는 −115 근처까지도 올라간다는 점은 참고로 알아둘 만하다. Table II의 −144.70은 학습 곡선 값이 아니라 별도로 평가한 점근 성능이다.

실험 ②: 시뮬레이션 일반화 — 여기서는 model-based가 이긴다

시뮬 학습·시험 물체(Fig. 5) — 학습은 큐브(491 g, 80×80×80 mm) 하나. 시험은 원기둥·육각기둥과 YCB 세트의 일상 물체 8종으로, 질량 80~431 g·크기 60~250 mm에 걸쳐 있다.

Table III(논문) — 10개 물체 × 54개 균등 목표 × 5회 평균 성공률. 마지막 행 “열 평균”은 논문에 없으며 직접 계산한 값이다.

물체  에이전트	MF + 촉각이미지	MF + 촉각자세	MB + 촉각자세
Cube	0.91	0.89	0.96
Cylinder	0.85	0.91	0.91
Hexagonal Prism	0.93	0.89	0.94
Gelatin Box	0.71	0.74	0.75
Master Chef Can	0.57	0.76	0.66
Mug	0.81	0.83	0.95
Potted Meat Can	0.80	0.89	0.90
Chip Can	0.94	0.91	0.98
Rubiks Cube	0.96	0.94	0.99
Tomato Soup Can	0.89	0.89	0.94
(열 평균, 직접 계산)	0.837	0.865	0.898

세 에이전트 모두 큐브 하나로만 배웠는데 미지 물체 9종에 일반화한다. 어려운 물체는 젤라틴 박스(가늘고 길어 쉽게 회전한다)와 마스터셰프 캔(크고 무거워 다루기 어렵다)이었다. 그리고 model-based가 10종 중 9종에서 최고 또는 동률이다 — 처음 보는 물체 앞에서 온라인 재계획이 갖는 강점이다.

실험 ③: 실기 목표 도달

5개 목표에 대한 밀기 궤적(Fig. 6) — 위: 실기, 아래: 시뮬. 각 열의 목표는 (x_g,y_g) = (100,100), (150,100), (100,180), (270,280), (270,50) mm. 빨간 화살표가 시작 지점(원점), 초록 원이 목표. a·b열처럼 가깝고 방위각이 큰 목표에서 궤적이 크게 우회하거나 흐트러진다.

40개 목표를 작업공간에 고르게 뿌려 시험했고, 110 mm보다 먼 목표에 대해서는 세 에이전트 모두 100% 성공했다. 신뢰도가 떨어지는 것은 가깝고 방위각이 큰 목표(Fig. 6 a, b) — 물체를 급격히 돌려세워야 하는데 \Delta x 고정 제약 때문에 원리적으로 어렵거나 불가능한 구간이다.

두 패러다임의 성격 차이가 여기서 처음 눈에 보인다. 방위각이 큰 목표에서는 model-free가 더 짧은 경로로 간다(Table II의 높은 보상과 일치). 반면 더 어려운(가까운) 목표에서는 model-based가 더 안정적이고 해석 가능한 궤적을 내고, model-free는 물체를 통제 불가능한 영역으로 밀어넣기도 한다. 그리고 시뮬↔︎실기 궤적이 세 에이전트 모두에서 크게 어긋나지 않는다는 사실이 PoseNet도 GAN 못지않은 관측 모델이라는 근거가 된다(저자들은 남은 차이를 마찰 같은 물리 파라미터 불일치로 본다).

실험 ④: 실기 외란 — 여기서 순위가 뒤집힌다

다양한 밀기 시나리오의 센서·물체 궤적(Fig. 7) — 빨간 화살표 = 촉각센서, 파란 점 = ArUco로 추적한 물체 중심, 초록 원 = 목표 영역. 각 패널 좌상단의 r 값이 식 (4)의 에피소드 보상이며, “r = None”은 목표 도달 실패를 뜻한다.

시나리오는 미지 물체 4종(원기둥 / 말랑한 인형 / 고무오리 부리 밀기 / 나무 손)과 외란 3종(초기 접촉각 ±20°, 한쪽에 100 g 추 2개를 넣은 질량중심 편심 상자, 같은 무게의 원기둥 장애물)이다. 아래는 Fig. 7의 각 패널에서 읽은 에피소드 보상이다(논문 본문·표에는 없고 그림 안에만 있는 값).

시나리오	MF + 촉각이미지	MF + 촉각자세	MB + 촉각자세
a) 원기둥	−80.2	−60.7	−159.0
b) 말랑한 인형	−79.3	−60.1	−121.9
c) 고무오리	실패	−98.3	−168.3
d) 나무 손	−122.5	−102.7	−126.4
e) 회전 오프셋 1	−23.8	−24.7	−34.1
f) 회전 오프셋 2	실패	−57.5	−68.2
g) 질량중심 편심 1	−16.7	−17.4	실패
h) 질량중심 편심 2	실패	−19.2	실패
i) 장애물 1	−25.7	−19.9	−42.8
j) 장애물 2	−46.1	−21.8	−37.9
완주 / 10	7	10	8

읽히는 것이 세 가지다.

• 촉각자세 model-free만 10/10 완주하고 10개 중 8개에서 최고 보상이다. 나머지 2개(e, g)도 격차가 0.9·0.7로 미미하다.
• model-based는 완주한 8개 패널 중 7개에서 꼴찌이고, 단 한 번도 1위가 아니다. 시뮬 성공률 표(Table III)에서 9/10 최고였던 것과 정반대다.
• 촉각이미지 model-free는 3개 패널(c, f, h)에서 실패한다. 본문은 −20° 각도 오프셋 실패와 고무오리 실패를 명시적으로 언급하며 “촉각 이미지 관측의 일반화 한계”로 해석한다.

여기서 저자들의 서술 하나는 그림보다 관대하다. 본문은 Fig. 7 g–j에 대해 “지속적 외란 때문에 모든 에이전트에게 목표 도달이 어려웠지만 그럼에도 RL 에이전트들은 이 상황들을 극복할 수 있었다”고 적는데, 정작 그림에는 g·h에서 3건의 실패(r = None)가 찍혀 있다. 리뷰 독자는 이 문장을 “촉각자세 model-free만 극복했다”로 좁혀 읽는 편이 정확하다.

비판적으로 보면

강점

• 문제 재정의가 방법의 본체다. “물체를 옮긴다 → 접촉 자세를 제어한다”는 전환이 없었다면 촉각 단독 관측으로 goal-conditioned RL을 세울 수 없다. 그리고 이 전환 덕분에 model-free와 model-based가 같은 상태·같은 보상을 공유하게 되어 비교가 성립한다. 비교 논문의 값어치는 “같은 조건”에서 나오는데, 그 조건을 만들어 낸 것이 곧 기여다.
• 관측 표현을 통제 변수로 뽑아냈다. 촉각 이미지 vs 촉각 자세를 같은 알고리즘(SAC)·같은 태스크에서 비교했기 때문에, “이미지를 그냥 넣는 것”이 왜 손해인지를 표본 수·보상·실패 패널 수로 각각 보여 줄 수 있다.
• 도메인 랜덤화 없이, 물체 하나로, zero-shot. 이 조합은 sim-to-real 논문에서 흔치 않다. 정책은 큐브만 봤고 관측 모델은 평면만 봤는데 YCB 물체·고무오리·나무 손까지 간다. 저자들의 해석 — “접촉면 법선 유지가 강한 안정성 조건이라 물체 종류에 둔감해진다” — 은 보상 설계와 결과가 잘 맞물린다.
• 패러다임 비교의 결론이 정직하게 나뉘어 있다. “model-based가 좋다/나쁘다”로 뭉개지 않고 표본 효율(MB), 미지 물체 성공률(MB), 최종 경로 품질·강건성(MF)으로 갈라 보고한다.
• 관측 모델이 태스크와 분리돼 있다. GAN·PoseNet 모두 평평한 자극에서 수집한 데이터로 학습되므로, 새 물체마다 실기 데이터를 다시 모을 필요가 없다. 실용적으로 중요한 설계다.

약점·한계

• 하이퍼파라미터가 사실상 전무하다. 계획 지평 H, 앙상블 크기, CEM 반복·후보 수·엘리트 수, 네트워크 구조, 학습률, 배치 크기, 할인율 \gamma의 값 — 전부 논문에 없다(RA-L 8쪽, 부록 없음. 전수 grep으로 부재 확인). model-based의 성능은 특히 H와 CEM 설정에 민감한데, 비교 논문에서 한쪽의 설정이 공개되지 않으면 그 비교의 재현·검증이 불가능하다.
• model-based의 실행 비용이 보고되지 않는다. 25k 샘플이라는 표본 효율은 학습 시 비용이고, 대가는 매 스텝 CEM을 도는 추론 시 비용으로 옮겨 간다. 그런데 제어 주기·계획 시간·실시간성에 대한 수치가 논문에 하나도 없다. “100배 적은 데이터”라는 헤드라인이 총비용 비교로 읽히지 않도록 주의해야 한다.
• 시뮬과 실기의 평가 지표가 다르다. 시뮬 비교는 성공률(Table III, 5회 평균), 실기 외란 비교는 에피소드 보상(Fig. 7)이다. 그런데 보상은 식 (4)로 model-free가 직접 최적화한 목적함수이므로, 보상으로 순위를 매기면 구조적으로 model-free에 유리하다. “실기에서 model-free가 이겼다”를 인용할 때는 이 지표 비대칭을 함께 적어야 공정하다. 실기 성공률을 같은 형식으로 보고했다면 훨씬 강한 결론이 됐을 것이다.
• 실기 통계량이 없다. Fig. 7의 각 패널은 궤적 하나·보상 하나로 보이고 반복 횟수·분산이 없다. 실기 목표 도달 실험도 “110 mm보다 먼 목표에서 100%”라는 조건부 수치만 있고 40개 목표 전체에 대한 성공률·가까운 목표의 실패 건수는 보고되지 않는다. 성공/실패가 갈리는 구간이 정확히 그 가까운 목표들이므로, 가장 알고 싶은 숫자가 빠진 셈이다.
• 보상 설계 절제 실험이 없다. “어느 성분이라도 빠지면 학습에 실패했다”는 진술은 논문의 핵심 설계 논거인데 이를 뒷받침하는 표·곡선이 없다. 특히 법선 유지 항 g(p_\theta,o_\theta)는 저자들이 일반화의 근원으로 지목하는 항이라 절제 결과의 값어치가 컸을 것이다. 이 글의 표현으로는 측정된 것이 아니라 관찰로 선언된 것이다.
• 행동 제약이 문제 난이도를 낮춘다. \Delta x = 1 mm 고정은 “접촉을 놓치지 않는다”를 정책이 배우는 대신 환경이 보장해 주는 장치다. 덕분에 강건성이 오르지만, 후진·접촉 재조정·접촉면을 따라 미끄러지는 전략은 애초에 탐색 공간에서 빠진다. 저자들도 한계로 인정하고 향후 제거를 언급한다.
• 원문 안의 수치 불일치. 학습 큐브 크기가 본문(한 변 75 mm)과 Fig. 5(80×80×80 mm, 491 g)에서 다르다. 재현 시 어느 쪽을 쓸지 판단이 필요하다.
• 보상 함수의 스케일이 정의되지 않았다. 식 (4)는 mm 단위 유클리드 거리 f와 [0,2] 범위 코사인 거리 g를 그냥 더한다. 정규화 방식이 명시되지 않아 두 항의 상대 가중을 재현할 수 없고, 에피소드 보상의 절대값(−20 ~ −170)을 해석할 근거도 부족하다.
• 평면·준정적·단일 표면. 모든 실험이 하나의 테이블 표면, 하나의 마찰 조건, 평면 밀기에서 이뤄진다. 마찰이 다른 표면이나 경사면에 대한 결과는 없어서, “도메인 랜덤화 없이도 일반화한다”는 결론이 물체 다양성 축에서만 검증된 것임을 알아둘 필요가 있다.

🔧 재현 관점

이 절은 논문 실험을 직접 돌려 본 결과가 아니라, 공개 자료가 논문의 주장을 재현할 수 있는 상태인지만 확인한 정찰 메모다(2026-08-17 기준, GitHub API로 트리 확인).

프로젝트 페이지의 “Code” 링크(dexterousrobot/tactile_gym)는 robot-dexterity/tactile-gym-2로 리다이렉트된다(GPL-3.0, Python). 그런데 이 레포는 README부터 “Sim-to-real Deep Reinforcement Learning for Comparing Low-cost High-Resolution Robot Touch”(Lin et al., RA-L 2022) 논문의 레포라고 밝히고 있고, 제공되는 밀기 환경 object_push-v0의 설명은

“OpenSimplex 노이즈로 생성한 경유점 궤적을 따라 물체를 민다”

즉 이 논문이 스스로 “우리 문제와 다르다”고 구분한 궤적 추종 태스크다. 레포 트리(tactile_gym/envs/nonprehensile_manipulation/{object_push, object_roll, object_balance}, sb3_helpers/)에도 이 논문의 goal-conditioned 목표 샘플링, 식 (4)의 보상, PETS/MBRL-Lib 연동 흔적은 보이지 않는다. 따라서 현재 공개 자료로는:

• 재현 가능해 보이는 것: Tactile Gym의 PyBullet 촉각 시뮬레이션, TacTip 렌더링, SB3 기반 model-free 학습 루프.
• 직접 구현이 필요해 보이는 것: 이 논문의 goal-conditioned 밀기 환경(가장자리 목표 샘플링·25 mm 종료·\Delta x 고정 행동공간), 식 (4) 보상, PETS + CEM 계획 파이프라인, PoseNet 관측 모델 연동. 여기에 하이퍼파라미터가 논문에 없다는 점이 겹쳐, model-based 쪽 수치 재현은 상당한 탐색을 요구할 것으로 보인다.
• 실기 재현은 Dobot MG400 + 331핀 TacTip이라는 특정 하드웨어에 묶인다.

관련 연구와의 자리 매김

이 논문은 세 갈래의 교차점에 있다.

① 밀기 제어의 계보. 해석 모델(Mason 1986; Lynch et al. 1992) → 데이터 기반 하이브리드(Kloss et al. 2022; Ajay et al. 2018) → 학습 모델 + MPC(Bauza et al. 2018; Cong et al. 2020; Manuelli et al. 2020)의 흐름에서, 이 논문은 관측을 촉각으로 바꾸고 제어를 RL로 바꾼 자리에 선다. 접촉-암시(contact-implicit) MPC로 같은 밀기 문제를 실시간으로 푸는 Push Anything 리뷰와 대비하면 성격이 선명해진다 — 그쪽은 물체 메시를 스캔해 정확한 모델을 확보하고 최적화로 풀고, 이쪽은 모델도 형상도 없이 접촉 자세만으로 푼다. 정밀도(33개 물체 98%)와 관측 요구량(비전 추적 필요)의 교환이 그대로 드러난다.

② 촉각 기반 model-based 제어. 촉각 관측으로 예측 모델을 학습해 MPC를 도는 접근은 Manipulation by Feel 리뷰(GelSight + 심층 예측 모델)가 대표적이다. 그 계열이 촉각 이미지 자체를 예측하는 반면, 이 논문은 촉각을 저차원 접촉 자세로 압축한 뒤 그 공간에서 동역학을 배운다 — 25k 샘플이라는 표본 효율은 그 압축의 직접적 대가다.

③ Bristol 촉각 RL 계보. Tactile Gym 1.0/2.0(Church et al. 2021; Lin et al. 2022)의 real-to-sim 이미지 번역 프레임워크를 그대로 쓰되 자세 관측용 경로(PoseNet)를 추가해 확장했다. 같은 1저자(Max Yang)의 후속작인 AnyRotate 리뷰는 같은 TacTip 계열 촉각으로 인핸드 회전을 풀며, 여기서 확립된 “촉각을 저차원 접촉 특징으로 뽑아 정책에 넣고 sim-to-real은 그 특징 수준에서 맞춘다”는 설계가 이어진다. 보상 설계를 사람이 아니라 LLM에 맡겨 본 Text2Touch 리뷰는 이 논문이 손으로 깎은 3항 보상(그리고 절제 실험 없이 “빼면 실패한다”고 적을 수밖에 없었던 상황)에 대한 자연스러운 후속 질문이 된다.

관측 모델 쪽으로는, 촉각 sim-to-real 갭을 렌더링을 정교화해서 줄이는 흐름(Path-Tracing Sim2Real 리뷰)이나 표현 수준에서 정렬하는 흐름(NeuralTouch 리뷰)과 상보적이다. 이 논문의 선택 — 갭을 관측 모델 하나로 몰아넣고 정책은 손대지 않는다 — 는 정책 학습과 도메인 적응을 완전히 분리한다는 점에서 공학적으로 깔끔하지만, 관측 모델의 학습 분포(평평한 자극) 밖에서 무너진다는 대가도 함께 진다.

요약

이 논문의 기여는 두 겹이다. 첫째, 촉각만으로 임의 목표 밀기를 풀 수 있는 문제 정의를 세웠다 — 관측 불가능한 물체 중심 대신 접촉 자세를 제어 대상으로 삼고, “접촉면 법선 유지”를 보상에 박아 안정성을 구조적으로 확보했다. 둘째, 그 정의 위에서 model-free와 model-based를 같은 조건에 놓고 비교해, 표본 효율(25k vs 2.8M, 약 112배)은 model-based가, 최종 보상(−122.85 vs −144.70)과 큰 외란 하의 경로 품질·완주율(10/10 vs 8/10)은 model-free가 이긴다는 분해를 보여 줬다. 관측 표현 축에서는 촉각 이미지보다 촉각에서 뽑아낸 접촉 자세가 표본·보상·일반화·강건성 모두에서 앞섰다.

한계는 대부분 보고의 문제다. 하이퍼파라미터가 통째로 빠져 있고, 계획의 실행 비용이 없고, 실기 결과에 반복·분산이 없으며, 시뮬(성공률)과 실기(보상)의 지표가 달라 두 패러다임의 비교가 한쪽에 유리하게 기울 여지가 있다. 보상 설계의 절제 실험 부재도 아쉽다. 이 논문에서 가장 확실하게 가져갈 결론은 순위표가 아니라 분해 자체다 — “표본이 귀하면 온라인 계획, 표본을 충분히 쓸 수 있고 강건성이 필요하면 학습된 정책”이라는 실무적 판단 기준, 그리고 “촉각은 이미지로 넣기보다 태스크에 맞는 저차원 접촉 특징으로 뽑아 넣는 편이 낫다”는 표현 설계의 교훈이다.

재현 상태(2026-08-17 기준): 이번 리뷰에서는 코드를 실행하지 않았고, 공개 자료의 범위만 확인했다 — 프로젝트 페이지가 가리키는 레포는 선행작(Tactile Gym 2.0)의 궤적 추종 밀기 환경이며 이 논문의 goal-conditioned 환경·PETS 파이프라인은 확인되지 않는다(🔧 재현 관점).