📃RoTO 리뷰

Enhancing Tactile-based Reinforcement Learning for Robotic Control + Robot Tactile Olympiad (RoTO)

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link
• Bechmark
• Project

1. 💡 이 연구는 시각 또는 이상적인 상태 정보에 대한 의존도를 줄이기 위해 로봇 제어에서 촉각 기반 강화 학습(RL)의 효율성을 높이는 self-supervised learning(SSL) 방법론을 제시합니다.
2. 🤖 Proprioception과 sparse binary contact에 초점을 맞춰, 이 방법론은 고유수용성 제어 오류가 감지하지 못하는 로봇-객체 분리 움직임과 같은 상황에서 촉각 신호가 정교한 조작(dexterity)에 중요함을 입증했습니다.
3. 🚀 특히 Forward Dynamics(FD) SSL objective를 통해 에이전트는 Robot Tactile Olympiad (RoTO) 벤치마크의 복잡한 접촉 작업에서 초인적인 성능을 달성했으며, SSL 메모리를 on-policy 메모리로부터 분리하는 것이 성능 향상에 기여함을 보였습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 로봇 제어를 위한 촉각 기반 강화 학습(RL)의 성능 향상에 초점을 맞추고 있습니다. 저자들은 시각 정보에 의존하는 기존 로봇 조작의 한계를 극복하고, 실제 환경에서의 안전하고 신뢰성 있는 로봇 조작을 위해 촉각 센싱의 중요성을 강조합니다. 특히 촉각 센싱이 RL에서 일관되지 않은 효용성을 보이는 문제를 해결하기 위해 자기 지도 학습(SSL) 방법론을 개발하여 촉각 관찰을 더 효과적으로 활용하는 것을 목표로 합니다. 본 연구는 proprioception과 sparse binary contact라는 확장 가능한 센서 설정을 사용하며, 이러한 이진 촉각 신호가 특히 로봇-객체 간의 비동기적 움직임과 같이 proprioceptive 제어 오류로는 감지하기 어려운 상호작용에서 로봇의 정교함을 위해 필수적임을 실증적으로 보여줍니다.

핵심 방법론

본 연구는 부분 관찰 가능 마르코프 결정 과정(POMDP)을 문제 설정으로 다루며, 에이전트는 관찰 o_t를 받습니다. o_t는 proprioceptive (관절 각도 \theta, 관절 속도 \dot{\theta}, 이전 행동 a_{t-1}, 그리고 필요한 경우 말단 장치 자세 x_{EE}, q_{EE}) 및 촉각 (이진 접촉 b \in \{0, 1\}^{N_{sensors}}) 양식의 k-단계 이력을 연결한 것입니다. 에이전트는 관찰 인코더 e, 정책 \pi, 가치 함수 v의 세 가지 MLP로 구성됩니다. 관찰 인코더는 복합 감각 입력을 z_t라는 압축된 표현으로 변환하며, 정책과 가치 함수는 이 z_t에 조건을 부여하여 동작합니다. 학습은 Proximal Policy Optimisation (PPO) 알고리즘을 사용하며, 표현 학습을 위한 자기 지도 보조 손실 L_{aux}가 추가됩니다.

총 손실 함수 L은 다음과 같이 정의됩니다: L_{PPO}(\theta_e, \theta_\pi, \theta_v) = L_{CLIP}^\pi(\theta_e, \theta_\pi) - c_V L_V(\theta_e, \theta_v) + c_{ent}L_{entropy}(\theta_e, \theta_\pi) L = L_{PPO}(\theta_e, \theta_\pi, \theta_v) + c_{aux}L_{aux}(\theta_e, \theta_{aux}) 여기서 \theta_e, \theta_\pi, \theta_v는 각각 인코더, 정책, 가치 함수의 파라미터이며, \theta_{aux}는 보조 네트워크의 파라미터입니다.

저자들은 네 가지 자기 지도 학습 목적 함수 L_{aux}를 제안합니다:

1. 촉각 재구성 (Tactile Reconstruction, TR): 안정적인 proprioceptive 이력의 특징에 조기에 편향되는 경향을 완화하기 위해, 학습된 다중 모드 표현 z_t로부터 촉각 관찰 o_t^{tact}만을 독점적으로 디코딩하는 목적 함수를 도입합니다. 이진 입력이므로 이진 교차 엔트로피(BCE) 손실을 사용합니다. 접촉 데이터의 희소성을 고려하여 오탐(missed contacts)에 더 큰 패널티를 주기 위해 양성 가중치 p_c=10을 적용합니다. L_{TR} = \text{BCE}(\hat{o}_t^{tact}, o_t^{tact}) = -(p_c \cdot o_t^{tact} \cdot \log(\hat{o}_t^{tact}) + (1 - o_t^{tact}) \cdot \log(1 - \hat{o}_t^{tact}))

2. 전체 재구성 (Full Reconstruction, FR): TR 손실과 연속적인 proprioceptive 관찰 o_t^{prop}에 대한 평균 제곱 오차(MSE) 손실의 합으로 촉각 및 proprioceptive 관찰을 동시에 디코딩하는 표준 재구성 기법입니다. L_{FR} = L_{TR} + \text{MSE}(\hat{o}_t^{prop}, o_t^{prop})

3. 순방향 동역학 (Forward Dynamics, FD): 관찰을 예측 가능한 표현으로 추출하도록 장려하기 위해 다단계 순방향 동역학을 사용합니다. 현재 잠재 상태 z_t와 행동 a_t가 주어졌을 때, 순방향 모델 f는 다음 잠재 상태 \hat{z}_{t+1} = f(z_t, a_t)를 예측합니다. 이 예측은 자기 회귀적으로 전체 시퀀스를 예측하는 데 사용됩니다. 안정적인 학습 신호를 위해, 예측은 실제 인코더 e의 지수 이동 평균(EMA)으로 유지되는 타겟 인코더 e_T로 생성된 타겟 잠재 상태 z_{t+i}^T = e_T(o_{t+i})와 비교됩니다. L_{FD} = \sum_{i=1}^{n-1}\text{MSE}\left(p(\hat{z}_{t+i}), z_{t+i}^T\right)

4. 촉각 순방향 동역학 (Tactile Forward Dynamics, TFD): 학습된 동역학 잠재 공간이 촉각 동역학도 모델링하도록 보장하기 위해 FD 손실에 미래 촉각 관찰을 재구성하는 TR 손실을 추가합니다. L_{TFD} = L_{FD} + \sum_{i=1}^{n-1}\text{BCE}(\hat{o}_{t+i}^{tact}, o_{t+i}^{tact})

또한, 본 논문은 자기 지도 학습 메모리를 on-policy 메모리로부터 분리하여 보조 업데이트를 안정화하고 더 넓은 데이터 분포에서 최적화함으로써 성능을 향상시킬 수 있음을 보여줍니다. 이는 특히 복잡한 Baoding 작업에서 상당한 성능 개선을 가져왔습니다.

실험 결과 및 결론

실험은 Isaac Lab에서 구현된 세 가지 맞춤형 로봇 조작 작업(Find, Bounce, Baoding)으로 구성된 새로운 벤치마크인 Robot Tactile Olympiad (RoTO)에서 수행되었습니다. 주요 결과는 다음과 같습니다: * 희소한 이진 촉각 신호가 proprioceptive 이력만으로는 달성할 수 없는 정교함을 제공함을 입증했습니다. 특히, 로봇과 객체 간의 비동기적 움직임, 낮은 관성 객체, 접촉 공간 모호성, 다중 접촉 해상도와 같이 proprioceptive 제어 오류로는 모든 환경 동역학을 신뢰성 있게 등록할 수 없는 시나리오에서 촉각 정보의 중요성을 강조합니다. * 제한된 감각 설정(proprioception 및 17개의 이진 접촉)만으로 복잡한 접촉 작업에서 인간 초월적인(superhuman) 시뮬레이션된 정교함을 달성했습니다. * 제안된 네 가지 SSL 목적 함수 중에서 순방향 동역학(FD)이 가장 효과적이며, 객체 위치와 속도를 인코딩하는 표현을 생성함을 입증했습니다. * SSL 훈련 데이터를 on-policy 메모리로부터 분리하는 것이 성능을 향상시킬 수 있음을 보여주며, off-policy 경험 활용 가능성을 제시했습니다.

본 연구는 촉각 기반 RL의 일관되지 않은 효용성 문제를 해결하고, 실제 로봇 조작에 촉각 센싱을 효과적으로 통합하기 위한 실용적인 방법론을 제시합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

들어가며: 왜 촉각인가?

로봇 매니퓰레이션 분야에서 우리는 오랫동안 “비전(vision)”에 의존해왔습니다. RGB 카메라, 뎁스 센서, 포인트클라우드… 이 모든 시각적 정보가 로봇의 눈이 되어왔죠. 하지만 한 번 생각해보세요. 인간이 어두운 방에서 열쇠를 찾거나, 주머니 속에서 동전을 구별하거나, 연약한 계란을 깨지 않고 집을 때—우리는 눈이 아닌 손끝의 촉각에 의존합니다.

Edinburgh 대학의 Elle Miller 연구팀은 이 근본적인 질문에서 출발합니다: “로봇이 진정으로 인간처럼 섬세한 조작을 수행하려면, 단순히 보는 것을 넘어 느낄 수 있어야 하지 않을까?”

이 논문은 촉각 기반 강화학습(Tactile-based RL)의 잠재력을 극대화하기 위한 자기지도학습(Self-Supervised Learning, SSL) 방법론을 제안하고, 기존 연구들에서 보고된 촉각 센싱의 불일치한 효과에 대한 명확한 해답을 제시합니다. 더 나아가, 공 바운싱과 Baoding ball 회전이라는 고난도 접촉 태스크에서 인간을 초월하는(superhuman) 손재주를 시연하며, 촉각 조작 연구를 위한 새로운 벤치마크 Robot Tactile Olympiad (RoTO)를 공개합니다.

---

1. 연구 배경: 촉각 RL의 현주소와 해결되지 않은 문제들

1.1 왜 촉각 기반 RL인가?

매니퓰레이션(manipulation)의 정의 자체가 “선택적 접촉을 통한 제어”입니다. 물체를 잡고, 놓고, 돌리고, 조작하는 모든 과정은 접촉을 기반으로 합니다. 그럼에도 불구하고, 현재 대부분의 손재주 있는(dexterous) 로봇 시스템은 다음과 같은 한계에 직면해 있습니다:

1. 이상화된 상태 정보에 대한 의존: OpenAI의 유명한 in-hand manipulation 연구는 물체와 손가락 위치 추정을 위해 무려 19대의 카메라를 사용했습니다. 실제 환경에서 이런 설정은 비현실적입니다.

2. Teacher-Student 네트워크의 한계: 많은 연구들이 시뮬레이션에서 privileged information(특권 정보)으로 teacher를 학습시키고, 이를 sensory-only student로 증류(distillation)하는 방식을 사용합니다. 하지만 이는 감각 데이터만으로 충분한 제어가 가능하다는 가정을 검증하지 않습니다.

3. 촉각 데이터의 수집 어려움: 시연 데이터 수집 시 촉각 정보를 함께 기록하기가 어렵기 때문에, 강화학습이 촉각 기반 매니퓰레이션의 주요 후보로 떠오릅니다.

1.2 기존 연구의 모순된 결과들

촉각 기반 RL에 대한 10년 이상의 연구에도 불구하고, 그 효과에 대한 문헌의 증거는 모순적입니다:

• 긍정적 결과: 일부 연구들은 촉각 정보 추가 시 성능 향상을 보고
• 부정적/중립적 결과: 다른 연구들은 촉각 추가가 별다른 이점이 없거나 심지어 성능을 저하시킨다고 보고
• 극단적 주장: Qi et al. (2023)은 binary contacts가 이미 proprioceptive history에 암묵적으로 포함되어 있다고 주장하기도 했습니다

이런 모순의 원인은 무엇일까요?

1.3 핵심 가설: 촉각 데이터의 독특한 특성

Miller 연구팀은 이 모순의 원인이 촉각 피드백이 deep RL에 제시하는 고유한 데이터 특성에 있다고 가설을 세웁니다:

1. 희소성(Sparsity): 촉각 측정값은 접촉 시에만 존재하고, 대부분의 시간은 0입니다
2. 비연속성(Non-smoothness): 접촉/비접촉의 급격한 전환으로 인한 불균형 데이터셋
3. 학습 불안정성: 연속적인 proprioceptive 신호에 비해 학습하기 어려움

결과적으로, deep RL 에이전트가 원시 촉각 데이터에서 유용한 표현을 추출하는 데 어려움을 겪어, 연속적인 proprioceptive 신호에만 의존하는 차선의 정책으로 조기 수렴하게 됩니다.

---

2. 제안 방법론: 자기지도학습으로 촉각 표현 강화하기

2.1 문제 설정: 부분 관측 MDP

연구팀은 특수한 형태의 Partially-Observable MDP (POMDP)를 정의합니다:

• 관측(Observation): k-timestep 히스토리의 멀티모달 센서 판독값
  • Proprioceptive: 관절 각도(θ), 관절 속도(θ̇), 이전 행동(a_{t-1}), 엔드이펙터 포즈
  • Tactile: Binary contacts b ∈ {0, 1}^{N_sensors}

핵심은 비전이나 privileged information 없이, 오직 고유수용감각(proprioception)과 sparse binary contacts만 사용한다는 점입니다. 이는 의도적인 설계 선택인데:

1. Sim-to-real 갭 최소화: Binary contact는 연속 측정값의 센서 노이즈 문제를 회피
2. 확장성: 가장 단순하고 저렴한 촉각 설정
3. 순수 촉각 효과 검증: 비전 등 보완 모달리티의 간섭 배제

2.2 네트워크 아키텍처

에이전트는 세 개의 MLP로 구성됩니다:

Observation Encoder (e): o_t → 1024 → 512 → 256 → z_t Policy (π): z_t → 128 → 64 → a_t Value Function (v): z_t → 128 → 64 → V(o_t)

PPO(Proximal Policy Optimization)의 클립 변형을 사용하며, 자기지도 보조 손실(L_aux)로 표현 학습을 강화합니다:

L = L_PPO(θ_e, θ_π, θ_v) + c_aux · L_aux(θ_e, θ_aux)

2.3 네 가지 자기지도 목적함수

연구팀은 촉각 에이전트를 위한 4가지 SSL 목적함수를 제안하고 분석합니다:

2.3.1 Tactile Reconstruction (TR)

핵심 아이디어: Gradient 기반 최적화가 안정적인 proprioceptive history의 특징을 선호하여 복잡한 촉각 입력을 무시하는 경향을 완화

구현: - 학습된 멀티모달 표현 z_t에서 촉각 관측 o^{tact}_t만을 디코딩 - Binary 입력이므로 Binary Cross-Entropy(BCE) 손실 사용 - 중요: 희소한 binary contact 데이터의 불균형을 해소하기 위해 positive weighting p_c = 10 적용 (false negative 페널티 강화)

L_TR = BCE(ô^{tact}_t, o^{tact}_t) = -(p_c · o^{tact}_t · log(ô^{tact}_t) + (1 - o^{tact}_t) · log(1 - ô^{tact}_t))

2.3.2 Full Reconstruction (FR)

비교 기준선: 촉각과 proprioceptive 관측을 동시에 디코딩

L_FR = L_TR + MSE(ô^{prop}_t, o^{prop}_t)

2.3.3 Forward Dynamics (FD)

핵심 아이디어: 상태 전이에서 물체 속도나 마찰 같은 중요한 특징을 인코딩하도록 유도

구현: - 현재 관측에서 미래 여러 timestep의 표현을 예측하도록 인코더 학습 - 메모리에서 길이 n의 시퀀스 (o_t, a_t, …, o_{t+n-1}, a_{t+n-1}) 샘플링 - Forward model f가 자기회귀적으로 미래 latent state 예측 - Target encoder: 실제 인코더의 EMA(Exponential Moving Average)로 안정적 학습 신호 제공 - Projector: 예측 학습과 다이나믹스 학습을 분리하기 위해 비선형 프로젝션 적용

L_FD = Σ_{i=1}^{n-1} MSE(p(ẑ_{t+i}), z^T_{t+i})

2.3.4 Tactile Forward Dynamics (TFD)

핵심 아이디어: 학습된 dynamics latent space가 촉각 dynamics도 모델링하도록 보장

구현: Forward dynamics 손실에 미래 촉각 상태 재구성 손실 추가

L_TD = L_FD + Σ_{i=1}^{n-1} BCE(ô^{tact}_{t+i}, o^{tact}_{t+i})

2.4 분리된 보조 메모리 (Separated Auxiliary Memory)

On-policy RL과 보조 목적함수를 동일한 rollout 데이터에서 공동 최적화할 때, 학습 데이터의 급격한 변화가 보조 손실에 작은 스파이크를 유발합니다.

제안 해결책: - 보조 태스크용 데이터를 더 큰 별도 버퍼에 저장 - 버퍼 크기: [N_rollouts, B, R, …] (기존 on-policy 메모리의 N_rollouts 배)

기대 효과: 1. 보조 업데이트 안정화 2. 더 넓은 데이터 분포에서 최적화

---

3. Robot Tactile Olympiad (RoTO) 벤치마크

3.1 설계 철학

연구팀은 촉각 기반 매니퓰레이션 연구를 위한 표준화된 벤치마크 RoTO를 Isaac Lab에서 구현하여 공개합니다. 세 가지 태스크는 다양한 촉각 상호작용 패턴을 포괄하도록 설계되었습니다:

태스크	상호작용 패턴	로봇	촉각 센서 수
Find	Sparse (희소)	Franka	2
Bounce	Intermittent (간헐적)	Shadow Hand	17
Baoding	Sustained (지속적)	Shadow Hand	17

3.2 Find 태스크

목표: 20cm × 20cm 영역 내에서 고정된 구체를 찾기 (300 timesteps = 5초)

설정: - Franka 로봇 사용, 행동 공간 a_t ∈ ℝ^9 - 손가락에 2개의 촉각 센서 부착 - 관측 히스토리 길이 k = 16

보상: - r_dist: 물체와 엔드이펙터 거리가 가까워질수록 증가

3.3 Bounce 태스크

목표: 10초(600 timesteps) 동안 공을 최대한 많이 바운스

설정: - Shadow Hand 사용, 행동 공간 a_t ∈ ℝ^20 - 각 링크가 촉각 센서 역할 (17개) - 관측 히스토리 길이 k = 4 - 공 특성: 70mm 직경, 30g (사무용 스트레스볼 기준)

바운스 정의: 최소 5 timesteps(~83ms) 접촉 없는 기간 후의 접촉 이벤트

보상: - r_air: 접촉 없는 시간에 비례 - r_bounce: 성공적 바운스 시 보너스 - r_fall: 공이 24cm 이상 벗어나면 페널티

인간 기록: 기네스 세계 기록은 60초에 353회 → 10초에 약 59회

3.4 Baoding 태스크

목표: 10초(600 timesteps) 동안 두 개의 Baoding ball을 손 안에서 최대한 많이 회전

설정: - Shadow Hand 사용 - 볼 특성: 1.5인치 직경, 55g

회전 정의: 각 공이 초기 위치로 돌아오면 1회전 - 가상 타겟 설정: 두 공의 중심이 타겟 중심에서 1.0cm 이내면 타겟 전환 및 보너스

보상: - r_dist1, r_dist2: 각 공의 타겟 거리 - r_rotation: 성공적 회전 시 보너스 - r_fall: 공 간 거리가 15cm 초과 시 페널티

인간 기록: 온라인에서 찾을 수 있는 가장 빠른 시연은 10초에 13회전

---

4. 실험 결과 및 분석

4.1 실험 설정

하이퍼파라미터 최적화: - 공정한 비교를 위해 모든 환경-방법 조합에 대해 개별 하이퍼파라미터 스윕 수행 - Optuna TPE sampler 사용, 20 trials per sweep - 스윕 파라미터: PPO 관련 (lr, rollout length, minibatches, learning epochs, entropy scale), SSL 관련 (lr_aux, c_aux), dynamics sequence length n

컴퓨팅: 8× NVIDIA RTX A4500, 총 ~1,260 시간

4.2 RL-only 결과: 촉각 정보는 언제 유용한가?

첫 번째 실험은 세 가지 RL-only 에이전트를 비교합니다: 1. Proprioceptive-tactile 2. Proprioceptive-only 3. Proprioceptive-only (마지막 행동 a_{t-1} 제외)

Find 태스크

• Proprioceptive-tactile이 약간의 샘플 효율성 향상만 제공
• 최종 성능은 proprioceptive-only와 동등
• 핵심 발견: Proprioceptive 에이전트의 성공은 마지막 행동(a_{t-1})에 결정적으로 의존
  • 제어 오류를 통한 암묵적 물체 접촉 추론 가능
  • 정책 검사 결과: 충돌 확률을 최대화하는 전략 사용

Bounce 태스크

• 촉각 정보 추가 시 높은 샘플 효율성과 우수한 리턴
• 하지만 proprioceptive-only도 손을 뻗은 상태로 퇴화된, 상태-불가지론적 바운싱 동작으로 높은 리턴 달성

Baoding 태스크

• 촉각 정보의 가장 큰 유용성 입증
• Proprioceptive-only: 완전 실패
• Proprioceptive-tactile: 기능적 성공 (비록 높은 분산)

결론: 촉각 센싱은 태스크에 따라 유용성이 다름. 이는 섹션 4.5의 “왜 촉각인가?” 논의로 이어집니다.

4.3 RL+SSL 결과: 자기지도학습의 효과

네 가지 SSL 목적함수(TR, FR, FD, TFD)를 RL-only 기준선과 비교:

일관된 결과

• TR과 FD가 모든 환경에서 RL-only 기준선을 일관되게 능가

환경별 세부 결과

• Find: FD > TR (proprioceptive 히스토리 압축이 더 중요)
• Bounce: FD ≈ TR (촉각 신호 압축이 주요 이점)
  • TFD는 이 태스크에서 최악의 성능
• Baoding:
  • TR이 더 높은 평균 리턴 (더 좁은 성능 분포 덕분)
  • FD가 더 높은 상한 도달
  • FR이 TR보다 현저히 낮음: Proprioceptive 재구성과 촉각 재구성의 결합이 부정적 간섭 유발
  • TR만이 실패 없는 실행 달성

FR과 TFD의 불일치

• FR, TFD의 성능은 환경에 따라 민감하게 변화
• TFD: Find에서 최고, Bounce에서 최악

4.4 분리된 보조 메모리의 효과

FD 에이전트에 분리된 보조 메모리를 적용한 결과:

태스크	효과
Find	최소
Bounce	최소
Baoding	상당한 개선

해석: Baoding 태스크는 더 긴 시간적 호라이즌의 dynamics에 대한 추론이 필요하며, 두 공의 회전은 바운스나 접촉 이벤트보다 더 많은 timesteps에 걸쳐 일어남.

4.5 물리적 지표로 본 성능

최적화된 에이전트의 물리적 성능:

태스크	지표	RL-only	최고 SSL	인간 기록
Find	물체 발견 시간	1.9초	1.4초 (FD, 36%↓)	2.1초
Bounce	10초당 바운스	69회	79회 (FD, +10회)	59회 (기네스)
Baoding	10초당 회전	5회	17회 (FD+Memory)	13회

Superhuman 성능: - Bounce: 최고 에이전트 88회 (기네스 기록의 ~1.5배) - Baoding: 최고 에이전트 25회 (인간 전문가의 ~2배)

---

5. 심층 논의: 핵심 질문들에 대한 답변

5.1 Q1: Binary contacts는 proprioceptive history를 넘어서는 이점을 제공하는가?

답변: Yes, 하지만 태스크에 따라 다름

연구팀은 명시적 촉각 정보가 유용한 경우를 다음과 같이 정리합니다:

1. 분리된 물체-로봇 dynamics (Decoupled object-robot dynamics)

물체의 움직임이 관절 방향과 직교하는 성분을 가질 때, 접촉이 발생해도 관절 제어 오류가 거의 변화하지 않습니다.

예시: Baoding 태스크에서 공들은 주로 손의 평면을 따라 수평으로 이동하며, 이는 조작에 사용되는 관절 운동과 분리됩니다.

2. 저관성 물체 (Low-inertia objects)

매우 가볍거나 변형 가능한 물체(예: Bounce의 30g 공, 종이, 스펀지)는 접촉 시 충분한 반력을 생성하지 않습니다.

결과: 로봇의 proprioceptive 센서가 유의미한 신호를 등록하지 못해, 신뢰할 수 있는 감지를 위해 명시적 촉각 센싱이 필요합니다.

3. 접촉 공간적 모호성 (Contact spatial ambiguity)

정책이 단일 강체 링크를 따라 접촉의 특정 위치를 알아야 할 때.

문제: 관절 제어 오류는 모터에 대한 순 힘 기여만 제공하므로, 관절에서 힘까지의 거리를 확인하기 어렵습니다.

4. 다중 접촉 해상도 (Multi-contact resolution)

정책이 총 힘 기여의 출처를 구분해야 할 때 (하나의 강한 접촉 vs 여러 약한 동시 접촉).

문제: 제어 오류는 순 힘의 총 크기만 제공하여, 다중 미세 접촉 이벤트 간의 구분을 흐리게 합니다.

5.2 Q2: 자기지도학습이 정확히 어떻게 도움이 되는가?

가설: SSL이 태스크-핵심 정보를 학습된 표현 z_t에 압축하도록 강제함으로써 도움

검증: 축소된 latent 표현 z_t와 ground-truth 상태 변수 벡터 s_t 간의 상호 정보 I(z_t; s_t) 측정

방법론: - KSG(Kraskov-Stoegbauer-Grassberger) 추정기 사용 - 256차원 z_t를 PCA로 D=13 성분으로 축소 (고차원 편향 대응) - K=4 최근접 이웃 사용

Bounce 결과

• 기본 PPO가 가장 높은 I(z_t; s_t) → 반복적, 저엔트로피 동작(공을 가두는)으로 인한 인위적 MI 증가
• 재구성 에이전트: MI ≈ 0
• dynamics 에이전트만 비영 MI 등록

Marginal MI 분석: I(z_t; s_{t,j}) - FD 에이전트: 공의 수직 속도와 위치 정보(x, z 좌표)를 고유하게 인코딩 - 모든 에이전트: 접촉 없는 timesteps 수 복원 - TR, TFD: 공의 수직 속도 추가 복원

Baoding 결과

• MI 분포가 성능 분포와 더 밀접하게 일치
• FD 에이전트가 PPO의 거의 3배 MI 포착

Marginal MI 분석: - FD만 비영 marginals 달성 - 공 위치 인코딩 우선순위: x (손과 평행) > y (손에 수직) > z

5.3 Q3: 자기지도학습이 proprioceptive, tactile, 또는 결합 표현을 강화하는가?

재구성 목적함수

• Find: FR > TR → proprioceptive 히스토리 압축이 더 유익 (제어 오류로 물체 감지에 더 의존)
• Bounce: FR ≈ TR → 촉각 신호 압축이 주요 이점
• Baoding: TR >> FR → proprioceptive + tactile 재구성 결합이 부정적 간섭 유발
  • TR만이 실패 없는 실행 달성
  • 에이전트 실패가 촉각 정보의 견고한 표현 불능과 직접 연결

Dynamics 목적함수

• TFD vs FD 비교: 결합 표현에서 forward dynamics + 예측 latent state의 촉각 재구성 손실
• Find: TFD 약간 유익 → 손실 조합이 유용할 수 있음
• Bounce, Baoding: TFD가 FD보다 저조

해석: 1. FD가 결합 표현에서 필요한 촉각 정보를 암묵적으로 포착할 정도로 견고 2. 명시적 재구성 손실이 바람직하지 않은 학습 충돌을 유발

5.4 Q4: Forward model은 촉각 상호작용의 dynamics를 얼마나 잘 학습하는가?

답변: 매우 잘 학습함

연구팀은 미래 최대 10 timesteps까지의 촉각 상태 예측에 대한 분류 지표를 분석합니다:

핵심 발견

• True positive rate: ~99% (Baoding), ~90-99% (Bounce)
• False negative rate < 1% (높은 positive weighting 덕분)
• 다소 과예측 경향 (과소예측보다)

흥미로운 관찰

• Bounce o_7: 접촉 없는 관측에서 디코더가 다음 상태의 접촉을 정확히 예측 (위치는 다소 부정확)
  • 이는 표현이 공의 z 위치와 속도 성분을 인코딩하고 있음을 시사
• Baoding: 일부 false positive 예측이 단지 1 timestep 빠름 (정확하지만 타이밍만 차이)

5.5 Q5: On-policy 에이전트가 off-policy 데이터에서 표현을 학습하면 이점이 있는가?

답변: Yes, 효과는 태스크에 따라 다름

• Find, Bounce: 최소 효과
• Baoding: 상당한 개선

해석: Baoding의 회전 태스크가 더 긴 시간적 호라이즌에 걸친 추론을 요구하기 때문

연구 방향 시사점: Off-policy 데이터를 on-policy 학습 파이프라인에 통합하는 것이 유망한 연구 방향

---

6. 표현 분석: Latent Trajectory 시각화

연구팀은 각 에이전트의 latent 표현 z_t를 PCA로 2D로 축소하여 단일 에피소드의 궤적을 시각화합니다.

Baoding

RL-only

• 고리 형태 궤적: 반복적 동작 반영
• 반회전 간 접촉 활성화의 대칭성 (두 촉각 피크)

TR (Tactile Reconstruction)

• 하트 형태, 확산된 궤적: 각 회전이 약간씩 다름
• 반회전 간 접촉 활성화의 비대칭성
• 정책: FD처럼 부드럽지만 RL-only처럼 공을 가깝게 유지

FD (Forward Dynamics)

• 더 타이트한 고리 형태: RL-only보다 좁은 경계
• 반회전 간 접촉 활성화의 비대칭성

Bounce

RL-only

• 순차적 latent 상태가 고도로 불연속적이고 멀리 떨어짐
• 에이전트가 높은 정밀도로 동일한 동작 반복
• 최대 6개 활성화의 비영 촉각 관측 영역 두 곳 (검지와 소지로 공 안정화)

SSL 에이전트

• 완전히 다른 궤적: 1-2개 접촉만 주로 사용하는 다른 보행으로 전환
• 순차 상태가 여전히 다양한 영역에 분포하지만, 영역이 훨씬 확산됨

---

7. 한계점 및 향후 연구 방향

7.1 주요 한계

실제 하드웨어 검증 부재

• 모든 결과는 시뮬레이션 환경(Isaac Lab)에서 도출
• 완화 전략: Sparse binary contact 신호에 집중하여 연속 센서 노이즈의 주요 복잡성 회피

계산 시간 증가

• SSL 에이전트 학습은 RL-only보다 더 많은 계산 시간 소요
• 재구성은 영향이 적지만, forward dynamics의 sequence length n이 높을수록 극적으로 증가

추가 메모리 요구

• 분리된 보조 메모리 사용 시 더 많은 메모리 필요

7.2 Sim-to-Real 전이 가능성

연구팀은 핵심 기여가 최적화 전략이라고 강조합니다: - 우수하고 구별되는 정책을 산출하는 전략 - 이점은 전이 가능해야 함 (RL-only 에이전트의 최종 sim-to-real 갭이 연결될 수 있다면)

7.3 일반화 기대

• 다른 환경 도메인(예: locomotion)에 접근법을 적용해도 유사한 결과가 예상됨

---

8. 실용적 권장사항

연구팀은 발견을 두 가지 권장사항으로 압축합니다:

권장사항 1: SSL과 공동 학습

촉각 기반 RL 에이전트를 tactile reconstruction 또는 forward dynamics와 분리된 보조 메모리로 공동 학습하세요.

유사한 설정에서 작업하고 더 높은 (그리고 잠재적으로 더 신뢰할 수 있는) 리턴 분포를 원한다면.

권장사항 2: 단순한 촉각 표현부터 시작

처음에는 더 단순한 촉각 정보 형식(binary, continuous, contact pose)을 구현하고, 필요한 경우에만 픽셀 기반 촉각 표현으로 전환하세요.

• 증가된 감각 정보가 이론적으로 유리하지만, 상당한 계산 비용 수반
• 통계적으로 더 어려움: Z^{N_sensors} 공간의 함수가 {0,1}^{N_sensors}보다 훨씬 큼
• 픽셀 기반 신호의 대역폭이 Isaac Lab 등에서 병렬 환경 수를 직접 제한
• 본 연구가 binary 촉각 관측의 예상치 못한 효능을 밝혔으므로, 이를 우선 활용

---

9. 이 논문의 의의와 로봇공학에 대한 시사점

9.1 학술적 기여

1. 촉각 RL의 모순적 결과에 대한 명확한 설명: 촉각 데이터의 희소성과 비연속성이 학습을 어렵게 만들며, SSL이 이를 완화할 수 있음을 실증

2. 촉각 유용성의 조건 규명: 단순히 “촉각이 좋다/나쁘다”가 아니라, 언제, 왜 유용한지를 네 가지 조건으로 명확히 정리

3. 새로운 벤치마크 제공: RoTO가 촉각 기반 매니퓰레이션 연구의 표준화와 재현성을 촉진할 것으로 기대

4. Off-policy 데이터 활용 가능성: On-policy 학습에서 off-policy 데이터를 표현 학습에 활용하는 새로운 연구 방향 제시

9.2 실용적 시사점

센서 설계 관점

• 고해상도 visuotactile 센서가 항상 필요한 것은 아님
• Binary contact 센서만으로도 superhuman 손재주 달성 가능
• 비용 효율적인 촉각 시스템 설계의 가능성

학습 알고리즘 관점

• End-to-end RL만으로는 촉각 데이터의 가치를 완전히 활용하기 어려움
• 표현 학습 보조 목적함수가 필수적
• Forward dynamics가 특히 효과적

Sim-to-Real 관점

• Binary contact에 집중함으로써 sim-to-real 갭을 최소화하는 전략 제시
• 연속 센서 노이즈 모델링의 복잡성 회피

9.3 미래 연구 방향

1. 실제 로봇 검증: Shadow Hand 또는 유사한 dexterous hand에서의 sim-to-real 전이 연구

2. 멀티모달 통합: 비전과 촉각을 함께 사용할 때의 SSL 전략

3. 연속 촉각 신호: Binary를 넘어 연속적인 압력/전단력 정보 활용 시의 SSL 접근법

4. 계층적 학습: 장기 조작 태스크에서 촉각 기반 스킬 학습과 조합

---

10. 마치며

Elle Miller 연구팀의 이 논문은 촉각 기반 강화학습 분야의 중요한 이정표입니다. 10년 이상 축적된 모순적 연구 결과들에 명확한 해석을 제공하고, 실용적인 해결책을 제시했습니다.

특히 인상적인 것은:

1. 단순함의 힘: 복잡한 고해상도 촉각 센서가 아닌 단순한 binary contact로 superhuman 성능 달성
2. 명확한 분석: 촉각이 “왜” 그리고 “언제” 필요한지에 대한 체계적 분석
3. 재현 가능성: RoTO 벤치마크와 코드 공개로 후속 연구 촉진

로봇이 진정으로 인간처럼 섬세한 조작을 수행하려면, 보는 것을 넘어 느끼는 것이 필요합니다. 이 논문은 그 방향으로 가는 중요한 한 걸음입니다.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

배경 및 동기

로봇이 인간처럼 섬세한 조작 능력을 발휘하려면 시각에 의존하는 수준을 넘어 환경을 “느낄” 수 있어야 한다. 예를 들어, 간호 로봇이 환자를 부드럽게 부축하거나, 장애인을 돕는 로봇 팔이 칫솔질을 도울 때, 로봇이 단순히 카메라 영상만 보는 것으로는 안전하고 정교한 동작을 보장하기 어렵다. 이러한 촉각 센싱(tactile sensing) 능력은 로봇이 물체와 접촉하는 미세한 상호작용을 감지하여 보다 인간에 가까운 섬세한 제어를 가능하게 한다. 그러나 지금까지 로봇 조작 분야에서 이상적인 상태 정보(예: 물체의 정확한 위치나 접촉 지점) 없이 순수하게 센서 정보만으로 고난도 작업을 달성하는 것은 큰 도전이었다. 과거 연구에서는 물체와 손가락 위치 추정을 위해 19대의 카메라를 활용하는 극단적인 사례도 있었다. 이는 현실적으로 매우 비효율적이기 때문에, 강화학습(Reinforcement Learning, RL)을 통해 로봇이 직접 촉각 정보를 사용하여 학습하도록 하는 접근이 주목받고 있다.

강화학습은 최근 로봇 보행 등에서 큰 성공을 거두었지만, 로봇 조작(manipulation) 분야에서는 아직 시각 기반 접근에 많이 의존하고 있다. 특히 기존의 조작 강화학습 연구들은 시뮬레이션의 한계와 복잡한 보상 설계 문제, 그리고 무엇보다 이상적인 상태 정보에의 과도한 의존 때문에 한계를 보였다. 본 리뷰의 대상인 Miller 등(2025)의 논문 “Enhancing Tactile-based Reinforcement Learning for Robotic Control”에서는 이러한 한계를 촉각 데이터로 극복하고자 한다. 저자들은 “조작(manipulation)은 본질적으로 선택적 접촉을 통한 제어”라는 관점에서, 촉각 센싱만으로도 물체의 위치와 동작을 충분히 파악하여 조작할 수 있다고 주장한다. 다시 말해, 로봇의 관절 센서 정보(고유 감각)와 이진 접촉 신호만 가지고도 시각이나 정확한 위치정보 없이 작업을 학습할 수 있다는 것이다.

지난 10여 년간 촉각 기반 RL에 대한 관심이 꾸준히 있었으나, 뚜렷한 돌파구는 나타나지 않았다. 선행 연구들을 보면 일관되지 않은 결과들이 보고되었는데, 어떤 연구는 촉각 정보를 추가하면 성능이 약간 향상된다고 한 반면, 다른 연구들은 거의 차이가 없거나 촉각 없이도 충분하다는 주장을 내놓았다. 예를 들어 Melnik 등(2021)과 Merzic 등(2019)은 촉각이 약간의 이득을 준다고 보고했지만, Vulin 등(2021)이나 Hansen 등(2022)은 촉각 추가에 유의미한 이득이 없었다고 한다. 심지어 Qi 등(2023)은 “관절 움직임 기록만으로도 이미 이진 접촉 정보가 함축되어 있다”며 촉각 센서의 필요성을 낮게 평가하기도 했다. 이러한 엇갈린 결과의 원인으로, 저자들은 촉각 데이터의 특성에 주목한다. 촉각 신호는 스파스(sparse)하게 발생하고 접촉 시에만 불연속적으로 튀어나오는 경향이 있어, 연속적으로 변하는 관절 정보에 비해 학습이 어렵고 불안정할 수 있다. 그 결과, 일반적인 딥 RL 에이전트는 원시 촉각 신호로부터 의미 있는 표현을 뽑아내지 못하고, 안정적인 관절 감각에만 의존하는 서브옵티멀 정책에 빠르게 수렴해버릴 우려가 있다.

이 문제를 해결하기 위해, 논문 저자들은 자기 지도 학습(Self-Supervised Learning, SSL)을 도입하여 에이전트의 관찰 인코딩(Observation Representation) 학습을 도와주고자 한다. 자기 지도 학습이란 추가적인 외부 감독 신호 없이, 데이터 자체에서 정의한 보조 과제(auxiliary task)를 통해 표현 학습을 수행하는 기법이다. 과거에도 몇몇 연구에서 촉각 신호에 대한 SSL 시도를 하긴 했습니다. 예를 들어, 시각-촉각 복합 입력에 이미지 증강을 적용하거나, 마스크 복원(masked reconstruction) 방법으로 촉각 이미지를 재구성하는 시도를 한 바 있습니다. 그러나 이러한 기존 방법들은 상태 변화의 핵심 특징(예: 물체의 속도나 마찰 정보 등)을 잠재 표현에 충분히 담지 못했고, 복잡한 제어에 필요한 정보를 인코딩하는 데 한계가 있었다고 저자들은 지적합니다.

이에 본 논문의 중심 목표는 다양한 로봇 제어 과제에서 촉각 관찰을 효과적으로 활용할 수 있는 범용적인 SSL 방법론을 개발하는 것이었습니다. 이를 위해 시각 또는 심도 카메라 등의 다른 감각은 아예 배제하고 촉각에만 집중하였으며, 현실 적용을 염두에 두고 가장 단순하고 저렴한 형태의 촉각 센서 세팅인 스파스 이진 접촉(binary contact) 정보에 초점을 맞추었습니다. 이진 접촉 신호란 말 그대로 각 촉각 센서 지점에서 접촉이 있으면 1, 없으면 0으로 표시하는 형태입니다. 이러한 단순화는 연속적인 촉각 값에 비해 시뮬레이션-현실 간 차이를 줄여주고, 고가의 센서 없이도 구현 가능하다는 장점이 있습니다. 또한 저자들은 교사-학생 네트워크(privileged teacher-student imitation)처럼 이상적인 정보를 모방하는 간접 방식 대신, 온전히 센서 데이터로부터 직접 정책을 학습하는 접근을 택했습니다. 요컨대, 전적으로 로봇의 “감각”만으로 학습하여 이상적인 상태 정보 없이도 충분한 제어 성능을 낼 수 있음을 보여주는 것이 본 연구의 큰 그림입니다.

문제 정의 및 강화학습 설정

이 논문에서 다루는 문제는 부분 관측 마코프 결정 과정(Partially-Observable Markov Decision Process, POMDP)으로 공식화됩니다. 로봇은 환경의 완전한 상태를 직접 관측할 수 없고, 대신 제한된 센서 정보의 이력만을 관찰로 얻습니다. 구체적으로, 시각은 제외하고 로봇 관절 데이터(프리오프리셉션)와 촉각 센서 데이터의 최근 k 스텝 히스토리 o_t = \[o_{t-k+1}, \..., o_t\]를 하나의 관찰로 받아들이는 구조입니다. 관절 데이터에는 관절 각도, 관절 속도, 그리고 바로 이전 타임스텝의 실행 액션 등이 포함되고, 촉각 데이터는 다수의 접촉 센서들에서 발생한 이진 접촉 신호들입니다. 이 관찰 히스토리를 통해 현재 상태에 대한 단서를 얻고, 에이전트(policy \pi_\theta)는 그 정보를 기반으로 다음 행동 a_t를 선택하여 환경과 상호작용합니다. 이렇게 부분 관측 환경에서 과거 몇 스텝의 데이터를 쌓아 쓰는 것은, 현재 순간에 감지되지 않는 물체의 운동 등을 이력 정보로 보완하기 위함입니다.

실험에서는 대표적인 근접 센서/촉각 장착 로봇으로서 프랑카(Franka) 암과 섀도우 핸드(Shadow Hand)를 사용합니다. 프랑카 암은 7자유도 로봇팔로, 손가락 말단에 간단한 촉각 패드(이진 접촉 센서) 2개를 부착한 설정이고, 섀도우 핸드는 인간 손과 유사한 20자유도 로봇 손으로 손가락 마디 및 손바닥 등 총 17곳에 접촉 센서가 분포된 것으로 모델링했습니다. 관찰 히스토리 길이 k는 실험 과제에 따라 적절히 설정되어, 필요에 따라 수백 밀리초 이내의 최근 센서 정보를 통합하도록 했습니다. 이러한 설정에서 이상적인 물체 위치나 시각 정보는 전혀 사용되지 않으며, 오직 로봇 자신의 관절 및 촉각 센서 정보만으로 학습이 이뤄집니다.

학습 알고리즘으로 저자들은 PPO(Proximal Policy Optimization) 기반의 on-policy 강화학습을 사용했습니다. 다만 기본 PPO 구현에 몇 가지 커스터마이즈를 했는데, 바로 다중 환경 병렬 학습(수천 개의 시뮬레이션 환경 병렬 실행)과 관찰 히스토리 스태킹, 그리고 본 논문의 핵심인 자기지도 보조 손실(SSL) 통합 등이 적용되었습니다. 특히 4096개의 병렬 환경에서 학습하고 100개의 환경으로 평가하는 등 대규모 병렬화를 통해 샘플 효율을 높였으며, 각 기법의 효과를 제대로 비교하기 위해 환경 및 기법별로 세밀한 하이퍼파라미터 튜닝(Optuna 기반 랜덤 탐색 20회)이 수행되었습니다. 학습에는 8개의 GPU와 상당한 시간(각 실험 약 60시간 × 여러 조건)이 투입되었는데, 이는 복잡한 촉각 시뮬레이션과 다중 병렬 환경으로 인한 높은 연산 부하 때문입니다.

모델 구성 및 자기 지도 학습 기법

본 연구의 에이전트 구조는 멀티모달 관찰 인코더와 정책으로 구성됩니다. 먼저 로봇의 관절 상태+촉각 히스토리 관찰 o_t가 인코더 네트워크 f_\phi에 입력되어 잠재 표현 z_t로 변환됩니다. 이 z_t는 저차원 상태 표현으로, 이후 정책 네트워크 \pi_\theta(z_t)와 가치함수 V_\psi(z_t)의 입력으로 사용되어 행동을 결정합니다. 기본적으로 \pi_\theta와 V_\psi는 PPO로 학습되며, 이때 인코더 f_\phi도 정책 그라디언트와 가치 손실에 의해 같이 업데이트됩니다. 여기에 더해, 저자들은 인코더 f_\phi가 보다 유용한 특징을 추출하도록 돕기 위해 4가지 자기 지도 학습(SSL) 보조 과제를 추가했습니다. 이러한 보조 과제들은 인코더 출력 z_t에 대해 별도의 보조 네트워크들을 이용해 정의되며, 인코더 파라미터 \phi는 이 보조 과제 손실도 함께 최소화하도록 학습됩니다. 보조 과제에서 사용하는 보조 네트워크들은 학습 후 폐기되며 실제 정책 실행 시에는 사용되지 않습니다.

제안된 자기 지도 학습 목표들 (SSL Objectives)

저자들은 촉각 기반 에이전트를 위한 네 가지의 SSL 보조 목표를 제안하고 비교했습니다. 아래는 각 목표와 그 목적 함수에 대한 설명입니다:

1. 촉각 재구성 (Tactile Reconstruction, TR): 인코더 f_\phi가 출력한 잠재 표현 z_t에서 현재 촉각 관찰 o_t^{tactile}을 복원하도록 학습합니다. 구체적으로 z_t를 입력으로 디코더 네트워크 g_{TR}를 통과시켜 원래 촉각 센서들의 이진 접촉 신호 분포 \hat{o}_t^{tactile}를 예측하고, 실제 접촉 신호 o_t^{tactile}와 비교하여 이진 크로스엔트로피(Binary Cross-Entropy) 손실를 계산합니다. 촉각 신호는 접촉이 드문드문 발생하기 때문에 대부분 0으로 채워진 희소 벡터인데, 학습 시 거짓 음성(false negative), 즉 실제 접촉을 놓치는 경우를 특히 크게 패널티 주어야 의미 있는 표현이 학습될 수 있습니다. 따라서 양성(접촉) 사례에 대한 가중치를 높여 놓침을 최소화하도록 설계했습니다. 이 목표를 통해 인코더가 촉각 정보를 버리지 않고 잠재 표현에 보존하도록 유도합니다.

2. 전체 관찰 재구성 (Full Reconstruction, FR): 이것은 위의 TR을 확장하여, 잠재 표현 z_t로부터 로봇 관절(Proprioception)과 촉각 모두를 복원하도록 하는 과제입니다. 별도의 디코더 g_{FR}가 z_t로부터 관절 상태 \hat{o}_t^{prop}와 촉각 \hat{o}_t^{tactile}를 동시에 예측하게 하며, 손실 함수는 촉각 부분의 BCE 손실 + 관절 연속값에 대한 평균제곱오차(MSE)의 합으로 구성됩니다. 이 방법은 인코더에 전체 관찰의 정보 보존을 요구하기 때문에 표면적으로는 가장 많은 정보를 압축하는 목표입니다. 다만, 모든 정보를 재구성하려다 보면 정책에 불필요한 세부사항까지 표현에 남아 있을 수 있다는 우려도 있습니다.

3. 전방 동역학 예측 (Forward Dynamics, FD): 인코더 표현이 미래 상태를 예측할 수 있도록 학습하는 방법입니다. 이는 강화학습 연구에서 자주 쓰이는 다중 스텝 forward model 아이디어를 촉각 환경에 적용한 것으로, z_t에서 시작하여 앞으로 n 스텝 후의 잠재 표현들을 순차적으로 예측하도록 합니다. 구체적으로 현재 잠재 상태 z_t와 액션 a_t를 입력으로 1-step 예측 모델 h_{\theta}가 다음 잠재 상태 \hat{z}*{t+1}을 예측하고, 이를 다시 입력 삼아 a*}와 함께 \hat{z*{t+2}를 예측하는 식으로 오토리그레시브하게 n단계 미래까지 예측합니다. 예측의 목표치는 인코더의 타깃 네트워크 f*입니다. 예측 정확도를 높이기 위해, 예측 출력에 한 번 더 }}}$ (인코더의 파라미터 EMA 복사본)에 의해 계산된 실제 미래 잠재표현 $z_{t+k비선형 투영(projection) p(\cdot)을 적용한 뒤 이와 타깃 표현 z_{t+k}^{tgt} 사이의 Mean Squared Error 손실을 누적합산하여 FD 손실로 삼습니다. 간단히 말해, 인코더 표현 z_t가 향후 몇 스텝의 동적인 변화를 설명할 수 있도록 훈련시키는 것입니다. 저자들은 이러한 다단계 동역학 예측이 특히 촉각 정보를 활용한 환경에서 유용할 것으로 보고, 핵심 SSL 기법으로 강조했습니다.

4. 촉각 조건 전방 예측 (Tactile Forward Dynamics, TFD): 이것은 FD와 TR을 결합한 새로운 제안입니다. FD에서는 잠재 상태만 정확히 예측하면 되지만, TFD에서는 예측한 잠재 상태로부터 다시 촉각 신호를 복원하는 과정을 추가합니다. 즉 한 스텝 미래를 예측한 \hat{z}*{t+1}를 디코더를 통해 \hat{o}*과 비교하여 }^{tactile}$로 변환하고 실제 접촉 신호 $o_{t+1}^{tactileBCE 재구성 손실을 계산합니다. 이 tactile 재구성 손실을 기존 FD 손실에 더하여 TFD의 최종 손실로 만듭니다. 이렇게 함으로써 미래 예측과 촉각 세부정보 복원을 동시에 만족하는 표현을 학습시키며, 특히 미래의 접촉 발생 여부까지 잠재 표현에 녹여내도록 유도합니다. 저자들이 밝힌 바에 따르면, TFD는 촉각 동역학까지 모델링하는 새로운 목표로서 제안되었지만, 성능 면에서는 환경에 따라 FD와 TR 사이에서 다소 상이한 양상을 보였습니다 (자세한 결과는 뒤에서 언급).

이상의 보조 목표들은 모두 정책의 주 손실(PPO 손실)에 가중치로 더해져 동시에 최적화됩니다. 보조 손실로 인코더를 훈련할 때 중요한 점은, 실제 정책의 데이터를 어떻게 활용하느냐입니다. 기본적으로 on-policy RL에서는 매 에포크 새로운 롤아웃 데이터를 생성하고 바로 학습에 사용한 뒤 폐기하는데, 저자들은 이러한 빠르게 바뀌는 데이터로 SSL을 학습하면 손실 진폭이 불안정해지는 현상을 관찰했습니다. 이는 특히 에피소드가 끝날 때 접촉 신호가 갑자기 사라지는 등 데이터 분포의 이산적 변화가 원인인 것으로 파악했습니다.

보조 메모리 분리 기법 (Separated Auxiliary Memory)

데이터 불안정 문제를 완화하고 더 풍부한 경험에 기반한 보조 학습을 하기 위해, 저자들은 SSL 학습을 위한 별도의 메모리 버퍼를 도입했습니다. 구체적으로, PPO의 on-policy 롤아웃 메모리(예: N_{env} \times T steps)와 분리된 대용량 버퍼를 만들어, 여러 에피소드에 걸친 경험을 누적 저장한 뒤 이 데이터로 SSL 보조손실을 계산하는 방식입니다. 예컨대 PPO의 한 번 롤아웃으로 4096 \times 32 스텝의 데이터가 쌓인다면, SSL 보조 메모리는 그 몇 배(논문에서는 4배 등 가변적) 크기로 운영하며 여러 롤아웃의 데이터를 지속적으로 유지합니다. 이렇게 하면 보조 과제 학습 시 데이터 분포가 급변하지 않아 안정적인 학습 신호를 얻을 수 있고, 다양한 상황의 접촉 데이터를 폭넓게 활용할 수 있다는 이점이 있습니다. 결과적으로 이 방법은 on-policy 강화학습에 off-policy 스타일의 데이터를 활용하는 새로운 시도라 할 수 있으며, 어려운 과제에서 성능 향상을 보여주었습니다 (실험 결과 섹션에서 상세히 논의).

그림 1: 제안된 촉각 기반 RL+SSL 구조와 실험 환경. 상단은 Robot Tactile Olympiad (RoTO) 벤치마크의 세 가지 과제 (Find, Bounce, Baoding)를 보여준다. 하단은 에이전트의 멀티모달 관찰(k 스텝의 관절+촉각 히스토리) 입력이 인코더를 거쳐 잠재 표현 z_t로 변환되고, 이 z_t를 기반으로 정책 \pi가 행동을 선택하는 구조를 나타낸다. 자기 지도 학습 목표들은 인코더 f_\phi의 학습을 도와주며, 그림에는 촉각 재구성(TR)과 전방 동역학 예측(FD)의 개념도가 예시로 표시되어 있다.

실험 환경: Robot Tactile Olympiad (RoTO) 벤치마크

논문의 핵심 기여 중 하나는 Robot Tactile Olympiad (RoTO)라 명명된 표준화된 촉각 기반 조작 벤치마크를 제시한 것이다. RoTO는 세 가지 서로 다른 접촉 패턴의 과제를 통해 제안된 방법의 효과를 평가한다. 세 과제 모두 NVIDIA Isaac Gym/Isaac Lab 시뮬레이터 상에 구축되었으며, 120Hz 물리 시뮬레이션과 60Hz 제어 주기로 실행된다. 각 과제의 개요는 다음과 같다:

• Find: 책상 위 20cm × 20cm 영역 내 무작위 위치에 놓인 작은 구체(스피어)를 로봇팔(Franka)이 제한 시간 내 촉각으로 찾아내는 과제입니다. 에이전트는 5초 (300 스텝) 동안 손가락 끝의 접촉을 통해 공을 찾아 접촉해야 합니다. 성공을 위해서는 탐색 동작 전략과 적극적 촉각 탐지가 요구됩니다. (프랑카 손가락에 2개의 촉각 패드 활용)

• Bounce: 인간의 손바닥으로 공을 튕기는 동작에 해당하며, 섀도우 핸드를 이용해 고무공을 가능한 많이 바닥치기(연속적으로 튕겨 올리기) 하는 과제입니다. 에이전트는 10초 (600 스텝) 동안 공을 놓치지 않고 여러 번 튕기는 것이 목표이며, 5 스텝 이상 연속 비접촉 상태 후 다시 접촉이 발생하면 이를 한 번의 성공적인 바운스로 정의합니다. 사용된 공은 지름 70mm, 무게 30g의 말랑한 공(스트레스 볼)로 모델링되었으며, 10초 동안 이론적으로 최대 100번까지 튕길 수 있습니다. 참고로 인간의 기네스 세계 기록은 10초에 59회 바운스라고 알려져 있습니다. (섀도우 핸드의 모든 손가락 마디 등에 총 17개 촉각 센서 활용)

• Baoding: 전통적인 바오딘 볼(Baoding balls) 회전 묘기에서 착안한 과제로, 섀도우 로봇 손이 손바닥 위에서 두 개의 금속구를 서로 둘러가며 회전시키는 작업입니다. 에이전트는 10초 동안 두 공을 최대한 많이 회전시켜야 하며, 공들은 지름 약 3.8cm, 개당 55g으로 설정되었습니다. 이 과제는 지속적인 다중 접촉을 수반하며 고난도의 손재주를 요합니다. 인간의 경우 숙련자도 10초에 약 13회 회전이 최대 수준으로 보고되어 있습니다.

세 가지 과제는 각각 드문 접촉(Find), 주기적/간헐적 접촉(Bounce), 지속 복잡 접촉(Baoding) 상황을 대변하며, 촉각 정보의 유용성이 다르게 나타날 수 있는 폭넓은 시나리오를 포괄합니다. 저자들은 이 환경들과 튜닝된 베이스라인 구현을 공개하여, 앞으로 촉각 기반 조작 연구가 공통된 플랫폼 위에서 비교되고 발전될 수 있도록 장려하고 있습니다.

실험 결과 및 분석

실험 결과는 주로 (1) 촉각 정보의 효과, (2) SSL 보조 학습의 효과, (3) 보조 메모리 분리의 효과의 세 갈래로 나뉘어 분석되었습니다. 각 결과는 5개 시드에 대한 평균 성능곡선과 표준편차로 보고되었으며, 최종 성능은 물리적인 성공 횟수나 시간 등으로도 해석되었습니다.

1. 촉각 정보의 효과 (RL-only 대조군)

먼저 강화학습만으로 학습한 세 가지 에이전트를 비교했습니다: - Proprioceptive-only: 관절 상태 정보만 사용 (촉각 미포함) - Proprioceptive + Tactile: 관절 + 촉각 정보 모두 사용 - Proprioceptive (no last action): 참고로 관절 정보 중 지난 스텝의 액션 항목을 제외한 버전 (Find 과제에서 이 요소의 영향 확인용)

이 비교를 통해 순수 촉각 정보의 이득을 평가했는데, 결과는 과제에 따라 상이했습니다:

• Find: 초기 학습에서는 촉각 포함 에이전트가 약간 더 빠르게 공을 찾았지만, 최종 성능은 촉각을 빼도 동일한 성공률을 보였습니다. 흥미롭게도, 관절-only 에이전트의 성능은 지난 액션 정보의 포함 여부에 크게 좌우되었는데, 이는 로봇팔이 이전 스텝에 손가락을 뻗었을 때 접촉 여부를 관절 제어 오차로 간접 추론하는 전략을 학습했기 때문으로 분석됩니다. 실제로 정책을 들여다보니, 로봇팔이 무작위로 손을 뻗어 충돌 가능성을 최대화하는 행동을 취하는 등 일종의 “몸으로 때우는” 탐색 전략을 구사했습니다. 결국 Find 과제에서는 촉각 센서가 없어도 관절 감각만으로도 물체를 찾아내는 편법이 가능했던 셈입니다.

• Bounce: 촉각 정보를 포함한 경우 학습이 더 빨리 진행되고 최종 성능도 다소 높게 나타났습니다. 촉각을 이용하면 매 튕길 때 공이 손에 닿는 정확한 순간을 감지하여 적절히 속도를 조절하는 등 조금 더 정교한 제어를 한 것으로 보입니다. 반면 촉각 없는 에이전트도 의외로 높은 점수를 달성했는데, 이는 손바닥을 편 채 공을 규칙적으로 튕기는 상태-무관한(degenerate) 전략을 써서 공이 운 좋게도 계속 손위에 머물도록 만든 결과였습니다. 즉, 로봇이 공을 “잡아 가두다시피(trapping)” 하면서 튕기는 단조로운 동작으로도 어느 정도 성공이 가능했던 것입니다. 이러한 전략은 일반성이 떨어지지만, 시뮬레이션 환경의 특수성을 파고들어 촉각 없이도 성과를 낸 예라고 볼 수 있습니다.

• Baoding: 두 개의 공을 돌리는 이 과제에서는 촉각의 유무가 성패를 가르는 결정적 요소였습니다. 촉각이 없는 에이전트는 끝까지 공 회전에 전혀 성공하지 못하는 수준이었지만, 촉각 정보를 준 에이전트는 몇 번이라도 회전을 이뤄내며 학습에 성공했습니다. 다만 성능 분산이 커서 시드에 따라 성공률 편차가 있었는데, 이는 과제 자체의 난이도가 높아 불안정한 학습 양상을 보였기 때문입니다. 요약하면 Baoding과 같은 복잡한 접촉 과제에서는 촉각 없이 학습이 불가능하고, Bounce처럼 비교적 단순한 반복 동작은 촉각 없이도 편법으로 가능하며, Find는 촉각이 있으면 도움은 되지만 결정적이지는 않다는 결론입니다. 이러한 관찰을 통해 저자들은 “촉각 센싱의 유용성은 과제에 강하게 의존적”이며, 오직 특정 시나리오에서만 관절 정보로 포착되지 않는 동적 정보를 제공하는 것이 촉각의 역할이라는 가설을 세웠습니다. 이 가설을 뒷받침하는 구체적인 시나리오 분석은 아래 논의에서 다룹니다.

2. 자기지도 학습의 효과 (RL+SSL)

다음으로, 제안된 4가지 SSL 보조 과제(TR, FR, FD, TFD)를 각각 적용했을 때 성능 변화를 평가했습니다. 모든 경우 관절+촉각 입력을 사용하는 에이전트에 대해 비교했습니다. 결과를 요약하면:

• TR (촉각 재구성) 과 FD (전방 동역학): 이 두 방법이 모든 환경에서 일관되게 RL-only 보다 우수한 성능을 보였습니다. 즉, 단순히 강화학습만 한 경우보다 항상 더 높은 보상 또는 성공 횟수를 기록했습니다. 둘 중에서는 FD 적용 에이전트가 Find와 Bounce에서 다소 더 나은 평균 성능을 보였고, Baoding에서는 TR 적용 에이전트가 평균적으로 더 안정적이었습니다. Baoding의 경우 FD도 최고 성능은 더 높았지만 시드 간 변동이 커서, TR이 조금 낮지만 안정적인 성능으로 평균값은 높게 나타난 것입니다.

• FR (전체 재구성) 과 TFD (촉각+동역학 결합): 이 두 방법의 성능은 환경에 따라 들쑥날쑥하여 일관된 우열을 보이지 않았습니다. 예를 들어 TFD는 Find에서 네 방법 중 가장 좋은 성능을 냈지만, Bounce에서는 오히려 가장 나쁜 결과를 보였습니다. FR은 어떤 경우엔 TR보다 못하고, 어떤 경우엔 비슷하거나 나은 등 뚜렷한 패턴이 없었습니다. 이는 모든 정보를 복원하려는 FR이 불필요한 잡음까지 학습하거나, TFD의 복합 목표가 학습을 과복잡하게 만들어 과제별로 상반된 효과를 낳았을 가능성이 있습니다. 전반적으로 가장 안정적이고 효과적인 SSL 보조 목표는 FD로 판단되며, TR도 단순하지만 유용한 보조 목표로 확인되었습니다. 실제 저자들도 “forward dynamics 목표가 가장 효과적이며, 객체의 위치와 속도 등을 잘 인코딩한다”고 언급합니다.

그림 2: 자기 지도 학습 보조 과제들의 구조. 상단 (빨간색)은 재구성 계열 목표(TR, FR)를 나타내며, 인코더 출력 z_t에서 디코더를 통해 원래 촉각 관찰 \hat{o}*t^{tactile} (및 FR의 경우 관절 관찰까지)을 복원하도록 한다. 하단 (녹색)은 전방 동역학 계열 목표(FD, TFD)를 보여준다. 인코더 f*\phi와 예측 모델 h_\theta를 사용해 z_t로부터 다가올 잠재상태들을 순차 예측하며, EMA 타깃 인코더의 출력 z_{t+k}^{tgt}와 비교하여 손실을 계산한다. TFD의 경우 예측한 잠재상태로부터 다시 촉각 신호를 디코더로 복원하도록 요구하여, 미래 접촉까지 예측하도록 만든다. 이러한 보조 학습을 통해 인코더는 단순 RL로 학습할 때보다 더 풍부한 정보(예: 물체의 위치, 접촉 시점, 속도 등)를 잠재 표현에 함축하게 된다.

• 학습 안정성 및 표현 분석: FD와 TR이 성능을 향상시키는 이유는, 인코더가 과제에 필요한 핵심 정보에 집중하도록 해주기 때문으로 보입니다. 저자들은 이를 검증하기 위해 학습된 잠재 표현 z_t가 실제 환경의 숨겨진 상태(예: 공의 실제 위치/속도 등)를 얼마나 잘 함축하는지를 Mutual Information(MI, 상호정보량)으로 측정하였습니다. 그 결과, Bounce 과제에서는 촉각이 없는 PPO 에이전트가 오히려 가장 높은 MI를 보였는데, 이는 앞서 말한 “공 가두기” 전략으로 환경 상태가 거의 변화하지 않아 겉보기 MI가 높게 나온 것이라고 해석됩니다. Baoding 과제에서는 FD 적용 에이전트의 잠재 표현이 가장 높은 MI를 기록했으며 (기본 PPO의 3배 수준), 특히 개별 변수별 MI를 보면 공들의 좌표와 속도 성분을 FD만이 유의미하게 인코딩하고 있음을 확인했습니다. 반면 TR/FR처럼 재구성 위주의 목표는 오히려 중요한 동역학 정보를 잡아내지 못해 MI가 0에 가깝게 나타났습니다. 이는 FD 보조 학습이 환경 동역학 예측에 필수적인 정보(공 움직임)를 잠재공간에 새겨 넣었다는 강력한 증거이며, 앞서 FD의 높은 성능과도 맥락이 같습니다.

3. 보조 메모리 분리의 효과 (RL+SSL+Memory)

마지막으로, Separated Auxiliary Memory 기법의 효과를 검증하기 위해 FD 에이전트에 이 기법을 적용한 실험이 수행되었습니다. (FD가 전반적으로 가장 우수했기에 FD 설정으로 실험) 결과를 보면, Find와 Bounce에서는 별다른 성능 변화가 없었으나 Baoding에서 크게 향상되었음을 알 수 있습니다. 구체적으로 Baoding 과제에서는 보조 메모리를 늘린 경우 학습 초기부터 훨씬 안정적으로 회전 성공 횟수가 증가했고, 최종적으로도 기존보다 높은 평균 회전 수를 달성했습니다. 저자들은 그 이유를 Baoding 작업의 복잡성 및 장기 의존성에서 찾았습니다. 두 공을 손안에서 돌리는 동작은 순간적인 접촉 이벤트보다는 일정 기간에 걸친 연속적인 움직임을 필요로 하므로, 짧은 롤아웃 메모리만으로 학습하기엔 데이터가 불충분합니다. 보조 메모리에 과거 데이터를 더 많이 유지함으로써 더 긴 시간 범위의 패턴을 포착할 수 있었고, 이것이 Baoding에서 큰 효과를 본 반면, Find나 Bounce처럼 비교적 단순하거나 짧은 상호작용에서는 영향이 미미했던 것입니다.

또한 이 결과는 on-policy 환경에서도 off-policy 데이터 활용이 이점을 줄 수 있음을 시사합니다. 저자들은 이를 가리켜 “on-policy 에이전트도 off-policy 데이터로 표현 학습을 하면 이득을 볼 수 있다”며, 향후 두 패러다임의 장점을 결합하는 연구의 가능성을 언급했습니다.

4. 성능 지표 및 인간 수준 비교

학습 곡선 외에도, 논문은 최종 정책들의 물리적 성능 지표(예: 10초당 바운스 횟수, 회전 횟수 등)를 인간이나 기존 성과와 비교하여 제시했습니다. 그 결과 매우 놀라운 “초인적(superhuman)” 성능이 달성되었음을 확인할 수 있습니다. 예를 들어 Bounce 과제의 경우 최고의 에이전트가 10초에 88번 공을 튕겨, 인간 세계기록 59회를 크게 능가했습니다. Baoding 과제에서도 기존 보고된 로봇/인간 최고 기록이 10초에 3~13회 회전 정도인데, 본 연구의 SSL 적용 에이전트는 무려 25회 회전을 달성했습니다. 심지어 강화학습만으로 학습한 (SSL 미사용) 촉각 에이전트조차 13회 회전에 도달하여 숙련된 인간과 비슷한 수준을 보였고, 거기에 SSL을 결합하자 인간의 약 두 배에 달하는 경지에 이른 것입니다. Find 과제의 경우도 촉각+FD 에이전트가 평균 1.4초 만에 물체를 찾아내어 순수 PPO보다 36% 빠르게 목표를 달성했습니다. 물론 이러한 수치는 모두 시뮬레이터 내 성과이므로 현실에 바로 적용되리라 장담할 수는 없습니다. 저자들도 시뮬레이션과 현실의 차이를 인정하면서, 다만 “바로 현실에 쓰이지는 못하겠지만 연구적 흥미를 위해 소개한다”고 언급했습니다. 그럼에도 불구하고, 비전도 없이 오직 촉각으로 인간을 능가하는 성과를 냈다는 점은 로보틱스 분야에서 상당히 고무적인 결과입니다.

기존 연구와의 비교: 무엇이 새로워졌나?

이번 연구는 촉각 기반 강화학습 분야에서 여러 가지 측면의 진전을 보여줍니다. 이를 이해하기 위해 관련 선행 연구들과 비교하며 핵심 개선점 및 차별점을 정리합니다.

1) 이상적 정보나 시각 없이 “맹목적(Blind)” 조작 학습: 과거의 난이도 높은 인핸드 조작 연구들을 보면, 대부분 카메라 영상, 외부 트래킹, 혹은 시뮬레이터 내부 상태에 접근하는 특권 정보에 크게 의존했습니다. 예컨대 OpenAI의 유명한 손바닥 내 큐브 돌리기 연구(Andrychowicz et al., 2020)에서는 다수의 카메라와 객체 위치 추적기를 사용했고, 다른 연구들에서도 RGB-D 센서나 포즈 추정기, 혹은 교사-학생 모형을 통한 모방 학습으로 이상적인 정보를 활용하곤 했습니다. Baoding 공 회전의 경우도 이전에는 공의 위치를 추적하기 위해 카메라를 쓰거나 포인트클라우드 기반 privileged distillation 기법을 사용했습니다. 순수하게 로봇 자체의 감각만으로 조작한 사례는 극히 드물었는데, 그나마 Sievers 등(2022)이나 Yang 등(2023)의 일부 연구에서 아무 센서도 안 보고(맹목적으로) 물체 회전이나 단순 Baoding 반회전 정도를 보여준 것이 고작입니다. 그 성능도 10초에 몇 바퀴 돌리지 못하는 기본적인 수준(3회전)이었죠. 이번 논문은 오직 관절+촉각 정보만으로, 즉 “맹목적”으로도 이러한 복잡한 조작을 훨씬 높은 수준으로 달성했음을 증명했습니다. 이는 로봇이 굳이 카메라 10대를 달지 않고도, 자기 손끝의 감각만으로도 충분히 고난도 작업을 해낼 수 있다는 가능성을 제시한 것입니다. 특히 25회 Baoding 회전이나 88회 공 튕기기 등의 성과는 기존 작업과 비교해 질적으로 도약한 수준이며, 향후 실세계에서도 촉각 센싱의 가치를 재조명하게 만드는 결과입니다.

2) 촉각 정보 활용에 대한 논쟁 해소: 앞서 소개했듯 촉각 센서의 필요성에 대해 학계의 의견이 분분했는데, 이 연구는 “언제 촉각이 필수적인가”에 대한 분명한 답을 제시합니다. 저자들은 촉각이 유용한 네 가지 대표 상황을 정리했는데, 이를 통해 이전 연구들의 상반된 결과를 설명합니다:

1. 물체-로봇 운동의 분리: 물체의 움직임이 로봇 관절의 움직임과 직교하거나 독립적일 때, 접촉이 발생해도 관절 제어 오차에 거의 나타나지 않기 때문에 촉각이 없다면 변화를 감지할 수 없습니다. (Baoding 과제에서 공들이 손바닥 면을 따라 수평으로 움직이는 경우가 이에 해당)

2. 극도로 가벼운 물체: 매우 가볍거나 유연한 물체는 접촉 시 로봇에 큰 반력 피드백을 주지 않아 관절 토크/위치 변화로 감지하기 어렵습니다. 이때는 접촉 센서가 있어야 물체와 닿았는지 확실히 알 수 있습니다. (예: Bounce의 30g 가벼운 공, 종이, 스펀지 등)

3. 접촉 위치의 모호성: 하나의 링크(관절 마디) 위 여러 지점 중 어디에 닿았는지 알아야 하는 경우입니다. 관절 센서는 접촉으로 인한 총 힘만 느낄 뿐, 힘이 작용한 정확한 위치까지는 알 수 없으므로 촉각 배열 센서가 필요합니다.

4. 다중 접촉 상황: 동시에 여러 군데 접촉이 발생하여 전체 힘이 분산되는 경우입니다. 관절 제어 오차로는 합력만 관찰되므로, **여러 접촉을 하나의 큰 접촉과 구분하지 못할 수 있습니다】. 촉각 센서는 각 지점별 접촉을 따로 감지함으로써 이런 상황을 해소합니다.

이러한 상황들에서는 촉각 센싱이 관절 고유감각이 놓치는 정보를 채워주어 학습 성능에 결정적 기여를 한다는 것이 이번 연구로 실증되었습니다. 반면 이전에 촉각이 별 효과를 못 봤던 연구들은, 아마도 실험 과제가 이러한 조건에 부합하지 않거나, 촉각 신호 처리의 미흡으로 인해 유의미한 정보 추출에 실패했기 때문으로 해석할 수 있습니다. Miller 등의 결과는 “촉각은 쓸모없다”는 일부 견해에 반박하며, 조건부이지만 반드시 필요한 역할이 있음을 분명히 했다는 점에서 큰 의미가 있습니다.

3) 표현 학습을 통한 성능 향상: 기존 촉각 RL 연구에서는 주로 RL 본연의 학습에 집중하고, 표현 학습 측면은 간과되기 일쑤였습니다. 일부 시도들이 없었던 것은 아니나, 예를 들어 변분 오토인코더(VAE)를 활용해 안정화 과제를 학습하거나, 픽셀 기반의 마스크 복원이나 증강 기법을 적용해 본 정도였습니다. 또한 영상+촉각 멀티모달 설정에서 대조학습(contrastive learning)으로 두 감각의 잠재 표현을 맞추는 등의 연구도 있었지만, 이러한 접근들은 로봇 제어 성능을 획기적으로 끌어올리지는 못했다고 합니다. 본 논문은 멀티스텝 미래 예측이라는 강화학습 표현 학습 기법(FD)을 촉각 도메인에 본격적으로 도입하여, 촉각 정보가 실제 물체 동역학을 예측하는 데 기여하도록 만든 최초의 연구입니다. 특히 이진 접촉처럼 단순한 신호조차도 올바른 방법으로 학습시키면 충분한 정보를 품은 잠재 벡터로 거듭날 수 있음을 보여주었고, 결과적으로 정책 최적화의 효율과 성능을 높이는 데 성공했습니다. 이는 다른 연구들이 간과했던 부분으로, 향후 촉각 뿐 아니라 다른 센서(예: 비전)와의 통합 표현 학습 연구에도 참고가 될 수 있는 중요한 성과입니다.

4) 촉각 특성에 맞춘 RL 방법론 개선: 촉각 상호작용의 빈도와 특성에 맞게 RL 알고리즘을 조정하려는 시도도 과거에 있었습니다. 예를 들어 Vulin 등(2021)은 off-policy 알고리즘에서 접촉이 있었던 에피소드 샘플의 비율을 높이는 방법을 썼고, Hansen 등(2022)은 접촉 발생 시에만 인코더를 업데이트하도록 하는 등 변형을 주었습니다. 그러나 on-policy 환경에서는 이런 접근이 쉽지 않아 거의 시도되지 않았습니다. Miller 등의 연구는 on-policy PPO 설정에서 최초로 보조 손실 학습용 데이터셋을 별도로 관리함으로써, 결과적으로 off-policy 경험도 활용하는 새로운 방식을 제안했습니다. 이 아이디어는 단순해 보이지만 이전에 시도되지 않았던 것으로, Baoding 같은 어려운 작업에서 유의미한 성능 향상을 이끌어냈습니다. 이는 데이터 효율성 측면에서 강화학습 커뮤니티에 시사점을 주며, 향후 on-policy/off-policy 경계를 허물고자 하는 연구 방향에 영감을 줄 수 있습니다.

5) 벤치마크와 재현성: 마지막으로, 저자들은 촉각 RL 연구의 진흥을 위해 공용 벤치마크를 제공했다는 점도 중요한 기여입니다. 기존 연구들은 각자 다른 하드웨어(센서 종류, 개수, 위치)와 과제를 사용하여 결과를 내놓았기 때문에, 서로 직접 비교가 어렵고 체계적인 발전이 더딘 측면이 있었습니다. RoTO 벤치마크는 표준화된 환경과 성능지표, 그리고 오픈소스 코드/시뮬레이션을 제시함으로써, 앞으로 나올 연구들이 동일한 기준에서 개선 여부를 검증할 수 있게 해줍니다. 이는 마치 비전 기반 RL에서 Atari나 DeepMind Control suite 등이 공용 시험장 역할을 한 것처럼, 촉각 RL 분야에도 공통 평가대가 생긴 것으로 볼 수 있습니다. 이러한 노력은 연구의 재현성(reproducibility)과 비교 가능성을 높여, 향후 촉각 센싱을 통한 로봇 학습 연구의 가속을 기대하게 합니다.

결론 및 전망

이번 리뷰에서 살펴본 Miller 등(2025)의 연구는, “촉각을 활용한 강화학습으로 로봇의 섬세한 제어 능력을 끌어올릴 수 있다”는 것을 다양한 실험을 통해 보여주었습니다. 이진 접촉 센서 신호조차도 잘 활용하면 복잡한 물체 조작에 충분한 정보를 제공하며, 특히 관절 센서만으로는 인지하지 못하는 미세한 상호작용을 포착해냄으로써 학습 성능과 안정성에 크게 기여함을 입증했습니다. 또한 자기 지도 학습 기법을 도입하여, 단순 RL로는 얻기 힘든 유용한 표현을 잠재공간에 심어줌으로써 정책 학습을 효과적으로 보조할 수 있음을 보였습니다. 여러 보조 과제 중 미래 상태 예측(FD) 방식이 가장 두각을 나타냈는데, 이를 통해 에이전트는 물체의 움직임과 동역학적 특성까지 내재화된 표현을 학습할 수 있었고, 결과적으로 더 높은 보상과 성공률로 이어졌습니다. 나아가, 데이터 활용 측면에서도 on-policy RL과 off-policy 표현 학습의 결합이 새로운 가능성을 보여주어, 복잡한 장기 접촉 과제(Baoding)에서 큰 성능 향상을 이루었습니다.

물론 이 연구는 시뮬레이션 기반이라는 한계가 있으며, 실제 로봇에 적용하기 위해서는 추가적인 검증과 실험이 필요합니다. 다만 저자들이 이진 접촉처럼 이상화된 단순 센서 모델을 사용한 이유도, 현실 감각 데이터를 모델링할 때 발생하는 불확실성과 잡음을 피하고 시뮬레이션-현실 격차(sim-to-real gap)를 최소화하려는 의도였습니다. 실제 로봇에 이 방법을 적용한다면, 적절한 접촉 센서의 배치와 보정 그리고 훈련된 정책의 이식 등의 과제가 남아있습니다. 하지만 강화학습 알고리즘과 표현 학습 전략 그 자체는 현실에서도 그대로 활용될 수 있으리라 기대됩니다. 특히 이 연구에서 개발된 학습 전략(SSL 보조 목표, 보조 메모리 등)들은 특정 환경에 국한되지 않고 일반적인 원리이므로, 촉각 이외의 다른 형태 센서나 과제에도 확장 가능할 것입니다.

종합하면, “Enhancing Tactile-based RL for Robotic Control” 논문은 로봇 촉각 강화학습의 가능성을 한 단계 끌어올린 성과로 평가할 수 있습니다. 시각 정보 없이도 촉각을 통해 충분한 환경 이해와 제어가 가능함을 보여주었고, 어떻게 하면 이러한 촉각 정보를 효과적으로 학습에 녹여낼지에 대한 구체적 해법(미래예측 기반 표현 학습 등)을 제시하였습니다. 이는 향후 인간-로봇 상호작용, 의수 제어, 섬세한 제조 작업 등 감각 주도형 로봇 기술에 폭넓게 응용될 수 있으며, 궁극적으로는 로봇이 사람처럼 “보고 느끼며” 배우는 자율성에 한 걸음 다가간 연구라고 하겠습니다.