📃DexCtrl 리뷰

Towards Sim-to-Real Dexterity with Adaptive Controller Learning

• Paper Link

1. 🤖 Dexterous manipulation의 sim-to-real transfer 문제는 저수준 controller dynamic 불일치로 인해 발생하며, 기존 방법은 manual tuning이나 randomization에 의존했습니다.
2. 🧠 본 논문은 historical information을 활용하여 action과 controller parameters를 동시에 학습하는 adaptive controller 학습 프레임워크인 DexCtrl을 제안합니다.
3. 🚀 DexCtrl은 실행 중 자동으로 control parameters를 조정하여 sim-to-real gap을 크게 줄이고 contact-rich dexterous task에서 우수한 real-world 성능을 달성합니다.

Overview

---

1 Brief Review

DexCtrl은 시뮬레이션(sim)에서 훈련된 로봇 제어 정책을 실제(real) 환경으로 이전할 때 발생하는 난제, 특히 저수준(low-level) 제어기 동역학 불일치 문제를 해결하는 데 중점을 둔 연구입니다. 기존 접근 방식들은 수동 튜닝(manual tuning)이나 제어기 무작위화(controller randomization)에 의존했는데, 이는 노동 집약적이고 특정 작업에만 유효하며 학습 난이도를 높이는 단점이 있었습니다. 본 논문은 이러한 한계를 극복하기 위해 동작(action)과 제어 매개변수(controller parameter)를 동시에 학습하는 새로운 프레임워크인 DexCtrl을 제안합니다.

핵심 문제 식별:

연구는 시뮬레이션-실제 불일치(sim-to-real gap)의 중요한 원인 중 하나로 로봇 제어기 간의 차이를 지목합니다. 동일한 궤적(trajectory)이라도 제어 매개변수가 다르면 실제 접촉력(contact force)과 동작이 크게 달라질 수 있기 때문입니다. 기존의 방식은 제어 매개변수를 고정하거나 훈련 시 무작위화하여 robustness를 높이려 했지만, 이는 실질적인 문제 해결에 한계가 있었습니다.

DexCtrl의 방법론:

DexCtrl은 과거의 궤적 정보와 제어기 정보를 기반으로 동작과 제어 매개변수를 동시에 예측하고 적응적으로 조정하는 메커니즘을 사용합니다. 이를 통해 정책이 실행 중에 제어 매개변수를 자동으로 튜닝하여 시뮬레이션-실제 간극을 완화하고, 접촉력 상호작용에 대한 추론을 개선하여 실제 시나리오에서 로버스트니스를 향상시킵니다.

핵심 방법론 세부 사항:

1. 데이터 수집을 위한 Oracle Policy:
   • DexCtrl은 먼저 시뮬레이션 환경에서 다양한 물체 물리 매개변수(object physical parameters)를 사용하여 훈련된 “오라클 정책(oracle policy)”으로부터 충분한 데이터를 수집합니다.
   • 오라클 정책은 모델-프리(model-free) 강화 학습(Reinforcement Learning) 기법인 PPO(Proximal Policy Optimization)를 사용하여 학습됩니다.
   • 각 시간 단계 t에서 오라클 정책 \pi(a_t, K_t | s_t)는 현재 상태 s_t를 입력받아 조인트 동작(joint action) a_t와 제어 매개변수 K_t를 동시에 출력합니다. 여기서 a_t는 t 시점의 조인트 위치 변화량을 나타내며, 원하는 조인트 궤적은 이전 desired joint position에 a_t를 더하여 q^d_t = q^d_{t-1} + a_t로 얻어집니다. desired joint velocity는 0으로 설정됩니다.
   • 로봇 제어는 조인트 토크 제어(joint torque control) 방식을 따르며, 토크 \tau는 다음과 같이 계산됩니다: \tau = K_P (q_d - q_c) + K_D (\dot{q}_d - \dot{q}_c) 여기서 q_d와 q_c는 각각 원하는(desired) 조인트 위치와 현재(current) 조인트 위치를 나타내며, \dot{q}_d와 \dot{q}_c는 각각 원하는 조인트 속도와 현재 조인트 속도를 나타냅니다. K_P와 K_D는 강성(stiffness) 및 감쇠(damping) 행렬을 나타내는 제어 매개변수이며, 간단함을 위해 대각 행렬(diagonal matrices)로 가정합니다. K = \{K_P, K_D\}는 전체 제어 매개변수 집합입니다.
   • 상태(State) 구성: 상태 s_t \in \mathbb{R}^{219}는 지난 세 단계의 물체 및 로봇 관측 정보를 포함합니다.
     • 로봇 정보 s^r_t \in \mathbb{R}^{64}: 현재 조인트 위치 q^c_t, 원하는 조인트 위치 q^d_t, 제어 매개변수 K_t.
     • 물체 정보 s^{obj}_t \in \mathbb{R}^9: 물체 자세(pose) p^{obj}_t \in \mathbb{R}^6, 물체 속성 벡터 \mu \in \mathbb{R}^3 (스케일, 질량, 마찰). s_t \triangleq (s^r_{t-2:t}, s^{obj}_{t-2:t}) s^r_t \triangleq (q^c_t, q^d_t, K_t) s^{obj}_t \triangleq (p^{obj}_t, \mu)
   • 보상(Reward) 함수: 보상 r_t는 주로 네 가지 부분으로 구성됩니다: r_t = r_{rotation} + r_{contact} + r_{smoothness} + r_{terminate}
2. 동작 예측 및 제어 매개변수 예측 모듈:
   • 오라클 정책이 수집한 데이터를 사용하여, DexCtrl은 학생 정책(student policy)을 두 개의 분리된 모듈로 훈련합니다: 동작 예측 모듈(Action Prediction Module)과 제어 매개변수 예측 모듈(Control Parameters Prediction Module). 이는 각 모듈이 태스크의 근본적으로 다른 측면을 인코딩하며, 제어 매개변수 예측이 동작 예측에 영향을 미치지 않도록 하기 위함입니다.
   • Historical Information 사용: 오라클 정책은 실제 환경에서 직접 접근하기 어려운 물체 속성 같은 원시 정보(primitive information)를 사용합니다. 이를 해결하기 위해 DexCtrl은 로봇의 고유수용성(proprioception) 이력 상태(last ten steps의 현재 및 원하는 조인트 궤적, 해당 제어 매개변수)를 학생 정책의 입력으로 사용합니다.
   • 모듈 설계:
     • 동작 예측 모듈: temporal historical input을 모델링하기 위해 self-attention 메커니즘을 사용합니다. 이는 조인트 궤적 변화의 경향(trend)을 파악합니다.
     • 제어 매개변수 예측 모듈: cross-attention을 사용하며, 현재 동작(current action)이 쿼리(query) 역할을 하고 historical input가 키(key)와 값(value) 역할을 합니다. 이는 현재 조인트 동작과 이력 정보 간의 관계를 모델링하여 제어 매개변수를 추론하는 데 활용됩니다.
   • 훈련 및 추론:
     • 훈련: 두 모듈은 개방 루프(open-loop) 방식으로 훈련됩니다. 즉, 모든 입력 데이터는 수집된 시뮬레이션 데이터셋에서 직접 가져옵니다.
     • 추론: 시뮬레이션과 실제 환경 모두에서 폐쇄 루프(closed-loop) 방식으로 수행됩니다. 즉, 현재 궤적 값은 실제 로봇 센서로부터 얻어집니다.
     • 시뮬레이션에서 실제 시스템으로 제어 매개변수를 선형적으로 매핑하며, 이는 대략적인 상한 및 하한 추정치만으로도 충분합니다.
     • 학생 정책 훈련 중 현재 궤적 값에 가우시안 노이즈(Gaussian noise)를 추가하는 것이 시뮬레이션-실제 전이(sim-to-real transfer)에 충분하다는 것을 발견했습니다.

실험 및 결과: 두 가지 접촉 기반의 복잡한 조작 작업(in-hand object rotation, flipping)에서 DexCtrl의 성능을 평가했습니다.

1. 시뮬레이션 성능 향상:
   • 교란(disturbance) 유무에 관계없이 시뮬레이션 환경에서 DexCtrl은 기존의 “Manual Tuning” 및 “Ours w/o PD” (제어 매개변수 예측 모듈이 없는 버전) 베이스라인 대비 현저히 우수한 성능을 보였습니다. 특히, 회전 속도(RotR) 및 실패까지의 시간(TTF)이 크게 향상되었고, 토크 패널티(Torque) 및 물체 선형 속도(ObjVel)는 감소했습니다.
   • 이는 DexCtrl이 제어기 불일치가 없는 상황에서도 동작과 제어 매개변수를 동시에 조정함으로써 작업 프로세스를 효과적으로 안정화하고 가속화할 수 있음을 입증합니다.
2. Sim-to-Real Gap 완화:
   • 실제 환경에서 DexCtrl은 제로샷(zero-shot) 시뮬레이션-실제 전이를 통해 베이스라인들을 압도적으로 능가했습니다. 특히, 시뮬레이션에서보다 실제 환경에서 DexCtrl과 “Ours w/o PD” 간의 성능 격차가 훨씬 더 크게 나타났습니다.
   • 이 결과는 실제 로봇에서 매 단계마다 제어 매개변수를 적응적으로 조정하는 것의 중요성을 강조하며, DexCtrl이 시뮬레이션-실제 문제를 해결하는 데 핵심적인 역할을 함을 보여줍니다.
3. 다양한 물리 매개변수를 가진 물체에 대한 성능:
   • 질량(mass)과 마찰(friction)이 다른 물체에 대한 추가 테스트에서 DexCtrl은 특히 무거운 물체에서 베이스라인보다 훨씬 뛰어난 성능을 보였습니다. 이는 DexCtrl이 다양한 물리적 특성을 가진 물체에 더 잘 적응할 수 있음을 나타냅니다.
4. 제어 매개변수(특히 강성)의 영향 분석:
   • 학습된 강성(K_P)이 물체 질량 및 마찰과 어떻게 관련되는지 분석했습니다. 시뮬레이션 데이터 분석 결과, 강성은 질량과 단조 증가(monotonically increasing) 관계를 보였습니다 (무거운 물체는 더 큰 힘 필요).
   • 마찰과의 관계는 더 미묘하여, 특정 경우에는 증가하고 다른 경우에는 감소하는 등 작업 의존적인 동역학을 나타냈습니다.
   • 실제 환경 분석에서는 무거운 물체에 대해 강성이 특정 시간 단계에서 증가하거나 최대 값으로 더 오래 유지되는 경향을, 부드러운(smoother) 물체에 대해서는 일부 조인트에서 유사한 패턴을, 다른 조인트에서는 상반된 경향을 보였습니다.
   • 이는 학습된 제어 매개변수가 필요한 접촉력의 변화를 인코딩하며, 물체 조작 성능 향상에 기여한다는 가설을 검증합니다.

결론 및 한계:

• DexCtrl은 이력 정보를 기반으로 동작과 제어 매개변수를 동시에 출력하여 민첩한 조작(dexterous manipulation)의 시뮬레이션-실제 간극을 효과적으로 줄였습니다.
• 향후 연구에서는 여러 민첩한 작업이 단일 제어 매개변수 예측 모듈을 공유하거나, 하드웨어 지원 시 실시간 힘 피드백(force feedback) 기반의 온라인 미세 조정(fine-tuning)을 수행할 계획입니다.
• 현재 방법의 한계는 하드웨어 제약으로 인해 실제 힘 또는 촉각 센서(tactile sensing)를 통합하지 못하고, LeapHand 플랫폼에 한정된 실제 환경 평가에 있습니다.

---

2 Detail Review

3 개요

로봇의 섬세한 조작(dexterous manipulation) 기술은 최근 시뮬레이션 환경에서 큰 진전을 보였지만, 이를 실제 로봇에 옮길 때 시뮬레이션-현실 간의 차이(sim-to-real gap)로 인해 성능 저하가 발생하는 문제가 남아 있습니다. 특히 저수준 제어기(dynamics controller)의 차이가 한 원인인데, 시뮬레이터와 현실 로봇에서 PD 제어기(비례-미분 제어) 파라미터가 불일치하면 동일한 모션이라도 접촉 시 힘의 상호작용이 크게 달라져 예상 밖의 거동을 초래합니다. 기존에는 이 문제를 해결하기 위해 사람이 직접 PD 게인을 조정(수동 튜닝)하거나 학습 시 무작위화(domain randomization)를 통해 다양한 제어 동특성에 정책을 노출시키는 방법이 흔했습니다. 하지만 이러한 접근은 작업별로 번거로운 튜닝이 필요하고, 지나친 랜덤화는 학습 난이도를 높여도 성능 향상에 한계가 있었습니다. 한편, DexPilot과 같은 원격 조작(teleoperation) 기법은 숙련된 인간 조종사가 로봇 손을 직접 제어함으로써 높은 성공률을 보일 수 있음을 보여주었지만, 이는 어디까지나 사람의 개입에 의존하므로 자율적인 해결책이라 보기 어렵습니다.

DexCtrl은 이러한 배경에서 제안된 새로운 프레임워크로, 적응형 제어기 학습(adaptive controller learning)을 통해 시뮬레이션에서 학습한 정책을 현실 세계의 로봇 손에 효과적으로 이전하는 방법을 제시합니다. 핵심 아이디어는 정책이 매 시각 행동(action)과 제어 파라미터(controller parameters)를 동시에 결정하여, 실행 중에 실시간으로 로봇의 PD 제어 게인을 자동 조절하도록 하는 것입니다. 관측 상태에 현재 사용 중인 제어 파라미터 값을 명시적으로 포함시켜 정책이 접촉 과정의 힘 정보를 추론하게 함으로써, 추가적인 센서 없이도 현실에서의 견고함을 높였습니다. 저자들은 이를 통해 별도의 인간 개입이나 과도한 랜덤화 없이도 시뮬레이터-현실 간 동작 편차를 줄일 수 있음을 보여주었습니다.

이 연구의 주요 기여는 다음과 같습니다: (1) 시뮬레이터와 현실 로봇 제어기 불일치 문제를 dexterous manipulation 분야의 핵심 sim-to-real 갭으로 지목하고, 이를 적응적으로 보정하는 방법을 처음으로 제시하였으며, (2) 과거 이력 기반으로 정책이 행동과 제어 파라미터를 동시에 산출하는 단순하고 우아한 프레임워크를 설계하여 다양한 힘 상호작용 변화에 대응할 수 있게 하였고, (3) 접촉이 많은 두 가지 작업에 대한 광범위한 실험을 통해 시뮬레이션과 실제 모두에서 본 방법이 기존 방법들보다 성능이 크게 향상됨을 정량적으로 입증하였습니다. 아래에서는 DexCtrl의 방법론, 두 가지 baseline 접근법과의 비교, 실험 결과 및 결론을 차례로 살펴보겠습니다.

3.1 방법론

문제 정의 및 작업 – DexCtrl은 다자유도 로봇 손의 학습된 정책을 현실로 이전할 때 발생하는 제어기 갭(controller gap) 문제를 해결하고자 합니다. 검증을 위해 두 가지 대표 작업을 다룹니다. 첫째는 손가락 끝으로 손바닥 위의 물체를 떨어뜨리지 않고 회전시키는 작업이고, 둘째는 책상 위에 놓인 물체를 집어 들어 뒤집는 작업입니다. 모두 물체-손-환경 간의 복잡한 접촉을 포함하며, 시뮬레이터와 실제 간 제어 파라미터 차이가 성능에 큰 영향을 주는 과제들입니다. 로봇 손은 16자유도의 UC Berkeley LEAP Hand를 사용했고, 관절 토크 제어 방식으로 구동됩니다. 저수준 제어기는 PD 형태로, 원하는 관절 위치 q_d와 현재 관절 위치 q 간 오차에 대해 강성 행렬 K (스프링 상수에 해당)과 감쇠 행렬 D (댐핑 계수)에 비례하는 토크를 출력합니다. 즉, 각 관절에 \tau = K (q_d - q) + D (\dot{q}_d - \dot{q})의 토크를 가합니다. 이때 제어 파라미터 c={K,D}의 선택이 로봇 거동을 크게 좌우하므로 세심한 튜닝이 필요합니다. 예를 들어 강성 K를 높이면 정상 상태 오차는 줄지만 진동이 유발될 수 있고, 감쇠 D를 높이면 오버슈트(overshoot)를 억제하나 고주파 진동을 증폭시킬 수 있습니다. 따라서 기존 정책들은 일반적으로 고정된 K,D로만 동작하고 (적응 제어가 없는 경우), 이 값 세트를 시뮬레이터와 실제에서 맞추기 위해 많은 노력이나 운에 맡긴 랜덤화가 필요했습니다. DexCtrl은 바로 이 부분을 돌파하기 위해 정책이 자체적으로 제어 파라미터를 조정하도록 합니다. 한마디로, “정책이 행동만이 아니라 제어기 설정까지 함께 결정하면 어떨까?”라는 물음에 대한 해결책입니다.

DexCtrl의 학습 과정 – DexCtrl의 학습은 크게 교사(oracle) 정책 단계와 학생(student) 정책 단계의 두 부분으로 이루어집니다. 먼저 시뮬레이터 상에서 충분한 데이터를 수집하기 위해, 모델 자유 강화학습 (PPO) 알고리즘으로 교사 정책을 훈련합니다. 이 교사 정책은 매 시간-step마다 상태를 받아 관절 행동 a_t (예: 다음 목표 관절 위치)와 제어 파라미터 c_t (예: 해당 step에서 사용할 K,D 값)을 동시에 출력합니다. 곧바로 a_t는 c_t를 파라미터로 하는 PD 제어기에 입력되어 로봇 손가락들의 토크로 변환되고, 로봇을 움직이게 합니다. (이때 a_t는 목표 joint 각도나 상대 위치 등의 형식이며, DexCtrl과 기존 정책 모두 관절 목표 속도는 0으로 설정합니다.) 이렇게 하면 교사 정책은 시뮬레이션 내에서 동시에 최적의 동작궤적과 제어기 게인 조합을 찾아내도록 학습됩니다. 다만 교사 정책은 시뮬레이터의 이점을 활용해 물체의 정확한 상태와 물리 속성(질량, 마찰 등)까지 관측으로 사용합니다. 예컨대 상태 s_t에는 최근 3 스텝에 걸친 로봇 관절 정보 (현재 위치 q, 목표 위치 q_d, 사용한 K,D)와 물체의 포즈 및 물체 속성 벡터 (크기, 무게, 마찰 계수) 등이 포함됩니다. 이러한 특권 정보(privileged info)는 현실에서는 알기 어려우므로, 다음 단계에서 이를 제거하는 작업이 필요합니다.

학생 정책 학습을 위해, 우선 앞서 훈련된 교사 정책으로 여러 물체에 대한 시뮬레이션 데이터를 충분히 수집합니다. 그런 다음 이 데이터를 활용해 학생 정책을 모사 학습(distillation) 방식으로 훈련하는데, 학생 정책은 두 개의 서브-모델로 구성됩니다. 하나는 행동 예측 모듈로서 로봇의 다음 목표 joint 움직임을 생성하고, 다른 하나는 제어 파라미터 예측 모듈로서 해당 step에 사용할 적절한 K,D 값을 출력합니다. 두 모듈 모두 입력으로 과거의 이력 정보를 사용합니다. 구체적으로, 최근 10 스텝분의 로봇 관절 상태 기록을 활용하는데, 각 스텝마다 로봇의 실제 joint 각도, 그때의 목표 joint 각도, 그리고 그때 사용된 제어 파라미터(K,D)를 묶어 시계열로 제공합니다. 물체의 속성이나 주변 환경 정보는 직접 주어지지 않지만, 이러한 프로프리오셉션 이력 속에 간접적으로 녹아들어 있다는 가정입니다. 예를 들어 무거운 물체를 들고 있었다면 과거 10 스텝 동안 모터 토크 사용량과 운동 패턴에 그 정보가 반영될 것이고, 미끄러운 물체라면 작은 마찰로 인해 나타난 미세한 움직임 차이가 이력에 남을 것입니다. DexCtrl 학생 정책은 이렇게 오로지 로봇 자체 센서 데이터의 시간 이력만으로 물체의 특성까지 추측하며 행동을 결정하도록 설계되었습니다. 이는 현실 환경으로 정책을 옮길 때 추가 센서 없이도 동작 가능하게 하는 중요한 설계입니다. 실제로 저자들은 이전 연구의 결과를 인용하여, 회전 작업 등의 경우 과거 관절 정보만으로도 회전된 물체의 방향 등을 추정할 수 있음을 언급합니다.

두 모듈의 구조는 시계열 정보를 효과적으로 처리하기 위해 어텐션 메커니즘을 활용합니다. 행동 예측 모듈은 과거 10개의 상태 시퀀스를 입력으로 자기-어텐션(self-attention)을 수행하여, 관절 움직임의 시간적 추이를 파악하고 다음 목표 joint 위치를 출력합니다. 반면 제어 파라미터 예측 모듈은 교차-어텐션(cross-attention) 구조를 갖는데, 이때 현재 생성된 행동 a_t를 쿼리(query)로 삼고, 과거 이력(최근 10 스텝 로봇 상태)을 키/값 (key/value)으로 삼아, 현 행동에 적합한 K,D 게인을 산출합니다. 이렇게 함으로써, 현재 로봇이 수행하려는 동작과 과거의 움직임-제어 맥락을 연관지어 “이번 동작을 안정적으로 수행하려면 제어기를 얼마나 단단하게 혹은 부드럽게 설정해야 하는가?”를 학습하는 것입니다. 저자들은 두 모듈의 입력 이력은 같지만 의미가 다르다고 설명합니다: 행동 모듈은 이력으로부터 궤적의 추세를 읽어내고 (이전 연구들과 유사), 제어 모듈은 이력으로부터 이전 동작-제어기 간 관계를 학습하여 인간이 과거 운전 감으로 현재 차량 제어를 조절하듯이 현재 필요한 제어기 설정을 유추한다고 비유합니다. 또한 모듈을 분리함으로써 제어 파라미터 학습이 행동 생성에 간섭하는 것을 방지하여 학습을 안정화할 수 있었다고 합니다. (만약 하나의 거대한 네트워크가 두 출력을 모두 학습한다면, 제어 파라미터 출력이 제대로 예측되지 못하면 행동 출력까지 혼란을 줄 수 있는데, 이를 구조적으로 차단한 것이죠.)

학생 정책의 훈련 과정은 시뮬레이터 데이터셋을 활용한 오프라인 지도학습(behavior cloning) 형태로 진행됩니다. 수집한 데이터의 각 시간-step에서 교사 정책이 산출한 a_t, c_t를 목표로, 학생 정책의 두 모듈을 학습시킵니다. 이때 입력으로 사용되는 과거 이력 값들은 교사 정책 데이터셋의 값들을 그대로 사용하므로, 훈련 자체는 오픈-루프(open-loop)로 수행됩니다. (즉, 학생이 내놓은 출력으로 다음 상태를 시뮬레이션하지 않고, 모두 기록된 데이터로만 학습). 대신 학습 후 실제 실행(추론) 시에는 매 시각 실제 로봇의 센서에서 받아온 현재 상태를 이력에 추가하여 폐루프(closed-loop)로 동작합니다. 시뮬레이터와 현실 로봇 사이의 제어 파라미터 단위 차이가 있을 경우를 대비해, 미리 실험적으로 제어기 파라미터 값의 상하한을 비교하여 선형 스케일링해주는 정도의 이식 작업만 거쳤다고 합니다. 별도로 현실에서 미세 튜닝을 하지 않고도 잘 동작하였는데, 이는 교사 정책 학습 시에 무리한 랜덤노이즈 주입 없이도, 학생 정책 훈련 시 현재 관절값에 약간의 가우시안 노이즈만 더하는 것으로 충분했기 때문이라고 저자는 설명합니다. 이러한 결과는, 과도한 도메인 랜덤화 없이도 sim-to-real 이전이 가능함을 보여주는 동시에, 제어기 파라미터 관측을 제공하는 DexCtrl 접근의 이점을 부각합니다. 정리하면, DexCtrl은 시뮬레이터에서 학습한 전문가 정책을 데이터로 활용하여 이력 기반 학생 정책을 만들고, 이 학생 정책이 실행 시 매 순간 행동과 제어기를 모두 조절하도록 함으로써, 시뮬레이션과 현실 환경 사이의 미묘한 차이를 자동으로 메워주는 것입니다.

Baseline 접근법과의 비교 – DexCtrl과 대비되는 두 가지 주요 baseline은 다음과 같습니다. 첫째, 수동 튜닝(Manual Tuning) 방식입니다. 이는 사람이 많은 시행착오를 거쳐 시뮬레이터와 실제 로봇의 동작 궤적을 비교해가며 PD 제어 게인을 조정하고, 추가로 학습 시 제어 파라미터에 약간의 랜덤 변동을 줘서 얻은 정책입니다. 이렇게 교사 정책부터 현실에 맞춰 새로 학습한 후 학생 정책을 만들어 사용하지만, 정책 자체는 적응형이 아니어서 실행 중에는 고정된 제어 파라미터만을 사용합니다. 이 접근은 특정 작업에 대해 사람이 노하우로 게인을 맞추는 것이기에 일반화가 어렵고, 접촉 조건이 조금만 바뀌어도 성능 보장이 안 되는 문제가 있습니다. 둘째 baseline은 “Ours w/o PD”, 즉 비적응형 DexCtrl입니다. 이는 DexCtrl 학생 정책에서 제어 파라미터 예측 모듈을 제거하고, 제어 파라미터를 위 수동 튜닝과 동일한 값으로 고정시킨 버전입니다. 대신 행동 예측 모듈만을 DexCtrl 방식으로 학습하여, 강인한 행동 궤적은 얻되 제어 파라미터는 조정하지 않는 구조입니다. 이 baseline은 “적응형 PD” 기능이 없는 DexCtrl로 볼 수 있어, 제어기 자동 조정의 효과를 검증하는 용도로 사용됩니다.

DexCtrl의 방법론은 위 baseline들과 근본적으로 접근이 다릅니다. 수동 튜닝의 경우 사람 전문가의 경험에 의존해 게인을 맞추다 보니 반복 작업과 시행착오가 많고, 한 번 튜닝한 값을 실행 중 동적으로 바꿀 순 없습니다. 학습 시 랜덤화 기법은 정책이 다양한 상황을 버티도록 해주지만, 정작 중요한 특정 힘 조건에서는 최적의 대응을 배우지 못하고 평균적인 (소극적인) 전략에 머물기 쉽습니다. 반면 DexCtrl은 정책이 스스로 필요한 순간에 제어기 특성을 변화시키도록 학습되었기 때문에, 처음 접하는 상황에서도 즉각적으로 대응할 수 있습니다. 또한 관측에 제어 파라미터를 포함시켜 정책이 현재 힘 전달 특성을 인지하도록 했다는 점도 차별점입니다. 한편, DexCtrl과 문제 접근방식은 다르지만 관련된 맥락으로 DexPilot을 언급할 수 있습니다. DexPilot은 사람의 손 동작을 비전 기반으로 추적하여 로봇 손을 원격 조작함으로써 여러 정교한 작업을 수행해낸 체계로, 인간 조종사의 직관과 적응력을 로봇 제어에 활용한 사례입니다. DexPilot 시스템을 통해 얻은 시연 데이터로 향후 자율 정책 학습에 활용하는 방안도 제시되었지만, 실제 조작 시에는 어디까지나 숙련된 사람의 판단과 시각 피드백에 의존합니다. DexCtrl은 이러한 인간의 역할을 정책이 대체하도록 함으로써, 별도의 촉각 센서 없이도 힘 조절을 배우게 했다는 점에서 자율성과 실용성을 높였습니다. 마지막으로, 적응형 힘 제어(adaptive force control) 자체는 로봇 제어 분야에서 익숙한 개념으로, 간단한 접촉 작업(예: 테이블 닦기, 물체 젓히기, 조립 작업 등)에는 기존에도 상황에 따라 제어 게인을 바꾸는 기법이 성과를 보인 바 있습니다. 다만 이런 기법이 다지 손(dexterous hand)의 고난도 조작에 적용된 적은 거의 없었고, DexCtrl은 복잡한 다지 조작에서 적응 제어의 효과를 처음으로 입증했다는 의의를 갖습니다.

3.2 실험 결과

실험 설정 – 저자들은 DexCtrl의 성능을 앞서 언급한 두 가지 작업(손바닥 위 물체 회전, 테이블 위 물체 뒤집기)에서 평가하였습니다. 평가 환경은 시뮬레이터와 실제 로봇 모두 사용되었는데, 시뮬레이터에서는 학습과 동일하게 Mujoco 기반 LEAP Hand 모델을 활용했고, 실제로는 동일한 형태의 로봇 손(실제 LEAP Hand)에 학습된 정책을 zero-shot으로 이식하여 시험했습니다. 특히 여러 가지 물체에 대한 일반화 성능을 보기 위해, 무게와 마찰 계수가 서로 다른 다양한 물체들을 사용했습니다. 또한 제어 파라미터 조정의 영향을 세밀히 분석하기 위해, 같은 모양이지만 속을 채워 무게만 바꾼 물체, 표면 재질만 바꿔 마찰계수만 다르게 한 물체 등을 실험에 포함시켰습니다.

비교를 위해 앞서 설명한 두 baseline (Manual Tuning, Ours w/o PD)을 모두 시뮬레이터에서 훈련하고 현실에 이식하여 테스트했습니다. Manual Tuning의 경우, 시뮬레이터와 실제 로봇의 출력 궤적을 맞추기 위해 세밀히 튜닝된 제어기 파라미터를 사용하고 학습 시에도 소량의 파라미터 랜덤화를 추가한 교사 정책을 새로 훈련한 후, 그로부터 학생 정책을 얻었습니다. 이러한 정책들은 실행 시 적응형 제어기 출력을 내지 않으므로 DexCtrl과 구조만 다르고 일반적인 방식의 정책이라 할 수 있습니다. Ours w/o PD는 DexCtrl의 제어기 예측 부분만 제외한 것으로, 교사 정책은 본래 DexCtrl 교사와 동일하지만 학생 정책이 행동 생성 모듈만 학습된 케이스입니다. 따라서 PD 게인은 고정값이고 (Manual Tuning과 동일한 값 사용), adaptiveness가 제거된 DexCtrl로 볼 수 있습니다.

평가지표(metrics)로는 네 가지를 사용했습니다. 회전 보상 (RotR)은 물체를 원하는 축으로 얼마나 빠르게 회전시키는지를 나타내며, 시뮬레이션에선 에피소드 동안의 평균 회전 속도 보상으로, 실제에선 에피소드 종료 시 물체가 회전한 라디안 각도로 측정했습니다. 실패까지 걸린 시간 (TTF, Time to Fail)은 물체를 손에서 떨어뜨리거나 (회전 작업), 처음 위치에서 너무 벗어나 버리는 (뒤집기 작업) 시점까지 지속된 시간 스텝 수의 평균입니다. 값이 클수록 물체를 오래 안정적으로 다루었음을 의미합니다. 이 외에 물체의 불규칙 속도 (ObjVel)나 토크 페널티 등도 측정했는데, ObjVel은 물체가 불필요하게 흔들리는 정도(행동 스텝당 평균 속도)로 안정성을 나타내며 시뮬레이터에서만 계산했고, 토크 페널티는 에너지 소모량 관련 지표입니다. 실험은 시뮬레이션 평가와 실제 로봇 평가로 나뉘며, 시뮬레이션에서는 추가로 물체에 무작위 외란 힘(disturbance)을 가하는 상황과 가하지 않는 상황을 비교하여, 예기치 않은 힘 교란에 대한 견고성도 확인했습니다.

시뮬레이션 성능 – 먼저 시뮬레이터 상에서 DexCtrl과 baseline들을 비교한 결과, DexCtrl가 모든 지표에서 우수한 성능을 보였습니다. Table 1 (회전 작업)과 Table 2 (뒤집기 작업)은 시뮬레이션 환경에서의 정량적 성능을 보여주는데, DexCtrl (Ours) 정책은 수동 튜닝 baseline보다 일관되게 높은 회전 속도(RotR)와 긴 실패 시간(TTF)을 기록했습니다. 예를 들어 손바닥 위 물체 회전의 경우, 외란 힘이 주어졌을 때 DexCtrl의 평균 회전 보상은 baseline보다 약 24% 높았고(35.05→43.51), 물체를 떨어뜨리기까지 버틴 시간도 늘어났습니다(239.4→255.9). 외란이 없을 때는 차이가 더 커져, DexCtrl의 회전 속도가 baseline보다 약 39% 향상되었습니다(37.64→52.33). 이는 제어 파라미터가 동일한 조건에서도 행동+제어 동시 학습이 단순 행동 학습보다 효과적으로 작업을 가속화하고 안정화시켰음을 의미합니다. 흥미롭게도 DexCtrl에서 PD 적응만 뺀 버전(Ours w/o PD)도 수동 튜닝보다는 높은 성능을 보였는데, 특히 회전 작업에서 baseline보다 빠른 회전(52.33 대비 47.87)을 달성했습니다. 저자들은 DexCtrl 방식으로 생성된 궤적 자체가 견고하기 때문이라고 분석합니다. 다만 접촉이 격렬한 작업인 뒤집기의 경우, 비적응형 DexCtrl(Ours w/o PD)은 baseline보다 나은 성능을 내지 못했습니다. Table 2를 보면, 외란이 있을 때 뒤집기 작업의 RotR은 수동 튜닝이 91.07, Ours w/o PD가 82.23로 오히려 낮았습니다. 반면 DexCtrl은 172.5로 두 배 가까이 높았습니다. 외란이 없을 때도 비슷한 경향이어서, 결과적으로 뒤집기 같이 난이도 높은 접촉 작업에서는 실시간으로 제어기를 조정해주는 DexCtrl만이 확실한 성능 개선을 이루었다고 볼 수 있습니다. 이는 바닥-손의 복합 접촉 상황에서, 고정 제어기로는 한계가 있지만 adaptive 제어를 통해 힘 분배를 조절하면 훨씬 유리함을 보여줍니다. 추가로, DexCtrl은 학습 속도 측면에서도 우위를 보여주었는데, 동일 조건에서 학생 정책을 학습시킬 때 baseline보다 빠르게 수렴하여 효율적이었다고 합니다. 요컨대 시뮬레이터 결과만 놓고 봐도 DexCtrl은 기존 방법 대비 작업 성공률과 안정성을 크게 향상시켰습니다.

현실 세계 성능 – 더 중요하게, 학습된 정책들을 실제 로봇 손에 이식하여 테스트한 결과, DexCtrl의 우수성은 현실에서 더욱 두드러졌습니다. 손바닥 위 물체 회전 작업의 경우, 질량과 마찰이 서로 다른 12종의 물체에 대해 각 정책을 한 번도 추가 훈련하지 않고 바로 적용해 비교했습니다. 그 결과 DexCtrl은 어떤 물체에 대해서도 일관되게 가장 높은 회전 성능을 보여주었고, baseline들과의 격차가 시뮬레이터에서보다 더 크게 벌어졌습니다. Table 3은 예시로 몇 가지 물체에 대한 수치를 보여주는데, 가벼운 물체(예: 94g 큐브)에서는 수동 튜닝의 RotR이 1.963인 반면 DexCtrl은 9.386으로 약 4.8배 높았습니다. 무거운 물체(221g 사과 장난감)에서는 baseline이 1.914인 데 반해 DexCtrl은 9.676으로 5배 이상 차이가 났습니다. 거의 모든 물체에서 DexCtrl이 몇 배씩 빠르게 회전시켰으며, 이는 zero-shot sim-to-real 설정임을 감안할 때 놀라운 일반화 성능입니다. 안정성 측면에서도 DexCtrl이 뛰어났는데, 실패까지의 시간(TTF)을 보면 DexCtrl은 여러 물체에서 평균적으로 에피소드 최대 시간(300 스텝)에 육박했습니다. 이는 DexCtrl이 대부분 물체를 끝까지 떨어뜨리지 않고 잘 잡고 있었다는 뜻입니다. 반면 baseline들의 TTF는 조금 낮아서, 예를 들어 무거운 물체의 경우 수동 튜닝은 평균 243 스텝 정도에 물체를 놓쳤지만 DexCtrl은 300 스텝 내내 성공적으로 잡고 회전시켰습니다. 전체적으로 현실 환경에서 DexCtrl과 다른 방법들의 격차는 시뮬레이터보다 컸는데, 이는 시뮬레이터와 실제 사이의 미세한 차이를 DexCtrl만이 적응적으로 보완한 결과입니다. 특히 DexCtrl과 비적응형 DexCtrl(Ours w/o PD)의 차이가 현실에서 크게 벌어졌는데, 이는 매 시각 제어 파라미터를 조정해주는 기능이 실제 로봇에서 매우 중요함을 강조해줍니다. 즉, 시뮬레이터에서는 둘 다 일정 성능을 냈어도, 실제에서는 Ours w/o PD가 감당 못 하는 힘 변동을 DexCtrl은 실시간 대응하며 극복한 것입니다. 한편, 테이블 위 물체 뒤집기 작업도 실제로 시험되었고, Figure 3에 그 결과가 시각적으로 제시되었습니다. DexCtrl 정책은 실제에서도 물체를 들어올려 뒤집는 동작을 성공적으로 수행했고, 반복 실험에서 높은 성공률을 보였습니다. 바닥과의 충돌이 있는 이 복잡한 상황에서도 adaptive 제어를 통해 손가락의 충격 흡수와 힘 분배가 잘 이루어져, baseline에 비해 부드럽고 안정적인 뒤집기 동작을 구현했습니다. 이로써 DexCtrl의 접근이 한 가지 작업에 특화된 게 아니라 다양한 조작 작업에 일반화 가능함도 확인되었습니다. Figure 4는 실제 로봇으로 여러 가지 물체를 회전시키는 장면들을 보여주는데, DexCtrl 정책이 물체마다 알맞은 힘으로 잡고 회전시키는 모습을 볼 수 있습니다. 반면 고정 제어기의 baseline은 어떤 물체는 힘이 부족해 떨어뜨리고, 어떤 경우는 지나치게 세게 조여 불안정한 움직임을 보이는 등 일관성이 떨어지는 모습이 관찰되었습니다.

물체 물성 변화에 대한 적응력 분석 – DexCtrl의 뛰어난 성능이 어떤 원리로 나오는가를 알아보기 위해, 저자들은 특히 질량과 마찰이라는 물체 물성 변수에 대한 정책의 반응을 상세히 분석했습니다. 앞서 언급했듯, 동일한 모양의 빈 플라스틱 상자에 내부 내용물을 추가해 무게를 가볍게/무겁게 바꾼 경우와, 동일한 무게 상자에 표면 마찰 코팅만 달리한 마찰 계수 변화 경우를 실험했습니다.

그림 – 물체의 질량(왼쪽) 및 마찰 계수(오른쪽) 변화에 따른 회전 성능 비교. 그래프의 세 곡선은 파란색 수동 튜닝 baseline, 녹색 비적응형(Ours w/o PD), 자주색 DexCtrl을 나타냅니다. 왼쪽 그림은 가벼운 물체부터 무거운 물체로 질량이 증가할 때 세 방법의 회전 속도(RotR)를 보여주고, 오른쪽은 마찰 계수가 낮은 물체부터 높은 물체로 바뀔 때의 성능 변화를 나타냅니다. 결과를 보면 DexCtrl (자주색)은 모든 조건에서 가장 높은 회전 속도를 유지하며, 물체가 무거워지거나 마찰이 변화해도 성능 저하 폭이 매우 작다는 것을 알 수 있습니다. 예를 들어 질량이 가벼울 때는 세 방법 모두 비교적 높은 속도를 내지만, 무거운 물체로 갈수록 baseline들의 성능은 급격히 떨어지는 반면 DexCtrl은 상당한 속도를 유지하고 있습니다. 가장 무거운 경우를 보면, 수동 튜닝(파란선)은 회전 속도가 거의 0에 수렴할 정도로 실패하지만 DexCtrl(자주선)은 여전히 높은 속도로 물체를 돌릴 수 있습니다. 마찰 계수 변화에 대해서는, DexCtrl은 마찰이 작든 크든 안정적으로 높은 성능을 보이는 반면, baseline들은 중간 마찰 영역 등에서 성능이 뚝 떨어지는 등 들쑥날쑥한 양상을 보입니다. 수동 튜닝(파란선)은 마찰계수가 중간일 때 최저 성능을 내고, 비적응형(녹색)은 마찰이 작을 때 약간 성능이 높았다가 큰 마찰에서 다시 조금 낮아지는 등, 한 가지 추세로 설명하기 어려운 변화를 보입니다. 이는 고정 제어기에서는 마찰 조건에 따라 상당히 다른 거동을 보여 정책이 일관성 있게 대응하지 못함을 뜻합니다. 반면 DexCtrl은 전체적으로 높은 성능을 유지하며 약간의 변화만 보일 뿐입니다. 종합하면 DexCtrl 정책은 물체의 물리적 특성이 바뀌어도 알아서 제어 전략을 조정하여 성능을 유지하는 반면, baseline들은 특정 조건에서 크게 무너지는 모습을 보였습니다. 실제 데이터에서도 DexCtrl이 무거운 물체일수록 실패 없이 오래 버티고 (TTF 상승) 가벼운 물체일수록 빠르게 돌리지만 불안정성은 조금 있는(회전 속도 높지만 ObjVel 약간 상승) 경향 등을 보여, 힘 조절을 통해 트레이드오프를 잘 관리하고 있음을 알 수 있었습니다. 이는 사람이 무거운 물체를 들 때 힘을 더 주고, 미끄러운 물체를 다룰 때 주의를 기울이는 것과 유사한 적응력이라 할 수 있습니다.

학습된 제어 파라미터의 패턴 – 마지막으로, DexCtrl이 구체적으로 어떻게 제어기 파라미터를 조절하고 있는지를 분석한 결과를 소개합니다. 저자들은 특히 제어 파라미터 중 강성(stiffness, K) 값에 주목했는데, 이유는 강성이 감쇠보다 작업 성능에 더 큰 영향을 주었기 때문이라고 합니다. 강성을 높이는 것은 곧 각 관절에 더 큰 토크를 가하는 효과를 내어 접촉 force 프로파일을 바꾸므로, 물체의 무게나 마찰에 따라 강성 조절 패턴이 달라질 것으로 예측했습니다. 이를 검증하기 위해 시뮬레이터에서 다양한 물체에 DexCtrl 정책을 적용한 trajactory 데이터를 모아 강성 값 변화를 분석했습니다. Figure 6의 좌측 그래프는 물체 질량에 따른 평균 강성 변화를 보여주는데, 결과는 물체가 무거워질수록 강성을 높이는 방향으로 정책이 학습되었음을 명확히 보여줍니다. Light (가벼움) → Heavy (무거움)으로 갈수록 평균 강성이 단조 증가하였는데, 이는 무거운 물체를 들고 조작하려면 관절에 더 큰 힘(토크)이 필요하므로 강성을 키운다는 직관적인 원리에 부합합니다. 한편, Figure 6의 중간 및 우측 그래프는 마찰 계수에 따른 강성 변화를 나타냅니다. 여기서는 흥미롭게도 일부 관절은 마찰이 증가할수록 강성이 증가하지만, 다른 관절은 마찰이 증가할수록 오히려 강성이 감소하는 양상이 관찰되었습니다. 저자들은 이를 작업 및 관절별 역학(dynamic)의 차이로 해석했습니다. 예를 들어 회전 작업에서 마찰이 큰 경우 어떤 관절들(예: 물체를 직접 비틀어 돌리는 역할의 관절)에는 움직임에 저항이 커지므로 더 큰 토크, 즉 높은 강성이 필요할 수 있습니다. 반면 다른 관절들(예: 물체를 지지하는 역할의 관절)에서는 마찰이 클 때 오히려 물체가 잘 미끄러지지 않아 조금 힘을 빼도 제어가 가능하고, 너무 강하게 잡으면 불필요한 힘 전달로 불안정해질 수 있습니다. 따라서 관절마다 마찰이 미치는 역할이 달라서, 어떤 관절은 마찰↑ → 강성↑, 다른 관절은 마찰↑ → 강성↓ 패턴을 보인다는 것입니다. 이러한 비일관적인 강성 조정 양상은 처음엔 이상해 보일 수 있으나, DexCtrl 정책이 관절별로 최적의 힘 분배를 학습한 결과라고 이해할 수 있습니다.

위와 같은 경향은 실제 로봇 실험 데이터를 통해서도 확인되었습니다. Figure 7에서는 서로 다른 물체들에 대해 시간에 따른 강성 변화를 시각화하였는데, 두 가지 뚜렷한 패턴이 발견됩니다. (1) 무거운 물체의 경우 몇몇 중요한 관절에서 초기에 강성을 확 올리거나 최대값으로 유지하는 구간이 길어졌다는 점, (2) 표면이 매끄러운(낮은 마찰) 물체의 경우 어떤 관절들은 강성을 크게 주었다가 곧 낮추는 반면, 다른 관절들은 반대로 천천히 높이는 등 엇갈린 패턴이 보였다는 점입니다. 이 역시 관절/작업별로 필요한 힘 조절 전략이 다름을 반영하며, 종합하면 DexCtrl의 정책이 물체의 무게와 마찰에 따라 필요 접촉력을 판단하고 그에 맞게 강성을 체계적으로 조절하고 있음을 증명합니다. 이러한 학습된 강성 조절은 결과적으로 각 상황에서 최적의 힘으로 물체를 다루게 해 주어 조작 성능 향상으로 이어진다고 저자들은 결론짓고 있습니다. 요컨대 DexCtrl의 내부를 들여다본 결과, “무거운 물체는 세게 잡아라, 마찰은 상황에 맞게 힘을 재분배하라”라는 인간 전문가의 암묵적 지식을 스스로 터득한 셈입니다.

3.3 결론

시뮬레이션에서 학습한 로봇 손의 정교한 조작 기술을 실제 환경에 성공적으로 이식하기 위해서는 넘어야 할 장벽이 많습니다. DexCtrl은 그 중에서도 특히 로봇 제어기의 적절한 파라미터 선택이라는 문제에 주목하여, 이를 학습을 통해 자동화한 최초의 시도입니다. 정책이 매 순간 제어기 게인을 함께 출력하도록 설계함으로써, 시뮬레이터와 실제 로봇 사이의 미묘한 동작 차이를 정책 자체가 메꾸도록 했습니다. 이 방법은 사람이 일일이 파라미터를 맞추는 번거로움 없이도, 접촉력에 대한 추론과 적응적 힘 조절을 가능하게 했고, 그 결과 복잡한 물체 조작 작업에서 획기적인 성능 향상을 이루었습니다. 시뮬레이션과 현실 실험 모두에서 DexCtrl은 기존 방법들을 크게 능가하는 성공률과 안정성을 보여주었으며, 다양한 물체 물성 변화에도 높은 범용성(generalizability)을 입증했습니다. 특히 zero-shot 현실 적용 시에도 여러 물체를 문제없이 다루는 모습은, 향후 로봇이 학습된 기술을 실세계에 직접 활용하는 데 한 걸음 더 다가선 성과로 평가됩니다.

물론 한계와 향후 과제도 존재합니다. 현재 DexCtrl은 로봇의 고유 감각(proprioception) 정보만 활용하고, 촉각/힘 센서는 사용하지 않았습니다. 하드웨어 한계로 실험에 포함하지 못했지만, 접촉이 많은 실제 시나리오에선 이러한 실시간 힘 센싱이 있다면 더욱 정교한 제어가 가능할 것입니다. 미래에는 고성능 촉각 센서를 통합하고, 나아가 하드웨어가 지원된다면 실시간으로 정책을 미세 조정하는 온라인 학습까지 도입하여 (예컨대 실제 수행 중 약간의 추가 PPO 파인튜닝 등) 적응 제어를 한층 고도화할 수 있을 것으로 기대됩니다. 또한 본 연구는 하나의 작업에 특화된 두 모듈로 정책을 훈련했는데, 이는 각각의 작업에 별도 학습이 필요함을 의미합니다. 이를 개선하기 위해 여러 가지 조작 작업에 대해 공용의 제어 파라미터 예측 모듈을 갖도록 정책을 확장하는 연구도 고려되고 있습니다. 궁극적으로는 다양한 로봇 손 플랫폼에도 본 방법을 적용해보는 것이 목표인데, Leap Hand 이외의 다른 손에 일반화되는지도 향후 검증할 계획입니다.

DexCtrl이 보여준 적응형 제어 학습 개념은, 향후 인간 수준의 섬세한 로봇 조작을 실현하는 데 중요한 단서를 제공합니다. 사람은 물체를 다룰 때 힘 조절을 무의식적으로 잘 하는데, 이제 로봇도 학습을 통해 그러한 능력을 갖출 수 있음을 증명한 것입니다. 복잡한 접촉이 존재하는 환경에서도 안정적이면서 민첩한(dexterous yet robust) 로봇 제어가 가능함을 보인 DexCtrl의 성과는, 향후 sim-to-real 문제를 넘어 실제 산업 및 일상에서 다재다능한 로봇 손을 구현하는 데 기여할 것으로 기대됩니다. 이번 연구는 강화학습 정책과 고전 제어의 만남을 창의적으로 이루어낸 사례로서, 로보틱스 연구자들에게 시사하는 바가 크며, 추후 다양한 확장과 활용이 뒤따를 것으로 보입니다.

참고 문헌

• Shuqi Zhao et al., “DexCtrl: Towards Sim-to-Real Dexterity with Adaptive Controller Learning,” arXiv preprint arXiv:2505.00991, 2025.
• Ankur Handa et al., “DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System,” ICRA 2020, arXiv:1910.03135.