📃Kilohertz-Safe

retargeting

teleop

safety

A Scalable Framework for Constrained Dexterous Retargeting

Published

June 3, 2026

Paper Link

🤖 이 논문은 고차원 로봇 손의 텔레오퍼레이션에서 높은 주파수와 안전성을 동시에 보장하기 위해 비선형 리타게팅 문제를 joint differential space에서의 convex QP로 재구성하는 Kilohertz-Safe 프레임워크를 제안합니다.
🛠️ 이 프레임워크는 Control Barrier Functions (CBFs)를 통합하여 이종 제약 조건(kinematic limits, collision avoidance)을 체계적으로 선형화하고 충돌 방지에 대한 formal safety guarantees를 제공합니다.
🚀 Wuji Hand 플랫폼에서의 시뮬레이션 및 하드웨어 실험을 통해 제안된 프레임워크는 평균 9.05ms의 낮은 지연 시간과 95% 이상의 안전 기준 충족률로 state-of-the-art 방법론들을 능가하는 성능을 보였습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

Kilohertz-Safe는 고차원 로봇 손의 텔레오퍼레이션을 위한 확장 가능한 리타겟팅 프레임워크로, 실시간 고주파 제어와 이기종 제약 조건(heterogeneous constraints) 만족을 동시에 가능하게 합니다. 기존 비선형 최적화(nonlinear optimization) 기반 방식은 계산 비용이 높아 킬로헤르츠(kilohertz) 수준 제어에 부적합하며, 학습 기반 방식은 공식적인 안전 보장(formal safety guarantees)이 부족하다는 문제를 해결합니다.

핵심 방법론 (Core Methodology)

Kilohertz-Safe는 덱스터러스 핸드 리타겟팅(dexterous hand retargeting) 문제를 조인트 차분 공간(joint differential space)에서의 볼록 이차 계획법(convex Quadratic Program, QP)으로 재구성합니다. 이는 제약 조건들을 현재 동작점(operating point) 주변에서 선형화함으로써 달성됩니다.

고주파 텔레오퍼레이션 입력 (High-Frequency Teleoperation Input): 인간 손 동작과 로봇 조인트 상태 피드백을 동기화하여 고주파로 입력받습니다. 인간의 손 동작은 키포인트(keypoints)로 표현되며, 로봇은 이전 시간 단계의 조인트 설정(q_{t-1})을 가집니다.
통합 제약 조건 선형화 (Unified Constraint Linearization): 다양한 비선형 제약 조건들을 조인트 속도 공간(joint-velocity space)에서 선형화된 형태로 변환합니다. 이는 QP의 선형 부등식 제약 조건으로 포함됩니다.
- 텔레오퍼레이션 매핑 제약 (Teleoperation Mapping Constraint): 인간 손 키포인트(v_i^t)와 로봇 키포인트(f_i(q^t)) 간의 불일치를 최소화하는 것이 목표입니다. 기존의 비선형 최적화 문제: \min_{q^t} \sum_{i=1}^{N}\alpha \left\|v_i^t - f_i(q^t)\right\|^2 + \beta \left\|q^t - q^{t-1}\right\|^2 \text{s.t.} \quad q^l \le q^t \le q^u 이를 조인트 차분 \Delta q_t = q_t - q_{t-1}에 대한 QP로 변환합니다. f_i(q_t)를 q_{t-1}에서 1차 테일러 전개(first-order Taylor expansion)하여 근사합니다: f_i(q_t) \approx f_i(q_{t-1}) + J_i(q_{t-1})\Delta q_t 여기서 J_i는 i-번째 키포인트에 대한 야코비안(Jacobian)입니다. 이를 대입하여 이차 목적 함수를 얻습니다: \min_{\Delta q_t} \left\|J\Delta q_t - \Delta v\right\|^2_2 + \beta\|\Delta q_t\|^2_2 여기서 J = \begin{bmatrix} J_1 \\ \vdots \\ J_N \end{bmatrix}, \Delta v = \begin{bmatrix} \Delta v_1^t \\ \vdots \\ \Delta v_N^t \end{bmatrix}, \Delta v_i^t = v_i^t - f_i(q_{t-1})입니다. 조인트 위치 한계(q^l \le q^t \le q^u)는 \Delta q_t에 대한 선형 부등식 제약 조건으로 변환됩니다: q^l - q_{t-1} \le \Delta q_t \le q^u - q_{t-1}.
- 제어 장벽 함수 기반 안전 보장 (Control Barrier Function-Based Safety Guarantee): CBF를 통해 충돌 회피(collision avoidance)에 대한 공식적인 안전 보장을 제공합니다. 로봇 링크와 환경 장애물을 기하학적 원시 요소(geometric primitives)의 집합인 캡슐(capsule)로 모델링합니다. 잠재적으로 충돌할 수 있는 두 물체 A와 B에 대해, 가장 가까운 점(witness points) p_A(q)와 p_B(q)를 정의하고 안전 함수(safety function)를 다음과 같이 정의합니다: h(q) = \|p_A(q) - p_B(q)\|^2 - (r_A + r_B) 여기서 r_A, r_B는 캡슐의 반지름입니다. 충돌은 h(q) < 0일 때 발생합니다. 안전 집합 S = \{q \in \mathbb{R}^n | h(q) \ge 0\}의 전방 불변성(forward invariance)을 보장하기 위해 CBF 조건 \dot{h}(q) \ge -\gamma h(q)를 적용합니다. 여기서 \gamma > 0는 시스템이 안전 경계로부터 멀어지는 속도를 제어하는 사용자 정의 상수입니다. \dot{h}(q)는 \dot{h}(q) = \hat{n}^T(\dot{p}_A - \dot{p}_B) = J_{\text{dist}}(q)\dot{q}로 계산됩니다. 여기서 \hat{n}은 두 점을 잇는 단위 법선 벡터(unit normal vector)이며, J_{\text{dist}}(q)는 거리 야코비안입니다. 고주파 텔레오퍼레이션에서 \dot{q} \approx \Delta q_t / \Delta t로 1차 이산화(first-order discretization)하면 다음과 같은 선형 부등식을 얻습니다: J_{\text{dist}}(q_{t-1})\Delta q_t \ge -\tilde{\gamma} h(q_{t-1}) 여기서 \tilde{\gamma} = \gamma\Delta t입니다. 이 제약 조건은 의사 결정 변수(decision variable) \Delta q_t에 대해 아핀(affine)이며, 다른 조인트 한계 제약 조건과 함께 QP에 직접 통합됩니다.
구조화된 볼록 최적화 (Structured Convex Optimization): 모든 선형화된 제약 조건들을 하나의 표준 볼록 QP 형태로 통합합니다: \min_{\Delta q_t} \frac{1}{2} \Delta q_t^\top H \Delta q_t + g^\top \Delta q_t \text{s.t.} \quad A \Delta q_t \le b 여기서 H = 2(\alpha J^\top J + \beta I), g = -2\alpha J^\top \Delta v 이고, A = \begin{bmatrix} I \\ -I \\ -J_{\text{dist}} \end{bmatrix}, b = \begin{bmatrix} q^u - q_{t-1} \\ q_{t-1} - q^l \\ \tilde{\gamma} h(q_{t-1}) \end{bmatrix}입니다. 이 QP는 양의 반정치(positive semi-definite) 헤세 행렬(Hessian)을 가지므로 볼록성을 보장하여 신뢰할 수 있는 실시간 해법을 가능하게 합니다.
로봇 동작 출력 (Robot Motion Output): QP의 최적해 \Delta q_t^*를 계산하여 로봇의 다음 조인트 설정 q_t = q_{t-1} + \Delta q_t^*를 얻습니다. 이는 고정된 속도로 폐루프 실행(fixed-rate closed-loop execution)되어 로봇 핸드의 부드러운 움직임을 생성합니다.

실험 결과 (Experimental Results)

Wuji 핸드 플랫폼 시뮬레이션 및 하드웨어 실험을 통해 Kilohertz-Safe의 성능을 검증했습니다.

계산 지연 시간 (Computation Latency): 제안된 방식은 평균 9.05ms의 지연 시간을 달성하여 Dex-Retargeting(15.59ms) 및 GeoRT(34.49ms)보다 현저히 낮고 안정적인 성능을 보였습니다. 100Hz 제어 주파수(10ms) 내에 85.82%의 제어 단계가 완료되어 실시간 실행 가능성을 입증했습니다.
동작 보존 (Motion Preservation): 제안된 방식은 인간 손 동작과의 정렬(alignment)을 더 잘 유지하여, Dex-Retargeting과 비교했을 때 누적 오차(cumulative error)가 적고 더 높은 동작 충실도(motion fidelity)를 보였습니다.
충돌 안전 점수 (Collision Safety Score): CBF의 통합을 통해 Kilohertz-Safe는 손가락 내 상호작용(inter-finger interactions) 중 일관되게 높은 안전 점수(95% 이상의 프레임이 0.8 이상)를 유지하여, 다른 방식에서 나타나는 충돌 위험을 효과적으로 완화했습니다. 안전 제약 조건 제거 시 충돌 위험이 크게 증가하는 것이 확인되었습니다. 활성화 거리(activation distance) 설정은 충돌 방지에 효과적이었습니다.
실제 환경 평가 (Real-World Evaluation): 실제 Wuji 핸드에서 제안된 프레임워크는 제어 중단이나 지연 없이 연속적인 동작 시퀀스에서 안정적이고 신뢰할 수 있는 실시간 작동을 입증했습니다. 특히 손가락 교차(finger crossing)와 같은 도전적인 동작에서도 안전한 손 설정을 유지하며 자가 충돌(self-collision)이 관찰되지 않았습니다.

결론 (Conclusion)

Kilohertz-Safe는 볼록 이차 계획법을 기반으로 이기종 제약 조건의 효율적인 통합을 가능하게 하고 계산 효율성을 크게 향상시킵니다. 제어 장벽 함수를 도입하여 이론적인 안전 보장을 제공하며, 동작 유사성을 유지하면서 자가 충돌 위험을 효과적으로 제거합니다. 향후 연구는 객체 상호 작용 시 토크 분배(torque distribution)를 최적화하고 모터 토크 포화(motor torque saturation) 문제를 해결하기 위해 촉각 임피던스 제어(tactile impedance control) 제약 조건을 통합하는 것을 목표로 합니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

손가락이 여러 개 달린 dexterous hand(다관절 로봇 손)를 사람의 손동작으로 직접 조종(teleoperation)하는 장면을 떠올려 보자. 사람이 카메라 앞에서 손을 움직이면, 그 움직임이 곧바로 로봇 손의 관절 각도로 변환되어야 한다. 이 “사람 손 → 로봇 손” 변환 과정을 retargeting(리타게팅)이라고 부른다.

이 작업은 생각보다 훨씬 까다롭다. 두 가지 요구사항이 동시에 충돌하기 때문이다.

속도(real-time): 조종이 자연스럽게 느껴지려면 명령이 밀리초 단위로 생성되어야 한다. 제어 루프가 100Hz(10ms 주기)나 그 이상, 심지어 kilohertz(1kHz) 수준으로 돌아야 폐루프(closed-loop)가 안정적으로 유지된다.
안전(safety): 로봇 손은 기계적으로 매우 빽빽하다. 손가락과 링크 사이 간격이 밀리미터 단위라서, 작은 수치 오차나 제어 지연만으로도 self-collision(자가 충돌)이나 penetration(부품끼리 파고듦)이 일어나 하드웨어가 손상될 수 있다.

기존 방법들은 이 두 마리 토끼를 동시에 잡지 못했다. 논문은 이를 두 진영으로 정리한다.

최적화 기반(optimization-based): DexPilot, AnyTeleop 같은 방법은 리타게팅을 제약 최적화 문제로 풀어 관절 한계·운동 일관성·부드러움을 명시적으로 인코딩한다. 해석 가능하고 여러 로봇 손에 적용하기 쉽지만, 비선형 솔버(nonlinear solver)를 반복적으로 돌려야 해서 자유도(DoF)가 늘어나면 계산 비용이 급격히 커진다. kilohertz 제어는 사실상 불가능하다.
학습 기반(learning-based): GeoRT 같은 방법은 복잡한 계산을 오프라인 학습으로 미뤄 1kHz 추론을 달성한다. 하지만 특정 로봇 몸체·데이터셋에 강하게 종속되고, 안전 제약은 손실 함수나 휴리스틱으로 암묵적으로만 다뤄 형식적 보장(formal guarantee)이 없다. 분포 밖(out-of-distribution) 상황이나 접촉이 많은 장면에서 성능이 무너질 수 있다.

저자들이 제안하는 Kilohertz-Safe는 이 딜레마를 “시스템 아키텍처 관점”에서 다시 설계한다. 핵심 아이디어를 한 문장으로 요약하면 이렇다.

비선형 리타게팅 문제를 joint differential space(관절 증분 공간)에서의 convex QP(볼록 이차계획법)로 다시 쓰고, 안전 제약을 Control Barrier Function(CBF)으로 선형 부등식화하여 같은 QP 안에 1급 시민으로 끼워 넣는다.

비유하자면, 기존 비선형 최적화가 “매 프레임마다 산 전체를 다시 탐험하는” 방식이라면, 이 논문은 “지금 서 있는 자리 주변만 평평한 지도로 근사해서, 그 위에서 가장 빠른 한 걸음을 닫힌 형태로 계산하는” 방식이다. 고주파 제어에서는 한 스텝 사이 변화가 작으므로 이 근사가 정당화된다.

주요 기여는 세 가지다.

고주파 실시간 실행과 이질적(heterogeneous) 제약 만족을 동시에 달성하는 확장 가능한 리타게팅 프레임워크.
joint differential-space 통합 인터페이스 안에서 안전을 명시적 제약으로 표현하여 충돌 회피의 형식적 보장 제공.
Wuji Hand 실물 플랫폼에서의 검증.

방법

1. 출발점: 비선형 리타게팅

먼저 기존 리타게팅의 표준 형태를 보자. 사람 손의 keypoint(지문점/관절점) 3D 위치를 v_i^t \in \mathbb{R}^3, 로봇 관절 구성을 q_t \in \mathbb{R}^{n_q}, 로봇 keypoint의 forward kinematics를 f_i(\cdot)라 하면 AnyTeleop 등이 쓰는 형태는 다음과 같다.

\min_{q_t} \sum_{i=1}^{N} \alpha \,\lVert v_i^t - f_i(q_t)\rVert^2 + \beta\, \lVert q_t - q_{t-1}\rVert^2 \quad \text{s.t.}\quad q_l \le q_t \le q_u

직관적으로 첫 항(\alpha)은 “사람 손과 로봇 손의 keypoint를 최대한 일치시켜라(tracking)”, 둘째 항(\beta)은 “직전 자세와 너무 다르게 움직이지 마라(smoothness)”, 제약은 “관절 한계를 지켜라”이다. 문제는 f_i가 비선형이라 이 최적화가 비선형이고, 반복 솔버가 필요하다는 점이다.

2. 핵심 트릭: 1차 테일러 전개로 QP화

여기서 논문의 첫 번째 묘수가 등장한다. 관절 증분 \Delta q_t = q_t - q_{t-1}을 결정 변수로 삼고, forward kinematics를 직전 구성 q_{t-1} 주변에서 1차 테일러 전개한다.

f_i(q_t) \approx f_i(q_{t-1}) + J_i(q_{t-1})\,\Delta q_t

여기서 J_i는 i번째 keypoint의 Jacobian(자코비안)이다. 이것을 원래 목적함수에 대입하면, 비선형이던 항이 \Delta q_t에 대한 이차식으로 바뀐다.

\min_{\Delta q_t} \lVert J\Delta q_t - \Delta v\rVert_2^2 + \beta\lVert \Delta q_t\rVert_2^2

여기서 \Delta v_i^t = v_i^t - f_i(q_{t-1})는 “현재 로봇 keypoint가 목표보다 얼마나 떨어져 있는가(잔차)”이다. 관절 한계도 증분에 대한 선형 부등식 q_l - q_{t-1} \le \Delta q_t \le q_u - q_{t-1}로 자연스럽게 변환된다. 최종적으로 표준 QP 형태가 된다.

\min_{\Delta q_t} \tfrac{1}{2}\Delta q_t^\top H \Delta q_t + g^\top \Delta q_t \quad \text{s.t.}\quad A\Delta q_t \le b

H = 2(\alpha J^\top J + \beta I), \qquad g = -2\alpha J^\top \Delta v, \qquad A = \begin{bmatrix} I \\ -I \end{bmatrix}, \qquad b = \begin{bmatrix} q_u - q_{t-1} \\ q_{t-1} - q_l \end{bmatrix}

핵심은 H = 2(\alpha J^\top J + \beta I)가 positive semi-definite(양의 준정부호)라는 점이다. 즉 이 문제는 볼록(convex)이고, 지역 최소에 빠지지 않으며 닫힌 형태에 가깝게 빠르고 안정적으로 풀린다. 이것이 “kilohertz”를 가능케 하는 계산적 토대다.

여기서 깔리는 전제(Remark 1)는 합리적이다. VR 인터페이스·비전 추적·데이터 글러브 덕분에 사람 손 동작을 고주파로 얻을 수 있고, 따라서 연속한 두 스텝 사이의 관절 변화가 본질적으로 작아 1차 선형화가 타당하다는 것이다.

3. 안전을 1급 제약으로: Control Barrier Function

QP화만으로는 충돌이 안 일어난다는 보장이 없다. 기존 방법들은 목적함수에 충돌 페널티를 더하는 식으로 안전을 다뤘지만, 이는 가중치 튜닝에 의존하는 soft constraint(연성 제약)이라 확률적·경험적 완화에 그친다. 논문은 안전을 hard constraint로 격상한다.

CBF의 기본 아이디어는 이렇다. 안전 집합을 \mathcal{C} = \{x \mid h(x) \ge 0\}로 정의하면, h가 음수로 내려가지 않도록(즉 집합 밖으로 못 나가도록) 다음 조건을 강제한다.

\dot{h}(x) + \alpha h(x) \ge 0

직관적으로, h(안전 여유)가 0에 가까워질수록 더 강하게 “밀어내는” 힘이 작동해 경계를 넘지 못하게 한다. 이를 forward invariance(전방 불변성)라 부른다 — 한 번 안전 영역 안에 있으면 계속 안전 영역에 머문다.

이를 로봇 손에 적용하기 위해 저자들은 capsule(캡슐) 충돌 모델을 쓴다. 각 링크를 반지름 r짜리 캡슐로 근사하고, 충돌 가능한 두 물체 A, B의 가장 가까운 점(witness point) p_A(q), p_B(q) 사이 거리로 안전 함수를 정의한다.

h(q) = \lVert p_A(q) - p_B(q)\rVert_2 - (r_A + r_B)

h < 0이면 캡슐이 겹친 것, 즉 충돌이다. 이제 \dot h를 구해야 하는데, 두 물체를 잇는 단위 법선 \hat n = (p_A - p_B)/\lVert p_A - p_B\rVert_2와 witness point들의 point Jacobian J_{v,A}, J_{v,B}를 써서 distance Jacobian을 얻는다 (Danskin 정리로 미분 처리).

\dot h(q) = J_{\text{dist}}(q)\,\dot q, \qquad J_{\text{dist}}(q) \triangleq \hat n^\top\big(J_{v,A}(q;p_A) - J_{v,B}(q;p_B)\big)

즉 거리의 변화율이 관절 속도에 선형으로 연결된다. 고주파 가정에서 \dot q \approx \Delta q_t / \Delta t로 이산화하면, CBF 조건이 깔끔한 선형 부등식이 된다.

J_{\text{dist}}(q_{t-1})\,\Delta q_t \ge -\tilde\gamma\, h(q_{t-1}), \qquad \tilde\gamma = \gamma\Delta t

이 부등식은 결정 변수 \Delta q_t에 대해 affine(아핀)하므로, 관절 한계 제약과 나란히 같은 QP에 그냥 쌓아 넣으면 된다.

A = [\,A_{jl}\,;\, -J_{\text{dist}}\,], \qquad b = [\,b_{jl}\,;\, \tilde\gamma\, h(q_{t-1})\,]

목적함수도 제약도 모두 볼록이므로 전체는 여전히 표준 convex QP다. 저자들이 강조하는 대비점은 명확하다 — CBF를 비선형 리타게팅에 직접 넣으면 고차원 비선형 부등식이 생겨 고주파 실행이 불가능해지지만, 선형화된 QP 안에서는 형식적 안전 보장을 유지하면서도 실시간성이 보존된다.

전체 파이프라인

flowchart TD
    A["High-Frequency Teleop Input<br/>(human hand keypoints v_i^t)"] --> C
    B["Robot Joint State Feedback<br/>(q_{t-1})"] --> C
    C["Unified Constraint Linearization<br/>in joint differential space"]
    C --> D1["Teleop mapping:<br/>1st-order FK Taylor expansion<br/>f_i(q) approx f_i + J_i dq"]
    C --> D2["Kinematic limits:<br/>q_l - q_{t-1} le dq le q_u - q_{t-1}"]
    C --> D3["Safety (CBF):<br/>J_dist dq ge -gamma_tilde h(q)"]
    D1 --> E["Convex QP<br/>min 0.5 dq^T H dq + g^T dq<br/>s.t. A dq le b"]
    D2 --> E
    D3 --> E
    E --> F["Optimal joint update dq*<br/>q_t = q_{t-1} + dq*"]
    F --> G["Robot Motion Output<br/>(fixed-rate closed loop)"]
    G -.-> B

의사코드로 표현하면 한 제어 스텝은 다음과 같다.

function RETARGET_STEP(q_prev, human_keypoints v):
    # 1. linearize forward kinematics at q_prev
    for i in 1..N:
        J_i      = jacobian(q_prev, keypoint_i)
        dv_i     = v_i - FK_i(q_prev)
    J  = stack(J_i);  dv = stack(dv_i)

    # 2. build QP objective (convex, PSD Hessian)
    H = 2 * (alpha * J^T J + beta * I)
    g = -2 * alpha * J^T dv

    # 3. kinematic-limit rows
    A = [ I ; -I ]
    b = [ q_u - q_prev ; q_prev - q_l ]

    # 4. CBF safety rows for each colliding capsule pair (A,B)
    for (A,B) in collision_pairs:
        p_A, p_B = closest_points(q_prev, A, B)
        h        = norm(p_A - p_B) - (r_A + r_B)
        n_hat    = (p_A - p_B) / norm(p_A - p_B)
        J_dist   = n_hat^T (Jv_A - Jv_B)
        A = vstack(A, -J_dist)
        b = vstack(b,  gamma_tilde * h)

    # 5. solve convex QP
    dq = solve_QP(H, g, A, b)
    return q_prev + dq

실험

셋업

평가는 시뮬레이션(SAPIEN 환경, Wuji hand 공식 URDF)과 실물 하드웨어(고정 플랫폼의 Wuji dexterous hand) 양쪽에서 이뤄졌다. 사람 손 keypoint는 시뮬에서는 노트북 단안 카메라, 하드웨어에서는 Intel RealSense + MediaPipe로 실시간 추정했다. 비교 대상은 두 대표 방법, Dex-Retargeting(AnyTeleop 계열, 최적화 기반)과 GeoRT(학습 기반)이다.

평가 지표는 세 가지다.

Computation Latency: 한 프레임을 로봇 관절 목표로 변환하는 데 걸리는 wall-clock 시간(렌더링·통신 제외). 평균/표준편차/99퍼센타일과, 10ms 주기를 만족하는 스텝 비율(RT@100Hz)을 보고.
Motion Preservation(MP): 사람과 로봇 손의 방향 일치도. 표면 앵커점에서 방향 비유사도 \epsilon_i = 1 - (d_i^H)^\top d_i^R ([0,2] 범위, 0이 완벽 일치)를 가중 평균. 작을수록 좋다.
Collision Safety Score: 비인접 손가락 링크 간 최소 거리 D_\text{self}를 임계값 D_\text{safe}로 정규화한 점수 S_\text{safe} = \text{clip}(D_\text{self}/D_\text{safe}, 0, 1).

지연(Latency) 결과

핵심 정량 결과는 Table I이다.

Method	Mean (ms) ↓	Std (ms) ↓	99%ile (ms) ↓	RT@100Hz (%) ↑
Ours	9.05	2.29	13.42	85.82
Dex-Retargeting	15.59	12.50	32.82	34.41
GeoRT	34.49	4.28	49.90	0.19

해석하면 이렇다. 제안 방법은 평균 9.05ms로 가장 빠를 뿐 아니라, 표준편차 2.29ms로 가장 일관적이다 — 즉 “가끔 느려지는” 일이 거의 없다. 10ms 주기를 지키는 비율이 85.82%로, Dex-Retargeting(34.41%)과 GeoRT(0.19%)를 압도한다. 흥미롭게도 학습 기반인 GeoRT가 가장 느린데, 이는 기하 매핑 연산과 프레임별 휴리스틱 보정 때문이다. Dex-Retargeting은 평균은 그럭저럭이나 입력에 따라 계산량이 출렁여(Std 12.50ms) 실시간 일관성이 떨어진다.

(참고) GeoRT가 다른 문헌에서는 1kHz를 주장했음을 고려하면, 여기서의 34.49ms는 이 논문의 특정 구현·파이프라인(MediaPipe 전처리 포함 여부 등) 조건에서 측정된 값으로 보인다. (추측) 비교 조건의 세부가 결과 해석에 영향을 줄 수 있다.

Motion Preservation 결과

제안 방법은 상호작용 시퀀스 전반에서 사람 손과 더 가까운 방향 일치를 유지했다(Fig. 2a). Dex-Retargeting은 특정 구간에서 눈에 띄는 편차를 보였고, GeoRT는 기하 근사와 불연속적 프레임별 보정으로 충실도가 떨어졌다. 저자들은 누적 MP 이득(cumulative gain)도 정의해 비교했다.

G_\text{rel}(T) = \frac{E_c^{(\text{baseline})}(T) - E_c^{(\text{ours})}(T)}{E_c^{(\text{baseline})}(T)}

이 값이 시간이 지날수록 꾸준히 증가했는데(Fig. 2b), 이는 긴 시간 동안 누적 편차가 더 적게 쌓인다는 뜻이다. 특히 손가락이 교차하는 Phase I과 손가락을 모아 grasp를 형성하는 Phase II에서 차이가 두드러졌다. 또한 효율-충실도 트레이드오프(Fig. 2e)에서 제안 방법은 가장 낮은 MP 값과 가장 짧은 계산 시간을 동시에 달성했다.

안전(Safety) 결과

안전 점수 시계열(Fig. 4)에서 제안 방법은 일관되게 높은 점수를 유지한 반면, Dex-Retargeting과 GeoRT는 손가락 내전(finger adduction)이나 상호 침투가 잘 일어나는 구간에서 급격히 하락했다 — 명시적 충돌 제약이 없기 때문이다. 정량적으로 제어 스텝의 95% 이상이 안전 점수 0.8 이상을 달성했다. 안전 점수 분포(0.8~1.0 구간 프레임 수)에서 Ours는 240, Dex-Retargeting은 168, GeoRT는 29 수준으로, 격차가 뚜렷하다.

Ablation(절제 연구)에서는 다른 요소를 고정한 채 안전 항만 제거했다. CBF 없이는 안전 점수가 임계값 아래로 자주 떨어진 반면, CBF를 켜면 시퀀스 전반에서 점수가 일관되게 높았다(Fig. 5a). 프레임별 최소 손가락 간 거리(Fig. 5b)를 보면, 안전 제약이 켜졌을 때 거리가 임계값에 가까워질수록 감소가 능동적으로 억제되어 충돌 직전 상황을 막았다.

구체적 파라미터로, 최소 안전 거리 임계값은 0.01m(Wuji hand의 손가락 두께·관절 간격 기준)로 고정했고, 시스템 지연을 고려해 약간 큰 activation distance 0.011m에서 제약이 미리 발동되도록 했다. 이 아주 작은 예측 마진만으로도 지연 하에서 거리 감소를 효과적으로 억제했다. 다만 이산 시간 제어와 지연 때문에 일부 프레임에서 밀리미터 수준의 미세한 임계값 위반은 관찰되었다.

실물 검증

하드웨어 실험은 정성 평가 중심으로, grasping과 finger-crossing 같은 일상적이면서도 응답성·충돌 회피에 까다로운 동작을 다뤘다. 프레임워크는 fixed-rate 폐루프 실행을 유지했고, 로봇 손이 긴 연속 시퀀스 동안 제어 중단이나 지연 누적 없이 사람 동작을 부드럽게 따라갔다(200ms 간격 스냅샷, Fig. 7). Dex-Retargeting 및 “안전 제약 없는 변형”과의 비교(Fig. 8)에서, 손가락 교차 같은 까다로운 동작 중 baseline은 손가락 간 간격이 줄거나 불안정해진 반면 제안 방법은 자가 충돌 없이 안전한 구성을 유지했다.

비판적 고찰

강점

개념적 명료함과 통합성: 가장 큰 미덕은 teleoperation 매핑, 운동학 한계, 충돌 회피라는 이질적 제약을 모두 하나의 joint differential-space QP 안에서 선형 제약으로 통일했다는 점이다. 엔지니어링 관점에서 매우 깔끔하고 확장하기 쉽다.
속도와 일관성의 동시 달성: 9.05ms 평균에 2.29ms라는 낮은 분산은 실시간 제어에서 평균값보다 중요할 수 있다. 폐루프 안정성은 “최악의 경우 지연”에 좌우되기 때문이다.
안전의 형식적 보장: 충돌 회피를 페널티가 아닌 hard constraint(CBF)로 다뤄, 휴리스틱 가중치 튜닝 의존을 제거하고 forward invariance라는 이론적 근거를 확보했다.

약점·한계

선형화의 타당 범위: 전체 방법은 “연속 스텝 간 변화가 작다”는 가정에 의존한다. 입력이 끊기거나(센서 드롭아웃), 빠른 동작에서 큰 점프가 생기거나, 제어율이 낮아지면 1차 테일러 근사와 \dot q \approx \Delta q/\Delta t 이산화가 무너질 수 있다. 논문은 이 경계에서의 거동을 정량적으로 탐구하지 않는다. (추측) 매우 빠른 손동작에서의 robustness는 추가 검증이 필요해 보인다.
국소 최적성(myopia): 매 스텝 한 걸음만 보는 1차 QP는 본질적으로 greedy하다. 멀리 내다보는 계획(예: 곧 닥칠 충돌을 회피하려 미리 우회)은 activation distance라는 작은 마진에만 의존한다. 복잡한 다물체 접촉에서 QP가 infeasible(해 없음)해지는 경우의 처리(슬랙 변수, 우선순위 등)에 대한 논의가 부족하다.
단일 임베디먼트·정성 위주의 실물 평가: 검증이 Wuji hand 한 종류에 집중되어 있고, 하드웨어 실험은 정성 평가 중심이다. “여러 로봇 손에 확장 가능”이라는 주장에 비해 다양한 손 형태에서의 정량 결과는 제한적이다.
비교 공정성: 앞서 짚었듯 GeoRT의 34.49ms는 원 논문의 1kHz 주장과 큰 차이가 있어, 비교 파이프라인 구성(전처리 포함 여부 등)이 결과에 영향을 줬을 가능성이 있다.
거리 임계값의 고정성: 0.01m 임계값과 0.011m activation을 모든 실험에 고정했다. 빠른 grasp에서는 밀리미터 위반이 실제로 관찰되었으므로, 속도 적응형 마진이 더 안전할 수 있다.

요약 및 결론

Kilohertz-Safe는 dexterous hand teleoperation의 오래된 딜레마 — 속도 대 안전 — 를 영리한 재정식화로 동시에 공략한다. 비선형 리타게팅을 forward kinematics의 1차 테일러 전개를 통해 joint differential-space의 convex QP로 바꾸고(PSD Hessian으로 볼록성 보장), capsule 기반 거리 함수의 CBF 조건을 affine 부등식으로 만들어 같은 QP에 hard constraint로 통합한다.

핵심 수치로 정리하면, 시뮬레이션에서 평균 지연 9.05ms(std 2.29ms, 99%ile 13.42ms)로 Dex-Retargeting(15.59ms)·GeoRT(34.49ms)를 앞섰고, 100Hz 실시간 충족률 85.82%, 그리고 제어 스텝의 95% 이상이 안전 점수 0.8 이상을 달성했다. Ablation은 CBF가 손가락 간 거리 감소를 능동적으로 억제함을 보였고, Wuji hand 실물에서 fixed-rate 폐루프 실행과 매끄러운 추종을 확인했다.

설계 철학 면에서 이 논문이 주는 교훈은 분명하다 — “안전을 목적함수의 항이 아니라 제약으로, 그것도 닫힌 볼록 문제 안에 넣어라”는 것이다. CBF를 비선형 문제에 직접 넣으면 실시간성이 죽지만, 고주파 가정 덕에 정당화되는 선형화를 거치면 형식적 보장과 kilohertz 속도를 함께 가질 수 있다. 저자들은 향후 tactile impedance control 제약을 통합해 물체 상호작용 시 토크 분배를 최적화하고 모터 토크 포화 문제를 다루겠다고 밝혔다. 선형화의 robustness, infeasibility 처리, 다양한 손 형태로의 정량적 확장이 후속 과제로 남는다.