📃TF-HOT 리뷰

Training-Free Hand-Object Pose Tracking and Optimization for Dexterous Manipulation

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

• Paper Link

Inspire Hand 사용

1. ✨ TF-HOT(Training-Free Hand-Object Pose Tracking)는 훈련이 필요 없는(training-free) 방식으로 사람 손과 객체의 포즈를 비디오에서 효율적으로 추적하고 최적화하는 새로운 파이프라인을 제안합니다.
2. 💡 이 방법은 미분 가능한 렌더링과 사전 훈련된 2D 파운데이션 모델(SAM2, MMPose)의 풍부한 사전 정보를 활용하여 2D 및 3D 제약 조건과 물리적 제약을 포함하는 다중 손실 함수를 최소화하여 포즈를 최적화합니다.
3. 🚀 TF-HOT은 실제 환경 비디오에서 최첨단 성능을 달성하며, 추출된 포즈 궤적을 활용하는 PTF(Pose Trajectory Following) 모방 학습을 통해 정교한 조작 정책 학습에서 기존 강화 학습 및 모방 학습 방법을 능가함을 입증했습니다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 훈련 없이(Training-Free) 인간의 손과 물체의 자세를 추적하고 최적화하는 파이프라인인 TF-HOT (Training-Free Hand-Object Pose Tracking and Optimization)을 제안하며, 이를 활용하여 로봇의 능숙한 조작(dexterous manipulation)을 위한 모방 학습(imitation learning) 방법을 제시합니다.

1. 서론 및 배경

능숙한 손 조작(dexterous manipulation)은 높은 차원의 행동 공간과 고품질 시연(demonstration) 데이터의 부족으로 인해 본질적으로 어렵습니다. 인간의 손과 물체 간의 상호작용이 담긴 많은 비디오가 존재하지만, 빈번하고 역동적인 가려짐(occlusion) 때문에 손과 물체의 자세를 정확하고 견고하게 추적하는 것이 어렵습니다. 이러한 문제는 비디오에서 고품질의 로봇 조작 시연을 추출하는 것을 방해합니다. 기존의 손-물체 자세 추정 방법은 대규모 주석(annotation) 데이터셋이 필요한 학습 기반(learning-based) 방식과 다중 카메라 설정에 의존하는 최적화 기반(optimization-based) 방식으로 나뉘며, 둘 다 실제 환경에서의 적용에 한계가 있습니다. 본 연구는 이러한 문제를 해결하기 위해 사전 훈련된 2D 기반(foundation) 인식 모델의 풍부한 사전 지식(prior)과 미분 가능한 렌더링(differentiable rendering)을 활용하는 훈련 없는(training-free) 접근 방식을 제안합니다.

2. 핵심 방법론 (TF-HOT)

TF-HOT의 목표는 RGB-D 비디오 입력이 주어졌을 때 각 프레임에서 손과 물체의 자세를 공동으로 최적화하여 추정하는 것입니다.

2.1. 모델링

• 손 모델: MANO (Romero et al., 2022) 모델을 사용하여 3D 손 형상을 표현합니다. 손의 자세(\theta), 형상(\beta), 전역 회전(r), 전역 변환(t)을 포함하는 파라미터 \gamma = \{\theta, \beta, r, t\}를 통해 손 메시 M(\gamma)와 3D 손 관절 J(\gamma)를 생성합니다.
• 물체 모델: 물체 모델 M_{obj}는 미리 알려져 있다고 가정하며, 단일 뷰 또는 다중 뷰 이미지로부터 학습 기반 3D 재구성(reconstruction) 방법을 통해 얻을 수 있습니다. 물체 자세 P는 쿼터니언(quaternion)과 변환(translation) 벡터로 파라미터화됩니다.

2.2. 최적화 목표 함수

손과 물체의 자세 \{ \gamma, P \}를 각 프레임별로 공동 최적화하기 위해 다음 손실 함수를 최소화합니다: L_{total}(\gamma, P) = \lambda_{2d}L_{2d}(\gamma) + \lambda_{render}L_{render}(\gamma, P) + \lambda_{surf}L_{surf}(\gamma, P) + \lambda_{sdf}L_{sdf}(P) + \lambda_{penetr}L_{penetr}(\gamma, P) + \lambda_{attr}L_{attr}(\gamma, P) + \lambda_{reg}L_{reg}(\gamma, P) 여기서 \lambda 값들은 각 손실 항의 가중 계수입니다. 이 손실 항들은 크게 세 가지 범주로 나뉩니다: 2D 이미지 공간 제약, 3D 정보 활용, 그리고 최적화 안정성 및 물리적 타당성(physically plausible)을 위한 정규화(regularization) 항.

2.2.1. 2D 사전 지식(Priors)으로부터의 제약

• 2D 관절 투영 손실 (L_{2d}): 3D 손 관절을 투영한 위치와 참조 2D 관절 위치(\tilde{j}_{2d}, MMPose로 예측) 사이의 유클리드 거리(Euclidean distance)를 최소화합니다. L_{2d}(\gamma) = \tilde{w}\|\Pi J(\gamma) - \tilde{j}_{2d}\|^2 여기서 \Pi는 투영 연산자이며, \tilde{w}는 2D 관절 위치 예측의 신뢰도입니다.
• 렌더링 손실 (L_{render}): 픽셀 단위 마스크 손실을 사용하여 더 밀도 높은 감독(supervision)을 제공합니다. 손과 물체를 함께 렌더링하여 가려짐을 고려합니다. M_{hand}, M_{obj} = \pi[M(\gamma), P_tM_{obj}] L_{render} = w_1\|M_{hand} - \tilde{M}_{hand}\|^2 + w_2\|M_{obj} - \tilde{M}_{obj}\|^2 \pi는 미분 가능한 마스크 렌더러이며, 참조 마스크 \tilde{M}_{hand}, \tilde{M}_{obj}는 SAM2 (Ravi et al., 2024)를 사용하여 얻습니다.

2.2.2. 3D 정보 활용

• 가시 영역 표면 손실 (L_{surf}): 기존 표면 손실의 한계(단일 뷰에서 부분적인 포인트 클라우드)를 해결하기 위해, 메쉬의 가시 영역 부분(S)만 포인트 클라우드(P)와 정렬하도록 제한합니다. f(P, S) = (w_3 \sum_{\triangle_i \in S} \min_{p_j \in P} \|p_j - \triangle_i\|^2 + w_4 \frac{|S|}{|P|} \sum_{p_i \in P} \min_{\triangle_j \in S} \|p_i - \triangle_j\|^2) p_i는 포인트 클라우드 P의 i번째 점이고, \triangle_j는 가시 영역 S의 j번째 삼각형입니다.

• SDF 손실 (L_{sdf}): 물체에 적용되는 손실로, 포인트 클라우드와 SDF (Signed Distance Function) 필드의 제로 레벨 집합(zero-level set)으로 정의된 표면 사이의 거리를 최소화합니다. 물체 자세 초기화가 좋지 않을 때도 정확한 결과를 얻는 데 도움을 줍니다. L_{sdf}(P) = \sum_{v \in P}\|\phi(P^{-1}v)\|^2

\phi(x)는 물체의 캐노니컬 공간(canonical space)으로 변환된 위치 x에서의 SDF 값입니다.

2.2.3. 정규화 및 초기화

• 침투 손실 (L_{penetr}): 손-물체 간의 침투(penetration)를 방지하는 물리적 제약입니다. 물체를 침투한 손의 정점(vertex)에 페널티를 부과합니다. L_{penetr}(\gamma, P) = \sum_{v \in M(\gamma)}(-\mathbf{1}_{\phi(P^{-1}v)<0} \phi(P^{-1}v))
• 인력 손실 (L_{attr}): 손가락 끝(fingertips)과 물체 사이의 접촉을 장려하는 물리적 제약입니다. 물체 바깥에 있는 다섯 손가락 끝의 최소 SDF 값에 페널티를 부과합니다. L_{attr}(\gamma, P) = \sum_{i=min}^{n=5} \min_{v \in M(\gamma)_{C_i}}(\mathbf{1}_{\phi(P^{-1}v)>0} \phi(P^{-1}v)) 손이 물체와 접촉한 것으로 간주될 때 (최대 침투가 특정 임계값을 초과할 때) 활성화됩니다.
• 정규화 손실 (L_{reg}): 프레임 간의 3D 손 관절(j_{3d_t})과 물체 자세의 변환(T_t) 변화를 최소화하여 결과를 안정화합니다. L_{reg} = w_5 \max(0, \|j_{3d_t} - j_{3d_{t-1}}\|^2 - \epsilon_1) + w_6 \max(0, \|T_t - T_{t-1}\|^2 - \epsilon_2)
• 초기화: 첫 프레임은 외부 객체 자세 추정 네트워크(FoundationPose)로 물체 자세를, 손은 여러 전역 회전을 샘플링하고 손 포인트 클라우드의 중심에 맞춘 후 2D 관절 에러가 가장 낮은 초기화를 선택합니다. 이후 프레임은 이전 프레임의 최적화된 자세를 초기값으로 사용합니다.

3. 응용: 자세 궤적 추적 (PTF)

TF-HOT으로 추출된 손과 물체 자세는 로봇의 능숙한 손 조작 작업에서 활용됩니다. PTF (Pose Trajectory Following)는 단일 자세 전용 시연(pose-only demonstration)을 활용하여 능숙한 손 조작 작업을 위한 정책(policy)을 최적화하는 모방 학습 방법입니다. TF-HOT에서 얻은 물체 및 손 자세 궤적을 이용하여 역운동학(inverse kinematics) 및 리타게팅(retargeting) 알고리즘을 적용하여 로봇 손의 초기 자세와 손가락 위치를 시연의 첫 프레임과 일치시킵니다. 그 후, 로봇 손의 현재 상태가 목표 자세 궤적을 따라 얼마나 진행되었는지를 측정하는 특정 궤적 추적 보상(trajectory-following reward)을 설계합니다. PPO (Proximal Policy Optimization)를 사용하여 이 궤적 추적 보상과 원래 환경 보상의 합계를 최대화하도록 정책을 최적화합니다.

4. 실험 및 결과

본 연구는 DexYCB 데이터셋과 자체 수집한 In-the-wild 데이터셋에서 TF-HOT의 성능을 평가했습니다.

• DexYCB 데이터셋: MPJPE (손 관절 위치 오차), J2E (2D 관절 픽셀 오차), t_{err} (물체 변환 오차), r_{err} (물체 회전 오차)를 사용했습니다. TF-HOT은 HOTrack (Chen et al., 2023)보다 우수한 성능을 보였으며, 물체 자세 추정에서 가장 낮은 변환 오차를 달성했습니다.
• In-the-wild 데이터셋: J2E* (MMPose와의 2D 관절 픽셀 오차), IoUobj (SAM2와의 물체 마스크 IoU), SDobj (가시 영역 3D 표면 거리)를 사용했습니다. TF-HOT은 HOTrack 및 HOISDF (Qi et al., 2024)보다 우수한 정량적 및 정성적 결과를 보였습니다. 학습 기반 모델인 HOTrack과 HOISDF는 각각 포인트 클라우드 품질에 민감하거나 학습 데이터에 없는 카메라 자세 및 객체에 일반화하는 데 어려움을 겪었습니다.
• Ablation Study: 각 손실 항의 영향을 분석한 결과, 어떤 손실 항이라도 제거하면 성능 저하가 발생하며, 특히 가시 영역 3D 표면 손실이 없는 경우 상당한 오정렬이 발생했습니다. 침투 손실이 없으면 손과 물체가 침투하고, 인력 손실이 없으면 비현실적인 잡기 자세가 나타나며, 정규화 손실이 없으면 깊이 데이터의 노이즈에 취약해지는 것을 확인했습니다.
• PTF 응용 실험: ManiSkill 3 환경에서 바나나, 이지-오픈 캔, 코끼리 픽업(Pickup) 작업을 수행했습니다. 순수 PPO(강화 학습) 및 SOIL(상태 전용 모방 학습)과 비교했을 때, PTF는 TF-HOT에서 추출된 시연을 효과적으로 활용하여 더 높은 성공률과 적은 샘플로 작업을 해결했습니다. 특히, PTF는 물체에 대한 손의 상대적인 자세를 정확하게 유지하는 데 도움을 주어 더 효과적인 잡기(grasping)를 가능하게 했습니다.

5. 결론 및 한계

TF-HOT은 미분 가능한 렌더링과 사전 훈련된 2D 인식 모델의 사전 지식을 활용하여 훈련 없이도 인간 손과 물체 자세 궤적을 효율적으로 최적화하는 프레임워크입니다. 이 방법은 실제 비디오에서 최첨단 성능을 달성하며, 추출된 자세 궤적은 로봇 능숙 조작 정책 학습을 위한 PTF와 같은 모방 학습 방식에 효과적으로 활용될 수 있음을 입증했습니다. 한계점으로는 손이 완전히 가려지거나 포인트 클라우드에 나타나지 않는 경우 3D 사전 지식의 부족으로 정확한 자세 추정이 어렵다는 점이 있습니다. 이는 향후 다중 카메라 설정을 통해 해결될 수 있으며, TF-HOT은 자동 데이터 주석 도구로도 활용될 잠재력을 가집니다.