📃Taccel 리뷰

Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation

• Paper Link
• Homepage
• Code Link

1. Taccel은 Vision-based Tactile Sensors(VBTS)를 장착한 로봇의 시뮬레이션 연구를 제한했던 기존 도구들의 비효율성과 부정확성을 해결하기 위해 개발된 고성능 시뮬레이션 플랫폼입니다.
2. 이 플랫폼은 Incremental Potential Contact(IPC)와 Affine Body Dynamics(ABD)를 통합하여 정확한 물리 시뮬레이션과 사실적인 촉각 신호 생성을 보장하며, 수천 개의 병렬 환경에서 실시간 대비 최대 18배 빠른 속도를 달성합니다.
3. Taccel은 사용자 친화적인 API를 통해 유연한 로봇-센서 구성을 지원하며, 물체 인식, 로봇 그립, 관절형 물체 조작 등 다양한 작업에서 정밀한 시뮬레이션과 성공적인 sim-to-real 전이를 입증하여 촉각 로봇 연구를 가속화합니다.

---

Brief Review

Taccel은 Vision-based Tactile Sensors(VBTSs)를 통합한 로봇 시스템을 위한 고성능 시뮬레이션 플랫폼입니다. 이 플랫폼은 VBTS의 복잡한 물리적 특성과 시각 신호 처리 요구 사항으로 인해 기존 시뮬레이션 도구들이 겪었던 효율성 및 정확성 문제를 해결하여, 촉각 로봇 연구의 규모와 범위를 확장하는 것을 목표로 합니다.

Taccel은 Incremental Potential Contact (IPC)와 Affine Body Dynamics (ABD)를 통합하여 로봇, 촉각 센서 및 물체를 정확하고 전례 없는 속도로 모델링합니다. 특히 단일 H100 GPU에서 수천 개의 병렬 환경을 통해 실시간보다 18배 빠른 시뮬레이션 속도를 달성합니다. 기존 시뮬레이터들이 실시간보다 느리고 제한된 병렬화 기능을 가졌던 것과 달리, Taccel은 사용자 친화적인 API를 통해 유연한 로봇-센서 구성을 지원하면서도 정확한 물리 시뮬레이션과 사실적인 촉각 신호를 제공합니다.

핵심 방법론은 다음과 같습니다. Taccel은 Unified IPC Simulation 프레임워크를 기반으로 합니다.

1. Problem Formulation and Soft Body Dynamics: n_s개의 사면체화된(tetrahedralized) Soft Body들은 N_s개의 정점 x_1, x_2, \ldots, x_{N_s}로 이산화됩니다. 시스템 상태는 x = [x_1^T, x_2^T, \ldots, x_{N_s}^T]^T \in \mathbb{R}^{3N_s}로 표현되며, Lagrangian L(x, \dot{x}) = T(x, \dot{x}) - V(x)를 따릅니다. 여기서 운동 에너지 T(x, \dot{x}) = \frac{1}{2} \dot{x}^T M \dot{x}와 퍼텐셜 에너지 V(x)는 초탄성 재료(Neo-Hookean constitutive model)의 탄성 에너지 \Phi(x)와 외부 힘 E_{\text{ext}}(x)로 구성됩니다.
2. Frictional Contact: Euler-Lagrange 방정식을 역방향 Euler 적분 스킴을 사용하여 시간에 따라 이산화함으로써 Incremental Potential(IP) 에너지 최소화 문제로 재구성합니다. x^{n+1} = \arg \min_x E_{\text{IP}}(x) E_{\text{IP}}(x) = \frac{1}{2}(x - x^n - \Delta t \dot{x}^n)^T M(x - x^n - \Delta t \dot{x}^n) + \Delta t^2 V(x) IPC는 교차 없는(intersection-free) 궤적을 보장하기 위해 접촉 원시 쌍 k 사이의 거리 d_k(x)가 0에 가까워질수록 발산하는 로그 배리어 함수 b(d_k(x))를 목적 함수에 추가합니다. 또한, 마찰력(frictional forces)을 그라디언트를 통해 포착하는 근사 마찰 퍼텐셜 에너지 D_k(x, x^n)를 도입합니다. 따라서 전체 시뮬레이션은 다음 IPC 에너지를 최소화합니다. E_{\text{IPC}}(x) = E_{\text{IP}}(x) + \Delta t^2 B(x) + \Delta t^2 D(x, x^n) 여기서 B(x) = \kappa \sum_{k \in \mathcal{B}} A_k b(d_k(x)), D(x, x^n) = \sum_{k \in \mathcal{B}} D_k(x, x^n)이며, \kappa > 0는 접촉 강성을 제어합니다.
3. ABD and Unified Simulation: n_a개의 Affine Body에 대해, 임베딩 맵 \phi : \mathbb{R}^{12n_a} \to \mathbb{R}^{3N_a}를 통해 Reduced Coordinate Space y \in \mathbb{R}^{12n_a}를 도입하여 전체 공간 정점 \phi(y)에 투영합니다. 각 Affine Body는 12개의 자유도(DoF)를 사용합니다. 운동 에너지 T(y, \dot{y})는 \frac{1}{2} \dot{y}^T M_y \dot{y}로 표현되며, M_y = J^T M J는 Reduced-space Mass Matrix입니다. 퍼텐셜 에너지 V(y)는 As-Rigid-As-Possible(ARAP) 항 \Phi_y(y)와 외부 힘 E_{\text{ext}}(y)를 포함합니다. 식 (2)와 결합하여 전체 시스템 상태 \{y; x\} \in \mathbb{R}^{12n_a + 3N_s}에 대한 Unified IPC 에너지 E_{\text{IPC}}(y; x)를 얻습니다. E_{\text{IPC}}(y; x) = E_{\text{IP}}(x) + E_{\text{IP}}(y) + \Delta t^2 B(\phi(y); x) + \Delta t^2 D(\phi(y); x, \phi(y^n); x^n) E_{\text{IP}}(y) = \frac{1}{2}(y - y^n - \Delta t \dot{y}^n)^T M_y(y - y^n - \Delta t \dot{y}^n) + \Delta t^2 V(y) 다음 타임스텝의 구성은 이 배리어 증강 IP를 최소화함으로써 결정됩니다. y^{n+1}; x^{n+1} = \arg \min_{y;x} E_{\text{IPC}}(y; x)
4. Kinematic Constraints: 운동학적 제약 조건은 S_x x = s_x (Soft Body) 및 S_y y = s_y (Affine Body)로 표현됩니다. Augmented Lagrangian Method를 사용하여 E_{\text{IPC}}를 확장함으로써 이러한 제약 조건을 적용합니다. E_{\text{AL}}^{\text{IPC}}(y; x) = E_{\text{IPC}}(y; x) + \|(S_x x - s_x)^T \lambda_x\|_2^2 + \|(S_y y - s_y)^T \lambda_y\|_2^2

Taccel은 IPC와 ABD의 결합을 통해 복잡한 비볼록(non-convex) 물체 간의 접촉을 안정적으로 처리하고, 부드러운 물체 간의 접촉에서 침투 없는(penetration-free) 상호작용을 유지하여 기존 시뮬레이터보다 우수한 물리적 정확도를 제공합니다. 또한, NVIDIA Warp를 사용한 효율적인 병렬화 구현으로 대규모 환경 시뮬레이션에서 높은 확장성을 보여줍니다.

이 플랫폼은 객체 분류(object classification)를 위한 합성 데이터 생성, 다양한 로봇 핸드 구성에서의 로봇 파지(grasping) 시뮬레이션, 그리고 마이크로웨이브 오븐이나 서랍과 같은 관절형 객체 조작(articulated object manipulation)을 통해 그 유용성을 검증했습니다. 특히, 시뮬레이션에서 훈련된 모델이 실제 세계 데이터에 효과적으로 일반화되고, 실제 세계 조작 패턴과의 높은 일치도를 보여줌으로써 Sim-to-Real 전이 능력을 입증했습니다.

---

Detail Review

Taccel: 고성능 GPU 시뮬레이션으로 비전 기반 촉각 로보틱스를 확장하다

서론: 비전 기반 촉각 센서 시뮬레이션의 필요성과 도전과제

비전 기반 촉각 센서(Vision-Based Tactile Sensor, VBTS)는 카메라로 젤 패드의 변형을 관찰하여 높은 해상도의 촉각 정보를 제공하는 센서로, GelSight 등 대표적인 예시가 있습니다. 이러한 VBTS는 저렴한 비용으로 세밀한 촉각 피드백을 제공하여 로봇 조작 연구에 큰 발전을 이끌었지만, 복잡한 물리적 특성(예: 부드러운 젤의 비선형 탄성)과 영상 신호 처리 요구 때문에 로봇 시뮬레이션에 적용하기 매우 까다로운 문제가 있습니다. 실제로 VBTS를 장착한 로봇의 상호작용을 정확하고 효율적으로 모사할 시뮬레이터의 부재는, 촉각 로보틱스 연구의 규모와 범위를 제한해 온 핵심 요인입니다. 기존 연구들은 주로 두 가지 방향으로 접근해 왔으나(예: 센서 변형을 근사 모델로 단순화하거나, 물리 기반 모델을 사용하되 계산 효율을 포기) 여전히 정확도, 속도(실시간성), 병렬 확장성 면에서 한계를 드러냈습니다.

이러한 한계를 극복하고자 등장한 것이 본 논문의 Taccel 시뮬레이터입니다. Taccel은 Incremental Potential Contact (IPC) 기반의 충돌 처리 기법과 Affine Body Dynamics (ABD) 기반 강체 모델을 하나의 통합 프레임워크로 결합한 고성능 물리 시뮬레이터로서, 로봇, 촉각 센서, 그리고 환경 물체를 동시에 고정밀도로 그리고 전례 없는 속도로 모사합니다. 그림 1은 Taccel로 시뮬레이션한 예시로서, Allegro 로봇 손에 4개의 VBTS(GelSight류 센서)를 부착하여 마작 패를 정밀하게 집는 장면을 보여줍니다. 이 때 센서 젤 패드의 변형 맵을 통해 마작 패의 미세한 표면 기하가 정확히 포착되는 것을 볼 수 있습니다.

이상적인 VBTS 시뮬레이터가 갖추어야 할 요건으로는, 논문에서 강조했듯이 (1) 정밀한 물리 모델링, (2) 대규모 병렬 시뮬레이션이 가능한 확장성, (3) 다양한 로봇-센서 구성의 유연한 지원이 있습니다. 그러나 기존 솔루션들은 정밀도, 확장성 또는 유연성 면에서 하나 이상씩 타협하고 있었습니다. 예를 들어, 일부는 물리 정확도가 떨어지는 근사 충돌 모델이나 간단한 강체 모델에 의존하고, 일부는 실시간보다 느린 속도로만 동작하거나 병렬 환경 수가 극히 제한되며, 또 일부는 특정 센서/로봇 구성(예: 하나의 그리퍼)에만 집중하는 경향이 있었습니다. 이러한 제한으로 인해 촉각 로봇 연구의 범용성과 확장성이 심각하게 저해되어 왔습니다.

표 1은 대표적인 VBTS 시뮬레이터들을 Taccel과 종합적으로 비교한 것입니다. 각 시스템별로 연성 재료(Soft)를 어떻게 모델링하는지(예: 유한요소법 FEM 사용 여부), 강체(Stiff) 물체는 어떻게 표현하는지(리지드 바디, 아핀 바디 등), 접촉 처리 방식(가상 접촉, 페널티 기법, IPC 등), 촉각 신호 생성 방법(이미지 룩업 테이블, 심층신경망 등), 지원 로봇 범위(특정 그리퍼만 또는 임의의 로봇), 그리고 병렬 시뮬레이션 가능 환경 수 및 실시간 대비 속도 등을 정리하고 있습니다. 예를 들어 Taxim 시스템은 GelSight 촉각센서의 예제 기반 시뮬레이션으로, 연성 재료를 직접 모델링하지 않고 센서 표면 변형-영상 매핑을 사전에 학습된 룩업 테이블로 대체하여 빠른 이미지만 생성합니다. 하지만 이러한 방식은 물리적 정확도가 낮고 일반적인 물체-센서 상호작용을 포괄하지 못하며, 로봇과의 결합도 제한적입니다 (하나의 센서만 고려). DiffTactile 시뮬레이터는 물리 기반으로 FEM에 기반한 센서 변형과 MPM/입자 기반의 강체 모델을 사용하고, 심층신경망으로 촉각 이미지를 생성하는 차별화 가능한 시뮬레이터입니다. 그러나 접촉을 penalty 기반으로 처리하기 때문에 미세한 접촉 정밀도가 떨어질 수 있고, 병렬 확장이나 다양한 로봇 구성 지원이 미흡합니다. SAPIEN-IPC는 최신 연구로서 FEM 센서 모델과 ABD 강체 모델, 그리고 IPC 충돌처리를 결합한 시뮬레이터이며 실제 로봇 학습에 활용된 예가 있지만, 촉각 이미지를 직접 생성하는 기능이 없고(주로 마커 움직임만 활용) 지원 로봇도 단순 그리퍼에 국한되었습니다. 또한 SAPIEN-IPC의 경우 1080 GPU 기준 최대 256개의 환경만 병렬 구동, 실시간의 0.8배 속도 정도로만 동작하는 등 성능 면에서도 제약이 있었습니다.

이에 비해 Taccel은 연성 재질을 고해상도로 FEM 모델링하고 강체는 ABD로 효율적으로 표현하면서, IPC 기반의 정확한 충돌/마찰 계산, DNN 기반의 사실적인 촉각 이미지 생성, 어떤 형태의 로봇-센서 구성도 수용하는 범용성을 모두 갖춘 균형 잡힌 솔루션입니다. 특히 한 개 GPU 상에서 최대 4096개의 환경을 병렬로 915 FPS 속도로 시뮬레이션하여, 단일 환경 기준 실시간의 18배 속도를 달성한 결과는 타 시뮬레이터와 차별되는 놀라운 확장성입니다. 아래에서는 Taccel이 이러한 성능을 가능하게 한 핵심 방법론(3장, 4장)과, 이를 입증하는 성능 평가(5장)에 대하여 심층적으로 분석합니다.

3장: Taccel의 통합 IPC 기반 시뮬레이션 프레임워크

3장 “Unified IPC Simulation in Taccel”에서는 Taccel의 물리 시뮬레이션 엔진의 수학적 기초와 설계 원리를 다루고 있습니다. Taccel의 핵심은 연성 물체 시뮬레이션을 위한 IPC (Incremental Potential Contact) 기법과 강성/준강성 물체 시뮬레이션을 위한 ABD (Affine Body Dynamics) 기법을 하나의 최적화 문제로 통합했다는 점입니다. 이를 통해 젤 패드 같은 변형체와 로봇 링크 같은 강체를 동일한 시뮬레이션 틀 내에서 상호작용시킬 수 있으며, 접촉 계산에 있어 충돌이나 관통이 없는 안정적 해법을 보장받으면서도 계산 효율을 높였습니다.

3.1절 (Problem Formulation and Soft Body Dynamics)에서는 연성체(soft body)인 촉각 센서 젤 패드를 어떻게 모델링하는지 제시합니다. 젤 패드는 유한요소법(FEM)을 통해 사면체(mesh) 형태로 이산화되며, 각 노드(vertex)의 위치로 상태가 표현됩니다. 시스템의 라그랑지안(Lagrangian)은 운동 에너지와 퍼텐셜 에너지의 차로 주어지며, 네오후크(Neo-Hookean) 모델을 사용한 탄성 변형 에너지 \Phi(x)와 외력에 의한 퍼텐셜을 포함합니다. 이는 젤 패드의 비선형 탄성 거동(Young 모듈러스 E와 Poisson 비 ν로 특성화)을 포착하기 위함입니다.

3.2절 (Frictional Contact)에서는 IPC 접근법의 핵심이 되는 증분적 잠재 에너지 최소화 문제를 소개합니다. 시간 적분은 후향 오일러(backward Euler) 방식으로 이루어지며, 한 스텝에서 다음 스텝의 상태 x_{n+1}는 현재 상태 x_n에서의 운동량과 퍼텐셜을 고려한 증분 퍼텐셜 에너지 E_{\text{IP}}를 최소화하여 구합니다. 이 E_{\text{IP}}에는 관성(질량 행렬 M) 항과 변형 에너지 \Phi(x) 항이 포함되어 있습니다. IPC의 혁신은 여기에 충돌 및 마찰을 에너지 항으로 추가하여, 해를 구할 때 객체들이 관통되지 않도록 제약을 거는 점입니다. 구체적으로, 접촉 쌍 사이 거리가 0에 가까워지면 발산하는 로그 배리어(log barrier) 함수 b(d_k(x))들을 에너지에 포함하여 기하학적 관통을 원천 차단합니다. 또한 마찰력에 해당하는 마찰 퍼텐셜 D_k(x, x_n)을 정의하고 그 그래디언트를 마찰력으로 간주함으로써, 마찰 역시 에너지 최소화 과정에 포함시킵니다. 이렇게 하면 접촉과 마찰 문제를 미분가능한 에너지 최적화 문제로 변환하여 다룰 수 있고, 그 결과 해법은 준강체간 및 연성체-강체간 충돌에서 교차나 미끄러짐이 없는 안정적인 것이 됩니다. IPC는 이러한 물리적 정확도를 추구하면서도, 기존의 페널티 기법처럼 힘을 임의 조정하며 penetration을 허용하는 접근과 달리 수학적으로 일관된 최적화 문제로 정의되기에 해의 존재와 안정성 측면에서 장점이 있습니다.

3.3절 (ABD and Unified Simulation)에서는 ABD(Affine Body Dynamics) 모델을 도입하고, 이를 IPC 기반 연성체 시뮬레이션과 통합하는 방법을 설명합니다. ABD는 강체를 완전히 변형 불가능한 리지드 바디로 취급하는 대신, 아핀 변형을 허용하는 12자유도 표현으로 모델링하는 기법입니다. 각 강체는 3자유도 병진 운동 + 9자유도 선형 변형(3x3 행렬)을 갖는 아핀 좌표 y로 표현되며, 이 아핀 변환이 적용된 강체의 표면 메쉬(vertex 전체)를 사상하는 매핑 \phi(y)가 정의됩니다. ABD의 핵심은 As-Rigid-As-Possible (ARAP) 제약을 통해 실제로는 거의 강체처럼 거동하도록 하면서도, 충돌해결에 유리한 약간의 변형 가능성을 부여하는 것입니다. 예컨대 두 단단한 물체가 충돌할 때, 완전 강체 모델에서는 미세한 타임스텝 제약이나 복잡한 지속적 충돌 감지(continuous collision detection)가 필요하지만, ABD 모델에서는 약간의 변형 여유가 있어 효과적으로 충돌 반응을 계산할 수 있습니다. Taccel에서는 강체(로봇 링크나 경성 물체)를 ABD로 표현함으로써, 강체-연성체 간, 강체-강체 간 충돌을 효율적으로 다루면서도 정확도를 유지합니다. ABD의 운동 방정식은 연성체 경우와 유사하게 라그랑지안으로부터 유도되며, 아핀 좌표계 상의 질량 행렬 M_y = J^\top M J (J는 매핑 \phi의 자코비안) 등을 정의하여 IP 에너지 형태로 정식화됩니다.

위와 같이 정의된 연성체의 증분 퍼텐셜 에너지 E_{\text{IP}}(x)와 강체(아핀체)의 증분 퍼텐셜 에너지 E_{\text{IP}}(y)를 합치고, 거기에 공통의 배리어 충돌 에너지 B(\phi(y); x)와 마찰 에너지 D(\phi(y); x)를 추가하면, 연성 노드 좌표 x와 강체 아핀 좌표 y를 모두 미지수로 갖는 통합 에너지 E_{\text{IPC}}(y; x)를 얻을 수 있습니다. 이 식 (식 (4))이 바로 Taccel 통합 시뮬레이션의 에너지 함수이며, 시스템의 다음 시뮬레이션 상태 (y_{n+1}; x_{n+1})는 이 E_{\text{IPC}}를 최소화함으로써 결정됩니다. 요약하면, Taccel의 한 스텝 시뮬레이션은 “연성체 + 아핀 강체 + 충돌/마찰”로 구성된 거대한 에너지 최적화 문제를 푸는 것으로 이해할 수 있습니다. 이는 계산적으로는 어려운 문제이지만 NVIDIA GPU 상의 병렬 연산(Warp 프레임워크)을 활용하여 해를 빠르게 찾도록 구현되었습니다.

3.4절 (Kinematic Constraints)에서는 로봇 관절 등의 운동학적 제약을 이 에너지 최소화 문제에 통합하는 방법을 다룹니다. 로봇의 관절은 링크 간의 상대적 위치 제약으로 표현되며, 예컨대 “센서 젤 패드의 특정 노드들은 센서 하우징에 고정된다” 또는 “로봇 팔 링크들은 관절 값에 따라 서로 상대 변환 관계를 가진다”와 같은 조건들입니다. 이러한 선형 등식 제약 S_x x = s_x,; S_y y = s_y를 만족시키기 위해, Taccel은 Augmented Lagrangian(확장 라그랑지안) 방법을 사용합니다. 즉, 위에서 정의한 E_{\text{IPC}}(y;x)에 페널티 항으로 \frac{\rho}{2}|S_x x - s_x|^2 + \frac{\rho}{2}|S_y y - s_y|^2 (및 라그랑주 승수 항)을 추가한 E_{\text{AL-IPC}}를 최소화함으로써, 제약을 만족하는 최적해를 얻습니다. 이 방식은 제약 조건을 엄밀히 만족시키면서도 IPC 최적화에 큰 무리 없이 통합되며, 결과적으로 로봇 관절 움직임이나 센서 부착 등을 자연스럽게 시뮬레이션 내에 녹여낼 수 있습니다.

정리하면, Taccel의 통합 물리 시뮬레이션 엔진은 연성체(FEM 기반 젤 패드)와 준강체(ABD 기반 로봇/물체)를 하나의 물리 시스템으로 묶고, IPC 알고리즘을 통해 충돌과 마찰까지 동시에 해결하는 혁신적인 구조입니다. 이를 통해 시뮬레이션 중 어떤 접촉 상황에서도 겹침이나 관통이 없이 정확한 상호작용이 이루어지며, 또한 연성체-강체 간의 복잡한 충돌(예: 손가락의 딱딱한 부분과 부드러운 젤 패드 사이의 접촉)도 안정적으로 계산됩니다. 이러한 견고한 물리 모델이 Taccel의 높은 정확성의 기반을 이루며, 다음 장에서는 이를 활용하여 로봇과 촉각 센서를 실제로 어떻게 시뮬레이트하는지 살펴봅니다.

4장: 로봇 및 VBTS 시뮬레이션 모듈의 설계

4장 “Robot and VBTS Simulation in Taccel”에서는 앞서 확립된 통합 물리엔진을 기반으로 구체적인 로봇과 촉각센서 시뮬레이션을 구현하는 구조와 신호 생성 방법을 설명합니다. Taccel은 모듈화된 설계를 채택하여, 로봇 부분과 센서 부분을 분리된 컴포넌트로 구성하면서도 물리 엔진 상에서 밀접히 상호작용하도록 합니다. 이를 통해 아핀 동역학(강체 모델)과 연성체 동역학(젤 패드 모델)의 상호 보완적 장점을 십분 활용하고자 한 것입니다.

4.1절 (Robot and Sensor Simulation)에서는 로봇과 VBTS를 시뮬레이션하는 구체적인 방법을 다룹니다. 먼저 로봇 모델링 측면에서, Taccel은 표준 URDF (Unified Robot Description Format) 파일로부터 로봇의 구성 정보를 불러옵니다. URDF에는 로봇의 링크들과 관절 구조, 그리고 각 링크에 대응하는 시각/충돌 메쉬가 정의되어 있는데, Taccel은 이 중 충돌 메쉬를 ABD 기반 아핀 바디로 로딩합니다. 즉, 로봇의 각 링크는 12자유도의 아핀체로 시뮬레이터에 등록되고, URDF에 명시된 링크 간 접속구조(관절 종류와 한계 등)에 따라 앞서 설명한 운동학적 제약이 설정됩니다. 로봇의 초기 자세를 주어지면 전향 운동학으로 모든 링크의 세계 좌표계 변환 T^r_{l_j}(q)가 계산되고, 이를 각 링크 아핀 바디의 초기 상태로 삼습니다. 덧붙여, 시뮬레이션상의 가시화를 위해 시각 메쉬(Visual mesh)도 불러오지만 이는 물리 계산에는 영향이 없습니다.

다음으로 촉각 센서(VBTS) 모델링에 대해서, Taccel은 각 촉각센서의 젤 패드를 하나의 연성체 소자로 모델링합니다. 보통 GelSight 계열 센서는 얇은 탄성 젤 표면에 무늬가 그려지거나 도트 마커가 박혀 있고, 뒷면에는 카메라와 조명이 있는 구조입니다. Taccel에서는 이 젤 패드(탄성체 부분)를 사면체 메쉬의 연성체(FEM)로 표현하고, 이를 해당 센서가 부착된 로봇 링크의 표면에 부모-자식 관계로 붙입니다. 예컨대, 로봇 손가락 끝에 VBTS가 달린 경우, 손가락 링크는 ABD 바디로 움직이고 그 말단에 연결된 젤 패드는 연성체로서 따라다니며 변형됩니다. 이를 위해 각 센서 i의 젤 패드 G_i에 대해, 그 부착된 링크 l_j와의 좌표 변환 T^{l_j}_{G_i}를 기록해두고 시뮬레이션 시 적용합니다.

젤 패드의 표면은 크게 두 부분으로 나뉩니다: 카메라로 관찰하기 위해 반사 코팅된 부분(B^+_G)과, 센서 하우징에 접착되어 고정된 가장자리 부분(B^-_G)입니다. 시뮬레이션 초기에는 B^-_G에 속한 노드들은 링크에 붙여 고정(운동학적 제약으로 구현)되고, B^+_G 부분은 평평한 초기 상태입니다. 접촉 상호작용이 발생하면 젤 패드가 변형되어 B^+_G 표면이 B^+_G\tilde{}로 변화하고, 표면에 박혀있던 마커들이 새로운 위치 P_i\tilde{}로 이동하게 됩니다. 이러한 변형된 표면 형상과 마커 위치가 바로 촉각 신호 생성의 기초 자료가 됩니다. 다시 말해, Taccel의 물리 엔진은 “로봇 링크(강체) – 젤 패드(연성체) – 환경 물체” 사이의 힘과 변형을 계산하여 젤 표면의 변형 결과를 내놓고, 다음 단계에서는 이 결과를 가지고 가상의 카메라 신호를 만들어내는 구조입니다.

시뮬레이션 중 로봇의 동작 제어는 어떻게 구현되었을까요? Taccel은 로봇의 관절 제어를 물리 시뮬레이션에 자연스럽게 녹이기 위해, 관절 목표값을 운동학적 제약으로 변환하는 방식을 취합니다. 예를 들어 로봇 관절각 또는 손가락의 목표 포즈가 주어지면, 해당 링크들의 목표 아핀 변환 상태와 젤 패드 부착 노드들의 목표 위치를 계산합니다. 이들을 s_y, s_x 형태로 두고 제약식 S_y y = s_y, S_x x = s_x로 설정하면, 물리 엔진의 에너지 최적화는 자동으로 그 목표 상태를 만족시키는 범위 내에서 최소 에너지 해를 찾게 됩니다. 즉, 로봇 관절 운동은 강체 아핀 바디의 제약으로, 센서 패드의 부착면 움직임은 연성 노드의 제약으로 각각 반영되어, 사용자가 별도로 복잡한 제어 코드를 짤 필요 없이 Taccel 엔진이 알아서 관절 움직임 대로 시스템을 이끌어갑니다. 이러한 구조는 특히 다수의 센서를 장착한 복잡한 로봇(hand 같은)에 유리한데, 연성 센서들이 로봇 움직임에 따라 정확히 따라오면서도 외부 물체와 힘을 주고받는 상호작용을 정확히 계산해낼 수 있기 때문입니다.

4.2절 (Tactile Signal Simulation in Taccel)에서는 물리 엔진으로부터 얻은 젤 패드 변형 결과를 어떻게 다양한 형태의 촉각 신호 출력으로 변환하는지 설명합니다. 이는 곧 시뮬레이터가 사용자에게 제공하는 관측값(observation)에 해당하며, 로봇 학습이나 알고리즘 개발에 직접 쓰입니다. Taccel은 고해상도 RGB 이미지, 깊이 맵(depth map), 마커 위치 기반 저해상도 신호, 3차원 점군(point cloud) 등 다양한 출력 모드를 지원합니다.

먼저, 고해상도 촉각 이미지와 깊이 맵 생성 방식입니다. 젤 패드 표면의 반사 코팅 영역 B^+*G의 변형 후 표면 기하 정보를 이용해 깊이 맵과 법선 맵 d(u,v), n(u,v)를 계산합니다. 여기서 u,v는 가상의 카메라 영상의 화소 좌표에 대응하며, d(u,v)는 변형된 표면이 평탄했던 초기 상태에서 얼마나 들어왔는지를, n(u,v)는 변형 후 표면의 법선 방향을 의미합니다. 이렇게 얻은 깊이/법선 정보만으로는 실제 GelSight 이미지 같은 복잡한 광학 패턴을 재현하기 어렵기 때문에, 심층 신경망(DNN)을 이용한 이미지 생성 기법을 적용합니다. 논문에서는 Si 등의 방법을 따라, 픽셀 단위의 2D 위치 인코딩 \gamma(u,v)와 깊이/법선 정보 (d(u,v), n(u,v))를 입력으로 받아 해당 픽셀의 색상 변화 \Delta\sigma(u,v)를 출력하는 신경망 f*\theta를 사용했습니다. 이 신경망은 젤 패드가 변형되지 않은 기준 이미지를 참조로 하여, 변형에 의한 픽셀 색 변화만 예측합니다. 200장의 실제 촉각 이미지와 그에 대응하는 깊이 맵 데이터로 학습된 이 네트워크를 거치면, 실제 센서가 보여줄 법한 RGB 촉각 영상이 생성됩니다. 결과적으로 Taccel은 물리 기반 시뮬레이션의 정확성을 유지하면서도, 시각적으로 현실감 있는 센서 영상을 출력할 수 있게 됩니다. 이는 기존에 룩업 테이블로 근사하거나 아예 RGB 생성을 지원하지 않던 시뮬레이터들과 달리, 학습 기반 기법을 접목하여 구현한 현실성입니다.

다음으로, 저해상도 촉각 신호로 마커(marker) 위치 추적을 제공합니다. 센서 표면 B^+_G 코팅 내에는 다수의 점(markers)이 박혀 있다고 가정하며, 이들의 초기 위치 p_k (메쉬의 삼각형 내부 좌표로 표현)를 저장해 둡니다. 시뮬레이션 중 변형 후 각 마커의 3D 위치 \tilde{p}_k(t)를 계산하고, 이를 2D 이미지 평면에 투영하여 마커의 이동 궤적(flow)을 얻을 수 있습니다. 마커들은 매우 작은 패턴이어서 RGB 이미지 상에서는 일종의 특징점 움직임처럼 나타나므로, 국부 변형 양상을 추적하는 데 유용합니다. 이 marker 기반 신호는 고해상도 이미지를 직접 다루기에는 부담스러운 경우 (예: 강화학습의 상태로 쓰거나, 저차원 피처로 활용하고 싶을 때) 적합하며, 실제로 GelSight 등의 출력에서 특징점을 추적하는 방식과 유사합니다. Taccel은 이러한 마커 흐름을 통해 젤 패드의 국부 변형, 미끄러짐, 접촉점 이동 등을 간편하게 감지할 수 있도록 합니다.

마지막으로, 3차원 촉각 신호 출력도 지원됩니다. 변형 후 젤 패드 표면의 깊이 맵이나, 혹은 아까 구한 마커들의 3D 위치 정보를 월드 좌표계의 점군(point cloud) 형태로 변환할 수 있습니다. 로봇의 손끝이 센서를 누르는 상황이라면, 센서 표면의 변형된 3D 형상이 곧 접촉한 물체의 형태를 “조각난” 점구름으로 나타낼 것이고, 이를 활용해 로봇이 주변 환경의 기하학을 추론할 수도 있습니다. 논문에서는 이 3D 촉각 신호의 효과를 Tac-Man 프레임워크 시뮬레이션에서 보여주었다고 언급하는데, 이는 3D 접촉점 정보를 활용한 가전제품 다이얼 조작 등의 작업을 의미합니다. 요컨대, Taccel은 2D 이미지부터 저차원 특징, 3D 정보까지 다양한 촉각센서 출력 형태를 모두 시뮬레이션해낼 수 있어, 연구자가 목적에 맞게 적절한 형태의 데이터를 얻을 수 있게 합니다.

4.3절에서는 Taccel의 소프트웨어 API 설계와 사용성에 대해 간략히 언급됩니다. Taccel은 연구자들이 쉽게 활용할 수 있도록 Python 기반의 직관적인 API를 제공하며, 내부적으로는 NVIDIA Warp를 이용해 GPU 가속을 극대화했습니다. 사용자는 URDF로 로봇을 불러와 센서를 장착하고, 몇 줄의 코드로 시뮬레이션을 실행하며, 각 스텝에서 위에서 언급한 다양한 촉각 신호 (이미지, 깊이맵, 마커좌표 등)를 받아볼 수 있습니다. 이러한 높은 수준의 추상화와 사용 편의성은 Taccel의 유연성(flexibility)을 높여주는 요소로, 단순 그리퍼부터 복잡한 다지 손까지 어떤 로봇 플랫폼에도 센서를 손쉽게 붙여 대규모 시뮬레이션을 수행할 수 있게 합니다. 실제로 논문에서는 마작 패 촉각인식 예제(그림 1)나 Tac-Man 마이크로파 조작 시나리오 등 다양한 구성을 데모로 보였는데, 이는 곧 Taccel이 범용적인 촉각 로봇 시뮬레이션 플랫폼으로 설계되었음을 보여줍니다.

5장: Taccel의 성능 평가 및 분석

5장 “Performance Evaluation of Taccel”에서는 앞서 제시된 Taccel의 설계가 정확도와 효율성 측면에서 얼마나 성과를 내는지를, 여러 벤치마크 실험을 통해 정량적・정성적으로 평가합니다. 평가 항목은 (5.1) 전반적 비교, (5.2) 촉각 신호의 충실도, (5.3) 마찰 및 전단 변형 정확도, (5.4) 다중 환경 병렬 시뮬레이션 성능으로 구성되어 있습니다. 핵심 결과를 하나씩 요약하면 다음과 같습니다.

5.1 기존 시뮬레이터와의 전반적인 비교

논문에서는 네 가지 도전적인 시나리오를 통해 Taccel과 기존 접근법들의 성능을 비교했습니다. 그림 2에 그 결과들이 시각화되어 있는데, 각각 (a) 볼트-너트 결합, (b) 부드러운 블록 프레스, (c) 촉각 피드백을 활용한 관절 달린 물체 조작, (d) 페그 인서션 병렬 시뮬레이션의 네 부분으로 구성되어 있습니다.

• (a) 볼트-너트 조립 시나리오: 작은 너트에 볼트를 회전 삽입하는 동작으로, 오브젝트들이 모두 비볼록(non-convex) 형상이라 충돌 검출과 접촉 계산이 매우 까다롭습니다. 이 경우 Taccel은 안정적으로 너트와 볼트의 접촉을 처리하며 조립 동작을 시뮬레이션한 반면, PyBullet, SAPIEN 등 기존 시뮬레이터들은 시뮬레이션이 불안정하거나 아예 실패했다고 합니다. 그 이유에 대해 논문은 이렇게 분석합니다: 기존 접근법에서 강체-연성체 상호작용을 다루는 방식이 미흡한 탓입니다. 예를 들어 한 가지 대안으로 모든 물체를 연성체로 모델링할 수도 있으나, 그러면 자유도가 기하급수적으로 늘어나 계산이 크게 느려집니다. 다른 한편, 전통적인 강체 동역학(Rigid Body Dynamics) 시뮬레이션에서는 비볼록 물체의 충돌을 다루려면 지속적 충돌 감지(Continuous Collision Detection)를 사용해 관통을 막아야 하는데, 이는 계산 비용이 매우 커 실시간 수행이 어렵습니다. 반면 Taccel의 ABD 접근은 볼트와 너트를 준강체(아핀 바디)로 모델링하여, IPC 배리어로 관통을 예방하면서도 CCD에 의존하지 않고 효율적으로 접촉을 풀었기 때문에 가능한 일이었습니다. 요컨대, Taccel은 복잡한 기하학 간의 접촉도 처리할 수 있는 정밀도와 견고성을 보여준 사례입니다.

• (b) 연성 블록 프레스(누르기) 테스트: 말랑한 고무 블록 위를 다른 연성 젤 패드로 눌러보는 실험입니다. 두 물체 모두 매우 부드럽기 때문에 연성-연성 접촉에서 정확한 변형 계산이 요구됩니다. Taccel은 IPC의 비관통 보장 덕분에 두 연성체가 서로 밀고 눌러도 절대 겹쳐들어가지 않는 현실적인 상호작용을 모사했습니다. 그 결과 블록이 눌리며 변형되는 형태가 침투나 비물리적 겹침 없이 자연스러운 모양으로 나타났습니다. 반면 기존의 페널티 기반 접근들은 어느 정도 겹침을 허용하고 그 정도에 따라 힘을 가정하기 때문에, 블록을 누를 때 젤 패드가 블록 안으로 비현실적으로 파고드는 현상이 나타났습니다. 이러한 차이는 IPC의 물리적 정확성이 가져오는 가시적 효과로, 그림 2(b)에서 Taccel 결과는 표면이 깨끗이 분리되어 있지만, 다른 방법들은 겹침으로 인한 이상한 변형이 보임을 확인할 수 있습니다. 이 테스트는 주로 접촉 모델의 물리 충실도를 검증한 것으로, Taccel의 충돌-마찰 해법이 연성 접촉에서도 유효함을 보여줍니다.

• (c) Tac-Man 관절물체 조작 과제: 실제 로봇이 전자레인지 문을 촉각 피드백으로 여는 Tac-Man 작업을 Taccel로 재현한 시나리오입니다. 여기서는 로봇 손가락의 젤 패드가 문 손잡이를 누르고 비틀어서 여는 복잡한 상호작용이 일어나는데, Taccel은 접촉력 계산의 정확성 덕분에 실제 로봇 수행과 거의 일치하는 패턴으로 젤 패드 변형과 문 움직임을 시뮬레이션했습니다. 실제 측정한 물리량과 비교했을 때 약 1% 정도의 오차만을 보였으며, 이는 사실상 현실과 구분 어려운 수준의 재현 정확도라고 할 수 있습니다. 반면 다른 접근법으로 동일 작업을 구현하려 하면, 예를 들어 Isaac Sim 등에서 시도한 구현은 센서-문 사이 마찰력 계산 오류로 인해 600% 이상의 큰 오차를 보였다고 합니다. Taccel은 젤 패드와 물체 사이의 미세한 힘까지 정확히 풀어내어, 문이 열리는 시점, 속도, 필요한 힘의 크기 등이 현실과 매우 가깝게 모사되었습니다. 이 결과를 통해 Taccel의 시뮬레이션이 단순히 연구용으로 빠르게 돌리는 수준을 넘어, 실제 로봇 동작을 예측하고 설계하는 데 신뢰할 수 있을 정도의 정밀도를 지닌다는 점을 알 수 있습니다.

• (d) 병렬 환경 확장 테스트: 마지막으로 페그 인서션(puzzle peg 삽입) 과제를 다수의 환경에서 병렬로 실행시켜, Taccel의 스케일 업 능력을 측정했습니다. 낮은 해상도의 젤 패드(노드 139개) 2개를 가진 페그 삽입 작업 환경을 1개 GPU에서 얼마나 많이 돌릴 수 있는지, 그리고 실시간 대비 얼마나 빠른지 비교한 결과, Taccel은 최대 4096개 환경을 동시에 구동하면서 전체 915 FPS의 속도를 기록했습니다. 이는 동일 GPU에서 SAPIEN-IPC로 달성한 병렬 수(64개) 대비 64배 많은 환경이며, 속도 면에서도 64배 향상(18.30× real-time)된 수치입니다. 심지어 젤 패드 해상도를 높여(노드 1.5k) 난이도를 올린 경우에도 Taccel은 안정적으로 시뮬레이션을 지속했고, 여전히 경쟁 기법보다 우월한 FPS를 유지했습니다. 더욱 복잡한 전완 형태의 다지 그립퍼(손가락 5개에 젤 패드 17개, 노드 합계 5천 개 이상) 환경에서도 Taccel은 256개 병렬 환경에서 평균 12.67 FPS를 구현, 환경 하나하나로 보면 비록 실시간의 1/4 속도 정도이지만 동시에 256개를 실행한다는 점에서 매우 높은 활용 효율을 보였습니다. 참고로 SAPIEN-IPC는 이 정도 복잡성의 작업에서 FP32 부동소수점 정밀도 한계로 수렴 문제가 발생하여 정상 동작하지 못한 반면, Taccel은 FP64 정밀도를 적용해 안정적으로 풀었음을 논문은 언급하고 있습니다. 그림 4(a)는 병렬 환경 수에 따른 Taccel과 SAPIEN-IPC의 FPS 스케일링 그래프를 로그 눈금으로 보여주고 있는데, Taccel의 곡선은 끝까지 가파르게 상승하는 반면 SAPIEN-IPC는 중간부터 수렴(또는 실패)하는 양상을 보입니다. 요약하면, Taccel의 병렬 시뮬레이션 최적화가 동일 하드웨어에서 월등한 데이터 처리량을 가능케 함을 입증한 것입니다. 이는 곧 강화학습 등 수천~수만회 에피소드 반복이 필요한 작업에 Taccel이 특히 유리하며, 이전에는 불가능했던 촉각 정보를 사용하는 대규모 학습을 현실화한 중요한 결과입니다.

5.2 촉각 신호 시뮬레이션 품질 평가

Taccel의 또 하나의 핵심 목표는 현실에 가까운 촉각 센서 신호 생성이며, 5.2절에서는 시뮬레이터가 만들어낸 촉각 이미지가 실제 센서의 출력과 얼마나 유사한지 평가했습니다. 저자들은 실제 GelSight 유사 센서를 만들어 18개의 다양한 형상의 물체를 눌러 얻은 실제 촉각 이미지 데이터셋과, 동일한 조건으로 Taccel에서 누른 가상 촉각 이미지를 비교했습니다. 그림 3(a) 좌측은 이런 데이터 수집 장면을 보여주고, 우측의 violin 플롯은 테스트한 각 물체에 대해 시뮬레이션 대 실세계 이미지 간 구조 유사도(SSIM) 분포를 나타냅니다. 결과는 평균 SSIM 0.93으로, 거의 1에 가까운 매우 높은 유사도를 달성했습니다. 이는 인간 눈으로 봐도 시뮬레이터 이미지와 실제 카메라 이미지가 구별하기 어려울 만큼 시각적 패턴이 잘 일치함을 의미합니다. 실제 예시로 제시된 이미지를 보면, 기하학적 윤곽, 힘에 의한 밝기 변화 등 대부분 요소가 맞아떨어지고 약간의 노이즈나 밝기 차이만 존재할 뿐임을 확인할 수 있습니다. 미세한 차이가 존재하는 이유에 대해서 논문은 3D 프린팅한 시험 물체들의 제조 오차, 카메라 보정의 한계 등을 들고 있으며, 전반적으로 Taccel이 고품질의 촉각 패턴을 생성하는 데 성공했다고 평가합니다. 이 정도의 정밀도로 가상 센서 신호를 얻을 수 있다는 것은, 시뮬레이터에서 학습한 모델을 그대로 실제 센서 입력에서도 적용할 수 있을 만큼 sim-to-real 격차를 좁혀준다는 뜻이며, 실제로 논문도 성공적인 sim-to-real 전이를 강조하고 있습니다.

5.3 마찰 및 전단 변형 정밀도 검증

5.3절에서는 젤 패드와 물체 사이의 마찰 거동 및 전단(shear) 변형을 Taccel이 얼마나 정확히 재현하는지 평가합니다. 이는 촉각센서에서 매우 중요한 측면으로, 예를 들어 센서로 물체를 살짝 쥐었다 미끄럴 때 패드의 표면이 얼마나 따라 움직이다가 미끄러지는지 등의 동작을 가리킵니다. 실험 설정은 그림 3(b)에 나와 있는데, VBTS 그리퍼(두 손가락)에 막대기 모양의 물체를 쥐고 2 mm/s 속도로 잡아당기는 상황을 시뮬레이션하고, 동일한 실제 실험과 비교했습니다. 다른 조건으로는 잡은 물체(막대)의 표면 마찰계수를 다르게 하여, 마찰력이 큰 경우에는 패드가 더 많이 따라오다 미끄러질 것이고, 작은 경우 빨리 미끄러질 것을 관찰할 수 있게 했습니다. Taccel 시뮬레이터에서 한 번의 실험 데이터를 활용해 해당 물체의 마찰계수를 캘리브레이션한 뒤, 다른 조건들에 대해 시뮬레이션 결과와 실제계를 비교한 결과 평균 28 마이크로미터(0.028 mm) 정도의 위치 오차만 발생했습니다. 그림 3(b)의 그래프에 나타난 여러 곡선들을 보면, 서로 다른 마찰계수 조건에서 실제 젤 패드 마커의 변형량과 Taccel 시뮬레이션 마커 변형량이 거의 겹칠 만큼 일치하는 것을 볼 수 있습니다. 이 정도의 미세한 움직임까지 맞아떨어진다는 것은, Taccel의 마찰 모델 (IPC의 마찰 퍼텐셜)과 연성체 변형 계산이 현실의 복잡한 stick-slip 거동까지 포착하고 있다는 의미입니다. 이런 결과는 단순히 정적 이미지 유사도를 넘어서 동적 상호작용의 정확성을 증명한 것으로서, Taccel이 정적, 동적 접촉 모두에서 신뢰할 만한 물리 정확도를 갖추었음을 뒷받침합니다.

5.4 대규모 병렬 시뮬레이션 능력 평가

마지막으로 5.4절에서는 Taccel의 병렬 시뮬레이션 성능을 체계적으로 분석합니다. 앞서 (5.1)의 (d) 시나리오에서 기본적인 결과를 확인했지만, 여기서는 과제 난이도에 따른 스케일 성능과 GPU 메모리 사용량, Floating point 정밀도에 따른 안정성 등 세부적인 평가가 이뤄졌습니다. 저자들은 복잡도가 다른 세 가지 과제를 준비했는데: (i) 앞서 언급한 듀얼 센서 페그 인서션 (저해상도), (ii) 고해상도 듀얼 센서 페그 인서션, (iii) 17개 센서가 부착된 5형 로봇 손의 그립 동작이 그것입니다.

(i)의 간단한 경우에는 SAPIEN-IPC와 Taccel 모두 수백 개 이상 병렬 실행이 가능했으나, Taccel은 훨씬 더 완만한 성능 저하로 4000개 수준까지 선형에 가깝게 확장되었습니다. 반면 SAPIEN-IPC는 256개 수준부터 FPS가 크게 떨어지고 512개를 넘어가면서부터는 일부 환경에서 수렴 실패(convergence failure)가 발생했습니다. 논문은 그 원인을 SAPIEN-IPC가 32비트 부동소수점(FP32) 정밀도를 써서 IPC 배리어 항 계산 시 수치오차가 누적되기 때문이라고 지적합니다. Taccel은 기본적으로 64비트 정밀도(FP64)로 계산하여 이런 문제를 회피했고, 또한 대규모 병렬 연산을 위해 Warp 프레임워크를 세심하게 최적화하여 VRAM(그래픽 메모리)의 효율적 사용과 스레드 병렬화를 이루었다고 부연합니다. (ii) 고해상도 센서의 경우, SAPIEN-IPC는 아예 100개 미만의 환경에서 이미 실시간보다 훨씬 느려져(0.03×) 대규모 병렬화가 무의미했던 데 반해, Taccel은 수백 개 환경에서도 안정적 시뮬레이션을 보였습니다. (iii) 복잡한 다지 로봇 손의 경우, SAPIEN-IPC는 개별 환경도 강체 수와 센서 수 증가로 계산이 버거워 제대로 실행하지 못했지만 Taccel은 256개 병렬 실행으로 12.67 FPS를 낼 수 있었고, 이를 통해 복잡한 로봇 시스템에도 적용 가능함을 증명했습니다. 이 모든 평가를 종합하면, Taccel의 GPU 기반 구현이 단일 PC에서 이전 세대 대비 월등히 많은 양의 촉각 시뮬레이션 데이터를 빠르게 생성할 수 있음을 확인할 수 있습니다. 이는 로봇 학습 커뮤니티에 매우 중요한 의미로, 과거에는 불가능했던 규모의 데이터로 촉각 모델을 학습하거나, 수천 회의 시뮬레이션을 병렬 수행해 정책을 훈련하는 것이 Taccel로 현실화될 전망입니다.

결론 및 기여 분석

“Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation” 논문은 비전 기반 촉각 로보틱스 시뮬레이션 분야에 있어 획기적인 진전을 보여준 연구로 평가할 수 있습니다. 이들의 주요 기여를 정리하면 다음과 같습니다:

• 정확한 물리 모델 통합: 기존에 별개로 연구되던 IPC 기반 연성충돌해결 기법과 ABD 기반 준강체 모델링을 한 데 묶어, 연성 젤과 강체 물체 간의 복잡한 상호작용도 물리적으로 타당하게 계산할 수 있는 프레임워크를 구현했습니다. 이를 통해 접촉 시뮬레이션의 정확도(inversion-free & intersection-free)를 대폭 향상시켰으며, 실제 로봇과 물체의 접촉을 시뮬레이터에서 거의 오차없이 재현할 수 있음을 보여주었습니다.

• 고성능 GPU 병렬 구현: NVIDIA Warp를 활용한 커스텀 병렬화, 메모리 최적화, 이중정밀도 연산 등을 통해, 기존 시뮬레이터 대비 수십 배 이상의 병렬 환경을 돌릴 수 있는 성능을 달성했습니다. 특히 하나의 H100 GPU로 4096개 환경을 실시간의 18배 속도로 구동한 결과는, 로봇 시뮬레이션 전반을 통틀어서도 매우 뛰어난 수치입니다. 이는 대용량 학습 데이터 생성이나 대규모 강화학습에 촉각 정보를 활용할 수 있는 길을 열었으며, 촉각 로보틱스 연구의 스케일을 한 차원 끌어올린 것으로 볼 수 있습니다.

• 현실감 있는 촉각 신호 생성: 물리 시뮬레이션 결과를 다양한 형태의 센서 출력으로 변환하는 모듈을 제시하고, 특히 심층학습(DNN)을 접목하여 RGB 촉각 이미지의 현실감을 확보한 점은 돋보입니다. 그 결과 시뮬레이터 이미지와 실제 센서 이미지 간 SSIM 0.93이라는 높은 유사도를 입증했고, 이는 곧 시뮬레이션-현실 간 격차(Sim2Real gap)를 최소화하여 시뮬레이터로 학습한 모델을 실제 로봇에 적용하기 용이하게 만들었습니다. 기존 일부 작업들이 촉각 신호를 단순화(예: 힘으로 바로 추정)하거나 아예 지원하지 않았던 것과 달리, Taccel은 고해상도 촉각 패턴부터 저해상도 특징까지 모두 제공함으로써 연구자가 다양한 방법으로 촉각 정보를 활용할 수 있게 했습니다.

• 범용성과 사용성: Taccel은 다양한 로봇 플랫폼과 센서 구성에 쉽게 적용될 수 있도록 설계되었습니다. URDF 기반 로봇 불러오기, 간단한 Python API, 그리고 센서 장착의 모듈화 등을 통해 병렬 로봇+촉각 시뮬레이션에 진입 장벽을 낮춘 것도 중요한 공헌입니다. 예컨대 연구자가 자신의 로봇 모델과 촉각 센서 매쉬만 준비하면, Taccel 환경에서 곧바로 복잡한 촉각 조작 실험을 대량으로 수행해볼 수 있습니다. 이는 실험 비용이나 물리적 제약으로 시도하기 어려웠던 다양한 촉각 상호작용 연구를 가상 환경에서 앞당겨 검증할 수 있게 해줄 것입니다.

• 검증된 실효성: 논문에서 저자들은 물체 인식, 그립 학습, 관절 객체 조작 등의 다양한 다운스트림 과제에 Taccel을 활용하여, 시뮬레이터의 성능이 단지 수치상 우수함에 그치지 않고 실제로 로봇 학습 및 제어에 유용함을 보여주었습니다. 특히 Tac-Man 등 현실 작업의 재현, sim-to-real 학습 사례 제시는 커뮤니티에 Taccel의 가치를 실감하게 하는 부분입니다.

요약하면, Taccel은 로봇 촉각 센서 시뮬레이션의 정밀도-속도 트레이드오프를 극복하고 대규모화함으로써, 학계와 산업계의 촉각 로봇 연구에 새로운 지평을 열었다고 볼 수 있습니다. 이 연구는 고성능 물리 시뮬레이션 엔진 개발과 로봇 학습 응용의 만남이라는 점에서도 의미가 크며, 향후 Taccel을 기반으로 한 다양한 연구 확장 (예: 차별가능 시뮬레이션을 통한 역학습, 복합 소재/유연 물체 시뮬레이션 등)이 기대됩니다. 논문에도 언급되었듯이, 이러한 도구의 공개는 촉각 로보틱스 연구 개발의 규모 확장과 가속화를 가능케 하여, 궁극적으로 로봇이 촉각을 통해 주변을 이해하고 상호작용하는 방법에 혁신을 가져올 것으로 전망됩니다. Taccel이 제시한 접근법은 향후 다른 형태의 센서 시뮬레이션이나 멀티피직스 시뮬레이션 분야에도 참고할 만한 우수한 사례로 남을 것입니다.

표 1: Taccel과 기존 FEM 기반 VBTS 시뮬레이터들의 비교. Taccel은 연성체 모델링에 FEM, 강체에 ABD, 충돌에 IPC, 촉각 신호 생성에 DNN 기반 방법을 사용하며, 임의의 로봇 플랫폼에 적용 가능하다. 특히 병렬 시뮬레이션 면에서 최대 4096개 환경을 지원하고 실시간 대비 18.3배 속도로 구동하여, 다른 시뮬레이터들에 비해 월등한 확장성을 보여준다. (Taxim: 예제 기반 시뮬, DiffTactile: 물리 기반 differentiable 시뮬, SAPIEN-IPC: 기존 IPC 적용 시뮬레이터)

그림 1: Taccel 시뮬레이터 데모 – Allegro 핸드 로봇에 4개의 VBTS(GelSight 계열)를 부착하여 마작 패를 정밀 그립하는 장면. 젤 패드 표면 변형 맵을 통해 마작 패 표면의 음각 무늬 등 세밀한 지오메트리가 정확히 포착됨을 보여준다.

그림 2: 여러 VBTS 시뮬레이터들의 물리 시뮬레이션 성능 비교. (a) 볼트-너트 결합: Taccel은 비볼록 접촉에도 안정적 시뮬레이션을 달성했으나 PyBullet 등은 충돌 오류 발생. (b) 연성 블록 프레스: Taccel은 젤-블록 사이 무관통 변형을 유지하나 페널티 기반 타 시뮬레이터들은 패드가 블록을 관통하는 부자연스러운 결과를 보임. (c) 촉각 활용 관절물체(Tac-Man 마이크로파 문) 조작: Taccel은 실측과 ~1% 오차로 젤-손잡이 상호작용을 재현, 타 방법(예: Isaac Gym 구현)은 600% 넘는 오차. (d) 병렬 환경 테스트: 페그 삽입 작업을 다중 환경으로 실행한 결과, Taccel은 저해상도 4096개/>915 FPS, 고해상도 256개/>256 FPS 등을 달성하여 확장성이 높음을 입증.

그림 3: 시뮬레이션 정확도 평가. (a) 촉각 이미지 비교 – 실제 GelSight센서로 측정한 패턴과 Taccel 시뮬레이션 결과가 유사하며, 모든 시험 물체에 대해 시뮬레이션 대 실제 SSIM이 매우 높게 나타남(평균 0.93). (b) 마찰/전단 변형 – VBTS 그리퍼로 막대를 쥐고 당기는 실험에서, 서로 다른 마찰계수 조건 하에 실제 측정한 젤 변형(마커 이동)과 Taccel 결과가 거의 겹쳐짐. 평균 오차 0.028 mm 수준으로, 마찰 거동 및 미끄러짐까지 정밀하게 모사됨을 보여줌.

그림 4: 병렬 시뮬레이션 성능 분석. (a) 환경 개수 증가에 따른 FPS 변화 (로그 눈금) – Taccel은 4096개까지도 FPS가 꾸준히 증가(선형 스케일)하며, FP32 정밀도의 SAPIEN-IPC는 64개 이상에서 급격히 성능 저하 및 일부 수렴 실패 발생. FP64 정밀도의 Taccel이 안정성과 속도 모두 우수함. (b) 테스트 작업의 장면 예시 – 좌: 페그 인서션 (듀얼 센서), 우: 다지 로봇 손 그립. Appendix C.1에는 (a) 실험의 VRAM 메모리 사용량 등 추가 자료가 제시됨.