📃CompliantVLA-adaptor

CompliantVLA-adaptor: VLM-Guided Variable Impedance Action for Safe Contact-Rich Manipulation

• Paper Link (arXiv:2601.15541v2)

• Project Page (sites.google.com/view/compliantvla)

• 코드/프롬프트/데이터셋 공개 명시(프로젝트 페이지)

• 저자: Heng Zhang*, Wei-Hsing Huang*, Qiyi Tong, Gokhan Solak, Puze Liu, Kaidi Zhang, Sheng Liu, Jan Peters, Yu She, Arash Ajoudani

• arXiv preprint (cs.RO), 2026

1. 💡 VLA 모델은 의미(semantic)는 잘 이해하지만 위치(position) 명령만 내보내 힘을 인지하지 못해 접촉이 많은(contact-rich) 작업에서 과도한 힘으로 물체·로봇을 손상시키는 문제를, VLM이 문맥을 읽어 강성(stiffness)·감쇠(damping)를 생성하는 가변 임피던스 제어(VIC) 어댑터를 VLA에 덧붙여 푼다.
2. ⚙️ 얼어붙은(frozen) VLM이 시각·언어·실시간 힘 피드백으로 ① 접촉 국면(free-motion/approaching/contact/retreat)을 인식하고 ② anisotropic 프롬프트로 강성·감쇠를 생성하며, ③ 힘 스케일링 계수 \alpha_{\text{force}}\in[0.2,1]가 임계 초과 시 강성을 낮추는 안전층을 통과시켜, VLA의 위치 액션을 1000Hz VIC 서보로 실행한다.
3. 🎯 시뮬(LIBERO·ManiSkill 8개 contact-rich task, 30N 제약)에서 baseline 평균 성공률 9.86% → 17.29%(최대 54%→76%)로 올랐고, 실제(Franka Panda)에서 wiping은 [400,600]·pushing은 [800,1000] N/m로 강성을 조절하며 힘을 급격한 스파이크 없이 안전 한계 내로 유지했다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

VLA(Vision-Language-Action) 모델은 “서랍을 열어라” 같은 지시를 시각·언어로 이해해 엔드이펙터 변위 \mathbf{x}_d\in\mathbb{R}^6를 뱉는 데는 능하지만, 접촉 힘 \mathbf{F}\in\mathbb{R}^6를 무시한다. 위치 제어만 하는 rigid 정책은 접촉·불확실성이 개입하는 순간 과도한 힘을 내 물체나 로봇을 망가뜨린다. 저자들의 문제의식은 한 문장으로 요약된다 — “VLA는 의미 이해엔 뛰어나지만 그것을 물리적 컴플라이언스(compliance)로 번역하지 못한다.”

동기(Fig. 1) — 힘 인지가 없는 기존 VLA는 접촉·불확실성이 있는 물리 작업에서 안전하지 않은 상호작용을 일으킨다.

CompliantVLA-adaptor는 VLA를 재학습하지 않는다. 대신 VLM(예: ChatGPT-4o-mini, frozen)이 문맥을 읽어 임피던스 파라미터 (\mathcal{K},\mathcal{D})를 생성하고, 이를 low-level 가변 임피던스 제어기(VIC)에 주입하는 얇은 어댑터를 VLA 위에 얹는다. VLA는 여전히 “무엇을 할지”(액션)를 정하고, 어댑터는 “얼마나 단단하게/부드럽게 밀지”(컴플라이언스)를 정한다.

개요(Fig. 2) — VLM이 시각 관측·언어 지시·실시간 힘 피드백 \mathcal{F}를 받아 문맥 인지 임피던스 (\mathcal{K},\mathcal{D})를 생성하고, 이 파라미터가 VLA의 액션을 실행하는 VIC를 변조한다.

핵심 방법론:

전통적 VLA는 \pi_{\text{VLA}}:\mathcal{S}\times\mathcal{T}\to\mathcal{A}로 액션만 낸다. 여기에 임피던스 어댑터를 병렬로 붙인다:

\text{CompliantVLA}:\ \text{VLM}(\mathcal{S}\times\mathcal{T}\times\mathcal{F})\ \rightarrow\ (\mathcal{K},\mathcal{D}),

여기서 병진 강성·감쇠는 대각 행렬 \mathcal{K}=\operatorname{diag}(k_x,k_y,k_z), \mathcal{D}=\operatorname{diag}(D_x,D_y,D_z)이다. VLM이 생성한 강성 \mathbf{K}_p^{\text{VLM}}은 실시간 힘 피드백으로 조정된다:

\mathbf{K}_p^{\text{final}}=\mathbf{K}_p^{\text{VLM}}\cdot\alpha_{\text{force}},\qquad \mathbf{D}_p^{\text{final}}=2\sqrt{\mathbf{K}_p^{\text{final}}\cdot M_{\text{eff}}}\cdot\zeta,

\alpha_{\text{force}}\in[0.2,1]는 측정 힘이 안전 임계를 넘으면 강성을 낮추는 스케일 계수(경험적으로 설정), \zeta=0.7은 임계 감쇠(critical damping)를 위한 감쇠비, M_{\text{eff}}는 유효 질량이다. 즉 VLM이 아무리 높은 강성을 제안해도 실측 힘이 크면 컴플라이언스가 강제된다.

주요 결과:

• 시뮬(8개 contact-rich task, 30N 제약, RDT·Pi0·OpenVLA-oft baseline): 힘 제약을 고려하면 baseline은 매우 불안정해 최대 성공률 54%, 어떤 task는 항상 실패. 어댑터를 붙이면 대부분 task가 안전하게 개선되어 최대 76%, 전체 평균 9.86% → 17.29%.
• 개선의 편차: 기계적 제약이 강한 task(서랍·스토브 노브)에서 상대적 개선이 가장 컸다 — 적응적 컴플라이언스의 이득이 큰 시나리오.
• 실제(Franka Panda): wiping은 강성 [400,600], pushing(3kg 박스)은 [800,1000] 범위로 조절, 힘 프로파일이 급격한 스파이크 없이 부드럽게 전환.

결론: VLA를 다시 훈련하지 않고, VLM의 문맥 추론을 임피던스 파라미터로 번역해 low-level VIC를 조종하는 것만으로 contact-rich 조작의 안전성과 성공률을 동시에 끌어올릴 수 있다. VLA의 “무엇”과 임피던스 제어의 “얼마나 부드럽게”를 분리한 모듈형 설계다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“VLA는 위치를 정하고, VLM이 문맥을 읽어 강성·감쇠를 정하고, 실시간 힘이 그 강성을 최종 조율한다” — VLA(의미)와 가변 임피던스 제어(물리 컴플라이언스)를 어댑터로 접합한 것이 CompliantVLA-adaptor다.

배경: VLA는 왜 힘을 다루지 못하나

VLA 모델(RDT, Pi0/Pi0.5, OpenVLA-oft 등)은 로봇 조작을 vision-language 이해 문제로 풀어 크게 성공했다. 하지만 이들의 출력은 대개 엔드이펙터 변위나 관절 목표 같은 위치 명령이다. 조작 작업을 \mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{T},\mathcal{C})로 볼 때 — 상태 \mathcal{S}(시각 관측 포함), 액션 \mathcal{A}, 언어 명세 \mathcal{T}, 물리 제약 \mathcal{C}(힘 한계 포함) — 전통적 VLA는 \mathcal{S}\times\mathcal{T}\to\mathcal{A}만 학습하고 상호작용 힘 \mathbf{F}\in\mathbb{R}^6와 제약 \mathcal{C}를 정식화에서 통째로 빠뜨린다. 결과적으로 위치 목표를 강하게 추종하는 stiff 제어기가 벽·서랍·물체 같은 강체 접촉을 만나면, 작은 위치 오차가 큰 힘으로 증폭되어 물체를 부수거나 로봇을 정지시킨다.

로봇공학에서 이 문제의 고전적 해법은 임피던스 제어(impedance control) — 위치가 아니라 위치-힘 관계(강성·감쇠)를 제어해 접촉을 부드럽게 흡수하는 것이다. 나아가 가변 임피던스 제어(VIC) 는 국면에 따라 강성을 바꾼다(자유 이동 땐 단단히, 접촉 땐 부드럽게). 문제는 “언제 얼마나 부드러워야 하는가”를 정하는 것이 곧 작업·문맥 이해를 요구한다는 점이다. 전통적으로는 접촉 동역학 모델이나 수작업 스케줄이 필요했다. 저자들의 통찰은 바로 그 문맥 판단이 VLM이 잘하는 일이라는 것이다 — 시각·언어로 “지금 걸레질 중이니 살살”, “무거운 박스를 미니 단단히”를 추론하게 만들면 된다.

이 관점은 Tactile-VLA 리뷰가 VLA의 잠재된 물리 지식을 촉각 일반화로 끌어낸 것과 같은 문제의식을 공유한다 — 다만 그쪽이 촉각 표현을 VLA 안으로 넣었다면, 이 논문은 힘/컴플라이언스를 VLA 바깥의 어댑터로 붙여 재학습을 피한다.

방법 상세 1 — 문제 정식화와 임피던스 파라미터화

액션 채널과 임피던스 채널을 분리한다. VLA는 그대로 \pi_{\text{VLA}}:\mathcal{S}\times\mathcal{T}\to\mathcal{A}로 두고, 임피던스 어댑터를 병렬로 정의한다:

\text{CompliantVLA}:\ \text{VLM}(\mathcal{S}\times\mathcal{T}\times\mathcal{F})\rightarrow(\mathcal{K},\mathcal{D}).\tag{1,2}

여기서 외력·토크 \mathcal{F}\in se^{*}(3)는 6D wrench, 병진 강성·감쇠는 대각 행렬로 파라미터화된다:

\mathcal{K}=\operatorname{diag}(k_x,k_y,k_z),\qquad \mathcal{D}=\operatorname{diag}(D_x,D_y,D_z).\tag{3,4}

회전(orientation) 강성·감쇠는 병진값에 비례 계수로 종속시킨다:

K_o^i=\varepsilon\,k^i,\qquad D_o^i=2\zeta\sqrt{K_o^i},\qquad \varepsilon=0.15,\ \zeta=0.707.\tag{5}

즉 자유도 3개(병진 강성)만 VLM이 실질적으로 정하면, 감쇠와 회전 항은 안정성(critical damping)을 위해 자동으로 유도된다. 이 축소가 VLM에게 “합리적 숫자 3개”만 요구하게 해 프롬프트 부담을 줄인다.

방법 상세 2 — 접촉 국면 인식과 임피던스 생성

임피던스 생성 모듈은 얼어붙은 VLM이 다중모달 특징을 추출해 문맥 인지 임피던스로 사상한다. 입력은 손목 RGB \mathbf{I}_w, 전체 조망 이미지 \mathbf{I}_f, 언어 지시 \mathcal{T}, 외력 \mathcal{F}이다. 두 겹의 안전 시스템이 결합된다.

① 접촉 국면 인식(Contact Phase Recognition). VLM에 프롬프트를 주어 힘 센서 피드백과 시각을 결합해 국면을 free-motion / approaching / contact / retreat 넷으로 분류한다. 이 semantic 국면 인식은 명시적 접촉 동역학 모델 없이도 각 상호작용 단계에 맞는 컴플라이언스를 준다(예: 자유 이동 단단히 → 접근하며 완화 → 접촉 시 부드럽게).

② 다중모달 임피던스 생성(Multimodal Impedance Generation). 복잡한 접촉·운동 상황을 고려해 anisotropic-centric 프롬프트를 질의 프롬프트에 주입한다 — 축마다 다른(비등방적) 강성을 유도하기 위함이다. 예컨대 걸레질에서 수직(누르는) 축은 부드럽게, 수평(문지르는) 축은 단단하게 같은 방향성을 VLM이 추론하게 한다.

③ 힘 조절 안전층(Force-Regulated Safety Layer). VLM이 낸 강성을 실시간 힘으로 최종 조정한다:

\mathbf{K}_p^{\text{final}}=\mathbf{K}_p^{\text{VLM}}\cdot\alpha_{\text{force}},\qquad \mathbf{D}_p^{\text{final}}=2\sqrt{\mathbf{K}_p^{\text{final}}\cdot M_{\text{eff}}}\cdot\zeta.\tag{6,7}

\alpha_{\text{force}}\in[0.2,1](경험적 설정)는 측정 힘이 안전 임계를 넘으면 강성을 낮춘다. 이로써 VLM이 시각 문맥만 보고 높은 강성을 제안하더라도, 예상치 못한 접촉 힘이 나타나면 제어기가 컴플라이언트하게 반응한다. 감쇠 \mathbf{D}_p^{\text{final}}은 \zeta=0.7의 임계 감쇠로 계산되고, 힘/토크 센서는 1000Hz로 지속 감시된다.

방법 상세 3 — 세 시간 스케일의 하이브리드 아키텍처

핵심 엔지니어링은 속도가 완전히 다른 세 모듈을 계층으로 겹친 것이다:

• VLM 임피던스 생성 ~1Hz — 무겁고 느린 추론. 문맥이 바뀔 때만 강성·감쇠를 갱신.
• VLA 액션 청크 ~3Hz — 위치 목표(액션)를 생성.
• Low-level VIC 서보 1000Hz — 실시간 힘 조절·안전 감시.

느린 VLM이 “정책(얼마나 부드럽게)”을 이따금 갱신하고, 빠른 VIC가 그 정책 안에서 힘을 매 밀리초 조율한다. 힘이 임계를 넘으면 \alpha_{\text{force}}가 즉시(1000Hz) 반응하므로, VLM의 1Hz 지연이 안전을 해치지 않는다. 이 시간 스케일 분리가 “느린 의미 추론 + 빠른 물리 안전”을 양립시키는 열쇠다.

직관: VLA의 “무엇”과 임피던스의 “얼마나 부드럽게”의 분리

이 논문의 우아한 점은 재학습 없는 모듈성이다. VLA는 어떤 궤적을 밟을지(무엇)를 담당하고, 어댑터는 그 궤적을 얼마나 단단히/부드럽게 추종할지(어떻게)를 담당한다. 힘 인지가 없던 임의의 사전학습 VLA(RDT·Pi0·OpenVLA-oft)를 그대로 두고, low-level 제어기만 VIC로 교체해 컴플라이언스를 주입한다. VLM은 “이 장면·이 지시·이 힘에선 이 정도 강성이 안전하다”는 상식을 프롬프트로 공급하는 문맥 사전(prior) 역할이다.

실험

시뮬레이션 설정. LIBERO·ManiSkill에서 8개 대표 contact-rich task를 골랐다(100+ 전체 대신 중복·자원 문제 회피). Task 1·2는 ManiSkill(RDT용), 나머지는 LIBERO(Pi0·OpenVLA-oft용). 정밀 삽입, 형상 정렬, 서랍 개폐, 제약 환경에서의 물체 배치 등을 포함한다(예: Task 5 Open Drawer, Task 6 Push Plate, Task 7 Close Drawer, Task 8 Microwave Env).

시뮬 task 스위트(Fig. 3) — ManiSkill(RDT)과 LIBERO(Pi0·OpenVLA)에서 뽑은 8개 contact-rich task.

프로토콜. 2단계 평가로 어댑터의 기여를 격리한다. Stage 1은 baseline VLA를 그대로 실행하되 30N 힘 임계를 적용(3회 연속 초과 또는 시간 초과 시 실패 처리). Stage 2는 같은 VLA의 low-level 제어기를 VLM-강화 VIC로 교체한다. 동일 힘 제약 아래 두 단계를 비교하므로 “힘 안전을 지키면서 성공했는가”를 공정하게 잰다.

시뮬 결과(Fig. 4) — 힘 제약 하 8개 task 성공률. 접미사 -R/-P/-O는 RDT/Pi0/OpenVLA-oft, 색은 어댑터 유무.

시뮬 결과. 힘 제약을 고려하면 baseline VLA는 매우 불안정해 최대 성공률 54%에 그치고 일부 task는 항상 실패한다(원 논문 수치와 다른 이유는 힘 임계 적용 때문). 어댑터 통합 후 대부분 task가 안전하게 개선되어 최대 76%, 전체 평균 9.86% → 17.29%로 상승했다. 다만 저자들도 명시하듯 이 총합 개선은 task 카테고리마다 편차가 크다 — 서랍·스토브 노브 같은 기계적 제약 task에서 상대 개선이 가장 극적이었다.

실제 로봇. 7-DoF Franka Emika Panda + 평행 그리퍼, 손목 힘/토크 센서, 듀얼 카메라(Logitech USB + Intel RealSense D435i 손목). 두 task — 3kg 박스를 표적으로 미는 pushing, 화이트보드의 마커 자국을 지우는 wiping. 각 task당 50회 성공 시연으로 파인튜닝했다.

실제 setup(Fig. 5) — 좌: 3kg 박스 pushing, 우: 화이트보드 wiping.

실제 결과. 로봇은 wiping에서 강성 [400,600]로 가볍게 접촉하고, pushing에서 [800,1000]로 더 단단히 밀며 상황에 맞게 임피던스를 조절했다. 힘 프로파일은 급격한 스파이크 없이 부드럽게 전환되어, 환경·로봇 손상을 막도록 접촉 힘을 효과적으로 조율함을 보였다.

실제 정성 결과(Fig. 6) — 좌: wiping, 우: pushing. 각 task마다 위 4장은 진행 스냅샷, 가운데는 적응 강성 K_x/K_y/K_z(wiping [400,600]·pushing [800,1000] N/m), 아래는 접촉 힘 크기(N) — Ours(빨강 실선) vs Baseline(분홍 점선). 배경색은 국면 구분(free_motion 녹색·approaching 파랑·contact 주황·retreat 보라). Ours는 baseline보다 힘 스파이크를 억제한다.

비판적으로 보면

강점

• 재학습 없는 모듈성. 힘 인지가 없던 임의의 사전학습 VLA를 건드리지 않고 low-level만 교체해 컴플라이언스를 얻는다. VLA 생태계 전반에 즉시 얹을 수 있는 실용적 설계다.
• 시간 스케일 분리의 안전성. 느린 VLM(1Hz)의 문맥 판단과 빠른 VIC(1000Hz)의 힘 반응을 계층으로 나눠, VLM 지연이 안전을 해치지 않게 했다. \alpha_{\text{force}} 안전층은 VLM이 틀려도 물리적 하한을 지키는 fail-safe다.
• 공정한 평가 프로토콜. 30N 힘 임계를 명시적으로 걸고 baseline과 어댑터를 같은 제약 아래 비교했다. “힘 무시하면 성공”이 아니라 “힘 지키며 성공”을 잰 점이 정직하다.
• 자원 공개. 코드·프롬프트·데이터셋을 공개해 anisotropic 프롬프트 같은 핵심 노하우의 재현성을 높였다.

약점·한계

• 절대 성공률이 낮다. 평균 9.86%→17.29%, 최대 76%는 힘 제약을 건 조건이라지만 여전히 낮다. 어댑터가 “안전하게 실패”를 “안전하게 성공”으로 바꾸는 폭은 제한적이며, task 카테고리 편차가 커 일반적 이득이라 보기 어렵다.
• VLM 임피던스 생성의 검증 부재. 리뷰 시점 원문(v2)에서 명시적 ablation을 확인하지 못했다. VLM이 생성한 강성이 정말 문맥에 최적인지, 아니면 \alpha_{\text{force}} 안전층·고정 감쇠식만으로 대부분 이득이 나는지 분리되지 않는다. “VLM vs 고정 강성 스케줄” 비교가 있어야 VLM의 기여가 입증된다.
• 경험적 하이퍼파라미터. \alpha_{\text{force}}\in[0.2,1], \varepsilon=0.15, \zeta=0.7/0.707, 30N 임계가 모두 “경험적으로 설정”이다. 새 task·물체·로봇으로의 이전에 얼마나 견고한지 불명확하다.
• VLM 상식의 신뢰성. ChatGPT-4o-mini가 물리적으로 타당한 강성 숫자를 낸다는 보장이 없다. anisotropic 프롬프트가 실패하면(예: 축 방향 오판) 안전층이 힘은 막아도 성공은 못 살린다. VLM 출력 분포의 안정성·재현성 분석이 없다.
• 실제 실험 규모. 실제는 pushing·wiping 2개 task뿐이고 성공률 통계보다 정성적 force/stiffness 곡선 중심이다. contact-rich의 어려운 정밀 삽입 등은 실제에서 다루지 않았다.

관련 연구와의 자리 매김

• VLA에 물리를 주입하는 흐름. Tactile-VLA가 촉각 표현을 VLA 안으로 통합해 물리 일반화를 노렸다면, CompliantVLA는 힘/컴플라이언스를 VLA 바깥 어댑터로 붙여 재학습을 피한다. “안으로 넣기(end-to-end) vs 바깥에 붙이기(modular)”의 대비다.
• Contact-rich 조작의 다른 접근. CSRL은 접촉이 많은 비파지 조작을 RL의 리셋·목표 분포 설계로 풀었다. CSRL이 정책 학습 단계에서 접촉을 다룬다면, CompliantVLA는 실행 단계의 컴플라이언스로 접촉 안전을 다룬다 — 상보적이다.
• VLM을 안전·판단의 prior로 쓰기. StressDream이 VLM을 영상 world model의 semantic judge로 썼듯, CompliantVLA는 VLM을 임피던스 파라미터의 문맥 사전으로 쓴다 — VLM의 상식을 물리 안전 신호로 번역하는 같은 계보다.
• 고전 임피던스/VIC 계보. 가변 임피던스 제어와 안전한 물리 상호작용은 오랜 로봇공학 주제로, 이 논문의 새로움은 제어 이론이 아니라 “강성을 누가 정하는가”를 VLM에게 위임한 데 있다.

요약

CompliantVLA-adaptor는 “VLA는 무엇을 할지, VLM은 얼마나 부드럽게 할지, 실시간 힘은 그 강성을 최종 조율”하는 3계층 어댑터로 힘 인지가 없던 VLA에 컴플라이언스를 주입한다. 핵심은 VLM($1Hz)–VLA($3Hz)–VIC(1000Hz)의 시간 스케일 분리와, \mathbf{K}_p^{\text{final}}=\mathbf{K}_p^{\text{VLM}}\cdot\alpha_{\text{force}}의 힘 조절 안전층이다. 30N 제약 하 시뮬에서 평균 성공률을 9.86%→17.29%로, 실제 Franka에서 상황별 강성 조절과 부드러운 힘 전환을 보였다. 재학습 없이 임의 VLA에 얹을 수 있는 실용적 설계라는 점이 매력이지만, 절대 성공률이 낮고 VLM 임피던스 생성의 기여를 분리하는 ablation이 (리뷰 시점 원문에서) 확인되지 않아, “VLM이 정말 최적 강성을 아는가”는 아직 열린 질문이다.