📃Gating-Based Vision-Proprioception Fusion

tactile

fusion

classification

Low-Cost Gating-Based Vision and Proprioception Fusion for Object Property Classification

Published

May 4, 2026

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론

로봇이 물건을 집어 들 때, 사람은 눈으로 본 정보(겉모습, 색, 질감)와 손으로 느낀 정보(무게, 단단함, 재질)를 거의 무의식적으로 합쳐서 “이건 무겁고 단단한 금속 컵이다” 같은 판단을 내립니다. 문제는, 겉모습이 물리적 속성을 항상 정직하게 알려주지는 않는다는 점입니다. 똑같이 생긴 두 물체가 무게·강성·재질에서 완전히 다를 수 있습니다. 빈 페트병과 물이 가득 찬 페트병은 사진상 거의 구분되지 않습니다.

이 논문(맨체스터 대학, ICRA 2026 ViTac 워크숍, Paper ID 8)이 정면으로 다루는 질문이 바로 이것입니다.

“겉모습이 더 이상 물리적 속성을 예측해 주지 못할 때, 로봇이 물체의 질량(mass)·강성(stiffness)·재질(material)을 분류할 수 있는가?”

이 질문에 답하기 위해 저자들은 두 가지를 제안합니다.

저비용 시각-고유수용감각 융합(low-cost visuo-proprioceptive fusion): GelSight류 광학 촉각이나 force-torque 센서 같은 비싸고 깨지기 쉬운 전용 촉각 하드웨어 없이, 로봇 팔에 이미 내장된 서보 모터의 내부 신호(position, load, current, velocity)만으로 촉각적 증거를 대체합니다. 여기에 grasp 직전에 찍은 단 한 장의 top-down RGB 사진을 더합니다.
게이팅 기반 적응적 융합(gating-based fusion): 두 모달리티가 충돌(conflict)할 때, 즉 시각이 거짓말을 할 때, 시각 증거를 동적으로 억제(suppress)하는 게이트를 학습합니다.

핵심 동기 — “겉모습은 물리의 신뢰할 수 없는 대리지표”

비전 기반 방법은 의미론적 추론(semantic reasoning)이 강해서 상식적으로 속성을 추정할 수 있습니다(예: “벽돌처럼 생겼으니 무겁겠지”). 하지만 이는 외양과 물리 속성 사이의 가짜 상관(spurious correlation)에 의존합니다. 그 가짜 상관이 깨지는 순간 — 가벼운 가짜 벽돌, 말랑한 금속색 물체 — 비전 모델은 무너집니다.

촉각 센서는 더 직접적이고 신뢰할 만한 물리 증거를 주지만 비쌉니다. 저자들의 통찰은 “로봇 팔의 서보 신호 자체가 사실상 공짜인 촉각 채널”이라는 것입니다. 물체를 쥐고 들어 올리는 동안 모터가 겪는 부하(load), 전류(current), 위치(position), 속도(velocity)의 시계열에는 무게와 변형성의 흔적이 고스란히 남습니다.

왜 “게이팅”이 필요한가 — 직관

두 감각을 합치는 가장 흔한 방법은 그냥 이어 붙이는 것(concatenation, vanilla fusion)입니다. 하지만 이는 “두 자문가의 의견을 항상 똑같은 비율로 섞는” 셈이라, 한쪽이 거짓말을 할 때 그 오염이 그대로 결과에 스며듭니다. 실제로 이 논문의 핵심 실험 결과가 이를 증명합니다 — vanilla fusion은 속는 물체(deceptive object)에서 단일 proprioception보다도 오히려 더 나빠집니다.

게이팅은 비유하자면 “시각 증인이 거짓말을 하고 있다고 의심되면 그 증언의 발언권을 줄이는 재판장”입니다. 두 모달리티가 서로 모순될 때 시각 토큰을 학습된 null 토큰 쪽으로 밀어내, 신뢰할 수 있는 proprioception에 무게를 싣습니다.

방법

전체 파이프라인

모델은 (1) 모달리티별 인코딩 → (2) 토큰 레벨 게이팅 융합 → (3) 공유 Transformer를 통한 다중 작업 예측의 세 단계로 구성됩니다.

flowchart LR
    IMG[Pre-grasp RGB image] --> VENC[Frozen ResNet<br/>Visual Encoder]
    SRV[Servo signals:<br/>position, load,<br/>current, velocity] --> PENC[Temporal<br/>Proprio Encoder]
    VENC --> V["Visual tokens V"]
    PENC --> P["Proprio tokens P_tok"]
    V --> VPOOL[Avg Pool -> v_g]
    P --> PPOOL[Masked Pool -> p_g]
    VPOOL --> GATE[Conflict Estimator:<br/>MLP + Sigmoid]
    PPOOL --> GATE
    GATE --> G["gate g in 0..1"]
    G --> GV[Visual Gating:<br/>g*V + 1-g * v_null]
    V --> GV
    GV --> VT["Gated visual tokens"]
    VT --> TR[Shared Transformer<br/>Encoder + CLS]
    P --> TR
    TR --> M[mass]
    TR --> S[stiffness]
    TR --> U[material]
    PPOOL --> AUX[Proprio Auxiliary Heads]
    AUX --> AM[mass]
    AUX --> AS[stiffness]
    AUX --> AU[material]

모달리티별 인코더

시각 분기(visual branch): 동결된(frozen) ResNet 인코더로 grasp 직전 RGB 이미지에서 시각 토큰 V \in \mathbb{R}^{N_v \times d}를 추출합니다. 동결이라는 점이 “저비용”의 또 다른 측면입니다 — 사전학습된 백본을 그대로 쓰고 학습 부담을 줄입니다.
고유수용감각 분기(proprioceptive branch): 시간적 인코더(temporal encoder)가 원시 서보 신호 시계열을 고유수용감각 토큰 P_{tok} \in \mathbb{R}^{N_p \times d}로 매핑합니다. (baseline에서는 이 자리에 1D-CNN을 씁니다.)

여기서 N_v는 시각 토큰 수, N_p는 proprioceptive 토큰 수, d는 공통 임베딩 차원입니다.

게이팅의 핵심 — 토큰 레벨 시각 억제

이 논문의 게이팅은 흔한 “가중 평균 합” 방식과 미묘하게 다릅니다. 핵심은 시각 토큰을 학습된 null 토큰으로 보간(interpolation)해 억제하는 것입니다.

먼저 각 모달리티를 요약 벡터로 압축합니다. 시각 토큰은 global average pooling으로 v_g를, proprioceptive 토큰은 padding을 제외한 masked pooling으로 p_g를 만듭니다. 그런 다음 두 요약을 이어 붙여 MLP + Sigmoid에 통과시켜 스칼라 게이트 g \in (0,1)를 얻습니다. 이 모듈이 바로 두 모달리티의 모순 정도를 추정하는 Conflict Estimator입니다.

g = \sigma\big(\mathrm{MLP}([\,v_g \,;\, p_g\,])\big), \qquad g \in (0,1)

그리고 시각 토큰을 다음과 같이 게이팅합니다.

\tilde{V} = g\,V + (1 - g)\,v_{\text{null}} \tag{1}

여기서 v_{\text{null}}은 학습 가능한 null 토큰으로, 시각 시퀀스 전체에 브로드캐스트됩니다. 직관적으로:

g \to 1: “시각을 믿어라” → \tilde{V} \approx V (원래 시각 토큰 유지)
g \to 0: “시각이 거짓말하고 있다” → \tilde{V} \approx v_{\text{null}} (시각 토큰을 의미 없는 null로 대체해 억제)

이 설계의 묘미는, 시각을 단순히 “약하게 섞는” 게 아니라 모순 상황에서 학습된 중립 토큰으로 갈아끼워 시각의 기만적 정보를 적극적으로 차단한다는 점입니다.

게이팅된 시각 토큰 \tilde{V}, proprioceptive 토큰 P_{tok}, 그리고 분류용 [CLS] 토큰을 모두 이어 붙여 공유 Transformer 인코더에 넣고, 여기서 질량·강성·재질을 동시에 예측합니다.

보조 감독과 게이트 정규화 — 손실 함수

게이팅에는 위험이 하나 있습니다. 만약 시각이 자주 도움이 되면, proprioceptive 분기가 게을러져서 독립적인 물리 표현을 학습하지 못할 수 있습니다. 저자들은 이를 막기 위해 proprioception만으로 동일 타깃(질량·강성·재질)을 예측하는 보조 헤드(auxiliary head) 3개를 p_g에 붙입니다. 이로써 proprioceptive 분기가 시각에 기대지 않고 독립적으로 변별력 있는 표현을 유지하도록 강제합니다.

전체 손실은 세 항으로 구성됩니다.

\mathcal{L} = \sum_{k \in \{m, s, u\}} \Big[ \mathcal{L}_{CE}(\hat{y}_k, y_k) + \lambda_{aux}\,\mathcal{L}_{CE}(\hat{y}_k^{aux}, y_k) + \lambda_{reg}\,R_{ent}(g) \Big] \tag{2}

여기서 m, s, u는 각각 mass, stiffness, material(material의 약자로 u 사용) 작업입니다.

첫째 항: 주 분류 손실 — 융합된 표현으로 세 속성을 예측하는 cross-entropy.
둘째 항: 보조 proprioceptive 손실 — proprioception만으로 같은 타깃을 맞히게 하는 cross-entropy (\lambda_{aux}로 가중).
셋째 항: 게이트 엔트로피 정규화 R_{ent}(g) — Bernoulli 음의 엔트로피를 최소화하는데, 이는 게이트가 너무 일찍 0이나 1로 포화(premature saturation)되는 것을 막아 학습 초기에 두 모달리티를 모두 탐색(cross-modal exploration)하도록 유도합니다.

의사코드

Input: pre-grasp image x_v, servo signal sequence x_p
V      = FrozenResNet(x_v)               # visual tokens, R^{Nv x d}
P_tok  = TemporalEncoder(x_p)            # proprio tokens, R^{Np x d}

v_g    = avg_pool(V)                     # visual summary
p_g    = masked_pool(P_tok)              # proprio summary (ignore padding)
g      = sigmoid(MLP(concat(v_g, p_g)))  # conflict gate, scalar in (0,1)

V_tilde = g * V + (1 - g) * v_null       # suppress visual tokens on conflict
tokens  = concat(CLS, V_tilde, P_tok)
feat    = Transformer(tokens)
y_main  = heads(feat)                    # mass, stiffness, material
y_aux   = aux_heads(p_g)                 # proprio-only predictions
return y_main

적대적 데이터셋 — “시각의 함정”

방법만큼 중요한 기여가 적대적 데이터셋(adversarial dataset)입니다. 저자들은 16개의 특수 제작 물체로 구성된 데이터셋을 만들었습니다.

학습 세트: 시각 특징(색, 질감)이 물리 속성(질량·강성·재질)과 강하게 상관되도록 설계 — 즉 모델이 “겉모습 지름길(visual shortcut)”을 배우도록 일부러 유도.
테스트(unseen) 세트: 그 상관을 일부러 깨뜨림 — 예컨대 무거운 학습 물체와 시각적으로 똑같이 생겼지만 실제로는 가벼운 물체.

데이터는 표준화된 자동 grasp-and-lift 절차로 수집했으며, 800개 이상의 샘플을 모았습니다. 각 샘플은 grasp 직전 전역 사진 한 장과, 상호작용 중 기록된 다채널 서보 신호(position, load, current, velocity) 구간으로 이루어집니다.

이 적대적 분할 덕분에, unseen 정확도가 높다는 것은 단순한 일반화가 아니라 의도적인 시각 편향에 대한 저항력을 의미하게 됩니다.

실험

프로토콜

세 속성을 동시에 예측하는 통합 작업으로 평가합니다.

질량(mass): 3개 클래스
강성(stiffness): 4개 클래스
재질(material): 5개 클래스

세 작업의 평균 정확도를 5개 random seed에 걸쳐 보고합니다. seen object는 학습에 등장한 물체, unseen object는 시각적으로 기만적인 OOD 테스트 세트의 물체입니다.

비교 대상(baseline)

Baseline	시각 처리	고유수용감각 처리	융합
Vision-only	ResNet-18 + Transformer	없음	-
Proprio-only	없음	1D-CNN + Transformer	-
Vanilla Fusion	ResNet	1D-CNN	토큰 concat (게이팅 없음, early-fusion 대표격)
Ours (Gated Fusion)	Frozen ResNet	Temporal encoder	게이팅 + 보조 감독

주요 결과 — Unseen Object

논문 Table I의 핵심 수치(mean ± std, 5 seeds):

Method	Seen-object	Unseen-object	Gate
Vision-only	95.39 ± 0.73	18.00 ± 6.16	–
Proprio-only	95.29 ± 1.93	87.89 ± 1.62	–
Vanilla Fusion	99.31 ± 0.73	85.56 ± 8.39	–
Ours (Gated Fusion)	99.71 ± 0.59	97.61 ± 3.68	0.589

읽어내야 할 점:

Vision-only의 붕괴: seen에서는 95.39%지만 unseen에서는 18.00%로 폭락합니다. 3-4-5 클래스 작업에서 랜덤 추측 수준에 가깝습니다. 시각 지름길에 완전히 의존했다는 명백한 증거입니다.
Vanilla Fusion이 Proprio-only보다 나쁨: 85.56% < 87.89%. 단순 concat은 시각의 기만적 정보를 그대로 빨아들여 오히려 proprioception 단독보다 떨어집니다. 게다가 std가 8.39로 매우 불안정합니다. 이것이 “그냥 합치면 된다”는 통념에 대한 강력한 반례입니다.
Gated Fusion의 승리: unseen에서 97.61% — proprio-only(+9.72%p)와 vanilla fusion(+12.05%p)을 모두 크게 앞섭니다. seen에서도 99.71%로 ceiling에 근접합니다.
게이트 값 0.589: 평균 게이트가 0.5보다 약간 높아, 시각을 완전히 버리지 않으면서도 선택적으로 신뢰함을 보여줍니다.

작업별 Unseen 정확도

Method	Mass	Stiffness	Material
Vision-only	17.17 ± 6.55	17.83 ± 6.84	19.00 ± 5.15
Proprio-only	100.00 ± 0.00	81.00 ± 2.76	82.67 ± 2.20
Vanilla Fusion	87.67 ± 7.91	84.50 ± 9.61	84.50 ± 8.04
Ours (Gated Fusion)	100.00 ± 0.00	95.17 ± 7.61	97.67 ± 3.43

해석:

질량: proprioception 단독만으로도 unseen에서 100% 완벽 예측. 물체를 들어 올릴 때 모터 부하/전류에 무게가 직접적으로 드러나기 때문입니다. 게이팅도 100%를 유지합니다.
강성·재질: proprioception 단독은 81%, 82.67%로 한계가 있습니다. 이 두 속성은 시각 정보(질감, 광택)가 보완적으로 유용한데, 게이팅이 이를 선택적으로 끌어와 95.17%, 97.67%로 끌어올립니다.
즉, “질량은 만지면 정확하지만, 강성·재질은 시각의 도움이 필요하다”는 직관을, 게이팅이 작업별로 자동 조율함을 보여줍니다.

비판적 고찰

강점

문제 설정의 명료함: “겉모습이 거짓말할 때”라는 시나리오를 적대적 데이터셋으로 정량화한 점이 가장 큰 기여입니다. Vision-only가 18%로 붕괴하는 대조는 시각 지름길 문제를 설득력 있게 드러냅니다.
저비용 실용성: 추가 촉각 센서 없이 서보 신호 + 카메라 한 장. 기존 매니퓰레이터에 즉시 이식 가능하고 산업 적용 문턱이 낮습니다.
vanilla fusion에 대한 정직한 반례: “단순 융합은 만능”이라는 통념을 자기 실험으로 반박합니다(85.56% < 87.89%). 게이팅의 필요성을 데이터로 증명한 셈입니다.
해석 가능성: 게이트 값 g 자체가 “지금 시각을 얼마나 믿었는가”를 보여주는 진단 신호입니다. 보고된 평균 0.589는 선택적 신뢰를 정량화합니다.
null 토큰 + 엔트로피 정규화: 단순 가중합이 아니라 학습된 null로 시각을 갈아끼우는 설계, 그리고 게이트 조기 포화를 막는 정규화는 게이팅 융합 설계에서 세련된 디테일입니다.

약점·한계

데이터셋 규모: 16개 물체, 800여 샘플은 워크숍 논문 규모로는 합리적이지만, 미지의 물체 범주·환경으로의 일반화는 검증되지 않았습니다. 적대적 분할이 16개 물체 안에서 이뤄지므로 다양성이 제한적입니다.
높은 분산: Gated Fusion의 unseen 정확도 std가 3.68(material은 3.43, stiffness는 7.61)로 작지 않습니다. seed별 변동이 커서, 적은 데이터에서 게이팅 학습이 불안정할 수 있음을 시사합니다.
proprioception의 본질적 제약: 서보 신호는 접촉 후에야 의미가 생깁니다. grasp-and-lift를 반드시 수행해야 하므로, “보기만 하고 추정”하는 비접촉 사전 예측은 불가능합니다. 또 결과는 사용한 로봇·그리퍼의 센싱 해상도에 의존합니다.
게이트가 스칼라: sample-wise 스칼라 게이트는 단순하고 해석하기 쉽지만, 채널별/토큰별로 더 세밀하게 시각을 억제할 여지는 남아 있습니다. (논문이 의도적으로 단순함을 택한 trade-off로 보임)
세부 하이퍼파라미터 미공개: \lambda_{aux}, \lambda_{reg}, 토큰 수 N_v, N_p, 임베딩 차원 d 등 구체값은 본문에서 명시되지 않았습니다. (추측) 워크숍 short paper 분량 제약 때문으로 보입니다.

요약 및 결론

이 논문은 고가 촉각 센서 없이도 로봇에 이미 존재하는 서보 신호(position, load, current, velocity)를 비전과 게이팅으로 융합해 물체의 질량·강성·재질을 분류합니다. 핵심은 세 가지입니다.

저비용 모달리티 재활용: 비싼 촉각 하드웨어 대신 grasp-and-lift 중의 내부 모터 신호를 “사실상 공짜인” 촉각 채널로 활용.
적대적 데이터셋으로 견고성 측정: 외양-물리 가짜 상관을 일부러 깨뜨린 16개 물체로, 모델이 진짜 물리를 추론하는지 아니면 시각 지름길에 의존하는지 가립니다.
충돌 인식 게이팅: 시각이 거짓말할 때 학습된 null 토큰으로 시각 토큰을 억제하고, proprioceptive 보조 감독과 게이트 엔트로피 정규화로 안정화.

실험 결과는 설득력 있습니다. 기만적 unseen 물체에서 Vision-only는 18.00%로 붕괴, Vanilla Fusion은 85.56%로 오히려 proprio-only(87.89%)보다 나빠지는 반면, 제안한 Gated Fusion은 97.61%를 달성합니다. 작업별로는 질량은 proprioception만으로 100%, 강성·재질은 게이팅이 시각을 선택적으로 끌어와 각각 95.17%, 97.67%로 끌어올립니다.

핵심 메시지는 명확합니다.

“저비용 proprioception은 신뢰할 수 있는 물리적 grounding을 제공한다. 시각은 균일하게 믿을 것이 아니라, 선택적으로 활용해야 한다.”

한 줄 요약: “센서를 더 사는 대신, 로봇이 이미 느끼고 있는 것을 똑똑하게 골라 듣게 하자” — 그리고 시각이 거짓말할 땐 그 입을 막을 줄 알아야 한다.