📃SAM 3 리뷰

sam3

segment-anything

Segment Anything with Concepts

Published

November 21, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

💡 SAM 3은 텍스트나 이미지 예시와 같은 개념 프롬프트(concept prompts)를 사용하여 이미지와 비디오에서 객체를 감지, 분할 및 추적하는 통합 모델을 제시하며, 이는 기존 SAM 시리즈의 PVS(Promptable Visual Segmentation)에서 모든 인스턴스를 분할하는 PCS(Promptable Concept Segmentation)로 능력을 확장합니다.
⚙️ 이를 위해, SAM 3은 이미지 detector와 메모리 기반 비디오 tracker가 단일 백본을 공유하는 아키텍처를 사용하고, 인식과 위치 파악을 분리하는 presence head를 도입했으며, AI annotator와 AI verifier를 활용한 확장 가능한 데이터 엔진으로 4백만 개의 고유 개념 레이블을 생성하여 모델 학습에 기여했습니다.
🚀 결과적으로 SAM 3는 새로운 SA-Co 벤치마크에서 기존 시스템 대비 이미지 및 비디오 PCS 정확도를 두 배 향상시키고, PVS 기능을 개선하며, 복잡한 언어 쿼리를 위해 MLLM과 결합될 수 있음을 보여주며 최첨단 성능을 달성했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

SAM 3는 이미지와 비디오에서 Promptable Concept Segmentation (PCS)이라는 새로운 태스크를 도입하며 객체 감지, 분할 및 추적을 통합한 모델입니다. PCS는 “yellow school bus”와 같은 짧은 명사구, 이미지 예시, 또는 이 둘의 조합으로 개념 프롬프트를 받아 해당 개념과 일치하는 모든 객체 인스턴스에 대한 분할 마스크와 고유 ID를 반환합니다. 이 모델은 SAM 및 SAM 2의 Promptable Visual Segmentation (PVS)이 점, 박스 또는 마스크를 통해 단일 객체를 분할하는 데 초점을 맞춘 것과 달리, 주어진 개념의 모든 인스턴스를 찾고 분할하는 일반적인 태스크를 해결합니다.

1. Promptable Concept Segmentation (PCS) 태스크 정의:

PCS 태스크는 이미지 또는 짧은 비디오(30초 이하)가 주어졌을 때, 짧은 텍스트 구문, 이미지 예시 또는 이 둘의 조합으로 지정된 시각적 개념의 모든 인스턴스를 감지, 분할 및 추적하는 것으로 정의됩니다. 텍스트 프롬프트는 명사와 선택적 수식어로 구성된 단순한 명사구로 제한됩니다. 이미지 예시는 개별 프레임에 긍정 또는 부정 바운딩 박스로 제공되어 대상 마스크를 반복적으로 개선하는 데 사용될 수 있습니다. 이 태스크는 다의어(“mouse”), 주관적 설명(“cozy”), 모호하거나 문맥 의존적인 구문, 경계 모호성 등 본질적인 모호성을 내포하고 있으며, SAM 3는 이를 해결하기 위한 전략을 포함합니다.

2. 모델 아키텍처:

SAM 3는 SAM 2의 일반화된 형태로, 새로운 PCS 태스크와 기존 PVS 태스크를 모두 지원합니다. 주요 구성 요소는 공유 비전 인코더(Perception Encoder, PE)를 사용하는 검출기(detector)와 추적기(tracker)입니다.

검출기 (Detector) 아키텍처:
- 입력 인코딩: 이미지와 텍스트 프롬프트는 PE에 의해 인코딩되며, 이미지 예시가 있을 경우 별도의 예시 인코더(exemplar encoder)가 이를 처리합니다. 이들을 통틀어 “프롬프트 토큰(prompt tokens)”이라고 합니다.
- 퓨전 인코더 (Fusion Encoder): 이미지 인코더에서 나온 조건화되지 않은 임베딩을 받아 프롬프트 토큰에 대한 교차 어텐션을 통해 조건화합니다.
- 디코더 (Decoder): DETR(DEtection TRansformer)과 유사한 구조로, 학습된 객체 쿼리(object queries)가 퓨전 인코더의 조건화된 이미지 임베딩과 교차 어텐션을 수행합니다. 각 디코더 계층은 객체 쿼리에 대한 분류 로짓(프롬프트에 해당하는 객체인지 여부의 이진 레이블)과 이전 계층에서 예측된 바운딩 박스에 대한 델타를 예측합니다.
- Presence Token: 인식(recognition)과 위치 특정(localization)을 분리하기 위해 학습된 전역 presence token을 도입합니다. 이 토큰은 명사구(NP) 형태의 타겟 개념이 이미지/프레임에 존재하는지 여부 p(\text{NP is present in input})만을 예측합니다. 각 객체 쿼리 q_i는 p(q_i \text{ is a match } | \text{NP is present in input})라는 위치 특정 문제만 해결합니다. 최종 제안 쿼리 점수는 자체 점수와 presence score의 곱입니다. 이는 특히 어려운 네거티브 구문으로 훈련할 때 효과적입니다.
- 이미지 예시 및 상호작용 (Image Exemplars and Interactivity): SAM 3는 바운딩 박스와 연관된 이진 레이블(긍정 또는 부정)로 주어지는 이미지 예시를 지원하며, 이는 텍스트 프롬프트를 보완하거나 단독으로 사용될 수 있습니다.
- 마스크 헤드 (Mask Head): MaskFormer에서 차용되었으며, semantic segmentation head도 함께 포함하여 이미지의 모든 픽셀에 대해 프롬프트에 해당하는지 여부를 이진 레이블로 예측합니다.
- 모호성 처리 헤드 (Ambiguity Head): K개의 전문가(experts)를 병렬로 훈련하고 가장 낮은 손실을 가진 전문가만 감독하는 winner-takes-all 방식으로 모호한 해석을 처리합니다. 이를 통해 각 전문가는 특정 종류의 해석에 특화됩니다. 추론 시에는 어떤 전문가가 가장 정확할 확률이 높은지 예측하는 분류 헤드를 훈련하여 해결합니다.
추적기 (Tracker) 및 비디오 아키텍처:
- 객체 추적: 각 프레임에서 검출기는 새로운 객체 O_t를 찾고, 추적기는 이전 프레임 t-1의 마스크렛(masklets) M_{t-1}을 현재 프레임 t의 새로운 위치 \hat{M}_t로 전파합니다. 전파된 마스크렛 \hat{M}_t과 현재 프레임에서 새로 나타나는 객체 마스크 O_t를 매칭 함수를 사용하여 연결합니다: \hat{M}_t = \text{propagate}(M_{t-1}) O_t = \text{detect}(I_t, P) M_t = \text{match\_and\_update}(\hat{M}_t, O_t)
- SAM 2 스타일 전파: 첫 프레임에서 감지된 모든 객체에 대해 마스크렛이 초기화되며, 이후 프레임에서는 추적기 모듈이 이전 위치 M_{t-1}를 기반으로 새로운 마스크렛 위치 \hat{M}_t를 예측합니다.
- Temporal Disambiguation Strategies: 비디오 추적의 모호성을 해결하기 위해 Track Confirmation Delay, Removal of Unconfirmed/Duplicate Masklets, Masklet Suppression, Periodic Re-Prompting, Detection-Guided Re-Prompting 등의 전략을 사용합니다.
- 개별 마스크 개선: 초기 마스크 세트(또는 마스크렛)를 얻은 후, 긍정 및 부정 클릭을 사용하여 개별 마스크(렛)를 개선할 수 있습니다.

3. 데이터 엔진:

SAM 3는 사람과 모델의 협업으로 이루어지는 데이터 엔진을 구축하여 대규모의 다양하고 고품질의 훈련 데이터를 생성합니다. 이 엔진은 SAM 3, 사람 주석가, AI 주석가의 피드백 루프를 통해 작동하며, 현재 SAM 3가 실패하는 미디어-구문 쌍을 적극적으로 채굴하여 모델 개선을 위한 훈련 데이터를 생산합니다.

주요 혁신:
1. 미디어 큐레이션: 동질적인 웹 소스에 의존하는 이전 방식과 달리, 더 다양한 미디어 도메인에서 데이터를 큐레이션합니다.
2. 레이블 큐레이션: 온톨로지와 멀티모달 LLM을 “AI 주석가”로 활용하여 명사구와 어려운 네거티브(hard negatives)를 생성함으로써 레이블 다양성과 난이도를 크게 높입니다.
3. 레이블 검증: MLLM을 “AI 검증자”로 미세 조정하여 사람과 거의 유사한 정확도를 달성함으로써 주석 처리량을 두 배 이상 증가시킵니다.
단계별 데이터 엔진:
- Phase 1 (Human Verification): 간단한 캡셔너와 파서를 통해 이미지와 NP 제안을 무작위 샘플링하고, SAM 2와 open-vocabulary detector를 사용하여 마스크를 제안한 후 사람이 검증합니다.
- Phase 2 (Human + AI Verification): Phase 1에서 수집된 사람의 검증 레이블로 Llama 3.2를 미세 조정하여 MV(Mask Verification) 및 EV(Exhaustivity Verification) 태스크를 자동 수행하는 “AI 검증자”를 생성합니다. 또한 Llama 기반 파이프라인으로 어려운 네거티브 NP를 제안합니다.
- Phase 3 (Scaling and Domain Expansion): AI 모델을 사용하여 점점 더 어려운 사례를 채굴하고 15개 데이터셋으로 도메인 커버리지를 확장합니다. 온톨로지에서 개념을 채굴하여 long-tail, fine-grained 개념 커버리지를 확장합니다.
- Phase 4 (Video Annotation): 이미지 SAM 3를 사용하여 비디오별 문제를 포착하는 품질 주석을 수집하도록 데이터 엔진을 확장합니다.

4. SA-Co (Segment Anything with Concepts) 데이터셋 및 벤치마크:

훈련 데이터: SA-Co/HQ (데이터 엔진에서 수집한 고품질 이미지), SA-Co/SYN (AI 모델만으로 라벨링된 합성 데이터), SA-Co/EXT (외부 데이터셋). SA-Co/HQ는 5.2M 이미지, 4M 고유 NP로 구성된 최대 규모의 고품질 open-vocab segmentation 데이터셋입니다. 비디오 데이터셋인 SA-Co/VIDEO도 포함됩니다.
벤치마크: SA-Co 평가 벤치마크는 207K 고유 구문, 121K 이미지 및 비디오, 3M 이상의 미디어-구문 쌍을 포함하며, 기존 벤치마크보다 50배 이상 많은 개념을 다룹니다.
평가 지표:
- cgF1 (classification-gated F1): PCS의 주요 지표로, 이미지 레벨 분류 정확도를 측정하는 IL_MCC(Image-level Matthews Correlation Coefficient)와 객체 위치 특정 정확도를 측정하는 pmF1(positive micro F1)을 결합합니다. cgF1 = 100 \times pmF1 \times IL\_MCC

5. 실험 결과:

SAM 3는 이미지 및 비디오 PCS 태스크에서 기존 시스템의 정확도를 두 배 이상 향상시키고, PVS 태스크에서 SAM 2의 성능을 뛰어넘습니다.

이미지 PCS (텍스트 프롬프트): LVIS에서 zero-shot 마스크 AP 48.8을 달성하여 기존 최고(38.5)를 뛰어넘었으며, SA-Co/Gold 벤치마크에서 OWLv2⋆보다 두 배 이상의 cgF1 점수를 달성했습니다.
PCS (이미지 예시): COCO, LVIS, ODinW에서 T-Rex2를 크게 능가했습니다. 상호작용 설정에서 3클릭 후 텍스트 전용 PCS보다 +21.6 cgF1 포인트, PVS 개선보다 +2.0 향상됩니다.
객체 카운팅: CountBench 및 PixMo-Count 벤치마크에서 MLLM 모델들을 능가하는 정확도를 보였습니다.
비디오 PCS (텍스트 프롬프트): SA-Co/VEval 벤치마크 및 공개 벤치마크에서 GLEE, LLMDet 기반 시스템을 크게 능가합니다.
PVS: MOSEv2 데이터셋에서 SAM 2보다 6.5 포인트 높은 60.3 J&F를 기록하며 VOS 태스크에서 상당한 개선을 보였습니다. SA-37 벤치마크에서 상호작용 이미지 분할 성능도 SAM 2를 능가했습니다.
SAM 3 Agent: MLLM과 결합하여 SAM 3를 도구로 사용하면 ReasonSeg 및 OmniLabel과 같은 복잡한 텍스트 쿼리에서도 zero-shot으로 기존 최고 성능을 능가했습니다.

6. 결론:

SAM 3는 PCS 태스크를 도입하고 SA-Co 벤치마크를 구축함으로써 오픈-어휘 텍스트 및 이미지 예시를 통한 상호작용 분할을 가능하게 했습니다. 인식, 위치 특정 및 추적을 분리하고 SAM 2를 확장하여 개념 분할을 해결하면서도 시각 분할 기능을 유지하는 아키텍처, 그리고 인간과 AI 주석가의 상호 보완적인 강점을 활용하는 고품질의 효율적인 데이터 엔진이 주요 기여점입니다. SAM 3는 PCS 분야에서 최첨단 성능을 달성하며 컴퓨터 비전 연구 및 응용 분야의 중요한 이정표가 될 것으로 기대됩니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

SAM 3: Segment Anything with Concepts

로봇공학자를 위한 심층 기술 리뷰

Meta Superintelligence Labs | arXiv:2511.16719 | 2025년 11월

1. 서론: 왜 SAM 3인가?

컴퓨터 비전의 근간이 되는 “무엇이든 세그멘테이션”하는 능력은 로봇공학, 콘텐츠 제작, 증강현실, 데이터 어노테이션 등 다양한 멀티모달 AI 응용에서 핵심적인 역할을 합니다. 2023년 Meta가 발표한 SAM(Segment Anything Model)은 프롬프트 기반 세그멘테이션이라는 혁신적인 패러다임을 제시하며 컴퓨터 비전 분야에 큰 파장을 일으켰습니다. 이어서 2024년에는 SAM 2가 비디오 세그멘테이션 영역으로 확장되며 시공간적 추적 능력을 갖추게 되었습니다.

그러나 기존 SAM 시리즈에는 근본적인 한계가 존재했습니다. 포인트, 박스, 마스크와 같은 시각적 프롬프트로는 단일 객체만 세그멘테이션할 수 있었고, “이 이미지/비디오에서 모든 고양이를 찾아라”와 같은 개념 기반의 포괄적 탐지는 불가능했습니다. 로봇공학 관점에서 보면, 이는 매우 치명적인 제약입니다. 로봇이 환경을 인식하고 조작해야 할 때, 특정 개념(예: “빨간 사과”, “금속 부품”, “사람의 손”)에 해당하는 모든 인스턴스를 동시에 인식해야 하는 경우가 빈번하기 때문입니다.

2025년 11월, Meta Superintelligence Labs는 이러한 간극을 메우기 위해 SAM 3: Segment Anything with Concepts를 발표했습니다. SAM 3는 텍스트 프롬프트(예: “yellow school bus”)나 이미지 예시(exemplars), 또는 둘의 조합을 통해 이미지와 비디오에서 해당 개념에 매칭되는 모든 인스턴스를 탐지, 세그멘테이션, 추적할 수 있는 통합 모델입니다. 이를 Promptable Concept Segmentation (PCS) 태스크로 정의하며, 기존 시스템 대비 2배의 성능 향상을 달성했습니다.

2. SAM 시리즈의 진화: SAM → SAM 2 → SAM 3

2.1 SAM (2023): 프롬프터블 세그멘테이션의 시작

최초의 SAM은 “프롬프터블(promptable)” 이미지 세그멘테이션 개념을 도입했습니다. 사용자가 포인트, 박스, 또는 마스크를 프롬프트로 제공하면 모델이 해당 위치의 객체를 세그멘테이션합니다. 11M 이미지와 10억 개 이상의 마스크로 구성된 SA-1B 데이터셋으로 학습되었으며, 제로샷(zero-shot) 전이 능력이 뛰어났습니다. 그러나 텍스트 프롬프트 기능은 완전히 개발되지 않았고, 프롬프트당 단일 객체만 출력할 수 있었습니다.

2.2 SAM 2 (2024): 비디오로의 확장

SAM 2는 프롬프터블 시각 세그멘테이션(Promptable Visual Segmentation, PVS) 태스크를 비디오로 확장했습니다. 메모리 뱅크와 어텐션 메커니즘을 도입하여 시간에 걸친 객체 추적이 가능해졌고, 사용자는 비디오의 어느 프레임에서든 리파인먼트 포인트를 추가하여 세그멘테이션을 조정할 수 있습니다. 그러나 여전히 “개념”을 기반으로 한 탐지는 지원하지 않았습니다.

2.3 SAM 3 (2025): 개념 세그멘테이션의 완성

SAM 3는 SAM 2의 모든 기능을 포함하면서 Promptable Concept Segmentation (PCS)라는 새로운 태스크를 추가합니다. 핵심적인 차이점은 다음과 같습니다:

텍스트 프롬프트: “red apple”, “striped cat”과 같은 간단한 명사구(noun phrase)로 개념 지정
이미지 예시(Exemplar): 바운딩 박스와 양/음 레이블로 타겟 개념 시각적 정의
모든 인스턴스 탐지: 이미지/비디오 전체에서 해당 개념에 매칭되는 모든 객체 세그멘테이션
비디오 ID 보존: 프레임 간 객체 아이덴티티 유지
인터랙티브 리파인먼트: 추가 프롬프트로 false positive/negative 수정 가능

3. Promptable Concept Segmentation (PCS) 태스크 정의

PCS 태스크를 공식적으로 정의하면 다음과 같습니다: 이미지 또는 짧은 비디오(30초 이내)가 주어졌을 때, 짧은 텍스트 구문, 이미지 예시, 또는 둘의 조합으로 지정된 시각적 개념의 모든 인스턴스를 탐지, 세그멘테이션, 추적합니다.

3.1 프롬프트 유형

명사구(Noun Phrase) 프롬프트: SAM 3는 “개념”을 명사와 선택적 수식어로 구성된 간단한 명사구로 제한합니다. 예를 들어 “dog”, “red apple”, “person wearing a hat” 등이 가능합니다. 긴 참조 표현(long referring expressions)이나 추론이 필요한 쿼리는 SAM 3의 직접적인 범위가 아니지만, MLLM(Multimodal Large Language Model)과 결합하여 처리할 수 있습니다.

이미지 예시(Image Exemplar) 프롬프트: 바운딩 박스와 이진 레이블(양성/음성) 쌍으로 제공됩니다. 텍스트 프롬프트와 독립적으로 사용하거나 보완적으로 사용할 수 있습니다. 예를 들어, 강아지 한 마리를 양성 예시로 주면 모델이 이미지 내 모든 강아지를 탐지합니다. 이는 SAM 1/2의 PVS와 다르게, 단일 인스턴스가 아닌 동일 개념의 모든 인스턴스를 반환합니다.

인터랙티브 리파인먼트: 초기 예측이 부정확할 경우, 사용자는 추가 예시 프롬프트를 통해 결과를 개선할 수 있습니다. 놓친 ground truth는 양성 프롬프트 후보가 되고, false positive 탐지는 음성 프롬프트 후보가 됩니다.

3.2 모호성(Ambiguity) 문제

오픈 보캐뷸러리 특성상 PCS 태스크는 본질적으로 모호합니다. “mouse”가 동물인지 기기인지, “large”의 기준은 무엇인지, “mirror”가 프레임을 포함하는지 등 다양한 해석이 가능합니다. SAM 3는 이를 해결하기 위해 세 가지 전문가로부터 테스트 어노테이션을 수집하고, 복수의 유효한 해석을 허용하는 평가 프로토콜을 채택했으며, 모델에 모호성 모듈을 포함시켰습니다.

4. 모델 아키텍처: 탐지기와 추적기의 통합

SAM 3는 약 8.48억 개의 파라미터를 가진 통합 모델로, 크게 Detector(탐지기)와 Tracker(추적기)로 구성되며, 둘은 단일 Vision Encoder(Perception Encoder, PE)를 공유합니다. 이 설계는 탐지와 추적 간의 태스크 충돌을 최소화하면서 효율적인 공유 표현을 활용합니다.

4.1 Perception Encoder (PE) 백본

SAM 3의 비전 백본은 Perception Encoder (PE)로, 비전-언어 정렬된 인코더입니다. 이 백본은 탐지기와 추적기 모두에서 이미지/프레임 인코딩에 사용됩니다. PE는 별도로 사전학습되며, 탐지기 학습 후에는 동결(freeze)됩니다.

4.2 Detector 아키텍처

Detector는 DETR 패러다임을 따르며, 텍스트, 기하학적 정보, 이미지 예시로 컨디셔닝됩니다. 주요 구성요소는 다음과 같습니다:

Image/Text Encoder: PE가 이미지와 텍스트 프롬프트를 인코딩하고, 이미지 예시가 있으면 별도의 Exemplar Encoder가 인코딩합니다.
Fusion Encoder: 무조건적(unconditioned) 이미지 임베딩이 프롬프트 토큰에 cross-attention하여 컨디셔닝됩니다.
DETR-like Decoder: 학습된 object query들이 컨디셔닝된 이미지 임베딩에 cross-attention합니다. 각 디코더 레이어는 각 object query에 대해 분류 로짓(객체가 프롬프트에 해당하는지의 이진 레이블)과 바운딩 박스 델타를 예측합니다.
Mask Head: MaskFormer에서 적응된 마스크 헤드가 픽셀 수준 세그멘테이션을 생성합니다.
Semantic Segmentation Head: 이미지의 모든 픽셀에 대해 프롬프트에 해당하는지 여부를 예측합니다.

4.3 Presence Token: 인식과 위치화의 분리

SAM 3의 핵심 혁신 중 하나는 Presence Token의 도입입니다. 오픈 보캐뷸러리 개념 탐지에서 각 proposal query가 인식(what)과 위치화(where)를 동시에 수행하는 것은 어렵습니다. 인식을 위해서는 전체 이미지의 맥락적 단서가 중요하지만, 이를 proposal query에 강제하면 본질적으로 지역적인 위치화 목표와 충돌합니다.

Presence Token은 학습된 전역 토큰으로, 타겟 개념(명사구)이 이미지/프레임에 존재하는지 여부(P(concept present | image))를 예측하는 것만 담당합니다. 각 proposal query는 위치화 문제(P(is match | proposal, concept present))만 해결하면 됩니다. 최종 점수는 presence score와 proposal score의 곱입니다.

이 설계는 특히 hard negative 학습에서 효과적입니다. 예를 들어 “빨간 유니폼의 선수”와 “흰 유니폼의 선수”를 구분해야 할 때, 전역적 맥락에서 어떤 개념이 실제로 존재하는지 먼저 판단한 후, 개별 proposal이 해당 개념에 매칭되는지 판단하는 2단계 프로세스가 가능해집니다. Ablation 실험에서 Presence Token은 cgF1을 +1.5, IL_MCC(이미지 수준 상관계수)를 +0.05 향상시켰습니다.

4.4 Tracker와 비디오 아키텍처

비디오 처리를 위해 SAM 3는 각 프레임에서 Detector가 새 객체를 찾고, Tracker가 기존 masklet(시공간 마스크)을 다음 프레임 위치로 전파합니다. Tracker는 SAM 2의 transformer encoder-decoder 아키텍처를 상속받아, prompt encoder, mask decoder, memory encoder, memory bank로 구성됩니다.

매칭 및 업데이트: 추적된 마스크와 현재 프레임 탐지 결과는 IoU 기반 매칭으로 연결됩니다. 매칭되지 않은 새 탐지는 새로운 masklet으로 생성됩니다.

시간적 모호성 해소: 1. masklet detection score로 시간 창 내에서 일관되지 않은 masklet을 억제 2. 주기적으로 고신뢰 탐지 마스크로 tracker 예측을 대체하여 메모리 뱅크의 신뢰성을 유지

탐지-추적 분리의 이점: 기존 end-to-end 추적 모델(TrackFormer, MOTR 등)은 탐지(의미론 집중)와 추적(아이덴티티 분리 집중) 간의 충돌이 있습니다. SAM 3는 강력한 이미지 탐지기와 밀접하게 통합된 추적기로 이 문제를 해결합니다.

5. Data Engine: 인간-AI 협력 어노테이션 시스템

SAM 3의 성능 도약을 가능하게 한 핵심 동력은 혁신적인 Data Engine입니다. 기존 데이터셋보다 훨씬 크고 다양한 개념 집합과 시각적 도메인을 아우르는 학습 데이터가 필요했고, SAM 3 팀은 인간 어노테이터와 AI 모델의 피드백 루프를 활용하는 효율적인 데이터 엔진을 구축했습니다.

5.1 기존 접근법 대비 혁신점

미디어 큐레이션: 동질적인 웹 소스에 의존하던 기존 접근법과 달리, 더 다양한 미디어 도메인을 큐레이션합니다.
레이블 큐레이션: 온톨로지와 MLLM “AI 어노테이터”를 활용하여 명사구와 hard negative를 생성, 레이블 다양성과 난이도를 크게 높입니다.
레이블 검증: MLLM을 “AI 검증기”로 파인튜닝하여 거의 인간 수준의 정확도로 검증을 수행, 어노테이션 처리량을 2배 이상 증가시킵니다.

5.2 데이터 엔진 구성요소

데이터 엔진의 파이프라인은 다음 단계로 구성됩니다:

미디어 마이닝: 큐레이션된 온톨로지의 도움으로 대규모 풀에서 이미지/비디오 샘플링
NP 제안: AI 모델이 시각적 개념을 설명하는 명사구(NP)를 제안
마스크 생성: SAM 3(또는 이전 버전)가 각 제안된 NP에 대한 후보 인스턴스 마스크 생성
마스크 검증(MV): 마스크의 품질과 NP 관련성 평가
완전성 검증(EV): NP의 모든 인스턴스가 마스킹되었는지 확인
수동 수정: 검증을 통과하지 못한 미디어-NP 쌍에 대해 인간이 마스크 추가/제거/수정

5.3 4단계 개발 과정

Phase 1 (인간 검증): 랜덤 샘플링된 이미지와 간단한 captioner로 NP 제안. SAM 2 + OVD로 초기 마스크 생성, 인간 검증기로 MV/EV 수행. 4.3M 이미지-NP 쌍의 초기 SA-Co/HQ 데이터셋 구축.

Phase 2 (인간+AI 검증): Phase 1의 인간 accept/reject 레이블로 Llama 3.2를 파인튜닝하여 AI 검증기 생성. MV/EV 태스크를 자동화하여 인간 노력을 가장 어려운 케이스에 집중. NP 제안 단계도 Llama 기반 파이프라인으로 업그레이드하여 SAM 3에 adversarial한 hard negative NP 제안. 122M 이미지-NP 쌍 추가.

Phase 3 (스케일링 및 도메인 확장): AI 모델로 더 어려운 케이스를 마이닝하고 SA-Co/HQ를 15개 데이터셋으로 확장. 이미지 alt-text에서 NP 추출하고 22.4M 노드 SA-Co 온톨로지(Wikidata 기반, 17개 상위 카테고리, 72개 하위 카테고리)에서 개념 마이닝. SAM 3 7회, AI 검증기 3회 반복 학습. 19.5M 이미지-NP 쌍 추가.

Phase 4 (비디오 어노테이션): 데이터 엔진을 비디오로 확장. 성숙한 이미지 SAM 3를 사용하여 비디오 특화 챌린지를 포착하는 타겟 품질 어노테이션 수집. 씬/모션 필터, 콘텐츠 밸런싱, 랭킹, 타겟 검색으로 데이터 마이닝. 52.5K 비디오, 467K masklet의 SA-Co/VIDEO 구축.

5.4 최종 학습 데이터 규모

최종적으로 수집된 데이터는 압도적입니다:

SA-Co/HQ (고품질): 5.2M 이미지, 4M 고유 NP, 52M 마스크 - 가장 큰 고품질 OV 세그멘테이션 데이터셋
SA-Co/SYN (합성): 인간 개입 없이 AI만으로 레이블링 - 38M 구문, 1.4B 마스크
SA-Co/EXT (외부): 15개 외부 데이터셋에 hard negative 추가
SA-Co/VIDEO: 52.5K 비디오, 24.8K 고유 NP, 134K 비디오-NP 쌍 (평균 84.1 프레임 @ 6fps)

6. SA-Co 벤치마크: 새로운 평가 기준

기존 OV 세그멘테이션 벤치마크의 개념 다양성 한계를 극복하기 위해, SAM 3 팀은 Segment Anything with Concepts (SA-Co) 벤치마크를 새롭게 제안합니다. SA-Co는 207K 고유 구문, 121K 이미지/비디오, 3M+ 미디어-구문 쌍과 hard negative 레이블을 포함합니다.

6.1 벤치마크 분할

SA-Co/Gold: 7개 도메인, 각 이미지-NP 쌍에 3명의 서로 다른 어노테이터 (인간 성능 측정용)
SA-Co/Silver: 10개 도메인, 이미지-NP 쌍당 1명의 인간 어노테이션
SA-Co/Bronze: 9개 기존 데이터셋의 마스크 어노테이션 활용
SA-Co/Bio: 생물학 도메인 특화
SA-Co/VEval: 3개 도메인의 비디오 벤치마크

6.2 평가 메트릭

SAM 3는 다운스트림 응용에서의 유용성을 측정하기 위해 새로운 메트릭을 제안합니다. 기존 Average Precision(AP)은 캘리브레이션을 고려하지 않아 실제 사용이 어렵습니다. SAM 3는 신뢰도 0.5 이상의 예측만 평가하여 좋은 캘리브레이션을 강제합니다.

pmF1 (positive micro F1): 최소 1개 ground-truth 마스크가 있는 양성 미디어-구문 쌍에서의 위치화 성능
IL_MCC (Image-Level Matthews Correlation Coefficient): [-1, 1] 범위의 이미지 수준 이진 예측 평가 (“객체가 존재하는가?”) - 마스크 품질 무관
cgF1 (classification-gated F1): 주요 메트릭, IL_MCC × pmF1로 위치화와 분류 결합

7. 실험 결과: 기존 시스템 대비 2배 성능 향상

7.1 이미지 PCS (텍스트 프롬프트)

SAM 3는 인스턴스 세그멘테이션, 박스 탐지, 의미론적 세그멘테이션에서 새로운 SOTA를 달성했습니다.

벤치마크	메트릭	SAM 3	이전 SOTA	향상
LVIS	Mask AP	48.8	38.5	+10.3
SA-Co/Gold	cgF1	54.1	24.6 (OWLv2*)	+29.5 (2.2배)
Human Performance	cgF1	72.8	-	SAM 3가 74% 달성

비교 대상 베이스라인으로는 OWLv2, GroundingDino, LLMDet(박스 탐지 후 SAM 1으로 세그멘테이션), APE, DINO-X, Gemini 2.5 Flash가 포함되었습니다. SA-Co의 다른 분할(Silver, Bronze, Bio)에서도 개선폭이 더 큽니다. 오픈 보캐뷸러리 의미론적 세그멘테이션에서도 ADE-847, PascalConcept-59, Cityscapes에서 강력한 전문 베이스라인 APE를 능가합니다.

7.2 Few-Shot 적응

ODinW13과 RF100-VL 벤치마크에서 프롬프트 튜닝 없이 제로샷 및 few-shot 전이를 평가했습니다. SAM 3는 SOTA 10-shot 성능을 달성하며, Gemini의 in-context 프롬프팅과 객체 탐지 전문가(GroundingDino)를 능가합니다. RF100-VL의 특수 도메인에서도 베이스라인보다 효율적으로 적응합니다.

7.3 이미지 예시 프롬프트

1개의 예시 박스만으로 SAM 3는 T-Rex2를 크게 능가합니다:

벤치마크	SAM 3	T-Rex2	차이
COCO	+18.3 AP	-	-
LVIS	+10.3 AP	-	-
ODinW	+20.5 AP	-	-

텍스트(T) + 이미지 예시(I) 조합(T+I) 시 성능이 더욱 향상됩니다.

7.4 인터랙티브 PCS

인간 어노테이터와의 협업을 시뮬레이션한 인터랙티브 실험에서, 텍스트 프롬프트 시작 후 예시 프롬프트를 반복 추가했습니다. SAM 3의 PCS는 예시로부터 일반화(유사 객체 탐지/억제)하여 cgF1을 빠르게 개선합니다.

3클릭 후: 텍스트 전용 대비 +21.6 cgF1, PVS 리파인먼트 대비 +2.0
4클릭 후 성능이 정체되면 PVS로 전환하는 하이브리드 방식이 더 효과적

7.5 객체 카운팅

CountBench와 PixMo-Count에서 SAM 3는 Qwen2-VL-72B, Molmo-72B, Gemini 2.5 Pro 등 MLLM들과 비교했습니다. SAM 3는 좋은 카운팅 정확도를 달성하면서도 대부분의 MLLM이 제공하지 못하는 객체 세그멘테이션까지 제공합니다.

7.6 비디오 PCS

SA-Co/VEval과 기존 벤치마크에서 비디오 세그멘테이션을 평가했습니다. 베이스라인으로 GLEE, “LLMDet + SAM 3 Tracker”, “SAM 3 Detector + T-by-D”를 사용했습니다. SAM 3는 특히 매우 많은 명사구가 있는 벤치마크에서 베이스라인을 크게 능가하며, SA-Co/VEval에서 인간 pHOTA의 80% 이상에 도달합니다.

7.7 Promptable Visual Segmentation (PVS)

SAM 3는 SAM 2의 PVS 기능도 유지하며 개선합니다. VOS(Video Object Segmentation) 태스크에서 MOSEv2 데이터셋에서 이전 SOTA 대비 +6.5 포인트 향상을 달성했습니다. 인터랙티브 이미지 세그멘테이션에서도 SAM 2의 37개 데이터셋 벤치마크에서 평균적으로 SAM 2를 능가합니다.

7.8 SAM 3 Agent

더 복잡한 텍스트 쿼리를 처리하기 위해 SAM 3를 도구로 사용하는 MLLM 에이전트를 실험했습니다. MLLM이 SAM 3에 명사구 쿼리를 제안하고 반환된 마스크를 분석하는 방식입니다.

ReasonSeg와 OmniLabel에서 제로샷 평가 시, SAM 3 Agent는 참조 표현 세그멘테이션이나 추론 세그멘테이션 데이터로 학습하지 않고도 이전 작업들을 능가합니다. 다양한 MLLM(Qwen2.5-VL 7B/72B, Llama4 Maverick, Gemini 2.5 Pro)과 동일한 시스템 프롬프트로 결합 가능하여 SAM 3의 견고성을 보여줍니다.

8. Ablation Study: 핵심 설계 결정의 영향

8.1 Presence Token 효과

Presence Token은 cgF1을 +1.5 향상시키고, 이미지 수준 인식(IL_MCC)을 +0.05 개선합니다. 학습 시, 개념이 이미지에 없을 때 개별 object score에 음성 supervision을 주지 않는 설정이 최적입니다(인식-위치화 분리 설계와 일관).

8.2 Hard Negative 효과

Hard negative 추가는 모델 성능을 획기적으로 개선합니다:

Hard Negatives/img	cgF1	IL_MCC	pmF1
0	28.3	0.44	62.4
5	39.4	0.62	62.9
15	41.8	0.67	62.4
30	43.0	0.68	62.8

pmF1은 거의 변하지 않아, hard negative가 위치화보다 분류 성능에 영향을 미침을 확인합니다.

8.3 데이터 유형별 효과

데이터 조합	cgF1	증분
EXT only	23.7	-
EXT + SYN	32.8	+9.1
EXT + HQ	45.5	+21.8
EXT + SYN + HQ	47.4	+23.7

고품질 인간+AI 어노테이션의 중요성이 명확히 드러납니다.

8.4 AI 검증기 효과

SAM 3의 presence score 대신 완전성 검증(EV) AI 검증기의 점수를 사용하면 cgF1이 +7.2 향상됩니다. 마스크 검증(MV) AI 검증기로 저품질 마스크를 제거하면 추가 +1.1입니다. 전체적으로 AI 검증기는 SAM 3와 인간 성능 사이의 격차를 절반으로 줄입니다.

8.5 도메인 적응

“Food&drink” 도메인을 학습에서 제외한 후, 도메인별 합성 데이터(SYN-Food)만으로도 고품질 인간+AI 어노테이션(HQ-Food)과 유사한 스케일링 성능을 보입니다. 이는 인간 어노테이션 비용 없이 새 데이터 분포에 성능을 개선하는 확장 가능한 방법을 제시합니다.

9. 로봇공학에서의 적용 가능성

SAM 3의 기능은 로봇공학의 다양한 응용 분야에서 혁신적인 가능성을 제공합니다. 특히 로봇 manipulation, 자율 주행, human-robot interaction 분야에서 그 잠재력이 두드러집니다.

9.1 로봇 Manipulation에서의 활용

언어 기반 Grasping: “빨간 머그컵을 집어라”와 같은 자연어 명령을 받았을 때, SAM 3는 씬 내의 모든 “빨간 머그컵” 인스턴스를 세그멘테이션하여 grasping 후보를 제공할 수 있습니다. 기존 방식은 OVD로 바운딩 박스를 얻은 후 별도 세그멘테이션이 필요했지만, SAM 3는 이를 통합합니다.

인스턴스 인식 조작: 테이블 위의 동일 종류 객체들(예: 여러 개의 나사) 중 특정 인스턴스를 조작해야 할 때, 이미지 예시 프롬프트로 타겟을 지정하고 유사 객체를 구분할 수 있습니다.

Sim-to-Real Transfer: 시뮬레이션에서 학습된 정책을 실제 환경에 전이할 때, SAM 3의 강력한 제로샷 일반화 능력은 도메인 갭을 줄이는 데 기여할 수 있습니다.

연속적 조작 추적: 비디오 PCS 기능으로 manipulation 과정에서 객체의 상태 변화를 추적할 수 있습니다. 예를 들어, 조립 작업에서 부품들의 위치와 상태를 프레임 간 일관되게 추적합니다.

9.2 텔레오퍼레이션 시스템에서의 활용

인터랙티브 객체 선택: VR 기반 텔레오퍼레이션에서 오퍼레이터가 음성으로 “모든 볼트를 표시해줘”라고 하면 SAM 3가 관련 객체들을 하이라이트할 수 있습니다. 추가 예시 프롬프트로 타겟을 좁혀갈 수 있습니다.

증강 현실 오버레이: 텔레오퍼레이션 인터페이스에 SAM 3의 세그멘테이션 결과를 오버레이하여 오퍼레이터의 상황 인식을 향상시킬 수 있습니다. 특정 개념의 객체들이 색상 코딩되어 표시될 수 있습니다.

9.3 자율 이동 로봇에서의 활용

시맨틱 내비게이션: “책상”이나 “의자”와 같은 개념을 인식하여 시맨틱 맵을 구축할 수 있습니다. 의미론적 세그멘테이션 성능이 ADE-847에서 13.8 mIoU로, 다양한 실내 객체 카테고리를 인식합니다.

동적 장애물 추적: 비디오 PCS로 이동 로봇 환경에서 “사람”이나 “다른 로봇”을 지속적으로 추적하여 경로 계획에 활용할 수 있습니다.

9.4 데이터 수집 및 어노테이션

로봇공학 연구에서 데이터 어노테이션은 큰 비용입니다. SAM 3의 Data Engine 접근법은 인간-AI 협력으로 어노테이션 효율을 2배 이상 높입니다. 로봇 데이터셋 구축 시 유사한 파이프라인을 적용할 수 있습니다. 또한 SAM 3 자체를 pseudo-label 생성기로 사용하여 로봇 학습 데이터를 자동 어노테이션할 수 있습니다.

9.5 SAM 3 Agent와 LLM 기반 로봇 시스템

최근 LLM/VLM 기반 로봇 제어 시스템(예: RT-2, PaLM-E, Code as Policies)이 주목받고 있습니다. SAM 3 Agent의 패턴—MLLM이 SAM 3를 도구로 사용—은 이러한 시스템과 자연스럽게 통합됩니다. MLLM이 고수준 추론(“선반에서 가장 큰 물체를 집어”)을 수행하고, SAM 3가 저수준 지각(해당 물체 세그멘테이션)을 담당하는 계층적 아키텍처가 가능합니다.

10. 추론 성능 및 효율성

로봇공학 응용에서 실시간 또는 준실시간 성능은 중요합니다. SAM 3의 추론 성능은 다음과 같습니다:

환경	성능
H200 GPU, 단일 이미지	30ms (100+ 객체 탐지)
비디오	객체 수에 따라 스케일, 적은 객체 시 준실시간

모델 파라미터는 8.48억 개로, 최신 비전 파운데이션 모델 중 합리적인 크기입니다. 로봇 시스템에 탑재된 GPU(예: NVIDIA Jetson 시리즈)에서의 최적화된 추론이나 EfficientSAM3와 같은 경량화 버전의 개발이 기대됩니다.

11. 한계점 및 향후 연구 방향

11.1 현재 한계점

도메인 외 용어 일반화 한계: 학습 데이터에 포함되지 않은 특수 도메인 용어(예: 특정 산업 부품 명칭)에 대한 일반화가 제한적입니다. 자동 도메인 확장으로 완화할 수 있지만 추가 학습이 필요합니다.
간단한 명사구로 제한: “테이블 왼쪽의 빨간 물체”와 같은 복잡한 공간적 관계나 추론이 필요한 쿼리는 직접 처리하지 못합니다. MLLM과의 결합으로 우회 가능하지만 추가 복잡성이 발생합니다.
긴 비디오 처리: 30초로 제한된 비디오 길이는 장시간 로봇 작업에서 제약이 될 수 있습니다.
엣지 디바이스 배포: 8.48억 파라미터 모델은 리소스 제한 환경에서 직접 사용하기 어렵습니다.

11.2 향후 연구 방향

경량화 연구: EfficientSAM3처럼 Progressive Hierarchical Distillation을 통한 경량 모델 개발이 진행 중입니다. RepViT, TinyViT, EfficientViT 백본을 사용한 온디바이스 배포가 기대됩니다.
3D 인식 통합: 같은 시기에 발표된 SAM 3D와의 통합으로 RGB-D 입력 처리, 3D 세그멘테이션, 포인트 클라우드 생성이 가능해질 것입니다.
로봇 특화 파인튜닝: 공장 자동화, 농업 로봇, 서비스 로봇 등 특정 응용에 맞는 도메인 적응 학습
Embodied AI 시스템 통합: 로봇 제어 정책과 SAM 3의 end-to-end 학습 또는 더 밀접한 통합 연구

12. 결론

SAM 3: Segment Anything with Concepts는 프롬프터블 세그멘테이션의 새로운 장을 열었습니다. 텍스트와 이미지 예시를 통한 개념 기반 세그멘테이션, 인식-위치화 분리를 통한 아키텍처 혁신, 인간-AI 협력 Data Engine을 통한 대규모 고품질 데이터 구축은 모두 주목할 만한 기여입니다.

로봇공학 관점에서 SAM 3는 언어 기반 manipulation, 시맨틱 내비게이션, 인터랙티브 텔레오퍼레이션, 자동 데이터 어노테이션 등 다양한 응용에서 활용될 수 있는 강력한 도구입니다. 특히 MLLM과의 결합을 통해 더 복잡한 로봇 지각 태스크를 처리할 수 있는 가능성이 열렸습니다.

기존 시스템 대비 2배의 성능 향상과 인간 성능의 74%에 달하는 정확도는 SAM 3가 단순한 점진적 개선이 아닌 질적 도약임을 보여줍니다. 오픈소스로 공개된 모델, 코드, 벤치마크는 로봇공학 커뮤니티의 후속 연구를 촉진할 것입니다.

물론 도메인 외 일반화, 복잡한 추론 쿼리 처리, 엣지 배포 등의 과제가 남아 있지만, 이는 빠르게 발전하는 분야에서 자연스러운 후속 연구 주제입니다. SAM 3와 SA-Co 벤치마크는 컴퓨터 비전과 로봇공학 연구의 중요한 이정표가 될 것입니다.

참고 자료

논문: arXiv:2511.16719
GitHub: facebookresearch/sam3
데모: segment-anything.com
프로젝트 페이지: ai.meta.com/sam3
SA-Co 벤치마크: HuggingFace - SA-Co/Gold, SA-Co/Silver, SA-Co/VEval

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

SAM3: Segment Anything with Concepts 논문 리뷰

서론 (Introduction)

컴퓨터 비전에서 어떤 장면에서도 모든 객체를 분할(segmentation)해내는 능력은 다양한 응용의 핵심입니다. 예를 들어, 로봇에게 시각적 인지능력을 부여하거나, 증강현실(AR)에서 장면 속 객체를 강조 표시하는 등 여러 분야에서 이러한 범용 시각 세분화 능력이 요구됩니다. Meta AI가 2023년 공개한 Segment Anything Model (SAM)은 사용자의 프롬프트(prompt)만 있으면 이미지 내 임의의 객체를 즉석에서 분할할 수 있는 기초 모델(foundation model)로 큰 주목을 받았습니다. SAM은 점이나 박스 같은 간단한 입력만으로 해당 위치의 객체 마스크를 산출하여, 일일이 객체마다 수동 분할을 해야 했던 기존 방식을 혁신했습니다. 이어서 2024년 발표된 SAM2 (Segment Anything Model 2)는 이 개념을 비디오로 확장하여, 동영상 내에서도 한 번 클릭으로 지정한 객체를 모든 프레임에 걸쳐 추적·분할할 수 있도록 발전시켰습니다. SAM2를 통해 사용자들은 비디오 어느 프레임에서든 객체를 선택하고 추적 결과를 대화식으로 개선(정교화)할 수 있게 되었고, 이미지뿐만 아니라 동영상에서도 프롬프트 기반 세분화(Promptable Visual Segmentation, PVS)의 가능성을 보여주었습니다.

그러나 SAM과 SAM2 모두 어떤 “개념”을 자동으로 찾아주는 능력은 부재했습니다. 즉, 사용자가 일일이 가리킨 객체만 분할할 뿐, 예를 들어 “영상에 있는 모든 고양이를 찾아줘”와 같은 요청에 답하지는 못했습니다. 이러한 한계를 넘어, 주어진 개념에 해당하는 모든 객체를 한꺼번에 찾아 세분화하는 것이 다음 과제로 부상했습니다. 2025년 Meta AI가 공개한 SAM3: Segment Anything with Concepts는 바로 이 문제를 정면으로 다루는 모델입니다. SAM3는 텍스트 또는 이미지 예시로 개념을 제시하면, 이미지나 영상 전반에 걸쳐 그 개념에 해당하는 모든 객체 인스턴스를 탐지, 분할하고 추적합니다. 예를 들어 “노란색 학교 버스”라는 짧은 명사를 프롬프트로 주면 화면 속 모든 노란 학교 버스를 찾아 각자를 분할하며, 한 프레임이 아니라 영상 전체에서 동일 객체를 추적하여 일관된 ID를 부여합니다. 이러한 프롬프트 기반 개념 세분화(Promptable Concept Segmentation, PCS) 능력은 이전 SAM 시리즈에는 없던 새로운 차원으로, 시각 세분화 분야의 새로운 기준을 세웠다고 평가됩니다. 특히 SAM3는 텍스트 짧은 구나 이미지 예시를 입력으로 받아들여 시맨틱한 개념 이해를 통합하였고, 이미지-비디오를 아우르는 통합 모델로 설계되었습니다. Meta에 따르면 SAM3는 이전 시스템 대비 2배에 달하는 성능 향상을 이뤄 현시점 최고 수준의 개방형 어휘 세분화 성능을 보여주고 있으며, 기존 SAM/SAM2가 수행하던 대화식 세분화 과제의 정확도도 한층 개선했습니다. 본 리뷰에서는 SAM3 논문의 주요 기여점과 혁신을 심도 있게 분석하고, 기존 SAM 계열 모델(SAM, SAM2)과의 비교를 통해 입력 형태, 세분화 성능, 의미 이해 측면의 발전을 논의하겠습니다. 아울러 로봇공학 분야의 대학원생 독자를 염두에 두고, SAM3가 로봇 지각, 환경의 시맨틱 맵핑, 객체 이해, 인간-로봇 상호작용 등에 가져올 수 있는 잠재적 응용과 영향을 고찰해보겠습니다.

본론 (Main Body)

SAM 시리즈의 발전: SAM부터 SAM3까지

SAM1 (Segment Anything Model)은 사용자 프롬프트로 지정한 단일 객체를 이미지에서 분할하는 대화식 분할 모델로 시작되었습니다. 사용자 입력으로 점 하나나 박스 영역을 주면, SAM은 거대한 사전 학습 덕분에 해당 위치의 객체 경계를 정밀하게 예측하여 마스크를 출력했습니다. SAM1의 특징은 클래스 불문 어떤 객체든 분할할 수 있는 범용성으로, 시맨틱 레이블 없이도 마스크를 추론한다는 점이었습니다. 다만 동시에 하나의 프롬프트로 하나의 객체만 세분화했기에, 다수 객체를 모두 찾아내려면 그만큼 여러 번 프롬프트를 입력해야 했습니다.

SAM2는 이를 발전시켜 동영상(Video)에 적용한 버전으로, 프레임 간 객체 추적 기능을 추가한 것이 핵심입니다. 예를 들어 영상 첫 프레임에서 사람을 클릭하면 이후 모든 프레임에서 그 사람이 어딨는지 자동으로 추적하면서 마스크를 전 프레임에 생성해줍니다. 또한 SAM2는 실시간 처리를 목표로 최적화되어, 원본 SAM보다 경량화 및 속도 개선이 이루어졌습니다. 사용자는 추적 도중 잘못된 마스크에 수정 클릭을 추가하여 결과를 개선할 수도 있어, 긴 영상에서도 상호작용을 통한 반복 정밀화가 가능했습니다. 그러나 SAM2까지도 텍스트나 범주 이름으로 객체를 찾는 기능은 없었고, 어디까지나 사용자가 특정 위치를 집어서 알려주어야만 동작했습니다. 즉 SAM/SAM2는 시맨틱한 이해 없이 픽셀 단위 분할에 초점을 맞춘 클래스 불가지론적 모델이었습니다.

SAM3는 이러한 맥락에서 모든 것을 세분화한다는 SAM의 비전을 한 단계 확장합니다. 가장 큰 변화는 입력 프롬프트의 모달리티입니다. 이제 사용자는 텍스트로 개념을 입력하거나 이미지 예시를 제시함으로써, “어떤 것”을 찾을지 지정할 수 있게 되었습니다. SAM3는 그 개념에 맞는 모든 객체들을 한꺼번에 탐지 및 분할하며, 영상의 경우 각 객체를 끝까지 추적합니다. 예컨대 “고양이”라고 프롬프트를 주면 화면 속 모든 고양이를 마스크로 분할하고, 각각을 ID와 함께 표시해주는 식입니다. 이러한 개념 프롬프트 기반 세분화는 기존 SAM2와 대비되는 근본적 차이로서, 어디(위치)를 지정하던 이전 버전들과 달리 무엇(개념)을 지정하면 된다는 점에서 사용자 입장에서 훨씬 높은 수준의 편의성과 의미 이해를 제공합니다. 나아가 SAM3는 여러 객체 인스턴스를 동시에 처리할 수 있기에, 복잡한 장면에서 사용자 부담을 크게 줄이고 포괄적인 장면 이해를 가능케 합니다. 한편, SAM3도 SAM2가 지원하던 점/박스 프롬프트나 대화식 클릭 정교화 기능을 모두 포함하고 있어, 기존 PVS 작업을 수행하는 성능 역시 향상된 채로 유지하고 있습니다. 요컨대 SAM→SAM2→SAM3로의 진화는 이미지 단일 객체 세분화에서 영상 다중 객체 세분화, 그리고 시맨틱 개념 세분화로 모달리티와 기능의 확장**을 거듭해온 것으로 요약할 수 있습니다.

SAM3의 아키텍처 분석 (Architecture of SAM3)

그림 1: SAM3 모델 아키텍처 개요도. DETR 스타일의 검출기(노랑)와 SAM2 기반의 추적기(파랑)가 단일 비전 백본(PE)(녹색)을 공유하는 이중 인코더-디코더 트랜스포머 구조이다. 텍스트/이미지 프롬프트로 인식 개념을 지정하고, 검출기는 해당 개념의 객체들을 찾고 분할 마스크를 예측하며, 추적기는 연속 프레임에서 객체들을 연결하여 동일 객체 ID를 유지한다.

SAM3의 내부 구조는 기존 SAM 및 DETR 계열 모델의 아이디어를 통합하면서도, 개념 인식을 위한 새로운 구성요소를 추가한 점이 특징입니다. 전체적으로는 dual encoder-decoder 형태의 트랜스포머 아키텍처로, 이미지+텍스트 융합 인코더와 DETR 스타일 검출기 디코더, 그리고 SAM2 스타일의 추적기 디코더로 이루어집니다. 하나의 통합 비전 백본인 Perception Encoder (PE)를 통해 이미지로부터 추출된 시각 특징이 텍스트/예시 프롬프트 임베딩과 공동의 임베딩 공간에서 정렬됩니다.

검출기(Detector)는 Meta가 이전에 개발한 DETR 모델처럼 객체 질의(object query)를 사용하여 이미지 내 객체들을 탐색합니다. 하지만 일반 DETR과 달리, SAM3의 검출기는 텍스트 및 이미지 프롬프트에 조건화(condition)}됩니다. 구체적으로, 입력 이미지 특징맵과 텍스트 토큰(개념 단어 임베딩) 및 이미지 예시 토큰(선택적)을 함께 트랜스포머 인코더에 넣어 프롬프트로 이미지 특징을 융합합니다. 그런 다음 DETR 방식의 디코더가 학습된 N개의 객체 질의를 통해 이 융합된 특징에 어텐션을 수행, 프롬프트에 부합하는 객체들만을 찾아내도록 훈련됩니다. 각 질의 토큰은 자신이 맡은 후보 영역에 대해 바운딩 박스와 이 객체가 프롬프트 개념에 해당하는지 여부(이진 분류)를 예측합니다. 검출 디코더는 곧바로 마스크 예측 헤드도 연결되어 있어, MaskFormer 방식으로 각 질의별 정밀 분할 마스크를 산출합니다. 뿐만 아니라 화면 전체 픽셀에 대해 해당 개념 여부를 표시하는 시맨틱 분할 맵도 별도로 예측하여, 개념 관련 픽셀의 이진 마스크를 출력합니다. 이 인스턴스+시맨틱 결합 출력은 모델이 개념과 배경을 전반적으로 파악하는 데 도움을 주어, 누락 없이 모든 객체를 찾는 것에 기여합니다.

SAM3 검출기에서 가장 눈에 띄는 혁신은 Presence Token (프레즌스 토큰)의 도입입니다. 이는 하나의 특별한 디코더 토큰으로써, 개별 객체 대신 이미지 전체 맥락에서 프롬프트 개념의 존재 유무를 판단하는 역할을 합니다. 전역 문맥을 살펴 “이 이미지에 해당 개념이 존재하는가?”를 별도로 예측하는 토큰인 셈입니다. 이렇게 인식(what)과 위치 탐색(where) 기능을 분리함으로써, 각 객체 질의가 국소 영역에 집중하여 정교한 위치와 마스크를 찾는 동안, 전역 프레즌스 토큰이 장면 단위로 개념을 인지하는 부담을 덜어줍니다. 최종적으로 각 객체 질의의 신뢰도 스코어는 프레즌스 토큰이 예측한 개념 존재 확률과 곱해져 산출되므로, 이미지에 개념이 아예 없으면 모든 객체 예측이 낮은 점수로 억제되고, 반대로 있을 때는 검출 신뢰도가 향상됩니다. 인식(what)과 위치결정(where)의 디커플링이라는 이러한 설계는, 보이지 않던 새로운 개념이나 부정 프롬프트(negative prompt) 상황에서 오검출을 크게 줄여주는 효과를 발휘하여 정확도를 향상시켰습니다. 실제 논문에서도 Presence Head 추가로 이미지 레벨 인식 정확도(IL_MCC)가 크게 개선되어, 어려운 부정 프레이즈 학습시 유리함을 실험으로 확인했습니다.

다음으로 이미지 예시 프롬프트에 대해 살펴보면, SAM3는 텍스트 외에도 사용자가 지정한 이미지 영역 예시를 프롬프트로 활용합니다. 예를 들어 어떤 한 강아지에 양성 예시 상자를 주면, 그 상자 속 시각 특징을 바탕으로 이미지 내 모든 강아지를 검출합니다. 이는 SAM1/2에서 점을 찍으면 그 점에 해당하는 한 객체만 분할했던 것과 달리, 예시 하나로 다수 객체를 퍼뜨려 찾는 신기능입니다. 기술적으로, 예시 프롬프트는 (경계상자 좌표 + 양성/음성 라벨 + ROI 풀링된 시각피처)를 하나의 토큰 임베딩으로 만들어, 텍스트 토큰들과 함께 프롬프트 토큰 시퀀스에 포함시킵니다. 내부적으로는 작은 트랜스포머 인코더를 거쳐 이러한 예시 임베딩들이 텍스트 임베딩과 동일한 공간으로 정렬되고, 결국 텍스트+예시가 합쳐진 조건으로 검출기가 작동하게 됩니다. 이를 통해 사용자는 양성 예시 외에도 음성 예시(negative exemplar)를 줘서 특정 객체를 제외시키거나, 누락된 객체가 있을 경우 해당 객체를 새로 지정해 탐색을 보완하는 등 상호작용적 수정이 가능합니다. 이러한 다중 모달 프롬프트 설계는 실사용 시 유연성을 높여주며, 특히 희귀하거나 복잡한 개념의 경우 텍스트만으로는 어려운 식별을 이미지 예시로 보완할 수 있게 합니다.

추적기(Tracker) 부분은 SAM2에서 사용된 비디오 object segmentation 모듈을 상당 부분 계승하고 있습니다. 추적기는 검출기와 동일한 PE 백본으로부터 특징을 공유받으며, 검출기가 생성한 초기 마스크들을 첫 프레임에서 초기화합니다. 이후 각 프레임마다 SAM2와 유사한 1프레임 전방향 예측을 수행하여, 이전 프레임까지 추적된 각 객체(masklet이라 지칭)의 다음 위치 마스크를 추정합니다. SAM2에서와 마찬가지로, 추적기 모듈은 프레임 간 메모리 은닉상태(memory bank)를 유지하며, 각 객체의 과거appearance 정보를 저장해 활용합니다. 구체적으로, 추적기 내부에는 프롬프트 인코더(여기서는 추적 대상 객체의 마스크가 프롬프트 역할)와 마스크 디코더, 그리고 메모리 인코더(트랜스포머)가 있어서, 현재 프레임의 특징과 메모리 뱅크 속 과거 프레임 특징들을 교차 어텐션으로 조합해 현재 프레임에서 객체 마스크를 업데이트합니다. 이렇게 예측된 각 객체의 마스크들을 masklet**이라 하며, 매 프레임 모든 masklet이 업데이트되어 추적이 진행됩니다.

하지만 SAM3에서는 추적기만으로는 놓칠 수 있는 객체를 보완하기 위해 검출기와 추적기를 통합하는 논리가 추가되었습니다. 즉, 각 프레임에서 검출기가 새로 발견한 객체들과 추적기가 이어서 추적한 기존 객체들을 일치(match)시켜 병합하는 절차입니다. 만약 새 프레임에서 검출된 마스크가 이미 추적 중인 masklet과 IoU 기준 일정 이상 겹치면 동일 객체로 간주하고 하나로 합칩니다. 반대로 검출에 잡히지 않은 새로운 객체가 있으면 새 masklet을 생성하여 추적 풀에 추가합니다. 이러한 병합 단계에서는 특히 혼잡한 장면에서 ID 혼동이 일어날 수 있는데, 이를 억제하기 위해 두 가지 보조장치를 둡니다. 첫째, Temporal consistency 검사로, 매 masklet이 최근 연속된 프레임들에서 검출과 꾸준히 매칭되었는지를 점수화하여, 일정 기간 검출 누락 상태가 지속되면 해당 masklet을 제거합니다. 둘째, 주기적 재검출 재설정으로, 추적 도중 가림(occlusion)이나 유사 객체 간 교란으로 잘못 추적될 위험이 있는 경우 검출기가 높은 신뢰도로 포착한 마스크로 추적을 덮어씌워 재설정합니다. 예컨대 어떤 객체가 한동안 가려졌다 다시 나타났을 때 추적기가 놓칠 수 있는데, 이때 검출기가 새로 잡아낸 마스크를 사용해 추적기의 메모리를 최신 상태로 교정해주는 식입니다. 이러한 검출-추적 통합 메커니즘 덕분에 SAM3는 추적기 자체의 한계 (오류 누적 등)을 극복하고, 영상 전체에서 견고한 다중 객체 추적을 수행합니다.

마지막으로, SAM3는 이전 버전들과 마찬가지로 완전 대화식(interactive)으로 설계되어 있어, 사용자 수정 프롬프트를 통해 결과를 세밀히 다듬을 수 있습니다. 예를 들어 어떤 분할 마스크가 과하게 나왔다면 그 부분에 음성 클릭(negative point)을 찍어 해당 마스크를 축소하거나, 누락된 객체에 양성 클릭을 찍어 새로운 마스크를 추가할 수 있습니다. 이러한 수정은 한 프레임에 적용되면 영상을 통틀어 해당 객체의 masklet 전체에 반영되므로, 첫 프레임에서 대략 지정한 후 중간에 몇 번 수정만으로도 영상 전체 결과를 향상시킬 수 있습니다.

요약하면, SAM3의 아키텍처는 (1) 텍스트/이미지 프롬프트와 시각 특징의 융합 인코더, (2) DETR 기반 개념 검출기 (Presence Token으로 인식/위치 분리), (3) SAM2 기반 메모리 추적기 (masklet 생성 및 관리)의 세 부분이 하나의 백본에서 통합된 형태입니다. 검출기와 추적기의 분리는 각자 ID에 상관없이 객체 찾기와 동일 객체 ID 유지 추적이라는 상충되는 목적을 충실히 수행하게 해주며, Presence 헤드로 대표되는 새로운 설계들은 개방형 어휘 인스턴스 세분화라는 도전을 성능 면에서 극복하는 데 핵심적인 역할을 했습니다. 또한 멀티모달 프롬프트 처리와 강화된 상호작용성은 사용자 편의와 정확도를 함께 높여주고 있습니다.

대규모 데이터 엔진과 SA-Co 데이터셋

개념 인지까지 수행하는 SAM3 같은 모델을 훈련하려면, 단순한 마스크 위주의 학습만으로는 어렵습니다. 어떤 시맨틱 개념(명사구)에 어떤 픽셀들이 해당하는지 학습하려면, 텍스트 라벨이 달린 분할 데이터가 대량으로 필요합니다. 이를 위해 연구진은 Segment Anything with Concepts (SA-Co)라는 새로운 대규모 데이터셋을 구축했습니다. SA-Co 데이터셋은 4백만 개 이상의 고유한 개념 명칭(noun phrase)과 그에 대응하는 약 52만 개의 이미지+비디오에 걸쳐 14억 개 이상의 객체 마스크를 포함하고 있어, 현재까지 최대 규모의 개념 세분화 코퍼스로 꼽힙니다. 이렇게 방대한 주석을 만들기 위해, 저자들은 인간과 AI가 협력하는 4단계의 데이터 엔진 파이프라인을 고안했습니다.

그림 2: SAM3 데이터 엔진의 개요. 1단계에서 사람 주석자가 초기 이미지-명사쌍을 검증하며 HQ 데이터를 축적하고, 2-3단계에서 AI 프롬프트 생성기와 검증기를 활용해 어휘 다양성과 난이도를 높인 주석을 자동 생성 및 검수한다. 4단계에서는 동영상으로 범위를 확장한다. AI 검증기를 도입함으로써 휴먼 단독 대비 2배 이상의 주석 처리량 향상이 이루어졌다.

1단계 (Human Verification): 우선 외부 소스에서 다양한 이미지/영상을 수집하고, 그에 대한 후보 명사구 프롬프트와 마스크를 생성했습니다. 초기 마스크 생성에는 SAM2와 오픈어휘 검출 모델을 조합하여 자동으로 “이미지-개념-마스크” 제안을 만들고, 이를 인간 주석자가 검증하도록 했습니다. 이 과정으로 우선 약 430만 쌍의 이미지-명사구와 정확한 마스크들(SA-Co/HQ라고 명명)이 확보되었습니다. 연구진은 이 1단계 데이터로 SAM3 초기 버전을 학습시켜, 이후 단계의 AI 어시스턴트로 활용하였습니다.

2단계 (Human + AI Verification): 2단계부터는 AI 기술을 활용해 주석 효율을 높입니다. 우선 Ontology(온톨로지)와 다중모달 LLM을 사용해, 각 이미지/영상에 대해 더 다양한 표현의 명사구 후보와 어려운 부정 사례(hard negatives)를 생성했습니다. 예를 들어 동일한 개념을 가리키는 여러 표현을 만들거나, 헷갈릴만한 유사 개념을 음성 프롬프트로 제시하여 모델이 구분하도록 합니다. 이렇게 생성된 라벨들을 가지고 SAM3 모델이 마스크를 예측하면, AI 검증기(Verifiers)가 그 품질을 1차 평가합니다. AI 검증기는 대형 언어모델(LLM)을 미세조정하여 마스크의 정확도와 완전성을 판별하도록 한 모델로, 사람 수준의 판단력을 갖추도록 훈련되었습니다. AI 검증 결과 신뢰도 높은 사례는 통과시키고, 의심가는 마스크들만 인간이 최종 확인 및 수정하게 함으로써, 한정된 인력으로 더 많은 데이터를 처리할 수 있었습니다. 논문에 따르면, 이러한 AI 검증기 도입으로 주석 생산성이 2배 이상 증가하여 인간 단독 대비 2배 이상의 데이터 수집 속도를 달성했습니다.

3단계 (Scaling & Domain Expansion): 3단계에서는 데이터 규모와 도메인 다양성 확장에 주력했습니다. 웹에서 가져온 이미지뿐 아니라 촬영 조건, 분야가 다양한 데이터 소스들을 새롭게 추가해 분포의 폭을 넓혔습니다. 예컨대, 실내/실외, 예술작품, 의료영상, 로봇이 촬영한 시점 영상 등 여러 도메인을 포함시켜 시각적 다양성을 확보했습니다. 이 단계에서는 AI 주석 자동화 비중을 더욱 높여, 인간 검수는 치명적 오류 수정 위주로 줄이고 MLLM 기반 레이블 생성과 SAM3 모델 기반 마스크 생성을 반복하는 루프로 대량의 데이터를 생산했습니다. 또한 합성 데이터도 활용하여, SAM3이 보지 못한 특이한 사례까지 학습하도록 했습니다. 저자들은 SAM3+LLM 조합(교사 모델)으로 38만 개의 합성 이미지와 14억 개의 마스크를 생성하여 학습에 사용했으며, 이 합성 데이터로도 실제 데이터와 유사한 성능 확장 추세를 얻을 수 있음을 분석했습니다.

4단계 (Video Annotation): 마지막으로, 동영상에 대한 개념 주석 수집 단계입니다. 앞선 이미지 데이터로 충분히 학습된 SAM3 모델을 활용하여, 동영상 내 특정 프레임에서 개념에 해당하는 객체들을 찾고 이를 전 프레임에 걸쳐 추적하는 방식으로 자동 주석을 생성했습니다. 여기서도 AI 검증기들이 일관성 있게 추적되었는지 등을 확인하고, 사람은 어려운 경우만 개입하여 오류를 바로잡았습니다. 그 결과 SA-Co/VEVal이라 명명된, 1700여 개의 동영상에 대해 개념별 프레임 마스크 주석이 완비된 평가 세트를 구축할 수 있었습니다.

위와 같은 4단계 엔진을 통해 완성된 SA-Co 데이터셋은 크게 학습용 전체 세트와, 평가용 두 가지 스플릿으로 구성됩니다. 우선 학습용 SA-Co 전체 세트는 앞서 언급한 약 520만 이미지와 5.25만 비디오, 4백만 개 이상의 명사구, 14억 개 마스크로 이루어진 거대 코퍼스입니다. 그리고 SA-Co/Gold라는 평가는 엄선된 이미지들에 대해 3인의 인간 검수를 모두 거친 정밀 주석을 갖춘 세트이고, SA-Co/Silver 평가는 보다 다양한 도메인의 이미지들(예: 음식, 예술, 로봇공학, 자율주행 등)을 포함하되 한 명의 주석자 검토만 거친 세트입니다. Silver 세트는 완벽성은 떨어질 수 있으나 현실 세계 다양한 분포에서 모델을 시험하는 용도로 활용됩니다. 마지막으로 SA-Co/VEVal은 앞서 설명한 비디오 평가 세트로, SAM3의 영상 추적 성능을 평가합니다. 이렇듯 SA-Co 데이터셋은 규모 면에서도, 포함된 개념의 폭 면에서도 과거에 없던 압도적인 자원으로, SAM3 모델이 개념적 일반화 능력을 학습하는 데 결정적인 역할을 했습니다.

실험 결과 및 성능 비교 (Results and Performance)

논문에서는 다양한 과제에 대한 SAM3의 성능 평가를 보고하고 있으며, 기존 최신 기법들과의 비교에서 두드러진 향상을 보였습니다. 특히 프롬프트 기반 개념 세분화(PCS) 분야에서 SAM3는 사실상 새로운 SOTA(State-of-the-Art)를 수립했습니다. 연구진이 새로 정의한 PCS 벤치마크인 SA-Co 평가세트에서, SAM3는 이전 최신 모델들의 성능을 최소 두 배 이상 격차로 앞질렀습니다. 예를 들어, 오픈-어휘 인스턴스 세분화의 대표적 벤치마크인 LVIS 데이터셋에서 SAM3는 마스크 AP 48.8%를 제로샷(Zero-shot)으로 기록하여, 이전 최고 모델의 38.5%를 크게 상회했습니다. 이는 10포인트 이상의 대폭 향상으로, 범용 분할 모델이 라벨 집합에 구애받지 않고도 높은 정확도로 객체를 식별·분할할 수 있음을 보여준 사례입니다. 또한 Figure 2에 제시된 예시를 보면, 기존 OWLv2같은 공개 어휘 모델이 놓친 미세한 개념 구분도 SAM3는 성공적으로 해내는 등, 정성적 결과에서도 더욱 정확하고 완전한 세분화를 확인할 수 있습니다.

영상(Video) 영역에서도 SAM3의 성능 향상은 두드러집니다. 다중 객체 영상 분할 평가인 MOSEv2에서 SAM3는 SAM2 대비 6.5 포인트 높은 점수를 달성하여, 영상 세분화 분야 새로운 최고치를 기록했습니다. DAVIS, YTVOS 등의 표준 VOS 벤치마크들에서도 SAM3는 SAM2를 대부분 능가하는 성적을 거두었으며, 특히 ID 일관성이 중요한 부분에서 향상된 점수를 보였습니다. 이러한 향상은 앞서 언급한 검출-추적 통합 설계와 Presence 토큰을 통한 오검출 감소 등이 주효하여, 영상 내에서도 누락 없이 정확한 다중 객체 추적 세분화가 가능해졌음을 시사합니다.

흥미롭게도, 대화식 이미지 분할 분야에서도 SAM3는 기존 SAM의 성능을 유지 혹은 개선하였습니다. 37개 공개 데이터셋에서 한 점 클릭으로 얼마나 높은 IoU의 마스크를 얻는지 평가한 SA-37 벤치마크에서, SAM3는 1-click 평균 mIoU 66.1%로 SAM2 (66.4%)와 대등하며, 3-click에서는 SAM3가 81.3%로 SAM2(80.3%)를 웃돌았습니다. 5-click 성능도 소폭 향상되어, 추가 입력에 대한 반응도가 개선되었음을 알 수 있습니다. 비록 SAM3가 멀티모달 통합으로 인해 모델이 다소 복잡해지면서 추론 속도 FPS는 SAM2보다 낮아진 측면도 있지만 (Table 6 기준, SAM3 ~43 FPS vs SAM2 ~93 FPS), 여전히 실시간에 가까운 처리가 가능하며, 기능 확장을 고려하면 수용할 만한 희생이라고 볼 수 있습니다. 실제로 저자들은 H200 GPU 상에서 이미지 1장당 30ms에 100개 이상의 객체를 처리할 수 있고, 영상의 경우도 객체 수에 선형 비례하여 실시간에 근접한다고 밝혔습니다. 이는 곧 병렬 처리 최적화 등을 통해 추후 속도 개선 여지도 충분함을 의미합니다.

추가로, 연구팀은 SAM3를 복합 질의에 대응하기 위해 대형 언어모델(MLLM)과 연계하는 실험(SAM3 Agent라 명명)도 수행했습니다. SAM3 Agent는 LLM이 복잡한 문장을 여러 간단한 명사구 질의로 쪼개어 SAM3에 질의하고, 반환된 마스크들을 LLM이 판단·결합하여 최종 응답을 만드는 구조입니다. 예컨대 “왼쪽에 있는 테이블 위의 빨간 물체를 찾아줘” 같은 문장은 LLM이 “테이블”, “빨간 물체” 등으로 나눠 순차적으로 SAM3를 호출해 처리를 분배합니다. 이러한 에이전트 방식은 추가 학습 없이도 기존 RefCOCO+ 등 복잡 참조 표현 분할 과제에서 최신 결과들을 능가하는 성과를 내었고, SAM3 자체의 한계를 외부 LLM으로 보완하는 모듈화 가능성을 보여주었습니다. 이는 장차 로봇 시스템에서 LLM 기반 지능과 시각모델을 연결해 사용자 요청을 이해하고 처리하는 방향으로도 연결될 수 있는 흥미로운 결과입니다.

마지막으로 요약된 성능 지표들을 보면, SAM3의 등장은 시맨틱 인스턴스 분할과 대화식/영상 분할 두 측면 모두에 있어 학계 최고 수준의 전반적 성능 향상을 가져왔습니다. Meta는 SAM3의 출시와 함께 모델 가중치와 추론 코드, SA-Co 데이터셋을 공개하여 연구 커뮤니티가 쉽게 활용할 수 있도록 했습니다. 이를 통해 다른 연구자들이 SAM3를 자신들의 데이터에 파인튜닝하거나, SAM3로 생성한 마스크들을 활용해 소형 모델을 훈련시키는 등 2차적인 응용 연구도 활발히 가능할 전망입니다. 종합하면, SAM3는 범용 시각 세분화에 한 걸음 더 다가선 모델로서, 성능과 범용성 면에서 크게 진보한 결과물임을 실험적으로 입증했습니다.

로봇공학 분야에서의 응용 및 영향

SAM3의 등장은 로봇공학 분야에도 상당한 파장을 일으킬 것으로 기대됩니다. 그 이유는 SAM3가 자연어 개념을 바로 시각적 인지와 연결함으로써, 로봇이 주변 환경을 사람처럼 이해하도록 돕는 강력한 도구가 될 수 있기 때문입니다. 구체적으로, SAM3가 열어주는 로보틱스 응용의 가능성들을 몇 가지 살펴보겠습니다:

로봇의 시각 인지 (Robot Perception): 이제 로봇에게 “주변에서 가장 가까운 의자를 찾아”와 같이 음성이나 텍스트로 지시하면, SAM3가 로봇 카메라 영상에서 의자에 해당하는 모든 객체를 분할 및 식별해낼 수 있습니다. 기존에는 사전에 학습된 객체 탐지기나 세분화 모델에 한정된 범주만 인식 가능했지만, SAM3는 4백만 개에 달하는 개념 어휘를 학습했으므로 일반 사물부터 희귀한 객체까지 폭넓게 인식 가능합니다. 이는 로봇이 환경을 오픈월드(Open-world)에서 훨씬 유연하게 이해하고 대처하게 해줍니다. 예컨대 가정용 로봇이 “과일을 모두 찾아 바구니에 담아”라는 지시를 받으면, SAM3를 통해 사과, 바나나 등 과일이라는 개념에 속하는 모든 아이템을 알아보고 정확한 픽셀 단위 위치를 얻어, 로봇 매니퓰레이터가 이를 하나씩 집어들 수 있을 것입니다.
시맨틱 지도 작성 (Semantic Mapping): 자율주행 로봇이나 드론, 실내 안내 로봇 등은 주행 환경의 지도를 만들 때 환경 요소들에 대한 시맨틱 정보를 부여할 수 있습니다. SAM3를 활용하면, 라이다나 카메라로 수집한 장면에서 “벽”, “문”, “계단”, “사람” 등 관심 객체들을 한 번에 분할하여 맵에 태그할 수 있습니다. 특히 SAM3는 장면 내 모든 인스턴스를 놓치지 않고 포착하기 때문에, 지도에 존재하는 모든 객체의 위치와 경계를 표시해줄 수 있습니다. 이는 로봇의 상황 인식 능력을 끌어올리고, 사람과 작업공간을 공유하는 로봇이라면 안전한 경로 계획이나 작업 영역 설정에도 도움이 될 것입니다.
물체 조작 및 이해 (Object Manipulation & Understanding): 로봇 팔이 물체를 집거나 조립할 때, 대상 물체의 정확한 형태와 경계를 아는 것이 중요합니다. SAM3는 물체의 2D 마스크를 정밀히 제공하므로, 3D 인식 모듈과 결합하여 물체의 자세(pose)나 그립 지점 결정 등에 활용할 수 있습니다. 또한 새로운 물체가 등장해도 SAM3는 텍스트 한 줄로 세분화가 가능하므로, 로봇이 작업 도중 처음 보는 도구나 부품이 나와도 바로 인식하여 조작할 수 있습니다. 이는 생산/물류 자동화 현장에서 유연 생산을 가능케 하는 요소 기술이 될 수 있습니다.
인간-로봇 상호작용 (HRI): SAM3와 같은 모델은 사람의 의도 파악과 로봇의 시각 응답을 자연스럽게 연결시켜줍니다. 사람은 로봇에게 일일이 좌표를 지정해줄 필요 없이, 자연어로 지시하거나 가리키기만 하면 됩니다. SAM3는 사람의 언어나 제스처(레이저 포인터 등으로 하이라이트한 영역을 예시로 입력 가능)를 받아들여, 로봇이 보이는 시야 영상에서 해당 대상을 식별합니다. 이를 통해 “저기 바닥에 떨어진 나사 좀 주워줄래?” 같은 요청에도 로봇이 정확히 어떤 물체를 가리키는지 이해하고 동작할 수 있습니다. 더 나아가, SAM3의 출력 마스크를 로봇의 증강현실 디스플레이나 프로젝터를 통해 시각적으로 피드백하면, 로봇이 인식한 대상을 사람에게 보여주어 상의하거나 확인받는 상호작용도 가능할 것입니다.
강화학습 및 행동 계획: 로봇 학습에서도 SAM3의 기능을 활용할 수 있습니다. 예를 들어 시뮬레이터 상에서 SAM3로 다양한 객체들을 자동 분할/레이블링하면, 강화학습 에이전트의 시각 입력을 풍부하게 해주어 정책 학습을 빠르게 할 수 있습니다. 또한 로봇의 카메라 영상을 SAM3로 처리하여 장면의 객체 목록과 위치 정보를 추출하면, 이를 고차원 플래너나 언어기반 정책이 활용하여 추론 가능한 상태 표현으로 삼을 수 있습니다. 요컨대 SAM3는 로봇에게 “무엇이 어디에 있는가”를 알려주는 일반 시각 피드백 모듈로 작용하여, 여러 로봇 기술 스택에 걸쳐 보편적인 인지 기반을 제공할 수 있습니다.

종합하면, SAM3는 로봇이 사람과 동일한 언어로 주변을 해석하게끔 돕는 변혁적인 비전 모델이라 할 수 있습니다. 물론 실제 로봇에 적용하려면 3D 좌표 변환, 멀티 카메라 융합 등 추가 고려사항이 있지만, SAM3의 뛰어난 범용 분할 능력은 이미 그 자체로 로봇공학 연구자들에게 강력한 도구가 됩니다. 더불어 Meta의 공개한 SA-Co 데이터에 로봇 도메인 영상도 포함되어 있어, 로봇 연구자들이 자신의 환경에 맞게 SAM3를 파인튜닝하여 특화 성능을 끌어올리는 것도 가능할 것입니다. 앞으로 로봇 비전 분야에서 SAM3를 활용한 환경 이해, 과제 지시, 자율학습 등의 연구가 활발히 전개될 것으로 기대됩니다.

결론 (Conclusion)

SAM3: Segment Anything with Concepts는 시각 세분화 분야의 새로운 이정표라 부를 만한 성과를 보여주었습니다. 이 모델은 기존 SAM 계열의 상호작용 분할 능력을 개방형 어휘 인식으로 확장함으로써, 무한에 가까운 범주의 객체들을 하나의 모델로 다룰 수 있게 만들었습니다. 텍스트와 이미지 예시를 프롬프트로 활용하는 혁신적인 아키텍처, 인식과 탐지를 분리한 Presence 헤드 등의 기술적 기여는 단순한 성능 향상을 넘어 모델 디자인 패러다임의 진전을 보여줍니다. 또한 수백만 개의 개념 주석을 인간+AI 협업으로 효율적으로 수집해낸 SA-Co 데이터 엔진은 대규모 학습 데이터 구축의 새로운 방식을 제시하며, 향후 다양한 분야의 데이터 부족 문제를 해결하는 데 영감을 주고 있습니다. 실험 결과 SAM3는 이미지/영상 세분화 모든 측면에서 최첨단 성능을 달성했고, 특히 제로샷 개념 인식 세분화 능력은 로봇공학을 비롯한 여러 응용 분야에서 즉각적인 활용 가치를 지닙니다.

로봇공학 관점에서 SAM3의 의의는, 로봇이 사람의 언어로 시각 세계를 이해하는 데 한 걸음 더 다가섰다는 데 있습니다. 이 모델을 통해 로봇은 사전에 프로그램되지 않은 새로운 물체도 필요한 순간에 찾아내고 다룰 수 있는 유연성을 얻습니다. 사람이 말하거나 가리키는 대로 장면을 분해해 인식하는 능력은 자율 로봇의 상식(common sense)과 인간-로봇 간 소통을 강화할 것으로 기대됩니다. 더불어 SAM3가 오픈소스로 공개되었기에, 연구자들은 이를 쉽게 활용해 자기 도메인에 특화된 모델을 만들거나, SAM3를 다른 AI 시스템과 통합하여 새로운 기능을 개발할 수 있습니다. 예를 들어 언어모델과 결합한 SAM3 Agent 실험은 복잡한 질의도 처리할 수 있음을 보여주었고, 이러한 모듈 통합 접근은 로봇에게 고도의 추론과 정확한 실행을 모두 가져다줄 수 있는 잠재력이 있습니다.

물론 SAM3에도 제한 사항은 존재합니다. 텍스트 프롬프트는 현재 단순 명사구만 다루며, 문맥적 의미나 복잡한 지시는 별도의 LLM 해석이 필요합니다. 또한 3D 정보 부재로 인한 가림 현상 오인은 여전히 로봇 적용 시 고려해야 할 문제입니다. 그럼에도 불구하고 SAM3는 “세그멘테이션의 범용 AI”라는 비전에 한층 다가선 역작으로서, 로봇공학을 포함한 시각 지능 분야에 새로운 연구 방향과 응용 기회를 열어주고 있습니다. 앞으로 SAM3를 기반으로 한 응용 연구가 다양하게 전개되고, 추후에는 SAM4와 같이 더 발전된 후속 모델들이 등장함으로써, 로봇이 세상을 보는 방식이 더욱 인간과 유사해지길 기대해봅니다. SAM3가 보여준 개념-시각 통합 능력은 궁극적으로 로봇에게 “무엇이 어디에 있는지” 가르쳐주는 보편적인 지식으로 자리매김할 것이며, 이는 지능형 로봇의 자율성과 활용도를 비약적으로 높이는 밑거름이 될 것입니다.

참고문헌: SAM3 논문 및 관련 자료 일체.