機器之心報道
機器之心編輯部
作為首個全面介紹基于 SAM 基礎模型進展的研究，本文聚焦于 SAM 在各種任務和資料類型上的應用，并讨論了其曆史發展、近期進展，以及對廣泛應用的深遠影響。
人工智能（AI）正在向 AGI 方向發展，這是指人工智能系統能夠執行廣泛的任務，并可以表現出類似于人類的智能水準，狹義上的 AI 就與之形成了對比，因為專業化的 AI 旨在高效執行特定任務。可見，設計通用的基礎模型迫在眉睫。基礎模型在廣泛的資料上訓練，因而能夠适應各種下遊任務。最近 Meta 提出的分割一切模型（Segment Anything Model，SAM）突破了分割界限，極大地促進了計算機視覺基礎模型的發展。
SAM 是一個提示型模型，其在 1100 萬張圖像上訓練了超過 10 億個掩碼，實作了強大的零樣本泛化。許多研究人員認為「這是 CV 的 GPT-3 時刻，因為 SAM 已經學會了物體是什麼的一般概念，甚至是未知的物體、不熟悉的場景（如水下、細胞顯微鏡）和模糊的情況」，并展示了作為 CV 基本模型的巨大潛力。
為了充分了解 SAM，來自香港科技大學（廣州）、上海交大等機構的研究者對其進行了深入研究并聯合發表論文《 A Comprehensive Survey on Segment Anything Model for Vision and Beyond 》。
論文位址：https://arxiv.org/pdf/2305.08196.pdf
作為首個全面介紹基于 SAM 基礎模型進展的研究，該論文聚焦于 SAM 在各種任務和資料類型上的應用，并讨論了其曆史發展、近期進展，以及對廣泛應用的深遠影響。
本文首先介紹了包括 SAM 在内的基礎模型的背景和術語，以及對分割任務有重要意義的最新方法；
然後，該研究分析并總結了 SAM 在各種圖像處理應用中的優勢和限制，包括軟體場景、真實世界場景和複雜場景，重要的是，該研究得出了一些洞察，以指導未來的研究發展更多用途廣泛的基礎模型并改進 SAM 的架構；
最後該研究還總結了 SAM 在視覺及其他領域的應用。
下面我們看看論文具體内容。
SAM 模型概覽
SAM 源自于 2023 年 Meta 的 Segment Anything (SA) 項目。該項目發現在 NLP 和 CV 領域中出現的基礎模型表現出較強的性能，研究人員試圖建立一個類似的模型來統一整個圖像分割任務。然而，在分割領域的可用資料較為缺乏，這與他們的設計目的不同。是以，如圖 1 所示，研究者将路徑分為任務、模型和資料三個步驟。
SAM 架構如下所示，主要包含三個部分：圖像編碼器；提示編碼器；以及掩碼解碼器。
在對 SAM 有了初步認知後，接下來該研究介紹了 SAM 用于圖像處理。
SAM 用于圖像處理
這部分主要分場景進行介紹，包括：軟體場景、真實場景以及複雜場景。
軟體場景
軟體場景需要對圖像編輯和修複進行操作，例如移除對象、填充對象和替換對象。然而，現有的修複工作，如 [99]、[100]、[101]、[102]，需要對每個掩碼進行精細的注釋以達到良好的性能，這是一項勞動密集型的工作。SAM [20] 可以通過簡單的提示如點或框來生成準确的掩碼，可以幫助輔助圖像編輯場景。
Inpaint Anything (IA) [39] 設計了一個流程，通過結合 SAM 的優勢、最先進的圖像修複器 [99]，以及 AI 生成的内容模型 [103]，來解決與修複相關的問題。這個流程如圖 3 所示。對于對象移除，該流程由 SAM 和最先進的修複器組成，如 LaMa [99]。使用者的點選操作被用作 SAM 的提示，以生成對象區域的掩碼，然後 LaMa 使用 corrosion 和 dilation 操作進行填充。對于對象的填充和替換，第二步使用像 Stable Diffusion (SD) [103] 這樣的 AI 生成的内容模型，通過文本提示用新生成的對象填充標明的對象。
一個類似的想法也可以在 Edit Everything [40] 中看到，如圖 4 所示，該方法允許使用者使用簡單的文本指令編輯圖像。
真實場景
研究者表示 SAM 具有協助處理許多真實世界場景的能力，例如真實世界的物體檢測、物體計數以及移動物體檢測場景。最近，[108] 對 SAM 在多種真實世界分割場景（例如，自然圖像、農業、制造業、遙感和醫療健康場景）中的性能進行了評估。該論文發現，在像自然圖像這樣的常見場景中，它具有優秀的泛化能力，而在低對比度的場景中，它的效果較差，而且在複雜場景中需要強大的先驗知識。
例如，在民用基礎設施缺陷評估的應用中，[42] 利用 SAM 來檢測混凝土結構中的裂縫，并将其性能與基線 U-Net [109] 進行比較。裂縫檢測過程如圖 6 所示。結果顯示，SAM 在檢測縱向裂縫方面表現優于 UNet，這些裂縫更可能在正常場景中找到類似的訓練圖像，而在不常見的場景，即剝落裂縫方面，SAM 的表現不如 U-Net。
使用 SAM 和 U-Net 進行裂紋檢測的過程。圖摘自原論文 [42]。
與裂縫檢測中的複雜圖像案例不同，由于隕石坑的形狀主要集中在圓形或橢圓形，是以使用 SAM 作為檢測工具來進行隕石坑檢測更為合适。隕石坑是行星探索中最重要的形态特征之一，檢測和計數它們是行星科學中一個重要但耗時的任務。盡管現有的機器學習和計算機視覺工作成功地解決了隕石坑檢測中的一些特定問題，但它們依賴于特定類型的資料，是以在不同的資料源中無法很好地工作。
在 [110] 中，研究者提出了一種使用 SAM 對不熟悉對象進行零樣本泛化的通用隕石坑檢測方案。這個流程使用 SAM 來分割輸入圖像，對資料類型和分辨率沒有限制。然後，它使用圓形 - 橢圓形指數來過濾不是圓形 - 橢圓形的分割掩碼。最後，使用一個後處理過濾器來去除重複的、人為的和假陽性的部分。這個流程在目前領域顯示出其作為通用工具的巨大潛力，并且作者還讨論了隻能識别特定形狀的缺點。
複雜場景
除了上述的正常場景，SAM 是否能解決複雜場景（如低對比度場景）中的分割問題，也是一個有意義的問題，可以擴大其應用範圍。為了探索 SAM 在更複雜場景中的泛化能力，Ji 等人 [22] 在三種場景，即僞裝動物、工業缺陷和醫學病變中，定量地将其與尖端模型進行比較。他們在三個僞裝物體分割（COS）資料集上進行實驗，即擁有 250 個樣本的 CAMO [116]，擁有 2026 個樣本的 COD10K [117]，以及擁有 4121 個樣本的 NC4K [118]。并将其與基于 Transformer 的模型 CamoFormer-P/S [119] 和 HitNet [120] 進行比較。結果表明，SAM 在隐蔽場景中的技巧不足，并指出，潛在的解決方案可能依賴于在特定領域的先驗知識的支援。在 [29] 中也可以得出同樣的結論，作者在上述同樣的三個資料集上，将 SAM 與 22 個最先進的方法在僞裝物體檢測上進行比較。
Cao 等人 [115] 提出了一個新的架構，名為 Segment Any Anomaly + (SAA+)，用于零樣本異常分割，如圖 7 所示。該架構利用混合提示規範化來提高現代基礎模型的适應性，進而無需領域特定的微調就能進行更精确的異常分割。作者在四個異常分割基準上進行了詳細的實驗，即 VisA [122]，MVTecAD [123]，MTD [124] 和 KSDD2 [125]，并取得了最先進的性能。
He 等人 [126] 提出了第一種方法（WSSAM），利用 SAM 進行弱監督隐蔽物體分割，解決了使用稀疏注釋資料分割與周圍環境融為一體的物體的挑戰（參見圖 8）。所提出的 WSSAM 包括基于 SAM 的僞标記和多尺度特征分組，以提高模型學習和區分隐蔽物體和背景。作者發現，僅使用 scribble 監督 [127]，SAM 就可以生成足夠好的分割掩碼，以訓練分割器。
更多模型和應用：視覺及其他
視覺相關
首先是醫療成像。醫療圖像分割的目的是展示相應組織的解剖或病理結構，可以用于計算機輔助診斷和智能臨床手術。
下圖 10 為醫療圖像 SAM 概覽，包括了計算機斷層掃描（CT）圖像、磁共振成像（MRI）圖像、結腸鏡檢查圖像、多格式圖像、H&E 染色組織切片圖像等。
其次是視訊。在計算機視覺領域，視訊目标跟蹤（VOT）和視訊分割被認為是至關重要且不可或缺的任務。VOT 涉及在視訊幀中定位特定目标，然後在整個視訊的其餘部分對其進行跟蹤。是以，VOT 具有各種實際應用，例如監視和機器人技術。
SAM 在 VOT 領域做出了傑出貢獻。參考文獻 [46] 中引入了跟蹤一切模型（Track Anything Model, TAM），高效地在視訊中實作了出色的互動式跟蹤和分割。下圖 11 為 TAM pipeline。
此外另一個跟蹤模型為 SAMTrack，詳見參考文獻 [172]。SAMTrack 是一種視訊分割架構，可通過互動和自動的方法實作目标跟蹤和分割。下圖 12 為 SAMTrack 的 pipeline。
下圖 13 為一個輕量級 SAM 指導的優化子產品（SAM-guided refinement module, SEEM），用于提升現有方法的性能。
接着是資料注釋。SAMText [180] 是一種用于視訊中場景文本掩碼注釋的可擴充 pipeline。它利用 SAM 在大型資料集 SAMText-9M 上生成掩碼注釋，該資料集包含超過 2,400 個視訊片段和超過 900 萬個掩碼注釋。
此外參考文獻 [143] 利用現有遙感目标檢測資料集和以資料為中心的機器學習模型 SAM，建構了一個大規模遙感圖像分割資料集 SAMRS，包含目标分類、位置和執行個體資訊，可以用于語義分割、執行個體分割和目标檢測研究。
視覺之外
首先是 3D 重建。除了實作細粒度的 3D 分割，SA3D [183] 可以用于 3D 重建。利用 3D 掩碼網格，研究者可以确定物體在 3D 中的占用空間，并以各種方式重建。下圖 14 為 SA3D 的整體 pipeline。
參考文獻 [186] 提出了一種新的對象移除 pipeline ORNeRF，它使用單個視圖上的點或文本 prompt 從 3D 場景中移除對象。通過使用點投影政策将使用者注釋快速傳播給所有視圖，該方法使用比以往工作更少的時間實作了更好的性能。下圖 15 為 ORNeRF 的架構。
其次是非歐式域。為了為不同任務處理不同特征次元，下圖 16 中所示的 SNA 方法引入了一個專門的可精簡圖卷積層。該層可以根據輸入的特征次元進行通道的動态激活或停用。
然後是機器人。下圖 17 展示了 Instruct2Act [190] 的整體流程。在感覺部分，預定義的 API 用于通路多個基礎模型。SAM [20] 準确定位候選對象，CLIP [13] 對它們進行分類。該架構利用基礎模型的專業知識和機器人能力将複雜的進階指令轉換為精确的政策代碼。
接着是視訊文本定位。下圖 18 展示了一種為視訊文本定位任務生成掩碼注釋的可擴充高效解決方案 SAMText [180]。通過将 SAM 模型應用于邊界框注釋，它可以為大規模視訊文本資料集生成掩碼注釋。
此外還有圖像字幕。Wang et al. [44] 提出了一種用于可控圖像字幕的方法 Caption Anything（CAT），如下圖 20 所示，CAT 的架構将多模态控制引入圖像字幕，呈現符合人類意圖的各種視覺焦點和語言風格。
視聽也有涉及。參考文獻 [45] 的視聽定位和分割方法用于學習可以對齊音頻和視覺資訊的跨模态表示，具體如下圖 21 所示。AV-SAM 利用預訓練音頻編碼器和圖像編碼器中跨音頻和視覺特征的像素級視聽融合來聚合跨模态表示。然後将聚合的跨模态特征輸入 prompt 編碼器和掩碼解碼器，生成最終的視聽分割掩碼。
最後是多模态視覺和開放詞彙互動分割。參考文獻 [44] 的方法如下圖 22 所示，旨在使用僅文本輸入的 CLIP 政策來完全取代手動點（manual point）。這種方法提供來自文本輸入的像素級結果，可以很容易地轉換為 SAM 模型的點 prompt。
結語
本文首次全面回顧了計算機視覺及其他領域 SAM 基礎模型的研究進展。首先總結了基礎模型（大語言模型、大型視覺模型和多模态大模型）的發展曆史以及 SAM 的基本術語，并着重于 SAM 在各種任務和資料類型中的應用，總結和比較了 SAM 的并行工作及其後續工作。研究者還讨論 SAM 在廣泛的圖像處理應用中的巨大潛力，包括軟體場景、真實世界場景和複雜場景。
此外，研究者分析和總結了 SAM 在各種應用程式中的優點和局限性。這些觀察結果可以為未來開發更強大的基礎模型和進一步提升 SAM 的穩健性和泛化性提供一些洞見。文章最後總結了 SAM 在視覺和其他領域的大量其他令人驚歎的應用。