來源：3D視覺工坊
添加小助理：dddvision，備注：方向+學校/公司+昵稱，拉你入群。文末附行業細分群
這篇文章提出了一種名為PromptAD的新型異常檢測方法，旨在解決少樣本異常檢測場景中隻有正常樣本的挑戰。該方法通過自動學習提示來指導檢測，其中包括兩個關鍵點：一是利用語義連接配接建構足夠的異常提示，二是提出顯式異常邊緣損失，通過超參數明确确定正常提示和異常提示之間的邊緣。實驗結果表明，PromptAD在圖像級和像素級異常檢測任務中取得了顯著的性能提升，證明了其在少樣本情況下的有效性。
下面一起來閱讀一下這項工作~
論文題目：PromptAD: Learning Prompts with only Normal Samples for Few-Shot Anomaly Detection
作者：Xiaofan Li, Zhizhong Zhang等
作者機構：East China Normal University, Shanghai, China等
論文連結：https://arxiv.org/pdf/2404.05231.pdf
代碼連結：https://github.com/FuNz-0/PromptAD
該模型為少樣本工業異常檢測帶來了巨大改進，通常需要通過提示工程設計數百個提示。對于自動化場景，我們首先使用傳統的多類别範式的提示學習作為基線來自動學習提示，但發現它在單類别異常檢測中效果不佳。為了解決上述問題，本文提出了一種用于少樣本異常檢測的單類别提示學習方法，稱為PromptAD。首先，我們提出了語義串聯，它可以通過将正常提示與異常字尾連接配接起來來将正常提示轉變為異常提示，進而構造大量負樣本，用于在單類别設定中指導提示學習。此外，為了緩解由于缺少異常圖像而導緻的訓練挑戰，我們引入了顯式異常邊界的概念，通過超參數顯式地控制正常提示特征和異常提示特征之間的邊界。對于圖像級/像素級異常檢測，PromptAD 在 MVTec 和 VisA 的 11/12 個少樣本設定中均取得了第一名。代碼可在 https://github.com/FuNz0/PromptAD.git 上找到。
MVTec 和VisA 上單次像素級異常檢測的定性比較結果。
在MVTec和VisA上測試的來自LectAD（單次）的其他定性結果。
邏輯異常檢測的定性結果。
極小異常檢測的定性結果。
- 探讨了在一類異常檢測中提示學習的可行性，并提出了一種稱為 PromptAD 的一類提示學習方法，徹底擊敗了傳統的多類别提示學習。
- 提出了語義串聯（SC），可以通過連接配接異常字尾來轉換正常提示的語義，進而為正常樣本建構足夠的負提示。
- 提出了顯式異常邊界（EAM），可以通過超參數明确控制正常提示特征和異常提示特征之間的距離。
- 對于圖像級/像素級異常檢測，PromptAD 在 MVTec和 VisA 的 11/12 個少樣本設定中取得了第一名。
這篇文章的基本原理是利用CLIP模型進行少樣本異常檢測。在異常檢測中，通常隻有正常樣本可用于訓練，而在測試階段需要識别異常樣本。文章針對這一挑戰提出了PromptAD方法。
- CLIP和Prompt學習：CLIP是一個大規模的語言-圖像預訓練模型，以其強大的零樣本分類能力而聞名。Prompt學習是一種借鑒自然語言處理成功的方法，旨在自動學習有效的提示以提高CLIP在下遊分類任務中的性能。
- 語義連接配接（SC）：為了解決訓練中缺乏異常樣本的問題，作者提出了SC方法。通過将正常提示與異常字尾連接配接，可以将正常提示轉換為異常提示，進而建構足夠的對比提示。這樣可以提高模型對異常資訊的學習能力。
- 顯式異常邊緣（EAM）：由于訓練中缺乏異常視覺樣本，MAPs和LAPs隻能以正常視覺特征作為負樣本進行對比學習，缺乏正常和異常提示之間的顯式邊緣。是以，作者提出了EAM方法，通過一個超參數來控制正常提示特征和異常提示特征之間的邊緣，增強了模型在訓練中對異常資訊的學習能力。
- 異常檢測：在測試階段，利用學習到的提示進行異常檢測。通過計算圖像級别和像素級别的得分，結合視覺引導和提示引導的方式，可以有效識别圖像中的異常部分。
這篇文章介紹了一個名為PromptAD的方法，旨在解決異常檢測問題。文章通過比較PromptAD與最新方法在不同shot設定下的表現，包括圖像級和像素級結果。實驗結果表明，PromptAD在少樣本設定下取得了顯著的改進，特别是在圖像級AD性能上表現優異。
在資料集方面，文章使用了MVTec和VisA作為基準資料集。這兩個資料集都包含多個子集，每個子集隻包含一個對象。異常檢測被視為一類任務，是以訓練集隻包含正常樣本，而測試集包含了正常樣本和帶有圖像級和像素級注釋的異常樣本。
在評估名額方面，文章遵循了文獻中的方法，報告了圖像級和像素級異常檢測的接收器操作特征下面積（AUROC）。
在實施細節方面，文章使用了OpenCLIP實作的CLIP和其預訓練參數，并使用了預設的超參數τ。作者還使用了LAION-400M基于ViT-B/16+的CLIP。
實驗結果表明，在圖像級比較中，PromptAD相對于其他方法取得了顯著的改進，特别是在少樣本設定下。在像素級比較中，PromptAD在1-shot和2-shot設定下取得了最好的成績，在4-shot設定下也表現出色。
此外，文章還進行了消融研究，驗證了不同子產品對PromptAD性能的影響。結果顯示，語義連接配接和顯式異常邊緣等子產品對于提高提示學習在異常檢測中的效果至關重要。
總的來說，這篇文章提出的PromptAD方法在少樣本設定下取得了顯著的性能提升，特别是在圖像級AD方面表現出色。通過對CLIP的轉換和子產品的優化，PromptAD在像素級和圖像級的異常檢測任務中取得了競争性的結果。
在本文中，我們提出了一種新穎的異常檢測方法，稱為PromptAD，在少樣本異常檢測場景中隻使用正常樣本自動學習提示。首先，為了應對一類任務的挑戰，我們提出了語義連接配接，通過連接配接正常提示和異常字尾建構足夠的異常提示來引導提示學習。其次，我們提出了顯式異常邊緣損失，通過超參數明确确定了正常提示特征和異常提示特征之間的邊緣。最後，對于圖像級/像素級異常檢測，PromptAD在11/12少樣本任務中取得了第一名。
本文僅做學術分享，如有侵權，請聯系删文。
3D視覺工坊交流群
目前我們已經建立了3D視覺方向多個社群，包括2D計算機視覺、大模型、工業3D視覺、SLAM、自動駕駛、三維重建、無人機等方向，細分群包括：
2D計算機視覺：圖像分類/分割、目标/檢測、醫學影像、GAN、OCR、2D缺陷檢測、遙感測繪、超分辨率、人臉檢測、行為識别、模型量化剪枝、遷移學習、人體姿态估計等
大模型：NLP、CV、ASR、生成對抗大模型、強化學習大模型、對話大模型等
工業3D視覺：相機标定、立體比對、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。
SLAM：視覺SLAM、雷射SLAM、語義SLAM、濾波算法、多傳感器融合、多傳感器标定、動态SLAM、MOT SLAM、NeRF SLAM、機器人導航等。
自動駕駛：深度估計、Transformer、毫米波|雷射雷達|視覺攝像頭傳感器、多傳感器标定、多傳感器融合、自動駕駛綜合群等、3D目标檢測、路徑規劃、軌迹預測、3D點雲分割、模型部署、車道線檢測、Occupancy、目标跟蹤等。
三維重建：3DGS、NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖等
無人機：四旋翼模組化、無人機飛控等
除了這些，還有求職、硬體選型、視覺産品落地、最新論文、3D視覺最新産品、3D視覺行業新聞等交流群
添加小助理: dddvision，備注：研究方向+學校/公司+昵稱（如3D點雲+清華+小草莓）, 拉你入群。
3D視覺工坊知識星球
3DGS、NeRF、結構光、相位偏折術、機械臂抓取、點雲實戰、Open3D、缺陷檢測、BEV感覺、Occupancy、Transformer、模型部署、3D目标檢測、深度估計、多傳感器标定、規劃與控制、無人機仿真、三維視覺C++、三維視覺python、dToF、相機标定、ROS2、機器人控制規劃、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三維重建、colmap、線面結構光、硬體結構光掃描器，無人機等。