文|小彭的燦爛筆記
編輯|小彭的燦爛筆記
前言
農業是人類的基本活動之一，它確定了全球糧食安全，但農田中的雜草會對作物的生長和産量造成嚴重損害，因為雜草能直接與作物争奪陽光、水和養分，并且它們也會成為在作物中傳播疾病和害蟲的來源。
雜草控制有助于促進農業可持續發展，進而提高農業生産效率，減少農業資源浪費，保護生态環境，實作農業可持續發展。
最近卷積神經網絡（CNN）極大地推動了計算機視覺的進步，與傳統的機器學習算法相反，深度學習算法會自動執行特征選擇，并且具有更高的準确性。
這些方法在農業圖像進行中得到了廣泛的應用，CNN已被用于根據無人機（UAV）擷取的遙感圖像預測和估計成熟階段水稻的産量，提出了一種基于深度學習的魯棒檢測器，用于實時識别番茄病蟲害。
有人建構一個CNN，用于在幼苗階段對胡蘿蔔和雜草進行分類，通過利用紋理資訊和形狀特征，顯著提高了植物分類的準确性。
還有人建構了一個大型的、公共的、多類的深海雜草資料集，并使用ResNet50進行雜草分類。
自FCN提出以來，UNet、DeepLabV3和DeepLabV3Plus等圖像語義分割模型，已經出現并廣泛應用于農業雜草分割領域，語義分割模型可快速提取作物和雜草的特征，提取過程中，無需複雜的背景分割和資料模型建立。
大豆資料集
大豆資料集取自位于安徽省合肥市廬陽區的安徽農業大學國家高新技術農業園的大豆田，并選擇15-30天的大豆幼苗進行資料收集。
用于圖像采集的裝置，包括DJI手持雲台，型号Pocket2，采集裝置位于離地面約50厘米處，視訊分辨率設定為1920×1080，幀速率為24幀/秒（fps）。
然後從視訊中提取幀，獲得553張圖像來建構大豆資料集，為了確定更快的訓練和友善的手動注釋，将圖像大小調整為1024×768，該分辨率在計算效率和保留足夠的視覺細節，以進行準确的圖像分析之間取得了平衡。
使其成為許多計算機視覺應用程式和資料集中常用的分辨率，以7：2：1的比例将它們随機配置設定給訓練集、驗證集和測試集。
大豆資料集中的原始圖像和相應的注釋（綠色：裁剪，紅色：雜草）
甜菜資料集
甜菜資料集來源于BoniRob，此資料集中的圖像是在德國波昂附近的甜菜農場捕獲的，2016年，一個預先存在的農業機器人被用來記錄資料集，該資料集專注于甜菜植物和雜草。
該機器人配備了JAIAD-130GE相機，圖像分辨率為1296×966像素，攝像頭位于機器人底盤下方，安裝高度離地面約85厘米，資料收集時間跨度超過三個月，每周大約記錄三次資料。
該機器人捕獲了甜菜植物在生長過程中的多個階段，官方資料集包含數以萬計的圖像，在這項工作中，可以标簽分為三類：甜菜作物、所有雜草和背景。
為友善起見，使用2677張随機選擇的圖像，來建立甜菜資料集，将資料集随機分為70%訓練、20%驗證和10%測試集，将綠色注釋表示甜菜作物，紅色注釋表示雜草，黑色注釋表示土壤。
甜菜資料集中的原始圖像和相應的注釋（綠色：裁剪，紅色：雜草）
胡蘿蔔資料集
胡蘿蔔資料集來源于CWFID資料集，此資料集中的圖像，是在德國北部的一個商業有機胡蘿蔔農場收集的，這些圖像是在胡蘿蔔幼苗的早期真實葉子生長階段，是通過使用JAIAD130GE多光譜相機捕獲的。
該相機可以捕獲可見光和近紅外光，圖像的分辨率為1296×966像素，在采集過程中，相機垂直放置在地面上方，高度約為450毫米，焦距為15毫米，為了減輕不均勻照明的影響，在機器人下方的陰影區域使用人工照明，以保持圖像上一緻的照明強度。
資料集由60張圖像組成，随機拆分了70%的樣本用于訓練，20%用于驗證，10%用于測試，同樣綠色注釋表示胡蘿蔔幼苗，紅色注釋表示雜草，黑色注釋表示土壤和背景。
胡蘿蔔資料集中的原始圖像和相應的注釋（綠色：裁剪，紅色：雜草）
水稻資料集
水稻資料集來源于水稻幼苗和雜草資料集，此資料集中的圖像分辨率為912×1024像素，并使用帶有f-s1000–36mmf/360.3–4.5ISSTM鏡頭的IXUS6HS相機拍攝。
在圖像捕獲期間，相機距離田地水面80-120厘米，該資料集包含224張圖像，并帶有8位灰階格式的相應注釋，将原始注釋轉換為24位RGB格式，并以7：2：1的比例将資料集随機拆分為訓練集、驗證集和測試集。
用綠色注釋表示水稻幼苗，紅色注釋表示雜草，黑色注釋表示水或其他背景。
水稻資料集中的原始圖像和相應的注釋（綠色：作物，紅色：雜草）
使用上面提到的卷積注意力機制MCA，來建構一個由MCA和FFN網絡組成的MSFCABlock，我們能夠看到MSFCABlock增強了編碼器和解碼器之間的功能關聯。
在MSFCABlock中，接觸特征通過3×3卷積和批量歸一化（BN），然後通過使用殘差連接配接将其與MCA子產品的輸出連接配接，再使用具有殘差連接配接的前饋網絡（FFN）對特征進行處理。
MSFCABlock中的FFN結構将輸入特征向量映射到高維空間，然後使用激活函數應用非線性變換，進而生成新的特征向量，與原始特征向量相比，此新特征向量包含更多資訊。
全局上下文模組化多層感覺器（MLP）和大卷積，從遠端模組化中捕獲全局上下文特征，進而使所提出的MSFCABlock能夠有效地提取特征。
所提出的多尺度特征卷積注意力塊（MSFCABlock）的架構
建議的MSFCANet的整體架構可以參考下圖，所提出的網絡由編碼器和解碼器組成，編碼器使用VGG16網絡作為主幹，其中藍色塊代表卷積層，由于使用基于VGG16的編碼器。
是以卷積層是完全卷積的，粉色塊表示最大池化層，綠色塊表示上采樣層，使用轉置卷積方法進行上采樣，該方法可以為不同的任務學習不同的參數，進而使其與其他方法（例如雙線性插值）相比更加靈活。
黃色塊表示串聯，棕色塊表示建議的MSFCABlock，所提出的MSFCABlock在解碼過程中結合了編碼器不同層的特征，進而為雜草分割提供了出色而密集的上下文資訊內建，以及更豐富的場景了解。
它增強了多尺度特征聚合，在網絡設計中的作用，參數尺寸小的大卷積也減少了網絡參數的數量。
拟議的MSFCA-Net的體系結構
為了驗證所提出的MSFCA-Net的性能，對大豆雜草資料集進行了實驗，并将結果與其他最先進的方法進行了比較，包括FCN，FastFcn，OcrNet，UNet，Segformer，DeeplabV3和DeeplabV3Plus。
結果顯示出其性能名額，包括拟議的MSFCA-Net和上述基于大豆雜草測試集的模型的性能名額，包括MIoU，作物IoU，雜草IoU，BgIoU，召回率，精度和F1分數。
結果的定量分析表明，所提出的MSFCA-Net在大豆資料集上具有高效性能，優于其他模型，該模型的MIoU、作物IoU、WeedIoU、BgIoU、召回率、精度和F1得分分别為92.64%、92.64%、95.34%、82.97%、99.62%、99.57%、99.54%和99.55%，優于其他模型。
特别是所提出的方法MIoU和WeedIoU，分别比排名第二的OcrNet高2.6%和6%，這是因為所提出的MSFCA-Net，利用跳過連接配接将編碼階段學習的低分辨率特征，在語義上映射到高分辨率像素空間，在存在樣本不平衡和難以學習的類的情況下，表現出高性能。
所提出的方法與其他基于大豆資料集的最新方法的比較
是以與目前流行的模型相比，該模型在處理樣本不平衡和對難以學習的樣本的學習能力方面，具有較強的優勢。
MSFCA-Net和測試資料集上其他方法的部分分割結果顯示，其中綠色代表大豆，紅色代表雜草，黑色代表背景，标簽表示手動注釋的圖像。
對3個網絡模型預測結果的分析表明，MSFCA-Net的分割結果更加精細，具有優異的抗噪能力，這是因為MSFCA-Net使用多尺度卷積注意力機制內建了多尺度特征，有效地整合了局部資訊和全局上下文資訊。
基于大豆資料集使用不同方法獲得的分割結果
OcrNet，UNet和Segformer傾向于對圖像中的類别進行錯誤分類，并且無法準确分割大豆幼苗和雜草，FCN，FastFcn，DeeplabV3和DeeplabVPlus産生的分割結果，反映了預測類别的基本形态，但邊緣模糊且精度較低。
本方法的分割效果最好，輪廓清晰，細節完整，圖像平滑，分割結果最接近人工标注，表明MSFCA-Net網絡模型能夠有效、準确地分割圖像中的雜草、大豆和背景。
甜菜資料集測試
對甜菜資料集進行實驗，總共包含2677張圖像，訓練集中有1874張圖像，與這項工作中使用的其他資料集相比，甜菜資料集相對較大，用于訓練八種不同的模型。
結果表明與大豆資料集上相比，所有其他模型在甜菜資料集上的性能明顯較低，雖然甜菜資料集的訓練圖像較多，但與大豆資料集相比，背景更複雜，資料收集品質相對較差。
另一方面，拟議的MSFCA-Net在這種具有挑戰性的情況下，仍然表現出良好的性能。
與其他模型相比，MSFCA-Net在各種名額方面表現良好，該模型的MIoU、作物IoU和雜草IoU，分别為89.58%、95.62%和73.32%，分别領先排名第二的OcrNet3.5%、3.4%和6.8%。
所提出的方法與其他基于甜菜資料集的最新方法的比較
測試集上各種網絡的部分分割結果顯示，其中紅色代表雜草，綠色代表大豆植物，黑色代表背景，“圖像”是指原始甜菜圖像，“标簽”是指原始注釋圖像。
盡管其他網絡能夠識别這些類别，但與提議的MSFCA-Net相比，它們在細節和邊緣輪廓方面的性能較差。
通過比較這些圖像中的粉色框，可以觀察到其他網絡在不同程度上，表現出分割誤差，這歸因于它們在處理複雜背景方面的表現不佳。
另一方面，所提出的MSFCA-Net的分割結果更好，甜菜、雜草和背景的分類更準确。
基于甜菜資料集使用不同方法獲得的分割結果
在胡蘿蔔資料集上進行測試
在胡蘿蔔資料集中，有60張圖像，基于70%的随機拆分，僅使用42張圖像來訓練網絡，基于測試集的八個不同網絡的預測結果記錄在表格。
最後得出的結果表明，樣本少、每像素預測密度高，樣本有限的模型訓練，容易出現過拟合和分割性能差等問題。
并且其他模型的性能相對較低，表明現有模型在樣本嚴重稀缺的小資料集的作物和雜草分割方面無效。
但與現有模型相比，所提出的模型性能明顯更好，該模型的MIoU、作物IoU和WeedIoU分别為79.34%、59.84%和79.57%，分别比排名第二的OcrNet高出4.2%、1.1%和10.4%，這證明了所提模型在小樣本資料集上，具有較強的學習能力。
所提出的方法與其他基于胡蘿蔔資料集的最新方法的比較
結論
在這項工作中提出的MSFCA-Net，一個用于作物和雜草分割的多尺度特征卷積注意力網絡，利用非對稱大卷積核設計了聚合多尺度特征的注意力機制，并采用跳過連接配接，有效整合局部和全局上下文資訊，
顯著提高了所提模型的分割精度，增強了其處理細節和邊緣分割的能力，還設計了一種結合骰子損失和焦點損失的混合損失計算模式。
為作物和雜草設計了單獨的損失函數，這種混合損失有效地提高了所提模型在處理類不平衡方面的性能，增強了其從困難樣本中學習的能力。
與其他模型相比，它的模型在大豆、甜菜、胡蘿蔔和大米資料集上表現出明顯更好的性能，mIoU得分分别為92.64%、89.58%、79.34%和78.12%，這證明了其強大的泛化能力和在複雜背景下，處理作物和雜草分割的能力。
網絡上的消融實驗證明了所提出的模型，使用非對稱大卷積核和空間注意力提取特征的能力。
還對田間大豆幼苗和雜草資料集進行了采集和人工标注，豐富了農用雜草資料資料集，為今後的研究提供了豐富有效的資料，這項工作對智能除草和智能農業的發展具有重要意義。