本文節選自
郭陽陽, 杜書增, 喬永亮, 梁棟. 深度學習在家畜智慧養殖中研究應用進展[J]. 智慧農業（中英文）, 2023, 5(1): 52-65. doi:10.12133/j.smartag.SA202205009
GUO Yangyang, DU Shuzeng, QIAO Yongliang, LIANG Dong. Advances in the Applications of Deep Learning Technology for Livestock Smart Farming[J]. Smart Agriculture, 2023, 5(1): 52-65. doi:10.12133/j.smartag.SA202205009
知網閱讀全文
官網免費閱讀全文
基于深度學習的動物行為識别研究應用進展
動物行為可反映其身體健康和生理情況，是畜牧養殖管理的重要依據。目前常通過接觸式和非接觸式兩種方法監測動物行為。接觸式監測方法是将一個或多個傳感器安裝在動物身上來完成資料采集，通過資料分析與模組化來實作動物行為識别；而非接觸式監測方法通常基于圖像視訊等資訊，提取相關特征并建構行為識别模型。深度學習在這兩種監測方法中都得到了應用。
1
接觸式動物行為識别方法
基于電子接觸式傳感器和深度學習技術，可以克服傳統人力監測方法的弊端，解放勞動力，提高畜牧養殖業的智能化管理。目前常用的動物行為資訊采集的傳感器主要有加速度傳感器和聲音傳感器等。通過将三軸加速度傳感器、RFID（Radio Frequency Identification）等裝置安裝在動物身體部位（圖1）上擷取相關行為資料，再通過深度學習技術進行資料分析，可以大大提高動物行為識别的準确率和識别效率。
圖1 常見牛隻行為檢測傳感器的佩戴位置
（a）頸部 （b）腿部 （c）耳部
Fig. 1 Wear position of sensors for common cattle behavior detection
Wang等在綿羊頸部佩戴麥克風并采集采食聲音信号，同時比較了深度神經網絡（Deep Neural Networks，DNN）、CNN和RNN網絡在采食行為識别上的性能。結果表明，RNN、CNN和DNN模型的準确率分别為93.17%、92.53%和79.43%。應烨偉等提出一種基于區間門檻值與遺傳算法優化支援向量機（Genetic Algorithm-Support Vector Machine，GA-SVM）分類模型的母羊産前行為識别方法。該方法對基于頸環采集節點獲得的加速度資料進行小波降噪和提取輪廓線預處理後，利用區間門檻值分類法和GA-SVM方法實作母羊的行為識别。該方法實作了97.88%的行為識别準确率。張春慧等基于羊隻牧食的三軸加速度資料，利用CNN實作對羊隻采食、咀嚼、反刍3種牧食行為的分類識别，該方法對羊隻牧食行為的平均識别率達到了93.8%。郝玉勝等基于Wi-Fi信号擷取奶牛的運動狀态資料，通過資料處理得到包含奶牛動作的信道狀态資訊（Channel State Information，CSI）序列片段，最終通過LSTM模型建構奶牛行為識别模型，識别準确率為96.67%。Peng等采用慣性測量單元擷取牛的行為資料，并采用具有長短期記憶的循環神經網絡（Long Short Term Memory-Recurrent Neural Network，LSTM-RNN）對牛的八種行為進行分類，分類準确率達到了80%以上。Hosseininoorbin等通過包含三軸加速度計的傳感器擷取肉牛的頸部運動資料，并結合深度學習技術實作肉牛多種行為的識别，其中2分類的F1值為94.9%，9分類的F1值為89.3%，說明将深度學習技術用于分析傳感器資料是可行有效的。
接觸式擷取動物行為資訊的方法往往需要在動物身上安裝相應的傳感器，可能導緻動物産生應激反應，影響動物健康和福利。此外，基于傳感器的行為模組化的主要挑戰之一是，由于傳感器故障和動物項圈的實體運動導緻傳感器重新定位，進而造成資料的丢失或者偏差。此外，牛場養殖場中，通信信号偏弱，傳感器擷取的資料是否可以實時且完整地上傳到雲端需要實際測試，且擷取傳感器資料後也面臨一個需求問題。目前農場主不僅僅關注動物行為，而且更加關注動物健康問題，是以需要對資料進一步細化，以達到對飼養員的指導作用，但這需要大量的資料積累。
2
非接觸式動物行為識别方法
目前，非接觸式動物行為識别方法常通過計算機視覺系統擷取目标圖像和視訊等資訊，再通過深度學習模式實作生物視覺特征和時空特征提取、目标檢測和行為識别分類。下面分别從生物視覺特征和時空特征的角度闡述近年研究人員對非接觸式動物行為識别方法的研究情況。
2.1 基于生物視覺特征的行為識别研究
基于生物視覺特征的行為識别方法通過深度學習網絡從樣本視訊幀或圖像中檢測出目标區域并擷取該區域的視覺特征，然後基于此特征訓練并建構行為識别網絡模型。目前常用的模型有YOLOv3和YOLOv4等。
Kim等采用YOLOv3、YOLOv4和改進YOLOv3對豬的采食和飲水行為進行識别分類，準确率普遍大于90%，但豬群聚集引起重疊或擁擠會導緻行為檢測失敗是一個研究難點。Jiang等通過YOLOv4模型檢測出山羊目标區域，并擷取目标區域與飲水和采食區的位置關系資訊以及質心的時間移動量，來實作采食、飲水、活動以及非活動行為的識别分類。王少華和何東健通過改進YOLOv3模型，擷取奶牛發情時爬跨行為的視覺特征，并訓練YOLOv3網絡實作了奶牛的發情行為檢測，準确率為99.15%。Wu等提出一種基于YOLOv3模型和相對步長特征向量對瘸腿奶牛和非跛腳奶牛進行分類的方法，該方法采用YOLOv3模型提取奶牛關鍵區域（如腿部，頭部）的視覺特征并訓練檢測網絡模型，在檢測關鍵區域的基礎上結合奶牛前後腿的相對步長建構特征向量，将其輸入到長短期記憶網絡分類模型中判斷奶牛是否跛行，識别準确率達98.57%。Ayadi等采用CNN模型提取奶牛嘴部視覺特征，實作了奶牛反刍行為的檢測和識别，其識别準确率為95%。
然而，上述研究中隻關注圖像特征，而不關注時間資訊。且視訊幀或圖像中特征提取時易受到外界環境的幹擾（如光照強度、背景顔色、建築物等），故基于生物視覺特征的行為識别模型是否可應用于不同場景下的農場檢測仍需要進一步探索。
2.2 基于時空特征的行為識别研究
動物行為是一個運動的連續過程，除了空間資訊外還包含時間資訊，故提取動物行為的時序特征對行為識别有着重要意義。
Chen等提出了Xception和LSTM相結合的行為識别模型，通過Xception提取圖像序列的空間特征，并輸入LSTM中進一步提取時空特征，通過Softmax實作豬的飲水行為檢測。Guo等和Qiao等分别建構了基于BiGRU-attention和C3D-ConvLSTM的奶牛典型行為識别模型，在提取奶牛行為視訊段的時序特征基礎上對奶牛的行走、站立、梳理、探索以及采食行為進行了識别，并在不同生長階段的奶牛資料集上進行了驗證，試驗結果表明，BiGRU-attention和C3D-ConvLSTM識别準确率分别約為82%和95.5%。Jiang等采用單流光流卷積網絡，對奶牛跛行行為進行了檢測，準确率為98.24%。Wu等采用CNN-LSTM網絡模型，對奶牛的飲水、反刍、行走、站立和休息5種行為進行了識别，首先通過CNN網絡擷取圖像的視覺特征，再通過LSTM來擷取時空特征，其結果優于其他基于視覺特征或者空間特征的深度學習模型。
上述深度學習提取行為識别時空特征的研究結果表明，大部分研究是通過将CNN模型與LSTM模型結合提取資料的時空特征，以此提升行為識别模型的性能。然而，在目前的研究中仍然存在相似性行為（如飲水和遊戲）識别錯誤的現象。是以，基于時空特征的行為識别研究仍需要進一步研究。
3
行為量化分析
目前對動物行為的研究缺乏定量分析（采食頻率、運動時長、反刍時長等），而分析動物與其周圍環境的語義關系場景圖，對家畜站立、進食、行走及爬跨等不同行為在時空域下進行統計和量化分析，建構行為圖譜，可為動物異常行為判斷以及精準養殖管理提供科學依據。在檢測動物行為的基礎上，進一步對行為的時長、幅度等進行量化研究有利于提高對動物畜牧場的管理效率，提高效益，比如影響動物的采食、飲水或休息行為的外界因素等的研究，有利于對動物活動規律的認知，改善管理決策。目前主要通過改變飼料、光照、溫度、墊料等因素定性分析對動物行為的影響，以此為動物提供舒适場所提高動物福利。然而，大多數研究主要通過人工觀察記錄動物的行為變化情況。
随着計算機視覺技術的發展，該技術也被用于評估動物行為與環境間的相關性研究中。Guo等采用背景減法和幀間差的內建方法對犢牛與場景的互動行為進行了檢測，實作犢牛采食、飲水和休息行為等與場景互動行為的識别。試驗結果表明，該方法對于牛進入牛欄、離開牛欄、保持靜止（站和躺等靜态行為）和轉身的環境互動行為識别的準确率分别為94.38%、92.86%、96.85%和93.51%。Costa等通過圖像分析技術探索豬的活動與豬舍内環境參數（通風率、溫度和濕度）之間的關系，旨在研究環境對豬生長的影響。Chen等在CNN-LSTM檢測豬的目标區域的基礎上，提出了一種基于最大熵分割、HSV顔色空間變換和模闆比對的圖像處理算法，計算豬頭部的圓度、頭部進采食區域的比例、頭部運動的累積像素，以及頭部到豬背上數字标簽的距離，以确定每頭豬的身份和喂食時間，識别豬喂養行為的準确率為95.9%。
如上研究，計算機視覺技術在評估動物行為與環境間的相關性方面取得了較好的成果。然而，在識别動物與環境互動的行為中仍然存在許多難以識别和識别錯誤的問題。例如，小牛頭部在進食前後在喂養盆中靜止不動，或者小牛頭部的陰影被錯誤地識别為喂養行為。且深度學習技術在該方面的應用較少，仍需結合實際需求進一步探索。
4
小結
深度學習方法用于動物行為識别面臨着兩個主要挑戰。首先，深度學習模型的訓練需要大資料集，而基于深度學習的識别方法在推廣到新的資料集或其他類型的動物時往往存在局限性。另外，現有的動物行為識别缺少時間次元、空間場景資訊及動物與環境互動活動的分析，難以實作進階複雜行為的語義了解和分析，需建立動物時空場景行為識别與了解的新理論方法。目前采用深度學習技術在檢測和識别動物行為的基礎上，進一步挖掘行為時長或頻次資訊的研究仍比較缺乏，需要進一步探索。此外，微小行為的檢測和識别也面臨着一些挑戰，例如複雜的場景、可變光照、遮擋、牲畜之間的接觸和重疊，而深度學習技術結合注意力機制子產品已被證明在一定程度上解決了局部細節的辨識問題，并被用于識别牲畜行為，但無法記錄環境變量，仍需與傳感器相結合建構一套完整的監測系統。環境參數的調控有利于為動物提供舒适場所，提高動物健康福利，故對環境參數與行為的量化關系研究具有重大意義。
智慧農業微信交流服務群
為友善農業科學領域讀者、作者和審稿專家學術交流，促進智慧農業發展，為更好地服務廣大讀者、作者和審稿人，編輯部建立了微信交流服務群，有關專業領域内的問題讨論、投稿相關的問題均可在群裡咨詢。入群方法：加小編微信331760296，備注：姓名、機關、研究方向，小編拉您進群，機構營銷廣告人員勿擾。
釋出征集
歡迎在我公衆号釋出科研團隊介紹、創新科研成果及相關活動等資訊。