前言
噴灑 （spraying），主要指的是用農作物保護産品噴灑農作物。農作物保護産品的類型有很多，比如用來殺死雜草的除草劑、農藥、營養液 / 化肥等。由于噴灑農藥主要是為了保護農作物的生長，這一類操作也常常被稱為農業植保（Crop protection）。在本文中筆者将集中讨論除（雜）草方面的自動化程序。
噴霧機器（sprayer），則顧名思義，是用于噴灑化學産品的裝置。可能大家根據電視裡想象的打農藥的場景，一般是一個人背着帶有噴槍的背包行走在田間，對左右兩側的作物進行噴灑。實際上，這類噴霧機屬于體型較小的便攜式單元，現代農業使用的噴霧機器已經發展為大型裝置，主要可以分為三類——安裝式（mounted）、拖挂式（trailed）、自走式（self-propelled），如下圖所示。前兩者不能自行移動，需要與拖拉機相連，而最後一類則整合了引擎、車廂等部件。安裝式和拖挂式的差別在于和拖拉機的連接配接方式，可以了解為安裝式噴霧器更像是一個「挂件」，而拖挂式噴霧器則自帶輪子，可以連接配接在拖拉機的尾部。具體使用哪種噴霧器，則要根據實際需求和成本考慮。由于拖拉機在整個農業周期中都承載着衆多的任務，是不可或缺的機器，而噴霧器隻是在特定時期使用的機器，對于一些中小型農場來說購買安裝式或拖挂式噴霧器是更加經濟的選擇。
噴霧器。左：安裝式（mounted），中：拖挂式（trailed），右：自走式（self-propelled）。（圖源：
https://www.beyne.be/en）
在噴霧器上，最惹人注目的部件應該就是噴杆（spray boom）了。根據作物的高度，噴杆一般安裝在 1.2 到 9 米之間的高度，而其臂長可以輕易達到 10-20 米左右，甚至 40 米以上。在噴杆上，等距離的布有噴嘴（nozzle），用于促進液體分散到噴霧中。在本文探讨的智能噴灑（smart spraying）的産品中，對噴嘴的自動控制是開發過程中的一個重要環節。
自走式噴霧器展開的樣子。模型：Case Patriot 4430 Sprayer w/120 Foot Booms（圖源：
https://www.youtube.com/watch?v=nfcbTHwPxi4噴灑作業并不會涉及到非常複雜的流程，噴霧器的機械設計也很直覺，但要實作智能噴灑，在實踐過程中也有不少挑戰需要解決。第一個挑戰就是足夠的農業知識——要進行雜草防治，首先需要對常見的農作物和雜草有一定的了解。從下圖中可以看出，随着雜草開花并分支，其形态與幼苗時期的樣子已經有了很大不同，而這還僅僅隻是一種雜草。目前在歐洲範圍内大概就有 30，000 種雜草 [1]，更遑論全世界範圍内了。許多雜草或與農作物的形态相似，或隻在特定領域生長（比如美國的玉米農場就會生長一種在歐洲的玉米農田裡見不到的雜草）。而十年前本地常見的雜草又和現在常見的雜草不一樣。要收集高品質——覆寫範圍廣、有代表性、标注準确等——的資料，研發人員必須具有足夠的專業知識或與農學家密切合作。
此外，開發智能噴灑系統，并不僅僅隻是為了取代目前的半人工噴灑，更是為了減少化學藥品的使用。在食品受到嚴格監管的歐盟區，農業行業的發展很大程度上受到現有的或近期将會出台的法律法規的影響。從 2014 年開始，病蟲害綜合治理（Integrated Pest Management ，IPM）在歐盟成為強制性措施，其中就包括負責任地使用農藥和植物生物技術解決方案。由于目前環境問題越來越嚴苛，在接下來的幾年，預計會有更具體的措施出台來進一步限制化學藥品的使用量。是以，噴霧器作業的精準度必須進一步提升——甚至達到厘米級的精度——來符合更高的環保要求。相應的，這也對模型的推理速度，包括相應的控制系統的響應速度都提出了比較高的要求。
平心而論，一個農業産品即便是要實時達到厘米級的精度，其難度仍然很可能低于自動駕駛領域的一個實時應用，因為農業器械的作業速度要遠低于汽車駕駛的速度。比如噴灑除草劑時，拖拉機的時速一般不會超過 30 km/h。但這并不代表這樣的要求就沒有挑戰性。首先生産商能夠負擔的硬體裝置是有限的，而為了能夠覆寫噴灑的所有區域，噴杆上一般需要每個幾米安裝一個相機和足夠的算力來捕捉圖像并進行模型推理，然後在噴霧器上再配備單一控制系統來完成 GPS Mapping 等任務并操控所有的噴嘴。總體計算下來，每個相機可能隻能配備一個相當于 Nvidia Jetson nano 的算力的 edge device。這樣的裝置要運作進行圖像分割的神經網絡進行實時推理不是完全不會吃力的。實際上，Nvidia Jetson nano 并不總是工業自動化開發中一個好的算力裝置選項。至少在農業領域，由于機器運作的環境可能會比較有挑戰性，并且在作業時機器内部可能會形成高振動、高溫或高濕度的環境，每個制造商都對使用的零部件有具體的要求——比如 IP 68 防水—— 而 Nvidia 家族的算力裝置很多都沒有滿足生産商的要求。另外，智能噴灑對噴霧器原有的硬體也是一個挑戰。筆者就見過噴霧器自帶的 driver 相應速度不夠快，導緻噴嘴的控制速度跟不上模型的推理速度，或者噴杆太長導緻末端的計算裝置供電不足等各種始料不及的問題。一些其他的特定于植保領域的問題包括自然環境的挑戰性——風會幹擾噴灑的精确性等、田野末端的過量噴灑——當噴霧器在田野末端掉頭傳回田野的另一側繼續噴灑除草劑時，由于駕駛路線的重合，部分雜草會被重複檢測到，進而造成除草劑的過量噴灑。
但另一方面，智能噴灑涉及到的行業知識相對其他任務來說已經較少，進入壁壘不高。這本身也是一個适合計算機視覺的任務，随着相關解決方案的成熟，目前市場競争已經變得越來越激烈。宏觀來看，現有的解決方案可以大緻分為三類：在噴霧器上添加智能子產品，田野機器人（field robot），無人機和噴霧器結合的解決方案。第一類一般是市場内現有的大型生産商主攻的方向，也有一些初創公司希望與生産商合作開發或直接将解決方案賣出，而不直接參與市場競争；第二類則是很多初創公司或從其他領域轉入的公司的主攻方向，它們一般希望能夠參與市場競争，與消費者有直接接觸；後者則很多是現有的農業無人機服務商提供的新特征。接下來筆者将對每一類的典型産品進行讨論。
本文将集中讨論各種創新性的智能噴灑機器人。從如何在一般噴霧器基礎上添加機器學習算法，到能夠替代完全噴霧器的新一代田野機器人，以及在研發過程中面對的各種實際挑戰。
在噴霧器上添加智能子產品
大部分産品的研發思路都是通過相機（RGB 或 Spectrum）拍攝噴霧器将要噴灑的區域，然後利用部署在相機上的計算機視覺算法識别區域内的雜草并計算雜草的相對或絕對位置，将該資訊傳回到控制系統中。後者會根據噴霧器自身的位置和速度以及雜草的位置，在到達雜草附近時開啟噴嘴，噴灑除草劑。這個思路不僅僅是适用于為噴霧器開發智能子產品，也包括開發機器人等其他手段，差別主要在于圖像擷取和推理的手段以及位置。
模型方面，各團隊都大同小異，無非是常見的那幾個圖像分割神經網絡，即便是非常簡單的 UNet 也可以取得不錯的表現。大部分工業界的研發工程師們對模型是不是足夠創新、是不是 SOTA 模型不會特别在意，能不能輕易的整合到現有的産品架構中重要的多。實際上， UNet 及其變體 ENet 往往受到青睐，原因有三。其一，模型推理速度不錯，并且結構簡單，對其進行壓縮、加速、優化等操作也非常友善；其二， 模型較小或者可以被輕易的縮小；其三，其使用的 operation 都比較基礎，不容易出現将其部署到裝置上時卻發現裝置不支援一些剛開發出來的 operator 的問題，如果使用 Tensorflow-Lite 等 framework 的話最終的需要運作 binary 也足夠小，友善通過雲端對裝置進行遠端更新。
至少在智能識别雜草子產品上，如何獲得更高品質的資料、如何快速疊代是比用什麼神經網絡重要的多的問題。一般來說，像這樣标定在特定領域（domain specific）的産品，往往都是從一個很小的資料集起步直接訓練模型，然後在自己的或者合作方的場地進行測試。如果産品的表現差強人意就可以部署到 edge device ，并建立相關的控制系統，來進行更大範圍的測試。當在測試過程中發現問題時——比如異地測試發現模型不能識别當地的特殊雜草——再通過重新訓練模型來優化産品表現。是以，如何在噴灑機器測試後，再高效地重新訓練模型，這種關系到 AI 落地的問題，則是筆者在本文想主要讨論的問題。
在過去不久的 IROS 2020 會議上，波昂大學的團隊提出了使用 Style Transfer 生成資料來用于重新訓練模型而不必再收集資料 [3]。作者将已經收集并标記好的資料領域命名為源領域（source domain），神經網絡需要重新訓練的資料領域命名為目标領域（target domain）。源領域和目标領域差別可以在于雜草的不同、環境的不同（黃土地 VS 黑土地）、相機的不同等等等等。
用于語義分割 （semantic segmentation）的全卷積神經網絡（FCN）就是前文提到的 UNet，具體結構如下文所示。
用于進行圖像分割的 FCN 神經網絡（圖源：Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).）
在目标領域内，由于資料已經被标記好，直接使用有監督訓練就可以得到可用模型。當該模型被用于其他環境時，由于資料領域的變化，模型表現會下降，此時，作者使用 Cycle GAN 來将原有的資料轉化為符合目标領域風格的資料。Cycle GAN 由兩個生成器（genrators ）G 和 F 組成。G 用于将圖像從源領域轉換到目标領域，F 則做反方向的轉換。
假設在源領域内已有圖像 x 和 Groundtruth S_x，在目标領域内有圖像 y 但沒有相應 groundtruth。則 Cycle GAN 中的生成器 G 會将圖像 x 轉換到目标領域生成 G(x)，F 再将 G(x) 轉換回源領域生成 F(G(x))，如下圖藍色圓環所示。接下來的循環中——如綠色圓環所示——生成器 F 将目标領域的圖像 y 轉換成 F(y)，再有 G 轉換回目标領域生成 G(F(y))。訓練時使用的損失函數是 Cycle GAN 論文中原本使用的損失函數。
用于生成仿真圖像的 Cycle GAN（圖源：Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).）
這樣訓練雖然可以保證生成的圖像和目标領域的圖像具有一樣的風格，卻不能保證圖像中重要的語意資訊還能被保留下來。但如果沒有語意資訊，生成的圖像就不能用于重新訓練神經網絡，整個工作也就毫無意義。為了解決這個問題，作者在兩個領域内各加了一個用于圖像分割的 FCN，結構和前文提到的 FCN 一模一樣。在每個循環中，FCNs 需要對生成的圖像進行分割，并與 groundtruth 對比計算 IOU 損失。由于目标領域内的圖像 y 沒有 groundtruth，源領域内 FCN f_x 在其上的預測結果 S_{F(y)} 将作為 grouthtruth。這樣，在源領域内可以計算 FCN 對生成器 F 生成的圖像 F(G(x)) 的預測 vs groundtruth S_y 的 IOU 損失；在目标領域内可以計算三個 IOU 損失，FCN 對生成器 G 生成的圖像 G(F(y)) 的預測 vs S_{F(y)}、對生成的 G(x) 的預測 vs groundtruth S_y、 以及對圖像 y 的預測 vs S_{F(y)}。
這些損失将被記入到損失函數中，以保證生成的圖像仍保有重要的語意資訊。
在下圖中，作者展示了将 IOU 損失納入目标損失函數所帶來的效果，其中第一行和第二行代表了在不同地域收集資料所帶來的資料變化（波昂 vs 斯圖加特，蘇黎世 vs 波昂），第三行實驗了不同作物（甜菜 vs 太陽花），第四行則使用了不同的機器人，其上配備的相機不同（AD-130GE vs MAKO G-158）。除了第三行部分使用了太陽花資料，其他資料都是基于甜菜的，目标則是識别圖中的雜草。從這裡也可以一窺一旦地域擴大、時間拉長，雜草檢測任務的複雜度也直線上升。
在前兩行中，視覺上來看原本的 CycleGAN 雖然比不上作者改進的 GAN，但還不算太差。但當圖像變得比較「稀疏」，特别是作物和雜草都變得很小時， CycleGAN 生成的圖像就開始丢失很多語意資訊，大大拉低了圖像品質。由此導緻重新訓練後的 FCN 在預測時丢掉了很多細節，噪聲也比較多。
定性結果。第一行和第二行：不同地點；第三行：不同作物；第四行：不同鏡頭 / 機器人收集的資料。（圖源：Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).）
其他簡單的方法還有直接将各種雜草「摳圖」，然後拼接到此前拍攝的圖檔上，進而對需要重點關注的雜草進行訓練。由于這類圖檔本身也是對着地面拍攝，景深并不複雜，拼接後的逼真度也是可以接受的。
田野機器人（field robot）
在 VDI Land.TECHNIK 2020 會議上，ecoRobotix 分享了他們研發田野機器人用于全自動智能噴灑作業的經驗 [2]。在産品還處于構思階段時，ecoRobotix 主要考慮了動力系統、圖像擷取、機器人運輸和安全問題。在設計動力系統時，一方面目前對清潔能源的要求越來越高，另一方面田野機器人作業的一大優勢就是不需人力，如果在實際作業時需要人力時不時對動力系統進行維護這一優勢就大打折扣了，是以 ecoRobotix 最終選擇了電池加太陽能版的解決方案。圖像擷取方面，光譜圖像（spectral image）相較于普通的 RGB 圖像更有優勢，但出于成本和訓練神經網絡的難易度等考慮，跟目前市面上的大部分解決方案一樣，最終 ecoRobotix 還是使用 了 RGB 圖像。實際對于智能噴灑這一任務來講， RGB 圖像就夠了，成本也更低。但如果是檢查作物健康，光譜圖像就變得有些不可取代了，因為很多作物損失在可見光下是不可見的。執行任務時機器人需要到田野作業，而機器人又不能自主上路，是以最終的産品需要容易被運送。也就是說，機器人最好不需要過多的其他附件來執行任務，并且的形态設計上要容易被拖拽。這樣可以通過拖拉機直接拖挂，然後運輸到目的地。安全性則主要指的是大小和重量，特别是在目前相關的法律法規還不清晰的情況下，越輕、越小的機器越容易規避可能的風險。同時這對産品最終的成本也有很大的影響。
在 ecoRobotix 的第一版設計中，如下圖所示，整個機器人的重量隻有 140 千克。為了将重量和成本壓得盡量低，整個機器人的設計非常簡單，基本上可以了解為在四個輪子上架了電池和一塊太陽能闆，并在太陽能闆旁邊安裝了算力裝置、兩個噴嘴和控制系統以及一個相機。
ecoRobotix 機器人第一版設計。（圖源：Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.）
雖然成本很低，但該機器人的工作效率實在不高—— 一次隻能噴灑 2 米内的雜草，工作速度最高也隻有 1.8 km/h。更麻煩的是，在第一版的設計中機身上的相機在捕捉圖像時主要依賴自然光，這就導緻随着地形、天氣和時間的變化擷取的圖像的品質會發生很大變化。即便通過曝光時長的不同相機能夠分别對陰影處和太陽光直射的地方進行拍攝（如下圖所示），最終合成的圖像品質仍然不理想。
ecoRobotix 第一版機器人拍攝圖像對于自然光不穩健。（圖源：Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.）
由于這個問題的存在，ecoRobotix 對其機器人進行了重新設計，最終形成的第二版配有更多部件，當然也更大更重（淨重 600 千克）。具體來說，第二版的機器人除了用太陽能版充當一個「頂棚」，還在旁邊安裝了擋闆以阻擋自然光。相機則被安裝在擋闆下方，并配有照明系統來擷取更穩定的亮度。相機的數量也增加到了兩台，實時進行定位和雜草檢測。在機器人的尾部布有高密度的噴嘴（25 噴嘴 / 米），進而保證厘米級精度的噴灑作業。在作業速度方面，雖然還是算不上理想，但作業速度也有提升一倍（3.6 km/h）。由于機器人可以 24/7 全天不停歇作業，也在一定程度上彌補了其工作速度過慢的缺陷。
ecoRobotix 機器人第二版設計。（圖源：Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.）
無人機
在無人機方面，由于現有的解決方案基本都是由商業公司自行開發的，很難找到如論文等具體的示範，但其模型原理不能猜想——無人機也需要對其捕捉的圖像進行推理，并借助一些 GPS 軟體對預測到的雜草進行定位，然後或直接進行噴灑，或在飛行完畢後生成報告，使用者則可以将報告同步到自己的噴霧器中按規劃好的路徑進行噴灑。單純使用無人機進行智能噴灑相比其他方法并沒有很大優勢，但考慮到無人機還可以進行其他植保作業——如噴灑營養液、作物健康檢查等——用無人機進行智能噴灑就變得順理成章了起來。
目前市場上不同的服務商的賣點不同。American Robotics 緻力于提供可以完全自主操作的無人機 [4]。通過将偵察無人機安置在 ScoutBase 中，無人機可以自行傳回 ScoutBase 進行充電或躲避惡劣天氣。無人機本身并不執行任何實際作業，它們的任務隻是偵察。ScoutBase 中還配有資料處理站，用于存儲、清洗、計算、傳送無人機擷取的資料。使用者隻需要安裝 ScoutView 就可以連接配接到 ScoutBase 随時擷取想要的資料。根據這些資料，使用者可以相應的安排噴灑工作。同樣采取這一政策的還有 Volodrone [5] ，但它們的無人機仍然需要操作人員。Skyx [6] 則緻力于飛行和作業一體化和高度定制化。Skyx 的無人機可以在檢測到雜草的同時就噴灑除草劑，使用者可以通過 APP 随時改變自己想要噴灑的藥物量。相同類型的産品還有 DroneAG [7]。
結語
無人機的優點在于其靈活性，邊邊角角也能噴灑到，在不規則的農田裡有優勢。但其工作效率實在難以恭維，即使目前市面上的植保無人機的單機載重和續航能力相較以前已經大大增加了。從燃料消耗比來看，噴灑效率最高的無疑是傳統的噴霧器，一次可以噴灑幾十米，駕駛速度也快，機器人和無人機難以望其項背。在大型農場裡如果單純使用小型機器人，雜草的生長速度可以比噴灑完整個農田的速度還快。從無人化角度來看，相對于機器人和無人機，噴霧器的無人化進展更緩慢。機器人如果配有太陽能電池可以 24/7 工作，可以彌補噴灑效率低的缺陷。不需要操作人員的無人機在前文中已經提到了。
成本方面，三種産品不相上下。但噴霧器是市場上已經存在了很久的産品，其使用和維護都更容易上手。另一方面，由于體型和重量都更小，無人機和機器人在安全性上則占有巨大優勢，這在目前相關法律法規還沒有到位的情況下有助于規避可能的風險。
最後從環保角度來看的話，使用太陽能為無人機和機器人供能不是什麼難題。但用清潔能源為噴霧器這類大型器械供能仍算小衆，雖然目前各大生産商都在加緊研制更環保的機器，市場上的大部分産品仍然在使用柴油。
對于消費者來說，目前農業市場還處在轉型過程中，不少農民對自動化解決方案還有顧慮，或認為其耐用性不足、或認為其使用者體驗不夠好、或認為其成本過高。另外，相關的法律法規也不夠明确，一旦出現事故，相關方如何定責是個難題。服務商如何處理其收集的資料、如何保護使用者的隐私等，都是農民密切關注的話題。但智能噴灑可以将化學産品的使用量減少至多 90%，從這一點來看不論目前的産品還有多少不足，智能噴灑産品進入這個行業并逐漸成為被農民們接受的解決方案是必然的。
而技術的飛速發展，也在推動政府和相關機構更加積極的去探讨監管機制。從筆者今年參加的各類會議來看，目前企業方研發人員都認為相關技術已經成熟，目前主要是在等待具體法規的釋出。實際上，大部分從業者已經對将會出台的監管内容有一個比較明确的預期了，并認為幾年内具體的條款就會釋出。法規釋出後，一到兩年之内相關産品就能夠完成準備工作進入市場了。随之而來的，産品的成本也一定會很快的降低到農民可以接受的程度。
自動化技術正在滲透進我們生活的方方面面，而改變，很可能會比很多人想象中來的還要快。
參考文獻
[1] European Crop Protection Association(ECPA)
https://www.ecpa.eu/more-with-less[2] Tanner, S. (2020). Experience gained in developing autonomous robots. International Conference on Agricultural Engineering.[3] Gogoll, D. et al. (2020). Unsupervised Domain Adaptation for Transferring Plant Classification Systems to New Field Environments, Crops, and Robots. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).[4]
https://www.american-robotics.com[5]
https://www.volocopter.com/en/volodrone/[6]
https://www.skyx.solutions[7]
https://droneag.farm分析師介紹：
本文作者為 Yuanyuan Li。幾次轉行，大學國際貿易，研究所學生轉向統計，畢業後留在比利時，從事農用機械研發工作，主要負責圖像處理，實作計算機視覺算法的落地。欣賞一切簡單、優雅但有效的算法，試圖在深度學習的簇擁者和懷疑者之間找到一個平衡。
關于機器之心全球分析師網絡 Synced Global Analyst Network
機器之心全球分析師網絡是由機器之心發起的全球性人工智能專業知識共享網絡。在過去的四年裡，已有數百名來自全球各地的 AI 領域專業學生學者、工程專家、業務專家，利用自己的學業工作之餘的閑暇時間，通過線上分享、專欄解讀、知識庫建構、報告釋出、評測及項目咨詢等形式與全球 AI 社群共享自己的研究思路、工程經驗及行業洞察等專業知識，并從中獲得了自身的能力成長、經驗積累及職業發展。
感興趣加入機器之心全球分析師網絡？點選閱讀原文，送出申請。
閱讀原文