利用局部控制和協作學習實作工業過程的科技優化
工業過程控制是一個廣泛而多樣的領域，其應用範圍包括化工、能源或半導體廠的控制，化工廠由多個處理單元組成，它們共同生産化學産品，這些廠通常包含大量的傳感器和控制單元。
随着流程工業産品需求的不斷增長，在各種情況下保持最佳生産是必要的，包括當系統遇到幹擾或過程特性漂移時，目前的過程控制方法，可以分為經典控制方法和基于優化的方法，前者遵循由專家給控制器描述的規則。
這種傳統方法需要從專家那裡轉移大量知識，通過控制規律和其他數學推導傳遞給控制器，後者，基于優化的控制器，包括衆多方法，如比例-積分-微分控制或模型預測控制，MPC可以向未來展望，并根據未來誤差采取行動。
它們的問題是優化步驟需要時間計算最優控制輸入，特别是對于複雜的高維系統，許多部署的控制器在穩健性和性能之間取得平衡，具體來說，受控過程的整體性能，取決于過程本身的特性和所使用的調節參數。
即使在安裝時調節得很好，過程特性的漂移或有意的設定點變化，也會導緻性能随時間的推移而惡化，目前的方法在本質上不夠穩健，因為它們通常無法處理諸如幹擾之類的新情況，一個吸引人的經典控制器的替代方案是強化學習。
因為RL在控制設計中，不需要對工廠進行明确的模組化，可以通過與環境的試錯互動，來學習控制政策，而無需有經驗的操作員進行監督，并且往往能夠推廣到未知的情況，一些先前的研究，探索了使用RL來控制化學工廠。
針對整個工廠的控制，仍然是目前研究的一個挑戰，也就是說，在具有大規模狀态-動作空間和耗費計算的任務中，其樣本效率一直是行業采納RL的障礙，在強化學習中使用的标準範式中，單個控制器接收所有可用的輸入資訊，并将所有動作選擇為輸出，這導緻複雜任務中的高維輸入和輸出空間。
在具有大規模狀态-動作空間和複雜動态的任務中，通常很難解決，相比之下，提出的架構由N個局部政策組成，每個政策接收一組局部觀察，并控制一組動作，每個局部政策控制環境的不同區域。
這種局部控制結構，在生物系統中的運動控制系統組織中，受到生物啟發，需要注意的是，現有方法類似于多智能體強化學習，因為每個局部政策控制不同的動作集，提出的架構使用由多個局部政策組成的單個智能體，這些政策與同一環境進行互動。
通過這樣做，控制複雜的大規模環境的問題，被轉化為一組更容易控制的局部控制問題，減少了訓練時間，并提高了樣本效率，在這種設定下，每個局部政策隻感覺局部資訊，并控制動作空間的子集，這明顯削弱了最終全局政策的控制能力。
為了克服這個缺點，研究人員提出了一種通過消息傳遞，實作局部政策之間的協調和資訊共享的機制，這涉及訓練一個生成消息的通信信道，這個想法對于使局部政策，能夠通路其他局部政策，接收到有意義的上下文資訊，并在局部政策内部，實作複雜的協調是至關重要的。
考慮了一個具有兩級自然層次結構的架構，進階對應于處理通信，低級對應于一組局部控制器，階層化學習問題，是同時學習一個通信信道，以及稱為局部政策的低級政策，學習者的目标是在其通信信道，和局部政策同時運作時獲得高回報。
在兩個獨立的環境中評估算法的性能，一個小規模的機器人控制環境，以及一個大規模的VAM工廠環境，該環境反映了真實過程工廠的特點和實際問題，進一步進行了消融研究，以衡量方法中每個元件的效果。
首先在MuJoCo模拟器中通過OpenAI gym接口，評估方法在一個連續控制任務中的表現，Ant-v2，在Ant-v2中，目标是使一個四腿生物盡可能快地向前走，這組實驗旨在确定目前方法，是否在小規模問題上仍然有效，并且由于訓練該任務所需的計算量較低，進一步用于消融分析。
第二個環境是一個VAM工廠，由于VAM包括化工廠中的典型過程，是以可以用作一個強健的基準環境，該模拟器由八個元件組成，用于物料供給、反應和循環利用，通過109個傳感器觀察過程，用于測量化學物質的體積、通量、溫度、濃度和壓力。
代理的目标是在避免裝置故障，和保持過程穩定的同時優化工廠的利潤，該環境特别具有挑戰性，原因包括，較大的狀态和動作空間，計算量昂貴的模拟，強調需要樣本效率高的代理程式，以及複雜的動态性。
基于局部控制和協作學習的工業過程優化，是一個具有廣闊前景的研究領域，它不僅可以提升生産效率和産品品質，還可以增強工業過程的靈活性和反應能力，然而，要實作這一目标，還需要進一步研究和探索，解決相關技術和實施上的挑戰。
相信随着科技的不斷進步，基于局部控制和協作學習的工業過程優化将在實踐中，發揮越來越重要的作用，為企業帶來持續增長和競争優勢。
