利用局部控制和协作学习实现工业过程的科技优化
工业过程控制是一个广泛而多样的领域，其应用范围包括化工、能源或半导体厂的控制，化工厂由多个处理单元组成，它们共同生产化学产品，这些厂通常包含大量的传感器和控制单元。
随着流程工业产品需求的不断增长，在各种情况下保持最佳生产是必要的，包括当系统遇到干扰或过程特性漂移时，目前的过程控制方法，可以分为经典控制方法和基于优化的方法，前者遵循由专家给控制器描述的规则。
这种传统方法需要从专家那里转移大量知识，通过控制规律和其他数学推导传递给控制器，后者，基于优化的控制器，包括众多方法，如比例-积分-微分控制或模型预测控制，MPC可以向未来展望，并根据未来误差采取行动。
它们的问题是优化步骤需要时间计算最优控制输入，特别是对于复杂的高维系统，许多部署的控制器在稳健性和性能之间取得平衡，具体来说，受控过程的整体性能，取决于过程本身的特性和所使用的调节参数。
即使在安装时调节得很好，过程特性的漂移或有意的设定点变化，也会导致性能随时间的推移而恶化，当前的方法在本质上不够稳健，因为它们通常无法处理诸如干扰之类的新情况，一个吸引人的经典控制器的替代方案是强化学习。
因为RL在控制设计中，不需要对工厂进行明确的建模，可以通过与环境的试错交互，来学习控制策略，而无需有经验的操作员进行监督，并且往往能够推广到未知的情况，一些先前的研究，探索了使用RL来控制化学工厂。
针对整个工厂的控制，仍然是当前研究的一个挑战，也就是说，在具有大规模状态-动作空间和耗费计算的任务中，其样本效率一直是行业采纳RL的障碍，在强化学习中使用的标准范式中，单个控制器接收所有可用的输入信息，并将所有动作选择为输出，这导致复杂任务中的高维输入和输出空间。
在具有大规模状态-动作空间和复杂动态的任务中，通常很难解决，相比之下，提出的框架由N个局部策略组成，每个策略接收一组局部观察，并控制一组动作，每个局部策略控制环境的不同区域。
这种局部控制结构，在生物系统中的运动控制系统组织中，受到生物启发，需要注意的是，现有方法类似于多智能体强化学习，因为每个局部策略控制不同的动作集，提出的框架使用由多个局部策略组成的单个智能体，这些策略与同一环境进行交互。
通过这样做，控制复杂的大规模环境的问题，被转化为一组更容易控制的局部控制问题，减少了训练时间，并提高了样本效率，在这种设置下，每个局部策略只感知局部信息，并控制动作空间的子集，这明显削弱了最终全局策略的控制能力。
为了克服这个缺点，研究人员提出了一种通过消息传递，实现局部策略之间的协调和信息共享的机制，这涉及训练一个生成消息的通信信道，这个想法对于使局部策略，能够访问其他局部策略，接收到有意义的上下文信息，并在局部策略内部，实现复杂的协调是至关重要的。
考虑了一个具有两级自然层次结构的框架，高级对应于处理通信，低级对应于一组局部控制器，层次化学习问题，是同时学习一个通信信道，以及称为局部策略的低级策略，学习者的目标是在其通信信道，和局部策略同时运行时获得高回报。
在两个独立的环境中评估算法的性能，一个小规模的机器人控制环境，以及一个大规模的VAM工厂环境，该环境反映了真实过程工厂的特点和实际问题，进一步进行了消融研究，以衡量方法中每个组件的效果。
首先在MuJoCo模拟器中通过OpenAI gym接口，评估方法在一个连续控制任务中的表现，Ant-v2，在Ant-v2中，目标是使一个四腿生物尽可能快地向前走，这组实验旨在确定当前方法，是否在小规模问题上仍然有效，并且由于训练该任务所需的计算量较低，进一步用于消融分析。
第二个环境是一个VAM工厂，由于VAM包括化工厂中的典型过程，所以可以用作一个强健的基准环境，该模拟器由八个组件组成，用于物料供给、反应和循环利用，通过109个传感器观察过程，用于测量化学物质的体积、通量、温度、浓度和压力。
代理的目标是在避免设备故障，和保持过程稳定的同时优化工厂的利润，该环境特别具有挑战性，原因包括，较大的状态和动作空间，计算量昂贵的模拟，强调需要样本效率高的代理程序，以及复杂的动态性。
基于局部控制和协作学习的工业过程优化，是一个具有广阔前景的研究领域，它不仅可以提升生产效率和产品质量，还可以增强工业过程的灵活性和反应能力，然而，要实现这一目标，还需要进一步研究和探索，解决相关技术和实施上的挑战。
相信随着科技的不断进步，基于局部控制和协作学习的工业过程优化将在实践中，发挥越来越重要的作用，为企业带来持续增长和竞争优势。
