本文翻译自《Industrial IoT Artificial Intelligence Framework》，原始来源：https://www.iiconsortium.org/pdf/Industrial-AI-Framework-Final-2022-02-21.pdf。本翻译作品仅供参考，遵循 Industry IoT Consortium 使用信息 - 使用条款、条件和通告。作者和贡献者对原文内容享有版权。请阅读原文以了解详细信息和权限限制。
作者 AuthorsWael William Diab, Alex Ferraro, Brad Klenz, Shi-Wan Lin, Edy Liongosari, Wadih Elie Tannous, Bassam Zarkout.
3.3 可信度
IIC将工业物联网系统的可信度、定义为对系统按预期工作的信心程度，其中包括安全性、保密性、可靠性、以及在面对环境干扰、人为错误、系统故障和攻击时的弹性和可靠性等特征。系统设计需要考虑这些特征之间的相互作用和相关的权衡。
工业物联网系统的可信度概念直接关系到与信息技术（IT）系统相关的问题和操作技术（OT）系统相关的问题之间的融合。请参考图3-2。
图3-2 工业物联网系统的可信度。来源：IIC。
在工业物联网系统的整个生命周期中，必须解决可信度问题，而不仅仅在设计或实施阶段解决。
AI系统的实施质量与系统的可信度之间存在直接关系和相互依赖。如果AI的实施不遵循原则，可能会增加与系统的安全性、保密性、隐私性、可靠性和弹性相关的风险。
举例：在能源领域，AI在预测性维护应用中被广泛使用。预测性维护AI模型的缺陷可能会降低其在管道检查和泄漏检测中的有效性。这可能导致重大的安全和运营问题。
从人工智能的角度来看，重要的是增强现有的标准、最佳实践和框架，以确保用户可以信任基于人工智能的工业物联网系统。这对于保密和隐私等已建立的领域，以及安全性、可靠性和弹性方面都有着重要意义。
这些挑战在工业物联网可信度的不同特征之间的内在相互依赖性上更加复杂。一个特征的弱点可能会对另一个特征产生负面影响。例如，保密性的弱点可能导致安全违规行为。
需要采用系统化的风险管理方法来确保系统的可信度。这部分是由于人工智能系统的性质，其行为可能会因自适应学习算法、训练数据和操作数据的多样性等多种因素而发生变化。
3.3.1 安全性
确保工业物联网系统的安全性必须基于适用于信息技术和运营技术系统的相同原则、标准和最佳实践。此类标准的示例包括ISO/IEC联合技术委员会(JTC1)的ISO/IEC 27000系列标准用于信息技术系统，以及IEC技术委员会65 (TC 65)的IEC 62443标准，用于工业和关键基础设施中的运营技术。
对于启用人工智能的工业物联网系统，还必须考虑到人工智能系统本身、其数据和训练生态系统的额外安全性问题。此外，还必须解决由信息技术/运营技术融合以及运营技术关注点和信息技术关注点之间的相互依赖性所引起的独特要求。
人工智能是一种数据驱动的技术。在启用人工智能的工业物联网系统中，存储和消耗的运营数据更多，特别是如果人工智能在边缘设备上运行。因此，向工业物联网系统中添加人工智能可能会增加组织对网络安全威胁的脆弱性。一般而言，使用人工智能系统很难检测到安全漏洞。如果攻击者成功破坏人工智能系统或者用具有漏洞的系统替换它，可能会产生新的、意想不到的安全威胁向量，并对整个系统产生重大影响。
在设计一个人工智能系统并将其集成到工业物联网系统中时，重要的是要了解以下内容：
- 需要保护哪些资产；
- 相关的数据治理模型是什么；
- 需要哪些控制措施来确保人工智能系统的安全性；
- 在与人工智能相关的数据保护方面，还有哪些更广泛的考虑因素，包括政府和监管机构对数据隐私和保密性的要求。
IISF文件的第7节确定了工业物联网系统安全的功能构建模块（图3-3），并描述了涵盖端点中的数据静态存储、通信中的数据传输以及作为监控和分析功能一部分收集的所有数据以及系统配置和管理数据的常见数据保护功能。
图3-3. 安全框架功能构建模块。来源：IIC IISF。
为了保护人工智能系统，组织需要了解这些安全功能构建模块，并在其中解决与人工智能相关的安全考虑。请参考下面的表3-2：
表3-2. 跨工业物联网安全功能构建模块保护工业人工智能。第一部分
表3-2. 跨工业物联网安全功能构建模块保护工业人工智能。第二部分
| 工业物联网安全功能构建模块 | 确保人工智能系统的安全性 |
| 端点保护在边缘设备和云端上实施防御性能。主要关注的内容包括物理安全功能、网络安全技术和可信身份。 | 端点保护的要求必须扩展到嵌入在端点中的人工智能系统（例如，包括基于AI的图像识别能力的远程安全摄像头）。 |
| 通信和连接保护使用端点保护中的权威身份功能来实现流量的身份验证和授权。这包括用于完整性、机密性和数据流控制的加密技术。 | 由AI系统产生和消耗的数据在传输过程中（即运动中）必须使用与传感器数据和执行器命令数据相同的方法进行保护。 |
| 一旦端点得到保护并确保通信安全，系统状态必须通过安全监控和分析以及对所有系统组件进行控制的安全配置和管理来在整个运营生命周期中得以保持。 | 这些安全措施必须在工业互联网系统的整个运营生命周期中延伸到人工智能系统及其产生和消费的数据上。 |
表3-2. 跨工业物联网安全功能构建模块保护工业人工智能。
在实施过程中，应将指导工业互联网系统中安全实施的一般安全设计原则（基于Saltzer和Schroeder的原则）应用于人工智能安全：
- 机制经济原则：设计应尽可能简单和小巧。
- 失效安全默认原则：基于授权而非排除进行访问决策。
- 完全中介原则：必须对每个对象的访问进行权限检查。
- 开放设计原则：机制不应依赖于潜在攻击者的无知，而应依赖于特定且更容易保护的密钥。
- 权限分离原则：在可行的情况下，需要两个密钥才能解锁的保护机制比只允许持有单个密钥的机制更强大和灵活。
- 最小特权原则：系统中的每个程序和用户应该使用完成工作所需的最小权限集。
- 最小共同机制原则：将适用于多个用户且所有用户都依赖的机制最小化。
- 心理可接受性原则：人机界面应设计成易于使用，以便用户能够经常自动正确应用保护机制。
关于工业人工智能安全的示例报告
欧洲网络和信息安全局（ENISA）的《人工智能网络安全挑战》报告进一步探讨了人工智能和安全之间的多维关系和相互依赖：
“针对人工智能的网络安全：人工智能模型和算法的缺乏稳健性和易受攻击性，例如对抗性模型推断和操纵、针对人工智能驱动的网络物理系统的攻击、操纵人工智能系统中使用的数据、利用用于支持人工智能系统的计算基础设施、数据污染、导致数据固有特性变化的环境变化、可信和可靠的训练数据集、算法验证/验证（包括软件供应链的完整性）、训练和性能评估过程的验证、可信和可靠的特征识别、在人工智能系统背景下的数据保护/隐私等等。
利用人工智能支持网络安全：将人工智能用作创建更有效的安全控制的工具/手段（例如主动防火墙、智能防病毒、自动化的网络威胁情报（CTI）操作、人工智能模糊测试、智能取证、电子邮件扫描、自适应沙箱、自动化恶意软件分析、自动化网络防御等），并促进执法机关和其他公共机构更好地应对网络犯罪，特别是对人工智能的犯罪滥用。
恶意使用人工智能：利用恶意/对抗性的人工智能创建更复杂的攻击类型，例如人工智能驱动的恶意软件、高级社交工程、人工智能增强的分布式拒绝服务（DDoS）攻击、深度生成模型创建伪造数据、利用人工智能支持的密码破解等。这一类别包括针对人工智能的攻击（旨在颠覆现有人工智能系统以改变其能力）以及利用人工智能技术改进传统攻击效果的攻击。”
3.3.2 隐私
数据隐私规范了个人数据（也称为个人身份信息或PII）的处理方式，允许对该数据进行哪些类型的操作，以及谁有权限执行这些操作。各个司法管辖区都在大量出台数据隐私法律，并且这些法律变得越来越严格。与安全问题一样，解决基于AI技术IIoT系统中的隐私问题必须基于适用于IT和IIoT系统的隐私原则、标准和最佳实践，并且必须考虑AI系统、其数据和其训练生态系统引入的额外隐私问题。
许多新车配备了车载摄像头，以提供额外的乘客安全和舒适性。这些摄像头可以帮助检测疲劳或分心的驾驶员。然而，这些摄像头及其处理输出的AI算法也可以用于捕捉乘客的人口统计信息（如肤色、使用语言）、习惯（开车时饮酒）和心理健康问题。即使车主或驾驶员已经同意启用车载摄像头，也并不意味着这些汽车的制造商和服务提供商有权分析数据以获得偏离数据最初收集意图的洞察，而其最初的目的是驾驶员的安全。这种同意被称为知情同意。
举例：隐私控制的一个典型例子是欧盟《通用数据保护条例》（GDPR），该条例对个人数据的收集、使用和保留施加了广泛的限制和控制。GDPR对处理个人数据的AI应用具有重大影响。特别是第22条限制了数据控制者在进行“仅基于自动处理的个人资料分析”并对个人产生法律或类似重大影响的决策时的权利。这意味着处理个人数据的AI应用也受到数据保护要求的约束。
知情同意、安全性、透明度和问责制，关于数据的收集方式和使用方法，是维护制造商和客户之间信任的关键方面。
对于某些工业物联网系统，为了加强客户的信任，可以采取额外的措施，即直接可审计性。当数据直接从设备中获取而无需人为干预时，可以直接将可审计性纳入系统中。这意味着从传感器获取数据和决策过程的详细步骤（即数据血缘），并将这些数据提供给审核委员会进行审查。
3.3.3 保密性
人工智能在数据密集型环境中运作。广义上说，保密性涉及到两个需要解决的方面。首先，可能存在不能将机密数据与非机密数据或其他机密数据混合的情况，无论是操作数据还是训练数据。其次，必须确保基于机密数据提供的人工智能系统洞察力不能被用来推断使用的源数据。必须建立机制来解决商业和商业数据的保密性问题。
例如，对于工业物联网设备，从核磁共振扫描仪到喷气发动机和冲压机等先进设备的制造商，可能会利用支持人工智能的按使用付费能力进行精调和优化以及预测性维护。传感器可以监测设备的运行频率、持续时间、峰值和持续工作负载等。由于这些信息可以提供有关具有敏感性质的业务活动的洞察，客户可能希望保密此信息。
还有一些情况下，可能从最初被视为业务和操作数据的数据中提取个人数据，例如在车间使用人工智能支持的面部识别。在这些情况下，数据和由此提取的洞察也可能受到数据隐私控制的限制。
3.3.4 可解释性
如果一个人工智能系统无法被理解，它怎么能被信任呢？这个问题在许多人工智能讨论中处于前沿位置，因为它将直接影响采用，并且必须事先处理。
理解一个人工智能系统可以从两个角度来看，这两个角度与特定工业物联网应用中使用人工智能系统的背景相关。首先，从系统集成的角度来看，将集成人工智能的工业物联网系统需要了解人工智能系统的工作方式，包括其预测性质，以便定义、架构和设计整体系统。其次，对于基于人工智能的工业物联网服务的最终用户来说，了解人工智能组件正在做什么是建立对系统及其洞察力的信任所必需的。例如，这可能包括对系统的非技术性解释，人工智能能够做什么和不能做什么的限制，人工智能如何使用数据以及在人工智能系统设计中使用的任何标准（例如：管理系统标准；参见第6.3节）。
例如，与其他信息技术系统不同，人工智能是一个依赖于数据的学习和预测系统。传统的人工智能系统验证和系统设计可能不可行，因此必须采取适当的保障措施，以避免人工智能出现故障时产生不良后果。人工智能系统的可解释性和理解对于实施这些保障措施至关重要。
另一个例子是许多机器学习算法，尤其是深度学习算法，它们是黑盒子，可以做出决策（例如，确定一张图片是否是行人的图片）。为了对系统建立信任，人工智能开发和工业物联网服务提供商应该广泛说明人工智能洞察力的达成方式。
举例：应用人工智能于工业物联网系统需要考虑与可解释性相关的技术特定因素。在这个背景下，人工智能的可解释性是人工智能技术本身性质的直接结果。
3.3.5 可控性
可控性是AI驱动的工业物联网系统中的一个基本安全和安全性关注点。然而，尚未证明可控性在所有情况下都可以完全实现。这是因为该问题具有许多子类型，并且可能导致固有的模糊性。
以工业AI发出指令（而不是基于分析的建议）的潜在不同场景为例：“在检测到潜在异常时停止生产线”：
- 显式控制：AI可能立即停止生产线，即使在操作进行中。
- 隐式控制：AI试图在第一个安全的机会停止生产线。
- 对齐控制：AI依赖于其对指令背后人类意图的模型，并对指令进行常识解释，以实现人类希望发生的情况。
- 委托控制：如果AI认为流程可以从改进中受益，它会在等待人类发出指令之前停止该流程。
Copyright © 2022, Industry IoT Consortium®, a program of Object Management Group, Inc. (“OMG®”). All other trademarks in this document are the properties of their respective owners.
All copying, distribution and use are subject to the limited License, Permission, Disclaimer and other terms stated in the Industry IoT Consortium Use of Information – Terms, Conditions & Notices, as posted at https://www.iiconsortium.org/legal/index.htm - use_info. If you do not accept these Terms, you are not permitted to use the document.
This document is a work product of the Industry IoT Consortium Industrial Artificial Intelligence Task Group, chaired by Wael William Diab.
Editorial Team: Bassam Zarkout (Chief Editor) and Wael William Diab (Editor).
Authors: The following persons contributed substantial written content to this document: Wael William Diab, Alex Ferraro (PwC), Brad Klenz (SAS), Shi-Wan Lin (Thingswise), Edy Liongosari (Accenture), Wadih Elie Tannous (AASA), Bassam Zarkout (IGnPower).
Contributors: The following persons contributed valuable ideas and feedback that significantly improved the content and quality of this document: Eric Harper (ABB), Salim Abi-Azzi (Dell).
Technical Editor: Stephen Mellor (IIC staff) oversaw the process of organizing the contributions of the Authors and Contributors into an integrated document.