本文翻譯自《Industrial IoT Artificial Intelligence Framework》，原始來源：https://www.iiconsortium.org/pdf/Industrial-AI-Framework-Final-2022-02-21.pdf。本翻譯作品僅供參考，遵循 Industry IoT Consortium 使用資訊 - 使用條款、條件和通告。作者和貢獻者對原文内容享有版權。請閱讀原文以了解詳細資訊和權限限制。
作者 AuthorsWael William Diab, Alex Ferraro, Brad Klenz, Shi-Wan Lin, Edy Liongosari, Wadih Elie Tannous, Bassam Zarkout.
3.3 可信度
IIC将工業物聯網系統的可信度、定義為對系統按預期工作的信心程度，其中包括安全性、保密性、可靠性、以及在面對環境幹擾、人為錯誤、系統故障和攻擊時的彈性和可靠性等特征。系統設計需要考慮這些特征之間的互相作用和相關的權衡。
工業物聯網系統的可信度概念直接關系到與資訊技術（IT）系統相關的問題和操作技術（OT）系統相關的問題之間的融合。請參考圖3-2。
圖3-2 工業物聯網系統的可信度。來源：IIC。
在工業物聯網系統的整個生命周期中，必須解決可信度問題，而不僅僅在設計或實施階段解決。
AI系統的實施品質與系統的可信度之間存在直接關系和互相依賴。如果AI的實施不遵循原則，可能會增加與系統的安全性、保密性、隐私性、可靠性和彈性相關的風險。
舉例：在能源領域，AI在預測性維護應用中被廣泛使用。預測性維護AI模型的缺陷可能會降低其在管道檢查和洩漏檢測中的有效性。這可能導緻重大的安全和營運問題。
從人工智能的角度來看，重要的是增強現有的标準、最佳實踐和架構，以確定使用者可以信任基于人工智能的工業物聯網系統。這對于保密和隐私等已建立的領域，以及安全性、可靠性和彈性方面都有着重要意義。
這些挑戰在工業物聯網可信度的不同特征之間的内在互相依賴性上更加複雜。一個特征的弱點可能會對另一個特征産生負面影響。例如，保密性的弱點可能導緻安全違規行為。
需要采用系統化的風險管理方法來確定系統的可信度。這部分是由于人工智能系統的性質，其行為可能會因自适應學習算法、訓練資料和操作資料的多樣性等多種因素而發生變化。
3.3.1 安全性
確定工業物聯網系統的安全性必須基于适用于資訊技術和營運技術系統的相同原則、标準和最佳實踐。此類标準的示例包括ISO/IEC聯合技術委員會(JTC1)的ISO/IEC 27000系列标準用于資訊技術系統，以及IEC技術委員會65 (TC 65)的IEC 62443标準，用于工業和關鍵基礎設施中的營運技術。
對于啟用人工智能的工業物聯網系統，還必須考慮到人工智能系統本身、其資料和訓練生态系統的額外安全性問題。此外，還必須解決由資訊技術/營運技術融合以及營運技術關注點和資訊技術關注點之間的互相依賴性所引起的獨特要求。
人工智能是一種資料驅動的技術。在啟用人工智能的工業物聯網系統中，存儲和消耗的營運資料更多，特别是如果人工智能在邊緣裝置上運作。是以，向工業物聯網系統中添加人工智能可能會增加組織對網絡安全威脅的脆弱性。一般而言，使用人工智能系統很難檢測到安全漏洞。如果攻擊者成功破壞人工智能系統或者用具有漏洞的系統替換它，可能會産生新的、意想不到的安全威脅向量，并對整個系統産生重大影響。
在設計一個人工智能系統并将其內建到工業物聯網系統中時，重要的是要了解以下内容：
- 需要保護哪些資産；
- 相關的資料治理模型是什麼；
- 需要哪些控制措施來確定人工智能系統的安全性；
- 在與人工智能相關的資料保護方面，還有哪些更廣泛的考慮因素，包括政府和監管機構對資料隐私和保密性的要求。
IISF檔案的第7節确定了工業物聯網系統安全的功能構模組化塊（圖3-3），并描述了涵蓋端點中的資料靜态存儲、通信中的資料傳輸以及作為監控和分析功能一部分收集的所有資料以及系統配置和管理資料的常見資料保護功能。
圖3-3. 安全架構功能構模組化塊。來源：IIC IISF。
為了保護人工智能系統，組織需要了解這些安全功能構模組化塊，并在其中解決與人工智能相關的安全考慮。請參考下面的表3-2：
表3-2. 跨工業物聯網安全功能構模組化塊保護工業人工智能。第一部分
表3-2. 跨工業物聯網安全功能構模組化塊保護工業人工智能。第二部分
| 工業物聯網安全功能構模組化塊 | 確定人工智能系統的安全性 |
| 端點保護在邊緣裝置和雲端上實施防禦性能。主要關注的内容包括實體安全功能、網絡安全技術和可信身份。 | 端點保護的要求必須擴充到嵌入在端點中的人工智能系統（例如，包括基于AI的圖像識别能力的遠端安全攝像頭）。 |
| 通信和連接配接保護使用端點保護中的權威身份功能來實作流量的身份驗證和授權。這包括用于完整性、機密性和資料流控制的加密技術。 | 由AI系統産生和消耗的資料在傳輸過程中（即運動中）必須使用與傳感器資料和執行器指令資料相同的方法進行保護。 |
| 一旦端點得到保護并確定通信安全，系統狀态必須通過安全監控和分析以及對所有系統元件進行控制的安全配置和管理來在整個營運生命周期中得以保持。 | 這些安全措施必須在工業網際網路系統的整個營運生命周期中延伸到人工智能系統及其産生和消費的資料上。 |
表3-2. 跨工業物聯網安全功能構模組化塊保護工業人工智能。
在實施過程中，應将指導工業網際網路系統中安全實施的一般安全設計原則（基于Saltzer和Schroeder的原則）應用于人工智能安全：
- 機制經濟原則：設計應盡可能簡單和小巧。
- 失效安全預設原則：基于授權而非排除進行通路決策。
- 完全中介原則：必須對每個對象的通路進行權限檢查。
- 開放設計原則：機制不應依賴于潛在攻擊者的無知，而應依賴于特定且更容易保護的密鑰。
- 權限分離原則：在可行的情況下，需要兩個密鑰才能解鎖的保護機制比隻允許持有單個密鑰的機制更強大和靈活。
- 最小特權原則：系統中的每個程式和使用者應該使用完成工作所需的最小權限集。
- 最小共同機制原則：将适用于多個使用者且所有使用者都依賴的機制最小化。
- 心理可接受性原則：人機界面應設計成易于使用，以便使用者能夠經常自動正确應用保護機制。
關于工業人工智能安全的示例報告
歐洲網絡和資訊安全局（ENISA）的《人工智能網絡安全挑戰》報告進一步探讨了人工智能和安全之間的多元關系和互相依賴：
“針對人工智能的網絡安全：人工智能模型和算法的缺乏穩健性和易受攻擊性，例如對抗性模型推斷和操縱、針對人工智能驅動的網絡實體系統的攻擊、操縱人工智能系統中使用的資料、利用用于支援人工智能系統的計算基礎設施、資料污染、導緻資料固有特性變化的環境變化、可信和可靠的訓練資料集、算法驗證/驗證（包括軟體供應鍊的完整性）、訓練和性能評估過程的驗證、可信和可靠的特征識别、在人工智能系統背景下的資料保護/隐私等等。
利用人工智能支援網絡安全：将人工智能用作建立更有效的安全控制的工具/手段（例如主動防火牆、智能防病毒、自動化的網絡威脅情報（CTI）操作、人工智能模糊測試、智能驗證、電子郵件掃描、自适應沙箱、自動化惡意軟體分析、自動化網絡防禦等），并促進執法機關和其他公共機構更好地應對網絡犯罪，特别是對人工智能的犯罪濫用。
惡意使用人工智能：利用惡意/對抗性的人工智能建立更複雜的攻擊類型，例如人工智能驅動的惡意軟體、進階社交工程、人工智能增強的分布式拒絕服務（DDoS）攻擊、深度生成模型建立僞造資料、利用人工智能支援的密碼破解等。這一類别包括針對人工智能的攻擊（旨在颠覆現有人工智能系統以改變其能力）以及利用人工智能技術改進傳統攻擊效果的攻擊。”
3.3.2 隐私
資料隐私規範了個人資料（也稱為個人身份資訊或PII）的處理方式，允許對該資料進行哪些類型的操作，以及誰有權限執行這些操作。各個司法管轄區都在大量出台資料隐私法律，并且這些法律變得越來越嚴格。與安全問題一樣，解決基于AI技術IIoT系統中的隐私問題必須基于适用于IT和IIoT系統的隐私原則、标準和最佳實踐，并且必須考慮AI系統、其資料和其訓練生态系統引入的額外隐私問題。
許多新車配備了車載攝像頭，以提供額外的乘客安全和舒适性。這些攝像頭可以幫助檢測疲勞或分心的駕駛員。然而，這些攝像頭及其處理輸出的AI算法也可以用于捕捉乘客的人口統計資訊（如膚色、使用語言）、習慣（開車時飲酒）和心理健康問題。即使車主或駕駛員已經同意啟用車載攝像頭，也并不意味着這些汽車的制造商和服務提供商有權分析資料以獲得偏離資料最初收集意圖的洞察，而其最初的目的是駕駛員的安全。這種同意被稱為知情同意。
舉例：隐私控制的一個典型例子是歐盟《通用資料保護條例》（GDPR），該條例對個人資料的收集、使用和保留施加了廣泛的限制和控制。GDPR對處理個人資料的AI應用具有重大影響。特别是第22條限制了資料控制者在進行“僅基于自動處理的個人資料分析”并對個人産生法律或類似重大影響的決策時的權利。這意味着處理個人資料的AI應用也受到資料保護要求的限制。
知情同意、安全性、透明度和問責制，關于資料的收集方式和使用方法，是維護制造商和客戶之間信任的關鍵方面。
對于某些工業物聯網系統，為了加強客戶的信任，可以采取額外的措施，即直接可審計性。當資料直接從裝置中擷取而無需人為幹預時，可以直接将可審計性納入系統中。這意味着從傳感器擷取資料和決策過程的詳細步驟（即資料血緣），并将這些資料提供給稽核委員會進行審查。
3.3.3 保密性
人工智能在資料密集型環境中運作。廣義上說，保密性涉及到兩個需要解決的方面。首先，可能存在不能将機密資料與非機密資料或其他機密資料混合的情況，無論是操作資料還是訓練資料。其次，必須確定基于機密資料提供的人工智能系統洞察力不能被用來推斷使用的源資料。必須建立機制來解決商業和商業資料的保密性問題。
例如，對于工業物聯網裝置，從核磁共振掃描器到噴氣發動機和沖壓機等先進裝置的制造商，可能會利用支援人工智能的按使用付費能力進行精調和優化以及預測性維護。傳感器可以監測裝置的運作頻率、持續時間、峰值和持續工作負載等。由于這些資訊可以提供有關具有敏感性質的業務活動的洞察，客戶可能希望保密此資訊。
還有一些情況下，可能從最初被視為業務和操作資料的資料中提取個人資料，例如在工廠中的房間使用人工智能支援的面部識别。在這些情況下，資料和由此提取的洞察也可能受到資料隐私控制的限制。
3.3.4 可解釋性
如果一個人工智能系統無法被了解，它怎麼能被信任呢？這個問題在許多人工智能讨論中處于前沿位置，因為它将直接影響采用，并且必須事先處理。
了解一個人工智能系統可以從兩個角度來看，這兩個角度與特定工業物聯網應用中使用人工智能系統的背景相關。首先，從系統內建的角度來看，将內建人工智能的工業物聯網系統需要了解人工智能系統的工作方式，包括其預測性質，以便定義、架構和設計整體系統。其次，對于基于人工智能的工業物聯網服務的最終使用者來說，了解人工智能元件正在做什麼是建立對系統及其洞察力的信任所必需的。例如，這可能包括對系統的非技術性解釋，人工智能能夠做什麼和不能做什麼的限制，人工智能如何使用資料以及在人工智能系統設計中使用的任何标準（例如：管理系統标準；參見第6.3節）。
例如，與其他資訊技術系統不同，人工智能是一個依賴于資料的學習和預測系統。傳統的人工智能系統驗證和系統設計可能不可行，是以必須采取适當的保障措施，以避免人工智能出現故障時産生不良後果。人工智能系統的可解釋性和了解對于實施這些保障措施至關重要。
另一個例子是許多機器學習算法，尤其是深度學習算法，它們是黑盒子，可以做出決策（例如，确定一張圖檔是否是行人的圖檔）。為了對系統建立信任，人工智能開發和工業物聯網服務提供商應該廣泛說明人工智能洞察力的達成方式。
舉例：應用人工智能于工業物聯網系統需要考慮與可解釋性相關的技術特定因素。在這個背景下，人工智能的可解釋性是人工智能技術本身性質的直接結果。
3.3.5 可控性
可控性是AI驅動的工業物聯網系統中的一個基本安全和安全性關注點。然而，尚未證明可控性在所有情況下都可以完全實作。這是因為該問題具有許多子類型，并且可能導緻固有的模糊性。
以工業AI發出指令（而不是基于分析的建議）的潛在不同場景為例：“在檢測到潛在異常時停止生産線”：
- 顯式控制：AI可能立即停止生産線，即使在操作進行中。
- 隐式控制：AI試圖在第一個安全的機會停止生産線。
- 對齊控制：AI依賴于其對指令背後人類意圖的模型，并對指令進行常識解釋，以實作人類希望發生的情況。
- 委托控制：如果AI認為流程可以從改進中受益，它會在等待人類發出指令之前停止該流程。
Copyright © 2022, Industry IoT Consortium®, a program of Object Management Group, Inc. (“OMG®”). All other trademarks in this document are the properties of their respective owners.
All copying, distribution and use are subject to the limited License, Permission, Disclaimer and other terms stated in the Industry IoT Consortium Use of Information – Terms, Conditions & Notices, as posted at https://www.iiconsortium.org/legal/index.htm - use_info. If you do not accept these Terms, you are not permitted to use the document.
This document is a work product of the Industry IoT Consortium Industrial Artificial Intelligence Task Group, chaired by Wael William Diab.
Editorial Team: Bassam Zarkout (Chief Editor) and Wael William Diab (Editor).
Authors: The following persons contributed substantial written content to this document: Wael William Diab, Alex Ferraro (PwC), Brad Klenz (SAS), Shi-Wan Lin (Thingswise), Edy Liongosari (Accenture), Wadih Elie Tannous (AASA), Bassam Zarkout (IGnPower).
Contributors: The following persons contributed valuable ideas and feedback that significantly improved the content and quality of this document: Eric Harper (ABB), Salim Abi-Azzi (Dell).
Technical Editor: Stephen Mellor (IIC staff) oversaw the process of organizing the contributions of the Authors and Contributors into an integrated document.