在過去十年間，無數個人工智能解決方案在各大企業得到部署。
智能閱聽人評測系統、智能财務合規系統、智能人員招聘系統，不一而足。
這期間，在企業客戶卻也始終存在一種懷疑态度：AI系統做出的産品部署是否真的值得被信賴呢？
在我看來，這也是企業人工智能要着力攻克的下一個難題。
錯誤的客戶流失預測會使企業失去一個重要的客戶，而錯誤的金融交易分類會使企業蒙受資金損失。實際上，客戶對人工智能模型的精确度不是特别在意，他們更擔心的是資料科學家們無法解釋的一個問題：“我如何相信它做出的決策？”
AI系統--我如何信任它們？
在大多數支援AI的數字化轉型中，客戶喜歡讓他們的系統擁有AI的能力以實作某些商業價值主張。另一方面，大多數資料科學家則追求使用最流行的算法(如DNN/GAINS/DRN等)。遺憾的是，他們都忘記了在決策制定過程中的問責機制和信任機制中存在着一個關鍵因素。
在現實生活中，每一個決策，無論是由機器還是低級員工又或是首席執行官做出的，為了達到提高整體的業務水準的目的，都要通過定期的審查，來解釋他們的決定。這就産生了人工智能的新興分支，稱為“可解釋的人工智能”(XAI)。
什麼是可解釋的AI(XAI)?
XAI是人工智能的一個新興分支，用于解釋人工智能所做出的每一個決策背後的邏輯。下圖是對一個完整AI決策流程的簡單描述。
● 改善AI模型的性能。因為XAI的解釋有助于找到資料和特征行為中的問題。
● 更好的決策部署。因為XAI的解釋為中間人提供了額外的資訊和信心，使其可以可以明智而果斷地行動。
● 提供一種控制感。因為AI系統的所有者清楚地知道其AI系統行為和邊界的杠杆。
● 提供一種安全感。因為每一個決定都需要通過安全指南，且對違規行為還會發出警告。
● 與利益相關者建立信任關系。他們可以清晰看到每一個決策背後的邏輯推理。
● 可監控由于訓練資料偏差導緻的道德問題和違規。
● 提供更好的機制來遵循組織内的問責要求，以進行審計和其他目的。
● 更好地遵守監管要求(比如《通用資料保護條例》GDPR)，其中要求一個系統必須具有“解釋權”。
AI系統部署中的角色
要實作可解釋AI，我認為關鍵不在于工具和技術，而在于人類在這些人工智能系統中所扮演的角色。從廣義上講，我們可以用三個方面定義他們：
訓練者--訓練系統達到預期的功能行為
解釋者-解釋系統做出的決定
維護者-維持AI系統對業務KPI的效用
訓練者
客戶語言訓練師
*教AI系統體會言外之意，例如檢測諷刺
智能機器互動模組化師
*學會員工行為，例如，一個AI系統可以從會計行為中學習如何自動比對支出款項和發票。
*世界觀訓練師
使AI系統擁有全球化的觀點。當做決定時不同文化的觀點都要被考慮，比如判斷一個算法是否“公平”
解釋者
*背景設計師
根據業務背景，正在處理的任務，或個人或專業或文化等因素的不同設計更好的決策。
*透明度分析師
對使用不同類型的AI算法的不透明度(以及對業務的相應影響)進行分類，并對該資訊庫存進行維護
*AI落地政策
決定是否對特定的應用部署AI系統(或是應用傳統的規則引擎和腳本)
維護者
*自動化倫理分析師
評估智能機器的非經濟影響，包括正面和負面的
*自動化經濟分析師
評估性能不良機器的成本
*機器關系管理者
"推廣"在業務中表現良好的算法，并“降級”性能較差的算法
XAI--關鍵次元
XAI有三個關鍵次元：合理的，可追蹤的，可了解的。
合理的AI：能夠了解每個預測背後的推理。
可追蹤的AI：追蹤預測過程的能力，可從數學算法的邏輯到資料的本質。
可了解的AI：完全了解做出AI決策所基于的模型。
XAI-設計原則
将XAI從概念轉化為部署AI解決方案的8個原則如下
| 設計 | 一個着眼于社會影響力的AI |
| 定義 | 資料集的出處，使用和保護标準 |
| 測試 | 系統釋出前要進行全面測試 |
| 使用 | 使用透明 |
| 監控 | 釋出後要嚴格監控 |
| 教育訓練 | 工作能力教育訓練和再教育訓練 |
| 保護 | 隐私資料 |
| 建構 | 審計算法的工具和标準 |
XAI-主要技巧
XAI有兩個主要技巧：
已知模型技巧：在這裡有兩類技巧。第一類技巧旨在解釋現有的ML算法，第二類技巧則旨在研究新的白盒模型，以獲得完全解釋的能力。
未知模型技巧：通過入侵操作模型而在操作模型之外工作。一種稱為LIME的技術主要用于估計決策的局部邊界。
我在過去的經曆中廣泛使用了LIME庫，加上自然語言生成技術，為維護者和操作者進行了叙述。
下面給出了當下算法精确度和可解釋性的關系圖
XAI的未來：
XAI領域有很好的發展前景，可以幫助企業解決AI的不足。例如：
精确的模型：XAI可同時支援維護者和訓練者改進他們的模型，并使其持續下去。
值得信賴的模型：當XAI使得AI内部工作透明化時，XAI将有助于建立企業和其他監管行業的信心。
自然語言解釋：XAI将通過自然語言(語音或文本)來解釋它的決定，而不是通過分析表或複雜的儀表盤。這會要求自然語言解釋與XAI的啟發式探索結合起來使用。
對抗性使用(濫用)：XIA的LIME技術和深度學習的GAIN技術，可以用于在外部破譯給定的AI模型。這将導緻組織需要使用政策和法規以及多層安全措施來保護其AI模型。
與機器協作：XAI将建立起信任的橋梁，使人類能夠在方方面面中适應并習慣與機器智能一起工作。
原文釋出時間為：2018-11-15
本文來自雲栖社群合作夥伴“
大資料文摘”，了解相關資訊可以關注“
”。