组织|翟哲， 蒋丽
本文摘自未来论坛AI伦理与治理系列04"AI与风险治理"，分为专题报告和圆桌讨论两部分。
主题报告部分包括：
清华大学公共管理学院教授、清华大学人工智能国际治理研究院副院长梁峥，《从可解释的人工智能到可理解的人工智能：基于算法的治理视角》
崔鹏，未来论坛青年创造联盟副教授、博士生导师，清华大学计算机系主任，"人工智能：从"知道它是什么"到"知道它"。
张启石，上海交通大学副教授，"解释游戏交互系统：归因权重、鲁棒性、泛化、视觉概念和美学的统一性"
未来论坛成员，北京大学计算机科学与技术教授，高可信软件技术部重点实验室（北京大学）副主任，北京大学信息技术研究所数据驱动软件开发实验室主任谢涛，人工智能可靠性与解释：软件工程视角
圆桌讨论稿由崔鹏主持，参加者有：
李正峰，清华大学社会科学学院社会学系教授
梁政，清华大学公共管理学院教授，清华大学人工智能国际治理研究院副院长
陶大成，JD.co.uk 勘探研究所所长，澳大利亚科学院院士
未来论坛青年联盟成员，北京大学计算机科学与技术系讲座教授，高可信软件技术部重点实验室（北京大学）副主任，北京大学信息技术研究所数据驱动软件开发实验室主任
张博兴石，上海交通大学副教授
讨论的主题：
首先，人工智能可靠性和解释性的真正风险是什么，公众的要求是什么？
其次，从技术角度来看，ai的可靠性与解释关系？各自的范围和边界是什么？
第三，可信的aithics在实际应用中有哪些机遇、问题和挑战？
第四，从社会治理的角度来看，政府、公众和社会组织应该如何共同参与人工智能可靠性的发展？
五、在强监管环境下，政府和企业应该如何联手应对人工智能的可靠性风险？
随着人工智能的发展和广泛使用，研究人员和开发人员面临的挑战是理解和跟踪算法如何产生结果。可解释的AI使人类用户和开发人员能够理解和信任机器学习算法的结果和输出。了解 AI 系统如何生成特定输出可以帮助开发人员确保系统按预期工作，建立可定义的监管标准，并对 AI 监控和问责进行建模，最终降低生产 AI 的合规性、法律、安全性和声誉风险。
本次活动将阐明公共、政策和人工智能技术研究与开发者对人工智能解释的理解和需求之间的差异，分享人工智能的解释性、稳定性和稳健性、可追溯性和可验证的技术研究和解决方案，以探索实现人工智能可解释性的方法。
< h2头条原产地"h3">1专题报告</h2>
梁峥，"从可解释的AI到可理解的AI：算法治理的视角"
可靠的人工智能应该有四个主要要素：安全性、公平性、透明度和隐私保护。因此，"可信"和"解释性"是前向关联，特别是对于用户和公众而言，实现算法可以被解释为保证可靠性和可信性的重要组成部分。
所谓"负责任的人工智能"有两个基石：一是从技术角度解决其因果机制的构建问题，二是从制度角度赋予个人和主体解释的权利。
问题在于，与欧美相比，中国的规则更加支离破碎，缺乏实施规则和操作指南;
未来算法治理的两个方向是明确的：问责制和解释性。基于算法治理的视角，我今天要讲的话题是"从可解释的AI到可理解的AI"。鉴于清华大学公共管理学院和人工智能国际治理研究所对人工智能进行的许多政策研究，我从公共治理和技术监管的角度更多地了解和理解"可解释的人工智能"。
下面从四个方面进行探讨：一是为什么重视AI的可解释性，二是对于算法治理，目前国内外都有实践和经验，第三，我国算法治理的路径探索，第四，算法治理的未来路径设计和方向前景。
首先，你需要知道为什么你应该关注人工智能或算法的解释性。当今机器学习的主流以"黑匣子"为特征，这使得普通用户难以观察数据训练的中间过程，这使得AI对我们来说是不可知的。黑匣子问题还造成了难以控制的歧视性偏见和可能的安全风险，使我们对算法的信任产生怀疑。在一些重要的应用中尤其如此，例如医疗保健，金融和司法，包括用于自主决策的AI系统，其中算法解释性是一个非常重要的应用，特别是在金融领域，一些监管机构也建议解释性是应用的先决条件。（图1）
图 1
算法的"解释性"是什么？从不同的角度来看，国外学者和国内一些学者认为，"解释性"可以提供细节和决策依据，可以被用户简单明了地理解和理解。从法律和监管的角度来看，欧盟通用数据保护条例（"GDPR"）规定，用户有权在自动决策中解释决策，并且处理者应告知数据处理的逻辑，重要性，特别是后果，这在学术和政策层面是"人工智能解释性的"。
可解释和可信之间有什么关系？如图2所示，普通用户对"解释性"的看法更容易理解，即它不需要更多的专业知识，但能够以简单明了的方式理解自动决策的原因和基础，这与"可理解"的含义有关。什么是可信可靠性？从用户的角度来看，人工智能应该是可靠的，即它不会出错，不会带来风险，不会损害我们的利益或安全。因此，一个可靠的人工智能应该有四个主要要素：安全性、公平性、透明度和隐私保护。因此，"可信"和"解释"之间的关系是正相关关系，特别是对于用户和公众而言，实现算法可以被解释为确保其可靠性和信任性的重要组成部分。
图 2
算法可能存在哪些风险？也就是说，不可靠的因素或风险因素在哪里 - 例如歧视和偏见，由于技术本身的限制而可能出现的现阶段可能出现的安全问题，由于与社会系统集成而对数字劳动力的限制，以及基于用户偏好的信息推荐领域可能存在的"信息室"问题。它们与我们使用的数据和算法有关，也与人工智能和深度学习本身的特征有关。各国在算法治理方面有不同的探索、共性和经验：
欧盟的特点是自上而下的数据治理和算法治理，具有强大的规则制定和特别明确的原则，以确保算法公平与"透明度"和"问责制"。"透明度"意味着人工智能的解释性，即决策数据集、流程和决策可追溯性，决策结果可以被人类（包括监管机构和公众）理解和跟踪。"问责制"规定了如何通过问责机制、审计机制和风险损失补救措施来追究人工智能的责任和安全。具体的治理路径是赋予个人数据权利，在GDPR中规定了知情权、访问权、更正权、删除权、解释权，赋予个人广泛的数据权。从欧盟最近出台的《数字服务法》、《数字市场法》等一系列法律法规来看，其未来方向更倾向于强化法律责任制，设定严格责任，通过事后严格问责，确保人工智能的设计和应用是负责任和可信的。例如，强制保险制度下，法律AI损害侵权认定不需要了解其技术细节，只需确定侵权与损害之间的因果关系即可构成侵权。例如，意大利数据保护机构最近对一家外卖快递公司处以罚款，因为该平台通过算法自动惩罚骑手，如果他们的得分低于一定水平，他们可以停止工作。监管机构认为处罚原则具有歧视性，因为骑手没有能力争论，也不了解这种判断所依据的标准。因此，公司应该解释这种算法的应用，员工应该有知情权。
与欧盟不同，美国采取了另一条道路，其联邦层面并不统一制定算法治理的相关法律，而是采取自下而上、分散、市场化的治理路径。例如，纽约市首先引入了算法问责法，规范和阻止政府使用的算法（例如，教育，公共部门）被使用，马萨诸塞州，加利福尼亚州和纽约市等州和城市禁止政府和司法机构使用面部识别技术;更多的是企业和非政府组织参与治理，以及一些行业组织开展算法问责工具，算法解读方案的发展。在行业自律方面，谷歌、微软、Facebook等公司已经成立了道德委员会，并推动了标准。已经发生了许多案件，例如最近向执法部门和军方出售算法，这些案件在Everalbum的隐私政策中没有说明，最终因涉嫌欺骗消费者而受到联邦贸易委员会（FTC）的惩罚。这是一个具有里程碑意义的处罚，不仅需要删除数据，还需要删除由非法获取的数据照片训练的人脸识别技术。这些是外国治理的最新发展。
从国内来看，现阶段，我国对算法治理路径的探索，已初步形成了框架体系。在"软法"又称规范性原则中，科技部出台了《人工智能治理原则》，国家信息安全标准化技术委员会（CSSC）印发了《艾森智能伦理安全风险防范指南》，以及近期在相关领域针对平台企业或某一特定领域的数据管理部门出台， 算法治理相关法规。同时，一些"硬性法律"也在对制定和实施进行深入研究，如电子商务法已经实施，网络安全法，即将实施的《数据安全法》以及即将通过的《个人信息保护法》和其他部门法规。问题在于，与欧美相比，中国现有的监管规则更加分散，缺乏实施规则和操作指南;中央网信办在一定程度上起着主导协调作用，但具体领域的相关职能部门应发挥更大的作用。
在行业内，一些企业开始建立内部治理机制，如治理委员会、数据采集、利用、算法设计等问题进行规范，但整个行业的自主机制尚不成熟，也缺乏外部监督。基于人工智能算法可能存在的风险，并进一步借鉴国外经验，未来算法治理的两个方向更加明确（图3）：一是算法可以问责，主要是明确算法责任主体，对于监管部门来说，不是做技术监管而是做责任分工，即 如果出现问题，谁应该负责，包括算法审计系统，即算法应用的监督，安全认证系统，即算法设计要遵循一定的标准、规范、制度、规则。和算法影响的评估系统。第二，解释性强，技术性如何实现解释性，以及如何赋予个人要求解释的权利，进而适得其反，使算法的设计达到公平合理的目标。
图 3
具体而言，目前的实际探索集中在《个人信息保护法》的层面，主要针对算法治理尝试的自动化决策场景，包括明确提出算法影响的评价、提供个人信息用于自动化决策需要提前评估、算法审计;以及仅通过自动决策拒绝做出决定的权利。
在自动决策场景下的治理探索方面，央行在人工智能算法金融领域建立了评价标准，从全过程的角度提出了算法解读的基本要求、评价方法和标准。在就业形式灵活性和劳动者权益保护方面，人社部提出，外卖平台应在基本商业模式设计中解释其系统规则和平台算法，并将结果公之于众或告知劳动者。中宣部在加强网络推荐算法内容监管方面也提出了全面治理的要求。因此，未来基于解释性的算法治理方向更加明确，所谓"负责任的人工智能"，它有两个基石：一是从技术角度解决因果机制构建的问题，二是从制度角度给个人和主体解释的权利。
就未来可能的治理方向而言，算法的未来目标是对域、分层治理进行分类，例如个人安全和业务。在坚持安全、公平、透明和隐私保护的基本原则下实现"负责任的AI"（图4），"黑匣子"特征和算法的复杂性不能成为逃避治理的借口，应该根据保护人的基本权利来设定底线，在算法性能和安全之间进行权衡， 促进技术社区改进算法。此外，在算法治理中应该识别和区分规则和技术问题，认识到算法设计不仅是机器学习的结果，而且算法设计者需要被约束才能找到问责主体。对于技术缺陷，技术发展应以技术进步为指导，以及相应的标准规范和安全要求。最后，该算法可以解释评估指标和监管政策，研究和提出监管政策的全过程，定期评估AI系统的生命周期和运行状态。有专家对AI可以解释问题的具体方式——无论是公共模型、源代码、算法规则，还是决策的权重因素，这是否会影响企业的商业秘密，这些都是下一步要研究清楚的。
图 4
整个算法治理，包括解释性、可靠性，都是非常复杂的问题，我在这里主要从系统、规范以及概念的角度进行初步介绍，也期待技术专家从更专业的角度对这个问题进行深入分析。
崔鹏的人工智能：从"知道它"到"知道它"
人工智能的治理需要实现从了解它到了解它的飞跃。"是"是数据中的关联，"所以"是数据中的因果关系。
无法解释的后果是什么 - 人与机器之间没有办法一起工作。任何两个主体要一起工作，它们必须有一种所谓的"共同语言"。
如果不能理解机器的输出，就无法安全地将其应用于这样一个风险敏感的领域，这是当今人工智能技术渗透到现实世界应用中的最大障碍。
目前人工智能应用的困境可以概括为无法解释、不稳定、不公平、不可追溯，将因果引入机器学习可能是突破人工智能局限性的重要途径。从2016年开始，当人工智能（尤其是深度学习）如火如荼地进行时，我们的团队开始思考，如果按照当前技术发展的方向，最终的人工智能系统存在本质缺陷，以及它会带来什么风险，我们应该如何应对。最终，它归结为一句话，人工智能的治理需要从知道它到知道它来实现。
如果前几年人工智能的主要应用领域是互联网，那么展望10到20年，人工智能的应用可能会进入深水区，即向医疗、司法、生产、金融科技等领域渗透。这些领域的典型特征是风险敏感的，如果人工智能技术犯了一个错误，它将犯一个大错误。例如，医疗领域关注的是生命安全，而司法领域则与司法正义问题有关。在这样的背景下，人工智能技术的系统性风险亟待关注。
至于人工智能的现状，我们认为它知道，但不知道为什么。当今人工智能解决的最佳方法是什么？可以称为"什么问题"，即"什么"的问题，比如脸是谁，人是否有病，什么样的问题善于回答。你不擅长回答的是"为什么问题"，这就是为什么。如果我们问算法为什么做出这样的预测或决策，模型不会给我们一个答案，这样的限制会带来一系列应用程序级的风险。（见图5）
图 5
首先，目前主流的机器学习方法是黑匣子模型，这使得无法解释当前模型的预测，以及其无法解释的后果是什么 - 人与机器之间没有办法一起工作。为了在任何两个主题之间协同工作，必须有一种所谓的共同语言。如果机器的输出不理解，机器的输出不理解，导致人和机器只能采取其中一个，导致"1 s1 s1"，要么在全字母机器上，要么全部不相信。在许多风险敏感的领域，医疗、军事、金融、工业，人们不能完全信任一台机器的决策。在这种情况下，如果不了解机器的输出，就无法在此类风险敏感领域安全地应用此类技术和系统，这是人工智能技术渗透到实际应用中的最大障碍。
其次，第二个风险是缺乏稳定性。在当前的主流AI方法中有一个基本的统计假设 - "独立共分布"（图6），我们训练的模型和我们测试的模型需要分布，换句话说，需要测试模型的数据和训练模型的数据"看起来像"，并且只有当我们的模型看起来相似时，我们的模型的性能才能得到保证。如果模型的数据分布和训练分布之间存在偏差，则模型的性能不稳定，从理论和实践角度来看都不能保证。在实际应用过程中，很难保证模型的测试分布和训练分布是一致的。比如无人驾驶汽车，当我们开发无人驾驶汽车视觉模块时，我们会收集很多特征来训练这样的视觉模块，训练出来，然后在特定分布的训练数据下对模块进行训练。当实际产品上线时，并不能保证司机会把车开到哪个城市，以及城市和训练数据的分布是否普遍一致。无论是理论上还是性能上，都无法保证当今车型的稳定性能，这就是为什么我们现在在开放的环境中看到无人驾驶汽车，有些人根本无法理解低级误差。
图 6
第三，公平。举一个简单而直接的例子：在美国司法系统中，通过预测囚犯获释后的二次犯罪率，作为减刑或释放的重要参考指标。从家庭背景、收入水平、教育程度等方面来看，两名犯罪嫌疑人基本相似，只是因为一名是黑皮肤，一名是白皮肤，在人工智能系统中，最终确定的是，黑皮肤嫌疑人的二次犯罪率比白皮肤高出十倍以上。换句话说，两人的其他背景相似，但由于肤色不同，结果却大不相同，很明显，这样的预测和决定是不公平的。现在很多人工智能技术倾向于做出这种不公平的预测或决定。
第四，非追溯性。今天的人工智能系统，鉴于其黑匣子模型的性质，知道最终输出是错误的，但没有办法回过头来找出究竟是哪个参数或特征错误导致了最终的错误输出。也就是说，整个过程无法追溯，从而导致模式错误，不知道电路板将击中谁。
因此，目前人工智能应用的困境可以概括为无法解释、不稳定、不公平和非追溯性的。以及人们对人工智能系统不理解的直接结果。但是，新技术是否必须被理解才能充满信心地投入使用？不一定。比如说汽车的使用，不是每个人都了解汽车的动态、发动机原理，为什么敢用呢？因为它非常可靠。但人工智能技术之所以不那么可靠，是因为它不稳定和不公平。换句话说，如果不了解人工智能技术，人们就无法信任它。而且，由于它不是追溯性的，一旦制度出错就很难受到指责，不知道要打谁板，所以很难建立一套保护制度。所以现在AI应用的困境归结为：不理解、不信任、不安全，现在正面临着巨大的挑战。
为什么今天的人工智能技术会产生这一系列问题？追溯到机器学习的统计基础，我们只关心所有输入和输出信息之间的"平面"相关结构，其中大部分是错误的。例如，历史数据显示收入与犯罪率、肤色和犯罪率之间存在很强的相关性。如果使用因果关系而不是基于因果关系的相关性统计，可以发现收入和犯罪率是强烈的因果关系，低收入群体更容易犯罪，肤色和犯罪率不是强因果关系。为什么肤色和犯罪之间有很强的相关性？这背后的原因是，在某些国家，深色皮肤群体的工资过低，因为低收入导致高犯罪率，而不是直接导致肤色造成的犯罪。因此，如果原来的集合不是很严格、比较可靠的相关统计框架，进入一个更严格的因果统计框架，在解释性、稳定性、公平性、可追溯性方面可能有很好的解决方案。因此，将因果关系引入机器学习可能是突破当前人工智能局限性的重要途径。（见图7）
图 7
从2016年开始，我们专注于如何将因果关系与人工智能相结合，以实现因果启发的学习，推理和决策，以便我们能够从识别理论，学习模型和决策机制的角度全面引入因果统计框架并建立因果启发的机器学习理论体系。近年来，因果激励机器学习取得了一些重要进展，终于找到了全球样本赋能的方法，线性模型、非线性等深度学习模型可以通过样本赋能的操作，推进到因果启发模型，为机器学习模型的解释性、稳定性和公平性提供一定的理论依据。从应用来看，其使用效果一直表现突出，在工业4.0、新能源、通信等领域得到了广泛的应用。
人工智能在进入深水后必须要求解释性，稳定性，公平性和可追溯性。为什么目前的人工智能技术不能做到这一点？总结一句话就是知道它，但不知道为什么。"是"是数据中的关联，"所以"是数据中的因果关系。因此，人工智能的基本理论需要根本性的改变，而因果机器学习可能是新一代人工智能的突破口。
马丁·大卫
张奇石的《论归因权重、鲁棒性、泛化、视觉概念与美学的解释性游戏交互系统统一》
解释性需要一个更深更强的理论基础，其中有两个关键词——统一制度，去全化。
为了清除符号表达式和神经网络表达式之间的障碍，我们需要在统一的系统中建模，以获得可靠的结果。
我们不仅要对语义进行建模，解释语义，还要解释其泛化能力。我的报告题为"解释博弈交互理论系统：归因权重，鲁棒性，泛化，视觉概念和美学的统一性"，从技术细节开始。
图 8
解释性发展的现状如图8所示，不同的人从不同的方向来解释神经网络，人从语义层面，从数学层面来解释神经网络，目前解释性发展方向的主题是多种多样的，没有统一的框架。神经网络的语义级解释主要是解释哪些语义用于预测神经网络，以进一步量化神经网络的可靠性和可信度。有必要学习基于重要特征的解释性与神经网络的交换，最后如何评价神经网络的解释结果，以便从语义层面对认知神经网络的知识进行建模。解释神经网络的数学表达能力包括如何建模或解释神经网络的表达能力。现在很多人都在关注神经网络结构，如何建立结构与知识表达的关系，如何建立知识表达与最终性能的关系，如何解释经典的深度学习算法。最终目标是调试神经网络，它通过小样本和改进的神经网络性能进行更精确的修复。人们有不同的权力方向，但他们都解释了神经网络，或者他们都解释了人工智能系统。
能见度科学与其说是一门科学，不如说是一种工程技术。不同的人从不同的角度解读神经网络，比如数据级、语义表达级、碎片化等。为了从根本上克服一些问题，神经网络需要在语义上进行解释。首先，我们要确保语义的严谨性。例如，如果一个对象的组件是通过神经网络建模的，那么无论神经网络是否在这一部分中进行了严格和现实的建模，都需要确保这部分语义的严谨性。例如，神经网络对"猫"的头部进行建模，并严格而严格地对猫的头部进行建模，而不是其他部分。其次，在神经网络预测中，输入像素或输入区域建模的重要性应严格而准确，以实现语义严谨性和归因数值严谨性。
我们需要为神经网络表达能力提出更多的解释指标，以分析神经网络表达能力。解释性需要一个更深更强的理论基础，其中有两个关键词——统一制度，去全化。
不同的人从不同的角度来解释神经网络，有的人从迁移的特征来解释神经网络，有人来解释神经网络的对抗鲁棒性，有人研究神经网络的变化的复杂性、泛化能力、特征结构、特征交互性等等，这些研究是分开的，每一项研究都可以不言自明， 而是基于自己独特的理论基础和假设框架。这些方法只能是自我解释的，而不是相辅相成的。为了相互证明不同的算法，我们必须把算法放到统一的系统中，这样才能保证不同研究的可靠性，保证解释结果的可靠性和研究结果的可信度。因此，不同的研究应该放在同一个理论体系下，以打开它们的内部关系。
在去污层面，深度学习技术有很多，真正有效和有用的深度学习技术大多是基于人类经验或人类直觉感知来设计神经网络结构，但目前还不清楚究竟是什么样的内部机制真正起作用的。我们所知道的是，不同的方法可以实现一个功能，我们不确定什么真正有效，或者什么最有效。我们希望从不同因素中总结出真正有效的因素，从而设计出更可靠的指标来指导神经网络的结构设计，指导神经网络训练，这是未来解释性发展的方向。
在过去的三年里，我们利用博弈交互理论系统做了一些研究。博弈交互是从博弈论层面定义的，证明了它们的一些属性，进一步完善了博弈交互解释的理论体系。在神经网络的解释中，神经网络的泛化能力可以用这个理论来解释，神经网络建模的语义层次，神经网络建模的视觉特征（如形状特征）等等，以及输入视觉图像的抗迁移、反鲁棒性和美学，都可以用表达来解释。简而言之，神经网络的所有方面都可以在系统内解释。
归根结底，这样做的原因是我们仍然希望使解释算法更加可靠和安全，以获得更可靠的解释结果。为此，我们需要对神经网络算法提出一些要求，从而完善统一理论体系下的解释理论本身，解释什么叫"语义"，什么叫"对抗鲁棒性"，什么叫"泛化能力"，什么叫"迁移"等等。为了突破符号表达和神经网络表达之间的障碍，我们需要在统一的系统中建模，以产生可靠的结果。另外，在去存储的过程中，真正有效的算法主要是经验算法，神农味草式的，我们的理想是证明算法的有效性，或者提取不同算法的共同机制，找到内在的机制真本质。
首先，什么是"游戏交互"？简而言之，它是多个单词或像素之间的交互。神经网络不会推测单个单词，而是在多个单词之间形成偶联和短语，从而影响输出。视觉分类任务也是在不同像素之间进行配接，以影响最终的分类结果。我们用一个形象比喻来帮助理解"游戏互动"的定义，每个词、每个像素作为一个反派，其中有三个反派（即三个字）在一起的总效用。如果每个单词独立行动的效果差等于0，则几个单词之间没有交互作用，如果大于0，则认为几个单词相互合作，如果小于0，则几个单词之间也有相互作用。重要的是，"游戏交互"可以将神经网络表达式转化为不同知识点的效用总和。神经网络表达式是由线性表达式转换而来的模块化表达式，我们要计算神经网络记录的知识点数，每个知识点是一组特定像素的相互作用。知识点的定义和使用将从根本上改变神经网络的表达方式。这种表达方式的变化可以解释很多事情，进一步完善了沙普利价值的解释理论。
在解释中，如何确定像素或区域对决策结果的重要性是确定当像素或区域被遮挡而不是遮挡时神经网络输出的差异。如果差异较大，则认为面积或像素更重要，如果差异较小，则认为面积不太重要。对于如何表示，没有定义，即所谓的块被遮挡，是用黑色正方形还是方形模糊区域表示。如果神经网络输出可以表示为不同的知识点，符号化并转换为知识点效用的总和，则可以确定神经网络建模中存在的知识点总量，并且可以进一步区分神经网络建模的重要知识点和噪声知识点。显著的知识点对游戏交互更有效，比如绝对值的值比较大，而噪声点的绝对值接近于零，是知识点几乎没有效用。所以寻找一个掩码状态，让触发器的重要知识点尽可能少，这样神经网络就可以从知识点的层次来解释，从统一的角度建模，而神经网络触发的信号数量是神经网络分析的新角度。
第二，如何诠释数字图像的美感？美学没有完全定义，美丽的图像降低了人类的认知成本，他们可以一目了然地识别出它们背后的物体。这实际上增加了大脑的认知意义。使用人工神经网络来模拟真实人脑的神经网络。当人们解释由人工智能建模的重要信号和噪声信号时，他们可以增强重要信号并减少噪声信号。如图 9 所示，背景变为绿色，变为红色。如图9所示，猫咪，原来的色彩分布比较平均，经过调整，提升显著信号后，可以发现猫咪和右边的背景对比更强烈。从这个角度来看，我们可以修改网络的学习目标，进一步提高图像输入的美感。
图 9
归根结底，什么是"语义"？"纹理"是什么意思？"形状"是什么意思？学术界目前没有定义。其实，游戏交互也可以解释语义表达，比如任意两个像素之间的交互，并不是两个像素之间的问题，而是两个像素和背景像素之间的相互配合，如果只有少量的背景像素与这两个像素，往往是一个简单的视觉特征， 这是一个低阶相互作用;我们也可以从这个角度解释不同语义的表达和神经网络背后不同复杂性的表达。
我们不仅要对语义进行建模，解释语义，还要解释其泛化能力。前期工作可以证明Drout可以降低游戏交互的强度，我们发现游戏交互的强度与泛化能力无关，基于这种关系，可以进一步优化神经网络的泛化，也可以用来解释神经网络的抗迁移，发现游戏交互的指标与迁移无关。前面提到的"去污"，在改进反迁移算法时，有很多基于经验的算法，比如添加一些动量，添加一些动量，添加一些梯度平滑，改变传播权重等等。这些方法确实改善了对抗性机动性，但目前尚不清楚它们的作用的性质是什么。该理论证明，这些方法正在降低交互作用值，可以总结出这些经验算法背后的内在机制。它是一种更可靠、更标准的理论，可以指导未来基于本质机制的深度学习，并指导神经网络的解释。进一步如何解释对抗的稳健性。对抗四种方法，两种方法检测样品的对策，两种方法增强鲁棒性，都是检测最高阶的相互作用，去除敏感的相互作用成分。
综上所述，从语义层面和数学层面的解释来看，现在对神经网络的解释更像是一种纯粹的工程技术，没有统一的解释，我们希望尝试对同一个系统进行不同的研究，去存储，找到其本质机制，从而解释神经网络， 其解释理论，解释结果会更可靠。
谢涛，AI可靠性与解释：软件工程视角
AI的可靠性被用户对AI系统的过度信任所放大。
人工智能系统的未知挑战 - 解决最后一类已知的，未知的，已知的，未知的未知的。
我分享的内容主要与软件工程的角度有关，以看到AI的可靠性，解释性的。在人工智能和软件工程的跨领域，智能软件工程就是利用人工智能技术和手段来帮助解决软件工程的问题。相反，智能软件工程是利用软件工程技术和手段来帮助解决AI（尤其是AI软件）问题，如AI可靠性、解释性问题等。
去年，我与软件工程和人工智能交叉领域的几位研究人员共同组织了IEEE软件杂志的特刊，讨论智能软件工程和智能软件工程。本期杂志收录了通过同行评审从投稿中选出的五篇文章，以及一篇关于受邀专家观点的文章，包括在中国享有盛誉的李开复博士和微软亚洲研究院副总裁张冬梅，他们为他们的观点做出了贡献。
切入今天的主题，首先从软件工程AI系统的角度来看，很多时候AI模型只是AI系统的一个模块，但AI系统本身就有很多AI模型，没有外围更多的模块。许多复杂的系统由许多模块组成，而AI模块只是其中的一个或多个，例如自动驾驶系统。就软件系统本身而言，系统从用户那里获取输入，执行一系列操作，然后给出输出。前提条件定义了系统可以运行的输入范围，一旦获得满足前提条件的输入，行为正确的系统就可以保证满足后置条件的输出。如果输出不满足后置条件，则系统存在问题。
人工智能系统面临着挑战，例如难以描绘需求，包括前提条件，后置条件等。2016年，微软发布了青少年聊天机器人Tay，当有人恶意与之互动时，它变成了种族主义者，因此它只存活了24小时并被关闭。事后网上有一些讨论，微软应该采取一些预防措施，比如创建一个术语黑名单，在检测其他人与Tay的互动时过滤这些包含这些"禁令"（相当于违反先决条件）。在Tay输出它所说的内容之前，当检测到这些单词包含"禁止"（这也是没有"禁止"的后置条件的一部分）时，它会进行过滤。定义这样的术语黑名单是困难的，因为有必要确保对话的自然性质，并防止恶意输入和"错误说话"输出。如何将这一要求落实到一个非常具体、可验证、能保证的需求中去，这是非常困难的。
图 10
系统对需求的满意度通常不是绝对的，而是统计的。（图10）例如，对自动驾驶系统中的系统要求，例如稳定性、安全性、合规性、舒适性，系统决策确保所有四个需求都得到满足，这是一个更严格的要求。在实践中，很难做到，所以首要的就是保证稳定性、安全性，因为在开放的环境中（如自动驾驶、聊天机器人等，都是开放的输入）很难确定或保证需要满足。
此外，在AI模型进化的过程中，往往会导致一个整体。通过添加新的训练样本，然后训练以生成新版本的AI模型，虽然整体模型准确性可能会逐步提高，但单个输入的输出行为可能与旧版本的模型有很大不同，后者与传统软件不太一样。在使用AI系统时，用户也很难确定输入和输出是否满足需求。
AI的可靠性被用户对AI系统的过度信任所放大。以前的研究发现，人类在与机器人互动时过于依赖机器人，例如当他们带他们去建筑物中逃跑时。如果机器人不能很好地引导，可能会造成不小的负面影响，人们本可以及时找到自己的逃生出口，但由于AI的误导而错过了拯救自己的时间。
图 11
AI解释是某些AI系统需求的重要组成部分，如果仅在需求级别，则对某些AI系统来说就不那么重要了。（图11）例如，百度已经发布了其输入法AI聊天智能预测功能，用户的对话预测接下来要打什么单词，由用户确认预测结果（这里不必解释为什么预测这些单词）。由北京大学LiGo创立的初创公司"aiXcoder"正在研究代码补充，这是一种类似的情况 - 没有解释推荐的片段，而是允许开发人员确认预测，以节省代码敲击时间并提高开发效率。但是，解释性在其他场景中非常重要，例如百度用于输入法的智能帮助书写系统。如果你使用帮助书写系统与某人聊天，比如父母和孩子，因为年龄差距，为了写一些更接地气，更符合孩子的习惯和知识的信息，那么采用推荐的帮助写作内容不是盲目的，ai可以在这里解释是关键。包括微软GitHub的"AI Pair Programr"，自动划写大段代码，解释性也很重要，因为开发者需要花费大量的精力在自己需要了解和判断自动编写的代码是否正确，这与代码补充场景是不一样的。2018年，我联合创办了杭州视觉科技有限公司，解决智能制造包括集成电路、3C产品、LED产品等表面缺陷检测，还采用深度学习、计算机视觉等方式。我们发现，在AI模型的开发和演进中，解释性也至关重要，这可以帮助我们的系统开发人员更好地掌握添加或减少训练样本对整个模型的影响，在这种情况下，准确理解模型行为至关重要。
下面介绍如何基于不可靠的 AI 模块创建足够可靠的系统。鉴于数据驱动的特点，AI模型和AI决策本质上很难完全可靠，除了从算法和其他角度提高AI的可靠性外，基于系统视角从外围提高系统的整体可靠性（即使系统内的AI模块不太可靠）是一个重要的研究方向。这是清华大学车辆与车辆学院研究团队在《自然》杂志上发表的一篇科学报告文章，讲述了当一个人与一辆汽车即将发生碰撞时，人类的反应，学者们判断一辆汽车在安全之前应该离人多远，即所谓的"安全边界"。我们最近的研究（去年发表在IEEE Transactions on Reliability上）通过监控系统的内部状态，在技术上从智能汽车、无人机等中得出了所谓的"不变"属性，类似于行人的"安全边界"。此外，对这一想法的回应还涉及如何训练使用AI系统的人不要过于信任AI系统。
图 12
事实上，人工智能系统的未知挑战涉及最后一类已知、未知、已知未知、未知。（图13）右上角是说AI系统知道违反其前置条件或后置条件，右下角是说AI系统不知道其前置条件，后置条件什么都没有，或者什么条件被违反其前置条件或后置条件。右下角的情况很难处理，这是一个我们需要长期解决的公开挑战。
图 13
马利·加利亚多
< h2头条原产地""">"</h2>
从宏观角度分享您对"AI可靠性和解释性"主题的看法
陶大成
可信人工智能仍然是一个相对开放的问题，需要从不同方面进行深入思考，主要关注人工智能技术的稳定性、解释性、隐私保护性和公平性。2020年11月25日，在 JD.co 创作者大会上，京东宣布成立京东公司探索研究所，开始吸引相关科技人才走向世界。
2021年3月，当我成为 JD.co 院长时，我开始规划京东探索研究所的战略方向，并开发了三个重要的研究方向：第一，可信人工智能，第二，超深度学习，第三，量子机器学习。
在可信AI方面，我们专注于AI技术的稳定性，解释性，隐私性和公平性。从理论角度认识深度学习的工作机制，分析风险，研究深度学习的新算法，分析神经网络的代数和几何属性以及泛化能力，从而保证人工智能应用的解释性。目前，可信人工智能仍然是一个相对开放的问题，需要人们从不同方面进行深入思考。
超深度学习专注于超大规模模型的训练，希望从理论层面分析超大规模深度学习网络的优越性，以及它能构建的生态系统的模式和方式。
在量子机器学习方面，到2035-2040年，全球的电力容量将不足以仅支持人工智能的消费。当时，"兰德尔极限"将是主要问题，目前，量子计算机应用是突破传统计算机"兰德尔极限"的最有希望的手段。量子计算机发展非常迅速，我们希望通过量子计算机构建新的机器学习系统，这最终将导致人工智能的进一步改进。一般来说，无论是超级深度学习还是量子机器学习，我们都希望构建本身值得信赖的系统。
李正峰
显然，对人工智能决策的信任不能完全由技术来保证。所以我们必须思考如何在数字时代和人工智能时代重新建立社会信任机制。
所谓道德真空可以表现在两个方面：一是道德无意识，算法设计根本不考虑什么样的伦理问题，社会问题就可能出现。第二，没有道德规则，知道可能存在问题，却不知道该怎么办。
解释还意味着我们根据必要的技术和社会标准来规范人工智能，同时对社会、公众和用户做出承诺。
我主要从事社会学研究，专注于科学技术和社会问题。关于AI决策的可靠性和解释性，我想从三个方面分享我的观点。
首先，人工智能决策的可靠性与解释性之间的关系。显然，提高人工智能决策的可靠性是一个目标。解释性、可信赖性和可理解性服务都是为了提高可靠性服务而设计的，而对人工智能决策可靠性的关注很大程度上是由于我们已经将决策权更广泛地留给了机器，这是人工智能技术的一个非常重要的特征，它与其他技术区别开来。离开决策权和控制力，AI决策具有很强的可塑性和风险性，AI决策相关技术也存在不同类型的缺陷和问题，还有很大的突破空间。这让我们不得不高度重视AI决策的可靠性，否则我们就不能保证AI决策不能被应用。然而，对人工智能决策的信任不能完全由技术来保证。所以我们必须思考如何在数字时代和人工智能时代重新建立社会信任机制。换句话说，人工智能决策的可靠性需要通过构建社会信任网络来保证。
其次，我们为什么要解释AI决策的算法？一个原因是算法的黑盒。除了算法的黑匣子之外，还有一个重要的方面——算法的可塑性。算法的可塑性是指算法的可变性和可变性，算法设计者可以对其进行扩展、修改和修改。算法可塑性有两个后果：一是难以预先确定最优和最可靠的算法，该算法受设计人员认知水平和有限技术能力的影响，还受研究、数据可靠性、完整性的影响。许多算法研究都具有上下文特征，当它被转移到另一个场景时是否合适？这是一个值得思考的问题。更重要的是，算法设计会受到设计师自身道德修养、社会责任意识等因素的影响。算法可塑性的另一个后果是算法不稳定，因此算法可能构成安全隐患，但也会产生各种伦理问题。许多与计算机技术和人工智能技术相关的伦理问题，往往是由计算机的逻辑可塑性和算法的可塑性带来的。可靠性是最基本的方面之一。在人工智能决策过程中可能存在算法设计中存在道德真空的情况。所谓道德真空可以表现在两个方面：一是道德无意识，算法设计根本不考虑什么样的伦理问题，社会问题就可能出现。第二，没有道德规则，知道可能存在问题，却不知道该怎么办。为了避免道德真空，人工智能企业和算法设计人员需要解释算法和人工智能决策机制。这种"解释性"和"可理解性"不仅是技术性的，而且是社会和道德的。解释的目的不仅仅是解释技术是否可行，更重要的是解释它如何以及是否可以被社会接受，是否可以被社会信任。因此，人工智能决策应该是"解释性的"，需要解释，更重要的是，从社会责任的角度，从伦理的角度来要求。这种道德责任，原则上应保证促进人类福祉，尊重生命权、不伤害他人、保护个人隐私等个人权利等，坚持公平正义，能及时认识和合理控制风险。因此，要求做出解释，使其能够被理解，值得信赖，本身就要求算法设计者自己具有道德意识、责任感。
第三，我们需要向谁解释？解释的含义在哪里？解释性是否能够产生有效的屏障或无缝的可靠性网络，是在理解解释性，可信赖性和可靠性关系时要考虑的。向公众解释或向用户解释，其实大多数公众或用户都很难理解技术细节，也许我们解释的对象或者最能理解技术细节的往往是同行，同行可能是企业中的同行、行业同行，国内同行还包括全球同行、学术同行。二是要说明很重要的对象是政府监管部门，但最终要对公众负责，对社会负责。如果是一个负责任的行业社会，负责任的监管机构，通过这种解读，通过主体之间的互动，相互讨论，可以有效防止个人的认知或技术偏差，也可以促进技术进步和升级。这种解释本身就是监管的重要前提，通过防止利益或其他因素的影响，包括前面提到的歧视或其他意识形态问题，促进健全的社会监管。因此，解释也意味着我们根据必要的技术和社会标准来规范人工智能，同时对社会、公众和用户做出承诺。在这个过程中，公众在保证人工智能决策的可靠性和可接受性、值得信赖的社交网络方面也发挥着重要作用。这就是塑造一个社会信任共同体，就是共同构建一个社会理性和集体理性，通过社会理性或集体理性来推动人工智能技术的健康发展，形成一个社会网络来塑造社会信任共同体。
< h2 toutiao-origin""h3" > 3 个讨论主题</h2>
问题1：随着人工智能技术在现实生产生活中的广泛应用和渗透，社会上对人工智能技术关注、人工智能可靠性和解释性真实风险等问题有各种各样的声音，公众的要求是什么？这包括政策层面的实际风险，政治，经济，公众对社会公平的需求，信任等。
郑亮
在公共场合，监管规则实际上是一个权力再分配的问题，无论人们依靠系统还是决策者，我的观点是，它们背后有规则，这些规则形成了一个规则，基于对什么是可靠的，什么是安全的充分讨论。
至于解释性和可靠性，人们更多地将其视为公共选择，而不是社会认知。例如，我们可以在许多领域看到类似的问题。并非所有的AI应用程序都必须解释，人们在每天使用大量产品时，不会注意其背后的技术原理。但是，为什么要对药品、食品和家用电器实行监督认证制度呢？更多的是由于其应用涉及人身安全、财产安全，因此在行业长远发展中要建立这样一套监管体系，这是从消费者出发，从用户的角度出发，把握安全、健康、环保等底线的必然要求。
对于AI系统的应用来说，由于它是一种通用技术，当应用于公共领域时会涉及公共安全问题、公平性问题，因此它确实与一般产品的安全性存在一定的区别。在公共场合，如司法和公共卫生，这些领域的监管规则实际上是权力和责任重新分配的问题，无论人们依靠系统还是决策者，我认为它们背后的本质是规则。对于新技术的治理，新规则，如可靠性，对于监管者和用户来说是不同的。我们需要在充分讨论的基础上再接再厉，形成一条关于什么是可靠的，什么是安全的规则。至于解释性，应按等级处理，并在具体情况下处理。欧盟也好，美国好，对于涉及个人利益，包括公平隐私等情况，更多的是给予用户选择权，不一定受制于外部规则。但是，在公共领域，如公共卫生、交通安全，这需要强制执行，通过访问来确保根据不同的情况进行处理。
从不同的伦理立场来看，公众的要求分为不同的层次，最基本的需求是来自人工智能决策可能产生的后果，什么样的后果，能够带来最大的公共利益，防止对个人或公众的伤害或不安全感，等等，这是一个底线。
公众对可靠性和解释性的需求差异很大，与公众的道德立场本身并不完全一致。从不同的伦理立场来看，公众的要求分为不同的层次，最基本的需求是来自人工智能决策可能产生的后果，什么样的后果，能够带来最大的公共利益，防止对个人或公众的伤害或不安全感，等等，这是一个底线。所以现在谈论可靠性，其实是一个守底线的问题，当然公众的需求可能会更高。
从义务理论的角度来看，用户会保护自己应有的权益，这种权利并不完全是从后果上来考虑的，也就是说，不管后果如何，只要侵犯用户权益就不应该，比如保护隐私的问题，比如企业不能说谎， 比如我们必须遵守一些公共秩序和良好的礼仪。
进一步从合同理论的角度出发，公众、政府监管部门、企业、技术人员和用户达成相互约定的合同。签订一份普通的合同，往往包含很多技术黑匣子，用户对AI产品不一定能很好地理解合同。我们有时需要解释的正是合同。此外，合同的解释性和可接受性应由政府监管机构保证。每个公众都很难理解合同的技术细节，因此公共部门有必要确保公众与企业和行业之间的合同不会对公众造成伤害，因此在这方面有许多法律要求要透明和可解释，这是一种保障机制。
最后，从最高的道德伦理立场出发，即道德行为的立场，希望企业、从业者、公众都能成为有德的人，是自律的人。对于社会责任企业、责任企业，公众可能会有更高的认可度或接受度。我同意我们可能希望对区域进行分级，以制定适当的规则，以满足不同层次的需求。
问题2：从技术角度来看，AI的可靠性和解释性之间有什么关系？各自的范围和边界是什么？
张拳击石
在许多情况下，结构决定知识表达，知识表达的客观性、严谨性和可靠性决定性能，这需要结构与知识、知识和性能之间的联系。
从技术上讲，AI可靠性可以理解为AI可靠性算法，解释性算法本身是否可靠，以及它们是否可以解释。简单地说，解释一个模型或解释一个神经网络只不过是追求解释结果的透明度，特征表达的透明度，对其基本建模的了解，以及做出决策的原则。神经网络的语义解释，这是解释性的，但不能脱离结果本身解释的可靠性。这里我们要强调语义本身是否解释了结果的可靠性，语义的建模是否可靠，解释结果的数值是否严谨。因此，语义解释本身应该是可靠的。现在很多解释结果只能是不言自明的，但其理论假设是解释的，不同的方法都是成功的先进方法，但对同一现象的解释可能不同。因此，不同的算法或不同的方法、不同的技术、相同的模型、相同的现象有不同的解释，彼此独立，无法相互确认，这就是解释结果的可靠性。因此，需要证实不同的结果，以找出它们解释差异的原因。如果语义理解有更深层次的理论支持，考虑如何将其呈现给公众，并解释结果，以便每个人都能理解。此外，解释应当是严格和客观的，这涉及如何确定解释性标准的问题。此外，解释应当是可核查的，即可靠性。
另一个重要的问题是，如何从表达能力来解释，为什么在这个项目中，一个神经网络比另一个神经网络更可靠，表现更好，这就是泛化能力的解释。现在，许多结果都试图找到数学泛化的界限。数学解释本身没有错，但人们是否能理解结果却是另一个问题。我们不仅要发展可靠性理论，还要解释可靠性理论本身，并注意可靠性结果或数学公式是否可以在物理意义的层面上进行解释。因此，我们不仅要解释神经网络的表达能力，还要解释数学介绍的结果或结论，数学不等式背后的内在机制。进一步建立网络结构与知识表达之间的数据关系，建立知识表达与网络性能的关系。许多方法，例如泛化能力或性能，通常基于神经网络结构和性能之间的直接对应关系，但这在理论上是无法解释的。在许多情况下，结构决定知识的表达，知识表达的客观性、严谨性和可靠性决定性能。这需要结构与知识、知识与性能之间的关系，归根结底，这不仅是对特定现象的结论，也是对神经网络结构设计和优化算法的反馈指导。解释理论本身应该能够有概括性的表现，在不同的神经网络中，不同的应用可以指导神经网络的训练，指导AI模型的结构设计。因此，从语义上，从表达能力上解释，以及解释结果本身需要可靠，可靠性的概括理论也可以解释。
稳定性、解释性、隐私保护性和公平性是相互关联的，不是孤立存在的，人工智能的可信度需要从整体角度进行研究。
可信人工智能的研究涉及许多方面，如果我们想实现可信的人工智能，首要任务是找到正确的定量分析方法，量化人工智能算法、模型、系统的稳定性、解释性、隐私保护性和公平性。如果aith Intelligence的可信度能够在所有这些领域达到共识水平，那么它更有可能是明确负责，透明和可信的，从而推动AI在相关应用中的地面。
一是达到共识的层面，二是要有定量的分析手段。为此，您首先需要了解什么是可信的aiprotective智能的稳定性，解释性，隐私性和公平性。人工智能系统的稳定性是人工智能系统在抵御恶意攻击或环境噪声的条件下做出正确决策的功能。高性能的人工智能系统可以在保证用户安全的同时更好地服务用户，通过攻击算法、攻击成功率来衡量系统的稳定性。现在的稳定性技术也有很多方法可以提高稳定性，如反训练、样本检测等方法可以提高稳定性。问题是，仍然需要找到共同的稳定措施。我们也担心解释性，人工智能系统做出的决定需要是可以理解的。解释性的改进不仅有助于构建更高性能的人工智能系统，而且促进了人工智能技术在更广泛行业中的落地和赋能。解释性测度的内容，除了模型的解释性外，还具有训练样本的解释性、测试样本的解释性。解释中涉及很多点，如泛化性能、特征、因果关系、可视化等。如何在技术层面就指标达成共识，衡量系统，然后指出系统的解释性是一个非常重要的问题。
隐私保护主要是人工智能系统不能泄露个人或群体的隐私信息，人工智能系统在为用户提供准确服务的同时保护用户的隐私。用户隐私非常重要，衡量一个系统的隐私保护能力，可以用来区分隐私或隐私攻击等等。此外，该系统还可以通过联邦学习、多方计算、同调加密等手段进行增强，以保护用户隐私。
公平意味着人工智能系统需要公平对待所有用户。大众用户、小众用户、男性用户、女性用户、不同种族用户、年轻用户、中年用户等，都需要公平对待。公平的AI系统可以适应人们的差异，并为不同的用户提供相同的服务质量。目前，个人公平和群体公平指标可用于衡量相关公平性。公平性的保证算法包括预处理方法、处理方法和后处理方法。
我们仍然有很多机会深入研究可信aithorns的稳定性，解释性，隐私性，公平性测量和改进方法。稳定性、解释性、隐私保护性和公平性是相互关联的，不是孤立存在的，人工智能的可信度需要从整体角度进行研究。为了实现可信人工智能体系，我们需要找到一个统一的综合治理框架，构建可信人工智能的综合理论，帮助我们实现有效的可信治理。
举个简单的例子，所有AI系统在运行环境中都会受到噪声的影响，比如用来观察的传感器误差，即系统误差，以及环境因素，比如天气变化，环境噪声引起的阳光变化，甚至人自己都会带来很多噪声，现在AI系统训练需要大量的人来标记数据， 标记过程可能会出错，甚至相同的数据也可能因人而异。实践表明，这些噪音可能会使现有的人工智能系统失效。此外，神经网络中存在大量的对策样本，数据上的轻微噪声可以显著改变系统的预测和决策。因此，有必要开发强大而可靠的人工智能技术。许多不同的技术现在正试图解决这些问题，例如PGD方法通过梯度上升寻找对策样本来寻找促进鲁棒性的方法。
目前，人工智能技术的工作原理还没有得到更好的解释，虽然我们做了很多努力，但相关研究还处于非常早期的阶段。任何学科的发展都需要很长的时间来打磨，特别是人工智能是一门综合性的学科，范围很广，我们真正深刻理解人工智能需要很长时间。例如，物理学的发展，牛顿力学统治了经典物理学数百年，最后出现了量子力学、相对论、广义相对论、狭义相对论。我们对量子力学的理解仍然存在许多问题，即使物理学等基本学科已经发展了数百年，以实现今天的稳定性，甚至是宏伟的条件。人工智能的学科其实是一门非常年轻的学科，从20世纪50年代的诞生到现在大约70年的历史，真正深刻理解人工智能的机制也取决于更多的人投入到基础研究中来。特别是对于基于深度学习的深度神经网络，它们的泛化能力很难解释。无法解释的人工智能技术，在实践中很难得到大家的充分信任，对于无法解释的人工智能技术来说，其可用性是一个问号。
在我们的工作中，我们发现，在现有PGD技术的框架内，对抗的稳健性和普遍性不能结合在一起。我们发现，随着鲁棒性电阻的增加，泛化误差的上限可能会增加，即随着模型变得更加鲁棒，泛化性能可能会变得更糟。这部分解释了稳定性和解释性之间的关系，因此它激励我们以不同的方式看待可信的人工智能。这也涉及一个哲学思想 - 无论是整体的还是还原的。从还原理论的角度研究可信人工智能的方方面面只是第一步，第二步是从整体理论的角度研究如何全面管理可信人工智能。中国信息通信研究院发布的《可信人工智能白皮书》中，对综合治理进行了一些初步探讨，希望能给大家一点启发。
问题3：如果一项技术要快速发展，就要经过实际应用的考验，这些可信人工智能新技术的实际应用存在哪些机遇，实际应用中存在哪些问题和挑战？
谢涛
从两个角度来看解释，一是从宏观治理的角度，它提供了解释来支持事后的想法，或者治理过程的审批等等，这里评审者看AI系统是否合规等，二是用户的角度，在用户实时使用AI系统的过程中如何提供更好的解释， 并使用户能够理解。用户在使用提供的解释做出自己的决定方面面临许多挑战。例如，对一个AI系统的前况、后部工况角度进行分析，如果AI系统的输入违反了前提条件，导致系统无法运行，这个过程就可以解释。此外，深度学习不能提供像经典机器学习那样多的可信度来帮助用户根据AI建议做出最终决策。基于深度学习的系统难以识别和解释非法输入（违反前提条件的输入）或其不正确的输出（违反后置条件的输出），如何解释系统如何认为它已经产生了正确的输出，如何解释系统对输出的正确性没有信心等，这些都是很大的挑战。
根据之前对移动安全的一系列研究，在Android的早期，当用户决定是否批准应用程序的请求以访问一系列用户敏感数据时，就会安装Android应用程序;虽然存在这种机制，但文本解释通常不到位，并且应该根据用户群体而有所不同。对于具有更广泛应用背景知识的用户群体来说，一个简短的解释就足够了，但对于不太熟悉的用户组需要更详细的解释，以不同的方式解释它并限制可用的文本空间是一个巨大的挑战。
目前，一些AI模型经过学术界的正式验证，认证结果从实际系统的应用上还存在差距。通常，认证鲁棒性是对抗性扰动中更有限的场景，并且很难对通用输入进行身份验证。对于AI系统，模型的可塑性和可变性也给软件测试带来了新的挑战。例如，测试输入的生成（特别是那些反映真实世界使用场景的输入），测试预言的构建（测试预测用于确定系统的行为是否符合预期）以及如何确定需求都是刚刚开始的挑战，需要学术界和工业界之间的密切合作来应对这些挑战。
为了开发新的理论来解释神经网络的基本现象，我们需要一种理论来指导我们定义解释结果是否严谨以及是否可以验证。
从宏观上看，理论发展与应用开发在人工智能或深度学习的发展方面存在很大差距。目前，生活中真正好的算法往往是基于经验，基于对某些类型问题的认知，而不是理论上引入的算法，即主要基于经验设计算法。在人工智能或深度学习之前有很多理论，这些理论不一定与深度学习时代的深度学习网络一致，许多理论不再有效。现在很多理论只解释浅薄或不切实际的假设，所以理论和应用之间有很大的差距。因此，我们需要开发新的理论来解释神经网络的基本现象。从这个角度来看，深度神经网络中一个非常重要的现象是，它在信息处理过程中出现了语义学，神经网络的信号不是一个简单的高空间矢量系统，而是在逐层传输的过程中出现了一些有意义的信息，这种信息是传统人工智能理论无法解释的， 但由于信息的出现，深度学习网络可以更有效地处理信息，从而具有更高的准确性。因此，我们可能需要一些新的理论来描述神经网络在中间语义中的出现，以模拟它们的表达能力。
其次，现在有不同的解释方法来解释同一个模型是不同的，只能自以为是地说，我们没有统一的标准来解释它，没有办法评价我们的解释是对还是错。我们需要一个理论来指导我们定义解释结果是否严谨，解释结果是否可以验证，如果语义解释，语义是严格的，这些问题必须由其背后的理论来定义。神经网络表达能力的解释还需要一种新的理论来模拟神经网络表达能力——其抗鲁棒性的根本原因是什么，如何获得一个对鲁棒性和泛化更强大的网络。现在很多理论研究还处于起步阶段，深度神经网络找不到绝对可靠的方法。在这种情况下，有不同的方法来欺骗人工智能系统，例如反击，过程攻击，窃取模型，伪造样本和伪造图片。而且我们可以设计很多针对性的防御方法，但攻防端是一场长期的战斗，不可能一劳永逸地找到算法才能得到一个真正可靠的系统，这可能是一场长期的战争。
要解决这个问题，我们仍然需要找到不同算法的本质机制，我们希望在更大的范围内建立更广阔的理论体系，探索不同解释算法的相关性、不同理论的内在本质、基于经验的算法的本质的机制是什么等等，并进行脱存。
议题4：从社会治理的角度来看，政府、公众和社会组织应该如何共同参与人工智能可靠性的发展？
如何在交互中检讨我们的社会规则，反过来又对社会规则做出必要的改变和调整，使人工智能技术的发展也起到改变风俗习惯的作用，这也是我们对待社会治理与人工智能技术可靠性、解释性技术关系的一个重要方面。
一方面，人工智能解释性技术的探索现在更加注重社会治理的规则和道德要求融入到技术的发展中。这本身就是社会治理与人工智能技术发展的良好结合，当然，这个过程确实需要构建一个共同负责行为的社区，不仅涉及技术人员，还涉及企业，还包括行业协会和政府监管机构。在人工智能技术发展过程中，可以及时识别和规范可能违反用户安全、健康、隐私保护和社会公平正义规则的行为。
另一方面，随着AI技术的发展，特别是对AI技术可靠性的进一步探究，这反过来又让我们在社会上发现了问题，这是一个有趣的问题。AI技术的发展使得一些社会问题更加充分地暴露出来，也让AI的可靠性问题更加受到关注。事实上，当我们试图让AI技术的发展更符合社会规则时，我们可以发现社会规则是明确的，有些是令人困惑的，有些处于更模糊的状态。在最一般的情况下，去农村是最常见的衡量标准，这种"常见"可能包含一些需要改变的东西，比如通过算法对肤色进行统计关联，我们会发现，社会上的一个常见现象就是基于统计规则来判断的。比如，一些科研单位招聘毕业生，往往设置一个门槛，非985高校，非211高校不招聘毕业生，依据是什么？它可能会在其中发现统计相关性，但会有很多非211，非985学校的优秀个人受到这些规则的歧视，这是农村普遍需要改变的。
社会治理的进步与人工智能是相互促进的两个方面，通过发现不正确的社会规则，需要改变，在这种互动中重新审视我们的社会规则，反过来对社会规则体系做出必要的改变和调整，才能使人工智能技术的发展在风格的变化中发挥作用， 这也是我们处理社会治理和人工智能技术可靠性、解释性技术关系的一个重要方面。
这决不是一个仅仅是技术方案的问题，而是技术方案和社会制度如何结合在一起的问题。
从公共管理的角度来看，不同主体在规则建设中的作用在智能时代并不是独一无二的，就像今天的交通规则一样，如果没有汽车文明，今天就不会有交通规则;因此，智能技术的发展要求我们构建一个适应智能时代或数字时代的规则和法规的新体系。这种制度是等级制的，底层就是我们所说的一些公序良俗，农业社会也有公序良俗，比如不能去别人的土地上采摘食物。再往上是社会交往的基本规则，包括习惯法，再往上是法系，成文法，所以这样一套制度体系就这样建立了。对于用户而言，向单个用户授予所有权限既不必要也不经济。今天人们使用很多工业产品而不用担心它们是有毒和有害的，为什么？因为它的背后是一个监管、合规、标准、认证、法律、问责和舆论的体系。AI也是一样，目前正在建立这样一套系统，所以这就是为什么有算法问责系统、算法审计系统、强制保险制度的原因。例如，对于自动驾驶，从研发设计到市场准入、检验、认证，再到申请、责任事故划分，该系统可以建立大范围推广后进行。因此，对于人工智能等新技术的可靠性，绝对不是技术解决方案的问题，而是技术解决方案和社会系统如何融合在一起的问题。
事实上，在技术界，研发人员已经深入思考了许多问题。你可以回顾历史，看看工业文明时代的人们（包括从农场到工厂的工人）是如何看待它的——比如工人需要什么样的保护系统，他们如何与机器合作，所有这些都需要跨社会群体的对话。监管机构应充当社会愿望与可能的解决方案/手段之间的桥梁，同时平衡个人利益和公共利益之间可能存在的冲突。当前对公共管理前沿的研究提出了"敏捷治理"的概念，因为管理者必须面对未知和不确定的因素，处理新问题，最后扮演社会沟通和利益平衡的作用，这是从公共管理的角度参与AI可靠性治理的理解。
议题5：在强大的监管环境下，政府和企业应如何应对AI可靠性风险，从而在效率和安全性之间取得更好的平衡。
企业、政府和学术界应该站在一起，相辅相成，形成紧密合作，共同解决和解决人工智能可靠性风险问题。
在应对AI可靠性风险时，企业、政府和学术界应该站在一起，共同应对和解决AI可靠性风险问题。政府、企业和学术界各有专长，应发挥自身优势，相辅相成，形成密切合作。政府应发挥政策引导作用，引导企业等相关群体，通过制定优化相关法律法规，不断提高人工智能的可靠性，引导全社会。学者们要坚持科技的优良，坚持温控技术的发展，科技研发和实际应用过程要高度重视人工智能的可靠性。对于企业的实践来说，它是直接接触现实世界的场景应用，在人工智能技术应用的第一线，所以责任重大，还需要充分提高风险意识和应对能力，以应对与人工智能相关的风险的可靠性。
此外，政府的指导政策和监管、学术技术支持，为企业在产品实践、控制人工智能的可靠风险等方面，也起着重要作用。人工智能的可靠性风险问题非常重要，我相信，在政府、企业和学术界的密切合作下，我们可以尽最大努力控制和解决这个问题。
在 JD.co 发现研究所最近发布的一份关于可信人工智能的白皮书中，我们以商业和学术界的双重身份提出了我们对这个问题的愿景。我们认为，可信人工智能的方方面面都应该从理论出发，建立可衡量的措施，包括稳定性、解释性、隐私保护能力、公平性等，在此基础上，政府、企业、学术界共同努力，建立人工智能算法行业标准和监管规范、机制。此外，我们应该共同努力，实现可信人工智能各方面的逐步统一，建立涵盖可信人工智能各个方面的统一框架和理论，并在此基础上有效构建其监管框架。
工业、教育和研究领域的合作尤其重要。
学术研究人员更多的是技术项目提供者的角色，而行业互动、生产、研发合作尤为关键。今天要解决的问题不仅是AI技术和AI模型本身，更是整个系统的问题，还有人（如用户）和AI系统如何交互。对于行业一线实践中凝聚的问题，需要有更好的渠道让学术界接触和理解，需要通过产学研合作，共同推动问题的解决。
改变的只是技术人员的自我定位，道德意识和不断提升责任感才能被他人所遵循，才能有广阔的社会基础。
要推动我国人工智能技术的健康发展和人工智能产业的健康发展，确实需要各方的共同努力。专业精神和道德意识的教育，与人工智能决策的可解释性问题相关，是一个非常重要的问题，不能局限于精英阶层或学术领袖的理解，而是需要成为每个从业者的共同理解。所以对于AI企业来说，他们将在这个领域面临大量的算法设计人员、程序员等的教育和培训。在高校中，随着人工智能技术的不断发展，特别是人工智能决策解释问题的引入，在培养本科生和研究生时，道德意识、社会责任意识和人才培养应紧密结合，改变只有技术人员的自我定位、道德意识和共同责任才能继续推动他人， 可以有广泛的基础。
4 观众问题
问题：在寻找企业和监管机构之间的平衡时，您如何区分规则？有哪些技术问题？两者之间的界限在哪里？
只有建立公平、合理、可持续的制度，在平衡各方利益的基础上，才能真正释放和运用生产力，不能在两端放弃。
这也是公共行政乃至社会科学研究中的一个基本问题。什么是规则？如果从理论层面来理解，主要是解决人与人之间的关系。生产关系是解决人与人之间利益关系的问题，技术是生产力更高的，所谓生产工具。根据马克思主义者的说法，生产关系决定了生产力。人工智能作为一种新型智能工具，从其应用背景来看，现在正处于这样一个阶段，只有建立一个公平合理的可持续发展体系，在平衡各方利益的基础上，生产力才能真正释放和应用，不能放弃任何一端，比如说，如果所有的决策权都归个人所有， 可能会发现数据交易、模型训练最终没有办法做到，这是极端的。在另一个极端，用户根本没有选择，由企业研发设计师来决定如何保护个人利益，如何平衡公众与个人之间的关系，这个问题没有局部的解决方案。
因此，如果我回答这个问题，可以归结为一个简单的句子，所谓的制度规则是基于人类行为的规范，它是解决人与人之间的关系，而技术手段是解决人与物，物与物的关系。与传统工业文明相比，人工智能的出现使得技术的概念超越了物质关系的范围，这与过去不同，因为它涉及决策，但基本原则仍然适用。
沈超
我认为这个命题叫做如何利用AI来预防或预警黑客，首先需要找出黑客，黑客不是最初的黑客。技术在不断发展，黑客在学习，现在黑客正在使用自动化和人工智能使攻击更有效。举个简单的例子，黑客了解人工智能中的漏洞，并利用人工智能中存在的风险发起攻击。黑客可以利用数据降级中的漏洞，例如对Siri的面向云的攻击，这些攻击在不同的频段显示不同的信号。它还使用自动化方法，例如在系统检测到穿透时查找系统状态中最薄弱的环节，然后断开桥梁。现在黑客可能会用自动化的手段做一些脚本，让脚本运行比自己回合效率更高，而且可以翻越多个网站、多个域名，这两年用自动化AI方法做的攻击例子越来越多，原来的人为去做，可能只做上千个网站， 数以万计的域名，但可以做到整个网络，不仅扫描域名的所有漏洞，甚至做更深入的渗透。这就是现在所说的黑客攻击。
另一方面，如何利用AI来预防和警惕黑客，这是一个高层次的事情，很难说有一套保护黑客的方法，这是不可能的，因为黑市利益链非常大。但人工智能的优势是什么呢？我认为有两点：一是AI是一种自我训练和检测的手段，它可以建立在大数据积累的基础上，将原来大量的历史数据收集和汇聚，可以对过去或现有的网络平台、网络层的攻击方式进行有效防范，从而提高攻击的门槛。其次，人工智能可以是一种集中式方法，在防御方面，我们希望安全防御是基于矩阵的，通过多层防御模式实现。例如，多因素证明，将各种机器学习手段的组合放在一起，以构建全面的防御。然而，这种全能只是人们能想到的全能，因为黑客的攻击往往是一击即中，对某一特定点的致命打击。
接待客人
崔鹏
演讲者、讨论者
梁铮， 崔鹏， 张启石， 谢涛， 李正峰， 陶大成