《自然》周刊报道，计算机会犯错误，人工智能会让事情变得更糟——法律必须认识到这一点。英国邮局的悲惨丑闻凸显了法律变革的必要性，特别是在组织采用人工智能来加强决策的情况下。
Nick Wallis. The Great Post Office Scandal
英国邮局丑闻
富士通开发了有缺陷的会计软件的日本科技巨头，因其缺席而引人注目：富士通扮演了次要角色?
20 多年前，日本科技集团富士通为英国邮局创建了会计软件系统。“Horizon”被推广到全国各地的分支机构，这些分支机构通常是独立经营的小型商店，为数以万计的人收集和递送信件和包裹。当时，这是欧洲最大的民用 IT 项目。Horizon 受到错误的困扰，这是新 IT 系统的任何用户都熟悉的阶段。
英国邮局丑闻：法律称计算机是可靠的
不过，这些并不是令人恼火的小错误。在某些情况下，Horizon IT 系统告诉员工，他们在一天的交易结束时没有存入足够的资金，导致每晚“损失”数千英镑。
1999 年至 2015 年间，数百人因分行账户中的资金消失而被解雇或被起诉, 已有 59 名被错误指控盗窃钱财
许多邮局工作人员被指控盗窃或虚假会计。他们被告知要么支付差额，要么面临起诉。2000 年至 2014 年间，每年有 700 多人被起诉，平均有 30 人被监禁。家庭、生计和人际关系都遭到破坏。一些受影响的人结束了自己的生命。
许多细节尚未浮出水面。最令人震惊的事件之一是，富士通上周表示，在 1999 年将 Horizon 交付给邮局时，它就知道系统存在缺陷。
然而，该丑闻的一个方面引起的关注相对较少：英格兰和威尔士的法律假定计算机系统不会出错，这使得挑战计算机输出变得困难。
人工智能的反思
人工智能是否会导致科学的可重复性危机？
世界各地存在这些法律的国家和地区政府需要对其进行审查，因为它们对新一代 IT 系统（即使用人工智能(AI) 的系统）产生影响。公司正在利用人工智能增强 IT 系统，以增强决策能力。在假定计算机证据可靠的法律体系下发生这种情况是不可思议的。在此类法律得到审查之前，当人工智能增强型 IT 系统被发现存在错误时，更多无辜者将面临被剥夺正义的风险。
假定计算机操作基本正确的法律潜在不公正的核心根源在于，如果有人想要质疑或挑战计算机证据，他们就有责任提供不当使用或操作的证据。例如，这可以通过软件相关代码或击键日志的记录来实现。然而，获取这些信息很困难。
在大多数 Horizon 案件中，被告无法知道哪些文件或记录表明发生了相关错误，因此在被告上法庭时无法要求邮局披露这些信息。这种知识的不平衡意味着个人几乎没有希望能够针对这些指控为自己辩护。
寻找前进的道路
保罗·马歇尔 (Paul Marshall)
一些参与为被邮局起诉的人辩护的律师和研究人员主张采取不同的方法。伦敦基石律师事务所 (Cornerstone Barristers) 的律师保罗·马歇尔 (Paul Marshall) 和他的同事在2021年的一篇文章 ( 见参考文献Ref. 2) 中指出，计算机证据的推定是否可靠需要改为在法律案件中披露相关数据和代码的要求。必要时，此类披露应包括遵循的信息安全标准和协议；系统审计报告；证据表明错误报告和系统变更得到了可靠的管理；以及为确保证据不被篡改而采取的步骤的记录。
当一组索赔人质疑邮局被错误指控时，要求并提供了 Horizon 案件中的相关文件。该组织向 IT 专家寻求帮助，并最终在 2019 年胜诉。相比之下，在被告寻求专家帮助的个别案件中，邮局在庭外和解，被告必须签署保密协议——这意味着计算机证据仍然被隐藏。
IT系统的流程可以而且必须在法律案件中得到解释。有多种方法可以在不泄露商业秘密的情况下建立透明度——这是一些组织和企业所关心的问题。
英国牛津大学人工智能研究员 Sandra Wachter 表示，现有工具可以解释自动化系统如何做出决策，而无需透露有关算法工作原理的所有信息。
回到 20 世纪 80 年代
法律并不假定早期的计算机系统没有错误。
在 20 世纪 80 年代（个人计算的早期），法律并不假定计算机的操作是正确的。相反，需要证明这一点，计算机生成的信息才能被允许作为法庭上的证据。1999 年，由于承认计算机的可靠性有所提高，该法律被修改，但钟摆已经朝另一个方向摆得太远了。
使用人工智能的复杂 IT 系统越来越多地做出影响生活和生计的决策，从银行和金融到医疗诊断，从刑事司法到自动驾驶汽车。随着人工智能技术成为主流，涉及这些系统的法律案件也将成为主流。
英国布莱奇利公园的艾伦·特宁雕塑。自图灵提出“模仿”游戏来测试计算机思维能力以来，已有73年了。
计算机证据不能被假设为可靠，做出这种假设的相关法律必须受到审查，以免类似的误判再次发生。
参考文献
- Editorial. Computers make mistakes and AI will make things worse — the law must recognize that. Nature 625, 631–631 (2024). doi:10.1038/d41586-024-00168-8.
- Marshall, P. et al. Recommendations for the probity of computer evidence. Digit. Evid. Electron. Signat. Law Rev. 18–26 (2021) doi:10.14296/deeslr.v18i0.5240.
- Ball, P. Is AI leading to a reproducibility crisis in science? Nature 624, 22–25 (2023). doi: 10.1038/d41586-023-03817-6
- Editorial. ChatGPT is a black box: How AI research can break it open. Nature 619, 671–672 (2023). doi: 10.1038/d41586-023-02366-2
后记
如果您有什么想法，欢迎给@YiyiKing留言