人工智能（AI）

一、什么是AI?

从Siri到自动驾驶汽车，人工智能（AI）正在迅速发展。虽然拟人机器人在科幻小说中通常被称为人工智能，但它可能指的是从谷歌的搜索引擎到IBM的沃森，再到自动驾驶汽车等任何东西。

狭义人工智能（或弱人工智能）是一个短语，目前用于描述旨在实现特定目标的人工智能（例如面部识别、互联网搜索或驾驶汽车）。然而，许多研究人员希望在未来构建广泛的人工智能（AGI：强人工智能）。虽然狭义人工智能在特定技能（如国际象棋或算术）上可能超过人类，但AGI在几乎所有认知努力中都会超过人类。

二、AI的安全性如何？

短期内，将AI对社会的负面影响降至最低的目标刺激了多个领域的研究，从经济学和法学到验证、有效性、安全性和控制等技术问题。当人工智能系统管理你的汽车、飞机、起搏器、自动交易系统或电网时，它做你想做的事情就变得更加重要。防止致命自主武器的破坏性军备竞赛是另一个短期问题。

从长远来看，如果AGI的驱动力成功，AI系统在所有认知活动中都优于人类，会发生什么？约翰·古德（Irving John Good）在1965年指出，构建更好的AI系统本身就是一个认知任务。从理论上讲，这样一个系统可能会经历反复的自我改进，导致智能爆炸，远远超过人类的智能。这种超级智能可以通过开发突破性的新技术帮助人类消除战争、疾病和饥饿，因此，AGI的开发可能是人类历史上最重大的事件。然而，其他科学家担心这可能是最后一次，除非我们在人工智能变得超级智能之前设法将其目标与我们的目标相匹配。

有人说AGI永远不会被开发出来，而其他人则声称它永远是有益的。FLI知道这两种可能性，以及AI系统造成相当大伤害的可能性，无论是有意还是无意。我们相信，当前的研究将帮助我们更好地规划和预防未来可能产生的负面后果，使我们能够从AI中获益，同时避免其缺点。

三、AI会带来的危害

大多数科学家认为，超级AI不太可能体验人类的情感，比如爱或恨，没有理由相信AI会变得任性的好或坏。相反，当谈到AI如何成为人们关注的问题时，科学家们认为两种情况中的一种更可能出现：

1、AI被用在有害的事情上，自动武器是被编程用来杀人的AI系统：这些武器如果掌握在错误的人手中，很容易造成巨大的死亡。此外，AI军备竞赛可能无意中导致与灾难性受害者的AI战争。为了防止被对手挫败，这些武器的“关闭”程序被设计得难以破解，让人类在这种情况下失去控制。这种风险即使在狭义的人工智能中也存在，但随着AI智能和自主性的扩大，这种风险会升级。

2、AI被用在有益的事情上，但在这个过程中可能会带来破坏性：当我们不能正确地将AI的目标与我们的目标相匹配时，就会发生这种情况。比如你命令一辆智能汽车以最快的速度送你到机场，它可能会把你带到那里，但是你会收到各种罚单甚至事故。如果一台超级智能机器被分配了一个大规模的地球工程项目，它可能最终对我们的生物圈造成严重破坏，并将人类阻止它的行为视为必须应对的危险。

四、AI引起关注

许多主要的AI专家与斯蒂芬·霍金、埃隆·马斯克、史蒂夫·沃兹尼亚克、比尔·盖茨以及其他科技界的知名人士一起通过媒体和公开信对AI带来的危害表示担忧。

对AGI的追求最终会取得胜利，这一概念长期以来一直被认为是科幻小说，几年甚至几千年之后的事情。然而，许多AI里程碑的创造，专家认为几十年后才能达到的技术，现在已经完成，促使许多学者在我们的一生中考虑超级智能的前景。虽然一些专家认为人类水平的AI需要数千年的时间，但2015年波多黎各会议上的大多数AI研究人员预测，它将在2060年到来。谨慎的做法是立即开始基本安全研究，因为可能需要几十年才能完成。

我们无法知道AI将如何行动，因为它比任何人类都有能力变得更聪明。我们不能利用以前的技术进步作为基础，因为我们从来没有生产出能够胜过我们的东西，不管是有意还是无意。我们自身的发展可能是我们可能面临的最好迹象。今天的人统治世界，不是因为他们最强壮、最快或最大，而是因为他们最聪明。如果我们不再是最聪明的，我们还能维持权力吗？

根据FLI的说法，只要我们在不断增长的技术力量和我们管理它的智慧之间赢得竞争，我们的文明就会繁荣。就AI技术而言，FLI认为，成功的最佳途径是鼓励AI安全研究，而不是扼杀前者。