人工智能（AI）

一、什麼是AI?

從Siri到自動駕駛汽車，人工智能（AI）正在迅速發展。雖然拟人機器人在科幻小說中通常被稱為人工智能，但它可能指的是從谷歌的搜尋引擎到IBM的沃森，再到自動駕駛汽車等任何東西。

狹義人工智能（或弱人工智能）是一個短語，目前用于描述旨在實作特定目标的人工智能（例如面部識别、網際網路搜尋或駕駛汽車）。然而，許多研究人員希望在未來建構廣泛的人工智能（AGI：強人工智能）。雖然狹義人工智能在特定技能（如國際象棋或算術）上可能超過人類，但AGI在幾乎所有認知努力中都會超過人類。

二、AI的安全性如何？

短期内，将AI對社會的負面影響降至最低的目标刺激了多個領域的研究，從經濟學和法學到驗證、有效性、安全性和控制等技術問題。當人工智能系統管理你的汽車、飛機、起搏器、自動交易系統或電網時，它做你想做的事情就變得更加重要。防止緻命自主武器的破壞性軍備競賽是另一個短期問題。

從長遠來看，如果AGI的驅動力成功，AI系統在所有認知活動中都優于人類，會發生什麼？約翰·古德（Irving John Good）在1965年指出，建構更好的AI系統本身就是一個認知任務。從理論上講，這樣一個系統可能會經曆反複的自我改進，導緻智能爆炸，遠遠超過人類的智能。這種超級智能可以通過開發突破性的新技術幫助人類消除戰争、疾病和饑餓，是以，AGI的開發可能是人類曆史上最重大的事件。然而，其他科學家擔心這可能是最後一次，除非我們在人工智能變得超級智能之前設法将其目标與我們的目标相比對。

有人說AGI永遠不會被開發出來，而其他人則聲稱它永遠是有益的。FLI知道這兩種可能性，以及AI系統造成相當大傷害的可能性，無論是有意還是無意。我們相信，目前的研究将幫助我們更好地規劃和預防未來可能産生的負面後果，使我們能夠從AI中獲益，同時避免其缺點。

三、AI會帶來的危害

大多數科學家認為，超級AI不太可能體驗人類的情感，比如愛或恨，沒有理由相信AI會變得任性的好或壞。相反，當談到AI如何成為人們關注的問題時，科學家們認為兩種情況中的一種更可能出現：

1、AI被用在有害的事情上，自動武器是被程式設計用來殺人的AI系統：這些武器如果掌握在錯誤的人手中，很容易造成巨大的死亡。此外，AI軍備競賽可能無意中導緻與災難性受害者的AI戰争。為了防止被對手挫敗，這些武器的“關閉”程式被設計得難以破解，讓人類在這種情況下失去控制。這種風險即使在狹義的人工智能中也存在，但随着AI智能和自主性的擴大，這種風險會更新。

2、AI被用在有益的事情上，但在這個過程中可能會帶來破壞性：當我們不能正确地将AI的目标與我們的目标相比對時，就會發生這種情況。比如你指令一輛智能汽車以最快的速度送你到機場，它可能會把你帶到那裡，但是你會收到各種罰單甚至事故。如果一台超級智能機器被配置設定了一個大規模的地球工程項目，它可能最終對我們的生物圈造成嚴重破壞，并将人類阻止它的行為視為必須應對的危險。

四、AI引起關注

許多主要的AI專家與斯蒂芬·霍金、埃隆·馬斯克、史蒂夫·沃茲尼亞克、比爾·蓋茨以及其他科技界的知名人士一起通過媒體和公開信對AI帶來的危害表示擔憂。

對AGI的追求最終會取得勝利，這一概念長期以來一直被認為是科幻小說，幾年甚至幾千年之後的事情。然而，許多AI裡程碑的創造，專家認為幾十年後才能達到的技術，現在已經完成，促使許多學者在我們的一生中考慮超級智能的前景。雖然一些專家認為人類水準的AI需要數千年的時間，但2015年波多黎各會議上的大多數AI研究人員預測，它将在2060年到來。謹慎的做法是立即開始基本安全研究，因為可能需要幾十年才能完成。

我們無法知道AI将如何行動，因為它比任何人類都有能力變得更聰明。我們不能利用以前的技術進步作為基礎，因為我們從來沒有生産出能夠勝過我們的東西，不管是有意還是無意。我們自身的發展可能是我們可能面臨的最好迹象。今天的人統治世界，不是因為他們最強壯、最快或最大，而是因為他們最聰明。如果我們不再是最聰明的，我們還能維持權力嗎？

根據FLI的說法，隻要我們在不斷增長的技術力量和我們管理它的智慧之間赢得競争，我們的文明就會繁榮。就AI技術而言，FLI認為，成功的最佳途徑是鼓勵AI安全研究，而不是扼殺前者。