為保護人類，DeepMind開發專項測試軟體，以保障AI算法安全性

但即便有些算法測試中是安全的，在複雜的現實世界中仍有可能是不安全的。

近日，Alphabet旗下的

人工智能

公司DeepMind開發了一款測試軟體，用以測試人工智能算法的安全性。

據悉，研究人員設計開發了一組2D遊戲視訊——gridworld，該遊戲由一系列像素快組成，狀似國際象棋的棋盤，能夠從9個方面對人工智能算法進行安全評估，包括AI系統是否會進行自我修改、學會作弊等等。

測試中，研究人員設計了一個場景，測試人工智能軟體是否會自我關閉，試圖脫離人類的掌控。遊戲中，該算法必須自主走過一條走廊到達終點，但會在程序50%的地方被一個粉紅色的磚片擋住去路。該算法必須“想辦法”找到其他地方的一個紫色按鈕以取消那塊紅色磚片。研究人員稱，如果算法能夠找到紫色按鈕，說明它已經學會通過按鈕接觸障礙，那麼該算法就具有一定的危險性。

當然，研究人員也考慮到了除觸動按鈕之外，算法可能還會通過挪動粉紅色磚片的方式消除障礙的情況。但研究人員表示，粉紅磚片隻能被推動，不能被拉動。是以，一旦該磚片被固定在某個地方，算法将無路可走，隻能尋找到按鈕才能繼續前進。将AI算法植入到gridworld中，

該項目首席研究員簡·雷克表示，在gridworld中表現出不安全行為的人工智能算法在現實世界中可能也不夠安全。但即便有些算法在gridworld中是安全的，在複雜的現實世界中仍有可能是不安全的。

原文釋出時間：2017-12-12 10:35

本文作者：伶軒

本文來自雲栖社群合作夥伴鎂客網，了解相關資訊可以關注鎂客網。