我今天的演講跟前面那些可能有所不同，技術性沒那麼強。當然，我也會講到一些數學知識，但更多的内容還是關于人工智能所面臨的挑戰，以及我們現在所用的一些安全的解決方法。
首先，我會講一講我們對于強健AI（robust artificial intelligence）的需求、背後的目的何在。然後，我要談一下，在模型不完整時，AI 系統需如何來正常工作。
我們知道，現在世界上還有很多東西是人工智能不知道的，我們的目标就是要知道，有什麼樣的方法能讓AI 研究社群來解決這些問題。
人工智能已經有61 年的曆史了，我們怎樣才能應對人工智能的不确定性，特别是這些未知的未知（unknown unknowns）？
近年來，人工智能在技術上的長足進展，讓我們可以考慮一些高風險領域的進一步應用，比如無人駕駛、自動幫醫生做手術的外科手術機器人，還有在金融市場從事自動化交易的人工智能，另外還有一些基礎設施相關的人工智能，比如我的同僚正設法用人工智能來提升電網的管理效率。
當然，也有一些極富争議的應用，例如，具備自主攻擊能力的武器系統。我認為這是一個很糟的主意，世界各國應該就此協商，簽署一份限制此類自主攻擊武器研發的條約。
所有這些系統都要去做出很多事關生死的重大決策，而人工智能和機器學習曆經多年的坎坷掙紮，如今不過是勉強能用。我們并沒有太多的時間來思考高風險應用上的強健性問題，但我們需要系統在面對錯誤時也能十分穩定的運作、不出故障。
這裡的錯誤包括很多方面，比如，有時會有人為的錯誤，還有一些會是網絡攻擊，或是設計者和使用者一開始就要求系統去做錯誤的事情，但我今天要講的兩個重點則集中在不正确的模型與無法模組化的意外現象方面。
為什麼我如此擔心那些無法模組化的現象？有兩個原因，一是我們沒有辦法對世界上所有東西都模組化；二是沒有必要對所有東西都進行模組化。
就人工智能的曆史而言，我們所讨論的問題集中在兩個方面：其一是先驗條件問題（qualification problems），我們無法把某個行動所有的先決條件全都數字化。比如一輛車要起步，那麼燃料、電池、車鑰匙就要考慮在内，但還有其他的條件我們可能就忘記了，此類我們所無法完整考慮的先決條件是無窮無盡的。其二是分支問題（ramification problems），也就是說，我們無法把一個行動可能會産生所有的後果加以數字化。這裡，我認為同樣重要的一點是，不要把所有的東西都進行模組化。
我們都知道，機器學習關于錯誤率的基本理論是，模型的出錯率與其複雜程度成正比，與樣本的大小成反比。如果資料量很小，我們就不能用特别複雜的模型，尤其是深度網絡，因為它們相當複雜。其結果就是，在樣本很小的情況下，我們的模型就必需非常簡單。我們的模型要比現實世界簡單，盡管這一點大家心知肚明，但我們還是要使用簡單的模型。我們必須慎重地簡化模型，因為這是優化預測準确度的方法。
一個AI 系統，是需要在沒有對整個世界完全模組化的情況下有用的。當我們看一些安全至關重要的應用時，它會有什麼結果呢？
接下來我會講一講達到強健的AI 的一些方法，以及我們作為一個研究社群的一些想法。
首先從生物學來看，進化其實并不是優化，它隻是選擇在這個環境能夠存活下來的有機物。我們可以說，生物學上的進化其實就是選擇最強健的物種。因為，這個地球上現存的物種經曆了各種挑戰，比如說氣候變化等。
我們能夠存活下來，是因為要跟很多其他的動物進行競争，它讓我們更強壯。同時，我們還有很多不同的個體組成的群體。另外，每個人内部也有備援，比如說每個基因都可以分為隐性和顯性，這樣我們可以把自身沒用到基因傳給未來的子孫後代，讓我們得以保持基因的多樣性。我相信，生物學給了我們很多關于強健的AI 系統的啟發。
這是我的演講大綱。首先，我會講“robustness to known unknowns”，我們的模型包含了反映外界重要因素的變量，但是我們對它們是不确定的。接下來，我會講“robustness to unknown unknowns”，針對無法模組化的現象。