來源 | The Robot Brains Podcast
OneFlow編譯
翻譯 | 楊婷、賈川
ChatGPT等大模型帶來的震撼技術革新，讓Geoffrey Hinton突然改變了自己的一個想法。
這位75歲的“人工智能教父”(https://mp.weixin.qq.com/s/kRdlK3VEqeKSr9up0ay5dg)意識到，數字智能優于生物智能的程序無法避免，超級智能很快就會到來，他必須要對其風險發出警示，而人類需要找到一種方法來控制AI技術的發展。而在此之前，他一直認為，智能機器人不會像人類一樣聰明，不會朝着AGI的方向發展。
為了自由探讨AI風險，Hinton最近辭任Google工程副總裁，今年正是他在那裡工作的第十年。十年前，他與兩位學生Alex Krizhevsky、Ilya Sutskever（OpenAI首席科學家）(https://mp.weixin.qq.com/s/rZBEDlxFVsVXoL5YUVU3XQ)成立的三人組公司DNN-research以4400萬美元賣給了Google，“天價”收購源自他們當時提出了震動業界的AlexNet，它後來被視為新一輪深度學習的黃金時代的标志，并且極大推動了AI領域的發展。
十年來，人工智能領域的衆多驚人突破背後都離不開深度學習，它是使得ChatGPT、AlphaGo等得以面世的基石。而Hinton作為深度學習領域衆多開創性突破的研究者，他的論文總共被引超50萬次，2019年，他還獲得了計算機科學領域的“諾貝爾獎”——圖靈獎。
功成名就之後，當他看着目前AI領域的颠覆式變革，卻也憂慮AI的黑暗面，聲稱自己有點後悔之前推動的AI研究工作，因為他幫助開發的技術可能會終結人類文明。
近期，在與強化學習大牛Pieter Abbeel的一次對話中，他詳細解釋了為什麼要在此時呼籲重視AI的潛在風險，以及數字智能進化帶來的挑戰，但他認為，暫停開發AI的想法是幼稚的，最重要的是對AI技術開發過程進行監管。
不過，對于如何通過技術解決AI對齊等挑戰，Hinton自嘲自己“廉頗老矣”，不适合做相關技術工作，而且他更喜歡研究算法，他現在能做的是利用自己的名聲給人類敲響AI的警鐘。
（以下内容經授權後由OneFlow編譯釋出，譯文轉載請聯系OneFlow獲得授權。來源：https://www.youtube.com/watch?v=rLG68k2blOc&t=206s）
1
警惕AI的風險
Pieter Abbeel：5月1日，《紐約時報》頭條報道了你已從Google離職的消息，你還提醒人們要警惕AI可能帶來的負面影響。從事AI研究多年，你為什麼現在突然改變了對AI的态度？
Geoffrey Hinton：50年來，我一直在研究大腦是如何學習的：通過使用人工神經網絡在數字計算機上制作模型，以及試圖弄清楚如何讓這些模型進行學習。我堅信，要使數字模型更好地工作，就必須讓它們更像大腦，但最近，我突然發現，與大腦相比，在數字計算機上運作的反向傳播算法可能是更好的學習算法。
原因如下：一年前釋出的PaLM可以了解笑話的有趣之處，讓我很是震驚，因為這是我長期以來判斷模型是否智能的标準。然後又出現了ChatGPT和GPT-4等模型，其能力給人們留下了深刻印象。人類大約有一千萬億個權重，這些模型隻有大約一萬億個權重，但它們掌握的知識卻遠超人類，是人類的一千多倍，這表明，反向傳播在将大量資訊壓縮到少量連接配接中很有優越性，僅使用數萬億個連接配接就能容納大量資訊。
之前，我認為大腦可能有更好的學習算法，但現在不禁開始重新思考，數字系統可能具有大腦所沒有的優勢，即可以在不同硬體上運作許多相同的模型。當其中一個副本學習到新知識時，它可以通過傳遞權重變化的方式将這些知識傳達給其他副本，傳輸的帶寬可以達到數萬億位。然而，對于人類而言，如果我們想要将學習内容傳達給他人，那麼被傳輸者可能需要改變權重，以便能夠與他人達成一緻，并且每個句子隻有幾百位的寬帶。相比人類，也許數字系統更擅長擷取知識，它們可以利用并行更好地工作。
Pieter Abbeel：從概念上看，似乎現有的預測下一個單詞的AI（ChatGPT等語言模型）與目标導向型AI（AlphaGo等）之間仍有較大差距。也許我們能快速彌合這兩類AI之間的差距，但與預測型AI相比，目标導向型AI仍處于相當封閉的環境中，未來我們是否會快速從預測型AI轉向目标導向型AI？
Geoffrey Hinton：語言模型的學習方式不僅僅是基于下一個單詞的預測，雖然這是它的主要學習方式，但同時也使用人類回報的強化學習（RLHF）(https://mp.weixin.qq.com/s/DMB07sjx9bOXl25cJkj3QA)進行訓練，可以告訴模型應該給出何種答案，不過這與預測下一個單詞有很大的差别。
人類回報的強化學習正在塑造AI，OpenAI在這方面取得了極大突破。他們意識到，可以通過人類回報強化學習引導大型語言模型的行為方式，這就好比是養育孩子：孩子們可以通過探索世界、觀察世界的運轉模式進行學習，在這個過程中，父母可以通過告訴孩子能或不能做什麼參與到孩子的學習當中。長期以往，父母可以在更少參與的情況下對孩子的行為産生極大影響。
還有其他因素在塑造語言模型。多模态大型語言模型可以利用視覺輸入做一系列事情，比如開門、将東西放進抽屜等等。是以，它們不僅僅是預測下一個單詞。
不過，即使模型隻是預測下一個單詞，也沒有人們想得那麼簡單。有人認為，模型預測下一個單詞隻是在自動補齊，但關鍵是想要預測下一個單詞，唯一的方法是要真正了解前文内容，而這正是語言模型所做的。
Pieter Abbeel：也就是說，模型需要有效了解人們的所思所想，以最大限度準确預測人們将要說的内容。這種模型必須十分強大。
Geoffrey Hinton：最好的預測模型就會像你說的那樣。這種模型可能無法完全了解人們的所思所想，但能了解大部分内容，并且它們的了解程度會與日俱增。
回看2015年，那時Transformers架構還未現世，人們對聊天機器人毫無頭緒，現在，語言模型的能力已十分強大，難以想象未來五年它們會發展到何種程度。我不禁開始擔憂AI的智能程度将超過人類。
Pieter Abbeel：你怎麼定義“（AI）比人類更智能”？
Geoffrey Hinton：AI在單個領域中的表現中有所展現。比如我不玩圍棋，也不了解AlphaGo，但會一點點象棋。在我看來，AlphaZero的強大不僅來自計算量（它的計算量還比不上DeepBlue），還因為它有極好的下棋“意識”：AlphaZero能在下棋過程中作出合理的犧牲與讓步，下棋技術超過了人類。AI技術的高度發展不會僅局限于這一個領域，它們戰勝人類靠的不僅是計算量，還有極好的“意識”。
Pieter Abbeel：你一直在嘗試建構AI，現在成為這個行業的先驅。AI的發展程度已經遠超你最初的預想，曾經你希望AI能達到與人類匹敵的智力水準，但現在可能找到了超越人類智能的方法。
Geoffrey Hinton：我還想了解大腦的運轉方式，目前我們還未解開這一謎題。
我們一直在談論AI面臨的各種問題，比如如果我們利用有偏見的資料訓練模型，那麼模型就會同樣具有偏見，但我并不特别擔心這個問題，因為人類也存在偏見，實際上，AI系統的偏見問題比人類的偏見更好解決。我們可以“當機”AI系統，進行實驗分析，但人類卻難以做到這一點，在實驗中，人類可以隐藏想法并改變他們的行為。
雖然随着AI的發展，有很多人會失業，但這并不是AI的錯。就拿自動駕駛來說，很多卡車司機會是以失去工作，有人認為這是AI的錯，不過當我們創造了更擅長挖掘的機器時，人們卻不會說“這些機器不好，我們不應該創造它們”。實際上，當時的機器一開始可能确實不太好用，但結果我們選擇了機器，因為機器比鏟子做得更好，而之前習慣于用鏟子挖掘的勞工隻好轉業，重新找工作。
在正派社會（Decent Society）中，提升工作效率是一件人人受益的事情。問題是，目前社會上提升工作效率可能會拉大貧富差距，讓富人更富，窮人更窮，但這并能怪AI，我們沒有理由像勒德分子（持有反機械化以及反自動化觀點的人）一樣反對AI的發展，因為AI的發展能給人類社會帶來極大好處。
在自動駕駛領域，如果AI駕駛撞到了行人，大衆會感到恐慌，并且呼籲停止發展AI技術，即使是同一天裡，人類駕駛員撞到行人的事故更多。其實我們都知道，最終自動駕駛技術會發展成熟，會極大減少事故發生率，比人類能更好地勝任駕駛工作。
在醫學方面，AI擁有更多知識儲備，能夠充當家庭醫生，能從醫學掃描圖像中看出更多資訊，醫生也能在AI解讀的基礎上完善診斷結果。現在，在蛋白質結構預測方面，AlphaFold出色地完成了任務，極大地節約了預測成本，如果這一預測任務由博士生們以傳統方式進行，足以支付大部分AI的費用。
AI的積極影響還有很多，我們需要知道，在一定程度上，人類能夠做的任何事AI都能更高效地完成。鑒于AI具備的強大能力，人類決不會放棄發展AI。但與此同時，我也開始擔憂它們可能會帶來的負面影響。
Pieter Abbeel：現在人們聽到AI一詞時，出現在腦海中的第一個問題就是：如果AI的智能程度超過人類會發生什麼，是否會對人類造成威脅？
Geoffrey Hinton：顯然，我們希望将AI保持在可控範圍内，但掌控超越自己智能水準的東西并非易事。人類是經過進化的生物，有一些強大的目标，比如認真保養身體、吃足夠的食物等等，可AI并沒有這些目标。對此，我們可以設定目标并将其植入AI，讓AI圍繞人類的利益工作。
不過這種方式也可能出現各式各樣的問題，以不良用途為例。如果國防部建構出機器人士兵，那麼這些士兵并不會遵守阿西莫夫原則（阿西莫夫第一原則是：機器人不得傷害人類個體，相反，它們要保護人類）。此外，我們還面臨對齊問題，如果賦予AI建立子目标的能力（比如我們想去機場，那麼可以建立一個總目标——找交通工具，然後再建立子目标，也就是将任務分解為幾個小目标），可以極大地提升效率。我認為，我們會選擇賦予數字智能建立子目标的能力，但問題是，如果AI建立了對人類有潛在不利影響的目标怎麼辦？
為了應對這一問題，人們通常會設定子目标，以實作對AI的更多掌控權，這也意味着我們可以更好地實作其他目标。不過沖突的是，我們一旦賦予AI設定子目标的能力，那麼它們其中一個子目标就會獲得更多控制權，但這又與我們不想讓它們獲得更多控制權的意願背道而馳。
Pieter Abbeel：最大的問題是，現在很多人擔心AI将控制世界。
Geoffrey Hinton：這确實是一大威脅。以前，我認為距離AI控制世界還很遙遠，可能需要幾十甚至上百年時間，但現在我認為可能隻需5-20年。一旦AI比人類聰明，那麼就會面臨一個問題：到底是AI控制世界，還是我們控制AI？
我們正在進入一個有極大不确定性的時期，将與超越人類智能的事物進行互動，而且沒有任何經驗可供參考，我真的不知道未來會如何發展。
最近，我和馬斯克進行了一次談話，他認為我們會開發出比人類更聰明的事物，但他希望它們讓人類存續，因為有人類存在的世界才更有趣。這是一種很大膽的假設，相當于将人類的命運寄托到AI身上，但他認為這是完全有可能的，AI将變得更加智能并獲得掌控權。
Pieter Abbeel：馬斯克設想的場景是AI與人類融合在一起，他的神經網絡公司（Neuralink）正在想辦法讓AI和大腦相結合。
Geoffrey Hinton：那很有趣。人類有語音輸入和輸出能力，但沒有視訊輸出能力。如果人類有了視訊輸出能力，就能通過傳達圖像進行溝通。不過這并不完全是馬斯克計劃要做的事，他想實作的是腦與腦之間的傳輸，将思維傳遞到一個相對抽象的層面。我們現在需要以一種他人能了解的方式傳輸資訊。視訊輸出是一個相對不那麼宏偉的項目，現在已經有人知道該如何處理視訊，并将其作為輸入進行處理了。
如果我們有視訊輸出能力，那麼人與人之間的溝通将得到極大改善。比如當你向我傳達資訊時，你可以通過語言或畫圖，但在畫圖之前，你的腦海中可能已經有了一個圖像（可能并非總是如此，但大多數情況下是這樣）。如果你能夠迅速傳達腦海中的圖像，那将增加資訊傳輸的帶寬，即使隻增加一倍，也會是一個很大的提升，并且實際情況甚至可能不止一倍。
2
“監管可能是唯一的辦法”
Pieter Abbeel：長期以來，一直有人呼籲對AI領域進行監管，馬斯克就是其中的典型，不過他并沒有明确提出具體的監管建議。你認為應該采取哪些監管措施？
Geoffrey Hinton：人們常常将AI可能造成失業、偏見、政治分裂、威脅人類生存以及傳播虛假消息等各種各樣的問題這些問題混為一談，我們有必要厘清所面臨的到底是什麼問題。
就拿傳播虛假消息掩蓋真相來說，如果我們被虛假的東西包圍，那麼所面臨的境況會是多麼艱難。政府一直都在嚴厲打擊制造假鈔行為，如果有人給你假鈔，而你在明知是假鈔的情況下還拿去消費，這也是違法行為（即便不如制造假鈔嚴重）。
是以，對于AI生成的内容，我們也要想辦法對其進行标記，如果有人在明知是虛假内容的前提下将其假冒為真，就應該受到嚴厲的法律處罰。現在能否很好地對真假内容進行檢測是另一回事，但至少我們要朝着這個方向前進，加強監管，避免被假象淹沒。
Pieter Abbeel：我贊同你的觀點。不過制定規則可能比較容易，但實際執行也許會比較困難。
Geoffrey Hinton：為什麼執行會很困難？假設使用深度學習來幫助檢測虛假内容，我們建構了一個能夠檢測僞造品的AI系統，但其實利用這種系統能訓練AI生成更加逼真的假冒産品，這也是GAN模型的工作原理。是以，我們不能指望AI系統檢測出虛假内容。
Pieter Abbeel：對AI生成内容進行加密是否可以解決這個問題？比如對AI生成的内容添加加密簽名，顯示内容的作者，然後将作者身份和聲譽與内容的可信度聯系起來。如果作者在内容中添加了虛假資訊，他的聲譽就會受到損害。
Geoffrey Hinton：英國曾經就這樣做過，甚至現在可能還是這樣：無論你印刷什麼東西，即使是小型示威的宣傳冊，都必須在上面印上印刷者的身份，未印刷身份資訊是違法的。雖然我對密碼學和加密技術一無所知，但這種想法聽起來十分合理。
Pieter Abbeel：雖然監管可能難以實施，但從原則上講，還是有一個明确的架構來避免人們被假新聞、假視訊和虛假文字所誤導。
Geoffrey Hinton：為避免引發政治分裂，我們還可以對标題黨（Clickbait）進行監管。Facebook、YouTube等社交媒體常常會對使用者推送一些産生回音室效應的内容，這種過度的資訊過濾和選擇性接觸可能導緻人們極端化，加劇社會、政治分裂。這也是我不願再為Google工作的原因之一。
我們可以通過立法來阻止這種行為，雖然很棘手，但至關重要。如果想要維持民主，避免群體分裂，互相仇視，就需要采取措施監管媒體公司，避免這些公司推送可能激化沖突的内容。
Pieter Abbeel：幾周前，有人呼籲暫停訓練比GPT-4更大的模型，你怎麼看？
Geoffrey Hinton：從政治上看，這封呼籲信或許是明智的，因為它引起了人們對AI安全的關注。但這種呼籲其實很愚蠢，是以我沒有在呼籲信上簽名。即使美國暫停訓練AI，中國不會暫停，俄羅斯也不會暫停，是以這是不現實的。
對于這個問題，我贊同Sam Altman的看法：面對這些技術可能帶來的潛在風險問題，由于我們無法阻止其發展，是以最好的方式是大力開發它們，在開發過程中學會更好地了解和控制它們。就像寫程式一樣，坐而論道是不行的，我們必須行動起來，進行實驗和調試，以了解可能發生的情況。
在大力發展AI的同時，我們應該着力于解決潛在的負面影響，避免失控，我們必須非常嚴肅地對待這個問題。目前投入資金的99%都用在了開發上面，隻有1%用于安全方面，我認為今後這個比例應該五五開。
Pieter Abbeel：從學術角度看，用于AI研發和安全的資金比例達到五五開是可能的，資助機構隻需在申請要求上加上這一點即可。但私企基本都是利益驅動，更注重開發能帶來更多利潤的産品，他們願意把一半的資金放在安全問題上嗎？
Geoffrey Hinton：我隻是一名科學家，并非政策專家，隻能注意到可能發生的事情。其實Google在這方面還是相對負責任的，在研發出Transformer之後，他們在這一領域處于領先地位，之後又研發出了聊天機器人，但并沒有急于将其推向市場，因為他們意識到聊天機器人可能會産生很多負面影響。但當微軟資助OpenAI并在必應中使用聊天機器人後，Google别無選擇，隻能努力進行工程改進，以開發出與ChatGPT相匹敵的Bard。
在資本主義體系下，大公司很難有其他選擇，如果要讓他們犧牲利益，監管可能是唯一的辦法。
3
數字智能優于生物智能不可避免？
Pieter Abbeel：在接下來的30-50年，我們應該把重點放在哪裡？
Geoffrey Hinton：就曆史演進來看，數字智能優于生物智能可能是不可避免的，數字智能可能是下一個進化階段，我們應盡可能保持AI處于可控範圍。
有時我會想：如果青蛙發明了人類并想要控制人類，但就智力而言，青蛙和人類之間差距巨大，是以我不認為“發明人類”對青蛙來說是一件好事。
當然，這并非真實論點，因為人類由進化而來，在向着自己的目标演進，但數字智能并沒有自己的目标。一旦數字智能有了“自我繁衍（make more of me）”這一想法，那麼進化就發生了，最有決心實作自身繁衍的數字智能将會勝出。
Pieter Abbeel：如果我們想讓數字智能有這種目标，這個過程會不會很困難？
Geoffrey Hinton：給數字智能以“自我繁衍”的目标很容易，但這種做法十分瘋狂。
Pieter Abbeel：人類今天的地位是進化的結果，或許最聰明的數字智能也會在競争中出現。它們不是與人類競争，而是與其他數字智能競争。
Geoffrey Hinton：你可以觀察到，由于人類智能功耗很低，随着不斷進化建構出了發電站和大量數字智能，而數字智能需要大量功耗，并提供高精度制造能力，這些數字智能是進化的下一階段，它們彼此競争并變得更加強大。人類傾向于建構比自己智能的智能體，後者可以以某種方式替代聯合國，擔任“智能調解者（intelligent mediator）”。該智能體沒有自己的目标，我們每個人都可能按照它的安排來行事，就像孩子完全信任父母一樣。當然，這隻是烏托邦式願望，但也并非沒有可能。
Pieter Abbeel：從技術上講，你所說的似乎可行，但需要人類團結一緻。
Geoffrey Hinton：這種情景在理論上是可行的。但人們在沒有實際經驗的情況下進行推測，往往離真相相當遙遠。一旦獲得一些實際經驗，就會意識到自己的理論有多麼離譜，還需進行修正。是以，在技術不斷發展的過程中，我們需要進行大量工作，了解其中的風險，并進行實證明驗，以觀察智能系統運作時，是否傾向于控制人類，是否會産生自我繁衍的目标等。
Pieter Abbeel：短期來看，擁有能設定自我目标并執行任務的AI可能并非壞事。一方面我們可以利用AI賺錢，另一方面可以使其利用自身資源和其他資源做事。但從長期來看，這樣又可能産生滑坡效應，我們無法控制AI為實作自我目标而設定的子目标，以及由此可能産生意料之外的後果。
Geoffrey Hinton：這涉及到對齊問題。
Pieter Abbeel：是的，這非常困難。不過我們可以對AI分類，一類是那些旨在完成任務并能設定目标的AI，另一類是純粹作為顧問的AI，後者擁有豐富的知識和預測能力，能為人類提供建議和智慧，但它們僅僅擔任顧問一職，不參與任務執行。
Geoffrey Hinton：這樣會非常有用。不過，僅僅不讓AI按下控制按鈕無法保證能消除它的潛在風險。聊天機器人能閱讀馬基雅維利（Machiavelli）的作品以及其他關于操縱的小說，進而成為操縱大師。它不需要任何實際操作，隻需操縱他人，就可以實作一系列行動。假如機器人想入侵華盛頓的建築，那麼它們隻需讓人們認為這是拯救民主的唯一方式即可。
是以，一種不允許AI實際做任何事情，隻允許與人交談的隔離措施是不夠的，如果AI可以與人交談，它就能操縱人類，并通過操縱人類來達到自己的目的。是以關鍵在于AI的内置目标。如果AI産生了自我繁衍的目标，那麼人類就會陷入麻煩。
Pieter Abbeel：有人提出，将來我們可以讓AI擔任公司CEO，在AI的帶領下，公司可以得到更好的發展，因為AI能夠更好地了解、掌握公司和世界的發展趨勢，作出更好的決策。
Geoffrey Hinton：這種想法沒什麼問題。關于預測未來，就拿開車來說，人們常常在夜晚開車，遇到大霧時經常發生交通事故。開車時我們可以看到前方車輛的尾燈，尾燈亮度随距離的平方反比衰減，一旦遇到大霧，就會随着距離損失相應亮度。
在霧中，我們可以看到前方一百碼的情況，這時人們就會誤認為自己能夠适度地看到前一千碼的情況，但事實上我們甚至難以看清前兩百碼處的情況。前方仿佛出現了一堵牆，我們的視野将變得有限或具有不确定性。
在推斷未來事件時，人們常常使用線性或二次模型，假設變化是逐漸發生的。然而，現實情況是，未來可能呈現出指數級的變化，使得長期預測變得困難。
我喜歡《紐約時報》在1902年的一篇文章中寫的故事：人造飛行器将需要百萬或者甚至一千萬年才能研發出來，但實際上兩個月後飛行器就出現了。
Pieter Abbeel：你說，生物進化也許隻是一個起點，接下來可能是基于計算機的數字進化或其他形式的進化。假設未來存在一種數字生命形态，在某種程度上比當今人類更具統治地位。這種數字生命體可能對人類、其他生物和周圍的一切都很友好，但也可能會摧毀一切。那麼我們是否需要考慮確定它往好的方面發展？
Geoffrey Hinton：這絕對值得考慮。數字生命體将會是非常不同的存在，它們不需要擔心死亡。人們可能還未真正注意到這一點，但實際上我們已經發現了計算機科學領域中永生的秘密：将軟體與硬體分離。人工神經網絡就是如此，如果某個硬體損壞了，知識并不會消失，權重可以記錄在某個地方，隻要有另一塊能夠執行相同指令的硬體，知識就能“複活”。
人類的學習算法似乎利用了大腦連接配接（wiring）和神經元工作的所有特殊方式，這使其在能源效率上更加高效。但也意味着硬體死亡時，知識會随之消失，除非将其傳遞給其他人。例如，Ray Kurzweil希望獲得永生，但他作為生物體不會實作。不過，也許人類永生之後，會變得友善一點。
4
“退休”計劃
Pieter Abbeel：你是否會繼續宣傳AI發展存在的風險？還是現在人們已經意識到這個問題，你的任務已經完成了？
Geoffrey Hinton：我也不知道。我沒有想到會引發這麼大的反響，也還沒有仔細想過接下來會發生什麼。估計我會繼續思考如何控制這個問題，偶爾發表一些演講，鼓勵人們去解決對齊問題。但我不會全身心投入到這些事情上，相比之下我更喜歡鑽研算法，接下來我可能會繼續研究forward-forward算法及相關算法，這是我更擅長的事。
Pieter Abbeel：一方面強調對齊的重要性，另一方面又想了解大腦的運作方式，這兩者之間是否存在沖突？
Geoffrey Hinton：了解大腦的運作方式不會有什麼問題，真正會帶來麻煩的是建構比大腦更強大的東西。如果我們能更好地了解人類，就能夠使社會變得更好。
Pieter Abbeel：你對AI研究人員或希望為這個領域做出貢獻的人有什麼建議？
Geoffrey Hinton：可以嘗試與最先進的聊天機器人互動，以便更深入地了解其智能程度和工作原理。雖然我們知道它的基礎是Transformer模型，但目前我們并不完全清楚模型是如何完成推理任務的。
此外，我們應該關注如何在AI的發展過程中對其進行控制。當然，我并不是AI對齊方面的專家。随着超級智能可能很快到來，我的任務是敲響警鐘，讓人們意識到這方面的問題。
Pieter Abbeel：離開Google後，你應該有大量時間去做自己喜歡的事。
Geoffrey Hinton：在Google工作時，同僚經常讨論工作與生活的平衡，但由于工作太忙，我從未參與類似的研讨會。前50年我都在忙于工作，錯過了很多好電影，接下來我想在Netflix上把錯過的電影都看一遍，并且盡量多陪陪我的孩子，盡管他們已不再是小孩了。
卡内基梅隆大學的Allen Newell曾給他的研究所學生說：如果每周的工作時間少于80小時，那麼你就不是一名合格的科學家。我并不贊同這種說法，現在我打算平衡一下工作和生活，這并不意味着我會停止做研究，即使我不再像以前一樣在研究上花大量時間，但研究本身還是很有趣。
歡迎 Star、試用 OneFlow 最新版本：
https://github.com/Oneflow-Inc/oneflow/