在閱讀此文之前，麻煩您點選一下“關注”，既友善您進行讨論和分享，又能給您帶來不一樣的參與感，感謝您的支援。
編輯|杪夏的光
前言
自從2010年以來，神經網絡取得重大突破以來的10年，并對人工智能（AI）進行了綜述，在監督學習領域，隻要有足夠高品質的标記資料，認知任務的監督學習問題已經得到有效解決。深度神經網絡模型的解釋性不高，是以黑盒模型和白盒模型之間的讨論變得越來越重要，注意力網絡、自監督學習、生成模組化和圖神經網絡的興器擴大了AI的應用領域。
深度學習也推動了強化學習在自主決策系統中的核心地位，新的AI技術可能帶來的潛在危害引發了透明度、公平性和問責制等社會技術問題。AI驅動的對話代理取得了驚人的成功，在自動駕駛等備受期待的旗艦項目中的進展仍然困難重重，在這一領域中，需要謹慎控制言論，并確定工程進展與科學原則保持一緻。
監督學習：從2010年到現在，是否解決了監督學習問題的挑戰？
對目前AI的現狀進行了一個高層次、部分技術性的概述，回顧了受深度學習影響最大的機器學習任務——監督學習，接下來，讨論了深度内容生成模型、強化學習的複興、專門用于深度學習的軟體庫的出現以及圖形處理單元（GPU）的作用，通過強調如何設計對深度模型具有迷惑性的對抗樣本以及是否可能使模型具有魯棒性來結束第一部分。
在第二部分觀點中，考慮了圍繞AI的許多社會技術問題，特别值得關注的是大型科技公司在AI領域的主導地位，實際上，隻有大公司擁有足夠的資源（專業知識、計算資源和資料），才能将AI擴充到能夠有意義且準确應用的水準。
術語人工智能（AI）最早于1956年由約翰·麥卡錫（John McCarthy）在送出給洛克菲勒基金會的一個研讨會提案中首次提出，該提案認為，“學習的每個方面或智能的任何特征原則上都可以被如此精确地描述，以至于可以制造出一個模拟它的機器”。
在此之前，艾倫·圖靈（Alan Turing）在1947年的一份未發表的報告中，标題為“智能機器”，推測“想要的是一台可以通過經驗學習的機器”，并提出“讓機器改變自己的指令的可能性為此提供了機制”，近年來，人工智能的許多成功都屬于其子領域機器學習，由于資料的重要性，人們通常使用更廣泛的術語“資料科學”來涵蓋相關學科，包括統計學。
監督學習（SL）是機器學習成功的典範，根據上下文的不同，監督學習可以稱為分類、回歸或預測，自從深度學習（DL）的現代出現以來，監督學習的準确性和應用範圍都大幅提高，現在，許多跨學科領域的不同問題都使用監督學習作為強大的預測工具，用于解決此前似乎棘手的問題。
監督學習的任務可以形式化如下
函數 f(., w) 被稱為模型，w 是模型的權重或參數，這些參數是通過從資料集 D 推斷出來的，将監督學習任務轉化為一個優化問題，定義了損失函數 ℓ（平方損失），通過最小化經驗平均值來獲得權重 w。
理想的目标是最小化期望 E(x,y)∼P(x,y)(ℓ(f (x,w),y)，由于 P(x, y) 是未知的，是以無法實作，在深度學習中，f 是由 N 個層函數組成的複合函數，具體表示為：Wn 是權重矩陣，wN 是向量，σ 是一種逐點激活非線性函數，類似于神經細胞中的生物激活過程。
模型中需要學習的總權重數量是 ∑nsize(Wn)，參數數量達到數千億的情況并不罕見，深度學習模型在實證性能方面表現出色，對其為何有效的原因了解甚少，特别是在過度參數化的情況下，即模型的參數數量超過資料點數量時。
相反，高偏差模型往往具有較低的方差，即使使用來自相同基礎分布的不同樣本進行訓練，它們的影響大多保持不變，神經網絡的複雜性随着層數的增加而增加，它們具有較低的偏差較高的方差。
GAN與transformer網絡結合的生成模型在圖像合成和文本生成中的應用研究進展
GAN（生成對抗網絡）架構是在生成合成内容方面的一個早期突破，假設可以通路一個資料集D，其中包含了貓的圖像，并且的目标是設計一個基于神經網絡的采樣函數Gθ，它以一個随機向量（來自正态分布）作為輸入，并輸出一張貓的圖像，這個圖像可能以前從未存在過，這樣的函數如何進行訓練呢？
需要注意的是，D隻包含了貓的圖像，是以處于無監督學習的模式下，GAN的關鍵思想是建立另一個神經網絡Dη，該網絡被優化為區分Gθ生成的“假”輸出和來自D的真實輸入。而Gθ網絡則被優化為欺騙Dη，即建立出Dη無法區分是來自生成器還是真實資料集的輸出，這兩個網絡以疊代和對抗的方式進行訓練。
這個概念使用兩個簡單分布的乘積來近似複雜的機率分布，具體來說，假設有一個由未知機率分布p(x)生成的貓圖像資料集D，由于不知道具體的分布形式，直接使用最大似然估計來推斷p(x)是困難的。
可以通過定義兩個函數逼近器（神經網絡）qθ(z|x)和pη(x|z)，分别稱為編碼器和解碼器，來對log p(x)進行下界估計，z是一個資料驅動的潛在變量，用于提取圖像的抽象特征，貓的形狀、顔色和紋理等。
不等式右側的部分被稱為證據下界（ELBO），需要注意的是，不等式左側與參數θ和η無關，可以通過使用來自資料集D的樣本來優化這兩個參數集，将不等式右側最大化，進而逼近log p(x)。
在優化過程中，通過最小化Kullback-Leibler（KL）散度，強制編碼器qθ(z|x)逼近先驗分布p(z)，一旦優化完成，可以通過從先驗分布p(z)中采樣，并通過解碼器pη(x|z)生成來自機率分布p(x)的樣本，也就是合成的貓圖像。
變分自動編碼器是使用這一架構生成複雜圖像樣本的第一個例子，與變分自動編碼器相比，生成對抗網絡（GAN）通常能夠生成更加逼真和清晰的圖像，在訓練過程中容易出現不穩定性的問題，最近，基于使用一系列潛在變量推斷解碼器的擴散模型報告了優于GAN的性能。
擴散模型更容易擴充以加入上下文資訊來控制生成内容，像DALL.E-2這樣的系統可以根據提示生成與之比對的合成圖像，比如“給我看一個藍色的貓在一個棕色的袋子裡”。
傳統的卷積神經網絡（CNNs）适用于目辨別别，其中上下文依賴于空間接近性，語言具有序列結構，為此遞歸神經網絡（RNNs）被設計出來，用于引入序列上下文并進行語言模組化，現在出現了一種被廣泛采用的新架構，稱為transformers，transformers是一種用于處理語言資料的架構，它通過自注意力機制來捕捉單詞之間的關聯。
這種架構模拟了資料庫查詢或資訊檢索的概念，将每個單詞作為查詢，并計算它與其他單詞的相似度，然後通過權重求和來獲得更具上下文關聯的單詞表示，transformers通過自監督學習的方式進行訓練，它們能夠在各種任務中取得巨大的改進，包括問答、機器翻譯和文本摘要。
transformers還被應用于計算機視覺和控制等領域，生成式預訓練transformer模型（GPT-X）在符号資料生成方面得到廣泛應用，在電子郵件編輯器中的自動補全功能，這些模型非常龐大，據報道，下一代模型可能擁有超過一萬億個參數。
GPT-3模型以少樣本學習的方式展現出了出色的性能，在自動寫作、代碼補全和生成等任務中表現優秀，它還能夠生成非常逼真，展示了一個由GPT-3生成的虛假新聞文章，标題中建立了北韓和GameStop股票空頭攻擊之間的虛假關聯，ChatGPT和LaMDA等聊天機器人也基于GPT技術。
深度強化學習中的政策優化與應用研究進展：從AlphaGo到離線RL
預測本身不足以實作智能，決策也是智能的一部分，深度學習通過DeepMind的AlphaGo系統在2016年擊敗了世界圍棋冠軍，給強化學習注入了新的活力。
強化學習提供了一種通過試錯學習和決策的架構，在RL環境中，代理觀察到環境的狀态s，根據狀态采取行動a，得到獎勵r，環境轉移到新的狀态s'，這種互動一直持續到達終止狀态，代理的目标是學習一個政策π，它将狀态映射到行動，以最大化預期的累積獎勵。
在深度強化學習中，政策被模組化為一個深度神經網絡，它将狀态作為輸入并輸出行動，參數化為w，與最優控制不同，在RL中，狀态轉移動力學未知，唯一可用的資訊是與環境互動中獲得的獎勵值，當累積獎勵的函數形式不可用時，如何進行優化呢？簡要介紹一下“REINFORCE技巧”，它可以用于直接優化黑盒函數。
設s¯=((s1,a1),…,(sT,aT))為一個序列，其中包含一個完整場景中的狀态-行動對，每對(si, ai)都有一個關聯的獎勵ri，定義R(s¯)=∑γtrt為累積獎勵函數，REINFORCE算法将從黑盒環境中獲得的R(s¯)的梯度傳遞到對數政策函數π(a|s, w)上，然後可以使用梯度上升進行優化。
盡管REINFORCE算法最初是在強化學習領域引入的，它具有更廣泛的應用，，它被用于連接配接符号人工智能和機器學習，并作為解決組合優化問題的啟發式方法。強化學習中的另一個重要趨勢是直接從資料中推斷政策（稱為離線或批量RL），而無需與真實或模拟環境進行互動，這在敏感的應用領域（如醫療保健）可能是不可行的。
結論
随着過去十年來神經網絡取得的重大突破，人工智能（AI）在監督學習、生成模組化、圖神經網絡和強化學習等領域取得了顯著進展，監督學習在高品質标記資料的情況下已經得到有效解決，深度神經網絡模型的解釋性仍然存在挑戰。
注意力網絡、自監督學習和生成對抗網絡等新興技術擴大了AI的應用範圍，深度學習也推動了強化學習在自主決策系統中的核心地位，AI技術可能帶來潛在的社會技術問題，如透明度、公平性和問責制等。
AI行業的主導地位被大型科技公司所壟斷，這可能導緻AI鴻溝的加劇，盡管AI驅動的對話代理取得了驚人的成功，在一些旗艦項目（如自動駕駛）中仍面臨許多困難，在未來的研究中，需要謹慎控制言論并確定工程進展與科學原則保持一緻。