在過去的幾年時間裡，深度學習（deep learning）一直都是機器學習社群的核心主題， 2016年也不例外。
研究人員長久以來亟待解決的一個主要挑戰就是無監督學習（unsupervised learning）。tryolabs 認為，2016 年對于這一領域來說是取得偉大突破的一年，主要原因是出現了大量的基于生成模型（generative models）的研究。此外，雷鋒網會介紹自然語言處理（nlp）技術在 2016 年所取得的創新，這些技術會是實作該目标的關鍵。除了回顧那些推動該領域快速向前發展做出突出貢獻（或有極大潛力）的進步，雷鋒網(公衆号：雷鋒網)也将關注相關組織機構和開源平台的建設情況。
無監督學習是指不需要額外資訊就能從原始資料中提取模式和結構的任務，這點和需要建立标簽的監督學習相反。
使用神經網絡解決這個問題的經典方法是自動編碼器。基本版本由多層感覺器（mlp）組成，其中輸入和輸出層具有相同的大小，還有一個較小的隐藏層被訓練用于恢複輸入層。一旦經過訓練，隐藏層就能對應輸出可用于聚類，降維，改進監督分類甚至資料壓縮的資料表示。
而在其中，
最近一種基于生成模型的新方法出現了，名為“生成式對抗網絡”（gans），它能夠使用模型來處理無監督學習問題。gans 将是一場真正的革命,在相關的技術演講中，yann lecun（深度學習創始人之一）說 gans 是過去 20 年裡機器學習最重要的想法。
盡管 gans 早在 2014 年由 ian goodfellow 提出，但直到 2016 年，gans 才開始展現出真正的潛能。今年提出的可助于訓練和優化架構（deep convolutional gan）的改進技術修複了一些之前的限制，并且新的應用程式（詳見下文，部分相關應用名單）揭示了該項技術能夠如何的強大和靈活。
試想一位有野心的畫家想要僞造藝術作品（Ｇ），同時又有人以鑒别畫作真假謀生（Ｄ）。開始你先給Ｄ看一些畢加索的藝術作品。然後Ｇ每次都畫一些作品嘗試着騙過Ｄ，讓他相信這些都是畢加索的原作。開始時候Ｇ是成功的，但是随着Ｄ越來越了解畢加索的風格（通過看越來越多的作品），Ｇ再想騙過Ｄ就會變得困難起來，是以Ｇ就必須做得更好。随着過程的繼續，不僅Ｄ變得非常擅長區分畢加索的作品，而且Ｇ也變得非常善于模仿畢加索的畫作。這就是gans背後的設計思路。
技術上，ganｓ由兩個持續推動的網絡組成（是以稱為“對抗”）：發生器（g）和鑒别器（d）。給定一組訓練示例（例如圖像），我們可以想象有一個離散基本分布（Ｘ）來管理它們。 通過使用ganｓ，g将産生輸出，同時d将判定它們是否來自于訓練集合的同一分布。
開始時，伴随着一些噪聲Ｚ，Ｇ開始工作，其産生的圖像是Ｇ（ｚ）。Ｄ從真的分布和來自于Ｇ的假分布中提取圖像，并将它們分類為：Ｄ（ｘ）和Ｄ（Ｇ（ｚ））。
gan是如何工作的
d和Ｇ都在同時學習，并且一旦Ｇ被訓練，它就能足夠了解訓練執行個體的分布，産生有非常相似屬性的新示例：
gan生成的圖像
這些圖像由采用cifar-10訓練的gan産生的。 如果你注意一下細節，你可以看到它們不是真實物體。 但是，通過捕捉某些确定的特征屬性，可以使它們從遠處看起來很真實。
最近的進展延伸了gan的思想，不僅可用于近似資料分布，也能學習可解釋的、有用的資料向量表示。這些期望的向量表示需要捕獲豐富的資訊（與自動編碼器中相同），并且也需要是可解釋的，這意味着我們可以區分向量的某些部分，這些部分可使所生成的輸出中的存在特定類型的形狀變換。
openai研究人員在8月提出的infogan模型解決了這個問題。 簡而言之，infogan能夠以無監督的方式生成包含有關資料集資訊的表示。 例如，當被應用于mnist資料集時，能夠推斷所生成樣本的數量類型（1,2,3，...），例如生成樣本的旋轉和寬度，均不需要人工标記資料。
gan的另一擴充是一類被稱為條件gan（cgan）的模型。 這些模型能夠輸入外部資訊（類标簽，文本，另一個圖像）生成樣本，使用它強制g生成特定類型的輸出。 最近出現的一些應用程式是：
采用文本描述(由字元級的 cnn 或 lstm 将其編碼為向量)作為外部資訊，然後基于它生成圖像。詳見論文：generative adversarial text to image synthesis（２０１６年６月）。
将輸入圖像映射到輸出圖像。詳見論文：image-to-image translation with conditional adversarial nets (2016年11月)。
它采用下采樣圖像(更少細節)，生成器試圖将它們處理為更自然的視覺圖像。看過cis的讀者應該知道我們在談論的話題。詳見論文：photo-realistic single image super-resolution using a generative adversarial network (2016年11月)。
你可以在這篇文章或 ian goodfellow 的演講中檢視關于生成模型的更多資訊。
為了能夠和機器流暢地對話，首先要解決幾個問題，例如：文本了解、提問回答和機器翻譯。
salesforce metamind建立了一個稱為 joint many-tasks(jmt)的新模型，目标是要創造出一個可以學習五個常見自然語言處理任務的模型：
詞性标記(part-of-speech tagging) 對句子中的每個詞配置設定合适的詞性，比如說名詞、動詞、形容詞等。 詞塊分析(chunking) 也稱作淺層句法分析(shallow parsing)，涉及到一系列的任務，像是查找名詞或動詞詞組。 依存句法分析(dependency parsing) 識别詞語之間的文法關系 (比如說形容詞修飾名詞)。 語義關聯性(semantic relatedness) 衡量兩個句子之前的語義相關程度。結果采用一個實值分數來表示。 文字蘊涵(textual entailment) 确定前提的句子是否包含一個假設語句。可能出現的句子類别有：蘊含、沖突和中立。
這個模型背後的神奇之處是它具有端到端的可訓練性。 這意味着它允許不同層之間協同工作，進而改善低層任務（這些任務并不複雜），并從高層任務（更複雜的任務）中得到結果。 與舊的思路相比，這是一個新東西，舊想思路隻能使用低層任務來改善高層任務。最終，該模型在除了詞性标記之外，均取得了很好的成績。
metamind 同樣提出了一個新的被稱為 dynamic coattention network (dcn)的模型來解決問答問題，該模型建立在相當直覺的基礎之上。
想象一下，我要給你一段長文章，并且問你一些問題。 您喜歡先讀文章，然後被問問題，還是在開始閱讀之前被給出問題？ 當然，提前知道問題，你就能有選擇的注意答案。 如果不這樣，你就不得不将注意力平均配置設定并且記下與可能的問題相關的每個細節。
dcn也做同樣的事情。 首先，它生成文檔的内部表示，基于文本并且由系統将要回答的問題做為限制條件，然後就是按照可能的回答清單疊代，直到收斂到最後的回答。
今年九月，谷歌釋出了用于翻譯服務的新模型，谷歌神經網絡機器翻譯系統(google neural machine translation (gnmt))，這個系統是由如英-漢那樣獨立的語言對單獨訓練的。雷鋒網最近全文編譯了關于谷歌大腦的介紹，實際上就是對這個團隊研發過程的詳細解析。
在 11 月份，新的 gnmt 系統釋出了。新的系統更進一步，通過單一模型便能實作多語言對互譯。現在 gnmt 系統與以前唯一不同之處就是它采用了能指定目智語的新型輸入方法。它同樣能夠進行 zero-shot translation，這就意味着它能夠翻譯一對沒有訓練過的語言。
gnmt 系統表明了基于多語言對的訓練要比單語言對的訓練效果好得多，這也證明了從一種語言對把“翻譯知識”遷移到另一種語言對是可行的。
一些公司和企業已經建立起非營利性夥伴關系進而讨論機器學習的未來，來確定這些令人印象深刻的技術在利于社群的前提下正确使用。
openai 成立于2015年末，目的是建立學界和工業界之間的合作關系，并免費公開其研究成果。該組織于2016年開始首次發表它的研究結果(通過 infogan 出版刊物、universe 平台、this one會議)。該組織的目标是確定人工智能技術能面向盡可能多的使用者，而且通過研究進展的跟進，了解是否會出現超人工智能。
另一方面，亞馬遜、deepmind、谷歌、facebook、ibm 和微軟還在人工智能方面簽訂了合作關系，其目标是增強公衆對這一領域的了解，支援實踐活動和開發一個便于讨論和參與的開放平台。
該研究社群值得注意的一點是其開放性。你不僅可以在 arxiv(或 arxiv-sanity)這類的網站上找到免費的幾乎相關的任何出版物，還能使用同樣的代碼複現他們的實驗。其中一個很有用的工具是 gitxiv，其将 arxiv 上的論文和它們對應的開源項目庫連結到了一起。
現在，開源工具已經遍布各處，并且被研究人員和企業廣泛使用和再次開發。雷鋒網整理了 2016 年最受歡迎的深度學習工具，并附網址如下：
現在正是參與到機器學習發展中的最佳時機。正如你所見到的，今年真是碩果累累的一年。該領域的研究發展得如此迅猛，即使想要緊跟最近的前沿趨勢都變成了一件難事。但是包括雷鋒網在内的所有人都應該感到幸運。隻要願意，人人都可以接觸到人工智能技術。
<a href="https://tryolabs.com/blog/2016/12/06/major-advancements-deep-learning-2016/" target="_blank">via tryolabs</a>
本文作者：石松