7. 2020年《DeepMind＆UCL深度學習講座》第7講：自然語言處理【中文字幕】

[2020年《DeepMind＆UCL深度學習講座》第7講：自然語言處理【中文字幕】](https://www.bilibili.com/video/BV14p4y1q7E8/)

DeepMind研究科學家Felix Hill的本講座首先讨論了使用ANN進行語言模組化的動機：語言具有高度的上下文關系，通常是非組合的，并且依賴于協調許多競争性資訊源。本節還讨論了Elman的時間發現結構和簡單的遞歸網絡，上下文和轉換器的重要性。在第二部分中，他探索了從Word2Vec到BERT的語言的無監督和表示學習。最後，費利克斯（Felix）讨論了情境語言了解，基礎和具體語言學習。

在此處下載下傳幻燈片：

https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L7%20-%20UCLxDeepMind%20DL2020.pdf

在此處了解有關DeepMind如何增加科學擷取機會的更多資訊：

https://deepmind.com/about#access_to_science

演講者簡介：

菲利克斯·希爾（Felix Hill）是緻力于基礎語言了解的研究科學家，已經在DeepMind工作了近4年。他從小就讀純粹的數學，然後閱讀了McClelland和Rumelhart的PDP書籍，對語言學和心理學産生了濃厚的興趣，于是在劍橋大學開始了研究所學生院的學習，最後進入了NLP小組。為了滿足他對人工神經網絡的興趣，他于2013年通路了Yoshua Bengio的實驗室，并與Kyunghyun Cho和Yoshua将神經網絡應用于文本處理開始了一系列合作。這導緻了關于句子表達（和神經填字遊戲）的遷移學習的第一批工作。他還與Jason Weston一起在紐約FAIR實習。在DeepMind，他緻力于開發可在互動式3D世界環境下了解語言以及與數學和類推推理相關的問題的代理。

關于講座系列：

深度學習講座系列是DeepMind與UCL人工智能中心之間的合作。在過去的十年中，深度學習已發展成為領先的人工智能範式，使我們能夠以前所未有的準确性和規模從原始資料中學習複雜的功能。深度學習已應用于對象識别，語音識别，語音合成，預測，科學計算，控制等問題。由此産生的應用程式觸動了我們在醫療保健和醫學研究，人機互動，通信，運輸，保護，制造以及許多其他人類努力領域中的一生。認識到這一巨大影響，深度學習的先驅獲得了2019年圖靈獎，這是計算機領域的最高榮譽。

在本系列講座中，來自領先的AI研究實驗室DeepMind的研究科學家針對深度學習中的一系列令人興奮的主題進行了12次講座，内容涵蓋了通過圍繞記憶，注意力和生成模組化的先進思想來訓練神經網絡的基礎知識，以及重要的負責任的創新主題。