8. 2020年《DeepMind＆UCL深度學習講座》第8講：深度學習中的注意力和記憶【中文字幕】

[2020年《DeepMind＆UCL深度學習講座》第８講：深度學習中的注意力和記憶【中文字幕】](https://www.bilibili.com/video/BV1VA411Y7hm/)

在過去的幾年裡，注意力和記憶已經成為深度學習的兩個重要的新組成部分。DeepMind研究科學家Alex Graves的這篇演講涵蓋了當代廣泛的注意力機制，包括任何深層網絡中存在的内隐注意，以及外顯注意的離散和可微變體。然後讨論了具有外部記憶的網絡，并解釋了注意力如何為他們提供選擇性回憶。它簡要回顧了變形金剛，一種特别成功的注意力網絡類型，最後介紹了可變計算時間，它可以被看作是一種“集中注意力”的形式。

在此處下載下傳幻燈片：

https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L8%20-%20UCLxDeepMind%20DL2020.pdf

在這裡了解DeepMind如何增加擷取科學知識的途徑：

https://deepmind.com/about#access_to_science

演講者簡介：

亞曆克斯·格雷夫斯在愛丁堡大學獲得理論實體學學士學位，在劍橋大學完成了第三部分數學，并與于爾根·施密杜伯（Jürgen Schmidhuber）一起在IDSIA獲得了人工智能博士學位，随後又在慕尼黑理工大學獲得了博士後學位，并在多倫多大學與傑夫·辛頓（Geoff Hinton）取得了博士學位。他現在是DeepMind的研究科學家。他的貢獻包括用于序列标記的連接配接主義時間分類算法（廣泛用于商業語音和手寫識别）、随機梯度變分推理、神經圖靈機/可微神經計算機體系結構以及用于強化學習的A2C算法。

關于系列講座：

深度學習系列講座是DeepMind和UCL人工智能中心的合作項目。在過去的十年裡，深度學習已經發展成為領先的人工智能範式，為我們提供了從原始資料中以前所未有的精度和規模學習複雜函數的能力。深度學習已經應用于對象識别、語音識别、語音合成、預測、科學計算、控制等領域。由此産生的應用涉及到我們生活的方方面面，如醫療保健和醫學研究、人機互動、通信、運輸、養護、制造以及許多其他人類努力的領域。為了表彰這種巨大的影響，2019年圖靈獎（Turing Award）被授予深度學習的先驅，這是計算領域的最高榮譽。

在本系列講座中，來自領先的人工智能研究實驗室DeepMind的研究科學家們将圍繞深度學習中令人興奮的主題進行12場講座，從通過記憶、注意力和生成性模組化等先進理念訓練神經網絡的基本原理到負責任創新的重要主題。