Meet and understand Attention
今天是2018年12月20号，距離小亮上次發文技術部落格已經過去兩個月了，這兩個月小亮沒有堅持寫作，在這裡深表歉意。今天就給大家帶來福利，Attention這盤大盤雞！！！今天這份Attention是小亮在組會上剛剛講完的，個人認為是一份值得學習和思考的詳細資料。 我是趙小亮，一枚NLP大道上的小白，今天我們一起來學Attention！用文字記載生活、用文字書寫科研中的故事、用文字傳播NLP領域的點點滴滴，你我共同成長！
AI大餐預告：本周小亮主要講解Attention系列專題，大概有八大闆塊，從Attention Mechanism的起源、曆史、變種、相關論文《Attention Is All You Need》以及實戰，還有一些思考，帶領大家一起吃Attention這頓大餐！
筆者資訊：Next_Legend QQ:1219154092 機器學習 自然語言處理 深度學習 統計機率論
小亮的部落格：https://legendtianjin.github.io/NextLegend.github.io/ ——2018.12.20于北洋
零、Attention系列專題介紹
首先，小亮要在這裡感謝國内外所有寫過Attention相關技術博文的同道中人，沒有你們，小亮對Attention了解沒有今天這樣的深入，小亮會在本專題的最後誠摯感謝這些前輩！！！小亮這裡用PPT的形式來和大家分享，因為我覺得哈：CSDN的文字編輯很不厚道，總是各種Bug，作為國内一個大衆化的技術交流平台，文字編輯器卻顯的那麼Low，對程式員一點都不友好。是以小亮直接上PPT，(PPT完整下載下傳連結可以聯系本人哈！或者檢視小亮私人部落格)
這裡是小亮的第一頁PPT，是不是看上去不是一個純工科男哈，沒有錯！！！小亮要做一名有溫度的IT男，用文字擊破冰冷的科研，好啦，廢話不多說，請看第二張PPT，本專題的組織結構！
一、Attention Mechanism的發展曆史
這一部分進入到Attention Mechanism的發展曆史，曆史性的故事，比較簡單，小亮在這裡用四張PPT帶過，想着快速上點幹貨！！！
二、先來看一個例子：seq2seq中的attention機制
這一部分小亮帶領大家走進一個機器翻譯的例子，通過這個例子先直覺感受一下attention的思想，這裡聽不懂沒關系，後面的内容會再次加深對attention的核心了解！這個例子的資料是來自2018斯坦福大學的課程Natural Language Processing with Deep Learning CS224N/Ling284_Lecture 11: Paying attention to attention and Tips and Tricks for large MT PPT資料連結在小亮的私人部落格
三、Attention的一個通用定義
這一部分就一張PPT，内容也是來自2018斯坦福大學NLP的課件，側重于對attention的直覺上的了解。go on!