Meet and understand Attention
今天是2018年12月20号，距离小亮上次发文技术博客已经过去两个月了，这两个月小亮没有坚持写作，在这里深表歉意。今天就给大家带来福利，Attention这盘大盘鸡！！！今天这份Attention是小亮在组会上刚刚讲完的，个人认为是一份值得学习和思考的详细资料。 我是赵小亮，一枚NLP大道上的小白，今天我们一起来学Attention！用文字记载生活、用文字书写科研中的故事、用文字传播NLP领域的点点滴滴，你我共同成长！
AI大餐预告：本周小亮主要讲解Attention系列专题，大概有八大板块，从Attention Mechanism的起源、历史、变种、相关论文《Attention Is All You Need》以及实战，还有一些思考，带领大家一起吃Attention这顿大餐！
笔者信息：Next_Legend QQ:1219154092 机器学习 自然语言处理 深度学习 统计概率论
小亮的博客：https://legendtianjin.github.io/NextLegend.github.io/ ——2018.12.20于北洋
零、Attention系列专题介绍
首先，小亮要在这里感谢国内外所有写过Attention相关技术博文的同道中人，没有你们，小亮对Attention理解没有今天这样的深入，小亮会在本专题的最后诚挚感谢这些前辈！！！小亮这里用PPT的形式来和大家分享，因为我觉得哈：CSDN的文字编辑很不厚道，总是各种Bug，作为国内一个大众化的技术交流平台，文字编辑器却显的那么Low，对程序员一点都不友好。所以小亮直接上PPT，(PPT完整下载链接可以联系本人哈！或者查看小亮私人博客)
这里是小亮的第一页PPT，是不是看上去不是一个纯工科男哈，没有错！！！小亮要做一名有温度的IT男，用文字击破冰冷的科研，好啦，废话不多说，请看第二张PPT，本专题的组织结构！
一、Attention Mechanism的发展历史
这一部分进入到Attention Mechanism的发展历史，历史性的故事，比较简单，小亮在这里用四张PPT带过，想着快速上点干货！！！
二、先来看一个例子：seq2seq中的attention机制
这一部分小亮带领大家走进一个机器翻译的例子，通过这个例子先直观感受一下attention的思想，这里听不懂没关系，后面的内容会再次加深对attention的核心理解！这个例子的资料是来自2018斯坦福大学的课程Natural Language Processing with Deep Learning CS224N/Ling284_Lecture 11: Paying attention to attention and Tips and Tricks for large MT PPT资料链接在小亮的私人博客
三、Attention的一个通用定义
这一部分就一张PPT，内容也是来自2018斯坦福大学NLP的课件，侧重于对attention的直观上的理解。go on!