新年快乐！这是份值得收藏的2017年AI与深度学习要点大全强化学习称霸人类游戏进化算法回归WaveNets，CNNs以及注意力机制深度学习框架这一年学习资源应用：AI和医学应用：艺术和GAN应用：无人车超酷的研究和应用数据集深度学习，重现性和炼金术竞争，炒作和失败

本文来自AI新媒体量子位（QbitAI）

2017已经正式离我们远去。

过去的一年里，有很多值得梳理记录的内容。博客WILDML的作者、曾在Google Brain做了一年Resident的Denny Britz，就把他眼中的2017年AI和深度学习的大事，进行了一番梳理汇总。

量子位进行概要摘录如下，详情可前往原文查看，地址：http://www.wildml.com/2017/12/ai-and-deep-learning-in-2017-a-year-in-review/

作为一个强化学习Agent，它的第一个版本使用了来自人类专家的训练数据，然后通过自我对局和蒙特卡洛树搜索的改进来进化。

这些算法在对局中所用的策略，有时候甚至让经验丰富的棋手都觉得惊讶，他们也会向AlphaGo学习，改变着自己的对局风格。为了让学习更容易，DeepMind还发布了AlphaGo Teach工具。

下面是相关论文，认真的同学们可以收藏回顾啦：

AlphaGo

https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf

AlphaGo Zero

https://www.nature.com/articles/nature24270.epdf

AlphaZero

https://arxiv.org/abs/1712.01815

Thinking Fast and Slow with Deep Learning and Tree Search

https://arxiv.org/abs/1705.08439

再早些时候，查尔斯大学、捷克技术大学和加拿大阿尔伯塔大学开发的DeepStack，首先击败了专业德扑玩家。

有一点值得注意，这两个程序玩的都是一对一扑克，也就是两名玩家之间的对局，这比多人游戏更容易。2018年，我们很可能看到算法在多玩家扑克上取得一些进步。

Libratus论文：

http://science.sciencemag.org/content/early/2017/12/15/science.aao1733.full

星际争霸2研究环境：

https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/

对于监督学习来说，基于梯度的反向传播算法已经非常好，而且这一点可能短期内不会有什么改变。

然而，在强化学习中，进化策略（Evolution Strategies, ES）似乎正在东山再起。因为强化学习的数据通常不是lid（独立同分布）的，错误信号更加稀疏，而且需要探索，不依赖梯度的算法表现很好。另外，进化算法可以线性扩展到数千台机器，实现非常快的平行训练。它们不需要昂贵的GPU，但可以在成百上千便宜的CPU机器上进行训练。

2017年早些时候，OpenAI的研究人员证明了进化策略实现的性能，可以与Deep Q-Learning等标准强化学习算法相媲美。

相关论文：

https://arxiv.org/abs/1703.03864

远离昂贵且训练漫长的回归架构是一个更大的趋势。在论文Attention is All you Need里，研究人员完全摆脱了循环和卷积，使用一个更复杂的注意力机制，只用了很小的训练成本，就达到了目前最先进的结果。

论文地址：https://arxiv.org/abs/1706.03762

如果非要用一句话总结2017，那只能说是框架之年。

此外，

除了通用的深度学习框架外，我们还看到大量的强化学习框架发布：

OpenAI Roboschool，用于机器人仿真

https://blog.openai.com/roboschool/

OpenAI Baselines，一套强化学习算法的高质量实现

https://github.com/openai/baselines

Tensorflow Agents，用TensorFlow来训练RL智能体

https://github.com/tensorflow/agents

Unity ML Agents，研究人员可用Unity Editor来创建游戏，并展开强化训练

https://github.com/Unity-Technologies/ml-agents

Nervana Coach，用最先进的强化学习算法进行试验

http://coach.nervanasys.com/

Facebook ELF，游戏研究平台

https://code.facebook.com/posts/132985767285406/introducing-elf-an-extensive-lightweight-and-flexible-platform-for-game-research/

DeepMind Pycolab，定制化的游戏引擎

https://github.com/deepmind/pycolab

Geek.ai MAgent，多智能体强化学习平台

https://github.com/geek-ai/MAgent

为了让深度学习更易普及，还有一些面向web的框架，例如谷歌的deeplearn.js和MIL WebDNN执行框架。

2017，还有一个流行框架跟我们告别了。

随着深度学习和强化学习越来越流行，2017年有越来越多的课程、训练营等活动举行并分享到网上。以下是我最爱的一些。

Deep RL Bootcamp，由OpenAI和UC Berkeley联合主办，主要讲授关于强化学习的基础知识和最新研究成果

地址：https://sites.google.com/view/deep-rl-bootcamp/lectures?authuser=0

斯坦福视觉识别卷积神经网络课程2017春季版

http://cs231n.stanford.edu/

斯坦福自然语言处理与深度学习课程2017冬季版

http://web.stanford.edu/class/cs224n/

斯坦福的深度学习理论课程

https://stats385.github.io/

Coursera上最新的深度学习课程

https://www.coursera.org/specializations/deep-learning

蒙特利尔深度学习和强化学习暑期学校

http://videolectures.net/deeplearning2017_montreal/

UC Berkeley的深度强化学习课程2017秋季版

http://rll.berkeley.edu/deeprlcourse/

TensorFlow开发者大会上关于深度学习和TensorFlow API相关的内容

https://www.youtube.com/playlist?list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv

几大学术会议，延续了在网上发布会议内容的新传统。如果你想赶上最尖端的研究，可以查看这些顶级会议的录像资料。

NIPS 2017：

https://nips.cc/Conferences/2017/Videos

ICLR 2017：

https://www.facebook.com/pg/iclr.cc/videos/

EMNLP 2017：

https://ku.cloud.panopto.eu/Panopto/Pages/Sessions/List.aspx

研究人员也开始在arXiv上发布低门槛的教程和综述论文。以下是过去一年我的最爱。

深度强化学习：概述

Deep Reinforcement Learning: An Overview

https://arxiv.org/abs/1701.07274

给工程师的机器学习简介

A Brief Introduction to Machine Learning for Engineers

https://arxiv.org/abs/1709.02840

神经机器翻译

Neural Machine Translation

https://arxiv.org/abs/1709.07809

教程：神经机器翻译和序列到序列模型

Neural Machine Translation and Sequence-to-sequence Models: A Tutorial

https://arxiv.org/abs/1703.01619

2017年，有不少人宣称用深度学习解决了医疗问题，而且还击败了人类专家。这其中有真正的突破，也有一些炒作。对这方面感兴趣的话，推荐关注Luke Oakden-Rayner的人类医生终结系列博客：

https://lukeoakdenrayner.wordpress.com/2017/04/20/the-end-of-human-doctors-introduction/

这里简要介绍一些发展。其中最重要的事件包括：斯坦福的一个团队公布了用深度学习识别皮肤癌的算法细节。

相关研究：https://cs.stanford.edu/people/esteva/nature/

另一个斯坦福的团队则开发了一个模型，能比人类专家更好的发现心律失常。

相关研究：https://stanfordmlgroup.github.io/projects/ecg/

当然也有一些风波。例如DeepMind与NHS之间的问题；NIH发布了一个不适合训练AI的胸部X光片数据集等等。

应用于图像、音乐、绘图和视频领域的生成模型，今年也越来越受到关注。NIPS 2017还首次推出了面向创意与设计的机器学习研讨会。

一起去玩一下：

https://quickdraw.withgoogle.com/

相关地址：

CycleGAN

https://arxiv.org/abs/1703.10593

DiscoGAN

https://github.com/carpedm20/DiscoGAN-pytorch

StarGAN

https://github.com/yunjey/StarGAN

无人车领域的大玩家包括Uber、Lyft、Waymo和Tesla。Uber这一年都麻烦不断，但是这家公司一直没有停下在无人车方面的脚步。

今年有很多好玩的项目和展示，这里不可能提及所有：

用深度学习创造动漫角色

一起来试试吧~ http://make.girls.moe/#/

神经网络玩《马里奥赛车》

实时《马里奥赛车 64》AI

https://github.com/rameshvarun/NeuralKart

<a href="http://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&amp;mid=2247484309&amp;idx=3&amp;sn=8c9884e899b590bb675c7773e0b6f250&amp;chksm=e8d3b4e7dfa43df1d656380d8f2059bea2a14a9f97990a05a2ea111a8f4eda2a44e4d6dfd23c&amp;scene=21#wechat_redirect" target="_blank">随手画猫</a>

在研究层面，

习得索引结构 - 使用神经网络优化高速缓存B-Tree。

https://arxiv.org/abs/1712.01208

Attention is All You Need - Google推出的翻译架构Transformer完全舍弃了RNN/CNN结构。

https://arxiv.org/pdf/1706.03762.pdf

<a href="http://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&amp;mid=2247490443&amp;idx=1&amp;sn=7afcdf7062c27bcb2ceae64f480751ee&amp;chksm=e8d3acf9dfa425efd8f9ae5370c0e89d4d401609f867ef3f78361a66c7ad9a86b4e710f1d28f&amp;scene=21#wechat_redirect" target="_blank">Mask R-CNN</a>

神经网络需要大量的数据，因此开放数据集是对行业的重要贡献。以下是今年几个新推出的数据集代表。

Youtube Bounding Boxes

https://research.google.com/youtube-bb

Google QuickDraw Data

https://quickdraw.withgoogle.com/data

DeepMind Open Source Datasets

https://deepmind.com/research/open-source/open-source-datasets

Google Speech Commands Dataset

https://research.googleblog.com/2017/08/launching-speech-commands-dataset.html

Atomic Visual Actions

https://research.google.com/ava/

Several updates to the Open Images data set

https://github.com/openimages/dataset

Nsynth dataset of annotated musical notes

https://magenta.tensorflow.org/datasets/nsynth

Quora Question Pairs

https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

另外，研究人员并不总是同步公开代码，论文中有时还会漏掉重要的细节，或者使用特殊的评估方法……这些因素都让可复现性成为一个大问题。

论文地址：https://arxiv.org/abs/1711.10337

同样，在论文On the State of the Art of Evaluation in Neural Language Models中，研究人员表明，简单的LSTM架构在正确调整后，表现就能比最近的多数模型都好。

论文地址：https://arxiv.org/abs/1707.05589

加拿大和中国，正在加速AI方面的部署。

宣传非常重要，但有些宣传和实验室实际发生的事情不符。IBM沃森就是过度营销的传奇，并没有带来相符的结果。大家都不喜欢沃森，所以他们在医疗方面一再失败也不奇怪。

Facebook的人工智能发明了自己的语言那事，其实也跟真相不符。这不简单是媒体的误导，研究人员所用的标题和摘要也越了界，没能反映实验的实际结果。

本文作者：若朴 夏乙

原文发布时间：2018-01-01