天天看点

干货分享 | 深度学习零基础进阶大法!

干货分享 | 深度学习零基础进阶大法!

<a href="https://pixabay.com/zh/%e9%94%ae%e7%9b%98-%e5%85%b3%e9%94%ae-%e6%88%90%e5%8a%9f-%e5%9c%a8%e7%ba%bf-%e8%ae%a1%e7%ae%97%e6%9c%ba-%e4%b8%9a%e5%8a%a1-621830/" target="_blank">pixabay</a>

0. 深度学习的“圣经”

提到入门级的书,就不得不提这一本 bengio yoshua,ian j. goodfellow 和 aaron courville共同撰写的《深度学习》(deep learning)。

“这本关于深度学习的教课书是一本为了帮助学生及从业者入门机器学习,并专注于深度学习领域的教材。”值得一提的是,这本 mit 出版的“书”数年来一直在网上实时更新和完善,不断补充研究成果和新的参考文献,也向公众开放评论,接受修改意见,其火爆程度甚至被誉为深度学习的“圣经”。 目前该书可在亚马逊预定,今年年底就会送到你手上。

1. 调研

 yann lecun , yoshua bengio和geoffrey hinton被作者誉为深度学习界三大天王,他们所发布在 nature上的“deep learning”包含了大量的研究和调查,五星推荐,值得一读!

2. 建立深度学习的知识网

作为 ai 领袖级人物,geoffrey hinton 目前就职于谷歌,而其与e., simon osindero和yee-whye the的代表作《a fast learning algorithm for deep belief nets》更是被奉为圭臬,不妨看看。

此外,他还有一篇署名第一作者的《reducing the dimensionality of data with neural networks》,可以说是深度学习的里程碑之作。

3. imagenet 革命

当你读完了上面的几篇论文,相信你对深度学习也有了一个大致的了解。那么深度学习的突破点在哪呢?在 2012 年,krizhevsky 的《imagenet classification with deep convolutional neural networks》预示着神经网络的出现和发展有了突破性的研究进展。来不及了,赶紧上车吧,推荐指数五颗星。

而深度对于网络有多重要?《very deep convolutional networks for large-scale image recognition》是牛津大学视觉几何组(vgg)karen simonyan 和 andrew zisserman 于 2014 年撰写的论文,主要探讨了深度对于网络的重要性;并建立了一个 19层的深度网络并获得了很好的结果。该论文在 ilsvrc上定位第一,分类第二。

如果想要了解下神经网络结构是如何改进的,那一定得读下这篇。szegedy 和 christian 都是当代著名的计算机科学家,他们曾在 2015 年合写了《going deeper with convolutions》,这篇论文是为 imagenet2014 的比赛而作,论文中的方法获得了比赛的第一名,包括 task1 分类任务和 task2 检测任务。本文主要关注针对计算机视觉的高效深度神经网络结构,通过改进神经网络的结构达到不增加计算资源需求的前提下提高网络的深度,从而达到提高效果的目的。

在第六届 imagenet 年度图像识别测试中,微软研究院的计算机图像识别系统在几个类别的测试中拔得头筹,击败了谷歌、英特尔、高通、腾讯以及一些创业公司和学术实验室的系统。微软的获胜系统名为“图像识别的深度残差学习”(deep residual learning for image recognition),由微软研究员何恺明、张祥雨、任少卿和孙剑组成的团队开发。因此,记录这一团队系统开发心得的《deep residual learning for image recognition》绝对是学习必备啊,五星推荐。

4. 语音识别大法好

hinton 与 geoffrey 等技术专家合著的《deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups》是语音识别领域的巨大突破。它融合了四个小组利用深度神经网络和声学建模完成语音识别的实例。

除了上面的几篇论文,geoffrey hinton 大神 在《speech recognition with deep recurrent neural networks》一文中也是思如泉涌,他向我们介绍了深度循环神经网络(rnns)在语音识别中的重要性。

想必我们对语音输入并不陌生,但这是如何实现的呢?这篇名为《towards end-to-end speech recognition with recurrent neural networks》由 graves、alex 和多伦多大学教授 navdeep jaitly 共同撰写。它向我们描述了一个无需中继语音重构的音频转文字识别系统。

如果你要问谷歌语音识别系统之源是什么,那我一定会向你推荐这篇名为《fast and accurate recurrent neural network acoustic models for speech recognition》的论文由 sak 和 hasim 等多位专家撰写而成,它是谷歌语音识别系统的重要理论基础之一。

百度近日公布了其硅谷人工智能实验室(svail)的一项新的研究成果,被称为 deep speech 2。deep speech 通过使用一个单一的学习算法实现了准确识别英语和汉语的能力。这一成果就发表在论文《deep speech 2: end-to-end speech recognition in english and mandarin》之中。

读完了上面推荐的论文,你一定对深度学习的历史有了一个基本了解,其基本的模型架构(cnn/rnn/lstm)与深度学习如何应用在图片和语音识别上肯定也不在话下了。下一部分,我们将通过新一批论文,让你对深度学习的方式与深度学习在不同领域的运用有个清晰的了解。由于第二部分的论文开始向细化方向延展,因此你可以根据自己的研究方向酌情进行选择。

推荐阅读:

<a href="http://www.leiphone.com/news/201610/iuultnnpiynqljxm.html">微软研究院新成果!对话语音识别水平超人类,错误率仅为 5.9 %</a>

<a href="http://www.leiphone.com/news/201609/sjgultsdgcisr8wz.html">从0到1:我是如何在一年内无师自通机器学习的?</a>

本文作者:奕欣

继续阅读