天天看點

幹貨分享 | 深度學習零基礎進階大法!

幹貨分享 | 深度學習零基礎進階大法!

<a href="https://pixabay.com/zh/%e9%94%ae%e7%9b%98-%e5%85%b3%e9%94%ae-%e6%88%90%e5%8a%9f-%e5%9c%a8%e7%ba%bf-%e8%ae%a1%e7%ae%97%e6%9c%ba-%e4%b8%9a%e5%8a%a1-621830/" target="_blank">pixabay</a>

0. 深度學習的“聖經”

提到入門級的書,就不得不提這一本 bengio yoshua,ian j. goodfellow 和 aaron courville共同撰寫的《深度學習》(deep learning)。

“這本關于深度學習的教課書是一本為了幫助學生及從業者入門機器學習,并專注于深度學習領域的教材。”值得一提的是,這本 mit 出版的“書”數年來一直在網上實時更新和完善,不斷補充研究成果和新的參考文獻,也向公衆開放評論,接受修改意見,其火爆程度甚至被譽為深度學習的“聖經”。 目前該書可在亞馬遜預定,今年年底就會送到你手上。

1. 調研

 yann lecun , yoshua bengio和geoffrey hinton被作者譽為深度學習界三大天王,他們所釋出在 nature上的“deep learning”包含了大量的研究和調查,五星推薦,值得一讀!

2. 建立深度學習的知識網

作為 ai 領袖級人物,geoffrey hinton 目前就職于谷歌,而其與e., simon osindero和yee-whye the的代表作《a fast learning algorithm for deep belief nets》更是被奉為圭臬,不妨看看。

此外,他還有一篇署名第一作者的《reducing the dimensionality of data with neural networks》,可以說是深度學習的裡程碑之作。

3. imagenet 革命

當你讀完了上面的幾篇論文,相信你對深度學習也有了一個大緻的了解。那麼深度學習的突破點在哪呢?在 2012 年,krizhevsky 的《imagenet classification with deep convolutional neural networks》預示着神經網絡的出現和發展有了突破性的研究進展。來不及了,趕緊上車吧,推薦指數五顆星。

而深度對于網絡有多重要?《very deep convolutional networks for large-scale image recognition》是牛津大學視覺幾何組(vgg)karen simonyan 和 andrew zisserman 于 2014 年撰寫的論文,主要探讨了深度對于網絡的重要性;并建立了一個 19層的深度網絡并獲得了很好的結果。該論文在 ilsvrc上定位第一,分類第二。

如果想要了解下神經網絡結構是如何改進的,那一定得讀下這篇。szegedy 和 christian 都是當代著名的計算機科學家,他們曾在 2015 年合寫了《going deeper with convolutions》,這篇論文是為 imagenet2014 的比賽而作,論文中的方法獲得了比賽的第一名,包括 task1 分類任務和 task2 檢測任務。本文主要關注針對計算機視覺的高效深度神經網絡結構,通過改進神經網絡的結構達到不增加計算資源需求的前提下提高網絡的深度,進而達到提高效果的目的。

在第六屆 imagenet 年度圖像識别測試中,微軟研究院的計算機圖像識别系統在幾個類别的測試中拔得頭籌,擊敗了谷歌、英特爾、高通、騰訊以及一些創業公司和學術實驗室的系統。微軟的獲勝系統名為“圖像識别的深度殘差學習”(deep residual learning for image recognition),由微軟研究員何恺明、張祥雨、任少卿和孫劍組成的團隊開發。是以,記錄這一團隊系統開發心得的《deep residual learning for image recognition》絕對是學習必備啊,五星推薦。

4. 語音識别大法好

hinton 與 geoffrey 等技術專家合著的《deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups》是語音識别領域的巨大突破。它融合了四個小組利用深度神經網絡和聲學模組化完成語音識别的執行個體。

除了上面的幾篇論文,geoffrey hinton 大神 在《speech recognition with deep recurrent neural networks》一文中也是思如泉湧,他向我們介紹了深度循環神經網絡(rnns)在語音識别中的重要性。

想必我們對語音輸入并不陌生,但這是如何實作的呢?這篇名為《towards end-to-end speech recognition with recurrent neural networks》由 graves、alex 和多倫多大學教授 navdeep jaitly 共同撰寫。它向我們描述了一個無需中繼語音重構的音頻轉文字識别系統。

如果你要問谷歌語音識别系統之源是什麼,那我一定會向你推薦這篇名為《fast and accurate recurrent neural network acoustic models for speech recognition》的論文由 sak 和 hasim 等多位專家撰寫而成,它是谷歌語音識别系統的重要理論基礎之一。

百度近日公布了其矽谷人工智能實驗室(svail)的一項新的研究成果,被稱為 deep speech 2。deep speech 通過使用一個單一的學習算法實作了準确識别英語和漢語的能力。這一成果就發表在論文《deep speech 2: end-to-end speech recognition in english and mandarin》之中。

讀完了上面推薦的論文,你一定對深度學習的曆史有了一個基本了解,其基本的模型架構(cnn/rnn/lstm)與深度學習如何應用在圖檔和語音識别上肯定也不在話下了。下一部分,我們将通過新一批論文,讓你對深度學習的方式與深度學習在不同領域的運用有個清晰的了解。由于第二部分的論文開始向細化方向延展,是以你可以根據自己的研究方向酌情進行選擇。

推薦閱讀:

<a href="http://www.leiphone.com/news/201610/iuultnnpiynqljxm.html">微軟研究院新成果!對話語音識别水準超人類,錯誤率僅為 5.9 %</a>

<a href="http://www.leiphone.com/news/201609/sjgultsdgcisr8wz.html">從0到1:我是如何在一年内無師自通機器學習的?</a>

本文作者:奕欣

繼續閱讀