天天看點

12位專家,展望未來5年深度學習發展趨勢

12位專家,展望未來5年深度學習發展趨勢

2015年已然過去,2016剛剛開始,回頭将目光集中于去年的成就上,以及對将來科學趨勢的預測。去年最令人矚目的一個領域就是深度學習,它是機器學習中越來越流行的一個分支,看起來它會繼續向前發展,并會運用到越來越多的行業和領域中。

在過去的一年中,我們有幸通過re•work節目與從事人工智能和計算機科學方面的許多大牛進行交流,我們期待在2016年會晤更多的專家,并向他們學習。

作為q&a;系列的一部分,我們邀請了一些深度學習方面最為資深的人士,來預測深度學習領域未來5年的可能發展情況。

未來5年我們可能看到深度學習會有怎樣的發展?

ilya sutskever,openai研究總監:我們應該會看到更為深層的模型,與如今的模型相比,這些模型可以從更少的訓練樣例中學習,在非監督學習方面也會取得實質性進展。我們應該會看到更精準有用的語音和視覺識别系統。

sven behnke,波昂大學全職教授、自主智能系統小組負責人:我期望深度學習能夠越來越多地被用于多模(multi-modal)問題上,在資料上更結構化。這将為深度學習開創新的應用領域,比如機器人技術,資料挖掘和知識發現。

christian szegedy,谷歌進階研究員:目前深度學習算法和神經網絡的性能與理論性能相去甚遠。如今,我們可以用五到十分之一的成本,以及十五分之一的參數來設計視覺網絡,而性能比一年前花費昂貴成本設計出的網絡更優,這完全憑借改善的網絡架構和更好的訓練方法。我堅信,這僅僅隻是個開始:深度學習算法将會更高效,能夠在廉價的移動裝置上運作,即使沒有額外的硬體支援或是過高的記憶體開銷。

12位專家,展望未來5年深度學習發展趨勢

andrej karpathy,斯坦福大學在讀計算機科學博士、openai研究科學家:我不打算從高層面描述幾個即将到來的有趣發展,我将會集中于一個方面作具體描述。我看到的一個趨勢是,架構正在迅速地變得更大、更複雜。我們正在朝着建設大型神經網絡系統方面發展,交換神經元件的輸入輸出,不同資料集上預訓練的網絡部分,添加新子產品,同時微調一切等等。比如,卷積網絡曾是最大/最深的神經網絡架構之一,但如今,它被抽象成了大多數新架構中的一小部分。反過來,許多這些架構也會成為将來創新架構中的一小部分。我們正在學習如何堆“樂高積木”,以及如何有效地将它們連線嵌套建造大型“城堡”。

pieter abbeel,加州大學伯克利分校計算機科學副教授、gradescope聯合創始人:有很多技術都基于深度監督式學習技術,視訊技術也是一樣,搞清楚如何讓深度學習在自然語言處理方面超越現在的方法,在深度無監督學習和深度強化學習方面也會取得顯著進步。

eli david,deep instinct cto:在過去的兩年中,我們觀察到,在大多數使用了深度學習的領域中,深度學習取得了極大的成功。即使未來5年深度學習無法達到人類水準的認知(盡管這很可能在我們有生之年發生),我們也将會看到在許多其他領域裡深度學習會有巨大的改進。具體而言,我認為最有前途的領域将是無監督學習,因為世界上大多數資料都是未标記的,而且我們大腦的新皮層是一個很好的無監督學習區域。

deep instinct是第一家使用深度學習進行網絡安全研究的公司,在今後幾年,我希望有更多的公司使用深度學習進行網絡安全研究。然而,使用深度學習的門檻還是相當高的,尤其是對那些通常不使用人工智能方法(例如,隻有少數幾個解決方案采用經典機器學習方法)的網絡安全公司,是以在深度學習成為網絡安全領域廣泛運用的日常技術之前,這還将需要數年時間。

12位專家,展望未來5年深度學習發展趨勢

daniel mcduff,affectiva研究總監:深度學習已經成為在計算機視覺,語音分析和許多其他領域占優勢的機器學習形式。我希望通過一或兩個gpu提供的計算能力建構出的精準識别系統能夠讓研究人員在現實世界中開發和部署新的軟體。我希望有更多的重點放在無監督訓練、半監督訓練算法上,因為資料一直不斷增長。

jörg bornschein,加拿大進階研究所(cifar)全球學者:預測未來總是很難。我希望無監督、半監督和強化學習方法将會扮演比今天更突出的角色。當我們考慮将機器學習作為大型系統的一部分,比如,在機器人控制系統或部件中,掌控大型系統計算資源,似乎很明顯地可以看出,純監督式方法在概念上很難妥善解決這些問題。

ian goodfellow,谷歌進階研究科學家:我希望在五年之内,我們将可以讓神經網絡總結視訊片段的内容,并能夠生成視訊短片。神經網絡已經是視覺任務的标準解決方案了。我希望它也能成為nlp和機器人任務的标準解決方案。我還預測,神經網絡将成為其他科學學科的重要工具。比如,神經網絡可以被訓練來對基因、藥物和蛋白質行為進行模組化,然後用于設計新藥物。

nigel duffy,sentient technologies cto:目前大資料生态系統一直專注于收集,管理,策展大量資料。很明顯,在分析和預測方面也有很多工作。從根本上說,企業使用者不關心那些。企業使用者隻關心結果,即“這些資料将會改變我的行為方式嗎?将會改變我做出的抉擇嗎?”我們認為,這些問題是未來5年需要解決的關鍵問題。我們相信,人工智能将會是資料和更好的決策之間的橋梁。

很明顯,深度學習将會在演變中起到顯著的作用,但需要與其他人工智能方法結合。在接下來的5年裡,我們會看到越來越多的混合系統中,深度學習用于處理一些難以感覺的任務,而其他人工智能和機器學習(ml)技術用于處理其他部分的問題,如推理。

12位專家,展望未來5年深度學習發展趨勢

koray kavukcuoglu & alex graves,谷歌deepmind研究科學家:未來5年會發生許多事。我們希望無監督學習和強化學習會更加傑出。我們同樣希望看到更多的多模式學習,以及對多資料集學習更加關注。

charlie tang,多倫多大學機器學習小組博士生:深度學習算法将逐漸用于更多的任務并且将“解決”更多的問題。例如,5年前,人臉識别算法的準确率仍然比人類表現略差。然而,目前在主要人臉識别資料集(lfw)和标準圖像分類資料集(imagenet)上算法的表現已經超過了人類。在未來5年,越來越難的問題,如視訊識别,醫學影像或文字處理将順利由深度學習算法解決。我們還可以看到深度學習算法被移植到商業産品中,就像10年前人臉檢測如何被納入相機中一樣。

12位專家,展望未來5年深度學習發展趨勢

往期精彩文章推薦,點選圖檔可閱讀

劍橋大學研究員總結:26條深度學習經驗

12位專家,展望未來5年深度學習發展趨勢

機器視覺與深度神經網絡—洗去浮華,一窺珠玑

12位專家,展望未來5年深度學習發展趨勢

.原文釋出時間為:2016-01-07

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号