學習心得
轉眼間課程已經過半，我還有點沒反應過來。這幾周的學習中，我接觸了很多關于機器學習和模式識别的新概念，新知識。由于以前從來沒接觸過相關領域，是以這門課程有點難學，但也正因如此，這些東西對我來說也都很新鮮，讓我想要了解更多。
第一節課上，了解了很多模式識别和機器學習領域的應用，意識到機器學習技術與人們日常生活的密切聯系，比如無人駕駛，文字識别，人臉識别，股市預測等等各種應用，才發現在智能裝置如此普及的現在，人們的生活早已離不開機器學習技術的支撐，明白了機器學習的重要性。之後，在老師深入淺出的講解下，從機器學習的基本概念和原理，到分類器的講解以及優化，我了解了越來越多的知識。
同樣的，這門課也讓我明白了基本功的重要。。由于對之前線代、高數等知識的淡忘，在一些公式推導方面，學習的有些吃力。而課本又都不在家裡，沒法随時查閱相關知識，是以對公式這方面學習的确實不怎麼紮實，以後肯定還要回過頭來再看幾遍才能掌握。。
機器學習領域前沿技術——深度學習
深度學習是機器學習研究中的一個領域，其動機在于建立、模拟人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋資料，例如圖像，聲音和文本。深度學習是無監督學習的一種。
深度學習的概念源于人工神經網絡的研究。含多隐層的多層感覺器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類别或特征，以發現資料的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出。基于深信度網(DBN)提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，随後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。
深度學習的基本思想
在課程中我們學習過，要給樣本分類，首先得總結出一個或多個特征，根據特征将樣本表示出來，然後再通過不同算法來分類。特征選取得好壞對最終結果的影響非常巨大。是以，選取什麼特征對于解決一個實際問題非常的重要。
然而，手工地選取特征是一件非常費力、啟發式的方法，能不能選取好很大程度上靠經驗和運氣；那麼能不能自動地學習一些特征呢？答案是能！深度學習就是用來幹這個事情的，看它的一個别名Unsupervised Feature Learning，就可以顧名思義了，Unsupervised的意思就是不要人參與特征的選取過程。是以，自動地學習特征的方法，統稱為深度學習。
假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等于輸入I，即輸入I經過這個系統變化之後沒有任何的資訊損失，保持了不變，這意味着輸入I經過每一層Si都沒有任何的資訊損失，即在任何一層Si，它都是原有資訊（即輸入I）的另外一種表示。現在回到我們的主題Deep Learning，我們需要自動地學習特征，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那麼我們就可以自動地擷取得到輸入I的一系列層次特征，即S1，…, Sn。
另外，前面是假設輸出嚴格地等于輸入，這個限制太嚴格，我們可以略微地放松這個限制，例如我們隻要使得輸入與輸出的差别盡可能地小即可，這個放松會導緻另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。
深度學習的應用
- 計算機視覺
香港中文大學的多媒體實驗室是最早應用深度學習進行計算機視覺研究的華人團隊。在世界級人工智能競賽LFW（大規模人臉識别競賽）上，該實驗室曾力壓FaceBook奪得冠軍，使得人工智能在該領域的識别能力首次超越真人。
- 語音識别
微軟研究人員通過與hinton合作，首先将RBM和DBN引入到語音識别聲學模型訓練中，并且在大詞彙量語音識别系統中獲得巨大成功，使得語音識别的錯誤率相對減低30%。但是，DNN還沒有有效的并行快速算法，很多研究機構都是在利用大規模資料語料通過GPU平台提高DNN聲學模型的訓練效率。
在國際上，IBM、google等公司都快速進行了DNN語音識别的研究，并且速度飛快。
國内方面，阿裡巴巴、科大訊飛、百度、中科院自動化所等公司或研究機關，也在進行深度學習在語音識别上的研究。
- 自然語言處理等其他領域
很多機構在開展研究，2013年，Tomas Mikolov，Kai Chen，Greg Corrado，Jeffrey Dean發表論文Efficient Estimation of Word Representations in Vector Space建立word2vector模型，與傳統的詞袋模型（bag of words）相比，word2vector能夠更好地表達文法資訊。深度學習在自然語言處理等領域主要應用于機器翻譯以及語義挖掘等方面。
國内機器學習領域的發展
百度大腦
百度大腦的四大功能，分别是語音、圖像，自然語言處理和使用者畫像這四大能力：
語音的能力:包括語音識别能力和語音合成能力。
圖像的能力:圖像能力指的是看到一個圖檔，不僅能看得見，還能看得懂。按照技術界的說法，它應該是計算機視覺。
自然語言處理能力:自然語言處理能力比語音和圖像更難。語音和圖像技術更多還處在認知的階段，而自然語言了解除了要有認知能力之外，還需要邏輯推理能力、規劃能力等等，同時也需要依賴于更為強大的知識圖譜。
使用者畫像:使用者畫像在傳統的AI中并不是主流。但是今天，我們每時每刻都可以收集很多很多和使用者行為相關的資料，就可以對使用者做很好的畫像，而這裡面使用的技術又基本上都是與人工智能相關的。
騰訊AI Lab
騰訊AI Lab成立于2016年，團隊主要分布在在深圳、西雅圖和北京。騰訊AI Lab研究主攻四個方向，包括機器學習、計算機視覺、語音識别與自然語言處理；應用也主要是四個方向，包括社交、内容、遊戲和平台型AI+X。2017年3月19日，騰訊人工智能實驗室AI Lab研發的圍棋AI程式“絕藝”在第十屆日本UEC杯計算機圍棋大賽中奪冠，成為當時國内AI界讨論的熱點。
存在的瓶頸
- 經驗。機器學習的方法對于一般的工程師并不友好，如果沒有了解原理和做過一些實驗，這就是一個參數很多的黑盒，弄不好效果就會很差。
- 資料量。效果好的方法大都是有監督訓練的，這就需要很多标注資料，資料的品質、歸一化方法、分布等，對模型的效果都影響很大。
- 計算能力。很多模型，特别是深度學習模型，訓練時間和資源消耗很大，如果需要多次訓練調整政策和參數，周期很長。實際部署運作速度也受模型大小和種類影響，速度和效果會有一個權衡。
- 工程實作能力。好的算法要有好的工程實作，才能發揮正常的作用，代碼能力不行，再好的模型也不行。
- 算法搭配。實際問題往往不是一個單一的算法可以搞定的，需要多個相關算法合理的搭配組合，具體問題具體分析解決。