深度學習和機器學習研究方向與架構介紹

一、人工智能研究方向

1.計算機視覺（Computer Vision, CV）——純粹的深度學習方向的研究

計算機視覺，是指計算機從圖像中識别出物體、場景和活動的能力。計算機視覺技術運用由圖像處理操作，及其他技術所組成的序列來将圖像分析任務分解為便于管理的小塊任務。

深度學習是機器學習研究中的一個新的領域，其動機在于建立可以模拟人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋資料，例如，圖像、聲音和文本。深度學習的目的是形成複雜算法和優勢算法，屬于無監督（Unsupervised）學習的一種。無監督學習的意思就是不需要通過人工方式進行樣本類别的标注來完成學習。是以，深度學習是一種可以自動地學習特征的方法。

深度學習是利用多層感覺器結構對非線性資訊進行處理的一種學習方法。Hinton等首先提出了深度置信網絡和相應的高效學習算法，該算法具有無監督學習的能力，降低了對人工的依賴，可以較為高效地進行訓練，之後深度學習發展都是在此基礎上進行改進的。目前深度學習方法在對自然語言處理方面的基本方向是通過對文檔上下文進行學習訓練，對于中文文檔，還需要先進行中文分詞處理，然後将文檔中的詞語、句子分别用連續實值向量進行表示，形成的向量稱為嵌入向量，這樣做是為了友善處理文本語義特征，将詞語、句子用向量表示，在處理文本語義特征時，對詞向量、句向量直接進行向量上的計算即可表征它們之間的文本語義關系。

• 人臉相關（人臉識别轉正關鍵點檢測）
• 圖像複原（去噪去雨去霧去模糊、超分、暗光增強）
• 圖像補繪（Inpainting）
• 圖像語義分割（Segmentation）
• 三維重建（即深度估計）
• 6D姿态估計
• 點雲繪制
• 風格轉換
• OCR文本識别

2. 綜合理論

• 神經網絡安全與對抗
• 多任務學習
• 多理論學習
• 聯邦學習
• 分布式機器學習
• 域遷移（Domain Transfer）
• 無監督學習（即自監督學習）的深度生成模型Generative Adversarial Networks
• 損失函數研究
• 激活函數研究

3. 自然語言處理（Natural Language Processing, NLP）——深度學習與機器學習

自然語言處理，是指計算機擁有的人類般文本處理的能力。

機器學習，指的是計算機系統無需遵照顯式的程式指令，而隻是依靠暴露在資料中來提升自身性能的能力。其核心在于，機器學習是從資料中自動發現模式，模式一旦被發現便可用于做預測。

• 機器翻譯
• 自然語言了解
• 語音識别
• 聊天機器人
• 摘要生成
• 情感識别（經典方法是TF-IDF）
• 超大型語言模型研究（典型的是GTP-2、GTP-3等）

4.語音識别技術

語音識别技術，主要是關注自動且準确的轉錄人類的語音。該技術必須面對一些與自然語言處理類似的問題，在不同口音的處理、背景噪音、區分同音異形異義詞（“buy”和“by”聽起來是一樣的）方面存在一些困難，同時還需要具有跟上正常語速的工作速度。

5.其他 側重于訓練技術、網絡架構等

• 引入外部知識(如知識圖譜,WordNet)Knowledge-Based Semantic Embedding for Machine Translation
• A Neural Knowledge Language Model
• 深度學習與傳統方法的結合。
• 人工規則與神經網絡的結合
• Harnessing Deep Neural Networks with Logic Rules
• 貝葉斯與神經網絡的結合
• Human-level concept learning through probabilistic program induction(論文講的是用貝葉斯讓機器模仿人寫字的，但是對深度學習有非常大的啟發價值）
• 遷移學習與神經網絡的結合
• 強化學習與神經網絡的結合
• Mastering the game of Go with deep neural networks and tree search
• 圖模型與神經網絡的結合
• Bidirectional LSTM-CRF Models for Sequence Tagging
• A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues

• 新的網絡結構Highway Networks
• Neural Turing Machines
• End-To-End Memory Networks
• Deep Residual Learning for Image Recognition
• Mollifying Networks

• 新的訓練方法

  Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift

二、人工智能自學架構

• 機器學習與深度學習理論

1. 淺表認知：李宏毅網課+吳恩達網課+西瓜書
2. 了解原理：PRML+DeepLearning（花書）
3. 深刻了解：ConvexOptimization+矩陣論

數字圖像理論

• 數字圖像處理課程和課本、基礎網課

上機實操

• 初級工具：Keras（不靈活） + 李宏毅網課
• 正規工具：Pytorch
• 進階工具：TensorFlow/Caffe