《中國人工智能學會通訊》——7.2 基于深度學習的自然語言處理

深度學習旨在模拟人腦對事物的認知過程，一般是指建立在含有多層非線性變換的神經網絡結構之上，對資料的表示進行抽象和學習的一系列機器學習算法。該方法已對語音識别、圖像處理等領域的進步起到了極大的推動作用，同時也引起了自然語言處理領域學者的廣泛關注。

如圖 1 所示，深度學習為自然語言處理的研究主要帶來了兩方面的變化，一方面是使用統一的分布式（低維、稠密、連續）向量表示不同粒度的語言單元，如詞、短語、句子和篇章等；另一方面是使用循環、卷積、遞歸等神經網絡模型對不同的語言單元向量進行組合，獲得更大語言單元的表示。除了不同粒度的單語語言單元外，不同種類的語言，甚至不同模态（語言、圖像等）的資料都可以通過類似的組合方式，表示在相同的語義向量空間中；然後通過在向量空間中的運算來實作分類、推理、生成等各種能力，并應用于各種相關的任務之中。下面分别對這兩方面加以詳細的闡述。