自然語言處理入門 第一周

自然語言處理入門

• 自然語言的概念
• ​自然語言的了解
• 自然語言處理的概念
• 自然語言處理主要步驟
• 自然語言處理的應用方向 

自然語言的概念

 自然語言的了解

1. 人工智能早期研究的領域之一。
2. 從微觀上講，語言了解是從自然語言到機器内部之間的一種映射。
3. 從宏觀上講，語言了解是指機械能夠執行人類所期望的某些功能。

自然語言處理的概念

• 為了研究在人與人交際中以及在人與計算機交際中的語言問題的一門科學。
• 利用計算機為工具對人類特有的書面形式和空頭形式的自然語言的資訊進行各種類型處理和加工的技術。

自然語言處理主要步驟

1. 分詞（隻針對中文，英文等西方字母語言已經用空格做好分詞了）：将文章按詞組分開
2. 詞法分析：對于英文，有詞頭、詞根、詞尾的拆分，名詞、動詞、形容詞、副詞、介詞的定性，多種詞意的選擇。比如DIAMOND，有菱形、棒球場、鑽石3個含義，要根據應用選擇正确的意思。
3. 文法分析：通過文法樹或其他算法，分析主語、謂語、賓語、定語、狀語、補語等句子元素。
4. 語義分析：通過選擇詞的正确含義，在正确句法的指導下，将句子的正确含義表達出來。方法主要有語義文法、格文法。

• 但是以上的分析，僅适用于小規模的實驗室研究，遠不能應用到實際語言環境中，
• 比如說文法，我們能總結出的文法是有限的，可是日常應用的句子，絕大部分是不遵守文法的，
• 如果讓文法包羅所有可能的應用，會出現爆炸的景象。

自然語言處理的應用方向 

• 1.文本分類和聚類
• 2.資訊檢索和過濾
• 3.資訊抽取
• 4.問答系統
• 5.拼音漢字轉換系統
• 6.機器翻譯