推薦 ：6大最流行、最有用的自然語言處理庫對比

現在自然語言處理（NLP）變得越來越流行，這在深度學習發展的背景下尤其引人注目。NLP 是人工智能的一個分支，旨在從文本中了解和提取重要資訊，進而基于文本資料進行訓練。NLP 的主要任務包括語音識别和生成、文本分析、情感分析、機器翻譯等。

近幾十年，隻有适當受過語言學教育的專家才能從事自然語言處理方向的工作。除了數學和機器學習，他們還應該熟悉一些重要的語言概念。但是現在，我們可以使用寫好的 NLP 庫。它們的主要目的是簡化文本預處理過程，這樣我們可以專注于建構機器學習模型和超參數調整。

人們設計了很多工具和庫來解決 NLP 問題。今天，我們想基于自身經驗，概述和比較最流行、最有用的自然語言處理庫。本文介紹的所有庫隻有部分任務會重合。是以，有時候很難直接将它們進行對比。我們将介紹一些特征，然後對比這些庫。

概覽

NLTK（自然語言工具包）用于分詞、詞形還原、詞幹提取、解析、句法分析、詞性标注等任務。該庫具備可用于幾乎所有 NLP 任務的工具。

spaCy 是 NLTK 的主要競争者。這兩個庫可用于同樣的任務。

scikit-learn 提供一個用于機器學習的大型庫，包含用于文本預處理的工具。

gensim 是用于話題空間模組化、向量空間模組化和文檔相似度的工具包。

Pattern 庫是作為 web 挖掘子產品提供服務的，是以，它也支援 NLP 任務。

polyglot 是另一個用于 NLP 的 Python 包。它不是很流行，但也可以用于大量 NLP 任務。

為了更清晰地對比這些庫，我們制作了下表來展示它們的優缺點。

更新：2018 年 7 月

結論

本文對比了幾個流行的 NLP 庫的特征。盡管大部分庫适用的任務有重合，但一些庫需要用獨特的方法來解決特定的問題。确切來說，現在最流行的 NLP 包是 NLTK 和 spaCy。它們是 NLP 領域中的主要競争者。我們認為，二者之間的差别在于解決問題的一般哲學。

NLTK 更加學術。你可以用它嘗試不同的方法和算法，結合使用等等。spaCy 為每個問題提供一個開箱即用的解決方案。你不用思考哪種方法更好：spaCy 的作者已經替你考慮了。此外，spaCy 速度很快（是 NLTK 的好幾倍）。它的一個缺陷在于支援的語言種類有限。但是，它所支援的語言數量在持續增加。是以，我們認為 spaCy 在大部分情況下是最優選，但是如果你想嘗試一些特别的任務，可以使用 NLTK。

盡管這兩個庫非常流行，但還存在很多不同的選擇，選擇使用哪個 NLP 包取決于你要解決的問題。

原文釋出時間為：2018-08-05

本文作者：ActiveWizards

本文來自雲栖社群合作夥伴“

大資料地盤

”，了解相關資訊可以關注“

”