自然語言了解（Natural Language Understanding，NLU）是一種人工智能領域的研究，旨在讓計算機了解人類語言。在NLU中，詞向量（word embedding）是一種重要的技術，它将詞語轉換為向量形式，使得計算機可以更好地處理自然語言。
詞向量的發展可以追溯到上世紀50年代，當時人們使用獨熱編碼（one-hot encoding）的方式将詞語轉換為向量形式。獨熱編碼将每個詞語表示為一個向量，向量的次元等于詞彙表的大小，向量中隻有一個元素為1，其餘元素均為0，這個元素的位置對應于該詞在詞彙表中的位置。例如，對于一個包含10000個詞的詞彙表，單詞“apple”可以表示為一個長度為10000的向量，其中第1000個元素為1，其餘元素均為0。
然而，獨熱編碼存在一些問題。首先，向量的次元很大，導緻計算成本高。其次，向量之間的距離不能反映詞語之間的語義相似度，因為它們是正交的。例如，向量“apple”和“orange”之間的距離與向量“apple”和“banana”之間的距離相同，但是“apple”和“orange”更接近語義上的相似。
為了解決這些問題，人們開始研究如何将詞語表示為低維向量，并且使得這些向量可以捕捉到詞語之間的語義相似度。在2003年，Bengio等人提出了一種稱為神經機率語言模型（neural probabilistic language model）的方法，該方法使用一個神經網絡來學習詞向量。具體來說，該模型使用一個三層神經網絡來預測下一個單詞，其中第一層是輸入層，第二層是隐藏層，第三層是輸出層。輸入層接收前面的n個單詞，将它們的詞向量相加，然後通過隐藏層得到一個新的向量表示，最後通過輸出層預測下一個單詞的機率。在這個過程中，模型通過反向傳播算法來更新輸入層和隐藏層之間的權重，進而學習到每個單詞的詞向量。
神經機率語言模型的提出标志着詞向量的新時代。在接下來的十年中，許多研究人員都開始使用神經網絡來學習詞向量。在2013年，Mikolov等人提出了一種稱為word2vec的模型，它可以高效地學習大規模語料庫中的詞向量。word2vec模型有兩種訓練方式：連續詞袋模型（Continuous Bag of Words，CBOW）和Skip-gram模型。CBOW模型的目标是根據上下文單詞來預測目前單詞，而Skip-gram模型的目标是根據目前單詞來預測上下文單詞。這兩種模型都使用了神經網絡，通過反向傳播算法來更新詞向量。
除了word2vec模型，還有一些其他的詞向量模型，如GloVe、FastText等。這些模型在不同的語料庫和任務中都取得了不錯的效果。例如，GloVe模型使用全局詞彙統計資訊來學習詞向量，可以更好地處理稀有詞彙和多義詞。而FastText模型則将單詞分解為子單詞，并将子單詞的向量相加得到單詞的向量，可以更好地處理未知詞彙和單詞拼寫錯誤。
總的來說，詞向量的發展經曆了從獨熱編碼到神經機率語言模型，再到word2vec、GloVe和FastText等模型的發展。這些模型都使用了神經網絡來學習詞向量，并且能夠捕捉到詞語之間的語義相似度。在自然語言處理領域，詞向量已經成為了一種基礎技術，為許多任務提供了重要的支援。
