天天看點

#數學之美##人工智能#句子是由詞語構成的,詞語也是語義的最小單元。需要正确的分詞來做進一步的自然語言處理。分詞也存在多

作者:産品海豚灣

#數學之美# #人工智能# 句子是由詞語構成的,詞語也是語義的最小單元。需要正确的分詞來做進一步的自然語言處理。

分詞也存在多種方式,譬如“聯想公司”可以作為一個獨立的詞,也可以分成“聯想”和“公司”兩個詞。但“聯想”這個單獨的詞的語義很難和“Lenovo”這個公司關聯起來。是以,可能對機器翻譯而言,分成“聯想公司”會更好。但是,對搜尋引擎來說,拆分成兩個獨立的詞在搜尋時能夠比對更多搜尋内容。是以,最終的分詞決策還是依賴于具體的應用場景的 —— 這和産品設計一樣,需要有具體場景的支撐才能貼合實際業務應用。

#數學之美##人工智能#句子是由詞語構成的,詞語也是語義的最小單元。需要正确的分詞來做進一步的自然語言處理。分詞也存在多
#數學之美##人工智能#句子是由詞語構成的,詞語也是語義的最小單元。需要正确的分詞來做進一步的自然語言處理。分詞也存在多
#數學之美##人工智能#句子是由詞語構成的,詞語也是語義的最小單元。需要正确的分詞來做進一步的自然語言處理。分詞也存在多

繼續閱讀