本文作者：搜尋推薦事業部認知圖譜團隊 Xusheng Luo, Luxin Liu, Yonghua Yang, Le Bo, Yuanpeng Cao, Jinhang Wu, Qiang Li, Keping Yang and Kenny Q. Zhu
背景
近年來電商搜尋、推薦算法已經取得了長足的進步，但面對使用者多樣化的需求，目前的電商體驗依然還稱不上“智能”。多年來，我們的搜尋引擎在引導使用者如何輸入關鍵字才能更快地找到需要的商品，而這種基于關鍵字的搜尋，适用于對明确清楚具體商品的使用者。但很多時候，使用者面臨的往往是一些問題或場景，如“舉辦一場戶外燒烤”需要哪些工具？在淘寶上購買什麼商品能有效“預防家裡的老人走失”？他們需要更多的“知識”來幫助他們決策。而在商品推薦中，重複推薦、買過了又推薦、推薦缺少新意等問題也是經常為人诟病。目前的推薦系統更多的是從使用者曆史行為出發，通過 i2i 等手段來召回商品，而不是真正從模組化使用者需求出發。
深究這些問題背後的原因，其根源在于電商技術所依賴的底層資料，缺少對于使用者需求的刻畫。具體來講，目前淘寶用于管理商品的體系，是一套基于類目 - 屬性 - 屬性值（CPV，Category-Property-Value）的體系，它缺乏必要的知識廣度和深度，去描述和了解各類使用者需求，進而導緻基于此的搜尋、推薦算法在認知真實的使用者需求時産生了語義的隔閡，進而限制了使用者體驗的進一步提升。
為了打破這個隔閡，讓電商搜尋、推薦算法更好地認知使用者需求，我們提出建設一種新的電商知識圖譜，将使用者需求顯式地表達成圖中的節點，建構一個以使用者需求節點為中心的概念圖譜，連結使用者需求、知識、常識、商品和内容的大規模語義網絡：阿裡巴巴電商認知圖譜（Alibaba E-commerce Cognitive Concept Net），簡稱 AliCoCo。我們希望 AliCoCo 能為電商領域的使用者了解、知識了解、商品和内容了解提供統一的資料基礎。經過兩年的努力，我們已經完成了整體的結構設計和核心資料的建設，并在電商搜尋、推薦等多個具體的業務場景落地，取得了不錯的效果，提升了使用者體驗。
AliCoCo
如下圖所示，AliCoCo 是一個概念圖譜，主要由四部分構成：
- 電商概念層（E-commerce Concepts）
- 原子概念層（Primitive Concepts）
- 分類體系（Taxonomy）
- 商品層 （Items）
在電商概念層（E-commerce Concepts），作為 AliCoCo 最大的創新點，我們将使用者需求顯式地用一個符合人話的短語表示為圖中的節點，如“戶外燒烤（outdoor barbecue）”、“兒童保暖（keep warm for kids）”等，并稱之為“電商概念”。使用者需求雖然一直被提及，但在電商領域，還未被正式地定義過。在很多下遊應用（如推薦系統）的工作中，常常用類目或品類節點（商品的分類）作為使用者需求的表達。但使用者需求是遠不止于這些的，很多場合下，使用者面臨的是一個“場景”或者“問題”，他們并不知道具體什麼商品可以幫助解決，是以我們将使用者需求的定義進一步泛化為電商概念，具體詳見下文章節。所有用于表示使用者需求的電商概念組成了這一層。
在原子概念層（Primitive Concepts），我們為了更好地了解上面講到的電商概念（即使用者需求），我們将這些短語進行拆解細化到詞粒度，用這些細粒度的詞來更系統地描述使用者需求，這些細粒度的詞稱為“原子概念”。如對于電商概念“戶外燒烤”而言，它可以被表示成“動作：燒烤 & 地點：戶外 & 天氣：晴”，這裡的“燒烤”、“戶外”和“晴”都是原子概念。所有原子概念組成了這一層。
在分類體系（Taxonomy）中，為了更好地管理上述的原子概念，我們建構了一個描述大千世界基本概念的分類體系，它不局限于電商領域，但目前是為電商領域的概念了解所服務。在這一層中，我們定義了諸如“時間”、“地點”、“動作”、“功能”、“品類”、“IP”等一級分類（class），并在每個分類下繼續細分出子分類，形成一顆樹形結構。在每個分類中，包含了分類的執行個體（instance），即原子概念，如上述的“燒烤”、“戶外”和“晴”就分屬于“動作 - 消耗性動作”、“地點 - 公共空間”和“時間 - 天氣”。同時，不同分類之間有不同的關系（relation），如“品類 - 服飾 - 服裝 - 褲子”和“時間 - 季節”之間定義了一個“适用于（季節）”的關系。是以，相應的會有一條三元組執行個體：<棉褲，适用于，冬季>。
如果将上述的分類體系和原子概念層合起來，實際上可以看做一個相對完整的本體（Ontology），它和 Freebase、DBpedia 等大家熟知的開放領域的知識圖譜非常相似，唯一的差別是我們的執行個體不僅有實體（entity），還包括了大量的概念（concept）。而相比 Probase，ConceptNet 等概念圖譜，我們又定義了一套完整的類型系統（type system）。
在商品（内容）層，阿裡巴巴平台上數十億的商品和内容，将會和電商概念、原子概念層進行關聯。如和“戶外燒烤”相關聯的商品可能會包括燒烤架、炭火、食材等等。但這裡要注意的一點是，有些商品可以關聯到“戶外燒烤”這個電商概念，但不一定可以和相應的原子概念“戶外”直接關聯。對于商品來說，電商概念像是這個商品會被用于的某個場景，而原子概念更像是細粒度的屬性，用于刻畫商品的特性。
綜上所述，在 AliCoCo 的體系中，使用者需求被表達成短語級别的電商概念。在這之下，有一套定義完備的分類體系和原子概念執行個體去描述所有的電商概念。最後，電商平台上的所有商品都會和電商概念或是原子概念相關聯。下面，我們詳細介紹每一層的細節以及在建構過程中所遇到的算法問題。
AliCoCo 的分類體系是一個巨大的樹形結構，包含了百萬級别的原子概念執行個體。由于分類體系的建構，對專家知識的要求非常高，并且這部分的設計對于整個知識體系都至關重要，是以我們人工定義了約 20 個一級分類（下圖），其中專為電商領域所設計的有：“品類”、“圖案”、“功能”、“材質”、“花色”、“形狀”、“氣味”、“口味”。每個一級分類還會繼續細分為二級、三級，直至葉子分類，其中對于電商領域最為重要的“品類”包含了約800個葉子分類。諸如“時間”、“地點”、“閱聽人”、“IP”等分類和開放領域的知識圖譜可以交融，如“IP”中包含了大量的明星、運動員、電影、音樂等。
原子概念層 （Primitive Concepts）
在原子概念層，我們希望這些細粒度的詞能夠去完整地描述所有的使用者需求，這是用于組成電商概念的基礎，在這一層，我們主要讨論兩個問題：
- 原子概念詞彙的挖掘
- 原子概念之間的上下位關系建構
詞彙挖掘
在定義好分類體系之後，一般有兩種方式快速擴充分類下的執行個體（詞彙）。第一種是融合多種來源的結構化資料，這種方法采用的技術通常是本體對齊（ontology matching），在實踐過程中，我們主要采用規則+人工映射的方式将不同來源的結構化資料對齊到我們的分類體系進行詞彙的融合。第二種是通過在大規模的語料上進行自動挖掘來補充分類下的詞彙，這裡我們将其定義為序列标注任務，并采用基于 BiLSTM+CRF [1] 的模型來挖掘發現分類下的新詞。由于葉子分類的數量過于龐大，我們使用一級分類作為label，先對詞彙進行粗粒度的挖掘。
上圖為 BiLSTM+CRF 模型的簡單示意，BiLSTM（雙向 LSTM）層用于捕捉句子上下位的語義特征，而 CRF（條件随機場）層則用于捕捉目前詞的 label 和前後詞 label 之間的相關性。而在模型挖掘得到可能屬于某個分類的新詞之後，後續還會經由衆包投放稽核、外包質檢等人工把關環節，最終才會入庫成為真正的原子概念。不同的原子概念可能擁有相同的名字，但分屬不同的類别，代表了不同的語義，每個原子概念有一個 ID，這也是 AliCoCo 未來可以用概念消歧的基礎。
上下位關系建構
在某個一級分類下的詞彙挖掘到一定量後，我們需要繼續将所有詞彙分到不同層次的類别中去，這個過程可以抽象成為一個上下位關系發現（hypernym discovery）的過程：給定一個下位詞，在詞表中找到其可能的上位詞。我們采用基于 pattern 的無監督方法和基于 projection learning 的監督方法兩種方式結合來完成上下位關系的建構。
Pattern based
基于 pattern 的方式 [2] 是最直覺且準确率最高的方法，通過歸納和發現一些可用于判斷上下位關系的 pattern，從文本句子中直接抽取上下位詞對。典型的 pattern 如“XX，一種XX”、“XX，包括XX”等。但這種方式的缺點是預設上下位詞對在句子中必須共現，會影響召回。此外，利用中文的一些特點，我們可以用過“XX褲”一定是“褲子”等來自動建構起一批置信度較高的上下位關系。
Projection learning
Projection learning 的方式是給定一個下位詞 embedding 和上位詞 embedding ，有監督去學習一個映射函數 ，使得 和 盡可能地接近。這方面有很多前人的工作 [3, 4]，其中有一些工作會先将不同的詞進行聚類，在每個類别上分别學習不同的映射，取得了較好的效果。具體地，我們學習一個打分函數，用于表征一對候選詞之間的上下位關系強弱，并使用多個 matrix 來模拟不同次元的特征（隐式的聚類），其中第 k個 score 計算如：。最後将 k 個 score 過一層全連接配接得到最終的probability：。之後我們采用交叉熵損失函數進行訓練。模型中使用的預訓練的詞向量是在前面提到的電商語料上用 word2vec 進行訓練的。同時，我們針對部分品類詞在語料中出現較為稀疏的問題，用 ALaCarte embedding [5] 進行了強化，其主要思想是學習一個映射關系矩陣 ，利用稀疏詞 周圍的 context 的 embeddings 之和 對其進行表征：
而
可以通過利用語料中所有的詞 進行訓練得到：
Active learning
模型産出候選和衆外包稽核是一個同時進行的過程，人工稽核的資料可以不斷反哺強化模型。是以，我們在疊代的過程中，考慮用 active learning 來進一步提升效率，降低人工稽核的成本。我們采用了一種 uncertainty and high confidence (UCS) 的 sampling strategy，除了考慮模型難以判斷正負的樣例之外（預測值接近 0.5），我們還額外添加了一定比例的高置信度判正的樣例一起送标，這是因為在上下位關系的判别中，很容易被諸如同義或者相關關系所幹擾，尤其在前期樣本數量少且品質不一，以及負采樣不均衡的情況下，模型對于區分相關關系和上下位的表現不是太好。而通過人工标注糾正這樣的判斷錯誤，可以及時懲罰這一類的誤判。實驗表明這樣的政策可以幫助我們減少 35% 的人力成本。
電商概念層 （E-commerce Concepts）
在電商概念層，每一個節點代表了一種購物需求，這種購物需求可以用至少一個原子概念來描述。我們首先介紹電商概念的定義，然後介紹電商概念是如何被挖掘和生成的，最後介紹電商概念和原子概念之間的連結。
電商概念的定義
我們定義一個符合标準的電商概念，需要滿足以下要求：
1）有消費需求
即一個電商概念必須可以讓人很自然地聯想到一系列商品，反例如“藍色天空”、“母雞下蛋”等就不是電商概念。
2）通順
反例如“仔細媽咪肥皂”等就不是電商概念。
3）合理
即一個電商概念必須符合人類常識，反例如“歐式韓風窗簾”、“兒童性感連衣裙”等就不是電商概念，因為一個窗簾不可能即是歐式還是韓風的，而我們通常不會用性感去修飾一件兒童的連衣裙。
4）指向明确
即一個電商概念必須有明确的閱聽人，反例如“兒童寶寶輔食”等就不是電商概念，因為兒童的輔食和寶寶的輔食差别較大，會造成使用者的疑惑。
5）無錯别字
反例如“印渡神油”等。
電商概念的生成
我們采用一個兩階段的方式來生成電商概念：首先我們用兩種不同的方式生成大量的候選，然後用一個判别模型來過濾那些不滿足我們的标準的候選。
候選生成
候選生成有兩種方式，一種是從文本語料中去挖掘可能的短語，這裡我們采用了 AutoPhrase [6] 在大規模的語料上進行挖掘，語料包括電商生态内的 query log，商品的标題、評論，還有很多達人商戶寫的購物攻略等。另一種方式是用詞粒度的原子概念進行組合生成短語粒度的電商概念。我們挖掘并人工稽核了一些 pattern 來指派生成，部分 pattern 如下圖所示：
我們可以通過“[事件]用的功能”這個 pattern 來生成“旅遊用的保暖帽子”這樣的電商概念。而這些 pattern 可以和下面的判别過程結合，通過疊代的方式來進行不斷地挖掘和補充。
電商概念判别
判斷一個候選短語是否滿足電商概念的要求，最大的挑戰是上文提到的第三點，即“合理”，要符合人的常識。其他一些要求我們可以通過字級别或是詞級别的語言模型就能過濾掉大部分的 badcase，但常識錯誤的識别對機器來說是非常困難的。此外，電商概念判别任務中的候選短語又嚴重缺少上下文資訊，進一步增加了判别的難度。
為了解決這個難題，我們設計了一種知識增強的判别模型（如下圖所示），整體是一個 Wide&Deep [7] 的結構。在 Deep 側，我們利用字級别和詞級别的 BiLSTM 來提取特征，同時對于詞級别的輸入，我們還加入了一些詞性特征如 POS tag 和 NER label 等。為了進行知識增強來輔助常識了解，我們将部分詞連結到 Wikipedia 上，如“性感”就可以找到對應的頁面。然後将頁面上的 gloss（通常是一段簡單的介紹）用 Doc2vec [8] 的方式進行 encode 得到知識表達。在經過 self-attention + max-pooling 之後将兩者融合。在 Wide 側，我們主要計算了 concept 的一些統計特征，包括了 BERT [9] 語言模型産出的 ppl 值。最後，通過一個全連接配接層我們得到最終衡量一個候選短語是否符合電商概念要求的分數。
我們希望模型能輔助我們過濾掉大量的 badcase，此後我們對模型判别正确的電商概念通過衆包投放稽核和外包多輪質檢的方式來保證資料品質。同時，稽核入庫的資料會繼續疊代地幫助模型進一步提高準确率。
和原子概念的連結
對于那些通過從原子概念組合而得到的電商概念，它們天然地和原子概念關聯了起來，但對于那些從文本中直接挖掘得到的短語概念，我們需要進一步将它們和原子概念層進行連結，以便更好地去了解和描述這些使用者需求。回顧前文提到的電商概念“戶外燒烤”，我們需要預測“戶外”是一個“地點”，“燒烤”是一個“動作”。但“燒烤”在我們的體系中也有可能是一個“電影”，是以這裡的難點在于如何進行消歧。我們把這個任務定義為一個短文本的 NER 任務，由于電商概念普遍隻有 2-3 個詞組成，缺少上下文也讓這個任務具有挑戰。
為了解決這個問題，我們設計了一種文本增強的方式，對短文本中待連結的詞進行外部上下文的補充，用以為消歧帶來額外的資訊輔助。模型如上圖所示，左邊部分是比較正常的特征抽取，右邊是一個資訊增強的子產品。我們将目标詞映射到高品質的外部文本中，通過 doc2vec 将其周邊的上下文資訊 encode 成 embedding，最終最為額外的輸入融合到最終的表達中。此外，由于部分電商概念中的原子概念可以屬于多個類型，如“鄉村半身裙”中的“鄉村”，既可以是“地點”，也可以是“風格”。是以我們将 CRF 層改為 Fuzzy-CRF [10]，用以模組化多個正确的 label 序列：
商品關聯 （Item Association）
在建構完原子概念和電商概念層之後，最重要的是将電商平台上的所有商品進行關聯。前面提到原子概念更像是屬性，因而我們更關注商品與電商概念的關聯，因為後者表達的是一個使用者需求，常常有着較為複雜的語義。此外，電商概念與商品的關聯不能直接從對應的原子概念到商品的關聯組合得到，因為會出現“語義漂移”的問題。例如“戶外燒烤”所需要的商品，往往和屬性“戶外”沒有任何關系。我們将這個問題抽象為一個語義比對（semantic match）[11, 12] 的問題，因為現階段我們暫時隻用到商品側标題的資訊（實際上商品是一個多模态的結構，有着非常豐富的文本、圖像甚至越來越多的商品開始有了短視訊的介紹）。這個任務最大的挑戰依舊在于我們的電商概念非常簡短，直接進行比對，往往會遇到諸如某些不那麼重要詞對結果産生了巨大的影響等問題。
針對上述難點，我們在語義比對模型上引入了一些必要的外部知識來提升性能。具體模型如上圖所示，除了正常的特征抽取，attention 注意力機制子產品等模組化商品和電商概念之間的關聯外，我們主要做了兩個地方的增強：
1）引入了電商概念對應的原子概念的特征表達，增加了類型等結構化資訊。
2）引入外部 Wikipedia gloss，對部分詞進行知識增強，以更好地建立與商品之間的關聯。引入這些知識帶來的典型的優點，例如在關聯“中秋節送禮”時，可以把不包含中秋節字樣的的月餅類商品給排上來。
應用
目前，AliCoCo 已經基本完成了 1.0 版本的建設，共包含 2.8m 的原子概念，5.3m 的電商概念，超過千億級别的關系。淘寶天貓上超過 98% 的商品均已納入到 AliCoCo 的體系之中，平均每個商品關聯了 14 個原子概念和 135 個電商概念。通過對使用者需求的統計，相較于之前的商品管理體系，AliCoCo 對于搜尋 query 中使用者需求的覆寫從35%提升到了 75%。
AliCoCo 已經支援了阿裡巴巴集團核心電商的多個業務應用，這裡我們主要介紹在電商搜尋和推薦上已經落地的、正在進行的，以及将要進行的一些應用。
電商搜尋
相關性是搜尋引擎的核心問題，其最大的挑戰在于使用者輸入的 query 和商品端之間存在語義隔閡。AliCoCo 中已經為大量的原子概念和電商概念關聯了相應的商品，為商品了解提供了從使用者視角出發的大量标簽，同時 AliCoCo 包含了大量的同義和上下位關系，這些資料幫助了搜尋相關性取得顯著的提升，進而進一步改善了使用者體驗。
語義搜尋和自動問答一直人們對于搜尋引擎的夢想。在電商的場景中，我們可以充分發揮 AliCoCo 的優勢，當使用者搜尋命中電商概念的時候，通過一個知識卡片的形式透出該電商概念下多樣化的商品，類似 Google 的知識圖譜幫助搜尋引擎在使用者檢索一些實體時透出知識卡片。如上圖（a）所示，當使用者在淘寶搜尋“烘焙”時，命中了相應的電商概念“烘焙工具”，于是會透出一個卡片，上面的商品按照不同品類來進行排序展示。此外，我們還可以透出一些對于烘焙知識的文字解釋用于輔助使用者進行決策。而電商場景中的自動問答，更多出現在語音互動的場景中，我們可以在家裡問天貓精靈“周末要組織一場戶外燒烤，我需要準備哪些東西？”，AliCoCo 可以為這樣的場景提供底層知識的支援。
電商推薦
目前電商推薦主要以商品推薦的形式為主，但為了滿足使用者豐富多樣的購物需求，我們也需要為使用者做一些主題式的推薦，讓使用者能夠明顯感覺到推薦系統能更人性化地在滿足其購物需求。AliCoCo 中的電商概念，正是為了表達使用者需求，同時 2-3 個詞的長度也非常适合直接推送給使用者。如上圖（b）中所示，在手機淘寶首頁資訊流推薦中，我們在商品坑位之間插入了以電商概念為主題的知識卡片，當使用者點選卡片時，就會跳到相應的頁面，展示該電商概念下的商品。這個應用目前已經穩定運作了超過一年，滿足了使用者多樣化的推薦需求，進一步提升了使用者的滿意度。
此外，電商概念簡短的文字也非常适合用作推薦理由展示在商品坑位中，進一步吸引使用者，如上圖（c）所示。AliCoCo 為可解釋的推薦提供了資料基礎。
總結
為了支援電商技術從個性化時代全面邁入認知智能時代，我們投入了巨大的心血和努力探索并建構了全新一代的電商知識圖譜 AliCoCo，目前 AliCoCo 已成為阿裡巴巴電商核心引擎的底層基礎，賦能搜尋、推薦、廣告等電商核心業務。同時，通過海量的線上使用者回報，AliCoCo 也在不斷地對其自身的結構和資料進行補充與完善，形成了一個良性生長的循環。對于 AliCoCo 2.0 的方向，我們未來考慮：
1）繼續補充大量電商常識性關系，如将電商概念與原子概念的連結，從短文本 NER 擴充成屬性推理任務，我們需要為“男孩T恤”預測出“季節：夏天”，盡管“夏天”沒有出現在文本之中，這樣的購物常識對于進一步了解使用者需求、改善購物體驗是非常有幫助的。
2）将電商概念和商品之間的關系模組化為機率分，根據分數來進一步将使用者體感進行分層，讓使用者有更明顯的感覺。
3）AliCoCo 将響應集團國際化和本地化的戰略，朝着多語言（multi-lingual）和餐飲等方向進行探索。
參考文獻
[1] Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirectional LSTM-CRF models for sequence tagging. arXiv (2015).
[2] Marti A. Hearst. 1992. Automatic acquisition of hyponyms from large text corpora. In Proceedings of the 14th conference on Computational linguistics - Volume 2, volume 2, pages 539–545. Association for Computational Linguistics.
[3] Josuke Yamane, Tomoya Takatani, Hitoshi Yamada, Makoto Miwa, and Yutaka Sasaki. 2016. Distributional hypernym generation by jointly learning clus- ters and projections. In Proceedings of COLING 2016, the 26th International Conference on Compu- tational Linguistics: Technical Papers, pages 1871– 1879.
[4] Dmitry Ustalov, Nikolay Arefyev, Chris Biemann, and Alexander Panchenko. 2017. Negative sampling improves hypernymy extraction based on projection learning. In Proceedings of the 15th Conference of the European Chapter of the Association for Compu- tational Linguistics: Volume 2, Short Papers, pages 543–550, Valencia, Spain. Association for Compu- tational Linguistics.
[5] Khodak, Mikhail, et al. "A la carte embedding: Cheap but effective induction of semantic feature vectors." arXiv preprint arXiv:1805.05388 (2018).
[6] Jingbo Shang, Jialu Liu, Meng Jiang, Xiang Ren, Clare R Voss, and Jiawei Han. 2018. Automated phrase mining from massive text corpora. IEEE Transactions on Knowledge and Data Engineering 30, 10 (2018), 1825–1837.
[7] Heng-Tze Cheng, Levent Koc, Jeremiah Harmsen, Tal Shaked, Tushar Chandra, Hrishi Aradhye, Glen Anderson, Greg Corrado, Wei Chai, Mustafa Ispir, et al. 2016. Wide & deep learning for recommender systems. In Proceedings of the 1st Workshop on Deep Learning for Rec- ommender Systems. ACM, 7–10.
[8] Quoc Le and Tomas Mikolov. 2014. Distributed representations of sen- tences and documents. In International conference on machine learning. 1188–1196.
[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805 (2018).
[10] Jingbo Shang, Liyuan Liu, Xiang Ren, Xiaotao Gu, Teng Ren, and Jiawei Han. 2018. Learning named entity tagger using domain-speci c dictionary. arXiv preprint arXiv:1809.03599 (2018).
[11] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. 2013. Learning deep structured semantic models for web search using clickthrough data. In Proceedings of the 22nd ACM international conference on Information & Knowledge Management. ACM, 2333–2338.
[12] Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, Shengxian Wan, and Xueqi Cheng. 2016. Text matching as image recognition. In Thirtieth AAAI Conference on Arti cial Intelligence.