作者：閑魚技術——看松
現狀
閑魚是一個基于C2C場景的閑置交易平台，每個使用者既是買家也是賣家，并随着這些年的高速發展，一方面閑魚的商品越來越豐富，在自由享受交易樂趣的同時也存在商品良莠不齊的問題，另一方面這些年閑魚一直在深耕商品了解，沉澱了豐富的商品屬性資産，是以我們希望針對這些基礎屬性資産進行分析處理,進行商品分層，挖掘出閑魚的優質商品，形成閑魚特有精品庫。
問題
閑魚雖然倡導輕釋出,一張圖檔加一段描述一分鐘就即可完成釋出，但是通過引導使用者售賣補全屬性，圖文算法分析等手段沉澱了不少商品屬性和使用者屬性，其中商品屬性包括基礎屬性和二手屬性等，使用者屬性包括信用屬性和服務等，是以我們核心要解的問題是：如何利用些結構化資訊發現并定義優質商品，進而沉澱優質商品，建構閑魚精品庫。
整體架構
通過前文的介紹 我們知道了需要解的問題，從系統角度看，我們解決思路是以結構化資訊為基礎(包含商品和人屬性)，抽象出不同次元的名額模型，最終為商品打标，實作閑魚精品庫。進一步拆解下去，系統核心要解決兩個問題
- 如何定義優質商品
- 如何沉澱精品标簽
給合算法能力，工程能力，下遊導購鍊路，我們梳理了閑魚的精品庫系統架構
商品了解(優質商品定義)
解決優質商品定義的問題，傳統直接做法是直接使用深度學習網絡DNN，SVM，GBDT等網絡, 這種做法的好處能快速的達到效果，但帶來問題是黑盒模型，營運無法獲得輸入，且後續名額準确率較難提升，而我們要跟營運持續協作，并在後續需要更深入的應用。是以我們采用另外一種解法:基于閑魚知識庫可解釋的商品了解
通過對閑魚動銷高的商品結構資訊分析歸類，我們抽象出一些次元去定義優質商品，如商品資訊完善度，價格名額，供需名額、賣家名額等，算法通過上述四個商品次元去分析商品資訊，通過智能因子分析函數發現每個商品次元相關的關鍵因子，并通過仿真系統對這些關鍵因子組成的指數進行動銷率回歸預測分析，驗證指數的有效性，通過循環疊代後形成資訊完善度指數模型，價格指數模型,賣家指數模型，供需資料模型能及指數權重後優質商品分模型。
特征計算&存儲(精品标簽沉澱)
有了優質商品定義模型，我們需要對閑魚所有商品打标(包括安全負向标簽),跟其它電商場景不一樣的，閑魚商品有個顯著的特征：大部份是孤品，是以這裡帶來一個顯著的差異：特征計算鍊路考慮實時計算和離線鍊路
實時計算
如上圖是以，每當商品資訊有變更，如使用者編輯商品，新發商品等，都将會觸發一次實時計算鍊路，資料計算是基于TPP平台實作的，TPP是集團内部算法開發和托管的平台,除模型計算外，還需要重點考慮安全問題，商品安全檢測、使用者安全檢測等。在标簽進下遊HA3引擎及基礎資料标簽存儲前，我們架設一個異構資料統一接入層，主要是負責後續各種不同來源的資料源，同擴擴充卡将各種資料統一化為Metaq消息，通過中繼資料中心完成統一的注冊和管理，保證資料shcema的全局統一，便于後續特征模型的快速接入。
離線計算
二手商品随着時間推移，有價值衰減的情況，是以離線計算每天會将閑魚的全量線上商品重新計算一遍，分為資料整合、資料計算，資料導入三塊，過程涉及到計算量比較大，主要是基于ODPS大資料計算平台來完成。
ODPS(MaxCompute) 是阿裡巴巴自主研發的海量資料處理平台。主要服務于批量結構化資料的存儲和計算，可以提供海量資料倉庫的解決方案以及針對大資料的分析模組化服務。
全量增量互相覆寫問題
實時+離線帶來一個難題：全量與增量的互相覆寫問題。例如T+1全量的導入時間從早上0點開始，2點結束，這期間不停有最新的增量資料寫入,很可能出現1點增量資料在2點被離線資料覆寫，進而出現髒資料。針對這個問題，我們的解決思路是先把T+1全量資料寫到備庫并記下全量資料的截止時間，等全量回流完成後，再從截止時間開始回放期間的增量變更資料，直到追上最新的變更記錄，然後再切換版本。幾個步驟如下圖所示：
這裡我們的選擇是iGraph，iGraph是集團内部一個大規模分布式線上圖存儲和檢索服務，提供全量ODPS+增量消息的回流服務，原理跟上述類似。
服務能力
服務能力主要是根據下遊應用場景抽象出來，重點分為這幾塊：
資料線上查詢能力：資料要實時的，要具備多元度查詢能力，資料要足夠的聚合，避免下遊子業務頻繁且無效的聚合加工操作，這裡我們通過HSF接口服務來提供。
消息訂閱能力：優質商品實時變更消息服務，供下遊業務訂閱，做到上下遊的資料關聯。
離線資料服務能力：提供天級、小時級、分鐘級的ODPS離線資料，供下遊資料加工處理。
業務層
通過閑魚選品平台(馬赫),營運同學配置圈選邏輯提供各種的投放玩法，給使用者呈現不同的優質商品觸達方式，如下圖所示:
另外通過搜尋推薦給使用者提供精品庫的個性化推薦服務，快速支撐商品側的業務形态，如為價格指導提供閑魚的二手價格錨點。
業務效果
通過商品分層沉澱出來的閑魚的精品庫，目前已支援上百種選品政策，使用者的點選和購買提标都有較明顯的提升效果，如在新使用者首頁購，如在新使用者首購接入精品庫，支援轉化率提升近1倍，手機頻道頁的點選率提升20%以上,搜尋優質價格标簽透出，提升交買賣家轉化率相對基準桶提升1%等。
展望
本文介紹一種基于對商品結構化資訊的了解建構了一套閑魚精品庫建設方案，限于篇幅的原因，本文主要介紹系統的整體架構及幾個關鍵點的解決思路，希望能給讀者帶來的一些思考和啟發。後續我們會通過商品聚簇的方式來加深對商品的了解，如對價格的判斷，另一方面我們會對接下遊回收流程,使好商品能快速流通起來,提升閑魚的平台價值。