【廢話少說—文章思路】
1.引言
如果說以前的傳統報刊、搜尋引擎、門戶網站等媒介解決的是資訊不對稱的沖突，那麼現在我們面臨的沖突是資訊過載的問題。
無疑，解決資訊不對稱這項工作意義非常巨大，通過傳統紙質媒介走向網際網路PC端的搜尋途徑，是使用者對于擷取大量資料的需求驅動的結果。智能手機的發展再次刺激使用者對于擷取更多資訊、更容易獲得資訊需求的更新，于是相較傳統PC端搜尋引擎的PGC産出資訊的方式，更多的UGC開始萌芽，自媒體玩家開始入局，各個自媒體平台也乘上了UGC的爆發紅利，其中微信公衆平台、頭條号、企鵝号、知乎、喜馬拉雅、百家号、熊掌号等自媒體平台成為内容赢家。
然而，過去一年時間，中國網頁數從1200億元增加到2360億元，增近1倍；中國出版物的數量達513億！如此多的資訊量，和我們相關的資訊卻寥寥無幾。當供應大于需求時，新的沖突就會出現——資訊過載與使用者擷取的有用資訊不對稱的沖突。所謂資訊過載，并不是優質内容多到使用者無法接受，而是垃圾資訊過載，優質資訊永遠都是稀缺的。在這個人人都可以便捷地發微網誌、寫部落格、拍短視訊，各路媒體為了博點選率而不惜标題黨、甚至造假新聞的時代，垃圾資訊充斥着網絡，更可惡的是很多垃圾資訊僞裝成優質資訊，以“毒雞湯”來誤人子弟。是以面對資訊過載，使用者在使用傳統搜尋引擎或者傳統新聞推送用戶端時，不願付出精力分辨内容品質，體驗很差。是以，對于今日頭條的基于推薦算法驅動的内容分發平台，正是使用者所需要的。正如頭條的口号：你關注的才是頭條。
基于機器學習的算法推薦雖然是智能的，但不包含價值觀。是以，使用者可能在選擇内容時候，并不能真正的正确的選擇優質的内容，即使使用者在進行有目的的搜尋操作時候，也并不能完全清楚自己的真實需求。是以難免以往的算法推薦過程回帶來一定的“僞優質”内容。是以本文寫作的目的是解析搜尋結果品質評價中的算法邏輯并嘗試提出名額的改進建議，希望能對搜尋結果的品質評估工作有基本的認識，日後在實際工作中完善本研究，真正對算法優化有所貢獻。
2. 研究背景
2.1機器學習
機器學習是一種研究計算機實作學習人類行為的技術，緻力于在獲得新的知識或者技能的同時建立和改善自己的知識體系，進而達到不斷學習和完善自己功能的目的。機器學習要解決某一問題時候，會建立一個合理的模型，如線性回歸模型，Logistic回歸、貝葉斯模型等，然後為這個模型建立一個度量變量P，通過在每次任務中不斷擷取知識和積累經驗，之後不斷對P值進行優化，進而提高某個名額的最優性，或者某些名額的綜合最優性。
2.2 推薦算法邏輯
使用者的個性化推薦是指根據使用者的喜好或者标簽，推薦給使用者他們可能熟悉的和關注的資訊。使用者面對大量的資訊，會産生迷茫的感覺，如果不能很快找到自己的興趣點，使用者可能就會流失，是以個性化推薦的算法能夠滿足使用者的千人千面。
在用戶端，使用者通過操作，如今日頭條的注冊界面選擇使用者關注的領域以及推薦闆塊的消息的右上角有“不感興趣減少這類内容”的選項，可以對使用者的喜好和關注點精準把控，通過使用者的使用行為，分析使用者的喜惡，進而不斷優化個性推薦的内容，能夠時适應使用者的需求，通過不斷地A/B測試，可以把内容的關注度作為評估内容品質的重要依據，進而反哺算法，優化推薦機制，将優質的内容不斷推向更大的使用者群體，這樣既能夠保證使用者對優質内容産出者或者網站源的忠誠度，增加了下次通路的幾率，又能夠規避一部分低品質内容的風險。
是以，建立個性化推薦系統的作用相當于建立了和使用者長期、友好、可信賴的關系，進而提高使用者的回頭率，達到内容甚至廣告的精準投放的目的，做到有的放矢。
2.3資料标注
資料标注一般是指操作計算機等自動化工具，對大量文本、圖檔、語音、視訊等資料進行歸類、整理、編輯、糾錯和批注等的工作。
基于上一節的了解，我們知道機器學習是服務于算法優化的一種技術，而機器學習可分為：有監督學習和無監督學習。無監督學習是被用來做探索性的實驗，也叫無指導的學習，經過探索挖掘資料的價值。而在實際産品應用中，通常使用的是有監督學習，或者說半監督的學習，通過機器學習自我調優，最終達到有監督的機器學習目标，這就需要有标注的資料來作為先驗經驗。是以，資料标注的作用就是“教會機器”，即把“人話”轉化為“機器語言”。是以在建立大量的訓練集和測試集的時候，資料标注的作用就有非常大的意義，如果說機器學習超越了人在某方面的天賦，甚至可以教學人類，那麼資料标注就是教會機器學習的關鍵一步。通過訓練集的不斷學習，算法優化，将測試集交給機器識别，如果達到滿意的準确率，那麼說明算法是滿足要求的。
資料标注有許多類型，如分類、畫框、注釋、标記等等，而資料标注員，主要是對圖檔、文本、語音、視訊資料進行标注，以圖檔标注為例，包括對圖檔進行預處理篩選、标簽分類、對指定物體進行畫框、對物體特定部位進行打點、标注圖檔中指定物體屬性、對圖檔進行Caption釋義等等。
3. 搜尋品質評估
從頭條首頁頂部的輸入框來看，搜素功能占據重要地位。頭條的搜尋結構如圖（3.1）。搜尋分類有：綜合、視訊、咨詢、圖集、使用者、問答。綜合可穿越到各個分欄目搜尋品質包含兩方面，包括搜尋結果的排序、搜尋内容的品質問題。
4.搜尋排序
使用者在使用頭條搜尋功能時候，有較大的目的性。是以選擇排序時候要考慮使用者搜尋品質、搜尋問題分類、時效性三個大類，每個類别有分類的名額，并做了解釋，如下：
4.1搜尋品質
（1）查全率：