直播作為近來新興的互動形态和今年阿裡巴巴雙十一的一大亮點，其内容風險監控是一個全新的課題，技術的挑戰非常大，管控難點主要包括業界缺乏成熟方案和标準、主播行為、直播内容不可控、峰值期間數千路高并發處理、對算法的高實時響應要求等等。
阿裡巴巴集團安全部今年在直播管控中的特色在于大量采用人工智能和深度學習等技術，配合優化後的高性能多媒體計算叢集，大幅度降低人工稽核成本的同時，提升了對内容風險的防控能力。系統在峰值期間成功處理5400路直播視訊，以及共計25萬場粉絲連連看遊戲，對違規内容進行警告或阻斷。主要技術展現在直播内容實時過濾以及多媒體處理叢集的優化上。
在直播過程中一些主播為了達到吸引眼球，或者推銷商品的目的而做出違規的事情。另外，本次雙十一引入了買家之間的互動遊戲：連連看，玩法是系統随機抽取兩個遊戲參與者，調起手機前置攝像頭拍攝視訊傳遞到對方手機展示。遊戲雙方比賽幹瞪眼、不許笑等動作。遊戲的參與者并不會進行實人認證，需要對内容做實時的管控。雙十一期間預估高峰期會有5400路直播同時線上，而一個稽核人員的極限承受能力大約是60路，需要大約90個稽核人員同時線上稽核，很浪費人力，并會因為人工因精力不集中而漏過風險内容，這就得靠人工智能技術來全面防控風險。
那麼，直播中有哪些風險呢？
我們分析了淘寶直播開播以來的所有處罰記錄，以及在網際網路抓取的外部直播資料，發現惡性違規集中在色情低俗，以及敏感人物肖像兩個方面。是以，我們在對畫面内容做風險判斷時調用了兩個算法服務：視訊鑒黃和敏感人臉檢測。由此，實作99%的自動稽核，隻有約1%的視訊會流入到人工稽核。
智能鑒黃，就是輸入一張圖檔或視訊，算法模型傳回一個0-100之間的分值。這個分值非線性地标示圖檔含色情内容的機率：得分99及以上的圖檔幾乎可以肯定是色情圖，可以機器自動處理；得分50-99的需要人工稽核；得分50以下的認為是正常圖，因為50分及以上可以覆寫>99%的色情圖檔。智能鑒黃還有兩個特性：1）将60%以上的色情圖檔集中在99及以上的分數段，也即機器可以自動處理掉大多數色情風險；2）需要人工稽核的圖檔占比非常低，在淘寶直播場景大約為0.1%。
智能鑒黃的原理是什麼呢？
智能鑒黃是一個色情圖像智能識别引擎，為不同的場景和使用者提供了個性化的多尺度識别能力，識别準确率高達99.6%， 極大地降低了圖檔内容管控的成本。我們基于深度學習算法建構了多層視覺感覺機，采用改進的inception神經網絡層以及多模型級聯，實作了快速地識别多尺度色情内容。智能鑒黃的生成具體步驟如下圖所示。
智能鑒黃模型生成步驟
1.1.1 明确分類标準
上面這張圖的步驟裡，制定标準與标注資料的難度比訓練模型更大一些。因為現實世界是複雜的，不同的人對同一張圖檔的認識往往不一樣。為了制定标準，營運與算法同學一起讨論修訂了數次才有了初版，并且在後續打标過程中根據遇到的問題進行了幾次增補，标準才穩定下來。
1.1.2 收集樣本
樣本的擷取環節在此略過。資料的規模：考察了近2000網站，以及阿裡生态體系積累的色情違規case，共計6000+萬疑似色情圖檔，已經完成了1300+萬的高品質标注。這一塊是智能鑒黃最重要的基石。
1.1.3 樣本打标
網際網路上的内容重複度高，這6000+萬圖檔中必然有相當比例的相同／相似圖檔，為了節省标注資源，我們使用了圖像搜尋技術進行去重，大約剩餘2300萬圖檔。圖搜是我們自己開發的基于局部特征視覺詞的針對圖像内容的搜尋技術，可以檢出經過尺寸放縮、剪切、旋轉、部分遮擋、顔色變換、模糊等諸多處理後的目标圖像，效果如下圖所示。
圖像搜尋引擎找相似圖的例子
阿裡巴巴開發了高效率的打标平台（mbox），提供了練習與考試功能作為标前的品質控制；提供校驗題的方式作為标中的品質控制，能夠自動化計算打标者的準确率，并能夠按照設定的條件終止低品質标注者的參與資格。我們觀察到，即便是熟練而負責的标注者，其錯誤率仍然在1%左右波動，是以我們使用訓練好的模型對打标樣本進行判斷，如果機器結果與人肉結果不一緻則進行複标。這個過程反複進行，確定标注樣本的高品質。
樣本标注流程示意圖
1.1.4 模型訓練
标注的結果在次日淩晨自動回流到odps表中，可随時讀取資料進行訓練。訓練使用了開源的基于caffe架構的代碼，并根據實際情況做了一些修改。第一次訓練時使用了大約100萬樣本，gpu機器單機單卡的情況下訓練時間長達近一個月。後來更換了網絡結構，并使用了pluto團隊提供的訓練平台，實作了多機多卡訓練，可以将千萬級别樣本的訓練時間控制在一周以下。
鑒黃模型生成系統示意圖
針對直播場景的管控尺度和時效性要求，我們設計了多階段分類模型，在召回率略有增加的同時，将響應時間降低了約30%。
多階段的分類模型
連連看遊戲上線後，智能鑒黃迅速命中了數個暴露狂，圖檔不宜展示。還抓取到商家的一些違規行為（醫療廣告露點、展示成人用品、展示大尺度圖檔、着裝不正等），圖檔略去。從違規case看，直播中的色情風險表現形式多樣，可能是翻拍螢幕、畫報、真人、成人用品、模型等等，姿态與動作也多種多樣。
在整個雙十一期間，因為色情低俗、着裝不整被處罰的直播一共82場，其中算法命中68場，抓取到了100%的色情低俗風險，以及80%以上着裝不正的違規（淘寶直播對着裝尺度很嚴格，某些大街上可見的着裝也屬于違規），而且僅需要稽核約0.1%的截圖。在風險覆寫和節省稽核人力兩個方面都取得了成功。
直播中的敏感人物管控屬于人臉識别中（1：n）的問題，涉及人物載體形式多樣，如動漫、印刷品、ps處理、翻拍螢幕等。人像的表情、姿态、光照、距離、遮擋、模糊等均不可控。
檢測系統包括敏感人物入庫及使用者圖檔查詢兩大子產品。其中敏感人物入庫包括特征提取以及索引的建立。使用者圖檔進行查詢的時候，系統會傳回與被查詢人臉最相似的人物圖檔、名字及相似度，然後根據業務規則判斷是否命中敏感人物。資料庫由國内外各領域近2w知名人物人像圖檔組成，并按敏感程度劃分不同等級，提供多層次的管控人名清單。
敏感人物識别主要包括兩部分技術，一是人臉的特征提取，二是檢索系統的建構。我們選用深度學習算法構模組化型，采取五層卷積+兩層全連結的基礎網絡結構，并融合年齡+性别等屬性，融合回歸及分類多種損失函數進行訓練。這種multi-data， multi-task的訓練方式充分挖掘訓練資料的多元度資訊，進而建構泛化性能更好的模型。
敏感人物識别技術架構圖
簡要描述一下索引算法的流程：
1、選一組哈希函數，将資料投影到離散的值上。所有的資料按哈希值分桶儲存；
2、檢索時，被查詢資料使用相同的哈希函數計算桶編号，取出桶裡所有的資料，計算距離，排序，輸出。
搜尋性能：在百萬資料集上，單次查詢rt小于10ms，top10近鄰正确率90%（以周遊檢索為基準）。
算法系統主要用來管控政治敏感人物肖像，以及明星形象冒用，整個雙十一期間算法系統命中産生的稽核比為約0.01%。算法累計命中1613場直播，其中38場是正确命中。38場中，有17場背景包含管控人物形象，8場主播使用管控人物形象作為面具，7場與人民币相關，2場利用管控人物做廣告，3場醜化管控人物，1場新聞類直播。 38場直播以業務管控标準判斷有14場違規。
在整個雙11期間，一共有15場涉及涉及99名核心管控人物的違規直播，隻有1場未能被算法命中，算法整體召回率93.3%。。由于衆所周知的原因，政治敏感人物肖像的違規case不能展示。下面是一些使用者使用明星照片參與連連看遊戲的case：
使用者冒用明星形象參與連連看遊戲的示意圖
可能有人會覺得算法命中的準确率不高，這有兩方面的原因：
1）整體稽核比很低，為了保障召回，是以将門檻值設定得比較低；
2）由于管控人物中包含一些女明星，容易出現主播與明星撞臉的尴尬，比如下面兩位女主播很容易被識别為楊幂。
和明星撞臉的女主播
為了平衡管控的時效性和計算資源之間的沖突沖突，在實際操作中，我們對直播流每5秒截幀一次，圖檔儲存在oss上，同時推送消息給安全部接口。接口層将消息傳遞到規則層，在這裡配置規則，決定截圖需要調用的算法，以及對算法傳回的結果進行判斷，向稽核系統發送消息。
直播管控整體系統框圖
我們面臨的問題是5400路并發視訊需要在5秒之内給出回報，延時過長會錯造成風險外露。圖檔算法服務本身相消耗計算資源多，是系統中的瓶頸，為此我們采取了以下應對手段。
同步接入算法服務是最簡單的也最容易維護的，但會面臨三個主要問題，1）同步接入給接入方帶來了更多資源消耗；2）一旦算法服務不正常，會影響主流程。3）圖檔量已遠遠超過稽核人力的極限，營運隻能覆寫一些潛在重點風險視訊，非重點風險視訊流不需要流入稽核。是以，雖然異步接入也會帶來維護成本，但最終決定還是采用異步接入。
收到異步消息後，節點會調用算法服務，如果采用同步調用，會導緻很多線程io阻塞，需要大量的task,進而需要很多節點；采用異步回調服務，task線程可以立即回收，能減少很多task線程，進而節省節點。本項目中節省了約70%的節點。
在直播防控中單張截圖會調用2個算法，之前的模式是每張圖發2個消息。由于内部是可以并行且非阻塞過多個算法的，單張圖一個算法和多個算法成本一樣，是以我們将單張圖調用多個算法的多條消息合并成一條。吞吐翻倍，按qps評估的機器成本也減半。
雖然直播的峰值是5400路并發，考慮到截幀是每5秒進行一次，是以不必要按峰值準備容量。我們按照4s來平滑峰值，機器數也可以減少75%。除了正常的限流措施之外，考慮到稽核頁面每5秒重新整理，如果超過4s沒處理的消息選擇丢棄，可以避免突發的消息堆積造成雪崩。所有的出錯消息都會回寫入sls并同步到odps,以便之後的排查、分析和恢複。同時，我們将應用部署在兩個機房來實作容災。
算法服務系統架構圖
上線之前按照電商圖檔場景的經驗是95%的算法請求在3s之内傳回，上線後實測98%的請求在600ms内傳回，平均耗時200ms，并且資源消耗更低。雖然兩個場景不完全具有可比性，但至少說明我們的算法服務完全勝任直播防控的實時場景。
廣告來了，如何在降低成本的情況下，提高防控的時效和準确性？如何使用經受雙11直播内容風險防控的技術？