稽核是中背景系統非常重要的職能之一，尤其是對于内容領域和金融領域來說。本文作者在研究免疫系統和病毒的過程中，發現免疫系統和病原體的抗争和協同過程，同稽核系統和風險的關系是很類似的，于是将免疫系統對稽核系統設計的啟示寫了出來，希望能給你帶來一些啟發。
背景稽核的核心目标是風險控制，發現可能對或已經對公司業務産生不良影響的合作、内容、輿情等不利影響，将其扼殺在萌芽之中或者避免惡劣影響進一步擴大。
筆者曾經做教育背景時，主導過作業批改和稽核從0到1到系統設計，有過一些稽核的經驗。最近因為新冠疫情，也對免疫系統和病毒産生了興趣，并進行了一些學習和研究。
在此過程中發現，免疫系統和病原體的抗争和協同進化過程，其實同稽核系統和風險的關系是很類似的，其底層邏輯更是一樣一樣的。當然，也可以推而廣之到防毒軟體和病毒的關系。
筆者雖然在稽核系統的設計方面隻有粗淺的經驗，但是實在技癢，在此抛磚引玉，将免疫系統對稽核系統設計的啟示寫出來。
一、免疫系統的啟示
我們贊美人工設計時，常常會說“巧奪天工”。而随着人類科技實力的不斷進步，我們也會産生一些錯覺：天然的是質樸的、粗陋的，人工的是完美的、精巧的。
然而我們去多了解一些自然中的現象，那麼就會逐漸體驗到事實恰好與直覺相反。生物尤其是人類的免息系統在漫長的進化中，已經形成了系統性、多層次、高效的機制，十分精妙。
其特點總結如下，也是在設計稽核系統中非常值得借鑒的原則。
- 普适性和特異性：免疫系統分為先天免疫系統和适應性免疫系統。先天免疫系統快速響應病原體的入侵，能夠應對大部分的感染。對于小部分的嚴重感染，再啟用更加強大的适應性免疫系統。
- 兼顧效率和成本：在上述兩個免疫系統結合之下，實作了效率與成本的平衡。因為适應性免疫系統雖然效果強大，但是調用消耗的成本非常高。而先天免疫系統足以應對絕大部分情況。
- 有效的級聯反應：無論是兩個免疫系統内部還是兩個系統之間的配合，都有非常精密的互相觸發機制，比如廣泛地收集資訊、抗原傳遞、多次認證等。因為免疫系統生效不止會消滅病原體，也會對正常的細胞造成傷害，就是所謂的假陽性。是以稽核政策的制定既需要謹慎，又需要在發生嚴重情況時能果斷觸發更有效的應對機制。
- 整體性的應對：兩個免疫并不是孤立的，而是可以互相協同、互相增強或控制的。這樣可以高效而靈活地應對病原體感染，根據實際情況加強或适時停止免疫反應，避免浪費資源或造成更多假陽性。
- 二次感染快速響應：感染一次之後，免疫系統會形成各種記憶細胞，有持續生效的，也有暫時休眠的。當相近的病原體再次感染的時候，就能快速地、低成本地調用适應性免疫，高效消滅危險的病原體。
雖然筆者嘗試盡量總結的面面俱到，但是免疫系統幾十億年伴随生命和病原體演化而形成的精妙體系，絕非三言兩語就能描述清楚。
感興趣的讀者不妨閱讀《免疫系統與病毒的戰争》，相信會對産品的稽核系統設計有更多啟發。
那麼如何設計一個完善的稽核系統呢？
二、業務分析
筆者一貫強調，做産品設計一定要先深入了解、分析業務，然後抽象出其背後的資訊流，再進行系統界面設計。
業務的分析方面有很多成熟的方法論，建議整體架構使用使用者體驗五要素（參考《産品“無”之道（一）——戰略篇》）。
對于稽核系統來說，最起碼搞清楚幾個問題：
- 整體商業的模式是什麼？
- 面向使用者的産品是什麼？有什麼功能？
- 使用者群體是誰？有什麼特征？
- 使用者在什麼場景下使用産品？
- 造成業務風險的因素有哪些？
- 需要稽核的内容是什麼？
- 要達成什麼樣的稽核目标？
比如說，我們要做一個内容社群的稽核系統。
- 商業模式可能是會員付費、廣告收入、流量銷售、帶貨抽成等。
- 産品是移動APP為主，包括内容生産者和内容閱讀者相關的功能。
- 使用者群體可以參考業務部門的使用者畫像和使用者資料。
- 使用者主要在休閑娛樂或是遇到問題等場景使用産品。
- 風險可能包括政治、法律等底線風險，黃恐暴等不良習性，使用者隐私、使用者引導等輿論風險，低品質内容等其他風險。
- 需要稽核的内容可能包括文字、圖檔、聲音、視訊等各種類型的PGC或UGC内容。
- 稽核目标可能是規避風險，保證社群的良性生态，進而支援業務可持續發展和變現等。
三、資訊流分析
深入了解業務之後，就可以着手開始對資訊流的抽象、分析和可視化。應用方法可以參考筆者之前的文章，《火眼金睛：一眼看破産品邏輯》。
我們以内容稽核相關的業務為例。
經過簡單的分析，我們就能夠比較全局地了解在整個商業模式下，内容和風險是怎樣流轉的，進而影響内容分發和使用者。
- 内容資訊流：核心内容在整個系統中的流轉，包括内容生産，内容送出後的機器人和人工稽核，稽核結果的複核，以及内容稽核通過後的分發。内容分發之後，便可以被内容閱聽人消費。
- 業務監控資訊流：内容上線之前，雖然已經經過稽核，但是不可能所有的内容都能被正确稽核。而且有的内容上線雖然通過了稽核，但是也可能造成某些難以預知的問題。那麼就需要對上線後的内容持續監控（同樣可以采用機器和人工的方法）。
- 使用者回報資訊流：對上線後内容的跟蹤，還有一個很好的方法就是借助使用者的力量。對使用者針對内容的評價，或者直接開辟舉報視窗，都能夠幫助識别有風險的内容。
- 風險處理資訊流：已上線的内容出現風險之後，需要妥善處理風險。在确認之前可以做限流處理；對于嚴重的風險，可能要下架内容并觸發釋出者；對于品質低等内容，可以降低分發的流量。
- 資料回報：一個稽核系統想要不斷提升效率、優化稽核效果，就需要不斷收集内容、回報等稽核之後的效果，并且将稽核有效或失效的資料再輸入稽核系統，幫助優化機器稽核的算法和人工稽核的規則。
四、系統架構和業務流程圖
梳理清楚資訊流之後，整個稽核系統劃的系統架構就清晰多了。
- 使用者端：包括為作者和消費閱聽人提供相關功能，由相關的業務團隊決定，是稽核平台重要的需求來源和服務對象，需要與之保持密切合作。
- 機器稽核平台：利用機器稽核對送出的内容進行自動稽核。一般稽核能力通過調用AI平台對應的接口能力實作，也需要把稽核的結果回報給AI平台，幫助其疊代稽核算法。
- 人工稽核平台：對于機器稽核無法完成稽核的内容，可以通過人工稽核。人工稽核需要制定明确的稽核規則，以讓稽核人員在稽核時有明确的稽核依據。人工稽核的稽核結果同樣可以回報給AI平台用于疊代稽核算法，也可以用于完善稽核規則。
- 分發平台：内容稽核通過之後，過審的内容通過分發平台進行流量分發。當然分發的政策可以根據使用者資訊、AI算法進行優化。而且也要随時根據風控回報，及時處理有風險的内容。
- AI平台：為機器稽核提供AI能力，也可以輔助人工稽核、以提升效率。一般可以外采或者自己研發。
下一步就是根據每個平台的具體業務需求，結合人（使用者、背景從業人員）繪制流程圖。還是建立使用泳道圖，将系統、人的重要流程梳理清楚。
泳道圖的繪制屬于産品經理比較基礎的技能，在《火眼金睛：一眼看破産品邏輯》也有案例，在此不再具體示範。
五、機器稽核平台
機器稽核是個比較偏向技術的平台，産品經理的工作就是要為内容安全提供一個高效、準确的機器稽核和風控支援。
做好機器稽核平台，需要在幾個方面做出權衡。
- 風險和體驗：稽核政策越嚴格，上線内容的風險越小，但是越可能誤傷正常的内容，且為人工稽核帶來更多的工作量，影響使用者體驗。反之體驗有所提升，但是自身的風險會提高。
- 效率和成本：算法越精準，識别效果越好，然而也意味着更大量的訓練資料、更複雜的算法模型、更高的運算量；部署的硬體性能越好、數量越多，稽核的速度越快，但是成本也越高。
那麼，筆者上文介紹的免疫系統的特點就有用武之地了。
比如受先天免疫系統和适應性免疫系統的啟發，我們也可以将機器稽核劃分成普适性稽核和适應性稽核。事實上，大多稽核系統也是這麼做的，但是可以模仿免疫系統，做得更極緻。
在作者送出内容時，可以對普遍性的問題進行快速識别。比如敏感詞、錯别字等，讓作者可以馬上修正，以避免等待一段時間之後才發現要修正。這樣就可以一定程度提升使用者體驗。
對于所有的内容，應當先讓一個簡單、高效的模型完成普遍性問題的識别，可以引用人工配置的關鍵詞、政策等幫助增強識别效果。比如可以将完全合規的内容直接釋出；對于機器識别置信度低、難以判斷的問題類型直接流轉人工稽核系統；對于适合機器識别的問題進行歸類，再分發給不同的适應性算法。甚至以上幾種目的也可以交給不同的算法識别分别實作。
适應性算法則可以針對某一類問題進行深度的定制。比如根據國家劃分，可以充分考慮不同國家的法律法規和文化；專門針對政治敏感、色情、恐怖等不同類型問題的識别；專門對内容品質、重複性、版權問題識别的模型等。目前人工智能算法的特點還是通用性難做，但是針對特定的問題則可以達到更佳的效果。
再比如建立有效的級聯反應機制，讓不同類型的問題都得以妥善地處置。
合理配置稽核政策，尋找不同整合之間的相似性、關聯性，可以對相近的政策進行合并，有沖突的政策進行隔離，有關聯的政策設定前後觸發關系等。
針對不同類型的問題，還可以設定不同的門檻值。比如對政治敏感、青少年色情、版權等底線性的問題，應當采取甯願誤傷，也不放過的政策，然後再交由人工稽核進一步判斷。對于重複、低品質的内容，則可以适當放寬标準，先讓内容釋出，再根據後續使用者的行為、評價、舉報等進一步處理。
有條件時，針對同一類問題可以使用多個模型同時進行分析。這樣的好處，一個是可以進行交叉驗證，提升稽核的準确度。也可以比較不同的算法模型效果，不斷淘汰舊的模型，應用新的模型。
還有可以挖掘不同算法模型之間的協作關系。
因為現實世界，内容很多的問題都是混雜在一起的，比如有的内容可能既色情又暴力。
那麼普适性稽核模型也應當能夠提取一些關鍵特征，幫助适應性稽核模型更精準、高效地完成稽核；适應性稽核模型也可以抽取出更多普适性的特征，反哺普适性稽核模型，幫助其優化。
而不同的适應性稽核模型，也可以抽取出自己無法完全識别，但是可能與另一種問題相關的特征，并且提供給相關的模型，幫助其更準确地完成識别。
最後就是優化機器稽核的記憶性。
機器稽核平台應當提供稽核結果的資料平台，包括每個算法模型的調用次數、識别效率、識别準确性（來自模型的交叉驗證、人工稽核、使用者回報等）等資料，用于衡量模型效果。
也應當允許檢視内容的識别結果，并盡可能标注出問題的區域。同時也可以人為對結果進行訂正，以提升回報資料的品質。
對于已經發生的問題，可以總結其規律性，比如是否跟國家地區、時間（季節、節日等）、偶然事件、賬号使用者行為等是否有關。對于持續性、易發性的問題，可以作為固定的檢測對象固定下來（配置關鍵詞、稽核政策、甚至新增模型等）；對于規律性、偶發性的問題，可以設定有效的觸發政策，平時可以不作為稽核對象。
借鑒疫苗的思維，可以建立模拟的沙盒，在新稽核政策、新稽核模型釋出前，在沙盒中測試效果。還可以人工或機器生成大量的違規内容，然後輸入沙盒用以優化模型等。
由于筆者在稽核方面的經驗有限，上述的想法抛出來供各位讀者參考，也歡迎大家留言交流。
六、人工稽核平台
人工稽核平台要支援稽核人員稽核和管理的要求，相對來說有更多的界面設計和流程流轉。但機器人稽核平台的很多思路也可以借鑒。
1. 将稽核人員分層和有效的級聯機制
可以指定一批基礎的稽核人員，初步判斷機器給出的判斷建議是否合理，比如是否需要人工稽核、問題分類是否恰當。
特定問題的稽核人員同樣可以分層，優先由初級稽核人員處理，對于難以判斷的問題，可以更新、交給更資深的稽核人員處理。因為稽核人員的培養也是需要成本的，而有疑難雜症的内容也是少數，這種政策可以兼顧效率和成本。
2. 稽核人員之間的協作
對于重要的問題，可以同時交給若幹稽核人員交叉驗證。這樣的好處是一方面可以避免嚴重的問題被誤判而分發給使用者，造成惡劣的影響；另一方面也可以對重要作者更謹慎的稽核，避免因為誤判損害其積極性和利益。
雖然經過機器和人工分類，但是還有部分問題難免配置設定到錯誤的類别，那麼處理特定問題的稽核人員可以根據個人判斷，直接移交給其他組别或者打回給分類稽核人員。
3. 強化人工稽核系統的記憶
可以從兩方面入手。
一個是同樣要提供稽核結果的資料平台，幫助管理人員不斷發現人工稽核的不足之處，通過優化稽核規則、加強稽核人員教育訓練等動作，提升稽核效果。
另一個是要建立對稽核人員的獎懲措施。獎勵稽核快、結果準的稽核人員，懲罰稽核慢、結果差的稽核人員。鼓勵有想法的稽核人員回報問題和建議，則可以更好地優化人工稽核系統乃至機器稽核系統。
用AI進行輔助。
雖然前序的機器稽核可能無法準确判斷問題，但是可以給出處理意見、标注出問題最大的位置，幫助稽核人員快速定位。
還可以提示相關的稽核規則，友善稽核人員在有疑問時能快速查找依據。也可以在稽核規則發生變動時及時予以提醒。
甚至對于有顯著問題的稽核結果進行提醒，進一步降低出錯機率。
而人工稽核的結果，則是優化AI算法模型的極佳資料。
最後想提醒的是最重要的稽核頁面的設計，界面設計的合理性、易操作性，極大影響稽核人員的效率乃至準确性。需要結合業務特點和稽核内容類别（文字、圖檔、聲音、視訊）等有針對性地進行設計。也需要結合可用性測試、資料埋點等手段不斷優化稽核界面。
由于差異性顯著，筆者在此不提供具體案例，但是提示可以參考各類設計軟體，使用通用性的互動、快捷鍵等方式提升效率。
關于稽核系統的設計思路就介紹到這裡。
觸類旁通，是一個優秀産品經理必備的素質。閱讀筆者的公衆号文章，是一個不錯的選擇。
專欄作家
一直産品汪，微信公衆号：apmdogy，人人都是産品經理專欄作家。邏輯型産品經理，緻力于将科學思維與産品經理方法論結合。關注人工智能、教育領域，擅長産品孵化、需求挖掘、項目管理、流程管理等産品技能。
本文原創釋出于人人都是産品經理，未經許可，禁止轉載。
題圖來自Unsplash，基于CC0協定。
該文觀點僅代表作者本人，人人都是産品經理平台僅提供資訊存儲空間服務。