關于内容稽核，你需要了解的東西，這裡都有！

本文由  網易雲 釋出。

使用者原創内容是電商和社群的生命線，但它在非法分子手中也會變成一個強大的作案工具。内容審查人員必須迅速響應，時刻嚴防侮辱性内容的傳播。如果不這樣做的話，這些内容就可能會對公司的品牌和影響力造成非常嚴重的損害。

内容安全架構師Kevin Lee和Jeff Sakasegawa在這方面有着相當豐富的經驗，他們分享了有關内容審查方面的實踐。

什麼是内容審查？

KevinLee：内容審查就是審查你的平台上使用者生成的任何内容（UGC）。如果是Yelp，那就意味着審查使用者的評分和評論；如果是Facebook，則意味着要審查使用者可能在網站上釋出的任何内容。

哪些類型的網站、電商或者社群可能會得益于内容審查人員？

JeffSakasegawa：所有的UGC網站！任何UGC網站都必須時刻對使用者體驗保持一定的敏感度，電商和社群通過内容審查來培養使用者的信任度，并為使用者之間的交流建立一個安全的空間。

有哪些内容審查是主動的，有哪些是被動的？

KevinLee：大多數公司都缺少相關的基礎設施和工具來主動稽核侮辱性内容。這是因為這些公司在搭建UGC平台時不會在内容審查系統上投入太大的成本。

像Facebook、Yelp和Google這樣的大公司采取了兩種更主動的方式：第一種方法是使用機器學習，并讓使用者能夠标記有問題的内容。第二種方法仍然是被動的，因為它依賴于使用者上報侮辱性内容，但它更積極主動，因為内容管理系統可以利用上報的内容在未來剔除類似的内容。

反欺詐和風險團隊如何将内容審查納入到公司戰略中，以提升公司的品牌和安全性？

KevinLee：允許UGC的公司必須要在産品級上具備内容審查的能力——在技術路線圖中增加審查功能，或者允許使用者标記不适當的内容。

例如，Facebook在曾經很長的一段時間内都不允許使用者标記有問題的内容，他們的使用者是一個巨大但尚未被開發的内容審查源。事實上，内容審查不一定來自内部團隊，它也可以是外部團隊。如果社群中的任何人被允許釋出内容，那麼任何人都應該能夠上報不适當的内容。

JeffSakasegawa：如果團隊在一開始的時候沒有把内容審查考慮進去，那麼到後面就一定會遇到各種問題。從你業務發展的初期就考慮内容審查，并思考如何使用機器學習系統進行自動化審查，這是非常重要。如果你提前将内容審查納入到公司戰略中，那你就可以更好地擴大業務營運。

内容審查人員必須小心謹慎：要清除徹底，但又不能誤殺。在遇到有争議的内容時，内容審查人員在保證工作效率的基礎上是如何處理的呢？

JeffSakasegawa：如果你跟内容審查人員交流過，那麼你可能會發現，要清楚徹底，又不能誤殺是非常困難的！這個問題在很大程度上來自于審查人員本身存在的傾向。假設某人在網站上釋出了一個提問的文章。現在許多網站都可以利用第三方資訊來了解這個使用者的很多資訊，這些資訊可能表明該使用者是一個十分令人讨厭的人。一旦内容審查人員知道了使用者的背景，他們就可能會去推斷使用者的意圖，讓自己帶着有色眼鏡去審查這個使用者的文章。

對于内容審查人員來說，根據制定的政策和程式進行判斷可能非常困難。他們必須專注于服務條款，并将他們對使用者的主觀感受與現有的規則區分開來。

内容審查中可能出現哪些灰色案例？

KevinLee：假設你的平台不允許發表仇恨性言論。問題是仇恨性言論有幾種不同的判斷标準。在推特上，你不能針對某個特定的種族或宗教。但這個問題很快就會變得模糊起來：雖然你可能可以說“我讨厭美國人”，但你是否可以說“我讨厭白人”呢？恐怕是不行的。

JeffSakasegawa：一般來說，公司不允許使用者對受保護的東西發表惡意觀點。但是，受保護的東西可能因公司而異。大多數企業通過在表達觀點和威脅行動之間畫一條線來處理灰色地帶。例如，“我讨厭凱文的發型”這句話與“每一個有着像凱文一樣發型的人都欠揍”有着很大的差別。盡管兩句話都對他的發型持否定态度，但第二句話崇尚暴力。

但是，許多線上社群都有自己的暗語。例如，Twitter不允許你對猶太人做出仇恨性評論，但社群可以開始使用暗語來指代猶太人，以繞過這些政策。

線上社群或電商網站上，内容審查人員該如何制定明确的指導政策來确定哪些内容可以接受，哪些不可接受？

KevinLee：制定指導政策最簡單和最有效的方法是提出哪些内容可以接受，哪些不可以接受的具體例子。雖然理論性的指導政策很重要，但這些政策的實際應用同樣至關重要。當你需要擴充内容審查人員和訓練模型的時候，這一點尤其重要。

人工内容審查有哪些限制和缺點？

KevinLee：有三個主要的限制，分别是規模、靈活性和響應時間。

• 規模：随着平台的發展，雇用和教育訓練人員的速度很難跟上平台發展的步伐。
• 靈活性：舉個例子，如果你想把業務拓展到保加利亞，那麼你必須快速找到可以用保加利亞語審查内容的人員。
• 響應時間：網站上的内容可以在一天中的任何時間釋出，這意味着審查人員必須二十四小時不間斷地工作，盡管他們已經很疲勞了。機器學習可以解決這三個限制。

JeffSakasegawa：其中，規模是最重要的。侮辱性的内容是活的，它可以被截圖并共享，甚至可能會進入新聞界，這會嚴重損害公司的形象和利潤。即使你擁有一個強大的内容審查團隊，他們快速響應這些内容的能力也是有限的，他們也很難無偏見的進行審查。這正是機器學習充分發揮作用的時候，它沒有這樣那樣的限制，它會随着業務的發展而發展。

本文由網易雲易盾組織翻譯，譯者：雁驚寒。

如果你是中小創業公司，在内容安全上覺得投入成本過高，無營運經驗，也擔心相關政策了解不到位，更擔心投入了那麼多沒效果，那麼你可以嘗試用下易盾的内容安全業務，可點選這裡免費試用易盾反垃圾服務。

了解 網易雲 ：

網易雲官網：https://www.163yun.com/

新使用者大禮包：https://www.163yun.com/gift

網易雲社群：https://sq.163yun.com/