本文介紹雲開發内容稽核的使用場景,并示範如何使用内容稽核功能。
*本文主要介紹騰訊雲雲開發側的功能應用,微信雲開發側使用指南參見:
https://developers.weixin.qq.com/miniprogram/dev/wxcloud/basis/Consecurity.html
内容稽核介紹
什麼是内容稽核?
内容稽核是基于圖像、文本、音視訊的檢測技術,可自動檢測低俗、違法違規、色情、廣告、圖文違規等内容,對使用者上傳的圖檔、文字、音視訊進行内容稽核,以滿足上傳要求,幫助客戶降低業務違規風險。
常見的内容稽核方式有:
- 圖像内容稽核
圖像内容稽核,利用深度神經網絡模型對圖檔内容進行檢測,準确識别圖像中的敏感違法元素、違規内容等,幫助業務規避違規風險。
- 文本内容稽核
文本内容稽核,采用人工智能文本檢測技術有效識别違法違規、廣告、辱罵、違禁品和灌水文本内容,提供定制化的文本敏感内容稽核方案。

雲開發内容稽核介紹
雲開發内容稽核為托管在雲開發内的内容(雲資料庫裡存儲的資料、雲存儲上存儲的檔案)提供快速的内容稽核服務。可快速設定内容稽核規則(稽核範圍、稽核場景、違規後自動封禁處理),資料庫文檔變更後異步稽核,文本内容秒級完成稽核與處理。
注意:目前僅支援雲資料庫内的文檔進行内容稽核。
内容稽核的常見場景
在當下的網際網路環境下,内容稽核可以說是無處不在,以一個論壇網站為例:小到一個使用者的使用者名注冊内容稽核、使用者在評論區或留言區的評論内容稽核,大到使用者發帖的整個文章的内容稽核。
凡是能讓使用者自由輸入内容的地方都需要對其内容進行稽核,進而防止論壇被大量不良資訊所圍繞,造成網站伺服器資源被浪費,嚴重地影響了網站形象,更有甚者網站站長可能會承擔相關法律責任。
使用雲開發内容稽核
前提條件
已有一個可用的 按量計費環境。
https://cloud.tencent.com/document/product/876/41391
操作步驟
單擊一個按量計費環境,進入環境 > 内容稽核 > 安全配置頁面,在安全配置頁可以看到有兩大部分:稽核規則和稽核詳情。
步驟1:建立稽核規則
在進行内容稽核之前,需要先建立稽核規則,即制定對哪些内容進行什麼樣的規則進行稽核。
- 單擊建立,開始建立稽核規則。
- 選擇對雲資料庫中哪個集合進行内容稽核,例如需要對使用者評論内容進行稽核,則選擇存儲使用者評論的集合,如下:
說明:該下拉框中所列出的集合即是資料庫中所有的集合,如果目前下拉框中沒有集合,則您需要在左側導航欄資料庫中先建立一個集合。
- 選擇完集合後,還需填寫對該集合下的哪個字段進行稽核,例如需要對使用者評論内容進行稽核,則填寫評論集合裡的評論内容字段,如下:
- 拟定一個屏蔽文案,當出現違規内容時,用于提示使用者的資訊,預設為:該内容已違規暫不顯示。如下:
- 開啟對違規内容進行自動屏蔽開關。開啟後,系統如果檢測到某條内容違規,則會對内容進行自動屏蔽,并以4中拟定的自定義屏蔽文案進行重寫。如果不開啟,則隻對内容進行稽核打分,不自動重寫屏蔽。一般建議開啟,如下:
- 開啟後,需要選擇稽核場景,即對什麼類型的違規内容進行稽核,如謾罵、廣告、違法、色情等。一般建議全選,如下:
說明:違規類型後的稽核分數是指:當系統對内容進行稽核時,會對被稽核的内容進行打分,分數越高表示内容違規程度越高,當打出的分數大于所填寫的稽核分數時,系統将會對内容進行自動屏蔽。
稽核分數可了解為對目前違規類型的“容忍度”,分數越低表示容忍度越低,例如對違法資訊零容忍,本着“甯可錯殺一千,也不放過一個”的原則,即可将違法類型的分數填寫的低一點(最低60分),這樣系統一旦發現内容疑似屬于違法資訊,立即将其屏蔽。
- 填寫完稽核場景後,最後點選勾選條款。
單擊确定。即可建立一條新的稽核規則。
步驟2:測試稽核規則
稽核規則建立完畢後,即可測試下建立的稽核規則是否生效。
- 單擊左側導航欄中的資料庫頁,進入到上述所選的集合中,單擊添加文檔,先添加一條正常的内容:
如下圖,對于沒有違規的内容是會正常插入到集合中的。
- 再次添加文檔,并嘗試故意輸入一些違規内容:
如下圖,插入的文檔字段包含違規内容,已經被自動屏蔽重寫了。
以上說明建立的稽核規則已生效。
步驟3:檢視稽核詳情
- 單擊左側導航欄中的内容稽核頁後,再單擊頂部的稽核詳情,能看到稽核平台的稽核内容以及稽核結果,如下:
- 在測試稽核規則時,第二次故意輸入的違規内容已成功被稽核系統監測到,并準确地識别出違規類型以及對内容的稽核評分,如下:
- 在某些特定的需求場景下,如果發現某條在特定場景下屬于是正常内容,但被稽核系統誤判為違規内容時:
可對該條違規記錄進行復原。
復原後該條内容在稽核記錄裡的處理狀态也變成了已復原, 并且在資料庫中該條記錄也可正常顯示。
*本文主要介紹騰訊雲雲開發側的功能應用,微信雲開發側的使用指南參見: