————————
驗證 “人是人”
資料爬取、秒殺、盜号、薅羊毛、刷票、灌水、垃圾注冊、虛假投票、虛假點選、虛假下單……
相信你對各類驗證碼并不陌生，在通路網站或應用時，我們常要證明自己不是機器。
為了更好幫助雲上使用者規避此類業務安全風險，1月27日，阿裡雲Web應用防火牆（WAF）爬蟲風險管理功能更新，一方面通過算法更新提升防護效果，另一方面通過向導式操作指引降低運維負擔，幫助使用者快速打造适合自身業務特點的智能防爬系統。
阿裡雲WAF爬蟲風險管理功能覆寫網頁、H5、原生APP、API、公衆号、小程式等全場景Web應用防護，支援公共雲反向代理接入、ECS/SLB一鍵透明接入、混合雲/多雲部署、獨享叢集部署、CDN一鍵開啟等多種接入方式。阿裡雲使用者可在WAF控制台中選擇對抗政策，識别并管控Bot流量。
核心能力更新，好用、易用的防爬工具
在阿裡雲安全團隊的長期觀察中，爬蟲這類代替或模拟人類使用者自動化、快速、大批量執行特定任務的自動化程式，背後有着明确的變現思路與産業鍊分工，已具備明顯的趨利性與強對抗特征，開始走向專業化與産業化，防護難度日趨增高。
是以，在進行防控時識别次元的豐富性和處置方式的靈活性是核心能力。同時，由于防爬多數時候是個持續對抗的過程，在針對不同場景的防控方案上，專家經驗非常重要。
面對長期實踐中總結的使用者痛點，阿裡雲爬蟲風險管理做了智能算法和使用者體驗兩個次元的針對性更新，将防爬功能做到真正好用、易用。
智能算法提升防護能力
機器學習和深度學習建構了阿裡雲通用、智能的AI安全防護模型體系。應用神經網絡構造多模态特征表示，基于5大類9000+行為和環境指紋特征，對使用者流量進行多元度刻畫、分析，通過意圖分析智能引擎區分正常流量和惡意流量，并且根據場景特征自動生成防護政策。
實時和離線雙聯路聯合決策方案，通過持續學習和模型優化緩解防爬場景對抗問題。實時檢測模型對線上流量進行實時刻畫，離線模型進行“增量學習”，時刻保留模型重要特征，當對抗發生時能通過自動更新模型政策進行變異風險的自主對抗。
使用者視角改進産品體驗
- 場景化防護，專注業務風險
根據下單、注冊、登入、查票等場景定義防護目标，推薦防護政策；基于頁面與接口展示防控效果，可視化呈現機器流量比例與攔截分析。
- 向導式配置，快速Get最佳實踐
分步進行場景定義、政策配置、防護效果驗證，搭配靈活的自定義政策，輕松建構專家級防護。
- 灰階驗證機制，遠離變更故障
政策正式釋出前提供防護效果灰階驗證，無需擔心因政策配置不當、防護相容性問題等原因導緻的大規模誤攔截。
實戰場景驗證，顯著提升業務安全水準
阿裡雲WAF爬蟲風險管理，幫助使用者解決細粒度、豐富場景下的業務安全問題。
《The Forrester New WaveTM : Bot Management, Q1 2020》報告中，阿裡雲安全作為唯一中國廠商入選，防爬能力獲得認可。
1. 大量、複雜的API資料接口處置
某航空公司以XHR資料接口提供航班查詢服務，長期以來遭受黑灰産及各種旅行公司爬取。之前的安全管理，為了減少正常業務流量誤傷采用寬松政策，存在大量漏防。
阿裡雲WAF的JS無感人機識别，在不産生任何客戶投訴和業務影響的情況下，漏防流量較原本方案降低了99%。采集網頁環境中的操作行為、裝置硬體、指紋等特征，防爬政策判斷請求是否來自于自動化工具，并實作XHR接口的浏覽器校驗、驗證碼等驗證手段，過濾約70%的攻擊流量，并對剩餘30%的攻擊流量使用Browser Driver識别，通過驗證碼方式的喚醒行為進行攔截。
2. 自動化算法模型
某招聘網站的候選人履歷與崗位資訊廠商被各種獵頭機構與競品爬取。面臨對精心構造的低頻、離散IP，單一規則防護易被繞過。
阿裡雲WAF對客戶相關資料接口上的所有流量進行Bot屬性打标，并根據不同通路特征進行UBA（User Behavior Analytics）模組化。在部署完成後的十數次攻防對抗中，模型均能自動化監控并快速學習攻擊流量特征，針對攻擊流量喚起處置，無需客戶與營運介入。
3.SDK接入APP環境
某交易網站以APP作為主要使用者通路平台，低價商品常在上線瞬間被惡意秒殺。為了逃避檢測機制，攻擊者采用真機攻擊，通過改機架構與ADB遠控等方式，利用腳本操作手機進行惡意行為，識别難度大。
內建爬蟲風險管理SDK後，阿裡雲WAF直接在流量層面針對各種異常的裝置通路方式（如Root、Debugger、程序注入、改機Hook等）進行識别和攔截，多元度刻畫過濾，惡意秒殺的情況被遏制。
**4. 非對抗解決方案
**
某金融網站資訊常被第三方網站爬取，并在資料加工後提供售賣。由于客戶本身的業務系統複雜，以及面向金融類敏感資訊的高強度攻防對抗，直接攔截的方式并不是最優解。
阿裡雲WAF采用了異步處置回源打标的方式，在網關層标記異常流量，并對被打标的請求傳回虛假資料，以此幹擾了第三方網站的資料準确性，與客戶的風控能力耦合，為業務安全賦能。
好的爬蟲風險管理工具應當好用、易用，且展現運維價值。
阿裡雲安全團隊緻力于打造一套盡可能靈活的工具，幫助使用者跳過繁瑣的實作細節，同時利用雲上海量的資料和計算能力、彈性擴容能力以及威脅情報，實作最适合自身業務特點的防爬能力建構。