惡意爬蟲引發高風險
随着傳統行業網際網路化及大類業務的資料化，使爬蟲風險逐漸成為一個風險爆發點。有網絡資料報告統計，目前網際網路中超過60%的流量都是批量自動化的爬蟲流量。
廣義的爬蟲并不是僅僅定義為“爬資料”，惡意的黑客利用一些自動化程式“爬蟲”來進行業務攻擊和欺詐，例如撞庫、占座、搶票、刷排名、接口濫用、刷紅包等，趨利特征非常明顯。常見爬蟲主要會集中在類似航空、電商、咨訊、資料、金融、旅行等一些存在高價值資料、原創内容、高獲利點的行業中。
惡意爬蟲流量往往會引發企業一系列安全問題，并對業務造成一定利益損失，甚至請求量級過大也會同步造成伺服器的不可用。
防爬任務困難重重
爬蟲中也并不是完全都是惡意爬蟲流量，有一部分友好的爬蟲，例如搜尋引擎爬蟲、第三方合作夥伴程式、Robots 協定程式等。安全運維不但要區分出正常人請求和機器爬蟲請求，還需要放行友好的爬蟲，這會對爬蟲識别檢測精細度要求較高，并對不同類型的爬蟲要有分類和标記。
難點其二在于業務管道的多樣性。行業的網際網路化快速發展，尤其是移動端的興起，一般客戶業務中除基礎的Web端外，移動端的H5/APP/小程式等也占據較大的業務流量。而爬蟲往往攻擊的是所有管道中防護最薄弱及攻擊成本最低的業務管道，會持續在各管道中切換嘗試發現防護短闆。如果防護方案比較單一，容易在對抗過程中産品顧此失彼的狀态，最終防護失效，仍然造成業務影響。
持續對抗的過程中，爬蟲也是會學習進化的，從最初簡單自動化腳本會逐漸演變成模拟正常使用者的通路請求，模拟小區寬帶IP，模拟頁面浏覽停頓操作，模拟正常業務流程路徑等等，我們變得越來越難識别惡意爬蟲。
難但并不是沒有辦法。和爬蟲的對抗就像一場博弈，我們利用雲上生态的優勢降低防護成本，提高識别檢測的實時性和精準度，逼得爬蟲用來僞裝的成本高于爬蟲的獲利時自然會放棄。我們建立獨立的檢測系統和防護體系，圍而不全殺；用AI智能模型識别爬蟲，讓爬蟲難以察覺識别邏輯而減緩變異進度；用人機的驗證手段，做第二層的引擎判斷，更靈活的對識别結果做處置，進一步減少對正常使用者的誤報。
爬蟲風險如何有序管理
爬蟲風險管理産品是一款雲盾推出的新安全産品。
産品為SAAS模式，反向代理接入非常輕量和靈活，對七層流量做一次轉發，通過雲上綜合的爬蟲防護引擎識别并過濾爬蟲流量，幫助客戶降低惡意的自動化程式帶來的業務影響。幹淨的業務流量會被繼續轉發到源站，保證業務正常運作。
産品建設了一整套有層次的爬蟲檢測子產品，主要分為基礎防護層、雲端情報層、機器學習層，進行資訊傳遞和鑒别，從提供流量上自定義爬蟲特征規則工具，到共享雲端優勢的行業爬蟲攻擊情報，再到定制貼合客戶業務的機器學習算法，逐漸遞進，快速幫助客戶打造一套量身定做的反爬蟲政策體系。
産品除了能快速甄别爬蟲的行為特征，還可以實作對不同風險等級的爬蟲識别結果做不同的處置，合法爬蟲做放行，惡意爬蟲做阻斷，遇到可疑的爬蟲去做一個挑戰或者校驗，多驗一次身來做最終判斷。
同時，産品内提供了資料可視化子產品，從不同次元展示給使用者，包括資料和資料之間的關聯，讓使用者參與爬蟲特征資料和防護資料之間關系的探索，不斷溝通和疊代，不僅清晰地向使用者展示爬蟲入侵的每一步，也提高了使用者反爬蟲的政策決策能力。資料子產品還內建了阿裡雲的SLS日志服務，可以查詢和定位詳細的日志内容，幫助使用者了解防護情況和流量細節。
目前産品防護場景主要集中在：
産品優勢突出
1、雲端部署
雲端有技術專家負責産品的規則更新，迅速解決實時風險。
雲上資源是可以随時彈性擴容的，針對高峰業務能夠自由收縮，幫助客戶解決因大促等問題需要擴充機器而帶來的成本。
雲上的威脅情報資源非常豐富，能夠發現針對行業的集中式攻擊，并可以将情報應用在行業客戶的防禦系統中。
2、生态體系
跨多行業的爬蟲行為分析，利用關系網絡進行惡意爬蟲的擴充發現。
爬蟲業務目的非常明确，識别行業的集中式攻擊，達成行業内共享風險防控。
沉澱網絡上黑灰産的百萬級已知針對性爬蟲風險的IP/UA黑灰産資料。
共享億級阿裡系的裝置端的風險情報。
據了解，目前國内外有不少做惡意爬蟲流量管理的廠商，側重點也不盡相同，但阿裡雲爬蟲風險管理産品則是側重于多層的防護，除了人機識别等檢測方式，還會通過行為分析、威脅情報、機器學習算法等方式輔助檢測，可以覆寫包括APP在内的各種環境，雲上反向代理的方式接入也非常輕量和靈活。
點選了解産品詳情
https://www.aliyun.com/product/antibot點選了解“阿裡雲新品釋出會頻道”：
https://promotion.aliyun.com/ntms/act/cloud/product.html