《孤注一擲》 最近在火熱上映中。影片講述了程式員潘生在境外網絡詐騙團隊的高薪誘惑下被拐騙到境外“公司”，并在陸秉坤和安俊才的強迫下從事詐騙活動，最終在幫助同被欺騙的中國人安娜逃跑後，在中國警方與外國移民局合作下成功得到解救的故事。
影片中，潘生被海外工作吸引，卻意外落入境外詐騙工廠。潘生在進入網絡電信詐騙公司後被強制做的第一件事情，就是利用爬蟲軟體抓取字幕組成員的郵箱資訊，并向其發送網絡賭博連結。
影片結尾，詐騙公司頭目陸經理被判處死刑，安娜因從事詐騙罪被判處有期徒刑兩年，潘生提供兩千多名受害者名單，屬重大立功表現，被法院宣判免除刑事責任。
什麼是網絡爬蟲
網絡爬蟲，又被稱為網頁蜘蛛，網絡機器人，是按照一定的規則，自動地抓取網絡資訊和資料的程式或者腳本。通俗點講，網絡爬蟲模拟人的行為，用程式代替了人的操作，從一個連結跳轉到下一個連結，就像是在網絡上爬行一樣周遊網頁。爬蟲跳轉、打開、浏覽等動作比人的速度快，浏覽的網站的層次也更深，是以被稱為網絡爬蟲。
網絡爬蟲能夠非法擷取網絡上的資訊、圖檔、評價、個人資訊。被盜取的資料，不僅被用于商業售賣，還可能被黑灰産用于制作假冒的網站，進行釣魚詐騙等，給個人和企業帶來重大經濟損失。
爬蟲的非法盜取與平台反爬
網絡爬蟲的惡意爬取與平台網站的反爬是是一個動态的攻防過程，大體來看是三個階段。
第一階段，限制IP和賬号。起初網站的反爬措施，是對于非源于浏覽器的通路直接拒絕。當惡意網絡爬蟲通路時，就會出現403錯誤響應碼，或者收到“抱歉，無法通路“的提示。
第二階段，驗證碼攔截。為了繞過反爬機制，網絡爬蟲設定Headers資訊，模拟成浏覽器，多線程的對靜态頁面進行大規模惡意抓取。針對惡意爬取行為，網站和平台對頻繁變化UserAgent（模拟浏覽器）、頻繁使用代理IP的賬号、裝置進行限制和攔截：當同一IP、同一裝置在一定時間内通路網站的次數，系統自動限制其通路浏覽；當某一通路者通路次數過多後，就自動讓請求跳轉到一個驗證碼頁面，隻有在輸入正确的驗證碼之後才能繼續通路。
第三階段，動态網頁技術保護。面對反爬技術的更新，網絡爬蟲也随之更新。網絡爬蟲能夠自動識别并填寫驗證碼，繞過二次核驗的攔截；同時使用多個賬号，配置IP代理工具，繞過平台對賬号和IP位址的限制。針對網絡爬蟲的變化，很多網站和平台采用動态網頁開技術。基于動态網頁技術，網頁的URL位址不固定，背景實時與前端使用者互動，完成使用者查詢、送出等動作。而且不同時間、不同使用者、通路同一URL位址時會産生不同的頁面。相比與傳統的靜态網頁，動态網頁有效保護重要的資料資訊，有效遏制了網絡爬蟲的惡意爬取行為。
為了繞過新的反爬措施，網絡爬蟲使用Selenium和Phantomjs技術，完全模拟人的操作。此時爬蟲的攻擊也愈加智能複雜，單純的通過限制通路次數、前端頁面展示加密已經給無法有效防護，需要通過提高人機識别技術等攔截識别黑産，提高不法作惡成本。頂象的全流程的立體防控措施，有效防範惡意爬取行為，以保障網站平台安全。
頂象的全流程反爬方案
爬蟲非法盜取愈加智能複雜，單純的通過限制通路次數、前端頁面展示加密已經給無法有效防護，需要通過提高人機識别技術等攔截識别黑産，提高不法作惡成本。頂象的全流程的立體防控措施，有效防範惡意爬取行為，以保障電商網站安全。
定期對平台、App的運作環境進行檢測，對App、用戶端進行安全加強，對通訊鍊路的加密，保障端到端全鍊路的安全。同時部署基于頂象防禦雲、風控引擎和智能模型平台，建構多元度防禦體系。
頂象風控引擎根據業務查詢場景的請求、用戶端采集的裝置指紋資訊、使用者行為資料行為，實作對惡意“爬蟲”行為的有效識别，基于安全防控政策，有效地惡意爬取行為進行識别和攔截。。基于業務、爬取風險與反爬政策變化，頂象智能模型平台幫助企業建構專屬風控模型，實作安全政策的實時更疊，進而有效攔截各種惡意爬取風險。
AI時代的驗證碼
驗證碼是防範資料盜取的重要技術，由此也成為黑灰産攻克破解的重要目标。頂象驗證碼基于驗證環境資訊進行防禦，通過生産無窮的驗證圖檔+對環境資訊提供驗證，提供雙重安全保障。
首先，基于AIGC技術的頂象驗證碼，能夠源源不斷得新驗證圖檔，極大增加了黑灰産的識别與破解成本，大幅提升驗證要素識别難度。其基于深度學習和神經網絡，生成一些難以被預測和重複的圖檔、元素，并在驗證過程中加入時間戳或者随機數等動态變化的因素，增加破解的難度，有效抵禦機器破解。
其次，頂象驗證碼內建實時流計算及場景政策結合機器學習訓練的人機模型、曆史資料的關聯分析，通過圖形算法和AI模型，對使用者産生的行為軌迹資料進行機器學習模組化，結合通路頻率、地理位置、曆史記錄等多個次元資訊，快速、準确得傳回人機判定結果。在驗證碼的驗證環節采集有辨識度的環境資訊，配置規則和政策來，篩選出可能是黑灰産的請求進行二次驗證或攔截。例如，判斷完成驗證時的驗證環境資訊和token上報時的驗證環境資訊是否一緻，對多次惡意攻擊的IP位址進行攔截，限制驗證碼輸入的次數等。