在航空公司官網、OTA網站和航旅App，充斥着來自搜尋引擎、虛拟助手和聊天機器人等來源的自動化流量。但是，與這種高效的BOT背道而馳的，是更為猖獗的惡意BOT流量。
客戶關鍵詞：
中國三大航空集團之一
日均3000+航班通行全球
客貨運輸量常年穩居全球Top10
10萬高價的背後：誰在占座？
2020年3月起，随着海外疫情擴散，回國航班驟減，國際機票價格水漲船高，從2-4萬的經濟艙全價炒到10萬元的實際成交價。
越是旺季，越緊俏的航班，被虛占的座位相對就多，随着歐美回國機票越來越稀缺，“虛占座位”的操作也越來越“猖狂”。
攻擊者挑選座位數已經所剩不多的航班，用随便一個護照資訊訂下這個航班的機票“虛占座位”，在航企允許的賬期内，高價尋找有真實購票意向的客戶，再取消虛占的訂座，同時用真實客戶的護照資訊買入。
上述過程看似簡單，但要完美實作它，靠的是數以千萬計的惡意爬蟲。
據阿裡雲爬蟲風險管理團隊對某航司虛占座位現象的資料分析，國外疫情爆發最為嚴峻的日子裡，機票查詢接口單日請求最高時超過1億次，而其中超過9000萬以上的請求都來自機器流量。去年5月，該航司國際航班回國的多條航線上一度出現占座指數超出正常範圍50多倍的情況，查票接口請求量更是日常的成百上千倍，不僅造成了一票難求的局面，也給航司本身的帶寬/伺服器支出帶來了嚴重消耗。
“在這種流量比例下，正常使用者想要從機器手上搶到一張票幾乎是Mission Impossible。”阿裡雲安全工程師坦言，黃牛腳本幾千次/秒且晝夜不停的高頻查詢給航司伺服器的壓力是很大的，正常使用者可能連加載頁面都很困難，更别提買到票了。“國外疫情最嚴峻的那段時間，航司的管理背景經常會出現身份資訊捏造的“不存在”乘客，嚴重降低正常乘客的購票機率。”
職業爬蟲在進化：擅長隐身與強對抗
在航空領域，虛假下單和虛占座位已經成了頭号業務風險。要通過虛占座位來取得利益，攻擊者需要持續不停地擷取最新的航線、價格、時間等關鍵資訊，以保證能在第一時間對有空餘座位的熱點航線下手。這一過程漫長而繁瑣，參與其中的惡意BOT在專業黑灰産技術團夥的指揮下，具備很強的隐蔽性和持續對抗能力。
一份國外最新的惡意BOT報告顯示，航旅業高居“進階可持續性BOT”最為泛濫的行業之首，達到59.7%，相較于簡單爬蟲，他們生命周期更長、行為邏輯複雜度更高、更難被檢測和緩解。
根據阿裡雲安全的監測，在該航司與攻擊者的對抗中，攻擊者通過組合利用自動進行攻擊的軟體程式和各種自動化工具，可以輕松而低成本地建立、購買和修改BOT，是以進化速度快，在整個票務資訊擷取和占座流程中，惡意BOT在各個環節嘗試繞過檢測和防護，其行為、目标、複雜程度和差異很大。
從業務流程上主要分為下列三個階段：
· 注冊登入環節：這一階段的核心目的是擷取足夠多的賬号以得到有效的登入态，再進行後續的業務流程，是以垃圾注冊和撞庫是最核心的風險；
·航線資訊查詢：攻擊者周遊所有航班動态并不停重新整理，擷取最新價格、時間、餘票張數等重要資料資産，這一環節的惡意BOT數量最大、持續時間最長、具備一定的僞裝性并擅長高強度對抗；
值得注意的是，在航空公司日常資料資産防護中，應對三方資訊爬取，這也是最多、最難纏的一類惡意BOT行為，是拉高帶寬成本和伺服器壓力的主因
·模拟下單與訂單追加：攻擊者使用driver/模拟器模拟人類行為，下單但規定時間内不支付，達到占座目的。這類爬蟲具備較強的“反偵查”意識，且會持續檢測訂單有效性，并在支付時間結束之前重複上述模拟下單動作，導緻座位被長期占用。
随着黑灰産的專業性在利益驅動下迅速提升，爬蟲團夥逐漸向着産業化運作，從下遊的技術到上遊的獲利，分工明确，協同高效，更強大的對抗能力和更不易察覺的隐蔽性成為惡意BOT的主要特點。
實際上，爬蟲危害性巨大的核心原因，是其能夠以快速、持續、大量的模式形成傷害，加之背後明确的變現思路和方法，不僅擾亂市場秩序，而且在日常運維中嚴重推高維護伺服器穩定性和防範資料洩露的人力物力成本，一般的公司缺乏足夠的人員和經驗對抗不斷進化的爬蟲和其背後的專業黑灰産。
爬蟲對抗持久戰：阿裡雲防爬防占座方案
航空業防爬防占座是個持續對抗的過程。阿裡雲安全為該航司定制防爬防占座方案，針對性識别和緩解線上機票交易場景下的注冊、登陸、航線查詢、票價查詢、餘票查詢、下單占座不支付、訂單追加全流程的惡意BOT。
針對垃圾注冊與撞庫登陸：
·結合指紋、行為、上下文、SDK簽名、時序、環境等特征進行BOT精細化識别，并通過攔截、限速和人機識别二次校驗等手段應對垃圾注冊和撞庫登陸；
·結合情報資訊，對有航旅業業務針對性的惡意BOT實行異步處置，标記出來“秋後算賬”，從業務上做處罰或者使用者分級，讓爬蟲防護不止于對抗；
針對核心票務資料被爬取：
·一方面，通過多元度精細化限速+JS加簽+行為分析，初步壓制刷票流量；
·另一方面，動态IP爬取行為檢測、時序異常分析、AI智能防禦應對複雜和變異的攻擊；
·考慮到攻擊團夥的利益較大，直接攔截可能引起激烈的對抗，基于專家經驗推薦假資料方案，通過多種指紋和算法識别到的爬蟲請求進行打标後通知源站，源站給爬蟲傳回假資料進行欺騙；
下單接口細分裝置屬性：
·由于對抗激烈，網頁端針對業務流程定制了深度學習模型，輔助滑塊校驗防護下單接口；
·APP端接入SDK，通過SDK簽名過濾爬蟲請求。
識别次元的豐富性和處置方式的靈活性是惡意BOT管理的核心能力。在針對不同場景的防控方案上，專家的經驗同樣非常重要，尤其面對航空業“進階可持續惡意BOT”泛濫的現象。
阿裡雲的BOT管理通過用戶端指紋識别、AI智能防禦、爬蟲行為分析等核心能力來進行識别，結合雲上協同防禦情報資訊和多年BOT處置積累的專家經驗，幫助使用者有效抵禦來自複雜BOT的惡意流量，不僅是航空業，各惡意BOT泛濫的“重災區”行業都能得到有效的緩解。
7000+裝置指紋，支援智能溯源
超過7000種裝置環境、流量、封包、行為指紋采集和上報，經過基于專家經驗訓練的決策引擎生成指紋，用于标注用戶端身份和刻畫流量基線，通過指紋打标建立和訓練模型，生成防護政策，并可進一步利用雲上優勢圈定BOT背後攻擊者的手法甚至攻擊團夥。
多元BOT行為分析引擎，比BOT更了解BOT
動态IP爬取行為檢測模型結合時序異常分析模型，基于正常使用者的會話序列特征模組化，實作BOT行為動态分析，篩選出時序異常與行為異常的爬蟲會話，在關鍵業務節點（如下單、支付）上對異常會話進行攔截或驗證。
基于機器學習模型預測的邏輯更難被破解，降低對抗強度，同時極大降低校驗手段（如驗證碼）對正常使用者的打擾。
協同情報+AI智能+Experts，三管齊下處置變異攻擊
共享雲上1500萬+來源IP、140萬+惡意BOT情報等協同防禦資訊和黑名單資訊，結合裝置指紋特征與爬蟲行為特征，多元度刻畫流量基線。整合專家經驗的決策引擎，結合業務邏輯雙管齊下，實時決策與異步決策按需調用，實作處置方式的自動下發與自動對抗。
雲原生便捷接入，全面支援混合雲
·Bot管理功能以子產品形式內建在阿裡雲WAF中，接入轉發架構跟WAF完全一樣，接入便捷；
·全面支援網頁、H5、原生APP、API、公衆号、小程式等全場景web應用防護；
·支援混合雲/多雲部署、獨享叢集部署、阿裡雲ECS/SLB/CDN使用者無需額外部署，一鍵開啟；
·源站可以是任意公有雲伺服器/負載均衡、任意IDC主機、本地機房等。
客戶價值：
·高強度占座對抗中，成功自動化防護黑灰産15分鐘級别的對抗；
·疫情爆發極端搶票情況下，該航司的占座指數從5萬壓制到200，下降99.6%，回歸正常範圍；
·日常業務風險得到穩定的有效收斂，第三方轉賣平台的資料準确性造成較大幹擾，轉賣受阻；
·機器流量識别與分類精細，準确性高，未對正常業務造成任何幹擾；
·刷票接口日均流量下降90%，極大緩解了伺服器壓力，降低了帶寬支出。