天天看點

MaxCompute跨境通路加速解決方案

MaxCompute聯合全球加速服務,為有跨境通路需求的MaxCompute客戶提供一套高效穩定的跨境通路加速方案。

背景資訊

MaxCompute的大量出海客戶,由于開發人員所在地和資料源地域不一緻,經常需要進行跨境互訪,在使用IDEA/ODPSCMD/SDK進行管控類作業送出、資料下載下傳等請求時,網絡抖動比較大,可能會出現被rst、重置連接配接等問題。

具體場景包括兩類:

  • office在大陸,但是對應的MaxCompute終端節點在海外,例如需要從杭州通路孟買的終端節點,如果直接使用office的公網進行調用對應的api進行業務建立,直接使用公網鍊路非常不穩定。
  • office在海外,但是對應的MaxCompute終端節點在大陸,例如需要從孟買通路上海的終端節點,也存在類似調用的情況。

例:正常網絡情況下,從杭州通路印度(孟買)終端節點,網絡連接配接逾時。

MaxCompute跨境通路加速解決方案

解決方案

方案架構

MaxCompute跨境通路加速解決方案

技術原理

本解決方案依賴全球加速服務。

全球加速GA(Global Accelerator)是一款覆寫全球的網絡加速服務,全球加速會為每個接入加速區域的地域配置設定一個加速IP,用戶端流量通過加速IP就近從接入點進入阿裡雲加速網絡。進入阿裡雲加速網絡後,全球加速可以智能選擇路由并自動完成網絡排程,然後把用戶端的網絡通路請求送達至最佳終端節點,避開公網的擁堵,達到減少時延的效果。具體請參見

全球加速官方文檔

實作流程

前提條件

  • 已建立MaxCompute項目。

更多建立MaxCompute項目操作,請參見

建立MaxCompute項目

配置全球加速服務

使用者可以根據全球加速服務

官方文檔

進行配置。本方案的配置步驟如下:

步驟一:建立全球加速執行個體

  1. 登入 全球加速管理控制台
  2. 在執行個體清單頁面,單擊建立加速執行個體。
  3. 在購買頁面,根據以下資訊配置全球加速執行個體,然後單擊立即購買。
    1. 選擇購買全球加速執行個體的規格。本方案選擇小型Ⅱ。
    2. 選擇購買全球加速執行個體的時長。本方案選擇1個月。

具體規格類型及費用請參考

全球加速産品定價

購買成功後,傳回至管理控制台。執行個體建立好,系統會自動配置設定一個CNAME用于解析要加速的後端服務的域名,請記錄下此CNAME用于後續域名解析時使用。

MaxCompute跨境通路加速解決方案

步驟二:購買并綁定基礎帶寬包

基礎帶寬包提供了覆寫全球的公網接入帶寬和阿裡雲内網傳輸帶寬。實作全球加速您需要購買基礎帶寬包并将基礎帶寬包綁定到全球加速執行個體。

  1. 在執行個體清單頁面,單擊購買基礎帶寬包。
  2. 在購買頁面,配置基礎帶寬包,然後單擊立即購買完成支付。

⚠️注意:提升海外區域到中國内地的網絡通路品質,必須先送出

跨境産品使用申請

,否則無法配置通路國外地域加速。

本方案選擇 增強加速帶寬,20Mb。

MaxCompute跨境通路加速解決方案
  1. 傳回執行個體清單頁面,單擊已建立的全球加速執行個體ID,單擊帶寬包管理頁簽,在基礎帶寬包區域,找到目标基礎帶寬包,單擊操作列下的綁定。
MaxCompute跨境通路加速解決方案
MaxCompute跨境通路加速解決方案

綁定成功後,基礎帶寬包的狀态變成 可用。

步驟三:添加加速區域

在購買基礎帶寬包後,您便可以添加加速區域,指定通路後端服務的使用者的所在地域并配置設定加速帶寬。

完成以下操作,添加加速區域。

  1. 在執行個體清單頁面,找到已建立的全球加速執行個體,單擊執行個體ID。
  2. 單擊加速區域頁簽,添加接入地域。
  3. 在添加加速區域對話框,根據以下資訊進行配置。
    • 地域:選擇通路加速服務使用者的所屬地域。本方案選擇中國(杭州)。
    • 帶寬:選擇加速服務的地域帶寬。本方案輸入20 Mbps。
    • IP位址協定:選擇使用者接入全球加速服務的IP位址協定。本方案選擇IPv4。
MaxCompute跨境通路加速解決方案
  1. 單擊确定。添加成功後,全球加速會在接入地域配置設定一個加速IP,用來加速使用者通路。

步驟四:配置監聽

監聽負責檢查連接配接請求。系統會根據您指定的端口和協定轉發來自用戶端的入站連接配接。

  1. 在執行個體詳情頁面,單擊監聽頁簽,然後單擊添加監聽。
  2. 在配置監聽和協定配置向導頁面,根據以下資訊配置監聽。
    1. 監聽名稱:輸入監聽的名稱。
    2. 協定:選擇監聽的協定類型,客戶可根據業務場景選擇。本方案選擇TCP。
    3. 端口:本方案輸入80。
    4. 用戶端親和性:本方案選擇關閉。

更多資訊參考

監聽概述
MaxCompute跨境通路加速解決方案
  1. 單擊下一步配置終端節點組。
  2. 通路控制:可以基于白名單/黑名單的形式進行配置不同的政策,對用戶端請求進行精确控制,管理請求轉發。

說明 目前,保持通路控制白名單開放,如需使用請送出工單。

步驟五:設定終端節點組

每個監聽都關聯一個終端節點組,通過指定要分發流量的地域,将終端節點組與監聽關聯。關聯後,全球加速會将流量配置設定到與監聽關聯的終端節點組内的最佳終端節點。

完成以下操作,設定終端節點組。

  1. 在節點組名稱區域輸入節點組名稱。
  2. 選擇終端節點組所屬的地域,即請求要通路的目标伺服器的所屬地域。本方案選擇 印度。
  3. 選擇後端服務部署在阿裡雲還是非阿裡雲。本方案選擇 非阿裡雲。
  4. 選擇開啟或關閉保持用戶端源IP,本方案選擇開啟保持用戶端源IP。
  5. 配置終端節點。
    1. 後端服務類型:選擇自定義域名。
    2. 後端服務:輸入要加速的MaxCompute地域外網Endpoint。本方案輸入 service.ap-south-1.maxcompute.aliyun.com
    3. 權重:輸入終端節點的權重,權重取值範圍:0~255。全球加速根據您配置的權重按比例将流量路由到終端節點。

      注意 如果某個終端節點的權重設定為0,全球加速将終止向該終端節點分發流量,請您謹慎操作。

  1. 單擊下一步檢視監聽和終端節點組配置,确認無誤後,再單擊下一步。
MaxCompute跨境通路加速解決方案

本地綁定host

添加全球加速的配置後,在執行個體資訊-加速區域tag下,找到加速IP。

MaxCompute跨境通路加速解決方案

之後,您必須通過本地綁定host方式,将對應域名解析到全球加速配置設定的CNAME,使業務流量切換至全球加速。

host添加示例:

1XX.XX.X.XX6(加速IP)  service.ap-south-1.maxcompute.aliyun.com(後端服務域名)      

延時測試

  1. 在接入地域(本方案為中國杭州)的電腦中打開指令行視窗。
  2. 執行以下指令,檢視資料包延遲情況。

    curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http[s]://[:<端口>]"

    其中:
    • time_connect:連接配接時間,從開始到建立TCP連接配接完成所用的時間。
    • time_starttransfer:開始傳輸時間。在用戶端送出請求後,到後端伺服器響應第一個位元組所用的時間。
    • time_total:連接配接總時間。用戶端送出請求後,到後端伺服器響應會話所用的時間。
  1. 經測試,使用全球加速後,明顯降低了中國杭州使用者通路印度(孟買)endpoint的延遲。
MaxCompute跨境通路加速解決方案

使用MaxCompute

配置完成後,可以進入MaxCompute用戶端或Web-Console按源方式連接配接至MaxCompute資料源。此時,MaxCompute已成功實作高效穩定地跨境通路。

MaxCompute跨境通路加速解決方案

安全防護相關問題

為了有效防禦DDoS攻擊,本方案可以通過與DDOS高防産品組合使用,利用DDOS高防産品有效防禦DDOS攻擊,詳細資訊可以參考:

跨地域Web安全加速

中的DDOS配置部分内容。

更多關于大資料計算、雲數倉技術交流,歡迎掃碼加入 “MaxCompute開發者社群” 釘釘群

MaxCompute跨境通路加速解決方案