天天看點

Windows伺服器檔案自動上傳至阿裡雲OSS

Windows伺服器資料檔案自動上傳至阿裡雲OSS

背景:

客戶需求:實作将Windows伺服器上的SQLServer資料庫檔案上傳至阿裡雲OSS内,實作資料長期備份。

需求難點:網絡波動對上次資料完整性的影響,如何在前期規劃好後期新增的資料檔案的歸檔分組與優化管理,如何確定資料檔案上傳的完整性檢查。

解決方法:1.在windows下編寫bat批量執行腳本配合定時任務時間資料傳輸。

     2.選取osscmd工具,支援G級資料的切片上次與解決網絡波動時候的斷點續傳。                    3.打包壓縮資料檔案,減少傳流量帶寬,上傳完成後删除壓縮包(腳本内實作)。

      4.通過在Linux伺服器同樣使用osscmd的list方法來抓取oss上的檔案資訊,以便比對與告警。

一、備份伺服器端部署

1.安裝python,版本在2.5-2.7,建議2.7(已安裝忽略)

2.在c盤建立OSS目錄,并在次目錄下解壓osscmd檔案

下載下傳URL:https://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/internal/oss/0.0.4/assets/sdk/OSS_Python_API_20160419.zip?spm=5176.doc32171.2.3.lnaEuy&file=OSS_Python_API_20160419.zip

3.安裝rar壓縮檔案(已安裝忽略)

4.修改oss.bat腳本檔案

OSS.bat檔案内容如下:

5.Window建立定時任務

建立定時任務

“程式”/“附件”/“系統工具”/“任務計劃程式”指令

Windows伺服器檔案自動上傳至阿裡雲OSS

點選“建立任務”後如圖所示:填寫好相應的名稱和勾選好必要的條件

Windows伺服器檔案自動上傳至阿裡雲OSS

選擇“觸發器”選項,點選“建立”,建立任務執行時間,“重複任務間隔”這個選擇後,後面有時間選擇,是每小時,還是每分,可自己選擇後再修改時間,再确定。

Windows伺服器檔案自動上傳至阿裡雲OSS
Windows伺服器檔案自動上傳至阿裡雲OSS

再來配置需要執行的“操作”,就是選擇所寫的程式或是BAT檔案,這裡很重要的配置是選擇BAT檔案後,在“起始于(可選)”這裡一定要填寫相應執行程式或是BAT檔案的所在目錄,要不然是執行不成功的。

Windows伺服器檔案自動上傳至阿裡雲OSS
Windows伺服器檔案自動上傳至阿裡雲OSS
Windows伺服器檔案自動上傳至阿裡雲OSS
Windows伺服器檔案自動上傳至阿裡雲OSS

建立Access key,用于使用osscmd上傳時bucket認證辨別

Windows伺服器檔案自動上傳至阿裡雲OSS

建立bucket

Windows伺服器檔案自動上傳至阿裡雲OSS

1.下載下傳osscmd工具并放置/oss目錄下

Windows伺服器檔案自動上傳至阿裡雲OSS

oss_check.sh檢測腳本如下:

1.上傳日志檢視

Windows伺服器檔案自動上傳至阿裡雲OSS

1.阿裡雲oss檔案檢視

Windows伺服器檔案自動上傳至阿裡雲OSS

可以在oss上是先以客戶名稱命名的一個目錄,其次是一年月來歸檔資料檔案,其次是資料上傳備份目錄,最終是打包好的資料壓縮檔案,如何後期需要定時删除,則隻需在腳本内寫入根據時間來删除即可,極大增強了擴充性,以日期歸檔友善後續管理操作。

3.郵件日志

Windows伺服器檔案自動上傳至阿裡雲OSS

4.微信通知

Windows伺服器檔案自動上傳至阿裡雲OSS