Windows伺服器資料檔案自動上傳至阿裡雲OSS
背景:
客戶需求:實作将Windows伺服器上的SQLServer資料庫檔案上傳至阿裡雲OSS内,實作資料長期備份。
需求難點:網絡波動對上次資料完整性的影響,如何在前期規劃好後期新增的資料檔案的歸檔分組與優化管理,如何確定資料檔案上傳的完整性檢查。
解決方法:1.在windows下編寫bat批量執行腳本配合定時任務時間資料傳輸。
2.選取osscmd工具,支援G級資料的切片上次與解決網絡波動時候的斷點續傳。 3.打包壓縮資料檔案,減少傳流量帶寬,上傳完成後删除壓縮包(腳本内實作)。
4.通過在Linux伺服器同樣使用osscmd的list方法來抓取oss上的檔案資訊,以便比對與告警。
一、備份伺服器端部署
1.安裝python,版本在2.5-2.7,建議2.7(已安裝忽略)
2.在c盤建立OSS目錄,并在次目錄下解壓osscmd檔案
下載下傳URL:https://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/internal/oss/0.0.4/assets/sdk/OSS_Python_API_20160419.zip?spm=5176.doc32171.2.3.lnaEuy&file=OSS_Python_API_20160419.zip
3.安裝rar壓縮檔案(已安裝忽略)
4.修改oss.bat腳本檔案
OSS.bat檔案内容如下:
5.Window建立定時任務
建立定時任務
“程式”/“附件”/“系統工具”/“任務計劃程式”指令

點選“建立任務”後如圖所示:填寫好相應的名稱和勾選好必要的條件
選擇“觸發器”選項,點選“建立”,建立任務執行時間,“重複任務間隔”這個選擇後,後面有時間選擇,是每小時,還是每分,可自己選擇後再修改時間,再确定。
再來配置需要執行的“操作”,就是選擇所寫的程式或是BAT檔案,這裡很重要的配置是選擇BAT檔案後,在“起始于(可選)”這裡一定要填寫相應執行程式或是BAT檔案的所在目錄,要不然是執行不成功的。
建立Access key,用于使用osscmd上傳時bucket認證辨別
建立bucket
1.下載下傳osscmd工具并放置/oss目錄下
oss_check.sh檢測腳本如下:
1.上傳日志檢視
1.阿裡雲oss檔案檢視
可以在oss上是先以客戶名稱命名的一個目錄,其次是一年月來歸檔資料檔案,其次是資料上傳備份目錄,最終是打包好的資料壓縮檔案,如何後期需要定時删除,則隻需在腳本内寫入根據時間來删除即可,極大增強了擴充性,以日期歸檔友善後續管理操作。
3.郵件日志
4.微信通知