本實施TSM的關鍵字解釋
檔案備份:
指檔案級别的資料備份,基于作業系統的檔案系統進行備份。
資料庫備份:
指資料庫基本的備份。在資料庫處于open狀态下,對資料庫資料進行備份,并保持備份資料的一緻性。
離線備份:
也叫冷備份或脫機備份,一種備份方法,在離線備份中,正在備份的資料在備份過程中不能被應用程式通路。通常用于普通檔案備份。
線上備份:
也叫熱備份或聯機備份,一種備份方法,線上備份一般使用即時技術來構造原始資料的一緻性映像,備份時,檔案或資料處于打開狀态,通常用于資料庫和應用系統的備份。
備份時間視窗:
它是指在使用者正常使用的業務系統不受影響的情況下,能夠對業務系統中的業務資料進行資料備份的時間間隔,或者說是用于備份的時間段。
某局資料同城容災備份主要是為了滿足我局登記系統、住房保障系統、維修資金系統、房屋評稅系統、合同備案系統、資金監管系統、房屋安全維修系統等相關業務系統的核心資料完整、安全地存放在異地,當出現誤操作、火災等人為破壞或者自然災害時能夠及時的恢複資料,保障業務的正常辦理。
實施目标:
1、完成某局資訊中心機房和區機房備份系統硬體及軟體的安裝和調試工作;
2、将資訊中心機房現有資料庫、各種類型檔案等資料約50-80T容量備份(全量備份)至區機房内,并完成資料完整性校對工作;
3、通過敷設電信10MMSTP鍊路并入我局現有房産專網中,以滿足今後的增量備份工作;
4、安裝和調試通過後進入試運作,在試運作期間,需實作增量備份要求,并測試當本地資料出現故障時,能使用備份資料對其進行恢複的功能。
人員及組織安排
序号 | 姓名 | 項目組職位 | 聯系方式 | 備注 |
一、建設機關組成人員 | ||||
01 | 負責整個項目的管理、監督和控制 | |||
02 | 負責整個項目的管理、監督和控制 | |||
03 | 中心機房應用及資料庫資源使用協助 | |||
04 | 機房硬體環境及網絡資源使用協助 | |||
其它相關聯系人: | ||||
二、承建機關組成人員 | ||||
06 | 項目總監 | 技術負責 | ||
07 | 項目經理 | 項目實施管理 | ||
08 | TSM實施工程師 | TSM軟體安裝調試 | ||
09 | TSM實施工程師 | TSM軟體安裝調試 | ||
10 | TSM實施工程師 | TSM軟體安裝調試 | ||
11 | Oracle工程師 | TSM實施技術支援 | ||
12 | 系統工程師 | 負責項目伺服器、存儲、作業系統安裝 |
根據項目實施任務,對現狀和需求進行調研,本次災備資料主要分兩部分。一部分是檔案資料的備份,這部分檔案資料主要由檔案圖檔檔案、圖紙檔案、資料庫導出資料檔案、資料庫冷備份檔案等組成,這部分資料約50-70TB。另外一部分資料是現有各種應用的資料庫系統,共有約42套資料庫系統備份,主要是Oracle資料庫和SQL SERVER資料庫,目前資料量約為1-2TB,為減少備份對系統運作的影響,這部分資料備份以資料庫聯機備份為主要備份方式;所有需要備份的資料在中心機房(市局)和災備機房(關山)各至少保留一份,當出現系統故障或災難時,優先從中心機房(市局)的備份資料中執行本地恢複。本期備份的系統需求見附表。
根據對以上現狀機需求的分析,所有需要保護的資料,在中心機房(市局)和災備機房(關山)各保留一份,當需要執行資料備份時,資料應能優先從中心機房(市局)本地進行恢複。對于本項目容災備份系統架構設計如下:
圖:4.2-1
圖:4.2-2
如圖所示,中心機房(市局)和災備機房通過10M專線實作網絡連通。分别在中心機房、災備機房各部署一台TSM備份伺服器,用于完成本地備份和異地災備任務。中心機房(市局)利用現有IP-SAN用于備份的中心存儲存放本地備份資料,劃分為兩個區域,檔案備份區域和資料庫備份區域。檔案備份區域大小約65TB,用于檔案備份資料的存放,資料庫備份區域大小約5TB,用于資料庫備份資料的存放。災備機房采用本次新購置的DSC3700作為容災備份存儲。其中約100TB作為檔案備份的空間,20TB用于存放資料庫備份的資料。
所有的檔案備份資料,包括檔案圖檔、圖紙檔案、資料庫導出檔案、資料庫冷備份檔案等,首先通過手工或者腳本方式集中備份到中心機房的檔案備份區域,然後通過災備機房(關山)TSM備份伺服器以網絡方式存放到災備機房的容災備份存儲的檔案備份存儲區中,實作檔案資料的異地備份。
所有資料庫系統的備份資料,主要指資料庫的聯機備份(熱備份)資料,首先通過中心機房(市局)内TSM備份伺服器自動備份到本地IP-SAN的資料備份區域,實作資料庫資料的本地備份,然後本地TSM伺服器(中心機房)将本地備份資料通過網絡傳輸到災備機房TSM備份伺服器,災備機房TSM備份伺服器将資料存放到災備存儲(關山機房)資料庫備份存儲區中,進而實作資料庫資料的異地備份。
由于本次項目備份資料總量在50-70TB,而用于災備的通信線路帶寬僅為10M(傳輸速度約3.6GB/小時),無法滿足異地全量備份的要求,是以,本次災備項目實施分三個階段:初始全備份階段、系統搬遷階段、後期
備份方式的選擇
針對市局不同類型的主機、應用的不同類型資料備份要求,我們使用了兩種級别的備份方式,第一種是基于檔案級别的備份;第二種是基于資料庫級别的備份.
檔案級别的備份
考慮到IT環境中除了資料庫伺服器和應用伺服器以外,基本上屬于檔案級别的伺服器,其它類型的檔案伺服器等。
對于這些檔案伺服器,我們會直接使用IBM Tivoli Storage Manager來實作對這些檔案伺服器的備份和恢複的功能。
本次項目中檔案圖檔、圖制檔案、資料庫導出檔案、資料庫冷備份等檔案均采用檔案級别的備份方式,對于這些超過50TB的海量檔案系統的備份,TSM可以實作永久增量備份的備份政策,這樣對于檔案系統可以實作永遠使用增量備分資料,而恢複時始終以全量方式一次性快速恢複,是最高效率的檔案系統備份。
資料庫的備份
系統需要對于Oracle和SQL資料庫進行備份。為了確定這些資料庫7 x 24小時的運作狀态,我們提供了資料庫的備份接口,以滿足資料庫的線上備份的功能,這些備份任務既不影響業務系統的運作,同時通過排程的方式自動實作,友善系統的管理和維護。
對于Oracle和SQL資料庫,我們會使用IBM Tivoli Storage Manager和IBM Tivoli Storage Manager for Databases來實作這兩類資料庫進行資料庫的線上備份和恢複的功能。
備份方式的設計
由于本次項目備份資料總量在50-70TB,而用于災備的通信線路帶寬僅為10M(傳輸速度約3.6GB/小時),無法滿足異地初始全量備份的要求。是以初始資料的全備份隻能在中心機房(市局)區域網路内完成,初始化資料全備份完成後,災備TSM備份伺服器和災備存儲DSC3700将搬遷到災備機房(關山),實作後期的日常災備任務。
資料備份速度與網絡關系表
網絡拓撲 | 網絡帶寬 | 備份速度(GB/hr) |
10 Mbps Ethernet | 1 | 3.6 |
100 Mbps Ethernet | 10 | 36 |
Gigabit Ethernet | 100 | 360 |
10 Gigabit Ethernet | 1000 | 3600 |
初始全備份
初始全備份在中心機房進行(市局)。
1、檔案備份資料的全備份
檔案資料全備份資料主要包括兩部分内容:第一部分主要是将分散的資料以手工或腳本的方式備份到中心機房(市局)IP-SAN的檔案備份區域。第二部分主要是将集中到IP-SAN的檔案備份資料,通過TSM備份伺服器備份到災備存儲DSC3700。做初始全備的時候,由于是在主機房,備份的速度按照千兆網絡來考慮,檔案資料50TB的備份時間約為50000/360=139小時。考慮到主要利用非上班時間,在12-16小時之間,需要9-12天完成初始資料全備。
2、資料庫初次全備份。
資料庫初次全部分同樣包含兩部分内容:第一部分就是通過中心機房(市局)TSM備份伺服器将各資料庫系統全備份備份到中心IP-SAN的資料庫備份區域;第二部分,通過兩台TSM備份伺服器之間的資料通信,将存放在IP-SAN的資料庫備份資料備份到災備存儲DSC3700的資料庫備份存儲區域。
對于資料庫資料的初次全備,整體資料量小于1TB,按照1000/360*2=6小時完成。資料庫系統的初次全備可以在1天之内完成。
後期全備份
檔案備份
對于檔案備份,後期不再執行資料的全備份,采用基于檔案的永久增量備份方式,也就是,後期的檔案備份僅備份新增的檔案資料。
資料庫備份
根據需要備份的資料庫的統計,需要執行資料庫備份數量約1TB,備份第一步是在中心機房(市局)進行,通過中心機房TSM備份服務來實作資料庫備份,由于是在區域網路内,這些資料合計的本地備份時間約為3-4小時。備份第二步是将資料備份到災備機房(關山),由于帶寬僅為10M,主要的瓶頸在于資料傳輸,經過計算,資料庫備份資料不壓縮傳輸的時間視窗約為200個小時,壓縮後資料傳輸時間可以降低到100小時以内。
全備份資料庫備份資料傳輸的周期盡量在周末開始,建議圖檔資料從周六中午12點開始,預計20點可以完成圖檔資料的備份。12-20點之間,各子系統可以完成本地全備份,之後時間,可以用于資料的傳輸。每周資料傳輸的時間在30-40小時。由此看來,整個全備備份周期按照一個月的時間周期來設計比較合适。
後期增量備份
檔案資料備份
由于檔案備份主要是永久增量方式,根據估算,每個月資料增量為1TB.每天增量約40-50GB,按照10M帶寬估算,檔案增量備份資料的傳輸時間約12-15小時。
資料庫備份
從表中資料庫資料增量看,資料庫備份資料每天的增量約0.5GB,是以日常在中心機房(市局)本地備份時間小于30分鐘,增量備份資料傳輸時間也同樣小于0.5小時。整個資料庫日常的增量備份時間(包括本地和異地災備)約1小時内完成。
項目 | 初始資料全備份 | 資料全備份 | 增量資料備份 | |||||||||
資料量(GB) | 次數 | 備份時間視窗(天) | 資料量(GB) | 備份周期 | 備份視窗(小時) | 傳輸視窗(小時) | 備份壓縮 | 備份周期 | 資料量(GB) | 備份視窗(小時) | 傳輸視窗(小時) | |
檔案資料備份 | 50000 | 1 | 12 | 1000 | 無 | 無 | 無 | 部分壓縮 | 每天 | 50 | 14 | |
資料庫聯機備份 | 900 | 1 | 1 | 1000 | 每月 | 8 | 100 | 壓縮 | 每天 | 0.5 | 小于0.5 | 小于0.5 |
資料恢複方式:
當需要進行資料恢複時,優先從中心機房(市局)的本地備份進行恢複。
對于需要恢複的檔案資料,直接從中心機房(市局)的IP-SAN 檔案備份區域進行恢複。
對于需要恢複的資料庫資料,通過TSM管理界面(或通過EM界面)恢複需要的備份集即可。
當需要恢複的資料無法從中心機房(市局)IP-SAN備份區域進行恢複時,需要進行異地恢複或進行災備恢複。
1、檔案備份異地恢複(恢複資料量小于36GB或者不緊急資料恢複)
圖檔資料恢複,通過用戶端節點連接配接TSM伺服器,通過搜尋標明檔案或檔案夾恢複到用戶端或制定的路徑。
2、檔案資料站點恢複(恢複資料量大于36GB或者緊急情況恢複)
由于資料量較大,資料傳輸受限。在這種情況下,建議到災備機房進行恢複。和異地恢複步驟基本一緻,隻是之前和之後需将客戶機節點運送到災備機房或者通過移動裝置運送到主機房。
3、資料庫備份異地恢複(恢複資料量小于30GB)
當客戶機節點資料庫損壞,而中心機房備份伺服器或者備份發生故障,本地無法完成恢複操作時,當需要恢複的資料量不大或者恢複要求不夠緊急時,在重建客戶機節點環境後,通過網絡連接配接到關山機房TSM伺服器進行資料庫檔案恢複,在進行資料裝載,恢複系統。
4、資料庫備份站點恢複(或恢複資料量較大)
當中心機房發生災難性的站點故障時。通常首先在關山災備機房重建核心業務系統,恢複網絡連接配接;需要恢複的應用節點安裝TSM用戶端環境并連接配接TSM伺服器,首先執行檔案恢複,再執行資料庫資料恢複裝載,進而實作資料庫系統的恢複。
實施過程計劃:
本次災備項目實施分三個階段:初始階段、系統遷移階段、後期運作階段。
1、初始階段
初始階段的主要目标是通過在中心機房(市局)搭建完整的災備環境,完成檔案資料和資料庫資料的在IP-SAN的本地初始備份,并利用區域網路的帶寬,通過TSM複制到災備存儲DSC3700響應的災備存儲區域,完成後進行恢複測試校驗。
初始階段主要包括以下内容:
系統安裝調試:裝置到貨、裝置開箱、裝置加電測試、網絡環境安裝調試、備份伺服器安裝調試、備份用戶端安裝調試、線路調試。
本地資料二次備份:在備份環境建立完成後,進行檔案資料和資料庫資料的備份,整個備份分兩個子階段,第一個子階段是将資料備份到中心機房IP-SAN的備份存儲區域;第二個子階段是通過TSM備份伺服器,将IP-SAN備份資料複制到新購置的災備存儲DSC3700的存儲備份區域中去。
資料校驗:資料校驗主要是對于二次備份的資料庫和檔案資料備份進行校驗,并測試資料恢複。
2、遷移階段
遷移階段的主要目标就是将完成初始備份後的災備TSM伺服器和災備存儲遷移到災備機房(關山)并進行重新部署,部署完成後進行資料校驗。
遷移階段的前置條件:完成初始階段的資料備份工作以及10M鍊路的網絡調試工作。
遷移階段主要包括以下内容:
中心機房系統停機:對于需要搬遷的裝置進行關停機操作,主要包括用于災備機房的網絡裝置、災備伺服器、災備存儲等。
災備裝置運輸:将停機後的災備裝置從市局中心機房安全運輸到關山災備機房。
災備裝置調試:在災備機房進行上架、部署。通過安裝調試,確定從中心機房(市局)到災備機房(關山)系統和裝置正确運作。
系統校驗:執行備份和恢複測試,對備份資料進行校驗,確定災備環境和災備資料的正确性。
3、後期運維階段
在期運作階段的主要目标是,在初始全備份和災備環境部署正确的情況下,通過确定增量備份政策和備份排程政策,災備系統投入試運作并完成系統驗收。後期運作階段主要包括以下内容:
确定備份政策:确定增量備份的規則、政策、排程方式等内容,并實作增量資料的備份按要求執行。
資料校驗:對于增量備份的資料進行校驗和恢複測試,驗證增量備份環境和資料的正确性
試運作和驗收:系統投入試運作,通過TSM檢視、檢查備份和災備情況,系統穩定運作一段時間後,組織系統驗收。
主要工作内容計劃表
序号 | 項目名稱 | 完成時間 | 人員 | 備注 |
初始階段 | ||||
2 | 項目實施計劃确認 | |||
3 | 通信鍊路申請 | |||
4 | 裝置到貨、開箱、加電 | |||
5 | 主機房裝置安裝環境準備 | |||
6 | 硬體環境安裝 | |||
7 | 存儲、伺服器、交換機加電及連接配接 | 檔案備份(100T)按現有每月資料增量預計可滿足兩年 包括(圖檔、文檔 、冷備檔案 ) 資料庫熱備(熱備檔案 10T) | ||
8 | 存儲安裝及磁盤空間劃分 | (伺服器、作業系統)已完成 (交換機安裝、配置) | ||
9 | 伺服器、作業系統、交換機安裝、配置 | (伺服器、作業系統)已完成 (交換機安裝、配置) | ||
10 | TSM教育訓練 | 第一次非原廠教育訓練已完成 第二次原廠教育訓練: | ||
11 | TSM軟體安裝實施(中心機房) | |||
12 | TSM伺服器端軟體安裝配置 | |||
13 | 檔案備份實施及文資料備份 | |||
14 | 檔案備份TSM用戶端軟體安裝及配置 | |||
中心機房存儲資料遷移(資料量約1T) | ||||
15 | 檔案備份速度測試 | |||
16 | 檔案備份及監控 | 根據實際備份情況調整工作計劃。1月10日檢查備份情況,确定後期遷移階段工作計劃。 | ||
17 | 檔案恢複測試 | 2天時間(100G文檔資料) | ||
22 | 資料庫熱備用戶端部署及資料備份 | |||
收集各資料庫的配置參數、密碼 | ||||
23 | 整理熱備份備份腳本 | (ORACLE、SQLSERVER)房管局提供逐漸提供參數,TSM實施人員按照業主提供的資訊完成資料庫的備份腳本 | ||
24 | 資料庫恢複環境準備 | 準備伺服器(虛拟機)一台(ORACLE、SQLSERVER) 資料庫環境(要安裝控制台) | ||
26 | TSM用戶端部署(含資料庫子產品) | |||
27 | 執行資料庫熱備 | |||
28 | 資料庫備份校驗與恢複測試 | |||
遷移階段 | ||||
30 | 通信鍊路調試(兩端) | |||
31 | 機房環境準備 | |||
32 | 備份系統搬遷前關停準備 | |||
33 | 備份系統搬遷至災備機房 | |||
34 | 備份系統在災備機房安裝調試 | |||
35 | 災備機房恢複環境準備 | |||
36 | 檔案備份校驗及恢複測試 | |||
37 | 資料庫熱備份校驗及恢複測試 | |||
後期運作階段 | ||||
增量備份政策機實施 | ||||
增量備份校驗機恢複測試 | ||||
TSM教育訓練 | ||||
40 | 災備系統試運作 | |||
系統驗收 |