天天看點

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

1. 概述

随着《水經注全國離線地圖5.0》更新至5.1與"《水經注全球離線地圖2.0》釋出的推出,到目前為止已為若幹個企事業機關提供了海量離線地圖資料,并成功在内網進行離線釋出。

由于全國離線資料是由一個16TB與一個8TB機械硬碟進行存儲的,是以大家一般情況下也是按照我們目前的存儲方式分别提供了兩枚硬碟,但當拿到資料硬碟後又會問如何将這兩個硬碟合并到一起。

在與客戶的溝通過程中,我們了解到有的客戶對陣列櫃好像并不太了解,不知道居然有這樣的神器存在,是以我們覺得有必要為大家分享一下關于陣列櫃的相關知識,以及該如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式等。

當然了,我們分享的内容主要來源于我們公司的資料陣列櫃服務商為我們提供的資料(圖檔來自于網絡),在這裡特别感謝這位我們長期合作的夥伴。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

資料來源

2. 陣列櫃應用案例

在為大家分享陣列櫃知識之前,我們先來看一個武漢的某公司提供的陣列櫃應用案例。

最近有一家武漢的某公司,在采購全國離線影像資料時,從網上購買了一個小型陣列櫃直接寄到我們公司,如下圖所示。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

客戶寄來的陣列櫃

該陣列櫃共4個盤位,即可以插入合并4個硬碟,如下圖所示。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

4盤位陣列櫃

該陣列櫃中每個硬碟12TB,是以理論存儲大小為48TB,可以完全存儲客戶需要的"《水經注全國離線地圖5.0》更新至5.1"【點選了解】,且還有較多剩餘存儲空間。

将該陣列櫃與連接配接到我們公司的資料伺服器上,如下圖所示。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

将陣列櫃接入資料伺服器

當然了,我們公司的資料陣列櫃也同樣連接配接在這台資料伺服器上,這樣才能将資料傳輸到客戶的陣列櫃上,如下圖所示。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

公司資料伺服器與陣列櫃

在将"《水經注全國離線地圖5.0》更新至5.1"【點選了解】傳輸到客戶的陣列櫃之前,還需要先将陣列櫃中的4個硬碟做磁盤陣列處理,也就是做Raid模式。

經過與客戶溝通之後,為了資料的安全性,我們決定做Raid5模式,緻于什麼是Raid模式,我們會在後面作分享。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

确定RAID模式

資料的傳輸速度大約180M每秒,經過将近兩天的時間之後,所有資料全部傳輸完成,如下圖所示。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

資料傳輸完成

我們提供的資料目錄,依然還是按我們資料原目錄格式提供,客戶可以自行合并或修改資料的目錄結構。

3. 什麼是RAID模式

如前文所述,我們将客戶提供的資料陣列櫃作了Raid5模式,那什麼是Raid模式呢?

RAID通常稱為磁盤陣列。

磁盤陣列是由很多塊獨立的磁盤,組合成一個容量巨大的磁盤組,利用多個磁盤提供資料所産生的加成效果提升整個磁盤系統效能。

RAID技術将多個單獨的實體磁盤以不同的方式組合成一個邏輯硬碟,根據不同的組織方式可以分為不同的RAID級别。

下面我們将介紹幾種常用的磁盤陣列RAID模式,以供大家參考。

4. 磁盤陣列 RAID 0 模式

實作方式:RAID 0最簡單的實作方式就是把多塊同樣的硬碟串聯在一起建立一個大的邏輯硬碟。

最大優點就是可以整倍的提高硬碟的容量。

如使用了三塊10T的硬碟組建成RAID 0模式,那麼磁盤容量就會是30TB。

RAID 0資料恢複:由于不提供資料備援保護,陣列中某一磁盤發生故障,将導緻其中資料丢失,無法恢複。

應用場景:RAID 0 一般适用于對性能要求嚴格但對資料安全性和可靠性不高的應用,如視訊、音頻存儲、臨時資料緩存空間等。

最少硬碟數:建立RAID 0最少需要2塊硬碟。

可用容量:磁盤空間使用率為 100%

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

磁盤陣列RAID0模式

5. 磁盤陣列 RAID 1 模式

實作方式:RAID 1使用兩組相同的磁盤系統互做鏡像,在主硬碟上存放資料的同時也在鏡像硬碟上寫一樣的資料。當主硬碟損壞時,鏡像硬碟則代替主硬碟工作。

RAID1資料恢複:如任一磁盤發生損壞,可以馬上從鏡像磁盤進行資料恢複。如:上圖Disk0損壞導緻資料丢失,我們可以用新盤替換故障盤,讀取Disk1的資料,将其複制到新盤上,進而實作了資料的恢複。

應用場景:RAID 1 應用于對順序讀寫性能要求高以及對資料保護極為重視的應用。如:伺服器、資料庫存儲領域。

最少硬碟數:建立RAID 1最少需要2塊硬碟

可用容量:實際可用的硬碟為總硬碟數量的一半。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

磁盤陣列RAID1模式

6. 磁盤陣列 RAID 3 模式

實作方式:RAID 3在陣列中專門有一個磁盤來儲存對應分條中其它磁盤資料的奇偶校驗資訊。

如果某一磁盤資料出錯或者故障,可以通過對校驗資訊的計算恢複出故障磁盤的資料資訊。

RAID 3資料恢複:如 RAID3 中某一磁盤出現故障,不會影響資料讀取,可以通過對剩餘資料盤和校驗盤的計算重構故障盤上應有的資料。

如當Disk 0故障,其上面存儲的資料A1、A4、B1、B4丢失,資料恢複過程為首先恢複A1,根據同一分條上其它磁盤A2、A3和校驗盤上的資料Ap(1-3),進行異或逆運算,得到應有的資料A1。

最後再用相同方法恢複出A4、B1、B4的資料。

應用場景:RAID 3能夠為高帶寬的大量讀寫提供高性能,适用大容量資料的順序通路應用,如視訊編輯以及流媒體服務等。

最少硬碟數:建立RAID 3最少需要3塊硬碟。

可用容量:實際可用的硬碟=總硬碟數量-1

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

磁盤陣列RAID3模式

7. 磁盤陣列 RAID 5 模式

實作方式:RAID 5 校驗資料分布在陣列中的所有磁盤上,而沒有采用專門的校驗磁盤。

對于資料和校驗資料,它們的寫操作可以同時發生在完全不同的磁盤上。

RAID 5資料恢複:當RAID 5中某一磁盤故障,在恢複的時候,可利用其它存活磁盤資料進行運算,恢複故障盤上的資料。

應用場景:RAID5 基本上可以滿足大部分的存儲應用需求,資料中心大多采用它作為應用資料的保護方案。

最少硬碟數:建立RAID 5最少需要3塊硬碟。

可用容量:實際可用的硬碟=總硬碟數量-1

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

磁盤陣列RAID5模式

8. 磁盤陣列 RAID 6 模式

實作方式:前面的 RAID 等級都隻能保護因單個磁盤失效而造成的資料丢失,如果兩個磁盤同時發生故障,資料将無法恢複。

RAID 6引入雙重校驗的概念,陣列中同時出現兩個磁盤失效時,陣列仍能夠繼續工作,不會發生資料丢失。

RAID 6資料恢複:當有兩個磁盤故障時,根據校驗資料P和Q恢複出丢失的資料。

應用場景:RAID6 主要用于對資料安全等級要求極高的場合,一般是替代 RAID 10 方案的經濟性選擇。

最少硬碟數:建立RAID 6最少需要4塊硬碟。

可用容量:實際可用的硬碟=總硬碟數量-2

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

磁盤陣列RAID6模式

9. 磁盤陣列 RAID 10 模式

實作方式:RAID 10是将鏡像和條帶進行組合的RAID級别,先進行RAID 1 鏡像然後做RAID 0,适合應用在速度和容錯都比較高的場合。

典型應用場景:适合資料量大,安全性要求高的場合使用,如銀行等金融領域。

最少硬碟數:建立RAID 10最少需要4塊硬碟

可用容量:實際可用的硬碟為總硬碟數量的一半。

如何為海量離線地圖資料陣列櫃選擇一種正确的RAID模式1. 概述2. 陣列櫃應用案例3. 什麼是RAID模式4. 磁盤陣列 RAID 0 模式5. 磁盤陣列 RAID 1 模式6. 磁盤陣列 RAID 3 模式7. 磁盤陣列 RAID 5 模式8. 磁盤陣列 RAID 6 模式9. 磁盤陣列 RAID 10 模式10. 陣列櫃中的資料安全保護11. 為什麼要用磁盤陣列12. 總結

磁盤陣列RAID10模式

10. 陣列櫃中的資料安全保護

為了更好地確定資料的安全,我們可通過熱備盤與資料重構等方面對資料進行保護。

熱備(Hot Spare):熱備盤的作用相當于是在RAID裡面再做一個備份,比如說本來RAID裡面是隻允許壞一個盤的情況下系統和資料依然正常運作,壞兩個就不行了,但是加了熱備之後就可以同時壞兩個盤都沒問題,就多了個保險。

熱備盤要求和RAID組成員盤的容量、接口類型、速率一緻,最好采用同一廠家的同型号硬碟。

重構:RAID陣列中發生故障的磁盤上的所有使用者資料和校驗資料的重新生成,并将這些資料寫到熱備盤上的過程。

重構的所有操作都是在不中斷系統操作的情況下進行,重建資料時性能會受到較大的影響。

需要注意的是,RAID技術隻能解決實體硬碟錯誤引起的資料丢失問題,比如硬體失效等,而對于人為破壞、病毒和意外删除等非磁盤故障造成的資料丢失會束手無策。

11. 為什麼要用磁盤陣列

在了解清楚RAID級别後,我們再來講為什麼要用磁盤陣列。

保障資料安全:無論是機械盤還是固态盤,在使用過程中都會有多方面因素造成硬碟損壞,進而導緻資料無法讀取。

是以,可以通過磁盤陣列的方式來避免因個别硬碟損壞且導緻的資料丢失。

存儲空間要求大:目前市面上常見的硬碟,最大的存儲空間為16TB單盤,當所要求存儲空間>16TB時,就需要用到磁盤陣列了。

目前常見的磁盤陣列可以輕松達到幾百TB甚至幾PB,可以友善企業資料集中存儲,統一管理,防止資料丢失。

對傳輸速度要求高:受限于硬碟速度,單顆硬碟讀寫速度有限,而SSD又不适用于重要資料的反複讀寫。

磁盤陣列可以把多塊硬碟疊加,在存儲空間疊加的同時,性能也疊加,一台磁盤陣列,輕松達到1GB/S以上的讀寫速度。

多人通路與協同制作:對應資料有同時通路需求的,可以選用共享陣列,支援Windows及MacOS同時通路,進而可以大大提升工作效率。

靈活權限管理:在大資料時代資料是無價的,目前部分陣列支援讀、寫、删除、資源回收筒功能,可以靈活設定權限,防止誤删除、惡意删除、惡意通路别人資料等情況。

12. 總結

以上從就是對海量衛星影像地圖資料存儲陣列櫃的全部說明,主要包括了陣列櫃應用案例,幾種常用的RAID模式的差別以及陣列櫃中的資料安全保護等說明。

你可以根據實際需求并結合本文分享的内容,為海量離線地圖資料陣列櫃選擇一種正确的RAID模式。

繼續閱讀