天天看點

存儲基礎知識詳解

一. 硬碟接口類型

1、并行接口還是串行接口

(1) 并行接口

         指的是并行傳輸的接口,比如有0~9十個數字,用10條傳輸線,那麼每根線隻需要傳輸一位數字,即可完成。

         從理論上看,并行傳輸效率很高,但是由于線路上的實體原因,它的傳輸頻率不能太高,是以實際的傳輸速度并不和并行度成正比,甚至可能更差。

(2) 串行接口

          指的是串行傳輸的接口,同樣是0~9十個數字,用1條傳輸線,那麼需要傳輸10次,才可以完成。

          從理論上看,串行傳輸效率不高,但是由于它的資料準确性,高頻率的支援,使得傳輸速度可以很高。

(3) 并行連接配接線和串行連接配接線(IDE/SAT)

       目前,計算機的外部接口大多被串行接口取代,比如:USB,1394,COM等等,都是串行接口。

而硬碟的外部接口也已經被串行接口(SATA/SAS)占領。

2. 硬碟接口類型

        按硬碟接口協定/規範可以分為2類:ATA和SCSI。使用了某種接口的硬碟就稱為XXX硬碟。

 1)ATA接口協定

    (1) IDE接口

          IDE接口也稱為PATA(Parallel ATA)接口,也就是并行ATA接口。以前的PC機大多用的這種接口的硬碟。

    (2) SATA接口

          SATA(Serial ATA)接口,串行ATA接口,這類硬碟,轉速通常不太高,容量大,目前PC機或者IOPS要求不是太高的存儲多使用這種接口的硬碟。

    (3) IDE和SATA硬碟接口圖示

 2)SCSI接口協定

  (1) SCSI接口

       通常所說的SCSI,是一種并行接口,早期的計算機外設(列印機,掃描器等等),也大多使用這種接口。現在使用這種接口的硬碟已經很少。

   (2) SAS接口

          SAS(Serial SCSI)接口,串行SCSI接口,這類硬碟,轉速高,IOPS高,适用于OLTP系統的存儲。

另外,SAS的接口技術已經可以相容SATA,也就是說:如果主機闆上有個SAS接口,是可以接SATA硬碟的,但是反之不行。從圖檔上看,SAS和SATA接口有點相似。

二. 存儲方案

       所謂的存儲方案,就是用單獨的軟硬體将磁盤/磁盤組管理起來,供主機使用。

存儲分類(如下表一)根據伺服器類型分為:封閉系統的存儲和開放系統的存儲,

封閉系統主要指大型機,AS400等伺服器,

開放系統指基于包括Windows、UNIX、Linux等作業系統的伺服器;

開放系統的存儲分為:内置存儲和外挂存儲;

開放系統的外挂存儲根據連接配接的方式分為:直連式存儲(Direct-Attached Storage,簡稱DAS)和網絡化存儲(Fabric-Attached Storage,簡稱FAS);

開放系統的網絡化存儲根據傳輸協定又分為:網絡接入存儲(Network-Attached Storage,簡稱NAS)和存儲區域網絡(Storage Area Network,簡稱SAN)。

       由于目前絕大部分使用者采用的是開放系統,其外挂存儲占有目前磁盤存儲市場的70%以上,是以本文主要針對開放系統的外挂存儲進行論述說明。 

表一: 

目前的外挂存儲解決方案主要分為三種:

       直連式存儲 (DAS:Direct Attached Storage)

       網絡附加裝置 (NAS:Network Attached Storage)

       存儲區域網絡 (SAN:Storage Area Network)

       存儲方案内部使用的硬碟,多為SATA/SAS,追求高性能也用SSD,經過串聯/RAID之後,對主機提供通路接口。

如下表二: 

1. DAS

      直接式存儲 (DAS:Direct Attached Storage),是指将儲存設備通過SCSI接口或FC接口直接連接配接到一台計算機上。DAS不算是網絡存儲,因為隻有它所挂載的主機才可通路它。

也就是說,伺服器發生故障時,連接配接在伺服器上的DAS儲存設備中的資料暫時不能被存取。

DAS裝置示例:

       DAS存儲在中小企業應用中使用不少,因為廉價成本較低,存儲系統被直連到應用的伺服器中,在中小企業中,許多的資料應用是必須安裝在直連的DAS存儲器上。

       DAS存儲更多的依賴伺服器主機作業系統進行資料的IO讀寫和存儲維護管理,資料備份和恢複要求占用伺服器主機資源(包括CPU、系統IO等),資料流需要回流主機再到伺服器連接配接着的錄音帶機(庫),資料備份通常占用伺服器主機資源20-30%,是以許多企業使用者的日常資料備份常常在深夜或業務系統不繁忙時進行,以免影響正常業務系統的運作。直連式存儲的資料量越大,備份和恢複的時間就越長,對伺服器硬體的依賴性和影響就越大。

       直連式存儲與伺服器主機之間的連接配接通道通常采用SAS連接配接,随着伺服器CPU的處理能力越來越強,存儲硬碟空間越來越大,陣列的硬碟數量越來越多,SAS通道将會成為IO瓶頸;伺服器主機SAS ID資源有限,能夠建立的SAS通道連接配接有限。

       無論直連式存儲還是伺服器主機的擴充,從一台伺服器擴充為多台伺服器組成的群集(Cluster),或存儲陣列容量的擴充,都會造成業務系統的停機,進而給企業帶來經濟損失,對于銀行、電信、傳媒等行業7×24小時服務的關鍵業務系統,這是不可接受的。并且直連式存儲或伺服器主機的更新擴充,隻能由原裝置廠商提供,往往受原裝置廠商限制。

2. SAN

       存儲區域網絡(SAN:Storage Area Network),

目前的SAN存儲有2種:

      一是基于光纖通道的FC SAN;

     二是基于以太網的IP SCAN(也就常說的iSCSI)。

FC SAN通過光纖交換機連接配接到主機(HBA卡),也就是說可以連接配接到光纖交換機的主機都可以通路這個存儲;

iSCSI作為共享于以太網絡上的存儲則更類似于NAS。

      存儲區域網絡,從名字上我們也可以看出,這個是通過光纖通道交換機連接配接存儲陣列和伺服器主機,最後成為一個專用的存儲網絡。SAN經過十多年曆史的發展,已經相當成熟,成為業界的事實标準(但各個廠商的光纖交換技術不完全相同,其伺服器和SAN存儲有相容性的要求)。

     SAN提供了一種與現有LAN連接配接的簡易方法,并且通過同一實體通道支援廣泛使用的SCSI和IP協定。      SAN不受現今主流的、基于SCSI存儲結構的布局限制。特别重要的是,随着存儲容量的爆炸性增長,SAN允許企業獨立地增加它們的存儲容量。SAN的結構允許任何伺服器連接配接到任何存儲陣列,這樣不管資料置放在那裡,伺服器都可直接存取所需的資料。因為采用了光纖接口,SAN還具有更高的帶寬。

     因為SAN解決方案是從基本功能剝離出存儲功能,是以運作備份操作就無需考慮它們對網絡總體性能的影響。SAN方案也使得管理及集中控制實作簡化,特别是對于全部儲存設備都叢集在一起的時候。最後一點,光纖接口提供了10公裡的連接配接長度,這使得實作實體上分離的、不在機房的存儲變得非常容易。SAN是目前業界中高端存儲的主流标準。

FC SAN裝置示例:

IP SAN 裝置示例:

3. NAS

       網絡接入存儲 (NAS:Network Attached Storage),是指将儲存設備通過标準的網絡拓撲結構(例如以太網),連接配接到一群計算機上。NAS有檔案系統和IP位址,可以類似的了解為網路上的芳鄰的共享磁盤。

       NAS是檔案級的存儲方法,它的重點在于幫助工作組和部門級機構解決迅速增加存儲容量的需求。如今使用者采用NAS較多的功能是用來文檔共享、圖檔共享、電影共享等等,而且随着雲計算的發展,一些NAS廠商也推出了雲存儲功能,大大友善了企業和個人使用者的使用。

       NAS産品是真正即插即用的産品。NAS裝置一般支援多計算機平台,使用者通過網絡支援協定可進入相同的文檔,因而NAS裝置無需改造即可用于混合Unix/Windows區域網路内,同時NAS的應用非常靈活。

但NAS有一個關鍵性問題,即備份過程中的帶寬消耗。與将備份資料流從LAN中轉移出去的存儲區域網(SAN)不同,NAS仍使用網絡進行備份和恢複。NAS 的一個缺點是它将存儲事務由并行SCSI連接配接轉移到了網絡上。這就是說LAN除了必須處理正常的最終使用者傳輸流外,還必須處理包括備份操作的存儲磁盤請求。NAS性能比SAN要差很多,但相對成本也低很多。

NAS裝置示例:

三、 在資料庫存儲上的應用

三種存儲方案的比較,如圖:

       可作為本機的外挂硬碟,不過現在單塊磁盤的空間已經很大,如果幾個T的空間,直接在主機裡插硬碟就可以實作了,不需要外挂。

2. NAS

        由于它的檔案系統特性,加上以太網網線傳輸,更像是我的電腦-網路上的芳鄰-共享磁盤,通路方式也是類似:\\NAS01\BACKUP\database_name.bak。更多的是作為檔案共享、備份、歸檔所用,比如資料庫的曆史備份/異地備份檔案。

3. SAN

       FC SAN使用光纖傳輸,是一個高速的共享存儲,資料庫的任何東西都可以放在上面,還有就是在做叢集時(failover clustering) 作為仲裁盤;

iSCSI的傳輸速率要低于FC SAN,目前在我們的環境中還沒有直接使用iSCSI做資料庫存儲,通常是用在類似NAS的地方。

總結:

     DAS存儲一般應用在中小企業,與計算機采用直連方式,性能與成本最低;NAS存儲則通過IP以太網添加到計算機上,性能與成本中等;SAN存儲則使用FC光纖接口,性能與成本較高。

四、存儲分類

       初學存儲技術的人可能會被SAN、NAS、DAS、FC、ISCSI、FC-SAN、IPSAN等這些大量的術語和英文縮略語搞得暈頭轉向,技術資料的确看了很多,但仍然無法清楚地知道這些概念之間根本的差別。因為常見的資料中一般都不會對SAN、ISCSI、FC-SAN、IPSAN都多個概念進行分類,經常隻是簡單地放在一起來進行論述,論述的内容的大多集中優缺點對比方面,但結果卻是相反的,經常是越比較越糊塗。

很多初學者經常會問出這樣的問題:SAN和 NAS、ISCSI存儲有什麼差別?SAN和NAS裝置哪個更好?“如何為一個應用系統選擇儲存設備?

  實際上SAN、NAS、DAS、FC、ISCSI、FC-SAN、IP-SAN等并不是同一類别的概念。SCSI、FC、NAS、iSCSI等概念指的是儲存設備類型,DAS、NAS、SAN等指的是存儲系統的網絡結構。   

1、按儲存設備類型分 

      儲存設備類型是指通過采用SCSI、FC、TCP/IP,ISCSI等接口類型、資料傳輸協定、以及不同資料存儲媒體的儲存設備。常見的儲存設備類型可為SCSI存儲、NAS存儲、FC存儲、iSCSI存儲和錄音帶存儲。  

      儲存設備類型這個概念的核心是裝置,指的是由存儲媒體、驅動器、控制器、供電系統、冷卻系統等組成的一個整體。它獨立與網絡層裝置和主機層裝置,是以當提到儲存設備類型的時候,不要涉及與儲存設備連接配接的網絡裝置和主機。  

      區分一個儲存設備的類型主要依靠儲存設備對外提供的接口類型、資料傳輸協定、和存儲媒體。

a. SCSI存儲 

      儲存設備的對外提供的接口是SCSI,按照SCSI協定傳輸資料的儲存設備就是SCSI存儲。如果再區分存儲媒體,那麼存儲媒體為SCSI磁盤的存儲被稱為SCSI-SCSI存儲,存儲媒體為SATA磁盤的存儲被稱為SCSI-SATA存儲。存儲名稱分為兩個部分,前面表示儲存設備接口類型及接口部分的資料傳輸協定,後部分表示存儲媒體。  

b. FC存儲      

       儲存設備的對外提供的接口是FC光纖通道,按照FC光纖通道協定傳輸資料的儲存設備就是FC存儲。存儲媒體為FC磁盤的存儲被稱為FC-FC存儲。存儲媒體為SATA磁盤的存儲被稱為FC-SATA存儲。

c. ISCSI存儲 

       采用ISCSI輸出協定、對外提供ISCSI接口的儲存設備自然應該成為ISCSI存儲,隻不過ISCSI一般都采用SATA磁盤作為存儲媒體,是以ISCSI存儲在名稱上不會再細分,都通稱為ISCSI。 

d. NAS存儲 

       NAS 是一種特殊的儲存設備類型,雖然NAS對外提供IP接口,按照IP協定進行資料傳輸,但NAS最終提供給主機的是一個檔案系統,SCSI存儲、FC存儲和 ISCSI等提供給主機的是一個裸的、沒有檔案系統的邏輯卷,且NAS本身是一個伺服器+存儲的結構,是以嚴格上講,NAS應該能算是一種存儲系統結構,而不是一個存儲類型。不過很多時候我們都把NAS的伺服器+存儲結構看成一個整體,這個整體又通過标準的IP傳輸協定來進行通路和資料傳輸。是以NAS一般都被認為是一個儲存設備類型。NAS既是一個儲存設備類型,又是一個存儲系統網絡結構

2、按存儲系統的網絡結構分 

       存儲系統網絡結構是指儲存設備與伺服器、工作站等需要進行資料讀寫操作的主機之間的連接配接方式,網絡拓撲結構、資料讀寫方式、存儲共享方式和資料共享方式。存儲系統網絡結構不同,儲存設備的工作方式、流程和性能就會不同。  

      大家常提到的、主流的存儲系統網絡架構有DAS、NAS、SAN三種網絡架構。

五、Raid

        RAID(Redundant Array of Inexpensive Disks)稱為廉價磁盤備援陣列。RAID的基本原理是把多個便宜的小磁盤組合到一起,成為一個磁盤組,使性能達到或超過一個容量巨大、價格昂貴的磁盤。          目前 RAID技術大緻分為兩種:基于硬體的RAID技術和基于軟體的RAID技術。其中在Linux下通過自帶的軟體就能實作RAID功能,這樣便可省去購買昂貴的硬體 RAID 控制器和附件就能極大地增強磁盤的 IO 性能和可靠性。由于是用軟體去實作的RAID功能,是以它配置靈活、管理友善。同時使用軟體RAID,還可以實作将幾個實體磁盤合并成一個更大的虛拟裝置,進而達到性能改進和資料備援的目的。當然基于硬體的RAID解決方案比基于軟體RAID技術在使用性能和服務性能上稍勝一籌,具體表現在檢測和修複多位錯誤的能力、錯誤磁盤自動檢測和陣列重建等方面。

RAID級别介紹:

特點

硬碟及容量

性能及安全

典型應用

raid 0

用于平行存儲,即條帶。其原理是把連續的資料分成幾份,然後分散存儲到陣列中的各個硬碟上。任何一個磁盤故障,都将導緻資料丢失。

硬碟數:一個或更多

容量:總的磁盤容量

性能:讀寫性能高,随機寫性能高

安全:無備援,無熱備盤,無容錯性,安全性低

無故障的迅速讀寫,要求安全性不高,如圖形工作站等。

raid 1

鏡像存儲。其原理是把相同的資料分别寫入陣列中的每一塊磁盤中,最大限度的保證使用者資料的可用性和可修複性。缺點是存儲成本高。

硬碟數:兩個或2*N個

容量:總磁盤容量的50%

性能:讀寫性能低,随機寫性能低

安全:利用複制進行備援,有熱備盤,可容錯,安全性高

随機資料寫入,要求安全性高,如伺服器、資料庫存儲領域。

raid 5

分布奇偶位條帶。是一種存儲性能、資料安全和存儲成本兼顧的存儲方案,也可了解為是RAID 0和RAID 1的折衷方案。其原理是把資料和相對應的奇偶校驗資訊存儲到組成RAID5的各個磁盤上,并且奇偶校驗資訊和相對應的資料分别存儲于不同的磁盤上。當RAID5的一個磁盤資料發生損壞後,利用剩下的資料和相應的奇偶校驗資訊去恢複被損壞的資料。相對于RAID 0,隻是多了一個奇偶校驗資訊。多個資料可對應一個奇偶校驗資訊。

硬碟數:三個或更多

容量:(n-1)/n的總磁盤容量(n為磁盤數)

性能:随機和連續寫性能低,讀性能高

安全:利用奇偶校驗進行備援,可容錯,安全性高

随機資料傳輸要求安全性高,如金融、資料庫、存儲等。

raid 10

鏡像陣列條帶。兼顧存儲性能和資料安全,提供了與RAID 1一樣的資料安全保障,同時具備與RAID 0近似的存儲性能。缺點是存儲成本高。

硬碟數:四個或4*N個

性能:讀寫性能适中

安全:利用複制進行備援,可容錯,安全高

适于于要求存取資料量大,安全性高,如銀行、金融等領域。

RAID 10 和 RAID 01 的差別:

RAID 10 和 RAID 01 是兩種邏輯方式不同的組合。 RAID 10 是先鏡像後條帶,即先将硬碟縱向做鏡像,然後再橫向做條帶。在這種情況下,隻要不是同一個鏡像組中的幾塊硬碟同時壞掉,RAID組都不會崩潰。即同一個鏡像組的硬碟不能同時壞掉。

RAID 01 是先條帶後鏡像,即先将硬碟橫向做條帶,然後再縱向做鏡像。 在這種情況下,隻要不是兩個條帶上同時有硬碟壞掉,則整個RAID組都不會崩潰。不管發生媒體損壞的兩塊硬碟是否是鏡像 盤。即不同條帶組的硬碟不能同時壞掉。

RAID 10 和 RAID 01 在性能上基本相同,但RAID 01 發生故障的機率要大于RAID 10 。是以一般情況下都選擇RAID 10。

存儲基礎知識詳解
存儲基礎知識詳解
存儲基礎知識詳解

JBOD:

        JBOD的含意是控制器将機器上每顆硬碟都當作單獨的硬碟處理,是以每顆硬碟都被當作單顆獨立的邏輯碟使用。此外,JBOD并不提供資料備援的功能。

       JBOD(just a bunch of disks,簡單磁盤捆綁,或有時稱簡單驅動捆綁)是一個不太正規的術語,官方術語稱作“Spanning”,它用來指還沒有根據RAID(獨立磁盤備援陣列)系統配置以增加容錯率和改進資料通路性能的電腦硬碟。

  JBOD不是标準的RAID級别,它隻是在近幾年才被一些廠家提出,并被廣泛采用。

     JBOD是在一個底闆上安裝的帶有多個磁盤驅動器的儲存設備。和RAID陣列不同,JBOD沒有前端邏輯來管理磁盤上的資料分布,相反,每個磁盤進行單獨尋址,作為分開的存儲資源,或者基于主機軟體的一部分,或者是RAID組的一個擴充卡卡。

  RAID系統在多個磁盤上備援地存儲了同樣的資料,而這多個磁盤在作業系統看來就像一個磁盤。雖然JBOD也讓多個磁盤看來似乎隻有一個,但它是通過把多個驅動器合并成一個大的邏輯磁盤來做到這一點的。JBOD使用獨立的磁盤并沒有帶來任何好處,也不能提供任何RAID所能帶來的容錯或是更好的性能等好處.

    Span是在邏輯上把幾個實體磁盤一個接一個串聯到一起,進而提供一個大的邏輯磁盤。Span上的資料簡單地從第一個磁盤開始存儲,當第一個磁盤的存儲空間用完後,再依次從後面的磁盤開始存儲資料。Span存取性能完全等同于對單一磁盤的存取操作。Span也不提供資料安全保障。它隻是簡單地提供一種利用磁盤空間的方法,Span的存儲容量等于組成Span的所有磁盤的容量的總和。

繼續閱讀