Netapp大概簡介（一）

一．NetApp存儲作業系統

Data ONTAP是NetApp最流行的存儲作業系統，它運作在NetApp FAS（Fabric Attached Storage）系統上。FAS系統是被設計為共享的存儲系統，它支援多種SAN和NAS存儲協定，并具有靈活的功能。

NetApp還提供在E-系列上運作的SANtricity作業系統。E系列系統是為某些應用程式應用程式需要專用的SAN存儲，特别是應用程式需要管理自己的資料。E系列系統從2011年收購Engenio發展而來。

Data ONTAP有兩種模式：7模式和叢集也稱作為群集模式或CDOT）。FAS系統可以運作在7模式或叢集，但不能同時運作兩種模式。兩種模式都完全相同，都是操作和控制存儲系統上的所有内容。

7模是是從NetApp的原始作業系統Data ONTAP -7G演進。叢集模式是從ONTAP收購的Spinnaker發展而來，群集模式比7模式更具可擴充性。

群集ONTAP的早期軟體版本的功能與7模模相比有一些限制。在8.3之前的版本中，NetApp在兩個版本中都釋出了DataONTAP以供使用者選擇，兩個版本中7模式具有全部的功能和特性，而叢集模式有更好的可擴充性。而從8.3開始NetApp專注于開發叢集模式，并不在開發7模式。

二．7-mode 可擴充限制

最多兩個FAS控制器可以配置為高可用性，HA配對并作為配對系統進行管理。控制器1擁有的磁盤将通過控制器1通路。由單個節點處理的磁盤量和吞吐量是有最大限制的，可以購買額外的HA對，但是它們對用戶端來說是單獨的系統。

在同一個控制器上磁盤之間無中斷地移動資料，但在控制器這間移動将會中斷用戶端的訪單，并且比較複雜。

三．Cluster-mode

為克服7模式的可擴充性限制，NetApp完全重寫7模式軟體體系結構。叢集的DataONTAP是從2003年收購Spinnaker Networks發展而來。

叢集Data ONTAP能在NAS協定上擴充到24個節點，可以擴充到支援SAN協定的叢集的8個節點。單個叢集可以擴充到138PB。并且可以不中斷地添加磁盤，磁盤櫃和節點。

整個叢集可以作為單個系統進行管理。叢集可以虛拟化為不同的虛拟存儲系統，稱為SVM存儲虛拟機或Vservers。SVM作為單個系統顯示給用戶端。可以建立SVM級管理者，SVM管理者呮能通路自己的SVM。資料可以在叢集中所有節點之間通過叢集互連不中斷地移動。

資料處理遍布群集中的不同節點，每個都有自己的CPU，記憶體和網絡資源，可以提供跨叢集的性能擴充和負載平衡。資料可以在群集中的多個節點上鏡像或緩存資料。

四．磁盤與磁盤櫃

NetApp之前使用光纖通道連接配接控制器與磁盤架，但現在光纖通道磁盤架已經被其本停用了。

目前的型号使用的是SAS（串行連接配接SCSI）磁盤架，意思是控制器通過SAS端口和線纜連接配接到機櫃。NetApp提供3種類型的磁盤 - SSD固态硬碟，SAS硬碟和SATA硬碟。所有3種類型的磁盤都适用于SAS磁盤架。

1. SSD磁盤提供最佳性能，但每GB的成本最高。
2. SATA（大容量）磁盤提供最低的性能，但是每GB成本最低。
3. SAS（性能）磁盤平衡了每GB的性能和成本。

五．NetApp存儲網絡

可以通過實施VLAN，可以提高區域網路的性能和安全性。将LAN劃分為第2層的單獨廣播域在終端主機插入的端口上配置接入VLAN，隻有該特定VLAN的流量才會被發送出通路端口。配置全部在交換機上進行，終端主機不會知道自己的VLAN。

在交換機之間的鍊路上配置Dot1Q中繼，以傳輸需要攜帶多個VLAN的流量。當交換機将流量轉發到另一個交換機時，它将其标記在具有正确VLAN的第2層Dot1Q頭，接收交換機隻會轉發出來的端那個VLAN。

終端主機通常隻是一個VLAN的成員，并不會意識到VLAN的存在。一個特殊情況是虛拟化的主機，其中有多個虛拟機連接配接到不同的子網，在這種情況下，我們需要将VLAN中繼到主機。

 NIC Teaming是将多個實體網卡組合成一個邏輯接口， 以提供備援和（可選）負載平衡。NIC Teaming也被稱作為綁定、負載或聚合。當在交換機上将多個實體端口捆綁為一個邏輯鍊路上時它被稱為端口通道（Port Channel），以太通道(Ether channel)或鍊路束(Link Bundle)。

在伺服器上将網卡進行主/備組合，所有流量都将通過主實體端口傳輸。如果該端口出現故障，流量将自動故障切換到備用端口。對于主備備援，不需要在交換機上估任何配置。

主動/主動的NIC Teaming，流量将在所有的實體端口上負載平衡。在端口出現故障的情況下，有多個端口提供備援。對于主動/主動模式，伺服器和連接配接的交換機都需要将實體端口加入一個邏輯鍊路，兩端的配置需要一緻。用于協商伺服器和交換機之間的協定有：靜态802.3ad或LACP鍊路聚合控制協定，如果伺服器和交換機都支援LACP，那麼它是首選。

六．SAN存儲入門

SAN術語：

1. LUN（邏輯單元号）對主機呈現為磁盤
2. LUN特定于SAN（而不是NAS）協定
3. 用戶端被稱為發起者
4. 存儲系統稱為目标

光纖通道是原始的SAN協定，并且仍然非常流行。它使用專用擴充卡，電纜和交換機。不同于以太網在OSI中的分層（包括實體層），FCP通過光纖通道網絡發送SCSI指令。光纖通道是一個非常穩定可靠的協定，它是無損的，不像TCP和UDP，它支援2,4,6,8和16 Gbps的帶寬

FCP使用WWN全名稱進行尋址，WWN是由16個十六進制字元組成的8位元組位址，格式為：15：00：00：f0：8c：08：95：de。 WWNN全名稱在存儲網絡中配置設定給該節點，同一個WWNN可以識别單個網絡節點的多個網絡接口。

在節點上，每個單獨的端為會被配置設定不同的WWPN全名稱端口名。多端口HBA在每個端口上具有不同的WWPN。WWPN相當于以太網中的MAC位址，WWPN被制造商燒錄，并保證在全球唯一。WWPN配置設定到用戶端和存儲系統上的HBA上，當配置光纖通道網絡時，我們主要關心WWPN，而不是WWNN。

可以配置别名進行更友善的配置和故障排除，例如，我們可以為具有WWPN的Exchange Server 15：00：00：f0：8c：08：95：de建立一個名為EXCHANGE-SERVER的别名。可以在光纖通道交換機和存儲系統上配置别名。

為了安全起見，将在交換機上配置分區（zoning）以進行控制哪些主機被允許互相通信，在光纖通道網絡上伺服器被允許與存儲系統通信，但是伺服器将不允許彼此通信。

将正确的LUN呈現給正确的主機至關重要，如果錯誤的主機能夠連接配接到LUN，那麼它可能會損壞它。分區防止未經授權的主機連接配接到存儲系統，但它不會阻止主機通路它所到達的錯誤的LUN。在存儲系統上配置LUN mask，以将LUN鎖定到被授權通路的主機。為了保護存儲，需要在交換機上配置分區并存儲系統上的LUN masking.

光纖通道網絡中的每個交換機将被配置設定一個唯一的Domain ID，網絡中的一個交換機将被自動配置設定為根交換機，它将為其他交換機配置設定Domain ID。每個交換機根據他們的Domain ID偵聽網絡中的其他交換機以及如何路由去其它機換機。

當伺服器或存儲系統的HBA加電時，它将發送一個FLOGI Fabric登入請求到其本地連接配接的光纖通道交換機，然後交換機将為其配置設定24位FCID光纖通道ID位址。配置設定給主機的FCID由交換機的域ID和主機接入的交換機端口生成。FCID類似于IP位址。由光纖通道交換機使用在伺服器及其存儲之間路由流量。交換機維護FCID表到WWPN位址映射到主機所在的端口。

光纖通道交換機共享FLOGI資料庫資訊，彼此使用FCNS光纖通道名稱服務（Channel Name Service）。網絡中的每個交換機都會學習每個WWPN在哪裡以及如何路由。

FLOGI Fabric登入過程完成後，發起者将發送PLOGI端口登入，基于在交換機上的分區配置，主機将學習它可用的目标WWPN。最後發起主機将向其目标發送PLRI程序登入到存儲，存儲系統将基于它配置的LUN  masking授予對主機的通路權限.

在企為中伺服器通路其存儲是關鍵任務，必須沒有單點失效問題。是以需要配置備援光纖通道網絡。每個伺服器和存儲系統都将通過備援的HBA端口連接配接到兩個光纖通道網絡。

光纖通道交換機将共享資訊彼此分發的資訊（例如Domain ID，FCNS資料庫和Zoning）。如果其中的一個交換機發生錯誤能夠傳播到另一台交換機上，這樣使兩台交換機失效并降低伺服器到存儲的連接配接。是以，不同旁路的FABRIC不要互相交叉連接配接，兩個旁路fabric保持實體分離。主機連接配接到兩個FABRICS，但交換機不是.

存儲使用ALUA非對稱邏輯單元配置設定，存儲系統告訴用戶端哪些是其使用的首選路徑。将擁有LUN的節點的直接路徑标記為優化路徑，其他路徑被标記為非優化路徑。

在程序登入期間，啟動者将檢測可用的端口連接配接到存儲目标端口組，并且ALUA将會通知哪些是首選路徑，啟動者上的多路徑軟體将選擇哪些路徑或路徑可以到達存儲。所有流行的作業系統都有多路徑軟體，并支援主動/主動或主動/備用路徑。用戶端的某個端口如果失效将自動故障轉移到備用路徑。

用戶端與SAN存儲的連接配接與以太網的工作方式完全不同。在以太網中，所有的路由和交換決策都是由網絡基礎裝置處理的。但在SAN存儲中，由用戶端和主機啟用多路徑智能選擇。

在光纖通道中，發起者将通過FLOGI自動檢測可用路徑，在發起者上的PLOGI和PLRI程序将選擇哪個路徑或使用路徑。

iSCSI是網際網路小型計算機系統接口協定，它運作在以太網上，最初被視為一個較少便宜的替代光纖通道方案。它具有更高的頭部分組開銷，可靠性和性能比光纖通道低。它通過以太網運作，可以共享資料網絡或擁有自己的資料專用網絡基礎設施。TOE（TCP解除安裝引擎）卡是可以使用的專業擴充卡，用于降低伺服器的CPU負載。有時稱為iSCSI HBA。

光纖通道使用WWN來識别發起者和目标，iSCSI使用IQN iSCSI合格名稱（或較不常見的EUI擴充唯一）辨別符進行尋址。IQN最多可達255個字元，具有以下格式：iqn.yyyy-mm.naming-authority：唯一的名字例如iqn.1991-05.com.microsoft:testHost。IQN作為一個整體配置設定給主機，類似于Fiber中的WWNN。ISCSI通過以太網運作，是以各個端口由IP位址尋址。

iSCSI不支援光纖通道FLOGI/ PLOGI / PLRI程序，管理者必須通過指定明确地将發啟者指向其目标端口組中的IP位址之一，然後，它将發現目标的IQN和TPG中的其他端口。發啟器上的多路徑軟體可以選擇哪個路徑或要采取的路徑。雖然它運作在以太網上，但iSCSI仍然是SAN協定，在發啟者上仍使用多路徑軟體進行智能選路。

LUN  masking的配置方式與使用光纖通道相同，在存儲系統上使用IQN而不是WWPN識别用戶端。iSCSI不支援Zoning。通常在發啟都上配置基于密碼的身份驗證以防範欺騙***。端到端也可以啟用IPSec加密來增強安全性。

以太網光纖通道（FCoE）是最新的SAN協定，随着10Gbps以太網的出現成為可能，在相同的擴充卡上以足夠的帶寬來支援資料和存儲流量。

FCoE使用封裝在以太網中的光纖通道協定，但在以太網上運作。QoS用于保證存儲流量所需的帶寬，它保留了光纖通道的可靠性和性能。

以太網光纖通道（FCoE）的工作方式與原本的光纖通道FCP的工作原理一樣，隻是封裝在以太網中，以便可以越過以太網。我們仍然有WWPN的發起者和目标，并使用FLOGI，PLOGI和PLRI過程。

在FCoE中，存儲和資料流量都是共享實體接口，存儲流量使用FCP，是以需要WWPN。以太網資料流量需要一個MAC位址，以太網資料流量和FCP存儲流量的工作原理完全不同，是以我們如何能讓實體接口夠同時支援他們？答案是 - 我們将實體接口虛拟化為兩個虛拟接口：具有以太網資料流量的MAC位址的虛拟NIC和具有WWPN的虛拟HBA用于存儲流量。存儲和資料流量分為兩個不同的VLAN中。

光纖通道在發起者和目标之間傳輸是無損協定，它確定沒有幀丢失。以太網不是無損的。 TCP需要得到接收方的确認，以确認數的據到達目的地。如果确認未被收到，資料包将被重新發送。FCoE使用假設無損網絡的FCP，是以我們需要一種方法確定我們的存儲資料包在穿過以太網時不會丢失。

PFC優先流量控制用于以太網的FCoE擴充確定無損到達，PFC以逐跳為基礎工作。必須在發起者和目标之間的路徑中的每個NIC和交換機都必須支援FCoE。具有FCoE功能的網卡被稱為CNA融合網絡擴充卡。

1. NIC：網絡接口擴充卡， 傳統的以太網卡，它被用于NAS協定和iSCSI。
2. TOE：TCP解除安裝引擎， 用于從伺服器的CPU中解除安裝TCP / IP處理，可以提高NAS協定和iSCSI的性能。
3. HBA：主機總線擴充卡。 光纖通道等效于NIC。
4. iSCSI HBA：針對iSCSI優化的以太網TOE卡。
5. CNA：融合網絡擴充卡。 支援FCoE的10Gb以太網卡。
6. UTA：通用目标擴充卡 支援FCoE的NetApp專有卡或光纖通道。

RAID是廉價磁盤或備援備援陣列，多個實體磁盤組合成一個邏輯單元提供備援或改進的性能，或兩者兼而有之。與單個磁盤相比，不同的RAID級别提供不同級别的備援和性能，RAID可以通過作業系統的軟體進行管理或由硬體RAID控制器控制。

七．NetApp 存儲系統配置

Vol0

1. 存儲系統出工廠時，它已經安裝有Data ONTAP
2. 作業系統映像是安裝在CompactFlash（CF卡）上
3. 系統配置資訊存儲在硬碟上
4. 需要一個已存在的聚合和卷來存放系統配置
5. Aggr0和Vol0存在于叢集中的每個節點上
6. 系統資訊包括複制資料庫（RDB)和日志檔案存儲在Vol0上
7. 系統資訊在叢集上的節點網絡之間複制
8. 不要在Vol0上存放使用者資料，它僅用于存儲系統資訊

複制資料庫（RDB)

1. RDB包括五個單元：

- 管理網關

- 卷位置資料庫

- 虛拟接口管理器

- 阻止配置和操作管理

- 配置複制服務

1. 群集中的某一個節點将被標明為每個節點的複制RDB資訊
2. 相同的節點在發生故障轉移時将成為新的主節點

管理網關

1. 管理網關提供管理CLI
2. 叢集作為一個整體，可以通過一個指令行對整個叢集進行管理，而不需要對每個節點進行單獨的配置
3. 通過連接配接到叢集的管理位址來管理叢集，可以使用GUI或CLI模式
4. 當在叢集中發生任何更改時，這些更改将在整個叢集所有節點中複制

卷位置資料庫（VLDB)

1. 卷位置資料庫列出哪個聚合包含哪些卷，以及哪個節點包含哪些聚合
2. 用戶端可以連接配接到不同的節點檢視卷，而不需要到卷的宿主節點上。VLDB允許叢集中的所有節點跟蹤卷位于哪裡
3. 管理者可以将卷移動到不同的聚合，這個時候将觸發VLDB更新
4. VLDB緩存在每個節點的記憶體中，以優化性能

虛拟接口管理器(VIFMGR)

1. 虛拟接口管理器列出邏輯接口目前開啟在哪個實體接口上
2. IP位址存在于邏輯接口（LIF）
3. 如果發生故障切換，邏輯接口可以移動到不同的實體接口

磁盤塊配置和操作管理(BCOM)

1. BCOM存儲關于SAN協定的資訊
2. 包含LUNs和iGroups (LUN Masking)上的資訊

配置複制服務（CRS)

配置複制服務是用于MetroCluster去複制配置和操作資料複制到遠端輔協叢集

資料SVMs

1. 資料SVM向用戶端提供資料
2. 預設(初始）情況下不存在資料SVM
3. 您必須至少有一個資料SVM并包含卷以讓用戶端通路資料
4. 您可以為不同部門建立多個資料SVM來建立分離的安全邏輯存儲系統

管理的SVM

1. 管理SVM也稱為群集管理伺服器，它提供對系統的管理通路
2. 管理SVM是在系統設定過程中建立的
3. 管理SVM不托管使用者卷，它是純粹用于管理通路
4. 管理SVM擁有叢集管理LIF，叢集管理LIF可以故障轉移到整個叢集中的另一個實體端口

節點SVM

1. 節點SVM也純粹用于管理通路
2. 在系統設定期間也建立節點SVM
3. 節點SVM擁有該節點的節點管理LIF
4. 節點管理LIF可以故障切換到同一個節點的另一個實體端口
5. 就像群集管理LIF一樣，節點管理LIF也可以用于管理整個叢集，而不僅僅是該個體節點

服務處理器（SP)

1. 服務處理器提供對于控制器的遠端管理功能
2. SP是控制器内獨立系統，隻要電源線連通後，SP例可以使用，即使Data ONTAP處理關閉狀态
3. 可以通過SP的CLI檢視環境屬性，如溫度、風扇速度、電壓等
4. 如果管理IP位址沒有響應，可以通過連接配接到Data ONTAP CLI重新啟動系統。
5. 如果有任何環境限制，SP可以關閉控制器，并通知NetApp支援

cluster1::>system nodeservice-processor network modify –node cluster1-01

                 -address-type IPv4 -enable true-ip-address 172.23.1.14

                 -netmask 255.255.255.0 –gateway172.23.1.254

通路服務處理器

有兩種方式通路服務處理器

1. 通過SSH服務處理器的IP位址
2. 在控制器會話中按Ctrl+G, 按Ctrl+D結束會話

登陸到SP需要使用一個特别的使用者名：naroot，并使用admin的密碼

硬體輔助的故障轉移

1. HA pair對之間的控制器通過HA連接配接線互相發送keepaives
2. 如果多個keepalives未收到，開始故障轉移
3. 通過硬體輔助的故障轉移，如果檢測到自己的控制器失效，SP發送信号到對端控制器并要求立即接管。

授權，有三種授權

1. 标準授權

标準許可證是節點鎖定許可證。許可證與節點的序列号相關聯。如果節點離開叢集，許可證将一起離開叢集。隻要叢集中至少有一個節點，功能就可以使用。叢集中的每個節點都應具有許可證。

1. 站點授權

站點許可證與叢集序列号相關，而不是特定的節點。功能可用于叢集中的所有節點。如果一個節點離開叢集，許可證仍然會留在站點。

1. 評估授權

評估許可證是示範許可，有過期時間限制。它們與叢集序列号綁定，而不是特定節點。功能可用于叢集中的所有節點。如果一個節點離開了叢集，許可證仍然會留在站點。

八．NetApp 實體資源與結構

存儲結構

SVM (Vservers) 結構

磁盤櫃

您可以在堆疊中最多存放10個磁盤櫃，最佳做法是不要在相同的堆棧中混合媒體類型，将以0結尾ID配置設定頂層的磁盤櫃。

磁盤（和由它們組成的聚合）屬于某一個節點。如果一個節點失效，HA對等體可以擷取磁盤的所有權，通過SAS連接配接的HA對等體是主動/備用結構。節點可以通過叢集互連達到其他節點的聚合交換機。

Aggr0 和vol0:當系統通電時，它将從CF卡加載Data ONTAP系統映像，然後從磁盤加載系統資訊。最低可通路資料的級别卷（volume）級别，是以需要一個aggr和vol來儲存系統資訊。系統根集合和卷是Aggr0和Vol0，系統資訊在叢集中的所有節點上複制，群集中的每個節點都有Aggr0和Vol0。如果系統出廠重置，那麼所有磁盤都将被擦除，然後将再建立一個新的Aggr0，并在每個節點上建立Vol0。

Ownership： 必須将磁盤配置設定給HA對中的特定節點以便使用磁盤。預設情況下磁盤自動配置設定，自動配置設定可以在Stack，Shelf或bay級完成。在Stack級别，Stack中的所有磁盤都将配置設定給連接配接到Stack上的IOM-A控制器。在Shelf層，Stack中的一半Shelf将配置設定給每個節點。在bay級别，一個Shelf中的一半磁盤将被配置設定給每個節點。可以禁用自動磁盤配置設定，如果這樣做，需要手動配置設定所有新添加的磁盤到系統然後才能使用。在較小的2節點系統上，可能需要将所有磁盤配置設定給特定的節點，可以做一個大的聚合，這樣做，系統将作為主動/待機（而不是每個節點控制一個aggr）。用戶端的讀寫請求将隻有一個節點處理。

磁盤分組到RAID組。RAID組被配置設定給聚合。 RAID組配置是聚合的屬性。RAID組配置指定我們擁有多少個資料磁盤、容量，多少個奇偶校驗磁盤用于備援。

RAID組可以是RAID 4或RAID-DP。RAID 4- 單奇偶校， 存在單個硬碟故障，-aggr0的最小大小為2個磁盤，- 正常資料聚合的最小大小為3個磁盤。RAID-DP- 雙重奇偶校驗，能容忍存在兩塊硬碟故障，- aggr0的最小大小為3個磁盤，- 正常資料聚合的最小大小為5個磁盤。

RAID組中的磁盤必須是相同類型（SAS，SATA或SSD）相同的大小和速度。

如果硬碟發生故障，系統将自動将其替換為備用磁盤。相同類型、大小和速度的磁盤和資料将被重建。在重建完成之前會出現性能下降。在磁盤系統中應該至少有兩種備用磁盤，每種類型的大小和速度。

聚合可以由一個或多個RAID組組成，小的聚合将隻有一個RAID組，更大的聚合将會有多個RAID組，目的是在能力和備援之間取得良好的平衡。可以擁有由16個單個RAID-DP組組成的聚合磁盤，這将給14個資料驅動器的容量和2個奇偶校驗磁盤，為了備援不要把一個48個硬碟的聚合隻有一個RAID組。這将給46個資料磁盤和2個奇偶校驗磁盤。因為有太多的機會發生多個驅動器故障。磁盤越多故障的機率越高。使用3個大小為16個磁盤的RAID組。這樣會提高備援能力。聚合中的所有RAID組應盡可能接近相同的大小，HDD的推薦RAID組大小為12到20個磁盤；SSD的推薦RAID組大小為20到28個磁盤。我們還需要考慮性能，擁有的磁盤越多，性能越好，因為可以同時從多個磁盤讀取和寫入資料。

進階磁盤分區，僅在入門級平台（FAS2500）和AFF上支援ADP，它使用RAID-DP，不支援MetroCluster。新的系統配有ADP，運作較早版本的Data ONTAP的系統可以轉換為ADP。

轉載出處：http://blog.51cto.com/chaozhs/category1.html