本節書摘來自異步社群《資料中心虛拟化技術權威指南》一書中的第2章，第2.2節，作者【巴西】gustavo a. a. santana，更多章節内容可以通路雲栖社群“異步社群”公衆号檢視
資料中心虛拟化技術權威指南
一般來說，資料中心網絡可以認為是從園區網絡專門演變而來的。實際上，直到 20 世紀 90 年代晚期，公司将伺服器和使用者終端連接配接到相同網絡結構并不罕見。
圖 2-5 描繪出了一個我和幾個客戶共同見證的網絡設計方案。
如圖 2-5 左側所示，此公司遵循了20世紀 90 年代園區網設計的三層結構（核心 - 彙聚 - 接入），其内部伺服器直接連接配接到了園區核心。而後，關鍵
伺服器與這些交換機這樣相連，也是有理由的，因為他們通常都被高度使用而放在園區網絡的中心。
然而，随着伺服器的不斷增加和它們對公司的重要性不斷提高，設計好的網絡也需要不斷發展。圖 2-5 的右邊代表在 2010 年左右客戶網絡的狀态。在此設計方案中，一個單獨的三層網絡結構被設計用來連接配接公司伺服器。盡管兩個結構都會使用相似的網絡裝置（以太網交換機），但它們的布置和配置肯定會滿足不同的需求。
不隻是一個找茬遊戲，桌面和伺服器連通的差別可以總結為以下幾點。
故障影響：園區網交換機故障意味着一些使用者将無法使用他們的應用，資料中心網絡故障意味着包括遠端使用者在内的所有使用者的應用都無法使用。
主機連通性：一個普通使用者的桌面隻有一個接入園區網的連接配接，而資料中心的每個伺服器通常都有至少兩個以太網連接配接。
通信方向：據統計，園區網的主要通信集中在接入和彙聚層通往可達伺服器的上行鍊路。這種情況不可能發生在資料中心網絡中，因為伺服器間的通信是均衡的。
核心 - 彙聚 - 接入分層的資料中心網絡結構濃縮了多年的網絡內建經驗，起源于第一個網際網路服務供應商（internet service providers，isp）。由于這種分層方法增強了網絡的子產品性、靈活性和恢複能力，是以在多資料中心項目中已成功應用。
在此結構中，每個交換層計劃為不同的通信情景提供不同的網絡功能。例如，核心層為資料中心進出口通信提供傳送能力。利用專屬的路由特性，在密集的資料中心網絡中，核心交換機提供一個可更新、靈活、能複原的結構來為多對彙聚交換機建立連接配接。
彙聚層原本是設計用來作為伺服器 ip 子網的彙聚點，通常作為它們的預設網關和多對接入交換機間通信鍊路。是以，彙聚層也被認為是接入有狀态網絡服務的中心點，例如防火牆和伺服器負載均衡器。
注意：
有狀态網絡裝置根據有如 tcp 這樣的協定确定的網絡狀态作出發送決定。相反，無狀态裝置僅僅根據一個包或者幀内部資訊處理它們。
接入層包含的交換機必須和伺服器實體相連。由于這一層處理數量最多的端口，是以它的配置通常目标是簡化改善管理。由于這個原因，接入交換機通常緻力于同一子網伺服器直接的通信。這一設計方案決定改善了伺服器間任何通信交換類型（單點傳播、多點傳播和廣播）。
顯然，核心 - 彙聚 - 接入模型并沒有在地球上每一個資料中心網絡中得到應用。然而，它為一些特殊環境的需求提供了一個綜合的指導。例如，小資料中心也許會将核心和彙聚層壓縮為一層，甚至使用園區核心交換機連接配接一些彙聚子產品。
而服務提供商大型的資料中心可以僅在核心交換機使用路由，以便在每個伺服器上出現所有的ip 子網，無論它們屬于哪個彙聚子產品。
設計一個資料中心網絡時，網絡專業人員必須考慮相關領域的因素。例如，設計必須考慮到資料中心的增長率（伺服器、交換機端口、客戶的數量或任何其他參數）來避免網絡拓撲成為網絡環境拓展的瓶頸。
應用帶寬需求也是資料中心網絡設計的一個重要方面。通常來說，網絡專業人士會超額接受這些需求，并将其轉換成更多相關元件（例如端口和交換機子產品）。在通信系統中，多種元素共享公共資源，超額率是指每個使用者配置設定到的資源和每個使用者潛在能夠消耗的最大資源的比值。
在資料中心網絡中，超額基本是指每一層交換機可以有效提供給下遊裝置多少帶寬。例如，如果一個接入層交換機有 32 個 10 千兆以太網伺服器端口和 8 個千兆上行 10 千兆以太網接口，那麼它對上行伺服器流量有 4∶1 的超額率。
通過測試和微調，可以發現在每個應用程式環境支援的超額率并确定最佳的網絡設計方案，以滿足程式目前和未來的需求。
業務相關的決定也會影響到資料中心網絡的設計，如故障範圍的大小。是以，如果一個組織根本無法承受同時失去多個應用環境，那麼每個 ip 子網的伺服器和彙聚接入交換機的數量将不僅僅是一個技術決定的問題。
應用彈性是影響資料中心網絡設計最重要的因素之一，因為它要求應用和網絡現有機制的完美和諧，例如：
伺服器備援以太網接口應該連接配接到不同的接入交換機上，并防止“黑洞”（一個活躍的伺服器連接配接在一個孤立的網絡裝置上）産生；
網絡與應用伺服器相比應該有更快的反應速度。
最後，資料中心網絡的設計者應該知道在不同情況下不同因素的優先級，因為對一個因素有利會潛在對另一個有害。一個經典的例子就是彙聚層和接入層之間的連接配接拓撲。
圖 2-6 描述了傳統交換機使用的 4 種備援設計方法。
提示：
彙聚層交換機上的虛線分隔開了這些裝置上的交換（2層）和路由（3層）接口。
圖 2-6 中的方案可分為環狀和無環拓撲結構，取決于它們阻止連接配接損失的機制，例如生成樹協定（spanning tree protocol，stp）。
由于其确定性和靈活性，環狀三角拓撲無疑是資料中心網絡中部署最為廣泛的。在本拓撲中，接入彙聚層的超額率保持不變，以防止上行鍊路或彙聚交換機出現故障。但是，stp 協定并沒有允許所有上行鍊路投入使用。
相比較而言，環狀矩形拓撲增加了接入層交換機的密度，因為每個接入層交換機隻需要一條連接配接接入彙聚層（此情況在 stp 可以通過強制阻斷接入交換機之間的連接配接來實作）。
此設計方案一個潛在缺陷是，當一個彙聚伺服器或上行鍊路發生故障後，到彙聚層的通信超額率會翻倍。
在一個無環 u 形拓撲中，由于沒有環狀結構，是以沒有鍊路被阻斷，但是仍然推薦使用 stp 協定僞裝連接配接錯誤。在環裝矩形拓撲中，此設計方案允許每個彙聚對接入更多接入層交換機并最優化的利用上行鍊路。但是，無環 u 形拓撲每個 2 層範圍隻使用一對接入交換機（不然則會形成環路）。另外，任意一台交換機發生故障都會使整個彙聚層間 2 層通信停止（包括首跳備援性協定 （first hop redundancy protocols，fhrp） 的 hello 包）。
除了分享無環 u 形拓撲的所有優勢，無環反向 u 形拓撲在一個 2 層範圍内允許加入超過兩台接入交換機。但是此拓撲的上行鍊路和彙聚層故障很複雜，因為伺服器流量會産生“黑洞”。
在決定使用哪種拓撲時，需要設計師仔細權衡資料中心網絡中最重要的因素。我覺得這不是個輕松的工作。
我會在下面幾個章節讨論生成樹協定以及它的延伸，在第 3 章“網絡虛拟化謙遜的起點”和第 6 章“生成樹欺騙”中，您将了解到一些網絡虛拟化技術是專門設計用來從多設計方案中得到優點、規避缺點的。
選擇一個正确的邏輯拓撲并不是資料中心網絡設計的結束。網絡裝置和伺服器的實體構造确實影響這些結構的效果。圖 2-7 作為例證展示了兩種流行的資料中心針對機架可安裝伺服器的實體接入設計方案。
頂架式（top-of-rack，tor）和列端式（end-of-row，eor）的設計代表了接入伺服器和交換機是如何互連的。它們對整個中心的線纜系統有直接影響。
頂架式（tor）的設計是基于内機架式伺服器和小交換機之間的布線，可以将伺服器安裝在一個機架中。而這些設計方案減少了布線，優化了網絡裝置的使用空間，進而讓網絡團隊可以去管理更多數量的裝置（每個機架兩台裝置，如圖 2-7 所示）。
另一方面，列端式（eor）設計是基于伺服器直接的機架間布線和高密度成列安裝的交換機作為伺服器機架。相比較而言，列端式減少了網絡裝置數量并優化了裝置端口的效用，但是其在活動地闆下或者電纜槽内有大量的水準線纜。
如果您問“哪個更好呢？”，那麼正确的回答是模糊的“看情況”。實際上，最好的設計方案選擇是根據每個機架的伺服器數量、連接配接速率、預算和運作複雜度而定。
我會更詳細地讨論頂架式和列端式設計方案（和它們的變體）。第 7 章“帶陣列擴充器的虛拟化機箱”會展現一種能讓使用者享受到兩種技術方案優點的虛拟化技術。
此标準是 2005 年由電信行業協會的 tr-42 工程委員會發表，eia/tia-942 電信資料中心基礎設施标準為資料中心的設計和安裝提供了非常有用的指導方針。
協定以靈活性、可拓展性、可靠性和資料中心項目的空間管理為目标，規定了一個資料中心的分等級的可靠性分類，并闡述了重要的環境問題。
特别的，ansi/tia-942-2005 也提供了線纜布置和空間布局的最佳執行個體。有關這些主題，标準定義以下空間和結構化布纜元素。
機房：一個主要功能是容納資料處理裝置的建築空間。
接入室：提供資料中心結構化布纜和外部建築線纜（服務提供商或者客戶所有）之間的接口，應該位于機房外面以防止實體層受到安全破壞。
主要分布區（main distribution area，mda）：在機房内部，是結構化布纜的核心點。由于可以自由連接配接到資料中心其他位置，網絡裝置通常位于此區域。
水準分布區（horizontal distribution area，hda）：活躍裝置延伸線纜的分布點，同樣在機房内部。小型的資料中心的主要分布區可能可以支撐網絡，可能不需要水準分布區。
裝置分布區（equipment distribution area，eda）：一個用來放置活躍裝置的空間，裝置包括計算機系統和通信裝置。在裝置分布區，來自水準分布區的水準線纜末端接上插線面闆，伺服器機架被間隔排布出冷通道和熱通道，以友善溫度管理。
區域分布區（zone distribution area，zda）：一個位于水準分布區和裝置分布區直接的可選互連地點，友善重配置，使系統具有靈活性。
交叉連接配接：是一種裝置，使線纜終端能夠和布線系統、子系統、跳線和硬碟端口連接配接跳線建立連接配接。
骨幹線纜：在資料中心結構化布纜系統中提供主要分布區、水準分布區和接入室之間的連接配接。骨幹線纜要求能在一個或者幾個計劃階段内滿足資料中心的服務需求，在不安裝額外線纜的情況下，适應服務需求的增長和改變。
ansi/tia-942-2005 标準推薦在骨幹線纜上使用分層星形拓撲，在不同區域使用交叉連接配接（允許非星形配置，但水準分布區之間不能有連接配接）。标準同時提倡将主要分布區放置在資料中心的地理幾何中心來最小化布線距離。
水準布纜也同樣推薦使用星形拓撲，但是不強制使用交叉連接配接。對于水準線纜和骨幹線纜，标準建議的最大距離是雙絞電纜 90m，光纖 300m。
圖 2-8 展示了如何标準地規劃一個資料中心網絡。
圖 2-8 同樣描繪出了用傳統的三層結構放置交換機的方式，可以設想核心和列端式彙聚交換機都可以放置在主要分布區，以接入資料中心的其他區域。列端式接入交換機通常放置在水準分布區而水準線纜則對應部署在裝置分布區。列端式裝置分布區的以太網水準電纜可以是雙絞電纜或者光纖（當然，根據伺服器接入速率，功率資源和預算而定）。
頂架式的彙聚層交換機可以放置于平行分布區域，因為接入交換機會占用裝置分布區域的機架。在這些設計方案中，骨幹和水準線纜（在裝置分布區和水準分布區之間）為了作出有遠見的線纜投資，都預先采用了光纖。而機架内部的線纜由于混雜的特性能夠更快地适應伺服器環境。
這些 ansi/tia-942-2005 中的資料中心通信基礎設施标準的内容，是在經過電信行業協會（www. tiaonline.org）書面允許之後重制的。所有的标準都有可能被修訂，鼓勵大家檢查任何标準變化，并應用可能釋出的最新标準版本。