本節書摘來自異步社群《思科資料中心i/o整合》一書中的第2章，第2.12節，作者【美】silvano gai , claudio desanti，更多章節内容可以通路雲栖社群“異步社群”公衆号檢視
思科資料中心i/o整合
在所有參與傳輸的交換機中，用二層多路徑技術替代stp其他協定，進而可以增加2層網絡的帶寬。雙向帶寬得到提高的原因有兩個：
不再有擁塞端口，所有鍊路都處于思發狀态；
網絡中兩點之間的流量可以通過多條路徑進行傳播。
多路徑技術常用于ip網絡，如果接入層鍊路和骨幹鍊路之間的速度受限或者沒有差别，那麼這種技術将變得特别重要。正如第1章中所介紹的那樣，這正是資料中心網絡的場景，其中所有鍊路都是10ge。
多路徑技術的另一個優點是降低延遲時間，因為資料幀總是通過最短路徑進行轉發，而一般情況下，網絡跳數越少，延遲時間就會越低。此外，還可以選擇負載較低的路徑來轉發對延遲時間要求高的幀。
多路徑解決方案必須與現有協定實作無縫的互操作，特别是與stp協定。
簡而言之，所有二層多路徑解決方案都要求參與部署的網絡交換機變為可尋址的實體。而一般的以太網交換機并沒有這個要求，因為交換機是透明的，不需要顯式尋址（除非是出于管理用途）。通過将所有交換機變成可尋址裝置，所有l2mp解決方案都可以利用鍊路狀态協定計算網絡拓撲（例如，交換機的互連方式），然後再通過這個拓撲計算出交換機的轉發資料庫。
這類似于在光纖通道網絡中已經實作的技術，其中fc交換機是可尋址的，運作fspf就可以計算出網絡拓撲。在fc中，交換機位址嵌入在fc_id中，即光纖通道位址。
但是，以太網的情況則有所不同。交換機的位址需要承載在以太網幀中，同時終端的位址也需要被承載。為此，l2mp的雲中需要添加另一個幀頭資訊。
思科有一個l2mp解決方案l2mp/mim（l2mp/mac-in-mac），而ietf則啟動了一個項目trill（多鍊路透明互連），它定義了另一種l2mp解決方案。這兩種解決方案非常相似，是以，我們将它們放在一起進行介紹。
本章後面的内容将使用到下面的術語。
術語“dbridge”（資料中心網橋）：指支援l2mp/mim的網橋。
術語“rbridge”（路由網橋）：指支援l2mp/trill的網橋。
術語“d/rbridge”：指dbridge或rbridge。
為了更好地了解它的工作原理，可以參考圖2-23中的例子，其中主機a會向主機b發送資料幀。
位于l2mp雲邊緣的交換稱為入口/出口交換機。入口交換機（d/r1）：
從源以太網工作站接收資料幀（主機a）；
維護一個mac位址表（确切的說是過濾資料庫），并儲存通過反向學習或is-is廣告獲得的終端位址；
查找mac位址表，确定出口交換機（d/r2）；
添加額外的幀頭資訊，包括出口交換機的位址（源位址為d/r1，目标位址為d/r2）。
使用最短路徑，隻查詢出口交換機位址，将封裝的資料幀從l2mp核心網絡轉發到出口交換機上。在l2mp雲中，源以太網終端（主機a）和目标以太網終端（主機b）的位址會被忽略，因為它們位于被封裝的原始資料幀中。
出口交換機（d/r2）：
删除額外的幀頭資訊；
在mac位址表中查詢目标以太網mac（主機b），确定發送幀的端口；
将幀轉發到目标以太網終端中（主機b）。
在右邊的以太網雲中，一個或多個生成樹協定執行個體會終結于d/r2，而且不會傳播到l2mp雲中。左邊的以太網雲也存在相同的情況。
l2mp的基本機制
在這一節中，我們将介紹構成l2mp解決方案所必需的基本機制。
1．計算路由與反向學習
典型ieee網橋不會通過顯式計算路由的方式來确定幀的轉發目标。預設情況下，它們會轉發到所有位置，但是會使用一個反向學習的過程，這個過程通過學習資料幀的源mac位址而建立一個過濾資料庫，該過濾資料庫可用于限制一個有特定目标的單點傳播幀的傳輸。d/rbridge設計的運作方式與更像是路由器：通過運作一個協定來計算轉發路徑，然後在路徑之間建立轉發資料庫。
2．最優路徑計算
第一個解決的問題是選擇路由計算的協定（例如，能夠确定單點傳播群組播最優轉發路徑的協定）和等價多路徑技術（ecmp）（如果有的話）。所有鍊路狀态協定（如ospf、fspf和is-is）都會對網絡進行圖形化模組化，并且用dijkstra算法确定最短路徑，以此來解決這個問題。d/rbridge采用的解決方案是基于is-is協定的二層協定擴充。
3．中間系統到中間系統（is-is）
之是以選擇is-is，是因為它已經被廣泛應用于ip網絡，而且能夠直接運作在以太網上（例如，可以毫無障礙地運作ip），這些都滿足了二層網絡要求的特點。這個協定由國際标準化組織（iso）的開放系統互聯（osi）協定套件所定義，并被ietf的rfc 1142所采納。通過定義新的類型長度值（type-length-value，tlv）屬性，就可以輕松擴充is-is。dbridges和rbridges都通過定義相同的tlv來擴充is-is。d/rbridge使用與ip協定不同的is-is執行個體。這樣就能夠更好地實作控制平面分離。事實上，三層網絡is-is會基于三層網絡實體（例如，ip路由器）的系統id進行路由計算，而二層網絡is-is則基于二層網絡實體（例如，d/rbridge）。
4．等價多路徑技術（ecmp）
d/rbridge隻支援通過等價路徑來實作流量負載均衡（其中，所謂“價”名額是指is-is使用的metric）。雖然理論上可以在不等價路徑上實作負載均衡，但是這兩種解決方案（dbridges和rbridges）都未考慮這種情況，因為它對于資料中心常用拓撲具有邊緣優勢，但是它會增加複雜性。
5．避免環路（ttl）
stp的優點之一是能夠在網絡重新配置時避免出現環路。這一點對于二層網絡尤為重要，因為資料幀中不包含生存時間（time to live，ttl）。is-is協定的目标則不同，因為ip幀（ipv4和ipv6）的ip頭都包含ttl。d/rbridge采用的方法是在二層協定幀頭中添加ttl字段，然後在轉發資料幀之前進行衰減。在dbridges中，這個字段被稱為ttl；而在rbridges，它被稱為跳數（hop count）。
ttl可能還會有更廣泛的使用方式，可用于防止出現無限循環的幀傳遞。例如，一個故意或錯誤配置的（惡意的）d/rbridge，就可以造成這種問題。在這些情況下，ttl可以幫助您解決這個問題。
此外，在入口處檢查，确定發出幀的源d/rbridge，也是有效避免出現環路的重要步驟。
6．分層轉發
d/rbridge會計算d/rbridge之間的最短路徑和ecmp，但不會計算終端之間的路徑。以太網幀會通過一個入口d/rbridge進入l2mp雲，然後再發送到一個出口d/rbridge。這些d/rbridge隻需要知道連接配接其他d/rbridge的最優路徑，而不需要知道通向終端的路徑。隻有網絡邊緣（入口和出口）才會啟用典型的以太網學習，它會将終端的mac位址與終端所連接配接d/rbridge的位址相關聯。通過這種關聯，就可以實作分層轉發（例如，在l2mp域中轉發幀時，隻使用d/rbridge位址，而不使用終端的mac位址）。分層轉發允許核心層d/rbridge，不連接配接任何終端以維護較小的mac位址轉發表，是以是一個更具可擴充性的解決方案。
7．封裝
所有二層多路徑解決方案都會使用某種形式的封裝。根據不同的解決方案，基本以太網幀都會添加一兩個額外的幀頭資訊。封裝具有以下優點：
它能夠提供存儲額外資訊的空間（例如，ttl）；
它會将mac位址隐藏在封裝的以太網幀中，允許d/rbridge減小mac位址轉發表的長度，因為它們不需要學習終端的所有mac位址；
它在rbridge之間轉發流量時可以使用單獨的其他vlan标簽，與資料幀的初始vlan無關。
8．連接配接類型
dbridge和rbridge都可以連接配接傳統的以太網交換機，但是rbridge可以通過傳統以太網交換機建立鄰接（例如，交換trill封裝的流量），而dbridge則要求采用直接的點對點連接配接。圖2-24說明了這兩種不同的模型。
在資料中心内，這兩種模型的差別并不明顯，因為骨幹網需要使用l2mp解除帶寬瓶頸。在骨幹網中，所有d/rbridge都通過點對點的鍊路連接配接；而在邊緣網絡中，兩種模型都支援傳統以太網交換機。
9．額外的幀頭
兩種模型的差別會對額外的幀頭産生影響（參見圖2-25）。
dbridge隻使用一個額外入口/出口幀頭，其中包含入口和出口dbridge的位址資訊、ttl和少數其他字段。
rbridge具有類似的入口/出口幀頭和一個下一跳幀頭（next hop header），可用于穿越兩個rbridge之間的傳統以太網雲。例如，在圖2-24中，rbridge rb1可以通過p1（傳統以太網雲）到達rbridge rb2、rb3和rb4。rb1會在下一跳幀頭的目标mac位址域中填寫相應的mac位址，以選擇發送幀的rbridge。dbridge不存在這個問題，因為每一個l2mp端口隻與其他dbridge直接相連。
10．尋址
dbridge會在入口/出口幀頭中填寫入口和出口dbridge的位址，而且它們不需要下一跳位址，因為它總是與下一個dbridge直接相連。rbridge也有相同的特點，但是它們還會在下一跳幀頭中填寫下一跳rbridge的位址。如果下一跳rbridge不與目前的rbridge直接相連，也沒有使用共享連接配接的話，那麼必須使用這種方法來避免出現幀複制的問題。
11．幀類型
d/rbridge能夠處理兩種類型的幀：已知單點傳播幀和多目标幀。已知單點傳播幀是指目标以太網終端的目标位置已确定的單點傳播幀，是以它們隻需要傳輸到一個特定的出口d/rbridge即可。這涵蓋了大部分的單點傳播流量。多目标幀可能是未知單點傳播幀（例如，目标以太網終端的目标位置未知的單點傳播幀）或者多點傳播/廣播幀。它們之是以被稱為多目标幀，是因為它們需要傳輸到多個出口d/rbridge，而且可能是所有的出口d/rbridge。
12．已知單點傳播幀的轉發
d/rbridge使用is-is計算入口d/rbridge與出口d/rbridge之間的最短路徑。如果有兩條以上路徑具有同等的開銷，那麼就啟用等價多路徑技術（ecmp），流量就會通過雜湊演算法分散到這些路徑之中，這個算法會在同一路徑中按順序發送指定流的所有幀，進而避免幀在接收端進行重新排序。
圖2-26中顯示了一個幀從主機a傳輸到主機b，該幀會到達sw1，然後在mac轉發表中查找主機b的mac位址。查找結果包括mac位址和相應的出口d/rbridge，在這裡是sw4。然後，初始幀被封裝增加額外的入口/出口幀頭，其中額外的入口/出口幀頭包括了入口（sw1）和出口（sw4）d/rbridge的位址。當幀通過l2mp雲時，每一個d/rbridge都會檢查出口rbridge的位址，以确定幀是否屬于自己。如果是，它會删除這些額外的幀頭，然後轉發初始的以太網幀；否則，它會查找出口d/rbridge的位址，然後将幀轉發到下一個d/rbridge。在這個例子中，幀可能會通過路徑#1或路徑#2，因為存在有ecmp等價多路徑。
13．多目标幀的轉發
d/rbridge使用is-is計算一個或多個分發樹，通過它們轉發多目标幀。dbridge和rbridge樹的個數和選擇标準會有所不同，但是基本方法是相同的。在如圖2-27所示的例子中，計算将得到以sw3為根的樹。
當d/rbridge接收到一個多目标以太網幀時，它會關聯該幀到一個分發樹，并封裝入口/出口幀頭，其中包括入口d/rbridge的位址和分發樹，在這一點上，dbridge和rbridge稍有不同。出口d/rbridge顯然并不重要，因為這個幀可能會發送到所有的d/rbridge。
在如圖2-27所示的例子中，幀會到達sw1。sw1會封裝幀，然後将它發送到唯一可用分發樹的sw2和sw3，sw3再将它轉發到sw4。
為了避免因拓撲變化引起暫時多點傳播環路，d/rbridge會執行全面檢查，以保證多目标幀能夠到達預定的鍊路。簡而言之，通過使用is-is，d/rbridge可以計算出可能通過指定鍊路發送資料幀的入口d/rbridge集。如果遇到源不屬于這個d/rbridge集的幀，它會拒絕接收；如果拓撲發生變化，d/rbridge會重新設計這個d/rbridge集。
14．按序傳輸
主要有三個原因可能破壞l2mp網絡的按序傳輸。
ecmp：如果存在多個等價路徑，一定要在同一個路徑中轉發某一資料流的所有幀，才能保證按序傳輸。資料流之間可以實作負載均衡，但是如果想要實作按序傳輸，就不能在一個資料流内進行負載均衡。所有d/rbridge都擁有可程式設計的雜湊演算法，它們可以選擇負載均衡粒度，是以能夠在需要時保證按序傳輸。
從未知單點傳播幀到已知單點傳播幀：未知單點傳播幀是通過分發樹傳輸的多目标幀。當單點傳播目标被學習到（例如，它成為“已知”），那麼這些幀就成為已知單點傳播幀，然後它們就開始通過最短路徑進行傳輸。在這個轉變過程中，有一些幀可能會被重新排序。這實際上影響并不大，因為當它發送了第一個控制流量（例如，ipv4的arp幀或fcoe的fip幀）之後，在開始發送實際資料流量之前，單點傳播目标一般就已經被學習到。
拓撲變化：在拓撲發生變化時，stp不會對幀進行重新排序，但是它會丢棄幀，而且stp通常收斂速度較慢。d/rbridge假定拓撲很少發生變化，由此造成對少量幀進行重新排序還是可以接受的，并且提供了快速拓撲收斂的機制。
l2mp/mim和l2mp/trill都不會對幀進行重新排序，這項工作是由終端完成的。
15．stp相容性
在網絡社群中，如何在ecmp環境中實作stp相容性的問題備受關注。d/rbridge支援連接配接使用stp的正常以太網雲，在這裡可以使用兩種模型：終結模型或參與模型。
在終結模型中，d/rbridge丢棄了bpdu（bridge pdu），而且它也不能在l2mp内部傳送。它可能會降低如所涉及的複雜環路檢測的效率，例如，以太網集線器，但是這是一種更具前瞻性的方法，因為它支援一開始就在骨幹網上消除stp。
參與模型要求d/rbridge參與stp，以及将stp資訊傳輸到l2mp，同時伴随着各種涉及到的終結stp的複雜問題。
dbridge和rbridge都會終止stp，不會将bpdu傳輸到l2mp。這樣就可以實作與現有以太網交換機的互操作（例如，網橋）。
16．終端位址學習
ieee 802.1網橋通過觀察資料幀的源mac位址，從中學習到mac位址，而d/rbridge也使用相同的方法。此外，它們還會通過is-is學習位址。當存在終端與d/rbridge進行認證的環境，第二種學習位址的方式更為合适。實際上，通過驗證來确定d/rbridge的可靠性，mac位址真實合法而非位址欺騙，是以，它可以通過is-is宣告，對比通過觀察流量所學習到的位址，該位址有更高的優先級。
17．vlan
dbridge使用典型的vlan模型，而且它會在幀中攜帶一個vid（vlan id）。rbridge可能會使用兩個vid：内部vid（類似于dbridge所使用vid）和外部vid（位于下一跳幀頭中，用于封裝幀穿越傳統以太網雲）。
dbridge通過單點方式或者類似于vpc的技術連接配接傳統以太網雲，以太網雲仍然保持在l2mp網絡的邊緣。
rbridge支援在任意位置上部署以太網雲，是以處理傳統以太網會變得更為複雜。特别地，對于每一個以太網雲上的每一個vlan，trill都會選擇一個特定的rbridge，作為vlan轉發器。而這個vlan轉發器是唯一能夠向該vlan發送和從中接收傳統以太網流量的rbridge。
vlan轉發器的選擇過程非常複雜的，因為它一方面需要檢查可能出現的vlan配置不一緻性，另一方面減少控制資訊使用的數量。
18．vlan裁剪
所有轉發資訊都會的計算與vlan無關。此外，分發樹也一樣。為了避免将某個特定vlan的幀發送到不帶該vlan端口的d/rbridge上， d/rbridge必須實作vlan裁剪。
19．多點傳播偵聽（igmp snooping）
多點傳播偵聽是一種應用廣泛的技術，幾乎所有以太網交換機都會使用這種技術來處理多點傳播流量。類似地，d/rbridge在l2mp雲邊緣部署了多點傳播偵聽功能，處理igmp幀，可以确定多點傳播流量的接收者。通過使用專用的控制協定，可以将組成員資訊在l2mp雲核心中公告。所有d/rbridge會基于這些資訊計算發送接口。
20．配置
過去，ieee網橋的最大優點之一即所謂的即插即用（例如，它們擁有一個預設配置，不需要進行任何的管理操作，就能夠自動生成一個網絡）。多年來，由于安全問題越來越多，客戶開始偏向于禁用交換機的自動配置。手動配置交換機id及其他參數，這已經稱為網絡管理者越來越偏好的操作方式。d/rbridge既支援全自動配置又支援手動配置方法。
思科dbridge
這一節将介紹思科dbridge的補充資訊。
1．幀格式
圖2-28描述了dbridge所使用的幀格式，其中入口/出口幀頭是dbridge所使用的唯一額外幀頭。
入口/出口頭資訊的域包括以下内容。
oda：出口dbridge的mac位址，48 bits mac address of the egress dbridge；
osa：入口dbridge的mac位址，48 bits mac address of the ingress dbridge；
ethertype = dtag：16比特ethertype，用于表示幀已經被dbridge封裝；
ftag：10比特轉發标簽，用于支援多個拓撲；
ttl：6比特，存活時間。
在這些域之後是初始的以太網幀的其他域，但是隻有fcs除外，fcs會涵蓋入口/出口幀頭後重新計算。
2．分層mac位址
外部目标位址（oda）和外部源位址（osa）都是dbridge使用的mac位址。它們的層次結構如圖2-29所示。
dbridge分層mac位址格式包含以下域。
u/l：1比特，全局或者本地。這個域由ieee 802定義，設定為1表示本地mac位址管理。
i/g：1比特，個體/分組。這個域由ieee 802定義，設定為0表示一個dbridge的位址，設定為1表示一組dbridge的位址。
交換機id：12比特。它是l2mp雲中dbridge交換機的唯一身份辨別。dbridge使用一種協定，将交換機id動态配置設定給每個dbridge。每個dbridge都擁有一個或多個交換機id。
子交換機id：8比特，用于确定模拟交換機中的交換機位址的唯一辨別符。
本地id（lid）：16比特。它是一個邊界端口辨別符，可以确定主機所連結的端口。通過将其設定為與端口id相同的值，确定轉發目标dbridge就非常簡單了。這個域是它所屬交換機的本地有效的。dbridge不需要進行任何的mac轉發表查詢，就可以使用oda中的lid，将幀發送到相應的邊界端口，或者選擇忽略這個域，然後進行額外的查詢，來确定出方向的端口。
終端節點id：8比特。它隻适用于支援設定分層mac位址的終端，可以通過使用的協定定義。在伺服器虛拟化環境中，一個邊界端口之後可能存在許多終端。
oda中的亂序（ooo）：1比特。它可用于設定将幀分散到多個路徑上進行傳輸，這些路徑與負載均衡一般使用的雜湊演算法并沒有關聯。通常，屬于同一個流的幀會通過同一個路徑發送，以避免重新排序。但是，如果設定了這個位，那麼情況就會不一樣了。
osa不學習（dl）：1比特。如果幀設定了這個位，就可以禁用分層mac位址和一般mac位址之間的關聯學習。
res：1比特。保留位。
3．ftag與多拓撲支援
轉發tag（ftag）是各個幀都包含的一個拓撲标簽。它由入口dbridge來進行設定，并且授予給l2mp雲中所有後續的dbridge。這是一個重要的域，可以避免在不同的dbridge上由于幀分類的不一緻而發生環路。
ftag支援多個轉發拓撲。在現有的以太網網橋中，每一個vlan或一組vlan都擁有各自的生成樹執行個體，進而擁有一個專門支援單點傳播流量的轉發拓撲。
dbridge也可能有一個類似的機制，其中一個或一組vlan都擁有由ftag辨別的is-is執行個體，但是這可能不是最佳的方法，因為l2mp自身已實作了多路徑，與vlan無關。
另外，ftag對于實作不同形式的流量工程（為不同類型使用者設定不同的ftag）也非常重要，這也是dbridge相對于rbridge的一個增值特性。
例如，對于多點傳播流量而言，可以建立不同的多點傳播分發樹，并使用ftag來确定用于傳輸幀的樹。
将來，使用ftag還可以基于其他标準來确定轉發拓撲，如協定類型、入端口或l2/l3/l4資訊組合。
4．模拟交換機
起初，l2mp部署在資料中心網絡核心位置，其中最重要的問題是雙向帶寬的問題。在網絡邊緣，會繼續部署傳統的以太網交換機和主機，而且它們必須以高可用方式連接配接到l2mp骨幹網。它們的首選方式是通過以太網通道進行連接配接，與vss和vpc的情況完全相同。
為了支援以太網通道，兩台或者兩台以上的dbridge可以構成模拟交換機。模拟交換機與vpc類似，但是它是通過l2mp協定擴充來實作的。
圖2-30顯示了兩對dbridge，構成了兩台模拟交換機。右邊一個連接配接一個傳統以太網交換機，左邊一個連接配接兩台傳統以太網交換機和一台主機。
從尋址角度看，每一個模拟交換機都擁有各自的交換機id，是以，在圖2-30中，6台dbridge設定了6個交換機id，而兩台模拟交換機也設定了兩個交換機id。
在模拟交換機中，每一台傳統交換機或主機都使用不同的子交換機id進行辨別和尋址，是以模拟交換機#1擁有3個子交換機id（兩台傳統通路交換機和一台主機），而模拟交換機#2則隻擁有一個子交換機id。
模拟交換機的控制平面協定分布在屬于該模拟交換機的所有dbridge之中，而非僅僅位于主交換機中（matser）。資料流量會通過ecmp方式（從其他dbridge接收時）或者以太網通道方式（從傳統交換機和主機接收流量時）分散到兩台dbridge上。
ietf dbridge和trill項目
ietf有一個叫做trill（transparent interconnection of lots of links）的項目，它的目标是在相容ieee 802.1的多跳任意拓撲以太網網絡中，使用is-is協定實作二層網絡的多路徑和最短路徑幀轉發。
幀格式
rbridge使用如圖2-31所示的trill幀格式。
與圖2-28所示的dbridge幀格式相比，rbridge幀格式增加了下一跳幀頭。
nhda（next hop destination address，下一跳目标位址）是路徑上下一個rbridge的mac位址，而nhsa（next hop source address，下一跳源位址）是發送幀的rbridge的mac位址。
典型的vlan可用于穿越傳統以太網雲（ethertype=ctag，這是ieee 802.1在ieee 802.1q vlan中的新術語）。
在trill幀頭中，rbridge不是通過mac位址進行尋址，而是通過别名（nickname，16比特二進制字元串）的方式進行尋址。别名不支援分層（這一點與dbridge不同），而且既可以手動配置，也可以通過is-is進行自動配置。
trill幀頭中還包含了下面所列的其他一些域。
v（版本）：2個比特，無符号整數，trill協定版本，目前版本為0。
r（保留）：2個比特。
m（多目标）：如果幀是已知單點傳播幀，則設定為0；如果是多目标幀，則設定為1。
opl（選項長度）：5位無符号整數。它表示是否存在可選的選項頭，并且以4位元組數目來規定其長度。
hop_count：6位無符号整數。轉發幀的每一個rbridge都會依次遞減這個值。如果hop_count到達0，這個幀就會被丢棄。
對于dbridge中的ftag域在trill中消失了。trill隻支援多點傳播多拓撲，而不支援單點傳播多拓撲。trill的單點傳播多拓撲是通過使用trill幀頭中的m比特和出口别名來實作的。如果設定了m位，則表示它是一個多目标幀，是以不必使用出口别名。在這裡，trill會通過儲存分發樹的根的别名，進而在出口别名中儲存分發樹的辨別。