天天看點

B站資料中心網絡布線智慧管理平台實踐(一)

作者:閃念基因

1.背景

前期我們詳細介紹了B站在定制化資料中心(R2-AZ2)項目上的探索[1],主要集中在智慧節能資料中心的技術疊代和實施情況。資料中心的高效運作并非孤立存在,它依賴于複雜而精細的互聯互通網絡,確定資料中心内的伺服器、存儲和網絡裝置間的連接配接。

布線系統是實作資料中心互聯互通的關鍵組成部分, 資料中心布線的管理不當問題會造成生産環境傳遞周期拉長、預留線纜過長、線纜布局混亂、裝置安裝困難、故障排除和維護時間增加,甚至會影響機櫃的氣流組織,導緻局部過熱進而影響電子資訊裝置的安全運作。

此外,随着AI技術及業務應用的快速發展,智算中心正在迅速崛起,網絡正向大帶寬、低延時、低功耗等方向發展,這也意味着對網絡和布線系統的要求正在持續提高。

布線系統作為大型資料中心的關鍵基礎設施之一,如何利用數字化管理工具提高其傳遞及運維管理效率,也是我們一直在思考的問題和探索實踐的方向。

1.1 資料中心布線介紹

在對資料中心生産系統進行綜合布線設計前,應先了解業務側對于網絡的需求,确定網絡布線的拓撲結構,并按照設計的網絡拓撲結構來确定資料中心綜合布線的設計方案[2]。

B站資料中心網絡布線智慧管理平台實踐(一)

圖1 網絡布線實施流程圖

常見有兩種布線方法:結構化布線與非結構化布線[3]。

結構化布線通過采用标準化的預定義連接配接點和路徑設計,利用一個或多個配線區域和布線産品(如布線網絡機櫃、高密度配線架等)為電子資訊裝置提供基于标準的連接配接,當電子資訊裝置移動、增加或改變時,隻需要在集中配線區重新跳接線纜,而永久鍊路部分則不會因裝置的移動、增加或改變而變動。結構化布線系統采用高密度的預端接光纜,大大減少了機房内的光纜數量,但布線系統的設計和安裝需要更多的時間和成本,且同一鍊路因增加了中間連接配接點可能會降低網絡傳輸品質。

非結構化布線也稱為點對點布線,顧名思義,這種類型的布線系統不使用任何預定義的标準、連接配接點或路徑,直接進行端到端的線纜連接配接。與結構化布線相比,非結構化布線系統的安裝成本較低,安裝時間也較短,但後期營運及變動的成本較高。

B站目前根據在不同的機房環境和業務對于網絡需求,綜合考慮成本、傳遞周期、現場環境等因素,靈活選擇布線方式。針對正常伺服器機櫃區域通常優先采用非結構化布線,對于重要等級的網絡核心機櫃區域會考慮采用結構化布線設計來優化線纜數量和後期營運管理。

B站資料中心網絡布線智慧管理平台實踐(一)

圖2 網絡核心機櫃布線現場圖

1.2 B站布線智慧管理平台開發

針對單樓棟的資料中心網絡布線任務,一般按照業務傳遞節奏,分若幹批次布線工程來完成。在處理每個批次的布線工程時,全生命周期資訊流轉和管理依賴不同角色的人員手動通過辦公軟體工具完成,面對當今複雜的中大型資料中心叢集生産系統快速傳遞需求時,有如下的問題和挑戰:

(1)檔案标準化和準确度問題:在布線工程過程中,檔案流轉的标準化和準确度不足可能導緻資訊缺失或錯誤。我們需要確定檔案格式、資料内容等達到一定的标準,并減少人為操作導緻的誤差。

(2)路由規劃效率問題:目前的手動規劃方式效率較低,容易造成路由長度預估錯誤,導緻實際施工中的誤差和額外工作量。我們需要提高路由規劃的自動化和準确性,以減少人工幹預和誤差。

(3)布線管理複雜度高:由于涉及的人員、角色和基礎資料衆多,布線管理成為一項繁瑣且周期較長的工作。傳統的單批次布線工程和傳遞資訊成為孤島,導緻曆史機櫃布線狀态和資訊不完整,不利于提高機房生産環境傳遞效率和投運後的運維管理及布線優化。我們需要建立更高效的資訊管理和資料共享機制,以實作更順暢的資訊傳遞和更優化的布線政策。

基于以上背景,結合我們實際的布線工程管理經驗,提出B站資料中心網絡布線智慧管理平台的開發項目,旨在将線下的網絡布線過程實作數字化、可視化、智能化,使得專業技術人員能夠輕松、快速、準确完成布線規劃、管理和運維工作。

2.布線智慧管理平台

針對B站布線管理平台,梳理完整的布線管理流程,以下為流程示意圖。

B站資料中心網絡布線智慧管理平台實踐(一)

圖3 布線管理流程示意圖

B站布線智慧功能平台分功能子產品、分期進行快速開發疊代,本文将重點闡述紅框的布線路由自動化子產品,這部分資料的準确性将直接影響到整個布線任務的最終效果。

2.1 功能一:基礎資訊維護

布線管理涉及到的對象包括但不限于以下内容資訊:

  • 線材
  • 機櫃
  • 邊櫃
  • 通道
  • 立柱
  • 列頭櫃
  • 列尾櫃
  • 包廂橋架
  • 跨包廂生産橋架
  • ……
B站資料中心網絡布線智慧管理平台實踐(一)

圖4 機櫃平面布局&生産橋架平面圖

對以上基礎資料,我們提取與布線工程強相關的基礎資料,整合抽象若幹資料模型,如機櫃模型、通道模型、跨包廂互聯模型等,結合機櫃平面布局&生産橋架平面圖等,由運維人員根據不同實體環境情況,提前維護以上基礎資料資訊,為布線項目計算打下基礎。

2.2 功能二:布線路由自動化計算

方法一:場景歸納計算法

為自動完成布線路由的計算,B站采用高成本效益的方式,快速建構簡單明晰的資料中心包廂布局示意圖,運維人員通過新增行列形式,繪制包廂實體拓布局結構,并關聯基礎資料,建立立柱、通道、機櫃的相對位置關系。

B站資料中心網絡布線智慧管理平台實踐(一)

圖5 平台上建構的機房布局界面展示

總結日常的布線需求,整合抽象6種高頻布線的場景,分别為:

  • 同包廂同通道布線
  • 同包廂[指定路由方向]/[不指定路由方向]的跨通道布線
  • 跨包廂不指定路由的布線,其中起始機櫃和終點機櫃與包廂橋架出口均在同一列
  • 跨包廂不指定路由的布線,其中起始機櫃或終點機櫃與包廂橋架出口不在同一列
  • 跨包廂指定路由的布線,起始機櫃和終點機櫃與包廂橋架出口均不在同一列
  • 其他場景可靈活添加。

針對不同場景,定義計算布線距離的統一公式,選擇距離最短的布線路由。

方法二:最短路徑尋優法

布線路由的計算可轉化為圖論裡的最優路徑問題求解,相比于方法一的場景歸納計算法,計算效率更高,适應的機房布局和布線場景更廣,但難點在于如何将實際的工程問題轉化為數學問題并求解。

我們通過先在設計階段對強弱電橋架和機房機櫃、配電櫃進行分段有序編号,再于布線規劃階段對橋架、機櫃、配電櫃等涉及線纜連接配接的裝置建立數學關系模型,明确互相之間的幾何關系,并輸入各段橋架布線長度的初始資料,最後通過最優路徑規劃算法,自動計算任意裝置之間布線的最短路徑,輸出規劃路徑結果。

B站資料中心網絡布線智慧管理平台實踐(一)

圖6 最短路徑尋優流程圖

2.3 功能三:建立布線任務

2.3.1 任務生成

以任務的形式在平台上生成單布線需求,針對單布線任務,可按照布線場景批量建立布線明細(如機櫃内垂直布線,業務交換機到網絡核心跨機櫃布線,網絡核心間跨機櫃布線等場景)。

布線明細中明确以下核心資訊:

布線任務名稱:命名區分任務需求

布線的起點資訊:包括起始包廂、起始機櫃、起始U位

布線的終點資訊:包括終點包廂、終點機櫃、終點U位

線材類型:六類非屏蔽網線,LC-LC,AOC,MPO……

布線線纜編号:自動生成

……

明确好布線基礎資訊後,由系統自動計算最短路徑并輸出布線長度,給出所有布線任務的清單明細。

B站資料中心網絡布線智慧管理平台實踐(一)

圖7 平台上建立布線明細界面展示

2.3.2 任務執行

平台布線任務生成後,進行任務執行階段,通過流程審批,将過程管理檔案數字化、平台化,實時更新布線工程相關資訊,直至最終的布線驗收和傳遞使用。

2.4 功能四:布線運維管理

前序布線任務完成後,布線的基礎資訊資料将持續為後續的布線運維管理提供價值。通過可視化工具可快速了解機房的布線關鍵資訊,判斷業務環境網絡布線的傳遞情況。通過資料分析,可進一步分析線纜類型與連接配接裝置端口是否比對、不同類型/品牌/批次線纜故障率、布線成本趨勢等名額,助力故障線路尋源工作。

B站資料中心網絡布線智慧管理平台實踐(一)

圖8 布線運維管理可視化界面示意

3.平台應用及未來展望

目前B站布線智慧管理平台1.0版本已正式上線,我們送出的發明專利《機房布線方法和系統》處于實質受審階段,已實作布線和機房資訊平台化、布線路由和長度自動化計算等功能,不僅大大提升了布線工程實施效率和效果,而且平台自動規劃的路由長度較前期手工計算的長度平均減少10%,進而幫助網絡和資料中心運維管理人員做好布線降本和布線系統管理工作。

未來我們将持續整合布線項目的實施、傳遞及網絡運維經驗,緻力于打通網管、IDC運維管理與布線管理之間的資訊對接和應用。通過這種方式,我們将建構一個更全面、更智能、更強大的B站布線管理平台,進而助力實作網絡布線的快速傳遞、智能運維和精細管理。

參考:

[1] 新一代智慧節能資料中心B站定制化項目實踐

[2] 盧磊. 資料中心網絡綜合布線技術研究. 電信快報:網絡與通信 8(2019):5.

[3] 資料中心應該使用哪種布線方式

作者:通用工程:濤帥、蕾木頭

來源-微信公衆号:哔哩哔哩技術

出處:https://mp.weixin.qq.com/s/PLYoQNRN-Wh_rivYjJK1hg

繼續閱讀