資料中心的供配電系統可用性、經濟性、可維護性等角度出發,探讨資料中心領域的供配電系統架構方案,并以國内某大型資料中心的實際應用案例為基礎,對資料中心變配電系統、240v直流與市電直供系統結構、2nups系統機構、子產品化ups電源應用、資料中心制冷系統供電系統結構等,進行詳細的探讨和分析。
随着資訊技術、網際網路技術的迅速發展,資訊系統的市場應用越來越廣泛,資訊和資料量呈幾何級增長,資料中心的需求日益增加,對資料中心的要求不斷提高。衆多行業也都在建設各種不同用途、規模、等級的資料中心,資料中心在政府機構以及電信、銀行、證券、保險、網際網路等行業中不斷地提高自己的驅動力。資料中心作為一種實體載體在企業發展和營運中的作用越來越突出。
資料中心供配電系統作為資料中心基礎設施最重要組成部分,已成為資料中心等級判定的主要參考标準。資料中心供配電系統架構,主要包括市電引入(10kv、110kv引入等)、高壓變配電系統、後備柴油發電機系統(10kv、400v發電機組等)、市電/備用電源自動轉換系統(中壓切換、低壓切換等)、低壓配電系統(低壓配電、樓層配電單元等)、不間斷電源系統(ups、240v、48v系統等)、列頭配電系統、機架配電系統,以及電氣照明、防雷及接地系統等。
1 資料中心供配電架構的影響因素
資料中心供配電架構及供電保障等級選擇,主要考慮以下幾個方面:
(1)資料中心供配電架構成本與安全效益平衡
資料中心從實體屬性看,是it裝置的載體;從商業屬性看,是為其服務的對象,即資料中心為各類使用者的裝置或資訊提供保障服務。資料中心供配電系統架構選擇,主要考慮使用者裝置類型、相關裝置保障等級要求、相關标準及規範要求、綠色資料中心pue名額要求、節能減排要求、資料中心選址區域自然條件特點、建設與營運成本的平衡等多種因素。
以通信行業資料中心為例,資料中心主要有自有資料中心和商用資料中心兩大類。針對通信類,主要裝置有傳輸類裝置(國際傳輸幹線、省際傳輸幹線)、資料類裝置(存儲系統、雲平台)、支撐類裝置(計費系統、資訊系統)等,相關裝置供配電系統結構,主要考慮相關國家對通信系統建設及運維标準要求;商用資料中心主要包括政府、銀行、企業等使用者裝置,其資料中心供配電系統及供電保障等級主要根據客戶具體要求、客戶裝置規模、客戶裝置的租賃形式等來總體确定。
(2)資料中心供配電架構規劃與決策
在資料中心供配電系統實際實施階段,需要制定合理規劃決策,評估需求與風險,進行不同方案的比較,并考慮滿足未來發展的需求。
資料中心主流的各類供配電建設标準及規範,以及使用者對供配電結構的要求,主要是對供配電保障提出要求。針對保障要求,從實施角度出發,能夠提出多種不同的供配電結構、系統架構的總體規劃與決策,對後期供配電可靠性、可用性有決定性的影響。在規劃與決策階段,一方面要針對不同系統結構的特征、投資總額、營運成本、系統優缺點等做充分的分析論證,另一方面也要考慮供配電系統邏輯關系的複雜度、對運維的要求、系統可擴充性等因素。
(3)資料中心供配電架建構設與運維
資料中心供配電架構應該同資料中心全生命周期一樣,從概念、系統規劃、決策、工程建設、傳遞營運等方面,是一個動态的、與時俱進的過程。現在行業有一種認識,認為供配電系統可靠性從供配電系統圖上,計算結果越優,就越能提高可靠性。實際情況并非如此,而是資料中心架構的可實施性、可維護性等對裝置供電連續性保障有很大影響。
供配電系統的實作與落地,必須要經過建設與施工,是以供配電系統帶有較為明顯的工程屬性;供配電系統可靠性最終是在投入營運後,集中展現在系統運維階段。供配電架構的設計與選擇,一方面必須考慮工程施工過程的可實施性,如電纜布放距離、多層疊放、交****處理、各類油電水氣管路隔離措施、隐蔽工程處理等,另一方面還要考慮運維可行性,如電氣裝置實體位置與電氣邏輯關系比對、巡檢路由規劃、應急操作接口預留設定等。
2 資料中心供配電系統的典型結構
目前,資料中心行業有比較全面的可供參考的相關技術規範,政府、行業、企業都根據各自領域資料中心的特點,釋出了相關的規範、标準或指導意見。目前,資料中心主要參考的規範有工程建設國家标準《gb50174-2008電子資訊系統機房設計規範》以及美國國家标準學會(ansi)2005年準許頒布的《tia-942資料中心電信基礎設施标準》。
前者是我國針對于資料中心建設設計的主要标準規範,同時,為适應電子資訊技術發展,新的國家标準正在編制;後者是目前國際資料中心參考的主要标準,該标準包含的條款也是随着建築技術和電信技術的進步在不斷修改和更新。
從相關标準的應用範圍看,國際上參考tia-942将資料中心等級從低到高分為tier i、tier ii、tier iii、tier iv等四個級别,在國内參考gb50174将資料中心等級從低到高分為c、b和a三個等級,為了達到不同的等級,供電系統中采用不同的供配電方式。根據相關條文,不同标準的供配電系統結構特點如表1所示。
根據相關國際國内标準,規定了不同資料中心等級下,對應供電系統的原則及方式的演變,特定等級的系統,隻規定了應滿足的最低要求。
在規劃建設階段,在不同條件下,設計時選用系統結構需考慮總體投資規模、保障要求、節能名額、運維管理目标等多種因素綜合分析,并在相應等級标準原則下進行優化設計。
目前,資料中心行業主要有以下三種典型供配電系統架構:基本型、可維護型、故障容錯型等。三種典型資料中心供配電結構的特點如下:
(1)基本型供配電結構供電結構簡單,投資少;
單故障節點多,可用性差;
供電系統器件故障、操作故障都會引起資料中心運作中斷;
預防性檢修、計劃性檢修需要系統中斷運作。
(2)可維護型供配電結構
可用性高;
系統保障n+1的備援;
運作期間可同時進行維護;
資料中心中常用的供電結構;
正常維修、單路故障出現時,不影響系統運作。
(3)故障容錯性供配電結構可用性高;
基礎設施對空間、投資,要求較高;
多條備援路徑,無單節點故障;
基礎設施、供電路由全程雙路由;
任何故障發生,不影響負載運作。
以上三種供電結構如圖1所示。
上述三種典型供配電結構及特點,主要是從系統市電引入到所有末端裝置供電的供電邏輯特點進行總體闡述,并不表示某種結構的優劣性。如對于保障等級要求不高的it裝置,基本型供配電結構完全滿足供電保障需求,其系統結構在投資成本、電力裝置空間、節能效果等方面,都明顯優于其他兩種結構;在保障等級較高的資料中心,也存在較低保障等級it裝置用電情況。
資料中心供配電系統架構的選擇,應做整體考慮,根據it裝置供電保障等級和各類不同保障等級的it裝置分布情況,針對性的選擇合适的、比對的結構,才是資料中心供配電系統架構最終決策的關鍵點。
3 資料中心供配電案例
中國移動浙江資訊通信産業園資料中心包括110kv變電站一座、柴油發電機房一座、資料中心機樓四棟。資料中心總供配電架構有以下幾個部分:110kv配電系統、10kv配電系統、10kv發電機并機供配電系統、資料中心機房電源系統等。産業園資料中心基礎設施分布示意圖如圖2所示。
該資料中心供配電架構的總體特點:深入結合基礎建築設施布局,總體規劃,分期投入;
通過供配電結構優化,平衡成本與安全效益的關系;
根據客戶需求不同,可提供多種形式的供電保障模式。
産業園資料中心供配電系統結構示意圖如圖3所示。供配電系統架構如下:
(1)110kv/10kv配電系統
園區自建110kv變電站,引入兩路獨立110kv市電,站内配置兩台110kv/10kv變壓器,每台容量50000kva,兩路常供。變電站兩路110kv進線采用内橋接線;變電站10kv中壓系統采用單母線分段接線,設母分;資料中心每棟配置一套獨立中壓系統,采用單母線分段接線,不設母分;每套中壓系統分别從變電站兩段10kv母線段各引入一路10kv市電電源,兩路常供。
資料中心低壓配電系統,采用變壓器(1+1)方式運作,每套低壓系統配置兩台2000kva的10kv/0.4kv變壓器,兩路常供。低壓饋電采用單母線分段,設母聯,“兩進線一母聯”采用電源自動轉換系統,實作自動切換控制。
(2)後備發電機系統
共配置18台10kv/2400kw柴油發電機組作為資料中心備用電源,配置一套具有多種并機模式及控制功能的并機控制系統。發電機組并機系統采用單母線分段接線,設母分。并機系統可實作自動啟動、自動并機,實作加、減機控制、負載自動投切控制等功能。并機系統具備兩種工作模式:
模式a:母分保持閉合狀态,18台機組并聯運作,組成一套并機系統;
模式b:母分保持斷開狀态,18台機組分成兩組,組成兩套獨立并機系統。
(3)市電/油機電源切換系統
資料中心每棟從變電站引入兩路10kv市電電源,從發電機房引入兩路10kv備用電源,每路容量均能滿足該棟資料中心滿載負荷。資料中心每棟分别配置兩套獨立市電/油機10kv切換裝置,切換裝置設電氣及機械互鎖。
資料中心4套獨立10kv系統供配置8套獨立的市電/油機切換裝置,集中布置在資料中心1#樓和4#樓兩個配電室,縮短切換操作時間。
(4)機房電源系統
資料中心機房電源系統,根據業務類型、負載種類、客戶需求的不同,提供多種供電模式,包括48v直流、2n交流ups、交流ups+市電直供、240v直流+市電直供等模式。
4 資料中心240v直流+市電直供供電結構
目前,大型資料中心it裝置在積極采用新型供電方式,進一步降低供電損耗。由于高壓直流供電系統,在投資成本、系統效率、占地空間等方面,較交流ups具有更大的優勢,已得到較大規模的推廣和應用。
目前,240v直流供電技術的可行性已經得到較好驗證,相應的理論分析和實踐經驗也在不斷研究和總結中。240v直流供電技術已經成為行業熱點,并在不斷改變傳統資料中心供電以交流ups為主的格局。其中,基于240v直流技術衍生的“240v直流+市電直供”供電架構,進一步提升供電效率,節能效果更為顯著。
資料中心一路高壓直流、一路市電直供供電架構,主要有以下三種供電結構:
①供電結構(一):it裝置兩個供電路由,市電直供路由、240v供電路由完全獨立;
②供電結構(二):it裝置兩個供電路由,其中240v直流系統輸入屏設定雙電源切換裝置;
③供電結構(三):it裝置兩個供電路由,其中市電直供輸入屏、240v直流系統輸入屏均設定雙電源切換裝置。以上三種供電結構如圖4所示。
上述三種240v直流+市電直供供電結構,從供電等級看,均屬于可維護型供電結構。系統結構的演進及優化,通過采用增加較小投資成本,實作較大幅度提高系統可用性的目标。通過在不同位置增加雙電源切換裝置,增加部分裝置雙路由供電,一方面提高系統的可維護性,另一方面提高系統中部分裝置的故障應急搶修、計劃性停電維護期間的供電連續性。
上述産業園資料中心應用案例中,根據使用者對保障等級要求,采用模式(三):
①供電系統的低壓變配電部分采用集中供電方式,布置于一層配電室;資料中心各層機房分别設立設定樓層配電櫃,低配與樓層配電櫃間通過密集型母線連接配接;
②兩路市電電源均通過雙電源切換後,分别輸出至裝置市電直供列頭櫃,或經直流電源輸出至240v列頭櫃,有效地提高了市電直供路由的可靠性;
③裝置兩路供電邏輯關系對應,保證裝置兩路電源取自不同市電。
5 資料中心2n ups系統供電結構
由于ups裝置結構複雜,是以自身容易發生故障,裝置備援可以提高可用性,ups系統便有了n、n+x等多種供電架構。較高等級資料中心供電結構中,為了消除單點故障,對重要保障負荷采用2n備援系統。
2n備援系統是由兩套或多套ups系統組成的備援系統,每套ups系統有n台ups,裝置的總容量為系統的基本容量。該系統從交流輸入經ups裝置直到雙電源輸入負載,完全是彼此隔離的兩條供電線路。也就是說,在供電的整個路徑中,所有環節和裝置都是備援配置的。正常運作時,每套ups系統僅承擔總負荷的一部分。這種多電源系統備援的供電方式,克服了單電源系統存在的單點故障瓶頸,保證其供電可靠性,采用2n備援供電系統,其可用性得到明顯提高。
2n備援系統供電結構的實作,根據ups系統接線關系的不同,主要有以下三種供電結構(見圖5):
①供電結構(一):2n ups的兩台主機的輸入電源分别取自不同低壓母線段,其中單台主機的主路輸入、旁路輸入取自同一條低壓母線段;系統兩面輸出櫃配置手動維修旁路,手動維修旁路取電低壓母線段與對應的ups主機相同;
②供電結構(二):2n ups的兩台主機輸入電源分别取自不同低壓母線段,其中單台主機的主路輸入、旁路輸入取自同一條低壓母線段;系統兩面輸出櫃配置手動維修旁路,手動維修旁路取電低壓母線段與對應的ups主機不同;
③供電結構(三):2nups的兩台主機分别配置一面雙電源切換櫃;兩路市電經雙電源切換後,輸出至對應ups主機輸入電源;其中單台主機的主路輸入、旁路輸入取自同一面;輸出櫃配置手動維修旁路,手動維修旁路輸入端取自對應的雙電源切換櫃;雙電源切換櫃配置手動旁路功能;
資訊産業園2n ups系統采用供電結構(三)形式:2nups系統中的各單機,設定對應的ats配電櫃;ats櫃均有手動旁路功能;滿足ups系統從兩路不同市電供電要求,提升系統可用性;在低壓母線電壓異常、ups系統計劃性檢修維護等工作狀态下,該供電結構保證裝置連續供電要求;
資訊産業園2n ups系中,ups主機系統選擇子產品化ups。與傳統塔式機相比較,子產品化ups優勢明顯:單機實作子產品并機備援控制,可用性高;子產品化ups能夠實作随需擴容,降低建設初期投資;ups功率子產品、靜态旁路子產品實作線上熱插拔操作,具有較高維護性;ups功率子產品在高效運作,降低整機系統損耗。ups子產品化是資料中心不間斷電源供電技術未來發展方向之一。
6 資料中心制冷系統裝置供電結構
從制冷系統功能角度看,資料中心制冷系統主要為資料中心提供冷源,制冷系統與供電系統構成資料中心基礎設施重要的組成部分。
從制冷系統用電角度看,資料中心制冷系統相關裝置,如群控系統、冷凍水主機、冷卻塔、循環泵等,是資料中心重要的用電裝置,也是資料中心要重點保障的裝置之一。
資料中心實際案例中,往往缺乏對資料中心制冷系統供電保障可靠性的認識,很多資料中心的制冷系統建設,其初期投資、規劃、施工一般與資料中心機房的土建建築工程一起完成。
由于建築工程與資料中心機房工程建設在相關規範要求、施工工藝要求等方面,存在一定差異,制冷系統初期建設往往因投資總額、施工品質、施工技術等各項條件限制,往往忽視系統裝置的供電可靠性,并對後期制冷系統的可靠性、可用性、可擴充性方面産生較大影響。
以上述産業園資料中心的冷凍水制冷系統為例,其冷凍水系統結構,主要采用3台高壓冷水機組,水系統按照“2用1備”模式運作,每套水系統配置獨立蓄冷罐,水系統中冷卻塔、水泵、電磁閥等均為低壓供電模式。
圖6所示為傳統模式下該制冷系統供電結構。從傳統制冷系統供電結構上看,制冷系統主裝置盡管備援設定,但所有獨立系統均取自一套低壓供電系統,且取自同一面配電櫃;互相獨立的水系統用電裝置,供電系統未獨立設定;當一套配電系統或某個配電單元出現故障,引起制冷系統整體停機;供電系統未配置ups,兩路市電異常情況下,不能保障連續制冷要求。
圖7所示為産業園制冷系統實際采用的供電結構,該供電結構基于各套制冷系統備援工作模式,為每套制冷系統提供完全獨立的供電模式;制冷系統重要等級低的用電裝置,均采用雙電源切換裝置,雙電源切換櫃配置手動旁路;制冷系統用電裝置ats主/備一緻對應,避免市電切換影響系統運作;制冷系統中冷凍水循環泵、群控系統、主機控制櫃等裝置,采用獨立單機ups系統供電模式,保障資料中心持續供冷。采用該形式供電結構,保證了制冷系統在水循環、供電結構、邏輯控制等方面完全獨立,進一步提高資料中心制冷系統可靠性、可用性、可維護性。
7 資料中心供配電技術展望
(1)實作快速部署、快速擴容是供配電技術未來發展的重要課題
如何有效縮短資料中心建設周期,是各資料中心在決策、規劃、設計階段,要考慮的主要問題之一。在資料中心網絡技術領域,子產品化設計在大型的雲計算資料中心以及超級計算機中都很常見,子產品化資料中心這一趨勢進一步推向主流,資料中心設計建造中很多問題都與系統子產品化程度有關。
實作資料中心供配電系統快速部署、快速擴容,可以采取供配電系統整體設計、預制化、子產品化的建設思路,是未來資料中心基礎設施設計的基本政策和重要理念。
供配電系統子產品化建設思路,不僅設計某一特定裝置内部子產品化,還應更新到供電、配電等系統層面系統級子產品化,供配電系統級的子產品化發展,及與之關系緊密的标準化,簡化供配電系統從初期規劃、系統建設、運維管理每一個環節複雜度。
實施過程中,應綜合考慮變配電、樓層配電、不間斷電源等各部分組成架構、結構特點,結合資料中心建築設施特點,實作供配電系統一體化規劃、子產品标準化預制、整體拼裝等,進而達到有效縮短供配電系統建設周期,實作供配電系統快速部署、快速擴容的目标。
(2)對供電系統高可用性、易維護性要求,依然是資料中心供配電技術重點發展方向從資料中心供配電系統的最終功能要求來看,在資料中心營運階段,供配電系統高可用、易維護一直是資料中心供配電主要目标。
從國際、國内标準或規範來看,資料中心保障等級、可靠性與供電結構的複雜度息息相關,但系統可用性、易維護性并沒有随着系統保障等級變高,在部分供配電結構中,反而因為系統複雜度上升影響了系統的維護性。傳統資料中心為保證可靠性提高,采用複雜的供配電結構,對于部分系統自動化控制不足的資料中心,複雜的供配電架構其實對運維人員技術能力、素質水準都有非常高的要求。
從it負載特點看,随着網際網路技術的發展,雲計算、雲存儲、虛拟化技術的應用,現代資料中心的裝置負載與傳統資料中心相比,負載屬性有了質的變化,不同保障等級的裝置占比,也有極大的變化,更多的裝置可用通過“240v+市電直供”“ups+市電直供”等簡單模式代替傳統的“2n ups”等系統結構。系統結構複雜度降低、供配電結構可靠性提高,都對供配電系統的可用性、維護性等提出更高的要求。
(3)有效減少投資成本、提高空間使用率、實作供配電系統節能高效運作是資料中心供配電技術發展面臨的重要挑戰平衡成本、效益的關系,依然是資料中心行業重點要考慮主要問題,也是資料中心展現其自身商業屬性的必然要求。
一方面,從建設成本及空間使用率角度出發,未來需要通過進一步優化供配電系統結構,努力提高供配電系統智能控制水準,節省不必要備援裝置投資,減少電力系統空間占地面積,提高資料中心it裝置可裝機架能力。随着高密度it裝置的要求,供配電系統裝置本身也要通過提高技術水準、優化裝置櫃體結構、措施,提高其機關占地面積的供電能力。
另一方面,從營運成本及節能角度出發,目前資料中心面臨日益嚴峻的高能耗,需要通過新技術應用,如采用削峰填谷供電技術、dcim管理技術等,進一步提高供配電系統的供電效率,減少供電系統電力損耗,降低資料中心pue值,節約營運期間的電費成本。
8 結束語
本文闡述了資料中心供配電架構選擇綜合考慮因素,并讨論了幾種典型資料中心供電架構,同時以某一資料中心供配電系統應用案例為基礎,詳細分析了幾種不同的供配電結構及優化方案的特點及優缺點,為資料中心供配電系統架構演進及探讨提供參考,并對資料中心供配電技術發展做了簡單歸納。
供配電系統作為資料中心基礎設施主要組成部分,在資料中心行業發展中的地位越來越顯著,對資料中心供配電技術的研究,已經逐漸從關注單個裝置轉而關注系統解決方案,很多新理念、新架構、新技術、新裝置在資料中心的應用層出不窮,并日趨成熟。圍繞資料中心供配電産品、技術、應用和整體解決方案探讨,也逐漸向标準化、全面化、系統化的方向發展,選擇綠色的、經濟的、高效的、可用性高的供配電系統,已經成為行業共識。
本文轉自d1net（轉載）