天天看點

大資料+AI能與碳中和扯上關系?看這家新能源企業如何操作

大資料+AI能與碳中和扯上關系?看這家新能源企業如何操作

2020 年 9 月,中國政府提出了 2060 年前實作碳中和的目标,此後,這一概念的熱度節節攀升。「碳達峰」和「碳中和」也正式寫進了 2021 年的《政府工作報告》,成為兩會期間最熱門的議題。

從目前的排放總量來看,中國已是全球碳排放第一大國。處于經濟上升期、排放達峰期的現況讓我們必須兼顧能源低碳轉型和經濟轉型,統籌考慮限制碳排放和保持社會經濟發展增速需求之間的沖突。為了實作碳中和目标,各行各業,尤其是能源行業,都要付出更多的努力。

原本這些努力,與 IT 行業主導的 AI、大資料等技術或應用似乎是八杆子都打不着的關系。然而,就在能源革命悄悄開啟的當下,數字化和智能化的技術驅動力還是悄然浮出了水面。

這兩者會産生關聯的原因其實很簡單——在低碳經濟的發展趨勢下,以風電、光伏為代表的可再生新能源正在能源格局中扮演越來越重要的角色。來自國家能源局的資料顯示,僅 2019 年上半年,全國風電發電量同比增長 11.5%、光伏發電裝機量同比增長 20%。

然而,風電、光伏等新能源卻很容易受到環境因素的限制:在其生産過程中,風速、風向、日照、氣溫、氣壓等環境因素,都會給電力系統帶來巨大影響,使發電裝置、 并入電網都面臨運作效率、裝置安全等方面的問題。

在這一特定背景下,功率預測系統的作用顯得尤為重要。除能幫助電網排程系統合理調整和優化發電計劃,改善電網調峰能力,還能減少棄風和棄光率,是産業真正實作降本增效的基礎。

以往,通過曆史資料以及人工經驗來實施功率預測,往往存在準确率低、波動性大等弊端。是以在這場史無前例的大變革中,人工智能、物聯網、雲計算等新興技術注定會成為幕後英雄。以智能化手段來應對以上挑戰,也正在成為新能源企業面向未來,領跑綠色能源發展之路的首選。

金風慧能就是其中的領跑者之一。這家新能源數字化、智能化領域的專業服務提供商,結合風機級氣象預報、風軌迹模拟等氣象預報資料, 以多模型組合的方式建構了用于功率預測的全新智能方案,将預測的準确率提升了 20% 以上。

它的秘訣是什麼?

窮則變、變則通、通則久

在大資料和 AI 技術發展的助力下,基于 AI 的智能功率預測其實早就具備了充分的落地條件。但問題是:隻單純依靠海量曆史資料樣本,并且隻采用單一的人工智能算法模型的方法,也早已面臨「技窮」的局面,其預測準确率會随着預測時段變長而随之降低。

大資料+AI能與碳中和扯上關系?看這家新能源企業如何操作

對于電力生産而言,最常見的超短期預測也要求系統預測 4 小時内的功率輸出,這意味着預測系統需要在未來 16 個時間點 (每 15 分鐘計為一個時間點) 上都保持出色的預測準确率和穩定性。 

窮則思變,金風慧能通過研究和實踐發現,在既有智能預測系統中,導入兩項技術即可帶來改觀:

一是導入更多元度、更具價值的資料。傳統預測方法是一種「從已有功率資料去預測未來功率」的方案,是以其在時間次元上缺乏必要的資料支撐,而氣象預報資料則能有效地彌補這一短闆,其時序性資料能令未來各個時間點的預測準确率都保持一緻性;

二是為更多元的資料比對多模型組合的方案,便于根據實際需求選取不同的深度學習或機器學習模型,分别與氣象預報資料進行組合,揚長補短。

「牽手」Analytics Zoo, 打通大資料與 AI 應用

有了解決問題的法子,接下來就是思考如何實施。

第一步,要先「打通」大資料平台與 AI 應用,這是打造一個結合海量曆史資料與氣象預報資料,并以多模型組合方式運作的全新智能功率預測方式所必需的,但要在大量分布式資料節點上打通大資料平台與 AI 模型、架構和優化方法,也不是件容易事兒。為此,金風慧能與英特爾展開了緊密合作。

Analytics Zoo 是英特爾專門針對打通大資料平台與 AI 任務這一挑戰開發并開源的解決方案,也是英特爾至強平台在軟體和系統級優化上的重要組成部分。它能幫助多數企業使用者現在普遍使用的、基于至強處理器的大資料平台上,直接背靠其積累的海量資料無縫部署 AI 應用。這一過程既不需要分别建構大資料平台和 AI 平台,免去将「大噸位」資料在不同平台間騰挪所消耗的高昂成本,也無需更換大資料平台的基礎設施。

當然,Analytics Zoo 有很多自己的獨特優勢:先天就可對基于英特爾 ® 架構的硬體基礎設施提供全面周到的性能調優,同時支援 TensorFlow、PyTorch、Keras、BigDL 等多種主流 AI 架構。

基于 Analytics Zoo,建構統一端到端全優化方案

正是基于 Analytics Zoo,金風慧能輕松地将 Spark、TensorFlow、Keras 及其它軟體和架構無縫內建到了同一管道中,實作将資料存儲、資料處理以及訓練推理的流水線整合到統一的基礎設施上。如此一來,既可大幅提升新方案的部署效率、資源使用率和可擴充性,還能減少用于硬體管理及系統運維的成本。

下面這張圖展示了基于 Analytics Zoo 的分布式功率預測架構:

大資料+AI能與碳中和扯上關系?看這家新能源企業如何操作

同時,Analytics Zoo 還能卓有成效地将英特爾提供的衆多底層軟體加速庫,如英特爾 ® 數學核心函數庫 (Intel® Math Kernel Library,現名為 oneAPI Math Kernel Library)、面向深度神經網絡的英特爾 ® 數學核心函數庫 (Intel® Math Kernel Library for Deep Neural Network, 現名為 oneAPI Deep Neural Network Library) 等,應用到上層功率預測方案的優化中去。

「壓榨」Analytics Zoo, 強化時序資料分析

除了提供統一的端到端平台架構,Analytics Zoo 對于不同時序分析應用,如時序預測、異常檢測、時序表征學習、時序聚類等,也提供了完整的解決方案,便于金風慧能在新方案中建構更多的預測方法組合。

Analytics Zoo 針對時序資料預置了豐富的功能元件,包括功率預測常見的深度學習和機器學習模型(LSTM、Encoder-Decoder、MTNet、ARIMA 等),功率預測中常用的資料預處理和特征工程(Datetime features、 Time diff、Log-transform、Rolling window 等),功率預測中普遍的異常探測方法(Percentile、Distribution- based、Uncertainty based、Autoencoder 等)。  Analytics Zoo 還提供了 AutoML 方法,使新方案實作了自動化特征選擇、模型選擇和超參調優等,令預測模型得以更好地拟合發電裝置輸出功率的變化周期。 

經過全國多個光伏測試場站的實地測試,在驗證方案以月為周期的條件下,每一個測試的光伏場中,在單小時内使用 30000 條記錄對 LSTNet 模型進行 5000 次疊代優化,并在 50 毫秒内獲得未來 2 小時的功率預測資料。結果顯示,新方案在預測準确率上超越了原有方案的 59%,達到了 79.41%。

大資料+AI能與碳中和扯上關系?看這家新能源企業如何操作

金風慧能功率預測新舊方案對比。

AI 要實作「軟着陸」 大資料支援不能少

金風慧能的一系列操作,從實戰角度再次印證了算法、算力、資料三者良性互動的重要性。大資料作為基礎資源,為 AI 技術的快速進步和實踐落地起到了奠基作用。不難想象,如果沒有足夠量級、擷取和使用足夠便捷的資料為算力和算法托底,AI 的落地很可能會演變成鼻青臉腫式的「硬着陸」。

在這種認知的推動下,有越來越多的行業在 AI 應用過程中導入 Analytics Zoo,以無縫對接他們的大資料平台與 AI 應用。例如在智能制造領域,由 Analytics Zoo 提供的端到端 AI 開發與部署能力,就幫助美的建構了高效的工業視覺檢測雲平台,用以實施産品缺陷檢測。

Analytics Zoo 讓美的能夠在統一的、基于至強處理器的雲平台上進行海量資料管理、分布式模型訓練、模型重定義及模型推理等一系列 AI 處理流程。在資料采集及預處理優化階段,Analytics Zoo 能幫助雲平台執行高效分布式資料預處理和代碼優化,在 50 毫秒内就完成對圖檔的讀取和處理;在海量資料管理階段,它能助雲平台快速進行資料存儲、分類以及更新;在分布式模型訓練階段,它一方面可協助雲平台建構檢測模型,另一方面通過自帶的 TF 優化器迅速啟動分布式訓練過程;在模型重定義階段,Analytics Zoo 不僅可執行參數調整,并可加速模型推理速度。

這一通連貫的組合拳下來,結果就是美的工業視覺檢測雲平台的模型推理時間從 2 秒縮短到了 124 毫秒。

MasterCard 和韻達則是金融和物流行業中打通大資料和 AI 應用的先行者,前者利用 Analytics Zoo,在基于至強可擴充處理器的大資料叢集上直接開發和運作用于營銷推薦場景的深度學習應用,不但避開了采用異構 AI 系統可能會面對的複雜工具內建、昂貴的資料複制和移動,以及更長的項目時間和資源消耗等問題,還實作了更優的精準度和召回率;後者則利用 Analytics Zoo 和英特爾至強平台,以端到端的方式快速靈活地建構了「大小件測量」、「資料中心異常檢測」以及「件量預測」等關鍵環節的 AI 應用,有效提升了快遞物流系統的運作效率,大大降低了人工勞動的強度和人力成本。

在這些行業使用者積極嘗試 Analytics Zoo 的同時,也有緻力于提供成熟商品化解決方案的合作夥伴盯上了它與至強可擴充平台的組合優勢——在中國 AI 伺服器領域占據了市場及技術優勢的浪潮,就于近期推出了融合 Analytics Zoo, 基于浪潮雲海大資料平台 insight 的端到端智慧計算解決方案,可以讓更多使用者快捷、高效、低成本地将大資料預處理、模型的訓練和推理與他們現有的大資料工作流整合在一起。

值得一提的是,英特爾也在同期釋出了代号為 Ice Lake、面向單路和雙路伺服器、基于 10 納米制程工藝生産、擁有更優性能和能效的全新第三代至強可擴充處理器。該處理器可搭配傲騰持久記憶體 200 系列、傲騰固态盤 P5800X 系列及通信帶寬最高達 100Gbps 的以太網 800 系列網絡擴充卡等存儲和網絡優化型産品,還有包括 Analytics Zoo 在内的多種英特爾軟體及系統級優化工具,進而組合成資料計算、存儲和傳輸表現更優、也更為均衡的新一代至強可擴充平台,相信很多使用者和合作夥伴基于 Analytics Zoo 的 AI 實踐或解決方案,很快就會借此平台實作更優的性能、成本和靈活性收益。

繼續閱讀