如何讓大資料成為電力企業競争的核心資本？

大資料時代下電力企業面臨挑戰。我國原有電力企業實行垂直一體化管理，2000年後我國電力企業實行更全面更深刻的改革。就目前的現狀來看，電力企業包括獨立的發電廠、五大發電公司、兩大獨立核算的電網經營企業，以及電力建設公司等其他獨立核算機關。基于目前我國電力企業的發展現狀，大資料産生于電力企業的各個方面。在發電側，随着數字化電廠的建成，海量的有關故障監控、裝置運作狀态等資料被各大電廠保留下來;在輸電側和配電側，在輸變電裝置狀态監測系統中，為了能對絕緣放電等狀态進行診斷，最大程度減少線損，需存儲和監控的資料量十分巨大;在用電側，電力使用者的個人資訊、電價資訊以及智能電網的發展、電動汽車充放電監測資訊都會産生海量資料。

然而，大多數電力企業的資料庫僅僅實作了資料存儲、查詢、統計等最基本層次的功能，無法深入挖掘出隐藏在海量資料背後潛在的價值。電力大資料時代下必将會對作為我國經濟社會中存儲電力運作資訊知識、提供電力運作資料的電力企業帶來巨大的影響。是以，深刻了解大資料的内涵，聯系目前我國電力系統的發展以及電力系統資料存儲、利用的現狀就顯得十分必要，這也為電力企業真正應對大資料時代下電力企業面臨的挑戰提供了相關的思考。收集資料電力大資料時代，電力企業資料來源不僅僅是企業内部的曆史年度資料，還包括來自網際網路和資訊機構的各種資料。收集這些資訊是要附上相應的時空标志，必要的時候要剔除無效資料，同時還應當盡可能收集不同資料來源、結構化程度不同的資料，并且做到盡可能和企業内部的曆史資料相對照，以便于驗證資訊的可靠性和真實性，這對于電力企業來說，将是個不小的挑戰。半結構化和結構化資料現代網際網路應用呈現出非結構化和半結構化資料大幅度增長的特點。據不完全統計，這類資料占有比例已經達到整個資料量的75%以上。同時，由于資料網絡化的存在，使得這類資料的複雜關系無處不在;另外，這類資料是以資料流的形式存在，資料價值化的展現與時間呈現明顯的相關性，價值稍縱即逝。盡管目前計算機智能化有了很大進步，但還隻能針對有結構或類結構的資料進行分析，談不上深層次的資料挖掘。

分析資料網絡背後的資料關系大量觀測資料雖然可以映射出各種複雜的網絡系統，但由于這些資料往往是孤立的資料點，映射出的資料網絡難免片面，如何做好資料內建，使之成為一個完整的資料網絡，這是值得思考的問題。以發電企業為例，單單考慮發電量資料，得到的僅僅是發電廠發電量單一方面的資料。然而，發電資料是與電壓資料、線損資料、使用者用電資料等互相聯系的，如何利用模糊分析方法，考慮這些資料的參數關系，分析複雜網絡之間的聯系，對發電企業來說将是一個巨大的挑戰。

另外，由于各個發電企業、供電企業沒有統一對其專業化的資訊系統進行建設，導緻電力生産、銷售各專業資料彼此獨立，形成資訊孤島。為破除資訊孤島的資料壁壘，需要融合發電、輸電、變電、配電、用電等多方面資料，這就需要考慮如何對各環節多資料進行融合。電力大資料時代下的資料挖掘技術在電力大資料時代下，大資料已成為電力企業進行決策的基礎。但是，單純資料的積累并不能給電力企業帶來益處，隻有運用相關的技術手段，對大量的資料進行深加工，發現隐含的資訊并加以利用，進而指導電力企業做出正确的決策，這樣電力大資料的作用才能發揮到極緻。研究認為資料挖掘技術的運用将會在電力企業成本降低、電力市場開拓、電力系統安全運作等方面發揮重大作用。

是以，了解資料挖掘技術及其在電力企業中的應用就顯得非常必要。資料挖掘技術資料挖掘技術是通過對海量資料進行模組化，并通過數理模型對企業的海量資料進行整理與分析，以幫助企業了解其不同的客戶或不同的市場劃分的一種從海量資料中找出企業所需知識的技術方法。如果說雲計算為海量分布的電力資料提供了存儲、通路的平台，那麼如何在這個平台上發掘資料的潛在價值，使其為電力使用者、電力企業提供服務，将成為雲計算的發展方向，也将是大資料技術的核心議題。電力系統是一個複雜的系統，資料量龐大，特别是在電力企業進入大資料時代後，僅僅是電力裝置運作和電力負荷的資料規模就已十分驚人。是以，光靠傳統的資料處理方法就顯得不合時宜，而資料挖掘技術的實作為解決這一難題提供了新的出路。資料挖掘技術在電力系統負荷預測和電力系統運作狀态監控、電力使用者特征值提取、電價預測等方面有很好的應用前景。有關資料挖掘技術的思考我國電力市場化運作過程中，電力市場運作模式大體經曆了壟斷模式、發電競價模式、電力轉運模式，現在正在積極過渡到配電網開放模式。在這個過渡階段，高品質的資料更是大資料發揮效能的前提，先進的資料挖掘技術是大資料發揮功效的必要手段。國際資料公司(internationaldatacorporation，idc)指出，在大資料時代下，新的資料類型與新的資料分析技術的缺失将是阻礙企業成為其行業上司者的重要因素。

該問題同樣存在于電力企業中。但是，先進的資料挖掘技術隻有在高品質的大資料環境下才能提取出隐含的、有用的資訊，否則，即使資料挖掘技術再先進，在充滿噪音的大資料環境中也隻能提取出毫無意義“垃圾”資訊。為此，電力企業為了應對電力大資料時代下資料品質對資料挖掘技術帶來的挑戰，應該考慮設立首席資料官(chiefdataofficer,cdo)，進行專門的資料管理工作，定義中繼資料标準，保證資料品質。國内一些企業目前隻是設立了首席資訊官(chiefinformationofficer，cio)，但是由于cio隻是技術專家，很難系統全面地開展資料挖掘工作，這就使得這些企業漸漸失去了充分利用大資料的優勢。是以，傳統的資料管理方式已經很難滿足大資料時代下對資料品質的要求，在電力大資料時代下，如何提高資料的品質，電力企業任重道遠。

大資料時代下電力企業資料挖掘技術的實作途徑大資料時代下，由于資料資訊量巨大，使得資料挖掘是知識的自發現過程。在無明顯目标的情況下需要從不同的資料源獲得資料，然後對資料進行預處理，并使用模糊識别等算法對資料進行挖掘分析。為此，中國人民大學網絡與移動管理實驗室開發出了一種采用面向領域的deepweb資料內建技術，進而實作對web資料自動內建和處理。分析認為大資料時代下電力企業資料挖掘技術主要由資料收集、資料整理、資料管理、資料分析、資料展示等過程組成，整個過程如圖所示。資料來源層實作大資料收集工作得益于移動裝置、無線射頻識别技術(radiofrequencyidentification，rfid)、網際網路、自動記錄系統等技術裝置，資料來源層主要存放了電力企業内部大量的事務型資料，以及會對電力企業決策産生影響的外部性資料。同時，為了使所獲得的資料更具代表性，電力企業要嘗試收集不同資料源産生的資料，為資料挖掘的後續工作做好準備。

資料整理層在資料挖掘技術中的實作在資料整理過程中，由于資料源資料内容往往交叉，是以需要按照互動性對觀測資料進行分類。同時，由于原始資料中有噪聲資料、備援資料及缺失資料等問題，需要對資料進行解析、清洗、重構，并填補缺失資料以提高待挖掘資料的品質。經過分類後資料被大緻分為兩大類：結構化資料、半結構化與非結構化資料。對于結構化資料，需要對其進行資料過濾，剔除無效資料以提高分析效率;對于半結構化和非結構化資料，需要按照一定的标準處理成機器語言或索引。例如，對電力使用者評論、電力系統運作日志資料等資料，就需要轉換成權重邏輯或是模糊邏輯，并将不同的詞語映射到标準值上，形成企業統一的語言。資料管理層在資料挖掘技術中的實作通過資料整理層，将經過整理和轉化的資料存儲到電力資料倉庫(datawarehouse，dw)中，由于不同的電力資料庫儲存标準不同，是以需要整合轉化後才能儲存到資料倉庫中，這裡就需要對資料倉庫進行重新設計。

經過重新設計的資料倉庫，可以根據不同的主題設計不同的屬性集，進而減少資料處理量;針對不同的主題資料庫，可以采取粗糙集的屬性歸約算法删除資料中的備援資訊，得到精簡的資料集;然後将決策樹所表示的資料集表示為if-then的分類規則知識，并儲存在規則知識庫中;如果有新資料樣本需要處理，可以按照一定的規則算法進行識别比對，進而進行綜合評價。資料分析層在資料挖掘技術中的實作經過資料管理層處理的資料，可以通過聯機分析處理技術(on-lineanalyticalprocessing，olap)來支撐複雜的決策分析過程，進而将資料轉化成為輔助決策的資訊。鑒于電力企業對資料實時性要求很高，可以将電力企業的資料分為實時性資料和非實時性資料進行分類處理。針對非實時性資料，可以考慮基于分布式檔案系統(distributedfilesystem，dfs)和mapreduce技術的雲計算來進行處理;也可以基于hadoop，一種dfs和mapreduce的開源實作的雲計算平台來進行資料處理。對于實時性資料，如電力負荷資料，一方面電力企業可以通過記憶體計算技術，将全部資料通過記憶體運作進行計算，這将是提高計算速度的有效辦法;另外，可以在雲平台前面設定若幹前置機，用于實時接收資料。

本文轉自d1net（轉載）