如何讓大資料成為電力企業競争的核心資本？

大資料時代下電力企業面臨挑戰。我國原有電力企業實行垂直一體化管理，2000年後我國電力企業實行更全面更深刻的改革。就目前的現狀來看，電力企業包括獨立的發電廠、五大發電公司、兩大獨立核算的電網經營企業，以及電力建設公司等其他獨立核算機關。基于目前我國電力企業的發展現狀，大資料産生于電力企業的各個方面。在發電側，随着數字化電廠的建成，海量的有關故障監控、裝置運作狀态等資料被各大電廠保留下來;在輸電側和配電側，在輸變電裝置狀态監測系統中，為了能對絕緣放電等狀态進行診斷，最大程度減少線損，需存儲和監控的資料量十分巨大;在用電側，電力使用者的個人資訊、電價資訊以及智能電網的發展、電動汽車充放電監測資訊都會産生海量資料。

然而，大多數電力企業的資料庫僅僅實作了資料存儲、查詢、統計等最基本層次的功能，無法深入挖掘出隐藏在海量資料背後潛在的價值。電力大資料時代下必将會對作為我國經濟社會中存儲電力運作資訊知識、提供電力運作資料的電力企業帶來巨大的影響。是以，深刻了解大資料的内涵，聯系目前我國電力系統的發展以及電力系統資料存儲、利用的現狀就顯得十分必要，這也為電力企業真正應對大資料時代下電力企業面臨的挑戰提供了相關的思考。收集資料電力大資料時代，電力企業資料來源不僅僅是企業内部的曆史年度資料，還包括來自網際網路和資訊機構的各種資料。收集這些資訊是要附上相應的時空标志，必要的時候要剔除無效資料，同時還應當盡可能收集不同資料來源、結構化程度不同的資料，并且做到盡可能和企業内部的曆史資料相對照，以便于驗證資訊的可靠性和真實性，這對于電力企業來說，将是個不小的挑戰。半結構化和結構化資料現代網際網路應用呈現出非結構化和半結構化資料大幅度增長的特點。據不完全統計，這類資料占有比例已經達到整個資料量的75%以上。同時，由于資料網絡化的存在，使得這類資料的複雜關系無處不在;另外，這類資料是以資料流的形式存在，資料價值化的展現與時間呈現明顯的相關性，價值稍縱即逝。盡管目前計算機智能化有了很大進步，但還隻能針對有結構或類結構的資料進行分析，談不上深層次的資料挖掘。

分析資料網絡背後的資料關系大量觀測資料雖然可以映射出各種複雜的網絡系統，但由于這些資料往往是孤立的資料點，映射出的資料網絡難免片面，如何做好資料內建，使之成為一個完整的資料網絡，這是值得思考的問題。以發電企業為例，單單考慮發電量資料，得到的僅僅是發電廠發電量單一方面的資料。然而，發電資料是與電壓資料、線損資料、使用者用電資料等互相聯系的，如何利用模糊分析方法，考慮這些資料的參數關系，分析複雜網絡之間的聯系，對發電企業來說将是一個巨大的挑戰。

另外，由于各個發電企業、供電企業沒有統一對其專業化的資訊系統進行建設，導緻電力生産、銷售各專業資料彼此獨立，形成資訊孤島。為破除資訊孤島的資料壁壘，需要融合發電、輸電、變電、配電、用電等多方面資料，這就需要考慮如何對各環節多資料進行融合。電力大資料時代下的資料挖掘技術在電力大資料時代下，大資料已成為電力企業進行決策的基礎。但是，單純資料的積累并不能給電力企業帶來益處，隻有運用相關的技術手段，對大量的資料進行深加工，發現隐含的資訊并加以利用，進而指導電力企業做出正确的決策，這樣電力大資料的作用才能發揮到極緻。研究認為資料挖掘技術的運用将會在電力企業成本降低、電力市場開拓、電力系統安全運作等方面發揮重大作用。

是以，了解資料挖掘技術及其在電力企業中的應用就顯得非常必要。資料挖掘技術資料挖掘技術是通過對海量資料進行模組化，并通過數理模型對企業的海量資料進行整理與分析，以幫助企業了解其不同的客戶或不同的市場劃分的一種從海量資料中找出企業所需知識的技術方法。如果說雲計算為海量分布的電力資料提供了存儲、通路的平台，那麼如何在這個平台上發掘資料的潛在價值，使其為電力使用者、電力企業提供服務，将成為雲計算的發展方向，也将是大資料技術的核心議題。電力系統是一個複雜的系統，資料量龐大，特别是在電力企業進入大資料時代後，僅僅是電力裝置運作和電力負荷的資料規模就已十分驚人。是以，光靠傳統的資料處理方法就顯得不合時宜，而資料挖掘技術的實作為解決這一難題提供了新的出路。資料挖掘技術在電力系統負荷預測和電力系統運作狀态監控、電力使用者特征值提取、電價預測等方面有很好的應用前景。有關資料挖掘技術的思考我國電力市場化運作過程中，電力市場運作模式大體經曆了壟斷模式、發電競價模式、電力轉運模式，現在正在積極過渡到配電網開放模式。在這個過渡階段，高品質的資料更是大資料發揮效能的前提，先進的資料挖掘技術是大資料發揮功效的必要手段。國際資料公司(internationaldatacorporation，idc)指出，在大資料時代下，新的資料類型與新的資料分析技術的缺失将是阻礙企業成為其行業上司者的重要因素。

該問題同樣存在于電力企業中。但是，先進的資料挖掘技術隻有在高品質的大資料環境下才能提取出隐含的、有用的資訊，否則，即使資料挖掘技術再先進，在充滿噪音的大資料環境中也隻能提取出毫無意義“垃圾”資訊。為此，電力企業為了應對電力大資料時代下資料品質對資料挖掘技術帶來的挑戰，應該考慮設立首席資料官(chiefdataofficer,cdo)，進行專門的資料管理工作，定義中繼資料标準，保證資料品質。國内一些企業目前隻是設立了首席資訊官(chiefinformationofficer，cio)，但是由于cio隻是技術專家，很難系統全面地開展資料挖掘工作，這就使得這些企業漸漸失去了充分利用大資料的優勢。是以，傳統的資料管理方式已經很難滿足大資料時代下對資料品質的要求，在電力大資料時代下，如何提高資料的品質，電力企業任重道遠。

大資料時代下電力企業資料挖掘技術的實作途徑大資料時代下，由于資料資訊量巨大，使得資料挖掘是知識的自發現過程。在無明顯目标的情況下需要從不同的資料源獲得資料，然後對資料進行預處理，并使用模糊識别等算法對資料進行挖掘分析。為此，中國人民大學網絡與移動管理實驗室開發出了一種采用面向領域的deepweb資料內建技術，進而實作對web資料自動內建和處理。分析認為大資料時代下電力企業資料挖掘技術主要由資料收集、資料整理、資料管理、資料分析、資料展示等過程組成，整個過程如圖所示。資料來源層實作大資料收集工作得益于移動裝置、無線射頻識别技術(radiofrequencyidentification，rfid)、網際網路、自動記錄系統等技術裝置，資料來源層主要存放了電力企業内部大量的事務型資料，以及會對電力企業決策産生影響的外部性資料。同時，為了使所獲得的資料更具代表性，電力企業要嘗試收集不同資料源産生的資料，為資料挖掘的後續工作做好準備。

資料整理層在資料挖掘技術中的實作在資料整理過程中，由于資料源資料内容往往交叉，是以需要按照互動性對觀測資料進行分類。同時，由于原始資料中有噪聲資料、備援資料及缺失資料等問題，需要對資料進行解析、清洗、重構，并填補缺失資料以提高待挖掘資料的品質。經過分類後資料被大緻分為兩大類：結構化資料、半結構化與非結構化資料。對于結構化資料，需要對其進行資料過濾，剔除無效資料以提高分析效率;對于半結構化和非結構化資料，需要按照一定的标準處理成機器語言或索引。例如，對電力使用者評論、電力系統運作日志資料等資料，就需要轉換成權重邏輯或是模糊邏輯，并将不同的詞語映射到标準值上，形成企業統一的語言。資料管理層在資料挖掘技術中的實作通過資料整理層，将經過整理和轉化的資料存儲到電力資料倉庫(datawarehouse，dw)中，由于不同的電力資料庫儲存标準不同，是以需要整合轉化後才能儲存到資料倉庫中，這裡就需要對資料倉庫進行重新設計。

經過重新設計的資料倉庫，可以根據不同的主題設計不同的屬性集，進而減少資料處理量;針對不同的主題資料庫，可以采取粗糙集的屬性歸約算法删除資料中的備援資訊，得到精簡的資料集;然後将決策樹所表示的資料集表示為if-then的分類規則知識，并儲存在規則知識庫中;如果有新資料樣本需要處理，可以按照一定的規則算法進行識别比對，進而進行綜合評價。資料分析層在資料挖掘技術中的實作經過資料管理層處理的資料，可以通過聯機分析處理技術(on-lineanalyticalprocessing，olap)來支撐複雜的決策分析過程，進而将資料轉化成為輔助決策的資訊。鑒于電力企業對資料實時性要求很高，可以将電力企業的資料分為實時性資料和非實時性資料進行分類處理。針對非實時性資料，可以考慮基于分布式檔案系統(distributedfilesystem，dfs)和mapreduce技術的雲計算來進行處理;也可以基于hadoop，一種dfs和mapreduce的開源實作的雲計算平台來進行資料處理。對于實時性資料，如電力負荷資料，一方面電力企業可以通過記憶體計算技術，将全部資料通過記憶體運作進行計算，這将是提高計算速度的有效辦法;另外，可以在雲平台前面設定若幹前置機，用于實時接收資料。

資料展示層可視化企業目标通過電力營銷決策支援系統(electricmarketingdecisionsupportsystem，emdss)，運用良好的資料可視化設計，借助圖形表達資料中的複雜資訊，将資料挖掘的成果可視化，并将其運用到電力企業未來的發展規劃中。将深度挖掘的資料可視化，可以使員工清楚地認識到電力企業未來的發展方向、評價決策制定的正确與否。結果是否符合實際，是決定整個系統挖掘技術是否成功的标準。展望基于我國的基本國情，電力企業具備非常好的從資料營運角度擷取更大程度資訊、資源、知識發現的基礎。是以，電力企業完全可以立足大資料，以資料挖掘技術為基礎，創造資料增值服務。智能電網的發展對于智能的了解，是指能夠深刻分析收集到的材料、資料，以獲得一個比較系統和全面的知識來解決特定的問題，進而滿足商業戰略目标的需要。智能面向電力行業，就是指電力行業發電、供電和用電的組織結構更加合理、運作程式更加優良、綜合功效更加強大的智慧系統，即所謂的智能電網。智能電網基于資料和能源的同步傳輸，通過促進能源與資訊技術的深度融合，已經逐漸形成了以能源、資料為運作體系支撐下的堅強可靠、友好互動、清潔環保的能源管理網絡。

大資料與電網的融合涉及從發電企業到最終使用者的整個能源轉換過程和電力輸送鍊。由于智能電網的快速發展，資訊通信技術正以前所未有的廣度、深度與電網生産、企業管理快速融合，資訊通信系統俨然已經成為智能電網的“中樞神經系統”，支撐新一代電網生産和管理的快速發展。一個行業的結構越合理，内部摩擦越小，功效越大，系統的智慧程度就越高，每次人與資料的互動就更有機會以更高效和更多産的方式分析彙總，進而更好地支援決策行動。目前，國家電網公司已初步建成了國内領先、國際一流的資訊內建平台，随着後續智能電表的逐漸普及，電網業務資料将從時效性層面進一步豐富和拓展。通過對拓展到家庭、企業的廣泛覆寫的資料采集網絡進行深度的資料挖掘，可以進一步實作智能用電管理，使使用者掌握實時用電資訊、線上互動能耗資料，實作能源高效循環利用，進而為節能減排提供依據。是以，智能電網的發展，将更好地推動資料挖掘技術在電力行業的運用。

基于資料挖掘技術的客戶關系管理随着電力企業改革的不斷深入發展，客戶關系管理(customerrelationshipmanagement，crm)已經廣泛應用到電力企業管理中，電力使用者日益成為電力企業競争的核心。不同的使用者對電力的需求是不同的，哪家供電企業如果能夠及時運用一定的方法和工具将電力需求不同的客戶進行分類，誰就能獲得先機，取得競争優勢。對此，電力企業可以通過挖掘由客戶資訊、用電資訊組成的主題倉庫，來對電力使用者進行進一步了解。

再如，企業競争情報系統的分析方法需要處理大量的資料，通常都是pb級的。如果通過對這些情報資料進行分析，将具有類似電力需求的客戶歸在一類，将有助于電力企業尋找最有價值的電力客戶。通過向這些客戶提供特殊的服務，投放不同的廣告，将有助于提高其滿意度和忠誠度，進而為電力企業盈利提供保證。

對此，可以将聚類分析運用到crm中，進而能夠針對不同的消費者群體提供更多的個性化服務,以便于更好滿足電力客戶的需求，為電力企業争取更多的客戶。建立以資料挖掘技術為核心的資訊系統由于計算機技術、網絡技術在處理資料資料上的便捷、高效，電力企業為了适應時代的需求，大多探索建立了資訊系統來輔助自己對内外部資料進行系統統計和精确分析，這樣使得電力使用者資料統計變得相對簡單、易于操作。對于現代電力企業，應該逐漸摒棄“以産品為中心(good-domimantlogic)”的傳統管理模式，并轉變為“以服務為中心(service-dominantlogic)”的面向“社會媒體—網民群體—電力企業”的“企業網絡生态系統(enterpriseecocystem)”的新型管理模式。

對此，一些電力企業開展了網上辦電、網上業務咨詢等服務，并對由此産生的資訊進行分析和利用，從中獲得收益;中國南方電網有限責任公司也将投資建設一體化資訊平台;五大發電企業目前正在重構其資訊系統以建立新的管理與營運模式，把建立統一的資訊平台作為資訊化建設的重點項目。同時，有人還提出了基于傳統“目标驅動決策”和現代的“資料驅動決”的技術創新管理雙向決策模型，如果将這個模型應用于供電企業中，可以形成以自組織動态監測為核心，能夠有效預警并處理用電高峰期的技術監測模型。

對于日趨完善的電力企業資訊系統，資料挖掘技術的實施必将取得事半功倍的效果。資料挖掘過程中的能耗問題電力企業在進行使用者資訊提取、負荷預測、資料庫維護過程中，由于面對資料中心存儲規模不斷擴大的現實，高能耗、高成本已經成為制約大資料時代下資料挖掘過程有效進行的一個瓶頸。據《紐約時報》和麥肯錫公司就能耗問題發表的一篇題為“powerpollutionandtheinternet”的文章指出，對于google來講，資料中心年耗電量約為3mw，而這些能耗中，隻有6%～12%被合理利用。對于我國的電力企業來講，絕大多數電能用于使伺服器處于閑置狀态，以應對負荷高峰時等情況。是以，對于電力企業來講，應該從采用新型低功耗硬體以及引入可再生的新能源來構造一個綠色資料庫等角度來考慮如何緩解能耗問題，将節約的能源再利用于基于時間序列相似性的電價預測。

本文轉自d1net（轉載）