天天看點

【大資料幹貨】阿裡雲數加讓企業更專注于業務,助力東潤環能高效利用大資料資源關于東潤環能問題及挑戰解決方案及架構收益

為了摸索出一套真正适合中國國情的新能源資料應用服務方案,雲計算和大資料技術成為了東潤環能創新的重要手段。而經過了各方面測試和挑選,東潤環能最終選擇了阿裡雲作為自己的合作夥伴。而讓東潤環能選擇阿裡雲的原因,除了阿裡雲強大的雲平台能力之外,還有阿裡雲數加maxcompute的全方位服務能力及其穩定安全的表現。

北京東潤環能科技股份有限公司(以下簡稱“東潤環能”)是一家從事新能源電力領域的資料資訊服務公司,公司的經營聚焦為:新能源産業大資料應用與投資服務領跑者!東潤環能開創之初,提供了新能源發電功率預測系統、電網排程管理與支援系統、新能源城市規劃與咨詢服務等基礎性産品,并逐漸打造三大新能源網際網路智慧服務生态圈平台,包括新能源投資開發生态圈第一平台、綠色電力交易與智慧用能生态圈第一平台、新能源資産智慧營運生态圈第一平台,在新能源産業金融領域将打造新能源産業資料挖掘投資服務系統。

東潤環能作為新三闆首批進入創新層的上市企業,基于專業的氣象環境技術、空間環境技術及大資料技術每天為全國數千家新能源電站提供風光項目現場功率預測,為省級及地級排程部門提供專業氣象服務和大資料應用;并通過電網側為全國500餘家新能源子站提供控制政策并執行控制指令。旗下産品及業務開拓均基于對大資料的挖掘應用。

作為是東潤環能全資子公司北京能量魔方資料技術有限公司開發的“能量魔方”,将大資料為代表的網際網路創新理念與新能源發展當中的切實應用需求結合起來,推動虛拟世界和現實世界融合發展,促進新以行業生産、管理、經營模式變革,重塑産業價值鍊。但就在這個能夠造福一方的研發過程中,東潤環能卻遇到了不小的問題。正如東潤環能技術研發部總監王雲所言,要分析出個地方可再生資源的資訊,必然涉及巨大的資料分析,東潤環能在決定建設大資料平台項目之初,就在是否自建系統上犯了愁。自建大資料平台存在以下問題:

1. 投資成本過高

“在資料分析平台項目啟動之初,東潤環能已經存儲将近40tb的資料,且這一資料随着公司業務的發展還在逐年增加,如果自建系統從投入、時間、人力等綜合成本考慮都不合适。”王雲如是說。

确實,在idc中心自建大資料平台(如hadoop叢集)要充分考慮實體投入,人力運維投入,研發投入,業務波動等多方面的影響。一方面,硬體投入成本增加,需要根據業務的峰值來考慮硬體的投入;另一方面,人力成本也在增加,項目實施複雜度、應用開發及維護難度提高。總體上來說,實施大資料平台(如hadoop叢集)項目需要伺服器、存儲和網絡管理、hadoop叢集搭建和維護管理以及hadoop應用開發的三大類技能,項目實施複雜度高,項目技術人員的技術要求高,人才難獲得,人力投入高。

2. 運維複雜,成本增加

單純以目前較為成熟的離線計算來看,hadoop生态體系提供的mapreduce等性能較好。但是,此時hadoop叢集的性能嚴重依賴于虛拟機所提供的i/o性能、網絡帶寬以及系統穩定性等因素的限制。

“自建大資料平台基礎設施,對于東潤環能現有的人力物力比較而言,風險還是較大。”王雲說,另一方面,如此龐大的系統,需要運維人員同時對軟、硬體做維護,專人維護提高了系統的使用成本;對系統足夠了解,同時還需要兼顧不同系統間的版本相容性問題,這些都需要非常專業的技術人員對多款開源産品進行維護。無形中不僅增加運維成本,更增加了穩定風險。

這些問題接踵而至,對于傳統it來說,大資料分析和雲計算技術的引入無疑是一種巨大的業務壓力和技術挑戰,想要全部搞定必須上馬大系統,雇傭高端專業人才,而這就意味着大投入、大團隊。另一方面,傳統公有雲雖然從理論上也能夠支援這樣的業務,但國内公有雲應用普遍集中在網際網路領域;對于這樣的新興應用來說缺乏相應的技術接口和運維管理軟體支援。

新能源産業網際網路大資料應用服務雲平台是東潤環能應用能源網際網路大資料理念開發建設的新能源電力大資料應用服務平台,內建氣象、地理、裝置、金融等各類資料,能夠實作為包括政府、金融企業、電力投資企業、機械裝置企業、設計院等不同類型參與者提供大資料分析和資訊服務。

此平台定位為大資料資訊saas服務平台,提供在大資料基礎上建設的各種服務和應用工具,目前規劃有八個子產品,分别為:資源評估、氣象服務、裝置選型、營運管理、設計規劃、專業技術、項目評估、金融服務。

本項目總體技術方案如圖所示。

【大資料幹貨】阿裡雲數加讓企業更專注于業務,助力東潤環能高效利用大資料資源關于東潤環能問題及挑戰解決方案及架構收益

原解決方案如下:

1.資料中心

新能源門使用大資料分布式檔案存儲及并行計算技術,此前采用了hadoop叢集對海量氣象資料進行存儲及計算處理。

2.應用平台

項目采用基于javaee标準的、東潤環能自主研發的e3雲平台開發web應用,基于超圖的gis平台軟體搭建gis應用服務平台提供地圖展示服務,采用高性能計算叢集部署自主氣象計算服務平台,自主計算覆寫全國、指定分辨率、指定年限的氣象資料。

3.部署平台

通過采用某傳統it廠商公有雲服務平台的虛拟機部署web應用,自主搭建負載均衡服務支援高并發高性能通路;采用關系型資料庫進行業務應用資料存儲管理;采用對象存儲存儲海量氣象資料進行資料存儲管理,可根據業務需要選擇存儲曆史10、20、30年的曆史氣象資料;自主搭建hadoop分布式計算技術對海量資料進行分析處理,按照經緯度、所在位置的氣象資料生成統計資料,也可以對曆史氣象資料等做更多元度的資料挖掘。

東潤環能基于阿裡雲數加搭建的大資料服務平台架構如下方架構圖所示。

另外,雙方聯合推出針對新能源的專屬資料服務産品:資源評估、氣象服務、高精度資料下載下傳三項氣象資料産品;部分産品已經通過阿裡雲數加資料服務市場對外售賣。

1.讓企業專注業務

阿裡雲雲計算平台允許東潤環能在擁有少量it設施的同時,在東潤環能上線大資料平台時間緊任務急的情況下,用了不到3個月時間,就将業務全面的傳遞雲端,讓雲端的海量資源真正為業務服務。而阿裡雲成熟的業務擴充方案也讓東潤環能在業務無縫擴充等具體事務上無需操心太多。

從性能來看,阿裡雲數加maxcompute最新的2.0版本在tpch測試中,比hive 2.0+tez快90%。直接部署于實體機的阿裡雲數加maxcompute服務也排除了虛拟機對分布式下高i/o吞吐量,高網絡流量的不良影響。此前東潤環能租用虛拟機,在虛拟機上自行搭建hadoop叢集用于分析當天生産的氣象資料,由于運作效率低,每天資料處理需要至少3個小時以上;于今年5月份開始将資料遷移至阿裡雲數加平台;目前每天資料處理僅需要1個小時就可以完成,處理時間僅僅不到原來的1/3。

最重要的是采用阿裡雲數加,東潤環能将所有精力都放在業務上,節省了自建機房在學習成本、開發成本、管理成本、投入機房資源和運維成本的總成本,“相比自建hadoop實體叢集,使用阿裡雲數加maxcompute的總成本有較大降低,應用開發效率有很大提高。”王雲如是說。

顯然,一家新能源像網際網路企業擁有強大的it能力是一件不容易的事。而阿裡雲則提供了全面的服務支援,阿裡雲除了最基礎的資源池化之外,還提供衆多進階管理功能,友善東潤環能所産生的海量資料的有效管理和快速處理。

由于在東潤環能資料平台過程中應用了阿裡雲數加maxcompute,使其完全不需要關注伺服器和網絡管理,也不需要關注分布式叢集軟體的維護管理。基于阿裡雲數加maxcompute提供的開放接口和各類工具,以及一站式的大資料開發套件,項目實施難度低,讓開發者将精力全部放在資料處理、分析和應用上,極大的降低大資料應用開發的技術難度。而阿裡雲平台所提供的7×24小時技術支援服務則可以讓東潤環能随時随地獲得專業的技術支援,讓it不再成為業務發展的限制。

2.安全穩定

基于阿裡雲在關鍵業務領域多年的積累,阿裡雲提供安全可靠的雲解決方案。阿裡雲數加maxcompute通過多重安全沙箱防護作用,同樣起到了保護使用者系統安全的目的,其安全性并不低于簡單的實體隔離。更重要的是,阿裡雲數加maxcompute提供的多種安全機制能夠支撐阿裡巴巴集團上萬員工同時工作于同一套服務。對資料權限有非常高的管理及防護能力。

在穩定性上,阿裡雲數加maxcompute作為一款存serverless服務。不需要使用者關心任何硬體、軟體維護問題。阿裡雲數加專業的運維及開發團隊為使用者免除這些困擾,且所有工作對使用者透明。

依托于阿裡雲在安全性方面有全面考慮的底層平台和衆多的安全監控工具,東潤環能的各類應用資料即使放在雲端也可以確定萬無一失。而這些寶貴的資料正是東潤環能核心競争力的來源。

架構圖

【大資料幹貨】阿裡雲數加讓企業更專注于業務,助力東潤環能高效利用大資料資源關于東潤環能問題及挑戰解決方案及架構收益

<a href="https://yq.aliyun.com/articles/72250" target="_blank">大資料打造你的變美頻道——數加平台上小紅唇的大資料實踐</a>

https://yq.aliyun.com/articles/72250

<a href="https://yq.aliyun.com/articles/70510">借助阿裡雲數加,小小的美甲行業被美甲幫玩出了天價</a>

https://yq.aliyun.com/articles/70510

<a href="https://yq.aliyun.com/articles/70509">與阿裡雲整個生态體系共同成長,更快更好的為房地産行業客戶提供高價值的服務</a>

https://yq.aliyun.com/articles/70509

<a href="https://yq.aliyun.com/articles/69333">蘇州協鑫與阿裡雲合作階段性完成,良品率已提升1%</a>

https://yq.aliyun.com/articles/69333

<a href="https://yq.aliyun.com/articles/68211">墨迹天氣-輕松處理每天2tb的日志資料,支撐營運團隊進行大資料分析挖掘,随時洞察使用者個性化需求</a>

https://yq.aliyun.com/articles/68211

<a href="https://yq.aliyun.com/articles/67275">阿裡雲數加讓企業更專注于業務,助力東潤環能高效利用大資料資源</a>

https://yq.aliyun.com/articles/67275

<a href="https://yq.aliyun.com/articles/70359">産品3周疊代一次,啟信寶駕馭8000萬企業征信的平台架構</a>

https://yq.aliyun.com/articles/70359

<a href="https://yq.aliyun.com/articles/70353">日交易筆百萬級,ping++的大資料平台架構</a>

https://yq.aliyun.com/articles/70353

<a href="https://yq.aliyun.com/articles/70412">專訪佰騰科技大資料團隊,談專利大資料領域的挑戰與實踐</a>

https://yq.aliyun.com/articles/70412

<a href="https://yq.aliyun.com/articles/70347">技術創業難?看彙合營銷如何玩轉大資料與機器學習</a>

https://yq.aliyun.com/articles/70347

【大資料幹貨】阿裡雲數加讓企業更專注于業務,助力東潤環能高效利用大資料資源關于東潤環能問題及挑戰解決方案及架構收益

繼續閱讀