自動化是雲計算發展的重要一環

以“技術融合應用創新”為主題的第八屆中國雲計算大會邀請了衆多雲計算大資料領域的大咖進行了前沿分享。作為雲計算領域的領軍人物，華雲資料cto鄭軍博士以“雲的自動化”為切入點，揭開了十年來雲從簡單應用過渡到複雜的雲資料中心的過程中，如何實作各種服務和技術的統一協作。

在雲計算之前，大規模分布式系統與計算應該是是網格計算和叢集計算。在對比分析之後，雲計算的最重要的差別就是自動化和self-service自服務。應用雲的企業，尤其當面對複雜的系統應用時，能做到按需配置設定和自服務的往往并不多。不管是作為一項服務釋出給使用者，還是作為其它服務的底層平台系統，能否提供自動化尤為重要，自動化的資源管理、自動化的服務提供、自動化的服務建立和lifecycle管理等等。自動化才是企業應用雲計算的最大挑戰，關系到雲計算使用的難易程度、關系到雲計算的可用性，甚至關系到服務性能。

鄭軍博士表示，雲計算的核心之一，就是大型分布式系統的資源管理。可以從兩個次元觀察雲的自動化是如何被推動和發展的。一是虛拟化的發展，從2008年虛拟化熱度到2014年docker出現，輕量級linux容器實作了對x86伺服器資源一個更細粒度的劃分，為資源管理提供了更細顆粒度的排程單元。二是軟體定義的發展，從軟體定義網絡發展到今天很大程度上的軟體定義一切，軟體定義實作了資源排程對象的拓展和延伸。同時，軟體定義也打破了硬體和軟體的隔閡，能夠快速為使用者建立無縫服務。從另外一個角度，這提供了基礎，使得未來iaas和paas的界限會越來越模糊，二者越來越統一。

當然，雲計算的發展更離不開開源。可以說開源軟體的發展直接推動了雲的發展，沒有開源軟體就沒有雲，就沒有工業界今天的發展。

未來的服務将由更大型的雲資料中心提供，大型雲資料中心内部是成千上萬的實體伺服器和更趨向透明化簡單化的硬體處理單元完成。如何在這樣的前提下，為一個或複雜或簡單的任務，雲平台在背景排程聚合成千上萬的子任務來協同計算和處理，這是非常有挑戰性。當部署多層的分布式系統的時候，如何做到跨層全局統一的管理，包括資源管理等方面仍存在諸多challenge。舉例來說，如果部署一個spark大資料系統，很多使用者會選擇openstack作為最底層架構，spark通過mesos、yarn來管理資源，如果再基于docker進行spark部署，那麼這三層資源的排程和綜合管理就是很大的問題。工業界還沒有一個很好的答案。華雲資料在這方面也正在進行實踐，設計通用的資源管理系統，對接spark大資料系統和雲平台。

鄭軍博士也談到，sdn和nfv近年來的發展也是如日中天，但是在自動化的資源管理方面，sdn和nfv跟openstack結合，現在沒有标準的答案。

那麼當企業搭建一個大資料系統時，應該怎麼做?鄭軍博士分享了華雲資料在這方面的實踐成果。搭建一個真正的生産大資料系統時，所有的邏輯和操作流程大約20個左右，甚至更複雜。部署大資料系統，尤其在雲上進行部署時将面臨很大的問題。華雲資料的實踐理念是“事件驅動”。首先通過資源排程，即通過sdn和nfv将底層軟硬體打通。它需要一個x86的叢集，也需要不同的軟體元件。目前華雲資料已經做到了“事件驅動”，在華雲私有雲平台上封裝了大資料系統的支撐子產品。另外一個次元與服務相關，包括服務聚合和資料自動分析。華雲資料正在進行基于此的研發和創新，沿着自助機器學習的方向往前走。

在雲計算大會上分享的最後，鄭軍博士談了他對雲未來發展的三個觀點。一是雲的加減法，也就是對于使用者而言，雲變得越來越簡單、越來越透明;而對于華雲資料這樣的雲服務提供商來說，需要在紛繁複雜的軟硬體資源上提供無縫的聚合服務。第二個觀點是雲需要更細顆粒度的排程資源和管理機制，實作更廣意義的異構資源管理。這可以通過擴充軟體定義和docker等平台系統來實作。第三就是iaas和paas走向融合統一，界限越來越模糊。更多的使用者将會融合度更高的全棧解決方案。

是以，為了給使用者提供好的服務體驗，像華雲資料這樣的雲計算服務商仍然在奮鬥的路上。

本文轉自d1net（轉載）