天天看點

VMware範承工:從資料庫到資料雲 虛拟化搭橋

在2012年8月8日下午舉行的vmware & emc大資料雲高峰論壇上,vmware全球進階副總裁範承工分享資料管理技術的變遷時表示,資料、雲及雲的使用者的變化帶來的三大趨勢催生了将與傳統資料庫長期共存的資料雲,而虛拟化技術和開源軟體則将架起兩方共同和諧生存的橋梁。

  

VMware範承工:從資料庫到資料雲 虛拟化搭橋

vmware全球進階副總裁範承工

  在目前大資料如火如荼的背景下,vmware和emc雙方聯手舉辦此次論壇,共同就把握雲計算與大資料技術的發展趨勢,結合hadoop等大資料技術與雲計算所具有的諸多優勢,介紹了其完整的大資料雲解決方案,并分享了諸多客戶成功案例。

  範承工從技術角度,分析了資料管理技術變遷的五大趨勢,資料擷取、分析方式的轉變,以及vmware在雲計算與大資料方面的解決方案。本文将為您介紹這五大趨勢,以及五大趨勢可能帶來的市場格局變化。

  三大趨勢催生資料雲

  資料庫是現在最領先的一個資料管理模式,它可以把資料進行很好的歸類,關系型資料庫可以把資料組織起來,進行很快的檢索,而且能夠進行交易型的處理。正因為關系型資料庫的産生,使得現在很多的應用都能夠非常順利的進行開發。

  而在過去10幾年裡,資料倉庫有了非常快的發展,可以以比較大的數量進行深層次的技術發掘,在資料庫技術底下,為客戶提供更高的價值。

  這些意味着,使用者很難把資料庫換掉而不換掉上面的應用,如果把資料從一種資料庫遷移到另外一種資料庫,不是很容易的事情。

  不過,範承工認為,在過去5年裡面,這種情況有一些改變。他表示,有五個比較大的趨勢,使得一家獨大的資料庫統一資料管理的狀況會有一個比較根本的颠覆。

VMware範承工:從資料庫到資料雲 虛拟化搭橋

  第一是資料本身的改變。

  過去的資料大多是人為産生的,它的資料是一條條記錄式的,比較容易轉化成關系型資料庫形式。對它的處理往往不是實時的,可以等待資料産生,而要應用它的時候,往往已經過了一段時間。在這種情況下,關系型資料庫是一個很好的數字化。舉一個很簡單的例子,我在年初去滑雪,然後去租雪橇,去了一家夫妻店,是一個很小的雪橇店,他們還沒有電腦,沒有資料庫,完全是靠紙和筆記錄每一筆交易。我看到他們有一盒子的卡片,每一筆交易就是一張卡片。還有另外一個盒子是他所有客戶的資訊,中間通過客戶的資訊可以查每個交易的資訊。我再一看,這是用紙做的關系型的資料庫,而這個夫妻店如果生意好,規模大了,就無法用紙和筆來完成,就必須要做成電腦上的資料庫。這樣的資料庫有幾個特點,大家都知道crud,需要能夠保證有資料的産生,有資料的讀和寫以及更改,也要保證可以把資料删除,這是過去所謂的記錄型的資料。而對這種資料的管理,資料庫是一個非常優秀,非常完美的技術。而現在産生資料的源更多了,我們很多的資料不再是由人産生了,而是由機器産生的。随着物聯網的發展,各種各樣的探測器,各種各樣的rfid,各種各樣移動的手機,各種各樣的器件以及很多電腦、伺服器會自動産生大量的資料,而這些資料往往是以流的形式産生的。即使是人為的,包括我們剛才提到的社交網絡、微網誌,資料的形式和過去的形式也有些不一樣。

  我們看到新型的資料往往很少改變過去已經産生的東西,這些資料往往是産生一次,以後就再也不會更改。一個伺服器的日志不會再改變昨天的日志,我昨天放上一個微網誌,也不會再進行改變,往往資料産生一次就不會改變。而這些資料很多時候是不會被删除,即使使用者把它删除,在背後的基礎架構裡面往往也是不删除的。新興的資料底下我們注意到是crap的資料模式,是産生、重複、複制,是可以添加的,還必須要進行整合。是這樣一個有流模式大規模資料的産生,但是同時要對它進行一個很好的歸納和整合。對于這樣的資料來說,我們大家熟悉的關系型資料庫已經不再是最優秀的技術能夠滿足他的需要了。在處理這樣大型的

crap的資料,我們需要新型的資料管理技術和産品來幫助客戶解決這個問題。這也是現在為什麼包括hadoop這樣的技術這樣熱門的原因,是因為過去的資料已經滿足不了新型大資料crap資料的需求。

  第二是雲所帶來的副作用。

  雲就在于你的應用不止是在你的防火牆之後。随着軟體即服務的産生,我們會生活在一個生活雲的時代。對于很多的企業來說,我們很多的應用會是在私有雲裡面,是在自己的資料中心當中。但是同時我們有越來越多的應用會由公有雲進行提供,包括客戶管理,包括人事管理,甚至以後包括财務管理,都會通過公有雲來提供這樣的應用。而這産生一個副作用,就在于資料往往是跟應用在一起的。當你的應用在你的防火牆之外了,它的資料也在防火牆之外。我作為一個軟體即服務的提供商,提供給你應用,而資料都會在我這裡。我作為一個企業來說,第一次面對這種情況,企業的資料已經不完全由我來掌控,我不可能把所有的資料都放在甲骨文的資料庫當中。即使我作為cio有這樣的願望,也無法達成這個現實。因為到底這個應用采用哪個資料庫,已經不是由我這個it部門說了算了。

  在這麼一個多地點、多來源的資料時代,怎麼樣對這些不同的資料方式、不同的資料材料進行統一的分析和處理,從它上面能夠得到智能是新一代的挑戰。在過去要做一個新的應用,隻要連接配接到已有的資料庫上就行了。而現在必須要有一個全球的雲資料統一系統,才能夠在上面開發出新的應用程式,使它能夠提取到你私有雲裡面的資料,也能夠提取到公有雲的資料。是以這是另外一個雲帶來的趨勢,使得資料管理模式會有一個比較根本的改變。

  第三是雲的使用者在進行的改變。

  雲使用者的改變也是資料的使用者的改變,在中國很多公司裡面,最富有的最有實力的500家公司裡面,可能都會有比較好的資料倉庫系統可以對他的資料進行分析。但是,現在對于資料的需求已經不止是這500家最有實力的公司了,我覺得任何一家公司,任何一個規模的公司,或者任何公司裡的任何一個部門,任何一個小組其實都有需要。為了他能夠在商業上取勝,為了他能夠更好地完成日常工作,都必須從資料當中提取他的智能。而我們現在所熟悉的資料倉庫系統,能夠為資料提供智能的系統是非常昂貴的系統,需要幾百萬美元,幾千萬人民币的投入,需要專業的團隊,需要很長的時間才能夠得到需要的智能,而并不是所有的公司都能夠有這麼多的錢、人力和專家來達到這個結果。我們的需求就在于怎麼樣能夠有一個低門檻的系統,使得無論是大公司還是小公司,無論是公司裡面大團隊還是小團隊,都能很容易的從資料當中看到你想看到的資訊。我們需要使這個資料的分析系統低門檻,能夠實時的産生這些智能,能夠更加平民化,提供更多的可視性,這也是一個非常大的趨勢。相信在将來的幾年裡面,我們會發現更多的解決方案,而現在已有的解決方案并不能滿足這方面的需要。

  範承工表示,這三大趨勢産生一個新的資料雲的時代,從過去資料庫一家獨大到新的資料雲,會産生新的需求,産生更大的資料,更快的資料,分布更廣,更多樣的資料,同時這些資料能夠為千家萬戶,為所有的使用者提供服務。