天天看點

大資料大有來頭——加州大學研讨會

大資料大有來頭——加州大學研讨會

大資料大有來頭有——記加州大學(uc sandiego)研讨會:專家如何了解大資料的增速

作者:約翰弗裡曼

大資料文摘 翻譯:甄艾莊校對:孫強(轉載請保留)

我們的生活正在被一個稱作“大資料”的概念迅速而劇烈地改變着,事實上就連專家也對這種現象難以定性,甚至摸不着頭腦。

大資料,從定義上講是将巨大量計算機化了的資料搜集、儲存、分析的過程,包括未結構化(unstructured)的和多元結構化(multi-structured)兩種,正在以超過人們想象的速度增長着。

“經曆這種增長速度好比是你的大半人生都在乘坐指數化增速的自動升降梯上,”加利福尼亞通信和資訊技術研究院(californiatelecommunications and information technology, calit2)主任larrysmarr,在該學院2014年3月12日舉行的題為“大資料:專家對話”的讨論會上說,“大資料正在不斷地增長”。

在讨論會中不絕于耳的是艾位元組(exabyte)和拍位元組(petabyte)---計算機術語中對數不盡的億萬位元組數字化資訊的量化機關,每一個發言嘉賓都對大資料在科學探究和日常生活的影響贊歎不已。

larrysmarr引用了一個經典的來自google對智能手機的調查的例子,現在智能手機在我們生活中已經無孔不入,其數量甚至比阿波羅宇航船的太空任務都要多,“這個領域變革的速度之快,簡直令人震驚。”

再說個例子,larrysmarr提出:“大家都知道‘憤怒的小鳥’這款app吧?這款手機軟體擁有一千萬的下載下傳量。還有facebook上按‘贊’的小按鈕,每天全球産生5千萬個‘贊’......我們正面臨一個大資料超出研究人員能夠觸及的範圍,并且還在爆炸性增長的全新的世界。”

那究竟該如何來了解這類增長?試想在國際象棋棋盤上放上一粒米,larrysmarr說,然後以指數級數平方的速度來複制它。

“當這個過程增長到第64個平方時,累計起來的大米已經可以堆得跟喜馬拉雅山一樣高了,”他說道,“這已經是地球上所有大米産量的1000倍了。”

larrysmarr補充道:“人類的曆史上[尤其是計算機曆史上]從未有過如此一個持續指數增長率的時代。我們現在談論的是一個人文學還從未觸及的全新領域。”

在上述令人思緒飛揚的序言過後,在加州大學聖地亞哥qualcomm中心的atkinson禮堂舉行了這場長達90分鐘的以暢想未來為主題的讨論會。同時,研讨會被全程錄像,将有可能在将來播放。

會議另一個發言人,加州大學聖地亞哥分校超級計算機中心主任michaelnorman博士,熱情昂揚地介紹了該中心兩年前啟用的巨型超級計算機,綽号“戈登(gordon)”。

gordon被評為世界上最快的大容量超級計算機,它是活生生的大資料知識庫,擁有能夠轉存和分析大規模資料的能力。

norman博士還開玩笑道“我們原來打算給這台計算機取名‘閃電俠戈登’,但是我們不想被

超人漫畫起訴(因為我們的計算機和閃電俠巴裡·艾倫重名)。”

事實上,這台計算機因為其巨大量的閃存而得名。戈登在很多領域諸如氣象學、金融(特别是華爾街),食品生産、大工業、實體學、生物學和政府的應用都會發揮巨大作用,這個應用領域的名單還可能更長。

norman博士列出了“大資料”的三大主要分類評估标準:1)體積,特指資料的數量;2)速率,指資訊産生的速度;3)多樣化,指已産生資料的種類。

總部在聖地亞哥的主要經營大資料的公司zementis的創始者兼首席執行官michaelzeller,

指出了第四個評估标準,價值。

zementis公司對大資料提出這樣的質疑:“大資料可能是個炒作嗎?當然有可能,但是大資料同時淡化了各個領域的邊界,我們現在還僅僅在大資料真正價值的表面探索着它的商業潛能。關于炒作的擔憂是對大資料經營領域的警示,如何排除幹擾是個大課題。”

另一個會議發言人,加州大學聖地亞哥分校計算機和工程學教授stefansavage, 談及了伴随大資料而産生的安全隐患,另一個無情的威脅,我們不僅要防範搗亂的人,同時還有罪犯。

“我們在建造一個巨大的架構來儲存大資料,”savage教授說,“這種集中化的特性同時會帶來風險。”他提及了早前發生的塔基特(target)百貨集團大規模客戶資料洩露及更為惱人的國家安全委員竊聽通訊的事件,來顯示大資料帶來的主要風險。

他的警示:“安全,其自身就是一個及其有資料性(data-driven)的領域。有關安全領域的目标是想要更好的了解周遭的環境,尤其是要比對手做得更快、更有效。”

<b>原文釋出時間為:2014-04-11</b>

<b></b>

<b>本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号</b>

繼續閱讀