天天看點

四款有針對大資料的資料處理系統

四款有針對大資料的資料處理系統

為了從大資料中挖掘出有價值的資訊,需要有針對大資料的資料處理系統。目前,一些大型的網際網路企業,例如谷歌、facebook 等企業都研發了針對大資料的資料處理系統。

1)批量資料處理系統:

這種系統是對網際網路中産生的海量的靜态的資料進行處理。例如對客戶在網站中的點選量和網頁的浏覽量等資料進行處理,進而或者客戶對哪些商品比較偏愛。谷歌公司研發的 gfs(google file system,即大規模分散檔案系統)和 map reduce(大規模分散 frame work)系統就是典型的批量資料處理系統。

四款有針對大資料的資料處理系統

2)流式資料處理系統:

這種系統是對網際網路中大量的線上資料進行實時處理。這些線上資料具有複雜的格式,并且資料是連續不斷地來源于衆多的管道,該種系統需要對這些實時的資料進行實時的、快速的處理。例如生物體中傳感器的資料、商場人流量資料、定位系統的資料都需要高效地實時處理。storm系統是典型的流式資料處理系統,twitter、spotify、雅虎等公司都使用該系統。

四款有針對大資料的資料處理系統

3)互動式資料處理:

這種資料處理系統可以用人機互動的方式實作資料的處理。例如網際網路搜尋引擎。dremel 系統是典型的互動式資料處理系統。

四款有針對大資料的資料處理系統

4)圖資料處理系統:

該種系統用于處理大資料中的圖資料。例如社交網絡中人與人之間的社會關系圖資料。spark系統是典型的圖資料處理系統。

四款有針對大資料的資料處理系統

随着社交網絡的發展、傳感器的廣泛應用、物聯網的不斷擴充,大資料已經深入我們生活的方方面面,針對大資料的處理也越來越深入,如何更高效的挖掘大資料中蘊藏的價值需要不斷地研究和改進。

本文作者:佚名

來源:51cto

繼續閱讀