天天看點

《大資料導論》一 2.4 資訊與通信技術

   本節書摘來自華章出版社《大資料導論》一書中的第2章,第2.4節,作者托馬斯·埃爾(thomas erl),瓦吉德·哈塔克(wajid khattak),保羅·布勒(paul buhler),更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

2.4 資訊與通信技術

這一節考察了加快大資料在商業中應用的資訊與通信技術,有以下的成果:

資料分析與資料科學

數字化

可負擔技術與商用硬體

社交媒體

超連通社群與裝置

雲計算

2.4.1 資料分析與資料科學

企業正在不斷收集、擷取、存儲、管理和處理不斷增加的海量資訊。這種現象之是以發生是因為想要找到新的洞察力,以實施更為高效的行動,使得管理過程能夠具有前瞻性地把控業務,使得最高管理層能夠更好地制定和達到他們的戰略方案。最終,企業在尋找新的方法以擷取競争優勢,是以對于能夠抓取有意義資訊的技術的需求在不斷上升。計算方法、統計技術以及資料倉庫已經能夠攜手合作,且也能分别運用各自獨有的核心技術以完成大資料分析。這些領域實踐上的成熟催生并促進了當代大資料解決方案、環境和平台所需求的核心功能。

2.4.2 數字化

對許多公司來說,數字媒體已經取代了實體媒體成為實際運用的交流與傳遞機制。數字産品的應用不僅節省了時間也節省了成本,數字産品的分布依賴于早已存在的、遍布各地的網際網路基礎設施的支援。當使用者通過自身的數字産品與一項業務相連接配接時,便會産生能夠收集輔助資訊的機會。比方說,要求一位使用者提供回報,完成一份表單,或僅僅是提供一個鈎子程式來展示一份相關廣告并追蹤它的點選率。收集輔助資訊對業務來說十分重要,因為挖掘這個資訊能夠實作定制化的營銷、自動推薦以及優化産品特征的發展。圖2.4提供了一份關于數字化例子的視覺展示。

《大資料導論》一 2.4 資訊與通信技術

2.4.3 開源技術與商用硬體

能夠存儲和處理各式大量資訊的技術已經變得越來越經濟。另外,大資料解決方案經常在商用硬體上利用開源軟體,以進一步削減成本。商用硬體與開源軟體的結合幾乎終結了大企業過去由于擁有着大量的it預算而對其他規模較小的競争者們使用“燒錢”戰略的優勢。技術已經不再帶來競争優勢,相反,它僅僅隻是業務實施的平台。從商業的角度來看,能夠利用開源技術與商用硬體來産生分析結果,并用它進一步優化業務的執行流程,才是通往競争優勢的大門。

《大資料導論》一 2.4 資訊與通信技術

2.4.4 社交媒體

社交媒體的出現已經使得顧客們能夠通過公開、公共的媒介,近乎實時地送出自己的回報。這種轉變已經使得各大公司在考慮他們戰略規劃中的服務和産品供給時,加入了顧客回報的因素。是以,公司将與日俱增的、由顧客互動産生的大量資料儲存在他們的顧客關系管理系統(crm)内,這些資料來自社交媒體網站的顧客評論、抱怨和嘉獎。這些資訊成就了大資料分析算法,使得它能夠表達使用者的想法,以之來提供更好的服務,增加銷售量,促成目标營銷,甚至是創造新的産品和服務。公司已經意識到了品牌形象塑造不再由内部營銷活動所全權支配,相反,産品品牌和公司名譽是由公司和它的顧客共同創造。基于這個原因,各大公司對來自于社交媒體和其他外部資訊源的公共資訊集越來越感興趣。

2.4.5 超連通社群與裝置

網際網路的廣泛覆寫以及蜂窩與wi-fi網絡的迅速普及,使得越來越多的人和他們的裝置能夠在虛拟社群中持續線上。伴着能夠連通網絡的傳感器的普及,物聯網的基礎架構使得一大批智能聯網裝置成型。如圖2.6所示,這反過來導緻了可用資料流的大量增長。其中一些流是公共的,而另外一些則直接通往分析公司。舉例來說,與采礦業中使用的重型裝置有關的基于性能的管理合約能夠激發預防和預測性維護的最佳性能,其目的是減少計劃之外的故障檢修的需要,且避免由之耗費的停工時間。而這需要對裝置産生的傳感器讀數進行具體分析,來對那些可以通過提前安排維護服務而解決的問題進行早期檢測。

《大資料導論》一 2.4 資訊與通信技術

2.4.6 雲計算

雲計算技術的進步已經使得這樣的環境成型:通過預付費租賃模式提供高度可擴充性、按需配置設定的it資源。公司可以利用這些環境所提供的基礎設施、儲存和處理能力來得到可擴充的大資料解決方案,以完成大規模處理任務。盡管公司在傳統上被認為是由一個雲标記來描述的公有雲環境,但它們同時正利用雲管理軟體來建立私有雲,以通過虛拟化來更加有效地利用它們現存的基礎設施。不論發生何種情況,雲的基于負載的動态擴充能力,可以建立出能夠最大化有效利用資訊通信技術資源的彈性分析環境。

圖2.7的例子展示了如何利用雲環境的擴充能力來執行大資料處理任務。可以通過租賃基于公有雲的it資源來大大減少大資料項目所需的先期投資。

《大資料導論》一 2.4 資訊與通信技術

如今已經在使用雲計算的企業,對他們的大資料項目再次使用雲計算是合理的,因為

員工已經掌握了所需的雲計算技能

輸入資訊已經存在于雲中

使用雲服務對于那些打算在可通過資料市場獲得的資料集上進行分析的企業來說是極富邏輯性的,因為許多資料市場便将它們的資料集放在一個雲環境中,比如amazon s3。

總而言之,雲計算能夠為一份大資料解決方案提供三項必不可少的材料:外部資料集、可擴充性處理能力和大容量存儲。

繼續閱讀