《智能資料時代：企業大資料戰略與實戰》一1.4 大資料處理的微妙之處

.本節書摘來自華章出版社《智能資料時代：企業大資料戰略與實戰》一書中的第1章，第1.4節，作者 talkingdata ，更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視

處理不同類型資料的方式正趨于一緻，因為進行資料處理的裝置和應用程式都設定了指定的xml格式，以及特殊行業所專用的xml資料标準（如保險業的acord标準、健康醫療産業的hl7标準）。xml技術擴充了大資料分析和內建工具可以處理的資料類型，但這些技術的轉換能力仍然受到資料複雜性和數量的限制，進而使得現有的資料類型轉換工具和資料轉換的需求不比對。因而開啟了新類型的通用型資料類型轉換工具的大門，新的轉換工具能夠适用于各種資料類型的轉換與融合，而且不用編寫代碼，同時還能适用于任何應用程式或者平台架構。

大資料概念的定義和相關分析工具的開發都還處于不斷改進的狀态，這些應用工具、技術、程式仍在不斷演變。然而，這并不意味着那些要從大資料集中尋求價值的人應該等待。大資料對商業運作來說太重要了，不能采取等待和觀望的方法。

真正竅門在于發現能處理多種類型資料的最優方式，同時還能保證滿足資料分析過程的目标。最好的做法就是把硬體、軟體和應用程式結合在一起形成一種可管理的程式，進而在有限時間内傳遞資料結果。

存儲也是大資料的關鍵要素。資料必須存儲在一個易于通路且易于維護的地方。這對大多數企業群組織而言需要很高的成本，因為基于網絡的資料存儲如sana和nas等的購買和管理都很昂貴。

資料存儲技術已經發展成為典型資料中心常見的元素之一，因為資料存儲技術已經成熟且開始商業化。然而，現代企業不斷變化的需求仍對存儲技術施加壓力，把bi引入大資料的分析就是一個比較好的佐證。

大資料分析程式需要超出傳統存儲模式的存儲能力。傳統的存儲技術如sans、nas等都無法處理兆級和千兆級的非結構化資料。是以，大資料分析程式的成功運作需要一種處理大量資料的新方式，以及一種新的資料存儲平台理念。