随着網際網路+時代的來臨，網際網路已經從InformationTechnology (IT)時代過度到Data Technology (DT)時代，資料量也以幾何量級遞增，資料整體呈現出5V特征，大體量（Volume）、多樣性（Variety）、時效性（Velocity）、準确性（Veracity），大價值（Value）。大體量展現為資料量可以從TB到PB，甚至到EB規模，google資料顯示，其每天搜尋提供的數量達到30PB（1P=1024TB）, 這些資料如果列印出來将超過5千萬億張A4紙，但是資料同時也顯示，人類到目前為止，生産的所有印刷材料的資料量僅為20PB。多樣性展現在，資料的形式也從結構化的文本資料形式存在，更多的是圖檔，視訊，音頻、地理位置這樣的非結構化的資料。時效性展現在，越來越的多的實時計算需求，計算結果需要在秒級，毫秒級，甚至微秒級内完成。準确性展現在，高效快速的結果結果并需是真實有效的。資料包含着無限的價值，利用大資料分析和挖掘技術将帶來巨大的商業和非商業價值。
資料在企業中已經發揮着越來越重要的角色，但是如何挖掘資料中的價值正在困擾着大多數中小型企業。投投有道帶你揭開大資料處理神秘面紗，了解大資料處理過程常用的技術和工具。
大資料整體系統架構一般分為資料采集，資料存儲，資料加工，資料分析挖掘，資料呈現5大部分，如下圖所示：
下面對各個部分做個簡單的介紹和說明：
- 資料采集
資料即可來源線上産生的源源不斷日志使用者行為日志，比如使用者搜尋了什麼，浏覽了什麼，評論了什麼，買了什麼，點選了什麼廣告，看了什麼視訊，聽了什麼音樂等等，又可來源企業使用者屬性資料，也可來源于ERP管理系統，通過資料通道和ETL工具将這些源源不斷産生的資料入庫落地。
- 資料存儲
依托于分布式Hadoop存儲方案，企業可以解決海量資料存儲問題。Hadoop是一個能夠對大量資料進行分布式存儲和計算軟體架構，由Apache基金會開發，使用者可以在上面開發和處理海量資料，展現為以下幾個特點：
- 高擴充性，叢集資源可以快速的部署和上線，同時可以組合上千台伺服器完成分布式存儲；
- 高效性，通過資料分發，能夠在節點之間動态地移動資料，同時保證各個節點負載；
- 高容錯性，能夠自動維護資料的多個備份，并且能夠在失敗之後自動從其他節點恢複資料。
- 資料加工
集中存儲的海量資料進行工具化的清洗和整理加工，形成需要的各種中間或臨時計算資料，同時開發海量資料的實時秒級計算，為線上的資料挖掘和分析提供api服務。
- 資料挖掘
該過程的特點和挑戰主要是用于挖掘的算法很複雜，算法工程師通過不斷的模組化和優化，在沒有預設主題的情況下，對資料基于各種算法對資料進行分類、聚合，進而實作機器自動化學習。典型算法有Kmeans、SVM，NaiveBayes，回歸分析，因子分析，多元優化等。，并且計算涉及的資料量和計算量都很大，常用資料挖掘算法都以單線程為主。
- 資料可視化
資料可視化可以幫助使用者了解和使用資料，分析得到各種名額資料結果，如目标使用者和實際到訪使用者的重合度，到訪使用者的實際标簽屬性特征等。
以上各個子產品是任何一個中小企業在大資料處理過程中都需要密切關注的。
-----------------------------------------------------------------------------------
投投有道是一款基于使用者行為大資料分析，為廣告主提供最優投放方案的資料服務産品。我們提供精準的媒體選擇，合理的廣告競價，實時投放效果追蹤，針對搜尋廣告我們提供深度細化分析關鍵詞投入産出比，全網比對最佳投放關鍵詞，更具使用者行為自動化優化關鍵詞和競價，輕松倍化ROI。基于自建和第三方合作DMP，立體化360度刻畫使用者屬性，為廣告主提供閱聽人群體分析，基于曆史資料，建立資料分析模型，确定每個使用者LTV(使用者終身價值)，高效準确預測最後收入。
更多詳情請點選:http://www.ttyoudao.com
