從0基礎入門到大牛，對于小白來說，它不僅需要時間的磨煉，開發經驗的積累，更需要有合适的機遇與平台。無論是在傳統行業還是網際網路行業，近年來大資料技術的應用和發展已經相當成熟。大資料相關職位薪資高、待遇好、就業前景不錯，吸引了很多有IT基礎的小夥伴加入到大資料技術學習的行列中來。
接觸過大資料技術的小夥伴應該比較了解，企業一般使用的大資料技術都是開源的，而且同類技術有很多種，一個完整的企業級項目實作需要多個層級技術的整合，包括資料擷取、資料存儲、資料計算、大資料分析以及資料可視化。大資料項目流程比較多，涉及到的技術也比較廣，這就要求大資料行業從業者，有着全面的技術能力和豐富的項目經驗，能夠完成項目架構以及提供成熟的解決方案。
一個完整的大資料項目實施，需要經過開發環境搭建、叢集環境部署、資料采集、資料存儲與交換、資料離線與實時分析、大資料可視化等多個實作流程，這就要求大家系統掌握大資料技術知識。如果你是初學者，不是一篇文章就能說明白如何實作一個大資料項目，因為實作大資料項目的技術有很多，遇到的坑也比較多，如果沒有系統完整的學習資料，你可能需要自己一步一步踩坑，然後才能實作你想要的效果。
今天我們以一個完整的大資料項目為主線，按照大資料工程師的項目開發流程，理論與實踐結合，逐漸推進。
接下來對項目做個整體介紹：
1.項目需求
【1】采集新聞網站使用者浏覽日志資訊。
【2】統計分析排名最高的前10名新聞話題。
【3】統計分析每天哪些時段使用者浏覽新聞量最高。
【4】統計分析每天曝光新聞話題總量。
2.項目架構設計
如果你能看懂這張項目架構圖，恭喜你快要入行大資料了。如果看不懂，也不要氣餒，繼續努力。
3.離線計算資料流程設計
在離線計算資料流程中，Flume實時采集日志伺服器中的資料，然後寫入HBase資料庫，接着通過Hive與HBase內建對資料進行離線分析，緊接着可以通過Sqoop工具将離線分析結果導入MySQL資料庫，最後應用層讀取MySQL資料實作大屏展示。
4.實時計算資料流程設計
在實時計算資料流程中，Flume實時采集日志伺服器中的資料，然後寫入Kafka消息隊列，接着可以通過Spark Streaming或者FlinkDataStream對資料進行實時分析，最終的實時分析結果可以寫入MySQL資料庫，最後應用層讀取MySQL資料實作大屏展示。
5.大資料平台節點規劃
6.項目可視化效果
大資料項目無論是采用離線分析還是實時分析，最終的成果需要展示給公司的決策部門或者公司的使用者，是以我們可以通過Java Web+Echart技術對項目進行可視化分析。