擁抱新技術的一點思考 & 對大資料處理的一點思考擁抱新技術的一點思考概要對大資料處理的一點思考概要大資料處理

末經本人同意，嚴禁轉載，徽滬一郎。

無論是github上還是apache基金會，每過一段時間都會有一些非常優秀的項目出現。如何在較短的時間内比較好的學習和把握住新項目的精髓及要點呢？

就這個問題，本人做了些微的總結，主要集中于較短時間内會使用該項目，會進行相關的應用程式設計，能夠結合實際情況進行系統調優。

<a href="https://yq.aliyun.com/attachment/download/?spm=0.0.0.0.xwkhla&amp;filename=%e5%bf%ab%e9%80%9f%e6%8b%a5%e6%8a%b1%e6%96%b0%e6%8a%80%e6%9c%af....%5b%e8%ae%b8%e9%b9%8f%5d.1474015396.pdf">https://yq.aliyun.com/attachment/download</a>

2014大部分的時間都花在了spark這一大資料領域的熱點技術上，并由此離開工作多年的電信領域轉入到大資料分析行業，作為一名分析領域的新軍有必要對自己一年中接觸到的新内容作相應的梳理。

大資料處理的了解可以分成這幾個層次：

資料處理

處理的種類有哪些

如何将處理落實到計算上

大資料的處理

如何将處理落實到計算

上面這樣一列，你可能會覺着一樣的啊，沒差別啊，除了一個大字以外，一切似乎都一樣的。粗看确實如此，從目前大資料領域的實踐來看，分析需求層面幾乎和原有的沒有太大的差別。

當然目前還有一個很火很牛逼的新興領域叫機器學習，這玩意究竟能帶來什麼實際的改變，還有待時間的進一步驗證。

如果換個角度來看大資料處理，就需要從需求和實作兩個方面來分析，看看需求領域有哪些内容，這些需求又是如何通過哪些技術來實作的。

為此我整理了一份思維導圖，也算是個人的一種了解吧。