從金融行業轉型大資料，一路學習點滴的分享！

大資料學習之路，很漫長，但是請放心，Java 轉大資料很輕松，零基礎學大資料也很輕松，我會陪着你們一起搞起來，幹就完事了。

本篇文章有點長，都是我的真實感受。分為：開始、轉折、成長、New Flag、關于此号、推薦、總結七個部分。

開始

我大學學的是軟體工程專業，2018 年畢業。據統計，近幾年畢業生中平均薪資最高的專業就是軟體工程！還好我沒有拉低平均水準，憑借自己努力和運氣畢業去了一家金融大廠（杭州）實習。

我所在的部門是最掙錢的部門--資管，我們的系統覆寫了全部的金融業務，除了保險業務。每天完成正常的任務之後，也學了很多金融的業務，在這裡奉勸大家不懂股票的小白，千萬不要入市。這個行業，水太深了。具體的東西就不說了。我自己整理的一份最新的大資料進階資料和進階開發教程，大資料學習群：522189307   歡迎進階中和進想深入大資料的小夥伴加入。

轉折

雖然金融行業薪水可觀，但是限于技術老套，甚至還在使用 delphi。做了一段時間之後，發現不适合自己，由于就有了離職的想法。去年經濟大形勢不大好，于是也不敢輕易裸辭。此時的心情是：不甘心就這樣下去。

當時還不确定之後要走什麼方向，看我公衆号的改名記錄就知道了，但是腦子真的一團糟！

2018 的 3 月 5 号，我給自己定了一個 Flag，下面是在碼農翻身的知識星球裡面發的半年目标。此時鬥志滿滿。

事實證明，四個月業餘時間學大資料是不夠的，堅持下來，時間超出了預期。Hadoop 生态 和 Spark 生态以及資料倉庫，資料模組化，機器學習等等。有些資料來自于網上，還有來自一些教育機構的資料，剩下的可以從官網上找到文檔。

看完了《大型網站架構》、《深入了解Java虛拟機》這兩本書，《圖解HTTP》耽擱下了。畢業旅行也帶女朋友去了，隻不過沒去四川，去了北京，天津，濟南和青島。

關于大資料方面的書籍，我看了《離線和實時大資料開發實戰》、《資料倉庫結構設計與實施》、《Spark技術内幕》、《推薦系統實踐》。挑重點部分看的，結合自己學的技術進行消化。

這個過程中，我聽得最多的是 Beyond 的歌。堅持不下的時候就打開音樂，聽一會再接着學。日日夜夜，也曾懷疑自己。

成長

直到目前，寫的文章數量不是很多，等到達一定裡程碑的時候，我會專門整理成一系列目錄的。目前的文章，暫且列一下：

簡述大資料技術

什麼是資料倉庫？談談我的了解

PageRank 算法，搜尋引擎的關鍵技術

Sqoop 不完全實戰

Flume 原理，分析，架構

kafka 簡介、架構、安裝

Kafka 遇上 Spark Streaming

Kafka 的資料丢失和重複消費

HBase 架構分析

HBase RowKey 設計

HBase 資料模型，體系架構，元件功能說明等總結

Hbase 在微網誌中的表設計，部分

Zookeeper 的恢複模式，廣播模式，選舉流程

Hadoop HA 深度解剖

Spark 調優整合篇-彙總（長文）

Spark 的 資料本地化，提供最佳的計算節點，終于入門了

Spark 調優一瞥 | shuffle 調優

Spark 的 shuffle 檔案尋址流程

從收集資料，叢集分析資料，BI展示

Flink 幹貨來襲 | Flink Forward China 2018 大會資料整理

上面是 2018 年忙裡偷閑寫的 20 篇關于大資料技術的文章。

New Flag

2019 我也給自己定下了幾個目标，其中一個就是更新數量以及頻率要提上去。每篇文章盡量短而有用，給大家把大資料講清楚，這個任重而道遠啊。

2018 年，轉折。2019 年，蛻變。

三個原則：自我激勵，自我認知，自我驅動。

加入合适的圈子，比如「碼農翻身」、「帥張和他的朋友們」。

離開舒适區，不能回避痛苦。

剛來上海一周，面試了兩家公司。有一個給了 offer，年薪 23 w 對于剛畢業的我來說，比之前的金融崗位少，不過可以接受。那個公司我挺喜歡的，自身發展空間大一些。資料平台要從頭開始建立，部門整合為中台大資料部門。

目前我還沒有入職，打算繼續面試。

未來的計劃，「堅持」、「用心」完成每一篇文章，能幫到大家最好了。