隻争朝夕，不負韶華，告别2019，開啟2020年新的奮鬥征程！

【2019年總結】

1. 有哪些進步

技術方面：

1）hive更加熟悉了，能夠寫更加複雜的sql，運用部分進階的函數（如posexplode，lead，lag等），會寫一些UDF函數（如map轉string），也會簡單的hive調優，且能用hive解決業務上95%的問題。

2）下半年開始在工作中用到spark，雖然寫的頻率不是很高，但是對于spark的核心的了解以及RDD的運用操作都有更進一步的了解，能夠使用dataframe去處理業務上的問題，使任務的運作效率得到大幅度的提高。

3）Python也熟練一些了，會簡單的爬蟲，最近在學習爬取公衆号的内容（目前在看崔大佬的爬蟲部落格）。會運用pandas處理excel，會使用explode等函數對表中的列進行操作。

業務方面：

 1）處理需求的流程更加規範了，處理問題的效率也有所提高，這主要得益于溝通效率的提高和對業務的熟練。很多時候業務方下午四五點提需求，晚上就要看到資料，剛開始感覺壓力還是有點的，現在沒有問題。能夠提供準确的資料并附加一些簡單的資料分析。

 2）主要還是思維上的提升以及分析思維在業務上的運用。有這麼幾點，一是一定要多和業務方溝通，知道對方需要什麼資料。有時候需求方提的需求，他自己都不一定清楚自己要看什麼樣的資料。确認對方需要什麼這隻是第一步，還需要進一步知道為什麼要這些資料，他們會怎麼看這些資料，這些資料的意義大不大。這些問題逐漸深入之後，對于需求的掌控就會多一些了。有時候稀裡糊塗地做需求，卻事倍功半，這樣是很低效的。

 3）在做資料可視化的時候，應該先抛開業務方提的條條框框，自己主動去思考，如果是你看這些資料，你希望通過怎麼樣的展示，能夠盡可能的滿足業務方的需求。并且對于已有的資料，要先檢查下資料的準确性以及合理性。發現異常資料，要及時地去拿源資料核對，如果是埋點有問題，就要從源頭斷解決這些問題。

2. 有哪些不足

技術方面：

對大資料生态還停留在較表面的了解，需要有更多更深層次的了解。

對于spark和Python有很多需要加強。

shell及Linux還需要更熟悉。 

個人方面：

不夠自律。

【2020年計劃】

1.  加強對spark了解以及應用，加強Scala的熟練度。

2.  加強Python的熟練度，争取做幾個項目。

3.  2019年在寫部落格方面不是很積極，立的flag沒有實作（每周寫一篇部落格），當時的理由是想寫原創，但是用的東西比較少，覺得沒啥可寫。今年立flag，至少每兩周得寫一篇部落格，題材和内容不限吧，完成比完美更重要。