只争朝夕，不负韶华，告别2019，开启2020年新的奋斗征程！

【2019年总结】

1. 有哪些进步

技术方面：

1）hive更加熟悉了，能够写更加复杂的sql，运用部分高级的函数（如posexplode，lead，lag等），会写一些UDF函数（如map转string），也会简单的hive调优，且能用hive解决业务上95%的问题。

2）下半年开始在工作中用到spark，虽然写的频率不是很高，但是对于spark的核心的理解以及RDD的运用操作都有更进一步的了解，能够使用dataframe去处理业务上的问题，使任务的运行效率得到大幅度的提高。

3）Python也熟练一些了，会简单的爬虫，最近在学习爬取公众号的内容（目前在看崔大佬的爬虫博客）。会运用pandas处理excel，会使用explode等函数对表中的列进行操作。

业务方面：

 1）处理需求的流程更加规范了，处理问题的效率也有所提高，这主要得益于沟通效率的提高和对业务的熟练。很多时候业务方下午四五点提需求，晚上就要看到数据，刚开始感觉压力还是有点的，现在没有问题。能够提供准确的数据并附加一些简单的数据分析。

 2）主要还是思维上的提升以及分析思维在业务上的运用。有这么几点，一是一定要多和业务方沟通，知道对方需要什么数据。有时候需求方提的需求，他自己都不一定清楚自己要看什么样的数据。确认对方需要什么这只是第一步，还需要进一步知道为什么要这些数据，他们会怎么看这些数据，这些数据的意义大不大。这些问题逐渐深入之后，对于需求的掌控就会多一些了。有时候稀里糊涂地做需求，却事倍功半，这样是很低效的。

 3）在做数据可视化的时候，应该先抛开业务方提的条条框框，自己主动去思考，如果是你看这些数据，你希望通过怎么样的展示，能够尽可能的满足业务方的需求。并且对于已有的数据，要先检查下数据的准确性以及合理性。发现异常数据，要及时地去拿源数据核对，如果是埋点有问题，就要从源头断解决这些问题。

2. 有哪些不足

技术方面：

对大数据生态还停留在较表面的理解，需要有更多更深层次的理解。

对于spark和Python有很多需要加强。

shell及Linux还需要更熟悉。 

个人方面：

不够自律。

【2020年计划】

1.  加强对spark理解以及应用，加强Scala的熟练度。

2.  加强Python的熟练度，争取做几个项目。

3.  2019年在写博客方面不是很积极，立的flag没有实现（每周写一篇博客），当时的理由是想写原创，但是用的东西比较少，觉得没啥可写。今年立flag，至少每两周得写一篇博客，题材和内容不限吧，完成比完美更重要。