在Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集（RDD）。在Spark 2.0之后，RDD被数据集取代，数据集类似于RDD一样强类型，但在底层有更丰富的优化。这里强调以下，我们使用的ambari去安装集群的，所以不描述安装的问题。
使用Spark Shell进行交互式分析
启动sparkshell
/usr/hdp/current/spark2-client/bin/spark-shell --master yarn-client
这里我们直接启动了 yarn模式的客户端，然后提示了sc和spark已经在上下午中可以使用了，接下来就爽爽的学习代码吧。
上传一个LICENSE样例文件并读取操作
读取文件并使用count计算行数，然后使用first获取第一个值
来的map和reduce操作亮亮相，计算每行的单词数和总单词数
超级方便的wordcount，计算每个单词的次数
identity就是 x=>x的意思，groupByKey就是创建一个key（当然这里的key和value一样），然后value就是原来的单词。
使用shell的入门就到这里了