大数据需要学习哪些知识？

学习一项技术最重要的是要理解它能解决什么问题，那么学习大数据可以解决什么问题呢？

一、大数据可以解决什么问题？

• 场景一：电商网站要把过去一个月或一年卖的好的商品放到首页推荐给用户。

  问题1：过去一个月或者一年的订单数量是巨大的，如何存储？

  问题2：假设已经找到存储的方案了，那么大量的订单如何计算？

• 场景二：天气预报需要根据过去一年或者十年的天气状况预测明天或者下个周的天气状况。

  问题1：过去一年或者十年的天气状况信息是巨大的，如何存储？

  问题2：假设已经解决了存储的问题，那么近十年的天气状况数据要如何计算？

没错，大数据可以解决海量数据的存储和计算这两个问题。

1. 海量数据的存储是使用分布式存储（HDFS）
2. 海量数据的计算是使用分布式计算（MapReduce）

Hadoop则是集成了分布式存储和分布式计算这两种功能的一种大数据的解决方案。

二、Hadoop

1. Hadoop 的 HDFS（Hadoop Distributed File System ，Hadoop分布式文件系统）解决了数据的分布式存储。
2. Hadoop 的 MapReduce 计算模型解决了数据的分布式计算。
3. Hadoop也可以看成是数据仓库的一种实现方式。</