Hive入门详解（一）

个人博客原文链接

简介

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能

Hive的优点

• 学习成本低，避免使用复杂的MapReduce
• 开发周期短，使用类sql语法，十分简洁
• 拓展性强

Hive的缺点

执行延迟高，处理速度慢，只适合用来做大规模批量数据统计

Hive的组件

• 用户接口：CLI、JDBC/ODBC、WebGUI

  CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。

• 元数据存储：存储在关系数据库如 mysql，derby中

  Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

• 解释器、编译器、优化器、执行器

  解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行。

Hive与Hadoop的关系

hive利用hdfs存储数据，利用mapreduce查询数据

流程：

1.发出并执行HQL语句

2.Hive处理，转换成MapReduce

3.提交任务到Hadoop，MapReduce运行

4.HDFS操作

Hive的数据存储

1. Hive中所有的数据都存储在HDFS中，没有专门的数据存储格式
2. 只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive 就可以解析数据
3. Hive中包含以下数据模型：DB、Table，External Table，Partition，Bucket
   • db：在hdfs中表现为user/hive/warehouse/目录下的一个文件夹
   • table：在hdfs中表现所属db目录下一个文件夹
   • external table：与table类似，不过其数据存放位置可以任意指定
   • partition：在hdfs中表现为table目录下的子目录
   • bucket：在hdfs中表现为同一个table目录下根据hash散列之后的多个文件

安装Hive

1. 将hive安装到hadoop的同级目录下

   tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /home/hadoop/apps/

2. 配置环境变量

   vi ~/.bash_profile

   增加

   export HIVE_HOME=

   export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin

   :$HIVE_HOME/bin

   刷新配置文件

   source ~/.bash_profile

3. 修改配置文件hive-site.xml

   vi /home/hadoop/apps/hive/conf/hive-site.xml

   添加

<configuration>
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionPassword</name> 
         <value>Lousen??1234</value>
</property>
</configuration>
           

1. 导入连接mysql的jar包

   cp mysql-connector-java-5.1.38.jar /home/hadoop/apps/hive/lib/

2. 进入mysql创建对应用户

   mysql -uroot -p

   create user ‘hive’@‘hadoop1’ identified by ‘Lousen??1234’

   grant all privileges on . to ‘hive’@‘hadoop1’ identified by ‘Lousen??1234’ with grant option;

   flush privileges;

3. 重启mysql服务

   sudo systemctl restart mysqld

4. 初始化元数据

   schematool -dbType mysql -initSchema

5. 进入hive的shell

   hive