天天看点

Sqoop导入SQL Server数据一、导入前准备二、导入数据

在《SQOOP数据导入》中介绍了如何从Oracle中导入数据到HDFS、Hive及HBase中。如果需要使用SQOOP从SQL Server中导入数据,则相对麻烦一点,我们需要做一些额外的工作。下面将介绍如何使用SQOOP从SQL Server中导入数据。

一、导入前准备

1.1安装SQL Server JDBC驱动

由于SQOOP本身不包含SQL Server数据库JDBC驱动,因此,我们需要手动安装驱动。首先,到 1.2安装SQL Server Hadoop Connector

安装完SQL Server JDBC驱动后,还需要安装SQL Server Hadoop Connector,才能实现SQL Server和Hadoop间数据传输。首先,从http://download.csdn.net/download/nma_123456/9405343下载sqoop-sqlserver-1.0.tar.gz,解压文件到目录…/sqoop-sqlserver-1.0,添加环境变量

MSSQL_CONNECTOR_HOME:

export MSSQL_CONNECTOR_HOME=.../sqoop-sqlserver-
           

然后,然后执行sqoop-sqlserver-1.0目录下的install.sh。将相应的jar文件和配置文件拷贝的SQOOP lib和conf目录中。

二、导入数据

sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver \
--connect "jdbc:sqlserver://192.168.1.10:1433;database=test" --username sa --password Sa123 \
--table=T_SQOOP_TEST --target-dir /user/hadoop/T_SQOOP_TEST