UDF開發入門執行個體

簡單UDF示例–字母大小寫轉換

第一步：建立maven java 工程，導入jar包

<repositories>
<repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.0.0-cdh6.2.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.1.1-cdh6.2.0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <version>3.0</version>
    <configuration>
        <source>1.8</source>
        <target>1.8</target>
        <encoding>UTF-8</encoding>
    </configuration>
</plugin>
 <plugin>
     <groupId>org.apache.maven.plugins</groupId>
     <artifactId>maven-shade-plugin</artifactId>
     <version>2.2</version>
     <executions>
         <execution>
             <phase>package</phase>
             <goals>
                 <goal>shade</goal>
             </goals>
             <configuration>
                 <filters>
                     <filter>
                         <artifact>*:*</artifact>
                         <excludes>
                             <exclude>META-INF/*.SF</exclude>
                             <exclude>META-INF/*.DSA</exclude>
                             <exclude>META-INF/*/RSA</exclude>
                         </excludes>
                     </filter>
                 </filters>
             </configuration>
         </execution>
     </executions>
 </plugin>
</plugins>
</build>
           

第二步：開發java類繼承UDF，并重載evaluate 方法

public class HIVE_UDF extends UDF {
public Text evaluate(final Text s) {
    if (null == s) {
        return null;
    }
    //傳回大寫字母
    return new Text(s.toString().toUpperCase());

}
           

}

第三步：将我們的項目打包，并上傳到hive的lib目錄下

第四步：添加我們的jar包

hive的用戶端添加我們的jar包
add jar $HIVE_HOME/lib/udf.jar
           

第五步：設定函數與我們的自定義函數關聯

建立臨時函數

create temporary function touppercase as 'cn.udf.HIVE_UDF';
           

删除臨時函數

drop temporary function touppercase;
           

建立永久函數

create function touppercase as 'cn.udf.HIVE_UDF';
           

删除永久函數

drop  function touppercase1;
           

第六步：使用自定義函數

select touppercase('abc');