Hue相容Livy通過Rest請求向Spark發送任務

參考hue官方文檔

https://gethue.com/how-to-use-the-livy-spark-rest-job-server-for-interactive-spark-2-2/           

環境準備

必須安裝JDK

必須安裝HADOOP

必須安裝Spark

安裝過程

下載下傳

wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip           

解壓

unzip ./livy-server-0.3.0.zip           

修改conf/livy.conf

#預設local模式
#增加如下配置
livy.server.session.factory = yarn           

修改conf/livy-env.sh

#增加如下配置
export SPARK_HOME=/opt/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=/opt/spark/conf           

啟動livy-server服務

#寫上start是背景運作
bin/livy-server start           

檢視服務程序

jps
20229 LivyServer           

Hue相容

修改hue.ini

#添加如下内容

 [spark]
 
 # livy 伺服器域名
 livy_server_host=ddc001.lqad

 # livy 伺服器端口
 livy_server_port=8998

 # Configure Livy to start in local 'process' mode, or 'yarn' workers.
 livy_server_session_kind=yarn           

使用樣例

引入第三方依賴

import util.Random
val r = new Random
println(r.nextInt(10))           

運作結果

建立spark任務

var counter = 0
val data = Array(1, 2, 3, 4, 5)
var rdd = sc.parallelize(data)
rdd.map(x=>x+1).collect()