天天看點

使用Spark SQL建構互動式查詢引擎

下載下傳streamingpro

<a href="https://github.com/allwefantasy/streamingpro">readme中有下載下傳位址</a>

如果你使用了 spark 2.0 版本,則要下載下傳對應頁面上的spark 安裝包。因為目前spark 2.0 預設支援scala 2.11。我提供了一個機遇scala 2.10版本的。

 我們假設您将檔案放在了/tmp目錄下。

啟動streamingpro

local模式:

後可進入查詢界面:

使用Spark SQL建構互動式查詢引擎

snip20160709_5.png

目前支援elasticsearch 索引,hdfs parquet 等的查詢,并且支援多表查詢。

除了互動式界面以外,也支援接口查詢:

參數支援:

使用Spark SQL建構互動式查詢引擎

上面的參數都是成套出現,你可以配置多套,進而映射多張表。

叢集模式:

接着進入spark-ui界面擷取driver的位址,就可以通路了。

因為叢集模式,driver的位址是變化的,是以一旦叢集啟動後我們需要注冊到某個地方,進而能然前端知道。目前支援zookeeper的方式,在啟動指令行中添加如下幾個參數:

之後前端程式隻要通路

就能擷取ip和端口了。

繼續閱讀