下載下傳streamingpro
<a href="https://github.com/allwefantasy/streamingpro">readme中有下載下傳位址</a>
如果你使用了 spark 2.0 版本,則要下載下傳對應頁面上的spark 安裝包。因為目前spark 2.0 預設支援scala 2.11。我提供了一個機遇scala 2.10版本的。
我們假設您将檔案放在了/tmp目錄下。
啟動streamingpro
local模式:
後可進入查詢界面:

snip20160709_5.png
目前支援elasticsearch 索引,hdfs parquet 等的查詢,并且支援多表查詢。
除了互動式界面以外,也支援接口查詢:
參數支援:
上面的參數都是成套出現,你可以配置多套,進而映射多張表。
叢集模式:
接着進入spark-ui界面擷取driver的位址,就可以通路了。
因為叢集模式,driver的位址是變化的,是以一旦叢集啟動後我們需要注冊到某個地方,進而能然前端知道。目前支援zookeeper的方式,在啟動指令行中添加如下幾個參數:
之後前端程式隻要通路
就能擷取ip和端口了。