互動式分析的核心功能是:實時處理離線資料(MaxCompute)和實時資料(Blink)。為了讓大家更好的了解互動式分析和更加快捷的掌握核心功能,小編為大家整理了如何使用HoloStudio來完成資料的開發,往期精彩傳送門:
MaxCompute直接查詢:
在嗎?0代碼加速查詢MaxCompute請查收! MaxCompute導入查詢: 來了,2行代碼秒級查詢MaxCompute! 簡單實時大屏最佳實踐: 雙11就要來了,實時大屏準備好了嗎?随着業務的不斷拓展,資料的實時性變得越來越重要,對實時資料的快速查詢、分析、決策并為業務賦能是大資料生态中的一重大突破點。以往的解決方案通常是:實時計算(Blink)将消息隊列中的資料進行初步加工清洗,存儲到資料存儲系統,之後再進行資料查詢,并對接第三方工具來可視化分析。這種解決方案的痛點在于,業務場景的複雜度不同,所需的存儲和查詢服務也會不一樣,這就需要開發人員維護多套系統,增加運維難度,同時高性能、高并發的資料服務也得不到及時響應。
互動式分析的另一核心功能是能夠對實時資料實時寫入實時查詢,既能存儲實時計算初步聚合後的資料,又能實作高并發的簡單、複雜查詢,同時也有JDBC/ODBC接口,輕松對接第三方工具,隻需要一套代碼維護一套系統,就能完美滿足業務的實時查詢、分析要求。
在小編為大家講解過如何通過實時計算、互動式分析做一個實時大屏,但當時的講解主要側重于場景實作,中間的操作步驟對于新手還是比較陌生,今天小編就為大家講解使用HoloStudio實時查詢實時資料的具體操作步驟。
前提條件
1.開通
實時計算服務2.開通
互動式分析執行個體注意:一定要確定這2個計算服務在同一region。
操作步驟
本次案例示範如何在實時計算裡随機生成随機數,并在互動式分析中實時查詢資料。(本次示範的所有内容大家都可以參考文檔:
實時資料實時寫入查詢)
使用平台:實時計算平台、HoloStudio
注意事項:本案例側重于操作步驟的示範,資料為随機生成的資料,實際業務請根據實際場景資料來做處理)
1.互動式分析建表
登入HoloStudio,并建立一張接收資料的内部表,示例建表語句如下:
create table test(a int, b text, c text, d float8, e int8);
2.實時計算準備實時作業
登入實時計算平台,建立作業開發,并填寫作業。在作業中主要是建立實時計算與互動式分析的連接配接,并導入資料。示例SQL如下:
//模拟消息隊列随機生成資料
create table randomSource (a int, b VARCHAR , c VARCHAR , d DOUBLE, e BIGINT) with (type = 'random');
//建立實時計算與互動式分析的連接配接表資訊,下面的連接配接串資訊為必填内容
create table blink_test_demo (
a INT ,
b VARCHAR ,
c VARCHAR ,
d DOUBLE,
e BIGINT,
PRIMARY KEY (a)
) with (
type = 'custom',
tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
`endpoint` = '互動式分析執行個體VPC網絡位址:互動式分析執行個體VPC網絡端口',
`userName` = '目前賬号的Access ID',
`password` = '目前賬号的Access Key',
`dbName` = '要連接配接的互動式分析資料庫名',
`tableName` = '互動式分析中用于接收資料的表'
);
//将資料導入至連接配接表中
insert
into blink_test_demo
select
a,b,c,d,e
from
randomSource;
作業填寫完成後,在實時計算左側菜單欄處選擇資源引用,并引用資源包(資源包可以在互動分析文檔中下載下傳)

說明:資源包一定要引用,其提供了實時計算與互動式的接口連接配接。
3.上線實時作業
資源包引用成功後,可儲存作業并進行文法檢查,文法檢查成功後,可将作業進行上線。并按照上線步驟填寫上線資訊配置。

作業上線成功後,需要将作業送出到生産環境運作。單擊左上角運維,手工啟動作業。(作業啟動并有輸出資訊需要1-2分鐘,請耐心等待)

可以看到目前資料的輸出資訊

4.互動式分析實時讀取資料
實時計算有了輸出資料之後,可以前往HoloStudio進行資料實時查詢

可以看到,隻要查詢就能實時産生資料,在資料開發中執行該條語句,通過DataWorks排程進行周期性查詢作業,提高業務效率。
成功操作完以上步驟,就說明你已成功掌握互動式分析查詢實時查詢實時計算資料的操作步驟了,趕緊用起來吧!
若大家對互動式分析想要了解更多資訊或者技術咨詢,歡迎大家進釘釘群交流。
