cube.js 內建dremio

cube.js 內建dremio 是一個很不錯的選擇，可以使用dremio 強大的資料處理能力+cube.js 靈活的資料分析可以加速我們資料分析應用的開發

一個參考內建方案

簡單說明，cube.js 進行資料分析，dremio 進行資料湖的處理（連接配接+加速資料處理）

簡單內建

可以基于dreamio 提供driver 直接使用（基于rest api）

• 環境準備

  docker-compose 檔案（包含了一個pg）

version: "3"      

services:      

dremio:      

image: dremio/dremio-oss:13.0      

environment:      

- DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.collation.name=UTF-16LE\$en_US      

ports:      

- "9047:9047"      

- "31010:31010"      

pg:      

image: postgres:12      

environment:      

- "POSTGRES_PASSWORD=dalong"      

ports:      

- "5432:5432"      

pg 測試資料(自己可以灌入部分資料)

CREATE TABLE demoapps (      

id integer NOT NULL,      

name text,      

age integer      

);      

• cube.js dremio app

npx cubejs-cli create -d dremio -t express dremapp      

• 配置修改

  .env 檔案

# Cube.js environment variables: https://cube.dev/docs/reference/environment-variables      

CUBEJS_DB_HOST=localhost      

CUBEJS_DB_NAME=demoapp      

CUBEJS_DB_USER=dalong      

CUBEJS_DB_PASS=dalong123      

CUBEJS_WEB_SOCKETS=true      

CUBEJS_DEV_MODE=true      

CUBEJS_DB_TYPE=dremio      

CUBEJS_API_SECRET=3e3d9740392890fc565877fc4d3dae1376c5c6845c98eb5802631c9e380e72b9454051613f2c6d30316c1c67c1e31d32b9f5f14f1c0f5fbf45bc925c62b75f7f      

運作效果

• dremio 效果

• cube 運作效果

• 資料查詢效果

幾個問題

• 編碼問題

Error: Failed to encode in character set 'ISO-8859-1'      

DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.collation.name=UTF-16LE\$en_US      

• 其他db 內建編碼問題

  目前在內建其他資料庫的時候發現了類似的問題，但是并不是都有問題，有可能是系統環境問題，也可能是有bug（或者資料庫表建立問題）

參考資料