天天看點

openLooKeng Release V1.1.0關鍵特性

自openLooKeng V1.1.0 上線以來

不少小夥伴反應,新版本變化很大

不僅性能上得到大幅度提升

而且新增了資料源和Connector等等

……

辣麼,openLooKeng V1.1.0帶來哪些新特性?

今兒個,咱們就來詳細捋捋

openLooKeng 新版本 V1.1.0

關  鍵  特  性 

咳咳,敲黑闆了喂!

openLooKeng Release V1.1.0

- 關 鍵 特 性 -

啟發式索引

» Btree索引-BTree索用于Split過濾,并且隻能使用在Coordinator節點上,如果對作為查詢謂詞一部分的某一列建立索引,那麼openLooKeng可以在執行的過程中通過索引來過濾掉Split,進而提高查詢性能。

» Bitmap索引-Bitmap索引用于讀取ORC檔案時過濾資料,并且隻能使用在Worker節點上。Bitmap索引必須在高基數的列上建立。在這個釋出版本中,對Bitmap索引進行了增強,将關鍵字存儲在一個BTree中來加快關鍵字的查找,索引的建立以及減少索引的大小。

高性能

» 五個性能提升的特性

♦ 視窗函數的性能提升;

♦ 将動态過濾等待時間修改為基于在Worker上的任務排程時間,而不包含花費在計劃的時間;

♦ 在Semi-join上使用動态過濾;

♦ 實作Left-join轉換成Semi-join的優化規則;

♦ 實作Self-join轉換成Group-by的優化規則。

» 很多小Split會影響openLooKeng的查詢性能,因為需要對這些Split進行排程,這樣會導緻更多的排程開銷,完成的任務更少,并且每個Split的等待被讀取的時間也會增加,為避免這種情況,使用合并小Split特性将小Split組合在一起,作為單個Split一起排程。

» 交換複用特性引入了一個查詢優化器,在一次查詢中,一個表的資料被這條語句中的多個投影或過濾多次使用時,該特性會在記憶體中緩存該表資料來降低查詢時間。

連接配接器

» 新增支援openGauss 資料源

» 新增支援MongoDB 資料源

» 重構ElasticSearch 連接配接器以相容7.x版本

» 新增Oracle連接配接器文檔,并支援Oracle同義詞特性。

» 增強Hive 連接配接器以支援使用者透傳

(impersonation)

» ODBC文法相容性能力增強

DC連接配接器

» 跨DC場景下動态過濾下推特性增強

使用者體驗

» 提供全新的WEB UI, 包含線上SQL編輯器和系統狀态監控

» 簡化配置項