自openLooKeng V1.1.0 上線以來
不少小夥伴反應,新版本變化很大
不僅性能上得到大幅度提升
而且新增了資料源和Connector等等
……
辣麼,openLooKeng V1.1.0帶來哪些新特性?
今兒個,咱們就來詳細捋捋
openLooKeng 新版本 V1.1.0
關 鍵 特 性
咳咳,敲黑闆了喂!
openLooKeng Release V1.1.0
- 關 鍵 特 性 -
啟發式索引
» Btree索引-BTree索用于Split過濾,并且隻能使用在Coordinator節點上,如果對作為查詢謂詞一部分的某一列建立索引,那麼openLooKeng可以在執行的過程中通過索引來過濾掉Split,進而提高查詢性能。
» Bitmap索引-Bitmap索引用于讀取ORC檔案時過濾資料,并且隻能使用在Worker節點上。Bitmap索引必須在高基數的列上建立。在這個釋出版本中,對Bitmap索引進行了增強,将關鍵字存儲在一個BTree中來加快關鍵字的查找,索引的建立以及減少索引的大小。
高性能
» 五個性能提升的特性
♦ 視窗函數的性能提升;
♦ 将動态過濾等待時間修改為基于在Worker上的任務排程時間,而不包含花費在計劃的時間;
♦ 在Semi-join上使用動态過濾;
♦ 實作Left-join轉換成Semi-join的優化規則;
♦ 實作Self-join轉換成Group-by的優化規則。
» 很多小Split會影響openLooKeng的查詢性能,因為需要對這些Split進行排程,這樣會導緻更多的排程開銷,完成的任務更少,并且每個Split的等待被讀取的時間也會增加,為避免這種情況,使用合并小Split特性将小Split組合在一起,作為單個Split一起排程。
» 交換複用特性引入了一個查詢優化器,在一次查詢中,一個表的資料被這條語句中的多個投影或過濾多次使用時,該特性會在記憶體中緩存該表資料來降低查詢時間。
連接配接器
» 新增支援openGauss 資料源
» 新增支援MongoDB 資料源
» 重構ElasticSearch 連接配接器以相容7.x版本
» 新增Oracle連接配接器文檔,并支援Oracle同義詞特性。
» 增強Hive 連接配接器以支援使用者透傳
(impersonation)
» ODBC文法相容性能力增強
DC連接配接器
» 跨DC場景下動态過濾下推特性增強
使用者體驗
» 提供全新的WEB UI, 包含線上SQL編輯器和系統狀态監控
» 簡化配置項