天天看點

IoT進階裝置檢索場景特性資料Dump層物模型檢索SQL-Like檢索能力使用文檔

場景特性

每個業務場景都有自己特有資料特性,IoT也不例外。單純從裝置檢索的角度切入來看,IoT的裝置檢索特性如下:

            1. 億級資料;

            2. 資料高頻變更;

            3. 時序特性;

            4. 無冷熱特征;

            5. 結構松散;

            6. 資料異構;

資料Dump層

整體思路和多數檢索場景類似:全量資料+增量資料。由于底層用了多套雲檢索引擎,是以整個Dump層天然具備雲原生的能力,與此同時,我們采用了影子庫、主備叢集、讀寫分離、配置化、全鍊路監控等手段,來保障資料的吞吐、時延、穩定、高效。

IoT進階裝置檢索場景特性資料Dump層物模型檢索SQL-Like檢索能力使用文檔

物模型檢索

物模型是實體空間中的實體(如傳感器、車載裝置、樓宇、工廠等)在雲端的數字化表示,從屬性、服務和事件三個次元,分别描述了該實體是什麼、能做什麼、可以對外提供哪些資訊。是以相對于裝置的中繼資料(名稱等),物模型資料的檢索是極其重要的一部分。然而,雖然單個裝置的物模型屬性數量是有限的,但是不同的裝置的物模型屬性數是完全不一樣的,這就導緻最終最終裝置的物模型的屬性是不可窮盡的,但是我們的索引表的寬度是有限的。是以,就需要用有限的索引列存儲無限的物模型資料。

        通過結合物模型的特點:資料定義明确、整體數量不可窮盡、單裝置可窮盡,将單裝置的物模型資訊與索引進行映射,多裝置複用相同索引,實作物模型資料的檢索。

IoT進階裝置檢索場景特性資料Dump層物模型檢索SQL-Like檢索能力使用文檔

SQL-Like檢索能力

雲上的産品ToB的比重更高,使用我們雲平台的大多數使用者都有一定技術背景,SQL在技術人員普及度又極高,為了降低使用者的使用成本,我們提供了SQL-Like的檢索能力,使用者能夠像查詢資料庫一樣來檢索資料。與此同時,我們底層用了多套檢索引擎,是以我們希望在上層使用SQL檢索的方式來屏蔽底層引擎的差異。簡而言之,上層使用SQL文法,下層适配多套檢索引擎。

為此,我們設計了一套:适配多引擎、業務自定義、SQL檢索架構。整體架構上,參考了

Apache Calcite

SQL-Helper:我們提供了SQL拼裝工具,使用者可以像寫JAVA那樣完成SQL書寫,防止SQL拼寫錯誤帶來的調試效率問題;

Adapter:适配層子產品,基于底層引擎進行适配、路由;

Parser:SQL解析子產品;

Completer:語句補全、替換等;

Validater:語句校驗子產品;

Tanslator:語句轉義為底層引擎請求,并進行參數優化;

IoT進階裝置檢索場景特性資料Dump層物模型檢索SQL-Like檢索能力使用文檔

使用文檔

    https://help.aliyun.com/document_detail/185713.html?spm=a2c4g.11174283.6.712.2d924c07H2j7X7