雲原生多模資料庫Lindorm權威指南｜從入門到精通(持續更新 v2021.2)

前言

2020年，阿裡雲釋出了業界首款雲原生多模資料庫Lindorm，新使用者免費試用，技術交流釘釘群：35977898，更多内容請

參考連結

一、Lindorm是什麼

1.1 産品簡介

Lindorm是一款适用于任何規模、多種類型的雲原生資料庫服務，支援海量資料的低成本、實時線上的存儲檢索分析，提供寬表、時序、搜尋、檔案等多種資料模型，相容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL、HDFS等多種開源标準接口，是網際網路、IoT、車聯網、廣告、社交、監控、遊戲、風控等場景首選資料庫，也是為阿裡巴巴核心業務提供關鍵支撐的資料庫之一。

1.2 技術背景

面對多模資料管理的應用需求和雲原生的技術趨勢，順應雲計算、5G/IoT時代的發展需求，阿裡雲釋出了業界首款雲原生多模資料庫Lindorm，基于存儲計算分離、多模共享融合的雲原生架構，具備極緻性能和擴充性，讓系統架構簡潔、高效，極大降低系統維護成本和海量資料存儲成本。

更多技術背景介紹，可以參考

https://developer.aliyun.com/article/776156 https://developer.aliyun.com/article/776156

二、可以做什麼

2.1 功能

Lindorm是一個多模型的資料庫，選擇不同的模型，可以發揮不同的功能。與此同時，這些模型可以被混合使用，起到1+1>2的效果，提升應用開發維護效率，降低資料存儲管理成本。

2.1.1 寬表模型

擁有和

HBase

、

Cassandra Phoenix

一樣的寬表資料模型，熟悉這幾個資料庫的使用者可以直接把Lindorm當成HBase、Cassandra、Phoenix的雲原生版本使用，無縫相容它們的開源标準接口，并提供更低成本、更好彈性、更強能力。

熟悉MySQL/PostgreSQL等關系型資料庫的使用者，可以把Lindorm當成一個容量規模無限伸縮、使用成本低很多的關系資料庫使用，Lindorm也提供标準SQL接口，但在事務能力上不如關系型資料庫，非常适合有降低成本和規模擴充需求的關系型資料庫使用者，比如做曆史庫、資料歸檔、中繼資料庫等。

熟悉Mongo/Dynamodb等NoSQL資料庫的使用者，也可以将Lindorm作為上雲後的替換選擇，提供更低成本、更強功能，不過Lindorm目前沒有相容性接口，需要自行适配。

關于LindormTable的更多特性介紹，可以參考

https://help.aliyun.com/document_detail/174647.html https://help.aliyun.com/document_detail/174647.html

2.1.2 時序模型

擁有和InfluxDB、OpenTSDB一樣的時序資料模型，熟悉這幾個資料庫的使用者可以直接把Lindorm當成InfluxDB、OpenTSDB的雲原生版本使用，目前無縫相容開源OpenTSDB接口。

時序模型是一種特别适合時間序列資料的模型，比如Metrics，是APM/IoT場景中裝置/系統等核心名額資料的主流存儲選擇。

關于LindormTSDB的更多特性介紹，可以參考

https://help.aliyun.com/document_detail/182269.html https://help.aliyun.com/document_detail/182269.html

2.1.3 搜尋模型

擁有和ElasticSearch、Solr一樣的搜尋資料模型，熟悉這幾個資料庫的使用者可以直接把Lindorm當成ElasticSearch、Solr的雲原生版本使用，目前無縫相容開源Solr接口。

關于LindormSearch的更多特性介紹，可以參考

https://help.aliyun.com/document_detail/174715.html https://help.aliyun.com/document_detail/174715.html

2.1.4 檔案模型

擁有和分布式檔案系統一緻的資料模型，熟悉

HDFS

的使用者，可以将Lindorm當成HDFS的雲原生版本使用，無縫相容其開源标準接口，并提供更低成本和更強能力。

熟悉對象存儲的使用者，如果将其應用在大資料、資料湖等場景，可以把Lindorm作為一個更好的雲原生存儲選擇，在目錄操作性能、吞吐帶寬方面将獲得非常大的提升。

關于LindormFS的更多特性介紹，可以參考

https://help.aliyun.com/document_detail/185153.html

2.2 優勢

Lindorm是一款主打低成本、彈性、多模融合特點的雲原生資料庫，特别适合于網際網路、物聯網中的大資料場景，提供實時線上的存儲、檢索、分析能力。

2.2.1 低成本，使用成本最低的資料庫之一

• 提供性能型、标準型、容量型多種存儲規格，可滿足不同場景的成本效益選擇。
• 多種引擎共享統一的存儲池，減少存儲碎片，降低使用成本。
• 容量型存儲單價為業界最低标準，大幅低于基于ECS本地盤自建。
• 内置深度優化的壓縮算法，資料壓縮率高達10:1以上，相比snappy提高50%以上。
• 内置面向資料類型的自适應編碼，資料無需解碼，即可快速查找。
• 支援智能冷熱分離，多種存儲規格混合使用，大幅降低資料存儲綜合成本。

2.2.1 雲原生彈性，無需容量規劃

• 基于存儲計算分離的全分布式架構，支援計算資源和存儲資源的獨立彈性伸縮。
• 存儲資源支援秒級線上擴縮，計算資源（寬表引擎、時序引擎、搜尋引擎）支援分鐘級線上伸縮。
• 提供按需即時彈性、按使用量付費的Serverless服務，自适應彈性伸縮，無需人工容量管理。

2.2.1 多模融合，應用架構大大簡化

• 多模型之間支援資料互通，搜尋引擎可無縫作為寬表引擎、時序引擎的索引存儲，加速複雜條件查詢。
• 支援統一的SQL通路，以及跨多模引擎關聯查詢。

2.2.1 豐富生态，與主流大資料、資料庫生态無縫打通

• 支援與MySQL、HBase、MongoDB等系統的平滑線上資料搬遷。
• 可輕松與Spark、Flink、DLA、MaxCompute等計算引擎無縫對接。
• 支援無縫訂閱Kafka、SLS等日志通道的資料，并具備快速處理能力。
• 通過Lindorm Stream，可以實時訂閱Lindorm的增量變更資料，自定義消費。

更多Lindorm的優勢介紹，可以參考

連結

2.3 應用領域

基于Lindorm的多模型能力，可以大幅簡化很多領域的資料架構，典型如下：

2.3.1 大資料存儲分析

企業在建構大資料架構過程中，需要面對結構化、半結構化、非結構化等多形态資料，如原始日志(檔案)、中間狀态(鍵值、檔案)、維表(鍵值、表)、結果資料(表、檔案)等，非常适合使用多模資料庫Lindorm進行統一存儲，其支援低成本存儲、實時查詢、批量歸檔、資料庫導入、高效的全增量通道等能力，可輕松與Hadoop、Spark等大資料計算引擎內建，完成資料的大規模在離線處理和互動式分析。

2.3.2 物聯網平台

在物聯網場景，大量裝置會産生時序狀态、音視訊、日志檔案等多種形式資料，使用多模資料庫Lindorm可以統一存儲這些結構化、非結構化資料，結合AI算法庫和大資料計算平台，提供物聯網資料的統一線上存儲檢索與分析，低成本、高效率地處理海量資料。

2.3.3 可觀察性系統

企業在建構可觀察性系統時，需要面對Metrics、Tracing、Logging三種資料，使用多模資料庫Lindorm可以統一存儲這些資料，并且進行線上檢索與分析，大幅簡化系統架構

2.3.4 低成本資料庫

對于資料體量大或增速快的業務，使用關系型資料庫，往往意味着比較高的成本。若業務本身的資料價值密度不高，也沒有複雜的事務需求，使用多模資料庫Lindorm會是更好的成本效益選擇，既能滿足業務對于資料庫的線上需求，還能享受近似于離線數倉的存儲成本，比如，社交聊天、Feed流、賬單、遊戲錄像、通路日志等等。

三、場景實踐

3.1 阿裡經濟體内部實踐

Lindorm在阿裡巴巴集團内部成熟業務中得到廣泛使用。

3.2 大資料場景：海量資料存儲與分析

Lindorm支援海量資料的低成本存儲、快速批量導入和實時通路，具備高效的增量及全量資料通道，可輕松與Spark、MaxCompute等大資料平台內建，完成資料的大規模離線分析。

3.3 廣告場景：海量廣告營銷資料的實時存儲

使用Lindorm存儲廣告營銷中的畫像特征、使用者事件、點選流、廣告物料等重要資料，提供高并發、低延遲、靈活可靠的能力，幫助您快速建構領先的實時競價、廣告定位投放等系統服務。

3.4 金融&零售：海量訂單記錄與風控資料的實時存儲

使用Lindorm存儲金融交易中的海量訂單記錄，金融風控中的使用者事件、畫像特征、規則模型、裝置指紋等重要資料，提供低成本、高并發、靈活可靠的能力，幫助您建構領先的金融交易與風控服務。

3.5 車聯網：車輛軌迹與狀況資料的高效存儲處理

使用Lindorm存儲車聯網中的行使軌迹、車輛狀況、精準定位等重要資料，提供低成本、彈性、靈活可靠的能力，幫助您建構領先的網約車、物流運輸、新能源車檢測等場景服務。

3.6 網際網路社交：高效、穩定的社交Feed流資訊存儲

使用Lindorm存儲社交場景中的聊天、評論、文章、點贊等重要資料，提供易開發、高可用、延遲的能力，幫助您快速建構穩定可靠的現代社交Feed流系統。

四、解決方案

4.1 基于Lindorm的網際網路賬單解決方案

請參考

https://developer.aliyun.com/article/776252 https://developer.aliyun.com/article/776252

4.2 基于Lindorm的大資料使用者畫像解決方案

https://developer.aliyun.com/article/776427 https://developer.aliyun.com/article/776427

4.3 基于Lindorm的HDFS上雲解決方案

https://help.aliyun.com/document_detail/187183.html

4.4 基于Lindorm的車聯網資料存儲處理方案

https://developer.aliyun.com/article/781046

4.5 基于Lindorm的低成本RDS曆史庫方案

https://help.aliyun.com/document_detail/202224.html

五、操作實踐

• 使用CQL(一種SQL方言)通路Lindorm
• Spark對接Lindorm Phoenix5.x輕用戶端

六、技術原理

• Lindorm全文索引技術介紹
• 深入探索Lindorm相容PhoenixSQL背後的故事
• 深入探索Lindorm相容Cassandra CQL背後的故事

七、咨詢交流

• 釘釘群：雲Lindorm技術交流群

• 社群問答：點選