天天看点

分析型数据库 AnalyticDB学习 ----基本介绍分析型数据库 AnalyticDB学习 ----基本介绍

分析型数据库 AnalyticDB学习 ----基本介绍

AnalyticDB简介

阿里巴巴自主研发的海量数据实时并发在线分析的云计算服务,可以在毫秒级针对千亿级数据进行多维分析和业务探索.具备海量数据的自由计算和极速响应能力(数据很多,反应很快,计算很快,可以处理高并发这个意思)

Analytic核心功能和特点

*Analytic核心功能

(1) 分档的储存

(2) 自由的查询

(3) 智能的优化

(4) 分层的安全

(5) 方便的接口

(6) 弹性的多租户

*Analytic特色功能

(1) 智能全索引

(2) 多值列

(3) 空间检索

(4) 海量dump

(5) 全文检索(ai分词,全文索引)

(6) 海量计算(图片处理)

*Analytic关键技术

(1) 列存

1. 优点: 分析统计性能、大宽表查询少量列时省IO
	2. 劣势:数据分布分散时一次查询很多列浪费IO
	3. 特色:聚集列(预排序)缓解劣势
           

(2) 分级存储

1. 高性能实例:查询性能快,并发能力强,存储成本高,适用于大量数据灵活分析,高并发查询等场景。
	2. 大存储实例:存储成本很低,查询性能相对差,并发弱,适用于海量数据的查询明细,低并发较高延迟分析等场景
           

Analytic优点

(1) 超大规模集群

1. 支持2000+节点集群
 	2. 单表1pb数据量
 	3. 单表亿万记录的多表关联分析
           

(2) 高性能

1. 写入数据1秒内立即可查询分析,200万+/秒
 	2. 支持3万+的并发查询能力
 	3. 无需预先进行建模的情况下实现千亿数据秒级计算
 	4. 支持行列混存功能,支持表级别配置存储模式,优化查询性能
           

(3) 高可用、可靠

1.集群节点 active-active架构,任意物理机损坏,业务无感知运行,自动恢复
 	2. 无状态化设计,存储和计算分离
 	3. 数据双层冗余设计,数据可靠性99.9999%
           

(4) 功能

1. 文本分析。ali分词
 	2. gpu硬件加速:更高性能和更低成本
 	3. 向量分析:支持向量计算
           

Analytic使用场景

(1) app类型:查询简单,没有多表关联操作并且计算返回结果数据不多qps(单位时间内处理的流量,最大吞吐能力)较高,rt(响应时间)在500毫秒以下

(2) BI类型:实时数据仓库,一张事实表与多维度表进行join,较多的分组,排序操作qps较低,rt1000毫秒以下

(3) Adhoc类型:多张事实表进行join并进行分组,排序,或者返回大量结果,qps等于或者高于bi类型,平均在8000毫秒