摘要： 随着工业互联网时代的到来，数据库已经走过了近50年的学科历史，绽放出新的生命力，这在NoSQL数据库中发挥重要作用也出现了更多的趋势。在第十一届中国数据库技术大会（DTCC2020）上，阿里云资深产品专家朱杰介绍了NoSQL数据库行业的最新趋势，以及阿里云NoSQL技术的创新实践和阿里云NoSQL的生态开放实践。
本文基于语音录音和PPT。
<h1>嘉宾简介：</h1>
朱杰（花名：Where），阿里云高级产品专家，目前负责阿里云的RDS和NoSQL数据库产品。
此共享包括以下三个方面：
NoSQL数据库行业的新趋势
阿里云 NoSQL 技术创新实践
阿里云 NoSQL 生态开放实践
<h1>NoSQL数据库行业的新趋势</h1>
数据库开发的历史
首先，简要回顾一下数据库的开发情况。事实上，数据库是一个非常悠久的行业历史。数据库技术自20世纪50年代以来就已经开明了，但俗话说它是诞生于1970年代，所以数据库的诞生现在已经快50年了，数据库在技术、业务和应用场景上一直在不断发展和发展。例如，在 20 世纪 90 年代，X86 服务器诞生了非常知名的数据库，如用于个人办公、个人娱乐和企业信息的 SQL Server 和 PG。今天共享的NoSQL数据库诞生于2000年左右，伴随着整个互联网的发展和推广。互联网业务的发展催生了mySQL，一个非常著名的关系数据库，还有MongoDB、Redis等NoSQL数据库，解决了传统关系数据库遇到的一系列性能、成本、可扩展性等问题。最后，2015年前后，随着云计算时代的发展，数据库领域出现了一些新的变化，aws在国际上发展非常强劲，在国内，阿里云提供TP/AP/NoSQL/工具全系统云原生数据库产品，典型的PolarDB和ADB。
数据库正处于投资热潮中
在计算机技术方面，有着十几年历史的行业已经非常非常老套了，数据库行业已经有近50年的历史了，甚至用"恐龙"来形容，但很有意思的是，数据库技术还是很有生命力的。上图简要列举了近期国内外数据库领域发生的几起大型投融资事件，可以发现，数据库行业并不是一天单薄的西山，而是越来越成为一股投资热潮。国内梦、Oceanbase、People's Gold、Even、PingCAP都有良好的发展，在国际上，Snowflake上市，市值超过1000亿美元，代表着数据库业务的振兴。
云数据库新轨道 实现中国软件产业新突破
云计算是数据库的重要新轨道。Gartner做出了一个非常乐观的预测，即到2022年，75%的数据库将位于云上，这正在成为现实。2020年，阿里云数据库正式进入Gartner魔力象限中的Leder象限，这不仅是阿里云的突破，也是整个中国软件行业近40年历史上首次进入Leder象限，这是前所未有的。众所周知，我国软件产业相比欧美发展相对落后，因为起步较晚，而阿里云数据库能够走到这样的位置，其核心或依靠云计算这条新轨道，也代表着中国软件产业的新突破，这是一个具有里程碑意义的事件。
快速的硬件变化推动了数据技术的发展
另一方面，硬件的快速变化也在推动数据库技术的发展。事实上，硬件和软件是相辅相成的，硬件的快速发展正在带动软件不断改变自身的技术架构，而软件通过不断的更新迭代来充分利用硬件资源，从而更好、更快地支持业务发展。例如，NoSQL数据库在改变其组织模式和数据组织结构方面做了很多工作，以便更有效地组织磁盘，CPU使用率，硬件资源等问题。以前是CPU和磁盘，近年来内存出现了几个非常重要的趋势，首先，内存成本下降得非常快;应该说，这些趋势都不是新闻，但今年一个非常大的变化，就是这些技术开始真正得到实际应用和大规模商业化，我看一下阿里云持久存储的内存数据库，在中国是第一家实现大规模商用的云服务提供商。
综上所述，硬件的快速变化带动了整个数据库乃至整个软件行业的发展，业界近两年来一直密切关注内存的变化，不仅仅是CPU和磁盘，所以可以说"RAM是新磁盘"不再是一种趋势， 但现实。
NoSQL相关数据库的概念已经发展
NoSQL数据库诞生于互联网业务。早在2006年，Google就推出了BigTable，因此HBase，Cassandra，MongoDB和Redis紧随其后，所有这些都以不同形式的基础数据组织。2010年前后，Google推出了以Spanner为代表的新产品，出现了F1、SequoiaDB、TiDB等NewSQL数据库，即利用SQL解决应用问题，同时也保留了NoSQL的可扩展性问题。而回到今天，关于这些概念的争论已经不再火爆，就像AWS今年的aws re：invent大会来讲的用途构建数据库，即专用数据库，这并不是一件坏事，也就是说，今天驱动数据发展的场景，我们正在进入一个更具创新性、更有意义、更深水的领域。如今，阿里云数据库正在做的不仅仅是硬软融合技术、工业物联网技术、AI技术等一系列相关技术，融合了数据库领域的应用，尤其是NoSQL数据库领域。
NoSQL是数据库中最活跃的部分
尽管最近有人提到"go O"，但NoSQL实际上是整个数据库空间中最活跃的部分。根据Gartner的报告，2019年全球数据库市场将达到约552亿美元，仅同比增长15.2%，而NoSQL将同比增长51.7%，因此NoSQL是整个数据库行业真正的增长引擎。在NoSQL部分，业务正在蓬勃发展，技术在不断发展和变化。综上所述，对于NoSQL领域的技术人员来说，将会有一个非常好的历史机遇，NoSQL正处于投资热潮、硬件变革、新业务思路叠加的好时代。对于相关企业家来说，这也是一个很好的机会，如果你在NoSQL相关领域工作，将有很大的扩展空间。
<h1>阿里云 NoSQL 技术创新实践</h1>
接下来，我们将介绍 noSQL 数据库最活跃的部分，以及阿里云在过去一年中所做的工作。
创新突破深层场景
过去一年，阿里云在NoSQL领域的创新突破有四大方面纵深的场面。首先，在软硬件集成方面，阿里云今年发布的在Tair云原生内存数据库中，做了大量的软硬件结合工作;除了原有的创业公司外，还有很多大公司需要上云，为了响应他们的需求，阿里云实现了MyBase新形态数据库的创新，针对大中型客户，解决了其数据库在云上自主控制、灵活、专属的核心要求。总而言之，阿里云希望通过创新突破这些深层次的场景，为客户带来更多价值。
内存数据库的云原生时代
如上图所示，阿里云原生内存数据库 Tair 的近似架构。Tair是阿里巴巴内部十多年来一直磨练的自主研发的云原生内存数据库，主要满足客户对实时在线数据、系统加速、高频高吞吐量处理的需求。Tair数据库有几个特点，一是它与社区的Redis数据库完全兼容，二是通过扩展内存，具备高性能的持久存储能力，包括支持SSD版本，还支持非易失性内存版本，因为Tair数据库位于云端，所以与云上的数据连接非常方便， 并能无缝匹配云上的数据管理工具，帮助客户支持游戏、电商、政府等大型企业。
结合软硬件，扩展新场景
阿里云再次非易失性存储其实布局很长，在过去的一年里，阿里云做了一件非常重要的事情就是让这个内部技术商业化，虽然很多企业也在研究这项技术，但要实现真正的商用，阿里云是国内第一个。阿里云的Tair内存数据库基于Dragon和Ao Teng持久内存的裸金属实例，通过这些硬件的特性，Tair既具有低内存延迟，又具有SSD存储容量和成本承担能力。阿里云 Tair 不仅是将硬件和软件相结合实现技术的突破，更重要的是优化和处理以前未充分利用的场景。通过软硬件结合，成功扩展了一些新场景，典型包括计算中间数据性能密集的场景、游戏场景、直播、数据分析中向外界提供查询服务的大数据结果集、高性能实时在线数据访问等。借助新介质和云上原始数据库的一些关键功能（例如弹性扩展），成本降低了60%以上，内存性能也相似。
Ai算法支持图形计算，实现图形分析和推理能力
近年来，AI技术的发展也带动了行业的巨大变化。AI和数据库在很多方面都已经结合，这种注重图数据库应用的扩展，其实图数据库在业界已经有很多了，比如比较有名的Neo4j，而所谓的原始图像应用是指直接通过新的数据组织结构来解决原有的关系模型无法解决的问题， 比如关系快速查询，研发的重点通常是提高查询性能和导入性能等等，这也是NoSQL数据库常见的发展趋势。例如，MongoDB，Redis和HBase。而今年阿里云在此基础上做了新的探索，希望提升AI能力，为客户提供AI算法模型的训练、应用，帮助客户方便构建知识图谱。除了提高性能和解决查询问题外，还可以直接提供知识和算法模型、决策模型，阿里云今年将只支持原有的图形查询这种简单的东西扩展到逻辑分析、推理能力，真正帮助客户提供智能化的解决方案，从而更好地解决整体业务问题。
最佳实践图形数据库，100 多个成功案例
图数据库的能力在阿里巴巴得到了广泛的应用和验证，如天猫、高德龙、箱马等都充分应用到图库的能力中，并实现了商业化，除了我们的图数据库还广泛服务于外部客户，如互联网商户、游戏、金融等行业的外部客户， 而累计成功场景100余个，应该说图数据库的应用场景和范围越来越广泛。
中国自主知识产权地图数据库首次入围
阿里云的图形数据库GDB今年2月刚刚上市，是一款非常年轻的产品，通过ai的结合，是一款非常好的产品，可以真正端到端地解决客户问题，并迅速实现突破。Q4 当阿里云地图数据库作为中国自主知识产权的地图数据库首次入围Forrester Wave时，这一成就作为商业不到一年的产品是一项了不起的成就。
多模数据库概念
接下来，共享一个新的云原生多模数据库，面向工业互联网和物联网的未来。关注下一个阿里云对阿里云原生多模数据库的理解以及我们做创新的能力等等。
首先，云原生能力是在云的帮助下弹性扩展和按需使用的能力，具有开放的生态，而多模原生能力是指拥有多个垂直引擎的能力，并在此基础上实现跨模式融合和统一接入。通过结合以上两种能力形成云原生多模数据库，阿里云今年发布了Lindorm，一个新的云原生多模数据库，我们希望构建一个客户需求驱动的数据库，可以帮助客户轻松高效地处理业务，并提供一个开放、集成的整体生态系统。
林多姆的多模能力
多模的概念已经存在了很长时间，你可以在DB-Engines上看到很多支持多模的数据库，但它们之间有很大的区别，大多数行业数据库可能只停留在多模的第一或第二阶段，可能能够支持多种数据类型，或者有多个垂直引擎， 但无法实现跨模式融合能力。阿里云林多姆已经达到多模的第三阶段，实现跨模式融合，正朝着第四阶段，即统一接入，实现模型引擎加入阶段。尽管业界的许多数据库都被称为多模数据库，但本质上存在代际差异。
云原生多模数据库 Lindorm - 多模态大容量存储容量，物联网首选数据库
IDC预测，到2025年，全球产生的163ZB数据中有70ZB将来自物联网设备，以前称为"4V"的数据库是指互联网数据，而现在的"4V"是指物联网设备的数据，总而言之，数量越来越多，种类越来越多，种类越来越多， 越来越有价值。
以前，互联网数据的价值如此之高，以至于无法考虑存储成本，但是今天物联网设备生成的数据如果以原始方式存储，将导致更高的成本，因此需要降低云存储成本，以使企业负担得起。林多姆重新存储成本这种沉淀能力的全方位，从存储成本、计算资源弹性、压缩算法，具体通过云盘和OSS混合存储，配合本地缓冲，保证性能;智能压缩。
另外，数据存储后，必须有丰富的处理能力才能实现数据的价值，这是林多模数据处理的关键能力，林德在定时引擎中，对多种数据模型、数据分析具有全面的布局。同时解决物联网数据的复杂性，通过支持多种数据类型，具有宽表、定时、搜索和文件模型处理能力，并100%兼容开源接入协议，特别是在定时场景中，自主研发的定时数据引擎，实现物联网定时高吞吐量、高压缩、多维聚合等时序处理;Lindorm希望通过提供具有成本效益的存储功能和未来针对多模数据存储的能力，最终使Lindorm成为未来物联网时代的首选数据库。我们专注于构建和沉淀物联网、大数据存储、交互式实时存储、数据湖存储中心等场景的关键能力。
当您完全上云时，您还需要在公共云上获得专有的、受控的、专有的云体验
Gartner预测，未来75%的数据库将位于云端，因此除了初创公司和中小型企业之外，最重要的趋势是，云上将有更多的大中型企业。云上的大客户和小客户有很大的区别，那就是他们的业务复杂性、数据复杂性、业务灵活性和开放性要求完全不同。因此，阿里云今年所做的一件事就是能够将托管和自建数据库的优势结合起来，帮助客户构建myBase，一个特定于云数据库的集群，释放技术红利，让客户灵活使用，并支持多个数据库。
MyBase具有许多出色的功能：
一是独家专属，可以解决所有托管服务所有客户混合部署在一起导致各种冲突、竞争、隔离的问题，单个大客户拥有专属服务器集群，这与传统模式截然不同，帮助客户实现专属物理资源，同时满足客户均衡分配小实例的愿望。
其次，打开能力强，从底层物理集群到上层数据库权限都是开放的;
第三，云计算厂商提供的服务器集群的各种设置和参数往往不可调，或者数量很少可以调整。在MyBase的专有集群中，客户被赋予了充分调整的能力，在排他性模式下，从底层的物理资源到上层都是软件和算法都是专属的，全部向客户开放，可以结合自身的业务进行调整和适应，通过数据库能力和客户业务的结合，从而实现整体资源的最小化和最佳性能。
此外，MyBase集群与RDS是同一核心，因此不会降低服务质量，即在公有云上打造专有的云服务体验。这也是未来非常重要的趋势，现在我们都需要去云端，那么就需要基于公有云的资源池来降低成本，还要有安全性和自主控制的要求，所以面对新的问题，也需要新的解决方案来解决问题， 为了能够在公有云上打造一种专有的云式体验，阿里云希望给大中型客户带来全新的体验。
打开操作系统权限
在这个过程中，阿里云MyBase做了很多关键的工作，比如权限，比如开放OS权限就没那么简单了，如果数据库不能保证高度可用，又有什么价值呢？因此，首先要确保数据库的高可用性并能够做深入的开放，首先是多年的实践和关键技术。
打开这一小步，但对客户来说非常有价值，通过开放，在保留所有原有运维工作模式的同时，也充分发挥了DBA的价值，让DBA能够持续及时解决数据库问题。另外，原来的业务系统积累了很多运营管理系统，如何以云的形式发挥其原有的作用，这也是一个非常大的挑战。这种开放功能允许业务工具的良好集成。此外，在不同的系统中，灵活性也可用，您可以为实例级别设置资源弹性策略等独立功能。因此，通过开拓能力，一针解决大中型客户对独立控制和开放灵活的需求，这在整个行业数据库是一个比较大的创新，是以前云数据库从未有过的模式，是世界第一。
释放阿里云数据库技术红利 - 敏捷、开放、低总体拥有成本
除了开放之外，阿里云在技术上还出口了自己的各种技术的内部使用。典型具有匹配能力、数据库混合能力、单个集群中小实例管理能力、灵活在线迁移实例的能力，向所有人开放，让客户享受阿里云成熟的管理能力和服务。客户的业务和服务提供商提供了非常有效的功能组合，以充分享受技术红利并实现敏捷，开放和低TCO。
在今年的阿里云集团数据库云上也全面采用了MyBase的形式，阿里集团的各种电子商务、支付等业务应该是中国最大的数据库用户，MyBase这种灵活而专属、自主的控制是阿里集团数据库上云的最佳实践，成功经受住了双十一场景的严峻考验。
自动驾驶专用资源池
此外，我们观察到，除了灵活和自主之外，还会有更多的公司希望能够自动化他们的数据库，就像特斯拉一样。在大多数情况下，简单的重复性工作可以通过数据库的自动驾驶能力来释放数据库管理的负担。当你真的处于一个复杂的场景中，当你需要与你的业务紧密契合时，自动驾驶技术真的无法处理它，你可以获得人类的灵活性来参与项目。
目前在DBA常见的重复性工作中，如主机、实例和磁盘，如自动扩展、自动迁移等问题，阿里云MyBase提供了专用的自动驾驶资源池，做到就像特斯拉一样，在一般路面上解决自动驾驶问题，在特殊情况下可以手动灵活调整。
<h1>阿里云 NoSQL 生态开放实践</h1>
随着未来75%的数据库进入云端，云数据库为什么能够取代传统数据库，除了不断为新场景提供新功能，通过创新带来新价值，对于云所能提供的生态能力至关重要。阿里云在云的生态方面有着非常开放的态度，我们一直希望与业界最优秀的厂商携手合作，共同服务客户。
阿里云独家支持新版MongoDB
去年10月，阿里云与MongoDB官员达成深度合作，阿里云是目前唯一能够提供新版本MongoDB的云厂商。简要回顾一下MongoDB版本的开发，支持4.0版本的事务和向传统RDS市场的渗透;在4.2版中，分布式事务受支持并转换为NewSQL;在4.4版本中，实现了用户驱动的整体改进，其中一些功能是由阿里巴巴和MongoDB官员共同深入开发的，而最新版本的MongoDB仅在阿里云上独家可用。
物联网、工业物联网全场景覆盖
除了与MongoDB等数据库供应商合作外，阿里云还为特定行业提供一站式解决方案。在这部分工业互联网中，面对新数据生成，阿里云与国内外厂商共同打造了多种场景解决方案，如工业生产线IT和OT融合监控OSIsoft-Intel、智能建筑霍尼韦尔等，提供了全场景解决方案，这些解决方案已经成功形成了产能， 并落地在电力、钢铁等非常大的行业，让真正让数据看得起。我们希望越来越多的优秀厂家与我们携手合作，合作共赢。
阿里云NoSQL数据库创新开放
阿里云NoSQL数据库在过去一年中的创新与开放，大致可以概括为以上五个方面，即非易失性存储的软硬件结合、人工智能技术赋能地图数据库、面向工业互联网的多模式场景、面向大中型客户自主掌控的新形式和开放共赢的新数据生态。
阿里云NoSQL的核心理念是创新开放，我们不断创新产品能力，拓展深度场景，创新产品形态，解决客户关键问题，我们希望更多的合作伙伴与我们携手共建生态，合作共赢，共同创造解决方案，使客户受益。
本文为阿里云原创内容，未经许可不得转载。