高可用分布式非关系型数据库-Cassandra

1 理论基础

1.1 简介

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。Facebook于2008将Cassandra开源，此后，由于Cassandra良好的可扩展性和性能，被Apple Comcast Instagram Spotify eBay Rackspace Netflix等知名网站所采用，成为了一种流行的分布式结构化数据存储方案。

在数据库排行榜“DB-Engines Ranking”中，Cassandra排在第七位，是非关系型数据库中排名第二高的（仅次于MongoDB）。

- 可弹性扩展性,允许根据需求增加节点满足更多的客户端请求

- 业务高可用性，架构具有容灾设计避免单点故障造成业务中断

- 线性规模性能，吞吐量随着节点数量的增加而呈线性增长

- 灵活数据存储，可满足所有数据格式，包括结构化，半结构化和非结构化且可动态调整数据结构

- 轻松数据分发，通过在多个数据中心复制数据，提供灵活的分布数据

1.2 系统架构

1.2.1 架构目标

- 分担多个节点之间的大数据负载

- 避免单点故障

1.2.2 架构特点

- 群集中的角色都相同，每个节点相互独立但同时与其他节点互连

- 群集中的每个节点都可以接受读取和写入请求，而无需理会数据在群集中的实际位置

- 当单点故障发生时，客户端可以从群集中的其他非故障节点中提取或写入数据

1.3.3 数据复制

- Cassandra群集使用Gossip协议在节点间相互通讯和检测群集中的故障节点

- 群集中一或多个节点充当数据供给，如有过期节点Cassandra将最新数据返回给客户端并修复过期节点

1.3.4 关键部件介绍

- Node,指构成群集的成员服务器

- Data Center，群集中相关可用节点的集合

- Cluster，群集包含一个或多个数据中心

- Commit Lot，写入操作之前的记录日志，群集依赖日志做崩溃恢复。

- MemTable，驻留在内存中的数据结构，Commit Log后数据将写入到MemTable

- SSTable,当达到设定阈值，数据将从MemTable批量刷新到磁盘中存为SSTable

- Bloom filter,

-- 二进制向量数据结构，它具有很好的空间和时间效率，

-- 被用来检测一个元素是不是集合中的一个成员。

-- 如果检测结果为是，该元素不一定在集合中；

-- 但如果检测结果为否，该元素一定不在集合中。

1.3.5 数据写入流程

- 先记录日志(CommitLog)后写入数据

- 数据先写入到Column Family对应的Memtable中

- Memtable达到一定量时再批量刷新磁盘中存为SSTable

注：相当于缓存写回机制，它将随机IO转成顺序IO（降低存储压力）

1.4 数据模型

1.4.1 Colume

列是Cassandra中最小的数据单元,由以下元素组成：

- Name,唯一名称,用于引用列

- Value,列的内容,可以是不同的类型，如AsciiType，LongType，TimeUUIDType，UTF8Type等。

- TimeStamp,时间戳记,用于确定有效内容的系统时间戳

范例如下：

Name

Value

TimeStamp

"age"

"18"

1270694041669000

"height"

"172cm"

注：一行为一个Colume

1.4.2 Super Column

超级列相当于Column的数组或集合,由Super Column name和一个或多个的Column构成。

Super Column Name

Columns

StudentA

"20"

1.4.3 Column Family

列族是一个NoSQL的对象（相当于关系型数据库的表），它包含描述对象属性的相关Column或Super Column。

列族分类:

- 普通列族，以列来描述族的属性

- 超级列族，以超级列来描述族的属性

Column Family Key

1.4.4 KeySpace

键空间是Cassandra中数据的最外层容器，其基本属性有，

- Replication factor,集群中将接收相同数据副本的计算技术

- Replica placement strategy,定义环中的复制策略

-- simple strategy，简单策略

-- old network topology strategy，旧网络拓扑策略

-- network topology strategy，网络拓扑策略

- Column families,列族（包含一个或多个列族）

1.4.5 总数据模型图

2 实践部分

2.1 环境信息

HostName = cassandra0[1-2].cmdschool.org

ipAddress = 10.168.0.5[1-2]

OS = CentOS 7.3 x86_64

2.2 JDK安装

2.2.1 下载JDK包

In cassandra0[1-2]:

<code>wget http:</code><code>//download</code><code>.oracle.com</code><code>/otn/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64</code><code>.</code><code>tar</code><code>.gz?AuthParam=1495873209_eea482e2b59774918c970cf5dc383fdb</code>

注：如需其他版本请参阅，http://www.oracle.com/technetwork/java/javase/archive-139210.html

2.2.2 创建java目录

<code>mkdir</code> <code>/usr/java</code>

2.2.3 解压

<code>tar</code> <code>xf jdk-8u121-linux-x64.</code><code>tar</code><code>.gz</code>

2.2.4 配置环境变量

<code>vim </code><code>/etc/profile</code><code>.d</code><code>/java</code><code>.sh</code>

加入如下内容：

<code>export</code> <code>JAVA_HOME=</code><code>/usr/java/jdk1</code><code>.8.0_121</code>

<code>export</code> <code>JRE_HOME=${JAVA_HOME}</code><code>/jre</code>

<code>export</code> <code>CLASSPATH=.:${JAVA_HOME}</code><code>/lib</code><code>:${JRE_HOME}</code><code>/lib</code>

<code>export</code> <code>PATH=${JAVA_HOME}</code><code>/bin</code><code>:$PATH</code>

2.2.5 配置生效

<code>source</code> <code>/etc/profile</code>

2.2.6 环境变量测试

<code>java -version</code>

2.3 安装Cassandra

2.3.1 先决条件检查

1）JAVA检查

java -version

显示如下：

<code>java version </code><code>"1.8.0_121"</code>

<code>Java(TM) SE Runtime Environment (build 1.8.0_121-b13)</code>

<code>Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)</code>

2）python检查：

<code>python --version</code>

<code>Python 2.7.5</code>

2.3.2 下载安装包

<code>wget https:</code><code>//mirrors</code><code>.tuna.tsinghua.edu.cn</code><code>/apache/cassandra/3</code><code>.10</code><code>/apache-cassandra-3</code><code>.10-bin.</code><code>tar</code><code>.gz</code>

2.3.3 解压安装包

<code>tar</code> <code>-xf apache-cassandra-3.10-bin.</code><code>tar</code><code>.gz</code>

2.3.4 部署到程序目录

<code>mkdir</code> <code>/usr/cassandra</code>

<code>mv</code> <code>apache-cassandra-3.10 </code><code>/usr/cassandra/</code>

2.3.5 配置运行用户

<code>useradd</code> <code>-s </code><code>/sbin/nologin</code> <code>-b </code><code>/var/lib</code> <code>cassandra</code>

<code>chown</code> <code>-R cassandra:cassandra </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code>

<code>chmod</code> <code>-R 770 </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code>

确认用户数据目录存在：

<code>ls</code> <code>-ld </code><code>/var/lib/cassandra/</code>

<code>drwx------. 6 cassandra cassandra 136 Jun 1 09:42 </code><code>/var/lib/cassandra/</code>

2.3.6 配置环境变量

1）环境变量配置

<code>vim </code><code>/etc/profile</code><code>.d</code><code>/cassandra</code><code>.sh</code>

加入如下配置：

<code>export</code> <code>CASSANDRA_HOME=</code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code>

<code>export</code> <code>CASSANDRA_PATH=${CASSANDRA_HOME}</code><code>/bin</code>

<code>export</code> <code>PATH=${CASSANDRA_PATH}:$PATH</code>

2）使环境变量生效

3）测试环境变量

<code>cassandra -</code><code>v</code>

2.3.7 配置Cassandra的环境变量

<code>cp</code> <code>-a </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/bin/cassandra</code><code>.</code><code>in</code><code>.sh </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/bin/cassandra</code><code>.</code><code>in</code><code>.sh.default</code>

<code>vim </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/bin/cassandra</code><code>.</code><code>in</code><code>.sh</code>

启用并修改如下配置：

<code># JAVA_HOME can optionally be set here</code>

注：提示“Cassandra 3.0 and later require Java 8u40 or later.”时需要配置

2.4 配置Cassandra群集

2.4.1 环境变量配置

<code>cp</code> <code>-a </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/conf/cassandra</code><code>.yaml </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/conf/cassandra</code><code>.yaml.default</code>

<code>vim </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/conf/cassandra</code><code>.yaml</code>

修改如下配置：

In cassandra01:

<code>cluster_name: </code><code>'Cassandra Cluster'</code>

<code>seed_provider:</code>

<code>- seeds: </code><code>"10.168.0.51,10.168.0.52"</code>

<code>listen_address: 10.168.0.51</code>

<code>rpc_address: 10.168.0.51</code>

<code>start_rpc: </code><code>true</code>

<code>data_file_directories:</code>

<code> </code><code>- </code><code>/var/lib/cassandra/data</code>

<code>commitlog_directory: </code><code>/var/lib/cassandra/commitlog</code>

<code>saved_caches_directory: </code><code>/var/lib/cassandra/saved_caches</code>

In cassandra02:

<code>listen_address: 10.168.0.52</code>

<code>rpc_address: 10.168.0.52</code>

注：seeds的配置允许只写其他节点的IP，不写本机IP。

2.4.2 配置cassandra-env环境脚本

<code>cp</code> <code>-a </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/conf/cassandra-env</code><code>.sh </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/conf/cassandra-env</code><code>.sh.default</code>

<code>vim </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/conf/cassandra-env</code><code>.sh</code>

修改配置如下：

<code>HEAP_NEWSIZE=</code><code>"256M"</code>

2.5 防火墙配置

<code>firewall-cmd --permanent --add-port 7000</code><code>/tcp</code>

<code>firewall-cmd --permanent --add-port 9042</code><code>/tcp</code>

<code>firewall-cmd --reload</code>

<code>firewall-cmd --list-all</code>

2.6 服务的控制

2.6.1 测试服务启动

<code>sudo</code> <code>-u cassandra </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/bin/cassandra</code> <code>-f</code>

看到如下信息则服务正常启动：

<code>INFO [Thread-2] 2017-06-01 10:51:47,640 ThriftServer.java:133 - Listening </code><code>for</code> <code>thrift clients...</code>

注：按下[Ctrl+C]可结束进程

2.6.2 确认服务正常启动

<code>pgrep -u cassandra -f cassandra</code>

显示PID如下：

2.6.3 检查群集的状态

<code>nodetool status</code>

信息显示如下：

<code>Datacenter: datacenter1</code>

<code>Status=Up</code><code>/Down</code>

<code>|/ State=Normal</code><code>/Leaving/Joining/Moving</code>

<code>-- Address Load Tokens Owns (effective) Host ID Rack</code>

<code>UN 10.168.0.51 213.63 KiB 256 100.0% 6faefd3b-e2cf-4477-a1c1-922d4f10b7a5 rack1</code>

2.6.4 测试连接

<code>cqlsh -ucassandra -pcassandra 10.168.0.51</code>

<code>cqlsh -ucassandra -pcassandra 10.168.0.52</code>

2.6.5 结束进程

<code>pkill -f cassandra</code>

2.6.6 配置服务控制脚本

<code>vim </code><code>/etc/init</code><code>.d</code><code>/cassandrad</code>

输入如下内容：

<code># chkconfig: 2345 55 25</code>

<code>user=</code><code>"cassandra"</code>

<code>status() {</code>

<code> </code><code>if</code> <code>[ ! `pgrep -u $user -f cassandra | </code><code>wc</code> <code>-l` -</code><code>eq</code> <code>0 ]; </code><code>then</code>

<code> </code><code>echo</code> <code>"statusChecking for service cassandra running"</code>

<code> </code><code>echo</code> <code>"statusChecking for service cassandra not running"</code>

<code>start() {</code>

<code> </code><code>if</code> <code>[ `pgrep -u $user -f cassandra | </code><code>wc</code> <code>-l` -</code><code>eq</code> <code>0 ]; </code><code>then</code>

<code> </code><code>sudo</code> <code>-u $user </code><code>/usr/cassandra/apache-cassandra-3</code><code>.10</code><code>/bin/cassandra</code> <code>> </code><code>/dev/null</code>

<code> </code><code>sleep</code> <code>1s</code>

<code> </code><code>if</code> <code>[ ! `pgrep -u $user -f cassandra | </code><code>wc</code> <code>-l` -</code><code>eq</code> <code>0 ]; </code><code>then</code>

<code> </code><code>echo</code> <code>"start service cassandra finish"</code>

<code> </code><code>break</code> <code>& </code><code>exit</code> <code>0</code>

<code> </code><code>echo</code> <code>"start service cassandra failed"</code>

<code> </code><code>pgrep -u $user -f cassandra | </code><code>xargs</code> <code>kill</code> <code>-9</code>

<code> </code><code>if</code> <code>[ `pgrep -u $user -f cassandra | </code><code>wc</code> <code>-l` -</code><code>eq</code> <code>0 ]; </code><code>then</code>

<code> </code><code>echo</code> <code>"stop service cassandra finish"</code>

<code> </code><code>echo</code> <code>"stop service cassandra failed"</code>

<code> </code><code>start)</code>

<code> </code><code>start</code>

<code> </code><code>restart)</code>

<code> </code><code>status)</code>

<code> </code><code>status</code>

<code> </code><code>echo</code> <code>"Usage: $0 {start|stop|restart|status}"</code>

2.6.7 配服务自动启动和启动服务

<code>chkconfig cassandrad on</code>

<code>/etc/init</code><code>.d</code><code>/cassandrad</code> <code>start</code>

=====================================

本文转自 tanzhenchao 51CTO博客，原文链接：http://blog.51cto.com/cmdschool/1930284，如需转载请自行联系原作者

高可用分布式非关系型数据库-Cassandra

继续阅读

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的简单使用

neo4j之cypher使用文档

GitHub连夜封杀！这份阿里 10W 字内部 Java 字面试手册到底有多强？

spark/scala关于【资源文件】加载方法概述外部文件加载方案测试资源文件打包入jar包中小结

NOSQL安全攻击

mybatis_入门程序Mybatis入门

AOP编程_Android优雅权限框架(1)概念基础，2021金三银四前言正文大纲正文

登录plsql 报错 the account is locked --用户被锁

Effective Java 8:通用程序设计

SequoiaDB巨杉数据库C++驱动概述

OOM三种类型

工厂模式-三种类型

【递归】高效率求2的n次幂

win10本地scala和spark安装安装scala安装spark

scala (3) Function 和 Method