天天看点

分布式存储之Ceph集群介绍搭建

分布式存储之Ceph集群介绍搭建

作用:主要是将裸磁盘空间映射给主机使用,磁盘阵列(内含多块硬盘)做raid操作或者lvm操作,逻辑划分出n块logic盘并映射给主机使用,操作系统会识别到n块硬盘,但是无法感知到底是逻辑盘还是物理盘,所以还是会对其进行分区和格式化(无法共享数据)。每块逻辑盘实际上是由多块硬盘共同组成,在读写数据的时候,几块物理硬盘可以并行寻址和操作,大大提高了io效率。

优点:对块磁盘组成逻辑盘,读写效率增加

缺点:相当于自己主机的硬盘,无法进行数据共享

典型设备:<code>ftp、nfs服务器</code>

优点:客服了块存储文件无法共享的问题

缺点:读写、传输速率低

场景:日志、邮箱、目录结构文件存储

备注:常见的存储中 nfs、nas也是属于文件系统存储

对象存储:<code>也叫做基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作为对象。</code>

对象存储经常被比作在一家高级餐厅代客停车。当一个顾客需要代客停车时,他就把钥匙交给别人,换来一张收据。这个顾客不用知道他的车被停在哪,也不用知道在他用餐时服务员会把他的车移动多少次。在这个比喻中,一个存储对象的唯一标识符就代表顾客的收据。

优点:综合了块读写高速、文件共享特性

存储数据类型:指非结构化数据,如图片、音视频、文档等

应用场景:即一次写入多次读取。

分布式存储:是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

1、高可用性,副本数灵活控制,支持故障域分割,数据强一致性,没有单点故障

2、高可扩展性

3、特性丰富

简介:不管你是想为云平台提供ceph 对象存储和/或 ceph 块设备,还是想部署一个 ceph 文件系统或者把 ceph 作为他用,所有 ceph 存储集群的部署都始于部署一个个 ceph 节点、网络和 ceph 存储集群。 ceph 存储集群至少需要一个 ceph monitor 和两个 osd 守护进程。而运行 ceph 文件系统客户端时,则必须要有元数据服务器( metadata server )

1. crush算法:

ceph摒弃了传统的集中式存储元数据寻址的方案,转而使用crush算法完成数据的寻址操作。crush在一致性哈希基础上很好的考虑了容灾域的隔离,能够实现各类负载的副本放置规则

2.高可用:

ceph中的数据副本数量可以由管理员自行定义,并可以通过crush算法指定副本的物理存储位置以分隔故障域,支持数据强一致性; ceph可以忍受多种故障场景并自动尝试并行修复。

3 高扩展性:

ceph不同于swift,客户端所有的读写操作都要经过代理节点。一旦集群并发量增大时,代理节点很容易成为单点瓶颈。ceph本身并没有主控节点,扩展起来比较容易,并且理论上,它的性能会随着磁盘数量的增加而线性增长。

4 特性丰富

ceph支持三种调用接口:对象存储,块存储,文件系统挂载。三种方式可以一同使用。在国内一些公司的云环境中,通常会采用ceph作为openstack的唯一后端存储来提升数据转发效率。

ceph的基本组成结构如下图:

分布式存储之Ceph集群介绍搭建

ceph osds: ceph osd 守护进程( ceph osd )的功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他osd 守护进程的心跳来向 ceph monitors 提供一些监控信息。当 ceph 存储集群设定为有2个副本时,至少需要2个 osd 守护进程,集群才能达到 active+clean 状态( ceph 默认有3个副本,但你可以调整副本数)。

monitors: ceph monitor维护着展示集群状态的各种图表,包括监视器图、 osd 图、归置组( pg )图、和 crush 图。 ceph 保存着发生在monitors 、 osd 和 pg上的每一次状态变更的历史信息(称为 epoch )。

mdss: ceph 元数据服务器( mds )为 ceph 文件系统存储元数据(也就是说,ceph 块设备和 ceph 对象存储不使用mds )。元数据服务器使得 posix 文件系统的用户们,可以在不对 ceph 存储集群造成负担的前提下,执行诸如 ls、find 等基本命令。

官网指导部署

准备三台服务器

配置互信(各个节点)

配置ceph源

服务端:

客户端

首先启动主节点mon(ceph-admin节点)

若直接使用非xfs文件系统的硬盘,需要在配置文件中加以下配置:

ceph-node1执行

ceph-node2执行

rdb是存储池名字,64是pg数量,pg值计算参考https://ceph.com/pgcalc/

检查osd tree

docker exec mon ceph -s

分布式存储之Ceph集群介绍搭建

测试ceph集群在块存储下镜像的创建和文件的上传,如果成功才能说明ceph集群安装成功

分布式存储之Ceph集群介绍搭建

原文链接:http://dwz-9.cn/3p3i8

继续阅读