天天看点

阿里云上搭建 Redis 高可用集群

Redis 高可用集群

Redis Cluster

什么是Redis-Cluster:

为何要搭建Redis集群。Redis是在内存中保存数据的,而我们的电脑一般内存都不大,这也就意味着Redis不适合存储大数据,适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发,一台设备的存储能力是很有限的,但是多台设备协同合作,就可以让内存增大很多倍,这就需要用到集群。

Redis集群搭建的方式有多种,例如使用客户端分片、Twemproxy、Codis等,但从redis 3.0之后版本支持redis-cluster集群,它是Redis官方提出的解决方案,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下:

阿里云上搭建 Redis 高可用集群
客户端与 redis 节点直连,不需要中间 proxy 层.客户端不需要连接集群所有节点连接集群中任何一个可用节点即可。
           
所有的 redis 节点彼此互联(PING-PONG 机制),内部使用二进制协议优化传输速度和带宽.
           

分布存储机制-槽 :

这个在集群搭完会提到。

容错机制-投票

1.选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障,自动触发故障转移操作. 故障节点对应的从节点自动升级为主节点。

2.什么时候整个集群不可用(cluster_state:fail)?

如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. 
           
阿里云上搭建 Redis 高可用集群

就简绍到这里,接下来我们开始搭建redis集群:

搭建Redis-Cluster

搭建要求: 需要 6 台 redis 服务器,搭建伪集群(在一台服务器上来模拟redis集群)。

需要 6 个 redis 实例。

需要运行在不同的端口 7002-7007 ( 通过不同的端口号来区分)

准备工作

  1. 在阿里云上面安装 gcc: Redis 是 c 语言开发的。安装 redis 需要 c 语言的编译环境。如果没有 gcc 需要在线安装。

    1.安装gcc的指令

    yum install gcc-c++
               
    2.使用yum命令安装 ruby (我们需要使用ruby脚本来实现集群搭建)
    yum install ruby
    yum install rubygems
               
  2. 将redis源码包上传到 linux 系统 ,解压redis源码包

    编译redis源码 ,进入redis源码文件夹

3.看到以下输出结果,表示编译成功

阿里云上搭建 Redis 高可用集群

4.创建目录/usr/local/redis-cluster目录, 安装6个redis实例,分别安装在以下目录

以第一个redis实例为例,命令如下:

make install PREFIX=/usr/local/java/redis/redis-cluter/redis1
           

在这里要注意: 要先进入redis 那个文件夹再使用这个指令

阿里云上搭建 Redis 高可用集群

出现此提示表示成功,按此方法安装其余5个redis实例

安装完剩下redis实例的开始下一步

5.复制配置文件 将 /redis-3.0.0/redis.conf 复制到redis下的bin目录下

阿里云上搭建 Redis 高可用集群

配置集群

(1)修改每个redis节点的配置文件redis.conf  (分别是7002 - 7007)
           
阿里云上搭建 Redis 高可用集群
将cluster-enabled yes 前的注释去掉(我的是816行) 
           

我用的是小红本 可以加一个ftp组 这样修改起来也比较方便

阿里云上搭建 Redis 高可用集群

启动每个redis实例

以第一个实例为例,命令如下:

cd /usr/local/java/redis/redis-cluster/redis1/bin/ ./redis-server redis.conf
           

启动所有的redis实例

查看一下状态

指令:

ps -ef | grep redis
           

如果后面的括号里面没有显示cluster 则就说明该服务器没有启动集群模式

阿里云上搭建 Redis 高可用集群

如果没有启动的话,找到那个进程 使用指令

kill pid  
例如我刚才没有启动7006 那么就找到那个进程id 29712 先杀掉该进程,再启动就可以了。
           

下一步:由于redis集群需要使用ruby命令,所以我们安装ruby

yum install ruby
yum install rubygems
gem install redis --version3.0.0 (需要自己下载)  ( 安装redis和ruby的接口 )
           
阿里云上搭建 Redis 高可用集群

这样就代表安装成功了

使用 ruby 脚本搭建集群。

进入redis源码目录中的src目录 执行下面的命令

./redis-trib.rb create --replicas 1 IP:7003 IP:7004 IP:7005 IP:7006 IP:7007 IP:7008
           

最后如下图这样:

可以看到是3主3从的关系

阿里云上搭建 Redis 高可用集群

前面的m是代表Master , s代表Slave

spring boot小demo

依赖:

<dependencies>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
           

application.yml

spring:
  redis:
    cluster:
      nodes: IP:7003,IP:7004,IP:7005,IP:7006,IP:7007,IP:7008
      max-redirects: 6


代码:


@SpringBootTest
public class RedisTest {

	@Autowired
	private RedisTemplate redisTemplate;


	@Test
	public void test1(){
		System.out.println(redisTemplate.hasKey("name"));
	}

}
           

haskey是判断是否有这个键,在这里是用来判断集群是否配置成功。

输出结果为:

阿里云上搭建 Redis 高可用集群

搭建就这里已经成功了,有什么错误修正的地方请留言,谢谢。

阿里云上搭建 Redis 高可用集群

继续阅读