天天看点

RabbitMQ的元数据重建

对于RabbitMQ运维层面来说,扩容和迁移是必不可少。扩容比较简单,一般往集群中加入新的机器节点即可,不过新的机器节点中是没有消息的,如果想要新加入的节点能快速的存储消息还是需要做点小手术的。不过这是后话,本文的主要内容是迁移,而迁移的首要工作就是为新的集群重建原集群的元数据。

重建RabbitMQ元数据,说白了就是在新的集群上重新创建exchange、queue以及彼此的binding关系。当然最好连policy,vhost,users等都能重建。

本文介绍三种重建元数据的方法:

程序化重建,即编写程序制成可执行jar包。

使用WEB UI进行重建

使用http API重建

程序化重建之前首先要准备原集群的元数据,包括exchange、queue、bindingkey、exchange类型。

示例元数据如下(保存成文本文件metadata.txt):

注:彼此之间用空格隔开,最后一个exchange类型可以缺省,缺省值为direct。

我们的程序首先会读取这个元数据文本,然后保存在内存之中,方便之后创建。这里与这个元数据对应的类为BindingObject。详细代码如下:

之后建立主程序——RmqMetadataRebuild.java。最后打包成jar包,我们取名为rebuild.jar

在真正创建的时候调用:

其中有两个参数是必须的,即connection和filename。username、password、vhost可以根据实际情况修改代码来实现其缺省值。

RmqMetadataRebuild.java完整代码如下:

其中的IpPortKV是用来解析connection时做一下缓存过渡的。参考代码如下:

最后将项目打成可执行jar包即可。注意这里还用到了slf4j-log4j,可以删除相关的代码,也可以导入相关的jar包即可运行。

上面的代码中并没有重建users、policy、vhost等元数据,如果需要重建这些信息需要丰富一样整个代码。或者直接选用下面的方式。

这个相对于上面的重建方式而言显得非常的简单方便。前提是开启了rabbitmq_management插件(rabbtimq-plugins enable rabbitmq_management),并且有可以WEB UI的管理员用户,具备可配置、可读、可写的权限。

在WEB UI的Overview页面下方可以找到:

RabbitMQ的元数据重建

只需要在原集群的WEB UI中下载(左边“Download broker definitions”)元数据配置文件,然后再导入到新集群的WEB UI中即可(上图右边“Upload broker defintions”)。

元数据配置文件是一个json文件,可以参考下面的内容:

由上可知,配置文件中包含rabbit_version,users, vhosts, permissions, parameters, policies, queues, exchanges,bindings等内容,概括了RabbitMQ所涉及的所有元数据配置。

如果备份集群中已有元数据与导入的元数据冲突,则导入的元数据会覆盖;如果没有冲突,则会保留。 这种重建元数据的方法简单、方便、高效,但是有个问题值得注意,那就是不同的RabbitMQ版本之间的元数据配置可能会不兼容,如果无法解决,那就只能采用第一种程序化的重建方式。如果原集群由于某种原因无法启动,那么此种方法也无法奏效,不过可以定时备份这些元数据(或者在元数据有变更时备份)来得到解决。

获取元数据配置json的命令:

然后通过Http Post的方式将rabbit_source.json文件上传到新的备份集群中:

对于Http API的重建方式,当然也可以使用HttpClient进行操作,而非上面的命令行的形式。