RabbitMQ是基于Erlang语言编写,而Erlang又是一个面向并发的语言,天然支持集群模式。RabbitMQ的集群有两种模式:
•普通集群:是一种分布式集群,将队列分散到集群的各个节点,从而提高整个集群的并发能力。
•镜像集群:是一种主从集群,普通集群的基础上,添加了主从备份功能,提高集群的数据可用性。
镜像集群虽然支持主从,但主从同步并不是强一致的,某些情况下可能有数据丢失的风险。因此在RabbitMQ的3.8版本以后,推出了新的功能:仲裁队列来代替镜像集群,底层采用Raft协议确保主从的数据一致性。
普通集群
集群结构和特征
普通集群,或者叫标准集群(classic cluster),具备下列特征:
- 会在集群的各个节点间共享部分数据,包括:交换机、队列元信息。不包含队列中的消息。
- 当访问集群某节点时,如果队列不在该节点,会从数据所在节点传递到当前节点并返回
- 队列所在节点宕机,队列中的消息就会丢失
结构如图:
部署
在RabbitMQ的官方文档中,讲述了两种集群的配置方式:
- 普通模式:普通模式集群不进行数据同步,每个MQ都有自己的队列、数据信息(其它元数据信息如交换机等会同步)。例如我们有2个MQ:mq1,和mq2,如果你的消息在mq1,而你连接到了mq2,那么mq2会去mq1拉取消息,然后返回给你。如果mq1宕机,消息就会丢失。
- 镜像模式:与普通模式不同,队列会在各个mq的镜像节点之间同步,因此你连接到任何一个镜像节点,均可获取到消息。而且如果一个节点宕机,并不会导致数据丢失。不过,这种方式增加了数据同步的带宽消耗。
我们先来看普通模式集群,我们的计划部署3节点的mq集群:
主机名 | 控制台端口 | amqp通信端口 |
---|---|---|
mq1 | 8081 ---> 15672 | 8071 ---> 5672 |
mq2 | 8082 ---> 15672 | 8072 ---> 5672 |
mq3 | 8083 ---> 15672 | 8073 ---> 5672 |
集群中的节点标示默认都是:rabbit@[hostname]
,因此以上三个节点的名称分别为:
- rabbit@mq1
- rabbit@mq2
- rabbit@mq3
获取cookie
RabbitMQ底层依赖于Erlang,而Erlang虚拟机就是一个面向分布式的语言,默认就支持集群模式。集群模式中的每个RabbitMQ 节点使用 cookie 来确定它们是否被允许相互通信。
要使两个节点能够通信,它们必须具有相同的共享秘密,称为Erlang cookie。cookie 只是一串最多 255 个字符的字母数字字符。
每个集群节点必须具有相同的 cookie。实例之间也需要它来相互通信。
我们先在之前启动的mq容器中获取一个cookie值,作为集群的cookie。执行下面的命令:
docker exec -it mq cat /var/lib/rabbitmq/.erlang.cookie
我这边是rmq,所以我执行的是:docker exec -it rmq cat /var/lib/rabbitmq/.erlang.cookie
可以看到cookie值如下:
BGOFAOGAFVYOHCUGTETD
接下来,停止并删除当前的mq容器,我们重新搭建集群。
docker rm -f rmq
然后再清理下数据卷
docker volume prune
准备集群配置
在/tmp目录新建一个配置文件 rabbitmq.conf:
cd /tmp
创建文件
touch rabbitmq.conf
文件内容如下:
loopback_users.guest = false
listeners.tcp.default = 5672
cluster_formation.peer_discovery_backend = rabbit_peer_discovery_classic_config
cluster_formation.classic_config.nodes.1 = rabbit@mq1
cluster_formation.classic_config.nodes.2 = rabbit@mq2
cluster_formation.classic_config.nodes.3 = rabbit@mq3
第一行:禁用guest用户,rabbitmq默认有个guset用户,防止不法分子访问
第二行:监听端口,通信用的是这个端口
cluster_formation.classic_config.nodes.这几个配置的是集群信息,主机名分别为mq1、mq2、mq3
再创建一个文件,记录cookie
cd /tmp
创建cookie文件
touch .erlang.cookie
写入cookie
echo "BGOFAOGAFVYOHCUGTETD" > .erlang.cookie
修改cookie文件的权限,改成只读权限,防止别人篡改操作,600代表当前用户具备读写权限,其他用户任何权限都没有
chmod 600 .erlang.cookie
至此我们已经准备了两个文件:
准备三个目录,mq1、mq2、mq3:分别代表三个节点
cd /tmp
创建目录
mkdir mq1 mq2 mq3
然后拷贝rabbitmq.conf、cookie文件到mq1、mq2、mq3:
进入/tmp
cd /tmp
拷贝
cp rabbitmq.conf mq1
cp rabbitmq.conf mq2
cp rabbitmq.conf mq3
cp .erlang.cookie mq1
cp .erlang.cookie mq2
cp .erlang.cookie mq3
启动集群
创建一个网络:为了让三个mq互联
docker network create mq-net
创建容器:
mq1创建命令:
docker run -d --net mq-net
-v ${PWD}/mq1/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie
-e RABBITMQ_DEFAULT_USER=quccw
-e RABBITMQ_DEFAULT_PASS=123321
--name mq1
--hostname mq1
-p 8071:5672
-p 8081:15672
rabbitmq:3.8-management
mq2创建命令:
docker run -d --net mq-net
-v ${PWD}/mq2/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie
-e RABBITMQ_DEFAULT_USER=quccw
-e RABBITMQ_DEFAULT_PASS=123321
--name mq2
--hostname mq2
-p 8072:5672
-p 8082:15672
rabbitmq:3.8-management
mq3创建命令:
docker run -d --net mq-net
-v ${PWD}/mq3/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie
-e RABBITMQ_DEFAULT_USER=quccw
-e RABBITMQ_DEFAULT_PASS=123321
--name mq3
--hostname mq3
-p 8073:5672
-p 8083:15672
rabbitmq:3.8-management
值得注意的是,我们一定要指定虚拟机里面的rabbitmq版本是不是3.8,低于3.8版本的会报错。
可能遇到的报错是:
sed: cannot rename /etc/rabbitmq/sedJUdJ72: Device or resource busy
查看日志:
docker logs -f mq1
docker logs -f mq2
docker logs -f mq3
查看三台mq的日志
可以看到集群的效果:
mq1新建队列,发消息,可以看到mq2、mq3都会有消息
停掉mq1后,mq2、mq3都看不到消息变成down状态了
然后再启动mq1,消息又都可以访问了。所以要想队列可用,必须保证声明队列的这个节点可用。这就是普通集群的操作。