MQ集群

发布时间 2023-06-29 02:03:55作者: xycccode

RabbitMQ是基于Erlang语言编写,而Erlang又是一个面向并发的语言,天然支持集群模式。RabbitMQ的集群有两种模式:

普通集群:是一种分布式集群,将队列分散到集群的各个节点,从而提高整个集群的并发能力。

镜像集群:是一种主从集群,普通集群的基础上,添加了主从备份功能,提高集群的数据可用性。

镜像集群虽然支持主从,但主从同步并不是强一致的,某些情况下可能有数据丢失的风险。因此在RabbitMQ的3.8版本以后,推出了新的功能:仲裁队列来代替镜像集群,底层采用Raft协议确保主从的数据一致性。

普通集群

集群结构和特征

普通集群,或者叫标准集群(classic cluster),具备下列特征:

  • 会在集群的各个节点间共享部分数据,包括:交换机、队列元信息。不包含队列中的消息。
  • 当访问集群某节点时,如果队列不在该节点,会从数据所在节点传递到当前节点并返回
  • 队列所在节点宕机,队列中的消息就会丢失

结构如图:

部署

在RabbitMQ的官方文档中,讲述了两种集群的配置方式:

  • 普通模式:普通模式集群不进行数据同步,每个MQ都有自己的队列、数据信息(其它元数据信息如交换机等会同步)。例如我们有2个MQ:mq1,和mq2,如果你的消息在mq1,而你连接到了mq2,那么mq2会去mq1拉取消息,然后返回给你。如果mq1宕机,消息就会丢失。
  • 镜像模式:与普通模式不同,队列会在各个mq的镜像节点之间同步,因此你连接到任何一个镜像节点,均可获取到消息。而且如果一个节点宕机,并不会导致数据丢失。不过,这种方式增加了数据同步的带宽消耗。

我们先来看普通模式集群,我们的计划部署3节点的mq集群:

主机名 控制台端口 amqp通信端口
mq1 8081 ---> 15672 8071 ---> 5672
mq2 8082 ---> 15672 8072 ---> 5672
mq3 8083 ---> 15672 8073 ---> 5672

集群中的节点标示默认都是:rabbit@[hostname],因此以上三个节点的名称分别为:

  • rabbit@mq1
  • rabbit@mq2
  • rabbit@mq3

获取cookie
RabbitMQ底层依赖于Erlang,而Erlang虚拟机就是一个面向分布式的语言,默认就支持集群模式。集群模式中的每个RabbitMQ 节点使用 cookie 来确定它们是否被允许相互通信。

要使两个节点能够通信,它们必须具有相同的共享秘密,称为Erlang cookie。cookie 只是一串最多 255 个字符的字母数字字符。

每个集群节点必须具有相同的 cookie。实例之间也需要它来相互通信。

我们先在之前启动的mq容器中获取一个cookie值,作为集群的cookie。执行下面的命令:
docker exec -it mq cat /var/lib/rabbitmq/.erlang.cookie

我这边是rmq,所以我执行的是:docker exec -it rmq cat /var/lib/rabbitmq/.erlang.cookie

可以看到cookie值如下:
BGOFAOGAFVYOHCUGTETD

接下来,停止并删除当前的mq容器,我们重新搭建集群。

docker rm -f rmq

然后再清理下数据卷

docker volume prune

准备集群配置

在/tmp目录新建一个配置文件 rabbitmq.conf:

cd /tmp

创建文件

touch rabbitmq.conf

文件内容如下:

loopback_users.guest = false
listeners.tcp.default = 5672
cluster_formation.peer_discovery_backend = rabbit_peer_discovery_classic_config
cluster_formation.classic_config.nodes.1 = rabbit@mq1
cluster_formation.classic_config.nodes.2 = rabbit@mq2
cluster_formation.classic_config.nodes.3 = rabbit@mq3

第一行:禁用guest用户,rabbitmq默认有个guset用户,防止不法分子访问
第二行:监听端口,通信用的是这个端口
cluster_formation.classic_config.nodes.这几个配置的是集群信息,主机名分别为mq1、mq2、mq3

再创建一个文件,记录cookie

cd /tmp

创建cookie文件

touch .erlang.cookie

写入cookie

echo "BGOFAOGAFVYOHCUGTETD" > .erlang.cookie

修改cookie文件的权限,改成只读权限,防止别人篡改操作,600代表当前用户具备读写权限,其他用户任何权限都没有

chmod 600 .erlang.cookie

至此我们已经准备了两个文件:

准备三个目录,mq1、mq2、mq3:分别代表三个节点

cd /tmp

创建目录

mkdir mq1 mq2 mq3

然后拷贝rabbitmq.conf、cookie文件到mq1、mq2、mq3:

进入/tmp

cd /tmp

拷贝

cp rabbitmq.conf mq1
cp rabbitmq.conf mq2
cp rabbitmq.conf mq3
cp .erlang.cookie mq1
cp .erlang.cookie mq2
cp .erlang.cookie mq3

启动集群

创建一个网络:为了让三个mq互联
docker network create mq-net

创建容器:

mq1创建命令:

docker run -d --net mq-net
-v ${PWD}/mq1/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie
-e RABBITMQ_DEFAULT_USER=quccw
-e RABBITMQ_DEFAULT_PASS=123321
--name mq1
--hostname mq1
-p 8071:5672
-p 8081:15672
rabbitmq:3.8-management

mq2创建命令:

docker run -d --net mq-net
-v ${PWD}/mq2/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie
-e RABBITMQ_DEFAULT_USER=quccw
-e RABBITMQ_DEFAULT_PASS=123321
--name mq2
--hostname mq2
-p 8072:5672
-p 8082:15672
rabbitmq:3.8-management

mq3创建命令:

docker run -d --net mq-net
-v ${PWD}/mq3/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie
-e RABBITMQ_DEFAULT_USER=quccw
-e RABBITMQ_DEFAULT_PASS=123321
--name mq3
--hostname mq3
-p 8073:5672
-p 8083:15672
rabbitmq:3.8-management

值得注意的是,我们一定要指定虚拟机里面的rabbitmq版本是不是3.8,低于3.8版本的会报错。
可能遇到的报错是:
sed: cannot rename /etc/rabbitmq/sedJUdJ72: Device or resource busy

查看日志:

docker logs -f mq1
docker logs -f mq2
docker logs -f mq3

查看三台mq的日志

可以看到集群的效果:

mq1新建队列,发消息,可以看到mq2、mq3都会有消息
停掉mq1后,mq2、mq3都看不到消息变成down状态了
然后再启动mq1,消息又都可以访问了。所以要想队列可用,必须保证声明队列的这个节点可用。这就是普通集群的操作。