RocketMQ集原理及双主双从集搭建
RocketMQ的三种⾃带集模式为:
(1)双MASTER : 优点是配置简单、快捷,但是⼀旦MASTER机器宕机或出现问题就⽆法提供服务;董勇前妻
(2)双MASTER双SLAVE同步双写: ⽐异步复制的性能差10%,但能保证数据不丢失;
(3)双MASTER双SLAVE 异步复制:性能最好,但是遇到突发情况会有少量数据丢失。
上图为双主双从集原理图,其中Name Server是⼀个⼏乎⽆状态节点,可集部署,节点之间⽆任何信息同步。
Broker分为Master与Slave,⼀个Master可以对应多个Slave,但是⼀个Slave只能对应⼀个Master,Master与Slave的对应关系通过指定相同的Broker Name,不同的Broker Id来定义,BrokerId为0表⽰Master,⾮0表⽰Slave。双主双从集中有两个Master,每个Master对应⼀个Slave。
每个Broker与Name Server集中的所有节点建⽴长连接,定时(每隔30s)注册Topic信息到所有Name Server。Name Server定时(每隔10s)扫描所有存活Broker的连接,如果Name Server超过2分钟没有收到⼼跳,则Name Server断开与Broker的链接。
Producer与Name Server集中的其中⼀个节点(随机选择)建⽴长连接,定期从Name Server取Topic路由信息,并向提供Topic服务的Master建⽴长连接,且定时向Master发送⼼跳。Producer完全⽆状态,可集部署。
Producer每隔30s(由ClientConfig的pollNameServerInterval)从Name server获取所有topic队列的最新情况,这意味着如果Broker 不可⽤,Producer最多30s能够感知,在此期间内发往Broker的所有消息都会失败。韩安冉离婚原因
Producer每隔30s(由ClientConfig中heartbeatBrokerInterval决定)向所有关联的Broker发送⼼跳,Broker每隔10s中扫描所有存活的连接,如果Broker在2分钟内没有收到⼼跳数据,则关闭与Producer的连接。
Consumer与Name Server集中的其中⼀个节点(随机选择)建⽴长连接,定期从Name Server取Topic路由信息,并向提供Topic服务的Master、Slave建⽴长连接,且定时向Master、Slave发送⼼跳。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。Consumer每隔30s从Name server获取topic的最新队列情况,这意味着Broker不可⽤时,Consumer最多最需要30s才能感知。
Consumer每隔30s(由ClientConfig中heartbeatBrokerInterval决定)向所有关联的Broker发送⼼跳,Broker每隔10s扫描所有存活的连接,若某个连接2分钟内没有发送⼼跳数据,则关闭连接,并向该Consumer Group的所有Consumer发出通知,Group内的Consumer重新分配队列,然后继续消费。
网速慢怎么解决当Consumer得到Master宕机通知后,转向Slave消费,Slave不能保证Master的消息100%都同步过来了,因此会有少量的消息丢失。但是⼀旦Master恢复,未同步过去的消息会被最终消费掉。
以其中⼀组Master/Slave为例,配置信息如下所⽰:
/mnt/rocketmq/conf/2m-2s-sync/broker-a.properties
Master节点配置如下:
brokerClusterName=evcgCluster
brokerIP1=192.168.1.10
brokerIP2=192.168.1.11
brokerName=broker-a
brokerId=0
namesrvAddr=192.168.1.10:9876;192.168.1.20:9876 defaultTopicQueueNums=4
autoCreateTopicEnbale=true autoCreateSubscriptionGroup=true
listenPort=10912
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824 mapedFileSizeConsumeQueue=300000 storePathRootDir=/mnt/rocketmq/store storePathCommitLog=/mnt/rocketmq/store/commitlog storePathConsumeQueue=/mnt/rocketmq/store/consumequeue storePathIndex=/mnt/rocketmq/store/
index storeCheckpoint=/mnt/rocketmq/store/checkpoint
abortFile=/mnt/rocketmq/store/abort
maxMessageSize=65536
brokerRote=SYNC_MASTER
flushDiskType=SYNC_FLUSH
北京旅游攻略必去景点Slave节点配置如下:
今年元旦放几天假brokerClusterName=evcgCluster
brokerIP1=192.168.1.11
brokerName=broker-a
brokerId=1
namesrvAddr=192.168.1.10:9876;192.168.1.20:9876 defaultTopicQueueNums=4
autoCreateTopicEnbale=true autoCreateSubscriptionGroup=true
listenPort=10912
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824 mapedFileSizeConsumeQueue=300000 storePathRootDir=/mnt/rocketmq/store storePathCommitLog=/mnt/rocketmq/store/commitlog storePathConsumeQueue=/mnt/rocketmq/store/consumequeue storePathIndex=/mnt/rocketmq/store/index storeCheckpoint=/mnt/rocketmq/store/checkpoint
abortFile=/mnt/rocketmq/store/abort
maxMessageSize=65536小鸡嘴女星
brokerRote=SLAVE
flushDiskType=SYNC_FLUSH
发布评论