這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)RocketMQ中怎么平滑升級到主從切換,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
公司主營業(yè)務(wù):成都做網(wǎng)站、網(wǎng)站建設(shè)、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳,提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化,感謝他們對我們的高要求,感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn),讓我們激情的團(tuán)隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出江都免費做網(wǎng)站回饋大家。
其主要的配置參數(shù)如下所示:
enableDLegerCommitLog 是否啟用 DLedger,即是否啟用 RocketMQ 主從切換,默認(rèn)值為 false。如果需要開啟主從切換,則該值需要設(shè)置為 true 。
dLegerGroup 節(jié)點所屬的 raft 組,建議與 brokerName 保持一致,例如 broker-a。
dLegerPeers 集群節(jié)點信息,示例配置如下:n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913,多個節(jié)點用英文冒號隔開,單個條目遵循 legerSlefId-ip:端口,這里的端口用作 dledger 內(nèi)部通信。
dLegerSelfId 當(dāng)前節(jié)點id。取自 legerPeers 中條目的開頭,即上述示例中的 n0,并且特別需要強調(diào),只能第一個字符為英文,其他字符需要配置成數(shù)字。
storePathRootDir DLedger 日志文件的存儲根目錄,為了能夠支持平滑升級,該值與 storePathCommitLog 設(shè)置為不同的目錄。
首先先搭建一個傳統(tǒng)意義上的主從同步架構(gòu),往集群中灌一定量的數(shù)據(jù),然后升級到 DLedger 集群。
在 Linux 服務(wù)器上搭建一個 rocketmq 主從同步集群我想不是一件很難的事情,故本文就不會詳細(xì)介紹按照過程,只貼出相關(guān)配置。
實驗環(huán)境的部署結(jié)構(gòu)采取 一主一次,其部署圖如下:
下面我就重點貼一下 broker 的配置文件。 220 上的 broker 配置文件如下:
brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH brokerIP1=192.168.0.220 brokerIP2=192.168.0.220 namesrvAddr=192.168.0.221:9876;192.168.0.220:9876 storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog autoCreateTopicEnable=false autoCreateSubscriptionGroup=false
221 上 broker 的配置文件如下:
brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 1 deleteWhen = 04 fileReservedTime = 48 brokerRole = SLAVE flushDiskType = ASYNC_FLUSH brokerIP1=192.168.0.221 brokerIP2=192.168.0.221 namesrvAddr=192.168.0.221:9876;192.168.0.220:9876 storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog autoCreateTopicEnable=false autoCreateSubscriptionGroup=false
相關(guān)的啟動命令如下:
nohup bin/mqnamesrv /dev/null 2>&1 & nohup bin/mqbroker -c conf/broker.conf /dev/null 2>&1 &
安裝后的集群信息如圖所示:
DLedger 集群至少需要3臺機器,故搭建 DLedger 還需要再引入一臺機器,其部署結(jié)構(gòu)圖如下:
從主從同步集群升級到 DLedger 集群,用戶最關(guān)心的還是升級后的集群是否能夠兼容原先的數(shù)據(jù),即原先存儲在消息能否能被消息消費者消費端,甚至于能否查詢到。 為了方便后續(xù)驗證,首先我使用下述程序向 mq 集群中添加了一篇方便查詢的消息(設(shè)置消息的key)。
public class Producer { public static void main(String[] args) throws MQClientException, InterruptedException { DefaultMQProducer producer = new DefaultMQProducer("producer_dw_test"); producer.setNamesrvAddr("192.168.0.220:9876;192.168.0.221:9876"); producer.start(); for(int i =600000; i < 600100; i ++) { try { Message msg = new Message("topic_dw_test_by_order_01",null , "m" + i,("Hello RocketMQ" + i ).getBytes(RemotingHelper.DEFAULT_CHARSET)); SendResult sendResult = producer.send(msg); //System.out.printf("%s%n", sendResult); } catch (Exception e) { e.printStackTrace(); Thread.sleep(1000); } } producer.shutdown(); System.out.println("end"); } }
消息的查詢結(jié)果示例如下:
Step1:將 192.168.0.220 的 rocketmq 拷貝到 192.168.0.222,可以使用如下命令進(jìn)行操作。在 192.168.0.220 上敲如下命令:
scp -r rocketmq-all-4.5.2-bin-release/ root@192.168.0.222:/opt/application/rocketmq-all-4.5.2-bin-release
> 溫馨提示:示例中由于版本是一樣,實際過程中,版本需要升級,故需先下載最新的版本,然后將老集群中的 store 目錄完整的拷貝到新集群的 store 目錄。
Step2:依次在三臺服務(wù)器的 broker.conf 配置文件中添加與 dledger 相關(guān)的配置屬性。
192.168.0.220 broker配置文件如下:
brokerClusterName = DefaultCluster brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH brokerIP1=192.168.0.220 brokerIP2=192.168.0.220 namesrvAddr=192.168.0.221:9876;192.168.0.220:9876 storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog autoCreateTopicEnable=false autoCreateSubscriptionGroup=false # 與 dledger 相關(guān)的屬性 enableDLegerCommitLog=true storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store/dledger_store dLegerGroup=broker-a dLegerPeers=n0-192.168.0.220:40911;n1-192.168.0.221:40911;n2-192.168.0.222:40911 dLegerSelfId=n0
192.168.0.221 broker配置文件如下:
brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 1 deleteWhen = 04 fileReservedTime = 48 brokerRole = SLAVE flushDiskType = ASYNC_FLUSH brokerIP1=192.168.0.221 brokerIP2=192.168.0.221 namesrvAddr=192.168.0.221:9876;192.168.0.220:9876 storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog autoCreateTopicEnable=false autoCreateSubscriptionGroup=false # 與dledger 相關(guān)的配置屬性 enableDLegerCommitLog=true storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store/dledger_store dLegerGroup=broker-a dLegerPeers=n0-192.168.0.220:40911;n1-192.168.0.221:40911;n2-192.168.0.222:40911 dLegerSelfId=n1
192.168.0.222 broker配置文件如下:
brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH brokerIP1=192.168.0.222 brokerIP2=192.168.0.222 namesrvAddr=192.168.0.221:9876;192.168.0.220:9876 storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog autoCreateTopicEnable=false autoCreateSubscriptionGroup=false # 與 dledger 相關(guān)的配置 enableDLegerCommitLog=true storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store/dledger_store dLegerGroup=broker-a dLegerPeers=n0-192.168.0.220:40911;n1-192.168.0.221:40911;n2-192.168.0.222:40911 dLegerSelfId=n2
> 溫馨提示:legerSelfId 分別為 n0、n1、n2。在真實的生產(chǎn)環(huán)境中,broker配置文件中的 storePathRootDir、storePathCommitLog 盡量使用單獨的根目錄,這樣判斷其磁盤使用率時才不會相互影響。
Step3:將 store/config 下的 所有文件拷貝到 dledger store 的 congfig 目錄下。
cd /opt/application/rocketmq-all-4.5.2-bin-release/store/ cp config/* dledger_store/config/
> 溫馨提示:該步驟按照各自按照時配置的目錄進(jìn)行復(fù)制即可。
Step4:依次啟動三臺 broker。
nohup bin/mqbroker -c conf/broker.conf /dev/null 2>&1 &
如果啟動成功,則在 rocketmq-console 中看到的集群信息如下:
首先我們先驗證升級之前的消息是否能查詢到,那我們還是查找key 為 m600000 的消息,查找結(jié)果如圖所示:
然后我們來測試一下消息發(fā)送。測試代碼如下:
public class Producer { public static void main(String[] args) throws MQClientException, InterruptedException { DefaultMQProducer producer = new DefaultMQProducer("producer_dw_test"); producer.setNamesrvAddr("192.168.0.220:9876;192.168.0.221:9876"); producer.start(); for(int i =600200; i < 600300; i ++) { try { Message msg = new Message("topic_dw_test_by_order_01",null , "m" + i,("Hello RocketMQ" + i ).getBytes(RemotingHelper.DEFAULT_CHARSET)); SendResult sendResult = producer.send(msg); System.out.printf("%s%n", sendResult); } catch (Exception e) { e.printStackTrace(); Thread.sleep(1000); } } producer.shutdown(); System.out.println("end"); } }
執(zhí)行結(jié)果如下:
再去控制臺查詢一下消息,其結(jié)果也表明新的消息也能查詢到。
最后我們再來驗證一下主節(jié)點宕機,消息發(fā)送是否會受影響。
在消息發(fā)送的過程中,去關(guān)閉主節(jié)點,其截圖如下:
再來看一下集群的狀態(tài):
上述就是小編為大家分享的RocketMQ中怎么平滑升級到主從切換了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
本文名稱:RocketMQ中怎么平滑升級到主從切換
網(wǎng)站URL:http://sd-ha.com/article0/jgipoo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站導(dǎo)航、企業(yè)建站、品牌網(wǎng)站建設(shè)、動態(tài)網(wǎng)站、App開發(fā)、建站公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)