摘要:后面聽(tīng)到的時(shí)候,是因?yàn)榭梢宰鳛榉植际芥i的一種實(shí)現(xiàn)。二為什么能干這么多從上面我們可以知道,可以用來(lái)做統(tǒng)一配置管理統(tǒng)一命名服務(wù)分布式鎖集群管理。
前言
只有光頭才能變強(qiáng)。文本已收錄至我的GitHub倉(cāng)庫(kù),歡迎Star:https://github.com/ZhongFuCheng3y/3y
上次寫(xiě)了一篇 什么是消息隊(duì)列?以后,本來(lái)想入門(mén)一下Kafka的(裝一下環(huán)境、看看Kafka一些概念啥的)。后來(lái)發(fā)現(xiàn)Kafka用到了ZooKeeper,而我又對(duì)ZooKeeper不了解,所以想先來(lái)學(xué)學(xué)什么是ZooKeeper,再去看看什么是Kafka。
ZooKeeper相信大家已經(jīng)聽(tīng)過(guò)這個(gè)詞了,不知道大家對(duì)他了解多少呢?我第一次聽(tīng)到ZooKeeper的時(shí)候是在學(xué)Eureka的時(shí)候(外行人都能看懂的SpringCloud,錯(cuò)過(guò)了血虧?。?,同樣ZooKeeper也可以作為注冊(cè)中心。
后面聽(tīng)到ZooKeeper的時(shí)候,是因?yàn)閆ooKeeper可以作為分布式鎖的一種實(shí)現(xiàn)。
直至在了解Kafka的時(shí)候,發(fā)現(xiàn)Kafka也需要依賴(lài)ZooKeeper。Kafka使用ZooKeeper管理自己的元數(shù)據(jù)配置。
這篇文章來(lái)寫(xiě)寫(xiě)我學(xué)習(xí)ZooKeeper的筆記,如果有錯(cuò)的地方希望大家可以在評(píng)論區(qū)指出。
一、什么是ZooKeeper從上面我們也可以發(fā)現(xiàn),好像哪都有ZooKeeper的身影,那什么是ZooKeeper呢?我們先去官網(wǎng)看看介紹:
官網(wǎng)還有另一段話(huà):
ZooKeeper: A Distributed Coordination Service for Distributed Applications
相比于官網(wǎng)的介紹,我其實(shí)更喜歡Wiki中對(duì)ZooKeeper的介紹:
(留下不懂英語(yǔ)的淚水)
我簡(jiǎn)單概括一下:
ZooKeeper主要服務(wù)于分布式系統(tǒng),可以用ZooKeeper來(lái)做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
使用分布式系統(tǒng)就無(wú)法避免對(duì)節(jié)點(diǎn)管理的問(wèn)題(需要實(shí)時(shí)感知節(jié)點(diǎn)的狀態(tài)、對(duì)節(jié)點(diǎn)進(jìn)行統(tǒng)一管理等等),而由于這些問(wèn)題處理起來(lái)可能相對(duì)麻煩和提高了系統(tǒng)的復(fù)雜性,ZooKeeper作為一個(gè)能夠通用解決這些問(wèn)題的中間件就應(yīng)運(yùn)而生了。
二、為什么ZooKeeper能干這么多?從上面我們可以知道,可以用ZooKeeper來(lái)做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
這里我們先不管統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理每個(gè)具體的含義(后面會(huì)講)
那為什么ZooKeeper可以干那么多事?來(lái)看看ZooKeeper究竟是何方神物,在Wiki中其實(shí)也有提到:
ZooKeeper nodes store their data in a hierarchical name space, much like a file system or a tree) data structure
ZooKeeper的數(shù)據(jù)結(jié)構(gòu),跟Unix文件系統(tǒng)非常類(lèi)似,可以看做是一顆樹(shù),每個(gè)節(jié)點(diǎn)叫做ZNode。每一個(gè)節(jié)點(diǎn)可以通過(guò)路徑來(lái)標(biāo)識(shí),結(jié)構(gòu)圖如下:
那ZooKeeper這顆"樹(shù)"有什么特點(diǎn)呢??ZooKeeper的節(jié)點(diǎn)我們稱(chēng)之為Znode,Znode分為兩種類(lèi)型:
短暫/臨時(shí)(Ephemeral):當(dāng)客戶(hù)端和服務(wù)端斷開(kāi)連接后,所創(chuàng)建的Znode(節(jié)點(diǎn))會(huì)自動(dòng)刪除
持久(Persistent):當(dāng)客戶(hù)端和服務(wù)端斷開(kāi)連接后,所創(chuàng)建的Znode(節(jié)點(diǎn))不會(huì)刪除
ZooKeeper和Redis一樣,也是C/S結(jié)構(gòu)(分成客戶(hù)端和服務(wù)端)2.1 監(jiān)聽(tīng)器
在上面我們已經(jīng)簡(jiǎn)單知道了ZooKeeper的數(shù)據(jù)結(jié)構(gòu)了,ZooKeeper還配合了監(jiān)聽(tīng)器才能夠做那么多事的。
常見(jiàn)的監(jiān)聽(tīng)場(chǎng)景有以下兩項(xiàng):
監(jiān)聽(tīng)Znode節(jié)點(diǎn)的數(shù)據(jù)變化
監(jiān)聽(tīng)子節(jié)點(diǎn)的增減變化
沒(méi)錯(cuò),通過(guò)監(jiān)聽(tīng)+Znode節(jié)點(diǎn)(持久/短暫[臨時(shí)]),ZooKeeper就可以玩出這么多花樣了。
三、ZooKeeper是怎么做到的?下面我們來(lái)看看用ZooKeeper怎么來(lái)做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
3.1 統(tǒng)一配置管理比如我們現(xiàn)在有三個(gè)系統(tǒng)A、B、C,他們有三份配置,分別是ASystem.yml、BSystem.yml、CSystem.yml,然后,這三份配置又非常類(lèi)似,很多的配置項(xiàng)幾乎都一樣。
此時(shí),如果我們要改變其中一份配置項(xiàng)的信息,很可能其他兩份都要改。并且,改變了配置項(xiàng)的信息很可能就要重啟系統(tǒng)
于是,我們希望把ASystem.yml、BSystem.yml、CSystem.yml相同的配置項(xiàng)抽取出來(lái)成一份公用的配置common.yml,并且即便common.yml改了,也不需要系統(tǒng)A、B、C重啟。
做法:我們可以將common.yml這份配置放在ZooKeeper的Znode節(jié)點(diǎn)中,系統(tǒng)A、B、C監(jiān)聽(tīng)著這個(gè)Znode節(jié)點(diǎn)有無(wú)變更,如果變更了,及時(shí)響應(yīng)。
參考資料:
基于zookeeper實(shí)現(xiàn)統(tǒng)一配置管理
https://blog.csdn.net/u011320740/article/details/78742625
3.2 統(tǒng)一命名服務(wù)統(tǒng)一命名服務(wù)的理解其實(shí)跟域名一樣,是我們?yōu)檫@某一部分的資源給它取一個(gè)名字,別人通過(guò)這個(gè)名字就可以拿到對(duì)應(yīng)的資源。
比如說(shuō),現(xiàn)在我有一個(gè)域名www.java3y.com,但我這個(gè)域名下有多臺(tái)機(jī)器:
192.168.1.1
192.168.1.2
192.168.1.3
192.168.1.4
別人訪問(wèn)www.java3y.com即可訪問(wèn)到我的機(jī)器,而不是通過(guò)IP去訪問(wèn)。
3.3 分布式鎖鎖的概念在這我就不說(shuō)了,如果對(duì)鎖概念還不太了解的同學(xué),可參考下面的文章
Java鎖?分布式鎖?樂(lè)觀鎖?行鎖?
我們可以使用ZooKeeper來(lái)實(shí)現(xiàn)分布式鎖,那是怎么做的呢??下面來(lái)看看:
系統(tǒng)A、B、C都去訪問(wèn)/locks節(jié)點(diǎn)
訪問(wèn)的時(shí)候會(huì)創(chuàng)建帶順序號(hào)的臨時(shí)/短暫(EPHEMERAL_SEQUENTIAL)節(jié)點(diǎn),比如,系統(tǒng)A創(chuàng)建了id_000000節(jié)點(diǎn),系統(tǒng)B創(chuàng)建了id_000002節(jié)點(diǎn),系統(tǒng)C創(chuàng)建了id_000001節(jié)點(diǎn)。
接著,拿到/locks節(jié)點(diǎn)下的所有子節(jié)點(diǎn)(id_000000,id_000001,id_000002),判斷自己創(chuàng)建的是不是最小的那個(gè)節(jié)點(diǎn)
如果是,則拿到鎖。
釋放鎖:執(zhí)行完操作后,把創(chuàng)建的節(jié)點(diǎn)給刪掉
如果不是,則監(jiān)聽(tīng)比自己要小1的節(jié)點(diǎn)變化
舉個(gè)例子:
系統(tǒng)A拿到/locks節(jié)點(diǎn)下的所有子節(jié)點(diǎn),經(jīng)過(guò)比較,發(fā)現(xiàn)自己(id_000000),是所有子節(jié)點(diǎn)最小的。所以得到鎖
系統(tǒng)B拿到/locks節(jié)點(diǎn)下的所有子節(jié)點(diǎn),經(jīng)過(guò)比較,發(fā)現(xiàn)自己(id_000002),不是所有子節(jié)點(diǎn)最小的。所以監(jiān)聽(tīng)比自己小1的節(jié)點(diǎn)id_000001的狀態(tài)
系統(tǒng)C拿到/locks節(jié)點(diǎn)下的所有子節(jié)點(diǎn),經(jīng)過(guò)比較,發(fā)現(xiàn)自己(id_000001),不是所有子節(jié)點(diǎn)最小的。所以監(jiān)聽(tīng)比自己小1的節(jié)點(diǎn)id_000000的狀態(tài)
…...
等到系統(tǒng)A執(zhí)行完操作以后,將自己創(chuàng)建的節(jié)點(diǎn)刪除(id_000000)。通過(guò)監(jiān)聽(tīng),系統(tǒng)C發(fā)現(xiàn)id_000000節(jié)點(diǎn)已經(jīng)刪除了,發(fā)現(xiàn)自己已經(jīng)是最小的節(jié)點(diǎn)了,于是順利拿到鎖
….系統(tǒng)B如上
3.4集群狀態(tài)經(jīng)過(guò)上面幾個(gè)例子,我相信大家也很容易想到ZooKeeper是怎么"感知"節(jié)點(diǎn)的動(dòng)態(tài)新增或者刪除的了。
還是以我們?nèi)齻€(gè)系統(tǒng)A、B、C為例,在ZooKeeper中創(chuàng)建臨時(shí)節(jié)點(diǎn)即可:
只要系統(tǒng)A掛了,那/groupMember/A這個(gè)節(jié)點(diǎn)就會(huì)刪除,通過(guò)監(jiān)聽(tīng)groupMember下的子節(jié)點(diǎn),系統(tǒng)B和C就能夠感知到系統(tǒng)A已經(jīng)掛了。(新增也是同理)
除了能夠感知節(jié)點(diǎn)的上下線變化,ZooKeeper還可以實(shí)現(xiàn)動(dòng)態(tài)選舉Master的功能。(如果集群是主從架構(gòu)模式下)
原理也很簡(jiǎn)單,如果想要實(shí)現(xiàn)動(dòng)態(tài)選舉Master的功能,Znode節(jié)點(diǎn)的類(lèi)型是帶順序號(hào)的臨時(shí)節(jié)點(diǎn)(EPHEMERAL_SEQUENTIAL)就好了。
Zookeeper會(huì)每次選舉最小編號(hào)的作為Master,如果Master掛了,自然對(duì)應(yīng)的Znode節(jié)點(diǎn)就會(huì)刪除。然后讓新的最小編號(hào)作為Master,這樣就可以實(shí)現(xiàn)動(dòng)態(tài)選舉的功能了。
最后這篇文章主要講解了ZooKeeper的入門(mén)相關(guān)的知識(shí),ZooKeeper通過(guò)Znode的節(jié)點(diǎn)類(lèi)型+監(jiān)聽(tīng)機(jī)制就實(shí)現(xiàn)那么多好用的功能了!
當(dāng)然了,ZooKeeper要考慮的事沒(méi)那么簡(jiǎn)單的,后面有機(jī)會(huì)深入的話(huà),我還會(huì)繼續(xù)分享,希望這篇文章對(duì)大家有所幫助~
參考資料:
分布式服務(wù)框架 Zookeeper
https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html
ZooKeeper初識(shí)整理(老酒裝新瓶)
https://lxkaka.wang/2017/12/21/zookeeper/
ZooKeeper
https://www.cnblogs.com/sunshine-long/p/9057191.html
ZooKeeper 的應(yīng)用場(chǎng)景
https://zhuanlan.zhihu.com/p/59669985
樂(lè)于輸出干貨的Java技術(shù)公眾號(hào):Java3y。公眾號(hào)內(nèi)有200多篇原創(chuàng)技術(shù)文章、海量視頻資源、精美腦圖,不妨來(lái)關(guān)注一下!
覺(jué)得我的文章寫(xiě)得不錯(cuò),不妨點(diǎn)一下贊!
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://www.ezyhdfw.cn/yun/74092.html
摘要:所以,雅虎的開(kāi)發(fā)人員就試圖開(kāi)發(fā)一個(gè)通用的無(wú)單點(diǎn)問(wèn)題的分布式協(xié)調(diào)框架,以便讓開(kāi)發(fā)人員將精力集中在處理業(yè)務(wù)邏輯上。在立項(xiàng)初期,考慮到之前內(nèi)部很多項(xiàng)目都是使用動(dòng)物的名字來(lái)命名的例如著名的項(xiàng)目雅虎的工程師希望給這個(gè)項(xiàng)目也取一個(gè)動(dòng)物的名字。 前言 提到ZooKeeper,相信大家都不會(huì)陌生。Dubbo,Kafka,Hadoop等等項(xiàng)目里都能看到它的影子。但是你真的了解 ZooKeeper 嗎?如...
摘要:專(zhuān)題答案面試題領(lǐng)取見(jiàn)個(gè)人主頁(yè)請(qǐng)解釋一下什么是請(qǐng)列舉的一些特性。請(qǐng)列舉和之間的不同點(diǎn)請(qǐng)解釋如何處理請(qǐng)求。在中,如何使用未定義的服務(wù)器名稱(chēng)來(lái)阻止處理請(qǐng)求使用反向代理服務(wù)器的優(yōu)點(diǎn)是什么請(qǐng)列舉服務(wù)器的最佳用途。 Nginx專(zhuān)題showImg(https://segmentfault.com/img/remote/1460000019834930?w=600&h=258); (答案+面試題領(lǐng)取見(jiàn)...
摘要:專(zhuān)題答案面試題領(lǐng)取見(jiàn)個(gè)人主頁(yè)請(qǐng)解釋一下什么是請(qǐng)列舉的一些特性。請(qǐng)列舉和之間的不同點(diǎn)請(qǐng)解釋如何處理請(qǐng)求。在中,如何使用未定義的服務(wù)器名稱(chēng)來(lái)阻止處理請(qǐng)求使用反向代理服務(wù)器的優(yōu)點(diǎn)是什么請(qǐng)列舉服務(wù)器的最佳用途。 Nginx專(zhuān)題showImg(https://segmentfault.com/img/remote/1460000019834930?w=600&h=258); (答案+面試題領(lǐng)取見(jiàn)...
摘要:作為整個(gè)集群的主節(jié)點(diǎn),負(fù)責(zé)響應(yīng)所有對(duì)狀態(tài)變更的請(qǐng)求。選舉是最重要的技術(shù)之一,也是保障分布式數(shù)據(jù)一致性的關(guān)鍵所在。這是由于半數(shù)以上投票通過(guò)決定的。另外需要注意的是,和構(gòu)成集群的法定人數(shù),也就是說(shuō),只有他們才參與新的選舉響應(yīng)的提議。 showImg(https://segmentfault.com/img/remote/1460000016733126); 前言 提到ZooKeeper,相...
閱讀 2324·2019-08-30 15:54
閱讀 2046·2019-08-30 13:49
閱讀 728·2019-08-29 18:44
閱讀 881·2019-08-29 18:39
閱讀 1168·2019-08-29 15:40
閱讀 1589·2019-08-29 12:56
閱讀 3215·2019-08-26 11:39
閱讀 3160·2019-08-26 11:37