摘要：通過監(jiān)視資源的變化，并根據(jù)的信息生成記錄寫入到中。是唯一保留的容器，依然提供健康檢查。操作會獲取最新的全量資源與本地狀態(tài)進(jìn)行比較來產(chǎn)生通知，可以避免網(wǎng)絡(luò)原因?qū)е碌膩G失通知的情況。最后一個參數(shù)用來設(shè)置處理事件的回調(diào)。

上一期我們以1.2版本為背景，介紹了K8S的服務(wù)發(fā)現(xiàn)和kube-dns插件的相關(guān)內(nèi)容。有了上一期內(nèi)容作為基礎(chǔ)，這期了解最新版本的kube-dns就會容易很多。

本文主要對比1.2和1.4版本中kube-dns 的主要變化，以及最新版本中kube-dns的內(nèi)部實現(xiàn)。滿滿的干貨來了，你準(zhǔn)備好了嗎？

● kube-dns的主要變化

● kube-dns的實現(xiàn)原理

● kubedns容器詳解

● dnsmasq容器簡介

● exechealthz容器簡介

● 服務(wù)發(fā)現(xiàn)機(jī)制未變化

也就是說kube-dns對外的接口是基本沒變的。變化主要在于kube-dns插件的內(nèi)部組成，由原來的四個容器變?yōu)榱巳齻€。

現(xiàn)在回顧一下上一期所講的1.2版本kube-dns的組成。

Kube2sky通過K8S API監(jiān)視K8S Service資源的變化，并根據(jù)Service的信息生成DNS記錄寫入到etcd中。Skydns為集群中的Pod提供DNS查詢服務(wù)，DNS記錄從etcd中讀取。Exechealthz提供健康檢查功能。

接下來我們再看一下1.4版本kube-dns的組成。對比兩張圖，可以很直觀的看到kube-dns對外接口沒有發(fā)生變化。Exechealthz是唯一保留的容器，依然提供健康檢查。

不同點：

1.會檢查兩個容器的健康狀態(tài)。

2.為集群提供DNS查詢服務(wù)的容器由skydns變?yōu)榱薲nsmasq。

3.Kubedns容器替代了kube2sky來監(jiān)視Service資源。

4.Etcd容器不見了。

相信有些人會好奇DNS記錄現(xiàn)在保存在哪了呢？那為了回答這個問題以及了解新版kube-dns的工作原理，我們就進(jìn)入下一章內(nèi)容來了解其實現(xiàn)原理。

● kubedns容器的實現(xiàn)

本著“Talk is cheap, show me the code”原則，我們將會以源碼分析的方式介紹其原理。對另外兩個容器會進(jìn)行簡要介紹。

先來看一下源碼位置，這里列出的是kube-dns插件相關(guān)的源碼，不僅僅是kubedns容器的。之前的源碼是集中在cluster/addons/dns下面的，那么1.4版本中分成了三個目錄：

● 第一個目錄會有K8S DNS相關(guān)的README以及kubedns容器的Dockerfile。

● 第二個目錄存放kube-dns插件的編排文件。

● 第三個是kubedns源碼目錄，kubedns容器使用的命令行就是從這構(gòu)建出來的。

● kubedns容器的功能：

● 接入SkyDNS，為dnsmasq提供查詢服務(wù)

● 替換etcd容器，使用樹形結(jié)構(gòu)在內(nèi)存中保存DNS記錄

● 通過K8S API監(jiān)視Service資源變化并更新DNS記錄

● 服務(wù)10053端口

對功能有了大概了解之后，我們下面就結(jié)合源碼來看看各個功能是如何實現(xiàn)的。

● kubedns實現(xiàn)——SkyDNS接入

下面是kubedns啟動的部分代碼，這部分顯示的是kubedns在啟動的時候會初始化一個SkyDNS Server，初始化的時候傳入了一個KubeDNSServer.kd。

下面是KubeDNSServer.kd的初始化代碼，使用的是K8S提供的包。使用K8S提供的包可以初始化一個SkyDNS Server？相信很多人能夠想到，這個KubeDNSServer.kd應(yīng)該實現(xiàn)了一個接口。

SkyDNS Server在初始化的時候需要傳入一個Backend接口，其定義如下。SkyDNS基于Etcd實現(xiàn)了該接口，也會使用它初始化Server。得益于SkyDNS的良好設(shè)計，K8S只要實現(xiàn)該接口便可以接入SkyDNS來提供DNS查詢服務(wù)，并定制存儲功能。

skydns/server/server.go

skydns/server/backend.go

● kubedns實現(xiàn)——etcd替換

在服務(wù)發(fā)現(xiàn)的流程中，主要用到了Records這個方法，下面我們就來看看K8S是如何實現(xiàn)這個方法。

主要步驟是先將域名按“.”拆分，并將各部分顛倒順序生成一個path數(shù)組。調(diào)用getRecordsForPath方法獲取DNS記錄并返回。

kubernetes/pkg/dns/dns.go

getRecordsForPath會調(diào)用cache的相關(guān)方法。這個cache會被初始化為一個TreeCache結(jié)構(gòu)，定義如下：

kubernetes/pkg/dns/dns.go

kubernetes/pkg/dns/treecache.go

如下圖所示，TreeCache的結(jié)構(gòu)類似于目錄樹。從根節(jié)點到葉子節(jié)點的每個路徑與一個域名是相對應(yīng)的，順序是顛倒的。它的葉子節(jié)點只包含Entries，非葉子節(jié)點只包含ChildNodes。葉子節(jié)點中保存的就是SkyDNS定義的msg.Service結(jié)構(gòu)，可以理解為DNS記錄。

在Records接口方法實現(xiàn)中，只需根據(jù)域名查找到對應(yīng)的葉子節(jié)點，并返回葉子節(jié)點中保存的所有msg.Service數(shù)據(jù)。K8S就是通過這樣的一個數(shù)據(jù)結(jié)構(gòu)來保存DNS記錄的，并替換了Etcd。

● kubedns實現(xiàn)——監(jiān)視Service

最后我們來看一下監(jiān)視Service資源的相關(guān)代碼。如下圖所示，這里使用了k8s.io/kubernetes/pkg/client/cache包的NewInformer方法，這個方法在K8S源碼里會經(jīng)常看到。其參數(shù)為：

● 第一個參數(shù)需要傳入ListWatch結(jié)構(gòu)，它定義了List和Watch操作步驟。kd.kubeClient結(jié)構(gòu)可以用來訪問K8S API，從代碼中可以看出分別訪問了List和Watch API

● 第二個參數(shù)為監(jiān)視的資源類型，代碼中指定了Service資源

● 第三個參數(shù)為List操作的執(zhí)行間隔。Watch操作是通知機(jī)制，只要監(jiān)視的資源發(fā)送變化

就會調(diào)用對應(yīng)的回調(diào)函數(shù)。List操作會獲取最新的全量資源與本地狀態(tài)進(jìn)行比較來產(chǎn)生通知，可以避免網(wǎng)絡(luò)原因?qū)е碌腤atch丟失通知的情況。List操作代價較高，因此需要通過第三個參數(shù)來設(shè)置其執(zhí)行間隔。

● 最后一個參數(shù)用來設(shè)置處理事件的回調(diào)。

kubernetes/pkg/dns/dns.go

下面我們以新增Service事件的處理流程為例來簡單了解一下事件處理的代碼。

在創(chuàng)建一個K8S Service資源后，newService方法最終會調(diào)用newPortalService方法，其代碼如下。getSkyMsg函數(shù)會將Service的ClusterIP保存到msg.Service結(jié)構(gòu)中并返回，對應(yīng)recordValue。recordLabel可以理解為一個摘要值，與ClusterIP是一一對應(yīng)的，它將作為TreeCache葉子節(jié)點的key。

最后根據(jù)Service信息找到對應(yīng)的樹枝（如不存在會構(gòu)建），并設(shè)置葉子節(jié)點。這樣一個新建的Service對應(yīng)的DNS記錄就保存到kubedns中了。

kubernetes/pkg/dns/dns.go

Kubedns容器的主要原理已經(jīng)講解完了，下面我們簡要介紹一下其他兩個容器。

● dnsmasq簡介

● Dnsmasq是一款小巧的DNS配置工具

● 在kube-dns插件中的作用：

● 通過kubedns容器獲取DNS規(guī)則，在集群中提供DNS查詢服務(wù)

● 提供DNS緩存，提高查詢性能

● 降低kubedns容器的壓力、提高穩(wěn)定性

● Dockerfile在GitHub上Kubernetes組織的contrib倉庫中，位于dnsmasq目錄下。

● 在kube-dns插件的編排文件中可以看到，dnsmasq通過參數(shù)--server=127.0.0.1#10053指定upstream為kubedns。

● exechealthz簡介

● 在kube-dns插件中提供健康檢查功能

● 源碼同樣在contrib倉庫中，位于exec-healthz目錄下。

● 新版中會對兩個容器都進(jìn)行健康檢查，更加完善。

1.4版本kube-dns插件的三個容器的功能如下：

● kubedns容器

● 監(jiān)視k8s Service資源并更新DNS記錄

● 替換etcd，使用TreeCache數(shù)據(jù)結(jié)構(gòu)保存DNS記錄并實現(xiàn)SkyDNS的Backend接口

● 接入SkyDNS，對dnsmasq提供DNS查詢服務(wù)

● dnsmasq容器

● 對集群提供DNS查詢服務(wù)

● 設(shè)置kubedns為upstream

● 提供DNS緩存，降低kubedns負(fù)載，提高性能

● exechealthz容器

● 定期檢查kubedns和dnsmasq的健康狀態(tài)

● 為k8s活性檢測提供HTTP API

相比于1.2版本，個人認(rèn)為有了如下改進(jìn)：

● 無狀態(tài)服務(wù)。1.2版本中，需要將Etcd的數(shù)據(jù)Volume出來才能保證Etcd容器重啟之后數(shù)據(jù)不會丟失，服務(wù)可以快速恢復(fù)。新版本中作為無狀態(tài)服務(wù)出現(xiàn)，通過增加冗余來提高可靠性。即使kubedns容器重啟，dnsmasq緩存機(jī)制也可以保證服務(wù)的可用性。

● 優(yōu)化查詢效率。SkyDNS直接從內(nèi)存中獲取DNS記錄。

● 完善健康檢查。1.2版本中只對kube2sky設(shè)置了健康檢查。

除了改進(jìn)之外，還有一點不足，也是大家比較擔(dān)心的 「 內(nèi)存占用 」。目前在kube-dns編排文件中默認(rèn)設(shè)置了內(nèi)存限制為170M，在注釋中可以看出這一數(shù)字并未在大規(guī)模集群中驗證。不過相信不久的將來我們就能看到這一驗證結(jié)果。

Tips ：直播在哪里？噓，悄悄告訴你，點擊http://t.cn/RVRITb3 即可查看直播回放！

掃描上方二維碼。閱讀更多優(yōu)質(zhì)文章。