摘要：本文主要介紹如何用掛載目錄。如何創(chuàng)建參照上目錄下的范例，我們可以創(chuàng)建一個(gè)掛載存儲(chǔ)的容器。到這里，就可以確定容器已經(jīng)正常啟動(dòng)并掛載了一個(gè)的存儲(chǔ)塊。除非強(qiáng)制指定另塊被掛載后，寫入數(shù)據(jù)是可以很快同步的具體多久需要調(diào)查，而讀取數(shù)據(jù)只能在后同步。

本文主要介紹如何用kubernentes掛載rbd目錄。以及其中遇到的問(wèn)題。有關(guān)ceph和rbd相關(guān)請(qǐng)自行百度。

參照github上kubernetes/examples/rbd/ 目錄下的范例，我們可以創(chuàng)建一個(gè)掛載rbd存儲(chǔ)的容器。前提是：

當(dāng)前網(wǎng)絡(luò)中有一個(gè)ceph服務(wù)器

slaver節(jié)點(diǎn)上要安裝ceph client。

從ceph服務(wù)器上獲取client，monitor等關(guān)鍵信息。

具體步驟如下：

參照github上的案例，先創(chuàng)建一個(gè)secret
secret中存儲(chǔ)的是ceph client與server之間通信需要的keyring。我們可以在ceph server 機(jī)器上的/etc/ceph/目錄中找到許多keyring,這里選用 /etc/ceph/ceph.client.admin.keyring，其內(nèi)容一般是：
key: AQADW11WlqGlMBAAYnKIIExLAlde8rG1SGAYQQ==
復(fù)制并替換ceph-secret,yaml中的相應(yīng)字段（data字段下的‘key’）并保存。然后執(zhí)行
kubectl create -f ceph-secret.yaml
并檢查secret是否創(chuàng)建成功。

創(chuàng)建容器，掛載rbd volume
創(chuàng)建容器時(shí)，通過(guò)json文件我們可以很清楚的看到，我們引用了一個(gè)secret（secretRef）。直接執(zhí)行
kubectl create -f *.json
即可。

創(chuàng)建后我們通過(guò)kubectl get pods 就能看到容器是否創(chuàng)建，執(zhí)行kubectl exec -it {podname} /bin/bash 進(jìn)入容器，可以找到相應(yīng)的掛在目錄。到這里，就可以確定容器已經(jīng)正常啟動(dòng)并掛載了一個(gè)rbd的存儲(chǔ)塊。

我們注意到創(chuàng)建容器的json文件中指定了"readOnly" :false,這意味著我們?cè)谌萜骼锩婵梢噪S意的在掛載目錄中創(chuàng)建/刪除文件。

那么，多個(gè)節(jié)點(diǎn)，多個(gè)容器是否可以共享一個(gè)存儲(chǔ)呢？

假設(shè)第一步我們創(chuàng)建的容器ca是在節(jié)點(diǎn)a上運(yùn)行的，并且k8s集群中只有三臺(tái)slaver：a,b,c。

我們?cè)賱?chuàng)建一個(gè)實(shí)例數(shù)為5的replication controller，他也會(huì)掛載這個(gè)rbd塊，并且也是讀寫模式，創(chuàng)建后執(zhí)行kubectl get pods 和 kubectl describe pod {podname},那么因?yàn)楣?jié)點(diǎn)a上掛載了該rbd塊，k8s會(huì)youxian將新的rc中的容器逐一調(diào)度到其他機(jī)器上（b和c）。被調(diào)度到新機(jī)器上的容器，會(huì)在啟動(dòng)過(guò)程中提示：
FailedSync Error syncing pod, skipping: rbd: image testdevice is locked by other nodes
意思是這個(gè)rbd塊已經(jīng)被別的節(jié)點(diǎn)鎖定了（就是說(shuō)節(jié)點(diǎn)a已經(jīng)鎖定了該rbd塊，其他節(jié)點(diǎn)不能再掛載它）。而rc中剩余的pod，會(huì)直接無(wú)法調(diào)度，并提示：
pod (rbdrc-cokvq) failed to fit in any node
fit failure on node (10.126.72.31): NoDiskConflict
fit failure on node (10.126.72.32): NoDiskConflict
fit failure on node (10.126.72.33): NoDiskConflict
意思是k8s找不到‘還沒(méi)有分配這個(gè)rbd塊’的節(jié)點(diǎn)。

如果我們強(qiáng)制將該rc指定部署到之前的a節(jié)點(diǎn)上呢？通過(guò)"nodeName":{nodeIP}可以指定將rc中的pod優(yōu)先部署到指定的節(jié)點(diǎn)上，嘗試之后，發(fā)現(xiàn)容器可以正常運(yùn)行。

結(jié)論1：rbd掛載以節(jié)點(diǎn)為粒度，如果某節(jié)點(diǎn)上的某容器以讀寫模式掛載了rbd塊，那么該rbd塊就會(huì)被該節(jié)點(diǎn)鎖定。

如果我們新建的rc不是可讀寫的，而是只讀的呢？

rbdrc-nu32o 1/1 Running 0 5m
rbdrc-olv14 0/1 Pending 0 5m
rbdrc-qyw2u 0/1 Pending 0 5m
rbdrc-rxmdr 1/1 Running 0 5m
rbdrc-snd3x 0/1 Pending 0 5m

我們可以看到只有兩個(gè)pod正常運(yùn)行。我們用kubectl describe pod {podname}檢查這幾個(gè)pod，發(fā)現(xiàn)running狀態(tài)的兩個(gè)pod分別被調(diào)度到了b,c節(jié)點(diǎn)都處于NoDiskConflict狀態(tài)。

結(jié)論2：如果某節(jié)點(diǎn)上的某容器以讀寫模式掛載了rbd塊，那么其他節(jié)點(diǎn)依然可以對(duì)這個(gè)塊進(jìn)行只讀模式的掛載。

結(jié)論3：k8s會(huì)對(duì)掛載rbd的pod進(jìn)行唯一調(diào)度，就是說(shuō)若某個(gè)節(jié)點(diǎn)掛載了rbd塊A1，k8s會(huì)將后續(xù)掛載A1的pod調(diào)度到別的節(jié)點(diǎn)部署。（除非強(qiáng)制指定）

另：ceph rbd塊被掛載后，寫入數(shù)據(jù)是可以很快同步的（具體多久需要調(diào)查），而讀取數(shù)據(jù)只能在map后同步。這就是說(shuō)，如果同時(shí)又一個(gè)讀寫的容器a和一個(gè)只讀容器b在運(yùn)行,在容器a中新寫入的數(shù)據(jù)，只用把容器銷毀并重啟，才能同步并讀到新的數(shù)據(jù)。