摘要：日志級(jí)別通過啟動(dòng)并設(shè)置為開機(jī)自啟動(dòng)之后可以通過來檢查服務(wù)器運(yùn)行狀態(tài)安裝服務(wù)編輯服務(wù)文件環(huán)境變量文件中定義了啟動(dòng)參數(shù)。

不知道有沒有人和我一樣，在手動(dòng)安裝時(shí)因?yàn)楹芏嘣驔]有成功（主要還是知識(shí)儲(chǔ)備不夠），被各種高可用配置和各種證書權(quán)限弄得迷迷糊糊。這個(gè)筆記是我在嘗試了很多種手動(dòng)安裝Kubernetes集群教程中的方法失敗后產(chǎn)生的想法，希望能夠?qū)?fù)雜的配置化繁為簡(jiǎn)，呈現(xiàn)出一個(gè)基本功能的Kubernetes程序，記錄下如何以最簡(jiǎn)的方式配置各個(gè)組件，使其能夠?qū)崿F(xiàn)基本的功能。然后再逐步添加多節(jié)點(diǎn)、安全認(rèn)證、高可用等復(fù)雜配置，通過這個(gè)過程來理解Kubernetes各種基礎(chǔ)組件之間的關(guān)系已經(jīng)配置方法。

計(jì)劃的第一步就是完成一個(gè)非安全的單 master 單 node 集群，api-server 和 kubelet 等組件都通過systemd來管理，master 上不安裝kubelet 只做管理端使用。首先我嘗試用比較新的 1.10.X 版k8s 安裝，但是安裝過程中沒有辦法用非證書認(rèn)證方式指定 api-server 的地址，似乎官方在有意逐步取消對(duì)非安全方式的支持。最后還是選擇了比較舊的k8s 1.6.0 來完成安裝。

《Kubernetes權(quán)威指南》

Ubuntu 16.04.4 LTS

kubernetes v1.6.0

etcd v3.0.14

docker-ce 18.06.1-ce

從 github 的 Kubernetes 項(xiàng)目頁面 上找到我們需要的 V1.6.0版本，然后點(diǎn)擊 CHANGELOG，在 Older releases 下面點(diǎn)擊 CHANGELOG-1.6.md ，找到 v1.6.0 版本的 Server Binaries 中對(duì)應(yīng)的架構(gòu)的包（kubernetes-server-linux-amd64.tar.gz）下載并上傳到服務(wù)器(國內(nèi)上網(wǎng)環(huán)境可能無法正常下載)

k8s 1.6.0 對(duì)應(yīng)的 etcd 版本為 v3.0.14，同樣可以從 github 上 etcd 項(xiàng)目對(duì)應(yīng)版本的頁面找到并下載到服務(wù)器

wget https://github.com/etcd-io/etcd/releases/download/v3.0.14/etcd-v3.0.14-linux-amd64.tar.gz

關(guān)閉 swap并在 /etc/fstab 文件中取消掉自動(dòng)掛載

sudo swapoff -a

如果系統(tǒng)上安裝了SELinux，需要將其關(guān)閉。另外還需要在防火墻上放開下面步驟中所有需要使用的端口，或者關(guān)閉防火墻管理軟件，我這里選擇將ubuntu16.04默認(rèn)的ufw關(guān)閉

sudo ufw disable

tar xf etcd-v3.0.14-linux-amd64.tar.gz
#把解壓后的 etcd 和 etcdctl 復(fù)制到 /usr/bin 目錄下
sudo cp etcd-v3.0.14-linux-amd64/etcd{,ctl} /usr/bin/

然后設(shè)置 systemd 服務(wù)文件 /lib/systemd/system/etcd.service

[Unit]
Description=Etcd Server
After=network.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/bin/etcd

[Install]
WantedBy=multi-user.target

這里 WorkingDirectory 指定的目錄需要提前創(chuàng)建好，這個(gè)目錄將作為etcd數(shù)據(jù)保存的目錄。

EnvironmentFile 可以指定 etcd 的配置文件。在我這里因?yàn)橹皇菧y(cè)試安裝，所以 etcd 使用默認(rèn)配置就可以了。

通過 systemd 啟動(dòng) etcd 并設(shè)置為開機(jī)自啟動(dòng)

sudo systemctl daemon-reload
sudo systemctl start etcd
sudo systemctl enable etcd
# 完成后可以檢查一下服務(wù)是否正常運(yùn)行
systemctl status etcd
# 也可以使用 etcdctl 來檢查 etcd 健康狀況
etcdctl cluster-health
# 正常的輸出為：
# member 8e9e05c52164694d is healthy: got healthy result from http://localhost:2379
# cluster is healthy

tar xf kubernetes-server-linux-amd64.tar.gz
# 將 kube-apiserver、kube-controller-manager 和 kube-scheduler 的二進(jìn)制文件復(fù)制到 /usr/bin 目錄下
sudo cp kubernetes/server/bin/kube-{apiserver,controller-manager,scheduler} /usr/bin/

編輯 systemd 服務(wù)文件 /lib/systemd/system/kube-apiserver.service

[Unit]
Description=Kubernetes API Server
After=etcd.service
Wants=etcd.service

[Service]
EnvironmentFile=/etc/kubernetes/apiserver
ExecStart=/usr/bin/kube-apiserver $KUBE_API_ARGS
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

環(huán)境變量文件 /etc/kubernetes/apiserver 中定義了 kube-apiserver 啟動(dòng)參數(shù) KUBE_API_ARGS。我們創(chuàng)建這個(gè)文件并填入如下內(nèi)容

KUBE_API_ARGS="--storage-backend=etcd3 --etcd-servers=http://127.0.0.1:2379 
--insecure-bind-address=0.0.0.0 --insecure-port=8080 
--service-cluster-ip-range=169.169.0.0/16 --service-node-port-range=1-65535 
--admission_control=NamespaceLifecycle,LimitRanger,ServiceAccount, 
DefaultStorageClass,ResourceQuota 
--logtostderr=false --log-dir=/var/log/kubernetes --v=2"

參數(shù)說明：  
--storage-backend ：指定 etcd 版本。
--etcd-servers ：指定 etcd 服務(wù)器地址和端口。  
--insecure-bind-address ：指定 api-server 非安全方式綁定的地址。0.0.0.0 表示所有地址。  
--insecure-port ：指定 api-server 非安全方式啟用的端口號(hào)。  
--service-cluster-ip-range ：指定集群 Cluster IP 網(wǎng)段，如果后續(xù)需要使用網(wǎng)絡(luò)插件這里需要按照網(wǎng)絡(luò)插件要求的網(wǎng)段配置。  
--service-node-port-range ：指定集群中 Service 可以映射物理機(jī)端口號(hào)范圍  
--admission_control ：Kubernetes 集群的準(zhǔn)入控制設(shè)置，各控制模塊以插件形式依次生效。  
--logtostderr ：指定為 false 時(shí)將錯(cuò)誤日志寫入日志文件而非 標(biāo)準(zhǔn)輸出。  
--log-dir ：日志保存路徑。  
--v ：日志級(jí)別

通過 systemd 啟動(dòng) kube-apiserver 并設(shè)置為開機(jī)自啟動(dòng)

sudo systemctl daemon-reload
sudo systemctl start kube-apiserver
sudo systemctl enable kube-apiserver
# 之后可以通過 status 來檢查服務(wù)器運(yùn)行狀態(tài)
systemctl status kube-apiserver

編輯 systemd 服務(wù)文件 /lib/systemd/system/kube-controller-manager.service

[Unit]
Description=Kubernetes Controller Manager
After=kube-apiserver.service
Requires=kube-apiserver.service

[Service]
EnvironmentFile=/etc/kubernetes/controller-manager
ExecStart=/usr/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

環(huán)境變量文件 /etc/kubernetes/controller-manager 中定義了 kube-controller-manager 啟動(dòng)參數(shù) KUBE_CONTROLLER_MANAGER_ARGS。我們創(chuàng)建這個(gè)文件并填入如下內(nèi)容

KUBE_CONTROLLER_MANAGER_ARGS="--master=http://192.168.112.148:8080 
--logtostderr=false 
--log-dir=/var/log/kubernetes 
--v=2"

參數(shù)說明：
--master ：指定 API-server 的URL地址

編輯 systemd 服務(wù)文件 /lib/systemd/system/kube-scheduler.service

[Unit]
Description=Kubernetes Scheduler Server
After=kube-apiserver.service
Requires=kube-apiserver.service

[Service]
EnvironmentFile=/etc/kubernetes/scheduler
ExecStart=/usr/bin/kube-scheduler $KUBE_SCHEDULER_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

環(huán)境變量文件 /etc/kubernetes/scheduler 中定義了 kube-scheduler 啟動(dòng)參數(shù) KUBE_SCHEDULER_ARGS。我們創(chuàng)建這個(gè)文件并填入如下內(nèi)容

KUBE_SCHEDULER_ARGS="--master=http://192.168.112.148:8080 
--logtostderr=false 
--log-dir=/var/log/kubernetes 
--v=2"

安裝完 kube-controller-manager 和 kube-scheduler 之后將其啟動(dòng)并設(shè)置為開機(jī)自啟動(dòng)

sudo systemctl daemon-reload
sudo systemctl start kube-controller-manager kube-scheduler
sudo systemctl enable kube-controller-manager kube-scheduler
# 同樣，啟動(dòng)之后可以通過 systemctl status XXXX 來檢查服務(wù)的狀態(tài)
systemctl status kube-controller-manager
systemctl status kube-scheduler.service

master 上的安裝已經(jīng)完成，下一步就要開始安裝 node 節(jié)點(diǎn)上需要的服務(wù)了。

node 節(jié)點(diǎn)上需要安裝的服務(wù)有 docker 、kubelet 和 kube-proxy。

安裝 docker 的方式很多，在這里我使用添加阿里云的源并使用 apt-get 安裝：

# step 1: 安裝必要的一些系統(tǒng)工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安裝GPG證書
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 寫入軟件源信息
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新并安裝 Docker-CE
sudo apt-get -y update
sudo apt-get -y install docker-ce

按裝好后 docker 就是啟動(dòng)狀態(tài)并且設(shè)置了開機(jī)自啟。

tar xf kubernetes-server-linux-amd64.tar.gz
# 將 kubelet 和 kube-proxy 的二進(jìn)制文件復(fù)制到 /usr/bin 目錄下
sudo cp kubernetes/server/bin/kube{let,-proxy} /usr/bin/

編輯 systemd 服務(wù)文件 /lib/systemd/system/kubelet.service

[Unit]
Description=Kubernetes Kubelet Server
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
EnvironmentFile=/etc/kubernetes/kubelet
ExecStart=/usr/bin/kubelet $KUBELET_ARGS
Restart=on-failure

[Install]
WantedBy=mulit-user.target

WorkingDirectory 指定的路徑是 kubelet 的數(shù)據(jù)目錄，需要在服務(wù)運(yùn)行前創(chuàng)建提前創(chuàng)建。

環(huán)境變量文件 /etc/kubernetes/kubelet 中定義了 kubelet 啟動(dòng)參數(shù) KUBELET_ARGS。我們創(chuàng)建這個(gè)文件并填入如下內(nèi)容

KUBELET_ARGS="--api-servers=http://192.168.112.148:8080 
--hostname-override=u16-2 
--logtostderr=false 
--log-dir=/var/log/kubernetes 
--v=2"

參數(shù)說明：
--api-servers ：指定 apiserver 的URL地址。
--hostname-override ：指定注冊(cè)到 apiserver 時(shí)本節(jié)點(diǎn)的名稱。

通過 systemd 啟動(dòng) kubelet 并設(shè)置為開機(jī)自啟動(dòng)

sudo systemctl daemon-reload
sudo systemctl start kubelet
sudo systemctl enable kubelet
# 之后可以通過 status 來檢查服務(wù)器運(yùn)行狀態(tài)
systemctl status kubelet

編輯 systemd 服務(wù)文件 /lib/systemd/system/kube-proxy.service

[Unit]
Description=Kubernetes Kube-Proxy Server
After=networking.service
Requires=networking.service

[Service]
EnvironmentFile=/etc/kubernetes/proxy
ExecStart=/usr/bin/kube-proxy $KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

環(huán)境變量文件 /etc/kubernetes/proxy 中定義了 kube-proxy 啟動(dòng)參數(shù) KUBE_PROXY_ARGS。我們創(chuàng)建這個(gè)文件并填入如下內(nèi)容

KUBE_PROXY_ARGS="--master=http://192.168.112.148:8080 
--logtostderr=false 
--log-dir=/var/log/kubernetes 
--v=2"

通過 systemd 啟動(dòng) kubu-proxy 并設(shè)置為開機(jī)自啟動(dòng)

sudo systemctl daemon-reload
sudo systemctl start kube-proxy
sudo systemctl enable kube-proxy
# 之后可以通過 status 來檢查服務(wù)器運(yùn)行狀態(tài)
systemctl status kube-proxy

node 節(jié)點(diǎn)設(shè)置完成后， 如果 master 節(jié)點(diǎn)上有 kubernetes 的命令行管理軟件 kubectl ，就可以使用kubectl 查看到新增加的節(jié)點(diǎn)。kubectl 的二進(jìn)制文件可以從 kubernetes-server-linux-amd64.tar.gz 中找到。

sudo cp kubernetes/server/bin/kubectl /usr/bin/
sudo chmod +x /usr/bin/kubectl
kubectl get node
# 輸出為
# NAME      STATUS     AGE       VERSION
# u16-2     NotReady   17m       v1.6.0

這時(shí)可以看到新增加的節(jié)點(diǎn) u16-2 的狀態(tài)為 NotReady，通過命令來查看 node 狀態(tài)

kubectl describe node u16-2

這時(shí)可以在 Events: 中看到一條報(bào)錯(cuò)，Massage是

Failed to start ContainerManager failed to initialise top level QOS containers: root container /kubepods doesn"t exist

解決辦法參考這里，在kubelet 的啟動(dòng)參數(shù)中加上下面參數(shù)并重啟

    --cgroups-per-qos=false
    --enforce-node-allocatable=""

重啟后 node 變?yōu)?Ready 狀態(tài)。

# 在集群上運(yùn)行 kubernetes-bootcamp 鏡像
kubectl run kubernetes-bootcamp --image=gcr.io/google-samples/kubernetes-bootcamp:v1 --port=8080
# 因?yàn)樯厦婷钪械溺R像位置在國內(nèi)可能也無法正常訪問 所以可以將其替換為 dockerhub 上相同的鏡像 jocatalin/kubernetes-bootcamp:v1
kubectl run kubernetes-bootcamp --image=jocatalin/kubernetes-bootcamp:v1 --port=8080
# 檢查 deployment 運(yùn)行狀態(tài)
kubectl get deployment
# ---顯示如下---
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
kubernetes-bootcamp   1         0         0            0           4m
# 當(dāng)前的 Pod 數(shù)一直為0，檢查一下 deployment 狀態(tài)
kubectl describe deployment kubernetes-bootcamp
# Events 中最后的信息為 Scaled up replica set kubernetes-bootcamp-4025819334 to 1 ，再看一下 replicaSet 的狀態(tài)
kubectl describe replicaset kubernetes-bootcamp-4025819334

發(fā)現(xiàn) Events 中的報(bào)錯(cuò)：

Error creating: No API token found for service account "default", retry after the token is automatically created and added to the service account

解決方法參考這里，因?yàn)檫@里搭建的整個(gè)集群都是無安全認(rèn)證的，所以將 api-server 中的 --admission_control 參數(shù)里的 ServiceAccount 刪除，并重啟 kube-apiserver 。

之后再次查看 deployment 狀態(tài)

kubectl get deployment
# ---顯示如下---
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
kubernetes-bootcamp   1         1         1            0           18m

這次 pod 成功創(chuàng)建了，但仍然不是 AVAILABLE 狀態(tài)。

# 查看現(xiàn)有的 pod 
kubectl get pod
# ---顯示如下---
NAME                                   READY     STATUS              RESTARTS   AGE
kubernetes-bootcamp-4025819334-q61xj   0/1       ContainerCreating   0          5m
# 查看這個(gè) Pod 的詳細(xì)信息
kubectl describe pod kubernetes-bootcamp-4025819334-q61xj
# 在Events 里看到了錯(cuò)誤信息：
# Error syncing pod, skipping: failed to "CreatePodSandbox" for "kubernetes-bootcamp-4025819334-q61xj_default(1d20e7af-af48-11e8-bf2f-000c29a01556)" with CreatePodSandboxError: "CreatePodSandbox for pod "kubernetes-bootcamp-4025819334-q61xj_default(1d20e7af-af48-11e8-bf2f-000c29a01556)" failed: rpc error: code = 2 desc = unable to pull sandbox image "gcr.io/google_containers/pause-amd64:3.0": Error response from daemon: {"message":"Get https://gcr.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)"}"

根據(jù)信息可知錯(cuò)誤是因?yàn)橄螺d這個(gè)鏡像失敗：gcr.io/google_containers/pause-amd64:3.0 。還是網(wǎng)絡(luò)環(huán)境的問題，這時(shí)可以在 dockerhub 上找到相同的鏡像下載并修改 tag 來得到這個(gè)鏡像。

在 node 節(jié)點(diǎn)上執(zhí)行

sudo docker image pull mirrorgooglecontainers/pause-amd64:3.0
sudo docker tag mirrorgooglecontainers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0

鏡像下載好之后再次查看 deployment 狀態(tài)：

kubectl get deployment
# ---顯示如下---
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
kubernetes-bootcamp   1         1         1            1           35m

此時(shí)服務(wù)已經(jīng)部署正確，為了集群外部也能夠訪問到服務(wù)，現(xiàn)在需要使用 NodePort 方式將端口暴露出來。

kubectl expose deployment/kubernetes-bootcamp --type="NodePort" --port 8080
kubectl get service
# ---輸出如下---
NAME                  CLUSTER-IP        EXTERNAL-IP   PORT(S)          AGE
kubernetes            169.169.0.1               443/TCP          2d
kubernetes-bootcamp   169.169.210.120          8080:10412/TCP   12m

此時(shí) node 上的 10412 端口已經(jīng)打開（這里的 10412 端口是在 kube-apiserver 啟動(dòng)參數(shù) --service-node-port-range 范圍內(nèi)隨機(jī)分配的），并且在 node 本機(jī)上是可以訪問的。但是集群外部訪問就會(huì)超時(shí)，包括沒有安裝 kube-proxy 的 master 訪問也會(huì)超時(shí)。解決辦法參考這里。

為了安全起見， docker 在 1.13 版本之后，將系統(tǒng)iptables 中 FORWARD 鏈的默認(rèn)策略設(shè)置為 DROP，并為連接到 docker0 網(wǎng)橋的容器添加了放行規(guī)則。

知道了原因是 docker 啟動(dòng)時(shí)修改了iptables 規(guī)則后，可以修改 docker 的服務(wù)文件 /lib/systemd/system/docker.service 添加下面內(nèi)容

ExecStartPost=/sbin/iptables -P FORWARD ACCEPT

含義為在啟動(dòng) docker 之后，修改 FORWARD 鏈的默認(rèn)規(guī)則為 ACCEPT。配置完成之后重啟 docker 。此時(shí)外部就可以訪問了。

至此，一個(gè)單 master 單 node 的非安全 kubernets 集群已經(jīng)配置完成，并且基礎(chǔ)功能可以正常使用。