一、部署環境架構以及方式

第一種部署方式

1、針對于master節點

將API Server、etcd、controller-manager、scheduler各組件進行yum install、編譯安裝或者展開安裝的方式手動直接安裝在master節點主機上，作為系統級守護進程運行。

2、針對于node節點

將kube-proxy、kubelet、docker、flannel各組件進行yum install或下載已預制好的二進制程序包手動安裝在node節點主機上，作為系統級守護進程運行。

此部署方式非常的繁瑣，出于安全方面的考慮，各組件之間通信都需要配置CA和證書。

注：此部署方式的缺點就是如果master宕機了，需要手動進行啟動這些系統級的守護進程

第二種部署方式

由于第一種部署方式比較繁瑣，此次我們采用kubeadm工具進行部署，由k8s官方所提供的專門部署集群的管理工具。

每一個節點主機上包括master節點都要手動安裝并運行docker，同時也都要手動安裝并運行kubelet。如果將第一個節點初始化為master節點，在執行初始化這個步驟，其實就是通過kubeadm工具將API Server、etcd、controller-manager、scheduler各組件運行為Pod，也就是跑在docker上。而其他node節點，因已經運行了kubelet、docker組件，剩下的kube-proxy組件也是要運行在Pod上。

kubelet：負責能運行Pod化容器的核心組件

docker：運行容器的引擎

但是以上master節點上的Pod都是靜態Pod（static Pod），并不受k8s自身管理，只是運行為Pod形式而已，也可運行為自托管Pod（本文不作闡述）。

而flannel組件也是運行在Pod上的系統級守護進程，起到各node節點通信作用。以下是flannel簡單介紹：

http://m.gmnon.cn/Linux/2019-08/159869.htm

3、kubeadm的介紹

在GitHub上kubeadm的介紹：

https://github.com/kubernetes/kubeadm

二、Kubernetes集群的部署詳細步驟

（一）簡述部署流程

1、master、nodes節點要先安裝kubelet、kubeadm和docker

2、在master節點上運行kubeadm init進程進行初始化集群

3、將各node節點加入集群中：kubeadm join

kubeadm工作原理詳解見：https://github.com/kubernetes/kubeadm/blob/master/docs/design/design_v1.10.md（此文檔介紹的是k8s1.10版本）

（二）部署流程的詳細介紹

（1）master節點環境安裝的準備工作

1、確保集群中的所有節點，服務器時間是同步的。設置詳情如下：

https://www.cnblogs.com/huhyoung/p/9657253.html

2、公司內部局域網的服務器可配置hosts文件進行域名解析，例如馬哥視頻中的：

而云服務器需要另外考慮

注：阿里云服務器切記不要修改hostname

3、關閉防火墻服務

需要注意的是，CentOS Linux 7默認啟動了firewalld（防火墻服務），而Kubernetes的master與工作node之間會有大量的網絡通信，安全的做法是在防火墻上配置各組件需要相互通信的端口號。在一個安全的內部網絡環境中可以關閉防火墻服務：

[root@master ~]# systemctl disable firewalld
[root@master ~]# systemctl stop firewalld

4、獲取軟件包

第一種部署方式獲取軟件包

源碼包獲取地址：https://github.com/kubernetes/kubernetes/releases

圖中紅色框的為源碼包，而kubernetes.tar.gz不是源碼包，但包含所需的所有組件。建議下載官方預制好的，master、node相關組件分別分開組建的包，點擊CHANGELOG-1.11.md

點擊目錄Downloads for v1.11.3跳轉到

不管是master和node都應該安裝服務端安裝包，像圖中的kubernetes-server-linux-amd64.tar.gz包，如果要進行交互，則需要安裝客戶端

第二種部署方式獲取軟件包

如果是Cent OS，建議使用yum install安裝，Google官方已經將這些組件制作成了RPM包，這些包需要RPM包生成器動態生成，所以不能下載到本地使用，只能通過在線倉庫進行安裝。

（2）master節點環境的安裝

1、配置yum倉庫

先安裝docker鏡像，去阿里云官方鏡像網站：https://opsx.alibaba.com/mirror找到docker-ce對應的linux centos系統repo配置文件，右擊復制鏈接

然后進入/etc/yum.repos.d目錄，下載到本地。

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

接著再生成Kubernetes的倉庫文件，創建并編輯kubernetes.repo。

[root@master yum.repos.d]# vim kubernetes.repo

寫入以下內容，baseurl和gpgkey的路徑可在阿里云官方鏡像網站Kubernetes目錄下找到。

[kubernetes]
name=Kubernetes Repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
enabled=1

創建完之后，獲取當前系統有效的repolist 

[root@master yum.repos.d]# yum repolist

為了方便在node節點上安裝，可以將這個兩個配置文件通過scp命令復制到node節點服務器上

[root@master yum.repos.d]# scp kubernetes.repo docker-ce.repo node1:/etc/yum.repos.d/

2、安裝各組件

kuberctl：API Server的命令行客戶端

[root@master yum.repos.d]# yum install docker-ce kubelet kubeadm kubectl

可以看到加載到的是哪些版本的包

安裝到cri-tools-1.11.1-0.x86_64包時提示gpgkey沒有安裝

將yum-key.gpg下載到本地進行rpm –import導入

發現還是報同樣的錯，于是順便也把rpm包的key也下載下來進行導入

wget https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

最后，都安裝成功了。

3、啟動docker

啟動docker后，需要注意的是它會去docker倉庫下載所依賴到的每個鏡像文件，這些鏡像文件暫時獲取不到，建議將相關鏡像文件通過其他途徑下載到本地然后導入使用，或者推送到本地倉庫。

在這里我們是借用別人此前提供的一種路徑來獲取并下載使用，因此在啟動之前，需要編輯vim /usr/lib/systemd/system/docker.service，在該文件中定義一個環境變量

注意NO_PROXY中間是有下劃線的。然后修改完配置文件之后需要重新加載配置文件，然后重新啟動，否則修改不會生效。

[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl start docker

是否啟動成功用docker info查看一下，可以看出已經啟動成功了

同時還要確保以下兩個參數值為1。通過網橋轉發的IP數據包會iptables規則過濾，而這兩個選項將阻止過濾，Netfilter是默認情況下啟用了橋梁，如果不阻止會導致嚴重的混亂

如果不是1需要修改為1

echo 1 > /proc/sys/net/bridge/bridge-nf-call-ip6tables

通過[root@master ~]# rpm -ql kubelet  命令查看都安裝了什么文件

查看配置文件發現額外參數是空的

4、設置kubelet、docker為開機啟動

[root@master ~]# systemctl start kubelet
[root@master ~]# systemctl status kubelet

這邊沒有明顯的錯誤提示，因此查看日志[root@master ~]# tail /var/log/messages

[root@master ~]# systemctl stop kubelet        #將kubelet關閉

因各個組件還未初始化完成所以不能啟動，將其設置開機啟動即可

[root@master ~]# systemctl enable kubelet    #將其設置為開機啟動

[root@master ~]# systemctl enable docker    #將docker設置為開機啟動

5、kubeadm init初始化

查看kubeadm init的幫助信息 

[root@master ~]# kubeadm init –help

–apiserver-advertise-address：API服務器將通知它正在監聽的IP地址，監聽的地址為“0.0.0.0”，即本機所有IP地址。

–apiserver-bind-port：API服務器綁定到的端口。(默認：6443)

–cert-dir：加載證書的相關目錄（默認：/etc/kubernetes/pki）

–config：配置文件的路徑。警告:配置文件目前屬于實驗性，還不穩定。

–ignore-preflight-errors：將錯誤顯示為警告的檢查列表進行忽略。例如:“IsPrivilegedUser,Swp”。Value ‘all’忽略所有檢查中的錯誤。

–pod-network-cidr：指定pod網絡的IP地址范圍。如果設置，控制平面將為每個節點自動分配CIDRs。

–service-cidr：為service VIPs使用不同的IP地址。(默認“10.96.0.0/12”)

然后我們指定選項進行初始化：

[root@master ~]# kubeadm init –kubernetes-version=v1.11.1 –pod-network-cidr=10.244.0.0/16 –service-cidr=10.96.0.0/12

如果在初始化中碰到swap不支持的報錯，如下圖

需要做兩個設定

①[root@master ~]# vim /etc/sysconfig/kubelet        #加入以下參數

KUBELET_EXTRA_ARGS=”–fail-swap-on=false”

②[root@master ~]# kubeadm init –kubernetes-version=v1.11.1 –pod-network-cidr=10.244.0.0/16 –service-cidr=10.96.0.0/12 –ignore-preflight-errors=Swap   #在初始化時加入–ignore選項

最后通過[root@master ~]# docker image ls 查看鏡像都拉取完了

其中k8s.gcr.io/pause就是基礎架構容器，可以不用啟動，其他容器可以將它當成模板進行網絡、存儲卷復制。

特別注意：

其中有兩個附件：CoreDNS和kube-proxy

CoreDNS：CoreDNS已經經歷過三個版本：sky-dns（）—–>kube-dns（1.3版本）—–>CoreDNS（1.11版本）

kube-proxy：作為附件運行自托管與k8s之上，來幫忙負責生成service資源相關的iptables或者ipvs規則，在1.11版本默認使用ipvs。

6、創建kube目錄，添加kubectl配置

建議用普通用戶運行以下三個命令：

mkdir -p $HOME/.kube;

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config;

sudo chown $(id -u):$(id -g) $HOME/.kube/config

因不是生產環境，所以此處直接用root權限執行，第三步更改屬主和屬組也不需要操作

還未執行以上三個命令時，查看nodes節點是會報以下錯誤：

執行完之后，再查看nodes節點時，結果如下：

可以看出master的狀態是未就緒（NotReady），之所以是這種狀態是因為還缺少一個附件flannel或者Calico，沒有網絡各Pod是無法通信的。

也可以通過檢查組件的健康狀態

[root@master ~]# kubectl get componentstatus      #componentstatus可簡寫為cs

7、添加網絡組件（flannel）

 組件flannel可以通過https://github.com/coreos/flannel中獲取，此處也有介紹怎么安裝

如果Kubernetes版本是1.7以上執行這行命令即可，在線自動獲取部署清單，然后基于此清單下載鏡像啟動并部署

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

看到很多東西被創建是還不夠的，還需要查看flannel是否處于正常啟動并運行的狀態，才算正在的部署完成

[root@node1 ~]# docker image ls           #查看flannel鏡像是否有被拉取下來

可以看到flannel鏡像已經下載下來了

注意：從這步開始我用的版本是v1.11.2，由于代理到期，導致之前的鏡像下載不到重新換了途徑下載，所以你們kubeadm init初始化時記得對應上版本。

[root@node1 ~]# kubectl get pods –all-namespaces       #查看所有名稱空間的pod，同時可以看到flannel已經正常啟動

[root@node1 ~]# kubectl get pods -n kube-system          #查看名稱空間為kube-system的pod

[root@localhost ~]# kubectl get ns    #查看有哪些名稱空間

系統級別的Pod都在名稱空間kube-system中

這樣我們的master節點就部署好了

8、

（3）node節點環境的安裝

[root@node01 ~]# rpm –import rpm-package-key.gpg

[root@node01 ~]# yum install -y docker-ce kubelet kubeadm

[root@master ~]# scp /usr/lib/systemd/system/docker.service node01:/usr/lib/systemd/system/docker.service

[root@master ~]# scp /etc/sysconfig/kubelet node01://etc/sysconfig/

[root@node01 ~]# systemctl daemon-reload

[root@node01 ~]# systemctl start docker

[root@node01 ~]# systemctl enble docker kubelet

[root@node01 ~]# kubeadm join 172.20.0.70:6443 –token jpy0lt.fxz77am8dgr4r93f –discovery-token-ca-cert-hash sha256:70b67aa60ebb2eef3e3e4f76e5278fc23e6972c1c4e0848d744b93caa6f9b6ec –ignore-preflight-errors=Swap

加入成功之后，等以下鏡像下載完之后這個node節點就ok了。

可以通過kubectl get pods -n kube-system -o wide查看flannel和proxy有兩個，一個在master節點上，一個在node01節點上。