站長資訊網部署環境
本文中未加明顯說明，將在所有機器上操作
系統環境: CetntOS 7
Docker版本：ce-v18.09.5
kubeneter版本: v1.14.1
| IP地址 | 主機名 | 擔任角色 |
|---|---|---|
| 192.168.1.21 | k8s-master | master |
| 192.168.1.22 | k8s-node01 | node |
| 192.168.1.23 | k8s-node02 | node |
安裝前準備
1、關閉所有機器的防火墻
$ systemctl stop firewalld $ systemctl disable firewalld $ iptables -F
2、關閉所有服務器selinux
$ setenforce 0 $ sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
3、關閉所有服務器的交換分區(swap)
$ swapoff -a $ sed -ri 's/.*swap.*/#&/' /etc/fstab
4、添加主機hosts記錄
$ vim /etc/hosts 192.168.1.21 k8s-master 192.168.1.22 k8s-node01 192.168.1.23 k8s-node02
5、其他
$ echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables
部署Docker環境
所有節點都安裝
1、卸載舊的docker環境
$ yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
2、安裝依賴
$ yum install -y yum-utils device-mapper-persistent-data lvm2
3、添加docker yum源
$ yum-config-manager --add-repo https://download.docker.com/linux/CentOS/docker-ce.repo
4、安裝docker ce
$ yum install docker-ce docker-ce-cli containerd.io
5、添加系統服務并啟動
$ systemctl enable docker $ systemctl start docker
6、添加鏡像加速器
使用Daocloud提供的鏡像加速服務
$ curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io $ systemctl restart docker
7、驗證docker
$ docker run --rm hello-world
部署k8s環境
1、安裝組件(kubelet、kubeadm、kubectl)
所有節點都需要安裝
kubelet運行在Cluster所有節點上，負責啟動Pod和容器。
kubeadm用于初始化Cluster。
kubect I是Kubernetes命令行工具。通過kubectI可以部署和管理
應用，查看各種資源，創建、刪除和更新各種組件。
a. 添加安裝組件yum源
如果機器可以FQ，則可以直接使用一下命令安裝
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF
推薦安裝（使用阿里鏡像安裝）
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
b. 安裝
$ yum install -y kubelet kubeadm kubectl
2、下載k8s所需要的鏡像
此處鏡像使用阿里云構建的國內鏡像源，由于k8s版本過高docker官網提供的倉庫缺少部分指定版本的鏡像
鏡像映射文件
$ vim images k8s.gcr.io/kube-apiserver:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-apiserver:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-controller-manager:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-scheduler:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-proxy:v1.14.1 k8s.gcr.io/pause:3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/etcd:3.3.10=registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.3.1 quay.io/coreos/flannel:v0.11.0-amd64=registry.cn-beijing.aliyuncs.com/musker/flannel:v0.11.0-amd64
鏡像下載腳本
$ vim load_images.sh #/bin/bash file="images" if [ -f "$file" ] then echo "$file found." while IFS='=' read -r key value do #echo "${key}=${value}" docker pull ${value} docker tag ${value} ${key} docker rmi ${value} done < "$file" else echo "$file not found." fi
下載鏡像
$ chmod +x load_images.sh $ ./load_images.sh
3、初始化master(master節點執行)
$ kubeadm init --apiserver-advertise-address=192.168.1.21 --pod-network-cidr=10.224.0.0/16 參數解釋： --apiserver-advertise-address 指定master的那個interface與cluster的其他節點通信，如果master有多個interface，建議明確指定，如果不指定，kubeadm回自動選擇有默認網關的interface --pod-network-cidr 指定pod網絡的范圍。kubernetes支持多種網絡方案，而且不網絡方案對此參數有自己的要求，這里設置10.224.0.0/16是因為本文將使用flannel網絡方案，必須設置成這個CIDR。
kubeadm初始化過程:
(1) kubeadm執行初始化前的檢查
(2) 生成token和證書。
(3) 生成Kube Config文件，kubelet需要用這個文件與Master通信。
(4) 安裝Master組件，會從Google的 Registry下載組件的 Docker鏡像。這一步可能會花一些時間，主要取決于網絡質量(本文中提前下載好了鏡像，所以此步驟很快)。
(5) 安裝附加組件kube-proxy和kube-dns。
(6) Kubernetes Master初始化成功。
(7) 提示如何配置kubectl。
(8) 提示如何安裝Pod 網絡。
(9) 提示如何注冊其他節點到Cluster。
4、配置kubectl(master節點執行)
這里創建一個k8s的普通用戶來執行kubectl命令(root會有一些問題)
$ useradd k8s $ passwd k8s $ mkdir -p /home/k8s/.kube $ cp -i /etc/kubernetes/admin.conf /home/k8s/.kube/config $ chown k8s:k8s /home/k8s/.kube/config
添加命令行提示
$ yum -y install bash-completion $ echo "source < (kubectl completion bash)" >> ~/.bashrc
現在可以使用tab鍵快速補全命令
5、安裝pod網絡(master節點執行)
支持kubernetes cluster 之間pod網絡通信，kubernetes支持多種網絡，本文使用flannel網絡。
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
6、將node節點添加到kubernetes集群(node節點執行)
$ kubeadm join --token 172awr.uqxymof1vveznmtr 192.168.1.21:6443
如果出現以下錯誤，說明需要進行ca校驗可以使用–discovery-token-unsafe-skip-ca-verification參數忽略校驗
discovery.bootstrapToken: Invalid value: "": using token-based discovery without caCertHashes can be unsafe. Set unsafeSkipCAVerification to continue
這里指定的–token來自前面kubeadm init執行后輸出的信息。如果沒有記錄可以通過kubeadm token list進行查看。最后一個參數是指定master節點的ip和k8s api(https)端口
$ kubeadm token list TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS 172awr.uqxymof1vveznmtr 8h 2019-05-07T18:22:38+08:00 authentication,signing The default bootstrap token generated by 'kubeadm init'. system:bootstrappers:kubeadm:default-node-token
7、驗證集群狀態(master節點執行)
查看各個節點的狀態
$ kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master Ready master 15h v1.14.1 k8s-node01 NotReady <none> 22m v1.14.1 k8s-node02 NotReady <none> 22m v1.14.1
如果發現節點狀態為NotReady，這是因為每個節點都需要啟動若干個組件，這些組件都是在Pod中運行，需要首先從google下載鏡像?？梢酝ㄟ^以下命令查看Pod狀態
$ kubectl get pod --all-namespaces
Pending、Container Creating、Image Pullbackoff 都表明 Pod 沒有就緒，Runningオ是就緒狀態。我們可以通過 kubectl describe pod <Pod Name>查看 Pod 的具體情況
$ kubectl describe pod kube-flannel-ds-amd64-7kjsk --namespace=kube-system
等待一段時間，Image 成功下載后，所有 Pod 都會處于 Running 狀態。如果鏡像下載失敗，我們需要手動的去docker pull鏡像(參考本節第二部分)。
再通過kubectl get nodes命令查看節點狀態，所有節點均處于Ready狀態表示kubernetes cluster集群創建成功。
$ kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master Ready master 15h v1.14.1 k8s-node01 Ready <none> 33m v1.14.1 k8s-node02 Ready <none> 33m v1.14.1
8、創建pod驗證集群可用性
a. 創建nginx pod容器
$ kubectl run nginx-deployment --image=nginx:1.16.0 --port=80 --replicas=3
b. 查看pod狀態
$ kubectl get pods NAME READY STATUS RESTARTS AGE nginx-deployment-6dcd798fd8-77s9l 1/1 Running 0 99s nginx-deployment-6dcd798fd8-g5v2c 1/1 Running 0 99s nginx-deployment-6dcd798fd8-qc64z 1/1 Running 0 99s
c.暴露nginx外部訪問端口
$ kubectl expose deployment/nginx-deployment --type="NodePort" --port 80 $ kubectl get service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE nginx-deployment NodePort 10.105.86.75 <none> 80:30939/TCP 9s
d. 訪問驗證
$ curl -I http://127.0.0.1:30939
