====== 通過kubeadm搭建k8s叢集 ======
1、版本統一
Docker 18.09.0
---
kubeadm-1.14.0-0
kubelet-1.14.0-0
kubectl-1.14.0-0
---
k8s.gcr.io/kube-apiserver:v1.14.0
k8s.gcr.io/kube-controller-manager:v1.14.0
k8s.gcr.io/kube-scheduler:v1.14.0
k8s.gcr.io/kube-proxy:v1.14.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
---
calico:v3.9
2、準備3台centos，要保證彼此之間能夠ping通，也就是處于同一個網絡中，虛拟機的配置要求上面也描述咯。
3、 更新并安裝依賴，3台機器都需要執行
【yum -y update】
【yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp】
4、安裝Docker，三台機器都安裝，安裝步驟見docker安裝筆記
5、修改hosts檔案
1)、master節點：【sudo hostnamectl set-hostname m】
2)、兩個worker分别
【sudo hostnamectl set-hostname w1】
【sudo hostnamectl set-hostname w2】
3、三個節點都在hosts檔案上加上：【vi /etc/hosts】
192.168.8.51 m
192.168.8.61 w1
192.168.8.62 w2
4、使用ping測試一下，【ping w1】
5、系統基礎前提配置
# (1)關閉防火牆
systemctl stop firewalld && systemctl disable firewalld
# (2)關閉selinux
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
# (3)關閉swap
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
# (4)配置iptables的ACCEPT規則
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# (5)設定系統參數
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
6、Installing kubeadm（搭建k8s叢集）, kubelet（運作pod ） and kubectl（用戶端與叢集打交道的工具）
1)、配置yum源，三個節點執行
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2)、安裝kubeadm&kubelet&kubectl：【yum install -y kubeadm-1.14.0-0 kubelet-1.14.0-0 kubectl-1.14.0-0】
3)、docker和k8s設定同一個cgroup
(1)、【vi /etc/docker/daemon.json】，在/daemon.json檔案中加入：【"exec-opts": ["native.cgroupdriver=systemd"],】
【systemctl restart docker】
(3)、# kubelet，這邊如果發現輸出directory not exist，也說明是沒問題的，大家繼續往下進行即可
【sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf】
(4)、安裝成功，設定開機啟動：【systemctl enable kubelet && systemctl start kubelet】
7、proxy/pause/scheduler等國内鏡像
1)、檢視 kubeadm 使用的鏡像：【kubeadm config images list】，内容如下，7個
k8s.gcr.io/kube-apiserver:v1.14.0
k8s.gcr.io/kube-controller-manager:v1.14.0
k8s.gcr.io/kube-scheduler:v1.14.0
k8s.gcr.io/kube-proxy:v1.14.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
2)、解決國外鏡像不能通路的問題
(1)、建立kubeadm.sh腳本，用于拉取鏡像/打tag/删除原有鏡像，在每個節點中都建立儲存改腳本：【vi kubeadm.sh】,内容如下
#!/bin/bash
set -e
KUBE_VERSION=v1.14.0
KUBE_PAUSE_VERSION=3.1
ETCD_VERSION=3.3.10
CORE_DNS_VERSION=1.3.1
GCR_URL=k8s.gcr.io
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})
for imageName in ${images[@]} ; do
docker pull $ALIYUN_URL/$imageName
docker tag $ALIYUN_URL/$imageName $GCR_URL/$imageName
docker rmi $ALIYUN_URL/$imageName
done
(2)、運作腳本和檢視鏡像：【sh ./kubeadm.sh】，【docker images】
3)、将這些鏡像推送到自己的阿裡雲倉庫【可選，根據自己實際的情況】
【docker login --username=xxx registry.cn-hangzhou.aliyuncs.com】，推送腳本如下
#!/bin/bash
set -e
KUBE_VERSION=v1.14.0
KUBE_PAUSE_VERSION=3.1
ETCD_VERSION=3.3.10
CORE_DNS_VERSION=1.3.1
GCR_URL=k8s.gcr.io
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/tiger2019
images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})
for imageName in ${images[@]} ; do
docker tag $GCR_URL/$imageName $ALIYUN_URL/$imageName
docker push $ALIYUN_URL/$imageName
docker rmi $ALIYUN_URL/$imageName
done
運作腳本 【sh ./kubeadm-push-aliyun.sh】
8、kube init初始化 master
1)、kube init流程
01-進行一系列檢查，以确定這台機器可以部署kubernetes
02-生成kubernetes對外提供服務所需要的各種證書可對應目錄
/etc/kubernetes/pki/*
03-為其他元件生成通路kube-ApiServer所需的配置檔案
ls /etc/kubernetes/
admin.conf controller-manager.conf kubelet.conf scheduler.conf
04-為 Master元件生成Pod配置檔案。
ls /etc/kubernetes/manifests/*.yaml
kube-apiserver.yaml
kube-controller-manager.yaml
kube-scheduler.yaml
05-生成etcd的Pod YAML檔案。
ls /etc/kubernetes/manifests/*.yaml
kube-apiserver.yaml
kube-controller-manager.yaml
kube-scheduler.yaml
etcd.yaml
06-一旦這些 YAML 檔案出現在被 kubelet 監視的/etc/kubernetes/manifests/目錄下，kubelet就會自動建立這些yaml檔案定義的pod，即master元件的容器。master容器啟動後，kubeadm會通過檢查localhost：6443/healthz這個master元件的健康狀态檢查URL，等待master元件完全運作起來
07-為叢集生成一個bootstrap token
08-将ca.crt等 Master節點的重要資訊，通過ConfigMap的方式儲存在etcd中，工後續部署node節點使用
09-最後一步是安裝預設插件，kubernetes預設kube-proxy和DNS兩個插件是必須安裝的
2)、【kubeadm init --kubernetes-version=1.14.0 --apiserver-advertise-address=192.168.3.51 --pod-network-cidr=10.244.0.0/16】
1.執行成功資訊
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.3.51:6443 --token fvxofu.fxdgrb9f6l5mvgmd \
--discovery-token-ca-cert-hash sha256:db32c745032468fada5f50c218246951e098e3b09ef46696099a732d93cb92d5
2.根據日志提示執行：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3.檢視pod，等待一會兒，同時可以發現像etcd，controller，scheduler等元件都以pod的方式安裝成功了
4.檢視kube-system的pods：【kubectl get pods -n kube-system -w】，注意：coredns沒有啟動，需要安裝網絡插件
檢視所有pods：【kubectl get pods --all-namespaces】
5.健康檢查：【curl -k https://localhost:6443/healthz】
9、部署安裝 calico 網絡插件【https://kubernetes.io/docs/concepts/cluster-administration/addons/】
1)、calico網絡插件：【https://docs.projectcalico.org/v3.9/getting-started/kubernetes/】，calico，同樣在master節點上操作
2)、【kubectl apply -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml】
可省略步驟：
【wget https://docs.projectcalico.org/v3.9/manifests/calico.yaml】
檢視所使用到的鏡像：【cat calico.yaml | grep image】
3)、确認一下calico是否安裝成功：【kubectl get pods --all-namespaces】，檢視所有pods
4)、主節點查詢節點：【kubectl get node】
10、kube join，在woker01和worker02上執行之前保的指令，如下
【kubeadm join 192.168.3.51:6443 --token 9s9lxo.zeijg5g35x1aex7m \
--discovery-token-ca-cert-hash sha256:e7916a19e5c055acdf8f26aff67fb953efdfd7a55d78310cb258cf600dee9183】
如果添加節點失敗，或是想重新添加，可以在從節點使用指令：【kubeadm reset】
11、再次檢視主節點：【kubectl get nodes】，此時發現多了節點資訊
12、體驗Pod，定義pod.yml檔案，比如pod_nginx_rs.yaml
cat > pod_nginx_rs.yaml <<EOF
apiVersion: apps/v1
kind: ReplicaSet
metadata:
name: nginx
labels:
tier: frontend
spec:
replicas: 3
selector:
matchLabels:
tier: frontend
template:
metadata:
name: nginx
labels:
tier: frontend
spec:
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
EOF
13、根據pod_nginx_rs.yml檔案建立pod：【kubectl apply -f pod_nginx_rs.yaml】
14、檢視pod：
【kubectl get pods】
【kubectl get pods -o wide】，可以到對應節點檢視驗證：【docker ps | grep nginx】
【kubectl describe pod nginx】
![docker實戰--部署一個spring boot微服務[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)