上一篇文章介绍在Ubuntu16.04上使用kubeadm搭建kubernetes1.5.5环(http://blog.csdn.net/ximenghappy/article/details/68944706)http://
本文主要介绍在Ubuntu16.04上使用kubeadm搭建kubernetes1.6.1环境。kubeadm安装1.5.5和1.6.1还是有一些区别的，主要在初始化成功后，配置环境变量和安装网络flannel插件
上篇文章简单介绍了一下kubeadm，这篇就不在赘述了，言归正传开始安装。
一：前期环境准备与约束
- Kubernetes官网上提到kubeadm支持的Ubuntu 16.04+, CentOS 7 or HypriotOSv1.0.1+三种操作系统。
- 并且每台机器至少要有1GB内存，不然集群运行之后，留给运行在容器内的应用的内存就很少了。
- 同时要保证所有机器之前的网络是互相连通的。
我准备了两台Ubuntu 16.04虚拟机，一个作为master，一个作为node。
Kubeadm默认安装时，master node将不会参与Pod调度，不会承载work load，即不会有非核心组件的Pod在Master node上被创建出来。当然通过kubectl taint命令可以解除这一限制，不过这是后话了。
准备了两台Ubuntu 16.04虚拟机，集群拓扑参数如下：
节点名 IP地址 CPU 内存
ubuntu-01 192.168.11.74 2核 4GB
ubuntu-02 192.168.11.75 2核 4GB
二：部署目标
- 部署一套两个节点的Kubernetes集群。
- 在集群上安装Pod网络插件flannel,允许POD之间相互通讯。
- 在Kubernetes集群上部署一个微服务应用样例。
三 部署步骤
3.1 部署Kubernetes Master
安装内容包括:
- docker：容器运行的软件。
- kubelet：kubelet是Kubernets最重要的组件，它要运行在集群上所有的机器，用来执行类似于开启pods和容器。
- kubectl：在集群运行时，控制容器的部件。只需要将其运行在主节点上，但是它将对所有节点都有效。
- Kubeadm：集群部署工具。
以下命令，在两个Node上均要执行。
3.1.1 安装docker 和kubernetes组件
添加apt-key
apt-get update && apt-get install -y apt-transport-https
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
添加Kubernetes源
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF
更新包信息
apt-get update
安装docker
说明：此篇文档安装docker是集成与kubernetes源中的。如果需要提前安装或者单独安装docker 请参考：
https://docs.docker.com/engine/installation/linux/ubuntu/#install-docker
apt-get install -y docker.io
#如果已经安装了docker这步可以跳过。
安装Kubernetes核心组件
apt-get install -y kubelet kubeadm kubectl kubernetes-cni
# 此处的Kubernetes的核心组件，包括kubelet、kubeadm、kubectl和kubernetes-cni等
下载后的kube组件会自动运行起来。在 /lib/systemd/system下面我们能看到kubelet.service：
# cat /lib/systemd/system/kubelet.service
[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=http://kubernetes.io/docs/
[Service]
ExecStart=/usr/bin/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10
[Install]
WantedBy=multi-user.target
注意：以上命令所有节点都需要执行。
3.1.2 初始化集群
理论上通过kubeadm使用init和join命令即可建立一个集群，这init就是在master节点对集群进行初始化。和k8s 之前的部署方式不同的是kubeadm安装的k8s核心组件都是以容器的形式运行于master node上的。所以需要一些镜像。
由于墙的原因无法直接访问到Google的软件仓库(packages.cloud.google.com)和容器仓库(gcr.io)，解决方法有两种：一是直接配置的Hosts文件，二是使用三方源或转存的容器仓库。这里使用修改Hosts文件的方法。
把下面几行内容加入到hosts文件中
# vim /etc/hosts
gcr.io
www.gcr.io
packages.cloud.google.com
最新可用的Google hosts文件可在这里获取：https://github.com/racaljk/hosts
kubeadm要从gcr.io/google_containers repository中pull许多核心组件的images，大约有如下一些：
gcr.io/google_containers/kube-proxy-amd64 v1 b56ed0c89180 days ago MB
gcr.io/google_containers/kube-apiserver-amd64 v1 f685ed29076 days ago MB
gcr.io/google_containers/kube-scheduler-amd64 v1 acfe393e96ba days ago MB
gcr.io/google_containers/kube-controller-manager-amd64 v1 d6604f79b days ago MB
gcr.io/google_containers/k8s-dns-sidecar-amd64 fc5e302d8309 weeks ago MB
gcr.io/google_containers/k8s-dns-kube-dns-amd64 f8363dbf447b weeks ago MB
gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64 ec weeks ago MB
gcr.io/google_containers/etcd-amd64 dae7dd weeks ago MB
gcr.io/google_containers/pause-amd64 f495ffa months ago kB
3.1.3 初始化master
在Kubeadm的文档中，Pod Network的安装是作为一个单独的步骤的。kubeadm init并没有选择一个默认的Pod network进行安装。这里采用Flannel 作为Pod network，如果我们要使用Flannel，那么在执行init时，按照kubeadm文档要求，我们必须给init命令带上option：–pod-network-cidr=10.244.0.0/16。如果有多网卡的，可以根据实际情况配置–api-advertise-addresses=，单网卡情况可以省略。多网卡的并没有验证过。
使用kubeadm init初始化kubernetes master。
注意kubead init命令指定kubernetes版本是有区别的。
kubeadm1.5执行命令：
kubeadm init --use-kubernetes-version=v1 --pod-network-cidr=/
kubeadm1.6.1执行命令：
kubeadm init --kubernetes-version=v1 --pod-network-cidr=/
执行kubeadm init命令：
# kubeadm init --kubernetes-version=v1.6.1 --pod-network-cidr=10.244.0.0/16
[kubeadm] WARNING: kubeadm is in alpha, please do not use it for production clusters.
[preflight] Running pre-flight checks
[init] Using Kubernetes version: v1
[tokens] Generated token: "3c43f1.9a42d02deda012ef"
[certificates] Generated Certificate Authority key and certificate.
[certificates] Generated API Server key and certificate
[certificates] Generated Service Account signing keys
[certificates] Created keys and certificates in "/etc/kubernetes/pki"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/admin.conf"
[apiclient] Created API client, waiting for the control plane to become ready
[apiclient] All control plane components are healthy after seconds
[apiclient] Waiting for at least one node to register and become ready
[apiclient] First node is ready after seconds
[apiclient] Creating a test deployment
[apiclient] Test deployment succeeded
[token-discovery] Created the kube-discovery deployment, waiting for it to become ready
[token-discovery] kube-discovery is ready after seconds
[apiconfig] Created RBAC rules
[addons] Created essential addon: kube-proxy
[addons] Created essential addon: kube-dns
Your Kubernetes master has initialized successfully!
To start using your cluster, you need to run (as a regular user):
sudo cp /etc/kubernetes/admin.conf $HOME/
sudo chown $(id -u):$(id -g) $HOME/admin.conf
export KUBECONFIG=$HOME/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
http://kubernetes.io/docs/admin/addons/
You can now join any number of machines by running the following on each node
as root:
kubeadm join --token f8fd36209e97 :
3.1.3.1 验证初始化
注意：通过上面kubeadm init 的提示信息需要执行一下命令：:
sudo cp /etc/kubernetes/admin.conf $HOME/
sudo chown $(id -u):$(id -g) $HOME/admin.conf
export KUBECONFIG=$HOME/admin.conf
如果不执行以上命令，执行以下错误信息：
The connection to the server localhost: was refused - did you specify the right host or port?
原因由于1.6.1默认安全模式启动，默认端口为6443，通过kubeadm init 的提示信息
kubeadm join --token 724f8f.8185e58d36209e97 192.168.11.74:6443
，就能看出，这也是1.5.5与1.6.1的区别。
初始化成功后并且执行完以上命令，检查Kubernetes的核心组件均正常启动。
一种方式通过进程方式启动的，一种通过容器方式启动的。
进程方式启动，通过ps -ef 命令：
#ps -ef|grep kube
root Apr12 ? :: kube-apiserver --service-account-key-file=/etc/kubernetes/pki/sa.pub --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --secure-port= --insecure-port= --allow-privileged=true --requestheader-username-headers=X-Remote-User --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --requestheader-group-headers=X-Remote-Group --requestheader-extra-headers-prefix=X-Remote-Extra- --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --experimental-bootstrap-token-auth=true --tls-private-key-file=/etc/kubernetes/pki/apiserver.key --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --service-cluster-ip-range=/ --client-ca-file=/etc/kubernetes/pki/ca.crt --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,ResourceQuota,DefaultTolerationSeconds --storage-backend=etcd3 --requestheader-allowed-names=front-proxy-client --authorization-mode=RBAC --advertise-address= --etcd-servers=http://127.0.0.1:2379
root Apr12 ? :: /usr/local/bin/kube-proxy --kubeconfig=/var/lib/kube-proxy/kubeconfig.conf --cluster-cidr=/
root Apr12 ? :: /usr/bin/kubelet --kubeconfig=/etc/kubernetes/kubelet.conf --require-kubeconfig=true --pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --cluster-dns= --cluster-domain=cluster.local --authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt
root Apr12 ? :: /opt/bin/flanneld --ip-masq --kube-subnet-mgr
root Apr12 ? :: /bin/sh -c set -e -x; cp -f /etc/kube-flannel/cni-conf.json /etc/cni/net.d/-flannel.conf; while true; do sleep ; done
root Apr12 ? :: /kube-dns --domain=cluster.local. --dns-port= --config-dir=/kube-dns-config --v=
nobody Apr12 ? :: /sidecar --v= --logtostderr --probe=kubedns,:,kubernetes.default.svc.cluster.local,,A --probe=dnsmasq,:,kubernetes.default.svc.cluster.local,,A
root Apr12 ? :: kube-scheduler --kubeconfig=/etc/kubernetes/scheduler.conf --address= --leader-elect=true
root Apr12 ? :: kube-controller-manager --cluster-signing-key-file=/etc/kubernetes/pki/ca.key --leader-elect=true --insecure-experimental-approve-all-kubelet-csrs-for-group=system:bootstrappers --root-ca-file=/etc/kubernetes/pki/ca.crt --service-account-private-key-file=/etc/kubernetes/pki/sa.key --cluster-signing-cert-file=/etc/kubernetes/pki/ca.crt --address= --use-service-account-credentials=true --controllers=*,bootstrapsigner,tokencleaner --kubeconfig=/etc/kubernetes/controller-manager.conf --allocate-node-cidrs=true --cluster-cidr=/ --horizontal-pod-autoscaler-use-rest-clients=true
以容器方式启动的各个组件，通过docker ps命令查看
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
40c4a99a3d44 591d6604f79b "kube-controller-mana" hours ago Up hours k8s_kube-controller-manager_kube-controller-manager-liyun-3_kube-system_c3d48064499480c54e1c07442fca300e_1
b640859fad98 acfe393e96ba "kube-scheduler --kub" hours ago Up hours k8s_kube-scheduler_kube-scheduler-liyun-3_kube-system_af6197bc2561f80493b05379e887d202_1
de83819235ea gcr.io/google_containers/[email protected]:d33a91a5d65c223f410891001cd379ac734d036429e033865d700a4176e944b0 "/sidecar --v=2 --log" hours ago Up hours k8s_sidecar_kube-dns--7gp5g_kube-system_8d28e46d-1f6d---fa163eb0d754_0
e0fa5a6a2845 gcr.io/google_containers/[email protected]:89c9a1d3cfbf370a9c1a949f39f92c1dc2dbe8c3e6cc1802b7f2b48e4dfe9a9e "/dnsmasq-nanny -v=2 " hours ago Up hours k8s_dnsmasq_kube-dns--7gp5g_kube-system_8d28e46d-1f6d---fa163eb0d754_0
7038db7ca372 gcr.io/google_containers/[email protected]:33914315e600dfb756e550828307dfa2b21fb6db24fe3fe495e33d1022f9245d "/kube-dns --domain=c" hours ago Up hours k8s_kubedns_kube-dns--7gp5g_kube-system_8d28e46d-1f6d---fa163eb0d754_0
0d3ef847fe3f gcr.io/google_containers/pause-amd64: "/pause" hours ago Up hours k8s_POD_kube-dns--7gp5g_kube-system_8d28e46d-1f6d---fa163eb0d754_0
3fa24c4a1a23 63cee19df39c "/bin/sh -c 'set -e -" hours ago Up
...
...
不过这些核心组件并不是跑在pod network中的（没错，此时的pod network还没有创建），而是采用了host network。
通过命令：kubectl get pod –all-namespaces -o wide
# kubectl get pod --all-namespaces -o wide
kube-system etcd-ubuntu- / Running 18h ubuntu-
kube-system kube-apiserver-ubuntu- / Running 18h ubuntu-
kube-system kube-controller-manager-ubuntu- / Running 18h ubuntu-
kube-system kube-dns--7gp5g / ContainerCreating 18h liyun-
kube-system kube-proxy-g37kc / Running 18h ubuntu-
kube-system kube-proxy-jq099 / Running 18h ubuntu-
kube-system kube-scheduler-ubuntu- / Running 18h ubuntu-
...
...
3.1.4 安装flannel pod网络
初始化集群后，查看一下组件状态，会发现异常
通过命令kubectl get pod –all-namespaces -o wide，你也会发现kube-dns pod处于ContainerCreating状态。查看dns日志会发现一些错误的信息：
FirstSeen LastSeen Count From SubObjectPath Type Reason Message
--------- -------- ----- ---- ------------- -------- ------ -------
s s {default-scheduler } Normal Scheduled Successfully assigned kube-dns--h6kt to ubuntu-
s s {kubelet ubuntu-} Warning FailedSync Error syncing pod, skipping: failed to "SetupNetwork" for "kube-dns-2924299975-0h6kt_kube-system" with SetupNetworkError: "Failed to setup network for pod \"kube-dns--h6kt_kube-system(cc36f-ec--bf45-fa163eeee269)\" using network plugins \"cni\": open /run/flannel/subnet.env: no such file or directory; Skipping pod"
这种错误是由于没有装网络组件造成的，所以我们要安装网络组件。
Kubernetes一共提供五种网络组件，可以根据自己的需要选择。我使用的Flannel网络，此处1.5.5和1.6.1也是不一样的，1.6.1加了RBAC。需要执行一下两个命令：
kubectl create -f https://github.com/coreos/flannel/raw/master/Documentation/kube-flannel-rbac.yml
clusterrole "flannel" configured
clusterrolebinding "flannel" configured
kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
serviceaccount "flannel" created
configmap "kube-flannel-cfg" created
daemonset "kube-flannel-ds" created
也可以将flannel从git上下载到本地。执行安装命令：
kubectl create -f /root/flannel/Documentation/kube-flannel-rbac.yml
kubectl create -f /root/flannel/Documentation/kube-flannel.yml
如果不执行rbac.yaml安装flannel会失败，出错信息如下：
E0404 :: main.go:] Failed to create SubnetManager: error retrieving pod spec for 'kube-system/kube-flannel-ds-21rx2': the server does not allow access to the requested resource (get pods kube-flannel-ds-wlr92)
解决此问题参考：
https://github.com/kubernetes/kubernetes/issues/44029
https://github.com/kubernetes/kubeadm/issues/212#issuecomment-290908868
安装flannel需要下载flannel镜像，安装过程需要一定的时间。
稍等片刻，我们再来看master node上的cluster信息：
# ps aux|grep kube|grep flannel
root ? Ssl Apr12 : /opt/bin/flanneld --ip-masq --kube-subnet-mgr
root ? Ss Apr12 : /bin/sh -c set -e -x; cp -f /etc/kube-flannel/cni-conf.json /etc/cni/net.d/-flannel.conf; while true; do sleep ; done
检查各节点组件运行状态，集群的核心组件已经全部run起来了：
kube-system etcd-ubuntu- / Running h ubuntu-
kube-system kube-apiserver-ubuntu- / Running h ubuntu-
kube-system kube-controller-manager-ubuntu- / Running h ubuntu-
kube-system kube-dns--gp5g / ContainerCreating h liyun-
kube-system kube-proxy-g37kc / Running h ubuntu-
kube-system kube-proxy-jq099 / Running h ubuntu-
kube-system kube-scheduler-ubuntu- / Running h ubuntu-
测试DNS
- 创建检测DNS pod
# kubectl run curl --image=radial/busyboxplus:curl -i --tty
Waiting for pod default/curl--xx4j to be running, status is Pending, pod ready: false
Waiting for pod default/curl--xx4j to be running, status is Pending, pod ready: false
Waiting for pod default/curl--xx4j to be running, status is Pending, pod ready: false
Waiting for pod default/curl--xx4j to be running, status is Pending, pod ready: false
- 进入后执行nslookup kubernetes.default确认解析正常。
[ [email protected]:/ ]$ nslookup kubernetes.default
Server:
Address : kube-dns.kube-system.svc.cluster.local
Name: kubernetes.default
Address : kubernetes.default.svc.cluster.local
- 测试OK后，删除掉curl这个Pod。
到这一步就可以向集群中发布微服务了，同时可以使用kubeadm join命令添加新的Node到集群中
3.1.6 部署node节点
将node加入cluster了。这里使用：kubeadm join。在执行此命令时需要执行3.1.1步骤的命令。
在node上执行（注意：这里要保证token是正确的从init的日志里可以获取到，）,根据Master上初始化成功后会打印的token：
# kubeadm join --token=f8fd36209e97 :
Node join complete:
* Certificate signing request sent to master and response
received.
* Kubelet informed of new secure connection details.
3.1.6.1 验证node组件情况
在node上看到的k8s组件情况如下：
# # docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
fb8 cee19df39c "/bin/sh -c 'set -e -" hours ago Up hours k8s_install-cni_kube-flannel-ds-cglqb_kube-system_65acef63-70---fa163eb0d754_0
d019688880 gcr.io/google_containers/[email protected]:2120171330a26c2418a4367fb0f3cc3e92683b00d16e3cf8c7f92e25bf14 "/usr/local/bin/kube-" hours ago Up hours k8s_kube-proxy_kube-proxy-jq099_kube-system_65ad1853-70---fa163eb0d754_0
a2d290a9d113 cee19df39c "/opt/bin/flanneld --" hours ago Up hours k8s_kube-flannel_kube-flannel-ds-cglqb_kube-system_65acef63-70---fa163eb0d754_0
a02ab7b54622 gcr.io/google_containers/pause-amd64: "/pause" hours ago Up hours k8s_POD_kube-proxy-jq099_kube-system_65ad1853-70---fa163eb0d754_0
e2faebbaa4ec gcr.io/google_containers/pause-amd64: "/pause" hours ago Up hours k8s_POD_kube-flannel-ds-cglqb_kube-system_65acef63-70---fa163eb0d754_0
3.1.7 验证集群状态
现在集群搭建完成了，验证集群状态，在master node上查看当前cluster状态：
# kubectl get nodes
NAME STATUS AGE
ubuntu01 Ready,master h
ubuntu02 Ready h
出现以上状态，表面础环境就搭好了，可以后续继续验证是否真正成功，可以尝试部署服务等
3.1.8 部署微服务（可选）
上面步骤已经部署完成了一套kubernetes环境，下面部署一个官方提供的电商微服务应用。
# kubectl create namespace sock-shop
# kubectl apply -n sock-shop -f "https://github.com/microservices-demo/microservices-demo/blob/master/deploy/kubernetes/complete-demo.yaml?raw=true"
然后查看分配给样例应用的服务信息:
# kubectl describe svc front-end -n sock-shop
Name: front-end
Namespace: sock-shop
Labels: name=front-end
Selector: name=front-end
Type: NodePort
IP:
Port: <unset> /TCP
NodePort: <unset> /TCP
Endpoints: :
Session Affinity: None
No events.
经过几分钟，会下载所需镜像病启动样例应用所需容器，然后就可以通过命令kubectl get pods -n sock-shop的输出查看样例应用POD详细信息
# kubectl get pods -n sock-shop
NAME READY STATUS RESTARTS AGE
carts-2925342755-hvwcc 1/1 Running 0 22h
carts-db-2797325130-vst02 1/1 Running 0 22h
catalogue-1279937814-tplnb 1/1 Running 0 22h
catalogue-db-2290683463-6bf7p 1/1 Running 0 22h
front-end--gk1qc / Running h
orders--qkm9 / Running h
orders-db--stcmc / Running h
payment--zhq9v / Running h
queue-master--wn0d5 / Running h
rabbitmq--gftt / Running h
shipping--jznnj / Running h
user--jgt9h / Running h
user-db--nl4 / Running h
进入到Kubernetes集群的master节点上，通过浏览器访问http://:。在上面这个例子中，端口是30001，这个端口可以通过命令kubectl describe查询出来。
访问http://:会出现以下页面：
如果有防火墙，那么确保这个端口可以被访问到。
3.1.9 将maste节点设为可调度的节点（可选）
Kubeadm默认安装时，master node将不会参与Pod调度，不会承载work load，即不会有非核心组件的Pod在Master node上被创建出来。当然通过kubectl taint命令可以解除这一限制
#kubectl taint nodes ubuntu-01 dedicated-
node "ubuntu-01" tainted
3.2.0 不在master节点上操作集群，而是在其他工作节点上操作集群（可选）
需要将master节点上面的kubernetes配置文件拷贝到当前节点上，然后执行kubectl命令:
# scp root@<master ip>:/etc/kubernetes/admin.conf .
# kubectl --kubeconfig ./admin.conf get nodes
3.2.1 卸载（可选）
参照问题总结的2和3.
四.安装问题总结： ###
- 由于使用kubeadm安装的kubernetes核心组件都是以docker容器的形式运行，如果安装过程出现问题，需要先执行下面的命令清理之前的执行残留后，才能重新开始。
- 如果需要重新部署删除node节点需要执行一下命令：
# kubectl drain <node name> --delete-local-data --force --ignore-daemonsets
# kubectl delete node <node name>
3 kubeadm会自动检查当前环境是否有上次命令执行的“残留”。如果有，必须清理后再行执行init。我们可以通过”kubeadm reset”来清理环境，以备重来。
# kubeadm reset
[preflight] Running pre-flight checks
[reset] Stopping the kubelet service
[reset] Unmounting mounted directories in "/var/lib/kubelet"
[reset] Removing kubernetes-managed containers
[reset] Deleting contents of stateful directories: [/var/lib/kubelet /etc/cni/net.d /var/lib/etcd]
[reset] Deleting contents of config directories: [/etc/kubernetes/manifests /etc/kubernetes/pki]
[reset] Deleting files: [/etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf]
4 初始化集群如果想要指定kubernetes版本，可使用一下指令：（，如果不指定使用最新版本）
kubeadm init --kubernetes-version=v1 --pod-network-cidr=/
5 如果想要查看容器详情可以通过。可使用如下指令：
$ kubectl describe 指令
$ kubectl logs 指令
6 获取加入node节点的token。可使用如下指令：kubeadm token list
# kubeadm token list
TOKEN TTL EXPIRES USAGES DESCRIPTION
be7644ba2439ae9ba6529 <forever> <never> authentication,signing The default bootstrap token generated by 'kubeadm init'.
参考文档：
Installing Kubernetes on Linux with kubeadm主要参照这篇官方文档。
![RAID磁盘阵列详细介绍[图]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)