kubernetes 叢集搭建( kubeadm 方式 )

1、前置知識點

目前生産部署 kubernetes 叢集主要有兩種方式，kubeadm方式和二進制方式，其中kubeadm方式比較友善快捷，

kubeadm 是一個 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部署 kubernetes 叢集。

官方位址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

2 、kubeadm 部署方式介紹

kubeadm 是官方社群推出的一個用于快速部署 kubernetes 叢集的工具，這個工具能通

過兩條指令完成一個 kubernetes 叢集的部署：

第一、建立一個 Master 節點 kubeadm init

第二，将 Node 節點加入到目前叢集中 $ kubeadm join <Master 節點的 IP 和端口 >

3 、安裝要求

在開始之前，部署 Kubernetes 叢集機器需要滿足以下幾個條件：

- 一台或多台機器，作業系統 CentOS7.x-86_x64

- 硬體配置：2GB 或更多 RAM，2 個 CPU 或更多 CPU，硬碟 30GB 或更多

- 叢集中所有機器之間網絡互通

- 可以通路外網，需要拉取鏡像

- 禁止 swap 分區

4 、最終目标

（1）在所有節點上安裝 Docker 和 kubeadm

（2）部署 Kubernetes Master

（3）部署容器網絡插件

（4）部署 Kubernetes Node，将節點加入 Kubernetes 叢集中

5、環境準備

三台伺服器，一主兩從：

k8s-master 10.10.166.200

k8s-node1 10.10.166.201

k8s-node2 10.10.166.202

6、系統初始化

6.1 關閉防火牆：

$ systemctl stop firewalld

$ systemctl disable firewalld

6.2 關閉 selinux：

$ setenforce 0 # 臨時關閉

$ sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久關閉

6.3 關閉 swap：

$ swapoff -a    # 臨時關閉swap

$ sed -ri 's/.*swap.*/#&/' /etc/fstab #永久關閉swap

6.4 主機名：

$ hostnamectl set-hostname <hostname>

6.5 在 master 添加 hosts：

$ cat >> /etc/hosts << EOF

10.10.166.200 k8s-master

10.10.166.201 k8s-node1

10.10.166.202 k8s-node2

EOF

6.6 将橋接的 IPv4 流量傳遞到 iptables 的鍊：

$ cat > /etc/sysctl.d/k8s.conf << EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

$ sysctl --system # 生效

6.7 時間同步：

$ yum install ntpdate -y

$ ntpdate time.windows.com

7 、所有節點安裝 Docker/kubeadm/kubelet

Kubernetes 預設 CRI（容器運作時）為 Docker，是以先安裝 Docker。

（1）安裝 Docker

$ yum install wget -y

$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

$ yum -y install docker-ce-18.06.1.ce-3.el7

$ systemctl enable docker && systemctl start docker

$ docker --version

（2）添加阿裡雲 YUM 軟體源

設定倉庫位址

# cat > /etc/docker/daemon.json << EOF

{

   "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]

}

EOF

添加 yum 源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

（3）安裝 kubeadm，kubelet 和 kubectl

$ yum install -y kubelet kubeadm kubectl

$ systemctl enable kubelet

8 、部署 Kubernetes Master

（1）在 10.10.166.200（Master）執行

kubeadm init \
--apiserver-advertise-address=10.10.166.200 \
--image-repository registry.aliyuncs.com/google_containers \
--ignore-preflight-errors=Swap \
--kubernetes-version v1.19.2 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

由于預設拉取鏡像位址 k8s.gcr.io 國内無法通路，這裡指定阿裡雲鏡像倉庫位址。

（2）使用 kubectl 工具：

$ mkdir -p $HOME/.kube

$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

$ kubectl get nodes

9 、安裝 Pod 網絡插件（CNI）

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

確定能夠通路到 quay.io 這個 registery。如果 Pod 鏡像下載下傳失敗，可以改這個鏡像位址

10 、加入 s Kubernetes Node

（1）在 10.10.166.201/10.10.166.202（Node）執行

向叢集添加新節點，執行在 kubeadm init 輸出的 kubeadm join 指令：

$ kubeadm join 10.10.166.200:6443 --token tpvyrp.1u2yrw4i8cxm5bop \
    --discovery-token-ca-cert-hash sha256:fb23a3f81fabf3231ec77e8e901527b14d258177ef8cead747e7a07f8a479a8a

11 、測試 kubernetes 叢集

在 Kubernetes 叢集中建立一個 pod，驗證是否正常運作：

$ kubectl create deployment nginx --image=nginx

$ kubectl expose deployment nginx --port=80 --type=NodePort

$ kubectl get pod,svc

通路位址：http://NodeIP:Port

12、部署單機版kubernetes

部署單機版k8s步驟與部署叢集基本一緻，步驟中去掉第10點，然後增加一個步驟，去掉 master 污點

13、去掉 master 污點

k8s是通過污點的機制來禁止 pod 部署在 master 上的，去除污點後 pod 會部署到 master 上，就成了單機版 k8s了

其實和就是和k8s叢集部署一樣，少了個節點加入，多了個去除 master 節點的污點。

(1)、檢視污點

$ kubectl describe node

#可以看到 
Taints:             node-role.kubernetes.io/master:NoSchedule

(2)、去掉污點

$ kubectl taint nodes --all node-role.kubernetes.io/master-

通路位址：http://NodeIP:Port

14、删除svc，pod

(1)、删除svc:

$  kubectl get svc   //查詢是以的svc

$ kubectl delete svc svcName

(2)、删除pod

直接删除pod，又會自動建立，用删除deployment方法來删除pod

$ kubectl get deployment  //查詢出所有的deployment

$ kubectl delete deployment deploymentName

15、備注

要想外網能固定端口通路，編輯新建立的svc，比如：

$ kubectl edit svc nginx

固定範圍在kube-apiserver配置檔案下參數

--service-node-port-range=30000-50000

預設情況下k8s對外暴露端口範圍隻能是30000-32767，這個範圍其實是可以通過設定改變的。

編輯配置檔案：

sudo vi /etc/kubernetes/manifests/kube-apiserver.yaml

在

spec.containers.command

中添加如下配置，要注意格式

spec:
  containers:
  - command:
    - kube-apiserver
    - --service-node-port-range=1-65535  #端口範圍，注意格式
    - --advertise-address=10.10.166.203
    - --allow-privileged=true
    - --authorization-mode=Node,RBAC
    - --client-ca-file=/etc/kubernetes/pki/ca.crt
    - --enable-admission-plugins=NodeRestriction
    - --enable-bootstrap-token-auth=true
    - --etcd-cafile=/etc/kubernetes/pki/etcd/ca.crt
    - --etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt
    - --etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key
    - --etcd-servers=https://127.0.0.1:2379
    - --insecure-port=0
    - --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt
    - --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key
    - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
    - --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt
    - --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key
    - --requestheader-allowed-names=front-proxy-client
    - --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt
    - --requestheader-extra-headers-prefix=X-Remote-Extra-
    - --requestheader-group-headers=X-Remote-Group
    - --requestheader-username-headers=X-Remote-User
    - --secure-port=6443
    - --service-account-key-file=/etc/kubernetes/pki/sa.pub
    - --service-cluster-ip-range=10.96.0.0/12
    - --tls-cert-file=/etc/kubernetes/pki/apiserver.crt
    - --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
    image: registry.aliyuncs.com/google_containers/kube-apiserver:v1.19.2

apiserver會自動更新配置，稍等一會兒配置就會生效。

示例如下：

apiVersion: v1
kind: Service
metadata:
  creationTimestamp: "2020-09-29T00:52:07Z"
  labels:
    app: nginx
  name: nginx
  namespace: default
  resourceVersion: "2796"
  selfLink: /api/v1/namespaces/default/services/nginx
  uid: 47d61432-f03b-4a9a-93de-559524cde445
spec:
  clusterIP: 10.102.61.94
  externalTrafficPolicy: Cluster
  ports:
  - nodePort: 30499  #此處修改成外網通路的固定的端口，固定端口數值，必須是配置檔案範圍内
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  sessionAffinity: None
  type: NodePort
status:
  loadBalancer: {}

kubernetes 叢集搭建( kubeadm 方式 )

繼續閱讀

pod的深入了解

深入了解Kubernetes資源限制：記憶體深入了解Kubernetes資源限制：記憶體

安裝harborInstallation and Configuration Guide

【k8s學習系列】第2篇，規模和更新部署k8s學習系列前言規模和更新部署總結

Kubernetes - Kubernetes 元件

k8s部署es叢集和kibana

kubernetes學習筆記--挂載GlusterFS存儲卷

Kubernetes - Xshell連接配接虛拟機 & 搭建Kubernetes基礎叢集

Kubernetes學習--資源管理方式

kubernetes-雲原生技術進階第18講：Kubernetes 排程和資源管理第18講：Kubernetes 排程和資源管理一、Kubernetes 排程過程二、Kubernetes 基礎排程力三、Kubernetes 進階排程能力

通過serviceAccount的secret通路kubernetes API Server前提設定環境變量通過curl通路restAPI額外部分

cephadm離線搭建v17.2.0 Quincy版本Ceph叢集叢集規劃準備工作

使用jvm監控工具(jconsole、jvisualvm)通過jmx遠端連接配接kubernetes上的java應用

Error: docker-ce conflicts with 2:docker-1.13.1-53.git774336d.el7.centos.x86_64

golang建構Dockerfile，并打包成鏡像，運作在docker和k8s上

使用kubeadm+calico部署kubernetes v1.25.3