一、前言
二、基礎環境部署
- 1）前期準備（所有節點）
- 2）安裝容器 docker（所有節點）
- 3）配置 k8s yum 源（所有節點）
- 4）将 sandbox_image 鏡像源設定為阿裡雲 google_containers 鏡像源（所有節點）
- 5）配置 containerd cgroup 驅動程式 systemd（所有節點）
- 6）開始安裝 kubeadm，kubelet 和 kubectl（master 節點）
- 7）使用 kubeadm 初始化叢集（master 節點）
- 8）安裝 Pod 網絡插件（CNI：Container Network Interface）(master)
- 9）node 節點加入 k8s 叢集
- 10）配置 IPVS
- 11）叢集高可用配置
- 12）部署 Nginx+Keepalived 高可用負載均衡器
三、k8s 管理平台 dashboard 環境部署
- 1）dashboard 部署
- 2）建立登入使用者
- 3）配置 hosts 登入 dashboard web
四、k8s 鏡像倉庫 harbor 環境部署
- 1）安裝 helm
- 2）配置 hosts
- 3）建立 stl 證書
- 4）安裝 ingress
- 5）安裝 nfs
- 6）建立 nfs provisioner 和持久化存儲 SC
- 7）部署 Harbor（Https 方式）
一、前言
官網：https://kubernetes.io/
官方文檔：https://kubernetes.io/zh-cn/docs/home/
二、基礎環境部署
1）前期準備（所有節點）
1、修改主機名和配置 hosts
先部署 1master 和 2node 節點，後面再加一個 master 節點
# 在192.168.0.113執行
hostnamectl set-hostname k8s-master-168-0-113
# 在192.168.0.114執行
hostnamectl set-hostname k8s-node1-168-0-114
# 在192.168.0.115執行
hostnamectl set-hostname k8s-node2-168-0-115
配置 hosts
cat >> /etc/hosts<<EOF
192.168.0.113 k8s-master-168-0-113
192.168.0.114 k8s-node1-168-0-114
192.168.0.115 k8s-node2-168-0-115
EOF
2、配置 ssh 互信
# 直接一直回車就行
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115
3、時間同步
yum install chrony -y
systemctl start chronyd
systemctl enable chronyd
chronyc sources
4、關閉防火牆
systemctl stop firewalld
systemctl disable firewalld
5、關閉 swap
# 臨時關閉；關閉swap主要是為了性能考慮
swapoff -a
# 可以通過這個指令檢視swap是否關閉了
free
# 永久關閉
sed -ri 's/.*swap.*/#&/' /etc/fstab
6、禁用 SELinux
# 臨時關閉
setenforce 0
# 永久禁用
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
7、允許 iptables 檢查橋接流量（可選，所有節點）
若要顯式加載此子產品，請運作 sudo modprobe br_netfilter，通過運作 lsmod | grep br_netfilter 來驗證 br_netfilter 子產品是否已加載。
sudo modprobe br_netfilter
lsmod | grep br_netfilter
為了讓 Linux 節點的 iptables 能夠正确檢視橋接流量，請确認 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 設定為 1。例如：
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter
# 設定所需的 sysctl 參數，參數在重新啟動後保持不變
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
# 應用 sysctl 參數而不重新啟動
sudo sysctl --system
2）安裝容器 docker（所有節點）
提示：v1.24 之前的 Kubernetes 版本包括與 Docker Engine 的直接內建，使用名為 dockershim 的元件。這種特殊的直接整合不再是 Kubernetes 的一部分 （這次删除被作為 v1.20 發行版本的一部分宣布）。你可以閱讀檢查 Dockershim 棄用是否會影響你 以了解此删除可能會如何影響你。要了解如何使用 dockershim 進行遷移，請參閱從 dockershim 遷移。
# 配置yum源
cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/
# centos7
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# centos8
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo
# 安裝yum-config-manager配置工具
yum -y install yum-utils
# 設定yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安裝docker-ce版本
yum install -y docker-ce
# 啟動
systemctl start docker
# 開機自啟
systemctl enable docker
# 檢視版本号
docker --version
# 檢視版本具體資訊
docker version
# Docker鏡像源設定
# 修改檔案 /etc/docker/daemon.json，沒有這個檔案就建立
# 添加以下内容後，重新開機docker服務：
cat >/etc/docker/daemon.json<<EOF
{
"registry-mirrors": ["http://hub-mirror.c.163.com"]
}
EOF
# 加載
systemctl reload docker
# 檢視
systemctl status docker containerd
【溫馨提示】dockerd 實際真實調用的還是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之間的一個中間交流元件。是以啟動 docker 服務的時候，也會啟動 containerd 服務的。
3）配置 k8s yum 源（所有節點）
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF
4）将 sandbox_image 鏡像源設定為阿裡雲 google_containers 鏡像源（所有節點）
# 導出預設配置，config.toml這個檔案預設是不存在的
containerd config default > /etc/containerd/config.toml
grep sandbox_image /etc/containerd/config.toml
sed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g" /etc/containerd/config.toml
grep sandbox_image /etc/containerd/config.toml 
5）配置 containerd cgroup 驅動程式 systemd（所有節點）
kubernets 自ｖ 1.24.0 後，就不再使用 docker.shim，替換采用 containerd 作為容器運作時端點。是以需要安裝 containerd（在 docker 的基礎下安裝），上面安裝 docker 的時候就自動安裝了 containerd 了。這裡的 docker 隻是作為用戶端而已。容器引擎還是 containerd。
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml
# 應用所有更改後,重新啟動containerd
systemctl restart containerd
6）開始安裝 kubeadm，kubelet 和 kubectl（master 節點）
# 不指定版本就是最新版本，目前最新版就是1.24.1
yum install -y kubelet-1.24.1 kubeadm-1.24.1 kubectl-1.24.1 --disableexcludes=kubernetes
# disableexcludes=kubernetes：禁掉除了這個kubernetes之外的别的倉庫
# 設定為開機自啟并現在立刻啟動服務 --now：立刻啟動服務
systemctl enable --now kubelet
# 檢視狀态，這裡需要等待一段時間再檢視服務狀态，啟動會有點慢
systemctl status kubelet 
檢視日志，發現有報錯，報錯如下：
kubelet.service: Main process exited, code=exited, status=1/FAILURE kubelet.service: Failed with result 'exit-code'.
【解釋】重新安裝（或第一次安裝）k8s，未經過 kubeadm init 或者 kubeadm join 後，kubelet 會不斷重新開機，這個是正常現象……，執行 init 或 join 後問題會自動解決，對此官網有如下描述，也就是此時不用理會 kubelet.service。
檢視版本
kubectl version
yum info kubeadm 7）使用 kubeadm 初始化叢集（master 節點）
最好提前把鏡像下載下傳好，這樣安裝快
docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.24.1
docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.24.1
docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.24.1
docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.24.1
docker pull registry.aliyuncs.com/google_containers/pause:3.7
docker pull registry.aliyuncs.com/google_containers/etcd:3.5.3-0
docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6
叢集初始化
kubeadm init \
--apiserver-advertise-address=192.168.0.113 \
--image-repository registry.aliyuncs.com/google_containers \
--control-plane-endpoint=cluster-endpoint \
--kubernetes-version v1.24.1 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--v=5
# –image-repository string： 這個用于指定從什麼位置來拉取鏡像（1.13版本才有的），預設值是k8s.gcr.io，我們将其指定為國内鏡像位址：registry.aliyuncs.com/google_containers
# –kubernetes-version string： 指定kubenets版本号，預設值是stable-1，會導緻從https://dl.k8s.io/release/stable-1.txt下載下傳最新的版本号，我們可以将其指定為固定版本（v1.22.1）來跳過網絡請求。
# –apiserver-advertise-address 指明用 Master 的哪個 interface 與 Cluster 的其他節點通信。如果 Master 有多個 interface，建議明确指定，如果不指定，kubeadm 會自動選擇有預設網關的 interface。這裡的ip為master節點ip，記得更換。
# –pod-network-cidr 指定 Pod 網絡的範圍。Kubernetes 支援多種網絡方案，而且不同網絡方案對 –pod-network-cidr有自己的要求，這裡設定為10.244.0.0/16 是因為我們将使用 flannel 網絡方案，必須設定成這個 CIDR。
# --control-plane-endpoint cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這裡配置hosts映射：192.168.0.113 cluster-endpoint。 這将允許你将 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并将相同的 DNS 名稱傳遞給 kubeadm join。 稍後你可以修改 cluster-endpoint 以指向高可用性方案中的負載均衡器的位址。
【溫馨提示】kubeadm 不支援将沒有 --control-plane-endpoint 參數的單個控制平面叢集轉換為高可用性叢集。
重置再初始化
kubeadm reset
rm -fr ~/.kube/ /etc/kubernetes/* var/lib/etcd/*
kubeadm init \
--apiserver-advertise-address=192.168.0.113 \
--image-repository registry.aliyuncs.com/google_containers \
--control-plane-endpoint=cluster-endpoint \
--kubernetes-version v1.24.1 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--v=5
# –image-repository string： 這個用于指定從什麼位置來拉取鏡像（1.13版本才有的），預設值是k8s.gcr.io，我們将其指定為國内鏡像位址：registry.aliyuncs.com/google_containers
# –kubernetes-version string： 指定kubenets版本号，預設值是stable-1，會導緻從https://dl.k8s.io/release/stable-1.txt下載下傳最新的版本号，我們可以将其指定為固定版本（v1.22.1）來跳過網絡請求。
# –apiserver-advertise-address 指明用 Master 的哪個 interface 與 Cluster 的其他節點通信。如果 Master 有多個 interface，建議明确指定，如果不指定，kubeadm 會自動選擇有預設網關的 interface。這裡的ip為master節點ip，記得更換。
# –pod-network-cidr 指定 Pod 網絡的範圍。Kubernetes 支援多種網絡方案，而且不同網絡方案對 –pod-network-cidr有自己的要求，這裡設定為10.244.0.0/16 是因為我們将使用 flannel 網絡方案，必須設定成這個 CIDR。
# --control-plane-endpoint cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這裡配置hosts映射：192.168.0.113 cluster-endpoint。 這将允許你将 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并将相同的 DNS 名稱傳遞給 kubeadm join。 稍後你可以修改 cluster-endpoint 以指向高可用性方案中的負載均衡器的位址。
配置環境變量
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 臨時生效（退出目前視窗重連環境變量失效）
export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效（推薦）
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile 發現節點還是有問題，檢視日志 /var/log/messages
"Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: cni plugin not initialized"
接下來就是安裝 Pod 網絡插件
8）安裝 Pod 網絡插件（CNI：Container Network Interface）(master)
你必須部署一個基于 Pod 網絡插件的 容器網絡接口 (CNI)，以便你的 Pod 可以互相通信。
# 最好提前下載下傳鏡像（所有節點）
docker pull quay.io/coreos/flannel:v0.14.0
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如果上面安裝失敗，則下載下傳我百度裡的，離線安裝
連結：https://pan.baidu.com/s/1HB9xuO3bssAW7v5HzpXkeQ
提取碼：8888
再檢視 node 節點，就已經正常了
9）node 節點加入 k8s 叢集
先安裝 kubelet
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
# 設定為開機自啟并現在立刻啟動服務 --now：立刻啟動服務
systemctl enable --now kubelet
systemctl status kubelet
如果沒有令牌，可以通過在控制平面節點上運作以下指令來擷取令牌：
kubeadm token list
預設情況下，令牌會在24小時後過期。如果要在目前令牌過期後将節點加入叢集， 則可以通過在控制平面節點上運作以下指令來建立新令牌：
kubeadm token create
# 再檢視
kubeadm token list
如果你沒有 –discovery-token-ca-cert-hash 的值，則可以通過在控制平面節點上執行以下指令鍊來擷取它：
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
如果執行 kubeadm init 時沒有記錄下加入叢集的指令，可以通過以下指令重新建立（推薦）一般不用上面的分别擷取 token 和 ca-cert-hash 方式，執行以下指令一氣呵成：
kubeadm token create --print-join-command
這裡需要等待一段時間，再檢視節點節點狀态，因為需要安裝 kube-proxy 和 flannel。
kubectl get pods -A
kubectl get nodes
10）配置 IPVS
【問題】叢集内無法 ping 通 ClusterIP（或 ServiceName）
1、加載 ip_vs 相關核心子產品
modprobe -- ip_vs
modprobe -- ip_vs_sh
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
所有節點驗證開啟了 ipvs：
lsmod |grep ip_vs
2、安裝 ipvsadm 工具
yum install ipset ipvsadm -y
3、編輯 kube-proxy 配置檔案，mode 修改成 ipvs
kubectl edit configmap -n kube-system kube-proxy 4、重新開機 kube-proxy
# 先檢視
kubectl get pod -n kube-system | grep kube-proxy
# 再delete讓它自拉起
kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'
# 再檢視
kubectl get pod -n kube-system | grep kube-proxy
5、檢視 ipvs 轉發規則
ipvsadm -Ln
11）叢集高可用配置
配置高可用（HA）Kubernetes 叢集實作的兩種方案：
使用堆疊（stacked）控制平面節點，其中 etcd 節點與控制平面節點共存（本章使用），架構圖如下：
使用外部 etcd 節點，其中 etcd 在與控制平面不同的節點上運作，架構圖如下：
這裡新增一台機器作為另外一個 master 節點：192.168.0.116 配置跟上面 master 節點一樣。隻是不需要最後一步初始化了。
1、修改主機名和配置 hosts
所有節點都統一如下配置：
# 在192.168.0.113執行
hostnamectl set-hostname k8s-master-168-0-113
# 在192.168.0.114執行
hostnamectl set-hostname k8s-node1-168-0-114
# 在192.168.0.115執行
hostnamectl set-hostname k8s-node2-168-0-115
# 在192.168.0.116執行
hostnamectl set-hostname k8s-master2-168-0-116
配置 hosts
cat >> /etc/hosts<<EOF
192.168.0.113 k8s-master-168-0-113 cluster-endpoint
192.168.0.114 k8s-node1-168-0-114
192.168.0.115 k8s-node2-168-0-115
192.168.0.116 k8s-master2-168-0-116
EOF
2、配置 ssh 互信
# 直接一直回車就行
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115
ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master2-168-0-116
3、時間同步
yum install chrony -y
systemctl start chronyd
systemctl enable chronyd
chronyc sources
關閉防火牆
systemctl stop firewalld
systemctl disable firewalld
4、關閉 swap
# 臨時關閉；關閉swap主要是為了性能考慮
swapoff -a
# 可以通過這個指令檢視swap是否關閉了
free
# 永久關閉
sed -ri 's/.*swap.*/#&/' /etc/fstab
5、禁用 SELinux
# 臨時關閉
setenforce 0
# 永久禁用
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
6、允許 iptables 檢查橋接流量（可選，所有節點）
若要顯式加載此子產品，請運作 sudo modprobe br_netfilter，通過運作 lsmod | grep br_netfilter 來驗證 br_netfilter 子產品是否已加載，
sudo modprobe br_netfilter
lsmod | grep br_netfilter
為了讓 Linux 節點的 iptables 能夠正确檢視橋接流量，請确認 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 設定為 1。例如：
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter
# 設定所需的 sysctl 參數，參數在重新啟動後保持不變
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
# 應用 sysctl 參數而不重新啟動
sudo sysctl --system
7、安裝容器 docker（所有節點）
提示：v1.24 之前的 Kubernetes 版本包括與 Docker Engine 的直接內建，使用名為 dockershim 的元件。這種特殊的直接整合不再是 Kubernetes 的一部分 （這次删除被作為 v1.20 發行版本的一部分宣布）。你可以閱讀檢查 Dockershim 棄用是否會影響你 以了解此删除可能會如何影響你。要了解如何使用 dockershim 進行遷移，請參閱從 dockershim 遷移。
# 配置yum源
cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/
# centos7
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# centos8
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo
# 安裝yum-config-manager配置工具
yum -y install yum-utils
# 設定yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安裝docker-ce版本
yum install -y docker-ce
# 啟動
systemctl start docker
# 開機自啟
systemctl enable docker
# 檢視版本号
docker --version
# 檢視版本具體資訊
docker version
# Docker鏡像源設定
# 修改檔案 /etc/docker/daemon.json，沒有這個檔案就建立
# 添加以下内容後，重新開機docker服務：
cat >/etc/docker/daemon.json<<EOF
{
"registry-mirrors": ["http://hub-mirror.c.163.com"]
}
EOF
# 加載
systemctl reload docker
# 檢視
systemctl status docker containerd
【溫馨提示】dockerd 實際真實調用的還是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之間的一個中間交流元件。是以啟動 docker 服務的時候，也會啟動 containerd 服務的。
8、配置 k8s yum 源（所有節點）
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF
9、将 sandbox_image 鏡像源設定為阿裡雲 google_containers 鏡像源（所有節點）
# 導出預設配置，config.toml這個檔案預設是不存在的
containerd config default > /etc/containerd/config.toml
grep sandbox_image /etc/containerd/config.toml
sed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g" /etc/containerd/config.toml
grep sandbox_image /etc/containerd/config.toml
10、配置 containerd cgroup 驅動程式 systemd
kubernets 自ｖ 1.24.0 後，就不再使用 docker.shim，替換采用 containerd 作為容器運作時端點。是以需要安裝 containerd（在 docker 的基礎下安裝），上面安裝 docker 的時候就自動安裝了 containerd 了。這裡的 docker 隻是作為用戶端而已。容器引擎還是 containerd。
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml
# 應用所有更改後,重新啟動containerd
systemctl restart containerd
11、開始安裝 kubeadm，kubelet 和 kubectl（master 節點）
# 不指定版本就是最新版本，目前最新版就是1.24.1
yum install -y kubelet-1.24.1 kubeadm-1.24.1 kubectl-1.24.1 --disableexcludes=kubernetes
# disableexcludes=kubernetes：禁掉除了這個kubernetes之外的别的倉庫
# 設定為開機自啟并現在立刻啟動服務 --now：立刻啟動服務
systemctl enable --now kubelet
# 檢視狀态，這裡需要等待一段時間再檢視服務狀态，啟動會有點慢
systemctl status kubelet
# 檢視版本
kubectl version
yum info kubeadm
12、加入 k8s 叢集
# 證如果過期了，可以使用下面指令生成新證書上傳，這裡會列印出certificate key，後面會用到
kubeadm init phase upload-certs --upload-certs
# 你還可以在 【init】期間指定自定義的 --certificate-key，以後可以由 join 使用。 要生成這樣的密鑰，可以使用以下指令（這裡不執行，就用上面那個自指令就可以了）：
kubeadm certs certificate-key
kubeadm token create --print-join-command
kubeadm join cluster-endpoint:6443 --token wswrfw.fc81au4yvy6ovmhh --discovery-token-ca-cert-hash sha256:43a3924c25104d4393462105639f6a02b8ce284728775ef9f9c30eed8e0abc0f --control-plane --certificate-key 8d2709697403b74e35d05a420bd2c19fd8c11914eb45f2ff22937b245bed5b68
# --control-plane 标志通知 kubeadm join 建立一個新的控制平面。加入master必須加這個标記
# --certificate-key ... 将導緻從叢集中的 kubeadm-certs Secret 下載下傳控制平面證書并使用給定的密鑰進行解密。這裡的值
根據提示執行如下指令：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
檢視
kubectl get nodes
kubectl get pods -A -owide
雖然現在已經有兩個 master 了，但是對外還是隻能有一個入口的，是以還得要一個負載均衡器，如果一個 master 挂了，會自動切到另外一個 master 節點。
12）部署 Nginx+Keepalived 高可用負載均衡器
1、安裝 Nginx 和 Keepalived
# 在兩個master節點上執行
yum install nginx keepalived -y
2、Nginx 配置
在兩個 master 節點配置
cat > /etc/nginx/nginx.conf << "EOF"
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
# 四層負載均衡，為兩台Master apiserver元件提供負載均衡
stream {
log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
access_log /var/log/nginx/k8s-access.log main;
upstream k8s-apiserver {
# Master APISERVER IP:PORT
server 192.168.0.113:6443;
# Master2 APISERVER IP:PORT
server 192.168.0.116:6443;
}
server {
listen 16443;
proxy_pass k8s-apiserver;
}
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
server {
listen 80 default_server;
server_name _;
location / {
}
}
}
EOF
【溫馨提示】如果隻保證高可用，不配置 k8s-apiserver 負載均衡的話，可以不裝 nginx，但是最好還是配置一下 k8s-apiserver 負載均衡。
3、Keepalived 配置（master）
cat > /etc/keepalived/keepalived.conf << EOF
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_MASTER
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51 # VRRP 路由 ID執行個體，每個執行個體是唯一的
priority 100 # 優先級，備伺服器設定 90
advert_int 1 # 指定VRRP 心跳包通告間隔時間，預設1秒
authentication {
auth_type PASS
auth_pass 1111
}
# 虛拟IP
virtual_ipaddress {
192.168.0.120/24
}
track_script {
check_nginx
}
}
EOF
vrrp_script：指定檢查 nginx 工作狀态腳本（根據 nginx 狀态判斷是否故障轉移）
virtual_ipaddress：虛拟 IP（VIP）
檢查 nginx 狀态腳本：
cat > /etc/keepalived/check_nginx.sh << "EOF"
#!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$")
if [ "$count" -eq 0 ];then
exit 1
else
exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh
4、Keepalived 配置（backup）
cat > /etc/keepalived/keepalived.conf << EOF
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_BACKUP
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51 # VRRP 路由 ID執行個體，每個執行個體是唯一的
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.120/24
}
track_script {
check_nginx
}
}
EOF
檢查 nginx 狀态腳本：
cat > /etc/keepalived/check_nginx.sh << "EOF"
#!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$")
if [ "$count" -eq 0 ];then
exit 1
else
exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh
5、啟動并設定開機啟動
systemctl daemon-reload
systemctl restart nginx && systemctl enable nginx && systemctl status nginx
systemctl restart keepalived && systemctl enable keepalived && systemctl status keepalived
檢視 VIP
ip a
6、修改 hosts（所有節點）
将 cluster-endpoint 之前執行的 ip 修改執行現在的 VIP
192.168.0.113 k8s-master-168-0-113
192.168.0.114 k8s-node1-168-0-114
192.168.0.115 k8s-node2-168-0-115
192.168.0.116 k8s-master2-168-0-116
192.168.0.120 cluster-endpoint
7、測試驗證
檢視版本（負載均衡測試驗證）
curl -k https://cluster-endpoint:16443/version
高可用測試驗證，将 k8s-master-168-0-113 節點關機
shutdown -h now
curl -k https://cluster-endpoint:16443/version
kubectl get nodes -A
kubectl get pods -A
【溫馨提示】堆疊叢集存在耦合失敗的風險。如果一個節點發生故障，則 etcd 成員和控制平面執行個體都将丢失， 并且備援會受到影響。你可以通過添加更多控制平面節點來降低此風險。
三、k8s 管理平台 dashboard 環境部署
1）dashboard 部署
GitHub 位址：https://github.com/kubernetes/dashboard
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yaml
kubectl get pods -n kubernetes-dashboard
但是這個隻能内部通路，是以要外部通路，要麼部署 ingress，要麼就是設定 service NodePort 類型。這裡選擇 service 暴露端口。
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yaml
修改後的内容如下：
# Copyright 2017 The Kubernetes Authors.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
apiVersion: v1
kind: Namespace
metadata:
name: kubernetes-dashboard
---
apiVersion: v1
kind: ServiceAccount
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
---
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
type: NodePort
ports:
- port: 443
targetPort: 8443
nodePort: 31443
selector:
k8s-app: kubernetes-dashboard
---
apiVersion: v1
kind: Secret
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-certs
namespace: kubernetes-dashboard
type: Opaque
---
apiVersion: v1
kind: Secret
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-csrf
namespace: kubernetes-dashboard
type: Opaque
data:
csrf: ""
---
apiVersion: v1
kind: Secret
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-key-holder
namespace: kubernetes-dashboard
type: Opaque
---
kind: ConfigMap
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-settings
namespace: kubernetes-dashboard
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
rules:
# Allow Dashboard to get, update and delete Dashboard exclusive secrets.
- apiGroups: [""]
resources: ["secrets"]
resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]
verbs: ["get", "update", "delete"]
# Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.
- apiGroups: [""]
resources: ["configmaps"]
resourceNames: ["kubernetes-dashboard-settings"]
verbs: ["get", "update"]
# Allow Dashboard to get metrics.
- apiGroups: [""]
resources: ["services"]
resourceNames: ["heapster", "dashboard-metrics-scraper"]
verbs: ["proxy"]
- apiGroups: [""]
resources: ["services/proxy"]
resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]
verbs: ["get"]
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
rules:
# Allow Metrics Scraper to get metrics from the Metrics server
- apiGroups: ["metrics.k8s.io"]
resources: ["pods", "nodes"]
verbs: ["get", "list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: kubernetes-dashboard
subjects:
- kind: ServiceAccount
name: kubernetes-dashboard
namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: kubernetes-dashboard
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: kubernetes-dashboard
subjects:
- kind: ServiceAccount
name: kubernetes-dashboard
namespace: kubernetes-dashboard
---
kind: Deployment
apiVersion: apps/v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
k8s-app: kubernetes-dashboard
template:
metadata:
labels:
k8s-app: kubernetes-dashboard
spec:
securityContext:
seccompProfile:
type: RuntimeDefault
containers:
- name: kubernetes-dashboard
image: kubernetesui/dashboard:v2.6.0
imagePullPolicy: Always
ports:
- containerPort: 8443
protocol: TCP
args:
- --auto-generate-certificates
- --namespace=kubernetes-dashboard
# Uncomment the following line to manually specify Kubernetes API server Host
# If not specified, Dashboard will attempt to auto discover the API server and connect
# to it. Uncomment only if the default does not work.
# - --apiserver-host=http://my-address:port
volumeMounts:
- name: kubernetes-dashboard-certs
mountPath: /certs
# Create on-disk volume to store exec logs
- mountPath: /tmp
name: tmp-volume
livenessProbe:
httpGet:
scheme: HTTPS
path: /
port: 8443
initialDelaySeconds: 30
timeoutSeconds: 30
securityContext:
allowPrivilegeEscalation: false
readOnlyRootFilesystem: true
runAsUser: 1001
runAsGroup: 2001
volumes:
- name: kubernetes-dashboard-certs
secret:
secretName: kubernetes-dashboard-certs
- name: tmp-volume
emptyDir: {}
serviceAccountName: kubernetes-dashboard
nodeSelector:
"kubernetes.io/os": linux
# Comment the following tolerations if Dashboard must not be deployed on master
tolerations:
- key: node-role.kubernetes.io/master
effect: NoSchedule
---
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: dashboard-metrics-scraper
name: dashboard-metrics-scraper
namespace: kubernetes-dashboard
spec:
ports:
- port: 8000
targetPort: 8000
selector:
k8s-app: dashboard-metrics-scraper
---
kind: Deployment
apiVersion: apps/v1
metadata:
labels:
k8s-app: dashboard-metrics-scraper
name: dashboard-metrics-scraper
namespace: kubernetes-dashboard
spec:
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
k8s-app: dashboard-metrics-scraper
template:
metadata:
labels:
k8s-app: dashboard-metrics-scraper
spec:
securityContext:
seccompProfile:
type: RuntimeDefault
containers:
- name: dashboard-metrics-scraper
image: kubernetesui/metrics-scraper:v1.0.8
ports:
- containerPort: 8000
protocol: TCP
livenessProbe:
httpGet:
scheme: HTTP
path: /
port: 8000
initialDelaySeconds: 30
timeoutSeconds: 30
volumeMounts:
- mountPath: /tmp
name: tmp-volume
securityContext:
allowPrivilegeEscalation: false
readOnlyRootFilesystem: true
runAsUser: 1001
runAsGroup: 2001
serviceAccountName: kubernetes-dashboard
nodeSelector:
"kubernetes.io/os": linux
# Comment the following tolerations if Dashboard must not be deployed on master
tolerations:
- key: node-role.kubernetes.io/master
effect: NoSchedule
volumes:
- name: tmp-volume
emptyDir: {}
重新部署
kubectl delete -f recommended.yaml
kubectl apply -f recommended.yaml
kubectl get svc,pods -n kubernetes-dashboard
2）建立登入使用者
cat >ServiceAccount.yaml<<EOF
apiVersion: v1
kind: ServiceAccount
metadata:
name: admin-user
namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: admin-user
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: admin-user
namespace: kubernetes-dashboard
EOF
kubectl apply -f ServiceAccount.yaml
建立并擷取登入 token
kubectl -n kubernetes-dashboard create token admin-user
3）配置 hosts 登入 dashboard web
192.168.0.120 cluster-endpoint
登入：https://cluster-endpoint:31443
輸入上面建立的 token 登入
四、k8s 鏡像倉庫 harbor 環境部署
GitHub 位址：https://github.com/helm/helm/releases
這使用 helm 安裝，是以得先安裝 helm
1）安裝 helm
mkdir -p /opt/k8s/helm && cd /opt/k8s/helm
wget https://get.helm.sh/helm-v3.9.0-rc.1-linux-amd64.tar.gz
tar -xf helm-v3.9.0-rc.1-linux-amd64.tar.gz
ln -s /opt/k8s/helm/linux-amd64/helm /usr/bin/helm
helm version
helm help
2）配置 hosts
192.168.0.120 myharbor.com
3）建立 stl 證書
mkdir /opt/k8s/helm/stl && cd /opt/k8s/helm/stl
# 生成 CA 證書私鑰
openssl genrsa -out ca.key 4096
# 生成 CA 證書
openssl req -x509 -new -nodes -sha512 -days 3650 \
-subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \
-key ca.key \
-out ca.crt
# 建立域名證書，生成私鑰
openssl genrsa -out myharbor.com.key 4096
# 生成證書簽名請求 CSR
openssl req -sha512 -new \
-subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \
-key myharbor.com.key \
-out myharbor.com.csr
# 生成 x509 v3 擴充
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=myharbor.com
DNS.2=*.myharbor.com
DNS.3=hostname
EOF
#建立 Harbor 通路證書
openssl x509 -req -sha512 -days 3650 \
-extfile v3.ext \
-CA ca.crt -CAkey ca.key -CAcreateserial \
-in myharbor.com.csr \
-out myharbor.com.crt
4）安裝 ingress
ingress 官方網站：https://kubernetes.github.io/ingress-nginx/
ingress 倉庫位址：https://github.com/kubernetes/ingress-nginx
部署文檔：https://kubernetes.github.io/ingress-nginx/deploy/
1、通過 helm 部署
helm upgrade --install ingress-nginx ingress-nginx \
--repo https://kubernetes.github.io/ingress-nginx \
--namespace ingress-nginx --create-namespace
2、通過 YAML 檔案安裝（本章使用這個方式安裝 ingress）
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml
如果下載下傳鏡像失敗，可以用以下方式修改鏡像位址再安裝
# 可以先把鏡像下載下傳，再安裝
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml
# 修改鏡像位址
sed -i '[email protected]/ingress-nginx/controller:v1.2.0\(.*\)@registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0@' deploy.yaml
sed -i '[email protected]/ingress-nginx/kube-webhook-certgen:v1.1.1\(.*\)[email protected]/google_containers/kube-webhook-certgen:v1.1.1@' deploy.yaml
###還需要修改兩地方
#1、kind: 類型修改成DaemonSet，replicas: 登出掉，因為DaemonSet模式會每個節點運作一個pod
#2、在添加一條：hostnetwork：true
#3、把LoadBalancer修改成NodePort
#4、在--validating-webhook-key下面添加- --watch-ingress-without-class=true
#5、設定master節點可排程
kubectl taint nodes k8s-master-168-0-113 node-role.kubernetes.io/control-plane:NoSchedule-
kubectl taint nodes k8s-master2-168-0-116 node-role.kubernetes.io/control-plane:NoSchedule-
kubectl apply -f deploy.yaml
5）安裝 nfs
1、所有節點安裝 nfs
yum -y install nfs-utils rpcbind
2、在 master 節點建立共享目錄并授權
mkdir /opt/nfsdata
# 授權共享目錄
chmod 666 /opt/nfsdata
3、配置 exports 檔案
cat > /etc/exports<<EOF
/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
EOF
# 配置生效
exportfs -r
exportfs 指令
常用選項
-a 全部挂載或者全部解除安裝
-r 重新挂載
-u 解除安裝某一個目錄
-v 顯示共享目錄 以下操作在服務端上
4、啟動 rpc 和 nfs（用戶端隻需要啟動 rpc 服務）（注意順序）
systemctl start rpcbind
systemctl start nfs-server
systemctl enable rpcbind
systemctl enable nfs-server
檢視
showmount -e
# VIP
showmount -e 192.168.0.120
-e 顯示 NFS 伺服器的共享清單
-a 顯示本機挂載的檔案資源的情況 NFS 資源的情況
-v 顯示版本号
5、用戶端
# 安裝
yum -y install nfs-utils rpcbind
# 啟動rpc服務
systemctl start rpcbind
systemctl enable rpcbind
# 建立挂載目錄
mkdir /mnt/nfsdata
# 挂載
echo "192.168.0.120:/opt/nfsdata /mnt/nfsdata nfs defaults 0 1">> /etc/fstab
mount -a
6、rsync 資料同步
【1】rsync 安裝
# 兩端都得安裝
yum -y install rsync
【2】配置
在/etc/rsyncd.conf 中添加
cat >/etc/rsyncd.conf<<EOF
uid = root
gid = root
#禁锢在源目錄
use chroot = yes
#監聽位址
address = 192.168.0.113
#監聽位址tcp/udp 873，可通過cat /etc/services | grep rsync檢視
port 873
#日志檔案位置
log file = /var/log/rsyncd.log
#存放程序 ID 的檔案位置
pid file = /var/run/rsyncd.pid
#允許通路的客戶機位址
hosts allow = 192.168.0.0/16
#共享子產品名稱
[nfsdata]
#源目錄的實際路徑
path = /opt/nfsdata
comment = Document Root of www.kgc.com
#指定用戶端是否可以上傳檔案，預設對所有子產品為 true
read only = yes
#同步時不再壓縮的檔案類型
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
#授權賬戶，多個賬号以空格分隔，不加則為匿名，不依賴系統賬号
auth users = backuper
#存放賬戶資訊的資料檔案
secrets file = /etc/rsyncd_users.db
EOF
配置 rsyncd_users.db
cat >/etc/rsyncd_users.db<<EOF
backuper:123456
EOF
#官方要求，最好隻是賦權600！
chmod 600 /etc/rsyncd_users.db
【3】rsyncd.conf 常用參數詳解
rsyncd.conf 參數
| rsyncd.conf 參數 | 參數說明 |
| uid=root | rsync 使用的使用者。 |
| gid=root | rsync 使用的使用者組（使用者所在的組） |
| use chroot=no | 如果為 true，daemon 會在用戶端傳輸檔案前“chroot to the path”。這是一種安全配置，因為我們大多數都在内網，是以不配也沒關系 |
| max connections=200 | 設定最大連接配接數，預設 0，意思無限制，負值為關閉這個子產品 |
| timeout=400 | 預設為 0，表示 no timeout，建議 300-600（5-10 分鐘） |
| pid file | rsync daemon 啟動後将其程序 pid 寫入此檔案。如果這個檔案存在，rsync 不會覆寫該檔案，而是會終止 |
| lock file | 指定 lock 檔案用來支援“max connections”參數，使得總連接配接數不會超過限制 |
| log file | 不設或者設定錯誤，rsync 會使用 rsyslog 輸出相關日志資訊 |
| ignore errors | 忽略 I/O 錯誤 |
| read only=false | 指定用戶端是否可以上傳檔案，預設對所有子產品為 true |
| list=false | 是否允許用戶端可以檢視可用子產品清單，預設為可以 |
| hosts allow | 指定可以聯系的用戶端主機名或和 ip 位址或位址段，預設情況沒有此參數，即都可以連接配接 |
| hosts deny | 指定不可以聯系的用戶端主機名或 ip 位址或位址段，預設情況沒有此參數，即都可以連接配接 |
| auth users | 指定以空格或逗号分隔的使用者可以使用哪些子產品，使用者不需要在本地系統中存在。預設為所有使用者無密碼通路 |
| secrets file | 指定使用者名和密碼存放的檔案，格式；使用者名；密碼，密碼不超過 8 位 |
| [backup] | 這裡就是子產品名稱，需用中括号擴起來，起名稱沒有特殊要求，但最好是有意義的名稱，便于以後維護 |
| path | 這個子產品中，daemon 使用的檔案系統或目錄，目錄的權限要注意和配置檔案中的權限一緻，否則會遇到讀寫的問題 |
【4】rsync 常用指令參數詳解
rsync --help
rsync [選項] 原始位置 目标位置
常用選項 說明
-r 遞歸模式，包含目錄及子目錄中的所有檔案
-l 對于符号連結檔案仍然複制為符号連結檔案
-v 顯示同步過程的詳細資訊
-z 在傳輸檔案時進行壓縮goD
-p 保留檔案的權限标記
-a 歸檔模式，遞歸并保留對象屬性，等同于-rlpt
-t 保留檔案的時間标記
-g 保留檔案的屬組标記（僅超級使用者使用）
-o 保留檔案的屬主标記（僅超級使用者使用）
-H 保留硬連結檔案
-A 保留ACL屬性資訊
-D 保留裝置檔案及其他特殊檔案
--delete 删除目标位置有而原始位置沒有的檔案
--checksum 根據對象的校驗和來決定是否跳過檔案
【5】啟動服務（資料源機器）
#rsync監聽端口：873
#rsync運作模式：C/S
rsync --daemon --config=/etc/rsyncd.conf
netstat -tnlp|grep :873
【6】執行指令同步資料
# 在目的機器上執行
# rsync -avz 使用者名@源主機位址/源目錄 目的目錄
rsync -avz [email protected]:/opt/nfsdata/* /opt/nfsdata/
【7】crontab 定時同步
# 配置crontab， 每五分鐘同步一次，這種方式不好
*/5 * * * * rsync -avz [email protected]:/opt/nfsdata/* /opt/nfsdata/
【溫馨提示】crontab 定時同步資料不太好，可以使用rsync+inotify做資料實時同步，這裡篇幅有點長了，先不講，如果後面有時間會出一篇單獨文章來講。
6）建立 nfs provisioner 和持久化存儲 SC
【溫馨提示】這裡跟我之前的文章有點不同，之前的方式也不适用新版本。
GitHub 位址：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner
helm 部署 nfs-subdir-external-provisioner
1、添加 helm 倉庫
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
2、helm 安裝 nfs provisioner
【溫馨提示】預設鏡像是無法通路的，這裡使用 dockerhub 搜尋到的鏡像willdockerhub/nfs-subdir-external-provisioner:v4.0.2，還有就是 StorageClass 不分命名空間，所有在所有命名空間下都可以使用。
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
--namespace=nfs-provisioner \
--create-namespace \
--set image.repository=willdockerhub/nfs-subdir-external-provisioner \
--set image.tag=v4.0.2 \
--set replicaCount=2 \
--set storageClass.name=nfs-client \
--set storageClass.defaultClass=true \
--set nfs.server=192.168.0.120 \
--set nfs.path=/opt/nfsdata
【溫馨提示】上面 nfs.server 設定為 VIP，可實作高可用。
3、檢視
kubectl get pods,deploy,sc -n nfs-provisioner
7）部署 Harbor（Https 方式）
1、建立 Namespace
kubectl create ns harbor
2、建立證書秘鑰
kubectl create secret tls myharbor.com --key myharbor.com.key --cert myharbor.com.crt -n harbor
kubectl get secret myharbor.com -n harbor
3、添加 Chart 庫
helm repo add harbor https://helm.goharbor.io
4、通過 helm 安裝 harbor
helm install myharbor --namespace harbor harbor/harbor \
--set expose.ingress.hosts.core=myharbor.com \
--set expose.ingress.hosts.notary=notary.myharbor.com \
--set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
--set expose.tls.secretName=myharbor.com \
--set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
--set persistence.enabled=true \
--set externalURL=https://myharbor.com \
--set harborAdminPassword=Harbor12345
這裡稍等一段時間在檢視資源狀态
kubectl get ingress,svc,pods,pvc -n harbor
5、ingress 沒有 ADDRESS 問題解決
【分析】，發現"error: endpoints “default-http-backend” not found"
cat << EOF > default-http-backend.yaml
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: default-http-backend
labels:
app: default-http-backend
namespace: harbor
spec:
replicas: 1
selector:
matchLabels:
app: default-http-backend
template:
metadata:
labels:
app: default-http-backend
spec:
terminationGracePeriodSeconds: 60
containers:
- name: default-http-backend
# Any image is permissible as long as:
# 1. It serves a 404 page at /
# 2. It serves 200 on a /healthz endpoint
image: registry.cn-hangzhou.aliyuncs.com/google_containers/defaultbackend:1.4
# image: gcr.io/google_containers/defaultbackend:1.4
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
---
apiVersion: v1
kind: Service
metadata:
name: default-http-backend
namespace: harbor
labels:
app: default-http-backend
spec:
ports:
- port: 80
targetPort: 8080
selector:
app: default-http-backend
EOF
kubectl apply -f default-http-backend.yaml
6、解除安裝重新部署
# 解除安裝
helm uninstall myharbor -n harbor
kubectl get pvc -n harbor| awk 'NR!=1{print $1}' | xargs kubectl delete pvc -n harbor
# 部署
helm install myharbor --namespace harbor harbor/harbor \
--set expose.ingress.hosts.core=myharbor.com \
--set expose.ingress.hosts.notary=notary.myharbor.com \
--set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
--set expose.tls.secretName=myharbor.com \
--set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
--set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
--set persistence.enabled=true \
--set externalURL=https://myharbor.com \
--set harborAdminPassword=Harbor12345
5、通路 harbor
https://myharbor.com
賬号/密碼：admin/Harbor12345
6、harbor 常見操作
【1】建立項目 bigdata
【2】配置私有倉庫
在檔案/etc/docker/daemon.json添加如下内容：
"insecure-registries":["https://myharbor.com"]
重新開機 docker
systemctl restart docker
【3】伺服器上登入 harbor
docker login https://myharbor.com
#賬号/密碼：admin/Harbor12345
【4】打标簽并把鏡像上傳到 harbor
docker tag rancher/pause:3.6 myharbor.com/bigdata/pause:3.6
docker push myharbor.com/bigdata/pause:3.6
7、修改 containerd 配置
以前使用 docker-engine 的時候，隻需要修改/etc/docker/daemon.json 就行，但是新版的 k8s 已經使用 containerd 了，是以這裡需要做相關配置，要不然 containerd 會失敗。證書（ca.crt）可以在頁面上下載下傳：
建立域名目錄
mkdir /etc/containerd/myharbor.com
cp ca.crt /etc/containerd/myharbor.com/
配置檔案：/etc/containerd/config.toml
[plugins."io.containerd.grpc.v1.cri".registry]
config_path = ""
[plugins."io.containerd.grpc.v1.cri".registry.auths]
[plugins."io.containerd.grpc.v1.cri".registry.configs]
[plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".tls]
ca_file = "/etc/containerd/myharbor.com/ca.crt"
[plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".auth]
username = "admin"
password = "Harbor12345"
[plugins."io.containerd.grpc.v1.cri".registry.headers]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor.com"]
endpoint = ["https://myharbor.com"]
重新開機 containerd
#重新加載配置
systemctl daemon-reload
#重新開機containerd
systemctl restart containerd
簡單使用
# 把docker換成crictl 就行，指令都差不多
crictl pull myharbor.com/bigdata/mysql:5.7.38
執行 crictl 報如下錯誤的解決辦法
WARN[0000] image connect using default endpoints: [unix:///var/run/dockershim.sock unix:///run/containerd/containerd.sock unix:///run/crio/crio.sock unix:///var/run/cri-dockerd.sock]. As the default settings are now deprecated, you should set the endpoint instead.
ERRO[0000] unable to determine image API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"
這個報錯是 docker 的報錯，這裡沒使用，是以這個錯誤不影響使用，但是還是解決好點，解決方法如下：
cat <<EOF> /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
再次拉取鏡像
crictl pull myharbor.com/bigdata/mysql:5.7.38