Basic Node Maintenance
Backup The etcd Database
查找 etcd 守护进程的数据目录
sudo grep data-dir /etc/kubernetes/manifests/etcd.yaml
# Pod 的所有设置都可以在 manifests 中找到
进入容器查找 etcdctl 命令所需要的证书和密钥文件
kubectl -n kube-system exec -it etcd-k8scp -- sh
# 此处的容器名称为etcd-k8scp，若不是这个则可以使用 etcd-<Tab> 来补全容器名称
# 以下步骤在容器中进行
cd /etc/kubernetes/pki/etcd/
# 由于容器没有ls命令，则使用 echo 命令来查看文件，并记录下输出结果
echo *
# 退出容器
exit
注意接下来步骤的容器名称若不是 etcd-k8scp ，则可以使用 etcd-<tab> 来补全容器名称
使用环回 IP 和端口 2379 检查数据库的健康状况
kubectl -n kube-system exec -it etcd-k8scp -- sh \
-c "ETCDCTL_API=3 \
ETCDCTL_CACERT=/etc/kubernetes/pki/etcd/ca.crt \
ETCDCTL_CERT=/etc/kubernetes/pki/etcd/server.crt \
ETCDCTL_KEY=/etc/kubernetes/pki/etcd/server.key \
etcdctl endpoint health"
查看集群状态，数据库数量等
kubectl -n kube-system exec -it etcd-k8scp -- sh -c \
"ETCDCTL_API=3 \
ETCDCTL_CACERT=/etc/kubernetes/pki/etcd/ca.crt \
ETCDCTL_CERT=/etc/kubernetes/pki/etcd/server.crt \
ETCDCTL_KEY=/etc/kubernetes/pki/etcd/server.key \
etcdctl --endpoints=https://127.0.0.1:2379 member list"
kubectl -n kube-system exec -it etcd-k8scp -- sh -c \
"ETCDCTL_API=3 \
ETCDCTL_CACERT=/etc/kubernetes/pki/etcd/ca.crt \
ETCDCTL_CERT=/etc/kubernetes/pki/etcd/server.crt \
ETCDCTL_KEY=/etc/kubernetes/pki/etcd/server.key \
etcdctl --endpoints=https://127.0.0.1:2379 member list -w table"
# 此命令相对上边的命令多了一个 -w table 参数，显示结果更友好
使用快照参数保存 etcd 数据库的快照到 etcd 容器的本地数据目录 /var/lib/etcd/
kubectl -n kube-system exec -it etcd-k8scp -- sh -c \
"ETCDCTL_API=3 \
ETCDCTL_CACERT=/etc/kubernetes/pki/etcd/ca.crt \
ETCDCTL_CERT=/etc/kubernetes/pki/etcd/server.crt \
ETCDCTL_KEY=/etc/kubernetes/pki/etcd/server.key \
etcdctl --endpoints=https://127.0.0.1:2379 \
snapshot save /var/lib/etcd/snapshot.db"
验证上一步的快照是否成功保存到本地目录
sudo ls -lh /var/lib/etcd/
备份快照和一些创建集群的信息
mkdir $HOME/backup
sudo cp /var/lib/etcd/snapshot.db $HOME/backup/snapshot.db-$(date +%F)
sudo cp /root/kubeadm-config.yaml $HOME/backup/
sudo cp -r /etc/kubernetes/pki/etcd $HOME/backup/
Upgrade the Cluster ( cp node )
更新APT源的数据
sudo apt-get update
查看可用的 kubeadm 软件包并安装
sudo apt-cache madison kubeadm | head -10
sudo apt-mark unhold kubeadm
sudo apt-get install kubeadm=1.21.3-00 -y
# 截止本文档书写日期，kubeadm 1.21.3-00 为最新版本
sudo apt-mark hold kubeadm
sudo kubeadm version
驱逐除了守护进程外的所有 pod ，为更新 cp 节点做准备
kubectl drain k8scp --ignore-daemonsets
检查现有集群
sudo kubeadm upgrade plan
升级集群
sudo kubeadm upgrade apply v1.21.3
# 由于阿里云容器仓库的原因，此处需要手动下载新版本的coredns并打标签
# sudo docker pull coredns/coredns:1.8.0
# sudo docker tag docker.io/coredns/coredns:1.8.0 registry.aliyuncs.com/google_containers/coredns:v1.8.0
# 下载并打完标签后重新执行，然后中间会有一次交互输入，键入y即可
检查节点状态
kubectl get node
# cp 节点应该显示调度已禁用。
# 此外，由于我们尚未更新所有软件并重新启动守护程序，因此它将显示以前的版本。
安装新版 kubelet 和 kubectl
sudo apt-mark unhold kubelet kubectl
sudo apt-get install kubelet=1.21.3-00 kubectl=1.21.3-00 -y
sudo apt-mark hold kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet
验证节点更新的版本
kubectl get node
设置 cp 节点可调度
kubectl uncordon k8scp
验证 cp 现在显示就绪状态
kubectl get node
Upgrade the Cluster ( worker node )
安装 kubeadm 软件包
sudo apt-mark unhold kubeadm
sudo apt-get update && sudo apt-get install kubeadm=1.21.3-00 -y
# 更新 kubeadm 的版本和 cp 节点保持一致
sudo apt-mark hold kubeadm
驱逐除了守护进程外的所有 pod ，为更新 worker 节点做准备（返回 cp 节点上执行）
# 在 cp 节点上执行命令，此处 worker 节点的主机名为 worker01
kubectl drain worker01 --ignore-daemonsets
升级 worker 节点 （返回 worker 节点上执行）
sudo kubeadm upgrade node
安装新版 kubelet 和 kubectl
sudo apt-mark unhold kubelet kubectl
sudo apt-get install kubelet=1.21.3-00 kubectl=1.21.3-00 -y
sudo apt-mark hold kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet
查看节点状态（返回 cp 节点执行）
kubectl get node
设置 worker 节点为可调度
# 此处 worker 节点的主机名为 worker01
kubectl uncordon worker01
再次查看节点状态
kubectl get node
Last updated