都昌县建设局网站,阿里云服务器可以做商业网站,cad协同设计平台,北京市住房城乡建设门户网站一、pod异常出现现象 优雅终止周期(Graceful termination period): 当pod被删除时#xff0c;会进入Terminating状态#xff0c;等待容器优雅关闭。如果容器关闭所需时间超过默认期限(默认30秒)#xff0c;则pod将保持在Terminating状态。 Finalize…一、pod异常出现现象 优雅终止周期(Graceful termination period): 当pod被删除时会进入Terminating状态等待容器优雅关闭。如果容器关闭所需时间超过默认期限(默认30秒)则pod将保持在Terminating状态。 Finalizers: Finalizer是一种允许在删除资源之前清理资源的机制。如果pod有Finalizer并且相关的清理操作被卡住或没有响应则pod将保持在Terminating状态。 无响应容器(Unresponsive containers): 如果pod中的容器在终止过程中没有响应SIGTERM信号则可能导致pod卡在Terminating状态。 节点问题(Node issues): 如果节点无响应、断开连接或遇到其他问题pod可能会进入Unknown状态。在这种情况下Kubernetes控制平面无法确定pod的实际状态。 网络问题(Network issues): 节点与Kubernetes控制平面之间的连接问题可能导致pod进入Unknown状态。例如如果控制平面无法与节点通信则无法接收来自pod的状态更新。 Kubelet问题: 如果节点上运行的Kubelet进程出现问题或崩溃可能会导致无法将pod状态上报给控制平面从而造成pod进入Unknown状态。
二、故障排查 优雅终止周期(Graceful termination period) K8S中的优雅终止周期是在删除pod时容器的优雅关闭时间。在此期间容器接收SIGTERM信号执行必要的清理工作例如关闭连接完成正在进行的任务并在资源终止之前释放资源默认为30秒。
检查pod状态和事件: 通过kubectl检查pod的状态和事件以获取相关信息:
kubectl describe pod pod-name -n namespace#检查容器日志
kubectl logs pod-name -c container-name -n namespace --previous调整优雅终止周期: 如果容器始终需要更多的时间来清理资源可以通过在pod的YAML文件中设置terminationGracePeriodSeconds字段来调整pod的终止周期。
apiVersion: v1
kind: Pod
metadata:name: my-pod
spec:terminationGracePeriodSeconds: 60containers:- name: my-containerimage: my-imageFinalizers Finalizer允许在删除资源之前清理资源如果pod上存在Finalizer并且相关的清理操作被卡住或没有响应则pod将保持在Terminating状态。例如:
apiVersion: v1
kind: Pod
metadata:name: my-finalizer-podfinalizers:- example.com/cleanup
spec:containers:- name: busyboximage: busyboxcommand: [sh, -c, sleep 3600]检查是否有finalizer可以运行以下命令:
kubectl get pod pod-name -n namespace -o json如果确定不需要finalizer或者确定可以将其安全删除可以使用kubectl patch命令。但是这样做要小心因为可能会导致意想不到的副作用:
kubectl patch pod pod-name -n namespace -p {metadata:{finalizers:[finalizer-1, finalizer-2, ...]}}无响应容器(Unresponsive containers) 当容器消耗过多系统资源时可能会进入无响应状态。 用kubectl describe命令查看Pod状态和事件。
kubectl describe pod pod-name -n namespace
#检查Pod/container日志:
kubectl logs pod-name -c container-name -n namespace
#强制删除pod: 可以强制删除被卡住的pod
kubectl delete pod pod-name -n namespace --force --grace-period0节点/网络/Kubelet问题 执行以下步骤处理节点问题: 检查节点状态/事件: 检查pod所在节点的状态:
kubectl describe node node-name
kubectl get events --field-selector involvedObject.kindNode,involvedObject.namenode-name
#检查系统日志
journalctl -u kubelet
journalctl -u docker
journalctl -u containerd
cat /var/log/messages排空节点: 如果已经确定了节点问题并且需要执行维护可以排空节点以安全驱逐所有正在运行的pod并将节点标记为不可调度:
kubectl drain node-name
