如何解决Kubernetes中处于“Pending”状态的Pod问题

28次阅读

问题描述

在使用Kubernetes时，有时候会遇到Pod进入“Pending”状态的情况。这通常是因为当启动一个Pod时，使用了节点亲和性（node affinity），因为要求将Pod运行在特定的节点上。但是在自动扩容或缩容时，有时候节点会被删除，导致原本要运行在该节点上的Pod进入“Pending”状态。用户想知道是否有一种方式可以使这些“Pending”状态的Pod在节点不可用时自动被删除或退出。

解决方案

以下操作可能根据Kubernetes版本有所差异，使用前请核实版本信息。

使用Pod Disruption Budgets（Pod扰动预算）

Pod Disruption Budgets（PDB）是一种策略，可以限制在任何时间点被中断的Pod的数量。你可以使用PDB确保在集群中始终有足够的可用节点来满足节点亲和性约束。

你可以通过以下步骤使用Pod Disruption Budgets：
1. 创建一个PDB的YAML文件，例如 pod-disruption-budget.yaml。

apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
  name: my-pdb
spec:
  minAvailable: 1  # 至少保持一个Pod可用
  selector:
    matchLabels:
      app: my-app

在上述示例中，我们定义了一个名为 my-pdb 的Pod Disruption Budget，要求至少有一个Pod保持可用。你需要根据你的应用程序和需求进行适当的调整。

使用kubectl应用PDB：

kubectl apply -f pod-disruption-budget.yaml

使用Deployment或ReplicaSet来管理Pod的生命周期

另一种方法是使用Deployment或ReplicaSet来管理Pod的生命周期。这些控制器可以自动重新调度Pod，以确保Pod始终在可用的节点上运行。

以下是使用Deployment来实现的示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-deployment
spec:
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/hostname
                operator: In
                values:
                - node1
      containers:
      - name: my-container
        image: my-image

在上述示例中，我们定义了一个Deployment，其中设置了节点亲和性，要求Pod运行在标签为 app: my-app 的节点上。如果某个节点不可用，Deployment将自动将Pod重新调度到其他可用节点上。

请根据你的需求选择适当的方法来解决Pod进入“Pending”状态的问题。

手动删除Pending状态的Pod（非推荐）

如果你想手动删除Pending状态的Pod，你可以使用kubectl命令来列出并删除这些Pod。请注意，这不是一种推荐的做法，因为手动干预可能会导致意外的结果。

列出所有Pending状态的Pod：

kubectl get pods --all-namespaces --field-selector=status.phase=Pending

删除所有Pending状态且创建时间超过1分钟的Pod（谨慎使用）：

kubectl get pods --all-namespaces --field-selector=status.phase=Pending -o json | jq '.items[] | select((now - (.metadata.creationTimestamp | fromdateiso8601)) > 60) | .metadata.name' | xargs -I{} kubectl delete pod {} --force --grace-period=0

请确保在使用这些命令之前理解其作用，并且谨慎操作。