Kubernetes在helm升级后如何终止实例

44次阅读

问题描述

在使用Kubernetes集群上运行一个Node.js应用程序，并使用helm进行管理。他遇到了一个问题，当应用程序启动时，它会连接到一个服务发现工具，当应用程序关闭时，它应该断开与该工具的连接。如果在本地运行应用程序，则一切正常，但是当进行helm升级时，情况就变得不同了，应用程序没有断开连接，这导致API网关出现问题。
用户想知道是否有与基本helm模板和升级使用不同的方法。应用程序本身支持我需要的功能，只是需要Kubernetes也能做到。
以下是用户提供的Express服务器和Consul代码，它们位于app.js文件的底部。

const port = 8081;
app.listen(port, () => {
    const CONSUL_ID = require('uuid').v4();
    const ip = require('ip');
    const my_IP = ip.address();
    let options = {
        name: 'auth',
        address: `${my_IP}`,
        port: port,
        id: CONSUL_ID,
        check: {
            ttl: '10s',
            deregister_critical_service_after: '1m'
        }
    };
    consul.agent.service.register(options, function(err) {
        if (err) throw err;
        console.log(`Registered service with ID of ${CONSUL_ID}`);
    });

    setInterval(() => {
        consul.agent.check.pass({id:`service:${CONSUL_ID}`}, err => {
            if (err) throw new Error(err);
        });
    }, 5 * 1000);

    process.on('SIGINT', () => {
        console.log(`SIGINT. De-Registering service with ID of ${CONSUL_ID}`);
        consul.agent.service.deregister(CONSUL_ID, (err) => {
            if(err) console.log(`Error de-registering service from consul, with error of : ${err}`);
            if(!err) console.log(`De-registered service with ID of ${CONSUL_ID}`);
            process.exit();
        });
    });

    console.log(`Auth server running express started on port ${port}.`);
});

解决方案

请注意以下操作注意版本差异及修改前做好备份。

方案1

根据Kubernetes的文档，当用户请求删除一个Pod时，系统会记录Pod被强制终止之前的优雅期限，并向每个容器的主进程发送TERM信号。一旦优雅期限过期，将发送KILL信号给这些进程，然后从API服务器中删除Pod。如果在等待进程终止时重新启动Kubelet或容器管理器，将使用完整的优雅期限重试终止操作。
因此，您需要接受TERM信号，而不仅仅是KILL信号。此外，您需要确保信号能够正确传递从容器到您的服务器进程中。
以下是一些可能的解决方案：
1. 在您的Node.js应用程序中，确保您的服务器进程能够接受TERM信号。您可以使用process.on('SIGTERM', callback)来处理TERM信号。在回调函数中，您可以执行一些清理操作，例如断开与服务发现工具的连接。
2. 在您的Docker容器中，确保TERM信号能够正确传递给Node.js应用程序。您可以使用docker stop命令来停止容器，并确保使用--time参数指定足够的时间来等待应用程序处理TERM信号。例如：docker stop --time=30s container_name。
3. 在helm升级期间，确保您的应用程序的Pod能够接收到TERM信号。您可以在helm chart中的Pod模板中添加terminationGracePeriodSeconds字段来指定优雅期限的秒数。例如：

apiVersion: v1
kind: Pod
metadata:
  name: your_pod_name
spec:
  terminationGracePeriodSeconds: 30
  containers:
    - name: your_container_name
      image: your_image
      # 其他容器配置

请注意，上述解决方案可能需要根据您的具体情况进行调整和修改。您可以根据您的需求和环境选择适合您的解决方案。

方案2

使用脚本或工具来管理容器的启动顺序可能会增加复杂性，并且需要确保容器A和容器B之间的依赖关系正确设置。
另一种方法是编写脚本或使用工具来控制容器的运行顺序。您可以使用docker run命令来手动控制容器的启动顺序，或者使用一些第三方工具来管理容器的依赖关系。

示例：

以下是一个简单的bash脚本示例，可以在容器A启动后启动容器B：

#!/bin/bash
# 启动容器A
docker run -d --name container_a your_image_a
# 等待容器A完全启动
while ! docker exec container_a echo "Container A is ready"; do
  sleep 1
done
# 启动容器B
docker run -d --name container_b your_image_b

在这个示例中，我们首先使用docker run命令启动容器A，并将其命名为container_a。然后，使用一个循环来等待容器A完全启动（这里是通过在容器内运行echo命令来测试）。一旦容器A就绪，我们再使用docker run命令启动容器B，并将其命名为container_b。
请注意，上述示例仅为演示目的，您可能需要根据您的具体情况进行调整和修改。

正文完