Jenkins 如何管理跨重启的服务器池

89次阅读

问题描述

在团队中，有一个服务器池用于测试我们拥有的一个配置过程。每个分支或 PR 都需要一个服务器，而此配置过程需要重新启动服务器。一旦配置过程完成，我们会运行一些测试。我们使用 Jenkins 流水线自动化执行这个配置过程和测试。

因此，我面临的问题是如何管理服务器池，以便满足以下需求：
1. 可以选择任何一个可用的服务器进行构建。
2. 为构建分配的服务器对其他构建不可用。
3. 成功构建后，使服务器再次可用。
4. 失败的构建不会使服务器可用，以便进行调查（可以在手动返回到池后再次使用）。

由于我们会重新启动服务器，所以我不能简单地使用从 Jenkins 节点来执行构建任务的方式。

目前我的解决方案如下：
1. 将服务器设置为 Jenkins 的从节点，每个从节点只有一个执行器，并有一个共同的标签。
2. 使用流水线阶段分配到共同的标签，从可用的从节点中选择一个带有空闲执行器的从节点。在这一阶段，我会移动 slave.jar 文件，以防止 Jenkins 重新启动已分配的从节点。
3. 接下来的流水线阶段使用 node.getComputer().disconnect() 命令在从节点上禁用它。由于这个命令似乎必须在主节点上运行，所以必须将它放在不同的阶段中。
4. 在 post { success { ... } } 部分，我会使用 SSH 将 slave.jar 文件移动回服务器上，并使用 node.getComputer().connect(true) 命令允许从节点再次被选中。

这个方法大部分情况下是有效的，而且还挺酷的，但是它在流水线中增加了很多冗余的步骤，而且更糟糕的是，在步骤 2 和步骤 3 之间存在竞态条件。当池中的作业排队时，新的作业可能在前一个作业断开从节点之前被分配到同一个节点上，这会导致问题。

我想知道是否还有其他人使用 Jenkins 来管理类似的服务器池，需要支持池内的重新启动，以及他们是如何处理的？是否有任何方法可以在 Jenkins 外部管理池，但又可以将分配的节点引入 Jenkins 进行测试运行？是否有我可能错过的插件或解决方案？

解决方案

以下解决方案基于问题描述，注意操作前请考虑版本差异及风险。

最佳解决方案：使用 Lockable Resource 插件
你可以使用 Jenkins 的 Lockable Resource 插件来更好地管理你的服务器池。该插件可以帮助你解决服务器分配、重启以及资源竞态等问题，使整个流程更简洁。

安装 Lockable Resource 插件：首先，确保在 Jenkins 中安装了 Lockable Resource 插件。你可以在 Jenkins 插件管理页面中搜索并安装该插件。
配置 Lockable Resource：在你的 Jenkins 流水线中，使用 lock 步骤来管理资源的分配和释放。具体操作如下：
groovy lock(label: 'server-pool', quantity: 1) { // 在这里放置你的构建步骤 }
这个步骤将确保只有一个流水线可以获得 ‘server-pool’ 标签的锁。这样，你就不再需要将服务器设置为 Jenkins 从节点，从而简化了整个流程。
完善流水线步骤：在锁定资源的步骤内，执行你的构建步骤，包括运行配置过程和测试等。
自动释放资源：Lockable Resource 插件会在流水线完成后自动释放资源，无需手动操作。