在Jenkins中为Monorepo触发特定流水线构建

96次阅读

问题描述

正在将多个代码仓库转换为单一代码仓库，并且选择了Jenkins作为持续集成工具。在将多个代码仓库转换为单一仓库的过程中，出现了两个主要问题：
1. 构建/测试时间显著增加，因为必须对每次提交运行所有构建/测试。虽然使用了构建工具（如Buck）部分缓解了这个问题。
2. 在运行与提交代码相关的所有测试后，对于每个项目都有一个部署的Jenkinsfile。用户想知道如何只触发需要重新部署的项目的Jenkins文件。如果可以实现这一点，这种做法是否正确？

解决方案

请注意以下操作注意版本差异及修改前做好备份。

方案1: 使用`when.changeset`条件

你可以使用Jenkins的Pipeline语法中的when块，结合内置的changeset条件，有选择地运行Monorepo的流水线的特定阶段。根据when.changeset的文档说明：
– changeset：当构建的源代码管理（SCM）更改集包含一个或多个与给定字符串或通配符匹配的文件时，执行该阶段。

以下是使用这种策略的Jenkinsfile示例：

pipeline {
    agent any
    stages {
        stage('构建 matchengine') {
            when {
                changeset "**/matchengine/*.*"
            }
            steps {
                echo '正在构建 match engine'
            }
        }
        stage('构建 posttrade') {
            when {
                changeset "**/posttrade/*.*"
            }
            steps {
                echo '正在构建 post trade'
            }
        }
    }
}

在上述示例中，我们定义了两个阶段构建 matchengine和构建 posttrade。使用when.changeset条件指定了每个阶段依赖的文件路径。这将只在相关文件有更改时运行相应的阶段。

方案2: 使用Bazel进行构建

如果Monorepo的规模扩大，手动指定文件路径可能不再实际可行，因此你可以考虑使用构建系统如Bazel。Bazel能够计算出需要构建、测试和部署的代码，避免手动指定文件路径。

首先，在CI作业中使用bazel build //...命令，这将构建所有内容。
然后，Bazel会计算哪些模块需要构建和测试。
此外，使用rules_docker和rules_k8s等Bazel规则，你可以计算哪些容器需要重新构建并推送到容器注册表，以及哪些应用程序需要重新部署到Kubernetes。

使用Bazel可以更好地管理Monorepo中模块之间的依赖关系，从而实现更智能和高效的构建、测试和部署流程。

方案3: 运行自定义脚本

另一种方法是编写自定义脚本来根据提交的更改文件列表来触发特定的构建和部署操作。你可以使用像Git hooks这样的机制来在提交时运行脚本，并根据更改列表来触发不同的流水线阶段。

例如，你可以使用bash脚本：

#!/bin/bash

# 获取更改文件列表
changed_files=$(git diff-tree --no-commit-id --name-only -r HEAD)

# 根据文件列表触发相应的构建和部署操作
for file in $changed_files; do
    if [[ $file == *"matchengine"* ]]; then
        # 触发构建 matchengine
        echo "构建 matchengine"
    elif [[ $file == *"posttrade"* ]]; then
        # 触发构建 posttrade
        echo "构建 posttrade"
    # ... 可以继续添加其他项目的判断条件
    fi
done

这个脚本将根据提交的更改文件列表来触发特定项目的构建和部署操作。