Jenkins中并行阶段运行时只进行一次代码检出

50次阅读

问题描述

在使用Jenkins的多分支流水线项目时，遇到了一个问题。在并行运行的阶段中，每个阶段都需要进行一次代码检出。随着分支数量的增加，工作空间的大小会大幅增加。

解决方案

方案1

定期清理工作空间。可以编写一个自定义脚本来实现这个功能。以下是一个示例脚本：

// 检查是否有少于10GB的空闲空间，如果有，则清除工作空间
import hudson.model.*
import hudson.util.*
import jenkins.model.*
import hudson.FilePath.FileCallable
import hudson.slaves.OfflineCause
import hudson.node_monitors.*

for (node in Jenkins.instance.nodes) {
    computer = node.toComputer()
    if (computer.getChannel() == null) continue
    rootPath = node.getRootPath()
    size = DiskSpaceMonitor.DESCRIPTOR.get(computer).size
    roundedSize = size / (1024 * 1024 * 1024) as int
    println("node: " + node.getDisplayName() + ", free space: " + roundedSize + "GB")
    if (roundedSize < 10) {
        computer.setTemporarilyOffline(true, new hudson.slaves.OfflineCause.ByCLI("disk cleanup"))
        for (item in Jenkins.instance.items) {
            jobName = item.getFullDisplayName()
            if (item.isBuilding()) {
                println(".. job " + jobName + " is currently running, skipped")
                continue
            }
            println(".. wiping out workspaces of job " + jobName)
            workspacePath = node.getWorkspaceFor(item)
            if (workspacePath == null) {
                println(".... could not get workspace path")
                continue
            }
            println(".... workspace = " + workspacePath)
            customWorkspace = item.getCustomWorkspace()
            if (customWorkspace != null) {
                workspacePath = node.getRootPath().child(customWorkspace)
                println(".... custom workspace = " + workspacePath)
            }
            pathAsString = workspacePath.getRemote()
            if (workspacePath.exists()) {
                workspacePath.deleteRecursive()
                println(".... deleted from location " + pathAsString)
            } else {
                println(".... nothing to delete at " + pathAsString)
            }
        }
        computer.setTemporarilyOffline(false, null)
    }
}

上述脚本会检查每个节点的可用空间大小，如果小于10GB，则会暂时离线该节点，并清除该节点上所有作业的工作空间。

方案2

每个作业和节点只进行一次代码检出。这样，每个并行阶段都会执行同一个代码库的可执行实例。以下是一个伪代码示例：

stage("Build") {
    try {
        parallel builds
    } catch (err) {
    }
}

def build(predef) {
    return {
        node() {
            checkout_repository(${env.NODE_NAME})
            Execute build
            ...
        }
    }
}

def checkout_repository(node){
    No checkout for this node
    Flag that we are checking out a repository on node (think ~semaphore)
    Cheking out ..
    Flag that repository exist on node
}

在上述示例中，我们首先定义了一个名为”Build”的阶段。在该阶段中，我们使用parallel关键字并行运行多个构建。每个构建都会调用build函数，该函数会在指定的节点上进行代码检出和构建。

请注意，由于不同分支的代码来自不同的分支，因此无法使用相同的工作空间。因此，每个并行阶段都需要从各自不同的分支进行代码检出。