在Kubernetes上配置使用docker client的Jenkins代理

问题描述

在Kubernetes集群上使用官方Helm Chart安装了Jenkins，并且该集群使用containerd作为容器运行时。用户希望配置容器化的代理(agent)，这些代理需要能够运行docker client命令，例如用于构建Docker镜像。但是在Kubernetes节点上并没有docker守护进程。用户想知道是否有一种选项，可以使用containerd客户端与节点上的containerd服务器进行交互，就像容器内的docker client与节点上运行的docker守护进程交互一样。此外，用户还在考虑以下两种选项来配置Jenkins代理：

在容器中运行docker守护进程（docker daemon in docker）。
使用sysbox容器，其中包含docker守护进程。

用户想了解最佳实践是什么。

解决方案

请注意以下操作可能涉及版本差异，请确保备份数据，并了解所使用的工具及其适用性。

使用Kaniko构建Docker镜像

一种绕过问题的方式是使用Kaniko，它可以在不需要docker守护进程或套接字的情况下处理容器的构建（以及推送）部分。

以下是在K8s的Jenkins Helm Chart的values.yaml中定义代理(agent)的一部分示例：

agent:
  namespace: jenkins
  podTemplates:
    builder: |
    - name: 'builder'
      label: 'builder'
      serviceAccount: jenkins
      nodeUsageMode: EXCLUSIVE
      yamlMergeStrategy: "merge"
      yaml: |-
        apiVersion: v1
        kind: Pod
        metadata:
          name: builder
          namespace: jenkins
        spec:
          serviceAccountName: jenkins
          containers:
          - name: builder
            image: builder:latest
            imagePullPolicy: IfNotPresent
            command: ["sleep"]
            args: ["99d"]
            tty: true
            resources:
              requests:
                cpu: 1
                memory: 1Gi
              limits:
                cpu: 2
                memory: 2Gi
            workingDir: /home/jenkins/agent
          - name: kaniko
            image: gcr.io/kaniko-project/executor:debug
            imagePullPolicy: IfNotPresent
            command: ["sleep"]
            args: ["99d"]
            tty: true
            volumeMounts:
            - name: docker-config
              mountPath: /kaniko/.docker
            workingDir: /home/jenkins/agent
            env:
            - name: DOCKER_REPOSITORY
              value: "private_docker_repository"
          volumes:
          - name: docker-config
            configMap:
              name: docker-config

在上面的示例中，我们定义了两个容器：builder和kaniko。builder容器负责执行一些基本操作，而kaniko容器负责构建Docker镜像。我们通过将docker-config挂载到kaniko容器来处理Docker的授权，确保Kaniko能够访问所需的Docker仓库。

要在Jenkinsfile中使用这些代理，可以按以下方式操作：

pipeline {
  agent {
    label 'builder' // 指的是在Jenkins Helm Chart的values.yaml中定义的自定义K8s Pod Template
  }
  environment {
    RELEASE_TAG = "1.0.0"
  }
  stages {
    stage('Build') {
      steps {
        container('builder') {
          echo "执行Maven构建或其他所需步骤"
        }
        container('kaniko') {
          sh "/kaniko/executor --dockerfile `pwd`/dockerfile --context `pwd` --destination=${DOCKER_REPOSITORY}:${RELEASE_TAG}"
        }
      }
    }
  }
}

使用Docker守护进程（Docker Daemon in Docker）

另一种方法是在一个长时间运行的Pod中运行Docker守护进程，并在需要时启动具有docker client的Jenkins代理。这些代理可以与容器化的Docker守护进程进行交互。

用户可以使用类似以下脚本的方式来实现：

#!/bin/bash
# 启动Docker守护进程的容器
docker run -d --name docker_daemon_container docker:latest
# 启动具有docker client的Jenkins代理
docker run -d --name jenkins_agent --link docker_daemon_container -e DOCKER_HOST=tcp://docker_daemon_container:2375 jenkins/agent

上面的脚本中，我们首先启动了一个包含Docker守护进程的容器，并将其命名为docker_daemon_container。然后，我们启动了一个Jenkins代理容器，并使用环境变量DOCKER_HOST指定了与docker_daemon_container容器的连接。

使用sysbox容器

用户还提到了使用sysbox容器，这是另一种在容器中运行Docker守护进程的方法。这是一个可行的解决方案，但具体的实现细节可能与Kubernetes版本、sysbox的版本以及其他因素有关。用户应该查看sysbox的文档以了解如何在Kubernetes中使用它来运行Jenkins代理。

无论选择哪种方式，都需要根据具体情况进行适当的配置和测试。并且请确保理解所使用的工具及其适用性，并对您的环境和需求进行适当的调整。

最佳实践选择

根据用户提供的信息以及回复，使用Kaniko构建Docker镜像是一种可靠的方法，无需在Kubernetes节点上运行docker守护进程，同时具有良好的控制和安全性。这在许多Kubernetes环境中是常见的做法，特别是在没有docker守护进程的情况下。这种方法可以避免直接在Kubernetes集群