在Docker Compose设置中运行多个GitLab Runners

问题描述

在一个服务器上使用Docker Compose运行了10个GitLab Runner。有时候，流水线会因为以下错误而失败：

fatal: Unable to create '/builds/xxx.de/xxx.de/.git/index.lock': File exists.
Another git process seems to be running in this repository, e.g.an editor opened by 'git commit'.
Please make sure all processes are terminated then try again.
If it still fails, a git process may have crashed in this repository earlier:
remove the file manually to continue.

或者

Reinitialized existing Git repository in /builds/xxx.de/xxx.de/.git/fatal: shallow file has changed since we read it

每个Runner的配置都类似于以下内容，只有名称、ID和令牌不同：

concurrent = 1
check_interval = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "runner-1-farm-1"
  url = "https://git.xyz.com/"
  id = 12
  token = "-94xSx9-blablabla"
  token_obtained_at = 2022-09-16T07:52:10Z
  token_expires_at = 0001-01-01T00:00:00Z
  executor = "docker"

[runners.custom_build_dir]

[runners.cache]
  [runners.cache.s3]
  [runners.cache.gcs]
  [runners.cache.azure]

[runners.docker]
  host = "tcp://dind:2375"
  tls_verify = false
  image = "registry.xyz.com/docker/docker:latest"
  privileged = true
  disable_entrypoint_overwrite = false
  oom_kill_disable = false
  disable_cache = false
  volumes = ["/cache", "/var/run/docker.sock:/var/run/docker.sock"]
  shm_size = 0

Docker Compose配置如下：

version: "3.9"
services:
  dind:
    image: docker:20-dind
    restart: always
    privileged: true
    environment:
      DOCKER_TLS_CERTDIR: ""
    command:
      - --storage-driver=overlay2

  runner_1:
    restart: always
    image: registry.gitlab.com/gitlab-org/gitlab-runner:alpine
    depends_on:
      - dind
    environment:
      - DOCKER_HOST=tcp://dind:2375
      - REGISTRATION_TOKEN=${REGISTRATION_TOKEN}
    volumes:
      - ./config:/etc/gitlab-runner:rw

目前，这些错误仅在一个项目中出现。用户想知道如何修复这个问题。

解决方案

确保Runner配置唯一

在你的问题描述中，你提到每个Runner的配置相似，只有名称、ID和令牌不同。确保每个Runner都有唯一的名称、ID和令牌，这可以避免可能的冲突和错误。

考虑调整并发和检查间隔

在Runner的配置中，你设置了concurrent = 1和check_interval = 0。这意味着每个Runner一次只能处理一个任务，并且不会进行检查间隔。根据你的项目需求，你可以考虑适当调整这些值，以提高并发处理能力和任务的轮询频率。

检查Docker环境

你在Docker Compose配置中使用了Docker容器（dind）来支持你的GitLab Runner。确保你的Docker环境正常运行，没有异常或错误。你可以尝试重新启动Docker服务，以确保环境的稳定性。

检查依赖关系和启动顺序

在Docker Compose配置中，你的GitLab Runner服务（runner_1）依赖于dind服务。确保这两个服务的启动顺序和依赖关系正确。如果dind服务出现问题，可能会影响GitLab Runner的正常运行。你可以尝试重启所有服务，以确保它们按正确的顺序启动。

检查项目特定问题

你提到这些错误只在一个项目中出现。检查这个特定项目的配置、代码和文件结构，确保没有特定于项目的问题导致这些错误。有时候，特定项目的配置或代码问题可能会影响Git操作的正常进行。

考虑更新软件版本

确保你使用的Docker、GitLab Runner以及其他相关软件的版本是最新的。更新到最新版本可能会修复一些已知的问题和错误，提高系统的稳定性和兼容性。

请注意，以上解决方案可能会因为你的实际环境和项目需求而有所不同。在进行任何更改之前，建议先做好备份并在测试环境中进行测试。