如何让AWS Batch使用现有的ECS集群

31次阅读

问题描述

想要让AWS Batch使用他已经存在的ECS集群。然而，当他在AWS Batch服务中创建一个非托管的”计算环境”时，系统不允许他指定已经存在的ECS集群，而是会自动部署一个新的ECS集群（用户无法进行选择）。用户之所以想要将已有的ECS集群与这个非托管的”计算环境”关联起来，是因为他不想在已经拥有一个ECS集群的情况下支付两个集群的费用。用户寻求一些建议或替代方案。

解决方案

请注意以下操作可能会受到AWS服务变化或版本差异，使用前请仔细查阅官方文档。
目前，AWS Batch的非托管计算环境功能似乎不支持直接关联现有的ECS集群。然而，您可以考虑以下建议或替代方案。

方案1：使用托管计算环境

考虑使用AWS Batch的托管计算环境，这样您就不必关心集群资源的管理。您只需设置计算环境的最小和最大CPU资源（建议最小值为0，以便在没有作业运行时不浪费资源）。然后，根据作业的资源需求来配置资源，AWS Batch会根据需求自动添加计算容量。
您的费用情况基本不会受到影响，因为AWS Batch将会创建一个自动缩放组（ASG）和ECS集群，但只会按照实际使用的EC2实例计费。

方案2：手动控制启动顺序

虽然AWS Batch的非托管计算环境不能直接与现有ECS集群关联，但您可以编写脚本或使用其他工具来手动控制作业的启动顺序。以下是一个简单的示例脚本，用于在AWS Batch中实现作业的启动顺序：

#!/bin/bash
# 使用AWS CLI提交作业到Batch队列
job_id=$(aws batch submit-job --job-name my-job --job-queue my-queue --job-definition my-job-definition | jq -r '.jobId')
# 等待作业完成
aws batch wait job-complete --jobs $job_id
# 在作业完成后，手动执行ECS任务
ecs_task_id=$(aws ecs create-task --cluster my-existing-cluster --task-definition my-task-definition | jq -r '.tasks[0].taskArn')

在这个示例中，我们使用AWS CLI提交作业到Batch队列，并等待作业完成。在作业完成后，使用AWS CLI手动创建ECS任务并运行在现有的ECS集群上。

请注意，这种方法需要您手动管理作业和任务的状态，可能会增加一些复杂性。