问题描述
正在尝试在云中扩展一个爬虫。他想知道在考虑以下条件的情况下，自动化工作流程的最佳方式是什么：
– 无论并行运行多少个爬取任务，每个爬虫都有保证的带宽、CPU和内存。
– 有时同时运行3个爬虫，有时运行10000个爬虫。
– 爬虫之间不需要通信，也没有共享队列。
– 用户需求提出后，爬取应该尽快开始。
潜在的”工作流程”可能是：
1. 用户点击按钮开始爬取。
2. 一个API接收到请求。
3. API询问是否有可用的容器来开始爬取。
这里有两个选项：
3a – 一个容器处于待命状态，准备开始。
3b – 没有可用的容器，所以启动一个新的容器。
4 – 容器的IP:PORT被发送到API，并标记为”reserved”。
5 – API接收到IP:PORT。
6 – API向http://IP:PORT发送请求，包含启动爬取所需的参数（URL等）。
这里有两个选项：
6a – 预期行为：爬取开始。
=> 启动一个新的容器，并标记为”available”模式，以备未来可能的新爬取。
6b – 非预期行为：启动爬取的请求未到达目标。
=> 在n秒内未使用容器启动爬取后，将容器标记为”available”。
7 – 用于爬取的容器被删除。
解决方案
请注意以下操作注意版本差异及修改前做好备份。
方案1
为了实现在云中自动化工作流程，可以使用以下步骤：
1. 创建一个API来接收用户的爬取请求。
2. 使用容器编排工具（如Docker Compose或Kubernetes）来管理容器的启动和停止。
3. 在容器编排工具中定义一个服务，该服务具有所需的带宽、CPU和内存，并且可以根据需要进行水平扩展。
4. 当API接收到爬取请求时，它可以使用容器编排工具来启动一个新的容器来处理爬取任务。
5. 将新启动的容器的IP:PORT返回给API，并标记为”reserved”。
6. API将请求发送到新启动的容器，以开始爬取任务。
7. 当爬取任务完成后，容器可以被删除。
以下是一个示例的Docker Compose配置文件，用于管理容器的启动和停止：
version: '3'
services:
api:
image: your_api_image:latest
# 定义API的其他配置
crawler:
image: your_crawler_image:latest
# 定义爬虫容器的其他配置
在上面的示例中，我们定义了两个服务：api和crawler。api服务用于接收用户的爬取请求，crawler服务用于执行爬取任务。你可以根据实际需求进行配置。
方案2
使用云平台的自动化工具可以更方便地管理容器的启动和停止，并提供更高级的功能，如自动扩展和负载均衡。
另一种方法是使用云平台的自动化工具来管理容器的启动和停止。这些工具可以提供更高级的功能，如自动扩展和负载均衡，以满足不同规模的爬取需求。
以下是一个示例的AWS ECS配置，用于在云中自动化管理容器：
1. 创建一个ECS集群，用于托管容器。
2. 创建一个ECS任务定义，定义爬虫容器的配置和要运行的命令。
3. 创建一个ECS服务，将任务定义与集群关联，并配置自动扩展和负载均衡等高级功能。
使用云平台的自动化工具可以简化容器的管理，并提供更高级的功能，以满足不同规模的爬取需求。
总结
在云中自动化工作流程可以通过使用容器编排工具或云平台的自动化工具来实现。这些工具可以帮助管理容器的启动和停止，并提供高级功能，如自动扩展和负载均衡。根据实际需求选择合适的工具和配置，以满足爬取任务的需求。