Terraform 如何为多个项目组织模块/代码

问题描述

当在Terraform中构建更大规模的基础设施时，如何进行结构化安排是一个重要问题。用户对此感到好奇，尤其是在逐步将基础设施迁移到Terraform时。现在我们假设有以下情况：
– 为API创建CloudFront分发
– 使用多个AWS Lambda实现API
– 使用托管在EC2上的传统服务，并配备MySQL
– Lambda使用传统服务和DynamoDB来处理请求

在这样的情况下，您会如何组织Terraform的结构？您会将所有内容放入一个Terraform文件中，还是分开？如果分开，您会如何划分TF代码？根据上下文划分吗？另外，我们还希望将多个API Lambda迁移到CI/CD中。它们分为多个代码仓库，我们也希望将它们纳入Terraform中。如何将每个Lambda的TF与其余基础设施的TF关联起来？

解决方案

请注意以下操作可能存在版本差异，请在执行操作前备份数据。以下方案旨在提供指导，具体情况可能因组织结构和需求而异。

创建模块

在Terraform中，创建模块是管理复杂基础设施的一种有效方法。您可以将不同的组件抽象为可重用的模块，使您能够在不同的环境中轻松部署它们。例如，对于CloudFront、API Lambda和EC2实例，您可以分别创建模块。

1. CloudFront 模块

   • 创建一个名为 cloudfront 的模块文件夹。
   • 在该文件夹中，编写创建CloudFront分发所需的Terraform代码。
   • 您可以将这个模块用于不同的项目和环境，只需在使用时传递相应的参数。

2. API Lambda 模块

   • 对于每个API Lambda，都创建一个独立的模块文件夹。
   • 在每个文件夹中，编写创建Lambda函数和相关资源的Terraform代码。
   • 使用相应的参数将这些模块用于各个项目中。

3. EC2 实例 模块

   • 同样地，为EC2实例创建一个模块文件夹。
   • 编写Terraform代码以创建和配置EC2实例、MySQL等资源。
   • 通过参数在不同项目中使用该模块。

组织Terraform 代码

1. 分文件夹结构

   • 为每个项目或组件创建一个文件夹，如 project_api、project_ec2 等。
   • 在每个文件夹中，存放与该项目或组件相关的Terraform代码文件。

2. 使用工程化的目录结构

   • 对于大型基础设施，考虑采用更结构化的目录布局，如Terraform工程化实践中所述。

3. 使用远程后端

   • 使用远程后端（如Amazon S3、Azure Blob Storage等）来存储Terraform状态文件，以实现更好的状态管理和合作。

管理模块之间的关系

1. 模块间引用

   • 在各个模块中使用 data 或 module 块来引用其他模块的输出，以建立模块之间的关系。

2. Terraform 数据源

   • 使用Terraform数据源来引用其他模块创建的资源。比如，Lambda模块可以使用数据源引用EC2实例。

CI/CD 集成

1. 使用版本控制

   • 将每个模块放置在单独的代码仓库中，并使用版本控制管理代码。

2. 自动化部署

   • 基于CI/CD流程，自动化Terraform的初始化、计划和应用，以实现可持续集成和交付。

3. 构建流水线

   • 在CI/CD流水线中，通过在Terraform步骤前后添加审查和监测，确保对基础设施变更的控制和可见性。

总结

在处理复杂的基础设施时，结构化的Terraform代码布局和模块化的设计是非常重要的。通过创建可重用的模块、合理组织代码文件夹、使用远程后端和集成CI/CD流程，您可以更好地管理和部署基础设施，并保证代码的一致性和可维护性。阅读《Terraform: Up & Running, 2nd Edition》以及参考工程化实践将有助于您更好地组织和管理Terraform项目。