问题描述
在我所从事的项目中，每个模块都有一个独立的 MongoDB 集群。主要模块包含其他每个模块需要的数据。目前的实现方式是，每次数据库发生更改时，都会对每个模块进行一次 REST 调用。我想了解是否有更好的处理方式。
到目前为止，我已经了解到可以使用 Debezium 来进行变更数据捕获，尽管看起来我们需要运行一个 Kafka 实例才能使其正常运行，并且需要解析来自该实例的事件，我想避免创建更多的云实例。
除此之外，是否有其他选项？是否有办法让数据库集群本身来处理这个问题？我会非常感谢任何建议。
解决方案
请注意以下操作可能涉及版本差异及可能的风险。
方案1：使用 Debezium 进行变更数据捕获
您已经提到了 Debezium，这是一个强大的工具，可以用于捕获数据库中的变更数据，并将其传递给其他系统。虽然它需要一个 Kafka 实例来运行，但它可以高效地捕获变更并确保可靠传递。
以下是在您的情况下如何使用 Debezium 的步骤：
安装和配置 Debezium：按照 Debezium 官方文档的指导安装和配置 Debezium。确保您的 MongoDB 集群与 Debezium 兼容。
配置变更捕获：在 Debezium 配置中，设置适当的连接信息以及要捕获变更的 MongoDB 集合。
启动 Kafka 实例：作为 Debezium 的一部分，您需要启动一个 Kafka 实例。这将用于传递捕获到的变更事件。
处理 Kafka 事件：您可以编写一个消费者应用程序来订阅 Kafka 主题并处理来自 Debezium 的事件。这可以是您自己编写的应用程序，也可以使用现有的工具来处理和解析事件。
虽然这个方案需要一些额外的设置和配置，但它可以提供高度可靠的变更数据传递，并且可以与各种模块进行集成。
方案2：数据库触发器和存储过程
如果您想避免使用 Kafka，您可以考虑在 MongoDB 集群中使用数据库触发器和存储过程来处理变更数据的传递。
以下是在您的情况下如何使用数据库触发器和存储过程的步骤：
创建触发器：为您的主要模块中的数据库表创建触发器，以在数据更改时触发。
编写存储过程：编写一个存储过程，当触发器触发时，将变更数据提取并传递给其他模块。
调度存储过程：使用 MongoDB 中的计划任务或其他调度机制，定期调用存储过程以捕获和传递变更数据。
这个方案不需要额外的 Kafka 实例，但需要您编写一些额外的逻辑来处理变更数据和传递。
方案3：使用 Change Streams
MongoDB 提供了 Change Streams 功能，它允许您实时监视集合中的变更并对其做出响应。您可以编写应用程序来订阅 Change Streams 并将变更数据传递给其他模块。
以下是在您的情况下如何使用 Change Streams 的步骤：
编写应用程序：编写一个应用程序，使用 MongoDB 驱动程序订阅主要模块中集合的 Change Streams。
处理变更事件：当变更事件触发时，您的应用程序可以提取数据并将其传递给其他模块。
保证可靠性：确保您的应用程序能够处理可能的错误和失败情况，并提供重试机制以确保数据可靠传递。
虽然这个方案需要您编写一些自定义的应用程序代码，但它提供了一种实时且可靠的方法来传递变更数据。
方案4：使用消息队列
您还可以考虑使用其他消息队列系统，如 RabbitMQ 或 Apache Kafka，来处理变更数据的传递。这些消息队列系统可以作为中间件，帮助您将变更数据从一个 MongoDB 集群传递到另一个。
以下是在您的情况下如何使用消息队列的步骤：
安装和配置消息队列：选择一个适合您需求的消息队列系统（如 RabbitMQ 或 Apache Kafka），并按照其文档进行安装和配置。
编写生产者应用程序：编写一个应用程序，将 MongoDB 集群中的变更数据发布到消息队列。
编写消费者应用程序：编写另一个应用程序，从消息队列中订阅变更数据并将其传递给其他模块。
保证可靠性：确保您的应用程序能够处理消息传递期间的错误和失败情况，并提供适当的重试和错误处理机制。
使用消息队列可以提供一种灵活且可扩展的方式来处理变更数据传递。
总结
在处理将