解决Confluent Kafka在K8s上的偏移停滞和延迟增加的问题

101次阅读

问题描述

在生产环境的 Kubernetes 上使用 Confluent Kafka 集群时，遇到了消费者偏移停滞、延迟不断增加的问题。即使在重启 ZooKeeper 或 Broker（持久卷）后，偏移量只会稍微移动一点，然后再次停滞。用户检查了消费者，发现只有一个消费者分配了任务，而且这个任务会被处理完毕，但是所有任务在结束后都会重新开始。问题的根本在于有时候会出现错误消息，尝试忽略该消息并不会使 Kafka 恢复正常。用户想知道除了默认配置之外，是否还有其他解决方法，因为他们不确定为什么消息会停止被消费，或者是出现了某种导致重复处理同一消息的循环状态。

解决方案

请注意以下操作可能因版本不同而有所变化，执行任何修改前请确保做好备份。

方案1

通过检查背景 I/O 队列和缓冲区，用户确定了生产者的正常工作，因为偏移量不断增加。然而，通过检查消费者处理程序，发现在读取消息时未向 Kafka 发送确认（acknowledgement），这导致 Kafka 在超时后仍然会重新发送同一条消息，从而导致偏移停滞的问题。为了解决这个问题，用户在 Java 代码中确保在读取消息后发送确认。
以下是解决方案的步骤：
1. 在 Java 消费者代码中，确保在成功处理消息后发送确认到 Kafka。
2. 使用适当的确认模式，例如手动确认（manual acknowledgment）或自动确认（automatic acknowledgment）。
下面是 Java 消费者代码的示例，演示了如何在成功处理消息后发送手动确认：

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties properties = new Properties();
        // 配置 Kafka 消费者属性
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
        consumer.subscribe(Arrays.asList("your_topic_name"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                // 处理消息逻辑
                processMessage(record.value());

                // 手动发送确认
                consumer.commitSync();
            }
        }
    }

    private static void processMessage(String message) {
        // 实际的消息处理逻辑
        // 在处理完成后，会手动发送确认
    }
}

在上面的示例中，我们创建了一个 Kafka 消费者，订阅了指定的主题（your_topic_name）。在处理每条消息后，使用commitSync()方法手动发送确认，以确保 Kafka 不会重新发送相同的消息。
请注意，根据你的代码结构和需求，确认的发送方式可能会有所不同。在确认消息后，偏移量将会逐步更新，消费者不会陷入循环处理同一消息的状态。

方案2

如果确认消息并没有解决问题，还可以进一步考虑以下几个方面：
1. 检查错误处理逻辑：确保你的消费者处理逻辑能够妥善处理错误情况，避免导致重复处理相同消息的情况。
2. 调整消费者配置：检查消费者的配置参数，例如 max.poll.records、max.poll.interval.ms 等，确保它们适合你的业务场景。
3. 检查网络和连接问题：确保 Kafka 集群、ZooKeeper 和消费者之间的网络连接稳定，避免因网络问题导致消费者无法发送确认。
4. 观察消费者日志：仔细观察消费者的日志，查找可能的错误或异常情况，以便定位问题的根本原因。

以上是解决 Confluent Kafka 在 Kubernetes 上偏移停滞和延迟增加问题的一些方法。根据具体情况，你可以选择适合你业务需求的解决方案，确保消费者能够正常消费消息并保持偏移量同步更新。如果问题依然存在，建议深入分析日志和代码，以便找到更精确的解决办法。