问题描述
最近将一些生产基础设施迁移到了Kubernetes。许多Pod通过AWS上的LoadBalancer服务暴露出来。这创建了一个ELB，将集群中的每个节点注册到ELB，并配置一个节点端口将ELB端口映射到Pod。我们的应用程序能够通过负载均衡器进行连接，但是根据CloudWatch报告的BackendConnectionErrors数量比请求的数量高出5-7倍。我不确定如何调试这个问题。
报告的后端连接错误数量与任何应用程序层错误指标都没有关联。这使我得出结论，这可能是一种基础设施问题，可能会被重试放大。然而，我不知道如何调试这个问题。
我的假设是以下一个或两个可能导致问题的因素之一：
1. 在ELB上缺少某些奇怪的AWS设置，可能与连接管理有关。
2. 集群中的节点具有一些sysctl设置或其他网络配置，可能会阻塞ELB上传输的连接数量。
3. 一些中间的网络基础设施干扰了连接。
我的问题是：我如何在集群中的实例上调试/跟踪与TCP/网络相关的指标？
有人提出了评论：
1. 你确定所有的节点都正常运行吗？如果一个节点在K8s层级出现故障，ELB可能无法察觉并仍然会发送请求…
解决方案
请注意以下操作可能因版本差异或风险而有所不同，务必谨慎操作。
解决方案1：重新设计服务设置
一个解决BackendConnectionErrors问题的方法是重新设计您的服务设置。根据您的描述，您的问题涉及到一个K8s Service同时监听多个端口的情况，我建议您将每个端口配置为一个独立的Service。这将有助于消除复杂的连接路由，从而提高系统稳定性。
以下是重新设计服务设置的步骤：
1. 针对每个需要暴露的端口，创建一个独立的K8s Service。
2. 针对每个Service，配置相应的负载均衡设置，如LoadBalancer类型。
3. 更新您的应用程序以使用这些单独的Service进行连接。
这样的设计可以帮助您更好地管理连接，并减少因复杂的端口共享导致的问题。
解决方案2：检查节点设置和网络配置
您的假设中提到可能是节点设置或网络配置引起了问题。为了调试这个问题，您可以执行以下操作：
1. 确保集群中的所有节点都正常运行，并且没有出现任何故障。您可以使用Kubectl命令来检查节点的状态。
2. 检查集群中每个节点的系统设置和网络配置，确保它们没有阻止大量ELB连接的设置。
解决方案3：检查中间网络基础设施
如果您怀疑中间的网络基础设施可能在干扰连接，您可以考虑以下步骤：
1. 检查ELB的配置，确保没有任何奇怪的设置导致连接问题。
2. 如果可能，尝试绕过任何可能影响连接的网络设备或中间件，直接连接到节点，看看问题是否仍然存在。
总结
通过重新设计服务设置、检查节点设置和网络配置，以及排除中间网络基础设施的干扰，您应该能够更好地调试和解决BackendConnectionErrors问题。请务必谨慎操作，并在更改配置之前进行适当的备份和测试。如有必要，您还可以与您的云服务提供商或网络专家进行进一步的咨询。