问题描述
在处理不同应用程序生成的大量日志数据时，需要进行分析、可视化和监控。目前正在使用 Azure 应用洞察来进行可视化，但由于需要更高级的可视化功能，决定将数据迁移到适合分析数据并能够与 Tableau 连接的另一个数据库。他们正在探索 Elasticsearch，但由于没有直接连接到 Tableau 的连接器，因此需要构建自己的连接器。此外，他们还了解到了其他一些选项，如 ClickHouse、PrestoDB、InfluxDB、Apache HBase 和 Tarantool。问题是，在需要热活动数据、持续分析、监控能力以及与 Tableau 集成的情况下，哪种存储系统是日志数据的最佳选择？
解决方案
请注意以下操作注意版本差异及修改前做好备份。
最佳实践：使用 Elasticsearch 与 Kibana 结合
在处理大量日志数据时，Elasticsearch 与 Kibana 组合是一种常见且有效的解决方案。Elasticsearch 是一个分布式搜索和分析引擎，而 Kibana 则为 Elasticsearch 提供了强大的数据可视化和分析工具。以下是使用 Elasticsearch 与 Kibana 的步骤：
安装和配置 Elasticsearch 和 Kibana：首先，安装并配置 Elasticsearch 和 Kibana。Elasticsearch 用于存储和索引日志数据，而 Kibana 用于可视化和查询这些数据。
数据收集与索引：将不同应用程序生成的日志数据收集并发送到 Elasticsearch 中。Elasticsearch 使用索引来高效存储和检索数据。
创建仪表板和可视化：使用 Kibana 创建仪表板和可视化来分析和监控日志数据。Kibana 提供了丰富的图表、图形和过滤器，帮助你深入了解数据。
高级功能：Kibana 提供了高级的查询和分析功能，例如 Canvas，使你能够自定义报表和可视化。此外，你还可以使用 Kibana Lens 来创建直观的可视化图表。
Tableau 集成：虽然没有直接的 Elasticsearch 到 Tableau 连接器，但你可以考虑使用第三方工具或平台，如 Dremio，来实现 Elasticsearch 与 Tableau 的集成。通过 Dremio，你可以将 Elasticsearch 数据转换成 Tableau 可读取的格式。
其他选项：ClickHouse、PrestoDB、InfluxDB、Apache HBase 和 Tarantool
除了 Elasticsearch，你提到了其他存储系统，如 ClickHouse、PrestoDB、InfluxDB、Apache HBase 和 Tarantool。这些系统在不同方面具有优势，例如 ClickHouse 适用于大数据分析，InfluxDB 专注于时间序列数据，而 PrestoDB 是一个分布式 SQL 查询引擎。你可以根据你的具体需求和技术栈选择适合的存储系统。
总结
在处理不同应用程序生成的日志数据时，使用 Elasticsearch 与 Kibana 是一个强大且常见的解决方案。它提供了高效的数据存储、强大的可视化工具以及丰富的查询和分析功能。如果需要将数据与 Tableau 集成，你可以考虑使用第三方工具来实现连接。此外，根据特定需求，其他存储系统如 ClickHouse、PrestoDB、InfluxDB、Apache HBase 和 Tarantool 也可以作为备选方案。根据你的需求和技术要求，选择最适合的存储系统来支持热活动数据、持续分析和监控能力。