elasticsearch - 如何在 Fluent Bit 中处理间歇性断开连接并通过 HTTP 发送正确的时间戳？

Question

我在互联网连接经常断开的仓库环境中运行 Fluent Bit。不过，我想将 fluent bit 中的数据上传到我的 logstash 服务器（HTTP 输出）。

我通过断开互联网连接、发送数据、等待一分钟然后重新连接来运行一些测试。不幸的是，在 kibana 上，我可以看到 Fluent bit 发送的时间戳是这一分钟之后的，而不是之前的。这在发送日志文件时无关紧要，但是当随着时间的推移跟踪性能或 CPU 活动时，它确实会弄乱数据。

我想在仓库中有一个中央设备，我可以在其中转发数据，这个设备会使用 Fluentd 将其发送到 logstash，但我想知道是否有一个不太复杂的解决方案。我也不确定这里会考虑哪个时间戳。

另外，我看了一下collectd，但它不像Fluent Bit那么容易使用。

我是否缺少任何明显的解决方案？

Answer 1

正如 ibexit 所指出的，时间戳已正确发送，但在我的情况下，logstash 转换失败。如果我将数据直接发送到elasticsearch，时间戳就可以了。所以，答案是使用fluentbit提供的完整存储系统，同时直接发送到logstash。

在仓库环境中，以集中方式将数据转发到另一个单元还有其他好处，并且可以更好地考虑安全限制，但这取决于您的业务案例。