0

我必须像这个拓扑一样构建一个日志集群和监控集群（为了高可用性）。我想知道如何配置那些 log-shippers 集群。（我在图像中有 2 个 Topo）

  1. 如果我在 Kafka 集群中使用带有 FileBeat 的 Kafka，Elastic Search 会因为 Kafka 在数据中有副本而收到重复数据吗？

  2. 如果我使用 Logstash（在 Elastic Search Cluster 中）从 Kafka Cluster 获取日志，配置应该如何，因为我认为 Logstash 将不知道在哪里读取 Kafka Cluster 上的日志效率。

集群拓扑

谢谢阅读。有什么想法可以私聊我^^！

4

1 回答 1

1

正如我所见，这两种配置都与 Kafka 兼容，您可以使用 filebeat、logstash 或在消费者和生产者阶段混合使用它们！

恕我直言，这完全取决于您的需求，即：有时我们在摄取到 kafka（生产者阶段）之前使用一些过滤器来丰富数据，或者在将数据索引到弹性（消费者阶段）之前，在这种情况下最好使用 logsatsh，因为使用过滤器比使用 filebeat 更容易

但是如果你想玩原始数据，也许 filebeat 更好，因为代理更轻。

关于您的问题：

  1. Kafka 复制了数据，但是对于 HA 提议，您只读取一次具有相同消费组的数据
  2. 要使用 logstash 从 kafka 读取日志，您可以使用 kafka 的 logstash 输入插件，简单且工作正常！

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html

于 2020-08-26T08:26:48.783 回答