问题标签 [elastic-stack]

我需要使用 logstash 生成新字段（loglevel），最后在 kibana 中显示。

1. 如何提取此日志并为此日志使用 grok 过滤器制作模式。
2. 如何使用 logstash 配置创建loglevel字段。

我知道这里问了一个类似的问题： 如何配置 logtash 以使用“stdout”作为输入？，但我想稍微概括一下这个问题。

我目前配置的是 Linux VM 上的基本 ELK 堆栈（elasticSearch、logstash、kibana），我想将一些标准输出提供给 logstash，以便从文件系统中删除日志文件，从而不占用磁盘空间。

例如，我将如何从 Kibana 中提取标准输出，并将其直接输入 Logstash？

任何正确方向的指针将不胜感激。

我正在尝试为 Java 应用程序设置 ELK。tomcat 日志是使用 log4j 生成的。要编写测试模式，我正在使用Grok Debugger。但是在调试器上它总是显示

编译错误

我的日志样本：

我的 grok 过滤器：

我的模式：

最近我试图找出使用 ELK 堆栈的最佳 Docker 日志记录机制。我对公司在生产中使用的最佳工作流程有一些疑问。我们的系统有典型的软件栈，包括Tomcat、PostgreSQL、MongoDB、Nginx、RabbitMQ、Couchbase等。目前，我们的栈运行在CoreOS集群中。请在下面找到我的问题

1. 使用 ELK 堆栈，进行日志转发的最佳方法是什么 - 我应该使用 Lumberjack 吗？我问这个是因为我看到人们使用 Syslog/Rsyslog 将日志转发到 logstash 的工作流程。
2. 由于我们所有的软件都是容器化的，我应该在我的所有容器中包含 Log-forwarder 吗？我计划这样做，因为我的大多数容器会根据运行状况切换节点，因此我不热衷于将文件系统从容器安装到主机。
3. 我应该使用 redis 作为代理来转发日志吗？如果是，为什么？
4. 编写定义要转发到 log-stash 的日志格式的 log-config 文件有多难？

这是一个主观问题，但我确信这是人们早就解决的问题，我不热衷于重新发明轮子。

我正在使用 logstash 1.5 来分析日志。

我想跟踪一个接一个发生的两个事件。所以我想在第一个事件发生时设置一个标志/字段/标签，并在事件之间保留该值。

我查看了此链接，但似乎 grep 和 drop 在 logstash 1.5 中不受支持。

有没有办法实现这一目标？

我已将博客导入Elasticsearchvia Logstash。这已成功完成。

我在日志文件中有一个clientip始终填充的字段 ( ) 和另一个有时填充的字段 ( trueclientip)。我想根据两者的合并进行聚合；例如，如果trueclientip不为空，则使用，否则使用clientip.

我如何使用 Kibana 中的可视化来做到这一点？我需要生成脚本字段还是有其他方法？

谢谢。

我正在使用 'elapsed' logstash 过滤器来计算事件的持续时间。我需要以分钟而不是秒为单位的时间，这是 logstash 中的默认设置。所以，我使用 ruby​​ 过滤器进行转换，但我无法在 ruby​​ 过滤器内将浮点数四舍五入到小数点后两位。

我尝试使用显示格式“.2f”，但它不起作用，可能是因为引号。使用转义字符也不起作用。

我也在浮点数上尝试了 .round(2)，但保留了原始值。

我正在使用 Hadoop+ELK 堆栈来构建分析堆栈。我正在尝试每天刷新索引。

我正在使用来自第三方的 CSV 格式的数据。我无法控制输入数据，即我无法要求更改 CSV 文件的架构。

问题是 CSV 记录中没有唯一 ID，甚至组合列以生成唯一 ID 也不起作用。因此，在刷新 Elasticsearch 时会将重复数据添加到索引中。

所以，如果第 1 天的数据是这样的

Day2 数据变为

在 ELK 中是否有任何好的方法来处理这个问题。我正在使用 Logstash 来使用 csv 文件。

We've got an ELK setup. All logfiles are collected successfully and pushed into elasticsearch. Then we're using kibana 4 to visualize the logs. But there is only WARN as 'level' shown. Within the elasticsearch index there are many more and all other 'level's. But these are not shown. All other fields in the index, where multiple values are available are shown, except 'level'. Is this a bug or is there something wrong in the default configuration?

我想通过http://IP:80访问 Kibana 。然而，当我访问该页面时，我得到了这些错误：

需要升级 您的 Elasticsearch 版本太旧。Kibana 需要 Elasticsearch 0.90.9 或更高版本。

和

错误 无法到达http://localhost:80/_nodes。如果您使用的是代理，请确保其配置正确

我一直在互联网上查找这些问题，但我已将这些行包含在内但没有成功...

我的 Elasticsearch 版本实际上是 0.90.9。

我能做什么？请帮我