问题标签 [elastic-stack]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1408 浏览

elasticsearch - 如何在弹性搜索中聚合每年基于特定日期的字段?

我的索引中有 2010 年到 2015 年的数据。

从 2010 年到 2015 年,我使用以下代码获取每年汇总的名字详细信息,它按预期工作

如何根据每年的特定日期汇总我的数据。

例如,我想检索每年 2 月 15 日到 4 月 15 日的数据。

0 投票
2 回答
64 浏览

kibana - 如何从elk/kibana获取一周内的总登录量

我有一个kibana界面,如何获取每周的日志数据总量?

0 投票
1 回答
451 浏览

elasticsearch - 我不知道如何使用 grok 和 logstash 过滤我的日志文件

我有一个小型 Java 应用程序,它加载类似于下面这些的日志:

我想使用 ELK 堆栈来分析我的日志并过滤它们。我想要至少 3 个过滤器:日期和时间、交易 ID 和状态。

在我的 logstash 配置文件的过滤器部分,这是我所做的:

目前我无法根据需要过滤我的日志。

0 投票
0 回答
273 浏览

logstash - 在logstash转发器中设置时间延迟

所以最近我用位于两个 EC2 实例上的 logstash 转发器设置了 ELK 堆栈,将服务器日志转发到安装在另一个 EC2 实例上的 elasticsearch 和 kibana。在那之后,我意识到服务器 CPU 百分比一直在急剧上升,顶级进程始终是 java(它是 logstash-forwarder,因为服务器是用 node.js 编写的)。

我考虑过限制logstash-forwarder每分钟发送的请求数。但首先,我不确定这是否可以通过 logstash-forwarder 配置实现。其次,如果可行,是不是一次性发送大量日志数据而不是连续发送小块更好?

谢谢。

0 投票
1 回答
3891 浏览

elasticsearch - 如何使用 logstash 过滤器解析 xml 文件

我正在尝试使用 elasticsearch 和 logstash 索引一些简单的 XML 文件。到目前为止,我已经设置了 ELK-stack 和 logstash-forwarder。我正在尝试使用文档来设置 xml 过滤器,但我似乎无法正确处理。

我的 XML 格式非常简单;

我只希望每个文件都是 elasticsearch 中的一个条目,并且 DataFile-tag 中的每个参数都是我可以搜索的键值。由于文档让我无处可去,这样的过滤器看起来如何?我也尝试在这个这个中使用答案,但没有任何运气。

0 投票
1 回答
1823 浏览

dns - logstash dns 过滤器未命中

我在我的 ELK 堆栈环境中使用 logstash 1.5。使用以下过滤器配置:

我有两个问题:

  • 过滤器丢失或在许多日志上跳过 dns 反向过程 - 我的意思是每个日志都进入过滤器过程或 dst 和 src 字段都反转或根本不反转并保留 ip (当我使用 nslookup 测试所有 ip字段在 dns 中有名称)。
  • 我不知道如何以及为什么,但我的一些日志有多个值,我收到以下错误:

DNS:跳过反向,不能处理多个值, :field=>"src" , :value=>["10.0.0.1","20.0.0.2"], :level=> warn

看起来我的(ELK)logstash 无法处理大量日志并足够快地解决它们。看起来他从不同的日志中创建了多个值的数组键。

任何想法?也许你们遇到这个问题?

0 投票
1 回答
3090 浏览

metrics - Kibana 4 中的百分比指标?

嘿,我正在使用 elk 堆栈来存储和查看测试结果。我想看到一个像这样的漂亮显示:

_通过_____失败_

99.99%___00.01%

但是我找不到任何方法来做到这一点。这在 Kibana 4 中可能吗?我觉得这是一个非常基本的功能,应该可用......

0 投票
1 回答
503 浏览

log4j - 哪个更好:appserver 或远程 kibana 服务器上的 logStash 代理?

我有 12 个日志 (log4j) 文件,我想在 Logstash/Kibana 中建立索引。

最好将每个 log4j.xml 文件更改为附加到本地主机上的单个 logstash 代理(1 对 1 映射),然后推送到运行 Kibana 的远程主机上的 ElasticSearch?

所以应用服务器上有 12 个 logstash 代理。

或者

最好将每个 log4j.xml 文件更改为附加到远程主机上匹配的 logstash 代理(1 对 1 映射),然后推送到 ElasticSearch(与 Kibana 在同一主机上运行)?

那么运行 ElasticSearch 和 Kibana 的删除服务器上有 12 个 logstash 代理?

如果我选择选项 2,那么我需要在 Kibana 服务器上定义要打开的 12 个端口。

如果我选择选项 1,那么我只需要打开一个端口,即 9200(弹性搜索端口)。

我应该采取什么建议的方法?我错过了 Logstash 的技巧吗?

注意:它来自一个 QA 服务器的 12 个日志文件,如果我包括其他 3 个 QA 服务器,那么我需要为每个 QA 服务器打开 12 个端口。不是我热衷于做的事情。

我正在使用 log4j appender,因为服务器是 Windows,我还没有让 logstash 代理直接读取应用程序日志(文件锁定问题)。

  • 日志存储:1.5.0
  • 弹性搜索:1.6.0
  • Kibana:4.1.0-windows
0 投票
1 回答
453 浏览

elasticsearch - OS X:logstash 工作了一段时间,然后以“Logstash 关闭完成”消息停止((

在我升级到 logstash 1.5.0 后,这个程序出现了奇怪的行为。每当我使用下一个命令运行它时:

它工作了一段时间,然后停止说"Logstash shutdown completed"。例子:

即使完全重新安装后:

我有同样的问题(((

这是我的/usr/local/etc/logstash/conf.d/logstash.conf

为什么?我究竟做错了什么?

0 投票
2 回答
1319 浏览

kibana - 在 Kibana 中显示 n-greatest

在我的 elasticsearch 后端,我有一个带有数字字段和 @name 字段的索引统计信息。

我想在 Kibana 中显示一个饼图(或其他一些面板类型),您可以在其中列出前 N 个 @name,其中饼图中的百分比表示所表示的总字段的百分比。

例如,在一个索引中,您可能有

然后我会有一个饼图,其中 John 和 Robert 的比例均为 50%。这在 Kibana 上可行吗?