问题标签 [grok]

我很茫然，可能应该远离这个问题，任何人都可以帮助发现我所缺少的。Logstash 不断抛出“_grokparsefailure”。挠头？？？

使用logstash logstash-1.3.3-flatjar.jar

日志文件示例

proxy.ian.com - ian@IAN.COM [24/Feb/2014:11:16:49 -0500] "GET /docs/en-US/Guide/+ HTTP/1.1" 404 285 " https://ian .com/docs/en-US/Guides/html/Guide " "Mozilla/5.0 (X11; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0"

我的logstash过滤器

我需要帮助来编写 logstash 的过滤器。我的 logstash 配置为读取 syslog。

日志消息如下，

我想在 kibana 上有过滤器，基于我在消息中传递给 logstash 的 json 键。

我无法编写过滤器来从我的日志中获取参数。我也尝试过http://grokdebug.herokuapp.com/来生成过滤器。它给了我一个我不知道如何使用它的模式。

问题：我有一个要解析的日志文件，其中包含 84 列，其中 60 列是可选的。我让 Pattern 工作了，但是如果 grok 找到一个缺少字段的日志行，它会抛出一个错误。在我的情况下，99% 的日志缺少一些字段。有没有一种方法可以配置 grok 以在字段没有值（或插入虚拟值或空白）时忽略并移至下一列。

共有 84 列，其中 60 列是可选的。我正在尝试使用 grok 解析文件，并且只有在指定所有 84 列时才能执行此操作。

ads 1.0 4572165a-c5b5-420b-851d-dc69d6d73673 20297cab-4b4c-4b55-b1a8-9ddc436a3f08 2014-02-24 23:55:14 953 1979 93215 106241 97170 58881 29926 10939 6852 34 36 3 URL.com/movie_player.php? pid=155&utm_source=ADK&utm_medium=CPC&utm_campaign=test4_pid155&utm_term=78434-2000241 8 3 1012 98.226.166.151 6042 5303 US IN 527 11 0 7075 7029 -6 11001 12008 1 11300 0 0 0 1 url.com/movie_player.php?pid=155&utm_source= adk&utm_medium=cpc&utm_campaign=test4_pid155&utm_term=78434-2000241 www.url.com url.com 11203 65792 0 live.test.com/swf/v4/manager.swf 345550 7.7 美元 0 0 0 0 0 0 25 0 0 60 0 0 0 0 0 0 1393286114 2 0

在调用检查某些条件、进行一些更改、设置消息并重定向到原始对象的帮助程序 Grok 视图后，我有一个需要以某种方式修改的内容类型。

我的助手视图只有一个渲染方法，我想为它编写一些测试，但我不知道如何处理。

我想在不满足某些条件时检查错误消息，并在一切正常时检查信息消息。

我的代码如下所示：

当我调用视图时，显然我以 None 对象结束，因为视图没有返回任何内容。我不知道在哪里寻找消息...请求？回复？任何提示？

https://github.com/thekrakken/java-grok

我正在使用这个 Grok API for Java。代码如下：

程序的输出是：

我清空了 Grok 实例，我使用了一个单独的“m2”匹配变量，但程序仍然返回最后一次成功的匹配而不是 NULL 或可以通知我匹配失败的错误。我怎么知道匹配失败？

我搜索了 logstash 文档，但我找不到 logstash 如何执行过滤器。

我将举例说明：

1. 多个配置文件，apache.conf nginx.conf logic.conf nginx 和 apache 配置文件都包含一个过滤器，如果满足它们的类型就会触发，并添加一个名为“please_do_logic”的标签。

2. logic.conf 包含几个 grok 过滤器，它们将从 nginx.conf 和 apache.conf 中先前的 groked 日志行中提取请求部分

我有两个问题：

• logstash 如何决定首先执行哪个配置文件？
• 如何确保在执行 apache.conf 和 nginx.conf 之后执行 logic.conf 部分？ 我知道您可以将所有内容放在一个文件/过滤器中，然后从那里继续，但这会创建混乱的配置文件，这将是最后的手段。

谢谢

当我使用标准输入作为输入流时，我得到了正确的输出。但是，每当我将文件用作输入时，输出都会在以下消息之后冻结。

这是我的配置文件。

我的文件路径格式错误吗？

我已经在 AWS 上为我的 ELB 启用了访问日志，我们将它们发送到 logstash + elasticsearch + kibana 的设置。我正在使用logstash的grok过滤器将日志解析为单独的字段，我可以在kibana中查看和排序，并且在解析亚马逊在这些日志中给出的最后一个字段时遇到了困难，即“请求”字段。它实际上包含 3 个部分。HTTP 方法、URL 本身和 HTTP 版本。

我如何将这 3 个分成我可以使用的独立字段？

谢谢本雅明

我正在测试grok debugger，但我无法让它解决我的问题。

示例文本：

我应该如何构造一个 grok 正则表达式/模式字符串，以便它像以下部分一样拆分前面的示例文本：

我目前的正则表达式是：

但它只将日志字符串的开头分成几部分。我当前的 grok 字符串的示例结果是：

我想请你帮忙以自定义格式解析我的日志。我尝试使用http://grokdebug.herokuapp.com/来发现我的日志格式，但不幸的是我没有成功。我的日志具有以下格式：

例如：

我尝试使用以下模式：

但 Logstash 不断抛出“_grokparsefailure”你能帮我吗，或者可能会建议在 Logstash 工具中解析日志的另一种方法