问题标签 [grok]

我的日志文件具有以下形式的行：

在哪里

• modulename是一个字符串
• pid是一个整数
• debug level string是一个字符串，如 "debug" 或 "info" 或 "error"
• message string是一个字符串
• xyz value是一个整数

例子：

我四处搜索并尝试了一些东西，但我得到了_grokparsefailure。有人可以帮我看看我可以在logstash中使用什么过滤器来解析这些日志吗？

我有两种来自一个来源的日志消息。我正在尝试使用如下配置解析它们：

Field1 和 Field2 对于每种类型都是唯一的。我的正则表达式和模式是正确的。当我运行这个过滤器时，只有过滤器的第一部分是匹配的，从第二部分开始我只收到 _grokparsefailure。你能帮我解决这个问题吗？

我尝试通过 Logstash 将管理员提供的 varnish-Access-Log 作为 .log 文件发送到我的 Graylog2 实例。我正在使用很多 nginx 日志文件这样做，所以我想知道我卡在哪里了。也许你可以帮助我更进一步。

我用 grok 调试器测试了所有东西两次，一切都很好。我被困住了。在调试器中一切正常，logstash 在日志文件中找不到任何内容。以前从来没有过。

这是我对 Logstash 的简单配置

这是 varnish-access-log 的提取：

这是 Logstash 的调试输出，它没有发送或识别任何东西：

读取配置文件 {:file=>"logstash/agent.rb", :level=>:debug, :line=>"301"}

我想知道是否可以使用 Logstash 消息中的字段作为 Grok 模式的输入。假设我有一个看起来像这样的条目：

我希望能够做这样的事情：

问题是这会使 Logstash 崩溃，因为它似乎将“%{grok_filter}”视为 Grok 过滤器本身，而不是 grok_filter 的值。Logstash 崩溃后，我得到以下信息：

无论如何从 Grok 过滤器块中获取字段的值并将其用作 Grok 模式的输入？

我有一个用于 plone 站点的产品，其模块包含一个实用程序类，并且在将/应该使用此实用程序的模块中，我试图在模块级别设置它。

在包含实用程序（my.product.testutility）的模块中，我有这个：

在将使用此实用程序 (my.product.stringtesting) 的模块中：

我还有一个模板文件，它会调用 returnStringForTest 在渲染页面上显示字符串。

不幸的是，我最终得到了这个错误： ComponentLookupError: (< InterfaceClass my.product.testutility.ITestUtil >, "TestUtility")

我确实尝试了几种不同的方法，例如使用 grok.GlobalUtility 作为基础，而不是使其成为通过 grok.global_utility 注册它的对象。在测试这个时，我确实使用它删除了类中的 name 参数。

我试图遵循的文档是 grok 网站上的参考资料，查看包含全局实用程序信息的指令页面。

另外，我正在使用 grok 0.9。编辑：我使用的 Plone 版本是 Plone 4，我使用的 python 版本是 2.7。

是否可以像我尝试的那样在模块级别设置实用程序？

有没有办法在 Logstash 中解析嵌套的 Json 对象？以下过滤器适用于我，但不解析嵌套的 json 对象：

所以如果输入的json是{"Event":23 , "Fact":"Yes" , "data":{"node1":"A1", "flag":"Y"}}

这就是它转换成的内容（来自 LogStash Logs）

我用正则表达式编写了一个 grokfilter，在 Grok 调试器中，配置工作没有错误，但是当我想在 logstash.conf 中匹配时，结果总是“grokparsefailure”

我要匹配的消息是： 10.196.3.3 - - [01/Aug/2014:00:00:16 +0200] "GET / HTTP/1.1" 200 1507 "-" "-"

我在 grok 调试器中的过滤器是：

完整的conf是：

所以也许有人可以帮助我吗？

我正在尝试使用 UNIX_MS 模式在 logstash/grok中以毫秒为单位匹配 unix 时间，我得到：

模式 %{UNIX_MS:timestamp} 未定义

UNIX_MS定义了Logstash Date Log，当我使用 运行时--configtest，测试通过了，所以我希望它能够工作。

示例输入：1415731504.54126,metric1,130

我的.conf：

我正在使用来自 rabbitmq 服务器的 logstash 将数据存储在 elasticsearch 上。

我的 logstash 命令看起来像

但我需要logstash 将数据放入elasticsearch 集群中的不同类型。我所说的类型是：

这是搜索结果的一部分，您可以在其中看到logstash，默认创建一个名为“logs”的类型（_type：“logs”）。在我的项目中，我需要动态类型，并且应该根据输入数据创建。例如：我的输入数据看起来像

我需要logstash在elasticsearch中创建一个名为“type_1”的新类型..

我尝试使用 grok ..但无法获得此特定要求。

我通过 json 将 Windows DNS 调试日志发送到 Elasticsearch，我需要解析它们。与微软一样，没有什么是容易的。DNS 调试日志不是 CSV。该文件中唯一有用的是它具有固定长度的列。

以下是 DNS 日志的示例： 11/21/2014 5:59:13 PM 0458 PACKET 00000000039ED750 UDP Rcv 192.168.1.98 600c Q [0001 D NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039EF460 UDP Snd 192.168.1.1 e044 Q [0001 D NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039F85B0 UDP Rcv 192.168.1.1 e044 R Q [8081 DR NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039F85B0 UDP Snd 192.168.1.98 600c R Q [8081 DR NOERROR] A (9)grokdebug(9)herokuapp(3)com(0)

我查看了这个 Stackoverflow 答案：Logstash grok filter help - fixed position file and was trying to setup a grok filter to parse the columns 但它对我不起作用。我知道我有语法问题，但我似乎找不到一个很好的例子来引导我走向正确的方向。

这是我的 grok 过滤器： grok { match => [ "message", "(?<dns_date_n_time>.{21}) (?<dns_field_1>.{5}) (?dns_type>.{8}) (?<dns_field_2>.{19}) (?<dns_protocol>.{4}) (?<dns_direction>.{4}) (?<dns_ip>.{16}) (?<dns_field_3>.{4}) (?<dns_query_type>.{5}) (?<dns_field_5>.{7}) (?<dns_field_6>.{3}) (?<dns_flag>.{9}) (?<dns_field_7>.{2}) (?<dns_record>.{5}) (?<dns_domain>.{255})" ] }

任何人都可以帮忙吗？