logging - 分离水槽流

Question

我有两个不同的日志流，我想在 Flume 中创建它们。这些流包含不同的日志消息，单独处理它们会很棒。

拓扑

我的配置如下所示：

+----+    +-----+
| a0 | -> | dst |
+----+    +-----+
             ^
+----+       |
| a1 | ------+
+----+

a0并且a1是创建日志的源。

dst是目的地，应该记录日志条目（到 HDFS）。

配置

这是flume shell的节点配置：

[flume localhost:35873:45678] getmappings
Master has the following mappings

Physical Node                  --> Logical Node(s)

a0.domain.local                --> [a0, a0.domain.local]
a1.domain.local                --> [a1, a1.domain.local]
dst.domain.local               --> [dst.domain.local, fooSink, barSink]

问题

当我尝试按照此处所述创建新的水槽流时，出现以下错误：

[flume localhost:35873:45678] exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")
Failed to run command 'exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")' due to null
12/03/13 14:06:05 ERROR util.FlumeShell: Failed to run command 'exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")'

due to null日志中没有任何内容，我对此错误无能为力。

Answer 1

好的，我知道了，需要引用源和汇：

[flume localhost:35873:45678] exec config a0 fooFlow 'rpcSource(12345)' 'agentE2ESink("dst")'
[id: 35] Execing command : config
Command succeeded