问题标签 [flume]

我正在尝试使用 Flume-ng(1.2) 将数据从平面文件（日志文件）加载到 Hbase 中。平面文件有多个列，每个列都是以冒号（:) 分隔的，它们都需要加载到 HBASE 中的单独列中。我在查看论坛时发现有一个来自 Apache 的 jar 来解决这个问题（org.apache.flume.sink.hbase.RegexHbaseEventSerializer），但我找不到任何配置文件或互联网上的用法。如果有人可以帮助我配置配置文件，那将很有帮助

平面文件中的内容 1:nn 2:pp 3:mm

谢谢

出于某种原因，我的 Flume 1.2 avro sink 被从配置中删除，因为它是空的。我在下面包含了代理配置和调试输出。

我正在测试 Flume NG (1.2.0) 以收集日志。Flume 收集日志文件flume_test.log并将收集的日志作为 sysout 打印到控制台是一个简单的测试。conf/flume.conf是：

我运行 Flume 如下：

在控制台上运行 Flume 后的日志是：

我觉得 Flume 启动正常，所以就flume_test.log连续放了一堆线。但它不会flume_test.log在控制台上打印添加的行。

这个测试有什么问题？感谢您的任何评论和更正。

我正在尝试使用 Flume NG 将文本文件中的日志收集到 HBase。日志文件中的每一行都是 JSON 文本，我将它们作为值插入到 HBase 表中。问题是我不知道如何自定义行键模式。例如，当我计算表中的行数时：

行键是default + UUID_like_string. 如果我想使用当前时间戳（升序或降序）更改行键模式，我应该怎么做？

感谢您的任何评论。

可能以前有人问过这个问题，但鉴于这些技术已经成熟，我认为今天再次考虑是件好事。我们希望使用 Flume、kafka、scribe 或其他之一将流式 facebook 和 twitter 个人资料信息存储到 hbase 中，以便稍后进行分析。我们正在考虑使用水槽，但我没有使用其他技术来做出明智的决定。任何能够揭示一些光芒的人都会很棒！非常感谢。

我有一个 Flume 整合器，它将每个条目写入 AWS 上的 S3 存储桶。

问题出在目录路径上。

事件应该写在 /flume/events/%y-%m-%d/%H%M，但它们在 //flume/events/%y-%m-%d/%H% M。

似乎 Flume 在开头附加了一个“/”。

对这个问题有什么想法吗？我的路径配置有问题吗？

如何使用水槽从 mysql 连续读取以加载到 hbase？

我熟悉 sqoop，但我需要从 mysql 源不断地做到这一点。是否需要自定义源才能执行此操作？

查看Apache Flume 中的 HDFS 接收器默认参数，这似乎会产生大量非常小的文件（1 kB 卷）。根据我对 GFS/HDFS 的了解，块大小为 64MB，文件大小应为千兆字节，以确保一切高效运行。

所以我很好奇 Flume 的默认参数是否只是误导，或者我是否在这里遗漏了其他东西。

干杯。

我正在尝试使用 Log4J2 和 Flume-ng 对分布式系统进行集中式日志记录。系统中的其中一台服务器运行 Jetty，我用它来为系统执行 Web 服务（servlet）。当我在这个项目中包含 Log4J2 和 Flume-ng 的 Maven 依赖项时，它会破坏 Jetty 并且它不会正确启动/绑定。如果我删除下面列表中的依赖项（log4j-flume-ng），那么 Jetty 将正常运行，给我以下输出：

但是有了这种依赖关系，它就会出现（只是 Memcached 输出）：

Maven POM中的依赖如下：

我不知道如何开始解决这个问题。我已经设法让 Flume 与我的其他服务器一起工作没有问题，但似乎 Jetty 不会有它。有人可以提供任何建议以使其正常工作吗？

我正在编写用于 Flume-NG 1.3.0 的自定义 HbaseSink，并且需要org.hbase.async.PutRequest在同一行中执行多个列族。我没有看到构造函数或任何类似于Put.add(columnFamily, columnName, value).

有人可以阐明我应该如何去做吗？