问题标签 [apache-kafka]

我正在尝试使用 Avro 来读取/写入 Kafka 的消息。有没有人有使用 Avro 二进制编码器对将放入消息队列的数据进行编码/解码的示例？

我需要 Avro 部分而不是 Kafka 部分。或者，也许我应该看一个不同的解决方案？基本上，我正在尝试为 JSON 找到一种更有效的空间解决方案。刚刚提到了 Avro，因为它可以比 JSON 更紧凑。

我希望用 Python 或 R（最好是 R）来破解一个 kafka 消费者。使用 kafka 控制台使用者，我可以 grep 字符串并检索相关数据，但是在 R 中适当地解析它时我不知所措。

有其他语言（例如：PHP、CPP）可用的 kafka 客户端，但从数据分析的角度来看，R 中的一个客户端会有所帮助。

如果这个论坛上的 R 专家开发人员能够暗示/建议资源，让我在这个方向上取得进展，那就太好了。

阿帕奇卡夫卡：incubator.apache.org/kafka/

卡夫卡消费者客户端：https ://github.com/kafka-dev/kafka/tree/master/clients

关于Apache-Kafka 消息队列。

我已经从 Kafka 下载页面下载了 Apache Kafka。我已将其提取到/opt/apache/installed/kafka-0.7.0-incubating-src.

快速入门页面说您需要启动 Zookeeper，然后通过运行以下命令启动 Kafka ：
>bin/kafka-server-start.sh config/server.properties

我正在使用一个单独的 Zookeeper 服务器，所以我编辑config/server.properties指向那个 Zookeeper 实例。

当我按照快速入门页面中的说明运行 Kafka 时，出现以下错误：

我使用 telnet 确保可以从运行 Kafka 的机器访问 Zookeeper 实例。一切都好。

为什么我会收到此错误？

我开始玩卡夫卡。我已经设置了一个 zookeeper 配置，并且我设法发送和使用 String 消息。现在我试图传递一个对象（在java中），但由于某种原因，在消费者中解析消息时，我遇到了标题问题。我尝试了几个序列化选项（使用解码器/编码器），并且所有的都返回相同的标头问题。

这是我的代码制作人：

和消费者：

和我的序列化器：

这是我得到的错误：

当我与MessagePacka一起工作时，ObjectOutputStream我遇到了一个类似的标题问题。我还尝试将有效负载 CRC32 添加到消息中，但这也无济于事。

我在这里做错了什么？

基本问题，Apache Kafka 目前支持哪些平台和语言？

我有一个生产应用程序，每天必须处理几 GB 的消息。我非常喜欢 Kafka 的架构和性能；它完全符合我的需求。

我想在某个时候用Kafka替换我的消息传递层。0.7.1版本在稳定性和性能一致性方面是否足以满足生产使用？

我正在使用 queuedchunks.max 属性一次从主题中检索 10 条消息，但它返回了所有可用的消息（超过 10 条）。如果有办法只检索所需的消息，请告诉我。

我是 maven 的新手，我试图运行 strom kafka TestTopology spout，但是在storm-kafka spout 下的storm-kafka contrib 中没有提供pom 文件。我使用了 Lein，它也不起作用。我还尝试使用 lein pom 自己制作一个 pom（并对其进行修改），但它也不起作用。我正在从上到下构建项目：我在storm-conrib-master 中运行mvn，它成功构建了更高级别，但是我如何使用storm starter 中的m2-pom 运行TestTopology.java { 稍作更改} 我使用这个：

我还使用了 project.clj 设置和 lein，它也不起作用，但 lein 不是我的菜。这是 Maven 设置：

Apache Maven 3.0.4 Maven 主页：/usr/share/maven Java 版本：

1.6.0_33，供应商：Sun Microsystems Inc.

编码：UTF-8 操作系统名称：“linux”，版本：“3.2.0-32-generic”，arch：“amd64”，家族：“unix”

我应该如何运行 TestTopology.java？

我收到编译错误：

[错误] 无法执行目标 org.apache.maven.plugins:maven-compiler-plugin:2.0.2:compile (default-compile) on projectstorm-kafka: 编译失败：编译失败：[错误] Desktop/storm- contrib-master/storm-kafka/src/jvm/storm/kafka/trident/StaticBrokerReader.java:[13,7] -source 1.3 [错误] 不支持泛型（使用 -source 5 或更高版本来启用泛型）[错误] 地图代理 = new HashMap(); [错误]

我目前正在使用此库对我设置的 kafka 服务器进行压力测试：https ://github.com/dsully/pykafka

最终发生的事情是我最终使我自己的本地机器超载。

我收到错误 10055，根据谷歌的说法，这意味着“Windows 已用完 TCP/IP 套接字缓冲区，因为同时打开了太多连接。” 根据 netstat， producer.disconnect() 不是关闭套接字，而是将其置于TIME_WAIT状态。

ipython 调试器指向这一行：

作为罪魁祸首，但这似乎会使事情变得比我感到舒服的要低。

我已经搜索并发现这个Python 套接字没有正确关闭连接，建议这样做：

所以，我在 io.py 文件中使用该选项重建了 pykafka 库：

我仍然得到同样的错误。

我没有把 setsockopt 线放在正确的位置吗？还有什么我可以尝试的吗？

我已经通过命令“gem install fluent-plugin-kafka”为我的 fluentd 安装了 output_kafka 插件。

但是当我启动 fluentd 服务时，我在日志文件中收到以下错误消息：

2012-11-09 18:18:39 +0800: 暂时刷新缓冲区失败，下次重试将在 2012-11-09 18:52:46 +0800。error="未初始化常量Kafka::Message " 实例=69952455476860

似乎 output_kafka.rb 找不到模块 Kafka 或类消息，那么我该如何解决呢？