问题标签 [kafka-consumer-api]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

3702 问题

0 投票

0 回答

166 浏览

java - Kafka OffsetRequest 当前版本

在下面这段代码中，kafka.api.OffsetRequest.CurrentVersion() 是什么，它的意义是什么？从可用的文档中我不清楚。在什么情况下，需要不同的版本 id？

0 投票

1 回答

1357 浏览

apache-kafka - Kafka 消费者路径不能以 / 字符结尾

我正在使用 Apache Kafka 0.8.2.1 将 Web 事件流式传输到其他数据源。我编写的 Kafka Producer 运行良好，当我运行 kafka-console-consumer.sh 时，我能够看到数据通过我的主题流式传输。但是，我没有任何运气试图让我的 Kafka 消费者检索消息。有任何想法吗？

当我的代码尝试运行 consumer.createMessageStreams(topicCountMap) 时，正在输出以下有关不正确路径的错误

这是我的 Kafka Consumer 的代码。

apache-kafka messagebroker kafka-consumer-api

0 投票

4 回答

3490 浏览

multithreading - Kafka high-level consumer: Can partitions have multiple threads consuming it?

Can messages from a given partition ever be divided on multiple threads? Let's say that I have a single partition and a hundred processes with a hundred threads each - will the messages from my single partition be given to only one of those 10000 threads?

multithreading apache-kafka kafka-consumer-api

0 投票

1 回答

561 浏览

apache-kafka - 我想知道，当 startOffsetTime 的值为 kafka.api.OffsetRequest.EarliestTime() 时，偏移值是什么？

当我设置startOffsetTime=kafka.api.OffsetRequest.LatestTime()时，偏移量的值是最大的可用值。

什么时候设置startOffsetTime is kafka.api.OffsetRequest.EarliestTime()偏移值？

apache-kafka kafka-consumer-api

0 投票

1 回答

370 浏览

apache-kafka - when consume message from kafka,usually with a group id.But,SimpleConsumer just use a clientName.The clientName is group id?

when consume message from kafka,usually with a group id.But,SimpleConsumer API just use a clientName.The clientName is group id?

apache-kafka kafka-consumer-api

0 投票

1 回答

107 浏览

apache-kafka - 高级消费者垃圾收集了吗？

高级消费者的位置在 Kafka/Zookeeper 中保持不变。这些是否曾经收集过垃圾？

apache-kafka kafka-consumer-api

0 投票

0 回答

629 浏览

apache-kafka - 将 log.retention.hours 设置为非常高的数字的含义

我正在研究使用 Kafka 作为事件溯源模式的主要存储的可能性。我很难理解将东西存储在 Kafka 中是否是一个好主意，长期，或者为什么不。

简单地将 log.retention.hours 设置为一个非常大的数字，有效地将 Kafka 变成一个永久存储，这意味着什么？正如我所理解的那样——“Kafka 的性能在数据大小方面实际上是恒定的，因此保留大量数据不是问题。”

也就是说，我也感觉到这不是 Kafka 的常见用例，因此可能存在一些我不理解的限制。我完全同意这是一个坏主意，但我想了解原因。

apache-kafka kafka-consumer-api

0 投票

1 回答

907 浏览

apache-kafka - 高级消费者是否利用了 Kafka 0.8.2 中的新偏移管理？

在 0.8.2 中，提交偏移量似乎不再具有与以前相同的性能问题（http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0- 8-2/ )。高级消费者是否也利用了这一点，或者它是一个单独的 API？即，当使用高级消费者时，我可以安全地开始更频繁地提交吗？

apache-kafka kafka-consumer-api

0 投票

1 回答

1682 浏览