intellij-idea - 在 spark-1.0 中实现 kafka 消费者

Question

我需要在 spark 1.0 的 spark 流中实现 kafka 消费者。我写了一个卡夫卡制作人。谁能帮我写一个火花接收器来从kafka中提取消息？另外，请问如何在 Intellij IDEA 中运行 kafka spark 流项目？

Answer 1

Spark 流有自己的消费者。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.0.2</version>
</dependency>

在官方存储库中存在一些流式示例和kafka的字数。

在 intellij 中，只需导入 spark-streaming 和 spark-streaming-kafka 模块，然后像示例一样编写一个简单的 main。

Answer 2

https://github.com/dibbhatt/kafka-spark-consumer

.. 此实用程序将有助于使用 Spark Streaming 从 Kafka 集群中提取消息。Kafka Consumer 是 Low Level Kafka Consumer (SimpleConsumer)，可以更好地处理 Kafka Offsets 和处理故障。

根据这篇博文，

在下游故障（例如 Spark 机器死机）的情况下提供更好的重放控制。

Answer 3

使用 KafkaUtils.createStream();

这是 API：https ://spark.apache.org/docs/1.0.2/api/java/index.html?org/apache/spark/streaming/kafka/KafkaUtils.html