0

我研究了http://rishiverma.com/software/blog/2014/07/31/spark-streaming-and-kafka-quickstart/上的名为 KafkaWordCount 的示例

顺便说一句，我修改了一些无关紧要的细节。而当我到最后一步构建Kafka消费者时，它失败了，并说：

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'localhost:2181'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:1493)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:279)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:542)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:555)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:92)
at org.apache.spark.streaming.examples.KafkaWordCount$.main(KafkaWordCount.scala:54)
at org.apache.spark.streaming.examples.KafkaWordCount.main(KafkaWordCount.scala)

有人遇到过这种失败吗？

4

1 回答 1

2

您使用的是哪个版本的 Spark？在 Spark 1.0+ 中，KafkaWordCount 位于org.apache.spark 下。examples.streaming包。从您的堆栈跟踪来看，您的版本似乎在org.apache.spark 下。streaming.examples，这表明您使用的是 1.0 之前的 Spark 版本。

在 Spark 0.9.x（在引入 SparkConf 和 spark-submit 之前发布）中，此示例的第一个参数是 Spark 主 URL（source），导致您看到的问题，因为“无法解析主URL”错误表明这local:2181不是有效的 Spark 主 URL。

如果可以，我建议使用更新版本的 Spark（您链接的教程建议使用 Spark 1.0.1 或更高版本）。否则，请按照特定版本的 KafkaWordCount（示例）顶部的说明进行操作。

于 2014-10-02T02:43:14.987 回答