0

我正在使用火花流，当我使用 spark1.0.2 时它工作正常，现在我反复遇到一些问题

就像找不到类一样，我正在使用相同的 pom.xml 和更新版本的所有 spark 模块，我正在使用 spark-core、streaming、streaming with kafka modules..

它不断地抛出错误，因为没有公共配置、公共语言、日志记录

如何获得运行火花流的所有依赖项。有什么办法，或者我们只需要通过试错法找到？

我的 pom 依赖项

<dependencies>
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>servlet-api</artifactId>
            <version>2.5</version>
        </dependency> 
        <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.1.1</version>
    </dependency>

  <dependency> <!-- Spark streaming dependency -->
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.10</artifactId>
  <version>1.1.1</version>
</dependency>
  <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka_2.10</artifactId>
      <version>1.1.1</version>
    </dependency>

    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
      <version>1.7.5</version>
    </dependency>
        <dependency>
        <groupId>commons-logging</groupId>
        <artifactId>commons-logging</artifactId>
        <version>1.1.1</version>
</dependency>
<dependency>
    <groupId>commons-configuration</groupId>
    <artifactId>commons-configuration</artifactId>
    <version>1.6</version>
</dependency>

    </dependencies>

我在这里错过了什么吗？

4

2 回答 2

1

您的 pom.xml 仍然使用 spark-core 版本 1.0.2。请对 pom.xml 中的所有 spark 相关依赖项使用 1.1.1 版本。

于 2014-12-11T05:57:26.950 回答
0

终于在浪费了很多时间之后，我得出了答案。

1.确保您的spark版本和您的pom中的版本相同2.spark的Hadoop版本是构建spark的版本或使用spark hadoop prebuild version 3.使用所需的详细信息更新您的spark env .sh

export JAVA_HOME=/User/java/
export SPARK_MASTER_IP=xyz
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=4g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
export SPARK_LOCAL_IP=xyz

4.如果你使用maven和eclipse使用m2e 1.5版本，否则你一定会得到log4j异常。5.确保每次在代码提交 Spark 应用程序之前清理编译包你的 jar 文件

于 2014-12-18T10:36:06.563 回答