1

我正在使用火花 2.0.0。有没有办法将参数从火花驱动程序传递给执行程序？我尝试了以下。

class SparkDriver {
     public static void main(String argv[]){
           SparkConf conf = new SparkConf().setAppName("test").setMaster("yarn");
           SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate(); 
           Dataset<Row> input = sparkSession.read().load("inputfilepath");
           Dataset<Row> modifiedinput = input.mapPartitions(new customMapPartition(5),Encoders.bean(Row.class));
     }

  class customMapPartition implements MapPartitionsFunction{
          private static final long serialVersionUID = -6513655566985939627L;
          private static Integer variableThatHastobePassed = null;

        public customMapPartition(Integer passedInteger){
             customMapPartition.variableThatHastobePassed= passedInteger;
         }
         @Override
          public Iterator<Row> call(Iterator<Row> input) throws Exception {
              System.out.println("number that is passed " + variableThatHastobePassed);
          }
   }

如上所述，我编写了一个自定义 mappartitionfunction 来传递参数。并在 partitionfunction 的调用方法中访问静态变量。这在我使用“setmaster（”local”）在本地运行时有效。但在使用 .setmaster（“yarn”）的集群上运行时不起作用。（在 system.out.println 语句中打印为 null）

有没有办法将参数从驱动程序传递给执行程序。

4

1 回答 1

0

我的错误是我使用私有静态整数变量ThatHastobePassed = null;

该变量不应声明为静态的。

于 2016-09-22T08:36:05.823 回答