我正在使用带有 spark 2.0.2 的 HIPI 进行图像处理。
我想在 RDD 的 HDFS 上加载存储在 HipiImageBundle(.hib) 中的图像。
所以我使用 hadoopfile() 方法来创建一个 RDD,如下面的代码所示:
SparkSession spark = SparkSession
.builder()
.appName("AppName")
.getOrCreate();
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
JavaPairRDD<HipiImageHeader,FloatImage> floatimages = jsc.hadoopFile("hdfs://cluster-1-m/user/ibtissam/image.hib",HibInputFormat.class,HipiImageHeader.class,FloatImage.class);
然后,我收到此错误:
错误:没有为 hadoopFile(String,Class,Class,Class) 找到合适的方法
你知道我该如何解决这个问题吗?
PS:我使用:
- 爪哇
- 火花 2.0.2