2

我正在尝试使用在 3rd 方库中定义的现有域对象，即 HAPI-FHIR 的Patient对象来创建一个强类型的 Spark DataSet[Patient]，如下所示：

scala> val patients = sc.loadFromMongoDB(ReadConfig(Map("uri" -> "mongodb://mongodb/fhir.patients")))
patients: com.mongodb.spark.rdd.MongoRDD[org.bson.Document] = MongoRDD[0] at RDD at MongoRDD.scala:47

scala> val patientsDataSet = patients.toDS[Patient](classOf[Patient])

但是，当我在上面进行 RDD#toDS 调用时，我得到了一个很长的StackOverflowError.

完整的堆栈跟踪在这里：https ://gist.github.com/vratnagiri-veriskhealth/6dcec9dbc6f74308019ab16c8d278a9b

鉴于我上面提到的域对象的复杂性，我意识到这可能是一个愚蠢的差事，但是，鉴于我是一个 scala 新手，我确实想确保我不会错过任何可能得到这个的简单调整在我放弃这个追求之前工作。

这是堆栈跟踪的一部分：

java.lang.StackOverflowError
  at org.spark-project.guava.collect.ImmutableCollection.<init>(ImmutableCollection.java:48)
  at org.spark-project.guava.collect.ImmutableSet.<init>(ImmutableSet.java:396)
  at org.spark-project.guava.collect.ImmutableMapEntrySet.<init>(ImmutableMapEntrySet.java:35)
  at org.spark-project.guava.collect.RegularImmutableMap$EntrySet.<init>(RegularImmutableMap.java:174)
  at org.spark-project.guava.collect.RegularImmutableMap$EntrySet.<init>(RegularImmutableMap.java:174)
  at org.spark-project.guava.collect.RegularImmutableMap.createEntrySet(RegularImmutableMap.java:170)
  at org.spark-project.guava.collect.ImmutableMap.entrySet(ImmutableMap.java:385)
  at org.spark-project.guava.collect.ImmutableMap.entrySet(ImmutableMap.java:61)
  at org.spark-project.guava.reflect.TypeResolver.where(TypeResolver.java:97)
  at org.spark-project.guava.reflect.TypeResolver.accordingTo(TypeResolver.java:65)
  at org.spark-project.guava.reflect.TypeToken.resolveType(TypeToken.java:266)
  at org.spark-project.guava.reflect.TypeToken$1.getGenericReturnType(TypeToken.java:469)
  at org.spark-project.guava.reflect.Invokable.getReturnType(Invokable.java:109)
  at org.apache.spark.sql.catalyst.JavaTypeInference$$anonfun$2.apply(JavaTypeInference.scala:110)
  at org.apache.spark.sql.catalyst.JavaTypeInference$$anonfun$2.apply(JavaTypeInference.scala:109)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
  at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
  at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
  at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
  at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108)
  at org.apache.spark.sql.catalyst.JavaTypeInference$.org$apache$spark$sql$catalyst$JavaTypeInference$$inferDataType(JavaTypeInference.scala:109)
  at org.apache.spark.sql.catalyst.JavaTypeInference$.org$apache$spark$sql$catalyst$JavaTypeInference$$inferDataType(JavaTypeInference.scala:95)
  at org.apache.spark.sql.catalyst.JavaTypeInference$$anonfun$2.apply(JavaTypeInference.scala:111)
  at org.apache.spark.sql.catalyst.JavaTypeInference$$anonfun$2.apply(JavaTypeInference.scala:109)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
  at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
  at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)

谢谢！

4

1 回答 1

0

您是否尝试过在将 RDD 转换为数据集之前和之后打印模式？比较架构并确保架构在元素数量及其各自的数据类型方面是一致的。转换前和转换后打印的模式必须相同。

于 2018-04-10T02:44:52.670 回答