我正在进行 scala 流单元测试,但是在从 csv 文件中读取时得到 ArrayOutOfBoundsException
代码 :
import org.scalatest.matchers.should.Matchers
import org.scalatest.wordspec.AnyWordSpecLike
import org.apache.spark.sql.SparkSession
class StreamingTest extends AnyWordSpecLike with Matchers {
val sparkses = SparkSession.builder.appName("MyApp").config("spark.master","local").getOrCreate()
val df = sparkses.read.format("csv").load("file.csv")
df.printSchema()
}
该代码无需使用 Matchers 扩展 AnyWordSpecLike 即可正常工作,但我们需要它与 EmbeddedKafka 一起使用。
任何指导都会有所帮助。