0

我是 Pyspark 世界的新手。我了解 Spark SQl 使用编码器在 Spark SQL 内部序列化反序列化对象。我知道这是关于将对象转换为 spark sql 内部存储类型。我在网上看到很多关于 Spark Scala 世界中编码器的例子。我在 Pyspark 世界中看不到任何示例。此外,我在任何 Pyspark 导入中都找不到编码器

例如。

from pyspark.sql.catalyst.encoders import RowEncoder

火花中不存在

事实上,pyspark 中不存在催化剂包。谁能解释为什么编码器在 Pyspark 中没有意义?

4

0 回答 0