1 
SL No:  Customer    Month   Amount
1   A1  12-Jan-04   495414.75
2   A1  3-Jan-04    245899.02
3   A1  15-Jan-04   259490.06

我的 Df 在上面

代码

import findspark
findspark.init('/home/mak/spark-3.0.0-preview2-bin-hadoop2.7')
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('mak').getOrCreate()
import numpy as np
import pandas as pd

# Enable Arrow-based columnar data transfers
spark.conf.set("spark.sql.execution.arrow.enabled", "true")

pdf3 = pd.read_csv('Repayment.csv')
df_repay = spark.createDataFrame(pdf3)

只有加载df_repay有问题，其他数据框加载成功。当我将上面的代码转换为下面的代码时，它成功地工作了

df4 = (spark.read.format("csv").options(header="true") .load("Repayment.csv"))

  • spark.createDataFrame(pdf3)为什么在成功加载类似数据帧时未加载 df_repay
4

1 回答 1

3

pdf3 是熊猫数据框，您正在尝试将熊猫数据框转换为火花数据框。如果你想坚持你的代码，请使用下面的代码将你的熊猫数据帧转换为火花数据帧。

from pyspark.sql.types import *
pdf3 = pd.read_csv('Repayment.csv')
#create schema for your dataframe
schema = StructType([StructField("Customer", StringType(), True)\
                   ,StructField("Month", DateType(), True)\
                   ,StructField("Amount", IntegerType(), True)])

#create spark dataframe using schema
df_repay = spark.createDataFrame(pdf3,schema=schema)
于 2020-02-02T18:28:51.073 回答