我们正在一个新的大数据项目上设置 pybuilder。我们必须测试某些类是否构建了正确的分布式表。因此,我们构建了一些在 eclipse/pydev 上运行时通过的单元测试。我成功地运行了独立的单元测试,但是当我使用 pyspark 添加一个单元测试时,我有一长串 Java 异常,开头是:
ERROR Utils:91 - Aborting task
ExitCodeException exitCode=-1073741515:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
这是我的 build.py 文件:
from pybuilder.core import use_plugin
from pybuilder.core import init
import sys
import os
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python\lib\py4j-0.10.7-src.zip'))
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python'))
use_plugin("python.core")
use_plugin("python.unittest")
use_plugin("python.install_dependencies")
default_task = "publish"
我们正在使用 pyspark 2.3.1 和 python 3.7。我究竟做错了什么?