python-2.7 - 工作节点和主节点中的 Python 版本不同

Question

在 CentOS 6.7 上运行 spark 1.4.1。使用 anaconda 安装 python 2.7 和 python 3.5.1。

确保 PYSPARK_PYTHON env var 设置为 python3.5 但是当我打开 pyspark shell 并执行简单的 rdd 转换时，它会出错并出现以下异常：

例外：worker 中的 Python 2.7 版本与驱动程序 3.5 中的版本不同，PySpark 无法使用不同的次要版本运行

只是想知道改变路径的其他地方是什么。

Answer 1

您是否使用新设置重新启动了 Spark 工作程序？仅为您的驱动程序进程更改环境设置是不够的：由驱动程序创建的任务将跨越进程，有时是系统，要执行的边界。这些任务是编译后的代码，这就是两个版本需要匹配的原因。