2

我已经在 ubuntu 服务器 16.04 上通过 python 3.5.2 安装了 jupyter notebook 我还安装了 apache toree 来从 jupyter 运行 spark 作业。

我跑：

pip3 install toree
jupyter toree install --spark_home=/home/arik/spark-2.0.1-bin-hadoop2.7/ # My Spar directory

输出是成功的：

[ToreeInstall] 安装 Apache Toree 版本 0.1.0.dev8 [ToreeInstall] Apache Toree 是 Apache 软件基金会 (ASF) 正在进行的一项孵化工作，由 Apache Incubator PMC 赞助。

所有新接受的项目都需要进行孵化，直到进一步审查表明基础设施、通信和决策过程已以与其他成功的 ASF 项目一致的方式稳定。

虽然孵化状态不一定反映代码的完整性或稳定性，但它确实表明该项目尚未得到 ASF 的完全认可。

此外，此版本不完全符合 Apache 发布政策，并包含一个运行时依赖项，该依赖项被许可为 LGPL v3（加上静态链接例外）。该软件包目前正在重新许可（https://github.com/zeromq/jeromq/issues/327）。[ToreeInstall] 创建内核 Scala [ToreeInstall] 删除 /usr/local/share/jupyter/kernels/apache_toree_scala 中的现有内核规范 [ToreeInstall] 在 /usr/local/share/jupyter/kernels/apache_toree_scala 中安装内核规范 apache_toree_scala

我虽然一切都很成功，但每次我创建一个 apache toree 笔记本时，我都会看到以下内容：

在此处输入图像描述

它说内核很忙，我的所有命令都被忽略了..

我在网上找不到有关此问题的任何信息。toree 的替代品也将被接受。

谢谢

4

1 回答 1

3

不幸的是，Toree 不适用于 Scala 2.11。您可以使用 spark 降级到 scala 2.10，也可以使用更新版本的 toree（仍处于测试阶段）。我使它与spark 2.1 和 Scala 2.11一起工作的方式：

#!/bin/bash
pip install -i https://pypi.anaconda.org/hyoon/simple toree
jupyter toree install --spark_home=$SPARK_HOME --user #will install scala + spark kernel
jupyter toree install --spark_home=$SPARK_HOME --interpreters=PySpark --user
jupyter kernelspec list
jupyter notebook #launch jupyter notebook

查看这篇文章和这篇文章了解更多信息。

它最终将如下所示： 在此处输入图像描述

于 2017-01-06T06:11:39.807 回答