为了让 EclairJS 客户端与 Apache Spark 对话,它需要一个运行的 Apache Toree 实例,并且 Toree 必须能够连接到您的 Spark 主服务器。
先决条件
Java 8 更新 70 或更高版本
指示
下载使用 Hadoop 2.7 构建的 Apache Spark 2.0.0 并将其从存档中解压缩。
安装 Jupyter(pip install jupyter
例如)和 Jupyter Kernel Gateway ( pip install jupyter-kernel-gateway
)
下载并构建 Apache Toree
$ git clone https://github.com/apache/incubator-toree
$ cd incubator-toree
$ git checkout e8ecd0623c65ad104045b1797fb27f69b8dfc23f
$ make dist
在构建 Apache Toree 时,我在上述步骤中遇到错误:
APACHE_SPARK_VERSION=2.0.0 VERSION=0.2.0.dev1-incubating IS_SNAPSHOT=true sbt toree/assembly
/bin/sh: 1: sbt: not found
Makefile:133: recipe for target 'target/scala-2.11/toree-assembly-0.2.0.dev1-incubating-SNAPSHOT.jar' failed
make: *** [target/scala-2.11/toree-assembly-0.2.0.dev1-incubating-SNAPSHOT.jar] Error 127
我无法弄清楚下一步该怎么做,任何人都可以帮助我!