0

我一直在尝试在亚马逊私有云上的干净 Ubuntu 14.04 机器上设置 Hadoop/Spark/Sparkling Water。以root身份做所有事情。我成功地 apt-get java-6、scala 2.10.5、wget 并解压 hadoop 2.6、spark 1.2.1 和苏打水 0.2.1-47。

我将 HADOOP_HOME 和 SPARK_HOME 导出到正确的目录，然后运行 ​​bin/sparkling-shell：

import org.apache.spark.h2o._
import org.apache.spark.examples.h2o._
val h2oContext = new H2OContext(sc).start()

然后是大量的开始任务 X / 完成任务 X 输出，然后是

java.lang.IllegalArgumentException: Cannot execute H2O on all Spark executors:
  numH2OWorkers = -1"
  executorStatus = (0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(0,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(0,false),(2,false),(1,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(2,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(2,false),(1,false),(0,false),(0,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(0,false),(1,false),(2,false),(1,false),(2,false)
at org.apache.spark.h2o.H2OContext.start(H2OContext.scala:112)
(...)

有人可以指出我可能做错了什么和/或错过了什么吗？如果需要/有帮助，我可以发布我的精确设置脚本。

4

1 回答 1

0

我通过构建项目而不是下载 zip 解决了这个问题。目前适用于我的设置（我不认为它是唯一有效的设置）是：openjdk7、hadoop 2.6、spark 1.2.0。注意 HADOOP_HOME 和 SPARK_HOME 必须是导出的 shell 变量，并且必须将机器的私有 IP 添加到 /etc/hosts 表中，可以这样做：

echo $(ifconfig eth0 | grep 'inet addr:' | cut -d: -f2 | cut -d' ' -f1) $(hostname) localhost >> /etc/hosts

然后 git 克隆 sparkling-water 项目并在项目目录中构建 ./gradlew 。

于 2015-05-19T23:47:04.243 回答