apache-spark - 在 memsql 集群上安装 Spark

Question

我正在尝试使用 MemSQL Ops 在 3 节点 memsql 集群上安装 Spark，但出现以下错误。请建议如何解决此错误。

未能部署 Spark。无法获取最新版本的 Spark：没有可用的 SPARK 文件。

谢谢。

Answer 1

你能检查运行 MemSQL 主代理的机器是否可以访问互联网吗？如果没有，您需要在部署之前手动向 MemSQL Ops 提供我们的 Spark 分发。你可以这样做：

On a machine with internet:
wget -O spark.tar.gz http://download.memsql.com/memsql-spark-1.4.1-distribution-1.1.1/memsql-spark-1.4.1-distribution-1.1.1.tar.gz
scp spark.tar.gz <PRIMARY AGENT SSH DETAILS>:/tmp/spark.tar.gz

Then on your primary:
memsql-ops file-add -t spark /tmp/spark.tar.gz
memsql-ops spark-deploy

Answer 2

通过使用 memsql-ops 手动安装 spark 解决了这个问题。