1

我有一个单节点 MemSql 集群：

  • 内存：16GM
  • 核心：4
  • Ubuntu 14.04

我已经在这个 Memsql 上部署了 Spark 用于 ETL。

我无法在 Memsql 上配置 spark。

  1. 如何为 Spark Work 目录设置轮换策略：/var/lib/memsql-ops/data/spark/install/work/

  2. 如何更改路径？

  3. 应该设置多大spark.executor.memory才能避免 OutOfMemoryExceptions？

如何为已部署在 Memsql 集群上的 Spark 设置不同的配置设置？

4

1 回答 1

1

希望以下内容可以解决您的问题：

  1. 查看spark.worker.cleanup.enabled和相关的配置选项：https ://spark.apache.org/docs/1.5.1/spark-standalone.html
  2. 配置可以在/var/lib/memsql-ops/data/spark/install/conf/spark_{master,worker}.conf. 更改配置后，您必须重新启动 spark 集群，memsql-ops spark-component-stop --all然后memsql-ops spark-component-start --all
于 2016-01-28T20:03:28.770 回答