0

我使用 3 个 m3.large 实例在 AWS 上创建了 Datastax Enterprise 集群,其中所有 3 个节点都是运行 Spark 的分析节点。

3 个 m3.large amazon 实例每个有 2 个核心,所以总共有 6 个核心。

在 Spark Master web ui 上,我总共只看到 3 个可用内核 -> 在每个工作节点的 web ui 上,我只看到 1 个可用内核。

其他 3 个内核发生了什么?DSE 是否为 Cassandra 或其他一些操作为每台机器保留 1 个核心?

谢谢

4

1 回答 1

0

DSE 中 Spark 可用的核心数默认为 (.7 * total_number_of_cores)。在您的情况下,这将导致 1.4 向下舍入为单核。您可以通过编辑修改您的百分比

/etc/dse/dse.yaml

or  

install_location/resources/dse/conf/dse.yaml

和调整

initial_spark_worker_resources: .7

下面的文档还详细介绍了如何修改 Spark 设置。但是,重要的是要注意,如果您机器的所有内核都分配给 Spark,您的系统最终会发生上下文切换并降低性能。

https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/spark/sparkConf.html#sparkConf__sparkCfgMem

于 2016-06-14T17:43:33.000 回答