问题标签 [hadoop2.7.3]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
11 问题
0
投票
0
回答
216
浏览
apache-spark - 如何使用 spark 配置 Yarn 集群？
我有 2 台机器，每台机器有 32gb ram 和 8core。那么如何使用 spark 配置纱线，以及我必须使用哪些属性来根据我们的数据集调整资源。我有 8gb 数据集，那么任何人都可以建议在并行作业运行中配置带有 spark 的纱线吗？
这是纱线配置：我正在使用 hadoop 2.7.3、spark 2.2.0 和 ubuntu 16
这是火花配置：
但我的问题是每台机器有 32gb ram 和 8core。无论这个配置是否正确，我可以运行多少个应用程序？bcoz 只有两个应用程序并行运行。