1

我正在使用具有 9 个节点的 Hadoop 集群。我想知道 Hadoop 集群中的基本数据节点配置是什么。

我在 Namenode 和 Datanode 上使用以下配置。

    RAM = 4GB
    Cores = 4
    Disk = 8 ( Total 16GB storage space)

运行示例排序和字数统计作业以检查 hadoop 网络性能。

我选择的配置是否正确？

感谢和问候，

阿卜杜勒·纳瓦兹

4

1 回答 1

2

理论上，您可以使用任何您想要的配置，只要配置正确（以便 Hadoop 知道服务器功能等）。

实际上，每台服务器至少应该有 4GB 的 RAM（根据我的经验）。内核数量会影响性能，您应该有足够的可用磁盘空间来运行服务器（使用 中的设置设置为非 HDFS 事物（例如服务器工作）保留的空间量dfs.datanode.du.reserved）hdfs-site.xml。

我不确定正常的 Hadoop 工作应该有多少可用空间——我想这取决于你的工作。无论如何，16GB都不是很多。

一般来说，只要配置正确，您的设置就应该没问题。

于 2014-10-13T08:16:38.987 回答