hadoop - Hadoop中的单点故障可以通过集成Zookeeper来解决吗？

Question

我正在寻找通过集成 Zookeeper 并允许 Hadoop 使用 Zookeeper 的命名空间来解决单点故障的问题？可能吗？我们如何解决这个问题？

Answer 1

当然，这在技术上可能是可行的，但这还没有以任何形式或形式实现。你不能只将它插入 ZooKeeper ......它需要一些工程努力才能完成（也许是你？！）。

以下是解决此问题的几个指针：

• 头像节点
• MapR（商业软件）
• 一个高可用性的 NameNode 已经在工作中，可能很快就会在未来的版本中结束

Answer 2

那不会很好地工作。Zookeeper 的写入成本很高。ZK 集群中的节点越多，成本就越高。ZK 将所有数据保存在所有节点的内存中。相反，Namenode 是专注于写入的组件，尤其是当您谈论 Hadoop 时，它的写入量非常大。