0

检查点节点定期从 NameNode 获取 fsimage 和编辑并将它们合并。结果状态称为检查点。在此之后将结果上传到 NameNode。

Hadoop 2.x 版本中是否使用了检查点名称节点?如果是,是否仍需要辅助名称节点?

此外,当 Hadoop 版本 2 中有多个名称节点时,检查点名称节点如何工作?

谁能澄清这些令人困惑的概念?

4

1 回答 1

1

查看这个 SE 问题,了解有关每个节点职责的更多详细信息:

Hadoop 2.0 名称节点、辅助节点和检查点节点以实现高可用性

您不必在 Hadoop 2.0 中配置 Secondary Name 节点和 Checkpoint Node

相反,根据文档页面,您需要 Active Name 节点和 Standby Name 节点以实现高可用性

在典型的 HA 集群中,两台独立的机器被配置为 NameNode。在任何时间点,只有一个 NameNode 处于 Active 状态,而另一个处于 Standby 状态

Active NameNode 负责集群中的所有客户端操作,而 Standby 只是充当从属节点,保持足够的状态以在必要时提供快速故障转移

为了让备用节点保持其状态与活动节点同步,两个节点都与一组名为“<strong> JournalNodes ”(JN)的独立守护进程通信。

当主动节点执行任何命名空间修改时,它会将修改记录持久地记录到这些 JN 中的大多数。Standby 节点能够从 JN 中读取编辑,并不断地观察它们以了解对编辑日志的更改。

当备用节点看到编辑时,它将它们应用到自己的命名空间。在故障转移的情况下,备用节点将确保它在将自己提升到活动状态之前已从 JounalNodes 读取所有编辑。这可确保在发生故障转移之前完全同步命名空间状态。

为了提供快速故障转移,备用节点还必须具有有关集群中块位置的最新信息。为了实现这一点,DataNode 配置了两个 NameNode 的位置,并向两者发送块位置信息和心跳。

有关详细信息,请参阅相关的 SE 问题:

Hadoop Namenode 故障转移过程如何工作?

于 2016-05-17T10:07:14.310 回答