我们有一个 50 个节点的 Spark 集群,YARN 作为资源管理器。
集群基于 HDP 版本 - 2.6.4 和 , 集群基于 ambari 平台
在纱线节点管理器上yarn-machine34
,我们将机器设置为退役状态,也设置为数据节点
decommission 状态执行成功,我们还可以看到,machines 已登录文件:
/etc/hadoop/conf/dfs.exclude
/etc/hadoop/conf/yarn.exclude
但尽管如此,我们仍然看到 Spark Executors 正在运行yarn-machine34
那么它是怎么回事?
据我了解退役状态应避免任何火花运行应用程序/执行
那么我们还能做些什么呢?