我们有以下 hadoop 集群版本,(DATA-NODE 机器在 Linux OS 版本 - 7.2 上)
ambari - 2.6.1 HDP - 2.6.4
我们看到很少有数据节点机器上的磁盘满 100% 的场景
那是因为作为标准输出的文件很大
例如
/grid/sdb/hadoop/yarn/log/application_151746342014_5807/container_e37_151003535122014_5807_03_000001/stdout
从 df -h ,我们可以看到
df -h /grid/sdb
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 1.8T 1.8T 0T 100% /grid/sdb
任何建议如何避免标准输出很大的情况,实际上这个问题会导致停止数据节点上的 HDFS 组件,
第二:因为stdout的PATH是:
/var/log/hadoop-yarn/containers/[application id]/[container id]/stdout
是否可以限制文件大小?或者当文件达到阈值时清除标准输出?