0

我试图在 Windows 上安装 Hadoop。Namenode 工作正常，但 Data Node 工作不正常。即使尝试了几次，也会一次又一次地显示以下错误。在 CMD 上显示有关 dataNode 的以下错误：

    2021-12-16 20:24:32,624 INFO checker.ThrottledAsyncChecker: Scheduling a check for [DISK]file:/C:/Users/mtalha.umair/datanode 2021-12-16 20:24:32,624 ERROR datanode.DataNode: Exception in secureMain org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated -
1. Value configured is >= to the number of configured volumes (1).
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:176)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2799)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2714)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2756)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2900)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2924) 2021-12-16 20:24:32,640 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated - 1. Value configured is >= to the number of configured volumes (1). 2021-12-16 20:24:32,640 INFO datanode.DataNode: SHUTDOWN_MSG:

我参考了许多不同的文章，但无济于事。我尝试使用另一个版本的 Hadoop，但问题仍然存在，因为我刚刚开始，我无法完全理解问题，因此我需要帮助

这些是我的配置

-对于 core-site.xml

<configuration>  
  <property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://localhost:9000</value>  
  </property> 
</configuration>

  • 对于 mapred-site.xml

    mapreduce.framework.name 纱线

-对于yarn-site.xml

<configuration>  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>  
  </property>  
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  </property> 
 </configuration>

-对于 hdfs-site.xml

<configuration>

   <property>
     <name>dfs.namenode.name.dir</name>
     <value>/D:/big-data/hadoop-3.1.3/data/namenode</value>    
  </property>    
  <property>
     <name>dfs.datanode.data.dir</name>
     <value>datanode</value>    </property>    <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>1</value> </property>    <property>
     <name>dfs.replication</name>
     <value>1</value>    
  </property>
</configuration>
4

1 回答 1

0

不幸的是，失败的原因正是消息所说的。让我试着换一种说法。

  • dfs.datanode.failed.volumes.tolerated = 1
  • dfs.datanode.data.dir您已配置的 ( ) 个文件夹数为 1。

您是说您不会容忍任何数据驱动器（配置了 1 个驱动器并且您会容忍它损坏）。这是没有意义的，这就是为什么将其作为一个问题提出的原因。

您需要对其进行更改，以便至少有 1 的间隙（这样您仍然可以有一个正在运行的数据节点。）这是您的选择：

  • 使用设置为 1 配置更多数据卷 (2) dfs.datanode.failed.volumes.tolerated。例如，将数据存储在 C 和 D 驱动器中。
  • dfs.datanode.failed.volumes.tolerated为 0；并保持数据量不变 (1)
于 2021-12-16T18:10:55.847 回答