知方号

知方号

如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题(爬坑中...)

如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题(爬坑中...)

1.datanode未启动:

出现的问题: 可以发现,当执行stop-all.sh命令关闭hadoop服务的时候,系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候,Dead Nodes这一栏会显示所有的节点都是死节点… 问题分析: 1:之前多次将namenode格式化,导致namenode和datanode的clusterID(集群ID)不一致无法启动datanode;因而jps命令发现没有datanode启动,所以去Hadoop的日志文件下查看日志,从日志文件中我们捕捉到Incompatible这个单词,即“不相容的”,所以我们可以看出是datanode的clusterID出错了,最后导致shutDown。 2.多次格式化NameNode会重新生成新的ClusterId(集群ID),而原来的DataNode内data文件下的VERSION文件内的ClusterId还是原来的ClusterId,所以就会出现与NameNode的ClusterId不匹配。 3:可能把datanode的data目录下的VESSION删除,导致在java连接是输入流时只能启动一个datanode。

(注意:此处是大坑),在此,提出两种解决方案:

方案一: 首先在虚拟机下对应的haoop目录下查看etc/hadoop/hdfs-site.xml文件下我们设置的自定义的datanode的路径,

然后根据设置的路径,通过xftp软件进入进入datanode的dfs.datanode.data.dir的current目录

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。