专业财税服务推荐

精选优质财税服务,为企业提供专业、可靠的财税解决方案,助力企业健康发展

零报税代理记账
零申报代理记账
报税做账算帐财务报表老会计做账
代理记账
咨询微信:lhy_happyday
工商营业执照年度年报年检公示
全国个体、企业、公司、合作社工商年审年报服务!
个体/10元/次 企业/20元/次
咨询微信:lhy_happyday
财税咨询服务
一对一专业财税咨询,解决企业财税难题,提供定制方案
咨询微信:lhy_happyday
财务分析服务
小规模个体报税0申报税务年报工商年报月报季报报税代理记账
咨询微信:lhy_happyday
立即咨询专业财税顾问
微信号: lhy_happyday
会计从业9年,管理多家个体工商、小规模、一般纳税人等企业的财务、税务等相关工作!。
扫码或搜索添加微信,备注"财税咨询"获取专属优惠
知方号 知方号

如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题(爬坑中...) hdfs节点故障

如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题(爬坑中...)

1.datanode未启动:

出现的问题: 可以发现,当执行stop-all.sh命令关闭hadoop服务的时候,系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候,Dead Nodes这一栏会显示所有的节点都是死节点… 问题分析: 1:之前多次将namenode格式化,导致namenode和datanode的clusterID(集群ID)不一致无法启动datanode;因而jps命令发现没有datanode启动,所以去Hadoop的日志文件下查看日志,从日志文件中我们捕捉到Incompatible这个单词,即“不相容的”,所以我们可以看出是datanode的clusterID出错了,最后导致shutDown。 2.多次格式化NameNode会重新生成新的ClusterId(集群ID),而原来的DataNode内data文件下的VERSION文件内的ClusterId还是原来的ClusterId,所以就会出现与NameNode的ClusterId不匹配。 3:可能把datanode的data目录下的VESSION删除,导致在java连接是输入流时只能启动一个datanode。

(注意:此处是大坑),在此,提出两种解决方案:

方案一: 首先在虚拟机下对应的haoop目录下查看etc/hadoop/hdfs-site.xml文件下我们设置的自定义的datanode的路径,

然后根据设置的路径,通过xftp软件进入进入datanode的dfs.datanode.data.dir的current目录

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。