专业财税服务推荐

精选优质财税服务,为企业提供专业、可靠的财税解决方案,助力企业健康发展

零报税代理记账
零申报代理记账
报税做账算帐财务报表老会计做账
代理记账
咨询微信:lhy_happyday
工商营业执照年度年报年检公示
全国个体、企业、公司、合作社工商年审年报服务!
个体/10元/次 企业/20元/次
咨询微信:lhy_happyday
财税咨询服务
一对一专业财税咨询,解决企业财税难题,提供定制方案
咨询微信:lhy_happyday
财务分析服务
小规模个体报税0申报税务年报工商年报月报季报报税代理记账
咨询微信:lhy_happyday
立即咨询专业财税顾问
微信号: lhy_happyday
会计从业9年,管理多家个体工商、小规模、一般纳税人等企业的财务、税务等相关工作!。
扫码或搜索添加微信,备注"财税咨询"获取专属优惠
知方号 知方号

HDFS hdfs的元数据持久化是什么

HDFS

【前言】

在HDFS中,NameNode存储了整个集群的元数据信息,DataNode(下面都简称dn)负责实际数据的存储,这些数据最终持久化到磁盘中。

那么这些持久化的文件都包括哪些?分别都有什么用?某个dn节点坏了,是否直接将对应的磁盘移到另一台节点上就可以正常使用并且不会出现数据丢失呢?

带着这些问题,作者对dn持久化的文件进行了总结。

【DN的持久化文件】

dn中可以配置多个目录(通常是多块磁盘,每个磁盘挂载到一个目录,这样可以提高整体的IO性能)进行数据的存储,多个目录共同存储该dn上的block信息。

每个目录的目录树结构如下图所示:

下面针对每一项进行具体说明:

in_use.lock

该文件的文件内容为:

代码语言:javascript复制$DNPID@$DNIP其中$DNPID为dn的进程PID$DNIP为dn所在主机的IP

文件内容(本质上是jvm的名称)是在dn启动时覆盖写入,并且会对该文件进行加锁,如果加锁失败会抛出异常并直接退出。

这样做的目录是为了防止多个dn线程并发修改这个目录。

VERSION(current目录下)

定义了整个存储文件系统的布局,主要用于升级,具体文件内容为:

代码语言:javascript复制#Fri Sep 04 11:19:36 CST 2023

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。