ZKX's LAB

分布式文件系统hdfs主要由哪些功能模块构成

2020-10-10知识19

分布式文件系统hdfs主要由哪些功能模块构成 Hadoop分布式文件系统2113(HDFS)被设计成适合运行5261在通用硬件(commodity hardware)上的分布式文件4102系统。它和现有的分布式文件系统有很1653多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。Hadoop分布式文件系统架构1 NameNode(名称节点)HDFS命名空间采用层次化(树状—译者注)的结构存放文件和目录。2 映像和日志Inode和定义metadata的系统文件块列表统称为Image(映像).NameNode将整个命名空间映像保存在RAM中。而映像的持久化记录则保存在NameNode的本地文件系统中,该持久化记录被称为Checkpoint(检查点)。NameNode还会记录HDFS中写入的操作,并将其存入一个记录文件,存放在本地文件系统中,这个记录文件被叫做Journal(日志)。3 数据节点DataNode上的每一个块(block)副本都由两个本地文件系统上的文件共同表示。其中一个文件包含了块。

分布式文件系统hdfs主要由哪些功能模块构成

分布式文件系统hdfs主要由哪些功能模块构成?undefined-hdfs,功能模块,分布式,文件

分布式文件系统hdfs主要由哪些功能模块构成

分布式文件系统hdfs主要由哪些功能模块构成 HDFS命名空间采用层次化(树状—译者注)的结构存放文件和目录。文件和目录用NameNode上的inodes表示。Inode记录了权限,修改和访问时间,命名空间,磁盘容量等属性。文件内容会被分成不同的“大块”(典型分块策略是每块128M,不过用户可以对每个文件的分块大小进行选择)。NameNode负责维护命名空间树以及与DataNode上文件分块的映射关系。目前采用的设计结构是,没一个集群只有一个NameNode,一个NameNode可以对应多个DataNode以及成千上万的HDFS客户端。一个DataNode可以同步执行多个应用任务。

分布式文件系统hdfs主要由哪些功能模块构成

分布式文件系统hdfs主要由哪些功能模块构成 HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据分布在整个集群中并拥有多个副本。注意:集中式元数据存储使HDFS存在性能、单点故障和扩展性问题,因此规模越大就性能越低,就越容易不可用,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNode HA和HDFS Federation解决了这三个问题 Swift在设计时考虑到了多租户架构,而HDFS没有多租户架构这个概念。HDFS针对大文件作了优化(HDFS关注吞吐量,常用于批量数据处理),而Swift被设计成可以存储任意大小的文件。在HDFS中,文件只能写入一次(部分版本可以使用Append操作在文件的末尾添加数据,但不支持在文件的任意位置进行修改),而在Swift中,文件可以写入多次。HDFS用Java来编写,而Swift用Python来编写。

分布式文件系统hdfs主要由哪些功能模块构成 分布式文件系统HDFS主要由哪些功能模块构成?1、客户端模块2、元数据管理模块3、数据存储服务模块

37,分布式文件系统HDFS主要由哪些功能模块构成

#分布式文件系统#hdfs#分布式部署#分布式架构#hadoop

qrcode
访问手机版