干了半年Hadoop开发,前几天公司来了个java新人。小伙子对Hadoop大数据感兴趣,问我什么是HDFS分布式文件系统?我想有疑问的不只是他一个java开发,今天就简单的给大家介绍一下什么是HDFS。
NameNode(名字节点):系统中通常只有一个,中心服务器的角色,管理存储和检索多个DataNode的实际数据所需的所有元数据。
DataNode(数据节点):系统中通常有多个,是文件系统中真正存储数据的地方,在NameNode统一调度下进行数据块的创建、删除和复制。
图中的Client是HDFS的客户端,是应用程序可通过该模块与NameNode和DataNode进行交互,进行文件的读写操作。
对于刚开始接触Hadoop的同学,不直接看书自学。我最初就是自己啃书但是学的很费劲,没有目标不知道实际工作中需要什么。
后来在论坛了认识了摆渡的孙哥,他给了我一套视频,内容很详细的,有基础入门,生态圈,真实案例我也是看了视频以后才慢慢入的门,到学会Hadoop。
计划学Hadoop的同学可以跟孙哥的小跟班 ganshiyun666,要这套视频的最新版,这个是徽亻言,注明 :一点
HDFS是一种文件系统,自身也有块(block)的概念,其文件块要比普通单一磁盘上文件系统大的多,默认是64MB。
HDFS文件的大小可以大于网络中任意一个磁盘的容量,文件的所有块并不需要存储在一个磁盘上,因此可以利用集群上任意一个磁盘进行存储,由于具备这种分布式存储的逻辑,所以可以存储超大的文件,通常G、T、P级别。
一个文件经过创建、写入和关闭之后就不需要改变,这个假设简化了数据一致性的问题,同时提高数据访问的吞吐量。
Hadoop的设计对硬件要求低,无需昂贵的高可用性机器上,因为在HDFS设计中充分考虑到了数据的可靠性、安全性和高可用性。
对于Hadoop系统,小文件通常定义为远小于HDFS的block size(默认64MB)的文件,由于每个文件都会产生各自的MetaData元数据,Hadoop通过Namenode来存储这些信息,若小文件过多,容易导致Namenode存储出现瓶颈。
为了并发性,HDFS需要一次写入多次读取,目前不支持多用户写入,针对有多人写入数据的场景,可以考虑采用Hbase的方案。4)结构化数据
HDFS适合存储半结构化和非结构化数据,若有严格的结构化数据存储场景,也可以考虑采用Hbase的方案。
通常Hadoop适用于TB、PB数据,若待处理的数据只有几十GB的话,不使用Hadoop。
推荐:
网友评论 ()条 查看