分类目录归档:hadoop

Hadoop 系列


Hadoop 构成 HDFS + MapReduce + Yarn +Common

HDFS

Master/Slave

存入过程:
    对于大数据进行拆分,切割得到数据库,可以得到多个数据块。
获取文件过程:
    向NameNode请求获取到之前存入文件的块以及块所在的DataNode的信息,分别下载并最终合并,就得到之前的文件。
Master 节点:
    管理和维护元数据,元数据记录了文件的块列表以及块所在的DataNode节点信息。
slave:
    负责存储文件数据块
MN,DN:
    既是角色名称,也是进程名称,也代指电脑节点
2NN:
    辅助NameNod

Read more