Hadoop架构简述

1.HDFS

Hadoop Distributed File System简称HDFS，是一个分布式文件系统

1.1.NameNode(nn)

存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间，副本数，文件权限)，以及每个文件的块列表和块所在的DataNode等

1.2.DataNode(dn)

在本地文件系统存储文件块数据，以及块数据的校验和

1.3.Secondary NameNode(snn或2nn)

每隔一段时间对NameNode元数据备份
nn是老大，dn是小弟，2nn是nn的秘书

2.YARN

Yet Another Resource Negotiator资源协调者，是Hadoop的资源管理器

2.1.ResourceManager(RM)

整个集群资源(CPU，内存等)的老大

2.2.NodeManager(NM)

单个节点服务器资源的老大

2.3.ApplicationMaster(AM)

单个任务运行的老大

2.4.Container

容器，相当于一台独立的服务器，里面封装了任务运行所需资源如内存、磁盘、网络等

3.MapReduce

MapReduce将计算过程分为2个阶段:Map和Reduce

• Map阶段并行处理输入数据
• Reduce阶段对Map结果进行汇总
  Map分发并行计算，Reduce汇总结果