weixin_45484707的博客

1、提交job： 客户端Client提交job到Yarn主节点ResourceManager上，ResourceManager有两个组件： 一个是ApplicationMaster，用于管理所有applicaion，接收所有job； 第二个是Sheduler：用于资源调度，管理集群资源、分配资源。 2、启动NodeManager： NodeManager启动向，向ResourceManager汇报运算资源情况。 3、分配jobID和工作IDL： ApplicationManager分配jobID，并分配默认

分区和分组的区别： 1、分区： 一个分区就是一个任务；当数据量大，单个reducetask处理不了时，需要多个reducetask同时处理全部数据； partition调用HashPartitioner组件，获得区号； HashPartitioner.getPartition(nk,nv){ nk.hashcode%numberReduceTasks; } 分区能够保证同一个逻辑下的K到达同一个reducetask中，按照K进行全局聚合、排序、分组；保证处理全部数据；保证处理的数据不重复。 2、分组： 分组

（相比第一版稍有改动几个词）

1、任务切分：对文件进行逻辑切片，切片按照范围划分，默认128M一片。 一个文件至少有一个切片，每个切片运行一个maptask，如果文件超过128M，同一个输入文件会有多个maptask运行；为减少资源浪费，如果最后一个切片大小小于1.1*128M，将不会被切分处理。 2、输入对象：FileInputFormat.setInputPaths()方法，指定数据输入路径；输入目录中可以有单个或多个文件。 读取数据、生成K-V对：由继承RecordReader的LineRecordReader类中的readLin

MapReduce数据处理流程 1、数据来源路径：FileInputFormat.setInputPaths()，输入目录中，可以有单个或多个文件； 2、对原始数据进行处理、任务划分： （1）任务切片：切片是逻辑切片，非物理切片； （2）切片大小由输入文件的大小、文件数量和配置参数决定； （3）（集群中）默认128M一个任务切片，（本地模式）32M一个任务切片； （4）输入目录中文件数量决定运行的maptask数量，每一个输入文件至少有一个切片；每一个切片运行一个maptask；如果文件超过128M（或本地

分为两步（mapper和reducer）：（1）Mapper端；（2）Reducer端。（(3)启动类） 核心思想：根据业务场景确定K，V。 K的作用：分区、排序、分组、聚合维度； K、V都要实现Hadoop的序列化； Hadoop的序列化实现方式：read、write方法 流程： 1、任务切片划分：计算逻辑–>根据文件大小等 2、根据逻辑启动maptask，maptask的个数决定map执行时的并行度 3、原始数据处理：切片，task负责自己的数据，readline读取一行，得到KV，交给Mappe