Spark~~Spark源码

原创 于 2022-07-21 01:29:23 发布 · 579 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #java

本文详细解析了YARN集群环境下Spark应用的执行流程，包括环境准备（YARN-CLUSTER模式与client模式）、组件间的Socket通信、应用程序执行、Shuffle机制、内存管理等核心内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. 环境准备（Yarn 集群）

YARN-CLUSTER模式

image-20211124002704832

Yarn-client模式

image-20211124002713881

Driver，Executor

1.SparkSubmit中的main->doSubmit->parseArguments

image-20211124002518085

 

  1. 注册AM，申请资源 ApplicationMaster->runDriver

image-20211124002757660

  1. 返回资源可用列表 ApplicationMaster->runDriver

    image-20211124002818594

  2. 处理可分配的容器
    ApplicationMaster->runDriver ->allocator.allocateResources() ->handleAllocatedContainers

image-20211124002826094image-20211124002826094

  1. 运行已经分配的容器(使用线程池启动)

  2. ApplicationMaster->runDriver->allocator.allocateResources()-> handleAllocatedContainers（）->runAllocatedContainers(containersToUse: ArrayBuffer[Container])

    image-20211124002844068

  3. ApplicationMaster->runDriver->allocator.allocateResources()-> handleAllocatedContainers（）->runAllocatedContainers(containersToUse: ArrayBuffer[Container])

image-20211124002903739

image-20211124002911467

10.ApplicationMaster->runDriver->allocator.allocateResources()-> handleAllocatedContainers（）->runAllocatedContainers(containersToUse: ArrayBuffer[Container])->run()->startContainer->nmClient.startContainer(container.get, ctx)

image-20211124002926776

  1. nmClient.startContainer 中的ctx,需要设置准备的指令

image-20211124003001626

  1. prepareCommand() 方法内 启动Executor bin/java
    image-20211124003018800

  2. org.apache.spark.executor.YarnCoarseGrainedExecutorBackend->main->

    image-20211124003018800

image-20211124003104237

  1. YarnCoarseGrainedExecutorBackend->main->env.rpcEnv.setupEndpoint

    抽象的->NettyRpcEnv实现类->setupEndpont-> dispatcher.registerRpcEndpoint(name, endpoint)
    image-20211124003113963

    15.YarnCoarseGrainedExecutorBackend->main->onstart()

image-20211124003122211

  1. SparkContext->schedulerBackEnd 通信后台
    image-20211124003131351

  2. SparkContext->schedulerBackEnd（trait）->CoarseGrainedSchedulerBackend实现类->receiveAndReply

image-20211124003140757
image-20211124003150684

  1. YarnCoarseGrainedExecutorBackend->main->onstart()

    image-20211124003158579
    image-20211124003209353

2.组件通信（Socket）

  1. rpcEnv->NettyRpcEnvFactory()

    Netty 通信框架 AIO

    BIO ：阻塞式IO

    NIO：非阻塞式IO

    AIO：异步非阻塞式IO

    Linux对AIO支持不够好，Windows支持AIO Linux采用Epoll方式模仿AIO操作

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-71Nev2ai-1658337634786)(C:\Users\gcc\AppData\Roaming\Typora\typora-user-images\image-20211124003312012.png)]

  2. 创建Driver通信环境 SparkContext->createSparkEnv

image-20211124003322046

SparkContext->createSparkEnv->create

image-20211124003336131

  1. SparkContext->createSparkEnv->create->RpcEnv.create->Utils.startServiceOnPort-> nettyEnv.startServer(config.bindAddress, actualPort)->

    transportContext.createServer->new TransportServer->init(hostToBind, portToBind)->.channel(NettyUtils.getServerChannelClass(ioMode))->

    image-20211124003354439

image-20211124003420202

Driver => Executor

image-20211124003448297

3. 应用程序的执行

image-20211124003532249

  1. RDD 依赖

image-20211124003545102

  1. 阶段的划分

    Task数量为每个阶段最后一个RDD的分区数量之和

image-20211124003558330

  1. 任务的切分

  2. 任务的调度

    计算和数据存在不同的级别，这个级别称之为本地化级别

    进程本地化：数据和计算在同一个进程中

    节点本地化：数据和计算在同一个节点中

    机架本地化：数据和计算在同一个机架中

    image-20211124003607305

  3. 任务的执行

image-20211124003626603

4.Shuffle

(1) Shuffle 的原理和执行过程

DAGScheduler->ShuffleMapTask->runTask()-> dep.shuffleWriterProcessor

  • shuffleWriterProcessor（写处理器）

  • ShuffleManager: Hash(早期) & Sort（当前）

image-20211124003710053

(2）Shuffle 写磁盘

（3）Shuffle 读取磁盘

5.内存的管理

1.内存的分类

2.内存的配置

Spark 源码 | 脚本分析总结
主要分享大数据相关的知识，如Spark、Hudi
02-10 1681
最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。
Spark源码....
08-22
Spark源码
spark源码
leezsj的博客
08-13 762
sparkcontext初始化的流程 -sparkConf对象,也就是spark的配置对象,用来描述spark的配置信息,主要是以键值对的形式加载配置信息 -一旦通过newsparkconf()完成了对象的实例化,会默认加载spark.*配置文件 class SparkConf(loadDefaults:Boolean){ def this()=this(true) } 注意事项 -SparkContext对象的实例化,需要一个sparkconf对象作为参数, -在sparkcontext.
Spark源码
m0_67991849的博客
06-23 1265
spark源码
Spark源码剖析
05-22
《Spark源码剖析》PDF 文件很可能会深入到这些技术细节，包括类结构、算法实现以及关键代码的解析，帮助读者更好地理解和优化 Spark 应用。通过深入学习 Spark 源码，开发者可以更好地掌握 Spark 内部工作原理，从而...
spark3.0.3源码
最新发布
02-08
源码的公开为开发者提供了深入学习和自定义扩展Spark的机会，同时也便于企业进行问题诊断和性能优化。 在Spark 3.0.3版本中，最显著的特性之一是性能的提升。通过优化底层执行计划，新的版本在多种工作负载上都有更...
spark2.3源码下载
08-30
你可以从Apache Spark官方网站下载Spark 2.3.0的源码压缩包，解压后使用Scala和Sbt构建工具进行编译。通常步骤包括配置环境、安装依赖、运行`sbt compile`和`sbt package`命令。 总之，Spark 2.3.0不仅在功能上有所...
spark源码----Spark 通讯架构
没有合适的昵称
02-29 1497
Spark通信架构概述 Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计，它是基于Actor模型，如下图所示： Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下： Endpoint（Client/Master...
spark-2.2.0源码
04-28
Spark带注释源码 对于整个Spark源码分析系列，我将带有注释的Spark源码和分析的文件放在我的GitHub上Spark源码剖析欢迎大家fork和star
【Spark 源码】1-Spark RPC
zhangxiaohui4445的博客
11-23 1891
Spark 的 RPC 概述 Spark 是一个 通用的分布式计算系统，既然是分布式的，必然存在很多节点之间的通信，那么 Spark不同组件之间就会通过 RPC（Remote Procedure Call）进行点对点通信。以下所有都是基于spark2.4.X版本进行分析学习的，该版本也是当前CDH 稳定版本 spark中网络通信无处不在，例如 -driver和master的通信，比如driver会向master发送RegisterApplication消息 ...
Spark源码系列
chbxw
03-17 329
1.1、Spark提交任务
spark源码图
youzoujiyi的专栏
12-16 594
Spark核心源码（一）：spark-submit
hey拉布拉多的博客
07-28 550
1.Spark 源码相关目录介绍 spark 源码下载地址https://github.com/apache/spark 选择自己需要阅读的分支，目前spark 版本已经到3.0.0，因为目前线上使用的主要版本为2.3， 所以当前阅读源码还是以2.3 为主。 下图为整个spark源码的目录结构： bin 目录下存放的spark运行shell 相关的脚本，包括pyspark，sprkR，spark-shell，spark-sql等脚本。通过其中一个pyspark脚本分析，如何启动这些脚本的。 查看pysp
spark 源码分析
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-13 448
spark 一、 启动篇 (一) 引子 在spark-shell终端执行 val arr=Array(1,2,3,4)val rdd=sc.makeRDD(arr) rdd.collect 以上3行代码构成了一个完整的spark job执行。 (二) 启动篇 shell模式shell模式下启动入口：org.apache.spark.repl. Main submit模式 ...
Spark源码（一）——总体框架
weixin_37850264的博客
12-29 264
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、总体架构 一、总体架构 Client提交spark应用程序application，使用spark-sumbit（shell）提交appliction； 在standalone模式下，会通过反射的方式，创建和构造一个DriverActor进程； Driver进程开始执行我们的Application应用程序，也就是我们自己编写的代码； spark应用程序的第一行，一般是向构造sparkconf,再构造SparkContext;;
Spark源码解析(一):Spark执行流程和脚本
Oeljeklaus的博客
06-27 6183
Spark执行流程 Spark带注释源码 对于整个Spark源码分析系列，我将带有注释的Spark源码和分析的文件放在我的GitHub上Spark源码剖析欢迎大家fork和star 过程描述: 1.通过Shell脚本启动Master，Master类继承Actor类，通过ActorySystem创建并启动。 2.通过Shell脚本启动Worker，Worker类继承Actor类，通过A...
Spark源码系列（四）图解作业生命周期
weixin_33828101的博客
06-25 180
这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，let you know！ 我们先回顾一下这个图，Driver Program是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。 下面讲一讲它所不为认知的一面，它和其它组件是如何交互的。 Driver向Master注册Application过程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值