cl2010abc的专栏

1.修改maven默认仓库地址，选择阿里云仓库可以加速依赖包的下载速度，阿里云仓库地址为http://maven.aliyun.com/nexus/content/groups/public。注意：intellij idea依赖的scala sdk的版本一定要与spark 源代码包中依赖的scala版本一致，否则后面可能报错。intellj idea具有强大的代码编辑，阅读与调试功能，这里选择它作为代码阅读与调试工具。执行上述命令，会在dist目录中生成发布软件包，与在spark官网下载的软件包是一样的。

【代码】2. Spark RPC使用。

yarn cluster模式Application提交流程如下图所示。Client 向ResourceManager申请启动ApplicationMaster。ResourceManager随机分配一个Container启动ApplicationMaster。ApplicationMaster向ResourceManager申请资源用于启动Executor。ResourceManager向ApplicationMaster返回用于启动Executor的资源。

创建TaskScheduler时会根据masterUrl模式匹配，Yarn Cluster模式ClusterManager实际是YarnClusterManager。SparkContext 是通往Spark 集群的唯一入口，可以用来在 Spark 集群中创建 RDD，累加。器和广播变量，并对RDD执行各种算子，SparkContext的核心作用是初始化Spark程序运行需要组件。创建TaskScheduler位于SparkContext主构造方法中。

本文主要分析了job提交的流程，主要包括stage划分与Task提交的流程。

BlockManager是spark实现的存储系统，RDD-Cache、 Shuffle-output、broadcast 等都是基于BlockManager来实现的。BlockManager对外提供数据接口，可以将数据存储在多种介质上，如memory,disk,Alluxio等。

spark Cache源代码

Broadcast(广播变量)是只读变量，它会将数据缓存在每个节点上，而不是每个Task去获取它的复制副本。这样可以降低计算过程中的网络开销。broadcast的基本使用包括创建和读取。创建读取。

运行流程streamingcontext启动start方法def start(): Unit = synchronized { state match { case INITIALIZED => startSite.set(DStream.getCreationSite()) StreamingContext.ACTIVATION_LOCK.synchronized { StreamingContext.assertNoOt

参考https://www.cnblogs.com/duodushuduokanbao/p/9911256.html