scalahome的博客

1，Master启动 Master启动过程主要做了两件事： 1）启动一个守护线程定时对Worker的TimeOut进行Check，默认TimeOut时间为60s checkForWorkerTimeOutTask = forwardMessageThread.scheduleAtFixedRate(new Runnable { override def run(): Un

1，RDD的转换共分为Transformation和Action两类 Transformation和Action的区别在于：Action会触发作业的提交，而Transformation不会触发作业的提交 如map()和collect() def map[U: ClassTag](f: T => U): RDD[U] = withScope { val cleanF = sc.cl

本文将讨论Spark以Standalone模式部署情况下，Worker的启动过程。 上文已经对Master的启动过程进行了较为详细的分析，Worker的启动过程大部分的代码都是和Master复用的，对于这部分不再赘述。因此对Worker启动过程的分析从onStart()方法开始 override def onStart() { assert(!registered)

本文主要讨论Spark以Standalone模式部署情况下，Master的启动流程。

val env = SparkEnv.createExecutorEnv( driverConf, executorId, hostname, port, cores, isLocal = false)

Shuffle应该说是Spark Core中较为复杂的部分，本文主要从一个最简单的WordCount例子出发分析Spark的Shuffle过程： sc.parallelize(1 to 1000).map(i=>(i%5,1)).reduceByKey(_+_).collect() 计算过程中会分成两个Stage如下图所示： 每个Stage由多个Task组成，同一Stage的各Task并

开始

首先，看下以下代码： var value = 0 sc.parallelize(1 to 10).foreach(i=>value += i) value这里value的结果仍然为0 这个比较好解释： 因为 i => value += i 这个Function在运算之前需要经历：序列化 --> broadcase --> 被Executor获取 --> 反序列化 --> 调用   等一系列过