spark app提交流程之Client模式

spark app提交流程之Client模式。

前言

用spark这么久了，需要探究一下源码的执行流程，尝试做一下知其所以然。O(∩_∩)O主要还是基于yarn的模式去阅读源码。

一、yarn–client模式提交app

主要就是用来提交app的类，看注释。

1.1 SparkSubmit的main方法

跟着流程走就行,该方法就为了获取用户提交的app参数然后存到appArgs下，然后要根据action的类型决定执行什么方法。

1.1.1 SparkSubmitArguments类

1.1.1.1 parse方法

1.parse方法是当前这个类的主要方法，主要是用来解析提交的参数。

2.接着合并属性，忽略不符合规范的属性，以及加载环境变量和验证参数。