SparkContext初始化--Scala篇

SparkContext初始化

相关知识

• SparkConf 是SparkContext的构造参数，储存着Spark相关的配置信息，且必须指定Master（比如Local）和AppName（应用名称），否则会抛出异常。
• SparkContext 是程序执行的入口，一个SparkContext代表一个Application。

初始化过程的主要核心：

1. 依据SparkConf创建一个Spark执行环境SparkEnv；
2. 创建并初始化Spark UI，方便用户监控，默认端口为4040；
3. 设置Hadoop相关配置及Executor环境变量；
4. 创建和启动TaskScheduler，DAGScheduler。

初始化方式

1. val conf = new SparkConf().setAppName(appName).setMaster(master)
2. val sc=new SparkContext(conf)

程序运行完后需使用sc.stop()关闭SparkContext

编程要求

根据提示，在右侧编辑器补充代码，使程序正确运行,输出h