Environment页面用于展示Spark作业执行时的环境和参数设置，包括XT提交、集群默认和SparkHB自动调整的参数。当遇到预期结果与执行结果不符时，应检查此页面以确保参数正确生效。SparkProperties是重点关注的部分，错误的参数设置，如拼写错误或特殊字符问题，可能导致参数失效。例如，错误的参数名不会影响Environment页面显示，但实际不会生效。
Environment
Environment页面主要展示了spark作业在执行时的各类环境或框架的参数设置，如果想查看一个任务执行时真实生效的参数设置，可以在该页面查看（某些参数是xt默认提交，有些是集群默认设置，有些是spark hbo的自动调整等，都会和xt模板里人工设置的参数有所不同）。有时我们在xt模板里设置的参数错误（比如参数后面用中文“；”而不是英文“;”，比如参数的“=”两边有空格，都会造成设置的参数不生效），所以当实际执行结果和预期不符时在这个页面check下是有必要的。
我们需要关注的最重要的是Spark Properties部分，少量情况也可以看看Hadoop Properties部分，具体可以看看官网和我整理的核心参数
有关Environment页面的自问自答
1.在Environment页面显示的参数100%会起作用吗
有些特殊情况要注意，比如下图在设置spark.sql.shuffle.partitions参数时不小心少打一个s变成了一个错误的不存在的参数，在Environment页面依然能够看到这个参数，但实际上参数是不生效的
扫一扫
1837
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
