[2025-07-28 11:15:54.557]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher

<think>我们正在处理一个关于Spark YARN ExecutorLauncher类找不到的错误。根据用户提供的信息，错误信息是：找不到主类'org.apache.spark.deploy.yarn.ExecutorLauncher'。我们将根据Spark和YARN的工作原理来逐步分析问题。 ### 错误分析 在Spark on YARN模式下，当提交应用程序时，YARN ResourceManager会启动一个Application Master（AM）容器。AM负责向ResourceManager申请资源，并在NodeManager上启动Executor容器。`ExecutorLauncher`是Spark中用于YARN集群模式下启动Executor的类。 出现类找不到的错误通常有以下几种原因： 1. **依赖缺失**：提交作业时没有正确包含Spark的依赖库，特别是`spark-yarn`模块。 2. **类路径配置错误**：YARN的类路径配置不正确，导致NodeManager无法找到Spark的相关类。 3. **Spark版本不兼容**：使用的Spark版本与YARN集群的版本存在兼容性问题。 4. **打包问题**：如果使用`spark-submit`提交作业，可能没有正确设置`--jars`或`--packages`参数，或者在使用自定义jar包时没有包含必要的依赖。 ### 解决步骤 #### 1. 检查Spark提交命令 确保提交命令正确，特别是在cluster模式下。例如： ```bash ./bin/spark-submit --class your.main.Class \ --master yarn \ --deploy-mode cluster \ --executor-memory 2g \ --num-executors 10 \ your-application.jar ``` #### 2. 确保Spark的YARN支持库存在 在Spark的安装目录中，`spark-yarn`模块的JAR文件（例如`spark-yarn_2.12-3.x.x.jar`）必须存在。这个JAR文件通常位于Spark的`jars`目录下。如果缺失，需要重新安装Spark或下载对应的JAR文件。 #### 3. 检查YARN的配置 在YARN集群中，需要确保NodeManager能够访问Spark的JAR文件。通常，有两种方式： - **将Spark的JAR文件上传到HDFS**：在Spark的配置中，可以设置`spark.yarn.archive`或`spark.yarn.jars`指向HDFS上的Spark依赖库。这样，YARN会在运行任务时从HDFS下载这些依赖。 例如，在`spark-defaults.conf`中配置： ``` spark.yarn.archive hdfs:///spark-libs/spark-libs.jar ``` 其中`spark-libs.jar`是一个包含所有Spark依赖的归档文件（可以通过`jar cvf`命令将Spark的jars目录打包）。 - **使用本地路径**：如果YARN集群的所有节点上都安装了相同路径的Spark，那么可以通过设置`spark.yarn.jars`指向本地路径（不推荐，因为需要所有节点一致）。 #### 4. 检查类路径配置 在YARN的配置中（`yarn-site.xml`），确保`yarn.application.classpath`包含了Spark的JAR文件路径。例如： ```xml <property> <name>yarn.application.classpath</name> <value> /etc/hadoop/conf, /usr/lib/hadoop/*,/usr/lib/hadoop/lib/*, /usr/lib/hadoop-hdfs/*,/usr/lib/hadoop-hdfs/lib/*, /usr/lib/hadoop-yarn/*,/usr/lib/hadoop-yarn/lib/*, /usr/lib/spark/jars/* <!-- 添加Spark的jars目录 --> </value> </property> ``` #### 5. 检查Spark版本 确保使用的Spark版本与YARN集群兼容。例如，Spark 3.x通常要求YARN版本在2.7以上。 #### 6. 日志分析 查看YARN的日志，特别是Application Master的日志，可以获取更详细的错误信息。通过YARN ResourceManager的Web UI（通常在8088端口）可以访问到日志。 #### 7. 重新打包应用程序 如果是使用`spark-submit`提交作业，并且应用程序包含自定义的依赖，确保使用`--jars`或`--packages`参数包含了所有依赖。或者，使用`--conf spark.yarn.archive`指定一个包含所有依赖的归档文件。 ### 总结 这个错误通常是由于Spark的YARN支持库没有被正确加载导致的。通过检查Spark提交命令、配置`spark.yarn.archive`或`spark.yarn.jars`、以及验证YARN的类路径，可以解决这个问题。 如果上述步骤不能解决问题，请检查具体的Spark和YARN版本，并查阅对应版本的官方文档。 §§相关问题§§ 1. 如何配置Spark的`spark.yarn.archive`属性？ 2. 如何查看YARN应用程序的日志以诊断错误？ 3. Spark on YARN模式下常见的类加载问题有哪些？ 4. 如何解决YARN集群中的依赖冲突问题？</think>### Spark YARN ExecutorLauncher类找不到错误排查指南 #### 问题分析 `org.apache.spark.deploy.yarn.ExecutorLauncher` 是 Spark on YARN 模式下的核心组件，负责启动 Executor 进程。类加载失败通常由以下原因引起： 1. **依赖缺失** YARN 集群节点缺少 Spark 依赖库，特别是 `spark-yarn` 模块 JAR 文件（如 `spark-yarn_2.12-3.x.x.jar`）。 *验证命令*: ```bash ls $SPARK_HOME/jars/spark-yarn* ``` 2. **类路径配置错误** YARN 的类路径未包含 Spark JAR 文件目录[^3]。检查 `yarn-site.xml` 配置： ```xml <property> <name>yarn.application.classpath</name> <value> /etc/hadoop/conf, /usr/lib/hadoop/*,/usr/lib/hadoop/lib/*, /usr/lib/hadoop-hdfs/*, /usr/lib/spark/jars/* <!-- 确保此路径存在 --> </value> </property> ``` 3. **部署模式冲突** `yarn-cluster` 模式需要完整的 Spark 依赖部署到集群节点，而 `yarn-client` 模式依赖本地环境[^2][^3]。 4. **资源提交问题** Spark 未正确上传依赖到 HDFS，检查 `spark-submit` 参数： ```bash spark-submit --master yarn --deploy-mode cluster \ --conf spark.yarn.archive=hdfs:///spark-libs/spark-libs.jar \ ... ``` #### 解决方案 ##### 步骤1：验证依赖完整性 ```bash # 检查所有节点上的 Spark jars 目录 find $SPARK_HOME/jars -name "*yarn*.jar" ``` 若无输出，需重新安装 Spark 或补充缺失 JAR。 ##### 步骤2：配置类路径 1. 在所有 YARN 节点创建统一路径： ```bash sudo mkdir -p /usr/lib/spark/jars sudo cp $SPARK_HOME/jars/* /usr/lib/spark/jars ``` 2. 在 `yarn-site.xml` 添加路径： ```xml <property> <name>yarn.application.classpath</name> <value>..., /usr/lib/spark/jars/*</value> </property> ``` 3. 重启 YARN 服务： ```bash yarn --daemon stop resourcemanager yarn --daemon start resourcemanager ``` ##### 步骤3：使用归档提交依赖 ```bash # 创建依赖归档并上传 HDFS jar cvf spark-libs.jar -C $SPARK_HOME/jars . hadoop fs -put spark-libs.jar /spark-libs/ # 提交任务时指定归档 spark-submit --master yarn \ --deploy-mode cluster \ --conf spark.yarn.archive=hdfs:///spark-libs/spark-libs.jar \ ... ``` ##### 步骤4：检查版本兼容性 确认组件版本匹配： - Spark 3.x 需要 Hadoop 3.2+/YARN 3.1+ - 使用 `spark-submit --version` 和 `yarn version` 验证 #### 典型错误场景 ```log Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher ``` 此错误表明 YARN NodeManager 在启动容器时无法定位 Spark 核心类[^3]。 #### 预防措施 1. 使用统一的基础镜像部署集群节点 2. 定期验证类路径配置： ```bash yarn classpath --glob | grep spark-yarn ``` 3. 在 CI/CD 流程中加入依赖检查