已有yarn集群部署spark

小白白白又白cdllp

已于 2024-05-20 20:11:43 修改

阅读量444

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark 大数据分布式

于 2024-05-18 21:25:36 首次发布

本文链接：https://blog.csdn.net/weixin_39750084/article/details/139028486

已有yarn集群的情况下，部署spark只需要部署客户端。

一、前提条件

已部署yarn集群，部署方式参考：https://blog.csdn.net/weixin_39750084/article/details/136750613?spm=1001.2014.3001.5502，我部署的hadoop版本是3.3.6
已安装jdk1.8，如果没安装或版本不对，可参考：https://blog.csdn.net/weixin_39750084/article/details/138674399?spm=1001.2014.3001.5502中的第六部分，客户端部署中jdk的安装。

二、部署spark客户端

下载链接：
https://mirrors.aliyun.com/apache/spark/spark-3.4.3/spark-3.4.3-bin-hadoop3.tgz

mkdir spark
cd spark
wget https://mirrors.aliyun.com/apache/spark/spark-3.4.3/spark-3.4.3-bin-hadoop3.tgz
tar -zxvf spark-3.4.3-bin-hadoop3.tgz
vi /etc/profile

#添加以下几行
export HIVE_HOME=/mnt/admin/apache-hive-3.1.3-bin
export HADOOP_HOME=/mnt/admin/hadoop-3.3.6
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export HADOOP_CONF_DIR=/mnt/admin/hadoop-3.3.6/etc/hadoop
export YARN_CONF_DIR=/mnt/