大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建一

说明：本篇开始主要是对前面的Hadoop2.x大数据组件搭建博文做Hadoop3.x集群搭建方法的升级，不过只会设计到将Hadoop升级为3.x后，搭建方式受影响的组件，其他的如果没发生变动则不会再写一遍，只会标明安装的版本，毕竟没有必要，不过如果搭建中发现前面2.x其他组件受到了影响，且本篇开始没有提供搭建升级，则给博主留言，因为本人也要上班，大厂牛马加班太多。反正总体上来讲较新的版本和老版本只是在搭建要求上有些地方不一样，使用上差别不大。本篇用于搭建的3.x集群为了防止影响，使用了一套新的环境，节点任然是三台，大家如果是从原来的2.x升级，则对照着节点安装就行

192.168.239.181 node001
192.168.239.182 node002
192.168.239.183 node003

本篇安装软件版本

JAVAJDK1.8 这里不再演示，直接准备就行
scala-jdk 2.13.6
zookeeper3.8.4
hadoop3.2.3
hive3.1.3
tez 0.10.1 如果你有2025年之前编译好的tar包，就还能正常安装上用一用，否则现在源码包编译有一些关键组件已经无法通过编译得到完整的包了，就连官方直接下载得到的bin-tar里面也缺东西

scala

官网下载-》https://scala-lang.org/ ，和Java-JDK一样的安装方法，这里不再展示

zookeeper

安装步骤见–》https://blog.csdn.net/dudadudadd/article/details/109679296

hadoop

安装步骤见 -》https://blog.csdn.net/dudadudadd/article/details/139547748

Hive

第一步：去官网下载Hive的安装包，直接搜索apache hive就行，下载好之后上传服务器解压，并配置环境变量

export HIVE_HOME=/opt/hive-3.1.3
export PATH=$PATH:${HIVE_HOME}/bin

第二步：进入hive的conf目录下编辑配置文件，新建hive-site.xml文件并追加如下内容，注意这里直接用mysql了，就不介绍默认的元数据库类型了，3.x的hive保险起见用mysql5，当然如果条件不允许就用8.x也行

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc 链接地址mysql 特别注意要改成自己的mysql所在地址，还有库名也可以自定义，注意mysql里面的元数据库一定不要盲目的手动去建立，不然使用的时候会出问题的，你要想自己先建好，那么要运行alter database hive character set latin1; 把字符集改了-->
	<property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://192.168.1.103:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
	  <description>JDBC connect string for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	  <description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionUserName</name>
	  <value>root</value>
	  <description>username to use against metastore database</description>
	</property>
	
	<!-- mysql口令也要改写成自己的口令-->
	<property>
	  <name>javax.jdo.option.ConnectionPassword</name>
	  <value>root</value>
	  <description>password to use against metastore database</description>
	</property>
	
	<!-- hive的warehouse保存目录，就是hive保存数据的目录-->
    <property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
		<description>location of default database for the warehouse</description>
    </property>
	
	<!-- hive的cli链接使用时对查询语句是否展示列名，默认true-->
	<property>
		<name>hive.cli.print.header</name>
		<value>true</value>
	</property>

    <!-- hive的cli链接使用时是否展示所在库，默认true-->
	<property>
		<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>

    <!-- 让hive在插入数据时压缩-->
	<property>
		<name>hive.exec.compress.output</name>
		<value>false