Hive搭建

前提条件:

下载:https://mirrors.cnnic.cn/apache/hive/

安装了hadoop集群,

 

1.解压缩hive的软件包,使用命令:

tar -zxvf hive-3.1.0-bin.tar.gz  

2.进入hive的配置目录. 编辑/usr/local/data/hive-3.1.0/conf/hive-site.xml

添加配置文件:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

   <property>  

        <name>javax.jdo.option.ConnectionURL</name>  

        <value>jdbc:mysql://linux1:3306/hive?createDatabaseIfNotExist=true</value>  

    </property>  

    <property>  

        <name>javax.jdo.option.ConnectionDriverName</name>  

        <value>com.mysql.jdbc.Driver</value>  

    </property>  

    <property>  

        <name>javax.jdo.option.ConnectionUserName</name>  

        <value>root</value>  

    </property>  

    <property>  

        <name>javax.jdo.option.ConnectionPassword</name>  

        <value>123456</value>  

    </property>  

    <property>    

   <name>hive.metastore.schema.verification</name>    

   <value>false</value>    

    <description>    

    Enforce metastore schema version consistency.    

    True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic    

          schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures    

          proper metastore schema migration. (Default)    

    False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.    

    </description>    

 </property>   

</configuration>

 

 hive-env.sh配置

export HADOOP_HOME=/usr/local/hadoop-2.8.4

export HIVE_HOME=/usr/local/data/hive-3.1.0

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/usr/local/data/hive-3.1.0/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=/usr/local/data/hive-3.1.0/lib

mysql驱动包导入

mysql驱动包放置到$HIVE_HOME\lib目录

/usr/local/data/hive-3.1.0/lib

记得文件要授权

chown -R mysql:mysql /usr/local

 对数据库进行初始化,执行命令:

  schematool   -initSchema  -dbType  mysql

 

报错1:

LF4J: Found binding in [jar:file:/usr/local/data/hive-3.1.0/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

Jar包冲突

rm -f log4j-slf4j-impl-2.10.0.jar

报错2:

message from server: "Host 'linux1' is not allowed to connect to this MySQL server"

可能是帐号不允许从远程登陆,登入mysql后,更改 "mysql" 数据库里的 "user" 表里的 "host" 项,从"localhost"改称"%"

登录数据库:mysql -u root -p

 

mysql>use mysql;

mysql>update user set host = '%' where user = 'root';

mysql>select host, user from user;

mysql>FLUSH   PRIVILEGES;

 

出现

Initialization script completed

schemaTool completed

启动成功

启动hive

进入到hivebin目录执行命令:

hive

### Hive 搭建与配置指南 Hive 是一个建立在 Hadoop 之上的数据仓库工具,用于大规模数据的存储和查询。搭建 Hive 的过程通常包括环境准备、安装配置以及测试验证等步骤。以下是关于 Hive 搭建和配置的相关内容: #### 1. 环境准备 在搭建 Hive 之前,需要确保以下环境已经正确安装和配置: - Java JDK:Hive 依赖于 Java 运行时环境。 - Hadoop:Hive 需要 Hadoop 提供分布式存储和计算能力。 - MySQL(可选):用于存储 Hive 的元数据信息[^5]。 #### 2. 下载与解压 Hive 从 Apache 官方网站或其他可信来源下载 Hive 的安装包,并将其解压到指定目录。例如: ```bash tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/local/ ``` #### 3. 配置 Hive Hive 的核心配置文件为 `hive-site.xml`,位于 `/usr/local/hive/conf` 目录下。需要对以下关键配置项进行设置: - **修改默认配置文件**:将模板文件重命名为正式使用的配置文件[^1]。 ```bash cd /usr/local/hive/conf mv hive-default.xml.template hive-default.xml ``` - **设置临时文件夹位置**:为了优化性能,可以指定 Hive 的临时文件夹位置[^2]。 ```xml <property> <name>hive.exec.local.scratchdir</name> <value>/path/to/hive/local/scratchdir</value> <description>Local scratch space for Hive jobs</description> </property> ``` - **配置元数据库连接**:如果使用 MySQL 存储元数据,需添加如下配置[^5]。 ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive_user</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive_password</value> </property> ``` #### 4. 初始化元数据库 在完成上述配置后,初始化 Hive 的元数据库: ```bash schematool -dbType mysql -initSchema ``` #### 5. 启动 Hive 通过以下命令启动 Hive 并进入 CLI 模式: ```bash hive ``` #### 6. 测试 Hive 功能 创建一个简单的表并插入数据以验证 Hive 是否正常工作。例如: ```sql CREATE TABLE test_table (id INT, name STRING); INSERT INTO test_table VALUES (1, 'test'); SELECT * FROM test_table; ``` #### 7. 高级配置(可选) 对于更复杂的场景,可以参考 CDH 6.3.0 环境下的 Hive on Spark 配置指南[^4]。该文档提供了关于如何在 CDH 平台上高效部署 Hive on Spark 的详细指导。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值