一、项目涉及内容 项目涉及内容： 1 RedHat7.6 Linux 操作系统安装 2 Hadoop3.3.5版本安装部署，创建三个虚拟机，分别是hdwzlmaster,hdwzlslave1,hdwzlslave2,完成三个节点的完全分布式集群。 3 HIVE数据仓库安装部署 4 Hbase数据库和zookeeper安装部署 5 日志收集系统Flume的安装部署 （选做） 6 分布式消息发布系统kafka系统安装部署 （选做） 二、项目要求 设计一个基于Hadoop平台的系统的实验项目，实现大数据的分布式存储、运算、分布式数据库处理、日志收集、消息发布功能。下载软件，解压安装，设置参数，运行并验证该实验，记录实验过程和结果。 实验运行环境要求： Linux7.6版本、Wmaware 15版本以上、hadoop3.2版本以上 要求创建大数据环境： 1专用的文件系统： /Bigdata/姓名缩写+学号 2专用的用户： hd+姓名缩写+学号 所有解压安装的软件都存放在专用的文件系统，并由专用的用户作为拥有者(owner). 项目文档包含四个部分： 1项目题目和功能说明 基于Hadoop平台的系统的实验项目，简明扼要说明该功能的运行机制，该说明不少于150字. 2实验过程和命令 描述系统的配置信息，记录安装部署过程和相关命令，并编写成安装步骤和结果。 3实验验证和结果 运行并验证该实验，记录实验过程和结果。要求截图必须有实验操作当天的日期和时间。 4实施问题处理 描述实施过程中，遇到什么问题，解决方法。 三、项目目的 本课程要求各小组能够充分利用所学的基本知识和技能, 管理linux系统上运行的hadoop各个组件，提高综合应用所学知识的能力。基本掌握hadoop平台的管理操作，具体目的如下： 熟练掌握Linux操作系统操作和管理。 熟练掌握Wmware workstation虚拟机的设置，包括系统资源CPU、内存、硬盘空间等分配，网络接口设置。 熟练掌握Hadoop3.2版本安装部署。掌握hdfs分布式文件系统使用和mapreduce分布式运算。 熟练掌握 HIVE数据仓库安装部署。使用直连式mysql数据库保存元数据、验证书本基站掉话率top20案例程序。 熟练掌握 Hbase数据库和zookeeper安装部署。掌握hbase数据库的使用、数据的操作。 熟练掌握日志收集系统Flume的安装部署。掌握多种日志信息的收集方法和部署。 熟练掌握分布式消息发布系统kafka系统安装部署。 学会通过网站、书籍、安装和文档光盘等方式收集所需的技术资料、问题分析和解答。 培养独立学习、吸取他人的经验、探讨技术的习惯。 培养学生理论联系实际的工作作风、严肃认真的科学态度以及独立工作的能力，树立自信心。 培养团队协作能力 我的名字缩写是wzl,学号是0120221809,

<think>我们首先需要创建一个项目文档，包含四个部分。由于这是一个复杂的项目，涉及多个组件的安装和配置，我将分步骤进行说明，并给出关键的命令和代码。注意：由于实际环境是RedHat7.6，使用VMware创建三个虚拟机，我们假设已经安装好三个虚拟机，并配置好网络（例如静态IP、主机名映射等）。根据要求，我们需要：1.创建专用文件系统：/Bigdata/wzl0120221809（因为姓名缩写wzl，学号0120221809）2.创建专用用户：hdwzl0120221809步骤概览：1.在三个节点上创建用户和目录，并设置权限。2.安装必要的工具（如Java，因为Hadoop等依赖Java）。3.安装Hadoop并配置完全分布式集群。4.安装Hive（使用MySQL作为元数据存储）。5.安装Zookeeper和HBase。6.（选做）安装Flume。7.（选做）安装Kafka。由于整个项目非常庞大，我将重点放在Hadoop、Hive、HBase和Zookeeper的安装配置上，选做的部分如果有时间再补充。注意：以下所有操作如无特别说明，均在hdwzlmaster节点上进行，然后同步到其他节点。一、创建用户和目录在三个节点（hdwzlmaster,hdwzlslave1,hdwzlslave2）上执行：1.创建目录：sudomkdir-p/Bigdata/wzl01202218092.创建用户：sudouseraddhdwzl01202218093.设置目录所有者：sudochown-Rhdwzl0120221809:hdwzl0120221809/Bigdata/wzl0120221809二、安装JavaHadoop需要Java环境，我们安装OpenJDK8（Hadoop3.3.5支持Java8）。在三个节点上执行：sudoyuminstall-yjava-1.8.0-openjdkjava-1.8.0-openjdk-devel配置环境变量（在用户hdwzl0120221809的~/.bashrc中）：exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkexportPATH=$PATH:$JAVA_HOME/bin然后source~/.bashrc。三、配置SSH免密登录（在hdwzlmaster节点上）以hdwzl0120221809用户操作：ssh-keygen-trsa#一直按回车ssh-copy-idhdwzlmasterssh-copy-idhdwzlslave1ssh-copy-idhdwzlslave2四、安装Hadoop1.下载Hadoop3.3.5，解压到/Bigdata/wzl0120221809目录：wgethttps://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gztar-xzvfhadoop-3.3.5.tar.gz-C/Bigdata/wzl01202218092.配置环境变量（在hdwzl0120221809用户的~/.bashrc中）：exportHADOOP_HOME=/Bigdata/wzl0120221809/hadoop-3.3.5exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin3.配置Hadoop（在$HADOOP_HOME/etc/hadoop目录下修改配置文件）：core-site.xml:<configuration><property><name>fs.defaultFS</name><value>hdfs://hdwzlmaster:9000</value></property><property><name>hadoop.tmp.dir</name><value>/Bigdata/wzl0120221809/hadoop/tmp</value></property></configuration>hdfs-site.xml:<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/Bigdata/wzl0120221809/hadoop/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/Bigdata/wzl0120221809/hadoop/datanode</value></property></configuration>mapred-site.xml:<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>yarn-site.xml:<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>hdwzlmaster</value></property></configuration>workers:hdwzlmasterhdwzlslave1hdwzlslave24.将配置好的Hadoop目录复制到其他两个节点：scp-r/Bigdata/wzl0120221809/hadoop-3.3.5hdwzlslave1:/Bigdata/wzl0120221809/scp-r/Bigdata/wzl0120221809/hadoop-3.3.5hdwzlslave2:/Bigdata/wzl0120221809/5.格式化HDFS（在hdwzlmaster上执行）：hdfsnamenode-format6.启动Hadoop集群：start-dfs.shstart-yarn.sh五、安装Hive1.下载Hive（例如3.1.2），解压到/Bigdata/wzl0120221809目录：wgethttps://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gztar-xzvfapache-hive-3.1.2-bin.tar.gz-C/Bigdata/wzl01202218092.配置环境变量（在hdwzl0120221809用户的~/.bashrc中）：exportHIVE_HOME=/Bigdata/wzl0120221809/apache-hive-3.1.2-binexportPATH=$PATH:$HIVE_HOME/bin3.安装MySQL（在hdwzlmaster上）作为Hive的元数据存储：sudoyuminstall-ymariadb-servermariadbsudosystemctlstartmariadbsudosystemctlenablemariadb#设置root密码等（根据提示进行安全设置）4.创建Hive的元数据库和用户：mysql-uroot-pCREATEDATABASEmetastore;CREATEUSER'hiveuser'@'%'IDENTIFIEDBY'password';GRANTALLONmetastore.*TO'hiveuser'@'%';FLUSHPRIVILEGES;5.配置Hive（在$HIVE_HOME/conf目录下）：hive-site.xml:<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hdwzlmaster:3306/metastore?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hiveuser</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>password</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.uris</name><value>thrift://hdwzlmaster:9083</value></property></configuration>注意：需要将MySQL的JDBC驱动（mysql-connector-java.jar）放到$HIVE_HOME/lib目录下。6.初始化Hive元数据库：schematool-initSchema-dbTypemysql7.启动Hive的metastore服务（后台启动）：hive--servicemetastore&#或者使用nohuphive--servicemetastore>/dev/null2>&1&六、安装Zookeeper1.下载Zookeeper（例如3.7.0），解压到/Bigdata/wzl0120221809目录：wgethttps://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gztar-xzvfapache-zookeeper-3.7.0-bin.tar.gz-C/Bigdata/wzl01202218092.配置环境变量（在hdwzl0120221809用户的~/.bashrc中）：exportZOOKEEPER_HOME=/Bigdata/wzl0120221809/apache-zookeeper-3.7.0-binexportPATH=$PATH:$ZOOKEEPER_HOME/bin3.配置Zookeeper：在$ZOOKEEPER_HOME/conf目录下，复制zoo_sample.cfg为zoo.cfg，并修改：dataDir=/Bigdata/wzl0120221809/zookeeper/dataserver.1=hdwzlmaster:2888:3888server.2=hdwzlslave1:2888:3888server.3=hdwzlslave2:2888:3888然后在三个节点的dataDir目录下创建myid文件，内容分别为1,2,3。4.将配置好的Zookeeper目录复制到其他两个节点。5.分别启动三个节点的Zookeeper服务：zkServer.shstart七、安装HBase1.下载HBase（例如2.4.8），解压到/Bigdata/wzl0120221809目录：wgethttps://downloads.apache.org/hbase/2.4.8/hbase-2.4.8-bin.tar.gztar-xzvfhbase-2.4.8-bin.tar.gz-C/Bigdata/wzl01202218092.配置环境变量（在hdwzl0120221809用户的~/.bashrc中）：exportHBASE_HOME=/Bigdata/wzl0120221809/hbase-2.4.8exportPATH=$PATH:$HBASE_HOME/bin3.配置HBase：修改$HBASE_HOME/conf/hbase-env.sh：exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkexportHBASE_MANAGES_ZK=false#使用外部Zookeeper修改$HBASE_HOME/conf/hbase-site.xml：<configuration><property><name>hbase.rootdir</name><value>hdfs://hdwzlmaster:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>hdwzlmaster,hdwzlslave1,hdwzlslave2</value></property></configuration>修改regionservers文件：hdwzlslave1hdwzlslave24.将HBase复制到其他两个节点。5.启动HBase（在hdwzlmaster上）：start-hbase.sh八、实验验证1.Hadoop验证：在HDFS上创建目录、上传文件，运行一个MapReduce示例程序（如wordcount）。2.Hive验证：启动hive，创建表，加载数据，执行查询。3.HBase验证：启动hbaseshell，创建表，插入数据，扫描表。九、项目文档由于整个项目文档需要包含四个部分，并且要求截图和日期，这里无法直接提供，但我们可以提供文档的框架和关键步骤的记录。项目文档框架：1.项目题目和功能说明题目：基于Hadoop平台的大数据系统实验项目功能说明：本项目在三个节点的完全分布式集群上部署了Hadoop、Hive、HBase和Zookeeper，实现了大数据的分布式存储（HDFS）、分布式计算（MapReduce/Spark）、分布式数据仓库（Hive）和分布式数据库（HBase）等功能。其中，Hive使用MySQL存储元数据，HBase依赖于Zookeeper进行协调。整个系统能够处理大规模数据，并提供高可靠性和高扩展性。2.实验过程和命令记录以上步骤中的关键命令和配置。3.实验验证和结果对每个组件进行基本操作验证，并截图（注意包含日期和时间）。4.实施问题处理记录在安装过程中遇到的问题及解决方法。例如：-问题：Hadoop启动时，DataNode没有启动。解决：检查hdfs-site.xml中的目录权限，确保hdwzl0120221809用户有读写权限，并删除tmp目录重新格式化。-问题：Hive连接MySQL时出现驱动问题。解决：将mysql-connector-java.jar放到$HIVE_HOME/lib目录下，并确保版本匹配。由于篇幅限制，这里无法展开所有细节。但以上步骤已经给出了主要的安装和配置流程。注意：在实际操作中，请根据具体环境调整（如网络配置、软件版本等）。最后，根据要求，在最后提出相关问题：</think>### 基于Hadoop平台的大数据系统实验项目解决方案 #### 1. 项目题目和功能说明 **项目题目**：基于Hadoop的分布式大数据处理平台 **功能说明**： 本项目在三个节点的完全分布式集群（hdwzlmaster、hdwzlslave1、hdwzlslave2）上部署Hadoop生态系统，实现： 1. **分布式存储**：HDFS存储海量数据（默认3副本） 2. **分布式计算**：MapReduce/YARN处理数据 3. **数据仓库**：Hive提供SQL查询（MySQL存储元数据） 4. **分布式数据库**：HBase实现实时读写（依赖Zookeeper） 5. **日志收集**：Flume采集系统日志（选做） 6. **消息发布**：Kafka实现分布式消息队列（选做） 运行机制：数据通过Flume收集→存储到HDFS→Hive进行离线分析→HBase提供实时访问→Kafka作为消息总线。系统通过Zookeeper协调分布式服务。 --- #### 2. 实验过程和命令 ##### 环境准备（所有节点） ```bash # 创建专用目录和用户 sudo mkdir -p /Bigdata/wzl0120221809 sudo useradd hdwzl0120221809 sudo chown -R hdwzl0120221809:hdwzl0120221809 /Bigdata/wzl0120221809 # 安装Java sudo yum install -y java-1.8.0-openjdk-devel echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> ~/.bashrc ``` ##### Hadoop安装（主节点操作） ```bash # 解压Hadoop到专用目录 tar -zxvf hadoop-3.3.5.tar.gz -C /Bigdata/wzl0120221809/ cd /Bigdata/wzl0120221809/hadoop-3.3.5/etc/hadoop # 配置core-site.xml cat > core-site.xml <<EOF <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hdwzlmaster:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/Bigdata/wzl0120221809/hadoop_tmp</value> </property> </configuration> EOF # 配置hdfs-site.xml (设置3副本) cat > hdfs-site.xml <<EOF <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> EOF # 配置workers文件 echo -e "hdwzlslave1\nhdwzlslave2" > workers # 同步配置到从节点 scp -r /Bigdata/wzl0120221809/hadoop-3.3.5 hdwzlslave1:/Bigdata/wzl0120221809/ scp -r /Bigdata/wzl0120221809/hadoop-3.3.5 hdwzlslave2:/Bigdata/wzl0120221809/ # 格式化HDFS hdfs namenode -format # 启动集群 start-dfs.sh && start-yarn.sh ``` ##### Hive安装（主节点） ```bash # 解压Hive tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /Bigdata/wzl0120221809/ # 安装MySQL（元数据存储） sudo yum install -y mariadb-server sudo systemctl start mariadb # 创建Hive元数据库 mysql -u root -e "CREATE DATABASE metastore;" mysql -u root -e "GRANT ALL ON metastore.* TO 'hiveuser'@'%' IDENTIFIED BY 'password';" # 配置hive-site.xml cat > /Bigdata/wzl0120221809/apache-hive-3.1.2-bin/conf/hive-site.xml <<EOF <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hdwzlmaster/metastore</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> </configuration> EOF # 初始化元数据库 schematool -initSchema -dbType mysql ``` ##### HBase + Zookeeper安装 ```bash # Zookeeper配置（所有节点） tar -zxvf zookeeper-3.7.0.tar.gz -C /Bigdata/wzl0120221809/ echo "server.1=hdwzlmaster:2888:3888" >> conf/zoo.cfg echo "server.2=hdwzlslave1:2888:3888" >> conf/zoo.cfg # HBase配置（主节点） tar -zxvf hbase-2.4.8-bin.tar.gz -C /Bigdata/wzl0120221809/ cat > conf/hbase-site.xml <<EOF <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hdwzlmaster:9000/hbase</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hdwzlmaster,hdwzlslave1,hdwzlslave2</value> </property> </configuration> EOF # 启动服务 zkServer.sh start # 所有节点 start-hbase.sh # 主节点 ``` --- #### 3. 实验验证和结果 **Hadoop验证**： ```bash # 创建HDFS目录 hdfs dfs -mkdir /test hdfs dfs -put /etc/passwd /test/ # 运行WordCount示例 hadoop jar hadoop-mapreduce-examples-3.3.5.jar wordcount /test/passwd /output # 查看结果（截图包含日期） hdfs dfs -cat /output/part-r-00000 | head -n 5 ``` **结果截图要求**：包含`date`命令输出的当前时间 + HDFS文件列表 **Hive验证**： ```sql CREATE TABLE test_table (id INT, name STRING); INSERT INTO test_table VALUES (1, 'wzl0120221809'); SELECT * FROM test_table; ``` **结果截图**：Hive查询结果 + MySQL元数据表（`TBLS`） **HBase验证**： ```bash hbase shell > create 'test_table', 'cf' > put 'test_table', 'row1', 'cf:name', 'wzl0120221809' > scan 'test_table' ``` **结果截图**：HBase表扫描输出 + Web UI（`http://hdwzlmaster:16010`） --- #### 4. 实施问题处理 **常见问题及解决方案**： 1. **问题**：DataNode无法启动 **原因**：`hadoop.tmp.dir`权限错误 **解决**：`chown -R hdwzl0120221809 /Bigdata/wzl0120221809/hadoop_tmp` 2. **问题**：Hive连接MySQL失败 **原因**：缺少JDBC驱动 **解决**：将`mysql-connector-java.jar`放入`HIVE_HOME/lib` 3. **问题**：HBase RegionServer退出 **原因**：Zookeeper端口冲突 **解决**：检查`hbase-site.xml`中`hbase.zookeeper.property.clientPort`配置 4. **问题**：YARN任务卡住 **原因**：资源分配不足 **解决**：调整`yarn-site.xml`中`yarn.nodemanager.resource.memory-mb` ---