Hadoop学习笔记

wyn20001128

已于 2025-06-28 16:02:49 修改

阅读量467

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据学习相关笔记文章标签： hadoop 学习笔记

于 2025-06-02 10:47:39 首次发布

本文链接：https://blog.csdn.net/wyn20001128/article/details/148379326

（1）Hadoop概述

Hadoop是一个开源的分布式计算和存储框架，用于处理大规模数据集（大数据）的并行处理。它由Apache基金会开发，核心设计灵感来自Google的MapReduce和Google文件系统（GFS）论文。Hadoop的核心优势在于其高容错性、横向扩展能力（可通过增加普通服务器扩展集群）以及低成本

（2）Hadoop核心部件

在这里插入图片描述

①HDFS架构

在这里插入图片描述

②YARN架构概述：Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器

在这里插入图片描述

③ MapReduce架构概述

在这里插入图片描述

④三者关系如下

在这里插入图片描述

（3）一些其他的和Hadoop配合的东西

在这里插入图片描述

（4）Hadoop运行环境搭建（开发重点）

①模板虚拟机环境准备

（1）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G
（2）使用ping命令确定虚拟机可不可以上网，如果可以的话用yum安装epel-release（提供官方仓库之外的额外软件包）
在这里插入图片描述

yum install -y epel-release

（3）关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

（4）创建atguigu用户，并修改atguigu用户的密码
（5）配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令
（6）在/opt目录下创建文件夹，并修改所属主和所属组
在这里插入图片描述
（7）卸载虚拟机自带的JDK

（8）重启虚拟器

reboot

②克隆虚拟机准备好集群

（1）利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104
（2）修改克隆机IP，以下以hadoop102（其他也相似）举例说明
①修改克隆虚拟机的静态IP，命令如下：vim /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述
改动的点：

BOOTPROTO="static"
IPADDR=192.168.10.102
GATEWAY=192.168.10.2
DNS1=192.168.10.2

②查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8（VMnet8 是 VMware 虚拟机软件中默认创建的 NAT（网络地址转换）模式虚拟网络，主要用于让虚拟机通过主机的网络连接访问外部互联网，同时保护虚拟机不直接暴露在外部网络中。）
在这里插入图片描述

③查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

④保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

⑤修改克隆机主机名并配置Linux克隆机主机名称映射hosts文件（hosts 文件是一个本地计算机上的纯文本文件，用于手动映射主机名（域名）到 IP 地址。它比 DNS（域名系统）查询更优先）
在这里插入图片描述

（3）在hadoop102安装JDK

①卸载现有JDK
②JDK导入到opt目录下面的software文件夹下面
③解压JDK到/opt/module目录下：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
④配置JDK环境变量
在这里插入图片描述
⑤输入java version看看有没有安装成功重启虚拟机sudo reboot

（4）在hadoop102安装Hadoop

①将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面
②解压安装文件到/opt/module下面：tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
③将Hadoop添加到环境变量
在这里插入图片描述

④输入hadoop version看看有没有安装成功重启虚拟机sudo reboot
我们看一下Hadoop的目录：

以下是目录：

（5）Hadoop运行环境的本地模式运行：单机运行，只是用来演示一下官方案例。

①准备好两个txt文件放在wcinput文件夹里面（一个是奥巴马的演讲，一个是本人写的一个动漫的同人文（败犬女主太多了））

在这里插入图片描述

②转到/opt/module/hadoop-3.1.3目录下面运行如下命令：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./result

(1) bin/hadoop jar
bin/hadoop：Hadoop 的可执行脚本，用于执行 Hadoop 相关的命令。
jar：表示要运行一个 Java JAR 包中的 MapReduce 程序。

(2)share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar
路径：指向 Hadoop 自带的示例程序 JAR 包（hadoop-mapreduce-examples-3.1.3.jar）。
作用：这个 JAR 文件包含多个 MapReduce 示例程序，如 wordcount、grep、pi 等。

(3)wordcount
程序名：指定运行 JAR 包中的 wordcount（词频统计）程序,功能是统计输入文件中每个单词的出现次数。

(4) wcinput/
输入路径：HDFS（Hadoop 分布式文件系统）上的输入目录，包含要处理的文本文件。如果路径是 wcinput/（带 /），表示这是一个目录，Hadoop 会读取该目录下的所有文件。如果路径是 wcinput（不带 /），可能指向单个文件（但 wordcount 通常处理整个目录）。

(5) ./result
输出路径：HDFS 上的输出目录，用于存储 wordcount 的计算结果。./result 表示 HDFS 当前用户目录下的 result 目录
该目录必须不存在，否则 Hadoop 会报错（防止覆盖已有数据）。

PS：以下是hadoop-mapreduce-examples-3.1.3.jar里面的示例Hadoop程序
在这里插入图片描述

查看运行结果：

PS：如果自己实现一个Hadoop的程序并运行的话为以下步骤：
（1）写代码并存放在文件夹里面

package com.atguigu;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class InvertedIndex {
   
   
    public static class InvertedIndexMapper extends Mapper<Object, Text, Text, Text> {
   
   
    private Text word = new Text();
    private Text fileInfo = new Text();
    private long lineNumber = 0; // 用于跟踪行号
    @Override
    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
   
   
        // 获取文件名
        FileSplit fileSplit = (FileSplit) context.getInputSplit();
        String fileName = fileSplit.getPath().getName();       
        // 行号自增
        lineNumber++;        
        // 分割单词
        StringTokenizer tokenizer = new StringTokenizer(value.toString());
        while (tokenizer.hasMoreTokens()) {
   
   
            String token = tokenizer.nextToken().toLowerCase().replaceAll("[^a-z]", "");
            if (!token.isEmpty()) {
   
   
                word.set(token);
                fileInfo.set(fileName + "@" + lineNumber);
                context.write(word, fileInfo);
            }
        }
    }
}
    // Reducer: 合并相同单词的所有 (文件名@行号)
    public static class InvertedIndexReducer extends Reducer<Text, Text, Text, Text> {
   
   
       private Text result = new Text();
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
   
   
            StringBuilder sb = new StringBuilder();
            for (Text val : values) {
   
   
                sb.append(val.toString()).append("; ");
            }
            result.set(sb.toString());
            context.write(key, result);
        }
    }
    // 主函数
    public static void main(String[] args) throws Exception {
   
   
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "InvertedIndex");
        job.setJarByClass(InvertedIndex.class);
        job.setMapperClass(InvertedIndexMapper.class);
        job.setReducerClass(InvertedIndexReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

实现的要求如下：
在这里插入图片描述
图中放在/root/桌面/Jar/src/main/java/com/atguigu里面 （2）依次运行如下命令：

cd /root/桌面/Jar/src/main/java                                         //到项目根目录下面
javac -classpath $(hadoop classpath) com/atguigu/InvertedIndex.java    //编译.java文件
jar cf invertedindex.jar com/atguigu/InvertedIndex*.class              //打包成jar包
# 上传数据到HDFS
hadoop fs -mkdir /input
hadoop fs -put file1.txt file2.txt /input/

# 运行作业
hadoop jar invertedindex.jar com.atguigu.InvertedIndex /input /output  //注意路径，一定要定位到对应的.class文件          

# 查看结果
hadoop fs -cat /output/part-r-00000

PS：hadoop fs -的作用
在这里插入图片描述

运行结果如下：
在这里插入图片描述

（6）Hadoop的完全分布式运行模式（开发重点）

①编写集群分发脚本xsync

首先介绍两个命令：scp和rsync

(1)scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
基本语法如下：
scp    -r     $pdir/$fname         $user@$host:$pdir/$fname
命令   递归    要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
scp -r /opt/module/jdk1.8.0_212  atguigu@hadoop103:/opt/module
在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。

(2)rsync远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。语法如下所示：
rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
以下是具体命令：
rsync -av hadoop-3.1.3/  atguigu@hadoop103:/opt/module/hadoop-3.1.3/

对此可以写一个xsync集群分发脚本，需求是循环复制文件到所有节点的相同目录：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录(用于拼接)
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

②配置ssh免密登录

（1）普通的ssh登录：ssh hadoop102然后输密码
（2）ssh免密登录

cd .ssh                          到.ssh目录下面
ssh-keygen -t rsa                生成密钥和公钥

把公钥发出去
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

ssh hadoop103                   不需要密码就可以登进去了

免密登录的原理如下：
在这里插入图片描述
请添加图片描述

PS：即使在同一台机器，账户之间的ssh免密也是要配置的

③集群配置

（1）集群配置部署
在这里插入图片描述
（2）配置文件说明

（3）配置文件编写：都在etc/hadoop/目录下面

(1)core-site.xml：定义 Hadoop 核心全局配置，适用于所有组件（HDFS、YARN、MapReduce）。
配置 默认文件系统（HDFS 的访问地址） 和 临时目录。
<configuration>
<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

(2)hdfs-site.xml:配置 HDFS（Hadoop 分布式文件系统）相关参数
<configuration>
    <!-- nn web端访问地址-->
        <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
        <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

(3)mapred-site.xml：配置 MapReduce 计算框架的参数。
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>
</configuration>

(4)yarn-site.xml：配置 YARN 资源管理框架的参数。
<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>    
              		   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
     <!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->