(二) 本地HDFS集群环境部署

本文链接：https://blog.csdn.net/kaiaaaa/article/details/148309757

1.下载hadoop安装包安装到node1节点

首先从官方网址：https://hadoop.apache.org下载hadoop安装包的二进制源码文件。

# 1.上传Hadoop安装包到node1节点中
# 2.解压缩安装包到/export/server中
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

# 3.构建软链接
cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoo

2.Hadoop安装包目录结构

进入到hadoop文件中，各个文件夹含义如下：

bin，存放Hadoop的各类程序（命令）
etc，存放Hadoop的配置文件
include，C语言的一些头文件
lib，存放Linux系统的动态链接库（.so文件）
libexec，存放配置Hadoop系统的脚本文件（.sh和.cmd）
licenses-binary，存放许可证文件
sbin，管理员程序（super bin）
share，存放二进制源码（Java jar包）

配置HDFS集群，我们主要涉及到如下文件的修改：

workers：配置从节点（DataNode）有哪些
hadoop-env.sh：配置Hadoop的相关环境变量
core-site.xml：Hadoop核心配置文件
hdfs-site.xml：HDFS核心配置文件

这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中

3.修改配置文件，应用自定义设置

1.配置workers文件填入的node1、node2、node3

# 进入配置文件目录
cd etc/hadoop
# 编辑workers文件
vim workers
# 填入如下内容
node1
node2
node3

表明集群记录了三个从节点（DataNode）

2.配置hadoop-env.sh文件

# 填入如下内容
export JAVA_HOME=/export/server/jdk	# 指明JDK环境的位置在哪
export HADOOP_HOME=/export/server/hadoop # 指明Hadoop安装位置
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop # 指明Hadoop配置文件目录位置
export HADOOP_LOG_DIR=$HADOOP_HOME/logs	# 指明Hadoop运行日志目录位置

通过记录这些环境变量，来指明上述运行时的重要信息

3.配置core-site.xml文件

<!--在文件内部填入如下内容-->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>
<!--
key：fs.defaultFS
含义：HDFS文件系统的网络通讯路径
值：hdfs://node1:8020
协议为hdfs://
namenode为node1
namenode通讯端口为8020

key：io.file.buffer.size
含义：io操作文件缓冲区大小
值：131072 bit
-->

4.配置hdfs-site.xml文件

<!--在文件内部填入如下内容-->
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
<property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>
<!--
key：dfs.datanode.data.dir.perm
含义：hdfs文件系统，默认创建的文件权限设置
值：700，即：rwx------

key：dfs.namenode.name.dir
含义：NameNode元数据的存储位置
值：/data/nn，在node1节点的/data/nn目录下

key：dfs.namenode.hosts
含义：NameNode允许哪几个节点的DataNode连接（即允许加入集群）
值：node1、node2、node3，这三台服务器被授权

key：dfs.blocksize
含义：hdfs默认块大小
值：268435456（256MB）

key：dfs.namenode.handler.count
含义：namenode处理的并发线程数
值：100，以100个并行度处理文件系统的管理任务

key：dfs.datanode.data.dir
含义：从节点DataNode的数据存储目录
值：/data/dn，即数据存放在node1、node2、node3，三台机器的/data/dn内
-->

配置好后，应该创建各个数据存储文件：

# node1
mkdir -p /data/nn
mkdir /data/dn
# node2
mkdir -p /data/dn
# node3
mkdir -p /data/dn

目前，已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3

# 1.分发
# 在node1执行如下命令
cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

# 2.在node2执行，为hadoop配置软链接
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
# 3.在node3执行，为hadoop配置软链接
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

4.配置环境变量

为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。

# 1.修改配置文件
vim /etc/profile
# 在/etc/profile文件底部追加如下内容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 2.在node2和node3配置同样的环境变量

5.授权为hadoop用户

hadoop部署的准备工作基本完成为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务

# 以root身份，在node1、node2、node3三台服务器上均执行如下命令
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

6.格式化整个文件系统

前期准备全部完成，现在对整个文件系统执行初始化

# 1.格式化namenode，确保以hadoop用户执行
su - hadoop
hadoop namenode -format
# 2.启动
start-dfs.sh	# 一键启动hdfs集群
stop-dfs.sh		# 一键关闭hdfs集群
# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh