HDFS高可用模式安装部署

已于 2024-12-10 13:13:21 修改
阅读量1k 收藏 31
点赞数 23
CC 4.0 BY-SA版权
文章标签： hdfs hadoop 大数据
于 2024-12-10 13:12:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2302_78444522/article/details/144370693

实验步骤

  • 将ZooKeeper集群模式启动
  • 获取安装包
    • 安装包在本地：通过XFTP等工具将安装包上传到虚拟机中
    • 安装包在网络：
      • 虚拟机可以访问互联网
      • 虚拟机无法访问互联网
  • 解压缩安装包
  • 将解压出来安装目录重命名
  • 配置环境变量
  • 刷新环境变量，使新增的环境变量生效
  • 修改hadoop相关配置文件
    • 修改core-site.xml配置文件
    • 修改hdfs-site.xml配置文件
    • 修改hadoop-env.sh配置文件
    • 修改slaves配置文件
  • 将配置好的文件分发给集群中的其他节点
    • 将hadoop的安装包分发给集群中的其他节点
    • 将profile环境变量分发给集群中其他节点
  • 创建配置目录中所涉及到的目录
  • 启动管理日志Journalnode节点
  • 在第一台节点上格式化NameNode
  • 启动第一台节点的NameNode节点
  • 在第二台节点上同步hadoop01节点的元数据信息
  • 启动hadoop02节点的NameNode节点
  • zkfc对接hdfs，实现主备抢占
  • 启动zkfc服务进程
    • hadoop01节点上启动zkfc
    • hadoop02节点上启动zkfc
  • 启动DataNode节点

一、启动ZooKeeper集群服务

注意：一个一个的启动，即一个一个的使用zkServer.sh start命令后再使用zkServer.sh status命令查看节点状态。

1、启动hadoop01节点的ZooKeeper服务

[root@hadoop01 install]# zkServer.sh start

[root@hadoop01 install]# zkServer.sh status

输出结果，如下图所示：

2、启动hadoop02节点的ZooKeeper服务

[root@hadoop02 ~]# zkServer.sh start

[root@hadoop02 ~]# zkServer.sh status

输出结果，如下图所示：

3、启动hadoop03节点的ZooKeeper服务

[root@hadoop03 ~]# zkServer.sh start

[root@hadoop03 ~]# zkServer.sh status

输出结果，如下图所示：

二、安装Hadoop

1、将hadoop安装包解压到指定的安装目录

[root@hadoop01 install]# cd

[root@hadoop01 ~]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/install/

2、进入到安装目录，对hadoop的安装目录进行重命名

[root@hadoop01 ~]# cd /opt/install/

[root@hadoop01 install]# mv hadoop-2.7.7/ hadoop

3、配置hadoop的环境变量

[root@hadoop01 install]# vim /etc/profile

export HADOOP_HOME=/opt/install/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

输出结果，如下图所示：

4、刷新环境变量，使得新增环境变量生效

[root@hadoop01 install]# source /etc/profile

5、验证hadoop版本信息

[root@hadoop01 install]# hadoop version

输出结果，如下图所示：

三、修改hadoop配置文件

1、修改core-site.xml配置文件

[root@hadoop01 ~]# cd /opt/install/hadoop/etc/hadoop/

[root@hadoop01 hadoop]# vim core-site.xml

<configuration>

    <property>

        <!--不启用服务级授权，默认为false-->

        <name>hadoop.security.authorization</name>

        <value>false</value>

    </property>

    <property>

        <!--配置hadoop的临时目录-->

        <name>hadoop.tmp.dir</name>

        <value>/data/hadoop/tmp</value>

    </property>

    <property>

        <!--指定hdfs的nameservice为cluster-->

        <name>fs.defaultFS</name>

        <value>hdfs://cluster</value>

    </property>

    <property>

        <!--指定 zookeeper地址-->

        <name>ha.zookeeper.quorum</name>

        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>

    </property>

    <property>

        <!--指定ZooKeeper会话超时时间-->

        <name>ha.zookeeper.session-timeout.ms</name>

        <value>10000</value>

    </property>

</configuration>

输出结果，如下图所示：

2、修改hdfs-site.xml配置文件

[root@hadoop01 hadoop]# vim hdfs-site.xml

<configuration>

    <!--设置副本数量-->

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <!--指定hdfs的nameservice为cluster-->

    <property>

        <name>dfs.nameservices</name>

        <value>cluster</value>

    </property>

    <!--cluster下有两个NameNode，分别是namenode01,namenode02-->

    <property>

        <name>dfs.ha.namenodes.cluster</name>

        <value>namenode01,namenode02</value>

    </property>

    <!--namenode01的RPC通信地址-->

    <property>

        <name>dfs.namenode.rpc-address.cluster.namenode01</name>

        <value>hadoop01:9000</value>

    </property>

    <!--namenode01的http通信地址-->

    <property>

        <name>dfs.namenode.http-address.cluster.namenode01</name>

        <value>hadoop01:8989</value>

    </property>

    <!--namenode02的RPC通信地址-->

    <property>

        <name>dfs.namenode.rpc-address.cluster.namenode02</name>

        <value>hadoop02:9000</value>

    </property>

    <!--namenode02的http通信地址-->

    <property>

        <name>dfs.namenode.http-address.cluster.namenode02</name>

        <value>hadoop02:8989</value>   

    </property>

    <!--是否启用HA自动切换-->

    <property>

        <name>dfs.ha.automatic-failover.enabled.cluster</name>

        <value>true</value>

    </property>

    <!--指定NameNode的元数据在JournalNode上的存放位置-->

    <property>

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/cluster</value>

    </property>

    <!--指定JournalNode在本地磁盘存放数据的位置-->

    <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/data/hadoop/journal</value>

    </property>

    <!--指定NameNode在本地磁盘存放数据的位置-->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/data/hadoop/namenode</value>

    </property>

    <!--指定DataNode在本地磁盘存放数据的位置-->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/data/hadoop/datanode</value>

    </property>

    <!--配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->

    <property>

        <name>dfs.ha.fencing.methods</name>

        <value>

              sshfence

              shell(/bin/true)

        </value>

    </property>

    <!--使用sshfence隔离机制时需要ssh免登录-->

    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>/root/.ssh/id_rsa</value>

    </property>

    <!--配置sshfence隔离机制超时时间-->

    <property>

        <name>dfs.ha.fencing.ssh.connect-timeout</name>

        <value>30000</value>

    </property>

    <!--配置失败自动切换实现方式-->

    <property>

        <name>dfs.client.failover.proxy.provider.cluster</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

   <!--开启webHDFS-->

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <!--设置重新进行健康检查的时间-->

    <property>

        <name>heartbeat.recheck.interval</name>

        <value>2000</value>

    </property>

    <!--datanode会按照此间隙(单位是s)向namenode发送心跳,默认发送10次-->

    <property>

        <name>dfs.heartbeat.interval</name>

        <value>1</value>

    </property>

</configuration>

输出结果，如下图所示：

3、修改hadoop-env.sh配置文件

[root@hadoop01 hadoop]# vim hadoop-env.sh

export JAVA_HOME=/opt/install/java

输出结果，如下图所示：

4、修改slaves文件

[root@hadoop01 hadoop]# vim slaves

hadoop01

hadoop02

hadoop03

输出结果，如下图所示：

四、将配置好的文件分发给集群中其他节点

1、将hadoop的安装目录分发给集群中的其他节点

[root@hadoop01 hadoop]# cd /opt/install/

[root@hadoop01 install]# scp -r hadoop/ hadoop02:/opt/install/

[root@hadoop01 install]# scp -r hadoop/ hadoop03:/opt/install/

2、将配置好的环境变量分发给集群中的其他节点

[root@hadoop01 install]# scp /etc/profile hadoop02:/etc/

[root@hadoop01 install]# scp /etc/profile hadoop03:/etc/

五、创建配置文件中的所需目录

[root@hadoop01 install]# mkdir -p /data/hadoop/journal

[root@hadoop01 install]# mkdir -p /data/hadoop/namenode

[root@hadoop01 install]# mkdir -p /data/hadoop/datanode

[root@hadoop01 install]# mkdir -p /data/hadoop/tmp

六、启动管理日志的JournalNode

[root@hadoop01 install]# hadoop-daemon.sh start journalnode

[root@hadoop02 ]# hadoop-daemon.sh start journalnode

[root@hadoop03 ]# hadoop-daemon.sh start journalnode

七、格式化Namenode

1、在hadoop01节点上格式化Namenode

[root@hadoop01 install]# hdfs namenode -format

输出结果，如下图所示：

2、格式化成功后，在hadoop01节点上启动Namenode

[root@hadoop01 install]# hadoop-daemon.sh start namenode

输出结果，如下图所示：

八、在hadoop02上同步hadoop01的元数据

1、格式化hadoop02的Namenode，并同步hadoop01主节点的元数据信息

[root@hadoop02 install]# hdfs namenode -bootStrapStandby

输出结果，如下图所示：

2、启动hadoop02的NameNode节点

[root@hadoop02 install]# hadoop-daemon.sh start namenode

输出结果，如下图所示：

此时，我们可以通过web页面的形式观察namenode节点的状态

通过登录hadoop01可以看到，hadoop01此时为standby状态

登录hadoop02后，发现此时也同样为standby状态

九、zkfc对接hdfs，实现主备抢占

1、格式化zkfc

[root@hadoop01 install]# hdfs zkfc -formatZK

输出结果，如下图所示：

2、在hadoop01上启动zkfc

[root@hadoop01 install]# hadoop-daemon.sh start zkfc

输出结果，如下图所示：

3、在hadoop02上启动zkfc

[root@hadoop02 install]# hadoop-daemon.sh start zkfc

输出结果，如下图所示：

当zkfc启动成功后，再次刷新hadoop的web界面，并观察Namenode节点的状态，hadoop01的状态由原来的standby变为Active，成为主节点。

而hadoop02的状态则维持不变。

十、启动DataNode

所有节点启动DataNode节点

[root@hadoop01 install]# hadoop-daemons.sh start datanode

输出结果，如下图所示：

刷新web页面，单击“datanodes”标签

慕慕酱^O^
关注
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Gongmoye的博客
04-08 1598
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
分布式文件系统HDFS的部署（学习笔记）
2301_76869904的博客
04-27 1638
admin@n1 ~]$ scp hadoop-3.3.1.tar.gz n2:/home/admin/ 私钥 private key。加密的密钥-->公钥 public key。上传文件jdk-8u261-linux-x64.rpm。加密的密钥和解密的密钥相同。加密的密钥和解密的密钥不同。
部署hdfs
yinji200805030334的博客
04-30 409
hadoop三大组件： 1、hdfs 2、mapreduce 3、yarn 我们要求：hdfs三个进程要以hadoop001启动 hadoop部署文件目录：/home/ali/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop 1、有些版本的是在conf目录中 2、在这个目录下有*.cmd文件，这些文件是windows部署文件，在linux的机器上可以删掉啦 主要文件： co...
深入解析Hadoop HDFS高可用性：原理、故障切换与元数据同步
最新发布
zuiyuelong的博客
07-17 1009
在分布式存储领域，Hadoop分布式文件系统(HDFS)作为Hadoop生态系统的核心存储组件，其高可用性(HA)设计一直是架构师们关注的焦点。传统HDFS架构中，NameNode作为单一主节点管理整个文件系统的元数据，这种设计虽然简单高效，却存在明显的单点故障风险——一旦NameNode宕机，整个集群将陷入瘫痪状态。
【HDFS集群的安装与部署】
m0_66006426的博客
03-29 1050
默认情况下，通过Namenodes定义的文件中重新读取数据节点的主机名 dfs.hosts ， dfs.hosts.exclude 中定义的主机 dfs.hosts 是属于集群的数据节点。总结：也就是说start-dfs.sh调用的是hadoop-daemon，而hadoop-daemon调用的是hadoop，hadoop调用的是一个个的java程序。目录（存放的是所有Hadoop下的架包以及对应的一些页的字节码）目录（存放的是一些hadoop的启动、命令脚本）目录（存放的是Hadoop的一些配置信息）
Hadoop大数据开发__HDFS分布式集群安装部署
玩火的稻草人的博客
06-22 402
1、下载解压Hadoop 2、修改HDFS配置文件 修改hadoop-env.sh 修改core-site.xml 修改hdfs-site.xml 修改slaves vi slaves 3、启动HDFS集群 4、验证HDFS集群是否成功 命令验证 如果上面没有异常，说明HDFS集群配置成功
HDFS部署
mfsh93的博客
09-05 814
1、下载安装包到software curl -O http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 2、解压到~/application tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/application 3、添加系统环境变量 sudo vim ~/.bash_...
hdfs开启高可用+hive报错
02-29
根据题目描述，当HDFS开启高可用模式后，Hive出现了以下错误： > **错误信息**：“Operation category READ is not supported in state standby” **问题分析**： - 在HDFS HA架构中，存在两个NameNode节点：...
Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用
ly660402的博客
03-30 1450
目录 一、Hadoop高可用 1、zoomkeeper集群部署 2、hdfs高可用 一、Hadoop高可用 在典型的 HA 集群中，通常有两台不同的机器充当 NN。在任何时间，只有一台机器处于 Active 状态；另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作； 而 Standby NN 主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢 复。 为了让 Standby NN ...
ha大数据技adoop HA高可用集群配置：HDFS与YARN的高可用部署及故障转移机制详解
07-01
使用场景及目标：①理解Hadoop HA的工作原理，掌握HDFS和YARN的高可用配置方法；②解决NameNode和ResourceManager的单点故障问题，确保集群的稳定性和可靠性；③熟悉Hadoop HA的自动故障转移机制，提升集群的容错...
HDFS HA和Federation安装部署方法
05-15
### HDFS 2.0 基本概念 Hadoop 2.0 是Hadoop生态系统的一个重要里程碑，相比Hadoop 1.0，它引入了两大核心改进：High ...通过以上步骤，可以有效地部署和管理HDFS HA和Federation，从而提高HDFS集群的可用性和扩展性。
HDFS高可用性部署指南：Zookeeper配置与管理技巧详解
[HDFS高可用性部署指南：Zookeeper配置与管理技巧详解](https://datascientest.com/wp-content/uploads/2023/03/image1-5.png) # 1. HDFS高可用性概述 在当今的大数据生态系统中，Hadoop分布式文件系统（HDFS）由于...
HDFS 高可用的环境搭建
m0_37658639的博客
05-16 3074
在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成搭建工作。
hdfs安装
weixin_53589204的博客
03-29 994
/查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。4. 追加公钥到~/.ssh/authorized_keys文件中。
1_HDFS理论及安装部署
dasheyi8825的博客
07-31 138
一、hadoop简介 1、hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要,HDFS来源于google的GFS,MapReduce来源于Google的MapReduce,HBase来源于Google的BigTable.hadoop后被引入Apache基金会. 2、hadoop两大核心设计是HDFS和MapReduce,HDFS是分布式存储系统,提供高可靠性、高扩展性、...
HDFS安装和部署
lzx1104的专栏
01-17 2105
1. Introduction and summary Hadoop 开源项目包含三部分Common, HDFS, MapReduce. The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. http://hadoop.ap
HDFS的安装和部署
weixin_33863087的博客
06-27 178
HDFS的安装和部署1.准备工作准备3台机器，设置好hosts一台作为Namenode，cc-staging-session2命名为master，两台作为dataNode，cc-staging-front命名为slave1, cc-staging-imcenter 命名为slave2#3台机器都创建hadoop用户useradd hadooppasswd hadoop# 安装...
HDFS集群环境部署
qq_44286009的博客
11-15 931
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考配置HDFS集群，我们主要涉及到如下文件的修改：workers： 配置从节点（DataNode）有哪些hadoop-env.sh： 配置Hadoop的相关环境变量core-site.xml： Hadoop核心配置文件hdfs-site.xml： HDFS核心配置文件。
HDFS高可用
m0_72324953的博客
01-09 690
HDF高可用，实际上主要是保证NameNode高可用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值