hadoop（高可用）在linux部署以及集群笔记

最新推荐文章于 2024-04-18 03:20:18 发布
原创 最新推荐文章于 2024-04-18 03:20:18 发布 · 634 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #hadoop #ssh

本文详细介绍如何在三节点集群中搭建Hadoop高可用环境，包括网络配置、SSH免密码登录配置、Zookeeper安装配置、Hadoop核心配置文件调整及各组件启动流程。通过具体步骤与参数设置，确保集群稳定高效运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、配置登录，网络相关

VM虚拟机，克隆后修改ip 

cd /etc/sysconfig/network-scripts

vim ifcfg-ens33

*  大家自己看看自己的vm的编辑->虚拟网络编辑器->观察 NAT模式的地址 
	vi /etc/sysconfig/network-scripts/ifcfg-eth0
		DEVICE=eth0
		#HWADDR=00:0C:29:42:15:C2
		TYPE=Ethernet
		ONBOOT=yes
		NM_CONTROLLED=yes
		BOOTPROTO=static
		IPADDR=192.168.100.3
		NETMASK=255.255.255.0
		GATEWAY=192.168.100.2
		DNS1=223.5.5.5
		DNS2=114.114.114.114

重启

关闭防火墙

yum install iptables-services

查看防护墙状态
service iptables status
关闭
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭开机启动
chkconfig iptables off

1.设置主机名

设置主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01

2.配置主机名以及解析

vi /etc/hosts


192.168.100.5 node1
192.168.100.6 node2
192.168.100.7 node3

3.关闭 selinux（安全相关与防火墙类似）

vi /etc/selinux/config

SELINUX=disabled

4.时间同步（时间差距大无法备份）

yum install ntp  -y
vi /etc/ntp.conf
server ntp1.aliyun.com
service ntpd start
chkconfig ntpd on

2.配置服务器间ssh免密码登录

高可用模式下，hadoop的故障切换需要通过ssh登录到其他机器，进行主备切换

//生成密钥对
ssh-keygen -t rsa
//连续三次回车，本地生成公钥和私钥，默认存储在~/.ssh目录下


//用ssh-copy-id拷贝公钥到远程机器--注意这里每个电脑全部执行，需要自己登陆自己的
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.5
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.6
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.7


//测试
ssh -p 22 root@192.168.100.5
ssh -p 22 root@192.168.100.6
ssh -p 22 root@192.168.100.7

二、Zookeeper安装

    1. 解压

tar -zxvf zookeeper-3.5.8.tar.gz -C /usr/local/HPEU/

    2.配置

cd /usr/local/HPEU/apache-zookeeper-3.5.8/conf

//这里面只有zoo_sample.cfg文件，需要将这个文件更名为zoo.cfg,并修改其中的一些配置
cp zoo_sample.cfg zoo.cfg


dataDir=/usr/local/HPEU/apache-zookeeper-3.5.8/zookeeper
dataLogDir=/usr/local/HPEU/apache-zookeeper-3.5.8/zookeeper/logs
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

     3.环境变量

vim /etc/profile
//加入这两个
export ZOOKEEPER_HOME=/usr/local/HPEU/apache-zookeeper-3.5.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

     4.创建myid

vim /usr/local/HPEU/apache-zookeeper-3.5.8/zookeeper

vim myid
1
值与server对应的一值
比如node01就写1

server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

    5.复制到其他2个节点

scp -r /usr/local/HPEU root@node02:/usr/local/HPEU
scp -r /usr/local/HPEU root@node03:/usr/local/HPEU

   6. 启动

zkServer.sh start


查看节点状态
zkServer.sh status

发现
[root@node02 HPEU]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/HPEU/apache-zookeeper-3.5.8/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader


[root@node01 conf]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/HPEU/apache-zookeeper-3.5.8/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower


[root@node03 local]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/HPEU/apache-zookeeper-3.5.8/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

则成功

三、Hadoop部署相关配置

cd /myfiles/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml


<configuration>
	<!--指定hdfs连接地址，集群模式（高可用）-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://cluster</value>
	</property>
	<!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录 -->
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/myfiles/hadoop/data</value>
    </property>
	<!-- 指定ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
	<property>
  		<name>ha.zookeeper.quorum</name>
  		<value>node01:2181,node02:2181,node03:2181</value>
	</property>
</configuration>

/myfiles/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml


<configuration>
	<!--指定HDFS副本的数量,不能超过机器节点数-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!-- 为namenode集群定义一个services name -->
	<property>
 		<name>dfs.nameservices</name>
  		<value>cluster</value>
	</property>
	<!-- nameservice 包含哪些namenode，为各个namenode起名 -->
	<property>
  		<name>dfs.ha.namenodes.cluster</name>
  		<value>nn01,nn02</value>
	</property>
 	<!-- 名为nn01的namenode的rpc地址和端口号，rpc用来和datanode通讯 -->
	<property>
  		<name>dfs.namenode.rpc-address.cluster.nn01</name>
  		<value>node01:8020</value>
	</property>
 	<!--名为nn01的namenode的http地址和端口号，用来和web客户端通讯 -->
	<property>
  		<name>dfs.namenode.http-address.cluster.nn01</name>
  		<value>node01:9870</value>
	</property>
 	<!-- 名为nn02的namenode的rpc地址和端口号，rpc用来和datanode通讯 -->
	<property>
  		<name>dfs.namenode.rpc-address.cluster.nn02</name>
  		<value>node02:8020</value>
	</property>
 	<!--名为nn02的namenode的http地址和端口号，用来和web客户端通讯 -->
	<property>
  		<name>dfs.namenode.http-address.cluster.nn02</name>
  		<value>node02:9870</value>
	</property>
  	<!-- namenode间用于共享编辑日志的journal节点列表 -->
	<property>
  		<name>dfs.namenode.shared.edits.dir</name>
  		<value>qjournal://node01:8485;node02:8485;node03:8485/cluster</value>
	</property>
    <!-- journalnode 上用于存放edits日志的目录 -->
	<property>
  		<name>dfs.journalnode.edits.dir</name>
  		<value>/myfiles/hadoop/journaldata</value>
	</property>
  	<!-- 指定该集群出现故障时，是否自动切换到另一台namenode -->
	<property>
  		<name>dfs.ha.automatic-failover.enabled</name>
  		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
    		<name>dfs.client.failover.proxy.provider.cluster</name>
 		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
  	<!-- 一旦需要NameNode切换，使用ssh方式进行操作 -->
	<property>
  		<name>dfs.ha.fencing.methods</name>
  		<value>sshfence(root:22)</value>
	</property>
  	<!-- 如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置 -->
	<property>
  		<name>dfs.ha.fencing.ssh.private-key-files</name>
  		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- connect-timeout超时时间 -->
	<property>
    		<name>dfs.ha.fencing.ssh.connect-timeout</name>
    		<value>30000</value>
	</property>
	<property>
   		<name>dfs.name.dir</name>
   		<value>/myfiles/hadoop/tmp/dfs/name</value>
   	</property>
   	<property>
   		<name>dfs.data.dir</name>
   		<value>/myfiles/hadoop/tmp/dfs/data</value>
   	</property>
</configuration>
/myfiles/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml
<configuration>
	<!-- 启用Resource Manager HA高可用性 -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 指定resourcemanager的名字 -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
	<!-- 使用了2个resourcemanager,分别指定Resourcemanager的地址 -->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- 指定rm1的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>node01</value>
	</property>
	<!-- 指定rm2的地址  -->
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>node02</value>
	</property>
	<!-- 指定zookeeper集群机器 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>node01:2181,node02:2181,node03:2181</value>
	</property>
	<!-- NodeManager上运行的附属服务，默认是mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
/myfiles/hadoop/hadoop-3.2.1/etc/hadoop/mapred-site.xml

//复制
cp mapred-site.xml.template mapred-site.xml

<configuration>
	<!-- 采用yarn作为mapreduce的资源调度框架 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

修改workers ，hadoop3.0之后就是workers 之前都是slaves

这里设置的是dataNode，后续dataNode就是node02与node03

node02
node03

修改hadoop-env.sh

vim  /myfiles/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/myfiles/java/jdk1.8.0_191

# 指定hadoop相关的pid存放位置
export HADOOP_PID_DIR=/myfiles/hadoop/pids

修改mapred-env.sh、yarn-env.sh文件


export JAVA_HOME=/myfiles/java/jdk1.8.0_191

修改/hadoop/sbin路径下start-dfs.sh，stop-dfs.sh

在文件顶部增加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

start-yarn.sh，stop-yarn.sh顶部也需添加以下

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

复制到其他2个节点

scp -r /myfiles/hadoop/ root@node02:/myfiles/hadoop/
scp -r /myfiles/hadoop/ root@node03:/myfiles/hadoop/

二、启动hadoop

启动首先需要格式化

（1）启动journalnode，三台机器都要这一步操作（仅第一次启动hadoop时，需要这一步操作，之后不再需要手动启动journalnode）

hdfs --daemon start journalnode

netstat -tunlp
查看端口8485，是否真的启动成功

(2) 在node01上执行格式化操作，格式化namenode

在node01执行
hdfs namenode -format

//注意：该步骤需要在能够访问外网的前提下执行，否则会报错
.QuorumJournalManager: Waited 21004 ms (timeout=60000 ms) for a response for format. No responses 

 IPC Server handler 1 on 8485 caught an exception
java.nio.channels.ClosedChannelException

出现如下图，则成功

目前我们准备node01与node02作为nameNode
node02与node03作为dataNode


node01先启动  hadoop-daemon.sh start namenode

node02执行hdfs namenode -bootstrapStandby

node02执行hdfs namenode -bootstrapStandby

在这里插入图片描述

 (3) 格式化zookeeper节点：node01，node02，node03都执行。hdfs zkfc -formatZK 。

如果是集群一般执行一台即可。如果node03报错，也无妨，只需要看 服务启动的是否足够即可，

如图：

  

 (4) 启动HDFS集群 start-dfs.sh

验证

分别访问两个namenode的web页面，可以查看到一个为active一个为standby

查看datanode信息，共两个节点，正确。

 三台机器分别执行jps命令，查看进程是否与规划的一致

访问：

192.168.100.5:9870

关机后 重启

zkServer.sh start

start-all.sh

Apache Hadoop--集群部署
weixin_46027122的博客
06-17 1171
Doug Cutting 看到他儿子在牙牙学语时，抱着黄色小象，亲昵的叫hadoop，他灵光一闪，就把这技术命名为 Hadoop，而且还用了黄色小象作为标示 Logo。官网文档：https://hadoop.apache.org/docs/r3.3.0/知识点11：Apache Hadoop–集群部署–namenode format操作。知识点05：Apache Hadoop–集群部署–Hadoop安装部署模式。知识点10：Apache Hadoop–集群部署–scp同步、环境变量配置。
【亲测】Hadoop 高可用集群搭建 与 开发环境部署
最新发布
2401_84097427的博客
04-20 1100
核心竞争力，怎么才能提高呢？成年人想要改变生活，逆转状态？那就开始学习吧~万事开头难，但是程序员这一条路坚持几年后发展空间还是非常大的，一切重在坚持。为了帮助大家更好更高效的准备面试，特别整理了《前端工程师面试手册》电子稿文件。
Linux下搭建高可用Hadoop集群详解
m0_46657040的博客
08-24 484
下载hadoop的Linux安装包
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 6252
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
namenode异常退出分析及解决办法
09-04 1万+
-----journalnode异常日志 2017-09-04 02:39:21,667 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /data/hadoop/journalnode/nn/XXXXXXX/current/edits_inprogress_0000000
记录一次HDFS JN迁移异常处理
qq_32068809的博客
06-25 1540
集群环境为CDH6.3.2，现需要将hdfs三个jn中的其中一个迁移到其他节点，当正在CDH管理端操作jn迁移时，误删了目标jn节点上迁移任务刚自动创建的jn数据目录，之后产生了一系列问题，先看下误删jn数据目录后的jn报错日志： 2021-06-19 11:43:09,759 INFO org.apache.hadoop.hdfs.qjournal.server.JournalNode: STARTUP_MSG: /*******************************************
一次Hadoop脑裂的修复(Cloudera hadoop split-brain repair)
lbyyy的专栏
02-16 4558
一次Hadoop脑裂的修复(Cloudera hadoop split-brain repair) from：  http://www.linuxboy.net/?p=854 突然发现hadoop集群的second namenode日志显示IPC错： 2014-09-18 12:47:05,379 INFO org.apache.hadoop.ipc.Server
Hadoop单机与集群部署笔记.docx
09-19
### Hadoop单机与集群部署知识点 #### 一、Hadoop单机系统版本安装配置 ...以上步骤详细介绍了Hadoop单机与集群部署的具体流程，包括单机安装配置、集群部署所需的各种准备以及具体配置方法，为读者提供了全面的指导。
在Centos7上配置Hadoop集群
weixin_45654405的博客
02-22 2194
硬件 创建虚拟机 自定义 先不要安装操作系统,后面再装 选择对应系统,以及硬件配置 虚拟机存放位置 磁盘存放位置 总核心数不要超过电脑的配置(2核n线程 硬盘50G) 软件 打开虚拟化 关闭hyper-V delete进入bios (SVM选项) 配置操作系统(centos) 在官网下载一个镜像 在设备的CD/DVD插入系统 GNOME桌面 或者 最小安装 分配磁盘 /boot 启动 1g 文件系统 ext4 /swap 共享内存 4g / 根目录 剩下的内容 KDUMP 系统崩溃备份一部分数据 网络和主机
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）
2401_84407902的博客
04-18 741
jps是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。我们使用一下我们发现每个节点上都出先了JPS进程和QuorumPeerMain。JPS是这条命令本身拉起的进程，QuorumPeerMain则是zookeeper拉起的，那么QuorumPeerMain是什么呢？根据官方文档来看，是个入口类。用来加载myid二、Hadoop三节点搭建2.1 环境准备还是需要JDK，这个在1.2.6中已经完成。
Hadoop Router上线过程 Cannot get available namenode 问题分析
zhangxiping
04-12 1101
在说明这个问题之前，梳理一下router内部的工作流程。 router 内部请求转发流程 上图说明如下： 第1步：通过访问的路径找到挂载点对应的NameSpace（NS） 第2步：通过NS，找到对应的NN 第3步：NN的信息存储在缓存中StateStore 第4步：StateStore启动时，会先加载ZK里面的数据，并且开启一个线程，每隔1分钟去ZK获取最新的记录 第5步：在StateStore启动之后，后启动NamenodeHeartbeatService服务，这个服务每个NN 对应一个线程，线程每隔5
常见HDFS服务级异常及处理方法
jiweiqiao的博客
03-17 1896
集群节点断电后恢复或者磁盘满扩容后，NameNode启动失败。
HDFS 删除大量文件后不可访问问题处理
wjy1208的专栏
04-12 897
一、问题现象 由于前一段时间ORC delta文件合并失败，HDFS中存在了大量delta文件，最终导致访问该数据表失败。通过想办法把数据搬移到新表后，我们drop掉了这个旧表。没想到一会儿使用人员报告整个HDFS不可访问。 简单重启HDFS后，系统恢复正常了。但一个小时后，整个HDFS又不正常了。 二、问题查找 检查namenode日志发现以下异常： 1. 大量数据块不属于任何文件 ...... 2018-04-...
记一次HDFS死锁问题的排查
热门推荐
王小禾
10-26 2万+
背景 离线HDFS集群在执行hdfs dfsadmin -refreshNamenodes hostname:50020向新的NameSpace注册的过程中，出现>10个DataNode节点发生死锁的情况，发生概率约1‰。本文用于记录该问题的排除过程及解决办法。 基础回顾 java中，无论是使用synchronized关键字隐式地获取锁再释放锁，还是使用Lock接口（以及相关实现类）显示地调用lock()/unlock()方法，都能达到锁功能的目的。而死锁是两个甚至多个线程被永久阻塞时的一种运行局面，
Hadoop常见错误及解决办法汇总
大讲台内测员的博客
08-31 1868
Hadoop常见错误及解决办法汇总   1，错误一：java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后9 `7 k# I: L2 |9 U* @6 d 2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode:
关于hadoop的java.nio.channels.ClosedByInterruptException
分布式应用与服务器架构专栏
06-28 1万+
关于java.io.IOException: Call to master/10.200.187.77:8020 failed on local exception: java.nio.channels.ClosedByInterruptException异常问题， 最近将hadoop的日志改成DEBUG模式，进行仔细分析，以下日志报错信息截取部分： 注意红色字体部分：就是这个信息关闭了77:
启动hadoop报No Route to Host from lida1/10.30.12.87 to lida3:8485 failed on socket timeout exception:
达达2敖雷的专栏
05-04 3767
问题： 启动hadoop启动时有个NN始终起不来。查看日志，发现报错如下： 2016-05-04 15:12:27,837 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Get corrupt file blocks returned error: Operation category READ is not support
Hadoop3.3.0集群安装
学无止境，永不停歇
08-04 7541
Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.设置静态IP，修改主机名，以及创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Java和Hadoop8.安装hadoop集群9.通过网页访问hdfs集群的状态10.通过网页访问YARN集群的状态寄语 环境：JDK1.8 Centos 7.8 Hadoop 3.3.0 1.集群规划 在VMWare中构建3台运行Centos的机器作为服务器，一共3个node，一个node为namenode（master主机） ，另外两个no
hadoop3.x单机版安装
06-07 1055
需要软件 centos7（其他的也可以） jdk1.8 安装 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 配置ip映射 vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain loc
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值