Hadoop NN和JN VERSION版本不一致

最新推荐文章于 2025-08-05 22:48:15 发布
最新推荐文章于 2025-08-05 22:48:15 发布
阅读量240 收藏 2
点赞数 7
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shyllin/article/details/146342400

文章目录

Hadoop NN和JN VERSION版本不一致问题处理

现象

在这里插入图片描述

处理过程

清空JN目录

备份后删除目录

初始化JN

找1台包含最新fsimage+edit log的Namenode NN1

执行命令初始化JN

hdfs namenode -initializeSharedEdits
启动ANN

在NN1上启动Namenode

hdfs --daemon start namenode
# hdfs dfsadmin -fs hdfs://10.82.192.4:8020 -safemode leave force
# hdfs dfsadmin -fs hdfs://10.82.192.4:8020 -safemode  forceExit
启动SNN

NN1启动成功，块上报完成，离开安全模式，active后执行

hdfs namenode -bootstrapStandby

NN2启动成为SNN

hdfs --daemon start namenode

SNN块上报

# 手动触发块上报
hdfs dfsadmin -triggerBlockReport xxx:ipc_port  
#端口默认为9867  

# 强制触发块上报
hdfs dfsadmin -refreshNamenodes datanodehost:port
hadoop 3.0 HA安装(一站式操作)
JustinMars的博客
11-01 629
Hadoop 3.1.4 高可用安装，快速部署，详细操作 有利于初学者快速上手
Hadoop HA部署过程中出现主备namenode或datanode挂掉的问题
Ryan_202297的博客
01-03 2093
在部署Hadoop HA的过程时，当进行到hdfs namenode -format格式化这一步骤时显示查阅多篇文章分析可知其原因是节点之间无法通信，所以无法建立连接。
NN、DN、2NN、JN
weixin_44976835的博客
06-16 1698
NN–NameNode NN负责对HDFS上的元数据进行整理 在NN上存放了两份重要信息：1.文件由哪些块组成、2.每个块存在哪个位置 除此之外还有一些非关键信息：文件名、上传者、上传时间 元数据在磁盘中存储在fsimage中 NN的持久化 NN负责整个HDFS的负载，当客户端对数据进行写操作时候会产生元数据，导致元数据不断增加，存在丢失风险，所以需要对NN中的元数据进行持久化 存在着两种持久化的方法： 将所有的写操作记录下来，形成日志文件 将当前内存内存的数据形成一个快照 日志文件持久化方法存
Hadoop高可用中NN连接不上JN的问题
LastYHM的博客
09-23 948
自动故障转移配置好以后，然后使用start-dfs.sh群起脚本启动hdfs集群，有可能会遇到NameNode起来一会后，进程自动关闭的问题。查看NameNode日志，报错信息如下： 2020-08-17 10:11:40,658 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop104/192.168.6.104:8485. Already tried 0 time(s); retry policy is RetryU
Hadoop学习一 HDFS三兄弟（NN,DN,2NN）
wang_1997_xu的博客
12-03 676
1、NN负责部分 NN负责对HDFS上的元数据进行管理，在NN中保存有最重要的三部分信息： 1、文件由哪些块组成（filename->blocksequence (namespace))。 2、每个块存在哪个位置)（block>machinelist(“nodes”))。 3、除次之外还有文件名，上传者，上传时间等非关键信息。元数据在磁盘中存储在fsimage之中。 2、2NN负责部分 2NN负责将NN在运行期间产生的edits文件和fsimage文件合并，合并之后产生新的fsi.
MapReduce、hive、hadoop的一些笔记
embelfe_segge的博客
08-20 814
15.在没有格式化的nn上执行，拷贝已经启动的nn上的fsimg：./bin/hdfs namenode -bootstrapStandby,cd /opt/hadoop2下看是否有fsimg生成。13.在任意一台nn上执行：./bin/hdfs namenode -format，在hadoop工作目录(/opt/hadoop2)查看下fsimg是否生成了。#虽然没有再hive中配置任何hadoop的东西，但是在hadoop会自动在hdfs创建/usr/hive/warehouse/t_emp/目录，
Hadoop终于发布了新版本！
数据一哥，公众号：数据社
03-08 4795
近期看到Hadoop新版本（3.3.2）发布的消息，可以看到距离上次版本发布已近9个月了！这是Apache Hadoop 3.3系列的第二个稳定版本，对比3.3.1，一共修复了的284个b...
Hadoop NameNode启动源码解析/nn介绍
enviable的博客
05-17 611
Namenode介绍 Namenode如同一个管理者的角色 ● 它负责维护整个hdfs文件系统的目录树结构以及文件所对应的block块信息（保存在磁盘上，因为文件与block块之间的关系不会发生变化）； ● 它管理block块与datanode的映射关系（Namenode启动时候块上报，保存在内存中）； ● 它能接收cilent的请求，接收datanode的块报告和心跳； Namenode服务主要靠3个重要类实现 ● Namenode类：启动类，管理配置等 ● Namenode server：NameNod
9、hadoop高可用HA集群部署及三种方式验证
热门推荐
alanchanchn的专栏
04-24 7万+
本文介绍hadoop HA环境部署。本文分为三部分，即HA集群规划、HA集群部署和HA集群验证前提依赖：1、前提是zookeeper已经部署好，其服务器部署在server1、server2、server3上，且能正常运行2、ssh免登录已完成配置，且完成NameNode和NameNode的相互免密，比如server1和server2是两个NameNode，其相互已经免密。
大数据平台配置目录分离与Hadoop升级3.3.1版本
Shion's bla bla blog
12-17 2400
软件/配置/数据目录分离后，升级才方便……
Hadoop 2.6.0升级至Hadoop 3.2.1及回滚
Deegue
07-20 3121
1、背景 计划升级Hadoop版本从2.6.0-cdh5.16.1升级至开源3.2.1。 Hive版本为2.3.6，与Hadoop3.2.1不兼容，于是测试Hive3.1.3。 2、问题 ① 启动报错 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.
搭建Hadoop HA 高可用bin/hdfs namenode -bootstrapStandby同步nn1 节点报错build = Unknown -r Unknown； compiled by
yidianyidei的博客
08-19 1779
文章目录nn1 节点格式化后 执行nn2 数据节点同步找关键报错配置文件core.site.xmlhdfs-site.xml背景再次同步nn1 节点 nn1 节点格式化后 执行nn2 数据节点同步 [root@hadoop103 hadoop-2.7.2]# bin/hdfs namenode -bootstrapStandby 20/08/13 23:37:08 INFO namenode.NameNode: STARTUP_MSG: /*********************************
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文) 附安装包网盘下载
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Hadoop集群高可用配置
weixin_41765352的博客
11-29 1668
最近在学习hadoop大数据技术，自己动手搭建了HA集群，为记录学习过程，特将搭建过程记录在博客。文中的各配置文件均来源于我的自己的配置，只需修改为自己的主机名和路径就可以使用，给和我一样初涉大数据的小白们提供个参考。
C#实现左侧折叠导航菜单
2510_91653061的博客
08-01 816
参考代码 C#左侧折叠导航菜单 youwenfan.com/contentcsb/111938.html。
基于Hadoop的成都市二手房数据分析与房价预测系统的设计与实现
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-05 670
本项目基于Hadoop平台构建了一套成都市二手房大数据分析与智能预测系统。通过Python爬虫采集链家网3万余条房源数据，采用Hadoop生态系统进行数据存储与处理，并利用CatBoost回归模型实现房价预测（R²达0.89）。系统采用B/S架构，整合数据采集、清洗、分析、预测和可视化功能，提供多维房价分析、智能估价、数据管理等服务。项目实现了从数据获取到应用落地的完整闭环，为购房决策、房产定价和政府调控提供数据支持，具有较高的实用价值和推广潜力。
WPF 与 Winform ：Windows 桌面开发该用谁？
qq_34552942的博客
08-05 473
WPF与WinForms是Windows桌面开发的两种主流框架，各有特点。WPF采用XAML实现UI与逻辑分离，支持矢量图形、动画和复杂数据绑定，适合开发高颜值、数据密集型应用及长期维护的大项目。WinForms则简单易上手，兼容性好，适合快速开发小型工具或需要兼容旧系统的场景。核心差异体现在设计理念（分离vs耦合）、布局系统（灵活适配vs固定坐标）、数据绑定（自动同步vs手动赋值）等方面。开发者可根据项目需求选择：追求美观与可维护性选WPF，注重开发效率或兼容性选WinForms。迁移时建议从布局方式、事
实战项目3-工控软件-2.0- 自定义控件HMILabel的创建
最新发布
qq_34047402的博客
08-05 27
本文介绍了一种在WPF界面显示PLC变量值的实现方法。通过创建继承自TextBlock的自定义控件HMILabel，主要实现以下功能：1)定义PlcTagName依赖属性用于绑定PLC变量；2)在PLC组中查找对应ITag并注册ValueChanged事件；3)当数值变化时更新显示内容；4)处理PLC断开连接时显示"####"。该控件通过数据绑定将PLC变量值实时显示在界面上，并具备连接状态监控功能。实现代码展示了依赖属性定义、事件处理和数据绑定等关键技术点，为工业HMI界面开发提供了可
Kafka 是什么？
专注于技术分享
08-03 470
Kafka 是一个开源的分布式事件流处理平台。Kafka 的设计目标是为处理实时数据流提供一个统一的、高吞吐量、低延迟的平台。从本质上讲，可以将 Kafka 理解为一个高度可靠且可扩展的“日志”或“记录簿”，用于记录在不同系统和应用程序之间发生的“事件”。凭借其高性能和可扩展性，Kafka 被广泛应用于各种场景，超过 80% 的财富 500 强公司都在使用它。总而言之，Kafka 不仅仅是一个消息队列，它更是一个功能强大的分布式事件流平台，为构建数据驱动的实时应用程序提供了坚实的基础。
hadoop version版本
05-26
Hadoop是一个开源的分布式计算框架，目前最新的版本是Hadoop 3.x系列。具体来说，目前较为常用的Hadoop版本有以下几个： 1. Hadoop 1.x系列：该系列是最早的Hadoop版本，包含了HDFS分布式文件系统、MapReduce计算框架等核心组件。但是，该系列的MapReduce计算框架存在性能瓶颈，不适用于一些大规模数据处理场景。 2. Hadoop 2.x系列：该系列对Hadoop 1.x版本进行了升级，引入了YARN资源管理器，使得Hadoop可以支持多种计算框架，如Spark、Flink等。同时，该系列还提供了HDFS高可用、快照等新特性。 3. Hadoop 3.x系列：该系列对Hadoop 2.x版本进行了进一步升级，引入了Erasure Coding等新特性，提供了更高的数据安全性和存储效率。同时，该系列还改进了YARN资源管理器，提供了更好的容器资源隔离和管理方式，支持更多的应用场景。 综上所述，Hadoop 3.x系列是目前较为先进和常用的版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值