大数据笔记（三）：HDFS集群搭建-伪分布式模式

本章节围绕HDFS的实际应用展开，介绍了两个典型的企业级实战案例：基于HDFS的数据采集平台搭建与企业离线数仓的存储层设计，并详细解析了HDFS在部署与运行过程中常见的问题及其排查方法，帮助读者系统掌握HDFS在实际业务中的应用技巧与运维经验。

任务目的 了解 Hadoop 集群的组成和规划 重点掌握 HDFS 集群的相关配置 掌握格式化文件系统的命令 学会启动和关闭 HDFS 集群的两种方式 能够使用 jps 命令查看进程的启动情况 能够通过 UI 查看 HDFS 集群的运行状态 任务清单 任务1：Hadoop 集群简介 任务2：安装包准备 任务3：HDFS 集群主要配置文件讲解 任务4：配置 Hadoop 系统环境变量 任务5：HDFS 集群测试 任务步骤 任务1：集群简介 　　Hadoop 集..

在开始前，给出Hadoop的官方文档，一切搭建过程以文档为主： href="https://hadoop.apache.org/docs/r2.6.5/ 一、基础设施 基础设置这一步主要是设计到操作系统、环境、网络、必须的软件的前期准备，只有准备好了才可以着手搭建。 设置IP和主机名 关闭防火墙和selinux 设置host映射 时间同步 安装jdk 设置ssh免密钥 搭建上面提到的基础设置 设置IP及主机名 可以通过ifconfig查看当前主机的ip。 通过修改/etc/sysconfig/net

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。它解决了海量数据存储的问题。(1)NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。(2)DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。(3)Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。1.路径错误问题。

由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同，流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两套实现方法，或者通过一来实现其中每一种处理方案。Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执个独立的开源框架行模型（streaming execution model），能够支持。进入Flink配置目录：cd /usr/local/src/flink/conf/

可在一台节点上配置完成后克隆为三台节点。

一、操作系统环境配置1. 安装jdkrpm文件默认安装目录是 /usr 复制jdk路径配置环境变量配置环境变量的目录 环境配置代码 刷新配置信息 使用jps检测是否配置成功（使用之前一定要先执行. /etc/profile来刷新配置信息 ） 2. 免秘钥 执行完上面两条程序后： 检测密钥是否设置成功： 发现现在登录自己的已经不需要输入密码了，说明密钥设置成功。二、Hadoop部署1. 传入Hado...

在根目录，配置免密登录 1）输入 ssh-keygen -t rsa 注：（一路回车，不需要输密码） 2）输入ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名 1.上传文件 1）ftp上传 2）使用命令rz上传 ---需要下载yum(yum install lrzsz -y) ...

@TOC是 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；

关于环境变量 #拿不到环境变量 ssh [email protected] 'echo $bianliang' #先加载环境变量，再输出环境变量 ssh [email protected] 'source /etc/profile;echo $bianliang' 关于克隆虚拟机 #需要为每台机器重新生成不同的machine-id: rm /etc/machine-id /var/lib/dbus/machine-id dbus-uuidgen --ensure systemd-mac

1.在上一篇单机模式的基础上配置xml 修改core-site.xml， vi etc/hadoop/core-site.xml             fs.defaultFS         hdfs://localhost:9000     修改hdfs-site.xml， vi etc/hadoop/hdfs-site.xml