x.1000001000的博客

系列文章目录 Flume+HBase+Kafka集成数据采集/存储/分发完整流程测试 文章目录系列文章目录一、说明二、应用服务模拟器程序开发 一、说明 两个flume节点采集slave1，slave2应用服务器，汇总在master上的flume，然后master上flume分为两端传递数据，一端是传递给Kafka，一端是传递给HBase，之前各个组件的配置我都已经总结好，详细请看上面的几篇文章，这一篇文章主要是对整个数据采集存储、分发做一个详细的测试。 二、应用服务模拟器程序开发 新建一个普通项目编写代

软件安装与大数据应用 文章目录软件安装与大数据应用一、kafka安装二、修改配置 一、kafka安装 创建目录 cd ~ cd /usr mkdir -p kafka 给kafka赋权 chmod u+x kafka_2.11-2.1.1.tar.gz 解压kafka安装包到kafka目录 tar -zxvf kafka_2.11-2.1.1.tar.gz /usr/kafka 修改环境变量： vim /etc/profile 参数 #set kafka export KAFKA_HOME=

应用软件安装 文章目录应用软件安装一、Flume的安装.二、修改配置三、对sinkHBase程序做二次开发. 一、Flume的安装. 现有三台服务器，分别为master，slave1，slave2 将apache-flume-1.8.0-bin.tar.gz解压包上传到master根目录 再次创建文件夹： mkdir /usr/flume 给文件赋权： cd ~ chmod u+x apache-flume-1.8.0-bin.tar.gz 将apache-flume-1.8.0-bin.tar.

Hive的安装 将hive分发到slave01 scp apache-hive-2.1.1-bin.tar.gz root@slave01:/root/ 创建文件夹 mkdir hive 解压 tar -zxvf ~/apache-hive-2.1.1-bin.tar.gz -C /usr/hive 编辑环境变量： vim /etc/profile 参数： #set hive export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin export PAT

构建数据仓库 maser作为client客户端 slave01作为hive server服务器端 slave02作为mysql server 创建快照防止损毁 利用scp将mysql传到slave02的root目录下 scp mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar root@slave02:/root/ 创建目录： mkdir mysql 将mysql安装包移动到mysql目录下面 mv mysql-5.7.29-1.el7.x86_64.rpm-bun

HBase集群 Hbase安装 usr目录下创建文件夹： mkdir hbase 解压该文件到此目录： tar -zxvf hbase-1.2.4-bin.tar.gz -C /usr/hbase/ Hbase配置 cd /usr/hbase/hbase-1.2.4/conf 编辑： vim hbase-env.sh 参数： export HBASE_MANAGES_ZK=false export JAVA_HOME=/usr/java/jdk1.8.0_171 export HBASE_CL

创建目录并且解压Hadoop 在usr目录下新建文件夹 mkdir hadoop 拷贝文件到该目录下 cp hadoop-2.7.3.tar.gz /usr/hadoop/ 解压该文件 tar -zxvf hadoop-2.7.3.tar.gz 配置环境变量 pwd找到该目录 /usr/hadoop/hadoop-2.7.3 编辑环境变量 vim /etc/profile 参数： export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export CLASSPAT

修改主机名到IP地址映射： 命令： vim /etc/hosts 参数： 192.168.91.129 master master.root 192.168.91.130 slave01 slave01.root 192.168.91.131 slave02 slave02.root 再次利用scp命令将host文件映射到其他两个主机： scp -r /etc/hosts slave01:/etc/hosts scp -r /etc/hosts slave02:/etc/hosts 安

使用winscp上传文件： 创建工作路径： kdir -p /usr/java 解压jdk tar -zxvf ~/jdk-8u171-linux-x64.tar.gz -C /usr/java/ 进入目录修改 cd /usr/java/ cd jdk1.8.0_171 pwd 配置环境变量

1.设置IP地址 2.创建用户 adduser kfk passwd kfk Exit 3.文件中设置主机名 vi/etc/sysconfig/network 4.主机名映射 vi/etc/sysconfig/selinux 重启 5.关闭防火墙 vi/etc/sysconfig/selinux selinux=disabled 6.卸载本身自带的jdk rpm -qa|grep Java rpm -e–nodeps 【jdk进程名称1，jdk进程名称2】 7.root用户下设置无密码用户切换 ls -l/