小蚯蚓的博客

1.问题描述： 配置好，yarn的日志聚合功能。运行yarn的wordcount任务，发生错误。一直卡在INFO mapreduce.Job，无法运行。 2.现象 [hadoop@hadoop hadoop-2.6.0-cdh5.15.0]yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.ja...

一、实现功能 1、从hbase里读数据 将hbase里的数据作为map的输入 2、将数据写入hbase 将hbase作为reduce的输出 3、从hbase里读数据，再写入hbase 数据迁移，比如有张表：tb01有20列数据，将其中的10列数据读出来，写入另一张表tb02 二、集成步骤 1.hadoop的添加缺少hbase相关jar包 （1）方法一：可以在hadoop的运行环境...

一、实现功能 1.importtsv将tsv导入hbase 2.importtsv将csv导入hbase 3.importtsv通过completebulkload导入hfile的文件数据 二、实例准备 1.需求 stu_info有20列数据，将info下name这列数据读出来，然后写入另一张表tb02。 2.hbase新建两张表 create 'stu_info','info'...

一、日志服务： 1、历史服务器作用： 查看已经运行完成的应用记录。需要指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机。historyserver是一个轻量级的服务，可以部署在任意一台节点上。必须开启日志服务才可以看聚合（保存）下来的日志。 2、配置（在mapred-site.xml中）： 注意：这里的端口号不能随便修改 <pr...

一、JDK安装和配置 1、先卸载原先系统的java 2、先修改权限 chown -R hadoop01:hadoop01 /opt/ 3、解压JDK到指定的目录下，目录任意，建议不要装在某个用户主目录下 tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ 4、添加环境变量 （1）修改vi /etc/profile文件，配置...

一、目的 对于用户访问日志，使用MapReduce进行编程分析，获得每个城市的访问量。 二、实现环境 1.CDH 5.7.0 2.CentOS 7.4 3.集群外部Hadoop开发环境部署 参考博客：https://blog.csdn.net/u010886217/article/details/89278390 三、实现代码 1.研究日志格式 2.MapReduce实现统计...

一、关键概念 1.Client客户端 作用：提交mapreduce任务的电脑。 2.Resource manager 作用：用于管理整个集群资源调度分配，包含Applications manager和Resource Scheduler。 （1）Applications manager：管理每个提交任务，创建每个任务的Application master。 （2）Resource Sc...