
Hadoop
金鳞踏雨
断剑重铸之日,就是归来之时。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop 中的Hadoop fsck
我们知道fsck是用来检测hdfs上文件、block信息的,但是fsck输出的结果我们是否能看明白呢? 参数解释: status:代表这次hdfs上block检测的结果 Total size: 代表/目录下文件总大小 Total dirs:代表检测的目录下总共有多少个目录 Total files:代表检测的目录下总共有多少文件 Total symlinks:代表检测的目录下有多少个符号连接 Total blocks(validated):代表检测的目录下有多少个block块是有效的 Min转载 2020-09-17 20:39:35 · 1221 阅读 · 0 评论 -
Hadoop的MapReduce的WordCount实验——Java代码
WordCountMapper.java package MapReduce; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoo.原创 2020-05-17 02:48:15 · 541 阅读 · 0 评论 -
Hadoop中使用jps,Datanode没有启动
一般情况下,出现这一种情况(Namenode启动,但是Datanode没有启动) 出现该问题的原因: 在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。 解决方法(1) 作为初学者,使用hadoop主要是为了熟悉...原创 2020-04-24 01:59:12 · 507 阅读 · 0 评论