hadoop 报错org.apache.hadoop.mapred.ReduceTask: java.net.ConnectException: Connection refused

最新推荐文章于 2022-08-16 16:45:25 发布

原创最新推荐文章于 2022-08-16 16:45:25 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #任务 #服务器 #ubuntu

2012-02-03 10:41:19,780 WARN org.apache.hadoop.mapred.ReduceTask: attempt_201201271626_5282_r_000000_0 copy failed: attempt_201201271626_5282_m_000007_2 from ubuntu11

2012-02-03 10:41:19,954 WARN org.apache.hadoop.mapred.ReduceTask: java.net.ConnectException: Connection refused

主要就是  /etc/hosts 中配置的IP 别名和hostname 不一致造成的网上有人分析了
经过对job history进行分析,并跟踪到task失败的任务的节点,查看syslog,发现原因如下:
1.对于运行在A节点上的map任务,运行完毕后,将运行结果提交给jobtracker,并将运行结果保存在节点A上.
2.对于运行在B节点上的reduce任务,从jobtracker取得任务信息(假设任务包括对节点A的map的数据).并直接从节点A提取该map的结果.
我的这一问题发生的原因在第二步.当节点B的reduce从jobtracker获得的任务中,包括map的服务器地址,而这个地址是改服务器的名字,而不是IP地址.因此,当在本地解析该服务器名的时候,无法解析出他的ip地址,导致无法从A节点,提去数据.

slave2  reduce时候需要得到slave1 map的结果 datanode间需要数据copy  slave2找salve1使用的是hostname  不是/etc/hosts 中配置的slave1，
就会找不到，  /etc/hosts ,$HADOOP_HOME/conf/masters  $HADOOP_HOME/conf/slaves  $HADOOP_HOME/conf/core-site.xml $HADOOP_HOME/conf/mapred-site.xml 中的IP别名要和hostname一致