MapReduce数据分析（6）共同好友

六、MapReduce第六讲共同好友（Common friends）

某某社交网站，有如下用户好友关系：

A:B,C,D,
F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

数据解释：

A:B,C,D,F,E,O

每行数据以冒号为分隔符：

1、冒号左边是网站的一个用户A；
2、冒号右边是用户A的好友列表（各好友间以逗号为分隔符）；
现在，需要对网站的几十亿用户进行分析，找出哪些用户两两之间有共同好友，以及他俩的共同好友都有哪些人。比如，A、B两个用户拥有共同好友C和E；

最终统计的结果数据示意如下：

A-L F,E,D
A-M E,F B-C A
B-D A,E
B-E C

设计思路：
整个实验过程需要写两个MapReduce程序来实现。
第一个job实现出来的结果是

B-C A
B-D A

该数据的意思是B和C用户、B和D用户都是A用户的好友
第二个job实现出来的结果是

A-B E,C
A-C D,F
A-D E,F

该数据的意思是A和B的共同好友是E用户,C用户。

接下来我们开始写第一个job类。
代码如下：

package demo;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;

public class demo{
   
   
	public static void main(String[] args) {
   
   
		
		Configuration conf=new Configuration();
		Job job = Job.getInstance(conf);
		job.setJarByClass(demo.class);
		job.setMapperClass(MMapper.class);
		job.setReducerClass(MReduce.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		FileInputFormat.setInputPaths(job, new Path