spark flatmap

最新推荐文章于 2024-03-24 13:51:36 发布

原创最新推荐文章于 2024-03-24 13:51:36 发布 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark flatmap

spark 同时被 2 个专栏收录

29 篇文章

订阅专栏

java

5 篇文章

订阅专栏

本文介绍flatMap算子在Java中的应用，对比flatMap与map的区别，并通过示例代码展示如何使用flatMap处理数据并返回多个元素。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

     flatMap算子，在java中，接收的参数是FlatMapFunction,我们需要自己定义FlatMapFunction的第二个泛型类型，即，代表了返回的新元素的类型
        call()方法，返回的类型，不是U，而是Iterable<U>，这里的U也与第二个泛型类型相同
        flatMap其实就是，接收原始RDD中的每个元素，并进行各种逻辑的计算和处理，返回可以返回多个元素

flatmap 和map的操作，map可以完成的，flatmap也可以完成，但是flatmap能完成的，map能完成吗？好像不行，比如说我要根据传进来的数据生成两个某个类的子类，那么map就无能为力了。

public static void myFlatMap(){

       SparkConf conf=new SparkConf()
       .setMaster("local")
       .setAppName("myFlatMap");
       List<String> list=Arrays.asList("hello 2016","goodbye 2015");
       JavaSparkContext sc=new JavaSparkContext(conf);
       JavaRDD<String> listRdd=sc.parallelize(list);
       JavaRDD<String> listFlatMap=listRdd.flatMap(new FlatMapFunction<String, String> (){
           private static final long serialVersionUID = 1L;

           @SuppressWarnings("rawtypes")
           @Override
           public Iterable<String> call(String s) throws Exception {
               // TODO Auto-generated method stub
               return Arrays.asList(s.split(" "));
           }
       });
       listFlatMap.foreach(new VoidFunction<String>(){

           @Override
           public void call(String s) throws Exception {
               // TODO Auto-generated method stub
               System.out.println("s:"+s);
           }

       });

}

结算结果：

s:hello
s:2016
s:goodbye
s:2015