Flume之Taildir Source二次开发实现迭代读取目录下文件

最新推荐文章于 2022-12-18 10:20:56 发布

11号车厢

最新推荐文章于 2022-12-18 10:20:56 发布

阅读量930

点赞数

CC 4.0 BY-SA版权

分类专栏： Flume1.6 文章标签： Flume

本文链接：https://blog.csdn.net/greenplum_xiaofan/article/details/100025335

本文介绍了如何对Flume的Taildir Source进行二次开发，包括下载源码、导入IDEA、修改getMatchFiles方法、上传并编译源码，以及创建配置文件测试TaildirSource读取目录下文件的能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1、下载源码包

注意这是源码文件
flume-ng-1.6.0-cdh5.7.0-src.tar.gz
解压到Windows目录下
在这里插入图片描述

2、导入IDEA

在这里插入图片描述

就这里注意下倒入哪个目录，后面都是next就行了。

3、修改源码

找到 getMatchFiles 方法
在这里插入图片描述
注释完后在下面添加如下代码

  /**
   * 修改flume源码，使其支持递归
   * @param parentDir
   * @param fileNamePattern
   * @return
   */
  private List<File> getMatchFiles(File parentDir, final Pattern fileNamePattern) {
   
   
    //所有指定文件夹下的所有文件，在通过正则匹配规则过滤不符合条件的文件
    List<File> result = Lists.newArrayList();
    for(File f: getAllFiles(parentDir)){
   
   
      String fileName = f.getName();
      if (fileNamePattern.matcher