Flink CDC Connectors 核心概念：数据转换(Transform)详解

卫颂耀Armed

于 2025-06-07 09:03:30 发布

阅读量282

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/gitblog_00710/article/details/148487842

Flink CDC Connectors 核心概念：数据转换(Transform)详解

什么是数据转换(Transform)

在 Flink CDC Connectors 中，Transform 模块是一个强大的数据处理工具，它允许用户在数据同步过程中对数据进行灵活的处理和转换。这个模块主要提供三大核心功能：

列操作：可以删除或扩展数据表中的列
数据过滤：能够在同步过程中过滤掉不需要的数据
元数据处理：可以访问和利用数据变更事件中的元数据信息

Transform 的核心参数解析

Transform 模块通过一系列参数来定义转换规则，以下是主要参数的详细说明：

| 参数名称 | 功能描述 | 是否必填 | |---------------------------|--------------------------------------------------------------------------|----------| | source-table | 指定源表标识，支持正则表达式匹配多表 | 必填 | | projection | 投影规则，类似SQL中的SELECT子句，用于选择或重命名列 | 可选 | | filter | 过滤规则，类似SQL中的WHERE子句，用于筛选数据 | 可选 | | primary-keys | 指定目标表的主键，多个主键用逗号分隔 | 可选 | | partition-keys | 指定目标表的分区键，多个分区键用逗号分隔 | 可选 | | table-options | 用于配置自动创建表时的表选项 | 可选 | | converter-after-transform | 在转换后添加转换器来修改DataChangeEvent | 可选 | | description | 转换规则的描述信息 | 可选 |

特殊参数详解：converter-after-transform

converter-after-transform 是一个非常有用的参数，它可以在数据转换完成后对数据变更事件进行进一步处理。目前支持以下值：

SOFT_DELETE：将删除事件转换为插入事件，实现软删除功能

典型应用场景示例：

transform:
  - source-table: \.*.\.*
    projection: \*, __data_event_type__ AS op_type
    converter-after-transform: SOFT_DELETE

这个配置会将所有表的删除操作转换为插入操作，并在目标表中添加一个op_type列来标记原始操作类型。

元数据字段详解

Transform 模块提供了一些特殊的隐藏字段，用于访问数据变更事件的元数据信息：

| 字段名称 | 数据类型 | 描述 | |------------------------|----------|-------------------------------| | namespace_name | String | 包含该行的命名空间名称 | | schema_name | String | 包含该行的模式名称 | | table_name | String | 包含该行的表名称 | | data_event_type | String | 数据变更事件的操作类型 |

不同数据源的元数据关系

不同数据库系统对命名空间、模式和表的概念有所不同：

| 类型 | Namespace | SchemaName | Table | |----------------|-----------|------------|-------| | JDBC | Catalog | Schema | Table | | MySQL | Database | - | Table | | PostgreSQL | Database | Schema | Table | | Oracle | - | Schema | Table | | SQL Server | Database | Schema | Table | | StarRocks/Doris| Database | - | Table |

丰富的函数支持

Flink CDC Transform 模块基于 Calcite 解析表达式，使用 Janino 脚本评估函数调用，提供了丰富的函数库：

1. 比较函数

支持标准的比较操作符(=, <>, >, >=, <, <=)以及 BETWEEN、LIKE、IN 等高级比较操作。

2. 逻辑函数

提供 AND、OR、NOT 等逻辑运算符，以及 IS TRUE、IS FALSE 等逻辑判断。

3. 算术函数

支持基本四则运算(+,-,*,/,%)，以及 ABS、CEIL、FLOOR、ROUND 等数学函数，还能生成 UUID。

4. 字符串函数

提供字符串连接(||)、大小写转换(UPPER/LOWER)、子串提取(SUBSTR)、正则替换(REGEXP_REPLACE)等操作。

5. 时间函数

丰富的日期时间处理能力，包括：

获取当前时间(LOCALTIME, CURRENT_TIMESTAMP)
时间格式化(DATE_FORMAT)
时间加减(TIMESTAMPADD)
时间差计算(TIMESTAMPDIFF)
Unix时间戳转换(FROM_UNIXTIME/UNIX_TIMESTAMP)

6. 条件函数

支持 CASE WHEN 条件表达式，实现复杂的分支逻辑。

实际应用示例

示例1：添加元数据信息

transform:
  - source-table: testdb.customer
    projection: \*, __namespace_name__ || '.' || __schema_name__ || '.' || __table_name__ AS identifier_name, 
                __data_event_type__ AS type, op_ts AS opts

这个转换规则会保留所有原始列，并添加三个新列：

identifier_name：组合命名空间、模式和表名的完整标识符
type：操作类型
opts：操作时间戳

示例2：条件过滤

transform:
  - source-table: inventory.products
    filter: price > 100 AND category IN ('electronics', 'appliances')
    projection: id, name, price, category

这个转换规则会：