weixin_54625990的博客

在本次活动中，白鲸开源申报的「SeaTunnel MCP Server：分布式数据集成能力的“神经中枢”」案例成功入选《中国信通院开源商业产品及企业典型案例集（2025）》，并获得主办方颁发的奖牌。

在人工智能时代，数据不再是简单的数字和表格那么简单了。

为了帮助用户更顺利地迁移到 Apache SeaTunnel 平台，社区成员提出了一个实用建议：开发一个通用的配置转换工具，支持将多种数据集成工具的配置文件转换为 SeaTunnel 支持的 HOCON 或 JSON 格式。这样，用户在迁移过程中将更加省心高效。

随着 Apache SeaTunnel 项目在全球数据集成领域的不断发展壮大，今天我们迎来了一个重要的里程碑 —— GitHub 贡献者数量正式突破 400 人！

最近体验了一下 Deepwiki 的 AI 文档生成功能，本文展示其自动生成的《SeaTunnel 云端数据仓库连接器》文档内容，欢迎大家一起“挑刺捉虫”，看看 AI 写技术文档到底靠不靠谱？

使用Apache SeaTunnel进行二次开发的实践分享

资源管理是 Java 开发中常被忽视却至关重要的一环。本文从 SeaTunnel 案例出发，探讨 Java 中如何正确管理资源，防止资源泄漏。

大部分数据开发工程师基于Apache SeaTunnel的二次开发，可能做的就是任务提交，任务的一些监控，还有在任务没有跑起来之前，我们可能需要预先知道跑起来之后的可能一些结果。

你是否好奇，大模型和数据集成平台能擦出怎样的火花？

最初是为了将 Elasticsearch 中的存量数据导出到其他存储系统。

随着数据来源的不断复杂化及业务需求的快速演进，通用的数据集成框架在实际落地过程中往往面临诸多挑战：数据结构不规范、字段缺失、敏感信息混杂、数据语义不清等问题频繁出现。为了更好地应对这些复杂场景，某上市网络安全龙头企业基于 Apache SeaTunnel 进行了二次开发，构建了一套可扩展、易维护且具备复杂场景的数据处理与智能容错机制。本文将围绕实际功能扩展与设计理念，全面介绍相关技术实现。

点击蓝字 关注我们通知！开源之夏 2023 学生报名已经正式开启！Apache SeaTunnel(Incubating)今年继续参与开源之夏的活动，2023 年 4 月 29 日-6 月 3 日 15:00 UTC+8，同学们可以在开源之夏官网 https://summer-ospp.ac.cn/找到 SeaTunnel 下的项目，挑选自己感兴趣的课题，通过项目相对应导师联系方式与导师沟通并准...

点击蓝字 关注我们部署环境（MacOS/Linux）1.安装JDK环境目前SeaTunnel支持运行在JDK8及以上的环境。用户需要自行安装JDK环境。2.下载安装包目前SeaTunnel的最新版本是2.3.1版本。这里我们安装部署2.3.1版本，如果你需要下载其它版本，可以从https://seatunnel.apache.org/download中查询对应的版本。mkdir ~/seatunn...

Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本，并正式发布自己的核心同步引擎 Zeta！此外，SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性，包括支持 CDC、以及近百种 Connector 等。

近日，白鲸开源在 Apache SeaTunnel 周会中宣布把 Web 界面贡献到社区，并制作了短视频简单介绍此次贡献将提供的功能，视频如下????：接下来我带大家了解一下有那些功能。首先演示一下：同步任务定义，可以在这里对需要的任务进行创建于管理。通过画布可以非常直观地观测到当前任务的状态，同时可以检查和修改参数配置，也可快速地查看表结构。同步任务实例，可以看到离线或实时的状态情况。更多关于 Sea...

点击蓝字 关注我们4月22日-4月28日问Metaspace执行完一次会慢慢累积，执行完了，没有释放，是怎么回事？ 等full gc的时候清理。 答问SeaTunnel 2.3.1执行时，有时会出现流式任务，但明明指定了是 "job.mode" : "BATCH" 模式，是怎么回事？ JDBC后面加参数rewriteBatchedStatements=true。答问Schema ...

点击蓝字 关注我们简介SeaTunnel 是 Apache 软件基金会下的一个开源大数据集成工具，为数据集成场景提供灵活易用、易扩展并支持千亿级数据集成的解决方案。SeaTunnel 可以选择 SeaTunnel Zeta [1] 引擎上运行，也可以选择在 Apache Flink 或 Spark 引擎上运行。Seaunnel 为实时(CDC)和批量数据提供高性能数据同步能力。本指南将引导您快速入...

2023 年 3 月 30 日，SeaTunnel 即将和 StarRocks 社区开展联合线上活动，分享有趣的大数据生态融合想法，免费预约吧！

。 我叫范佳，目前是 SeaTunnel 社区的 PMC 成员。主要负责 Connector V2 连接器的设计和开发，以及我们的 Zeta 引擎的一些设计和开发。很高兴能够在这里与大家分享我们的 Apache SeaTunnel。文｜范佳编辑整理｜廖心悦 曾辉讲师介绍范佳Apache SeaTunnel PPMC我今天分享的内容分为5个部分介绍SeaTunnel如何使用SeaTunnelSe...

数据集成是将这些独立的数据整合到一起，以产生更高的数据价值和更丰富的数据洞见的过程。针对以上N种情况，我们联合 PowerData 社区推出的这个主题活动：数据集成—从入门到实践，如果你也是接触开源“数据集成平台”的小白用户，也碰到了某些原因“卡壳”了，那这次的分享你一定不要错过了，我们还特地邀请了社区 PPMC 田超和白鲸开源高级工程师李宗文，通过他们的分享让用户能更快更好更便捷的使用Apahce SeaTunnel。我相信社区花费精力筹备的活动，你一定能听到一手的分享，得到一手的收获！

毕博，马蜂窝数据平台负责人，Apache SeaTunnel 贡献者分享大纲：● Seatunnel StarRocks 连接器简介● StarRocks Connector 功能特性● StarRocks Connector 数据读取解析● StarRocks Connector 数据写入解析● StarRocks Connector 的使用示例● StarRocks Connector的后续规划首先介绍一下数据同步平台 Apache SeaTunnel 的基本架构。

点击蓝字，关注我们????在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Zeta单节点Standalone模式环境），接下来我们介绍一下SeaTunnel支持的第一个同步场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnel JobConfig，选择批处理模式，作业启动后开始同步数据，当数据同步完成后作业完成退出。下面以My...

2023年4月15日，一场别开生面的大数据盛会在成都春日阳光下圆满落幕。由ApacheDolphinScheduler和Apache SeaTunnel社区联合主办，批流一体与大数据最佳实践技术主题活动在成都成功举办。此次活动吸引了50+大数据领域的技术爱好者、行业精英和专家齐聚一堂，共同探讨大数据调度、数据集成等前沿技术和最佳实践。活动开始，白鲸开源高级社区经理曾辉进行了活动开场，对来到现场参...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

点击蓝字 关注我们 //在4月中旬的SeaTunnel&TDengine联合Meetup上，来自 北京沃东天骏信息技ason术有限公司的架构师李宏宇，为大家带来了《使用SeaTunnel搞定TDengine数据同步》，通过TDengine-Connector解析与使用示例介绍了SeaTunnel与实时数据库TDengine同步集成的过程。演讲内容整理如下：大...

点击蓝字 关注我们4月15日-4月21日问Checkpoint目前能做到冷启动吗？重启的时候指定Checkpoint，类似Flink从Checkpoint恢复。可以，启动的时候加-r参数，可以从最后一次checkpoint启动。答问有关于Flink引擎和SeaTunnel 2.3.1 Zeta引擎的对比文档吗？ 公众号搜索zeta，可参考相关文章。 答问不支持多个Source的话，怎么...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

SeaTunnel 整合到天翼云数据平台在架构层面的设计与思考。

点击蓝字 关注我们Apache SeaTunnel 线上系列技术直播活动下周精彩继续！这次，社区与 TDengine 展开联合活动，分享两者集成应用的最佳实践。目前，Apache SeaTunnel Connector“方阵”已支持 TDengine Connector，将广泛涉猎物联网、工业互联网、金融、IT 运维监控等场景的数据库 TDengine 列入支持队列，无疑将进一步扩大 Apache...

举个例子，我们前面讲了可以利用 CDC 将 MySQL 的数据同步到 Elasticsearch 中以供搜索，在这样的架构里，所有的查询都用 ES 来查，但在想修改数据时，并不直接修改 ES 里的数据，而是修改上游的 MySQL 数据，使之产生数据更新事件，事件被消费者消费来更新 ES 中的数据，这就基本上是一种 CQRS 模式。另外包括社区的展望和目前在做的一些事情。这个情况下，小数量的表手写还可以应付，如果数量大可能就出现类型映射错误的问题，或者参数配置错误的问题，就会产生很高的运维成本（配置麻烦）。

近些时间，我们正好接手一个数据集成项目，数据上游方是给我们投递到Kafka，我们一开始的技术选型是SpringBoot+Flink对上游数据进行加工处理（下文简称：方案一），由于测试不到位，后来到线上，发现数据写入效率完全不符合预期。后来将目光转到开源项目SeaTunnel上面，发现Source支持Kafka，于是开始研究测试，开发环境测试了500w+数据，发现效率在10000/s左右。果断放弃方案一，采取SeaTunnel对数据进行集成加工（下文简称：方案二）。

大家好，我叫蒋晓峰，哔哩哔哩资深开发工程师，也是Apache Paimon PPMC，今天我要给大家分享的主题是 Apache SeaTunnel 架构的剖析与 Apache Paimon 集成。文｜蒋晓峰编辑整理｜曾辉讲师介绍蒋晓峰哔哩哔哩资深开发工程师01Apache SeaTunnel 设计目标在大数据行业快速发展的今天，各类数据库和数据仓库等技术不断产生和发展。对于企业来说，如何同步异...

目前，WhaleStudio 支持公有云、私有云和混合云，已与 AWS、阿里云、华为云等国内外头部云厂商达成合作，全面支持云原生，帮助企业更好地适应大数据和云原生大时代下的数据处理与治理，同时支持传统数据仓库 Teradata，Greenplum，Oracle Datawarehouse Edition，DB2 Enterpirse Edition，支持开源的数据湖 Hudi，Iceberg 等，让企业用户实现数据湖、数据仓库、云的一体化调度。

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

关于CommunityOverCodeAsiaCommunityOverCode Asia （原ApacheCon Asia）是 Apache 软件基金会（ASF）的官方全球系列大会，作为久负盛名的开源盛宴，是开源界最具期待的大会之一。今年8月，CommunityOverCode Asia 2023 强势来袭，针对亚太地区的开发者特举行 CommunityOverCode Asia 线下会议。...

郭炜，Apache 基金会成员，Apache DolphinScheduler PMC Member，Apache SeaTunnel Mentor。代立冬，白鲸开源联合创始人，Apache DolphinScheduler PMC Chair & Apache SeaTunnel PMC Member& Mentor，Apache 孵化器导师，Apache Local Community Beijing 成员。本文由。

Catalog（目录）提供了关于数据库、表格和访问数据所需的信息的元数据，以及统一的 API 来管理元数据，验证连接，让元数据对 Sources（数据源）、Sinks（数据汇）和 Web 可访问。Catalog 让用户能够引用其数据系统中的现有元数据，并自动映射到 SeaTunnel 的对应元数据。总之，Catalog 大大简化了使用用户现有系统开始使用 SeaTunnel 的步骤，并显著增强了用户体验。

点击蓝字 关注我们同学们，开源之夏活动学生报名入口到 2023 年 6 月3 日 15：00 就要关闭了哟，还没报上名的同学赶快审题！Apache SeaTunnel 也在开源之夏众多开源项目之列，对 Apache SeaTunnel 和数据集成领域感兴趣的同学还能上车。目前两个议题均有人申请，但是为了获得最好的方案，我们鼓励更多人来申请报名参加，狭路相逢“优”者胜，最好的解决方案将会中选哦！扫...

这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目，这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破，并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。