直播中 | Pulsar Summit Asia 2021 关键词：云原生、容器、混合多云、数据湖、批流融合、万亿消息系统演进等...

于 2022-01-15 09:35:00 发布
阅读量3.2k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 ios 字符串 qt websocket
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaijia03/article/details/122532158
PulsarSummit作为Apache Pulsar社区的重要活动，汇聚了全球的贡献者、企业和技术专家。活动分享Pulsar项目的最新进展、实践经验及未来方向，并促进参与者之间的深入交流。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。

观看直播

扫描下方二维码进入直播，上午 9:30 不见不散！如果您在活动行等其他平台已经报名，在扫描进入本直播间时，请输入您的报名手机号以进入。

1baadc44d154871e616ea4677779a90b.png

日程全览

e83a8c8ceb6d044772b99530b3b92a11.png

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址：http://github.com/apache/pulsar/

▼ 关注「Apache Pulsar」，获取干货与动态 ▼

👇🏻 加入 Apache Pulsar 中文交流群 👇🏻

72de4a1a5e481dbd3e340cf23466c25b.png

ApachePulsar
关注
博客
Discord x Pulsar: 使用 Pulsar、Flink 和 Iceberg 搭建流式机器学习平台
08-15 695
得益于流批一体的设计（核心是 Pulsar 流与 Iceberg 表的融合）和模型内嵌于 Flink 作业的简化架构（模型仅是作业中的一个“小方块”），系统发生变更后，历史数据的回填速度极快，仅需 3-4 小时即可完成。：该方案显著简化了架构，减少了部署组件。模型部署采用ONNX格式，兼容XGBoost、PyTorch、TensorFlow等主流框架，其二进制文件可直接嵌入Flink作业运行，完全摒弃了传统独立的模型服务，这不仅大幅降低了系统复杂度和潜在错误，也使得开发调试更简单快速，显著提升了开发效率。
博客
技术文档 | Pulsar 中的消息保留、过期及积压机制解析（上）
08-13 973
由于不同Subscription的消费进度可能不同，有的较快，有的较慢，因此 Pulsar 对数据的删除是以该 Topic 中消费最慢的 Subscription 为基准，被它消费过后的数据才是可删除的。同样因为 Expiry 的二分查找机制，如果消息的时间戳是乱序的(在使用 Shared 模式的 Producer 的情况下，这很可能发生)， 可能会导致 Expiry 机制无法正确的移动游标，从而导致某些过期消息会被继续消费。正确的 Retention 策略应该是周期性的清理旧数据，
博客
技术文档 | Pulsar 存储计算分离架构设计之 Broker 无状态
08-10 38
而在Pulsar中，由于Broker是无状态的，任何一个Broker都可以接管发生故障的Broker的任务，无需进行数据同步和一致性检查，从而大大简化了故障恢复过程。同时，Broker通过缓存机制减少对BookKeeper集群的访问频率，提高消息处理的性能。综上所述，Pulsar的存储计算分离架构通过将存储和计算职责分离，实现了灵活的负载均衡、简化的故障恢复、易于扩展和维护以及高性能与可靠性等特点。Broker 无状态的核心体现，也是Pulsar的存储计算分离架构的核心体现之一，这里很重要，划重点！
博客
架构革命 | LinkedIn 也无法拯救的 Kafka：Pulsar 的存算分离成了终极答案？
08-08 825
其实根据根据真实调研，绝大多数用户的使用量，其 Topic 数都到不了百万级，对于几十万的 Topic，得益于 Pulsar 架构天然分散了压力，BookKeeper 同样在底层为元数据（如租户、命名空间、主题信息等）提供服务，并可横向扩展，绝大多数时候 Zookeeper 是胜任大数据量元数据管理工作的。Kafka 的元数据管理其实存在很严重的瓶颈。云服务的发展速度远超预期，从 2010 年的概念阶段到 2015 年的快速普及，再到今天的云原生时代，仅用了十余年时间就彻底重塑了整个IT基础设施。
博客
重大技术转向：LinkedIn 抛弃自家创造的 Kafka ，又重新造了个 Pulsar 的轮子？
08-05 725
Kafka 的扩展性和可操作性挑战正是 Pulsar 在设计之初就试图解决的问题。
博客
重大技术转向：LinkedIn 抛弃自家创造的 Kafka ，又重新造了个 Pulsar 的轮子？
08-01 580
同时，协调器还维护 Segment 的元数据，如 Segment 的副本集、Segment 的激活/封存/重新分配状态、Segment 的起始偏移和长度以及创建时间和封存时间。团队利用这种广播机制发布精简的全局集群状态信息，包括基本的主机信息、端口配置和集群中 Broker 的属性，以及 DS-RSM 哈希环的关键信息，如每个 vnode 的哈希边界范围、vnode 的领导者信息、当前任期和复制状态等。为实现高扩展性，它采用了数据和元数据分片技术，维持最小化的全局状态，并利用分散式的集群成员协议。
博客
谙流 ASP 社区版正式发布：一行命令轻松实现 Pulsar 集群管理
07-31 421
ASP 社区版是一款完全免费的 Pulsar 集群管理控制台，基于 Docker 构建，一行命令即可完成本地部署
博客
Apache Pulsar × AI Agent：智能系统消息基础架构初探​ ​
07-30 761
它能够主动理解目标、分解任务、调用工具（API）、与环境交互并持续优化。消息队列的核心优势——可靠、解耦、异步、缓冲——在 AI Agent 分布式、异构、高并发、长流程的生态中，价值不仅未被削弱，反而被显著放大，成为串联智能体的生命线。Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
博客
谙流 ASP 社区版正式发布：一行命令轻松实现 Pulsar 集群管理
07-30 57
实时监控各分区的详细状态和性能指标，包括消息入站、出站速率、存储大小等，协助运维人员精准定位性能瓶颈，快速解决数据不均衡问题，保障关键业务消息的稳定投递。未来，我们将继续立足开源，携手全球开发者，共同构建高可靠、高一致、高吞吐、高可用、高并发、低延迟的下一代消息流基础设施，让每一次数据流动都创造更多价值。：直观易用的策略配置界面，简化租户资源配额、存储策略、数据保留周期等相关配置过程，配置效率upup！：轻松接入并管理您已有的 Pulsar 集群，提供一站式的管理视图和流畅的操作体验。
博客
技术文档 | Apache Pulsar × AI Agent：智能系统消息基础架构初探
07-29 69
它能够主动理解目标、分解任务、调用工具（API）、与环境交互并持续优化。消息队列的核心优势——可靠、解耦、异步、缓冲——在 AI Agent 分布式、异构、高并发、长流程的生态中，价值不仅未被削弱，反而被显著放大，成为串联智能体的生命线。Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
博客
技术文档 | OpenAI 的 Kafka 演进之路与 Pulsar 迁移潜力
07-29 987
省流：直接选 Pulsar，存算分离、跨集群容灾、生产/消费高可用、端到端低延迟一步到位
博客
Pulsar × Apache | 明天北京见！
07-24 117
收到大会官方的报名成功邮件，如您未收到邮件，请尝试在垃圾邮件中寻找。7 月 25 日至 27 日，作为 Apache 软件基金会（ASF）官方全球系列大会的 Community Over Code Asia 2025 即将在。今年的大会为期 3 天，从 7 月 25 日至 7 月 27 日，各票种价格从 199 元至 1。可直接定位导航至“中关村国家自主创新示范区-会议中心”，会议中心停车位有限，推荐绿色出行。点击底部菜单栏，并选择【我的电子票】绑定您在报名系统中输入的手机号码，即可查看大会门票。
博客
Community Over Code Asia 2025 主题演讲豪华阵容发布！
07-23 210
此前，刘宇成曾领导 Wayfair 的机器学习平台团队，负责扩展服务数百万客户的生产模型。上海开源信息技术协会副秘书长，对外经济贸易大学全球开源协作研究中心副主任，中国计算机学会开源发展委员会执委，开源社顾问、中国汽车工业协会开源顾问、北京智源人工智能研究院开源顾问、国科开源平台联合创始人，原中科院软件研究所 OpenHarmony 团队核心成员，原 OpenHarmony 项目创始生态负责人、教育负责人，原开放原子基金会业务发展部、教育培训部、行业研究部负责人，中国开源硬件和开源教育早期开拓者之一。
博客
技术文档 | OpenAI 的 Kafka 演进之路与 Pulsar 迁移潜力
07-23 979
基于 OpenAI 在 Confluent 技术演讲中披露的内容，本文将从 Kafka 在 OpenAI 中的使用场景出发，揭示业务暴涨后的所面临的痛点，并重点介绍 “Proxy代理层”架构（Prism + uForwarder）如何实现业务与基础设施的深度解耦、跨集群容灾无缝迁移等能力。连锁反应，局部故障可能演变为集群级雪崩（如Controller切换失败）单Kafka集群在运维时有非常多的弊端，例如扩分区扩容场景，会导致分区级别不用的情况，导致业务终端，带来集群不可用的风险。
博客
Pulsar 社区周报 | No.20250718
07-19 1043
improve][build]将 org.apache.commons:commons-lang3 从 3.17.0 升级到 3.18.0。[improve][pip]PIP-432：在 EncryptionContext 中添加 isEncrypted 字段。[improve][client]PIP-425：支持连接到多端点 serviceUrls 的下一个可用端点。[improve][pip]PIP-429：通过跳过有效载荷缓冲区解析来优化紧凑的最后条目的处理。
博客
公测邀请 | 再见，Pulsar Manager！你好，ASP 社区版！
07-17 868
基于这些原因，我们开发了 ASP 社区版（AscentStream Platform Community Edition），一个全新的、现代化的 Pulsar 管控平台，旨在完全取代 Pulsar Manager，为 Pulsar 用户提供更好的管理体验。在 Apache Pulsar 的生态系统中，Pulsar Manager 作为一个开源的管控工具，曾经帮助了无数开发者和运维人员管理他们的 Pulsar 集群。我们对复杂的配置做了整合优化，大大降低了配置错误的可能性，提高了配置效率，特别适合新手用户。
博客
技术文档 | 使用 Pulsar Functions 构建实时 AI Pipeline
07-15 699
Pulsar Functions 是基于 Apache Pulsar 的 Serverless 计算框架，它提供了一个方便而强大的解决方案，打破了传统机器学习工作流的局限性。我们的目标是构建一个通过 Pulsar Functions 实现的实时推理引擎，该引擎可以一次性或批量检索低延迟的推测信息。Pulsar Functions 有广阔的使用场景，本文将重点关注其灵活性，并探索它如何为需要实时推测和结果的机器学习 pipeline 提供解决方案。但独立实例的形式更便于我们在实时 AI 的场景下进行实践。
博客
Pulsar 社区周报 | No.20250711
07-11 1050
fix][broker]修复非持久主题的复制器总是出现“Producer send queue is full”的错误，如果设置了较小的配置值 replicationProducerQueueSize。[improve][broker]PIP427：将pulsar-admin默认的Mark-Delete速率与Broker配置对齐。[improve][broker][pip-431]PIP-431：在主题统计中添加创建时间戳和最后发布时间戳。一起看看本周有哪些重要更新吧~一起看看本周有哪些重要更新吧~
博客
技术文档 | 当 Agent 遇上 Pulsar：如何重构 A2A 协议，玩转事件驱动架构
07-08 89
通过 Pulsar ，我们成功地将 A2A 的通信底层从一个强绑定的 HTTP 实现，升级为了一个可插拔、事件驱动的架构。
博客
Pulsar 邀您关注 Community Over Code Asia 2025 Messaging 专题
07-08 93
本次演讲我们将重点讲解腾讯云上 Apache Pulsar 在高可用性方面的最佳实践，包括 Broker 集群和 Bookkeeper 集群的高可用性、Zookeeper 集群的高可用性以及跨集群的高可用性实践，希望能够为开发者提供一些参考。在腾讯云，我们开发了基于共享弹性流日志的稳健云 MQTT 解决方案。Senze Zhang 是一位资深的消息队列系统工程师，在高性能消息解决方案的设计、实现和优化方面拥有丰富的经验，参与部署过 RocketMQ、Kafka、MQTT 等多个业界领先的消息队列平台。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值