Rails Event Store 中使用 Protobuf 协议指南

Rails Event Store 中使用 Protobuf 协议指南

什么是 Protobuf 及其优势

Protobuf（Protocol Buffers）是 Google 开发的一种高效的数据序列化协议。相比 JSON 等文本格式，Protobuf 具有以下优势：

1. 更小的数据体积 - 二进制格式比文本格式更紧凑
2. 更快的序列化/反序列化速度
3. 强类型定义 - 通过 .proto 文件明确定义数据结构
4. 跨语言支持 - 支持多种编程语言

在 Rails Event Store 中使用 Protobuf 特别适合以下场景：

• 需要与其他微服务共享事件数据
• 事件数据量大的系统
• 对性能要求较高的场景

安装配置

添加依赖

首先需要在 Gemfile 中添加必要的 gem：

gem "google-protobuf"  # Protobuf 核心库
gem "protobuf_nested_struct"  # 支持嵌套结构的扩展
gem "rails_event_store"  # Rails Event Store 核心

运行 bundle install 安装依赖。

配置 Protobuf 映射器

在 Rails 配置中设置事件存储使用 Protobuf 映射器：

Rails.application.configure do
  config.to_prepare do
    Rails.configuration.event_store = RailsEventStore::Client.new(
      mapper: RubyEventStore::Mappers::Protobuf.new
    )
  end
end

定义 Protobuf 事件

创建 .proto 文件

首先需要定义事件的数据结构。创建一个 events.proto3 文件：

syntax = "proto3";
package my_app;

message OrderPlaced {
  string order_id = 1;
  int32 customer_id = 2;
}

生成 Ruby 类

使用 protobuf 编译器生成 Ruby 类：

# Generated by the protocol buffer compiler.  DO NOT EDIT!
# source: events.proto3

require "google/protobuf"

Google::Protobuf::DescriptorPool.generated_pool.build do
  add_message "my_app.OrderPlaced" do
    optional :order_id, :string, 1
    optional :customer_id, :int32, 2
  end
end

module MyApp
  OrderPlaced = Google::Protobuf::DescriptorPool.generated_pool.lookup("my_app.OrderPlaced").msgclass
end

事件发布与订阅

发布事件

event_store = Rails.configuration.event_store

# 创建 Protobuf 事件
event = RubyEventStore::Proto.new(
  data: MyApp::OrderPlaced.new(
    order_id: "K3THNX9", 
    customer_id: 123
  )
)

# 发布到指定流
event_store.publish(event, stream_name: "Order-K3THNX9")

读取事件

event = client.read.stream("test").last

同步订阅处理

event_store.subscribe(
  ->(ev) { 
    # 处理事件逻辑
  }, 
  to: [MyApp::OrderPlaced.descriptor.name]
)

异步订阅处理

对于耗时操作，可以使用 ActiveJob 进行异步处理：

class SendOrderEmailHandler < ActiveJob::Base
  self.queue_adapter = :inline  # 开发环境可使用 :inline 模式

  def perform(payload)
    event = event_store.deserialize(payload)
    # 发送邮件等异步操作
  end

  private

  def event_store
    Rails.configuration.event_store
  end
end

event_store.subscribe(
  SendOrderEmailHandler, 
  to: [MyApp::OrderPlaced.descriptor.name]
)

最佳实践

1. 版本控制：Protobuf 支持向后兼容的字段修改，但不支持删除或修改字段类型。建议使用 optional 字段并考虑好版本演进策略。

2. 性能优化：对于高频事件，可以预生成 Protobuf 消息类并缓存。

3. 错误处理：在订阅处理器中添加适当的错误处理逻辑，特别是异步处理器。

4. 测试策略：编写测试验证 Protobuf 事件的序列化和反序列化过程。

5. 文档维护：保持 .proto 文件的良好文档，说明每个字段的用途和约束。

通过以上步骤，您可以在 Rails Event Store 中高效地使用 Protobuf 协议来处理事件数据，获得更好的性能和跨服务兼容性。