将 Model Armor 与 Apigee 集成

您可以将 Model Armor 与 Apigee 集成,以增强 AI 应用的安全性。通过在 AI 应用前面使用 Apigee 作为 API 网关,您可以利用 Model Armor 的功能来筛查和清理发送到应用中的输入内容以及收到的回答。

概览

您可以将 Model Armor 政策集成到 Apigee API 代理中,以便为 AI 应用提供增强的控制和保护。 例如,您可以使用 Apigee 来强制执行令牌级配额,以限制用户或应用每天最多可使用的令牌数量。使用 LLMTokenQuota 和 PromptTokenLimit 可精确控制令牌使用情况。这些政策有助于管理费用、阻止滥用行为,并防止消费量突然激增,从而稳定流量。

限制

将 Model Armor 与 Apigee 集成时,请考虑以下限制:

  • 适用区域:Model Armor 仅在部分地区提供。确保 Apigee 和 Model Armor 在同一区域中配置。虽然可以在不同区域配置 Apigee 和 Model Armor,但使用不同区域可能会因跨区域网络遍历而导致额外的延迟时间。为获得最佳性能,请在完全相同的区域中配置它们。
  • Quota:高流量可能需要增加 Model Armor 的配额。如需申请调整,请参阅申请配额调整。如果您需要的配额高于默认配额,请与 Cloud Customer Care 联系。 如需了解与 Model Armor 集成其他服务相关的配额,请参阅管理配额。
  • token 限制:Model Armor 在处理提示和回答时有 token 限制,具体取决于过滤条件。超出这些限制的内容可能无法得到全面扫描。

准备工作

工作原理

该集成使用两种主要的 Apigee 政策:

  • SanitizeUserPrompt:将此政策添加到 API 代理的请求流程中。它会拦截所有传入的请求,并在这些请求到达 AI 应用之前将其发送给 Model Armor 进行检查。如需了解详情,请参阅 SanitizeUserPrompt 政策。
  • SanitizeModelResponse:将此政策添加到响应流程。它会拦截 AI 应用的回答,并将其发送给 Model Armor 进行检查,然后再将回答发送给客户端。如需了解详情,请参阅 SanitizeModelResponse 政策。

Model Armor 会根据有效 Model Armor 模板中定义的规则评估内容。根据调查结果和设置的强制执行类型,Apigee 会允许、阻止或编辑请求或响应。 如果请求或响应经过了编辑,请使用 flow 变量提取编辑后的数据,并将其传递给 LLM。

首先,请使用 Apigee 控制台中的内置 Proxy with Model Armor 代理模板。此模板会自动添加可选的 SanitizeUserPrompt 和 SanitizeModelResponse 配置。

创建具有 Model Armor 政策的 Apigee API 代理

  1. 创建服务账号以部署 API 代理。
  2. 创建 Apigee API 代理。
  3. 修改 SanitizeUserPrompt 和 SanitizeModelResponse XML。 您必须修改这些政策的 XML,Model Armor 才能正常运行。
  4. 向 API 代理添加 Google 身份验证。
  5. 部署 API 代理。
  6. 测试 Model Armor 政策。

如需详细了解配置和使用情况,请参阅 Apigee Model Armor 政策使用入门。