Responsible AI

大语言模型 (LLM) 可以翻译语言、汇总文本、生成创意写作、生成代码、为聊天机器人和虚拟助理提供支持，以及对搜索引擎和推荐系统进行补充。不过，随着 LLM 的功能和用途不断发展，可能会出现误用、滥用以及意外或不可预见的后果。LLM 可能会生成意料之外的输出，包括令人反感、不顾他人感受或事实上不正确的文本。

LLM 的多样性导致很难准确预测它们可能会产生的意外或不可预见的输出。鉴于这些风险和 复杂情况，Gemini Enterprise Agent Platform 生成式 AI API 在设计时考虑到了 Google's AI Principles in mind。但是，开发者必须了解和测试其模型，以便以负责任的方式安全部署模型。为帮助开发者，Vertex AI Studio 具有内置内容过滤功能，而生成式 AI API 具有安全属性打分功能，可帮助客户测试 Google 的安全过滤器并定义适合其应用场景和业务的置信度阈值。如需了解如何对 API 使用安全过滤器和属性，请参阅 Agent Platform 中的 Gemini API。

生成式 API 集成到您的独特应用场景和语境中时， 您可能需要考虑其他 Responsible AI 注意事项和 限制。我们建议客户采用公平性、 可解释性、隐私权和安全推荐 实践 。客户还需负责遵守 Google Cloud的《可接受的使用政策》 (AUP)、《生成式 AI 使用限制政策》以及使用 AI/ML 和生成式 AI 服务的任何 其他服务专用条款或 相关要求。

模型限制

使用生成式 AI 模型时可能会遇到以下限制（但不限于此）：

  • 边缘情况：边缘情况是指训练数据中没有充分代表的不常见、罕见或异常情况 。这些情况会导致模型的性能受到限制，例如模型过度置信度、对语境的误解或不当输出。

  • 模型幻觉、依据和真实性：生成式 AI 模型 需要以真实世界信息、物理属性和 对特定数据的准确理解为依据，以减少模型生成不准确、不相关或无意义输出的 可能性。如需详细了解 Agent Platform 中的依据，请参阅 依据 概览。

  • 数据质量和调优：输入到模型中的提示 或数据的质量、准确率和偏差可能会对其响应质量产生重大影响。如果用户输入的数据或提示不正确，则模型的性能可能欠佳或模型输出错误。

  • 偏见放大：生成式 AI 模型可能会无意中放大其训练数据中现有的偏见，导致输出可能进一步加剧社会偏见以及对某些群体的不平等对待。

  • 语言质量：虽然这些模型在与我们评估的基准上产生了出色的多语言 功能，但大多数 基准（包括所有公平性评估）都是采用英语 的。如需了解详情，请参阅 Google 研究 博客。

    • 生成式 AI 模型可能会为不同用户提供不一致的服务质量。例如，由于训练数据中的代表性不足，文本生成可能对某些方言或语言变体不太有效。对于非英语语言或表示法较少的英语变体，性能可能较差。

  • 公平性基准和子群组：Google 研究对生成式 AI 模型的公平性分析并未详尽说明各种潜在风险。例如，我们关注性别、种族、种族和宗教轴线上的偏见，但仅对英语数据和模型输出进行分析。如需了解详情，请参阅 Google Research blog。

  • 有限的领域专业知识：生成式 AI 模型可能缺乏必需的 信息深度，无法就高度 专业化或技术主题提供准确、详细的响应，导致肤浅或不正确 的信息。对于特殊、复杂的应用场景，模型应根据特定领域的数据进行调优，并且在可能对个人权利产生实质性影响的情况下，必须进行有意义的人工监督。

  • 输入和输出的长度和结构：生成式 AI 模型具有输入和输出词元数量上限。如果输入或输出超出此限制，系统将不会应用安全分类器，这最终可能导致模型性能不佳。虽然 Agent Platform 上托管的模型设计为可以处理各种文本格式，但如果输入数据具有异常或复杂的结构，则其性能可能会受到影响。

要安全、负责任地使用这项技术，除了考虑内置的技术保障措施外，还必须考虑应用场景、用户和业务环境的其他特定风险。

我们建议您采取以下步骤：

  1. 评估应用的安全风险。
  2. 执行适合您应用场景的安全测试。
  3. 根据需要配置安全过滤器。
  4. 收集用户反馈并监控内容。

降低呈现的模型输出（Markdown 和 HTML）带来的风险

如果您的应用在浏览器或界面中自动呈现模型输出（例如 Markdown 或 HTML），您可能会受到间接提示注入和数据渗漏的影响。

为保护您的用户，请执行以下操作：

  • 清理输出：使用严格的 HTML 清理器（例如 DOMPurify）在呈现之前 剥离恶意工件。
  • 强制执行 CSP：使用内容安全政策 (CSP) 标头来阻止外部 图片加载 (img-src) 和不受信任的脚本执行 (script-src)。
  • 控制图片加载：停用外部图片的自动呈现或 要求用户同意。
  • 强化链接：自动将 rel="noopener noreferrer" 附加到 生成的链接。

监控滥用行为

Google Cloud 已创建一些流程，这些流程可用于帮助检测潜在的滥用行为和违反我们与使用生成式 AI 服务相关的条款的行为。 如需详细了解这些流程，以及针对指定为“高级 AI”的模型或功能的更严格要求，请参阅我们的滥用行为监控文档。

举报滥用行为

您可以采用以下表单来举报疑似服务滥用或任何包含不当资料或不准确信息的生成输出：在 上举报疑似滥用行为Google Cloud。

其他资源