为您的组织在任何地方部署具有可观察性、AI 安全性和成本控制的 AIapplications。
F5 AI Gateway 使组织能够自信地在任何地方部署 AIapplications。 轻松确保您的 AI 实施的安全性、可扩展性和可靠性。 AI Gateway 检查入站提示和出站响应,以防止意外结果或关键数据泄露。 可定制的 AI 交互观察、保护和管理有助于提高 AIapplications的可用性并简化合规性。
路由流量并限制本地和第三方语言模型的速率,以提高性能、保持可用性并控制成本。
AI Gateway 建立在可移植的微服务架构上,使您能够在构建 AIapplications的任何地方进行部署,为您提供不折不扣的可观察性、安全性和优化。 集成的OpenTelemetry支持提供了所有入站提示和出站答案的可见性,从而让您更好地控制并简化合规工作。
观察并保护托管在 Azure、AWS 和 Google Cloud Platform 上的 AI SLM 和 LLM应用工作负载。 与 NGINX One 集成。
通过 NGINX One 和 BIG-IP 使用 ADC 服务监控并保护数据中心站点的 AI SLM 和 LLM应用工作负载。
通过 NGINX One 和 BIG-IP 使用 ADC 服务保护和观察托管在私有云或共置设施中的 AI SLM 和 LLM 应用工作负载。
通过自动识别和补救入站提示和出站响应来检测和减轻 OWASP LLM Top 10 中列出的风险和合规性要求。
检查 AI 应用的所有入站和出站流量
保护企业资产或客户 PII 数据
身份验证、授权和基于角色的访问控制
连接并路由至 OpenAI、Anthropic、Ollama 等。
将 OpenTelemetry 数据从 F5 AI Gateway 自动导出到 SIEM/SOARapplications以收集指标和跟踪
语义缓存可卸载 SLM 和 LLM 中的重复任务,从而减少令牌消耗并改善用户体验