Apigee와 Model Armor 통합

Apigee와 Model Armor를 통합하여 AI 애플리케이션의 보안을 강화할 수 있습니다. AI 애플리케이션 앞에 Apigee를 API 게이트웨이로 사용하면 Model Armor의 기능을 사용하여 애플리케이션에 전송된 입력과 수신된 응답을 모두 검사하고 정리할 수 있습니다.

개요

Model Armor 정책을 Apigee API 프록시에 통합하여 AI 애플리케이션의 제어 및 보호를 강화할 수 있습니다. 예를 들어 Apigee를 사용하여 토큰 수준 할당량을 적용하여 사용자 또는 애플리케이션을 일일 최대 토큰 수로 제한할 수 있습니다. 토큰 사용을 정밀하게 제어하려면 LLMTokenQuota 및 PromptTokenLimit을 사용하세요. 이러한 정책은 소비의 갑작스러운 급증을 방지하여 비용을 관리하고, 악용을 중지하고, 트래픽을 안정화하는 데 도움이 됩니다.

제한사항

Model Armor를 Apigee와 통합할 때는 다음 제한사항을 고려하세요.

  • 지역별 사용 가능 여부: 일부 지역에서는 Model Armor를 사용할 수 없습니다. Apigee와 Model Armor가 동일한 리전에서 구성되어 있는지 확인합니다. 서로 다른 리전에서 Apigee와 Model Armor를 구성할 수 있지만 서로 다른 리전을 사용하면 리전 간 네트워크 순회로 인해 지연 시간이 추가로 발생할 수 있습니다. 최적의 성능을 위해 정확히 동일한 리전에서 구성하세요.
  • Quota: 트래픽이 많은 경우 Model Armor의 할당량을 늘려야 할 수 있습니다. 조정을 요청하려면 할당량 조정 요청을 참고하세요. 기본 할당량보다 더 많은 할당량이 필요한 경우 Cloud Customer Care에 문의하세요. 다른 서비스와의 Model Armor 통합과 관련된 할당량에 대한 자세한 내용은 할당량 관리를 참고하세요.
  • 토큰 한도: Model Armor에는 프롬프트와 대답을 처리하기 위한 토큰 한도가 있으며, 이는 필터에 따라 다릅니다. 이러한 한도를 초과하는 콘텐츠는 완전히 검사되지 않을 수 있습니다.

시작하기 전에

작동 방식

통합에서는 두 가지 기본 Apigee 정책을 사용합니다.

  • SanitizeUserPrompt: API 프록시의 요청 흐름에 이 정책을 추가합니다. 모든 수신 요청을 가로채서 AI 애플리케이션에 도달하기 전에 검사를 위해 Model Armor로 전송합니다. 자세한 내용은 SanitizeUserPrompt 정책을 참고하세요.
  • SanitizeModelResponse: 이 정책을 응답 흐름에 추가합니다. AI 애플리케이션의 응답을 가로채고 클라이언트에 응답을 보내기 전에 검사를 위해 Model Armor에 응답을 보냅니다. 자세한 내용은 SanitizeModelResponse 정책을 참고하세요.

Model Armor는 활성 Model Armor 템플릿에 정의된 규칙에 따라 콘텐츠를 평가합니다. Apigee는 조사 결과와 설정된 시정 조치 유형에 따라 요청 또는 응답을 허용, 차단 또는 수정합니다. 요청 또는 응답이 수정된 경우 흐름 변수를 사용하여 수정된 데이터를 추출하고 LLM에 전달합니다.

시작하려면 Apigee 콘솔에서 내장된 Model Armor를 사용한 프록시 프록시 템플릿을 사용하세요. 이 템플릿은 선택적 SanitizeUserPrompt 및 SanitizeModelResponse 구성을 자동으로 추가합니다.

Model Armor 정책으로 Apigee API 프록시 만들기

  1. API 프록시를 배포할 서비스 계정을 만듭니다.
  2. Apigee API 프록시 만들기
  3. SanitizeUserPrompt 및 SanitizeModelResponse XML 수정 Model Armor가 작동하려면 이러한 정책의 XML을 수정해야 합니다.
  4. API 프록시에 Google 인증 추가
  5. API 프록시를 배포합니다.
  6. Model Armor 정책 테스트

구성 및 사용에 대한 자세한 내용은 Apigee Model Armor 정책 시작하기를 참고하세요.