Consulta los recursos de IA con la Supervisión de la aplicación

En este documento, se describe cómo ver la telemetría de los recursos de IA que usan tus aplicaciones, servicios y cargas de trabajo registrados en App Hub.

Para generar métricas como la tasa de errores, la latencia y el uso de tokens, la Supervisión de aplicaciones consulta tus datos de seguimiento en busca de etiquetas específicas de la aplicación y eventos que sigan las convenciones semánticas de OpenTelemetry GenAI. Estas métricas cuantifican el estado, el rendimiento y el costo de tus recursos de IA, y están disponibles como datos agregados para las aplicaciones o como datos detallados para servicios y cargas de trabajo individuales.

En el siguiente panel, se muestra la información de los recursos de IA para una aplicación registrada:

Es un panel que muestra información sobre los recursos de IA.

Antes de comenzar

Los procedimientos de este documento requieren un Google Cloud proyecto con recursos de IA activos para analizar. También requieren que tus recursos de IA estén asociados con aplicaciones, servicios y cargas de trabajo registrados en App Hub. La Supervisión de aplicaciones necesita datos de telemetría y seguimiento para producir resultados significativos.

Configura roles, APIs y la Supervisión de aplicaciones

  1. Completa los pasos definidos en Investiga aplicaciones, servicios y cargas de trabajo: Antes de comenzar.

  2. Habilita las APIs de Observability, Cloud Trace y Telemetry.

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén información para otorgar roles.

    Habilitar las API

  3. Para obtener los permisos que necesitas para ver la información de uso de los recursos de IA, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Desarrolla y registra aplicaciones, servicios y cargas de trabajo

Para mostrar datos de los recursos de IA que usan tus aplicaciones, servicios y cargas de trabajo , tus datos de seguimiento deben contener etiquetas y eventos específicos de la aplicación que sigan las convenciones semánticas de OpenTelemetry GenAI. Para obtener estas etiquetas, completa los siguientes pasos:

  1. Registra tu aplicación y sus servicios y cargas de trabajo en App Hub.
  2. Usa el framework del Kit de desarrollo de agentes (ADK) o instrumenta tu aplicación con OpenTelemetry y envía tus datos de seguimiento a la API de Telemetry. Para obtener muestras de instrumentación, consulta Instrumenta aplicaciones de ADK con OpenTelemetry y Descripción general de las muestras de instrumentación basadas en el colector.

Visualiza los recursos de IA para una aplicación

Para ver los recursos de IA asociados con una aplicación, haz lo siguiente:

  1. En la Google Cloud consola de, ve a la página Supervisión de aplicaciones:

    Ir a Supervisión de aplicaciones

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

  2. En la barra de herramientas de la Google Cloud consola de, selecciona tu App Hub proyecto host o de administración.

  3. Selecciona la pestaña Aplicaciones y, luego, la aplicación de la lista.

  4. Selecciona la pestaña Paneles.

  5. En el índice del panel, selecciona Recursos de IA.

    El sistema crea la entrada Recursos de IA cuando tienes al menos un agente de IA asociado con tu aplicación que está activo. Si no tienes ningún agente o todos están inactivos, la opción no aparece en la lista.

El panel va a la sección Recursos de IA, que muestra información como la siguiente:

  • Consultas totales por segundo y recuento de tokens
  • Tasa promedio de errores, latencia y tasa de errores de llamadas a herramientas
  • Uso de tokens
  • Tasas de errores y latencia para agentes

Visualiza los recursos de IA para un servicio o una carga de trabajo

Para ver los recursos de IA asociados con un servicio o una carga de trabajo, haz lo siguiente:

  1. Abre el panel del servicio o la carga de trabajo:

    1. En la Google Cloud consola de, ve a la página Supervisión de aplicaciones:

      Ir a Supervisión de aplicaciones

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

    2. Selecciona la pestaña Servicios y cargas de trabajo y, luego, el servicio o la carga de trabajo.

    Se abrirá el panel del servicio o la carga de trabajo. En la Tabla de contenido , se enumeran las secciones del panel, que pueden depender del tipo de recurso de IA.

  2. Para ir a la sección del panel con información sobre tus recursos de IA, usa el índice del panel:

    • Agente: Disponible para agentes. En esta sección, se muestra información sobre las sesiones, las invocaciones de agentes y el uso de tokens.

    • Herramientas: Disponible para agentes. En esta sección, se muestra información sobre las llamadas a herramientas, incluida la tasa de errores, el recuento de llamadas y la latencia P95.

    • Modelos: Disponible para algunos agentes. En esta sección, se muestra información sobre la cantidad de llamadas a modelos realizadas por el agente, la tasa de errores y el uso de tokens.

Explora la telemetría

Las consultas en SQL en tus datos de seguimiento determinan los datos que se muestran en los gráficos de recursos de IA. Estas consultas filtran los datos de seguimiento por etiquetas específicas de la aplicación y eventos de IA generativa que siguen las convenciones semánticas de OpenTelemetry GenAI.

Para ver la consulta de un gráfico, en la barra de herramientas del gráfico, selecciona Más opciones del gráfico y, luego, Explorar en Estadísticas de observabilidad.

Se abrirá Estadísticas de observabilidad y se mostrará la consulta en SQL que genera datos para el gráfico. Tienes las siguientes opciones:

  • Inspecciona la consulta y, luego, vuelve a Supervisión de aplicaciones.
  • Ejecuta la consulta.
  • Modifica la consulta y, luego, ejecuta la consulta modificada.
  • Crea un gráfico que muestre el resultado de la consulta.
  • Guarda un gráfico que muestre el resultado de la consulta en un panel personalizado.

Para obtener más información, consulta los siguientes documentos: