Ce document explique comment afficher la télémétrie des ressources d'IA utilisées par vos applications, services et charges de travail enregistrés dans App Hub.
Pour générer des métriques telles que le taux d'erreur, la latence et l'utilisation de jetons, Application Monitoring interroge vos données de trace pour obtenir des libellés et des événements spécifiques à l'application qui suivent les conventions sémantiques OpenTelemetry pour l'IA générative. Ces métriques quantifient l'état, les performances et le coût de vos ressources d'IA. Elles sont disponibles sous forme de données agrégées pour les applications ou de données précises pour les services et charges de travail individuels.
Le tableau de bord suivant affiche les informations sur les ressources d'IA pour une application enregistrée :
Avant de commencer
Les procédures décrites dans ce document nécessitent un projet Google Cloud avec des ressources d'IA actives à analyser. Ils exigent également que vos ressources d'IA soient associées à des applications, des services et des charges de travail enregistrés dans App Hub. La surveillance des applications a besoin de données de télémétrie et de trace pour produire des résultats pertinents.
Configurer les rôles, les API et la surveillance des applications
- Suivez les étapes décrites dans Examiner les applications, les services et les charges de travail : avant de commencer.
-
Activez les API Observability, Cloud Trace et Telemetry.
Rôles requis pour activer les API
Pour activer les API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation grâce au rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation grâce au rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles. -
Pour obtenir les autorisations nécessaires pour afficher les informations sur l'utilisation des ressources d'IA, demandez à votre administrateur de vous accorder les rôles IAM suivants :
- Lecteur Observabilité (
roles/observability.viewer) sur votre projet - Accesseur de vue d'observabilité (
roles/observability.viewaccessor) sur les vues d'observabilité que vous souhaitez interroger. Vous pouvez limiter cette autorisation à une vue spécifique.
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
- Lecteur Observabilité (
Développer et enregistrer des applications, des services et des charges de travail
Pour afficher les données des ressources d'IA utilisées par vos applications, services et charges de travail, vos données de trace doivent contenir des libellés et des événements spécifiques à l'application qui suivent les conventions sémantiques OpenTelemetry pour l'IA générative. Pour obtenir ces libellés, procédez comme suit :
- Enregistrez votre application, ainsi que ses services et charges de travail, auprès d'App Hub.
- Utilisez le framework Agent Development Kit (ADK) ou instrumentez votre application avec OpenTelemetry et envoyez vos données de trace à l'API Telemetry. Pour obtenir des exemples d'instrumentation, consultez Instrumenter des applications ADK avec OpenTelemetry et Présentation des exemples d'instrumentation basés sur le collecteur.
Afficher les ressources d'IA pour une application
Pour afficher les ressources d'IA associées à une application, procédez comme suit :
-
Dans la console Google Cloud , accédez à la page Surveillance des applications :
Accéder à Surveillance des applications
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.
Dans la barre d'outils de la console Google Cloud , sélectionnez votre projet hôte App Hub ou votre projet de gestion.
Sélectionnez l'onglet Applications, puis sélectionnez l'application dans la liste.
Sélectionnez l'onglet Tableaux de bord.
Dans la table des matières du tableau de bord, sélectionnez Ressources d'IA.
Le système crée l'entrée Ressources d'IA lorsque vous avez au moins un agent d'IA actif associé à votre application. Si vous n'avez aucun agent ou si tous les agents sont inactifs, l'option ne s'affiche pas.
Le tableau de bord accède à la section Ressources d'IA, qui affiche des informations telles que les suivantes :
- Nombre total de requêtes par seconde et nombre de jetons.
- Taux d'erreur moyen, latence et taux d'erreur d'appel d'outil.
- Utilisation des jetons.
- Taux d'erreur et latence des agents.
Afficher les ressources d'IA pour un service ou une charge de travail
Pour afficher les ressources d'IA associées à un service ou à une charge de travail, procédez comme suit :
Ouvrez le tableau de bord du service ou de la charge de travail :
-
Dans la console Google Cloud , accédez à la page Surveillance des applications :
Accéder à Surveillance des applications
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.
Sélectionnez l'onglet Services et charges de travail, puis sélectionnez le service ou la charge de travail.
Le tableau de bord du service ou de la charge de travail s'ouvre. La table des matières liste les sections du tableau de bord, qui peuvent dépendre du type de ressource d'IA.
-
Pour accéder à la section du tableau de bord contenant des informations sur vos ressources d'IA, utilisez la table des matières du tableau de bord :
Agent : disponible pour les agents. Cette section affiche des informations sur les sessions, les appels d'agents et l'utilisation de jetons.
Outils : disponibles pour les agents. Cette section affiche des informations sur les appels d'outils, y compris le taux d'erreur, le nombre d'appels et la latence P95.
Modèles : disponibles pour certains agents. Cette section affiche des informations sur le nombre d'appels de modèle effectués par l'agent, le taux d'erreur et l'utilisation de jetons.
Explorer la télémétrie
Les requêtes SQL exécutées sur vos données de trace déterminent les données affichées dans les graphiques de ressources d'IA. Ces requêtes filtrent les données de trace par libellés spécifiques à l'application et par événements d'IA générative qui suivent les conventions sémantiques OpenTelemetry pour l'IA générative.
Pour afficher la requête d'un graphique, dans la barre d'outils du graphique, sélectionnez more_vert Autres options du graphique, puis Explorer dans Observability Analytics.
Observability Analytics s'ouvre et affiche la requête SQL qui génère les données du graphique. Vous avez plusieurs options :
- Inspectez la requête, puis revenez à la surveillance des applications.
- Exécutez la requête.
- Modifiez la requête, puis exécutez-la.
- Créez un graphique affichant le résultat de la requête.
- Enregistrez un graphique affichant le résultat de la requête dans un tableau de bord personnalisé.
Pour en savoir plus, consultez les documents suivants :