Observabilité d'une IA en production : le guide
Suivre une IA en production : traces, journaux, coûts et qualité, pour savoir ce qu'elle fait, ce qu'elle coûte et quand elle se dégrade.
Observer une IA en production, c'est savoir ce qu'elle reçoit, ce qu'elle répond, combien de temps elle met, combien elle coûte, et quand elle commence à mal répondre. Un logiciel classique tombe en erreur, ce qui se voit. Une IA peut au contraire continuer à répondre sans aucune erreur technique alors que ses réponses se dégradent. L'observabilité sert à rendre visibles ces deux familles de problèmes.
Les pages de ce site répondent aux questions qu'un responsable technique se pose une fois l'IA en service. Les outils cités sont décrits à partir de leurs pages officielles et de leurs dépôts publics, lus le 15/11/2026. Quand un prix est cité, il a été relevé à cette date et peut avoir changé depuis.
Par où commencer
| Votre question | La page |
|---|---|
| Qu'appelle-t-on observabilité d'une IA ? | Définition, traces et vocabulaire |
| Un outil précis, à quel prix ? | Langfuse, licence et offres |
| Quel outil choisir, selon la licence et l'hébergement ? | Comparatif de trois outils |
| Que garder des conversations, et combien de temps ? | Journaliser les conversations et le RGPD |
| Comment suivre les tokens et les erreurs de l'API ? | Tokens, erreurs et limites de débit |
| Quels signaux déclencher une alerte ? | Six signaux à surveiller |
| Comment recueillir l'avis des utilisateurs ? | Pouce, retours et traces |
| Un modèle a été remplacé, que vérifier ? | Dérive après une mise à jour |
| Quels outils libres et leurs licences ? | Observabilité open source |
| Comment suivre un agent qui appelle des outils ? | Tracer un agent IA |
| Comment documenter un incident ? | Journal d'incident |
Ce qu'on observe en pratique
- Les traces : une requête de bout en bout, avec chaque appel au modèle, chaque recherche documentaire et chaque outil utilisé.
- Les journaux : des événements datés, dont les erreurs et les codes renvoyés par l'API.
- Les coûts : le nombre de tokens consommés par requête et par modèle, converti en dépense.
- La qualité : des scores donnés par une personne, par un autre modèle ou par les utilisateurs, rattachés à la trace concernée.
Ces quatre familles se complètent. Une hausse de coût sans hausse de trafic peut venir d'une réponse qui s'allonge. Une baisse de qualité sans erreur peut venir d'un modèle remplacé par son éditeur. Les pages suivantes détaillent chacune de ces situations.
Qui édite ce site
Cercle IA Tech est édité par IArche, à Bayonne, qui édite aussi ALMA, une plateforme pour créer des agents IA alimentés par vos documents : l'agent répond aux questions à partir de vos PDF et de vos pages web. ALMA n'est pas un outil d'observabilité et n'est pas comparé sur ce site. Les outils cités ici ne sont pas édités par IArche ; leurs caractéristiques et leurs prix ont été relevés sur leurs pages officielles le 15/11/2026.
Toutes les pages
Guides
- Alerte sur une IA en production : six signaux à suivre
Six signaux à surveiller sur une IA en production : erreurs, latence, refus, coût, longueur, retours. Seuils à fixer soi-même, sans chiffre de référence.
- Changement de modèle IA : dérive et jeu de contrôle
Les éditeurs retirent des modèles d'IA à date fixe : dates relevées le 15/11/2026 chez Anthropic et OpenAI, et comment repérer une dérive.
- Journal d'incident d'une IA : trame de post-mortem
Documenter un incident d'IA en production : chronologie, cause, correction, prévention. Une trame écrite pour ce site, avec les identifiants à conserver.
- Journaliser les conversations d'une IA : RGPD et durée
Quoi garder d'une conversation avec une IA, pendant combien de temps, qui y accède et comment pseudonymiser. Repères de la CNIL sur la conservation.
- Retours utilisateurs sur une IA : pouce et traces
Recueillir le pouce levé ou baissé sur une réponse d'IA et le relier à sa trace. Ce que Langfuse propose, d'après sa documentation lue le 15/11/2026.
- Tokens et erreurs d'API : ce qu'il faut suivre
Compter les tokens d'une requête, lire les codes d'erreur 429 et 529 et les limites de débit, d'après la documentation d'Anthropic et d'OpenAI.
- Tracer un agent IA : étapes, outils et coûts
Ce qu'il faut tracer dans un agent IA : chaque appel au modèle, chaque outil appelé, les étapes et les coûts. Méthode d'après Langfuse et Phoenix.
Comparatifs
- Observabilité LLM open source : licences et hébergement
Trois projets d'observabilité LLM comparés sur leur licence, leur auto-hébergement et leurs déploiements, d'après les dépôts GitHub lus le 15/11/2026.
- Outils d'observabilité LLM : Langfuse, LangSmith, Helicone
Comparatif de trois outils d'observabilité LLM : licence, hébergement, prix affichés relevés le 15/11/2026 et ce qui est dit des intégrations.
Fiches
- Arize Phoenix : fonctions, licence et installation
Arize Phoenix : traçage, évaluation, licence Elastic 2.0 et installation par pip, Docker ou Helm, d'après le dépôt GitHub lu le 15/11/2026.
- Langfuse : fonctions, licence, hébergement et prix
Langfuse : traces, coûts, scores, licence MIT hors dossiers ee et auto-hébergement. Offres et prix affichés relevés le 15/11/2026.
Définitions
- Observabilité d'un LLM : définition et vocabulaire
Traces, spans, métriques et journaux appliqués à une IA : ce que suit l'observabilité d'un modèle de langage, et ce qui la rend différente.