Observabilité d'un LLM : définition et vocabulaire

L'observabilité, c'est la capacité à savoir ce qu'un système fait à partir des données qu'il émet. Appliquée à un grand modèle de langage (LLM), elle répond à cinq questions : que lui a-t-on demandé, que répond-il, avec quel modèle, en combien de temps, et à quel coût.

Le vocabulaire de base

• Trace : l'historique complet d'une requête, de la question reçue à la réponse finale. Langfuse la décrit comme des journaux structurés de chaque requête.
• Span, ou observation : une étape à l'intérieur d'une trace. Un appel au modèle, une recherche dans des documents ou l'exécution d'un outil sont chacun une étape, avec son début, sa durée, ses entrées et ses sorties. Langfuse parle d'observations ; Arize Phoenix, bâti sur OpenTelemetry, parle de traces et d'étapes instrumentées.
• Métrique : une mesure agrégée dans le temps, comme le nombre d'appels par heure, la latence moyenne ou le nombre de tokens consommés par jour.
• Journal : un enregistrement daté d'un événement précis, comme une erreur renvoyée par l'API.

Ce qui change avec un modèle de langage

Un logiciel classique reçoit des champs bien définis. Un LLM reçoit et renvoie du texte libre, ce qui change trois choses.

1. Le contenu est la donnée. Tracer une requête, c'est souvent tracer le texte tapé par un utilisateur. Ce texte peut contenir des données personnelles, d'où les questions de conservation traitées dans journaliser les conversations et le RGPD.
2. Le coût se compte en tokens. Un token est une petite unité de texte que le modèle lit et écrit. Anthropic indique que ses modèles Claude 4.7 et ultérieurs utilisent un tokenizer qui produit environ 30 % de tokens en plus pour un même texte, selon le contenu. Un même prompt ne coûte donc pas le même prix d'un modèle à l'autre.
3. Une réponse fausse ne fait pas d'erreur technique. L'API répond correctement, avec un code de réussite, même si le contenu est faux. Il faut donc une mesure de qualité distincte : des scores donnés par une personne, par un autre modèle ou par les utilisateurs, rattachés à la trace concernée. Langfuse décrit cette démarche sous le nom de scores, et distingue les notes saisies à la main, les évaluations automatiques de type LLM-as-a-Judge et les retours des utilisateurs finaux.

Un quatrième point tient au fournisseur. Le modèle que vous appelez aujourd'hui peut être retiré par son éditeur à une date annoncée. Une bonne observabilité garde la trace du nom exact du modèle utilisé pour chaque réponse, ce qui permet de voir un changement de comportement au moment où il se produit. C'est le sujet de dérive d'un modèle après une mise à jour.

Ce qu'une trace contient en général

Selon la documentation de Langfuse, une trace d'un LLM contient le prompt exact envoyé au modèle, la réponse, les paramètres du modèle, l'usage des tokens, le coût et la latence de chaque requête. Pour un agent qui appelle des outils, chaque appel d'outil devient une observation de plus. Le détail pour un agent est dans tracer un agent IA.

À retenir

• L'observabilité relie une réponse à la question, au modèle, au coût et à la durée qui l'ont produite.
• Une trace regroupe des étapes ; un journal garde un événement ; une métrique mesure une tendance.
• La qualité ne se lit pas dans les codes d'erreur : elle demande des scores ou des retours.