Observer pour mieux travailler.

AI-Brain · Evaluation Engine · 2 / 7

Ce qui est mesuré aujourd’hui

# Depuis le dépôt central
bin/tools eval:usage --since 2026-01-01

• Consommation de tokens par session et par espace de travail.
• Résultats d’outils les plus volumineux et relectures.
• Commandes contournant l’interface attendue.
• Signaux de fiabilité : éditions en échec et refus observés.

L’analyse actuelle s’appuie sur les transcripts locaux Claude Code disponibles. Elle ne constitue pas un tableau de bord universel de tous les assistants. Aucune trace réelle n’est publiée ici.

AI-Brain · Evaluation Engine · 3 / 7

Des observations aux décisions

Trois exemples entièrement fictifs.

• Une documentation est relue en entier : la découper et préciser son routage.
• Une sortie d’outil occupe trop de contexte : borner la sortie ou produire un journal ciblé.
• Une commande est souvent appelée hors routeur : vérifier si une action nommée manque.
• Un refus est fréquent : examiner la règle et son niveau avant de proposer une correction.

Un indicateur suggère une piste à examiner ; il ne suffit pas à désigner automatiquement la cause.

AI-Brain · Evaluation Engine · 4 / 7

Une boucle avec la maintenance

• Observer les usages depuis le dernier passage.
• Mettre les signaux en regard du bilan de santé du cadre.
• Proposer une correction précise : skill, annexe, commande ou règle.
• Appliquer après l’autorisation nécessaire, puis vérifier.
• Observer les sessions suivantes pour confirmer ou revoir l’hypothèse.

Réduire les tokens n’est pas le seul objectif : qualité du résultat et interventions humaines comptent aussi.

AI-Brain · Evaluation Engine · 5 / 7

Comparer les assistants : un objectif

• L’objectif est de comparer réussite, consommation et interventions sur des tâches comparables.
• Il faut définir les mêmes critères et un périmètre reproductible.
• Les différences de contexte et d’outillage doivent rester visibles.
• La comparaison automatisée entre Claude, Codex, Copilot et Mistral reste une évolution prévue.

Aucune commande eval:compare ni classement multi-assistants opérationnel n’est revendiqué dans cette présentation.

AI-Brain · Evaluation Engine · 6 / 7

Exemple : évaluer une amélioration

Scénario fictif, sans données de session.

• Hypothèse : une annexe ciblée évite de recharger toute une documentation.
• Observer des tâches comparables avant et après le changement.
• Comparer le contexte consommé, les erreurs et les interventions.
• Conserver la modification si les résultats s’améliorent sans perte de qualité.
• Documenter la décision dans la règle ou le skill concerné.

AI-Brain · Explorer la suite

Les moteurs se complètent.

Le contexte oriente l’action, la vérification contrôle son résultat et l’évaluation nourrit les améliorations.

Tous les exemples sont génériques ou fictifs. Aucun projet, client, chemin personnel ou relevé d’usage réel n’est présenté.