AI-OPS – surveillance et gestion de l’IA en production

Les systèmes d’IA se comportent différemment des logiciels classiques. Les fournisseurs mettent à jour leurs modèles, les données évoluent, les utilisateurs posent des questions inattendues et les coûts augmentent sans qu’on s’en aperçoive. L’AI-OPS est la discipline qui garde tout cela sous contrôle.

Ce que nous surveillons

• Disponibilité – les agents fonctionnent-ils, les API des fournisseurs répondent-elles, y a-t-il des erreurs.
• Qualité – exactitude des réponses, taux de tâches réussies, cas d’« hallucination », retours des utilisateurs.
• Vitesse – temps de réponse et goulots d’étranglement.
• Coûts – consommation par agent, service et tâche ; anomalies ; prévisions.
• Sécurité – tentatives de manipulation (prompt injection), fuites de données, comportements inhabituels.

Ce que nous faisons

Évaluations (evals)

Un ensemble de scénarios de test exécutés automatiquement à chaque changement de modèle, d’instructions ou de données – pour s’assurer qu’une amélioration à un endroit n’a pas dégradé autre chose.

Optimisation

Choix du bon modèle pour chaque tâche, cache, raccourcissement des instructions, traitement par lots – souvent avec une baisse significative des coûts à qualité égale.

Mise à jour des modèles

Quand un fournisseur publie un nouveau modèle ou en retire un ancien, nous testons et migrons de façon maîtrisée.

Mise à jour des connaissances

Actualisation de la base de connaissances sur laquelle s’appuient les assistants quand les prix, produits et règles changent.

Réponse aux incidents

Alertes vers un spécialiste d’astreinte, désactivation rapide ou retour à la version précédente, analyse de la cause.

Rapports

Un rapport mensuel avec les indicateurs de qualité, de disponibilité et de coûts, les améliorations réalisées et les recommandations.