AI-OPS – Überwachung und Betrieb von KI in der Produktion

KI-Systeme verhalten sich anders als klassische Software. Anbieter aktualisieren ihre Modelle, Daten ändern sich, Nutzer stellen unerwartete Fragen, und die Kosten steigen unbemerkt. AI-OPS ist die Disziplin, die all das unter Kontrolle hält.

Was wir überwachen

• Verfügbarkeit – laufen die Agenten, antworten die APIs der Anbieter, treten Fehler auf.
• Qualität – Genauigkeit der Antworten, Anteil erfolgreich erledigter Aufgaben, „Halluzinationen“, Nutzerfeedback.
• Geschwindigkeit – Antwortzeiten und Engpässe.
• Kosten – Verbrauch pro Agent, Abteilung und Aufgabe; Anomalien; Prognosen.
• Sicherheit – Manipulationsversuche (Prompt Injection), Datenlecks, ungewöhnliches Verhalten.

Was wir tun

Bewertungen (Evals)

Ein Satz von Testszenarien, der bei jeder Änderung von Modell, Anweisungen oder Daten automatisch läuft – damit eine Verbesserung an einer Stelle nichts anderswo verschlechtert.

Optimierung

Auswahl des passenden Modells für jede Aufgabe, Caching, kürzere Anweisungen, Stapelverarbeitung – oft mit deutlicher Kostensenkung bei gleicher Qualität.

Modellwechsel

Bringt ein Anbieter ein neues Modell heraus oder stellt ein altes ein, testen und migrieren wir kontrolliert.

Wissenspflege

Aktualisierung der Wissensbasis, auf die sich die Assistenten stützen, wenn sich Preise, Produkte und Regeln ändern.

Reaktion auf Vorfälle

Alarme an einen Bereitschaftsspezialisten, schnelles Abschalten oder Rückkehr zur vorherigen Version, Ursachenanalyse.

Berichte

Ein Monatsbericht mit Kennzahlen zu Qualität, Verfügbarkeit und Kosten, den durchgeführten Verbesserungen und Empfehlungen.