AI-OPS – мониторинг и управление на AI в продукция

AI системите се държат различно от класическия софтуер. Моделите се обновяват от доставчиците, данните се променят, потребителите задават неочаквани въпроси, а разходите растат незабелязано. AI-OPS е дисциплината, която държи всичко това под контрол.

Какво следим

• Наличност – работят ли агентите, отговарят ли API-тата на доставчиците, има ли грешки.
• Качество – точност на отговорите, процент на успешно изпълнени задачи, случаи на „халюцинации“, обратна връзка от потребителите.
• Скорост – време за отговор и тесни места.
• Разходи – потребление по агент, отдел и задача; аномалии; прогнози.
• Сигурност – опити за манипулация (prompt injection), изтичане на данни, необичайно поведение.

Какво правим

Оценки (evals)

Набор от тестови сценарии, които се изпълняват автоматично при всяка промяна на модел, инструкции или данни – за да е сигурно, че подобрението на едно място не е влошило друго.

Оптимизация

Избор на правилния модел за всяка задача, кеширане, съкращаване на инструкциите, пакетна обработка – често със значително намаление на разходите при същото качество.

Обновяване на моделите

Когато доставчик пусне нов модел или спре стар, тестваме и мигрираме контролирано.

Поддръжка на знанията

Актуализиране на базата знания, на която отговарят асистентите, при промяна на цени, продукти и правила.

Реакция при инцидент

Аларми към дежурен специалист, бързо изключване или връщане към предишна версия, анализ на причината.

Отчети

Месечен отчет с показателите за качество, наличност и разходи, извършените подобрения и препоръките.