Тестируйте LLM и AI‑агентов — впервые из коробки
Aiomant — первые, кто автоматизирует тестирование LLM‑приложений. Проверяйте ответы, промпты и агентов наравне с обычными тестами — без кода.
Проверки для недетерминированных ответов
Мы сравниваем не строку, а смысл — тест не падает из‑за перефразирования.
Ответы и смысл
Соответствие ожиданию по смыслу, наличие ключевых фактов, полнота ответа — без хрупкого сравнения строк.
Контроль галлюцинаций
Проверка, что модель не выдумывает факты и держится в рамках источника и контекста.
Промпты и формат
Регрессия промптов, соблюдение формата (JSON, разметка) и заданного тона общения.
Оценка качества
Критерии качества ответа: релевантность, полнота, безопасность — как настраиваемые проверки.
Сквозные AI‑агенты
LLM‑шаг в том же кейсе, что Web/API — агент проверяется от клика в интерфейсе до содержания ответа.
Регрессия при смене модели
Меняете модель или промпт — прогоняете тот же набор проверок и видите, что изменилось.
Как это работает
Шаг типа LLM добавляется в тест‑кейс так же, как Web‑ или API‑шаг. Вы описываете, что ожидаете от ответа, а Aiomant выполняет проверку по смыслу и фиксирует результат вместе с видео и логом остальных шагов. Так один кейс покрывает весь путь: интерфейс → запрос → ответ модели.
Проверки собираются в конструкторе без кода, а при необходимости расширяются. Это позволяет держать LLM‑тесты рядом с обычными и запускать их в общей регрессии — параллельно и по расписанию.
Вопросы о тестировании LLM
Что именно проверяет Aiomant в ответах LLM?
Соответствие ожиданию по смыслу, отсутствие галлюцинаций, соблюдение формата и тона, а также наличие ключевых фактов. Проверки описываются без кода и добавляются как шаги.
Как тестировать недетерминированные ответы?
Мы сравниваем не строку, а смысл: используем семантические проверки и критерии, устойчивые к вариативности формулировок, поэтому тест не падает из‑за перефразирования.
Можно ли тестировать AI‑агентов целиком?
Да. LLM‑шаг ставится в тот же кейс, что и Web/API‑шаги, поэтому сквозной сценарий с агентом проверяется от клика в интерфейсе до содержания ответа.
Нужно ли писать код для LLM‑тестов?
Нет. Проверки собираются из готовых шагов и критериев в конструкторе, как и остальные тесты в Aiomant.
Готовы автоматизировать тестирование?
Покажем Aiomant на вашем проекте, поможем с on‑premise и перенесём существующие тесты.