Блог Aiomant

Классический автотест ждёт точного совпадения. Ответ языковой модели каждый раз немного другой, поэтому мы проверяем не строку, а смысл: соответствие ожиданию, отсутствие галлюцинаций, соблюдение формата и тона.

Шаг типа LLM ставится в тот же кейс, что и обычные Web/API‑шаги, поэтому end‑to‑end сценарий с AI‑агентом проверяется целиком — от клика в интерфейсе до содержания ответа.

No‑code снимает главный барьер — писать и поддерживать тесты может любой участник команды. Устойчивые локаторы и переиспользуемые «Экраны» решают проблему хрупкости.

Код остаётся доступен как расширение: когда сценарию нужна сложная логика, вы добавляете её шагом, не переписывая весь тест.

Ожидания вместо пауз, изоляция данных, повтор только для сетевых шагов, стабильные локаторы и автоматическая отметка flaky по истории — вместе это заметно повышает pass‑rate.

Aiomant подсвечивает нестабильные тесты автоматически, опираясь на историю прогонов.

Данные и секреты остаются внутри вашей инфраструктуры. Нужны Docker и доступ к БД; агенты подключаются отдельно и масштабируются под нагрузку.

Обновления — через смену тега образа, без простоя для команды.

Начали с импорта существующих чек‑листов, записали ключевые сценарии кликами и подключили ночные прогоны по расписанию. Через две недели регрессия из ручной стала автоматической.

Live‑экран устройства виден прямо в интерфейсе во время прогона. Параллельный запуск на пуле устройств сокращает время регрессии в разы.