Amazon Web Services выпустила бесплатный инструмент, который проверяет, стал ли ИИ-агент лучше или хуже после внесённых изменений. Universal Agent Evaluation Framework (UAEF) распространяется с открытым исходным кодом, сообщила AWS в среду в публикации в блоге.
ИИ-агентов создают с помощью разных программных наборов, таких как LangGraph, LangChain, Strands Agents и Amazon Bedrock AgentCore. Каждый из них записывает шаги агента в собственном формате. Из-за этого командам часто приходится заново выстраивать тестирование при каждой смене инструментов.
UAEF преобразует эти записи в единый общий формат, а затем оценивает агента по 36 показателям в семи областях. Среди них — насколько хорошо агент выбирает и использует инструменты, качество его ответов, безопасность, скорость, а также то, как он справляется с длинными диалогами или совместной работой с другими агентами. Одни оценки вычисляются напрямую, другие выставляет вторая ИИ-модель на Amazon Bedrock.
Команды могут сохранять каждый тестовый прогон и сравнивать его с предыдущим. Любой показатель, снизившийся более чем на 5%, помечается как регрессия и классифицируется как незначительная, умеренная или серьёзная. По словам AWS, 12 организаций в сферах телекоммуникаций, здравоохранения и финансовых услуг уже использовали UAEF для сравнения версий агентов перед выпуском.
Инструмент бесплатен, однако оценка с помощью ИИ-судей и сохранение результатов зависят от сервисов AWS. Кроме того, AWS предупреждает, что UAEF не следует использовать для принятия решений в области безопасности.
Добиться надёжной работы агентов по-прежнему непросто. AWS сообщала, что почти 90% прототипов, созданных Amazon два года назад, так и не были выпущены. Стартапы вроде Raindrop привлекают деньги, чтобы выявлять сбои агентов в рабочей среде.
Исследователи также показали, что с помощью одного промпта можно перехватить управление агентами AgentCore, однако AWS это оспорила.
Опубликовано 11 ноября 2026 - 09:27 Наверх



