Коротко
Традиционные инструменты наблюдаемости создавались для детерминированных систем и опираются на известные паттерны сбоев, такие как коды ошибок HTTP. Однако ИИ-агенты могут успешно завершать задачу, выдавая при этом неверный результат: существующие системы мониторинга фиксируют успех, в то время как бизнес сталкивается с неудачей. Роберт Хоммес (Robert Hommes), основатель компании Moyai, выступает за обнаружение аномалий в первую очередь: нужно находить отклонения, а затем определять, являются ли они ошибкой, вместо того чтобы гоняться за каждым новым сбоем с помощью очередного правила.
Стремительное внедрение ИИ-агентов меняет архитектуру работы организаций. Агенты способны интерпретировать информацию, принимать решения, взаимодействовать с корпоративными системами и выполнять задачи с такой степенью автономности, которая раньше требовала участия человека. Эта автономность открывает значительные возможности для повышения эффективности, но в то же время порождает фундаментальную проблему, на решение которой никогда не были рассчитаны традиционные подходы к мониторингу.
Для Роберта Хоммеса, основателя компании Moyai, главный вопрос заключается уже не просто в том, способен ли ИИ-агент выполнить задачу. Важно, может ли организация с уверенностью определить, что задача была выполнена правильно.
«Самый опасный пример использования ИИ-агента — это когда он успешно завершает задачу, но при этом выдает неверный результат, — говорит Хоммес. — Агенты отличаются от традиционного ИИ, известного нам по чат-ботам, тем, что у них есть инструменты, и эти инструменты обычно подключены к внутренним бизнес-системам. Любое некорректное использование таких систем, которое не зафиксировано должным образом или о котором не сообщается, может создать огромную разницу между тем, что, по вашему мнению, происходит, и тем, что происходит на самом деле.»
Это различие приобретает особую важность, когда агенты получают полномочия принимать решения или инициировать действия, имеющие финансовые или операционные последствия.
Хоммес поясняет: «Представьте себе агента по закупкам, которому поручено купить определенный сорт кофейных зерен. Агент успешно связывается с системой закупок, но при этом постоянно передает неверные параметры товара. В то же время он сверяет данные запасов или закупок с другой категорией продуктов. С точки зрения мониторинга традиционной инфраструктуры система может функционировать нормально. Однако с точки зрения бизнеса агент стабильно выдает неверный результат.»
Это расхождение может стать критическим еще до того, как его заметят. Похожая проблема может возникнуть в сфере обслуживания клиентов авиакомпаний. Агент может сообщить застрявшему в аэропорту пассажиру, что билет перебронирован, создавая у него уверенность в подтверждении брони. Если базовая транзакция так и не прошла успешно, клиент узнает о проблеме только по прибытии в аэропорт.
Подобные сценарии иллюстрируют зарождающуюся категорию сбоев, на которую обращает внимание Хоммес. Проблема не обязательно заключается в том, что система выдает явную ошибку. Проблема в том, что состояние, отраженное в трассировке агента, системах мониторинга организации и реальном состоянии бизнеса, может расходиться.
Традиционная наблюдаемость предоставляет мощные механизмы для выявления явных технических сбоев. Простым примером служат статусы HTTP. Ответы в диапазоне 400 указывают на проблему с запросом, а в диапазоне 500 — на проблему на стороне сервера. Ответ 200 обычно означает, что запрос был успешно обработан. ИИ-агенты могут поставить под сомнение это предположение.
Хоммес говорит: «У нас нет кода ошибки, который бы гласил: «Я дошел до эндпоинта, запросил его с неверным параметром и получил не то, что мне было нужно». Технически ничего не падает, но это не работает.»
Таким образом, агент может сделать корректный запрос, получить корректный ответ и тем не менее принять неверное решение. Инфраструктура регистрирует успешное взаимодействие, в то время как бизнес терпит неудачу. Это создает проблему надежности, которую невозможно решить простым сбором дополнительных традиционных технических сигналов.
Вполне закономерно, что организации отреагировали на это внедрением дополнительных средств защиты. Архитектуры с участием человека (human-in-the-loop) могут требовать от сотрудников одобрения важных действий. Корпоративные системы могут отслеживать расходы, объемы транзакций и другие показатели материального воздействия. Зрелые компании также могут устанавливать контроли, не позволяющие агенту выходить за рамки четко определенных границ.
Хоммес считает эти механизмы ценными, особенно потому, что они обеспечивают уровни защиты вокруг автономных систем. И все же они не устраняют основную проблему. Мониторинг существенного влияния на бизнес часто означает ожидание момента, когда последствия станут достаточно масштабными, чтобы их можно было зафиксировать.
«Как только влияние станет ощутимым, вы это увидите, но будет уже поздно, — отмечает Хоммес. — Последствия уже наступили. Ситуация должна была ухудшиться, прежде чем вы ее заметили.»
Более глубокая проблема связана с тем, как организации подходят к неизвестным типам сбоев. Традиционная наблюдаемость обычно строится вокруг известных паттернов. Когда происходит конкретный сбой, команды выявляют закономерность и разрабатывают правило, способное обнаружить ее в будущем. Такая методология может эффективно работать в детерминированных средах, где поведение системы относительно предсказуемо.
ИИ-агенты привносят большую вариативность. Их решения могут зависеть от контекста, входных данных, взаимодействия с инструментами и интерпретаций, которые трудно перечислить заранее. Организация может бесконечно добавлять правила для ранее наблюдавшихся сбоев, оставаясь при этом уязвимой к поведению, с которым она еще никогда не сталкивалась.
Хоммес описывает этот процесс как «игру в крота» (whack-a-mole). Каждая новая ошибка порождает очередное правило, в то время как следующий неожиданный сбой остается за рамками существующей структуры. «Если вы проверяете недетерминированную систему с помощью правил, вы играете в «убей крота», — говорит он. — — Вы всегда пытаетесь найти следующую проблему и всегда будете немного опаздывать.»
Альтернатива, по мнению Хоммеса, заключается в изменении отправной точки для обнаружения проблем. Вместо того чтобы пытаться определить каждый возможный способ сбоя агента, организации могут сначала выявлять необычное поведение, а затем определять, является ли это отклонение реальной проблемой.
«Если мы хотим находить неизвестные неизвестные или подобные паттерны сбоев, лучше всего искать то, что отличается от нормы, — говорит Хоммес. — Большинство систем обладают определенной полезностью. Большая часть того, что делает система — это хорошо. Поэтому если мы сначала посмотрим на то, что отличается, а затем определим, является ли это отличие ошибкой, мы получим гораздо лучшую динамику обнаружения.»
Это отражает более масштабный сдвиг в том, как организации должны подходить к наблюдаемости. Хоммес утверждает, что модели мониторинга, разработанные для детерминированных систем, нельзя просто перенести на автономные агенты без переосмысления.
«Надежность программного обеспечения и наблюдаемость очень тесно связаны с детерминированными системами и с тем, как мы работали в прошлом, — говорит он. — Поскольку мы меняем методы работы из-за функционала, предоставляемого агентами, мы должны задаться вопросом, способны ли системы, которые мы использовали раньше, осуществлять мониторинг этих новых систем. Моя точка зрения заключается в том, что не способны, потому что агенты дают сбои по-другому, в том числе способами, о которых мы не знали и для обнаружения которых эти системы мониторинга никогда не разрабатывались.»
По мнению Хоммеса, решение заключается в том, чтобы рассматривать надежность ИИ-агентов как отдельную дисциплину и, в конечном счете, как новую категорию продуктов. Непрерывный поведенческий анализ может дополнить существующую наблюдаемость, надзор со стороны человека и средства контроля на уровне систем за счет выявления отклонений до того, как они приведут к существенным последствиям.
Цель состоит не в том, чтобы устранить каждую возможную аномалию. Цель — сделать значимые аномалии видимыми достаточно рано, чтобы организации могли понять их и устранить.
Опубликовано 7 сентября 2026 - 10:24 Наверх
