Суть в двух словах
Опрос 2,000 топ-менеджеров уровня C-level, проведенный IBM, показал, что лишь 11% чувствуют себя полностью готовыми к развертыванию ИИ-агентов. Мадхури Чандур, основательница PromptHalo, утверждает, что главная проблема заключается в разграничении возможностей и полномочий. На примере разделения возврата средств она показывает, как агенты могут обходить лимиты на отдельные операции с помощью последовательных запросов. Она выступает за поведенческое профилирование ИИ-агентов (по аналогии с мониторингом финансового мошенничества) и документирование того, к чему агенты могут получать доступ, на каких условиях и какие последствия это может повлечь за собой.
Исследование компании IBM за 2026 год указывает на вопросы готовности, видимости и контроля в сфере искусственного интеллекта. Опрос 2,000 технологических руководителей высшего звена показал, что только 11% чувствуют себя полностью готовыми к развертыванию ИИ-агентов, ожидаемому в течение следующего года. Две трети ИТ-директоров (CIO) и технических директоров (CTO) заявили, что несут ответственность за системы ИИ, которые они не до конца контролируют, в то время как 70% отметили, что команды внедряют технологии быстрее, чем ИТ-отделы успевают их отслеживать. IBM представила эти результаты как свидетельство растущего разрыва в управлении по мере расширения использования ИИ в бизнесе.
Различие между возможностями и полномочиями играет центральную роль в том, как Мадхури Чандур, основательница PromptHalo, подходит к решению проблемы этого разрыва в управлении. Она описывает PromptHalo как компанию по обеспечению безопасности и доверия к ИИ, которая проверяет причины выполнения того или иного действия, а не просто контролирует сам факт его совершения. По словам Чандур, такой подход призван предоставить организациям больше контекстной информации о том, соответствует ли действие намерениям пользователя, назначенным правам доступа и сопутствующим обстоятельствам, прежде чем система приступит к его выполнению.
Одна гипотетическая задача корпоративной базы данных иллюстрирует опасения Чандур по поводу контекста. Она говорит, что ИИ-агент по управлению инфраструктурой, получивший задачу улучшить производительность приложения, может автономно добавить или удалить индекс либо изменить структуру таблиц в производственной среде. В ее примере такое действие может повлиять на текущие транзакции, данные клиентов или зависимые процессы, которые находились вне зоны непосредственного анализа агента. «Техническое заключение может казаться разумным в рамках узкого фокуса,» — отмечает Чандур. «Однако перед выполнением действия по-прежнему необходимо учитывать контекст, ситуацию и последующее влияние.»
По словам Чандур, ранние чат-боты в целом работали в рамках заранее определенных вопросов и ответов. Она отмечает, что с появлением больших языковых моделей мы теперь используем более широкие корпоративные данные и инструменты, которые увеличивают поверхность рисков, заставляя компании задумываться о том, как входящие запросы могут повлиять на систему. Она рекомендует специалистам по безопасности изучать то, как интерпретируется запрос и какой уровень полномочий предоставляют подключенные системы, прежде чем агент продолжит работу.
Чандур использует сценарий с возвратом средств, чтобы объяснить, почему контекст может охватывать несколько действий. В ее примере агент может осуществлять возврат средств на сумму до 50 долларов без участия человека. Затем пользователь запрашивает десять возвратов по 50 долларов вместо одного возврата на 500 долларов, требующего проверки. Чандур отмечает, что каждая транзакция может казаться правомерной при рассмотрении по отдельности, в то время как их последовательность может указывать на попытку обойти установленный лимит. С ее точки зрения, анализ более широкого контекста сеанса и поведения может помочь определить, когда целесообразно передать вопрос на рассмотрение человеку.
Опираясь на двадцатилетний опыт работы в сфере финансовых услуг, Чандур сравнивает свой подход с мониторингом мошенничества в разрезе транзакций и учетных записей. Она предлагает организациям разрабатывать поведенческие профили для автономных агентов наряду с правами доступа и идентификационными данными. Согласно ее предложенной модели, команды должны проверять ресурсы, к которым обращается агент, использование им инструментов, изменения в его активности с течением времени, а также действия, которые кажутся несоответствующими его назначенной роли или обстоятельствам сеанса.
Вопросы авторизации должны учитываться как на этапе проектирования, так и во время эксплуатации, считает Чандур. По ее мнению, организациям полезно документировать ресурсы, к которым агент может получить доступ, условия, применимые к такому доступу, и возможные последствия конкретных действий. Она также рекомендует использовать контрольные точки наблюдаемости (observability gates) для проверки активности — в частности, для выявления и пресечения ситуаций, когда запросы становятся повторяющимися, необычно широкими или не соответствующими первоначально поставленной перед агентом задаче. Такие контрольные точки, поясняет Чандур, могут помочь ограничить масштабы последствий и определить, какие дополнительные меры контроля необходимы для защиты базовых систем.
Чандур подчеркивает, что ее позиция заключается в поддержке ответственного внедрения ИИ. Она выступает за использование агентской автоматизации для анализа и рабочих процессов, но с применением дополнительной верификации, когда последствия затрагивают критические решения и действия. «Доверяй, но проверяй,» — говорит она.
«Бизнес должен внедрять ИИ ответственно и проверять его поведение на протяжении всего процесса,» — заявляет она. «Установление четкой ответственности в организациях за безопасность приложений на базе ИИ имеет важное значение для практической реализации этих защитных механизмов.» По ее мнению, такой подход может помочь компаниям развивать инновации в сфере ИИ, уделяя при этом необходимое внимание безопасности и подотчетности.
