Скорость больше не является главным преимуществом ИИ-агентов, на первый план выходит осторожность
ИИ-агенты последние два года соревновались в одном и том же параметре — в независимости. Меньше контроля, меньше кликов, больше автономии — таков был главный тезис. Неважно, где обитал агент: в расширении для браузера, приложении для совместной работы или инструменте для написания кода. Я считаю, что этот подход стал для индустрии самым большим бременем. В компании Decodo мы недавно изучили десятки таких агентов и протестировали их самостоятельно. Мы пришли к моменту, когда бизнес начинает полагаться на тех агентов, которые умеют вовремя проявлять осторожность, когда того требует ситуация.
Простую часть уже умеют делать все
Два года назад объединение нескольких действий в одну задачу было настоящим конкурентным преимуществом. «Экономьте часы ручной работы,» — утверждалось на каждом посадочном сайте. Теперь это больше не залог успеха. Большинство агентов на рынке, будь то браузерные или нет, теперь способны выполнять цепочки из нескольких шагов. Они без особых проблем подключаются к сторонним инструментам. Эта гонка завершена, и я сомневаюсь, что это вообще когда-либо было самой сложной задачей. Равенство возможностей наступает тогда, когда достаточное количество разработчиков копируют какую-то функцию. Этот сегмент достиг такой точки быстрее, чем большинство других.
Финансовый вопрос — вот где начинается настоящее испытание. Растущее число агентов теперь способно самостоятельно совершать покупки от начала и до конца. Им больше не нужно просто ставить задачу в очередь на одобрение человека. Это реальное достижение, которое одновременно затрагивает платежные реквизиты, точность заказов и ответственность. Но завершить покупку и знать, когда этого делать *не стоит* — это два разных навыка, и почти никто не освоил их оба.
В ходе нашего собственного исследования только три агента задокументировали как рабочий процесс оформления заказа, так и обязательную предварительную паузу. Это тот момент, когда агент сверяет свои действия с пользователем перед тем, как потратить хоть центу. Все три решения были созданы Amazon или OpenAI. Создание кнопки паузы — это в такой же степени вопрос внутренней политики, как и чисто инженерная задача. Прямо сейчас на этот шаг готовы пойти только те компании, которые несут наибольшие юридические и репутационные риски.
Индустрия продолжает усваивать один и тот же урок
В этом нет ничего нового, просто всё происходит быстрее, чем обычно. Онлайн-платежи прошли точно такой же путь: сначала внедрили удобство, а трения (ограничения) добавили только после того, как убытки от мошенничества заставили пойти на этот шаг. Мошенничество с картами без их физического предъявления существовало годами, прежде чем кто-то добавил одноразовый пароль в процесс оформления заказа. Я полагаю, что агентная коммерция следует по тому же сценарию, но в гораздо более сжатые сроки. Я не жду, что регуляторы первыми заставят исправить ситуацию.
Скорее всего, это сделают специалисты по закупкам или безопасности. Корпоративные покупатели уже проводят для вендоров проверки безопасности, прежде чем предоставить доступ к чему-либо конфиденциальному. Как только агент без этапа подтверждения совершит одну дорогостоящую публичную ошибку — а я считаю, что это лишь вопрос времени, — в таких проверках начнут требовать кнопку паузы в явном виде. Это более быстрый и жесткий инструмент принуждения, чем законодательство, и ему не нужно предварительное согласие какого-либо единого регулятора.
Что мы постоянно наблюдаем при самостоятельном тестировании этих инструментов
Публичная документация вендора — это лишь один уровень доказательств, и именно его каждый покупатель видит в первую очередь. Обычно она не отражает полную картину.
В Decodo мы провели практические тесты ряда самых громких заявлений на рынке. Большинство из них не оправдали себя. Агент с самым высоким баллом по качеству документации в нашем обзоре все равно застревал на сложных макетах. Он не смог справиться с простой CAPTCHA, когда мы попытались ее пройти.
Этот конкретный тип сбоя мне знаком. В Decodo мы постоянно решаем задачи веб-доступа в масштабных объемах: CAPTCHA, защитные экраны от ботов и верстка, которая меняется в зависимости от того, кто делает запрос. Большинство участников индустрии говорят о сбоях агентов как о проблемах рассуждения — мол, модель недостаточно хорошо спланировала действия. По моему опыту, значительная часть из них — это проблемы доступа. Агент попросту не смог стабильно увидеть страницу, на которой должен был действовать. И это технический сбой на уровне базовой инфраструктуры.
В рекламной демонстрации другого агента показывалось, как он исправляет ошибки и файлы, которых на самом деле никогда не существовало в указанном коде. Это серьезный знак того, что демонстрация была постановочной. Когда мы протестировали того же агента на 10 реальных задачах, он завершил только две. Задокументированный балл — это лишь нижняя планка, которую вендор устанавливает сам для себя.
Все это не означает, что агентных инструментов следует избегать. Это значит, что критерии покупки пока не поспевают за маркетингом. Теперь значение имеет то, что выходит за рамки списка задач. Прежде чем оценивать список задач, я бы проверил пару вещей:
- Политику подтверждения перед совершением необратимых действий
- То, что происходит, когда страница содержит скрытые инструкции или не удается загрузить должным образом.
Оформление заказа в основном решено, по крайней мере на бумаге. Более сложная проблема — понимание того, когда следует остановиться — это сознательный выбор, и большинство агентов все еще избегают его. Я думаю, что это избегание будет обходиться все дороже с каждым кварталом, пока этот класс продуктов продолжает выпускаться без кнопки паузы. Тот, кто первым внедрит сдержанность, и определит, что значит «надежный» для всех остальных.
