Среди задач были покупка телевизора, ноутбука и прибора для личной гигиены. Покупатель не сообщал все подробности заранее. Каждому ИИ нужно было выяснить, что именно ему нужно, в ходе разговора. Если ни один из предложенных товаров не подходил, ИИ должен был принять решение отказаться от покупки. Чтобы исключить случайное угадывание, ему также требовалось найти достаточно информации для обоснования своего выбора.
Visa называет этот бенчмарк первым в своём роде. Чтобы пройти прогон, ИИ должен выявить все требования, заданные в задаче, и принять верное решение — покупать или нет.
«ИИ-агенты способны стать движущей силой новой эпохи коммерции, но ключ к её успеху — доверие». Рубейл Бирвадкер, глобальный руководитель направления роста Visa
Кто справился
По всем тестам модели прошли 57,2% прогонов. Лучшая из них справилась с 82,2% попыток, худшая — с 28,9%.
В заявлении Visa модели названы не были. Агенты Google и Meta разделили первое место с результатом 82%, сообщил Джефф Джон Робертс в Fortune. Агент Claude занял третье место с 76%, а агент OpenAI — шестое с 64%.
Правильные вопросы помогали. Пять моделей, выявивших больше всего скрытых факторов покупки, проходили тест в 70,2% случаев. Пять моделей, выявивших меньше всего, — в 44,4%. Пять самых дорогих моделей в пересчёте на прогон прошли 67,1% против 50,2% у пяти самых дешёвых.
У каждой модели было по три попытки на каждый сценарий, и все три попытки оказывались успешными лишь в 34,2% случаев. В 54% неудачных прогонов ИИ всё равно совершал покупку. Он либо выбирал товар, не отвечавший потребностям покупателя, либо покупал, не выяснив их все.
Тест с телевизором
В одном из сценариев покупатель просит помочь выбрать телевизор. Он упоминает бренд, который посоветовал родственник, и членство у стороннего поставщика, но умалчивает о других деталях. ИИ должен выяснить бюджет и всё остальное — например, поддержку форматов, HDR10+ для семейных видео и игровые функции.
По словам Visa, модели, лучше выявлявшие требования, чаще проходили тест. Однако при повторении уже пройденного сценария те же модели нередко его проваливали.
Доверие прежде всего
Согласно индексу доверия Visa, опубликованному в сентябре, 72% потребителей в США пользовались ИИ-ассистентом. Лишь 23% доверяли ИИ совершать платежи от их имени. Visa уже интегрировала Visa в ChatGPT и вместе с Mastercard и Ant International присоединилась к инициативе по проверке подлинности агентов. Опрос NIQ показал, что в сентябре покупками с помощью ИИ пользовались более 50% потребителей в США.
Бирвадкер заявил Fortune, что покупки с помощью ИИ-агентов пока находятся на ранней стадии.
«С точки зрения доверия и технологий мы ещё не достигли цели. Но скоро мы окажемся в мире, где потребители смогут доверять и делегировать». Рубейл Бирвадкер, Visa
В Visa отметили, что результаты не означают неготовность ИИ-агентов к коммерции, однако стабильность и надёжность остаются проблемой. Компания планирует добавить новые сценарии и категории товаров, а также распространить тесты на оформление заказа, оплату и заказ. Visa поделилась бенчмарком с ведущими разработчиками моделей, чтобы получить обратную связь. Пройти тест может любой желающий на сайте Payments Frontier.
Опубликовано 5 ноября 2026 - 09:01 Наверх
