ChatGPT и Gemini расходятся во мнениях относительно лучшего ПО в трети категорий, а сайты с обзорами оказались не у дел

Компания GetIntel опубликовала свой Индекс ИИ-программного обеспечения (AI Software Index) в среду. В рамках исследования было задано около 80 сформулированных покупателями вопросов в каждой из 126 категорий программного обеспечения, охватывающих 1825 брендов. Вопросы направлялись в потребительские приложения ChatGPT и Gemini в реальном времени, а не через разработческие API. Это дало 9978 пригодных для использования ответов, собранных 6 августа.

Главный результат можно сравнить с подбрасыванием монетки. В каждой третьей категории оба ассистента называют разный продукт номер один. Какой именно чат-бот откроет покупатель, определяет, какая компания получит рекомендацию.

Сайты с обзорами оказались не у дел

Посмотрите на то, на что действительно ссылаются ассистенты. Самым цитируемым доменом во всем исследовании стал techradar.com — 1114 цитирований. Reddit занял второе место с 807 цитированиями, а Zapier — третье с 418. На долю G2, Capterra и TrustRadius вместе взятых пришлось 5% всех цитирований.

Это пример того, как индустрия находит обходные пути. Эти три сайта существуют для того, чтобы быть справочным слоем при покупке ПО. Теперь эту работу вместо них выполняют потребительский техномагазин и форум. Gartner набрал 238 цитирований — меньше, чем Zapier.

То, что Reddit оказался на втором месте — проблема сама по себе. Платформа уже ведет борьбу с брендами, которые искусственно создают фальшивые мнения для их последующего повторения чат-ботами. По заявлению компании, сейчас она вылавливает по 25 000 таких постов в день. Ассистенты же сильнее всего полагаются на источник, который сложнее всего поддерживать в чистоте.

ChatGPT отправляет трафик. Gemini — нет

Оба бота ведут себя совершенно по-разному после того, как выбрали победителя. Когда ChatGPT рекомендует продукт, он ссылается на собственный сайт этого продукта в 53% случаев. Gemini делает это лишь в 13% случаев, предпочитая опираться на сторонние страницы.

Таким образом, одна и та же рекомендация имеет разную ценность. Победа внутри ChatGPT приносит ссылку. Победа внутри Gemini приносит упоминание. Это различие имеет значение для каждого, кто все еще измеряет трафик издателей как конечный результат.

Независимые источники Gemini выглядят еще более странно. Его самые цитируемые сторонние страницы — это записи в блогах, написанные другими софтверными компаниями. В исследовании отмечается, что они часто касаются категорий, к которым публикующие компании не имеют никакого отношения.

Ответ меняется в зависимости от того, кто и где спрашивает

Указание того, кем вы являетесь, меняет результат. В некоторых категориях доля побед бренда в ответах возрастает с 34% до 90%. Единственное изменение заключается в том, говорит ли покупатель «Я фрилансер» или «Мы — крупное предприятие». Та же категория, тот же вопрос, другой клиент.

География тоже влияет на результат, и это вывод, над которым европейскому читателю стоит призадуматься. Рекомендация номер один меняется в зависимости от того, сформулирован ли вопрос в американском или британском варианте английского языка. Это происходило примерно в половине категорий, которые удалось измерить в ходе исследования. Регуляторы потратили два года на споры о том, дают ли ИИ-ответы возможность отказаться от участия на справедливых условиях. Никто не задался вопросом, отвечают ли они на один и тот же вопрос одинаково по обе стороны Атлантики.

Присутствовать и побеждать — не одно и то же

Данные лидеров рейтинга неблагосклонны к очевидным именам. HubSpot появляется в лидерах категорий чаще остальных — в 19 из них, но побеждает в трех. Salesforce появляется в 13 и не побеждает ни в одной. QuickBooks фигурирует в семи и побеждает в пяти.

Некоторые категории уже устоялись. GitHub является первой рекомендацией в 91% ответов в сфере CI/CD и в 72% ответов по код-ревью. Shopify занимает 84% в электронной коммерции, а Miro — 83% в интерактивных досках. Square удерживает 78% в сфере POS-терминалов, а Loom — 76% в записи экрана.

Другие же открыты полностью. В программном обеспечении для партнерского маркетинга выбор победителя составляет всего 5% ответов. Управление контрактами находится на уровне 13%. Выставление счетов, живые чаты и выполнение заказов — все на уровне 19%. Победитель в этих сферах меняется практически каждый раз при переформулировании вопроса.

Кто это измерил и зачем

Оговорка кроется в самой бизнес-модели. GetIntel — это бенгальская компания, которая продает ПО для обеспечения видимости в ИИ. Ее полный индекс приходит к выводу, что компании не знают, упоминает ли их ИИ. Это же является и ее торговым предложением. Основатель Таранг Агарвал говорит об этом практически напрямую.

Агарвал четко обозначает проблему. Компания может до десятой доли процента назвать свою позицию в рейтинге Google, отметил он. При этом она может абсолютно не представлять, упоминала ли ее когда-нибудь ChatGPT. «Ликвидация этого пробела — это единственная причина существования инструмента ИИ-видимости».

Это переполненная ниша. Берлинский стартап Peec AI достиг оценки в 200 миллионов долларов, продавая точно такое же обещание. Практическая работа по завоеванию цитируемости по-прежнему во многом похожа на SEO-продвижение в Google.

У метода есть реальные ограничения, и о них стоит упомянуть. Это данные за один день от двух движков, без погрешностей и экспертной оценки. «Главный выбор» означает просто первый бренд, названный в ответе, что является грубым измерением нюансированного отклика. Единичный снимок не может показать, стабильно ли хоть что-то из этого.

И это проверка, которую стоит провести. GetIntel заявляет, что будет обновлять Индекс ежеквартально. Если уровень расхождений в ноябре останется близким к трети, покупатели действительно получают разные ответы от разных машин. Если он рухнет, это была лишь фотография движущегося объекта.