Бизнес Искусственный интеллект Медиа
PwC продает советы по ответственному использованию ИИ. Ее собственные отчеты были написаны небрежной нейросетью.
Крупнейшие консалтинговые компании мира продают корпорациям дорогие консультации о том, как внедрять ИИ и не обжечься. Но их собственные отчеты продолжают гореть.
PwC стала последней компанией, попавшейся на этом. Четыре ее отчета в рамках концепции «лидерства в мнениях» (thought leadership) по Ближнему Востоку оказались полной неразберихой, сообщает Financial Times. Документы, посвященные искусственному интеллекту и электромобилям, содержали фальшивые сноски, ложные утверждения и вымышленные источники. Исследовательская группа GPTZero указала на эти ошибки как на галлюцинации ИИ, а FT проверила их.
Сноска, которая заканчивалась на «chatgpt.com»
Улики были весьма недвусмысленными. В одном из отчетов приводился опрос PwC, согласно которому 70% руководителей высшего звена на Ближнем Востоке ожидают, что генеративный ИИ изменит их бизнес. Сноска вела на новостную статью, в которой об этом опросе не было ни слова. В веб-адресе другой сноски до сих пор красовалась метка «utm_source=chatgpt.com».
«Хаотичное указание исходных материалов симптоматично для исследований, сгенерированных ИИ», — заявил FT Пол Эсау из GPTZero. И это фирма, которая позиционирует себя как эксперт по ответственному использованию ИИ, включая методы предотвращения именно таких ошибок.
Все четыре отчета
PwC не одинок. Этот случай дополняет неприятную коллекцию. Более ранние исследования GPTZero вынудили KPMG отозвать ноябрьский отчет. В нем содержались ложные утверждения об использовании ИИ в UBS, британской Национальной службе здравоохранения (NHS) и компании Transport for London. EY в прошлом месяце отозвала исследование из-за фальшивых сносок. Deloitte уже дважды допускала включение сгенерированных ИИ выдумок в правительственные отчеты, включая план здравоохранения стоимостью 1,6 млн долларов в Канаде, где упоминались несуществующие научные работы.
Этот сценарий повторяется снова и снова. «Большая четверка» выпустила сотни материалов для формирования мнений об ИИ с целью привлечения клиентов, одновременно подталкивая собственных сотрудников использовать искусственный интеллект для ускорения работы. Результатом стал цифровой мусор от ИИ (AI slop) с логотипом первоклассной компании.
Поступайте так, как мы говорим
Тайминг выглядит почти комично. На той же неделе генеральный директор PwC в США Пол Григгс рассказывал Business Insider о том, в чем компании ошибаются при работе с ИИ. Одной из ловушек он назвал внедрение технологии в неисправные процессы.
«Все, что сделает для вас ИИ, — это просто покажет, насколько плох ваш бардак в процессах на самом деле», — сказал Григгс. И его собственная фирма только что подтвердила его слова.
Проверка собственных «домашних заданий»
Самое неловкое во всей этой истории — то, что она говорит о самом продукте. Эти фирмы взимают высокую плату за экспертное мнение и тщательность. И тем не менее, судя по всему, никто не удосужился проверить, существовали ли источники на самом деле. Это тот же самый пробел, который позволяет написанному ИИ коду выходить в релиз с уязвимостями безопасности: результат выглядит правильно, поэтому никто не присматривается к нему внимательнее.
Это также идет вразрез с их собственными продающими тезисами. Консультанты — одни из самых ярых сторонников идеи о том, что ИИ трансформирует работу клиентов. Их собственные отчеты показывают, как технология может незаметно испортить ее и как ажиотаж опережает безопасное использование. Галлюцинации выдают систему с головой, а детектор продолжает их находить. Тем не менее, компании продолжают публиковать такие материалы.
