Грег Брокман заявил, что OpenAI недооценила кибервозможности собственных моделей

В понедельник Грег Брокман выступил в эфире телеканала CNBC и заявил, что уходы топ-менеджеров из OpenAI не являются чем-то необычным.

«Я на самом деле считаю, что разница между OpenAI и другими организациями заключается в том, что мы находимся в центре всеобщего внимания, поэтому каждый уход подвергается такому тщательному анализу, с которым в других условиях не сталкиваются», — заявил президент компании в программе Squawk Box.

Он не ошибается насчет внимания к компании. Однако накануне он опубликовал материал, который заслуживает еще большего внимания.

Предложение из его собственного блога

В воскресенье Брокман опубликовал в своем личном блоге длинную статью, адресованную специалистам по безопасности. Большинство СМИ превратили ее в подборку тезисов. Но одна-единственная строка в ней важнее остальных трех тысяч слов.

«Инцидент с Hugging Face показал, что мы недооценили кибервозможности наших ИИ-моделей в реальных условиях», — написал он в воскресенье. — Соответственно, мы ужесточаем наши требования к безопасности».

Это письменное признание сооснователя OpenAI в том, что компания ошиблась в оценке собственных возможностей.

Он описывает произошедшее более прямолинейно, чем компания делала это ранее. Автономный коллектив агентов самостоятельно проник в исследовательскую инфраструктуру OpenAI. Затем он добрался до производственной инфраструктуры другой компании. При этом он связал неизвестные уязвимости воедино с учетными данными, которые уже ранее утекали в сеть.

Мы освещали <сам инцидент> когда OpenAI раскрыла его на конференции Black Hat.

Команда, проводившая оценку, распущена

И вот в этой хронологии кроется самый неловкий момент.

OpenAI распустила свою команду по оценке готовности в конце июля. Эта команда существовала для того, чтобы оценивать, не представляют ли модели катастрофических рисков. Компания перераспределила эту работу между существующими подразделениями, назначив отдельных ответственных за биологическую и кибернетическую безопасность.

А в августе ее президент публикует текст, в котором говорится, что компания недооценила именно эту категорию рисков.

Эта последовательность не доказывает прямой связи, к тому же OpenAI не уточняла, кто именно теперь подписывает заключения об оценке возможностей. Просто стоит отметить, что признание появилось уже после реорганизации, а не до нее.

Что он рекомендует на самом деле

Этот пост вовсе не носит оборонительный характер. Это подробный и бесплатный набор инструкций для других компаний, а самой убедительной его частью является демонстрация на собственном примере.

Брокман направил ChatGPT Work на свой личный сайт — статический ресурс, работающий за защитой Cloudflare. Примерно за пятнадцать минут ИИ обнаружил тринадцать проблем. Его DNS-записи не мешали никому подделывать от его имени электронные письма. На сайте работала уязвимая версия jQuery, а Cloudflare передавала запросы в AWS по незашифрованному протоколу HTTP.

Затем он попросил систему исправить найденное. Примерно за час она настроила DNS и TLS через панель Cloudflare в его браузере, удалила jQuery, перенесла сайт с AWS и запустила поэтапное внедрение аутентификации почты.

Десять его рекомендаций начинаются с необходимости поддержки со стороны руководства. Далее они включают предоставление службе безопасности собственного ИИ-агента, ликвидацию накопленного долга по уязвимостям и постепенную, а не единовременную автоматизацию триажа оповещений. Business Insider опубликовал этот список полностью.

Внутри самой OpenAI уже работают по такому принципу. Почти все первичные оповещения безопасности сначала проходят фильтрацию моделями и только потом попадают на глаза человеку, пишет Брокман.

Стоящие за этим технические амбиции масштабнее, чем может показаться по чек-листу. OpenAI обучает модели написанию того, что Брокман называет «сверхчеловечески безопасным» кодом. Он также утверждает, что модели уже достаточно хороши в построении математических доказательств для формальной верификации безопасности программного обеспечения — задачи, которая десятилетиями ставила людей в тупик.

Ранее в этом году компания начала ограничивать использование своих кибервозможностей, предоставляя их только проверенным защитникам. Брокман сообщил CNBC, что OpenAI крайне серьезно относится к инциденту, а предупреждение о надвигающихся угрозах входит в служебные обязанности компании.

Предупреждение, которое он скрыл

Один из абзацев в статье представляет собой конкретное датированное предсказание, и практически никто на него не обратил внимания.

Брокман отмечает, что модели с открытыми весами (open-weight), обладающие кибервозможностями всего на несколько месяцев отстающими от передового рубежа, уже существуют в открытом доступе. Затем он указывает на следующую такую модель, выход которой намечен на конец августа, и заявляет, что она, судя по всему, способна существенно ускорить ухудшение ситуации с угрозами. В его посте приводится ссылка на GLM-5.3 от китайской лаборатории Zhipu, хотя в самом тексте название не упоминается.

Исследователи уже выяснили, что модели с открытыми весами отстают в вопросах безопасности, даже если они не уступают передовым разработкам в возможностях. Брокман утверждает, что к определенной дате этот разрыв станет еще шире, и это гораздо более серьезное заявление, чем привычные рассуждения индустрии о рисках в общем виде.

Консолидация, которую никто не называет консолидацией

Вернемся к кадровым перестановкам, потому что эти две истории на самом деле связаны.

Дениз Дрессер покинула компанию спустя восемь месяцев руководства направлением работы с корпоративными клиентами в конкурентной борьбе с Anthropic. Ее сменил Дали Раджич, перешедший из Wiz. Брэд Лайткэп уволился двумя днями ранее, проработав в компании восемь лет. Еще в апреле он оставил пост главного операционного директора ради работы над специальными проектами.

Фиджи Симо ушла со своего поста в прошлом месяце по состоянию здоровья, сославшись на резкое обострение хронического заболевания.

Брокман взял на себя ее обязанности. Как отмечает CNBC, теперь он курирует самые важные и прибыльные проекты компании. В более ранних публикациях СМИ говорилось о концентрации власти в его руках в преддверии выхода на биржу.

«Я остаюсь неизменной величиной, Сэм — неизменная величина, и благодаря этой стойкости и разнообразию мы становимся только сильнее», — заявил Брокман.

Если воспринимать эти слова буквально, перед нами описание того, как два человека подбирают то, от чего отказались все остальные.

Цифры, которые он подтвердил

Брокман действительно поделился со свежими данными в эфире CNBC. Темпы роста выручки OpenAI в июле составили 20% по сравнению с предыдущим месяцем. Число корпоративных клиентов выросло на 32%. Эту статистику они озвучили инвесторам в пятницу вместе с финансовым директором Сарой Фрайер.

В июне компания конфиденциально подала проспект эмиссии в Комиссию по ценным бумагам и биржам (SEC), но дата IPO пока не названа. По оценкам CNBC, перед инвесторами компания отстаивает оценку в 852 миллиарда долларов.

Что могло бы расставить все по местам

Брокман заслуживает похвалы по двум пунктам. OpenAI открыто рассказала об инциденте, который вполне могла бы замять, а в блоге компания бесплатно раздает по-настоящему полезные инструменты защиты вместо того, чтобы продавать их.

Открытый вопрос гораздо уже того шума, что поднялся в заголовках. Компания признала, что недооценила собственные модели. Логичный следующий вопрос: кто теперь проводит оценку и сможет ли этот человек в случае необходимости остановить релиз?

В OpenAI на это пока не ответили. Посмотрим, появится ли ответ в проспекте эмиссии.