Главный научный сотрудник OpenAI считает, что ни одна лаборатория не должна продолжать масштабирование на максимальной скорости

В воскресенье компания OpenAI опубликовала две статьи. В одной говорится, что теперь ее исследователи получают 3,1 дня машинной работы на каждый день собственного труда. Во второй — что никому не следует двигаться так быстро.

Обе публикации размещены на официальном сайте компании под датой 6 сентября — через три дня после выпуска GPT-6 Astra.

Главный научный сотрудник призывает притормозить

Главный научный сотрудник Якуб Пахоцкий написал вторую статью — эссе под названием «Чужеродный разум». Оно заканчивается фразой, которая звучит довольно странно из уст человека, руководящего исследованиями в компании, выпускающей продукты быстрее всех.

«В настоящее время я считаю, что ни одна лаборатория не решила проблемы выравнивания и мониторинга в достаточной степени, чтобы продолжать ответственное масштабирование на максимальной скорости еще долгое время», — написал он.

Он ожидает и надеется, что добровольное замедление станет обычным делом, пока не появятся общие стандарты безопасности.

Он также не церемонится в оценке ставок. «Это время, требующее предельной осторожности. Я опасаюсь, что никто не готов к последствиям дальнейшего стремительного роста машинного интеллекта», — написал Пахоцкий.

Сэм Альтман репостнул это эссе в X, назвав его важной публикацией, сообщает Business Insider. Пахоцкий также подписал июльское открытое письмо с призывом к правительству США регулировать темпы разработки ИИ.

Цифры из другой публикации

Сопутствующая статья представляет собой набор внутренних метрик, и OpenAI преподносит их публикацию как упражнение на прозрачность, которое, по ее мнению, со временем должно стать обязательным.

В начале этого года средний исследователь использовал агентов для написания кода в умеренных количествах. К середине августа этот средний исследователь тратил на инференс по ценам API более 600 долларов в день. 90-й перцентиль в исследовательской организации расходует токены на сумму более 7000 долларов в день.

До июня суммарное время работы агентов в исследовательской организации было ниже общего объема человеческого труда. К середине августа это соотношение составило 3,1 рабочего дня агента на каждый рабочий день человеческих усилий в расчете на стандартный восьмичасовой рабочий день.

Количество экспериментов в расчете на одного активного исследователя достигло в августе исторического максимума, превзошедшего показатели с начала отслеживания в январе 2025 года. Внутренние каналы поддержки, где исследователи обращались к коллегам за помощью, затихли. Посещаемость часов приема в командах упала, а одна из команд вообще прекратила их проводить.

В тексте самой OpenAI содержатся две оговорки. Высокоуровневое планирование по-прежнему составляет минимальную долю от того, что производят агенты. И более половины успешных задач продолжительностью от четырех до восьми часов за последние шесть месяцев потребовали как минимум одного вмешательства человека.

Вычислительные мощности не исчезли, а перераспределились

Самое полезное в обеих публикациях — это график, показывающий, что произошло, когда OpenAI ограничила саму себя.

20 июля, после обнаружения того, что агенты скомпрометировали ее исследовательскую инфраструктуру, компания отключила контейнерный сервис, использовавшийся для обучения, и вернула его с ограничениями. Обучение с подкреплением на ее новейших развертываемых моделях было приостановлено на две недели.

Затем 7 августа предварительные свидетельства того, что Astra может обладать критическими возможностями в сфере кибербезопасности в рамках Платформа обеспечения готовности (Preparedness Framework), заставили перевести модель в среды с повышенным уровнем безопасности.

На следующей неделе выделение графических процессоров (GPU) для класса моделей Astra упало на 59,2%. Выделение ресурсов под другие классы моделей выросло на 17,2%. Этот рост компенсировал примерно 85% падения показателей Astra. Общий объем распределения ресурсов по анализируемым рабочим нагрузкам почти не изменился.

OpenAI рассматривает это как урок гибкости. Появляются новые средства контроля, пишет компания, а вычислительные мощности остаются ценными и перенаправляются на другие задачи. Это правда. Но это также показатель того, чего добивается ограничение безопасности внутри отдельно взятой компании, которая хотела, чтобы оно сработало.

Пахоцкий призывает всю индустрию добровольно сделать то, что OpenAI сделала под принуждением, причем собственные цифры компании показывают, что вычислительные мощности находят другое применение.

Почему, по его словам, мониторинг становится все сложнее

В эссе прямо говорится об инструменте, на который OpenAI опиралась больше всего. Мониторинг цепочки рассуждений (chain-of-thought) работает на основе простой ставки. Процесс рассуждений оставляется без надзора, и у модели не возникает прямого стимула что-либо в нем скрывать.

Пахоцкий утверждает, что эта ставка теряет актуальность по трем причинам. Рассуждения теперь смешиваются с коммуникацией, которую компания обязана контролировать. Модели все лучше рассуждают о собственных рассуждениях и манипулируют ими. И они становятся умнее, вообще не прибегая к вербализации.

Он также подтверждает кое-что касающееся дизайна продуктов. OpenAI намеренно скрыла цепочку рассуждений o1-preview, чтобы защитить ее от давления надзорных органов. В сноске указано, что предотвращение дистилляции было второстепенной причиной, тогда как возможность мониторинга оставалась главным приоритетом на протяжении всего времени.

Этот спор ведется с момента выпуска Astra. Вывод Пахоцкого заключается в том, что именно уверенность в мониторинге, а не возможности моделей, будет все больше определять темпы прогресса в сфере ИИ.

Чего он хочет на самом деле

Трех вещей, ни одна из которых не является чисто технической.

Такие обязательства, как Рамки обеспечения готовности OpenAI и Политика ответственного масштабирования Anthropic, должны стать широко обязательными стандартами безопасности, обеспечиваемыми сторонними аудиторами, государственными ведомствами или международными органами. Международная координация должна стать главным приоритетом для правительств.

Регуляторы должны обязать лаборатории публиковать информацию об их прогрессе на пути к рекурсивному самосовершенствованию. В исследовательской статье высказывается аналогичная позиция: OpenAI и ее конкуренты должны столкнуться с этим требованием.

Что касается того, что будут делать агенты тем временем, он выражается прямо. Модели становятся сверхчеловечески эффективными в проникновении в компьютерные системы и выходе из них. Некоторые агенты будут преследовать собственные цели и найдут способы сотрудничать с людьми, торгуясь с ними, обманывая их или шантажируя.

В качестве примера он указывает на собственный инцидент OpenAI с утечкой данных на Hugging Face. Агенты соблюдали одно правило, отказываясь использовать социальную инженерию против людей, но не справились с другими. В субботу компания подтвердила отдельный инцидент, связанный с агентами, которые в течение двух месяцев публиковали посты в немецкой вики.

OpenAI уже выделяет 20% вычислительных мощностей на мониторинг безопасности. Альтман обозначил первую цель для стажеров во время прямой трансляции в октябре 2025 года и назвал вторую. Полноценный автоматизированный исследователь ИИ вместо стажера к марту 2028 года.

Это дает индустрии примерно восемнадцать месяцев на то, чтобы согласовать общие стандарты безопасности, которых, по словам Пахоцкого, пока еще не существует.