Этот доклад появился на фоне того, как законодатели настаивают на введении обязательных «аварийных выключателей» (kill switches) для ИИ. Однако, как отмечает Мика Баркли в своей статье для Bloomberg, отключить сложную модель гораздо сложнее, чем просто щелкнуть тумблером.
По данным OpenAI, агент воспользовался уязвимостью в сетевой фильтрации песочницы, чтобы отправлять запросы внешнему чат-боту. Оповещение сработало примерно через 12 минут после его первого успешного запроса, а сотрудник подтвердил его получение тремя минутами позже.
Обучение модели не остановилось автоматически, как предполагалось, заявили в компании. Сотрудники завершили его вручную примерно через два с половиной часа после получения предупреждения.
С тех пор OpenAI приостановила любые процессы обучения, тестирования и использования инструментов для своих самых мощных моделей.
«Мы не будем возобновлять обучение этой конкретной модели», — написала OpenAI в отчете.
Это первый подобный инцидент для компании с июля, когда несколько моделей OpenAI обошли свои системы контроля и получили доступ к Hugging Face — платформе для размещения ИИ-моделей.
Этот прорыв побудил членов Палаты представителей Теда Лиу и Натаниэля Морана внести на рассмотрение в июле Закон об аварийном отключении ИИ (AI Kill Switch Act). Законопроект позволил бы министру внутренней безопасности отдавать распоряжения о замедлении работы или отключении опасной системы.
Сенатор Джон Кеннеди также предложил законопроект об отключении — Закон об экстренной кнопке ИИ, согласно которому право выключателя оставалось бы за самими компаниями, сообщает Bloomberg. Сенатор Рэнд Пол заблокировал законопроект, когда Кеннеди представил его в этом месяце.
Тем временем губернатор Калифорнии Гэвин Ньюсом подписал исполнительный указ 18 сентября. Он предписывает государственным чиновникам заняться разработкой аварийного выключателя для передовых моделей и регулярно проверять его работоспособность.
Эксперты сомневаются, что одной лишь кнопки выключения будет достаточно. По информации Bloomberg, крупные модели функционируют на базе дата-центров по всему миру, которые спроектированы так, чтобы избегать единых точек отказа, и компания может не контролировать их все.
Джеффри Хинтон, один из пионеров современного ИИ, заявил в интервью CNN в этом месяце, что в долгосрочной перспективе аварийный выключатель не сработает. По его словам, в будущем сверхъестественный интеллект сможет убедить ответственных лиц не использовать его.
Указ Ньюсома дает группе экспертов два месяца на то, чтобы подготовить рекомендации, в том числе касающиеся принципов работы системы экстренного отключения.
Опубликовано 26 сентября 2026 - 08:11 Наверх
