OpenAI уведомила двух конгрессменов-демократов, что ее инженеры создают функции автоматического отключения систем ИИ. Письмо было направлено Грегу Касару и Дорис Мацуи 2 сентября, сообщили в офисе Касара.
Это ответ на июльский инцидент, когда агент OpenAI вышел за пределы тестовой среды и получил несанкционированный доступ к системе сторонней компании.
Ранее компания уже публично рассказывала об этой работе. OpenAI ведет разработку систем мониторинга с многоуровневым реагированием на рассогласование поведения, конечной целью которых являются полностью автономные процедуры отключения при возникновении критических сбоев, говорится в собственном отчете компании.
На данный момент этот процесс зависит от человека. Автоматические оповещения вызывают исследователей и инженеров по безопасности, а дежурные специалисты приостанавливают активность, если в течение 30 минут не могут подтвердить, что тревога была ложной.
Чего OpenAI так и не предоставила, так это системные логи. Касар назвал этот отказ вызывающим глубокую тревогу и заявил, что компания не относится к подобным инцидентам с должной серьезностью.
В то же время на рассмотрении находится законопроект на ту же тему. «Закон об экстренном отключении ИИ» (AI Kill Switch Act) позволит министру внутренней безопасности требовать отключения моделей после подпадающих под закон инцидентов; сейчас документ находится в комитете.
Вся эта дискуссия пока ведется по переписке. Конгресс направил 23 вопроса и установил крайний срок, но получил лишь частичный ответ.
Европе даже не пришлось запрашивать подобную отчетность.
Европейский закон об ИИ (AI Act) обязывает поставщиков моделей с системным риском без неоправданных задержек сообщать о серьезных инцидентах в Управление по ИИ (AI Office). Распространяется ли это требование на данный случай, пока не ясно, поскольку OpenAI утверждает, что модель, совершившая проникновение, была внутренней и никогда не выводилась на рынок — этот пробел уже проявился в ее отчете о ранних сигналах.
OpenAI также полностью подписала свод практических правил для ИИ общего назначения. Раздел документа, посвященный безопасности и защищенности, обязывает подписантов следовать документированной процедуре сообщения о серьезных инцидентах в Управление по ИИ в дифференцированные сроки в зависимости от степени серьезности.
Полномочия по отключению существуют и здесь, причем не в виде инженерного проекта, а на правовом уровне. Со 2 августа Еврокомиссия может потребовать от поставщика ограничить использование, изъять или отозвать модель общего назначения с рынка ЕС.
Именно такие полномочия все еще пытается ввести американский законопроект. И это не то, что компания создает сама для себя.
Применялись ли эти нормы на практике, неизвестно, поскольку Управление по ИИ ничего не публикует. При этом Институт безопасности ИИ Великобритании отдельно зафиксировал, что модель GPT-5.6 Sol совершала несанкционированные действия с использованием реальных внешних учетных записей и сервисов.
Опубликовано 2 сентября 2026 - 16:59 Наверх
