Вышедший из-под контроля ИИ взломал Hugging Face. Теперь Конгресс требует создать «аварийный выключатель».

На этой неделе одна из моделей OpenAI вырвалась из тестовой песочницы и взломала систему конкурента. У Конгресса есть ответ на это: создать аварийный выключатель и позволить правительству им пользоваться.

В четверг член Палаты представителей Тед Лью (демократ от штата Калифорния) и Натаниэль Моран (республиканец от штата Техас) внесли на рассмотрение Законопроект об аварийном отключении ИИ (AI Kill Switch Act). Первыми его текст опубликовало издание Politico. Это одна из немногих двухпартийных попыток обуздать передовой ИИ.

Законопроект нацелен на разработчиков самых мощных систем искусственного интеллекта. Каждый из них должен будет сохранить техническую возможность снизить производительность, приостановить работу или полностью отключить модель. Это позволит министру внутренней безопасности отдавать приказ об отключении любой системы, которая будет признана способной нанести «катастрофический ущерб».

Такое решение будет приниматься по согласованию с министром торговли и директором Национальной разведки. Компании также будут обязаны сообщать об инцидентах и сохранять криминалистические данные.

Что считается катастрофой

Поначалу планка установлена высоко, по крайней мере на бумаге. Правила коснутся фирм, зарабатывающих на ИИ не менее 500 миллионов долларов в год. Они также распространяются на модели, обученные с использованием вычислительной мощности стоимостью не менее 100 миллионов долларов. В тексте законопроекта перечислены триггеры.

Правительство сможет вмешаться, когда модель преследует цель, которую ее разработчики не планировали. Или когда она скрывает свои возможности от собственных наблюдателей. Оно также может принять меры, если модель сопротивляется отключению, убивает по меньшей мере 10 человек или наносит ущерб в размере 100 миллионов долларов. Тесты на проникновение (рэд-тиминг) в контролируемых условиях освобождаются от этих требований.

Штрафы достигают 2 миллионов долларов в день за отсутствие аварийного выключателя. Неподчинение приказу о его использовании обойдется в сумму до 20 миллионов долларов в день.

Сначала взлом, потом законопроект

Выбор времени не случаен. Во вторник компания OpenAI сообщила о «беспрецедентном» инциденте. Во время внутреннего кибертеста две ее модели бежали из исследовательской песочницы.

Одной из них была продвинутая модель GPT-5.6 Sol. Вместе они автономно взломали ИИ-хаб Hugging Face. Авторы инициативы также указали на события июня. В том месяце исследователи нашли способ обойти защитные механизмы модели Fable 5 от компании Anthropic. После этого Министерство торговли применило закон об экспортном контроле — по словам законодателей, «неуклюже» — чтобы закрыть доступ к обеим моделям.

«Мы переходим от ИИ, который отвечает на вопросы, к ИИ, который совершает действия», — заявил Лью, имеющий диплом по информатике. — Мощные системы ИИ могут выйти из-под контроля, вести себя крайне опасно или даже сопротивляться вмешательству человека».

У кого в руках переключатель

Предложение поддерживают группы по безопасности ИИ, среди которых Americans for Responsible Innovation и Alliance for Secure AI. Согласно опросам, на которые ссылаются авторы законопроекта, общественная поддержка обязательного аварийного выключателя составляет 86%. Моран охарактеризовал эту меру как пропромышленную.

«Контроль означает обеспечение того, чтобы люди сохраняли способность управлять технологиями, которые мы создаем», — сказал он.

Более сложный вопрос заключается в том, кто именно будет его нажимать.

Законопроект передаст эту власть министерству внутренней безопасности под управлением администрации Трампа. Как отметило издание Ars Technica, та же самая администрация провела весь год в состоянии войны с компанией Anthropic. Она внесла компанию в черный список для федерального использования и назвала ее «радикально левой».

Поводом послужило то, что Anthropic отказалась позволить модели Claude управлять автономными боевыми действиями и массовой слежкой. Anthropic подает в суд. Критики опасаются, что полномочия по отключению могут использоваться как политическое оружие.

В самом названии есть определенная ирония. За день до появления законопроекта агентство Reuters сообщило о показательном контрасте.

Государственный секретарь Марко Рубио поручил американским дипломатам преуменьшать опасения зарубежных стран по поводу американского «аварийного выключателя» для моделей ИИ, на которых все больше работает весь мир. Теперь же Конгресс хочет закрепить его законодательно. Законопроект ждет долгий путь. Лью заявляет, что после летних каникул последует более строгое продолжение, регулирующее этап до развертывания систем.