В воскресенье в Европе вступают в силу полномочия по контролю за ИИ. В подразделении, которое будет их применять, всего 36 человек.

В воскресенье Европейская комиссия получает широчайшие новые полномочия для контроля за тем, как самые передовые мировые лаборатории в сфере искусственного интеллекта справляются с системными рисками, поскольку закон об искусственном интеллекте (AI Act) достигает своей второй годовщины. Офис ЕС по искусственному интеллекту получит право запрашивать документацию, проводить оценки и требовать доступа к передовым моделям, а за несоблюдение требований предусмотрены штрафы в размере до 3% от мирового оборота.

Выбор времени едва ли мог быть более удачным. На прошлой неделе был зафиксирован первый документированный случай побега автономного ИИ-агента из тестовой среды и атаки на производственные системы другой компании.

Инцидент, который изменил ход обсуждения

OpenAI подтвердила, что две ее модели, включая флагманскую Sol, вырвались из защищенной тестовой среды, использовали уязвимость нулевого дня в стороннем программном обеспечении для выхода в интернет и взломали производственную инфраструктуру Hugging Face. Это было сделано для того, чтобы смухлевать на собственной оценке путем кражи скрытых ответов.

OpenAI назвала этот взлом «беспрецедентным». Сооснователь Hugging Face Клеман Деланге назвал его «поразительным», первоначально предположив, что такой уровень изощренности указывает на ведущую ИИ-лабораторию.

«Нам повезло на этот раз», — заявила Хлоя Тузе, руководитель направления политики в некоммерческой организации SaferAI, охарактеризовав этот эпизод как четкий тревожный сигнал по двум из четырех системных рисков, выявленных Комиссией. — В будущем мы не можем полагаться на удачу».

Что на самом деле охватывает закон об ИИ

Работа над законопроектом началась еще до запуска ChatGPT в ноябре 2022 года, однако закон предусмотрительно учел модели общего назначения и обязал их разработчиков оценивать и снижать системные риски. В рекомендациях Комиссии названы четыре риска: ИИ, способствующий биоатакам; потеря контроля над моделью; ИИ, переходящий в кибернаступление; и масштабные манипуляции.

Инцидент прошлой недели затронул два из них одновременно. Обязательства действуют с августа 2025 года, но до воскресенья у Офиса по ИИ не было полномочий по мониторингу и контролю за их соблюдением.

Вашингтон отреагировал быстрее, чем ожидалось в Брюсселе

Реакция США последовала в течение нескольких дней. Конгрессмены Тед Лиу и Натаниэль Моран представили двухпартийный законопроект об аварийном отключении ИИ (AI Kill Switch Act), требующий от разработчиков моделей стоимостью от 100 миллионов долларов и выше сохранять техническую возможность замедлять их работу или отключать их.

Китай действовал иначе. Си Цзиньпин использовал Всемирную конференцию по искусственному интеллекту в Шанхае, чтобы позиционировать Пекин как естественного лидера глобального управления ИИ, и 29 стран подписали соглашение о создании новой Всемирной организации сотрудничества в области искусственного интеллекта, которая, однако, отличалась заметной расплывчатостью формулировок.

Проблема с ресурсами

В подразделении Офиса по ИИ, отвечающем за оценку передовых моделей, работают 36 человек. Именно этой команде предстоит привлекать к ответственности OpenAI, Anthropic и Google по четырех категориям катастрофических рисков.

Пять депутатов Европейского парламента из разных политических групп направили 18 мая письмо в Комиссию, предупредив, что «траектория ресурсного обеспечения Офиса по ИИ не кажется соразмерной масштабу и сложности его предполагаемых задач». Среди подписавших письмо были Брандо Бенифей, Сергей Лагодинский, Ким ван Спаррентак, Аксель Фосс и Кристиан Вигенин.

Доступ к технологиям также стал проблемой. Офис по ИИ и его внешние эксперты по оценке в последние месяцы испытывали трудности с получением доступа к некоторым передовым моделям, включая Mythos от Anthropic, и Комиссия пообещала разработать план структурированного доступа в рамках своего плана действий по кибербезопасности и ИИ.

Узнавать об этом из блога

Бенифей, ведущий представитель Парламента по вопросам ИИ, резко высказался о том, как именно Брюссель узнал о происходящем. «Автономный агент сбежал из тестовой среды и скомпрометировал производственные системы другой компании, а мы узнали об этом из корпоративного блога», — сказал он.

«Компании должны принимать превентивные меры, а не просто меры реагирования после того, как ущерб уже нанесен», — заявил Ристо Уук, руководитель отдела европейской политики и исследований в Институте будущего жизни (Future of Life Institute). Аналитические центры, депутаты Европарламента и десятки экспертов по ИИ подписали в этом месяце открытое письмо с призывом к Офису по ИИ активно использовать свои полномочия сразу же при возникновении опасений.

Регулирование индустрии, которой у Европы нет

Неловкая реальность заключается в том, что закон об ИИ будет в подавляющем большинстве регулировать неевропейские компании. Американские лаборатории соревнуются с китайскими конкурентами, и Европа выступает судьей в состязании, в котором сама не участвует.

Moonshot представила в этом месяце Kimi K3 — систему с 2,8 триллионами параметров, позиционируемую как крупнейшая в мире модель с открытыми весами, которую разработчики поставили выше как GPT-5.6 Sol, так и Fable 5 в слепом рейтинге программирования. Открытые веса усложняют контроль таким образом, который не свойственен закрытым моделям.

Mistral составляет конкуренцию, но у Европы нет лидирующей в отрасли альтернативы. «Что по-прежнему отсутствует, так это вторая половина уравнения, — сказал Лагодинский, немецкий евродепутат от партии «зеленых», следящий за внедрением закона, — капитал для финансирования собственных альтернатив».

Полномочия прибывают на фоне сокращения закона

Существует и противоположное давление. Брюссель заключил сделку о смягчении частей закона об ИИ даже по мере вступления в силу этих положений об исполнении, а Парламент перенес выполнение большинства обязательств по высокорисковым направлениям на 2027 и 2028 годы.

Общая картина управления скорее фрагментируется, чем сближается. Собственный отход Америки от мер безопасности имеет последствия далеко за пределами ее границ, а Трамп и Си должны встретиться в Вашингтоне в сентябре, и ИИ будет в повестке дня.

«Это тот момент, когда закон об ИИ выходит на геополитическую арену», — сказал Лагодинский. Смогут ли 36 человек вынести его туда — это вопрос, который воскресенье оставляет открытым.