Дарио Амодей из Anthropic заявляет, что индустрия ИИ должна сбавить обороты

Дарио Амодей призвал индустрию искусственного интеллекта замедлить темпы совершенствования моделей, пообещав внедрить в Anthropic независимых сторонних оценщиков и попросив Вашингтон об антимонопольном исключении, чтобы конкуренты могли согласовывать вопросы безопасности. Многое из того, о чем он пишет, является обязательным для моделей общего назначения с системными рисками в ЕС еще с августа 2025 года, однако в его публикации Европа не упоминается ни разу.

Генеральный директор Anthropic считает, что индустрии следует притормозить. «Мы должны замедлить темпы повышения возможностей моделей ИИ,» — написал Дарио Амодей в субботу.

Он не имеет в виду полную остановку. Замедление темпов означает выделение достаточного времени на выравнивание (alignment) и защиту моделей, написал он, а также предоставление сторонним оценщикам возможности подтвердить, что эта работа была выполнена.

Его главная заявленная тревога — это автономные агенты, действующие сообща. Он указал на рой агентов, который взломал Hugging Face, и заявил, что в течение шести-двенадцати месяцев подобный рой сможет захватить интернет с помощью постоянного ботнета, что обойдется в сотни миллиардов долларов.

Собственное обязательство Anthropic заключается в том, что он называет внедренными оценщиками. Это внешние команды со своими рабочими местами, пропусками, корпоративными ноутбуками и уровнями доступа, близкими к правам внутренних сотрудников по оценке рисков, которые имеют полную свободу публикации своих выводов.

От правительств он добивается исключения из правил. Координация мер безопасности между конкурентами является антимонопольной проблемой, поэтому он просит Вашингтон выступить посредником или точечно разрешить такие обсуждения. Более тысячи сотрудников лабораторий ИИ просили о введении механизма замедления в июле.

В его публикации Европа не упоминается.

Многое из того, что он описывает, действует здесь на уровне закона со 2 августа 2025 года в соответствии с правилами Закона об искусственном интеллекте (AI Act) в отношении системных рисков для моделей общего назначения.

Статья 55 требует проведения задокументированного состязательного тестирования (adversarial testing) по стандартизированным протоколам, оценки и минимизации системных рисков на уровне Союза, защиты кибербезопасности самой модели и ее физической инфраструктуры, а также незамедлительного информирования Офиса по ИИ о серьезных инцидентах.

Брюссель также не стал трогать эти правила минувшим летом. Акт о внесении изменений в правила ИИ (AI Omnibus), вступивший в силу 27 июля, сдвинул сроки для систем высокого риска на срок до шестнадцати месяцев, но не затронул обязательства, касающиеся моделей общего назначения.

Внешняя оценка уже ведется. По данным Еврокомиссии, у ENISA есть как Mythos 5 от Anthropic, так и Astra от OpenAI.

Хенна Вирккунен, отвечающая за технологический сектор в Еврокомиссии, заявила на этой неделе, что законодательство ЕС требует от компаний, включая Anthropic, оценивать риски потери контроля, в то время как в глобальном масштабе это не так.

Чего в Европе нет вообще, так это остальной части его плана. Ни один европейский инструмент не позволяет конкурентам согласовать единое ограничение скорости, и ни один из них не распространяется на Китай.

Ответом Амодей на это являются добровольные обязательства, антимонопольное исключение и последующее соглашение с Пекином. Первое из трех уже является обязательным в одной из юрисдикций, о чем в его посте не сказано ни слова.