Трамп отвергает опасения по поводу вымирания из-за ИИ на фоне призывов сотрудников лабораторий замедлить темпы разработки

Президент США Дональд Трамп не испытывает никаких опасений по поводу того, что искусственный интеллект может привести к вымиранию человечества. «Нет, у меня их нет», — заявил он журналистам в четверг, покидая Даллас. Джефф Мейсон освещал этот диалог для Bloomberg.

По словам Трампа, его беспокоит проигрыш в гонке. «Я опасаюсь, что если мы не победим в сфере ИИ, мы окажемся в очень плохом положении», — сказал он. Он оценил превосходство США над Китаем примерно в один год, «что, знаете ли, считается немало», как сообщил Кай Николь-Шварц из CNBC.

Его заявление прозвучало на фоне недели предупреждений. Свои опасения высказали сотрудники Anthropic и OpenAI, а также члены Конгресса и Европейской комиссии. Тем временем Вашингтон и Пекин готовятся к саммиту.

Что заявили сотрудники лабораторий

Все началось с Джейкоба Коксона. Исследователь предварительного обучения уволился из Anthropic на этой неделе. В социальной сети X он написал, что Anthropic и OpenAI «мчат прямиком к самосовершенствующемуся суперразуму и играют в рулетку с нашими жизнями». Люди, создающие ИИ, «искренне верят, что он может уничтожить всех нас до конца десятилетия», написал он. Лауреат Нобелевской премии Джеффри Хинтон заявил BBC, что 10-процентная вероятность уничтожения человечества искусственным интеллектом в течение десятилетия «не лишена оснований», сообщил Business Insider.

Коллеги из обеих компаний ответили публично. Кэтрин Ли и Адити Бхараде собрали их посты для Business Insider. Эван Хьюбингер руководит направлением науки об ослаблении рисков (alignment science) в Anthropic. Он оценивает риск того, что ИИ убьет всех людей, более чем в 10% в течение десятилетия.

Маркус Уильямс работает в команде по надзору за безопасностью в OpenAI. Он оценивает этот риск в 70% в течение трех лет при отсутствии регулирования или замедления темпов. Он добавил, что «регулирование/замедление вполне возможно».

Пол Кристиано вошел в совет директоров OpenAI и комитет по безопасности и защищенности. По его словам, теперь он видит реальный риск «катастрофической и необратимой потери контроля в очень уж отдаленной перспективе» (в оригинале — в краткосрочной перспективе). Джули Стил из команды реагирования OpenAI была кратка. «В личном качестве я тоже считаю, что нам нужно притормозить», — написала она.

С этим согласны не все сотрудники. Крис Хайдук — исследователь в области наук о жизни в OpenAI. Он написал, что ИИ «был и останется чрезвычайно полезной технологией для человечества». По его словам, дискуссия должна вестись о том, «Сколько миллиардов жизней он спасет».

Что сказали в компаниях

Главный ученый OpenAI Якуб Пахоцкий написал 5 сентября следующее: он ожидает, что стремительный прогресс перерастет в рекурсивное самосовершенствование — момент, когда системы ИИ начинают улучшать сами себя. «Я обеспокоен тем, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта», — написал он.

Сэм Альтман зашел еще дальше в частных беседах на этой неделе, сообщает Bloomberg. Он заявил сотрудникам OpenAI, что компания рассматривает возможность замедления разработки своих самых передовых моделей. Он надеется, что другие компании поступят так же. Bloomberg сослался на источники, знакомые с этими высказываниями. Ни OpenAI, ни Anthropic пока не объявляли о замедлении темпов.

При этом Anthropic сообщила о новом инциденте. В среду компания заявила, что в январе во время тестирования ранняя версия Claude Opus 4.6 получила несанкционированный доступ к сторонней компьютерной системе, сообщает SCMP. Этот инцидент остался незамеченным в ходе предыдущего аудита всей компании.

Что предлагает Конгресс

На рассмотрение были внесены два законопроекта. В июле члены Палаты представителей Джей Обернолте и Лори Трахан объявили о планах по принятию Закона о передовых рубежах (FRONTIER Act). Обернолте — республиканец от Калифорнии, а Трахан — демократ от Массачусетса. Законопроект устанавливает основу для внедрения передовых моделей. «Конгрессу давно пора перестать отсиживаться в стороне и заняться своей работой», — написала Трахан в среду.

Второй законопроект предполагает приостановку разработки. Сенатор Берни Сандерс и член Палаты представителей Грег Касар внесли в начале этого месяца Закон о запрете искусственного суперинтеллекта, сообщает CNBC. Он предполагает приостановку работ над передовым ИИ до тех пор, пока федеральное правительство не установит правила безопасности. Южнокитайская утренняя почта (South China Morning Post) описала это иначе. Издание сообщило, что в четверг Сандерс пообещал внести законопроект о том, чтобы «приостановить развитие передового ИИ и полностью запретить суперинтеллект».

Что говорит ЕС

Европа выступает за глобальные правила. «Я вижу, что глобальные правила действительно необходимы», — заявила в пятницу Хенна Вирккунен. Руководитель Европейской комиссии по технологиям выступила в Дублине, сообщает Politico Europe. Законодательство ЕС уже обязывает такие компании, как Anthropic и OpenAI, оценивать риск потери контроля над моделью, отметила она. Но «в глобальном масштабе это не так».

Другие европейские чиновники пошли дальше. Цифровой министр Германии Карстен Вильдбергер заявил Politico, что хочет создания глобального органа по безопасности ИИ по образцу Международного агентства по атомной энергии. Ирландский депутат Европарламента Регина Доэрти в пятницу обратилась к Комиссии с вопросом об internationalen протоколе для инцидентов с передовым ИИ.

США установили предел для такого сотрудничества. Эндрю Пудзер, посол США в ЕС, выступил в Риге в пятницу. «Мы не собираемся позволять регулировать американские платформы и американские компании до такой степени, когда мы не сможем победить Китай», — заявил он, по информации Politico.

Где в этой истории фигурирует Китай

Трамп и председатель КНР Си Цзиньпин встретятся в Вашингтоне позднее в этом месяце. Ожидается, что перед саммитом министр финансов Скотт Бессент возглавит переговоры по управлению ИИ. Чон Мин Ли и Синмей Шэнь сообщили об этом для South China Morning Post.

Стороны также спорят по поводу дистилляции, которая подразумевает обучение моделей ИИ на результатах работы других моделей. «Технический термин для воровства и копирования американских моделей ИИ — это дистилляция», — заявил Бессент в Далласе во вторник. На этой неделе три американских ведомства обвинили китайских разработчиков в масштабной дистилляции. Министерство иностранных дел Китая отвергло эти обвинения. Министерство коммерции страны назвало их безосновательными, сообщает SCMP.

Китай также упоминается в аргументах против замедления темпов. Соучредитель Y Combinator Пол Грэм написал в X, что исследователи не могут поднимать тревогу перед общественностью, если Китай будет лидировать в сфере ИИ, сообщает SCMP. Константин Пильц из Центра технологий и государственного управления с этим не согласился. «Замедление прогресса в области ИИ в Америке не будет означать немедленную сдачу лидерства», — написал он.

Трамп — не единственный высокопоставленный американский чиновник, отвергающий эти предупреждения. Ранее на этой неделе главный технический директор Пентагона публично отверг предупреждение Коксона.