Исследователи ИИ поддержали предупреждение об исчезновении человечества, в то время как Пентагон отверг его

Предупреждение, сделанное уволившимся исследователем из компании Anthropic, вызвало широкий резонанс на этой неделе. Ведущие ученые из конкурирующих лабораторий поддержали утверждение о том, что ИИ может угрожать человечеству, в то время как высокопоставленный чиновник Пентагона отверг его. Эта реакция последовала за отставкой Джейкоба Коксона из Anthropic. В своей публикации на X он заявил, что ИИ-компании «на всех парах мчатся к самоулучшающемуся суперинтеллекту и играют в кости с нашими жизнями».

По данным Bloomberg, с тех пор этот пост набрал более 150 миллионов просмотров.

Коксон сообщил, что потратил около трех лет на исследования в области ИИ в OpenAI и Anthropic. Он написал, что люди, создающие ИИ, искренне верят, что он может уничтожить всех к концу десятилетия. Как сообщает Wired, его посты за считанные дни охватили более 100 миллионов человек.

В интервью Axios он рассказал, что покинул Anthropic за два месяца до того, как его опцион (акции) должен был завестись (получить право на реализацию), проработав в компании примерно четыре месяца. По его словам, ему больше нечего было выигрывать за счет раздувания капитализации Anthropic.

Коллеги и конкуренты поддержали заявление

Несколько исследователей из Anthropic и OpenAI публично поддержали предупреждение. Эван Хабингер возглавляет команду по науке о выравнивании в Anthropic. Он написал в X, что сотрудники компании действительно искренне верят, что ИИ может уничтожить всех людей. Он оценивает вероятность этого более чем в 10 процентов в течение следующего десятилетия.

Исследователь Anthropic Самуэль Маркс написал, что разработчики ИИ верят в способность их технологии вызвать вымирание человечества. По его словам, в целом, чем выше должность сотрудника, тем сильнее его беспокойство.

Пол Кристиано также высказал свое мнение. Ранее он возглавлял отдел безопасности в Центре стандартов и инноваций в области ИИ при Министерстве торговли США. Он написал, что недавний прогресс заставил его увидеть реальный риск. По его словам, стремительное ускорение возможностей ИИ может привести к катастрофической и необратимой потере контроля в самом ближайшем будущем.

Погибнуть может большая часть людей, добавил он.

OpenAI объявила, что Кристиано вошел в совет директоров ее некоммерческого фонда. Джеффри Хинтон — один из исследователей, которых часто называют крестными отцами ИИ. Он заявил в программе BBC Newsnight, что 10-процентный риск вымирания человечества кажется вполне разумной оценкой.

Исследователи OpenAI присоединились к призывам замедлить темпы разработки. Джули Стил работает в команде компании по безопасности. Как сообщает CNBC, от своего лица она написала, что индустрии также необходимо замедлить темпы. Эти заявления последовали за открытым письмом в июле. Его подписали около 1400 сотрудников передовых ИИ-компаний.

В письме содержится призыв к правительству США создать инструменты для целенаправленного сдерживания автоматизированного развития ИИ.

Пентагон дает отпор

Как сообщает Bloomberg, не все приняли это предупреждение всерьез. Эмиль Майкл, технический директор Министерства обороны США, отверг его в четверг на конференции оборонной промышленности в Вашингтоне. По его словам, легко увязнуть в подобном цикле обреченности. Он охарактеризовал сообщение Коксона как квинтэссенцию всех страхов, объединенных в один удачно написанный твит.

Майкл, бывший топ-менеджер Uber, заявил, что свободный рынок, сотрудничество в отрасли и взаимодействие с правительством могут минимизировать потенциальный вред.

Майкл также сообщил журналистам, что Министерство обороны перенесло около 90% своих засекреченных рабочих нагрузок по ИИ из Anthropic. По его словам, ведомство намерено перенести оставшуюся часть до конца месяца. Его заявления прозвучали на фоне спора Пентагона с Anthropic по поводу мер безопасности при военном использовании ее моделей, дело которого в настоящее время рассматривается в суде.

Исследователь ИИ Гэри Маркус рассказал Business Insider, что считает кибератаки и дезинформацию серьезными рисками. Однако, по его словам, ему не известен ни один реалистичный сценарий фактического уничтожения всех людей.

Реакция докатилась до Вашингтона

Предупреждение вызвало быструю политическую реакцию. Член Палаты представителей Лори Трахан, демократ от штата Массачусетс, написала, что исследователи безопасности увольняются, мощные модели ИИ вырываются из-под контроля лабораторий, а компании все равно продолжают гонку. Она указала на двухпартийный законопроект FRONTIER Act, который установит надзор за передовыми моделями.

Другой законопроект, Закон о запрете искусственного суперинтеллекта (Ban Artificial Superintelligence Act), предполагает приостановку передовых разработок до тех пор, пока не будут установлены правила безопасности. Сенатор Берни Сандерс заявил, что внесет законопроект о приостановке разработок в сфере ИИ. Сенатор Тед Круз назвал этот риск «страшным до чертиков», сообщает Politico.

Дэвид Сакс, председатель Совета советников при президенте по науке и технологиям, высказался по этому поводу в X. Он написал, что планируемое первичное публичное размещение акций (IPO) Anthropic должно быть приостановлено до тех пор, пока утверждения осведомителя не будут расследованы.

Anthropic отказалась комментировать этот пост. Ожидается, что компания начнет маркетинг своего первичного публичного размещения акций в середине октября в самом лучшем случае. Листинг пройдет незадолго до промежуточных выборов в США в ноябре.

Позиция Anthropic

По данным Associated Press, Anthropic не ответила на запрос о комментарии по поводу отставки Коксона, а OpenAI не предоставила оперативного ответа. Представитель Anthropic сообщил CNBC, что компания всегда открыто заявляла: ИИ принесет как огромную пользу, так и беспрецедентные риски.

Представитель добавил, что компания создает модели с одними из самых надежных средств защиты в отрасли. По его словам, Anthropic стала первой лабораторией, опубликовавшей концепцию снижения катастрофических рисков, исходящих от моделей ИИ.

Коксон — не первый исследователь, поднявший подобные вопросы. Хинтон покинул Google в 2023 году, чтобы открыто говорить о рисках. В мае лауреат премии Тьюринга Йошуа Бенжио выступил с аналогичным предупреждением об исчезновении человечества из-за ИИ.

Главный научный сотрудник OpenAI Якуб Пахоцкий написал в этом месяце, что системы ближайших нескольких лет, вероятнее всего, будут все сильнее определять собственное развитие, и этот момент требует предельной осторожности.

На этой неделе выделялся не столько сам аргумент, сколько масштаб реакции, измеряемый количеством просмотров и авторитетом тех, кто поддержал это предупреждение.