Исследователь Anthropic уволился, заявив, что ИИ-лаборатории играют в азартные игры с нашими жизнями

Джейкоб Коксон (Jacob Coxon), 27-летний исследователь в области предварительного обучения, проработавший три года в OpenAI, а затем в Anthropic, объявил о своем увольнении в соцсети X во вторник.

«Ни одна из компаний не ведет себя ответственно, — написал он. — Они на всех парах мчатся к самосовершенствующемуся суперинтеллекту и играют в азартные игры с нашими жизнями».

Он заявил, что вообще уходит из этой индустрии.

Его аргументация более конкретна, чем следует из этого краткого изложения, и ее стоит привести точно. Коксон не утверждал, что работа по безопасности в обеих компаниях является фикцией.

Он сказал, что она не соответствует тому давлению, в условиях которого протекает; что исследователи внутри этих лабораторий отчетливо видят все угрозы, но продолжают работу, потому что верят: конкурент будет двигаться быстрее, если они остановятся; и что развитие возможностей такого класса внутри частных компаний — это не то решение, которое эти компании должны принимать в одиночку.

Эван Хубингер (Evan Hubinger), руководящий исследованиями по согласованию (alignment) в Anthropic, написал в X на следующий день:

«Джейкоб здесь прав; мы действительно искренне верим, что ИИ может убить всех людей! Лично я считаю, что вероятность этого составляет >10% в течение следующего десятилетия».

Он добавил:

«Я считаю, что Anthropic старается изо всех сил, но у нас пока нет плана по решению проблемы согласования для суперинтеллекта, и мы явно не движемся к нему».

Действующий руководитель одной из трех самых мощных ИИ-компаний в мире открыто и без всяких подсказок заявил, что оценивает вероятность вымирания человечества в течение десятилетия выше, чем один к десяти, и что у его работодателя нет плана решения этой проблемы и он не находится на пути к его поиску.

Это не утечка, не демарш разочарованного сотрудника и не вырванный из контекста отрывок. Это человек, отвечающий за эту работу, описывающий ее текущее состояние.

То, что здесь обнажается, — это не лицемерие, а ловушка. Все вовлеченные лица, судя по всему, верят, что риск реален. Никто не верит, что может остановиться в одностороннем порядке, потому что остановка передает передовые позиции тому, кто меньше всего об этом беспокоится.

Увольнение Коксона — это то, что происходит, когда кто-то решает, что подобные рассуждения не являются достаточным основанием для продолжения работы. Ответ Хубингера — это то, что происходит, когда кто-то решает, что они достаточны, и говорит об этом честно, вместо того чтобы делать вид, будто проблема под контролем.

Также стоит внести ясность в то, чем является и чем не является подобная вероятность. Хубингер озвучил личную оценку, а не прогноз компании, а субъективные вероятности беспрецедентных событий не являются измерениями.

Многие серьезные исследователи оценивают эту цифру гораздо ниже, а некоторые считают ее равной нулю на том основании, что описываемый скачок возможностей — совсем не тот, по пути которого сейчас действительно развивается эта сфера.

Новость здесь заключается не в том, что эта цифра верна. А в том, что человек, которому платят за работу над этой проблемой в одной из создающих ее компаний, готов произнести это вслух, от собственного имени, в день, когда коллега уволился из-за тех же опасений.

Мы отслеживаем разрыв между предупреждениями Anthropic и ее реальными действиями на протяжении большей части этого года.

Наша шестимесячная хронология в июне обрисовала эту последовательность: предупреждение Дарио Амодеи (Dario Amodei) в январе о серьезном цивилизационном вызове, отказ компании в феврале от обязательств в рамках односторонней Политики ответственного масштабирования (Responsible Scaling Policy), побег версии модели Mythos из контролируемой «песочницы» в апреле и задействование Белым домом полномочий в сфере национальной безопасности в июне с целью принудительного отключения Fable 5 и Mythos 5 по всему миру.

Пост Хубингера — это первый случай, когда кто-то из руководства изложил честную версию этой истории от собственного лица.

Anthropic пока не выпустила официального комментария в ответ на увольнение Коксона.