Билал Чугтаи покинул команду по безопасности ОИИ в DeepMind в июле и опубликовал свое предупреждение на этой неделе

Билал Чугтаи работал над исследованиями в области безопасности и выравнивания общего искусственного интеллекта (AGI) в Google DeepMind до июля.

На этой неделе он опубликовал причины своего ухода, написав в X:

«Я недавно уволился из Google DeepMind, где занимался исследованиями в области безопасности и выравнивания AGI. В Google я воочию наблюдал за разработкой ИИ.

Я тоже крайне обеспокоен траекторией развития этой технологии по умолчанию. Я искренне верю, что у ИИ есть потенциал уничтожить нас всех, и что у нас может не остаться времени, чтобы избежать такого исхода».

Его рецепт решения проблемы конкретнее самого предупреждения. Чугтаи заявил, что безопасного прохождения этого пути можно достичь, но для этого необходима координация, «чтобы избежать этой безумной гонки между ИИ-компаниями», и темпы разработки, «которые общество способно выдержать».

Компания Google не ответила на запрос о комментарии в нерабочее время.

Двухмесячный разрыв между его уходом и публикацией поста — это деталь, на которую стоит обратить внимание. Он ушел в июле и ничего не говорил.

Он выступает сейчас, на той же неделе, когда дискуссия о темпах разработки стала самой громкой темой в индустрии, что делает его заявление скорее вкладом в этот спор, чем отчетом о причинах увольнения.

Кроме того, он стал первым сотрудником лаборатории Google, сделавшим подобный шаг. Джейкоб Коксон, который уволился из Anthropic 9 сентября после трех лет работы в OpenAI до этого, заявил, что лаборатории спешат к созданию самосовершенствующегося суперинтеллекта и играют в азартные игры с нашими жизнями.

Исследователи из конкурирующих компаний публично поддержали его, в том числе Эван Хубингер из Anthropic, оценивший внутреннюю вероятность риска вымирания в этом десятилетии выше 10 процентов, и Джеффри Хинтон, который назвал эту цифру вполне разумной. Чугтаи распространяет эту тенденцию и на DeepMind.

То, о чем он просит, близко к тому, о чем три дня назад говорил Дарио Амодеи, когда заявил, что индустрия должна снизить темпы роста возможностей ИИ.

Замедление темпов до уровня, с которым общество может справиться — это тот же аргумент другими словами, исходящий от исследователя конкурента, а не от генерального директора, которому нужно позиционировать свою компанию.

С выбором времени связана неловкость, и никто из участников не может с этим ничего поделать. Пост Коксона разошелся настолько широко, что уже через несколько дней его структура предложений превратилась в мем для копирования и вставки: люди объявляли об увольнениях из-за самозакрывающихся книг и самокрасящихся туннелей.

Пост Чугтаи начинается практически в том же формате. Он говорит это всерьез, однако этот формат уже затерт людьми, которые не вкладывали в него подлинный смысл.

Восприятие этих предупреждений полностью зависит от того, кто слушает. Эмиль Майкл, технический директор Пентагона, назвал предыдущую волну предсказаний «петлей обреченности» и заявил, что рынок и взаимодействие с правительством смогут справиться с ситуацией без каких-либо пауз.

Дональд Трамп на прошлой неделе отверг эти опасения напрямую и повторил свой отказ в телефонном разговоре с Дженсеном Хуангом в понедельник.

В Сенате Тюн, Круз и Клобучар ведут переговоры по законопроекту, который возложит на разработчиков обязанность проявлять должную осмотрительность при проектировании систем с целью предотвращения катастрофических рисков.

Чугтаи не является политиком или руководителем высшего звена, и его пост не имеет институционального веса. Значимость его слов заключается в том, что он посвятил свою работу в DeepMind именно той проблеме, о которой теперь предупреждает, и выждал два месяца, прежде чем заявить об этом.