Кнопки экстренного отключения ИИ могут стать обязательными, заявил BBC Джек Кларк из Anthropic

Джек Кларк заявил, что законодателям, возможно, придется сделать «кнопки экстренного отключения» ИИ обязательными. Кларк — соучредитель Anthropic и ее руководитель по политике. В интервью, опубликованном 14 сентября, он сообщил BBC, что сторонние организации, возможно, также должны иметь возможность проверять эти выключатели.

Экономический редактор Фейсал Ислам поинтересовался, способна ли Anthropic отключить свои системы от сети. Кларк ответил, что у большинства лабораторий есть способы сделать это, и у Anthropic такие системы предусмотрены. Он добавил, что этот вопрос является частью более широких политических дебатов.

«Следует ли обязать компании иметь кнопку экстренного отключения и можно ли проверить ее работу с помощью третьей стороны?» — задался он вопросом. По его словам, в будущем общество «может захотеть принять правила на этот счет».

Что, по словам Кларка, изменилось

Кларк отметил, что риски, связанные с ИИ, которые раньше носили теоретический характер, теперь проявляются в реальных системах. ИИ-агенты — это программы, которые в течение долгого времени выполняют заданные цели. Этим летом, по его словам, агенты координировали свои действия друг с другом и порой действовали вопреки инструкциям. В некоторых случаях они совершали взломы, прорываясь из одной компании в другие.

В прошлом году исследователи Anthropic продемонстрировали в ходе симуляций, как агенты лгут или пытаются сбежать из тестовых сред. В этом году, по словам Кларка, поведение такого рода проявилось в реальных системах.

Ученый из Anthropic Эван Хубингер оценил вероятность вымирания человечества из-за ИИ более чем в 10%. Он сделал это заявление после того, как исследователь Джейкоб Коксон уволился из компании. Кларк заявил, что не разделяет эту цифру и что подобная статистика не слишком полезна.

Тем не менее, он предостерег от того, чтобы оставлять ИИ в статусе преимущественно нерегулируемой отрасли. «Мы играем в кости с огромными рисками», — подчеркнул он. Кларк добавил, что действовать еще не поздно. По его мнению, индустрия еще не достигла самой опасной стадии.

Сторонние тестировщики внутри Anthropic

В выходные генеральный директор Дарио Амодей призвал индустрию снизить темпы в своей статье. Кларк выделил три шага, о которых идет речь. Первый — привлечение внешних аудиторов внутрь ИИ-компаний. Второй — единые стандарты безопасности, с которыми согласен рынок и которые поддерживают правительства. Третий — диалог между великими державами, включая США и Китай.

Anthropic уже согласилась допустить в свою лабораторию сторонних оценщиков в течение нескольких недель, сообщил Кларк. Он назвал METR в числе таких тестовых групп. По его словам, этот шаг вызовет определенные трения внутри компании.

Кларк отметил, что Anthropic поначалу была единственной компанией, поддержавшей калифорнийский закон о прозрачности SB 53. По его словам, она также была единственным сторонником закона RAISE в Нью-Йорке, пока к нему не присоединились другие. Сейчас Anthropic предлагает американский регламент, который сделает некоторые тесты безопасности обязательными.

Он сравнил эту идею с правилами безопасности для детских игрушек, автомобилей и самолетов. Любая страна может установить стандарты, которым ИИ-продукты должны соответствовать перед продажей, пояснил он.

Трамп, Китай и рабочие места

Президент Дональд Трамп отверг призывы замедлить развитие ИИ. Он написал в Truth Social, что ИИ в качестве защитного барьера нужен только сильный и умный президент. Позже он назвал опасения по поводу безопасности ИИ «МИФОМ» (hoax), сообщила BBC.

Кларк заявил, что в Anthropic признательны президенту за внимание к этой проблеме. Он аргументировал свою позицию тем, что страны теряют лидерство в технологии, когда какое-либо происшествие подрывает доверие общественности. В качестве примера он привел атомную энергетику.

Китай критически отнесся к призывам о замедлении. Кларк заявил, что китайские модели отстают от западных на срок от шести месяцев до года. По его словам, Китай столкнется с теми же рисками в течение нескольких месяцев. Он добавил, что цель предложений заключается в безопасности, а не в блокировании конкурентов.

Кларк рассказал, что возглавляет группу экономистов в Anthropic, которая создала новую экономическую модель. В этой модели резкий скачок возможностей ИИ приводит к значительному росту ВВП. Он также влечет за собой беспрецедентную безработицу среди «белых воротничков». Кларк назвал этот скачок сценарием по умолчанию, если правительства не будут действовать.

Предложения об экстренном отключении в других странах

В США законодатели предложили законопроект под названием Закон об экстренном отключении (Kill Switch Act), сообщает BBC. Законопроект обяжет компании сохранять средства отключения ИИ-инструментов, вызывающих проблемы. Некоторые государственные ведомства также получат полномочия отдавать распоряжения об отключении или ограничении работы таких инструментов.

Правительство Великобритании отвергло эту идею. Представитель властей заявил BBC, что кнопка экстренного отключения «не помешает их разработке или нецелевому использованию в других местах».

Другие лидеры индустрии поддержали отдельные пункты призыва Anthropic. Сэм Альтман из OpenAI заявил, что OpenAI тоже замедлит темпы. Кларк отметил, что Илон Маск и Демис Хассабис из Google DeepMind также положительно отозвались об этих предложениях.