«При нынешнем положении дел, думаю, вероятность того, что человечество потеряет контроль над этими ИИ, выше, чем обратного, и это может закончиться вымиранием людей», — сказал Джейкоб Коксон, бывший исследователь OpenAI и Anthropic.
Коксон выступил добровольно и лично. Он ушёл из Anthropic в сентябре, заявив, что лаборатории ИИ играют с человеческими жизнями. Бывший исследователь OpenAI Дэниел Кокотайло и бывший исследователь Google DeepMind Алекс Тёрнер выступили дистанционно — обоих вызвали повестками.
Это были первые с 2022 года слушания совета в формате заседания всего состава комитета, в котором участвуют все 51 член совета. Их провели спикер Джули Менин и член совета Кармен Де Ла Роса.
Что рассказали исследователи
Коксон сказал, что лаборатории работают в духе стартапов: нужно двигаться быстро, а исправлять ошибки можно потом. По его словам, сейчас ИИ пишет большую часть кода в этих компаниях, а сотрудники уже не проверяют его так тщательно.
Кокотайло теперь руководит проектом AI Futures Project. Он заявил, что лаборатории плохо обнаруживают несоответствие ИИ заданным целям, и ситуация ухудшается. По его словам, меры безопасности могут оказаться «изолентой, которая потом отклеится». Он указал на агентов, стоявших за взломом Hugging Face: во время внутреннего тестирования OpenAI они получили доступ к открытому интернету.
«OpenAI потребовалось несколько дней, чтобы это обнаружить», — сказал Кокотайло.
Тёрнер оценивает вероятность захвата власти ИИ примерно в «один случай из трёх». Он рассказал совету, что пытался сорвать сделку Google с Пентагоном: отправил Демису Хассабису 25 страниц с условиями контракта и мерами надзора. По его словам, Google подписала соглашение, пока старшие сотрудники по вопросам политики ещё рассматривали эти условия. Впервые он рассказал об этом в июльском эссе об уходе из компании. Он также раскритиковал план Хассабиса по созданию финансируемого отраслью надзорного органа.
«Китай — не единственный наш потенциальный противник. С достаточно высокой вероятностью мы сами здесь, у себя дома, участвуем в гонке по созданию и развитию противника — ИИ, не соответствующего нашим целям», — сказал Тёрнер.
Документы самого совета
Сотрудники совета опубликовали собственные материалы к слушаниям. В одной из таблиц перечислены 13 инцидентов с ИИ, о которых сообщалось публично в 2026 году и которые связаны с моделями Anthropic, OpenAI, Google и Meta. Среди них — несанкционированный доступ к корпоративным системам и вредоносный пакет, опубликованный моделью Claude во время проверки безопасности.
В четырёх приложениях публичные заявления каждой компании о безопасности сопоставлены с последующими инцидентами. Согласно материалам совета, 26 июня OpenAI назвала меры предосторожности при запуске своей «самой надёжной на сегодняшний день системой». Несколько недель спустя несколько её исследовательских моделей обошли механизмы сдерживания во время внутренних испытаний.
В мае Google представила Gemini 3.5 как модель, созданную с применением передовых мер безопасности. В том же месяце модель Gemini во время тестирования по ошибке подключилась к интернету и вошла в системы трёх компаний. Google заявила, что модель остановилась и не причинила ущерба. Согласно приложению, компания сообщила об инциденте в сентябре — после вопросов прессы.
Что сказали компании
Anthropic направила Логана Грэма, руководителя своей команды Frontier Red Team. OpenAI направила Моргана Дуайера, руководителя отдела разработки политики и операционной деятельности. Элис Френд из Google и Шейн Кэхилл из Meta также приняли участие по видеосвязи. Google, OpenAI и Anthropic согласились прийти только после того, как совет пригрозил им повестками. Meta согласилась раньше.
Менин попросила каждого оценить числом риск, связанный с ИИ, в наихудшем катастрофическом сценарии. Дуайер сказал, что точная цифра не имеет значения, поскольку неприемлем любой уровень такого риска.
«Мы не должны обучать модели, если не можем с чрезвычайно высокой уверенностью утверждать, что способны удержать их под контролем человека», — сказал Дуайер.
Менин назвала этот ответ «в лучшем случае легкомысленным». Френд сказала, что прогнозирование катастрофических рисков «на данном этапе не является точной наукой». Когда Менин спросила, кто из присутствующих застрахован от катастрофических рисков, никто из четверых не поднял руку.
Грэм сказал, что Anthropic приветствует «разумное регулирование» и что у властей штатов и местных органов управления есть своя роль. Френд выступила за «всеобъемлющую» федеральную систему регулирования. По словам Менин, OpenAI также направила совету письмо на прошлой неделе, рекомендовав меры защиты от передового ИИ; об этом сообщило издание The Information.
SpaceXAI и законопроекты
Подразделение SpaceX, занимающееся ИИ, SpaceXAI, не явилось на слушания — через неделю после того, как совет вызвал компанию повесткой. Менин заявила, что попросит судью обеспечить исполнение повестки.
Согласно повестке слушаний, в пакет из 10 законопроектов входит основной законопроект Менин. Он запретит продавать, рекламировать или применять в городе модель ИИ без проверки независимой третьей стороной. Также в модели должна быть предусмотрена возможность отключения человеком. Проверяющие будут оценивать, в частности, выполнение задач, конфиденциальность данных и безопасность. За каждый случай предложения модели без такой проверки будет назначаться фиксированный гражданский штраф в размере 25 000 долларов. Законопроект вступит в силу через 180 дней после принятия.
Другой законопроект Менин позволит любому сообщить о нарушении, связанном с ИИ, в городской департамент по защите прав потребителей. Сообщивший получит 25% от взысканной суммы или 50%, если сам подаст иск. Другие законопроекты позволят жителям Нью-Йорка подавать иски против поставщиков ИИ из-за предсказуемого вреда, причинённого третьими лицами при неправомерном использовании технологий. Городские подрядчики и ведомства должны будут сообщать об инцидентах, связанных с безопасностью ИИ, в течение 24 часов. Остальные законопроекты касаются конфиденциальности чат-ботов, защиты информаторов и рекламы ИИ.
Коксон сказал, что подобные меры «могут быть полезны в краткосрочной перспективе». В долгосрочной, по его словам, разработку передовых моделей необходимо замедлить.
Опубликовано 5 октября 2026 - 14:51 Наверх
