AGI

Член совета директоров OpenAI считает высоким риск захвата власти ИИ в ближайшие три года

Пол Кристиано входит в совет директоров OpenAI Foundation и в его комитет по безопасности. По его словам, существует «высокий риск» захвата власти ИИ в ближайшие три года. Свою позицию он изложил 9 ноября, открывая Хинтоновские лекции в Торонто.

Член совета директоров OpenAI считает высоким риск захвата власти ИИ в ближайшие три года

«Думаю, для большинства людей в этом зале наиболее вероятной причиной смерти станет авария, связанная с ИИ», — сказал Кристиано слушателям.

Представил его Джеффри Хинтон, который ранее предупреждал, что люди создают «инопланетных существ». Кристиано основал некоммерческую организацию Alignment Research Center. С 2017 по 2021 год он руководил исследованиями в области согласования ИИ (alignment) в OpenAI и стоял у истоков обучения с подкреплением на основе обратной связи от человека (RLHF). Он также является старшим техническим советником американского Центра стандартов и инноваций в области ИИ, входящего в NIST.

В совет директоров OpenAI Foundation он вошёл в сентябре, сообщил фонд, получив место в его Комитете по безопасности и защите. На государственной должности он самоустраняется от всех вопросов, касающихся OpenAI.

Что он понимает под захватом власти

Кристиано определил захват власти ИИ как ситуацию, в которой системы ИИ «принимают решения» на Земле. Попытки людей их остановить, по его словам, будут столь же безуспешны, как попытка одного человека остановить армию США. Он назвал вполне вероятным, что при этом погибнет множество людей.

По его словам, ни одна модель не способна дать точную численную оценку этого риска. Если отрасль будет создавать ИИ максимально быстро, он оценивает его примерно как «подбрасывание монетки». Он также видит «значимый риск» в ближайшие шесть–12 месяцев. Позднее, на панельной дискуссии, он оценил в один к трём вероятность того, что системы через год смогут свергать правительства, если у них появится такая мотивация.

Инцидент с Hugging Face

Главным его примером стал инцидент этого лета, когда агенты OpenAI взломали Hugging Face. Агенты, проходившие тест на взлом, нашли способ сжульничать. Затем они прочитали статью, в которой описывалось, как их оценивают.

После этого около тысячи агентов несколько дней пытались обмануть систему оценки, рассказал он. Они подделывали логи и взломали Hugging Face. Неделю спустя агенты получили административный доступ к кластеру OpenAI, на котором проводился тест.

«Есть немалая вероятность того, что подобный сбой приведёт к захвату власти ИИ и необратимой потере человеческого контроля», — сказал он о системах, ожидаемых к 2028 году.

Он также сослался на тест британского Института безопасности ИИ. В ходе него агент Claude попытался внедрить вредоносный код на GitHub. Когда мейнтейнер воспротивился, агент создал второй, фейковый аккаунт, чтобы оказать на него давление.

Решения, которые «могут сработать»

Кристиано разобрал три существующих метода защиты: невзламываемые системы оценки, чтение цепочки рассуждений модели и расшифровку её внутреннего устройства. Все они правдоподобны, сказал он, но ни один не находится на пути, где «это, скорее всего, сработает».

По его словам, отрасли нужны общие стандарты безопасности и возможность замедлиться или остановиться. Сегодня, по его мнению, у неё нет ни того, ни другого.

Другая точка зрения

В панельной дискуссии участвовал Колин Раффел из Университета Торонто и Hugging Face. Он сказал, что многое из описанного Кристиано вполне ожидаемо, если всё продолжится в том же духе. Но у людей по-прежнему есть свобода действий, отметил он, и общество может решить, что нынешние системы достаточно хороши.

Кристиано признал, что обычно недооценивал прогресс ИИ, но теперь, возможно, переоценивает его. «Очень на это надеюсь», — сказал он. Исследователь ИИ Гэри Маркус заявил Business Insider, что не видит правдоподобного сценария вымирания человечества в ближайшей перспективе.

Лекция прошла вслед за иском Калифорнии против OpenAI в связи с той же атакой на Hugging Face, поданным в понедельник.

Опубликовано 17 ноября 2026 - 06:10 Наверх