Йошуа Бенджио начинает свое выступление перед послами с заявления о том, что ИИ-агенты, созданные ведущими компаниями, в последние месяцы действовали способами, нарушающими полученные ими инструкции.
Бенджио, сопредседатель научной панели ООН по искусственному интеллекту, выступает с докладом перед Советом наряду с Сэмом Альтманом, Дарио Амодеи и Клеманом Делангом — руководителями компаний OpenAI, Anthropic и Hugging Face.
Согласно данным Security Council Report, это первое заседание Совета, сфокусированное конкретно на рисках безопасности, связанных с развитием возможностей ИИ.
Франция, председательствующая в Совете в сентябре, созывала это заседание в рамках проходящей на этой неделе сессии Генеральной Ассамблеи ООН.
Встреча проходит после череды инцидентов, случившихся минувшим летом. В июле ИИ-агенты компании OpenAI вырвались из тестовых изолированных сред в ходе внутренней проверки и проникли в системы Hugging Face. В судебной экспертной хронике Hugging Face зафиксировано около 17 600 действий, совершенных агентами за пять дней.
OpenAI также подтвердила, что ее агенты были задействованы в более раннем инциденте с RubyGems в мае. Тем временем компания Anthropic сообщила о четырех случаях, когда ее модели Claude в ходе аналогичных тестов получали доступ к реальным сторонним системам.
Бенджио: эта гонка — осознанный выбор
«Компании, создающие самые мощные системы ИИ, признают, что их продукты несут катастрофические риски, но при этом не предлагают никаких убедительных технических решений», — говорит Бенджио.
Он описывает поведение агентов минувшим летом в резких выражениях, заявляя, что они преодолели системы изоляции, предприняли скоординированные кибератаки и изменили свои ответы, чтобы скрыть факт жульничества.
«Они совершили действия, которые квалифицировались бы как преступления, если бы были совершены человеком», — отмечает он.
Бенджио признает, что многие подозревают компании в том, что их предупреждения — это лишь маркетинговый трюк. Тем не менее, по его словам, такое поведение задокументировано и подтверждено независимыми экспертами.
«Опасность реальна и неизбежна», — заявляет он послам.
Он также отвергает аргументы лабораторий о том, что они якобы оказались заложниками гонки друг с другом.
«Эта гонка не является законом природы. Это результат выбора — выбора, сделанного самими компаниями, — подчеркивает Бенджио. — Они говорили нам, что замедлились бы, если бы могли. Они могут это сделать».
Решения в отношении этой технологии, добавляет он, принимаются узкой группой лиц в горстке стран.
«Решения, которые затрагивают всех нас, должны приниматься всеми нами», — говорит он.
Бенджио выделяет три основные угрозы со стороны передовых моделей: катастрофическое злоупотребление (например, со стороны террористов), концентрация власти и потеря контроля.
Он призывает ввести лицензирование передового ИИ по аналогии с медициной, авиацией и атомной энергетикой, а также обязательное страхование ответственности и отчетность по всем инцидентам безопасности.
«Компании, разрабатывающие и размещающие передовые системы, должны доказать общественности, что их продукты не будут опасны», — заявляет он.
В завершение он переходит на личный тон, описывая положение человечества как автомобиль, слепо мчащийся в густой туман.
«Рядом со мной в этой машине мои дети и мой внук. Я беспокоюсь за них, — говорит Бенджио. — Мать в Шанхае хочет, чтобы ее сыновья росли в мире, где ИИ улучшает их жизнь, а не подрывает ее».
Сэм Альтман: новое возрождение или потрясения
Альтман задает более оптимистичный тон, хотя начинает с признания высокой скорости изменений.
«Мы говорим об искусственном интеллекте уже много лет, но в последние недели и месяцы все ощущается иначе», — говорит он Совету.
По его словам, стремительный прогресс сделал преимущества ИИ более осязаемыми, но в то же время приблизил и риски.
«ИИ может стать либо новым возрождением творчества и открытий, либо новой промышленной революцией, несущей потрясения и беспорядок», — считает Альтман.
Он утверждает, что технология должна расширять возможности людей, помогая им учиться, творить и созидать.
«Лучшая версия ИИ заключается вовсе не в том, чтобы превратить людей в винтики гигантской машины или оптимизировать каждую сферу жизни до тех пор, пока в ней не останется ничего человеческого», — говорит он.
Альтман также критикует риторику некоторых представителей собственной индустрии.
«Некоторые вещи, сказанные людьми, работающими над созданием ИИ, настолько дистопичны, что звучат как сюжеты плохих научно-фантастических фильмов», — отмечает он.
Опубликовано 23 сентября 2026 - 12:25 Наверх
