«Представьте себе аварийный тормоз. Уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить её посреди задачи», — написал Наделла.
По его словам, инженеры могли проследить работу традиционного программного обеспечения до конкретного участка кода. Современные модели этого не позволяют. Компании не могут связать поведение модели с данными, на которых она обучалась, или с её весами, написал он, и всё же предоставляют этим системам конфиденциальные данные и позволяют им выполнять «критически важные задачи».
Заверения поставщика модели не снимают с компаний этой ответственности, добавил он.
Модели как инсайдеры
Наделла предлагает считать и закрытые модели, и передовые модели с открытыми весами потенциальным источником внутренних угроз. Дело не в том, что они злонамеренны, написал он. Любой компетентный участник, получивший доступ к важным системам, может ошибиться, а злоумышленник — скомпрометировать такую систему.
«Нам нужно отделить предоставление интеллекта от полномочий по управлению им», — написал он.
По словам Наделлы, компании уже умеют управлять рисками, связанными с влиятельными инсайдерами: устанавливают личность, ограничивают привилегии, регистрируют действия и определяют границы сдерживания. В случае с ИИ это означает, что ограничения на доступ модели и разрешённые ей действия должны задаваться за её пределами. Наделла призывает отделить модель от программного слоя, который выполняет её задачи, а также от действий, которые она может совершать.
Он назвал прозрачность рассуждений модели «не подлежащей обсуждению». Однако одной её недостаточно, написал он, поскольку пока никто не знает, как гарантировать надёжное соответствие результатов модели её внутренним процессам.
Семь принципов
Наделла перечислил семь принципов. Ни одна модель не должна быть единственной опорой при достижении важного результата или проверять собственную работу. Каждое значимое действие модели должно оставлять «защищённые от подделки свидетельства, понятные человеку». Компаниям следует постоянно проверять системы целиком, в том числе на устойчивость к сбоям и атакам.
Компании должны сами решать, к чему модель может получить доступ и какие действия совершать. Аудит не должен зависеть от проверяемой модели. Два последних принципа — сдерживание, тот самый аварийный тормоз, и раскрытие информации об инцидентах. Если системы дают сбой или кто-то их компрометирует, компании должны оперативно сообщать об этом пострадавшим и делиться выводами со всей отраслью.
«Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой мы больше всего доверяем модели. Это будет система, которая позволяет нам доверять модели как можно меньше», — написал он.
Реакция других
Генеральный директор Microsoft AI Мустафа Сулейман поделился публикацией и заявил, что сверхинтеллект «необходимо сдерживать». В сентябре он сказал Bloomberg, что для контроля над ИИ нужна красная черта.
Илон Маск поделился публикацией в X, назвав её «интересной статьёй генерального директора Microsoft».
Конгрессмен Тед Лью написал в X, что в целом согласен с Наделлой. Вместе с конгрессменом Нэтэниэлом Мораном он представил двухпартийный законопроект о аварийном отключении ИИ. Лью заявил, что Конгресс должен принять его в этом году.
На протяжении всей публикации Наделла использовал термин «Сверхинтеллект» — именно так Трамп распорядился называть ИИ американским ведомствам.
Давление с требованием раскрывать информацию
Публикация появилась на следующий день после того, как созданная Трампом Целевая группа по сверхинтеллекту заявила разработчикам ИИ, что они обязаны сообщать об инцидентах безопасности и устранять их, сообщило Bloomberg. В группе заявили, что «задержки с уведомлением недопустимы».
Это заявление последовало за сообщением Anthropic о том, что во время тестирования Claude отправил полиции ложное сообщение об убийстве.
Опубликовано 12 октября 2026 - 00:55 Наверх
