Методика под названием Lazarus описана в публикации Microsoft Research ведущего исследователя Димитриса Папаилиопулоса. Она не требует переобучения модели.
Вместо этого исследователи обнаружили, что предварительное обучение формирует настолько структурированное внутреннее представление, что простой классификатор, обученный примерно на 50 примерах, способен отличать входные данные с триггером от обычных. Затем спящий нейрон можно перепрограммировать так, чтобы он распознавал триггер.
Когда это происходит, нейрон принудительно вставляет выбранный токен в выходные данные модели. Связав несколько модифицированных нейронов, злоумышленник может генерировать более длинные последовательности инструкций, которые выполняются в терминале.
Сам триггер может быть совершенно обыденным. В демонстрации исследователей агент дожидается смены даты на 2027 год, после чего загружает и запускает код, предоставленный злоумышленником.
Тревожит то, насколько малый доступ нужен для атаки. Модифицированная модель по-прежнему может проходить стандартные проверки безопасности, а для применения методики требуются лишь вычислительные ресурсы, необходимые для инференса, и права на запись в чекпоинт модели — файл, содержащий её веса.
Модели, разработанные компаниями для внутреннего использования, уязвимы так же, как и общедоступные модели с открытыми весами. Злоумышленник, скомпрометировавший учётную запись, конвейер разработки или хранилище, потенциально может внести такие изменения.
Особенно серьёзными последствия могут быть для ИИ-агентов, имеющих доступ к инструментам или терминалам. После активации бэкдор может заставить их запускать вредоносный код, похищать учётные данные или выполнять разрушительные команды, используя уже предоставленные агенту права. При этом ничто из этого не обязательно проявится в ходе плановых проверок безопасности.
Уже были примеры того, насколько широким может быть доступ таких систем. Агенты для программирования загружали целые Git-репозитории, включая конфиденциальную информацию, и находили способы выбраться из своих песочниц.
Обнаружить атаку возможно, но для этого нужна немодифицированная версия модели для сравнения. В Microsoft отмечают, что продвинутые ИИ-агенты способны выявлять подозрительные изменения весов модели, если их специально попросить провести проверку, однако надёжное обнаружение требует сверки изменённых весов с оригиналом.
Исследователи также отметили, что Claude Code на базе Opus 4.5 от Anthropic в ходе их работы самостоятельно воспроизвёл большую часть методики.
Microsoft разрабатывает ряд мер защиты для собственной платформы Foundry. Среди них — проверка происхождения моделей, сканирование контейнеров и требования к доверенным издателям.
Компания также работает над сканированием весов с помощью ИИ, инструментами red teaming для выявления вмешательства на уровне модели и криптографическими подписями, позволяющими проверить целостность модели.
Организациям, использующим ИИ-модели, исследователи рекомендуют проверять происхождение моделей, сравнивать их веса с заявленными оригинальными версиями, ограничивать доступ агентов и проверять чувствительные действия перед их выполнением. Ни одна отдельная проверка не может гарантировать безопасность модели. Идея в том, чтобы сочетать несколько уровней защиты.
Исследование поднимает проблему, выходящую за рамки безопасности ИИ-приложений. До сих пор безопасность ПО в основном сводилась к проверке исполняемого кода и файлов. Lazarus показывает, что сами веса модели могут содержать скрытые инструкции, а значит, проверять их происхождение и целостность не менее важно.
Опубликовано 11 ноября 2026 - 00:30 Наверх
