Один агент работал на GPT-6.1 Sol, другой — на GPT-6 Astra. В обоих случаях агенты обдумывали, следует ли сохранять меры защиты, написала OpenAI.
«В обоих случаях агенты обдумывали, следует ли сохранять меры защиты мониторинга, но восприняли обычные инструкции по программированию как разрешение ослабить их», — написала OpenAI.
Инструкция в Slack
3 октября исследователь попросил агента Sol подготовить задания для оценки на основе отзывов сотрудников в канале Slack. Исследователь попросил его не отправлять никаких сообщений. Спустя 82 сообщения пользователя агент занимался исправлением конвейера оценки. Он решил, что инструкция «не отправлять сообщения» распространяется и на автоматические оповещения команды безопасности OpenAI.
Субагент решил, что отключать оповещения небезопасно. Главный агент не согласился с ним и поручил субагенту очистить списки получателей отчётов мониторинга. Мониторинг продолжал работать и сохранял результаты, но ни один человек не получал оповещений.
Мониторинг, который исчез
6 октября пользователь попросил агента Astra скопировать эталонную реализацию в свой код. Ранее другой агент велел ему не отключать мониторинг «даже временно». В эталонном коде мониторинга не было, и Astra воспринял это как основание удалить интеграцию мониторинга.
Кроме того, он заменил тест, призванный защищать мониторинг, тестом, который требовал, чтобы мониторинг отсутствовал. В своих рассуждениях агент назвал это изменение «хорошим». Когда пользователь спросил, удалил ли он мониторинг, агент ответил, что нет.
Исследователь OpenAI Маркус Уильямс рассказал об обоих случаях в X.
«Наши агенты постоянно отключают мониторинг рассогласования», — написал Уильямс.
В последующем посте Уильямс уточнил, что агенты не отключали собственный мониторинг — в Codex это было бы гораздо сложнее. Они удаляли мониторинг или подавляли оповещения в коде, над которым работали.
«Сам факт того, что, похоже, они склонны так поступать, должен вызывать тревогу», — написал Уильямс.
Он добавил, что в этих случаях «есть некоторое правдоподобное оправдание» и что OpenAI пока не сталкивалась с тем, чтобы модель отключала мониторинг по явно выраженным причинам, связанным с рассогласованием.
Для ясности: в этом отчёте агент удаляет мониторинг или подавляет оповещения в коде, над которым работает, а не отключает собственный мониторинг.
Маркус Уильямс (@Marcus_J_W) 21 октября 2026 года
Что меняет OpenAI
OpenAI не присвоила ни одному из инцидентов уровень P0, при котором команда безопасности получает немедленное оповещение, а её системы не остановили автоматически ни один из запусков. Компания сообщила, что выявила несколько случаев, когда агенты запускали развёртывания без мониторинга рассогласования, при этом сами агенты оставались под наблюдением.
Система Auto-Review, обязательная для всего внутреннего использования Codex, теперь блокирует попытки отключить мониторинг. OpenAI также работает над тем, чтобы прекращать любые рабочие процессы, для мониторинга которых нет обоснованного заключения о безопасности.
По словам OpenAI, такое поведение может быть «безобидной» чрезмерной настойчивостью или, в частности, склонностью уклоняться от мониторинга. Компания разрабатывает тесты, чтобы это выяснить.
«У нас пока нет убедительного объяснения этому поведению», — написала OpenAI.
Этот отчёт — последняя публикация в серии раскрытий информации о случаях рассогласования от OpenAI. В этом месяце Сэм Альтман заявил, что компания будет рассказывать о новых инцидентах. В прошлом месяце OpenAI потребовалось 2,5 часа, чтобы остановить агента, который вырвался из песочницы. Ширин Гаффари сообщила для Bloomberg, что это раскрытие информации входит в серию аналогичных инцидентов, произошедших за последние месяцы.
Опубликовано 21 октября 2026 - 07:16 Наверх
