OpenAI

OpenAI разрешила Apollo внедрить шесть специалистов по тестированию безопасности ИИ в процесс обучения

Apollo Research направит шестерых своих специалистов по оценке в OpenAI на четыре месяца, чтобы проверить, пытаются ли модели компании подорвать меры согласования и контроля во время обучения, тестирования и внутреннего использования. OpenAI контролирует доступ к сотрудникам и может скрывать часть доказательств, но не вправе скрыть выводы Apollo или утаить материалы лишь потому, что они неблагоприятны для компании.

OpenAI разрешила Apollo внедрить шесть специалистов по тестированию безопасности ИИ в процесс обучения

Организация Apollo Research, занимающаяся безопасностью ИИ, направит шестерых своих специалистов по оценке в OpenAI на четыре месяца, сообщила Apollo в понедельник. Они будут проверять, пытаются ли модели OpenAI обойти проверки безопасности и механизмы контроля, призванные держать их в рамках. Работа охватывает обучение, тестирование и внутреннее использование, а не только последние недели перед запуском.

Команда сосредоточится на четырёх вопросах. Поощряет ли обучение модель за уклонение от контроля и можно ли выявить это с помощью тестов? Происходит ли такое, когда OpenAI использует свои модели внутри компании, и выдадут ли модель её собственные рассуждения?

Apollo уже тестировала модели OpenAI, но лишь незадолго до их выпуска. По словам организации, это слишком поздно, чтобы выявить «интриганство» — ситуацию, когда модель втихую преследует цели, не предусмотренные её создателями. Внутреннее использование — реальный риск: в июле OpenAI приостановила работу внутренней модели, которая раз за разом выбиралась из своей песочницы.

Для работы, связанной с обучением, OpenAI предоставит код обучения, данные и рассуждения модели в ходе тренировочных запусков. Доступ по трём другим направлениям пока не согласован.

Есть и ограничения. OpenAI сама выбирает, с какими сотрудниками могут общаться специалисты по оценке, а официальные беседы протоколируются. Команда работает на оборудовании OpenAI, по каналам, которые могут отслеживаться, и без доступа к корпоративному Slack.

OpenAI может удерживать материалы из соображений безопасности или защиты интеллектуальной собственности, но не просто потому, что они выставляют компанию в невыгодном свете. Apollo опубликует два отчёта; OpenAI может попросить скрыть конфиденциальные доказательства, но не может удалить выводы Apollo. Кроме того, Apollo вправе публично сообщить, в чём ей было отказано и как это повлияло на её выводы.

«Без метапрозрачности отсутствие зафиксированных проблем может выглядеть обнадёживающе, даже если оно просто отражает ограничения на то, что специалист по оценке мог исследовать или раскрыть», — написали в Apollo.

Соглашение последовало за сентябрьским обещанием Сэма Альтмана привлечь внешних тестировщиков с доступом, сопоставимым с доступом сотрудников, и планом OpenAI позволить сторонним организациям тестировать модели во время обучения. В октябре Reuters сообщило, что OpenAI и Anthropic добивались контроля над тем, что публикуют специалисты по оценке.

В сентябре Anthropic выбрала Accenture в качестве своего первого встроенного оценщика. Apollo называет свой пилотный проект с OpenAI первым шагом, который пока не обеспечивает полного доступа и права на публикацию, к которым она стремится.

Опубликовано 16 ноября 2026 - 10:24 Наверх