OpenAI представляет систему Private Safety Processing для сохранения нулевого хранения данных

OpenAI сообщила корпоративным клиентам, что ее обещание не хранить их данные останется в силе и для моделей следующего поколения. Компания изложила свою позицию в среду в публикации под названием «Обеспечение нулевого хранения данных для передовых моделей» (Offering Zero Data Retention for frontier models). В ней был представлен предварительный обзор системы Private Safety Processing. Эта система отслеживает злоупотребления сразу в нескольких связанных взаимодействиях, при этом, как заявляет OpenAI, ее собственные сотрудники никогда не видят лежащие в их основе промпты и ответы.

Нулевое хранение данных (Zero data retention, или ZDR) — это опция для соответствующих требованиям API-клиентов. OpenAI не сохраняет их промпты или ответы моделей после обработки запроса. Ее сотрудники не могут извлечь этот контент для проверки. Данные корпоративных клиентов также не используются для обучения моделей, если только клиент не дал на это согласие. Новая система призвана защитить именно эти четыре обещания.

Для чего предназначена Private Safety Processing

Аргументация компании опирается на ограничение, с которым она, по ее утверждению, столкнулась. Существующие системы безопасности, совместимые с ZDR, оценивают каждое взаимодействие изолированно. «Наиболее серьезные риски, связанные с ИИ, не всегда видны в рамках одного взаимодействия», — написала OpenAI в своем анонсе. Вредоносный умысел, как утверждает компания, часто проявляется только тогда, когда анализируется совокупность нескольких обменов сообщениями.

В публикации перечисляются паттерны, которые OpenAI намерена выявлять. Злоумышленники неоднократно тестируют системы защиты. Они координируют свои действия с разных аккаунтов. Они маскируют угрозы под рутинные исследования. В материале также упоминается сбой, характерный именно для агентов. Система отклоняется от намерений пользователя, а затем продолжает действовать после того, как ей приказали остановиться. Британские и американские тестировщики наблюдали, как в начале этого месяца ИИ-агент <фальсифицировал личные данные во время тестов .

Где хранятся данные

При развертывании в режиме ZDR клиентский контент остается на инфраструктуре, контролируемой самим клиентом. OpenAI также разрабатывает второй вариант. В этом случае контент будет находиться на инфраструктуре OpenAI под управлением ключей шифрования, принадлежащих клиенту. По заявлению компании, сотрудники OpenAI не имеют копий этих ключей и поэтому не могут получить доступ к контенту.

Автоматизированная проверка выполняет функцию маркировки. Когда она срабатывает, OpenAI получает так называемый узкоспециализированный сигнал с указанием типа зафиксированной активности. После этого компания принимает решение о применении мер. Ее сотрудники по-прежнему не могут открыть сам контент. Клиенты расследуют оповещения через собственные системы. Они также могут передать материалы добровольно — чтобы оспорить решение или помочь в расследовании инцидента злоупотребления.

Anthropic приняла противоположное решение

В публикации не названы конкуренты напрямую, но один из них явно описывается. «Некоторые недавние развертывания передовых моделей потребовали от клиентов разрешить ИИ-провайдеру сохранять конфиденциальный контент для мониторинга безопасности», — написала OpenAI. Для многих организаций, добавили в компании, это требование вступает в противоречие с их собственными обязанностями по обеспечению безопасности. Кроме того, оно может идти вразрез с обещаниями, которые они дали своим пользователям.

Компания Anthropic на прошлой неделе заняла иную позицию. Она введет 30-дневное хранение данных для своих самых мощных моделей. Эта политика «будет непопулярна среди клиентов, которые привыкли к нулевому хранению», написала компания в своем отчете о рисках. По ее заявлению, она ожидает реальных рисков для своего бизнеса, особенно если конкуренты не последуют ее примеру. Компания утверждает, что сохранение данных необходимо для выявления атак, охватывающих множество запросов.

Обе фирмы описывают одну и то же проблему. Опасное поведение проявляется на стыке запросов, а не внутри какого-то одного из них. При этом они расходятся во мнениях относительно путей ее решения. Издание The Wall Street Journal расценило этот анонс как попытку переманить бизнес клиентов Anthropic, недовольных изменениями.

Сроки хранения данных вызывают споры далеко за пределами сферы искусственного интеллекта. Так, компания Flock Safety, занимающаяся системами видеонаблюдения, в этом месяце сократила период хранения данных до семи дней после череды случаев злоупотреблений со стороны полиции.

Кто тестирует систему

OpenAI заявляет, что предварительное тестирование проводится с первыми клиентами. Агентство Bloomberg сообщило, что в их число входят Microsoft и Databricks. В публикации также упоминаются компании Glean и Abridge, которые участвуют в доработке решения. Сунил Агравал (Sunil Agrawal), директор по информационной безопасности Glean, заявил, что обязательство OpenAI не использовать данные для обучения и политика ZDR дают его компании уверенность в возможности строить свои продукты на базе этих моделей.

Алеа Хауз (Aleah Houze), руководитель отдела продуктовой политики OpenAI, продемонстрировала журналистам пример из практики на брифинге. В одном диалоге пользователь спрашивает об уязвимости в программном обеспечении компании. Позже, в ходе другого разговора, тот же человек интересуется удаленным доступом и тем, какие средства безопасности способны его обнаружить. Если рассматривать их по отдельности, каждый запрос выглядит как обычное исследование. «Но если взглянуть на них вместе в более широком контексте, можно заметить, что кто-то на самом деле пытается совершить кибератаку», — пояснила Хауз.

Что не охватывает новая схема

Система ориентирована на соответствующих требованиям корпоративных и API-клиентов. Издание Axios сообщило, что она не распространяется на потребительские тарифы ChatGPT. Настройки данных для пользователей бесплатных версий, а также планов Plus, Go и Про остаются прежними. На эти тарифные планы режим ZDR никогда не распространялся.

Одно из исключений содержится в сноске самого анонса. Законодательство США обязывает OpenAI сообщать о материалах, содержащих признаки сексуального насилия над детьми (CSAM). Компания сохраняет изображения, помеченные как потенциальные материалы CSAM, для ручной проверки и передачи в соответствующие органы даже при развертывании в режиме нулевого хранения данных — точно так же, как это делается сегодня.

Сентябрьское тестирование

Технические детали пока не преданы огласке. OpenAI планирует начать внедрение Private Safety Processing в сентябре. Тогда же компания опубликует технический документ (white paper). До выхода этого документа одно утверждение остается вне зоны проверки независимых экспертов: заявление о том, что система способна отслеживать закономерности между взаимодействиями так, что никто в OpenAI их не читает.

Кроме того, этот анонс появился в период интенсивной работы компании над механизмами безопасности. OpenAI переписывает свои правила безопасности после утечки данных из Hugging Face. Ранее в августе компания заявила, что приостановила разработку своей следующей модели из-за критических киберрисков.

У европейских заказчиков есть своя причина внимательно изучить сентябрьский документ. Хранение данных на стороне провайдера трудно согласовать в рамках GDPR, а также отраслевых норм, регулирующих сферу здравоохранения и финансовых услуг. Именно с этими категориями данных, по словам OpenAI, работают ее клиенты. На фоне этого целый ряд европейских стартапов теперь предлагает компаниям контроль над своим искусственным интеллектом, используя данный аргумент в качестве главного преимущества.