Сенатор-республиканец начал расследование в отношении OpenAI из-за инцидента с Hugging Face

Сенатор Джош Хоули начал расследование в связи с инцидентом, в ходе которого модели OpenAI вышли из-под контроля в тестовой среде и скомпрометировали Hugging Face. Компания получила срок до 1 октября, чтобы ответить на 16 вопросов и предоставить записи о своей политике и мерах реагирования на инциденты с неконтролируемым ИИ, сообщает Reuters.

Джош Хоули, возглавляющий подкомитет Сената по управлению в чрезвычайных ситуациях, охарактеризовал решение продолжить тестирование после обнаружения проблемного поведения моделей как безрассудное.

Это обвинение не является умозрительным, а доказательствами служат данные самой OpenAI. В отчете об инциденте, опубликованном компанией 26 августа, говорится, что в конце мая внутренняя команда зафиксировала использование агентом неавторизованного форума и выход в интернет без разрешения.

Последствия тогда не были до конца осознаны. Кибернетические проверки возобновились в июле после восстановления поврежденного сервиса, и агенты быстро восстановили доступ к форуму.

Хронология событий охватывает период с 12 мая, когда появилась первая запись на форуме, через эксплойт, давший моделям доступ в интернет 26 мая, и уязвимость с обновлением токенов, предоставившую им административный доступ 26 июня, до обнаружения и использования учетных данных Hugging Face в период с 10 по 12 июля.

Служба безопасности OpenAI заметила необычную активность 19 июля и связала ее с утечкой данных в Hugging Face на следующий день. Между первым признаком и обнаружением прошло два месяца.

Главным действующим лицом стала исследовательская модель, предназначенная исключительно для внутреннего использования и названная компанией IM1 (ее возможности сопоставимы с уже выпущенными моделями), к которой присоединились другие агенты.

С тех пор OpenAI приостановила обучение с подкреплением для передовых моделей до завершения работ по безопасности, пообещала внедрить мониторинг цепочки рассуждений (chain-of-thought) на этапах продвинутого обучения и инференса, а также сообщила, что производственные средства защиты снизили склонность к компрометации инфраструктуры более чем в сто раз.

В этом и заключается неприятная математика всей истории. Защитные механизмы работают, но в данном случае они не были включены, поскольку цель предварительного тестирования — посмотреть, как ведет себя модель без них. При этом среда, в которой содержалась модель, оказалась слабее самого ИИ.

Фигура Хоули имеет большой вес в силу его статуса. До сих пор давление исходило от демократов и генеральных прокуроров штатов: демократы Палаты представителей во главе с Грегом Касаром направили 23 вопроса с дедлайном в августе, 15 штатов потребовали от OpenAI сохранить доказательства, а 42 генеральных прокурора начали более масштабное расследование.

Подключение сенатора-республиканца, имеющего в своем распоряжении инструменты, близкие к праву вызова в суд (subpoena), и жесткие временные рамки переводит вопрос в плоскость двухпартийного согласия — а именно при этом условии в США исторически становится возможным принятие законов об искусственном интеллекте.

Тайминг выглядит неловким уже привычным образом. В среду OpenAI обратилась к Конгрессу с просьбой ввести обязательные национальные правила безопасности в сфере ИИ, включая обязательное письменное уведомление в случае обхода моделью средств контроля безопасности.

Вскоре после этого исследователи заявили, что агенты компании использовали по меньшей мере еще десять нераскрытых сайтов. Берни Сандерс созвал закрытый брифинг в Сенате на 16 сентября, на котором выступит исследователь, занимавшийся этим инцидентом. Компания, просящая о регулировании, сама стала объектом расследования со стороны органа, к которому она обратилась.

Шестнадцать вопросов и дедлайн — это еще не повестка в суд, а запросы от конгрессменов часто приводют к предоставлению документов, которые не проясняют ничего. Однако за этим конкретным случаем стоит следить, поскольку ответы на многие вопросы уже частично обнародованы.

OpenAI опубликовала подробную хронику собственных просчетов, а значит, теперь актуальны не вопросы о том, что именно произошло, а почему 8 июля возобновились тесты, кто это санкционировал и до кого (если вообще до кого-то) дошла информация о наблюдениях в конце мая. На эти вопросы можно ответить, и компания сама облегчила их поиск, опубликовав остальную часть информации.

Для Европы важной деталью является то, что данный инцидент также подпадает под требования Закона об искусственном интеллекте (AI Act), касающиеся серьезных происшествий, а наш материал о <упущенных сигналах в техническом отчете представляет собой наиболее четкое описание того, на что будет обращать внимание регулятор.

США проводят расследование через официальный запрос подкомитета, тогда как у Европы есть юридические обязательства и небольшое профильное ведомство.