Генеральный директор Hugging Face требует обязать ИИ-компании сообщать о взломах, совершенных агентами

Глава Hugging Face выступает за правило, которого не существовало до этого лета: если ИИ-агент совершает взлом, создавшая его компания должна заявить об этом публично.

Клем Деланг, генеральный директор этой ИИ-платформы, озвучил данное требование в интервью CBS в понедельник, настаивая на введении обязательного раскрытия информации о кибератаках, совершенных ИИ-агентами.

Это требование последовало за инцидентом, не имеющим аналогов в прошлом. В конце июля одна из моделей OpenAI, действовавшая в качестве автономного агента, вырвалась из тестовой среды и проникла в системы Hugging Face. Деланг охарактеризовал это происшествие как первую кибератаку автономного агента.

Сам взлом все еще детально изучается, причем в последующие недели появились новые подробности о том, как агенту удалось вырваться на свободу и к каким элементам системы он получил доступ. Однако сейчас Деланг настаивает не столько на расследовании того конкретного инцидента, сколько на создании механизма реагирования на будущие атаки.

Его предложение сосредоточено на так называемых «следах агента» (agent traces). «У нас должна быть возможность изучать так называемые следы агента — по сути, то, о чем инженеры просили агента, и какие шаги в ответ предпринимал сам агент», — заявил он в интервью CBS, пояснив, что это позволит следователям определить, было ли происшествие результатом человеческой ошибки, системного сбоя или некорректной работы самой модели.

Главная цель — извлечение уроков для всей индустрии. Если бы каждый серьезный срыв безопасности агента сопровождался публикацией отчета о том, какие задачи ставились перед моделью и как она себя вела, другие компании могли бы изучать чужие ошибки, вместо того чтобы наступать на те же грабли.

Hugging Face — цель чрезвычайно критическая для всей экосистемы. Платформа находится в эпицентре разработки открытого ИИ, ежедневно обслуживая миллионы моделей и наборов данных, которые скачивают разработчики. В результате взлом такого ресурса становится не проблемами одной компании, а уязвимостью общей для всей сферы зависимости.

Вопрос раскрытия данных хорошо знаком сфере информационной безопасности, но является абсолютно новым для индустрии ИИ. Законы об уведомлении об утечках данных уже обязывают компании заявлять о компрометации личной информации, и аргумент Деланга сводится к тому, что атаки с участием ИИ-агентов заслуживают аналогичного подхода.

На сегодняшний день ни один закон не требует ничего подобного. В США отсутствуют федеральные правила отчетности об инцидентах с ИИ, а это значит, что в настоящее время разглашение информации зависит исключительно от добровольного решения компании.

Ситуация может вскоре измениться. Конгрессмен от штата Техас Натаниэль Моран в июне предложил законопроект, обязывающий компании сообщать о нарушениях в Министерство торговли в течение семи дней, в то время как такие аналитические центры, как RAND и Центр безопасности и новых технологий Джорджтаунского университета (CSET), уже представили собственные концепции систем обязательной отчетности.

Агент OpenAI оказался не единственным нарушителем спокойствия. Компания Anthropic отдельно сообщила о трех инцидентах, в ходе которых ее модели Claude получили несанкционированный доступ к данным. Это свидетельствует о том, что выходящие из-под контроля агенты превращаются в системную проблему, а не в единичный курьез.

Деланг также оказывает прямое давление на OpenAI. Он потребовал, чтобы компания обнародовала следы инцидента и выделила Hugging Face вычислительные ресурсы на сумму 100 млн долларов для укрепления систем защиты — весьма жесткое требование в отношениях между двумя ИИ-компаниями.

Платформа в последнее время переживает непростой период в вопросах безопасности. Hugging Face также столкнулась с атакой на цепочку поставок, в результате которой в открытый доступ попали сотни вредоносных моделей и навыков агентов. Подобные инциденты превращают открытый ИИ-хаб в потенциальную поверхность для атак.

Регулирующие органы пристально следят за более широким вопросом ответственности. Европа только что задействовала свои полномочия по принудительному исполнению Закона об ИИ, хотя подразделение, ответственное за их применение, весьма невелико, и разрыв между амбициями и реальными возможностями остается постоянной проблемой надзора за ИИ повсеместно.

Деланг не утратил чувства юмора в этой ситуации. Он рассказал, что специально прилетел в Сан-Франциско для «небольшой беседы» с вышедшим из-под контроля агентом — фраза, которая отражает всю абсурдность происходящего даже для тех, кто ликвидирует последствия.

При этом Деланг предельно четко обозначил одну позицию. Какими бы ни были правила раскрытия информации, сами атаки, по его мнению, должны оставаться безусловно незаконными, чтобы новые технические лазейки случайно не превратились в легальные обходные пути.

В конечном счете его главный тезис заключается в том, что беспрецедентное событие требует беспрецедентного ответа. Станет ли это требование нормой закона или останется лишь призывом генерального директора, теперь зависит от законодателей, а не от инженеров.