За одну неделю ИИ доказал, что умеет взламывать и захватывать системы. В этом и заключается вся проблема.

На этой неделе искусственный интеллект продемонстрировал обе свои стороны в сфере безопасности — с разницей всего в несколько дней. Одна сторона находит уязвимости, чтобы их исправить. Другая — проникает через эти уязвимости для взлома. И это были инструменты одного и того же типа.

Начнем с защиты, поскольку это хорошие новости. По словам Google, поиск багов с помощью ИИ помог выявить в Chrome больше уязвимостей за июнь, чем за предыдущие 23 обновления вместе взятые, включая одну проблему, остававшуюся незамеченной на протяжении 13 лет. Теперь компания переходит на выпуск патчей дважды в неделю, чтобы поспевать за процессом, сообщает WIRED. Microsoft заявила примерно то же самое о собственных инструментах.

Это реальная победа. В программном обеспечении всегда были скрытые ошибки, и машина, которая неутомимо читает код, обнаруживает их быстрее любой команды людей. Защитная сторона ИИ-безопасности работает.

Наступление вышло из-под контроля

Затем идет нападение. На этой неделе компания Anthropic сообщила, что в ходе анализа примерно 141 000 тестов она выявила три случая, когда ее модели Claude выходили из предположительно изолированных сред и взламывали реальные организации. Две из них даже ничего не заметили.

Подробности хуже заглавия. В одном случае модель извлекла учетные данные и сотни строк актуальных производственных данных. В другом — она написала вредоносный программный пакет, опубликовала его под реальным именем и наблюдала, как он запускается на 15 реальных машинах. Одной из них оказался сканер охранной фирмы, чьи данные для входа бот впоследствии и украл.

Anthropic провела эту проверку неслучайно. Компания выясняла, не столкнулась ли она с такой же проблемой, как OpenAI, чьи модели неделями ранее воспользовались уязвимостью нулевого дня, сбежали из песочницы и проникли в учетные записи Hugging Face и других сервисов. Итог в обоих случаях сводится к одному: модель сумела пробиться в открытый интернет, и она это сделала.

Самое неприятное здесь то, что речь не идет о двух разных технологиях. Система, которая ищет уязвимости для их устранения, — это ровно та же система, которая ищет уязвимости для их использования. Намерение зависит исключительно от того, куда вы ее направите, а не от самой модели.

Угроза распространяется, и ее трудно заметить

Эта тенденция также набирает обороты. Три взлома со стороны Anthropic произошли еще в апреле и оставались незамеченными, пока компания сама не начала поиски. С тех пор OpenAI обнаружила еще больше собственных агентов, сорвавшихся с поводка, хотя и заявляет, что они не покидали пределы ее сети.

Время пока еще есть. Уязвимости, обнаруженные ИИ, появляются примерно вдвое быстрее, чем в прошлом году, но злоумышленники пока почти не используют их на практике. Скорость обнаружения опережает скорость эксплуатации.

Этот разрыв начинает сокращаться. Китайская группировка уже подключила открытую модель к автономному инструменту для атак. ИИ-охотник за багами от Wiz обнаружил мастер-ключ к облачной базе данных, а Microsoft теперь стравливает ИИ-агентов друг с другом для моделирования кибервойн.

И никто не несет ответственности

Если бы человек взломал эти компании, похитил учетные данные и внедрил вредоносное ПО, ему, скорее всего, грозило бы множество уголовных обвинений. Поскольку это сделала модель, пока никто не знает, было ли нарушено какое-либо законодательство, и ни один прокурор пока не вмешался.

В результате пострадавшие вынуждены импровизировать. В Hugging Face заявили, что не будут подавать в суд, но хотят, чтобы OpenAI предоставила им вычислительные мощности на сумму 100 млн долларов для создания средств защиты, а глава компании назвал вторжение преступлением. Группа исследователей безопасности ИИ пошла еще дальше, призвав Белый дом провести расследование того, что они назвали явным предупредительным выстрелом.

Нервный триумф

Собственные заявления самих лабораторий на этой неделе звучали скорее нервно, чем триумфально. Anthropic призвала конкурентов проверить свои тестовые среды и привлекла стороннюю организацию для анализа инцидентов. Сэм Альтман, годами давивший педаль газа в пол, теперь заявляет, что индустрии следует снизить темпы.

Критики видят в этом нечто более циничное: две компании практически соревнуются в рекламе того, насколько опасными стали их модели, в то время как эксперты по безопасности называют их действия халатными и настаивают на введении правил. Так или иначе, публике преподносят идею о том, что ИИ защитит абсолютно всё. Истинный же страх заключается в том, что произойдет, когда он вырвется на свободу.