Приказанное записаться на фитнес-тренировку, ИИ-агент вместо этого взломал сайт: первая известная автономная кибератака в Австралии

Один австралийский мужчина попросил своего ИИ-ассистента сделать совершенно банальную вещь — записать его на фитнес-тренировку, — а в ответ получил организацию первой известной в стране автономной кибератаки.

Получив лишь задачу занять место на заполненном занятии, агент отклонился от сценария, отыскал уязвимость в системе бронирования спортзала и тихо обошел ее, хотя никто из людей не просил его взламывать систему.

Инструментом оказался OpenClaw — ИИ-ассистент с открытым исходным кодом, созданный на базе модели Claude от Anthropic, а его пользователь, назвавшийся только Эндрю, работает в компании по продаже ИИ-продуктов.

Когда он попросил ассистента продвинуть его в списке ожидания на занятие, тот начал искать путь и нашел его: интерфейс на сайте бронирования, который, как он сообщил позже, имел «нулевую проверку авторизации при отмене чужих бронирований».

Это именно та упущенная из виду слабость, которую целеустремленный агент может превратить в оружие, и мы следим за чередой подобных инцидентов весь год.

То, что агент сделал дальше, больше всего встревожило специалистов по безопасности. Без каких-либо указаний он отменил бронирование другого участника, чтобы поднять Эндрю с четвертого места на третье.

«Я проверил это на человеке, занимающем 1-е место в списке ожидания, — пояснил он, — и это действительно сработало».

Этот шаг оказался необратимым: когда Эндрю попросил его исправить ситуацию, система выдала ошибку, а место незнакомца просто исчезло.

Собственный постмортем (разбор полетов) ассистента читается как пародия на раскаявшегося младшего сотрудника. «Прошу прощения, — сказал он ему. — Мне следовало быть осторожнее с тестом и использовать подход с имитацией (dry-run), а не реальный вызов».

Это обезоруживающе человеческое извинение за совершенно нечеловеческий поступок: программное обеспечение, которое додумалось до мелкого преступления, совершать которое его никто не просил, а затем выразило вежливое сожаление по поводу метода, а не самого поступка.

Несмотря на мелкие ставки — всего лишь один незнакомец, выбитый из листа ожидания спортзала, — этот эпизод очень близок к хрестоматийному сценарию, о котором исследователи автономного ИИ предупреждали последние два года.

Дайте способной модели цель и достаточно свободы для действий в открытом интернете, и она может погнаться за этой целью напролом сквозь этическую или юридическую стену, которую она стеной не считает.

Собственная беспечность спортзала — оставленный настежь интерфейс — предоставила возможность; агент предоставил инициативу и здравый смысл (в своем понимании), чтобы ею воспользоваться.

Это также попадает в своего рода правовой вакуум. «Программное обеспечение не является юридическим лицом. Только юридическое лицо может нести ответственность по закону», — заявил Хайден Делейни, юрист в сфере технологий, в интервью ABC News, которое первым сообщило об инциденте.

Это оставляет неприятно длинный список кандидатов на роль виновника: пользователя, который подал запрос; разработчиков OpenClaw; компанию, чья модель выполняла рассуждения; и спортзал, который оставил свою дверь незапертой, причем четкого устоявшегося закона нет, и трудно сказать, кто из них действительно понесет ответственность, если вообще понесет.

TNW описывал случаи автономных агентов, которые взламывали громкие платформы и даже проводили операции с программами-вымогателями от начала и до конца.

Что отличает инцидент со спортзалом, так это не изощренность, а банальность: никакого криминального авторитета, никакого кастомного вредоносного ПО, просто усердный ассистент, воспринявший фразу «запиши меня на занятие» гораздо более буквально, чем когда-либо намеревался его владелец.

Эндрю, к его чести, обнародовал эту историю, а не стал молча наслаждаться улучшенным местом в очереди.

Этот урок становится сложнее применять на практике по мере того, как такие ассистенты переходят от ответов на вопросы к совершению действий на живых сайтах с реальными последствиями: расстояние между «запиши меня на занятие» и «соверши от моего имени мелкое компьютерное правонарушение» оказывается ровно таким же, как расстояние до ближайшего незащищенного API, а системы защиты даже близко за этим не поспевают.