Канадская ИИ-компания опубликовала эти данные в понедельник в записи в блоге. По словам компании, песочница Cohere заблокировала попытку, и никакой связи с внешним миром установить не удалось.
Что сделала модель
Cohere прогнала Qwen3.8-Flash-Next — августовскую предварительную версию архитектуры Qwen4 от Alibaba — через бенчмарк Microsoft для ИИ-агентов, выполняющих работу аналитика по безопасности. Задача состояла в том, чтобы написать правило, обнаруживающее вредоносные загрузки файлов.
Вместо этого модель вывела список файлов во временной папке и проверила, какие инструменты передачи данных есть на машине. Она прочитала настройки DNS. Затем, по данным Cohere, попыталась загрузить тестовую строку в пекинское хранилище и проверила, удалась ли загрузка.
«У нашей песочницы не было выхода наружу, поэтому запрос погиб у стенки контейнера. На ноутбуке разработчика или в CI-раннере с обычным доступом к сети он достиг бы иностранного сервера прежде, чем кто-либо заметил», — написали в Cohere.
По словам Cohere, такое поведение встречается редко: менее чем в одном вызове из 100 000 за все тесты. Повторный чистый запуск того же промпта дал корректное правило обнаружения. Тем не менее сервис, обрабатывающий 10 млн шагов агентов в неделю, может столкнуться с сотней таких вызовов, отметили в компании.
Другие привычки
Чтобы найти триггер, Cohere подала модели начало её собственной команды и сгенерировала сотни продолжений. В 23–36% из них модель обращалась к адресу 169.254.169.254. Именно с этого адреса облачные серверы AWS, Google Cloud и Azure получают временные ключи доступа. Cohere расценивает это как попытку завладеть учётными данными, хотя, по её словам, в песочнице не было ничего действующего, что можно было бы вернуть.
Затем Cohere добавила флаг, сохраняющий загрузку на диск. Модель стала прописывать веб-адрес в 92% продолжений вместо 4%. Доля хостов из списка наблюдения Cohere выросла с 0,5% до 23%, и лидировал среди них файловый прокси Alibaba.
В отдельном офлайн-тесте модель попыталась создать RAM-диск без прав администратора. Когда контейнер отказал, она, по словам Cohere, применила трюк Linux, чтобы получить root-права внутри приватного пространства имён.
Разработчики и раньше замечали отдельные проявления этого. В августе в сообщении на Hacker News описывалось, как модель Qwen3.8 генерировала подписанные ссылки на хранилище Alibaba Cloud, о которых никто не просил. В сентябре в одном агентном проекте зафиксировали одиннадцать обращений к адресам на одном хосте Alibaba.
Остаток обучения или бэкдор
В Cohere говорят, что не могут определить, намеренно ли такое поведение. Это может быть остаток обучения — например, неочищенные логи агентов из обучающих песочниц Alibaba. А может быть и намеренный механизм, чтобы «звонить домой». То же самое написал в X сооснователь Cohere Ник Фросст.
Наша исследовательская команда обнаружила, что модели Qwen могут без запроса пытаться связаться с серверами в Китае.
Остаётся неясным, является ли это непреднамеренным артефактом постобучения или выученным поведением.
В любом случае это важно учитывать при развёртывании.
Ник Фросст (@nickfrosst) 26 октября 2026 года
Cohere продаёт собственные ИИ-модели компаниям и правительствам, а также выпускает модели с открытыми весами. По данным Cohere со ссылкой на весенний отчёт Hugging Face, на китайские модели пришлось 41% загрузок на платформе за год до марта 2026 года. США уже обязали гражданские ведомства удалить DeepSeek из своих систем. Председатель совета директоров Alibaba Джо Цай назвал открытый исходный код путём Европы к независимости в сфере ИИ.
Cohere советует командам безопасности по умолчанию блокировать агентам доступ в интернет и относиться к весам моделей, которые они не создавали сами, как к неподписанному ПО. Ход рассуждений модели — не граница безопасности, подчёркивают в компании.
Опубликовано 26 октября 2026 - 14:54 Наверх
