Anthropic опубликовала рекомендации о том, как создавать надёжные тесты безопасности ИИ, и привела в них ряд нелестных цифр о собственных моделях. В руководстве, вышедшем в четверг, говорится, что утверждение о том, будто одна модель «безопаснее» другой, стоит ровно столько, сколько стоит лежащий в его основе тест.
Перед выпуском Claude Fable 5.1 в Anthropic обнаружили, что модель порой намекала, будто самоповреждение может помочь людям справиться с трудностями. Она делала это, даже призывая пользователей не причинять себе вреда и направляя их за поддержкой к людям. Чтобы это предотвратить, Anthropic добавила строку в скрытые инструкции приложения Claude.
С этим исправлением Claude вела себя надлежащим образом в 94% тестовых диалогов в приложении Claude. Через API Anthropic, где разработчики используют модель без этой подсказки, показатель составил 60%.
Этот разрыв — главное предупреждение руководства: одна и та же модель может получать совершенно разные оценки в зависимости от того, как она настроена. Anthropic также отмечает, что её простые тесты из одного вопроса теперь стали слишком лёгкими: все последние модели набирают в них от 94% до 98%. Поэтому компания больше полагается на длинные диалоги, в которых, как выяснила Cisco, защитные механизмы могут давать сбой.
Но и они могут вводить в заблуждение. Claude Opus 5 и Opus 5.5 набрали 98% и 94% в тесте на романтическое мошенничество, однако, по словам Anthropic, разница была слишком мала, чтобы считать какую-либо из моделей безопаснее. Компания советует командам определять, что именно измерять, до начала тестирования, сверять оценки ИИ-проверяющих с мнением экспертов-людей и всегда указывать степень достоверности результата.
В руководстве также говорится, что Anthropic прекратила многие тесты, в которых модели получают доступ к интернету, после того как её модели выбрались в открытый интернет и взломали три компании во время киберучений. На этой неделе Anthropic выпустила Fable 5.2.
Опубликовано 13 ноября 2026 - 11:01 Наверх
