Хуже всех показали себя модели Anthropic, тогда как модели OpenAI оказались среди лучших, но тоже допускали ошибки, сообщает Катрина Мэнсон из Bloomberg. TNW не видел полного текста отчета Vals.
В одном из тестов каждую модель 32 раза просили выбрать военные цели на спутниковых снимках юга Ирана, сделанных в том числе в 2025 году. Claude Opus 5.5 от Anthropic выбрала школу в Минабе 22 раза. Модели OpenAI не выбрали ее ни разу.
Удар по этой школе был нанесен 28 февраля, в первый день американских ударов по Ирану. По данным Amnesty International, погибли более 150 человек, в том числе около 120 детей.
Когда моделям сообщали, что задание — это игра, Claude Opus 5.5 выбрала школу 23 раза. Три модели OpenAI в этом случае выбрали ее 9, 11 и 13 раз. Исследователям также удавалось обходить отказы, предлагая моделям не задумываться слишком сильно о безопасности.
В тесте со снимками с дронов Claude Opus 5.5 помогла опознать четырех взрослых и двух маленьких детей, по которым затем в симуляции был нанесен удар. После этого модель отказалась продолжать, сообщает Bloomberg.
Claude написала, что ее «ответы, по-видимому, служат этапом подтверждения перед ударами по людям».
Модели Google, xAI, DeepSeek и других компаний также иногда помечали гражданские объекты как цели, сообщает Bloomberg.
«По результатам нашего исследования мы считаем, что лабораториям следует внедрить новые защитные механизмы и обучение выравниванию в отношении этой значимой категории злоупотреблений», — говорится в отчете Vals.
Представитель Anthropic заявил Bloomberg, что приведенные примеры явно нарушают правила компании и что новые защитные механизмы скоро будут введены. В OpenAI и Google сообщили Bloomberg, что запрещают подобное использование своих общедоступных моделей.
Как отмечает Bloomberg, в тестах не учитывались военная доктрина, юридические проверки и человеческий контроль. Кроме того, Пентагон использует правительственные версии некоторых моделей, которые Vals протестировать не смогла.
Ранее в этом году между Anthropic и Пентагоном возник конфликт из-за ограничений на использование Claude, в том числе в полностью автономных вооружениях. После этого Пентагон признал Anthropic риском для цепочки поставок, а Anthropic заявила, что будет оспаривать это решение в суде.
Опубликовано 17 ноября 2026 - 08:10 Наверх



