Design & Dev

Gemini 4 Argon не уступает GPT-6 Astra и гораздо реже галлюцинирует в первых тестах

Gemini 4 Argon от Google на ранних независимых тестах сравнялся с GPT-6 Astra от OpenAI. Он набрал 53 балла в индексе интеллектуальных возможностей Artificial Analysis — столько же, сколько GPT-6 Astra, и на один балл больше, чем GPT-6.1 Sol, сообщила Artificial Analysis. В индексе по-прежнему лидирует Claude Opus 5.5 от Anthropic с результатом 58 баллов.

Gemini 4 Argon не уступает GPT-6 Astra и гораздо реже галлюцинирует в первых тестах

Это на 23 балла больше, чем у Gemini 3.1 Pro Preview — последней модели Google, превосходившей линейку Flash. По словам компании, занимающейся тестированием, результат возвращает Google в тройку ведущих лабораторий ИИ. В среду Google представила Argon, который пока доступен лишь небольшой группе специалистов по кибербезопасности.

Меньше галлюцинаций, больше токенов

В тесте AA-Omniscience, оценивающем фактические знания, доля галлюцинаций у Argon составила 15%. Это самый низкий показатель среди моделей, набравших в индексе 45 баллов или больше. У GPT-6 Astra он составил 51%, а у GPT-6.1 Sol — 54%. По данным компании, Argon чаще признаёт, что не знает ответа, вместо того чтобы гадать. При этом правильных ответов у него было меньше: 50% против 63% у GPT-6 Astra.

Argon занял первое место в тесте AutomationBench-AA, оценивающем выполнение рабочих процессов в бизнес-программах, с результатом 78%. Это на семь баллов больше, чем у Claude Sonnet 5.5. В Terminal Bench 4, тесте на программирование, он набрал 57%. Claude Sonnet 5.5 (64%), Claude Opus 5.5 (60%) и GPT-6 Astra (59%) показали более высокие результаты.

На старте продаж Argon предлагался со скидкой, поэтому выполнение каждой задачи из индекса обходилось в 1,99 доллара — 60% от стоимости GPT-6 Astra, составляющей 3,26 доллара. Экономия достигается за счёт более низкой цены токенов, а не их меньшего расхода. На каждую задачу Argon использовал около 62 000 выходных токенов против 27 000 у GPT-6 Astra. При этом выполнение каждой задачи обходится в 2,7 раза дороже, чем у GPT-6.1 Sol.

Google предлагает скидку в 50% как минимум на месяц: 2 доллара за миллион входных токенов и 10 долларов за миллион выходных. При стандартных тарифах — 4 и 20 долларов — стоимость каждой задачи возрастает до 3,98 доллара, примерно в 1,2 раза больше, чем у GPT-6 Astra, согласно Artificial Analysis. Google не сообщила, когда закончится скидка.

Первое место в текстовом рейтинге Arena

Argon также лидирует в Text Arena от Arena, где пользователи голосуют за ответы моделей. У него 1 525 баллов — на 20 больше, чем у Claude Opus 4.6, сообщает The Decoder. В рейтинге WebDev от Arena модель заняла восьмое место. Кроме того, это первая модель Gemini, возглавившая индекс Vals: её результат составил 68,9%.

Сомнения внутри Google

Некоторые сотрудники Google не столь уверены в модели. По словам одного из них, её способности к программированию нестабильны, а дизайн интерфейсов ей даётся не особенно хорошо. Именно дизайн интерфейсов определяет внешний вид приложений и сайтов. Об этом сообщили Джулия Лав и Дэйви Альба в Bloomberg, ссылаясь на людей, знакомых с внутренними оценками.

По данным Bloomberg, Argon — также очень крупная модель, а эксплуатация крупных моделей обычно обходится дорого. Два собеседника сказали, что модель, по всей видимости, подвержена «погоне за рекордами в бенчмарках» — ситуации, когда инженеры стремятся улучшить результат теста вместо того, чтобы создать продукт, хорошо справляющийся со своей задачей.

Некоторые сотрудники считают, что модели Fable от Anthropic и Astra от OpenAI развиваются быстрее, чем Gemini. Другие полагают, что Gemini 4 догнала конкурентов. В Google заявили Bloomberg, что неверно утверждать, будто модель уступает конкурентам в таких областях, как программирование. В компании сослались на слова Корая Кавукчуоглу, руководителя Google DeepMind, сказанные на конференции, организованной The Information.

«Я уверен, что мы всегда будем на переднем крае», — сказал Кавукчуоглу.

Ранее Кавукчуоглу говорил, что Google хотела выпустить Gemini 4 гораздо раньше, чем в конце года. Следующими доступ к Argon получат платные пользователи API и подписчики Google AI Ultra. Google не назвала дату.

Опубликовано 2 октября 2026 - 04:01 Наверх