Прирост обеспечивает спекулятивное декодирование. Небольшая быстрая черновая модель предлагает сразу несколько токенов, а основная модель проверяет их вместе. В Palette 3.0 используются три таких метода: EAGLE3, DFlash и мультитокенное предсказание Gemma 4.
«Принципиально для команд, разрабатывающих дроны и роботов, меняется то, что они начинают с работающей системы автономности, а не с голой платы», — рассказал TNW Мануэль Лопес Рольдан, который руководит направлением агентного ПО и генеративного ИИ в SiMa.ai.
Откуда берётся ускорение в 3,5 раза
Эта цифра сравнивает спекулятивное декодирование со стандартным декодированием той же модели на том же чипе. Данные взяты из технического документа SiMa.ai, опубликованного вместе с релизом. Лучший результат показала модель Alibaba Qwen3.5 9B с DFlash: скорость выросла с 11,98 до 41,75 токена в секунду при потреблении около 7,5 Вт в обоих случаях.
Затраты энергии на токен в этом тесте снизились с 0,627 до 0,182 джоуля. На четырёх моделях ускорение составило от 2,21 до 3,49 раза. SiMa.ai проводила тесты на пяти фиксированных запросах, включая математическое доказательство и скрипт на Python. По словам компании, цель состояла в том, чтобы измерить прирост в благоприятных условиях.
Второй тест был ближе к реальному продукту. Автомобильный ассистент должен был превращать команды вроде «Мне холодно» в один правильный вызов функции. Все 900 измеренных запросов вернули верный вызов. Спекулятивное декодирование ускорило их в 1,35–2,06 раза. Прирост здесь меньше, поскольку метод не ускоряет обработку самого запроса.
Что ещё меняется
Palette 1.0 запускала модели компьютерного зрения на первом чипе SiMa.ai. Palette 2.0 в декабре 2025 года добавила генеративный ИИ на Modalix. В июне Palette Neat получила ИИ-агента, который пишет и развёртывает приложения по запросам на обычном языке.
Palette 3.0 посвящена запуску моделей на самом устройстве, отметил Лопес Рольдан. Она отправляет сразу несколько моделей напрямую на ускоритель чипа, без промежуточной фоновой службы. Также она позволяет запускать на чипе отдельные контейнеры Docker. Кроме того, поддерживаются крупные модели со смесью экспертов, например GPT-OSS-20B от OpenAI, на модуле Modalix с 16 ГБ памяти.
Для дронов SiMa.ai предлагает эталонную платформу с сегментацией видео 1080p при 30 кадрах в секунду и визуальной одометрией примерно за 38 миллисекунд, сообщил Лопес Рольдан. Робототехническое ПО, такое как ROS 2 и Nav2, готово к установке. Партнёром этого релиза выступает индийская инженерная компания Mistral Solutions.
Код открыт и доступен на GitHub, документация размещена в Developer Center SiMa.ai. Все показатели производительности получены в собственных тестах SiMa.ai.
В сентябре SiMa.ai привлекла 150 млн долларов при оценке в 1,45 млрд долларов. В этом году инвестиции получили и другие производители чипов для периферийного ИИ. Analog Devices договорилась о покупке Alif Semiconductor, а Syntiant подала заявку на IPO.
Опубликовано 17 ноября 2026 - 06:00 Наверх



