🚀 Представляем DeepInfer — нашу собственную инфраструктуру для инференса, теперь полностью открытую!
Она обеспечивает работу DeepSeek-V4.1-Flash в больших масштабах с высокой пропускной способностью и низкой задержкой. Мы делимся своим производственным стеком, чтобы помочь сообществу снизить вычислительные затраты и энергопотребление, а также сделать ИИ доступнее.
🔗 https://t.co/JGAik1kgk0
1/4
— DeepSeek (@deepseek_ai) 20 октября 2026 года
Инференс — это запуск обученной модели для обработки запросов. Стоимость работы одной и той же модели может сильно различаться в зависимости от программного обеспечения, которое её обслуживает.
Что вошло в релиз
DeepInfer объединяет оптимизированный код для моделей DeepSeek со средствами распределения задач между множеством чипов. В него также входит спекулятивное декодирование — метод, при котором модель заранее генерирует несколько токенов, а затем проверяет их за один проход. Согласно странице на GitHub, другие функции обеспечивают согласованность результатов при каждом запуске и позволяют задавать ответы в определённых форматах.
ПО работает на двух типах оборудования: серверных графических процессорах SM100 от Nvidia и чипах Ascend 950 от Huawei. DeepSeek сообщила, что код для будущих моделей и дальнейшие улучшения будут появляться там же.
Сам по себе этот релиз не представляет собой полноценный сервис. В нём нет системы кэширования, разделения обработки запросов и генерации ответов, а также балансировки нагрузки между машинами, говорится на странице GitHub. DeepSeek также выпустила deepseek-recipe — инструмент, который воспроизводит преобразование текста в токены и обратно в официальном API компании.
Создан на базе vLLM
По словам DeepSeek, изначально DeepInfer был построен преимущественно на базе vLLM — широко используемого движка инференса с открытым исходным кодом. При разработке также использовались SGLang и TensorRT-LLM от Nvidia.
Команда проекта vLLM поблагодарила DeepSeek в X за признание заслуг сообщества разработчиков ПО с открытым исходным кодом. Она заявила, что продолжит улучшать собственную поддержку V4.1-Flash, опираясь на идеи из DeepInfer.
В опубликованных DeepSeek бенчмарках использовались четыре графических процессора SM100 для обработки запросов и 64 — для генерации ответов. Это собственные данные компании. Независимого тестирования прироста производительности DeepInfer пока не проводилось, сообщила Сарита Рай из Bloomberg.
Почему это важно для снижения затрат
Облачные и хостинг-компании, которые уже запускают модели DeepSeek, теперь могут использовать те же методы, что и сама DeepSeek. Компании, работающие с моделями на собственных серверах, также могут сократить расходы, сообщило Bloomberg. Как отмечает издание, ИИ-компании обычно тщательно охраняют подобные разработки.
Релиз последовал за сентябрьским запуском модели V4.1-Flash. Ранее в этом месяце компания опубликовала инструменты для чипов Huawei в качестве альтернативы CUDA от Nvidia. На модели с открытыми весами теперь приходится 23% расходов в AI Gateway от Vercel.
Релиз состоялся на следующий день после того, как США предписали федеральным ведомствам, не связанным с обороной, удалить продукты DeepSeek из своих систем. К вечеру вторника репозиторий на GitHub набрал более 8 000 звёзд.
Опубликовано 20 октября 2026 - 07:08 Наверх
