ByteDance обучает модель с 10 триллионами параметров в стремлении догнать лидеров индустрии

ByteDance идет по пути масштабных масштабов в самом буквальном смысле. Владелец TikTok обучает ИИ-модель примерно с 10 триллионами параметров — такой масштаб сделает ее одной из крупнейших среди когда-либо созданных, и компания не скрывает, для чего ей нужна такая мощь.

По данным Financial Times, эта модель призвана составить конкуренцию системе Mythos от Anthropic — одной из передовых разработок, догнать которые китайским разработчикам до сих пор было трудно.

Уже сам размер говорит о многом. Приблизительно с 10 триллионами параметров модель будет более чем в три раза превосходить Kimi K3 от Moonshot, которая сегодня входит в число крупнейших китайских моделей с показателем около 2,8 триллиона.

Этот разрыв — не погрешность округления; это тот скачок, который меняет расстановку сил в рейтинге моделей. Тем не менее, пока рано делать выводы: проект находится на начальной стадии предварительного обучения — этапе, который может занять от трех до шести месяцев, после чего последуют тонкая настройка и дальнейшая доработка, прежде чем что-либо будет выпущено.

Количество параметров — это, конечно, еще не все. Более крупные модели не автоматически лучше, и индустрия уже усвоила, что качество данных, методы обучения и эффективность зачастую важны не меньше, чем чистый масштаб.

Тем не менее, выделение вычислительных ресурсов на обучение модели такого размера само по себе является громким заявлением — сигналом о том, что ByteDance хочет конкурировать на самом высоком уровне, а не просто выпустить способного середнячка.

У компании есть прочная почва под ногами. Ее помощник Doubao уже является одним из самых популярных ИИ-продуктов в Китае, что дает компании как канал распространения, так и причину стремиться к собственной передовой модели.

За этим начинанием также стоят четкие указания: основатель Чжан Имин, как сообщается, призвал сотрудников избегать использования дистилляции ИИ ради краткосрочной выгоды, подталкивая их к созданию подлинных возможностей, а не к копированию.

Это предупреждение прозвучало на фоне продолжающихся споров, поскольку американские лаборатории обвиняли китайские компании в дистилляции их моделей.

Утверждается, например, что Moonshot опиралась на наработки Anthropic при создании Kimi K3 — обвинения, которые Китай оспаривает и на которые отвечает собственными претензиями. Борьба перекинулась и на инструменты: опасения по поводу китайских инструментов для написания кода и Claude Code показывают, насколько сильно переплелись эти две экосистемы, несмотря на конкуренцию.

ByteDance — далеко не единственная китайская компания, наращивающая масштабы. Alibaba активно продвигает Qwen к верхним строчкам рейтингов и утверждает, что ее новейшая разработка является второй в мире моделью с открытыми весами, в то время как весь сектор в целом спешит сократить отставание.

Вычислительные мощности, необходимые для реализации этих амбиций, поражают воображение: Moonshot, как сообщается, использовала 20 000 чипов Nvidia для обучения Kimi K3, что намекает на то, сколько ресурсов потребует еще более крупная модель.

Доступ к ресурсам также становится стратегическим рычагом. Китай рассматривает возможность ограничения зарубежного доступа к своим лучшим моделям — знак того, что эти системы все чаще воспринимаются как национальные активы, а не просто продукты.

На всем этом лежит тень «чипового» вопроса, поскольку экспортный контроль США ограничил доступ Китая к самым передовым ускорителям, поэтому обучение столь крупной модели станет проверкой того, насколько далеко китайские компании смогут продвинуться с тем «железом», которое они реально могут получить.

У ByteDance есть преимущества, которых нет у других. Огромный охват аудитории благодаря TikTok и Doubao обеспечивает как данные для обучения, так и готовую площадку для внедрения передовой модели, позволяя превращать инвестиции в исследования в готовые продукты практически моментально.

Здесь также присутствует стратегический подтекст, выходящий за рамки финансовых отчетов, поскольку китайская компания, сравнявшаяся с ведущей западной моделью, станет символическим рубежом в соперничестве, которое оба правительства все чаще описывают в национальных терминах.

Пока что модель остается незавершенным проектом, и многое еще может измениться между ранней фазой предварительного обучения и готовой системой.

Тем не менее, сам масштаб этой цели показывает, насколько решительно настроены гиганты Китая: они хотят стоять в одном ряду с передовыми западными лабораториями, а не плестись в хвосте.