«Что ж, я всё ещё не доверяю им на все 100%», — сказал Хо изданию More Than Moore.
В июне OpenAI представила собственный ИИ-чип. Компания создала его вместе с Broadcom для запуска своих моделей, а не для их обучения. В августе на конференции Hot Chips она показала результаты тестирования в сравнении с GB300 от Nvidia. В интервью речь идёт о том, как создавался чип. Хо присоединился к OpenAI в 2023 году. Он был одним из первых инженеров в программе Google по разработке TPU. До этого он создавал суперкомпьютеры Anton в D.E. Shaw Research.
Когда логика не помещалась
Команда работала быстро, рассказал Хо. Первоначальные оценки того, сколько логических элементов поместится на чипе, оказались немного неточными. Вместо того чтобы жертвовать производительностью, команда поручила решить проблему своим моделям. По его словам, на тот момент это были ещё сырые внутренние модели, не донастроенные для работы над чипами. Они лишь немного превосходили модели, доступные публике.
Большая часть кода, над которым работали модели, была написана на XLS — инструменте, преобразующем код высокого уровня в логику микросхем. Крис Лири, который теперь входит в команду Хо, выпустил его с открытым исходным кодом, когда работал в Google. Этот язык больше напоминает Rust, чем Verilog — язык, на котором написано большинство чипов. По словам Хо, модели лучше справлялись с программным кодом, чем с Verilog, поэтому XLS позволял им рассуждать о конструкции.
Изменения, которые никто не мог объяснить
Некоторые изменения исходного кода, внесённые моделями, не имели ясного обоснования. Команда работала слишком быстро, чтобы остановиться и выяснить, почему они помогли, рассказал Хо.
«Мы не вполне понимали, что именно оно делает», — сказал он.
Поэтому каждое изменение по-прежнему проходило полный цикл проверки, а окончательное утверждение чипа по-прежнему выполнялось с помощью стандартных инструментов проектирования. В чипе могут быть сотни миллионов логических элементов. По словам Хо, модель с точностью 99,99% для такой задачи недостаточно надёжна. Он назвал это риском, на который стоит пойти, если команда сохраняет осторожность. Хо добавил, что не стал бы сокращать штат из-за моделей, а использовал бы их, чтобы делать больше и быстрее.
Один чип для всей инфраструктуры
Хо также защитил самое необычное решение при разработке чипа. Сейчас значительная часть индустрии распределяет инференс между отдельными аппаратными системами для каждого этапа: префилла, который считывает запрос, и декодирования, которое формирует ответ.
OpenAI создала один чип для всех этих задач. По словам Хо, закреплять мощности дата-центров за фиксированным соотношением рискованно, когда структура нагрузки постоянно меняется. Он признал, что в реальной эксплуатации у такого решения могут обнаружиться издержки, а работа с очень длинными контекстами может упереться в ограничения.
Чип напрямую соединяет блоки памяти с высокой пропускной способностью со своими ядрами, сокращая объём перемещаемых данных. Хо ожидает, что конкуренты, в том числе производители графических процессоров, скопируют эту идею. OpenAI всё равно решила опубликовать её, несмотря на то, что компания входит в число крупнейших клиентов Nvidia.
«Потому что нам по-прежнему нужны графические процессоры, и мы хотим, чтобы они становились лучше», — сказал Хо.
По его мнению, главное ограничение индустрии — не энергопотребление, память или упаковка чипов. Дело в том, что руководители и инвесторы, обжёгшись на прежних бумах, не представляют, насколько масштабным станет ИИ, и поэтому делают слишком небольшие ставки. Вторая версия Jalapeño сейчас проходит в лаборатории квалификационные испытания, а OpenAI готовится к массовому производству.
Опубликовано 5 октября 2026 - 07:17 Наверх
