«Раньше я всегда думал, что согласованность появится сама собой. Больше я в это не верю. Думаю, эта проблема согласованности может оказаться более сложной и совсем иной», — сказал Наделла.
По словам Наделлы, в 2018 и 2019 годах он верил в законы масштабирования. Тогда Дарио Амодеи, Илья Суцкевер, Сэм Альтман, Грег Брокман и Илон Маск были «одной счастливой семьёй», отметил он. Масштабирование — идея о том, что модели становятся лучше с ростом объёма данных и вычислительных мощностей, — сработало так, как он ожидал. А вот согласованность — то есть гарантия того, что ИИ действует в соответствии с человеческими ценностями и целями, — вместе с ним не пришла, сказал он.
Согласованность начинается с обучения
Наделла заявил, что согласованность в основном должна закладываться на этапе обучения. Возможно, начинать нужно уже с предобучения — первого и самого масштабного этапа создания модели. Он также отметил, что наука о том, как модели устроены изнутри, по-прежнему остаётся неуловимой.
«Не думаю, что к согласованности можно прийти даже с помощью RL», — сказал он.
RL, или обучение с подкреплением, — метод, который лаборатории используют для доработки моделей после предобучения.
Система нулевого доверия вокруг модели
Пока же Наделла призывает компании выстраивать защиту вокруг моделей. Он выступил за принцип нулевого доверия — подход, при котором каждое действие проверяется, а ничему не доверяют по умолчанию.
«Если вы действительно хотите иметь агентов, которые более способны, но при этом менее согласованы, вам нужна система доверия, на которую можно положиться», — сказал он.
По словам Наделлы, Agent 365 и Perception от Microsoft присваивают каждому агенту идентификатор и регистрируют его обращения к инструментам и моделям. Журналы должны быть защищены от подделки, чтобы агент не мог изменить собственные записи. Затем компании устанавливают политики и следят за тем, соблюдают ли их агенты. Ранее в этом месяце Microsoft добавила инструменты для мониторинга агентов. 10 октября Наделла написал в X, что компаниям следует рассматривать ИИ-модели как внутренние угрозы.
Цепочка рассуждений и лаборатории
Наделла также заявил, что никто не может полагаться на цепочку рассуждений — пошаговую логику, которую модель демонстрирует перед ответом.
«Мы знаем, что сама цепочка рассуждений может быть недостоверной, и ситуация может даже ухудшиться, когда компания — разработчик модели говорит: „Что ж, она недостоверна, и я её скрою“», — сказал Наделла.
Он не назвал конкретную компанию. Наделла хочет, чтобы доверенные партнёры получали цепочку рассуждений на понятном английском языке. Тогда они смогли бы проверять её и сверять с помощью других моделей. Если создатели закрытых моделей не видят необходимости в большей прозрачности, «у нас может возникнуть проблема», сказал он. Это может подтолкнуть больше клиентов к моделям с открытыми весами, которые любой может скачать и запустить.
Открытые модели и Китай
Стеббингс отметил, что большинство моделей с открытыми весами — китайские. Наделла ответил, что ИИ без безопасности одинаково плох для Китая, США и Великобритании.
«Несогласованная китайская модель с открытыми весами, вероятно, атакует даже Китай», — сказал он.
По словам Наделлы, Microsoft не будет выпускать собственные модели MAI с открытыми весами. Он охарактеризовал их как лицензируемые веса, продаваемые в рамках обычного софтверного бизнеса. Он ожидает, что большая часть использования ИИ будет приходиться на дешёвые типовые токены от множества конкурирующих моделей — как открытых, так и закрытых.
Microsoft отчитается о квартальных результатах в среду, сообщил Тодд Бишоп в GeekWire. Это будут первые результаты компании с тех пор, как она предложила добровольный выход с компенсацией примерно 60 000 сотрудников.
Опубликовано 28 октября 2026 - 07:38 Наверх
