Обе организации представили доклад в понедельник, как сообщил Чон Мин Ли для издания South China Morning Post.
В докладе «представлена первая комплексная, основанная на фактических данных база для преодоления этих противоречий» между открытостью и безопасностью, пишут его авторы.
Почему модели с открытыми весами — это нечто особенное
В основу руководства положены три проблемы. Выпуск модели трудно или невозможно обратить вспять. Дообучение (файн-тюнинг) может стереть защитные механизмы. А когда весы выпущены в открытый доступ, разработчики больше не могут отслеживать, как именно люди используют модель.
«Обучение безопасности может быть сведено на нет с помощью небольшого числа вредоносных примеров для обучения», — говорится в докладе.
Поэтому авторы доклада сосредоточились на мерах, которые принимаются до релиза или продолжают работать после публикации весов. На ранних этапах разработки рекомендуется тщательная фильтрация обучающих данных, а также поэтапный выпуск вместо простого выбора между полностью открытой или закрытой моделью. В качестве примера приводится модель GLM-5.3 от Z.ai: сначала ее протестировали проверенные партнеры по безопасности, и лишь после оценок безопасности весы были опубликованы полностью.
Шесть этапов
В руководстве выделено шесть этапов — от выявления рисков до управления ими:
Выявление рисков охватывает вопросы злоупотреблений и непредвиденных инцидентов. Пороговые значения рисков определяют неприемлемый риск по четырем направлениям: где запускается модель, кто может ей злоупотребить, чему она способствует и насколько общество способно поглотить причиненный ущерб. Анализ рисков проводится до разработки, перед развертыванием и после него.
Оценка рисков распределяет модели по зеленой, желтой и красной зонам: полный выпуск, ограниченный или поэтапный выпуск, либо приостановка. Снижение рисков предполагает применение защитных мер на протяжении всего жизненного цикла модели, а управление рисками определяет надзор и подотчетность.
Данный доклад дополняет «Руководство по управлению рисками передового ИИ 2.0» (Frontier AI Risk Management Framework 2.0) от Шанхайской лаборатории искусственного интеллекта и Concordia AI, опубликованное в июле.
Контекст
В этом месяце компания Z.ai привлекла 5 млрд долларов в Гонконге. На прошлой неделе она принесла извинения в связи с инструментом программирования ZCode и открыла его исходный код. В августе технологическая стратегия Белого дома оставила ИИ с открытыми весами за пределами своего списка критически важных технологий.
Опубликовано 28 сентября 2026 - 09:54 Наверх
