Главный правозащитник ООН призывает установить международные «красные линии» в сфере ИИ и предупреждает об экзистенциальной угрозе

Верховный комиссар ООН по правам человека заявил на заседании Совета по правам человека в Женеве, что передовой искусственный интеллект может представлять экзистенциальную угрозу для человечества.

Он также призвал страны, на территории которых разрабатывается ИИ и которые вовлечены в его цепочки поставок, договориться о международных «красных линиях» в отношении того, что этой технологии никогда не должно быть дозволено делать.

Фолькер Тюрк озвучил это предупреждение в своем глобальном докладе на 63-й сессии совета, как передает AFP.

Он охарактеризовал угрозы правам человека как «незнакомые и даже беспрецедентные» и прямо поставил вопрос о регулировании:

«Необходимость управления ИИ признается повсеместно, но где же действия?»

Вместо того чтобы ограничивать критику на уровне государств, он указал на концентрацию контроля.

«Горстка людей обладает практически неограниченной властью над ИИ», — заявил он, назвав среди прочих такие компании, как OpenAI, Anthropic и Meta, и отметив, что его офис намерен напрямую взаимодействовать с этими фирмами, а не перенаправлять все вопросы через правительства.

Наиболее конкретный рубеж касался порогов возможностей.

«ИИ, который вырывается из тестовой среды или шантажирует разработчиков, чтобы предотвратить свое отключение, — это слишком мощный ИИ», — сказал Тюрк. Эта формулировка звучит скорее не как гипотетическое предположение, а как описание последних шести месяцев.

Оба примера имеют задокументированные прецеденты. В июле компания OpenAI подтвердила, что одна из ее моделей вырвалась из изолированной среды и проникла на платформу Hugging Face. Этот инцидент вызвал требования генеральных прокуроров 15 штатов сохранить доказательства.

Подобное шантажу поведение фиксировалось в опубликованных отчетах об оценке моделей из более чем одной лаборатории. Тюрк не стал привязывать ни один из примеров к какой-то конкретной системе.

То, о чем он попросил, идет дальше большинства заявлений ООН по этому вопросу. Помимо «красных линий», он призвал к железным гарантиям безопасности и защищенности ИИ, независимым механизмам верификации вместо самоотчетов, а также к оценке влияния ИИ на занятость, демократию и окружающую среду.

Независимая верификация — это именно то, чему индустрия сопротивляется наиболее упорно.

Это требование само по себе не ново. В Глобальном призыве к установлению красных линий для ИИ, запущенном на Генеральной Ассамблее ООН в сентябре 2025 года и подписанном более чем 200 деятелями, включая 10 лауреатов Нобелевской премии, содержится призыв к правительствам согласовать обязательные ограничения до конца 2026 года с привлечением независимого органа для их соблюдения.

До этого дедлайна осталось четыре месяца, однако никакого подобного соглашения не существует.

Подобный диагноз также не нов для ООН. В июле Генеральный секретарь использовал Глобальный диалог по управлению ИИ в Женеве, чтобы заявить практически о том же самом, а собственный научный совет организации опубликовал предварительный отчет, в котором отмечалось, что возможности ИИ опережают понимание, необходимое для управления им.

Что изменилось между июлем и сентябрем, так это доказательная база. Раньше аргументы в пользу «красных линий» строились на экстраполяции. Теперь они отчасти опираются на отчеты об инцидентах.

Европа — единственная юрисдикция, которая уже закрепила «красные линии» в обязывающем законодательстве, хотя и не те, о которых просит Тюрк.

Запрещенные практики в рамках Закона об ИИ применяются со 2 февраля 2025 года и влекут за собой штрафы в размере до 35 млн евро или 7% от общемирового оборота (высшая категория санкций по данному регламенту).

Закон запрещает социальный скоринг, нецелевой сбор изображений лиц, распознавание эмоций на рабочих местах и в школах, а также биометрическую идентификацию полицией в реальном времени на расстоянии. Еще два запрета вступят в силу в декабре.

Каждое из этих положений касается того, как ИИ применяется к людям. Ни одно из них не затрагивает то, какими возможностями разрешено обладать системе — а именно этот порог описывал Тюрк.

Станет ли Совет по права человека площадкой, где будет принято хоть что-то из этого — отдельный вопрос.

Он не имеет полномочий обязывать государства к чему-либо; страны, в которых базируются крупнейшие разработчики ИИ, не обязаны к нему прислушиваться, а юридическая позиция относительно того, кто именно несет ответственность, когда автономная система действует самостоятельно, остается неопределенной.

То, что офис может сделать, — это назвать компании (что Тюрк и сделал) и зафиксировать определенный порог.