Ваша следующая утечка конфиденциальных данных может обойтись вообще без утечки данных

На протяжении десятилетий защита конфиденциальности означала одно: не допустить утечки личных данных. Аналитики компании Gartner считают, что этот подход скоро потеряет актуальность.

К 2029 году большинство инцидентов, связанных с нарушением конфиденциальности, будут происходить не из-за слива персональной информации, а из-за того, что ИИ высчитывает о людях, прогнозирует исследовательская компания на этой неделе. Риск больше заключается не только в записях, которые хранит компания. Опасность кроется в выводах, которые модель может сделать на основе разрозненных и с виду безобидных фрагментов информации.

От утечки данных к утечке выводов

Аналитик Gartner Барт Виллемсен (Bart Willemsen) называет это сдвигом «от утечки данных к утечке выводов». Теперь модель способна восстанавливать глубоко личные сведения, например о состоянии здоровья или поведенческих паттернах. Она извлекает их из данных, которые кажутся анонимизированными, агрегированными или безвредными, и для этого ей даже не нужно взламывать базу данных.

В этом есть определенная ирония. Под давлением регуляторов и из соображений экономии компании хранят все меньше личных данных. По задумке, это должно снизить риски. Но если ИИ все равно может вычислить чувствительные детали, сокращение объема хранимых данных практически никак не защищает человека, которого они описывают.

Атаки, после которых не остается следов утечки

Такие атаки с использованием выводов трудно обнаружить. Обычное нарушение оставляет след: украденный файл, скомпрометированную запись, сработавшее оповещение. Сформированный ИИ вывод не оставляет ничего из этого.

«Атаки на основе выводов особенно опасны, поскольку они часто обходят традиционные механизмы обнаружения, — отметил Виллемсен. — Личные данные могут быть скомпрометированы с помощью выводов, сгенерированных ИИ, а не украденных записей. Это создает угрозы конфиденциальности, которые подрывают целостность данных и которые трудно обнаружить, объяснить и нейтрализовать».

Эта угроза также находится вне поля действия большинства законов о конфиденциальности, которые в основном регулируют персональные данные, собираемые, хранимые и передаваемые компаниями. Догадка, сделанная моделью, под эти критерии не подпадает. Это растущая «слепая зона» на фоне того, как повседневные инструменты незаметно записывают и анализируют все большую часть нашей жизни.

Что Gartner призывает изменить в компаниях

Совет Gartner руководителям по информационной безопасности заключается в том, чтобы контролировать то, к каким выводам приходит ИИ, а не только то, что он хранит. Компания ожидает, что к 2028 году расходы на защиту «целостности» данных сравняются с расходами на конфиденциальность информации, поскольку фирмы начнут реагировать на неточные, предвзятые или несанкционированные профили, созданные искусственным интеллектом.

Рекомендуемые меры вполне практичны. Внедряйте проверки конфиденциальности на этапе создания систем ИИ. Используйте инструменты усиления конфиденциальности, такие как дифференциальная конфиденциальность и синтетические данные. Минимизируйте объем имеющихся у вас данных. И держите человека «в контуре» (human-in-the-loop), чтобы он одобрял действия ИИ, основанные на чувствительных выводах, до того, как они будут предприняты.

Этот последний момент имеет принципиальное значение, поскольку утечка может произойти незаметно и случайно, а не только в результате злого умысла. Издание TNW уже рассказывало о том, как приватные чаты с ИИ оказывались в индексах поисковых систем без каких-либо взломов.

Прогноз, а не стопроцентная гарантия

Здесь действуют привычные оговорки. Это прогноз Gartner, а Gartner продает исследования и билеты на свои конференции. Заявления в духе «большинство инцидентов с конфиденциальностью» к такому-то году — это тот тип утверждений, которые легко сделать и трудно доказать.

Но лежащая в основе проблема реальна. Исследователи уже много лет показывают, что модели способны повторно идентифицировать людей и угадывать их личные особенности по общедоступным данным. Регуляторы только начинают наверстывать упущенное, особенно с учетом того, что Закон ЕС об искусственном интеллекте (EU AI Act) все еще внедряется на практике. Смысл позиции Gartner сводится к простому наблюдению: индустрия годами охраняла не ту дверь.