Hindsight хочет стать такой заменой. Но вместо того чтобы предлагать стандартную замену одного поставщика другим, компания предлагает то, чего прежде не предлагал ни один поставщик ИИ-модерации контента: профессиональную гарантию на случай вреда, причинённого контентом, который модель не распознала.
«Закодированный язык — это новые оскорбления, но последовательно выявлять его невероятно сложно», — сказал основатель Hindsight Дин Геберт. «А замена модели или инструмента на аналогичный просто перенесёт слепые зоны Perspective к другому поставщику».
Вынужденный переход — повод провести аудит компании
Большинство компаний отнесутся к закрытию Perspective как к обычной инженерной задаче. Hindsight видит в этом возможность задать более сложный вопрос: а обеспечивал ли прежний инструмент надёжную защиту?
Perspective оценивает, насколько токсично «звучит» комментарий на первый взгляд. С очевидными оскорблениями он справляется хорошо. Но с языком, который намеренно выглядит безобидным, — плохо.
Злоумышленники это знают, поэтому они перешли на закодированный язык: числовые коды вроде «1488», экстремистский сленг вроде «boogaloo», замену символов (так называемый «l33tspe@k») и искажённое написание, имитирующее фонетическое звучание оскорбления, например «phag». Издержки и ответственность возникают из-за контента на форумах, в публикациях, комментариях, биографиях, личных сообщениях, печатных материалах и не только.
И дело не только в английском. Даже на платформе, работающей только в США, есть публикации на испанском и десятках других языков, поэтому закодированный язык распространяется и на них. Hindsight предварительно обучена на 110 языках, то есть способна распознавать закодированный язык на каждом из них — без отдельной модели для каждого языка.
Риски вполне реальны. С 2016 года до середины 2022-го Антидиффамационная лига установила, что экстремисты собрали не менее 6,2 млн долларов в рамках 324 краудфандинговых кампаний. Кроме того, в более чем 30 федеральных делах против крупной игровой платформы утверждается, что её меры защиты не уберегли молодых пользователей. Наконец, товары с посланиями белых националистов до сих пор появляются на крупных онлайн-маркетплейсах.
За каждым из этих случаев стояла система модерации, которая должна была работать. Закрытие Perspective даёт возможность всё переосмыслить.
Почему бинарные модели вынуждены идти на компромисс
Многие инструменты модерации полагаются на жёсткую бинарную логику: «Безопасно» или «Небезопасно». Это ставит руководителей платформ перед проигрышным выбором. Если настроить систему на строгость, она завалит модераторов-людей ложными срабатываниями на обычный сленг. Если настроить её на снисходительность, она пропустит контент, который может повлечь ответственность.
Три категории Hindsight — «Красный флаг», «Жёлтый флаг» и «Безопасно» — создают промежуточный вариант для неоднозначных выражений, смысл которых зависит от контекста. Автоматизация отсекает простые случаи, позволяя модераторам-людям уделять время более сложным пограничным случаям (их затем используют для дополнительной настройки экземпляра модели для конкретного клиента).
Геберт признаёт, что такие разговоры могут быть неудобными, поэтому в качестве «самого безобидного примера» он приводит слово bitch, которое в зависимости от контекста может быть оскорбительным или выражать восхищение. Если сказать его о человеке в гневе («кто, чёрт возьми, эта сука?»), это явный «Красный флаг». Между друзьями («она самая крутая сука из всех, кого я знаю») это, вероятно, «Безопасно». Но бинарная модель всё равно не способна различить эти случаи.
«Стабильно относить контекстные тексты к точной категории „Жёлтый флаг“ было невероятно мучительно,» — смеётся Геберт. «На это потребовались одержимость, упрямство и латте — в равных долях. Но благодаря этому клиенты смогут меньше полагаться на контроль со стороны людей и получать более точные результаты, так что усилия окупятся».
Что показывают результаты тестирования
Hindsight сравнила 9 моделей ИИ-модерации контента (Mistral, OpenAI, Meta, Azure, AWS и другие) на фиксированном наборе из 2 205 реальных публикаций в интернете. Человек пометил каждую как «Красный флаг», «Жёлтый флаг» или «Безопасно», а варианты модели Hindsight не встречали ни одной из этих публикаций ни в ходе разработки, ни во время обучения.
В выявлении закодированного языка Hindsight распознала 97,9% случаев. Результаты других моделей составили 65% и ниже. Доля пропущенных флагов составила 3,3%, а доля ложных срабатываний — 8,2%. Компания публикует полную методику и результаты тестирования на своём сайте, где компании также могут протестировать Hindsight на своих данных.
Эффективность специализации: снайперская винтовка против дробовика
Результат ставит под сомнение распространённое мнение, что более крупные модели всегда работают лучше. Hindsight не использует одну большую базовую модель общего назначения. Вместо этого она опирается на три специализированные базовые модели, каждая из которых содержит менее 600 млн параметров. По словам компании, результат превосходит модели, размер которых до 14 раз больше. Геберт говорит, что это скорее снайперская винтовка, а не дробовик.
Обучающие данные намеренно ограничены: 83 МБ реальных публикаций из интернета, взятых из 18 наборов данных (примерно столько же, сколько занимают 37 книг о Гарри Поттере), в том числе 292 000 публикаций с метками, поставленными модераторами-людьми. Компания отслеживала результаты каждого из 164 обученных вариантов и присвоила лучшему статус Champion.
Что меняет гарантия на 1 млн долларов
ИИ-модерацию контента для крупных компаний обычно продают как статью расходов. Она снижает риски, но немногие поставщики гарантируют результат. Hindsight меняет этот подход. Если модель пометит публикацию как безопасную, а та приведёт к документально подтверждённому случаю ответственности, клиент получит финансовую поддержку в размере до 1 млн долларов, а не просто извинения и исправление.
Для команд, которым нужно уложиться в срок, предложение просто: переход с Perspective требует всего одного вызова API, а Hindsight выявляет закодированный язык, который аналогичные инструменты изначально не были рассчитаны распознавать.
Геберт предлагает в течение недели использовать Hindsight и Perspective параллельно, а затем изучить расхождения в их оценках. Они покажут, в каких случаях одной лишь оценки токсичности могло быть недостаточно.
На этапе запуска Hindsight ограничит число коммерческих клиентов четырьмя, чтобы индивидуально настроить экземпляры модели с учётом особенностей политики сообществ каждой платформы и её профиля рисков. Первой группе предложат специальные цены для основателей.
Чтобы попасть в список участников запуска и протестировать Hindsight на своих данных, посетите https://hindsightAI.com.
Опубликовано 23 октября 2026 - 11:49 Наверх
