Anthropic платит компании, которая будет ее оценивать, и тут же заявляет, что так быть не должно.

Anthropic назвала Accenture своим первым встроенным оценщиком передовых моделей. Ожидается, что каждая компания инвестирует не менее 1 млрд долларов в течение пяти лет. Anthropic будет финансировать эту работу напрямую, при этом в том же пресс-релизе отмечается, что финансирование должно осуществляться из объединенных или государственных источников, поскольку таковых пока не существует. Accenture уже задействована в крупнейшем развертывании Claude Code от Anthropic, однако до сих пор не существует стандартов относительно того, к чему именно встроенные оценщики могут получать доступ или что они обязаны отчитывать.

В пятницу Anthropic объявила, что специалисты Accenture будут внедрены в компанию для тестирования на проникновение (ред-тиминга) новейших моделей, проведения оценок соответствия принципам безопасности и проверки защитных механизмов. Саманта Олтман и Линн Доан сообщили об этом в статье для Bloomberg, отметив, что оценщики получат уровень доступа, сопоставимый с правами собственных сотрудников Anthropic.

Каждая компания планирует инвестировать не менее 1 млрд долларов в течение пяти лет. Это первая конкретная реализация обязательства, взятого в эссе Дарио Амодеи шесть дней назад, о котором TNW писал сразу после публикации.

Строка о финансировании — вот на что стоит обратить внимание

Anthropic прямо заявляет, что будет финансировать работу Accenture напрямую. В то же время компания признает, что это неверная долгосрочная схема и финансирование должно поступать из консолидированных или государственных фондов.

Свои действия она объясняет тем, что подобных источников пока не существует. Компания выступала за их создание в собственном стратегическом документе в июне, а пока намерена сотрудничать с различными оценщиками на условиях разных схем финансирования.

Это откровенное признание. Но это также описание структурной проблемы, которую анонс решить не в силах, поскольку счет за работу оценщика все равно отправляется проверяемой стороне.

METR не сбросили со счетов

В эссе, давшем толчок этому процессу, упоминалась некоммерческая организация METR как пример структуры, которую они видят в этой роли. Anthropic утверждает, что ведет диалог с METR и другими некоммерческими оценщиками с целью пилотирования элементов встроенной оценки за счет их собственного финансирования.

Таким образом, речь идет о двух параллельных направлениях, а не о замене одного другим. Консалтинговая компания на зарплате у Anthropic начинает работу немедленно, а с некоммерческими организациями ведутся дискуссии.

Какое из этих направлений выдаст первый критический результат, расскажет вам больше, чем сам пресс-релиз.

Коммерческие связи весьма значительны

Accenture и Anthropic уже управляют совместным бизнес-подразделением. Около 30 000 специалистов Accenture проходят обучение работе с Claude, а десятки тысяч ее разработчиков используют Claude Code в рамках проекта, который Anthropic назвала своим крупнейшим внедрением в истории.

Компании также финансируют центр передового опыта Claude внутри Accenture и совместно разрабатывают продукты для регулируемых отраслей. Accenture выступает в роли клиента, реселлера, партнера по внедрению, а теперь еще и оценщика.

Anthropic не считает эту ситуацию неловкой. Она преподносит опыт внедрения корпоративных решений Accenture как квалификационное преимущество, аргументируя это тем, что понимание практического использования ИИ помогает в его оценке.

Аргументы в пользу этого не лишены веса

Работу возглавит Faculty — британская ИИ-компания, приобретенная Accenture в январе. До поглощения Faculty уже сотрудничала с ведущими лабораториями, включая OpenAI и Anthropic, в области безопасности моделей.

Масштаб тоже имеет значение. Внедрение постоянной команды с уровнем доступа сотрудников — это задача по подбору персонала, которую некоммерческие организации масштаба METR решить не в состоянии, а 1 млрд долларов на пять лет позволяет нанять людей, а не просто выпускать пресс-релизы.

Кроме того, Anthropic сделала это соглашение неэксклюзивным. В ближайшие недели обещают привлечь и других оценщиков, а Accenture будет выполнять аналогичную работу для других разработчиков.

Что остается по-настоящему нерешенным

Anthropic заявляет, что до сих пор нет стандартов ни в отношении того, к какой информации встроенные оценщики должны иметь доступ, ни в отношении того, как они должны отчитываться о результатах. В этом и заключается загвоздка, скрывающаяся за денежными вливаниями.

Оценщик с доступом на уровне сотрудника компании и полным отсутчением обязательств по отчетности — это модель управления, определяемая исключительно проверяемой стороной. Anthropic утверждает, что независимые оценщики делают ее подотчетность более проверяемой, а не снижают ее, и что ответственность за безопасность моделей по-прежнему лежит на самой компании.

Открытым остается вопрос: что произойдет с результатами проверки, которые могут задержать выпуск продукта, внутри компании, чей основной бизнес заключается в продаже этого самого релиза клиентам.

Та же схема повторяется вновь и вновь

Независимая оценка неизменно оказывается под контролем заинтересованных лиц. Hugging Face вызвалась проводить аудит ИИ-лабораторий, после чего Nvidia приобретает Hugging Face.

Организации, технически способные проводить аудит передовых моделей, — это именно те компании, которые индустрия стремится купить или законтрактовать. С этим ограничением сталкивается любая попытка реализации подобных инициатив.

Почему это создается именно сейчас

Для внешнего тестирования это лето выдалось тяжелым. Один и тот же подрядчик по тестированию стоял за утечками информации, о которых сообщили OpenAI, Anthropic и Meta (а позднее к ним добавился и Google).

30 июля Anthropic сообщила о трех инцидентах, в ходе которых ее модели получили несанкционированный доступ к реальным системам, и заявила о планах поработать с METR над независимым обзором. С тех пор компания возобновила внешние тесты, в рамках которых ее модели атаковали реальные компании.

Европейская специфика

Faculty — это лондонская компания с опытом работы в государственном секторе, купленная в январе консалтинговой фирмой с ирландской пропиской, а теперь ставшая встроенным оценщиком для американской лаборатории. Потенциал европейского контроля в сфере ИИ консолидируется в руках крупных интеграторов.

Собственная нормативно-правовая база ЕС опирается на независимую оценку соответствия силами органов, не имеющих коммерческой заинтересованности в продукте. Здесь же мы видим появление принципиально иной модели.

За чем стоит следить

Следите за тем, появится ли некоммерческое направление и на каких условиях. Anthropic обещает назвать новые имена, и то, появятся ли среди них те, что финансируют себя сами, станет проверкой на прочность принципа плюрализма.

Следите за тем, кого выберет OpenAI. Сэм Альтман заявил, что OpenAI повторит эти обязательства, и ее выбор покажет, станет ли платная консалтинговая структура стандартом или исключением.