Бизнес Данные и безопасность Искусственный интеллект
Hugging Face предлагает провести аудит лабораторий ИИ, а Nvidia покупает её
Hugging Face вызвалась стать одним из независимых аудиторов лабораторий искусственного интеллекта. Клеман Деланг (Clement Delangue) объявил об «Инициативе за открытое выравнивание» (Open Alignment Initiative) в сети X в субботу. Он опубликовал этот пост через четыре часа после того, как Дарио Амодей заявил, что Anthropic допустит в свои ряды сторонних оценщиков. По словам Деланга, выравнивание не будет достигаться за закрытыми дверями горстки передовых лабораторий. Новую инициативу возглавляет его соучредитель Томас Вольф (Thomas Wolf).
Амодей опубликовал эссе в 16:01 по центральноевропейскому времени. Он написал, что Anthropic предоставит сторонним оценщикам постоянный доступ к своим системам на уровне сотрудников. Эти оценщики смогут проверять соблюдение мер безопасности со стороны Anthropic, сообщать об инцидентах и оценивать то, как модели выравниваются в процессе обучения. Издание TNW освещало <лер>само эссе в субботу.
Деланг опубликовал пост в 17:08. Он попросил присоединиться к программе встроенных оценщиков, о которой только что объявил Амодей. По его словам, сделать ИИ более безопасным означает сделать его более прозрачным. В тот же день Сэм Альтман заявил, что OpenAI поддержит обязательства Anthropic. Ни одна из лабораторий не уточнила, кто именно получит доступ, на каких условиях и кто будет принимать решения.
Потенциальный волонтер находится в процессе поглощения
3 сентября Nvidia подтвердила, что покупает Hugging Face за $12,93 млрд. Компания пообещала сохранить её открытой. Девятью днями позже агентство Reuters сообщило, что Nvidia ведет переговоры об инвестировании до $10 млрд в первичное публичное размещение акций (IPO) Anthropic в качестве якорного инвестора. Ожидается, что объем этого размещения составит до $100 млрд.
Таким образом, одна компания вызвалась провести аудит Anthropic. Вторая компания покупает первую. При этом вторая компания также ведет переговоры о том, чтобы стать одним из крупнейших акционеров Anthropic. Ни Деланг, ни Амодей не прокомментировали это пересечение интересов. В Nvidia никак не высказались по поводу того, что она намерена делать, если её собственная дочерняя структура сообщит о проблеме в компании, которую она финансирует.
У Hugging Face также есть своя история отношений с лабораториями, которые она собирается оценивать. В июле агенты OpenAI взломали системы Hugging Face после многомесячных усилий. Позже в OpenAI заявили, что более ранние сигналы могли предотвратить этот взлом. Предлагаемый оценщик в свое время стал жертвой одного из инцидентов, которые подтолкнули Амодея к написанию эссе.
Кто еще подписался, а кто остался в стороне
Илон Маск написал, что Дарио прав. Андрей Карпатый выразил надежду, что индустрия сможет объединиться и воплотить это в жизнь. Сатья Наделла приветствовал эту идею. В понедельник Microsoft опубликовала свод правил (кодекс поведения) для собственных моделей, анонс которого Наделла опубликовал в том же посте. Издание Business Insider сообщило, что по состоянию на субботу Демис Хассабис не дал никакого ответа.
Наделла выдвинул одно условие для всей этой затеи. Любой подобный механизм «не может контролироваться горсткой субъектов, а должен иметь широкое представительство в масштабах экосистемы, стран и областей, включая академические круги», — написал он. Гэвин Бейкер назвал сторонних оценщиков самым конкретным достижением на сегодняшний день. Он также предостерег от сосредоточения контроля над мощными системами в одних руках.
Теперь предметом споров является то, что считать независимым
Дин Болл (Dean Ball) руководит направлением стратегического будущего в OpenAI и консультировал Белый дом при администрации Трампа по вопросам ИИ. По его словам, индустрии здесь не нужно изобретать велосипед. «Независимая оценка является обычным делом в других отраслях», — добавил он, отметив, что в других секторах уже давно дано определение независимости. Он заявил, что приветствует борьбу за то, кто именно имеет право квалифицироваться в качестве оценщика.
Франсуа Шолле (Francois Chollet), создатель Keras, установил более высокую планку. Если эти усилия искренни, написал он, надзор должен приобрести более демократичную и подотчетную форму, включающую национальные и международные компоненты. Он также перечислил признаки, которые будут указывать на обратное. К ним относятся призывы запретить открытый ИИ (open-source AI) и препятствовать исследованиям за пределами передового края технологий.
Один из комментаторов под собственным постом Деланга озвучил более узкую точку зрения. Пользователь написал, что в состав аудиторов должны входить люди, находящиеся за пределами текущего круга лиц из Сан-Франциско. Он имел в виду людей, с которыми компании никогда не взаимодействовали и перед которыми им было бы неудобно открываться. Деланг оставил этот комментарий без ответа.
Возражения против открытого исходного кода носят иной характер
Джейсон Калаканис утверждает, что Anthropic и OpenAI держат свои самые мощные модели закрытыми, а теперь хотят установить правила, выгодные действующим игрокам рынка. «Если вам нужна безопасность, вам нужна прозрачность», — написал он, назвав открытый исходный код высшей формой обеспечения прозрачности. Во втором посте он призвал Амодея не просить правительство замедлить развитие открытых моделей.
Майкл Бьюрри назвал призывы к замедлению корыстными и привел четыре причины. Среди прочего он написал, что это дает преимущество устоявшимся гигантам перед более мелкими конкурентами и подогревает ажиотаж вокруг готовящихся размещений акций ИИ-компаний. Hugging Face находится на стороне открытого исходного кода в этом споре. При этом теперь она просит допустить ее внутрь закрытого лагеря.
Двумя днями ранее Деланг отверг предупреждение, с которого все началось
На прошлой неделе Джейкоб Коксон (Jacob Coxon) уволился из Anthropic, заявив, что лаборатории играют в азартные игры с нашими жизнями. Деланг заявил в интервью Business Insider, что расспрашивать исследователя вроде Коксона о риске вымирания от ИИ — это все равно что спрашивать инженера по кондиционированию воздуха об изменении климата. Это заявление он сделал за два дня до запуска своей Инициативы за открытое выравнивание.
Один из комментаторов под его объявлением прямо указал на это противоречие, спросив, не назвал ли он накануне авторитетного бывшего сотрудника Anthropic «парнем по кондиционерам». Эссе Амодея основано скорее на инцидентах с автономными агентами (rogue-agent), чем на мнении Коксона. Деланг никак публично не связал между собой эти два своих высказывания.
Регулятор уже решает этот вопрос
Проблема независимости актуальна не только для самой индустрии. Калифорния в настоящее время решает, кто именно может осуществлять верификацию ИИ в рамках законопроекта SB 813. Документ предусматривает создание класса независимых организаций по верификации. В ходе одного из расследований некоммерческой организации METR было потрачено API-токенов на сумму 400 000 долларов, и этот счет оплатила OpenAI.
Именно в таком практическом ключе лаборатории вызвались разрешить ситуацию своими силами. Оценщику требуются финансирование и доступ к системам, причем оцениваемая компания предоставляет и то, и другое. Субботние заявления ничего в этом плане не изменили. Никто не уточнил, кто будет платить встроенным оценщикам, и никто не сказал, что произойдет, если кто-то из них сообщит о нарушении, которое лаборатория станет отрицать.
