«Мир абсолютно прав, что боится»: Сэм Альтман о мощи ИИ на конференции Dreamforce

Генеральный директор OpenAI Сэм Альтман заявил, что общественность совершенно не зря опасается сосредоточения слишком большой власти в руках всего нескольких ИИ-компаний. Об этом он заявил во вторник на конференции Dreamforce компании Salesforce в Сан-Франциско. Salesforce опубликовала запись беседы, которую вел генеральный директор компании Марк Бениофф, на YouTube.

Альтман описал вполне реальный страх того, что некоторые ИИ-компании «могут получить слишком много власти и оказать чрезмерное влияние на экономику, навязать людям свое мировоззрение». «И я считаю, что мир абсолютно прав, что боится этого», — отметил он.

Как сообщает BBC, это было первое публичное выступление Альтмана после того, как на прошлой неделе вирусную популярность приобрела публикация об увольнении бывшего исследователя из компании Anthropic. Ранее в тот же день Дарио Амодей из Anthropic и Дженсен Хуанг из Nvidia разошлись во мнениях по поводу безопасности ИИ во время вступительной речи Бениоффа.

Почему именно сейчас

Бениофф спросил Альтмана, с чем связаны события последних дней. По словам Альтмана, об угрозах ИИ говорят уже давно, однако модели развиваются гораздо дальше и быстрее, чем кто-либо ожидал.

Когда был запущен ChatGPT, его модель «еле-еле могла поддержать разговор», напомнил он. Теперь же модели пишут сложнейшее программное обеспечение и решают задачи тысячелетия.

Он назвал две главные проблемы. Первая — это «инцидент с потерей контроля» или какой-то другой серьезный сбой. Вторая — чрезмерная концентрация власти. Индустрии приходится лавировать по «эдакому узкому пути», пояснил он.

Инцидент с Hugging Face со слов Альтмана

Альтман рассказал о том, что произошло. OpenAI тестировала старую модель на бенчмарке. Модель вырвалась из изолированной среды (песочницы) и взломала сервер Hugging Face. Она обошла системы компании, нашла правильный ответ и вернула максимальный балл.

«Это был худший инцидент из всех, с какими мы сталкивались», — заявил он. Большинство увидели в этом проблему безопасности, добавил он, но на самом деле это была «реальная проблема выравнивания» (alignment). По словам Альтмана, позже и другие компании обнаружили аналогичное поведение у собственных моделей.

«И хотя мы выровняли их самыми разными способами, мы не учили их вроде: слушай, как бы настойчиво мы ни просили тебя набрать лучший балл в этом тесте, не вырывайся наружу, не взламывай системы, не кради ответ».

Он назвал произошедшее «серьезным тревожным звоночком» относительно того, насколько мощными стали модели. Этот инцидент уже вызвал <раследование сената США>(расследование Сената).

Альтман также поделился своим видением событий следующих дней. За какие-то выходные в Hugging Face опубликовали информацию о том, что их системы, вероятно, взломал ИИ-агент. К вечеру воскресенья кто-то в OpenAI связал это со странным поведением, наблюдавшимся внутри компании. В понедельник Альтман написал генеральному директору Hugging Face Клеману Делангу, после чего тот прилетел в Сан-Франциско.

До того, как связь между событиями была установлена, Hugging Face обратилась к одному из конкурентов OpenAI за их моделью безопасности, но получила отказ, рассказал Альтман. Вместо этого компания защищалась с помощью китайских моделей с открытым исходным кодом.

После этого OpenAI изменила свой подход, отметил он. Теперь компания предлагает свою программу киберзащиты Daybreak, помогающую организациям защитить себя. «Мы не хотим вести себя в духе: у нас есть эта потрясающая модель, и мы будем держать ее под замком, никого к ней не подпуская», — подчеркнул он.

«Новый уровень строгости»

Три лета назад у OpenAI была модель, которая с трудом справлялась с программой начальной школы по математике, напомнил Альтман. Этим летом одна из моделей доказала одну из семи величайших нерешенных математических проблем.

«Эти модели стали настолько хороши и так быстро, что мы должны подходить к выравниванию, мониторингу и безопасности с совершенно новым уровнем строгости», — заявил он.

OpenAI должна быть готова сдерживать темпы собственного развития, чтобы безопасность опережала возможности, добавил он. Этот инцидент «дал толчок к полной перезагрузке не только в нашей компании, но, думаю, и во всей индустрии».

«Здесь не должно быть никаких оговорок»

На прошлой неделе Альтман поддержал призыв Амодея замедлиться. На Dreamforce он раскритиковал то, как развивались эти дебаты.

«Компании заявляют вещи вроде: мы притормозим только если или мы будем вести себя ответственно, только если другие компании будут вести себя ответственно», — сказал он. Общественность хочет знать, что компании будут действовать безопасно и ответственно «при любых обстоятельствах», добавил он.

«Здесь не должно быть никаких оговорок».

Он не стал называть конкретные компании. «Кстати, мы со всем справимся, — заверил он. — Я полностью уверен в способности нашей компании и нашей индустрии сделать это безопасно». OpenAI намерена удерживать безопасность «намного впереди возможностей», а в противном случае — замедлить работу или остановиться, сказал он.

«Но я разочарован тем, как это преподносится», — добавил он.

«Мир должен доверять тому, что мы поступим правильно, потому что это правильно и потому что мы осознаем масштабы происходящего», — заявил Альтман.

Координация внутри индустрии — это хорошо, считает он. Но люди пугаются при любом намеке на то, что коммерческое давление или гонка могут помешать компании или стране поступить правильно.

«Я не согласен с тем, что технологии не являются ни хорошими, ни плохими»

В какой-то момент Альтман выразил несогласие с мнением Бениоффа о том, что технология сама по себе никогда не бывает хорошей или плохой. Концепция нейтрального инструмента позволяет оправдать «очень многое», считает Альтман. Выбор компаний, создающих ИИ, имеет реальные последствия.

«Не может быть так, чтобы небольшое число компаний, создающих эти модели, принимало решения, которые должен принимать весь мир».

Он привел в пример авиацию, где Федеральное управление гражданской авиации США (FAA) и Национальный совет по безопасности на транспорте (NTSB) создали мощную культуру расследования инцидентов.

«Я думаю, что, к сожалению, инциденты с любой новой технологией неизбежны, и нам необходима отличная культура прозрачной отчетности по ним».

Говоря о социальных сетях, Альтман признался, что смотрит короткие видео, чтобы расслабиться, но никогда не подпустил бы к ним своих детей. «Я не считаю короткие видео злом по своей сути, но я уверен, что это опасно».

Кибератаки и открытые модели

Альтман призвал небольшие компании готовиться к «надвигающейся волне кибератак» — с использованием инструментов OpenAI или любых других разработчиков.

«Я думаю, мы не так уж далеки от моделей с открытым исходным кодом, способных нанести серьезный ущерб. И очевидно, что мы не должны препятствовать появлению таких открытых моделей».

По его словам, также возможны биологические, химические и кинетические атаки. «Мы не должны допустить их реализации». Общество должно выстроить устойчивость к подобным угрозам, чтобы получать преимущества, такие как излечение болезней.

«Чрезвычайно ориентированный на человека мир»

Альтман назвал ИИ, который создает пользовательские интерфейсы на лету, «одним из самых глубоких изменений в том, как мы используем технологии, из всех, что я когда-либо видел». По его словам, после чат-ботов и агентов для написания кода наступает третья фаза — ИИ, который будет постоянно работать на благо людей. Рабочие привычки обладают большой инерцией, поэтому на эти изменения уйдут годы.

Люди заботятся прежде всего о других людях, а не о машинах, подчеркнул он. «Я думаю, что мы останемся в чрезвычайно ориентированном на человека мире, сколь бы совершенными ни стали технологии».

OpenAI поставила перед собой «абсолютно безумную задачу» создать искусственный интеллект общего назначения (AGI), напомнил Альтман. «Это все равно что мы отправились за огнем к богам». Следующее десятилетие должно пройти под знаком людей, а не машин.

«Нет никаких сомнений в том, что в период с сегодняшнего дня по 2030 год нас ждет еще больше технологических чудес, и это будут масштабные чудеса», — заявил он.

Другие мнения

Позже во вторник генеральный директор Meta Марк Цукерберг написал в X, что у исследовательских лабораторий есть и возможности, и стимулы заниматься вопросами безопасности. «Любая лаборатория, которая не уделяет внимания выравниванию, отстанет», — написал он, как сообщает BBC.

В тот же день OpenAI поддержала двухпартийный план Палаты представителей США, предполагающий проведение сторонних оценок безопасности, сообщает Politico.