Эндрю Нын называет предупреждения об угрозе вымирания из-за ИИ научной фантастикой

Эндрю Ын, стоявший у истоков Google Brain и Coursera, заявил в эфире Bloomberg TV, что предупреждения об исчезновении человечества из-за искусственного интеллекта гораздо ближе к научной фантастике, чем к науке, а индустрия раздувает их ради пиара и влияния на регулирование. В Законе ЕС об искусственном интеллекте и инженерные риски, приоритет которых он отстаивает, и риски потери контроля, которые он отвергает, упомянуты в одном и том же преамбульном абзаце.

Эндрю Ын назвал предупреждения об экзистенциальной угрозе ИИ «гораздо большей научной фантастикой, чем наукой» в интервью Bloomberg TV. Он участвовал в создании Google Brain и Coursera, а также работал с Дарио Амодеи и Сэмом Альтманом в начале их карьеры.

Он пошел дальше простого несогласия.

Ын заявил, что на ранних этапах бума индустрия подогревала страхи перед катастрофой ради пиара и формирования правил регулирования, и то же самое происходит сейчас. Волна, о которой идет речь, началась, когда исследователь из Anthropic подал в отставку 8 сентября, обвинив своих бывших работодателей в игре жизнями людей.

Это обвинение не ново.

В декабре 2023 года Ын выступал на форуме в Сенате США, где заявил, что крупные компании раздувают страх, чтобы создать правила, которые «уберут лестницу» для новых участников. В том же заявлении он оценил вероятность вымирания человечества из-за ИИ примерно как один к 10 миллионам в течение столетия.

Три года спустя формулировки практически не изменились.

Изменился лишь масштаб. Пост об отставке набрал 150 миллионов просмотров, и всего за несколько дней технологические работники превратили этот формат во внутреннюю шутку, заменив строку об угрозе вымирания абсурдными фразами.

Ын видит в этом спланированную кампанию. Однако наши собственные материалы показали, что речь идет скорее о подражании, чем о координации.

Европа урегулировала этот спор в законодательном порядке еще до того, как он разгорелся. Перечень системных рисков в Законе об ИИ охватывает снижение барьеров для создания химического, биологического, радиологического и ядерного оружия, киберпотенциала, дезинформации и крупных аварий в критически важных секторах.

Он также касается потери контроля. В том же преамбульном пункте упоминаются непреднамеренные проблемы контроля, связанные с согласованностью моделей с человеческими намерениями, а также случаи, когда модели создают собственные копии. И риски, приоритет которых хочет видеть Ын, и те, которые он называет фикцией, содержатся в одном абзаце европейского законодательства.

Эти обязательства уже вступили в силу. Руководитель технологического направления Европейской комиссии Хенна Вирккунен заявила в этом месяце, что закон ЕС обязывает Anthropic и OpenAI оценивать риск потери контроля над моделью, и что в глобальном масштабе дело обстоит иначе.

Это прагматичный инженерный подход Ына, возведенный в ранг обязательных требований.

Подобные обязанности распространяются только на те случаи, когда вычислительная мощность превышает определенный порог, поэтому они ложатся на плечи исключительно крупнейших разработчиков. Именно так выглядит та самая «лестница», которую Ын описывал в 2023 году, только построена она не лабораторией, а регулятором.