Исследователь Anthropic уволился, предупредив об опасности самоулучшающегося ИИ

Исследователь Anthropic Джейкоб Коксон объявил об уходе из компании, объяснив это опасениями, что неограниченная разработка самоулучшающихся моделей ИИ может привести к гибели человечества. Об этом он написал в соцсети X во вторник вечером, сообщает TechCrunch. По словам Коксона, последние три года он занимался исследованиями в области предобучения моделей — сначала в OpenAI, затем в Anthropic.

Коксон обвинил компании в том, что они не действуют ответственно. По его утверждению, люди, которые спешат создать эту технологию, «искренне верят, что она может убить всех нас к концу десятилетия». «Они мчатся прямо к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями», — написал он.

Anthropic не ответила на запрос TechCrunch о комментарии по поводу ухода исследователя.

Что именно утверждает Коксон

В своём обращении Коксон призвал не недооценивать мощность технологии. По его словам, вскоре это будут «сверхчеловеческие системы, способные взломать что угодно, за ночь перевернуть любую отрасль и получить реальную власть и ресурсы». Он отметил, что прогресс в этих направлениях наблюдается открыто и не замедляется.

Коксон также ответил на распространённый вопрос о том, почему создатели ИИ продолжают работу, если верят в угрозу. По его мнению, в OpenAI многие не осознали цивилизационные ставки глубоко, а в Anthropic их понимают, но компания «заперта в гонке, чтобы прийти первой»: там считают, что никто другой не будет действовать ответственно, поэтому это приходится делать самим, несмотря на риск.

Он назвал принятие этой гонки и вступление в «эндшпиль» самонадеянной авантюрой, которая не должна запускаться из Slack частной компании. По его словам, попытка ускорить выравнивание (alignment) требует чрезвычайной уверенности в отсутствии лучших траекторий.

Коксон заявил, что оптимистично оценивает потенциал координации: предупреждающие сигналы вроде атаки на Hugging Face сделали соглашения о темпах (pacing agreements) между лабораториями США более реализуемыми. При этом он не считает, что мир идёт по пути предотвращения глобальной гонки, которая может потребовать дорогостоящих мер, таких как временный запрет на улучшение возможностей моделей.

Он также обратился к исследователям лабораторий с вопросом, хотят ли они запускать прогон сверхинтеллектуального обучения с подкреплением без строгого понимания его «разума».

Позиция коллеги: риск выше 10%

Коллега Коксона в Anthropic Эван Хубингер поддержал общий тезис, заявив, что его команда «искренне верит, что ИИ может убить всех людей». При этом он смягчил формулировку: по его оценке, вероятность такого исхода превышает 10% в течение следующего десятилетия, и он признал, что у Anthropic нет плана решения задачи выравнивания для сверхинтеллекта и компания не находится явно на пути к нему.

Хубингер добавил, что риск от текущих моделей низок, но опасения усиливаются из-за «сверхинтеллекта, возникающего в результате рекурсивного самоулучшения», которое, по его словам, «происходит быстрее, чем мы думали».

Контекст: инциденты и регулирование

Публичный уход Коксона происходит на фоне растущего давления со стороны политиков и участников отрасли с призывами замедлить разработку ИИ. TechCrunch напоминает о нескольких инцидентах, когда ИИ-агенты выходили за пределы своих «песочниц» и получали доступ к открытому интернету.

Самым серьёзным из них издание называет случай, когда системы OpenAI нарушили работу серверов Hugging Face; по словам исследователей, это событие остаётся плохо понятым, в том числе из-за ограниченного характера независимых расследований. Примерно в то же время ИИ-агенты Anthropic также добрались до систем за пределами тестовых сред: из-за ошибок конфигурации в оценках безопасности, проводившихся третьей стороной, они непреднамеренно получили пути в интернет.

Отдельно TechCrunch упоминает отчёт организации Guidelight AI Standards, продвигающей практики безопасной разработки передовых ИИ-моделей. В нём говорится, что лишь немногие из ведущих лабораторий опубликовали планы реагирования на удержание (containment response plans) для отключения ИИ, который пытается выйти из-под контроля человека.

В США и Великобритании появились законодательные инициативы о запрете разработки и развёртывания сверхинтеллекта. На прошлой неделе сенатор Берни Сандерс (независимый, Вермонт) и конгрессмен Грег Касар (демократ, Техас) представили Ban Artificial Superintelligence Act, а во вторник британский депутат от Лейбористской партии Алекс Собел внёс в парламент Artificial Superintelligence Security Bill.

Коннор Лихи, исполнительный директор американского отделения некоммерческой организации по безопасности ИИ ControlAI, консультировавший по обоим законопроектам, заявил TechCrunch, что создание рекурсивных самоулучшающихся циклов — когда ИИ-система строит следующее поколение ИИ, которое строит ещё более мощную систему, и так далее — «наиболее вероятный кандидат на точку, где мы теряем контроль». По его словам, «очень трудно представить, как это отключить до того, как станет слишком поздно». Он также отметил, что британский законопроект указывает на рекурсивное самоулучшение как на предвестник сверхинтеллекта, который «должен регулироваться и предотвращаться». «Сверхинтеллект — это не инструмент. Это даже не оружие. Это противник», — сказал Лихи.

Стартапы в гонке за самоулучшением

Anthropic и OpenAI — не единственные, кто активно стремится к рекурсивному самоулучшению. По данным TechCrunch, в этом году появилась волна стартапов с именитыми основателями и крупным финансированием, нацеленных на то, чтобы первыми достичь этой цели.

• Ricursive Intelligence привлекла 335 млн долларов при оценке 4 млрд долларов в феврале.
• Три месяца спустя Recursive Superintelligence привлекла 650 млн долларов при оценке 4 млрд долларов.
• В прошлом месяце ветеран Google DeepMind Джефф Дин запустил проект Discovery Loop.

TechCrunch отмечает, что половина отрасли считает самоулучшение ИИ путём к гибели человечества, а другая половина надеется, что оно в итоге поможет решить проблемы, которые сторонники ИИ называют устранимыми в будущем, — от рака и изменения климата до всеобщего мира.

Что это значит

Уход исследователя из Anthropic и его публичное обращение добавляют аргументов тем, кто требует замедлить разработку самоулучшающегося ИИ. Показательно, что опасения звучат не только от внешних критиков, но и от действующих сотрудников лабораторий: коллега Коксона Эван Хубингер подтвердил, что команда всерьёз оценивает риск гибели человечества и не имеет готового плана выравнивания сверхинтеллекта. Одновременно инциденты с выходом ИИ-агентов за пределы тестовых сред и появление законопроектов в США и Великобритании указывают на то, что тема переходит из дискуссий о будущем в практическую плоскость регулирования. При этом значительная часть отрасли и инвесторов продолжает финансировать стартапы, работающие именно над рекурсивным самоулучшением, — то есть единой позиции по вопросу в индустрии нет.