Palisade Research опубликовала интервью исследователей AI о рисках суперинтеллекта

Некоммерческая организация Palisade Research, которая изучает возможности и мотивы AI-систем, опубликовала серию интервью с исследователями искусственного интеллекта на сайте frominside.ai. Об этом сообщает The Verge. В проекте — около десятка бесед с нынешними и бывшими сотрудниками OpenAI, Google и Anthropic. Несколько участников прямо говорят о вероятности вымирания человечества из-за AI, и это главное содержание материала: не анонс продукта, а публичные оценки рисков от людей, которые работают над такими системами.

Кто участвовал в проекте

Среди собеседников Palisade Research — Джеффри Ирвинг, бывший сотрудник OpenAI и Google DeepMind; Нил Нанда, исследователь Google DeepMind; бывший исследователь OpenAI Дэниел Кокотайло; Мэри Фуонг из Google. Видео доступны целиком, но сайт также собирает фрагменты, где разные люди высказываются на близкие темы.

Одна из таких тем — вопрос, не является ли всё это хайпом или маркетингом. Другая — почему исследователи продолжают работать над технологией, которую сами считают опасной.

Что говорят исследователи

Джеффри Ирвинг в интервью заявил: «The chance of human extinction is about a coin flip, in my view». Нил Нанда оценил вероятность вымирания человечества «как минимум в 10 процентов» и назвал такую цифру «ridiculously high».

Дэниел Кокотайло высказался о суперинтеллекте: по его словам, такая система «would basically be god-like powerful», а управлять ею человечество не умеет. Он добавил, что, вероятно, никто не смог бы её контролировать, и назвал это «exactly as dangerous as it sounds».

В свою очередь Мэри Фуонг из Google предложила относиться к её словам с подозрением, поскольку ей платит лаборатория. Нанда объяснил, почему не уходит: если бы он не верил, что его работа напрямую снижает экзистенциальные риски, он бы уволился, но компании не прекратят создавать такие системы только из-за его ухода.

Почему это важно

Публикация показывает, что дискуссия о безопасности AI идёт внутри самих лабораторий, а не только между внешними критиками и компаниями. При этом, как отмечает The Verge, даже собранные вместе видео не предлагают единого решения — исследователи расходятся и в оценках, и в том, что с этим делать.

Отдельный сюжет — вопрос доверия к таким заявлениям. Ответ Фуонг о конфликте интересов и объяснение Нанды о причинах остаться в компании показывают, что участники сами признают ограничения своих позиций.

Что это значит

Материал Palisade Research — это набор личных оценок, а не отраслевой прогноз и не решение регулятора. Ценность проекта в том, что он фиксирует публичные высказывания людей, непосредственно занятых разработкой AI, включая тех, кто называет риск вымирания человечества высоким. Для читателей, следящих за темой безопасности AI, это ещё один источник первичных формулировок — без единой общей рекомендации и без ответа на вопрос, как именно снижать описанные риски.