OpenAI объявила о создании консультативной группы из девяти математиков — Advisory Group on Mathematics and Artificial Intelligence (AGMAI). Группа должна помочь компании с проверкой и публикацией результатов, которые, по заявлению OpenAI, выдала её невыпущенная внутренняя модель. Однако, как сообщает The Verge, объявление вызвало путаницу: многие математики восприняли группу как назначенный компанией орган, а не как независимую структуру.
Что произошло
21 сентября группа известных математиков объявила о создании AGMAI в гостевом посте в блоге профессора математики UCLA Теренса Тао — обладателя Филдсовской медали и открытого критика поведения AI-компаний в математике. По задумке, это независимый орган из девяти математиков, который будет консультировать OpenAI и другие передовые AI-лаборатории «по вопросам проверки и коммуникации новых результатов».
OpenAI в своём анонсе неоднократно подчёркивала независимость группы: её участники могут публично оспаривать компанию, публиковать свои рекомендации и давать советы, о которых их не просили. Компания также отметила границы влияния группы: она «не будет отвечать за консультирование нас о том, как задавать темп нашего внутреннего прогресса в математике».
Однако, по данным The Verge, многие математики — и почти все за пределами сообщества — узнали о группе именно из громкого анонса OpenAI. Это породило путаницу: часть исследователей решила, что AGMAI — структура, назначенная компанией. Такое впечатление подкрепляет сайт группы, где сказано, что она образовалась после того, как OpenAI обратилась к некоторым будущим участникам по поводу создания консультативного совета, а те решили действовать независимо и пригласить других. Кого именно из девяти участников изначально пригласила OpenAI, остаётся неясным.
Позиция участника группы
Мартин Хайрер, участник AGMAI, профессор математики Имперского колледжа Лондона и швейцарской EPFL, в разговоре с The Verge настаивал на независимости группы. Он признал, что обращение OpenAI к части математиков было первоначальным импульсом к её созданию, но подчеркнул: группа не получает от компании финансовой, технической или иной поддержки, а её участники не подписывали соглашений, ограничивающих их высказывания, кроме стандартных требований конфиденциальности для доступа к исследованиям.
«Мы не работаем на OpenAI, не получаем от них денег, и это полностью независимо», — сказал Хайрер. По его словам, группа открыта к работе и с другими передовыми AI-лабораториями и уже начала с некоторыми переговоры, но не уточнил, с какими.
Хайрер также признал, что анонс OpenAI не помог группе утвердить свою независимость. «То, как они сформулировали своё объявление, не очень помогло», — сказал он, отметив, что при буквальном прочтении в нём нет ничего неверного, а компания «осторожна» в формулировках. По его словам, было бы наивно думать, что AI-компании не попытаются использовать участие группы в своих интересах.
Он описал подготовку группы как поспешную: на вопрос о планах AGMAI в прошлую среду Хайрер со смехом ответил, что группа «начала работать два дня назад», поэтому большого генерального плана у неё нет.
Более 100 результатов и опасения сообщества
Спешка может объясняться тем, что OpenAI, по её словам, располагает большим массивом результатов, которые хочет выпустить как можно скорее. После решения задачи тысячелетия о уравнениях Навье — Стокса компания заявила, что её невыпущенная внутренняя модель «решила более 100 давно открытых задач в большинстве областей математики».
Альваро Лосано-Робледо, профессор математики Университета Коннектикута, считает, что такое поведение нетипично для академической среды: «Ни один математик не стал бы говорить: „О, я доказал всё это, но не знаю, что с этим делать“». По его мнению, похожий разрыв виден и в других заявлениях OpenAI — например, когда представитель компании Лоранс Фоконне сказал The Verge, что компания «добилась существенного прогресса» по ещё одной задаче тысячелетия. «Ни один математик не стал бы так говорить. Либо вы её решили, либо всё ещё пытаетесь», — сказал Лосано-Робледо.
Исследователи, с которыми говорил The Verge, жаловались на плохо написанные рукописи и слабую проработку литературы вокруг результатов — это затрудняет понимание их значимости и оставляет ключевую работу без должного признания. Иногда компания тихо меняла документы после публикации, чтобы закрыть недостатки, но не объявляла об изменениях и не оставляла понятного следа о том, что было исправлено. The Verge заметил это, когда в начале августа компания объявила о «десяти достижениях в математике и теоретической информатике», а Хайрер отдельно описывал случаи, когда компания, по его ощущению, «исподтишка» меняла рукописи в ответ на критику. «Это тоже заставляет людей параноить, верно?» — сказал он, назвав такое поведение «халтурной» и «очень плохой и небрежной научной работой».
Лосано-Робледо описал поток AI-сгенерированных математических решений как «бремя» для сообщества, которое AI-компании, по его мнению, принципиально не понимают. «Бремя в том, что они производят решение», — сказал он, но решения часто менее важны, чем понимание, которое с ними приходит. В человеческой математике эти две вещи традиционно идут рука об руку, и AI, похоже, это меняет. «Им нужна наша экспертиза. Им нужно, чтобы мы отметили это решение», — добавил он.
Для других математиков это бремя гораздо более личное. Несколько недель OpenAI намекает на ещё одну задачу тысячелетия и говорит о более чем 100 готовых результатах, почти ничего не раскрывая о них. После потрясений вокруг прошлых анонсов, особенно по Навье — Стоксу, эта неопределённость создала напряжённую атмосферу. Многие исследователи выразили страх, что задача или область, которой они посвятили годы и десятилетия, может оказаться следующей — и будет решена компанией, которую они подозревают в публичном трюке на пути к IPO.
«Они просто подпитывают паранойю о том, что они могли доказать», — сказал Лосано-Робледо, обвинив компанию в «подогревании ажиотажа». «Какую ещё задачу тысячелетия они имеют в виду, когда говорят: „Мы почти решили ещё одну задачу тысячелетия“? Это предложение не имеет смысла в математике».
Колва Рони-Дугал, профессор математики Университета Сент-Эндрюс в Шотландии, говорит, что неопределённость вокруг OpenAI уже влияет на её размышления о работе. «Несколько мучительно знать, что „большое число“ результатов, вероятно, будет объявлено скоро», — сказала она. «Чем их больше, тем выше вероятность, что моя текущая работа или работа моих студентов внезапно станет неактуальной». По её словам, она не понимает, стоит ли ей спешно выпускать как можно больше статей, пассивно ждать этих результатов или продолжать как обычно.
Хайрер знает об этой тревоге. Он сказал, что потенциальное disruption для исследователей было одной из причин, по которой он присоединился к списку обладателей Филдсовской медали, пытающихся решить то, что они называют «серьёзно рассогласованными» целями AI-компаний и математического сообщества. Он также осознаёт, что OpenAI может использовать участие его и других известных членов AGMAI в своих интересах, особенно для широкой публики. «Они не смогут навредить мне в математическом сообществе», — сказал он. «В каком-то смысле мне всё равно, что они говорят. Но что меня действительно беспокоит — это математическое сообщество в целом».
Что это значит
История показывает, что попытка OpenAI наладить отношения с математическим сообществом через консультативную группу пока не сняла напряжённость. Ключевые вопросы — реальная независимость AGMAI, прозрачность публикации более 100 результатов и то, как компания будет учитывать вклад исследователей, — остаются открытыми. Для математиков это не абстрактная дискуссия: неопределённость уже влияет на планирование работы и распределение усилий. Насколько эффективным окажется новый формат взаимодействия, можно будет судить только по конкретным действиям компании, а не по анонсам.
Комментарии · 0
Войдите, чтобы участвовать в обсуждении.