Во вторник Национальное агентство безопасности (NSA), Агентство по кибербезопасности и защите инфраструктуры (CISA) и Федеральное бюро расследований (FBI) опубликовали совместное заявление, в котором назвали шесть китайских AI-компаний — DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun и Z.AI — участниками «промышленных» атак по извлечению возможностей американских фронтир-моделей. По данным агентств, атаки велись как минимум с конца 2024 года, а компании, «вероятно», действовали при осведомлённости китайского правительства. Информация опубликована изданием Ars Technica.
В заявлении утверждается, что извлечение возможностей затрагивало варианты моделей Claude, GPT, Gemini и Grok. Агентства заявили, что китайские компании, ведущие «промышленную дистилляцию» против американских AI-моделей, получают значительно более короткие сроки разработки и сниженные финансовые затраты на обучение фронтир-модели.
В чём суть обвинений
Согласно совместному релизу, американские AI-компании должны сотрудничать с правительством и союзниками США, чтобы прекратить предполагаемую кражу, угрожающую лидерству США в гонке AI. Для этого потребуются скоординированные действия всей экосистемы AI против «агрессивных, вредоносных и целенаправленных дистилляционных действий в промышленном масштабе, извлекающих ограниченные проприетарные функции и возможности американских фронтир-моделей».
Среди методов атак агентства называют:
- эксплуатацию API вывода AI-моделей через массовую покупку поддельных аккаунтов — незарегистрированные легитимными пользователями, эти рои мошеннических аккаунтов выполняют «высокоскоординированные запросы с идентичными или похожими текстами промптов» объёмом от тысяч до миллионов по схожим темам;
- использование техник prompt injection для джейлбрейка моделей, включая создание промптов, заставляющих модели раскрывать скрытые рассуждения (chain-of-thought). Например, по данным агентств, DeepSeek использовала промпты, инструктирующие модели представить и артикулировать внутренние рассуждения, стоящие за готовыми ответами, и записать их шаг за шагом.
Рекомендованные меры защиты
Чтобы стимулировать компании к сотрудничеству, агентства рекомендовали меры, которые, как предполагается, затруднят китайским фирмам кражу у американских моделей.
Во-первых, AI-компании должны улучшить обнаружение сложных кампаний, которые, по утверждениям, используют десятки тысяч аккаунтов, полагающихся на «серый рынок прокси» для обхода географических ограничений и маршрутизации запросов дистилляции через множество путей для получения несанкционированного доступа. Агентства предположили, что выявление такой активности должно быть относительно простым, поскольку кампании длятся от дней до месяцев с объёмами запросов от тысяч до миллионов на домен, что значительно превышает легитимные исследовательские или разработочные сценарии.
В целом рекомендовано усилить мониторинг «аномальных и вредоносных промптов, аккаунтов, сетей и поведения». Поскольку китайские фирмы полагаются на массовую закупку премиальных подписок американских AI-компаний, распределяемых между командами разработчиков, усилия должны включать пометку аккаунтов с подозрительным соотношением подписки к использованию, а также новых аккаунтов, немедленно достигающих максимального использования. Оба признака указывают на массовое развёртывание с предварительно разработанными шаблонами, заявили агентства. Американским фирмам также следует усилить проверку личности пользователей и более внимательно отслеживать лиц, использующих корпоративные подписки, — обе меры потенциально поднимают вопросы приватности для легитимных пользователей.
Далее агентства попросили компании начать упрощать ответы моделей при обнаружении подозрительных атак дистилляции. Путём «тонкого» изменения ответов — например, представления корректной информации с иной аргументацией, добавления стилистических несоответствий или снижения глубины рассуждений — фирмы могут уменьшить выгоду для китайских компаний. Американские фирмы также могли бы тайно переключать вредоносные аккаунты на менее способную модель, и делать это без уведомления, предложили агентства.
Этот шаг, вероятно, будет технически сложным. Агентства признали, что китайские фирмы применяют агрессивное адаптивное обнаружение для систематической идентификации ценных извлекаемых данных, которые затем собирают для генерации синтетических обучающих датасетов. Некоторые фирмы могут автоматически определять, когда доступна более умная модель, и переключаться в течение 24 часов. У них также есть автоматизированные системы контроля качества, которые обнаруживают ухудшение выходных данных и могут отличать обычные проблемы сервиса от защитной деградации данных, заявили агентства.
Ещё одна проблема: если американские фирмы не будут осторожны с таргетингом, легитимные пользователи, возможно, попавшие в поле борьбы, могут быть переключены на более слабую модель без предупреждения. Или они могут внезапно получать более короткие ответы или столкнуться с урезанными возможностями, признали агентства. Кроме того, фирмы могут добавлять шум в вывод, ограничивающий дальнейшие запросы. Пользователи, вероятно, заметят ухудшение, как и китайские системы, атакующие модели. В прошлом году OpenAI быстро изменила свою систему автоматической маршрутизации после резкой критики, когда система постоянно выбирала менее способные варианты, если пользователи явно не добавляли фразы вроде «think harder» в промпт, сообщала Ars Technica.
Тем не менее агентства считают лучшей практикой избегать информирования пользователей китайских AI-компаний, подозреваемых в дистилляционных кампаниях, о переключении на пониженную модель. Признавая, что такие шаги могут разочаровать пользователей, агентства заявили, что фирмы должны пытаться балансировать безопасность с пользовательским опытом, принимая, что некоторые компромиссы, такие как снижение точности предсказаний и бизнес-полезности, могут быть неизбежны, чтобы не дать Китаю копировать американские возможности. Однако американские фирмы должны стремиться к тому, чтобы исследователи AI-безопасности и сторонние оценщики были информированы об изменениях моделей, предложили агентства.
Наконец, что представляется наиболее критичным для долгосрочной стратегии защиты, агентства хотят, чтобы AI-фирмы и правительства союзников обменивались информацией, помогая ведущим компаниям отслеживать эволюцию дистилляционных атак и избегать траты времени на исследование изолированных аномалий. Кооперация критична: если все не смогут работать вместе, США столкнутся с продолжающимся финансовым ущербом через систематическое извлечение проприетарной функциональности и возможностей, вызывая значительные экономические потери, предупредили агентства.
Что делали китайские компании
AI-компании предупреждают о дистилляционных атаках с прошлого года. OpenAI обвиняла DeepSeek в неправомерном использовании данных, Google заявляла, что атакующие пытались клонировать Gemini, а Anthropic предлагала уголовно наказать Alibaba за предполагаемую крупнейшую в истории атаку клонирования на Claude. Правительство быстро поддержало их, в апреле предупредив Китай о готовящемся ужесточении.
Совместное заявление, выпущенное во вторник, стало «самым детальным обвинением на сегодняшний день» со стороны администрации Трампа, отметил NBC News. В нём агентства заявили, что украденные возможности AI-моделей «формируют ядро — не просто дополнение — стратегии развития AI Китая».
DeepSeek обвинили в «обширной вредоносной дистилляции» на моделях Claude, Gemini, GPT и Grok с целью снижения вычислительных и исследовательских затрат. Китайская фирма предположительно получила специализированные обучающие данные и ряд возможностей, включая агентные функции, ассистентские возможности, оптимизацию письма, оптимизацию вопросов и ответов, а также рассуждения chain-of-thought.
Moonshot AI использовала похожий подход, переключаясь между моделями ведущих американских фирм для дистилляции техник тонкой настройки, обучения с подкреплением, программной инженерии и математических возможностей. Другие фирмы, включая Alibaba, MiniMax, StepFun и Z.AI, по данным агентств, сосредоточились на копировании конкретных моделей Anthropic и OpenAI.
Ars Technica обратилась ко всем AI-фирмам, чьи модели предположительно были целью китайских компаний, но ни одна компания немедленно не ответила. Поэтому сложно сказать, практичны ли рекомендованные меры.
Реакция Китая
Китай недоволен тем, что США продолжают обвинять его ведущие AI-фирмы в краже интеллектуальной собственности. В среду представитель МИД Китая Мао Нин заявила, что американским агентствам следует работать над укреплением сотрудничества с Китаем в области AI, «а не выдвигать безосновательные обвинения», сообщил NBC News. Она также защитила успех Китая в быстром расширении AI-возможностей как «результат высокого уровня научно-технической самодостаточности».
Ранее представитель посольства Китая Лю Чан обвинил администрацию Трампа в ведении «клеветнической» кампании, основанной на предвзятости к Китаю, сообщал NBC News. «Соответствующие лица в США должны уважать факты, отбросить предвзятость и прекратить клевету и дискредитацию достижений Китая в развитии индустрии искусственного интеллекта», — сказал Лю.
Примерно в то же время People's Daily, официальная газета Коммунистической партии Китая, сообщила, что другой представитель МИД отметил: «многие американские AI-компании использовали китайские модели для дистилляции в ходе исследований, разработки и обучения». Кроме того, многие американские стартапы хотят доступа к китайским AI-моделям, которые более доступны и достаточно способны для многих задач. Этот представитель предположил, что США следует прислушаться к своему бизнес-сообществу, иначе «Китай примет все необходимые меры в ответ на любые действия, причиняющие материальный ущерб его интересам, и решительно защитит свои законные права и интересы».
Для Китая отражение американских атак на его ведущие AI-модели происходит в момент, когда Министерство промышленности и информационных технологий на этой неделе выпустило план по «резкому расширению интеллектуальных вычислительных мощностей страны в течение следующих пяти лет», сообщила South China Morning Post. Это также происходит незадолго до встречи Дональда Трампа и председателя КНР Си Цзиньпина 24 сентября.
Что это значит
Совместное заявление трёх американских агентств переводит спор о дистилляции AI-моделей из плоскости отдельных претензий компаний в плоскость государственной политики. Рекомендованные меры — от усиленной проверки личности до тайного переключения подозрительных аккаунтов на менее способные модели — могут затронуть и легитимных пользователей, что признают сами агентства. Китай отвергает обвинения и указывает на использование китайских моделей американскими компаниями. Насколько предложенные меры реализуемы технически и не приведут ли они к ухудшению сервиса для обычных пользователей, пока неизвестно: опрошенные Ars Technica компании не ответили на запросы.
Комментарии · 0
Войдите, чтобы участвовать в обсуждении.