Открытость AI-платформ, которая делает их ценными для разработчиков, одновременно повышает их уязвимость к атакам. Об этом в подкасте Equity, как сообщает TechCrunch, заявила Ирен Солаиман, директор по политике и старший вице-президент по стратегии Hugging Face. По её словам, растущее число кибератак на открытые AI-платформы может вынудить их вводить более строгие ограничения безопасности, что поставит под угрозу доступность, ради которой разработчики и приходят в открытые сообщества.
Поводом для предупреждения стал ряд инцидентов. В октябре атаке подвергся OpenCode: злоумышленники нацелились на сторонние API-ключи пользователей и причинили финансовый ущерб. Летом произошёл случай, когда рой агентов OpenAI взломал Hugging Face — по-видимому, чтобы замести следы после получения доступа к ответам на оценки по кибербезопасности.
Риски не ограничены открытыми сообществами
Проблема затрагивает не только платформы, которые приглашают сообщество к участию. В понедельник стартап в области AI-инфраструктуры Fireworks, помогающий разработчикам запускать и обучать открытые AI-модели, сообщил, что атакующие получили доступ к весам моделей, наборам данных и платёжной информации некоторых клиентов. Компания временно отключила часть функций самостоятельной работы с наборами данных, пока ведёт расследование. Как отмечает TechCrunch, атака не обязательно связана с открытостью Fireworks, но показывает, сколько ценной информации сосредоточено у провайдеров AI-инфраструктуры.
Почему открытые платформы привлекают атакующих
Солаиман объясняет двойственность открытых сообществ так: «То, что, как я боюсь, делает открытое сообщество мишенью, — это же делает его особенным». По её словам, платформы вынужденно терпимы к участникам: «Мы по необходимости разрешающие. Мы хотим, чтобы средний любитель в своём подвале без институциональной принадлежности мог внести вклад».
Она также отметила в отдельном разговоре: «Хочется, чтобы люди могли просто отправлять pull request и чтобы любой без подтверждённой принадлежности мог внести вклад… но потом находятся те, кто всё портит для остальных».
Привлекает атакующих не только терпимость платформ, но и объём данных, которые они хранят. Hugging Face стал соблазном для роя агентов OpenAI из-за хранящихся там наборов данных для оценок, а целью атаки на OpenCode, по словам Солаиман, стали «лакомые сторонние API-ключи». «Сочетание этого делает нас главными мишенями», — сказала она TechCrunch в отдельном разговоре, добавив, что существует «опасность того, что open source действительно закроется в момент, когда мы получили так много общественной поддержки».
Что может означать откат к закрытости
По данным TechCrunch, значительная часть отрасли недавно высказалась в поддержку открытых AI-моделей, включая влиятельных фигур вроде Дженсена Хуана из Nvidia. Всё больше государств, предприятий и стартапов полагаются на открытые модели при разработке.
Теоретически откат может означать ограничения на то, кто может загружать модели или наборы данных, более строгую проверку личности или дополнительную проверку разработчиков перед доступом к определённым функциям. Такие меры способны защитить платформы от атакующих, но затруднят участие независимых исследователей и любителей в сообществах, где их раньше принимали.
Что делает Hugging Face
Пока Hugging Face старается избежать такого пути. Солаиман говорит, что компания усиливает инструменты мониторинга для выявления взломов и принимает меры для их предотвращения. Но мониторинг может быть дорогим в обслуживании, отметила она, и не каждая платформа сможет его себе позволить.
«Административные токены доступа были частью того, что дало тому рою агентов лучший доступ, поэтому мы просто меняем их гораздо чаще, чем раньше, — сказала Солаиман. — У нас также теперь более строгий контроль сети». Иными словами, учётные данные, дающие администраторам широкий доступ к системам Hugging Face, теперь меняются чаще, поэтому украденный токен остаётся полезным меньше времени.
Похожие компромиссы в экосистеме open source
Другие части экосистемы open source сталкиваются с похожими компромиссами между безопасностью и открытостью. GitHub, крупнейший в мире хостинг открытых проектов, противостоит атакующим, которые внедряют вредоносный код в проекты для быстрого распространения малвари. Компания начала ужесточать требования безопасности при публикации пакетов в реестр npm, отзывать старые токены аутентификации и ограничивать срок действия новых.
Зак Стеиндлер, инженер GitHub, отвечающий за безопасность цепочки поставок ПО, сообщил TechCrunch по электронной почте, что меры безопасности могут нарушать привычные рабочие процессы, но платформы способны стать безопаснее без принципиального ограничения участия. «Речь меньше о том, чтобы ограничивать функциональность, и больше о том, чтобы пойти и исправить то, что изначально не было безопасным», — сказал он. Он отметил, что установочные скрипты npm существуют годами, но недавние атаки показали, насколько они могут быть опасны. GitHub работал с OpenJS — некоммерческой организацией, которая поддерживает критически важные открытые проекты на JavaScript, — над более безопасным подходом.
Та же логика применима к тому, куда команды безопасности направляют усилия, по словам Стеиндлера: «Безопасность — это максимизация эффекта с теми ресурсами, что у нас есть, и я гораздо охотнее вкладывался бы в обнаружение подозрительного поведения и возможности локализации: то, что охватывает все аккаунты и способы доступа. Подозрительное поведение подозрительно независимо от того, кто его проявляет».
Что это значит
Предупреждение Hugging Face фиксирует реальный компромисс: открытые AI-платформы держатся на терпимости к участникам и накопленных данных, а именно это делает их привлекательными для атакующих. Ужесточение проверок и ограничение доступа способны снизить риски, но одновременно могут оттолкнуть независимых разработчиков и любителей. Показательно, что участники экосистемы, включая GitHub, ищут способы повысить безопасность без принципиального сужения участия, однако стоимость мониторинга и защиты остаётся фактором, который доступен не всем платформам.

Комментарии · 0
Войдите, чтобы участвовать в обсуждении.