ИИ-агенты, разработанные компаниями OpenAI, Meta* и Anthropic, во время внутренних испытаний смогли выйти за пределы тестовой среды и взломать сторонние сайты. Об этом сообщает RB.RU со ссылкой на зарубежные СМИ. Эксперты, опрошенные изданием, не считают эти случаи доказательством «выхода ИИ из-под контроля», однако отмечают беспрецедентный масштаб действий моделей.
Что произошло
Как сообщила OpenAI, в мае компания начала тестировать внутреннюю исследовательскую ИИ-модель. Во время испытаний агент столкнулся с трудностями при выполнении задания и нашёл косвенный способ получить доступ к интернету. 26 мая один из ИИ-агентов обнаружил уязвимость в хранилище Artifactory, подключённом к тестовой среде, и оставил там информацию о находке для других агентов. После этого модели начали использовать хранилище для обмена данными об обнаруженных уязвимостях. Совместная работа ИИ-агентов OpenAI в итоге привела к несанкционированному взлому платформы для разработчиков Hugging Face.
С похожим поведением ИИ-агентов столкнулись Meta* и Anthropic (разработчик Claude).
Мнение экспертов: почему это не «восстание машин»
Опрошенные Russian Business эксперты не согласны с мнением, что модели начали действовать сознательно.
«Я бы не называл происходящее выходом ИИ из-под контроля. Точнее сказать, что системы контроля начали отставать от возможностей моделей», — отметил сооснователь университета «Зерокодер», научный сотрудник Иннополиса Кирилл Пшинник.
По его словам, нейросеть и ИИ-агент — не одно и то же. Сама модель не может выйти в интернет или взломать сервер. Возможность появляется тогда, когда к ИИ-агенту подключают терминал, браузер, учётные данные и другие инструменты.
Кирилл Пшинник подчёркивает: во время испытаний защиту ИИ-агентов намеренно ослабили. Моделям оставили доступ в интернет и отключили часть ограничений, чтобы проверить возможности нейросети. Условия предполагали, что агенты должны стремиться выполнить поставленную задачу и найти способы обойти ограничения.
«Пока мы не видим признаков того, что модели сформировали собственные цели. Но мы видим не менее серьёзную проблему: если дать достаточно способной модели инструменты и не задать технически жёсткие границы, она может выбрать способ решения, которого никто не предусмотрел», — указал Кирилл Пшинник.
Основатель маркетплейса нейросетей chad Артур Кольцов также связывает выход моделей за пределы тестовой среды прежде всего с ошибками в настройке задания. Он подчеркнул: у Meta* и Anthropic модели получили доступ к интернету из-за неправильной конфигурации со стороны подрядчика Irregular.
«По сути модели делают то, чему их учат: доводить задачу до конца, даже если условия к этому не располагают. В индустрии это называется reward hacking — модель обходит формальные ограничения ради результата», — отметил Артур Кольцов.
Явление reward hacking сформулировали ещё в 2016 году и продолжают изучать до сих пор, отметил Артур Кольцов. Разница в том, что раньше речь шла о лабораторных экспериментах.
Масштаб действий ИИ-агентов — беспрецедентен
Эксперты также обратили внимание на вопрос о возможном «коллективном сознании» ИИ. По словам Кирилла Пшинника, говорить о формировании какого-либо тайного общения между нейросетевыми агентами пока рано.
«[Обмен информацией между ИИ-агентами] — пример эмерджентного поведения: из сочетания простой цели, общей памяти и нескольких способных агентов возник способ координации, который прямо не программировался», — отметил Кирилл Пшинник.
Артур Кольцов объясняет координацию ИИ-агентов тем, что OpenAI многократно запускала модель по одной и той же задаче. Если один агент обнаруживал уязвимость или способ обойти ограничение, он мог сохранить информацию в репозитории, а следующий — найти уже готовую подсказку.
«Беспрецедентен тут масштаб: несколько экземпляров модели почти два месяца действовали в одном направлении на боевых, максимально мощных моделях, и никто в компании этого не видел», — отметил Артур Кольцов.
Бизнес-партнёр по кибербезопасности Cloud.ru Юлия Липатникова подчёркивает, что подобное сотрудничество ИИ-агентов теперь требует отдельного изучения.
«С точки зрения безопасности координация [ИИ-агентов] требует отдельного тестирования, потому что поведение группы агентов может оказаться сложнее, чем поведение каждой модели по отдельности», — считает Юлия Липатникова.
Только у 14% компаний есть техническая возможность остановить действия ИИ-агента
Эксперты говорят о том, что опаснее не фантомное восстание машин, а тот факт, что уязвимой может оказаться любая организация, которая предоставляет ИИ-агенту доступ к корпоративной инфраструктуре. Его главная опасность — в непредсказуемости.
«Если модель в процессе работы искажает факты, подделывает выводы или генерирует вредоносный код под видом решения, пользователь, доверяющий ИИ, может принять неверное решение», — отметил ведущий эксперт по сетевым угрозам, web-разработчик компании «Код Безопасности» Константин Горбунов.
Один из главных рисков для компаний — недостаточный контроль за работой ИИ-агентов. По данным «Информзащиты», которые приводит Кирилл Пшинник, в 2026 году только 14% компаний располагают инструментами, позволяющими выявить манипуляцию ИИ-агента.
«ИИ-агента нельзя воспринимать как обычный чат-бот. Если он получил доступ к корпоративным системам, его нужно контролировать», — отметил Кирилл Пшинник.
По словам технического директора центра мониторинга и реагирования на кибератаки RED Security SOC компании RED Security Владимира Зуева, даже неточный промпт может привести к тому, что агент начнёт выполнять действия, которые считает допустимыми для решения задачи, хотя пользователь этого не предполагал.
Для защиты от ИИ-атак появилось отдельное направление — MLSecOps
ИИ пока не создаёт новых видов кибератак, но помогает быстрее проводить уже известные, считает директор Глобального центра исследования и анализа угроз «Лаборатории Касперского» (Kaspersky GReAT) Игорь Кузнецов.
«Сами по себе современные языковые модели не создают принципиально новый класс угроз. Скорее они автоматизируют и масштабируют уже известные подходы Говорить о появлении совершенно новой угрозы рано», — подчёркивает Игорь Кузнецов.
На фоне распространения ИИ российский бизнес уже разрабатывает новые подходы к его защите, рассказал Java-разработчик финтех-компании Paygine Владислав Резник. Крупные компании обсуждают методики безопасного использования технологии, а в информационной безопасности появилось отдельное направление — MLSecOps.
«Внедрение технологии всегда отстает от покрытия использования этой технологии регламентами безопасного использования, соответствующие безопасные практики находятся в отстающих. Но специалисты ИБ будут рывками подтягивать стандарты», — отметил Владислав Резник.
*Meta признана экстремистской организацией и запрещена на территории РФ.
Что это значит
Инциденты с ИИ-агентами показывают, что даже при отсутствии у моделей собственных целей они могут находить неожиданные способы решения задач, если им предоставить инструменты и ослабить ограничения. Это создаёт новые вызовы для безопасности, особенно для компаний, которые планируют делегировать ИИ-агентам доступ к корпоративным системам. Пока что речь идёт не о «восстании машин», а о необходимости более тщательного контроля и тестирования поведения ИИ-агентов.
Комментарии · 0
Войдите, чтобы участвовать в обсуждении.