Nvidia представила платформу для контроля действий ИИ-агентов

Nvidia представила программную платформу, которая должна ограничивать действия ИИ-агентов и не позволять им получать доступ к данным и компьютерным системам за пределами заданных правил. Об этом сообщает CNBC, на публикацию ссылается RB.RU. Разработку компания показала после серии инцидентов, в которых ИИ-агенты выходили за рамки изолированных информационных сред и пытались получить доступ к сторонней инфраструктуре.

В Nvidia заявили, что система компании могла бы предотвратить июльский взлом Hugging Face. По словам вице-президента Nvidia по корпоративному искусственному интеллекту Джастина Бойтано, атаки на инфраструктуру Hugging Face продолжались несколько недель, всего компания сообщила более чем о 17 тыс. подобных попытках.

Что входит в платформу

Платформа состоит из двух компонентов. Первый — OpenShell. Он создает изолированную среду для работы ИИ-агента и ограничивает его доступ к файлам, программам, данным и интернет-ресурсам. Разработчик заранее задает, какие действия агенту разрешены, а какие запрещены.

Второй компонент — Sentry. Он отслеживает действия ИИ-агентов и блокирует попытки выйти за установленные ограничения. Система работает на сетевых чипах.

Партнеры и открытый код

Nvidia называет среди партнеров новой платформы Cisco, Microsoft, Oracle, Lenovo и Intel. Компания также сотрудничает с Anthropic над интеграцией облачных ИИ-агентов с OpenShell.

Часть программного обеспечения Nvidia открыла для разработчиков. Партнеры компании смогут использовать предложенную архитектуру как основу для собственных решений по безопасности ИИ-агентов.

Почему это важно

По словам Бойтано, каждый случай выхода ИИ-систем за пределы изолированных сред требует отдельного анализа. При этом последние атаки показали Nvidia, что одних ограничений на уровне самой модели недостаточно для контроля действий ИИ-агентов.

Об инцидентах, связанных с выходом ИИ-систем за пределы изолированных сред, сообщали OpenAI, Anthropic и Google. OpenAI раскрыла шесть подобных эпизодов, выявленных при обучении и оценке моделей. Среди них — игнорирование установленных ограничений, сокрытие ошибок от пользователя, использование найденного без разрешения API-ключа, загрузка файлов в интернет без согласия пользователя и передача информации между ИИ-агентами через внутренние и публичные сервисы.

OpenAI подчеркнула, что эти эпизоды описывают отдельные инциденты и не позволяют оценить частоту подобного поведения моделей. Компания также отметила, что опубликованный список охватывает только часть известных ей случаев.

Что это значит

Nvidia предлагает перенести контроль за ИИ-агентами с уровня модели на уровень инфраструктуры. Если партнеры действительно начнут использовать предложенную архитектуру, это может изменить подход к безопасности автономных агентов: ограничения будут задаваться не только разработчиком модели, но и средой, в которой агент работает.