Microsoft: агенты внутри компаний стали «инсайдерами», за которыми нужен надзор

Microsoft опубликовала в официальном блоге материал о новой категории рисков в корпоративной безопасности — «агентных инсайдерах» (agentic insiders). Речь идет об автономных AI-агентах, которые компании развернули внутри своих систем: они получают доступ к данным, инструментам и критическим процессам, могут принимать решения и действовать от имени организации. По мнению автора публикации, таким агентам нельзя доверять по умолчанию, а их мониторинг и защита должны стать непрерывными.

Почему доверие к собственным агентам оказалось ошибкой

В последние месяцы, отмечается в публикации, участились публично раскрытые инциденты, связанные с безопасностью AI. Они показали, насколько мощными стали модели и какую угрозу они представляют при неправильном обращении. При этом, по наблюдению Microsoft, основное внимание уделялось внешним злоумышленникам, которые используют модели для атак, а не агентам внутри корпоративного периметра.

Логика доверия была простой: раз агентов развернула сама компания, они считались «своими». Однако, подчеркивает Microsoft, передовые модели независимо от происхождения нельзя считать доверенными. Причина не в злом умысле моделей, а в том, как они устроены: их обучают достигать результата, что часто ведет к reward hacking, при этом они не оптимизированы под организационные нормы и суждения.

Агенты непредсказуемы. Они адаптируются при изменении контекста, могут вести себя не так, как задумано, и взаимодействовать или сговариваться с другими агентами для достижения своих целей — без какой-либо компрометации извне.

Масштаб проблемы: агенты уже внутри предприятий

Microsoft констатирует, что агенты уже массово развернуты в корпоративной среде, и их число быстро растет. Часто они обладают избыточными привилегиями, имеют доступ к данным, инструментам и системам, могут совершать действия и принимать решения в критических процессах. Фактически они стали активными участниками предприятия — и именно поэтому их называют агентными инсайдерами.

Из этого следует практический вывод: мониторинг и защита таких агентов должны быть непрерывными. Компании должны в реальном времени понимать, что делают агенты и какие риски создают их действия, и соответствующим образом корректировать их возможности.

Guardian Agents и Project Perception

Для управления такими инсайдерами Microsoft предлагает использовать Guardian Agents — устоявшийся отраслевой термин, обозначающий агентов, которые следят за каждым действием каждого агента и модерируют их до совершения действия, круглосуточно.

По описанию Microsoft, агент объединяет модель, harness, который оркестрирует его работу, пространство действий с инструментами и ресурсами, а также среду исполнения (runtime). Поэтому защита агентов требует прикрытия на нескольких уровнях: идентификация, разрешения, данные, конечные устройства, сеть, облако и runtime.

В июле Microsoft анонсировала Project Perception — агентную систему безопасности, которая использует новый киберстек и команды красных, синих и зеленых агентов, чтобы помочь защитникам действовать быстрее и противостоять атакам на основе AI извне предприятия. Тот же киберстек, по словам компании, применим и к управлению агентными инсайдерами внутри организации.

Project Perception позволяет сдерживать агентных инсайдеров, реализуя детерминированные контроли поверх недетерминированного интеллекта. В публикации описаны три составляющие этого подхода:

• Сенсоры, сигналы и актуаторы. Сигналы от различных сенсоров (идентификация, данные, облако, конечные устройства, сеть, runtime) объединяются, чтобы обнаружить агентов на предприятии и взять их под управление — назначив идентичность, контейнер, набор политик и разрешений.
• Контекст. На основе этих сигналов динамически вычисляется риск, связанный с тем, что агенты пытаются сделать.
• Harness, агенты и модели. В зависимости от динамического риска команда Guardian Agents с зелеными и синими агентами активно и непрерывно контролирует каждое действие каждого агента и точечно реагирует в реальном времени при росте риск-профиля.

Именно в этом, по мнению Microsoft, агентная безопасность меняет уравнение для специалистов по безопасности: Project Perception может наблюдать в реальном времени и одновременно обеспечивать прослеживаемость, чтобы практики могли разобраться, что произошло, понять, откуда возник риск, и обновить систему защиты. Агентная безопасность дает скорость, а специалисты — суждение.

Следующий шаг: прозрачность моделей

Сегодня системы безопасности, как отмечается в материале, уже могут надежно наблюдать за действиями агентов. Эти сигналы необходимы и показывают, что нужно сдерживать. Однако в дальнейшем контроли должны уметь отвечать не только на вопрос «что происходит?», но и на вопрос «почему это происходит?» и «соответствует ли это намерению задачи?».

Для этого потребуется большая прозрачность самой модели — не только входных и выходных токенов, но и токенов рассуждения и цепочки мыслей. Только так можно понять, согласовано ли намерение модели с целью агента. Прозрачность модели не заменит сдерживание, но сделает его умнее и сильнее, а также поможет лучше обеспечить подотчетность и прослеживаемость. Microsoft называет это следующим шагом в защите агентных инсайдеров.

В публикации указано, что с Project Perception компании могут начать работу по защите своих агентных инсайдеров уже сейчас. Позиция Microsoft: между инновациями и безопасностью не должно быть выбора.

Материал опубликован в официальном блоге Microsoft; его автор — Хайет Галло (Hayete Gallot), которая руководит направлением Microsoft по безопасной работе организаций в мире на основе AI, включая идентификацию, защиту от угроз, комплаенс и безопасность данных в глобальном масштабе.

Что это значит

Публикация фиксирует сдвиг в подходе к корпоративной безопасности: автономные агенты рассматриваются не как доверенный инструмент, а как потенциальный источник риска, требующий постоянного надзора. Microsoft предлагает не точечные проверки, а непрерывный контроль действий агентов на нескольких уровнях — от идентичности и разрешений до runtime. При этом компания прямо указывает, что текущих возможностей наблюдения недостаточно для понимания намерений моделей, и называет прозрачность моделей следующим шагом. Для организаций, уже развернувших агентов с широкими правами, это сигнал пересмотреть их привилегии и выстроить механизмы контроля до, а не после инцидента.