Microsoft: ИИ-инфраструктура должна измеряться полезной отдачей, а не мощностью

Microsoft опубликовала статью, в которой предлагает новый подход к оценке ИИ-инфраструктуры. Вместо традиционных метрик, таких как количество чипов или объем затраченной энергии, компания предлагает измерять «полезный выход» — реальную пользу, которую ИИ приносит пользователям. Материал, размещенный в официальном блоге Microsoft, подписан Рэйни Боркар, которая отвечает за планирование и развертывание аппаратного обеспечения и инфраструктуры Azure.

Что такое «императив выхода»

В статье проводится аналогия с полупроводниковой промышленностью, где ключевым показателем является «выход годных» — доля пригодных чипов на пластине. Microsoft предлагает применять аналогичный принцип к ИИ: оценивать не объем вложенных ресурсов, а то, сколько полезной работы выполняет система.

По данным Microsoft, ИИ уже используется быстрее, чем когда-то интернет или смартфоны, однако только 18% работающего населения мира применяют его. При этом большинство сценариев — это простые чат-взаимодействия. Переход к агентным системам, которые могут планировать и выполнять задачи, потребует значительно больше вычислительных ресурсов: одна агентная задача может использовать в 3400 раз больше токенов, чем обычный чат-запрос.

Проблема «больше»

Microsoft отмечает, что традиционный подход к развитию ИИ-инфраструктуры — добавление новых чипов, памяти и энергии — уже не работает. Каждое новое поколение требует все больше ресурсов, что напоминает «беговую дорожку». Компания предлагает два пути: эволюционный (улучшение существующих архитектур) и трансформационный (изменение самой кривой роста за счет новых архитектур, материалов и подходов).

Оптимизация на всех уровнях

В статье подчеркивается, что ограничения в ИИ-системах редко решаются на том уровне, где они возникают. Microsoft делится опытом оптимизации по трем направлениям:

Память

Память рассматривается не как компонент, а как системная проблема. В выводе ИИ память ограничивает производительность: она должна хранить большие модели, поддерживать длинные контексты и быстро подавать данные. Microsoft утверждает, что на платформе Azure Maia удалось увеличить полезную отдачу от каждого байта памяти за счет совместной оптимизации архитектуры модели, программного обеспечения и чипов.

Сети

Интеллект создается не одним чипом, а тысячами, работающими как единая система. При проектировании платформы Maia Microsoft отказалась от традиционной сетевой архитектуры в пользу двухуровневой сети, интегрировав функции сетевого контроллера прямо в чип. Это позволило упростить программирование, повысить гибкость и снизить стоимость системы.

Энергопотребление

Стойки с оборудованием потребляют от десятков до сотен киловатт, а кампусы дата-центров — гигаватты. Microsoft предлагает проектировать системы с учетом энергоэффективности с самого начала. Пример — процессор Azure Cobalt 200, где каждый ядро имеет отдельное управление напряжением и частотой, что позволяет точнее распределять мощность и запускать больше серверов в рамках того же энерголимита.

Что это значит

Microsoft призывает всю отрасль пересмотреть метрики успеха в ИИ. Вместо гонки за мощностями — фокус на полезной отдаче, доступности и эффективности. Это может означать, что будущие ИИ-системы будут проектироваться не вокруг максимальной производительности, а вокруг реальных задач пользователей, что в перспективе сделает ИИ более доступным и экономически оправданным.