Стойка Nvidia GB200 NVL72: 28-кратное превосходство над AMD MI355X в тестах рабочих нагрузок MoE

Прорыв производительности в сфере ИИ: Стойки Blackwell против Instinct

Новые результаты тестов, проведенных аналитической компанией Signal65 совместно с SemiAnalysis, демонстрируют колоссальный отрыв флагманской серверной платформы искусственного интеллекта от Nvidia в лице стойки GB200 NVL72 над конкурентным решением от AMD — ускорителями Instinct MI355X. Основное преимущество было зафиксировано в сценариях, связанных с моделями Mixture of Experts (MoE), где система Nvidia показала до 28 раз более высокую пропускную способность на один графический процессор (ГП) по сравнению с конфигурацией на базе AMD.

Конкретно, в бенчмарках SemiAnalysis InferenceMAX, измеряющих производительность инференса (вывода), стойки Nvidia Blackwell GB200 NVL72 смогли обеспечить пропускную способность на уровне 75 токенов в секунду на ГП при тестировании на модели DeepSeek-R1 (в формате FP4). Это сопоставимо с 28-кратным превосходством над показателями AMD Instinct MI355X в аналогичных кластерных настройках.

Архитектурное превосходство в эпоху MoE

Эксперты подчеркивают, что такой значительный разрыв не объясняется исключительно «сырой» вычислительной мощностью отдельных чипов. Причина кроется в системном подходе Nvidia, который они называют «Extreme Co-Design», где аппаратное и программное обеспечение спроектированы как единое целое.

Современные модели искусственного интеллекта, особенно большие языковые модели (LLM), все чаще мигрируют к архитектуре MoE. Это связано с тем, что MoE позволяет более эффективно задействовать вычислительные ресурсы, активируя только часть специализированных параметров («экспертов») для обработки каждого токена. Однако у этой эффективности есть обратная сторона: модели MoE требуют интенсивного обмена данными (all-to-all communication) между узлами, что критически чувствительно к задержкам и пропускной способности межсоединений.

Решение Nvidia — стойка GB200 NVL72 — представляет собой не просто кластер ГП, а единую систему, объединяющую до 72 ускорителей Blackwell через высокоскоростную фабрику NVLink Switch System. Эта интеграция позволяет обеспечить до 30 ТБ общей быстрой памяти, доступной всем чипам. Благодаря этому, большинство пересылок данных между «экспертами» остается внутри одного домена NVLink, что позволяет избежать медленных путей обмена через внешние сети InfiniBand или Ethernet, значительно сокращая критический путь задержки для MoE-нагрузок.

Экономическая выгода и позиционирование на рынке

Помимо чистого прироста производительности, важен и экономический фактор. По данным Signal65, использование стоек GB200 NVL72 обеспечивает до 15 раз меньшую относительную стоимость одного сгенерированного токена по сравнению с развертыванием на базе MI355X в сценариях с интенсивным использованием MoE. Это означает существенное улучшение показателя Intelligence per Dollar (производительность на доллар).

Несмотря на доминирование Nvidia в сегменте MoE, отмечается, что конкурент от AMD, Instinct MI355X, может сохранять сильные позиции в других областях. Например, благодаря большему объему памяти HBM3e (288 ГБ против 144 ГБ у GB200), MI355X остается конкурентоспособным в задачах, связанных с обучением крупных плотных моделей (dense models), где требуется большой объем памяти для хранения весов.

Перспективы и архитектурные особенности Blackwell

Архитектура Blackwell, на которой основаны ускорители GB200, представляет собой значительный шаг вперед, оптимизированный именно под нейронные нагрузки. Она включает тензорные ядра пятого поколения, способные обрабатывать новый формат вычислений FP4, и нейронные шейдеры, что отличает ее от предыдущих поколений, ориентированных больше на традиционные графические задачи.

Инженерная сложность чипов Blackwell также находится на беспрецедентном уровне, что подтверждается необходимостью применения многоуровневых систем управления питанием для преодоления ограничений литографии.

На данный момент, как отмечают аналитики, у AMD еще нет прямого эквивалента в форм-факторе готовой стойки, способной обеспечить подобный уровень системной когерентности и пропускной способности внутри системы, что является ключевым преимуществом Nvidia в быстрорастущем сегменте инференса на базе MoE-моделей.