Сервер NVIDIA DGX H100

NVIDIA DGX H100 — высокопроизводительная серверная система для обучения, дообучения и инференса моделей искусственного интеллекта, ускоренной аналитики и высокопроизводительных вычислений (HPC). Конфигурация предназначена для организаций, которым требуется собственная вычислительная инфраструктура для работы с ресурсоемкими задачами машинного обучения, генеративного ИИ и обработки больших объемов данных.

Система объединяет восемь ускорителей NVIDIA H100, мощную процессорную подсистему на базе двух Intel Xeon Platinum 8480C, 2 ТБ оперативной памяти DDR5, высокоскоростную сетевую инфраструктуру NVIDIA ConnectX-7 и NVMe-хранилище. Сервер выполнен в форм-факторе 8U и рассчитан на использование в корпоративных вычислительных средах и дата-центрах.

Вычислительная архитектура для крупных моделей

В основе системы находятся восемь ускорителей NVIDIA H100 с общей памятью 640 ГБ, обеспечивающих высокую производительность при выполнении задач искусственного интеллекта, машинного обучения и параллельных вычислений. Такая конфигурация позволяет использовать сервер для обучения крупных моделей, выполнения сложных вычислительных процессов и развертывания производственных AI-сервисов.

Сервер оснащен двумя процессорами Intel Xeon Platinum 8480C с 56 ядрами каждый, что обеспечивает 112 вычислительных ядер для обработки данных, управления вычислительными процессами, работы контейнерных сред и выполнения задач, связанных с CPU-нагрузкой.

Оперативная память объемом 2 ТБ реализована на базе 32 модулей DDR5 объемом 64 ГБ с частотой 4800 MHz. Большой объем памяти позволяет эффективно работать с крупными наборами данных, виртуализированными средами, контейнерами и приложениями, использующими интенсивный обмен данными.

Для хранения данных сервер использует высокопроизводительную NVMe-подсистему. Конфигурация включает восемь NVMe-накопителей PCIe объемом 3,84 ТБ и два NVMe M.2-накопителя объемом 960 ГБ. Управление дисковой подсистемой выполняется с помощью RAID-контроллера 9560-16i, обеспечивающего работу локального хранилища в соответствии с требованиями конкретных рабочих нагрузок.

Сетевая подсистема построена на базе решений NVIDIA и включает адаптеры NVIDIA InfiniBand 400Gb и NVIDIA ConnectX-7 MCX75310AAS-NEAT400G. Такая конфигурация обеспечивает высокоскоростное подключение для обмена данными между вычислительными узлами и использования сервера в составе масштабируемой инфраструктуры.

Система размещается в корпусе форм-фактора 8U и оснащена шестью блоками питания Titan мощностью 3000W каждый. Конфигурация рассчитана на эксплуатацию в серверных стойках и поставляется с комплектом рельсов для монтажа.

Основные сценарии применения

• Обучение и дообучение моделей. Создание, настройка и адаптация крупных языковых моделей, нейронных сетей и специализированных AI-решений на корпоративных данных.
• Генеративный ИИ и инференс. Развертывание сервисов генерации контента, интеллектуальных помощников, систем поиска и обработки запросов на базе искусственного интеллекта.
• Компьютерное зрение и обработка данных. Использование в задачах видеоаналитики, распознавания изображений, обработки речи и других сценариях машинного обучения.
• Высокопроизводительные вычисления (HPC). Выполнение сложных вычислительных задач, научных расчетов, инженерного моделирования и анализа больших объемов данных.
• Кластерные AI-инфраструктуры. Использование сервера как вычислительного узла в составе масштабируемых систем машинного обучения и корпоративных платформ искусственного интеллекта.

NVIDIA DGX H100 в корпоративной инфраструктуре

NVIDIA DGX H100 в данной конфигурации представляет собой готовую вычислительную платформу для организаций, которым требуется высокая плотность GPU-ресурсов и производительная инфраструктура для работы с искусственным интеллектом. Система подходит для исследовательских подразделений, команд машинного обучения и разработки корпоративных AI-сервисов.

При размещении такого сервера необходимо учитывать требования к серверной инфраструктуре, включая доступное пространство в стойке, электропитание, охлаждение и сетевое подключение. Благодаря сочетанию восьми ускорителей NVIDIA H100, большого объема оперативной памяти, NVMe-хранилища и высокоскоростных сетевых адаптеров система может использоваться для широкого спектра современных вычислительных задач.

Данная конфигурация обеспечивает сбалансированное сочетание GPU-производительности, вычислительных ресурсов CPU, объема памяти и возможностей подключения, что делает ее подходящим решением для корпоративных проектов в области искусственного интеллекта, машинного обучения и высокопроизводительных вычислений.