Паспорт проекта
Стоимость проекта: ≈ 980 млн ₽
Срок реализации: ≈ 7 месяцев
Заказчик: крупная IT / интернет-компания
Регион: Москва
Отрасль: IT / интернет-сервисы / AI
Формат: проектирование, поставка, интеграция и запуск GPU-кластера под ключ
Что требовалось заказчику
Компания развивала собственные AI-продукты и планировала перейти от использования внешних API и аренды вычислительных ресурсов к собственной LLM-инфраструктуре.
Основные сценарии:
обучение собственной языковой модели;
continued pre-training на корпоративных и отраслевых данных;
fine-tuning;
RLHF / preference optimization;
обучение embedding-моделей;
разработка мультимодальных моделей;
эксперименты исследовательской команды;
массовый inference собственных моделей;
обслуживание внутренних AI-продуктов.
Главная задача — создать собственный GPU-кластер, способный выполнять распределённое обучение моделей на десятках GPU и в дальнейшем масштабироваться без полной перестройки инфраструктуры.
Почему обычных GPU-серверов было недостаточно
При обучении крупной LLM производительность определяется не только количеством GPU.
Необходимо одновременно обеспечить:
высокую производительность GPU;
большой объём HBM-памяти;
максимально быстрое взаимодействие между GPU;
высокоскоростную сеть между серверами;
высокую пропускную способность СХД;
быстрый доступ к датасетам;
стабильную работу десятков GPU под длительной нагрузкой;
централизованное управление вычислительным кластером;
мониторинг и распределение ресурсов.
Поэтому проект рассматривался не как поставка серверов, а как создание единой многостоечной AI-инфраструктуры.
Что сделали
Start Server разработал архитектуру GPU-кластера, объединяющего вычислительные серверы, сеть InfiniBand, высокопроизводительную систему хранения данных и управляющую инфраструктуру.
1. Провели предпроектный анализ
Совместно с AI-командой заказчика определили:
целевой размер моделей;
объём датасетов;
длительность тренировочных циклов;
типы распределённого обучения;
необходимый объём GPU-памяти;
требования к checkpointing;
планируемое количество параллельных экспериментов;
требования inference-команды;
темпы роста вычислительной нагрузки на ближайшие 2–3 года.
Отдельно рассчитали:
сетевой трафик между GPU-серверами;
нагрузку на СХД;
требования к электропитанию;
тепловыделение;
резервирование компонентов.
Архитектура решения
В основе проекта:
GPU-серверы → InfiniBand Fabric → высокопроизводительная СХД → management-кластер → MLOps / orchestration
Для вычислительной части была выбрана многоузловая архитектура на NVIDIA H200.
Вычислительный GPU-кластер
В проекте предусмотрено:
12 GPU-серверов
Каждый сервер:
8 × NVIDIA H200;
141 ГБ HBM3e на GPU;
NVLink / NVSwitch;
2 × серверных CPU;
до 2 ТБ DDR5 RAM;
локальные NVMe SSD;
резервированные блоки питания;
несколько высокоскоростных сетевых интерфейсов.
Всего:
96 × NVIDIA H200
Суммарный объём GPU-памяти: 13 536 ГБ HBM3e — ≈ 13,5 ТБ GPU-памяти
Такая конфигурация позволяет распределять обучение крупных моделей одновременно между десятками GPU.
Зачем требуется 96 GPU
Для заказчика было важно не просто запускать LLM, а именно обучать собственные модели.
Кластер может использоваться для:
обучения модели на всех 96 GPU;
параллельного обучения нескольких меньших моделей;
fine-tuning;
экспериментальных запусков;
тестирования новых архитектур;
подготовки embeddings;
inference.
Ресурсы кластера могут динамически распределяться между командами.
Например:
64 GPU — основной training job
16 GPU — fine-tuning
8 GPU — inference / validation
8 GPU — research / experiments
Конкретное распределение зависит от текущей загрузки.
Высокоскоростная сеть
Для распределённого обучения критически важна скорость взаимодействия между GPU-серверами.
Поэтому кластер был построен на отдельной высокоскоростной сети.
Основная fabric: 400G InfiniBand
В составе:
NVIDIA Quantum;
ConnectX-7;
NDR InfiniBand;
redundant fabric;
высокоскоростные DAC/AOC и оптические соединения.
Архитектура сети построена таким образом, чтобы минимизировать oversubscription между GPU-узлами.
Почему сеть настолько важна
При распределённом обучении GPU постоянно обмениваются данными.
Среди основных операций:
gradient synchronization;
AllReduce;
AllGather;
ReduceScatter;
tensor parallelism;
pipeline parallelism;
data parallelism.
Если сеть недостаточно производительна, дорогостоящие GPU начинают простаивать в ожидании передачи данных.
Поэтому высокоскоростная fabric является практически такой же критичной частью AI-кластера, как сами GPU.
Система хранения данных
Для AI-кластера была предусмотрена отдельная высокопроизводительная система хранения.
Полезная ёмкость: ≈ 1,5 ПБ
Тип: Scale-Out All-Flash / NVMe
Система используется для:
тренировочных датасетов;
checkpoints;
моделей;
embeddings;
результатов экспериментов;
synthetic data;
логов;
промежуточных данных.
Требования к СХД
Для проекта была важна не только ёмкость, но и высокая скорость последовательного чтения.
При обучении модели десятки GPU одновременно получают данные из storage.
Поэтому архитектура СХД рассчитывалась исходя из:
aggregate throughput;
количества GPU;
размера датасетов;
checkpoint frequency;
количества параллельных задач.
Целевой уровень производительности: десятки GB/s суммарного throughput.
Management-кластер
Отдельно развернут кластер управляющих серверов.
Он используется для:
Kubernetes;
Slurm;
мониторинга;
orchestration;
container registry;
CI/CD;
MLOps;
управления пользователями;
распределения GPU;
управления заданиями;
ведения логов.
Это позволяет нескольким AI-командам одновременно пользоваться инфраструктурой.
Программная платформа
На инфраструктуре развернута среда для полного жизненного цикла LLM.
В состав вошли:
NVIDIA CUDA;
NCCL;
PyTorch;
Docker;
Kubernetes;
Slurm;
distributed training stack;
model registry;
experiment tracking;
monitoring;
observability;
checkpoint management.
Для распределённого обучения предусмотрена поддержка:
data parallelism;
tensor parallelism;
pipeline parallelism;
FSDP;
DeepSpeed;
Megatron-подобных архитектур.
Как используется кластер
Типичный training workflow выглядит следующим образом:
1. Подготовка данных
Большие объёмы текстовых данных проходят:
очистку;
дедупликацию;
фильтрацию;
токенизацию;
подготовку датасетов.
2. Датасет размещается в AI-СХД
GPU-серверы получают доступ к единому пулу данных.
3. Запускается training job
Оркестратор выделяет необходимое количество GPU.
Например:
64 × H200
или весь кластер: 96 × H200
4. Выполняется распределённое обучение
GPU работают как единый вычислительный комплекс.
5. Checkpoints сохраняются в СХД
Промежуточные версии модели регулярно сохраняются.
6. Проводится validation
После завершения training job выполняется тестирование качества модели.
7. Модель передаётся в inference-контур
После утверждения новая версия становится доступна продуктовым AI-сервисам.
Инженерная инфраструктура
Для многостоечного GPU-кластера отдельно рассчитали физическую инфраструктуру.
Основные параметры:
несколько серверных стоек;
высокоплотное размещение оборудования;
резервированное электропитание;
отдельные PDU;
высокоскоростная коммутация;
мониторинг электропотребления;
контроль температуры.
Расчётная электрическая мощность GPU-кластера составляет ≈ 350 кВт, поэтому проект заранее согласовывался с инфраструктурой ЦОД.
Размещение оборудования
Вычислительная инфраструктура распределена по нескольким стойкам.
Условно:
Стойки 1–3 — GPU-серверы.
Стойка 4 — InfiniBand fabric.
Стойки 5–6 — AI-СХД.
Стойка 7 — Management и сервисная инфраструктура.
Фактическая компоновка определяется доступной мощностью на стойку и системой охлаждения конкретного ЦОД.
Что сделали специалисты Start Server
Проектирование
Разработали:
вычислительную архитектуру;
схему GPU-кластера;
топологию сети;
архитектуру СХД;
power budget;
rack layout;
кабельную карту.
Поставка
Организовали поставку:
GPU-серверов;
GPU;
сетевого оборудования;
СХД;
кабелей;
трансиверов;
серверов управления.
Монтаж
На площадке:
установили оборудование;
выполнили коммутацию;
провели маркировку;
настроили сетевую инфраструктуру.
Системная интеграция
Настроили:
InfiniBand Fabric;
RDMA;
storage network;
management network;
GPU-серверы;
orchestration.
Пусконаладочные работы
Провели:
тестирование GPU;
NCCL-тесты;
сетевые тесты;
storage benchmark;
burn-in;
стресс-тестирование;
проверку отказоустойчивости.
Нагрузочное тестирование
Одной из важных частей проекта стало тестирование не отдельных серверов, а всего GPU-кластера как единой системы.
Проверялись:
загрузка GPU;
GPU-to-GPU bandwidth;
inter-node communication;
network latency;
storage throughput;
производительность collective operations;
стабильность длительных training jobs;
температурные режимы.
Это позволило выявить потенциальные узкие места до передачи инфраструктуры AI-команде заказчика.
Результат проекта
Заказчик получил собственную инфраструктуру для разработки и обучения больших AI-моделей.
96 × NVIDIA H200 — общий вычислительный пул GPU.
≈ 13,5 ТБ HBM3e — суммарный объём GPU-памяти.
400G InfiniBand — высокоскоростная сеть для распределённого обучения.
≈ 1,5 ПБ AI Storage — высокопроизводительная система хранения данных.
≈ 350 кВт — общая потребляемая мощность инфраструктуры.
Многостоечная архитектура — GPU, сеть, СХД и management-инфраструктура работают как единый кластер.
≈ 7 месяцев — срок реализации проекта.
≈ 980 млн ₽ — общий бюджет инфраструктуры.
Что получил бизнес
До реализации проекта компания зависела от аренды дорогостоящих GPU-ресурсов и внешней инфраструктуры.
После запуска собственного кластера появилась возможность:
обучать собственные LLM;
полностью контролировать вычислительные ресурсы;
хранить датасеты внутри компании;
запускать длинные training jobs без ограничений облачного провайдера;
одновременно обслуживать несколько AI-команд;
прогнозировать доступность GPU;
запускать новые эксперименты быстрее;
развивать собственные AI-продукты;
постепенно увеличивать вычислительный кластер.
Возможность масштабирования
Архитектура изначально проектировалась не как конечная конфигурация.
Следующий этап развития может включать:
96 → 192 GPU
и далее: 192 → 384 GPU
Для этого в проекте заранее предусмотрены:
резерв сетевой архитектуры;
масштабируемая InfiniBand fabric;
scale-out СХД;
возможность добавления серверных стоек;
расширяемый management-кластер.
Таким образом, заказчик может постепенно увеличивать AI-инфраструктуру по мере роста нагрузки.
Почему Start Server
Проектируем кластер целиком — не рассматриваем GPU-сервер отдельно от сети, СХД и инженерной инфраструктуры.
Понимаем распределённые AI-нагрузки — архитектура рассчитывается с учётом требований LLM training и межсерверного обмена.
Поставляем всю инфраструктуру — в рамках одного проекта: GPU, серверы, сеть, СХД, кабельная инфраструктура, management, интеграция.
Multi-vendor подход — подбираем оборудование исходя из архитектуры проекта, бюджета и доступности.
Единая ответственность — заказчику не нужно отдельно координировать поставщика серверов, сетевого интегратора, поставщика СХД и монтажную организацию.
Масштабирование — архитектура проектируется с учётом следующего этапа роста GPU-кластера.
