Паспорт проекта
Стоимость проекта: ≈ 95 млн ₽
Срок реализации: ≈ 74 дня
Заказчик: крупная финансовая организация
Регион: Москва
Отрасль: банк / финтех
Формат: проектирование, поставка, системная интеграция и пусконаладка под ключ
Что требовалось заказчику
Банк планировал развернуть собственную AI-платформу для работы с внутренней корпоративной информацией.
Основные задачи:
запуск корпоративного LLM и RAG по внутренним нормативам, договорам, регламентам и базе знаний;
интеллектуальный поиск по корпоративным документам;
суммаризация больших объёмов информации;
генерация ответов на основе внутренних данных;
использование AI несколькими подразделениями банка одновременно;
работа с конфиденциальной информацией без передачи данных во внешние публичные AI-сервисы.
Одним из ключевых требований было размещение всей инфраструктуры в закрытом контуре заказчика.
Также требовалось заложить возможность дальнейшего увеличения количества GPU, объёма хранения и сетевой производительности.
Что сделали
Start Server спроектировал единую AI-инфраструктуру, включающую вычислительные GPU-узлы, высокоскоростную сеть, NVMe СХД, серверы управления и программное окружение.
1. Провели предпроектный анализ
Определили:
предполагаемые AI-модели;
сценарии использования LLM;
требования к RAG;
объёмы корпоративных данных;
количество одновременных пользователей;
требования к SLA;
требования информационной безопасности.
2. Рассчитали архитектуру
Определили необходимые параметры:
количество GPU;
объём GPU-памяти;
объём системной RAM;
производительность СХД;
объём NVMe-хранилища;
пропускную способность сети;
требования к отказоустойчивости.
3. Сформировали техническое решение
Вместо набора отдельных серверов была разработана единая архитектура:
GPU-узлы → высокоскоростная сеть → NVMe СХД → серверы управления → программная AI-платформа
4. Организовали поставку оборудования
Start Server взял на себя:
закупку;
международную логистику;
входной контроль;
проверку оборудования;
подготовку к монтажу.
5. Выполнили монтаж и системную интеграцию
На площадке заказчика:
установили оборудование в стойки;
выполнили коммутацию;
настроили высокоскоростную сеть;
подключили СХД;
интегрировали GPU-узлы;
настроили сервисную и управляющую инфраструктуру.
6. Развернули программное окружение
Настроили:
CUDA stack;
контейнерную инфраструктуру;
Kubernetes;
inference serving;
vector database;
мониторинг;
registry;
систему авторизации и разграничения доступа.
7. Провели ПНР и нагрузочное тестирование
Проверили:
работу GPU;
производительность сети;
производительность СХД;
взаимодействие компонентов;
отказоустойчивость;
готовность платформы к промышленной эксплуатации.
Состав поставки
GPU-серверы
2 GPU-сервера, каждый:
8 × NVIDIA H200;
141 ГБ HBM3e на GPU;
NVLink / NVSwitch;
серверная платформа enterprise-класса.
Всего:
16 × NVIDIA H200
Суммарный объём GPU-памяти: 2 256 ГБ HBM3e — около 2,25 ТБ
Такой объём позволяет размещать крупные модели, поддерживать значительный KV-cache и одновременно обслуживать несколько корпоративных AI-сервисов.
Высокоскоростная сеть
Развернута вычислительная сеть класса 400G.
Использованы:
высокоскоростная fabric;
NVIDIA ConnectX-7;
RDMA;
RoCE / NDR в зависимости от участка архитектуры.
Сеть обеспечивает высокую скорость передачи данных между GPU-узлами и инфраструктурой хранения.
Система хранения данных
Развернута All-Flash / NVMe СХД.
Полезная ёмкость: ≈ 200 ТБ
СХД используется для хранения:
корпоративных документов;
датасетов;
embeddings;
vector index;
моделей;
рабочих данных AI-сервисов.
Серверы управления
Установлено:
2 сервера управления
Они используются для:
Kubernetes;
мониторинга;
registry;
авторизации;
оркестрации;
управления AI-сервисами.
Результат
Банк получил собственную вычислительную платформу для корпоративного AI.
16 × NVIDIA H200 — высокопроизводительный GPU-кластер для LLM, RAG и других AI-нагрузок.
≈ 2,25 ТБ GPU-памяти — позволяет работать с крупными моделями и одновременно запускать несколько AI-сервисов.
≈ 200 ТБ NVMe-хранилища — высокоскоростное хранение корпоративных документов, индексов и датасетов.
≈ 74 дня — срок от предпроектного обследования до завершения пусконаладочных работ.
Что изменилось для заказчика
После запуска инфраструктуры:
корпоративные данные обрабатываются внутри собственной инфраструктуры банка;
появилась возможность использовать LLM без передачи информации во внешнее облако;
RAG, embeddings и inference работают в едином вычислительном контуре;
несколько подразделений могут использовать общую AI-платформу;
заказчик получил прогнозируемый объём вычислительных ресурсов;
сформирована инфраструктура для запуска новых AI-сценариев.
Архитектура изначально проектировалась с возможностью дальнейшего масштабирования.
При увеличении нагрузки можно:
добавлять новые GPU-узлы;
увеличивать объём NVMe СХД;
расширять сетевую фабрику;
подключать новые подразделения;
запускать более крупные модели.
Почему Start Server
Инженерная архитектура — сначала рассчитываем workload, GPU, сеть и хранение — затем подбираем оборудование.
Multi-vendor подход — не привязываем проект к одному производителю. Формируем решение под задачу, бюджет и сроки.
Единая зона ответственности — серверы, GPU, СХД, сеть, поставка, монтаж, интеграция и ПНР находятся в рамках одного проекта.
Private AI — проектируем инфраструктуру для корпоративных LLM и RAG внутри защищённого контура заказчика.
Масштабирование — закладываем возможность увеличения вычислительной мощности без полной перестройки инфраструктуры.
Поддержка после запуска — сопровождаем систему после ввода в эксплуатацию и помогаем развивать AI-платформу.
