Паспорт проекта
Стоимость проекта: ≈ 180 млн ₽
Срок реализации: ≈ 96 дней
Заказчик: крупное промышленное предприятие
Регион: Центральная Россия
Отрасль: промышленность / производство
Формат: проектирование, поставка, интеграция и запуск AI-инфраструктуры под ключ
Что требовалось заказчику
На предприятии контроль качества продукции преимущественно выполнялся операторами и выборочными измерениями.
При росте объёмов производства появились ограничения:
часть мелких дефектов выявлялась уже после прохождения нескольких стадий производства;
качество контроля зависело от человеческого фактора;
невозможно было одинаково контролировать 100% продукции на нескольких линиях;
данные о дефектах находились в разных системах и практически не использовались для аналитики;
запуск новых типов продукции требовал перенастройки процессов контроля.
Заказчику требовалась единая система компьютерного зрения, способная автоматически анализировать изображения с производственных линий и обнаруживать дефекты непосредственно во время выпуска продукции.
Ключевое условие — вся AI-инфраструктура должна работать внутри предприятия, без передачи производственных данных и изображений во внешнее облако.
Основные задачи системы
AI-платформа должна была автоматически выявлять:
геометрические отклонения;
дефекты поверхности;
сколы;
трещины;
царапины;
нарушение покрытия;
неправильную сборку;
отсутствие отдельных элементов;
отклонение положения компонентов;
визуальные аномалии продукции.
Для каждого изделия система должна сохранять:
изображение → результат анализа → тип дефекта → уровень уверенности модели → производственную линию → время выпуска
Это позволяло связать компьютерное зрение с производственной аналитикой и системой управления качеством.
Что сделали
Start Server спроектировал распределённую AI-инфраструктуру, состоящую из центрального GPU-кластера и вычислительных узлов непосредственно рядом с производственными линиями.
1. Провели предпроектное обследование
Совместно с техническими специалистами заказчика определили:
количество производственных линий;
число камер;
разрешение и частоту кадров;
количество одновременно анализируемых потоков;
допустимую задержку распознавания;
объём формируемых изображений;
требования к хранению данных;
перечень контролируемых дефектов;
требования к точности моделей;
сценарии обучения и переобучения нейросетей.
Отдельно рассчитали пиковую нагрузку при одновременной работе всех линий.
2. Разделили обучение и инференс
Архитектуру построили по двухуровневой модели.
Центральный AI-кластер
Используется для:
обучения моделей компьютерного зрения;
дообучения моделей;
обработки накопленных датасетов;
экспериментов с новыми архитектурами;
централизованного управления моделями;
подготовки новых версий моделей для производственных линий.
Производственные inference-узлы
Размещены ближе к оборудованию и выполняют:
получение видеопотоков;
предварительную обработку изображения;
inference нейросетей;
классификацию дефектов;
передачу результата в производственные системы.
Такой подход уменьшает задержку и позволяет производственным линиям продолжать работу независимо от центрального вычислительного кластера.
Архитектура решения
Инфраструктура была построена по следующей схеме:
промышленные камеры → edge/inference серверы → производственная сеть → центральный GPU-кластер → СХД → платформа обучения моделей → новые версии моделей → inference-узлы
Центральный GPU-кластер
Для обучения и тестирования моделей была предусмотрена высокопроизводительная GPU-инфраструктура.
Примерная конфигурация проекта:
6 GPU-серверов по:
4 × NVIDIA L40S;
серверные CPU enterprise-класса;
512 ГБ – 1 ТБ RAM;
локальные NVMe;
резервированные блоки питания.
Всего:
24 × NVIDIA L40S
Суммарный объём GPU-памяти: 1 152 ГБ VRAM
Такая архитектура позволяет одновременно обучать несколько моделей компьютерного зрения и проводить эксперименты с различными наборами данных.
Inference-инфраструктура
Для обработки изображений непосредственно с производственных линий использованы отдельные GPU-узлы.
Они отвечают за:
приём потоков с камер;
декодирование видео;
preprocessing;
inference;
классификацию;
передачу результата в систему управления производством.
Разделение центрального training-кластера и inference-серверов позволяет независимо масштабировать обе части системы.
Если количество линий увеличивается, можно добавлять новые inference-узлы без перестройки центрального кластера.
Система хранения данных
Для проекта была предусмотрена высокопроизводительная СХД объёмом порядка:
≈ 300 ТБ полезной ёмкости.
На ней хранятся:
изображения продукции;
размеченные датасеты;
изображения дефектов;
версии моделей;
результаты обучения;
технические данные;
архивы для последующего анализа.
Использование NVMe / All-Flash уровня хранения обеспечивает быструю работу с большими наборами изображений при обучении нейросетей.
Высокоскоростная сеть
Центральный AI-кластер, СХД и серверы управления объединены высокоскоростной сетью.
Проектом предусмотрена инфраструктура класса:
100 GbE / RoCE
Она обеспечивает необходимую пропускную способность между:
GPU-серверами;
СХД;
серверами управления;
ML-платформой.
Для production inference используется отдельный сетевой сегмент предприятия.
Программная инфраструктура
В рамках проекта была подготовлена среда для полного жизненного цикла моделей компьютерного зрения.
Развернуты:
CUDA stack;
контейнерная инфраструктура;
Kubernetes;
ML-пайплайны;
inference serving;
registry моделей;
система мониторинга;
централизованное логирование;
контроль версий моделей.
Это позволяет не только запустить первоначальные модели, но и постоянно их улучшать.
Как работает система
После запуска процесс контроля выглядит следующим образом:
1. Камера фиксирует изделие
На каждой контрольной точке установлены промышленные камеры.
2. Изображение передаётся AI-серверу
Inference-узел получает кадры непосредственно с производственной линии.
3. Нейросеть анализирует изображение
Модель определяет наличие дефектов и их тип.
4. Результат передаётся производственной системе
В зависимости от сценария система может:
пометить изделие;
отправить сигнал оператору;
передать команду на отбраковку;
сохранить изображение для последующего анализа.
5. Данные сохраняются
Информация о дефектах используется для:
статистики;
контроля качества;
анализа производственных проблем;
последующего переобучения моделей.
Что получили после запуска
Заказчик получил единую AI-платформу компьютерного зрения для нескольких производственных линий.
Контроль 100% продукции
Система может анализировать каждое изделие, проходящее через контрольную точку.
Единые критерии качества
Результат проверки перестаёт зависеть от конкретного оператора или смены.
Контроль в режиме реального времени
Дефект определяется непосредственно на производственной линии, а не после завершения выпуска партии.
Собственный AI-контур
Все изображения, модели и производственные данные остаются внутри инфраструктуры предприятия.
Централизованное обучение моделей
Новые модели обучаются на едином GPU-кластере и затем распространяются на производственные inference-узлы.
Масштабируемость
Архитектура позволяет подключать:
новые камеры;
дополнительные производственные линии;
новые категории продукции;
новые классы дефектов;
дополнительные GPU-узлы.
Результат проекта
24 × NVIDIA L40S — для обучения и развития моделей компьютерного зрения.
≈ 1,15 ТБ GPU-памяти — в центральном AI-кластере.
≈ 300 ТБ СХД — для хранения изображений, датасетов и версий моделей.
100 GbE / RoCE — высокоскоростная сеть AI-кластера.
≈ 50 кВт — общая потребляемая мощность инфраструктуры.
≈ 96 дней — от предпроектного обследования до ввода инфраструктуры в эксплуатацию.
≈ 180 млн ₽ — общий бюджет проекта.
Почему Start Server
Полный цикл реализации — берём на себя не только поставку GPU-серверов, но и проектирование вычислительной архитектуры, СХД, сети, интеграцию и пусконаладочные работы.
Архитектура под реальную нагрузку — количество GPU и серверов рассчитывается исходя из числа камер, разрешения изображения, FPS, количества моделей и допустимой задержки.
Training + inference — проектируем отдельно инфраструктуру для обучения моделей и промышленного инференса.
Интеграция с производственной инфраструктурой — AI-платформа становится частью существующего IT- и OT-контура предприятия.
Private AI — производственные данные и изображения остаются внутри инфраструктуры заказчика.
Масштабирование — система изначально рассчитана на подключение новых линий, камер и AI-сценариев без полной перестройки инфраструктуры.
