Fibre Channel: Что это, скорости, коммутаторы и построение SAN

Fibre Channel, или FC, — это технология передачи данных, которую используют для подключения серверов к системам хранения. В такой сети сервер обращается к удаленному блочному устройству через специальный адаптер и FC-коммутатор. На этой основе строят SAN, Storage Area Network, то есть сеть хранения данных.

FC нужен там, где важны управляемая нагрузка на сеть, предсказуемый доступ к хранилищу и сохранение связи при отказе отдельного компонента. Но эти свойства не появляются после покупки одного дорогого коммутатора. Их обеспечивают вся схема подключения, совместимость оборудования и правильно настроенные пути к данным.

Fibre Channel, SAN и оптоволокно: в чем разница

Название Fibre Channel часто принимают за другое обозначение оптической сети. Это не так. Оптоволокно является средой передачи, а FC определяет, как устройства устанавливают связь и обмениваются кадрами. По оптическому кабелю можно передавать и Ethernet, но от этого Ethernet-порт не становится портом Fibre Channel.

SAN описывает назначение сети. Fibre Channel является одним из способов ее построить. Другой распространенный вариант блочного доступа, iSCSI, работает поверх TCP/IP.

NAS решает другую задачу: предоставляет файлы, например по NFS или SMB. При блочном доступе сервер получает устройство хранения, а файловой системой и размещением данных занимается уже его программный стек. Подробное сравнение архитектур есть в материале NAS, SAN и DAS: отличия и выбор системы хранения.

В документации стандартное написание технологии — Fibre Channel. В поиске встречается и Fiber Channel. В этой статье речь идет об одной технологии, а не о двух разных интерфейсах.

Какие данные передает FC

В классической блочной SAN протокол FCP переносит команды SCSI через Fibre Channel. Сервер читает и записывает блоки на логическом устройстве, которое предоставила СХД.

Есть и NVMe/FC: передача команд NVMe по FC-сети. Это отдельный вариант протокола доступа, а не новая маркировка любого массива с NVMe-накопителями. Для него нужна поддержка со стороны СХД, HBA, драйверов, ОС и сетевой инфраструктуры. Само наличие быстрых SSD не включает NVMe/FC автоматически. Различие FCP и NVMe/FC описано в руководстве NetApp по современным SAN.

Как работает Fibre Channel

В типовой схеме запрос проходит цепочку:

Приложение → ОС или гипервизор → FC HBA → FC-коммутатор → порт СХД → логическое устройство хранения.

HBA, Host Bus Adapter, является адаптером сервера для подключения к SAN. Обычная Ethernet-карта не заменяет FC HBA, даже если у нее похожий оптический разъем.

Коммутаторы образуют фабрику, fabric. Они обеспечивают связь между конечными устройствами и работают с настройками доступа. На стороне массива находятся целевые порты, target ports. Сервер выступает инициатором запросов.

Для понимания схемы достаточно нескольких терминов.

Зачем FC нужны буферные кредиты

У Fibre Channel есть управление потоком на основе buffer-to-buffer credits. Передающая сторона учитывает, сколько кадров может принять соседний порт. Когда доступные кредиты заканчиваются, передача ожидает освобождения буферов.

Это позволяет избегать потерь из-за переполнения приемного буфера при нормальной работе механизма. Но FC не защищает от поврежденной оптики, ошибок оборудования или неверных настроек. Формулировка «в FC данные никогда не теряются» слишком категорична.

Длинная линия и медленно принимающее устройство могут ограничивать обмен даже при высокой скорости порта. Поэтому инженер смотрит не только на загрузку в процентах, но и на ожидание кредитов, ошибки и задержки. Работа механизма разобрана в документации Cisco по буферам FC-интерфейсов.

Скорости Fibre Channel: 8GFC, 16GFC, 32GFC, 64GFC и 128GFC

Обозначение поколения FC нельзя без оговорок переводить в скорость копирования файлов. Здесь различаются название интерфейса, физическая скорость линии и полезная передача данных.

Например, для 32GFC отраслевой ориентир составляет около 3200 МБ/с в каждом направлении. Значение 6400 МБ/с в таблице full duplex складывает прием и передачу. Оно не означает, что один поток чтения получит 6,4 ГБ/с. Этот принцип прямо поясняет FCIA в материале о 32GFC.

Это округленные ориентиры, а не обещание скорости приложения. Для суммарных значений использована дорожная карта FCIA; столбец одного направления получен делением на два. Здесь МБ означает десятичный мегабайт. Размер кадров, служебный обмен, характер I/O и ограничения конечных устройств влияют на результат.

128GFC уже не только пункт в дорожной карте. Например, Broadcom представляет Brocade G820 с портами 128GFC. Но готовность конкретной SAN к такому переходу нужно проверять по всей цепочке, а не по одному коммутатору.

Почему более быстрый коммутатор не всегда ускоряет СХД

Если массив подключен по 16GFC, замена коммутатора на модель 64GFC сама по себе не превратит этот участок в 64GFC. Более быстрый серверный порт может обслуживать несколько направлений, но конкретный путь остается ограничен своими компонентами.

При случайном доступе ограничение нередко находится в другом месте: в задержке массива, очередях запросов, работе контроллера или накопителях. При последовательном чтении больших блоков роль полосы пропускания обычно заметнее.

IOPS и МБ/с тоже нельзя сравнивать без размера блока. Расчетный поток в 100 000 операций по 4 КиБ соответствует примерно 409,6 МБ/с данных, без учета служебного обмена. Это арифметический пример, не результат теста FC-оборудования.

Полную производительность нужно оценивать вместе с архитектурой системы хранения. Скорость интерфейса описывает лишь часть пути от приложения до данных.

Коммутатор Fibre Channel: чем он отличается от Ethernet

FC-коммутатор работает с фабрикой хранения, FC-портами и zoning. Ethernet-коммутатор работает с Ethernet-кадрами и другой моделью сетевого взаимодействия. Одинаковая форма гнезда под трансивер не делает устройства взаимозаменяемыми.

Какие характеристики проверять

Количество активированных портов. Физические гнезда могут быть доступны не все сразу. Производитель иногда продает базовую конфигурацию с частью включенных портов и лицензии на расширение.

Скорости и оптика. Поддержка 64GFC на уровне платформы не означает, что любой установленный модуль будет работать на всех младших скоростях. Нужна матрица трансиверов именно для этой модели.

Межкоммутаторные соединения. Если в одной фабрике несколько коммутаторов, часть портов и пропускной способности придется отдать под ISL. Объединение таких линий и связанные функции могут иметь отдельные условия лицензирования.

Обслуживание и диагностика. Важны резервирование питания, поддерживаемые процедуры обновления, сбор ошибок, наблюдение за перегрузками и доступность технической поддержки.

Совместимость ПО. Проверяют версии прошивок коммутаторов, драйверов HBA, ОС, гипервизора и микрокода СХД. Совпадение бренда не отменяет эту проверку.

Показательный пример портового лицензирования — Brocade G720. Производитель указывает масштабирование от 24 активированных портов до 64, причем часть подключений реализована через SFP-DD. Поэтому в спецификации закупки недостаточно написать только название модели: нужны лицензии, модули и фактическое число доступных подключений.

Не стоит автоматически объединять в одну фабрику любые FC-коммутаторы разных производителей. Поддерживаемая совместная работа и ограничения функций должны быть подтверждены документацией для конкретных моделей и версий ПО.

Оптика и кабели: почему одинакового SFP недостаточно

Перед закупкой проверяют всю связку: порт, трансивер, кабель и устройство на другом конце. Разъем отвечает только за часть совместимости.

Для FC-соединения нужно согласовать:

• поддержку Fibre Channel и нужной скорости обоими устройствами;

• артикулы и кодировку трансиверов;

• длину волны, тип волокна и разъемы;

• допустимую длину канала с учетом патч-панелей и соединений;

• поддерживаемые сочетания прошивок и модулей.

Распространенная пара для коротких оптических соединений — коротковолновая оптика SWL и многомодовое волокно. Для других дистанций применяют подходящие длинноволновые решения и одномодовое волокно. Но универсального правила «любой FC-модуль работает на 300 метров» нет: допустимая трасса зависит от скорости, модуля и класса кабеля.

Установить Ethernet-модуль в FC-порт только потому, что он физически подходит, недостаточно. Нужна явная поддержка требуемого режима. Разницу между корпусом модуля и его возможностями подробно разбираем в статье о SFP, SFP+ и SFP28.

Как построить SAN: две независимые фабрики

Для отказоустойчивой SAN применяют две независимые фабрики, Fabric A и Fabric B. Сервер и система хранения подключаются к обеим. Потеря одной фабрики не должна лишать сервер всех путей к данным.

В небольшой конфигурации каждая фабрика может состоять из одного FC-коммутатора. В более крупной внутри нее будет несколько коммутаторов и ISL. Но A и B не соединяют обычным ISL «для резервирования»: это уничтожает предусмотренную схемой независимость.

На стороне сервера разумно рассмотреть два отдельных HBA. Два порта одной карты резервируют соединения, но сама карта остается общей точкой отказа. Нужность отдельных адаптеров и размещение по PCIe-слотам определяют требования к доступности и устройство сервера.

Где работает multipathing

Программа multipathing на сервере распознает несколько путей к одному устройству и управляет их использованием. Без нее наличие двух кабелей еще не дает корректного переключения.

В классической SCSI SAN на Linux обычно используют Device Mapper Multipath, на Windows применяют MPIO с подходящим модулем поддержки устройства. В гипервизорах работают собственные механизмы. Настройки выбирают по документации ОС и СХД.

Нельзя назначить одну политику балансировки всем массивам. Пути могут отличаться по состоянию и предпочтительности. Например, при ALUA учитывается, какие пути оптимизированы для доступа к конкретному логическому устройству.

Для NVMe/FC порядок настройки и механизмы multipathing могут отличаться от SCSI. Инструкцию для FCP нельзя механически переносить на NVMe.

Пример расчета портов для 12 серверов

Предположим, нужно подключить 12 серверов к двухконтроллерной СХД. У каждого сервера предусмотрено по одному соединению в каждую фабрику. Каждый контроллер массива предоставляет по одному порту в Fabric A и Fabric B. Коммутаторов два, по одному на фабрику, поэтому ISL внутри них не нужен.

Расчет для каждой фабрики одинаковый:

При таких вводных имеет смысл рассматривать две конфигурации минимум на 18 доступных портов каждая, например по 24 активированных порта. Всего сейчас заняты 28 портов на двух коммутаторах; план с резервом предусматривает 36.

Это учебный расчет емкости портов, а не готовый проект и не кейс внедрения. Он не подтверждает, что двух портов массива на фабрику достаточно по производительности. Отдельно проверяют нагрузку, допустимые пути и работу при потере Fabric A или Fabric B.

Zoning и LUN masking: два разных уровня доступа

Zoning на FC-коммутаторах определяет, какие порты могут взаимодействовать в фабрике. LUN mapping и masking на СХД определяют, какие логические устройства доступны конкретному серверу или группе серверов.

Эти механизмы дополняют друг друга. Разрешить HBA связь с портом массива недостаточно: нужный том еще должен быть предоставлен серверу. И наоборот, правильное назначение тома не исправит ошибку в zoning.

Для многих платформ типовая рекомендация — зона с одним инициатором и нужными целевыми портами. Но число target-портов, тип зон и допустимые пути уточняют по руководству СХД. Пример такой политики есть в документации Lenovo по FC zoning.

Почему общий LUN не становится общей папкой

Если двум серверам виден один том, это не означает, что они могут одновременно записывать в него как в обычный локальный диск. Несогласованная работа с обычной файловой системой способна повредить данные.

Для совместного доступа нужна поддерживаемая кластерная архитектура: кластерная файловая система, соответствующий механизм гипервизора либо приложение, которое само координирует блочные операции. При активном/пассивном сценарии требуется корректное управление владением ресурсом.

Fibre Channel или iSCSI: что выбрать

Обе технологии подходят для блочного доступа к хранилищу. Сравнивать их нужно в контексте конкретной системы, а не по правилу «FC всегда быстрее» или «Ethernet всегда дешевле».

Если предприятие уже эксплуатирует поддерживаемую FC SAN и команда умеет ее обслуживать, сохранение этой архитектуры может упростить расширение. Если проект строится вокруг Ethernet, у него другие требования и подходящая СХД, iSCSI тоже стоит включить в сравнение.

Но использовать любую свободную офисную сеть для критичного хранилища без расчета нагрузки нельзя. Выделение ресурсов, резервирование и проверка отказов нужны в обоих случаях. Детали IP-варианта разобраны в статье iSCSI: как работает и как выбрать сеть и СХД.

Как выбрать СХД и оборудование для FC SAN

Начинать лучше с нагрузки. Сколько серверов будет обращаться к массиву? Нужен преимущественно случайный доступ небольшими блоками или последовательная передача? Какой простой допустим при отказе пути? Планируется ли рост числа узлов?

После этого собирают согласованную конфигурацию:

1. Выбирают интерфейсы массива. Проверяют именно host-порты, количество контроллеров, поддерживаемые режимы и правила подключения.

2. Подбирают HBA. Уточняют совместимость с сервером, PCIe-слоты, ОС, драйверы и количество независимых адаптеров.

3. Считают порты и пропускную способность фабрик. Учитывают резерв, ISL и нагрузку после отказа одной ветви.

4. Подбирают оптику и кабельную систему. Проверяют каждый артикул, длину трассы и комплектацию.

5. Фиксируют программную конфигурацию. Версии ПО, лицензии, multipathing, zoning и доступ к томам должны быть частью проекта.

6. Согласуют приемочные испытания. Заранее определяют метрики, тестовые данные и допустимое поведение при отказах.

При просмотре систем хранения данных важно смотреть на исполнение, а не только на семейство. Например, HPE MSA 2060 16Gb FC LFF относится к FC-варианту. В том же семействе существуют другие интерфейсные исполнения, и они не взаимозаменяемы по одному названию MSA 2060.

Нужна ли Fibre Channel для AI-кластера

FC может предоставлять блочное хранилище серверам, на которых выполняются AI-задачи. Но сеть хранения и сеть обмена между GPU решают разные задачи.

Для синхронизации вычислений используют соответствующие технологии GPU-взаимодействия и межсерверного обмена. Наличие FC SAN не заменяет NVLink, InfiniBand или Ethernet/RoCE и не гарантирует быструю подачу датасета.

Выбор хранилища для AI зависит от способа доступа к данным, числа клиентов, размера файлов и профиля чтения. Покупать FC только потому, что сервер оснащен GPU, нет оснований.

Что проверить перед вводом SAN в эксплуатацию

Приемка начинается не с максимального результата в МБ/с. Сначала нужно убедиться, что каждому серверу доступны только его устройства и что пути к ним распознаны правильно.

• Сопоставить WWPN с физическими портами и документацией.

• Проверить согласованную скорость, состояние линии и счетчики ошибок.

• Убедиться, что zoning и назначения томов не открывают лишний доступ.

• Проверить, что multipathing объединяет пути к одному устройству, а не оставляет их независимыми дисками.

• Измерить задержки, IOPS и пропускную способность на согласованном профиле нагрузки.

• Провести согласованные испытания отказа пути и возвращения в штатный режим.

• Сохранить конфигурации и описать порядок замены HBA, оптики и коммутатора.

Отказные испытания проводят в согласованное окно на подготовленных тестовых данных. Выдергивать кабели действующей производственной системы ради проверки без плана восстановления нельзя.

Оценивают не только факт переключения, но и то, что почувствовало приложение: паузу, ошибку ввода-вывода или рост задержки. Если оставшаяся фабрика не справляется с нагрузкой, схема может сохранить связь, но не требуемый уровень сервиса.

Частые вопросы о Fibre Channel

Fibre Channel — это просто оптоволокно?

Нет. FC является технологией обмена данными, а оптоволокно служит средой передачи. Совпадающие кабель и разъем не означают, что Ethernet-устройство поддерживает Fibre Channel.

Можно ли подключить FC HBA к обычному Ethernet-коммутатору?

В режиме native FC нельзя. Для специальных конвергентных сценариев нужна явно поддерживаемая архитектура, а не просто Ethernet-коммутатор с подходящим гнездом.

Можно ли соединить сервер и СХД без FC-коммутатора?

В некоторых поддерживаемых конфигурациях возможно прямое подключение. Это проверяют по документации конкретной СХД, HBA и ОС. Такое решение ограничивает варианты масштабирования и не отменяет проектирование резервных путей. Универсального разрешения на direct attach для всех FC-массивов нет.

Совместимы ли 16GFC, 32GFC и 64GFC?

Многие устройства поддерживают несколько поколений, но общего обещания совместимости недостаточно. Проверяют коммутатор, оба трансивера и конечные устройства. Например, в руководстве G720 отдельно указаны режимы 64G- и 32G-оптики; поддержка скорости платформой и конкретным модулем может различаться.

Как посмотреть WWN Fibre Channel в Ubuntu или другом Linux?

Для порта обычно нужен WWPN. Если драйвер FC HBA создал устройства в sysfs, их идентификаторы можно прочитать без изменения конфигурации:

for fc_port in /sys/class/fc_host/host*; do
    [ -r "$fc_port/port_name" ] || continue
    printf '%s: ' "$fc_port"
    cat "$fc_port/port_name"
done

Поле port_name содержит WWPN, node_name соответствует WWNN. Если команда ничего не вывела, это не доказывает отсутствие адаптера: нужно проверить его обнаружение и загрузку драйвера. WWPN полезен для настройки доступа, но в публичные скриншоты рабочей инфраструктуры реальные идентификаторы лучше не включать.

Как обозначать Fibre Channel на схеме?

Подписывать протокол и скорость, например «FC 32G», и отдельно обозначать Fabric A и Fabric B. Для рабочей документации добавляют номера портов, идентификаторы кабелей и ссылки на таблицу WWPN. Одна цветная линия без подписей не объясняет, что именно подключено.

Fibre Channel или iSCSI: что надежнее?

Надежность определяется всей архитектурой. Один FC-коммутатор без резервных путей может оставаться единственной точкой отказа, а правильно спроектированная iSCSI-сеть может иметь несколько независимых путей. Сравнивать нужно поддерживаемые конфигурации, поведение при отказах и возможности команды сопровождения.

Что подготовить для подбора Fibre Channel SAN

Для расчета конфигурации передайте специалистам Start Server модели серверов и СХД, количество узлов, ОС или гипервизор, текущие HBA и коммутаторы, длины трасс и требования к доступности. Если SAN уже работает, полезны данные о загрузке портов, задержках и профиле операций.