Fibre Channel ( FC ) — высокоскоростной протокол передачи данных, обеспечивающий упорядоченную доставку необработанных блочных данных без потерь [1] . [2] Fibre Channel в основном используется для подключения компьютерных хранилищ данных к серверам [3] [4] в сетях хранения данных (SAN) в коммерческих центрах обработки данных .
Сети Fibre Channel образуют коммутируемую структуру , поскольку коммутаторы в сети работают в унисон как один большой коммутатор. Fibre Channel обычно работает на оптоволоконных кабелях внутри и между центрами обработки данных, но может работать и на медных кабелях. [3] [4] Поддерживаемые скорости передачи данных включают 1, 2, 4, 8, 16, 32, 64 и 128 гигабит в секунду, что является результатом усовершенствований в последовательных поколениях технологий. В настоящее время отрасль обозначает это как Gigabit Fibre Channel (GFC).
Существуют различные протоколы верхнего уровня для Fibre Channel, включая два для блочного хранения. Протокол Fibre Channel (FCP) — это протокол, который передает команды SCSI по сетям Fibre Channel. [3] [4] FICON — это протокол, который передает команды ESCON , используемые мэйнфреймами IBM , по Fibre Channel. Fibre Channel можно использовать для передачи данных из систем хранения, использующих твердотельные флэш- носители, путем передачи команд протокола NVMe .
Этимология
Когда технология была изначально разработана, она работала только по оптоволоконным кабелям и, как таковая, называлась «Fiber Channel». Позже в спецификацию была добавлена возможность работы по медным кабелям. Чтобы избежать путаницы и создать уникальное название, отрасль решила изменить написание и использовать британское английское fiber для названия стандарта. [5]
История
Fibre Channel стандартизирован в Техническом комитете T11 Международного комитета по стандартам информационных технологий ( INCITS ), аккредитованном Американским национальным институтом стандартов (ANSI) комитете по стандартам. Fibre Channel появился в 1988 году, а стандарт ANSI был одобрен в 1994 году, чтобы объединить преимущества нескольких реализаций физического уровня, включая SCSI , HIPPI и ESCON .
Fibre Channel был разработан как последовательный интерфейс для преодоления ограничений интерфейсов медных проводов параллельного сигнала физического уровня SCSI и HIPPI. Такие интерфейсы сталкиваются с проблемой, среди прочего, поддержания согласованности синхронизации сигнала по всем проводам сигнала данных (8, 16 и, наконец, 32 для SCSI, 50 для HIPPI), чтобы приемник мог определить, когда все значения электрического сигнала являются «хорошими» (стабильными и допустимыми для одновременной выборки приема). Эта задача становится все более сложной в технологии массового производства по мере увеличения частот сигнала данных, при этом часть технической компенсации заключается в постоянном уменьшении поддерживаемой длины соединительного медно-параллельного кабеля. См. Parallel SCSI . FC был разработан с использованием передовых многомодовых оптоволоконных технологий, которые преодолели ограничения скорости протокола ESCON. Обращаясь к большой базе дисковых накопителей SCSI и используя технологии мэйнфреймов, Fibre Channel разработал экономию масштаба для передовых технологий, и развертывания стали экономичными и широко распространенными.
Коммерческие продукты были выпущены, когда стандарт был еще в стадии проекта. [6] К тому времени, как стандарт был ратифицирован, версии с более низкой скоростью уже вышли из употребления. [7] Fibre Channel был первым последовательным транспортом хранения, достигшим гигабитных скоростей [8] , где он получил широкое распространение, и его успех рос с каждой последующей скоростью. Fibre Channel удваивал скорость каждые несколько лет с 1996 года.
В дополнение к современному физическому уровню, Fibre Channel также добавил поддержку любого количества протоколов «верхнего уровня», включая ATM , IP ( IPFC ) и FICON , при этом преобладающим является SCSI ( FCP ).
Fibre Channel активно развивался с момента своего создания, с многочисленными улучшениями скорости на различных базовых транспортных средах. В следующих таблицах показан прогресс собственных скоростей Fibre Channel: [9]
FC используется во всех приложениях для инфраструктуры и устройств Fibre Channel, включая периферийные и ISL-соединения. Каждая скорость поддерживает обратную совместимость по крайней мере с двумя предыдущими поколениями (например, 32GFC обратно совместима с 16GFC и 8GFC)
Межкоммутаторные соединения (ISL) обычно представляют собой многополосные соединения, используемые для неграничных, основных соединений и других высокоскоростных приложений, требующих максимальной пропускной способности. ISL используют высокие скорости передачи данных для обеспечения воронкообразной передачи граничных соединений. Некоторые решения ISL являются собственностью поставщика.
Характеристики
Две основные характеристики сетей Fibre Channel — это упорядоченная доставка и доставка необработанных блоков данных без потерь. Доставка необработанных блоков данных без потерь достигается на основе кредитного механизма. [1]
Топологии
Существует три основных топологии Fibre Channel, описывающих, как несколько портов соединены вместе. Порт в терминологии Fibre Channel — это любой объект, который активно взаимодействует по сети, не обязательно аппаратный порт . Этот порт обычно реализуется в устройстве, таком как дисковое хранилище, сетевое соединение Host Bus Adapter ( HBA ) на сервере или коммутатор Fibre Channel . [3]
Точка-точка (см.FC-FS-3). Два устройства напрямую соединены друг с другом с помощью N_портов. Это простейшая топология с ограниченной связностью.[3]Пропускная способность выделена.
Арбитражная петля (см. FC-AL-2 ). В этой конструкции все устройства находятся в петле или кольце, аналогично сети Token Ring . Добавление или удаление устройства из петли приводит к прерыванию всей активности в петле. Отказ одного устройства приводит к разрыву кольца. Концентраторы Fibre Channel существуют для соединения нескольких устройств вместе и могут обходить отказавшие порты. Петля также может быть создана путем соединения каждого порта со следующим в кольце.
Минимальный контур, содержащий всего два порта, хотя и выглядит похожим на контур «точка-точка», существенно отличается с точки зрения протокола.
Одновременно в петле может взаимодействовать только одна пара портов.
Максимальная скорость 8GFC.
После 2010 года арбитражный цикл использовался редко, и его поддержка для коммутаторов нового поколения прекращается.
Коммутируемая фабрика (см. FC-SW-6 ). В этой конструкции все устройства подключены к коммутаторам Fibre Channel , что концептуально похоже на современные реализации Ethernet . Преимущества этой топологии по сравнению с топологией точка-точка или арбитражной петлей включают:
Fabric может масштабироваться до десятков тысяч портов.
Коммутаторы управляют состоянием Fabric, предоставляя оптимизированные пути с помощью протокола маршрутизации данных Fabric Shortest Path First (FSPF).
Трафик между двумя портами проходит через коммутаторы, а не через какие-либо другие порты, как в арбитражной петле.
Отказ порта ограничивается линией связи и не должен влиять на работу других портов.
В фабрике одновременно могут взаимодействовать несколько пар портов.
Слои
Fibre Channel не следует многоуровневой модели OSI и разделен на пять уровней:
FC-4 – уровень сопоставления протоколов, в котором протоколы верхнего уровня, такие как NVM Express (NVMe), SCSI , IP и FICON , инкапсулируются в информационные единицы (IU) для доставки в FC-2. Текущие FC-4 включают FCP-4, FC-SB-5 и FC-NVMe .
FC-3 — уровень общих служб, тонкий уровень, который в конечном итоге может реализовывать такие функции, как алгоритмы шифрования или избыточности RAID ; многопортовые соединения;
FC-2 — протокол сигнализации, определенный стандартом Fibre Channel Framing and Signaling , состоит из низкоуровневых сетевых протоколов Fibre Channel ; соединений порт-порт;
FC-0 – физический уровень , определенный стандартом физических интерфейсов Fibre Channel , включает кабели, разъемы и т. д.;
Продукты Fibre Channel доступны на скоростях 1, 2, 4, 8, 10, 16, 32 и 128 Гбит/с; эти разновидности протокола называются соответственно 1GFC, 2GFC, 4GFC, 8GFC, 10GFC, 16GFC, 32GFC или 128GFC. Стандарт 32GFC был одобрен комитетом INCITS T11 в 2013 году, и эти продукты стали доступны в 2016 году. Все конструкции 1GFC, 2GFC, 4GFC, 8GFC используют кодировку 8b/10b , в то время как стандарт 10GFC и 16GFC использует кодировку 64b/66b . В отличие от стандартов 10GFC, 16GFC обеспечивает обратную совместимость с 4GFC и 8GFC, поскольку он обеспечивает ровно вдвое большую пропускную способность, чем 8GFC, или в четыре раза большую, чем 4GFC.
Порты
Порты Fibre Channel поставляются в различных логических конфигурациях. Наиболее распространенные типы портов:
N_Port (порт узла) N_Port — это обычно порт HBA, который подключается к F_Port коммутатора или другому N_Port. Nx_Port взаимодействует через PN_Port, который не управляет конечным автоматом порта Loop. [14]
F_Port (порт Fabric) F_Port — это порт коммутатора, подключенный к N_Port. [15]
E_Port (порт расширения) Порт коммутатора, который подключается к другому E_Port для создания межкоммутаторного соединения. [15]
Протоколы Fibre Channel Loop создают несколько типов портов Loop:
L_Port (порт петли) FC_Port, содержащий функции арбитражной петли, связанные с топологией арбитражной петли. [15]
FL_Port (порт Fabric Loop) L_Port, который может выполнять функцию F_Port, подключенного через ссылку к одному или нескольким NL_Port в топологии Arbitrated Loop. [15]
Если порт может поддерживать функциональность петли и без петли, то порт называется:
Порт коммутатора Fx_Port , способный работать как F_Port или FL_Port. [14]
Конечная точка Nx_Port для кадровой связи Fibre Channel, имеющая отдельный идентификатор адреса и Name_Identifier, предоставляющая независимый набор функций FC-2V для более высоких уровней и имеющая возможность действовать как Инициатор, Ответчик или и то, и другое. [14]
Порты имеют виртуальные компоненты и физические компоненты и описываются как:
Сущность PN_Port , которая включает Link_Control_Facility и один или несколько Nx_Ports. [15]
VF_Port (виртуальный F_Port) — экземпляр подуровня FC-2V, который подключается к одному или нескольким VN_Port. [15]
Экземпляр VN_Port (виртуальный N_Port) подуровня FC-2V. VN_Port используется, когда необходимо подчеркнуть поддержку нескольких Nx_Port на одном мультиплексоре (например, через один PN_Port). [14]
Экземпляр VE_Port (виртуальный E_Port) подуровня FC-2V, который подключается к другому VE_Port или к B_Port для создания межкоммутаторного соединения. [15]
В Fibre Channel также используются следующие типы портов:
A_Port (смежный порт) комбинация одного PA_Port и одного VA_Port, работающих вместе. [15]
B_Port (порт моста) Межэлементный порт структуры, используемый для соединения устройств моста с портами E_Port на коммутаторе. [14]
D_Port (диагностический порт) Настроенный порт, используемый для выполнения диагностических тестов на канале с другим D_Port. [16]
EX_Port Тип E_Port, используемый для подключения к маршрутизатору FC. [16]
G_Port (порт Generic Fabric) Порт коммутатора, который может функционировать как E_Port, A_Port или как F_Port. [15]
GL_Port (порт универсального контура коммутации) Порт коммутатора, который может функционировать как E_Port, A_Port или как Fx_Port. [15]
PE_Port LCF внутри Fabric, который подключается к другому PE_Port или к B_Port через ссылку. [14]
PF_Port LCF в структуре, которая подключается к PN_Port через ссылку. [14]
TE_Port (транкинговый E_Port) Порт расширения транкинга, который расширяет функциональность портов E для поддержки транкинга VSAN, параметров качества обслуживания на транспорте (QoS) и функции трассировки Fibre Channel (fctrace). [17]
U_Port (универсальный порт) Порт, ожидающий стать другим типом порта [16]
VA_Port (виртуальный A_Port) — экземпляр подуровня FC-2V Fibre Channel, который подключается к другому VA_Port. [15]
VEX_Port VEX_Ports ничем не отличаются от EX_Ports, за исключением того, что в качестве базового транспорта используется IP, а не FC. [16]
Медиа и модули
Физический уровень Fibre Channel основан на последовательных соединениях, которые используют оптоволокно для меди между соответствующими подключаемыми модулями. Модули могут иметь одну полосу, две полосы или четыре полосы, которые соответствуют форм-факторам SFP, SFP-DD и QSFP. Fibre Channel не использует 8- или 16-полосные модули (например, CFP8, QSFP-DD или COBO, используемые в 400GbE), и нет никаких планов использовать эти дорогие и сложные модули.
Модуль подключаемого трансивера (SFP) малого форм-фактора и его улучшенная версия SFP+, SFP28 и SFP56 являются распространенными форм-факторами для портов Fibre Channel. Модули SFP поддерживают различные расстояния через многомодовое и одномодовое оптоволокно , как показано в таблице ниже. Модули SFP используют дуплексные оптоволоконные кабели с разъемами LC.
Модули SFP-DD используются для приложений высокой плотности, которым необходимо удвоить пропускную способность порта SFP. SFP-DD определяется SFP-DD MSA и обеспечивает разрыв на два порта SFP. Два ряда электрических контактов позволяют удвоить пропускную способность модулей SFP аналогично QSFP-DD.
Модуль Quad Small Form-Factor Pluggable (QSFP) начал использоваться для межкоммутационного взаимодействия коммутаторов и позже был принят для использования в 4-полосных реализациях Gen-6 Fibre Channel с поддержкой 128GFC. QSFP использует либо разъемы LC для 128GFC-CWDM4, либо разъемы MPO для 128GFC-SW4 или 128GFC-PSM4. Кабельная разводка MPO использует инфраструктуру из 8 или 12 волокон, которая подключается к другому порту 128GFC или может быть разбита на четыре дуплексных соединения LC к портам 32GFC SFP+. Коммутаторы Fibre Channel используют либо модули SFP, либо QSFP.
Целью Fibre Channel является создание сети хранения данных (SAN) для подключения серверов к хранилищу.
SAN — это выделенная сеть, которая позволяет нескольким серверам получать доступ к данным с одного или нескольких устройств хранения. Корпоративное хранилище использует SAN для резервного копирования на вторичные устройства хранения, включая дисковые массивы , ленточные библиотеки и другие резервные копии, при этом хранилище по-прежнему доступно для сервера. Серверы также могут получать доступ к хранилищу с нескольких устройств хранения по сети.
SAN часто проектируются с двойными фабриками для повышения отказоустойчивости. Работают две совершенно отдельные фабрики, и если основная фабрика выходит из строя, то вторая фабрика становится основной.
Переключатели
Коммутаторы Fibre Channel можно разделить на два класса. Эти классы не являются частью стандарта, и классификация каждого коммутатора является маркетинговым решением производителя:
Директора предлагают большое количество портов в модульном (слотовом) шасси без единой точки отказа (высокая доступность).
Коммутаторы, как правило, представляют собой небольшие устройства с фиксированной конфигурацией (иногда полумодульные) и меньшим количеством избыточности.
Структура, состоящая полностью из продуктов одного поставщика, считается однородной . Это часто называется работой в «исходном режиме» и позволяет поставщику добавлять фирменные функции, которые могут не соответствовать стандарту Fibre Channel.
Если в одной и той же фабрике используются коммутаторы нескольких поставщиков, она неоднородна , коммутаторы могут достичь смежности только в том случае, если все коммутаторы переведены в режимы взаимодействия. Это называется режимом «открытой фабрики», поскольку коммутатору каждого поставщика может потребоваться отключить свои фирменные функции для соответствия стандарту Fibre Channel.
Некоторые производители коммутаторов предлагают множество режимов взаимодействия, выходящих за рамки состояний «родной» и «открытой структуры». Эти режимы «родной структуры взаимодействия» позволяют коммутаторам работать в родном режиме другого поставщика и при этом сохранять некоторые фирменные особенности обоих. Однако работа в родном режиме взаимодействия может по-прежнему отключать некоторые фирменные особенности и создавать структуры сомнительной стабильности.
Адаптеры хост-шины
Fibre Channel HBA , а также CNA , доступны для всех основных открытых систем , компьютерных архитектур и шин, включая PCI и SBus . HBA подключают серверы к сети Fibre Channel и являются частью класса устройств, известных как устройства трансляции. Некоторые из них зависят от ОС. Каждый HBA имеет уникальное всемирное имя (WWN), которое похоже на MAC-адрес Ethernet , поскольку оно использует организационно уникальный идентификатор (OUI), назначенный IEEE . Однако WWN длиннее (8 байт ). Существует два типа WWN на HBA: всемирное имя узла (WWNN), которое может совместно использоваться некоторыми или всеми портами устройства, и всемирное имя порта (WWPN), которое обязательно уникально для каждого порта. Адаптеры или маршрутизаторы могут подключать сети Fibre Channel к сетям IP или Ethernet. [19]
^ ab "Производительность Fibre Channel: перегрузка, медленный слив и чрезмерное использование, о боже!" (PDF) . Ассоциация промышленности Fibre Channel. 6 февраля 2018 г. Архивировано (PDF) из оригинала 01.03.2018 г. Получено 28.02.2018 г.
^ abcde Preston, W. Curtis (2002). "Архитектура Fibre Channel". Использование SAN и NAS . Севастополь, Калифорния: O'Reilly Media . стр. 19–39. ISBN978-0-596-00153-7. OCLC 472853124.
^ abc Рябов, Владимир В. (2004). "Сети хранения данных (SAN)". В Бидголи, Хоссейн (ред.). Энциклопедия Интернета. Том 3, PZ . Хобокен, Нью-Джерси: John Wiley & Sons . стр. 329–338. ISBN978-0-471-68997-3. OCLC 55610291.
^ "Fibre Channel internals". Введение в сети хранения данных . IBM . 2016. стр. 33.
^ ab IBM 7319 Model 100 Fibre Channel Switch 16/266 и IBM Fibre Channel Adapter/266
^ Физический и сигнальный интерфейс Fibre Channel (FC-PH) Версия 4.3, 1 июня 1994 г.
^ Том Кларк, Проектирование сетей хранения данных: практическое руководство по внедрению сетей хранения данных Fibre Channel и IP SAN
^ "Дорожные карты". Fibre Channel Industry Association . Получено 2023-03-05 .
^ Карта скорости Fibre Channel
^ ab Выпущена платформа Brocade 32Gb, Storagereview.com "Выпущен коммутатор Brocade G620 Gen 6 Fibre Channel". Март 2016 г. Архивировано из оригинала 2016-04-04 . Получено 2016-04-04 .
^ 128GFC: Предварительный просмотр новой скорости Fibre Channel
^ abcd "BCFA in a Nutshell Study Guide for Exam" (PDF) . Brocade Communications, Inc. Февраль 2014 г. Архивировано (PDF) из оригинала 7 сентября 2015 г. Получено 28 июня 2016 г.
^ "Руководство по настройке Cisco MDS 9000 Family Fabric Manager, выпуск 4.x". Cisco Systems, Inc. 11 ноября 2013 г. Архивировано из оригинала 21 августа 2016 г. Получено 28 июня 2016 г.
^ Перечисленные значения передатчика являются текущими указанными значениями для указанного варианта. Некоторые старые версии стандартов FC указали немного отличающиеся значения (однако указанные здесь значения попадают в допустимые отклонения +/−). Отдельные вариации для каждой спецификации указаны в ссылках, связанных с этими записями в этой таблице. FC-PH = X3T11 Project 755D; FC-PH-2 = X3T11 Project 901D; FC-PI-4 = INCITS Project 1647-D; FC-PI-5 = INCITS Project 2118D. Копии доступны в INCITS Archived 2010-09-15 на Wayback Machine .
^ "Hardware". 25 сентября 2012 г.
Стандарты INCITS
^ ab FC-PI-5 Статья 6.3
^ ab FC-PI-5 Статья 8.1
^ abcd FC-PI-4 Статья 6.3
^ abc FC-PI-4 Статья 8.1
^ ab FC-PH-2 перечисляет 1300 нм (см. пункты 6.1 и 8.1)
^ abc FC-PI пункт 8.1
^ ab FC-PH-2 пункт 8.1
^ abcd FC-PI-4 Статья 11
^ FC-PH перечисляет 1300 нм (см. пункты 6.1 и 8.1)
^ ab FC-PH Статья 8.1
^ FC-PI-5 Статья 6.4
^ FC-PI-4 Статья 6.4
^ В старых стандартах FC-PH и FC-PH-2 указано 850 нм (для кабелей 62,5 мкм) и 780 нм (для кабелей 50 мкм) (см. пункты 6.2, 8.2 и 8.3)
^ abcde FC-PI-5 Статья 8.2
^ FC-PI-5 Приложение A
^ abcde FC-PI-4 Статья 8.2
^ abcd FC-PI Статья 8.2
^ ПК-ПИ-4 Статья 8.2
^ abc PC-PI Статья 8.2
^ FC-PH Приложение C и Приложение E
Источники
Кларк, Т. Проектирование сетей хранения данных , Addison-Wesley, 1999. ISBN 0-201-61584-3
Дальнейшее чтение
RFC 2625 – IP и ARP через Fibre Channel
RFC 2837 – Определения управляемых объектов для элемента Fabric в стандарте Fibre Channel
RFC 3723 – Защита протоколов блочного хранения данных по IP