Распределенная файловая система OneFS

Файловая система

Файловая система OneFS — это параллельная распределенная сетевая файловая система, разработанная Isilon Systems и лежащая в основе горизонтально масштабируемой платформы хранения данных Isilon . ^[3] Файловая система OneFS контролируется и управляется операционной системой OneFS , вариантом FreeBSD . ^[3]

Структура на диске

Все структуры данных в файловой системе OneFS сохраняют собственную защитную информацию. Это означает, что в одной и той же файловой системе один файл может быть защищен со степенью +1 (базовая защита по четности), тогда как другой может быть защищен со степенью +4 (устойчивость к четырем сбоям), а еще один файл может быть защищен со степенью 2x ( зеркалирование ); эта функция называется FlexProtect. ^[4] FlexProtect также отвечает за автоматическое восстановление данных в случае сбоя. Доступные уровни защиты основаны на количестве узлов в кластере и следуют алгоритму Рида-Соломона . Блоки отдельного файла распределены по узлам. Это позволяет целым узлам выходить из строя без потери доступа к каким-либо данным. Метаданные файлов , каталоги, структуры моментальных снимков , структуры квот и структура сопоставления логических индексных дескрипторов основаны на зеркальных деревьях B+ . Адреса блоков — это обобщенные 64-битные указатели , которые ссылаются на кортежи (узел, диск, blknum) . Собственный размер блока составляет 8192 байта; Индексные дескрипторы имеют размер 512 байт на диске (для дисков с секторами по 512 байт) или 8 КБ (для дисков с секторами по 4 КБ).

Одной из отличительных особенностей OneFS является то, что метаданные равномерно распределяются по узлам. Выделенных серверов метаданных нет. Единственная часть метаданных, которая реплицируется на каждом узле, — это список адресов корневых блоков btree структуры отображения индексного дескриптора. Все остальное можно найти из этой отправной точки, следуя обобщенным 64-битным указателям.

Кластеризация

Совокупность компьютерных хостов, составляющих систему OneFS, называется « кластером ». Хост-компьютер, являющийся членом кластера OneFS, называется « узлом » (множественное число « узлы »).

Узлы, составляющие систему OneFS, должны быть соединены высокопроизводительной внутренней сетью с малой задержкой для обеспечения оптимальной производительности. OneFS 1.0–3.0 использовал Gigabit Ethernet в качестве внутренней сети. Начиная с OneFS 3.5, Isilon предлагала модели InfiniBand . Примерно с 2007 года до середины 2018 года все проданные узлы использовали серверную часть InfiniBand. Начиная с моделей OneFS 8.1.0 и Gen6, Isilon снова предлагает внутреннюю сеть Ethernet (10, 25, 40 или 100 гигабит). ^[5]

Данные, метаданные, блокировки, транзакции, управление группами, распределение и трафик событий передаются с помощью механизма RPC , перемещающегося по внутренней сети кластера OneFS. Все передачи данных и метаданных выполняются без копирования . Все операции модификации структур на диске являются транзакционными и протоколируются .

Протоколы

OneFS поддерживает доступ к сохраненным файлам с использованием распространенных протоколов компьютерных сетей, включая NFS , CIFS/SMB , FTP , HTTP и HDFS . ^[3] Он может использовать нелокальную аутентификацию, такую ​​как Active Directory , LDAP и NIS . Он способен взаимодействовать с внешними устройствами резервного копирования и приложениями, использующими протокол NDMP . ^[3]

Операционная система OneFS

Файловая система OneFS — это проприетарная файловая система, которой можно управлять и контролировать только операционную систему OneFS, производную от FreeBSD . ^[3]

zsh — это оболочка входа по умолчанию в операционной системе OneFS. OneFS представляет собой специализированный набор команд для администрирования файловой системы OneFS. ^[6] Большинство специализированных программ оболочки начинаются с букв isi . Заметными исключениями являются расширения Isilon для FreeBSD lsи chmodпрограмм. ^[7]

Версии

• 1,0 «Белл», 2,0 «Халапеньо», 3,0 «Серрано», 3,5 «Табаско».
• 4,0 «Поблано», 4,1 «Анахайм», 4,5 «Тайский», 4,6 «Анчо»
• 4.7 «Чилтепин»
  • от 4.7.1 до .11
• 5.0 «Ямайский»
  • от 5.0.0 до .8
• 5.5 «Шотландский капот» (на основе FreeBSD 6.1) ^{[8] [9]}
  • 5.5.1 до .2
  • 5.5.3 - Обновления ОС с постепенными перезагрузками отдельных узлов.
  • 5.5.4 — Добавляет iSCSI
  • от 5.5.5 до 0,7
• 6.0 "Habanero" - До 10,4 ПБ в одной файловой системе
  • от 6.0.1 до .4
• 6.5 «Чопу» (на базе FreeBSD 7.3) ^[8]
  • от 6.5.1 до 0,5
• 7.0 «Маверикс» — выпущена в ноябре 2012 г.; ^[10] (на основе FreeBSD 7.4-STABLE) ^[8]
  • от 7.0.1 до .2
• 7.1 «Вайкики» — выпущена в октябре 2013 г. ^[11]
  • 7.1.1 «Челюсти» — выпущена в июле 2014 г. ^[12]
• 7.2 «Моби» — выпущен в ноябре 2014 г. ^[13]
  • 7.2.0, 7.2.1 «Косатка»
• 8.0 «Riptide» (на базе FreeBSD 10) — выпущена в феврале 2016 г. ^[14] — iSCSI устарел.
  • 8.0.1 «Халфпайп» — выпущена в октябре 2016 г. ^[15]
• 8.1 «Грузовые поезда» - выпущено в июне 2017 г. ^[16]
  • 8.1.1 «Нидзима» — выпущен в январе 2018 г. ^{[17] [18]}
  • 8.1.2 «Канагава» — выпущено в августе 2018 г. ^[19]
  • 8.1.3 «Сейсмика» — выпущено в январе 2019 г.
• 8.2.0 «Конвейер» (на базе FreeBSD 11) — выпущен в мае 2019 г. ^[20]
  • 8.2.1 «Acela» — выпущено в сентябре 2019 г. ^[21]
  • 8.2.2 «Beachcomber» — выпущено в январе 2020 г. ^[22]
• 9.0.0 «Каскады» — выпущено в июне 2020 г.
  • 9.1.0 «Деккан» — выпущено в октябре 2020 г. ^[23]
  • 9.2.0 «Империя» — выпущено в апреле 2021 г. ^[24]
  • 9.2.1 «Летучий шотландец» — выпущен в мае 2021 г. ^[24]
  • 9.3 «Готэм» — выпущен в октябре 2021 г. ^[24]
  • 9.4 «Hexie» — выпущено в апреле 2022 г. ^[24]
  • 9.5 «Айлендер» — выпущено в январе 2023 г. ^[24]
  • 9.6 «Реактивная ракета» — выпущена в мае 2023 г. ^[25]
  • 9.7 «Ки-Уэст» — выпущено в декабре 2023 г. ^[26]

Смотрите также

• Список файловых систем
• Кластерная файловая система

Рекомендации

1. «Isilon OneFS и IsilonSD Edge: Руководство по техническим характеристикам» (PDF) . Dell Inc., июнь 2018 г.
2. Адам Армстронг (12 февраля 2019 г.). «Dell EMC выпускает All-Flash Isilon F810» . Компания «Летающая свинья».
3. «Операционная система Dell EMC Isilon OneFS — основа горизонтально масштабируемой платформы хранения данных Isilon» (PDF) . 9.0. Dell Inc., февраль 2019 г.
4. «Защита и резервное копирование данных» ^{[ неработающая ссылка ]}
5. «Производительность Isilon Gen6» (PDF) . Делл Инк.
6. «Справочник по командной строке OneFS»».^{[ мертвая ссылка ]}
7. Акиб Кази (ноябрь 2018 г.). «Аутентификация, управление идентификацией и авторизация Isilon OneFS — многопротокольный доступ к данным с единой моделью безопасности» (PDF) . Делл ЭМС.
8. Определяется __FreeBSD_version определением в /usr/include/sys/param.h. Дополнительную информацию смотрите в Руководстве по портированию FreeBSD .
9. Проект документации FreeBSD. «18». Справочник портировщика FreeBSD . Проверено 1 декабря 2011 г.
10. Патель, Мона (16 ноября 2012 г.). «EMC Isilon OneFS 7.0: объединение больших данных и предприятия». Блог EMC о больших данных . Архивировано из оригинала 12 февраля 2013 года . Проверено 18 января 2013 г.
11. Грокотт, Сэм (30 октября 2013 г.). «Наконец-то появилась масштабируемая система хранения больших данных Isilon OneFS 7.1!». Блог EMC Pulse . Проверено 30 октября 2013 г.
12. Хьюз, Кэролайн (8 июля 2014 г.). «Счастливого запуска, @EMCIsilon! Две фантастические новые платформы, флеш-память в качестве кэша, новая HDFS и невероятная производительность OneFS 7.1.1 «Челюсти!» Молодец, команда!"". @carolyn_hugs Твиттер . Проверено 2 сентября 2014 г.
13. «Выпуск OneFS 7.2.x» . Dell Inc., 31 октября 2014 г.
14. Галант, Риса (1 февраля 2016 г.). «Анонс OneFS 8.0.0».
15. Ной, Дэвид (25 октября 2016 г.). «Анонсируем Isilon OneFS 8.0.1».
16. Джолли, Тодд (21 июня 2017 г.). «Dell EMC объявляет о выпуске платформы Isilon поколения 6 и OneFS 8.1». Делл Инк.
17. Стивенсон, Расс (29 января 2018 г.). «Поддержка OneFS 8.1.1.0 и Cloudera CDH 5.13+ для Cloudera Navigator».
18. «Примечания к выпуску Isilon OneFS версии 8.1.1» (PDF) . Dell Inc., 1 января 2018 г.
19. «Документация OneFS 8.1.2 — информационный центр Isilon» . Dell Inc., 3 августа 2018 г.
20. «Примечания к выпуску OneFS 8.2.0» (PDF) . Dell Inc., 3 мая 2019 г.
21. «Примечания к выпуску OneFS 8.2.1» (PDF) . Делл. 6 сентября 2019 г.
22. «Примечания к выпуску OneFS 8.2.2» (PDF) . Делл. 16 января 2020 г.
23. Малфорд, Хуан (08.10.2020). «Выпущена PowerScale OneFS 9.1 от Dell Technologies». Обзор хранилища .
24. Тримби, Ник (январь 2023 г.). «Dell PowerScale OneFS: Содержание выпуска». Делл Инк.
25. «Примечания к выпуску PowerScale OneFS 9.6.xx» . Dell Inc., май 2023 г.
26. Тримби, Ник (13 декабря 2023 г.). «PowerScale OneFS 9.7».

Внешние ссылки

• Официальный веб-сайт