stringtranslate.com

Ceph (программное обеспечение)

Ceph (произносится как / ˈsɛf / ) — это бесплатная и программно-определяемая платформа хранения с открытым исходным кодом , которая обеспечивает объектное хранилище , [7] блочное хранилище и файловое хранилище , построенное на общей распределенной кластерной основе. Ceph обеспечивает распределенную работу без единой точки отказа и масштабируемость до уровня эксабайт . Начиная с версии 12 (Luminous), Ceph не полагается на какую-либо другую традиционную файловую систему и напрямую управляет жесткими дисками и твердотельными накопителями с помощью собственного бэкэнда хранилища BlueStore и может предоставлять файловую систему POSIX .

Ceph реплицирует данные с отказоустойчивостью [8] , используя стандартное оборудование и Ethernet IP и не требуя специальной аппаратной поддержки. Ceph отличается высокой доступностью и обеспечивает высокую надежность данных с помощью таких методов, как репликация, кодирование стирания , моментальные снимки и клоны. По своей конструкции система является как самовосстанавливающейся, так и самоуправляемой , что сводит к минимуму время администрирования и другие расходы.

Крупномасштабные производственные развертывания Ceph включают CERN , [9] [10] OVH [11] [12] [13] [14] и DigitalOcean . [15] [16]

Дизайн

Общий обзор внутренней организации Ceph [17] : 4 

Ceph использует пять различных видов демонов : [17]

Все они полностью распределены и могут быть развернуты на отдельных выделенных серверах или в конвергентной топологии . Клиенты с различными потребностями напрямую взаимодействуют с соответствующими компонентами кластера. [21]

Ceph распределяет данные по нескольким устройствам хранения и узлам для достижения более высокой пропускной способности, аналогично RAID . Поддерживается адаптивная балансировка нагрузки , благодаря которой часто используемые службы могут быть реплицированы на большем количестве узлов. [22]

По состоянию на сентябрь 2017 года BlueStore является стандартным и рекомендуемым бэкэндом хранилища для производственных сред, [23] который обеспечивает лучшую задержку и настраиваемость, чем старый бэкэнд Filestore, и избегает недостатков хранилища на основе файловой системы, включающих дополнительные уровни обработки и кэширования. Бэкэнд Filestore будет объявлен устаревшим с момента выпуска Reef в середине 2023 года. XFS была рекомендуемой базовой файловой системой для OSD Filestore, а Btrfs можно было использовать на свой страх и риск. Файловые системы ext4 не рекомендовались из-за ограниченной емкости метаданных. [24] Бэкэнд BlueStore по-прежнему использует XFS для небольшого раздела метаданных. [25]

Хранилище объектов S3

Архитектурная схема, показывающая взаимосвязи между компонентами платформы хранения Ceph

Ceph реализует распределенное хранилище объектов через шлюз RADOS ( ceph-rgw ), который предоставляет доступ к базовому уровню хранения через интерфейс, совместимый с Amazon S3 или OpenStack Swift .

Развертывания Ceph RGW легко масштабируются и часто используют большие и плотные носители данных для массовых случаев использования, которые включают в себя большие данные (datalayes), резервные копии и архивы , IoT , мультимедиа, видеозаписи и образы развертывания для виртуальных машин и контейнеров . [26]

Библиотеки программного обеспечения Ceph предоставляют клиентским приложениям прямой доступ к надежной системе хранения объектов RADOS ( autonomic distributed object store ). Чаще всего используются библиотеки для служб Ceph RADOS Block Device (RBD), RADOS Gateway и Ceph File System . Таким образом, администраторы могут поддерживать свои устройства хранения в единой системе, что упрощает репликацию и защиту данных.

Библиотеки программного обеспечения "librados" обеспечивают доступ в C , C++ , Java , PHP и Python . RADOS Gateway также предоставляет хранилище объектов как интерфейс RESTful , который может представлять как собственные API Amazon S3 и OpenStack Swift .

Блочное хранение

Ceph может предоставлять клиентам тонко-обеспеченные блочные устройства . Когда приложение записывает данные в Ceph с помощью блочного устройства, Ceph автоматически разбивает данные на полосы и реплицирует их по всему кластеру. Устройство Ceph RADOS Block Device (RBD) также интегрируется с виртуальными машинами на основе ядра (KVM).

Блочное хранилище Ceph может быть развернуто на традиционных HDD и/или SSD , которые связаны с блочным хранилищем Ceph для вариантов использования, включая базы данных, виртуальные машины, аналитику данных, искусственный интеллект и машинное обучение. Клиенты блочного хранилища часто требуют высокой пропускной способности и IOPS , поэтому развертывания Ceph RBD все чаще используют SSD с интерфейсами NVMe .

"RBD" построен на основе основополагающей системы хранения объектов RADOS от Ceph, которая обеспечивает интерфейс librados и файловую систему CephFS. Поскольку RBD построен на librados, RBD наследует возможности librados, включая клоны и моментальные снимки . Распределяя тома по кластеру, Ceph повышает производительность для образов больших блочных устройств.

"Ceph-iSCSI" — это шлюз, который обеспечивает доступ к распределенному, высокодоступному блочному хранилищу с серверов или клиентов Microsoft Windows и VMware vSphere, способных говорить по протоколу iSCSI . Используя ceph-iscsi на одном или нескольких хостах шлюза iSCSI, образы Ceph RBD становятся доступными как логические единицы (LU), связанные с целями iSCSI, к которым можно получить доступ в опционально сбалансированном по нагрузке, высокодоступном режиме.

Поскольку конфигурация ceph-iscsi хранится в хранилище объектов Ceph RADOS, хосты шлюза ceph-iscsi изначально не имеют постоянного состояния и, таким образом, могут быть заменены, дополнены или сокращены по желанию. В результате Ceph Storage позволяет клиентам запускать действительно распределенную, высокодоступную, отказоустойчивую и самовосстанавливающуюся технологию корпоративного хранения на стандартном оборудовании и полностью открытой платформе.

Блочное устройство может быть виртуализировано, предоставляя блочное хранилище виртуальным машинам на таких платформах виртуализации, как Openshift , OpenStack , Kubernetes , OpenNebula , Ganeti , Apache CloudStack и Proxmox Virtual Environment .

Хранение файлов

Файловая система Ceph (CephFS) работает на той же основе RADOS, что и службы объектного хранилища и блочных устройств Ceph. Сервер метаданных CephFS (MDS) предоставляет службу, которая сопоставляет каталоги и имена файлов файловой системы с объектами, хранящимися в кластерах RADOS. Кластер сервера метаданных может расширяться или сжиматься, и он может динамически перебалансировать ранги метаданных файловой системы для равномерного распределения данных между хостами кластера. Это обеспечивает высокую производительность и предотвращает большие нагрузки на определенные хосты в кластере.

Клиенты монтируют файловую систему, совместимую с POSIX, используя клиент ядра Linux . Также доступен более старый клиент на базе FUSE . Серверы работают как обычные демоны Unix .

Файловое хранилище Ceph часто ассоциируется со сбором журналов, обменом сообщениями и хранением файлов.

Панель инструментов

Целевая страница Ceph Dashboard (2023)

С 2018 года также существует проект веб-интерфейса Dashboard, который помогает управлять кластером. Он разрабатывается сообществом Ceph на LGPL-3 и использует Ceph-mgr, Python , Angular framework и Grafana . [27] Целевая страница была обновлена ​​в начале 2023 года. [28]

Предыдущие панели мониторинга были разработаны, но сейчас закрыты: Calamari (2013–2018), OpenAttic (2013–2019), VSM (2014–2016), Inkscope (2015–2016) и Ceph-Dash (2015–2017). [29]

Малиновый

Начиная с 2019 года проект Crimson перестраивает путь данных OSD. Цель Crimson — минимизировать задержку и нагрузку на ЦП. Современные устройства хранения данных и интерфейсы, включая NVMe и 3D XPoint, стали намного быстрее, чем HDD и даже SAS/SATA SSD , но производительность ЦП не поспевает за ними. Более того, crimson-osd призван стать обратно совместимой заменой ceph -osd . Хотя Crimson может работать с бэкэндом BlueStore (через AlienStore), новая собственная реализация ObjectStore под названием SeaStore также разрабатывается вместе с CyanStore для целей тестирования. Одной из причин создания SeaStore является то, что поддержка транзакций в бэкэнде BlueStore предоставляется RocksDB , которую необходимо перестроить для достижения лучшего параллелизма. [30] [31] [32]

История

Ceph был создан Сейджем Вейлом для его докторской диссертации [33] , которую консультировал профессор Скотт А. Брандт из Школы инженерии Джека Баскина Калифорнийского университета в Санта-Крузе ( UCSC) и спонсировала Программа передового моделирования и вычислений (ASC), включая Лос-Аламосскую национальную лабораторию (LANL), Сандийские национальные лаборатории (SNL) и Ливерморскую национальную лабораторию им. Лоуренса (LLNL). [34] Первая строка кода, которая в конечном итоге стала частью Ceph, была написана Сейджем Вейлом в 2004 году во время летней стажировки в LLNL, где он работал над масштабируемым управлением метаданными файловой системы (сегодня известным как MDS Ceph). [35] В 2005 году в рамках летнего проекта, инициированного Скоттом А. Брандтом и возглавляемого Карлосом Мальцаном, Сейдж Вейл создал полностью функциональный прототип файловой системы, который получил название Ceph. Ceph дебютировал с Сейджем Вейлом, который провел две презентации в ноябре 2006 года: одну на USENIX OSDI 2006 [36] и другую на SC '06. [37]

После окончания университета осенью 2007 года Вайль продолжил работать над Ceph на постоянной основе, а основная команда разработчиков расширилась, включив в себя Йехуду Садеха Вайнрауба и Грегори Фарнума. 19 марта 2010 года Линус Торвальдс объединил клиент Ceph с ядром Linux версии 2.6.34 [38] [39], которое было выпущено 16 мая 2010 года. В 2012 году Вайль создал Inktank Storage для профессиональных услуг и поддержки Ceph. [40] [41]

В апреле 2014 года Red Hat приобрела Inktank, перенеся большую часть разработки Ceph на собственные нужды, чтобы сделать его рабочей версией для предприятий с поддержкой (горячая линия) и постоянным обслуживанием (новые версии). [42]

В октябре 2015 года был сформирован Консультативный совет сообщества Ceph, чтобы помочь сообществу в продвижении направления программно-определяемой технологии хранения данных с открытым исходным кодом. В состав консультативного совета входят члены сообщества Ceph из глобальных ИТ-организаций, которые привержены проекту Ceph, включая людей из Red Hat , Intel , Canonical , CERN , Cisco , Fujitsu , SanDisk и SUSE . [43]

В ноябре 2018 года Linux Foundation запустил Ceph Foundation в качестве преемника Ceph Community Advisory Board. Среди основателей Ceph Foundation были Amihan, Canonical , China Mobile , DigitalOcean , Intel , OVH , ProphetStor Data Services, Red Hat , SoftIron, SUSE , Western Digital , XSKY Data Technology и ZTE . [44]

В марте 2021 года SUSE прекратила выпуск своего продукта Enterprise Storage, включавшего Ceph, в пользу Longhorn от Rancher [45] , а бывший веб-сайт Enterprise Storage был обновлен с заявлением о том, что «SUSE переориентировала усилия по хранению данных на обслуживание наших стратегических клиентов SUSE Enterprise Storage и больше не занимается активными продажами SUSE Enterprise Storage». [46]

История релизов

Легенда:
Старая версия, не поддерживается
Старая версия, все еще поддерживается
Последняя версия
Последняя предварительная версия
Будущий релиз

Доступные платформы

Хотя Ceph в основном создан для Linux, он также частично перенесен на платформу Windows. Он готов к использованию в Windows Server 2016 (некоторые команды могут быть недоступны из-за отсутствия реализации сокета UNIX ), Windows Server 2019 и Windows Server 2022 , но тестирование/разработку можно проводить также в Windows 10 и Windows 11. Ceph RBD и CephFS можно использовать в Windows, но OSD на этой платформе не поддерживается. [54] [5] [55]

Существует также реализация Ceph для FreeBSD . [4]

Этимология

Название «Ceph» является сокращенной формой от « головоногие », класса моллюсков , включающего кальмаров, каракатиц, наутилоидов и осьминогов. Название (подчеркнуто логотипом) предполагает весьма параллельное поведение осьминога и было выбрано, чтобы связать файловую систему с «Сэмми», банановым слизнем -талисманом Калифорнийского университета в Санта-Крузе . [17] И головоногие, и банановые слизни являются моллюсками.

Смотрите также

Ссылки

  1. ^ "Ceph Community Forms Advisory Board". 2015-10-28. Архивировано из оригинала 2019-01-29 . Получено 2016-01-20 .
  2. ^ https://ceph.io/en/news/blog/2024/v19-2-0-squid-released/ . Получено 3 октября 2024 г. . {{cite web}}: Отсутствует или пусто |title=( помощь )
  3. ^ "Репозиторий GitHub". GitHub .
  4. ^ ab "Ежеквартальный отчет о состоянии FreeBSD".
  5. ^ ab "Установка Ceph на Windows". Ceph . Получено 2 июля 2023 г. .
  6. ^ "Файл лицензии LGPL2.1 в исходниках Ceph". GitHub . 2014-10-24 . Получено 2014-10-24 .
  7. ^ Николя, Филипп (15 июля 2016 г.). «Любители истории: Хранение объектов... с самого начала». The Register .
  8. ^ Джереми Эндрюс (2007-11-15). "Ceph Distributed Network File System". KernelTrap . Архивировано из оригинала 2007-11-17 . Получено 2007-11-15 .
  9. ^ "Ceph Clusters". CERN . Получено 12 ноября 2022 г.
  10. ^ «Операции Ceph в ЦЕРНе: куда мы идем отсюда? — Дэн ван дер Стер и Тео Муратидис, ЦЕРН». YouTube . 24 мая 2019 г. . Получено 12 ноября 2022 г. .
  11. ^ Дорош, Филип (15 июня 2020 г.). «Путешествие к хранилищу Ceph следующего поколения в OVHcloud с LXD». OVHcloud . Получено 12 ноября 2022 г. .
  12. ^ "Распределенная файловая система CephFS". OVHcloud . Получено 12 ноября 2022 г. .
  13. ^ "Ceph - Распределенная система хранения данных в OVH [en] - Bartłomiej Święcki". YouTube . 7 апреля 2016 г. . Получено 12 ноября 2022 г. .
  14. ^ "200 кластеров против 1 администратора - Бартош Рабиега, OVH". YouTube . 24 мая 2019 . Получено 15 ноября 2022 .
  15. ^ Д'Атри, Энтони (31 мая 2018 г.). «Почему мы выбрали Ceph для создания блочного хранилища». DigitalOcean . Получено 12 ноября 2022 г. .
  16. ^ "Ceph Tech Talk: Ceph at DigitalOcean". YouTube . 7 октября 2021 г. . Получено 12 ноября 2022 г. .
  17. ^ abc M. Tim Jones (2010-06-04). "Ceph: распределенная файловая система Linux петабайтного масштаба" (PDF) . IBM . Получено 2014-12-03 .
  18. ^ "BlueStore". Ceph . Получено 29-09-2017 .
  19. ^ "BlueStore Migration". Архивировано из оригинала 2019-12-04 . Получено 2020-04-12 .
  20. ^ "Ceph Manager Daemon — Ceph Documentation". docs.ceph.com . Архивировано из оригинала 6 июня 2018 г. Получено 31 января 2019 г. ссылка на архив Архивировано 19 июня 2020 г. на Wayback Machine
  21. ^ Джейк Эдж (14.11.2007). "Файловая система Ceph". LWN.net .
  22. ^ Энтони Д'Атри, Вайбхав Бхембре (2017-10-01). «Изучение Ceph, второе издание». Packt .
  23. ^ Sage Weil (29.08.2017). "Выпущена версия 12.2.0 Luminous". Блог Ceph.
  24. ^ "Рекомендации по жесткому диску и файловой системе". ceph.com. Архивировано из оригинала 2017-07-14 . Получено 2017-06-26 .
  25. ^ "BlueStore Config Reference". Архивировано из оригинала 20 июля 2019 г. Получено 12 апреля 2020 г.
  26. ^ "10-я Международная конференция "Распределенные вычисления и грид-технологии в науке и образовании" (GRID'2023)". ОИЯИ (Indico) . 2023-07-03 . Получено 2023-08-09 .
  27. ^ "Ceph Dashboard". Документация Ceph . Получено 11 апреля 2023 г.
  28. ^ Гомес, Педро Гонсалес (23 февраля 2023 г.). «Представляем новую целевую страницу панели мониторинга» . Получено 11 апреля 2023 г.
  29. ^ «Управление Ceph с панели управления Ceph: прошлое, настоящее и будущее». YouTube . 22 ноября 2022 г. . Получено 11 апреля 2023 г. .
  30. ^ Just, Sam (18 января 2021 г.). «Crimson: развитие Ceph для высокопроизводительного NVMe». Red Hat Emerging Technologies . Получено 12 ноября 2022 г. .
  31. ↑ Just, Samuel (10 ноября 2022 г.). «Что нового в Crimson and Seastore?». YouTube . Получено 12 ноября 2022 г.
  32. ^ "Crimson: Следующее поколение Ceph OSD для многоядерной масштабируемости". Блог Ceph . Ceph. 7 февраля 2023 г. Получено 11 апреля 2023 г.
  33. ^ Sage Weil (2007-12-01). "Ceph: надежное, масштабируемое и высокопроизводительное распределенное хранилище" (PDF) . Калифорнийский университет, Санта-Круз . Архивировано из оригинала (PDF) 2017-07-06 . Получено 2017-03-11 .
  34. ^ Гэри Грайдер (2004-05-01). "История и стратегия масштабируемого ввода-вывода ASCI/DOD" (PDF) . Университет Миннесоты . Получено 2019-07-17 .
  35. ^ Динамическое управление метаданными для файловых систем петабайтного масштаба, SA Weil, KT Pollack, SA Brandt, EL Miller, Proc. SC'04, Питтсбург, Пенсильвания, ноябрь 2004 г.
  36. ^ "Ceph: масштабируемая, высокопроизводительная распределенная файловая система", SA Weil, SA Brandt, EL Miller, DDE Long, C Maltzahn, Proc. OSDI, Сиэтл, Вашингтон, ноябрь 2006 г.
  37. ^ "CRUSH: контролируемое, масштабируемое, децентрализованное размещение реплицированных данных", SA Weil, SA Brandt, EL Miller, DDE Long, C Maltzahn, SC'06, Тампа, Флорида, ноябрь 2006 г.
  38. ^ Sage Weil (2010-02-19). "Клиент объединен для 2.6.34". ceph.newdream.net. Архивировано из оригинала 2010-03-23 . Получено 2010-03-21 .
  39. ^ Тим Стивенс (2010-05-20). «Новая версия ОС Linux включает файловую систему Ceph, разработанную в Калифорнийском университете в Санта-Крузе». news.ucsc.edu.
  40. ^ Брайан Богенсбергер (2012-05-03). "And It All Comes Together". Блог Inktank. Архивировано из оригинала 2012-07-19 . Получено 2012-07-10 .
  41. ^ Джозеф Ф. Ковар (10 июля 2012 г.). «10 самых крутых стартапов в сфере хранения данных 2012 года (на данный момент)». CRN . Получено 19 июля 2013 г.
  42. ^ Red Hat Inc (2014-04-30). "Red Hat приобретает Inktank, поставщика Ceph". Red Hat . Получено 2014-08-19 .
  43. ^ "Ceph Community Forms Advisory Board". 2015-10-28. Архивировано из оригинала 2019-01-29 . Получено 2016-01-20 .
  44. ^ «Linux Foundation запускает Ceph Foundation для продвижения систем хранения с открытым исходным кодом». 2018-11-12.[ постоянная мертвая ссылка ]
  45. ^ «SUSE говорит tschüss корпоративному продукту хранения данных на базе Ceph – с этого момента это Rancher's Longhorn».
  46. ^ «Программно-определяемое хранилище SUSE Enterprise».
  47. ^ Ceph.io — выпущена версия v16.2.0 Pacific
  48. ^ Ceph.io — выпущена версия 17.2.0 Quincy
  49. ^ Флорес, Лора (6 августа 2023 г.). "v18.2.0 Reef выпущен". Блог Ceph . Получено 26 августа 2023 г.
  50. ^ "Активные релизы". docs.ceph.com . Получено 3 октября 2024 г. .
  51. ^ Флорес, Лора (26 сентября 2024 г.). "v19.2.0 Squid released". Блог Ceph . Получено 3 октября 2024 г.
  52. ^ "Активные релизы". docs.ceph.com . Получено 3 октября 2024 г. .
  53. ^ "Ceph Developer Summit - Tentacle". ceph.io . Получено 3 октября 2024 г. .
  54. ^ "Ceph для Windows". Cloudbase Solutions . Получено 2 июля 2023 г.
  55. ^ Пилотти, Алессандро. «Ceph on Windows». YouTube . Получено 2 июля 2023 г.

Дальнейшее чтение

Внешние ссылки

Найдите κεφαλή в Викисловаре, бесплатном словаре.
На Викискладе есть медиафайлы по теме Ceph .