Файловая система MapR ( MapR FS ) — это кластерная файловая система , которая поддерживает как очень крупномасштабное, так и высокопроизводительное использование. [1] MapR FS поддерживает различные интерфейсы, включая обычный доступ к файлам для чтения/записи через NFS и интерфейс FUSE, а также через интерфейс HDFS, используемый многими системами, такими как Apache Hadoop и Apache Spark . [2] [3] Помимо доступа к файлам, MapR FS поддерживает доступ к таблицам и потокам сообщений с использованием API-интерфейсов Apache HBase и Apache Kafka , а также через интерфейс базы данных документов.
MapR FS , впервые выпущенная в 2010 году, [4] теперь обычно описывается как MapR Converged Data Platform из-за добавления табличных интерфейсов и интерфейсов обмена сообщениями. Однако для реализации всех этих форм постоянного хранения данных используется одна и та же базовая технология, и все интерфейсы в конечном итоге поддерживаются одними и теми же серверными процессами. Чтобы различать различные возможности общей платформы данных, термин MapR FS используется более конкретно для обозначения файлово-ориентированных интерфейсов, MapR DB или MapR JSON DB используется для обозначения табличных интерфейсов, а MapR Streams используется для описания возможности потоковой передачи сообщений.
MapR FS — это кластерная файловая система, которая обеспечивает единый доступ файлов к другим объектам, таким как таблицы, используемые в качестве универсального пространства имен, доступного из любого клиента системы. Контроль доступа также предоставляется для файлов, таблиц и потоков, используемых в качестве выражений контроля доступа , который является расширением более распространенного (и ограниченного) списка управления доступом , который разрешает разрешения из составленных списков разрешенных пользователей или групп, но вместо этого логические значения допускают комбинации идентификатор пользователя и группы.
MapR FS была разработана в 2009 году компанией MapR Technologies для расширения возможностей Apache Hadoop путем предоставления более производительной и стабильной платформы. На дизайн MapR FS влияют различные другие системы, такие как файловая система Эндрю (AFS). Концепция томов в AFS имеет некоторое сходство с точки зрения пользователей, хотя реализация в MapR FS совершенно другая. Одно из основных различий между AFS и MapR FS заключается в том, что последний использует модель строгой согласованности, тогда как AFS обеспечивает только слабую согласованность.
Для достижения первоначальных целей поддержки программ Hadoop MapR FS поддерживает API HDFS путем перевода вызовов функций HDFS во внутренний API на основе специального механизма удаленного вызова процедур (RPC). Обычная модель HDFS с однократной записью заменяется в MapR FS полностью изменяемой файловой системой даже при использовании API HDFS. Возможность поддержки мутации файлов позволяет реализовать сервер NFS, который преобразует операции NFS во внутренние вызовы MapR RPC. Подобные механизмы используются для обеспечения интерфейса «Файловая система в пользовательском пространстве » (FUSE) и приблизительной эмуляции API Apache HBase .
Файлы в MapR FS внутренне реализуются путем разделения содержимого файла на фрагменты , обычно каждый размером 256 МБ, хотя размер каждого файла индивидуален. Каждый чанк записывается в контейнеры , которые являются элементом репликации в кластере. Контейнеры реплицируются, и репликация выполняется либо линейным способом, при котором каждая реплика пересылает операции записи следующей реплике в очереди, либо по схеме « звезда» , при которой главная реплика пересылает операции записи всем остальным репликам одновременно. Записи подтверждаются главной репликой, когда все записи во все реплики завершены. Внутри контейнеры реализуют B-деревья , которые используются на нескольких уровнях, например, для сопоставления смещения файла с фрагментом внутри файла или для сопоставления смещения файла с правильным блоком размером 8 КБ внутри фрагмента.
Эти B-деревья также используются для реализации каталогов. Длинный хеш каждого имени файла или каталога в каталоге используется для поиска дочернего файла или таблицы каталогов.
Том — это специальная структура данных, во многом похожая на каталог, за исключением того, что он допускает дополнительные операции контроля доступа и управления. Примечательной особенностью томов является то, что узлы, на которых том может находиться в кластере, могут быть ограничены для контроля производительности, особенно в многопользовательских системах с высокой конкуренцией, в которых выполняется широкий спектр рабочих нагрузок.
В MapR FS используется запатентованная технология для реализации транзакций в контейнерах и обеспечения последовательного восстановления после сбоев.
Другие особенности файловой системы включают: [5]