Распределенное хранилище данных — это компьютерная сеть , в которой информация хранится более чем на одном узле , часто реплицируемым образом. [1] Обычно он используется для обозначения либо распределенной базы данных , где пользователи хранят информацию на нескольких узлах , либо компьютерной сети , в которой пользователи хранят информацию на нескольких узлах одноранговой сети . [2]
Распределенные базы данных обычно представляют собой нереляционные базы данных , которые обеспечивают быстрый доступ к данным на большом количестве узлов. Некоторые распределенные базы данных предоставляют широкие возможности запросов, в то время как другие ограничены семантикой хранилища значений ключа . Примерами ограниченных распределенных баз данных являются Bigtable от Google , которая представляет собой гораздо больше, чем просто распределенная файловая система или одноранговая сеть , [3] Dynamo от Amazon [4] и Microsoft Azure Storage . [5]
Поскольку возможность произвольных запросов не так важна, как доступность , разработчики распределенных хранилищ данных увеличили последнюю за счет согласованности. Но высокоскоростной доступ для чтения/записи приводит к снижению согласованности, поскольку невозможно гарантировать как согласованность , так и доступность в разделенной сети, как утверждает теорема CAP .
В хранилищах данных одноранговой сети пользователь обычно может ответить взаимностью и разрешить другим пользователям также использовать свой компьютер в качестве узла хранения. Информация может быть доступна или недоступна другим пользователям в зависимости от конструкции сети.
Большинство одноранговых сетей не имеют распределенных хранилищ данных, поскольку данные пользователя доступны только тогда, когда их узел находится в сети. Однако это различие несколько размыто в такой системе, как BitTorrent , где исходный узел может отключиться, но контент будет продолжать обслуживаться. Тем не менее, это справедливо только для отдельных файлов, запрошенных распространителями, в отличие от таких сетей, как Freenet , Winny , Share и Perfect Dark , где любой узел может хранить любую часть файлов в сети.
Распределенные хранилища данных обычно используют метод обнаружения и исправления ошибок . Некоторые распределенные хранилища данных (например, Parchive over NNTP) используют методы прямого исправления ошибок для восстановления исходного файла, когда части этого файла повреждены или недоступны. Другие пытаются еще раз загрузить этот файл с другого зеркала.
Хотя GFS предоставляет Google надежное, масштабируемое распределенное хранилище файлов, оно не предоставляет никаких средств для структурирования данных, содержащихся в файлах, кроме иерархической структуры каталогов и осмысленных имен файлов.
Хорошо известно, что для больших наборов данных требуются более выразительные решения.
Терабайты данных Google, которые они получают от веб-сканеров, среди многих других источников, нуждаются в организации, чтобы клиентские приложения могли быстро выполнять поиск и обновление с более высокой степенью детализации, чем на уровне файлов.
[...] Самое первое, что вам нужно знать о Bigtable, это то, что это не реляционная база данных.
Это не должно вызывать удивления: одна из постоянных тем во всех этих статьях о крупномасштабных распределенных хранилищах данных заключается в том, что СУРБД трудно обеспечить хорошую производительность.
В Bigtable нет жесткой фиксированной схемы, нет ссылочной целостности между таблицами (поэтому нет внешних ключей) и, следовательно, мало поддержки оптимизированных соединений.
Dynamo: высокодоступное и масштабируемое распределенное хранилище данных.