stringtranslate.com

Апач HBase

HBase — это нереляционная распределенная база данных с открытым исходным кодом, созданная по образцу Google Bigtable и написанная на Java . Он разработан в рамках проекта Apache Hadoop Apache Software Foundation и работает поверх HDFS (распределенная файловая система Hadoop) или Alluxio , предоставляя возможности Hadoop, подобные Bigtable. То есть он обеспечивает отказоустойчивый способ хранения больших объемов разреженных данных (небольшие объемы информации, попадающие в большую коллекцию пустых или неважных данных, например, поиск 50 крупнейших элементов в группе из 2 миллиардов записей или поиск ненулевые элементы составляют менее 0,1% огромной коллекции).

HBase поддерживает сжатие, работу в памяти и фильтры Блума для каждого столбца, как описано в оригинальной статье Bigtable. [2] Таблицы в HBase могут служить входными и выходными данными для заданий MapReduce, выполняемых в Hadoop, и к ним можно получить доступ через API Java, а также через API REST , Avro или шлюза Thrift . HBase — это хранилище с широкими столбцами , получившее широкое распространение благодаря своему родству с Hadoop и HDFS. HBase работает поверх HDFS и хорошо подходит для быстрых операций чтения и записи больших наборов данных с высокой пропускной способностью и низкой задержкой ввода-вывода.

HBase не является прямой заменой классической базы данных SQL , однако проект Apache Phoenix предоставляет уровень SQL для HBase, а также драйвер JDBC , который можно интегрировать с различными приложениями аналитики и бизнес-аналитики . Проект Apache Trafodion предоставляет механизм запросов SQL с драйверами ODBC и JDBC и распределенную защиту транзакций ACID для нескольких операторов, таблиц и строк, которые используют HBase в качестве механизма хранения.

HBase сейчас обслуживает несколько веб-сайтов, управляемых данными [3] , но платформа обмена сообщениями Facebook перешла с HBase на MyRocks в 2018 году . [4] [5] В отличие от реляционных и традиционных баз данных, HBase не поддерживает сценарии SQL; вместо этого эквивалент написан на Java, используя сходство с приложением MapReduce.

Говоря языком теоремы CAP Эрика Брюэра , HBase представляет собой систему типа CP.

История

Apache HBase начался как проект компании Powerset из-за необходимости обрабатывать огромные объемы данных для целей поиска на естественном языке . С 2010 года это проект Apache верхнего уровня.

Facebook решил реализовать свою новую платформу обмена сообщениями с использованием HBase в ноябре 2010 года, но отказался от HBase в 2018 году. [4]

Серия 2.4.x — это текущая стабильная линейка выпусков, она заменяет более ранние линейки выпусков.

Варианты использования и производственное развертывание

Предприятия, использующие HBase

Ниже приводится список известных предприятий, которые использовали или используют HBase:

Смотрите также

Рекомендации

  1. ^ abc «Apache HBase – Загрузки Apache HBase» . Проверено 27 сентября 2022 г.
  2. ^ Чанг и др. (2006). Bigtable: распределенная система хранения структурированных данных
  3. ^ «Apache HBase – на базе Apache HBase» . hbase.apache.org . Проверено 8 апреля 2018 г.
  4. ^ ab «Миграция хранилища Messenger для оптимизации производительности». www.facebook.com . 26 июня 2018 года . Проверено 5 июля 2018 г.
  5. ^ Facebook: Почему наши средства связи «следующего поколения» отказались от MySQL. Дата обращения: 17 декабря 2010 г.
  6. ^ HBaseCon (2 августа 2016 г.). «Apache HBase на Airbnb». SlideShare.net . Проверено 8 апреля 2018 г.
  7. ^ «Индексирование поиска в реальном времени» .
  8. ^ «Всегда ли локальность данных в Hadoop не предусмотрена?».
  9. ^ «Почему Imgur отказался от MySQL в пользу HBase - база данных DZone» . dzone.com . Проверено 8 апреля 2018 г.
  10. ^ «Технический вторник: Уведомления Imgur: от MySQL до HBase - Блог Imgur» . blog.imgur.com . Проверено 8 апреля 2018 г.
  11. ^ Доён Юн. «S2Graph: крупномасштабная база данных графов с HBase».
  12. ^ Парк Чолсу и Ашвин Шанкар. «Netflix: интеграция Spark в петабайтном масштабе».
  13. ^ Инженерное дело, Pinterest (30 марта 2018 г.). «Повышение эффективности резервного копирования HBase в Pinterest». Середина . Проверено 14 апреля 2020 г. {{cite web}}: |first=имеет общее имя ( справка )
  14. ^ «Hbase на Salesforce.com».
  15. ^ Джош Баер. «Как Apache управляет музыкальными рекомендациями Spotify».
  16. ^ «Групповой чат Tuenti: просто, но сложно» . Архивировано из оригинала 24 ноября 2012 года . Проверено 29 сентября 2015 г.
  17. ^ "Туэнти Асинхронизм". Гитхаб . 6 ноября 2013 г.

Библиография

Внешние ссылки