stringtranslate.com

Апач Дрель

Apache Drill — это программная платформа с открытым исходным кодом , которая поддерживает распределенные приложения с интенсивным использованием данных для интерактивного анализа крупномасштабных наборов данных. Созданный в основном благодаря разработчикам MapR , [1] [2] Drill вдохновлен системой Google Dremel . [3] Drill — это проект верхнего уровня Apache. [4] Том Ширан — основатель проекта Apache Drill. [5] В декабре 2016 года он был признан проектом высшего уровня Apache Software Foundation. [6]

Drill поддерживает различные базы данных и файловые системы NoSQL , включая Alluxio , HBase , MongoDB , MapR -DB, HDFS , MapR-FS , Amazon S3 , Azure Blob Storage , Google Cloud Storage , Swift , NAS и локальные файлы. Один запрос может объединять данные из нескольких хранилищ данных.

Оптимизатор Drill с учетом хранилища данных автоматически реструктурирует план запроса, чтобы использовать возможности внутренней обработки хранилища данных. Кроме того, Drill поддерживает локальность данных , если Drill и хранилище данных находятся на одних узлах. [7]

Функции

Одна из явно заявленных целей разработки заключается в том, что Drill способен масштабироваться до 10 000 и более серверов и обрабатывать петабайты данных и триллионы записей за секунды. [8]

Внутренняя поддержка

Drill в первую очередь ориентирован на нереляционные хранилища данных, включая текстовые файлы Apache Hadoop , NoSQL и облачные хранилища. Примечательная функция также включает в себя запросы на месте к локальным файлам JSON и Apache Parquet. Некоторые дополнительные хранилища данных, которые он поддерживает, включают:

Новое хранилище данных можно добавить, разработав плагин хранилища. Модель данных JSON, не содержащая схем, позволяет Drill выполнять запросы к нереляционным хранилищам данных на месте. [9]

Внешняя поддержка

Саму детализацию можно запросить через JDBC , ODBC или REST с помощью различных методов и языков, включая Python и Java. Установка по умолчанию включает веб-интерфейс, позволяющий конечным пользователям напрямую выполнять ANSI SQL и экспортировать таблицы данных в виде файлов CSV без какого-либо программирования.

Библиотека информационных панелей Apache Superset [ 10] особенно хорошо подходит для визуализации данных, запрошенных с помощью Drill.

Смотрите также

Рекомендации

  1. ↑ Фридман, Эллен (21 сентября 2015 г.). «Apache Drill: отслеживание своей истории как сообщества с открытым исходным кодом». Архивировано из оригинала 18 марта 2016 года.
  2. ^ «Кратко о различиях между Apache Drill и Presto» . ХайтекНектар . Проверено 13 апреля 2023 г.
  3. ^ «Spark SQL против Apache Drill-War инструментов SQL-on-Hadoop» . ПроектПро . Проверено 15 ноября 2022 г.
  4. ^ «Фонд программного обеспечения Apache объявляет Apache Drill проектом высшего уровня» . 2 декабря 2014 года . Проверено 2 декабря 2014 г.
  5. ^ Визард, Майкл (01 сентября 2021 г.). «Apache Software Foundation обновляет Drill для более широких запросов SQL». ВенчурБит . Проверено 20 октября 2022 г.
  6. ^ «Apache Drill исключает ETL, преобразование данных для базы данных MapR» . Новый стек . 11 апреля 2016 г. Проверено 15 ноября 2022 г.
  7. ^ «Apache Drill — SQL без схемы для Hadoop, NoSQL и облачного хранилища» . www.drill.apache.org . Проверено 29 декабря 2015 г.
  8. ^ "DrillProposal - ИНКУБАТОР - Apache Software Foundation" .
  9. ^ «Часто задаваемые вопросы - Apache Drill» . www.drill.apache.org . Проверено 29 декабря 2015 г.
  10. ^ Уэйнер, Джеймс Р. Борк, Мартин Хеллер, Стивен Нуньес, Эндрю С. Оливер, Ян Пойнтер и Питер (05.10.2020). «Лучшее программное обеспечение с открытым исходным кодом 2020 года». Инфомир . Проверено 26 ноября 2022 г.{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )

Статьи

Некоторые работы повлияли на рождение и дизайн. Вот неполный список:

Внешние ссылки