Унифицированная модель программирования для конвейеров обработки данных
Apache Beam — это унифицированная модель программирования с открытым исходным кодом для определения и выполнения конвейеров обработки данных , включая ETL , пакетную и потоковую (непрерывную) обработку. [2] Конвейеры Beam определяются с использованием одного из предоставленных SDK и выполняются в одном из поддерживаемых Beam исполнителей ( серверных серверов распределенной обработки ), включая Apache Flink , Apache Samza , Apache Spark и Google Cloud Dataflow . [3]
История
Apache Beam [3] — это одна из реализаций модели потока данных. [4] Модель потока данных основана на предыдущей работе над абстракциями распределенной обработки в Google, в частности на FlumeJava [5] и Millwheel. [6] [7]
В 2014 году Google выпустила открытую реализацию SDK модели потока данных и среду для выполнения потоков данных локально (не распространяемых), а также в сервисе Google Cloud Platform .
График
Apache Beam выпускает второстепенные выпуски каждые 6 недель. [8]
Смотрите также
Рекомендации
- ^ «Блоги». www.beam.apache.org . Фонд программного обеспечения Apache . Проверено 4 июня 2024 г.
- ↑ Вуди, Алекс (22 апреля 2016 г.). «Амбициозная цель Apache Beam: унифицировать разработку больших данных». Датанами . Проверено 4 августа 2016 г.
- ^ ab «Облачный поток данных — пакетная и потоковая обработка данных».
- ^ Акидау, Тайлер; Шмидт, Эрик; Уиттл, Сэм; Брэдшоу, Роберт; Чемберс, Крейг; Черняк, Слава; Фернандес-Моктесума, Рафаэль Х.; Лакс, Реувен; МакВити, Сэм; Миллс, Дэниел; Перри, Фрэнсис (1 августа 2015 г.). «Модель потока данных» (PDF) . Труды Фонда VLDB . 8 (12): 1792–1803. дои : 10.14778/2824032.2824076 . Проверено 4 августа 2016 г.
- ^ Чемберс, Крейг; Ранивала, Ашиш; Перри, Фрэнсис; Адамс, Стивен; Генри, Роберт Р.; Брэдшоу, Роберт; Вайценбаум, Натан (1 января 2010 г.). «FlumeJava: простые и эффективные конвейеры параллельных данных». Материалы 31-й конференции ACM SIGPLAN по проектированию и реализации языков программирования (PDF) . АКМ. стр. 363–375. дои : 10.1145/1806596.1806638. ISBN 9781450300193. S2CID 14888571. Архивировано из оригинала (PDF) 23 сентября 2016 года . Проверено 4 августа 2016 г.
- ^ Акидау, Тайлер; Уиттл, Сэм; Баликов, Алекс; Бекироглу, Кая; Черняк, Слава; Хаберман, Джош; Лакс, Реувен; МакВити, Сэм; Миллс, Дэниел; Нордстрем, Пол (27 августа 2013 г.). «Мельница» (PDF) . Труды Фонда VLDB . 6 (11): 1033–1044. дои : 10.14778/2536222.2536229. Архивировано из оригинала (PDF) 1 февраля 2016 года . Проверено 4 августа 2016 г.
- ↑ Пойнтер, Ян (14 апреля 2016 г.). «Apache Beam хочет стать супер-API для больших данных». Инфомир . Проверено 4 августа 2016 г.
- ^ «Политика». www.beam.apache.org . Проверено 21 апреля 2022 г.
