stringtranslate.com

Apache Воздушный поток

Apache Airflow — это платформа управления рабочими процессами с открытым исходным кодом для конвейеров инженерии данных. Она появилась в Airbnb в октябре 2014 года [2] как решение для управления все более сложными рабочими процессами компании. Создание Airflow позволило Airbnb программно создавать и планировать свои рабочие процессы и контролировать их с помощью встроенного пользовательского интерфейса Airflow . [3] [4] С самого начала проект был открытым исходным кодом, став проектом Apache Incubator в марте 2016 года и проектом Apache Software Foundation верхнего уровня в январе 2019 года.

Airflow написан на Python , а рабочие процессы создаются с помощью скриптов Python. Airflow разработан по принципу «конфигурации как кода». В то время как другие платформы рабочих процессов «конфигурации как кода» существуют с использованием языков разметки, таких как XML , использование Python позволяет разработчикам импортировать библиотеки и классы, чтобы помочь им создавать свои рабочие процессы.

Обзор

Airflow использует направленные ациклические графы (DAG) для управления оркестровкой рабочего процесса . Задачи и зависимости определяются в Python, а затем Airflow управляет планированием и выполнением. DAG могут запускаться либо по определенному расписанию (например, ежечасно или ежедневно), либо на основе внешних событийных триггеров (например, файла, появляющегося в Hive [5] ). Предыдущие планировщики на основе DAG, такие как Oozie и Azkaban, как правило, полагались на несколько файлов конфигурации и деревьев файловой системы для создания DAG, тогда как в Airflow DAG часто можно записать в одном файле Python. [6]

Управляемые поставщики

Три известных поставщика предлагают вспомогательные услуги по основному проекту с открытым исходным кодом.

Ссылки

  1. ^ https://airflow.apache.org/docs/apache-airflow/stable/release_notes.html#airflow-2-8-2-2024-02-26. {{cite web}}: Отсутствует или пусто |title=( помощь )
  2. ^ "Apache Airflow". Apache Airflow . Архивировано из оригинала 12 августа 2019 г. . Получено 30 сентября 2019 г. .
  3. ^ Beauchemin, Maxime (2 июня 2015 г.). "Airflow: a workflow management platform". Medium . Архивировано из оригинала 13 августа 2019 г. . Получено 30 сентября 2019 г. .
  4. ^ "Airflow". Архивировано из оригинала 6 июля 2019 г. Получено 30 сентября 2019 г.
  5. ^ Trencseni, Marton (16 января 2016 г.). "Airflow review". BytePawn . Архивировано из оригинала 28 февраля 2019 г. . Получено 1 октября 2019 г. .
  6. ^ "AirflowProposal". Apache Software Foundation . 28 марта 2019 г. Получено 1 октября 2019 г.
  7. ^ Липп, Кэсси (13 июля 2018 г.). «Astronomer is Now the Apache Airflow Company». americaninno . Получено 18 сентября 2019 г. .
  8. ^ "Google запускает Cloud Composer, новый инструмент автоматизации рабочих процессов для разработчиков". TechCrunch . Получено 18.09.2019 .
  9. ^ "Представляем Amazon Managed Workflows для Apache Airflow (MWAA)". Amazon Web Services . 2020-11-24 . Получено 2020-12-17 .

Внешние ссылки