Max Home IndustryТестовая среда для Apache Airflow, которая позволяет выполнять локальную разработку и тестирование рабочих процессов Apache Airflow, была доступна в качестве открытого исходного кода. Whirl использует Docker и Docker compose для запуска Apache Airflow и других компонентов, используемых в вашем рабочем процессе.
Whirl был разработан в GoDataDriven в рамках своей инициативы с открытым исходным кодом.
Apache Airflow-это система автоматизации и планирования рабочих процессов, которую можно использовать для настройки и управления конвейерами данных. Он использует рабочие процессы, состоящие из направленных ациклических графов (DAG) задач. Каждая задача производит некоторый вывод, который затем используется в качестве входных данных для другой задачи.
Идея Whirl состоит в том, чтобы упростить запуск и разработку рабочих процессов воздушного потока на вашем локальном компьютере. Это дает вам быструю обратную связь о том, работают ли изменения, внесенные в вашу DAG. Разработчики предлагают вам думать об этом как о своей среде тестирования интеграции для разработки DAG воздушного потока.
Способ работы Whirl заключается в том, что он использует контейнеры Docker для запуска Apache Airflow и других компонентов, на которые опирается ваш рабочий процесс. Это дает вам копию рабочей среды, которая работает на вашем локальном компьютере.
Это позволяет запускать DAG локально полностью, используя фактический код, который вы будете использовать в рабочей среде. Вы можете попробовать что-то изолированное от реальных рабочих процессов и посмотреть, как это работает с тестовыми данными. Whirl соединяет код вашей DAG и тестовые данные с контейнером Apache Airflow, который он запускает. С помощью монтирования громкости вы можете внести изменения в код в своей среде IDE и сразу же увидеть эффект в работающем пользовательском интерфейсе Apache Airflow на вашем компьютере. Это даже работает с пользовательскими модулями Python, которые вы разрабатываете и используете в своих DAG.