Provider for Apache Airflow 2.x to schedule Apache Mesos


Mithilfe unseres Apache Mesos Providers für Apache Airflow, lassen sich die Airflow DAG’s und Tasks in einem Apache Mesos Cluster betreiben. Mithilfe von Autoscaling beim CloudHoster stehen einem theoretisch Grenzenlose-Ressourcen zur Verfügung.

Die Installation erfolgt über:


pip install avmesos-airflow-provider

In der Airflow Konfiguration muss anschließend folgendes hinzugefügt werden:


[core]
executor = avmesos_airflow_provider.executors.mesos_executor.MesosExecutor

[mesos]
master = master.mesos:5050
framework_name = Airflow
checkpoint = True
failover_timeout = 604800
command_shell = True
task_cpu = 1
task_memory = 20000
authenticate = True
default_principal = <MESOS_MASTER_PRINCIPAL>
default_secret = <MESOS_MASTER_SECRET>
docker_image_slave = avhost/docker-airflow:v2.1.2
docker_volume_driver = local
docker_volume_dag_name = airflowdags
docker_volume_dag_container_path = /home/airflow/airflow/dags/
docker_sock = /var/run/docker.sock
docker_volume_logs_name = airflowlogs
docker_volume_logs_container_path = /home/airflow/airflow/logs/
docker_environment = '[{ "name":"<KEY>", "value":"<VALUE>" }, { ... }]'

Apache Aiflow Logo

Mesos Task
Airflow Task scheduled in Mesos