Erstelle Apache Airflow lokal mit Azure Redis und Postgresql

  1. Erstelle Apache Airflow lokal mit Docker

  2. Erstelle einen Postgresql Server

  3. Stelle die Firewall ein

    1. Schalten Sie Ihre IP's frei und stelle "Enforce SSL connection" auf Disabled

  1. Erstelle einen Redis Cache

  2. Kopiere den redis primary key

  1. Kopiere den Host Name

  1. Erstelle den String (redis://primary-key@redis-host-name:6379)

redis://:amPT0CIPI3o4B2MFBWBZiw5Wsao9cDOhFAzCaAL9x6w=@dronechachechris.redis.cache.windows.net:6379

  1. Erstellen des Connection String für Postgresql

AdminUsername@servername:passwort@servername.postgres.database.azure.com/airflow

  1. Ändern Sie YAML-Datei 

// Ausschnitt YAML-Datei
environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://dbadmin@db-training-chris2:freelance!123@db-training-chris2.postgres.database.azure.com/airflow
    # For backward compatibility, with Airflow <2.3
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://dbadmin@db-training-chris2:freelance!123@db-training-chris2.postgres.database.azure.com/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://dbadmin@db-training-chris2:freelance!123@db-training-chris2.postgres.database.azure.com/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:vE3NYNIm6WKakmtBL6LlsgYbNY9zk5LS2AzCaEI1v7E=@redis-airflow-chris.redis.cache.windows.net:6379/0

  1. Verbinden Sie sich, beispielsweise mit pgadmin, mit der postgresql Datenbank und erstellen Sie die "airflow" Datenbank

  2. Führen Sie "bash buildContainer.sh" aus

  3. Output:

PreviousErstelle Apache Airflow lokal mit DockerNextCreate an Azure Container Instance

Last updated