Kursplan
Introduktion till Apache Airflow
- Vad är orkestrering av arbetsflöden
- Nyckelfunktioner och fördelar med Apache Airflow
- Förbättringar i Airflow 2.x och översikt över ekosystemet
Arkitektur och grundläggande koncept
- Schemaläggare, webbserver och arbetsprocesser
- DAG:ar, uppgifter och operatorer
- Exekutorer och backends (Local, Celery, Kubernetes)
Installation och configuration
- Installera Airflow i lokala och molnmiljöer
- Konfigurera Airflow med olika exekutorer
- Ställa in metadatabaser och anslutningar
Navigering i Airflows gränssnitt och CLI
- Utforska Airflows webbgränssnitt
- Övervaka körningar av DAG:ar, uppgifter och loggar
- Använda Airflow CLI för administration
Skapande och hantering av DAG:ar
- Skapa DAG:ar med TaskFlow API
- Använda operatorer, sensorer och hooks
- Hantera beroenden och schemaläggningsintervall
Integrera Airflow med data- och molntjänster
- Ansluta till databaser, API:er och meddelandeköer
- Köra ETL-pipelines med Airflow
- Molntjänsteintegreringar: AWS, GCP, Azure-operatorer
Övervakning och övervakbarhet
- Loggar för uppgifter och realtidsövervakning
- Metriker med Prometheus och Grafana
- Alarm och meddelanden via e-post eller Slack
Säkerhet för Apache Airflow
- Åtkomstkontroll baserad på roller (RBAC)
- Autentisering med LDAP, OAuth och SSO
- Hantering av hemligheter med Vault och molnbaserade hemlighetsförvaringar
Skalning av Apache Airflow
- Parallellism, konkurrens och uppgiftsköer
- Använda CeleryExecutor och KubernetesExecutor
- Implementera Airflow på Kubernetes med Helm
Bästa praxis för produktion
- Versionshantering och CI/CD för DAG:ar
- Testa och felsöka DAG:ar
- Upprätthålla tillförlitlighet och prestanda i stor skala
Felsökning och optimering
- Felsöka misslyckade DAG:ar och uppgifter
- Optimera prestandan för DAG:ar
- Vanliga fallgropar och hur man undviker dem
Sammanfattning och nästa steg
Krav
- Erfarenhet av Python-programmering
- Kännedom till dataengineering eller DevOps-koncept
- Förståelse av ETL eller orkestrering av arbetsflöden
Målgrupp
- Data scientist
- Dataingenjörer
- DevOps- och infrastrukturingenjörer
- Softwareutvecklare
Vittnesmål (7)
Instruktören anpassade utbildningen efter deltagarnas nivå och besvarade alla frågor. Han var mycket kommunikativ, och det var lätt att interagera med honom. Jag uppskattade verkligen formatet på utbildningen, som inkluderade många praktiska övningar. Övergripande sett var det en mycket engagerande och välorganiserad session.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maskintolkat
Träningen var perfekt. Mycket användbar teori och övningar.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskintolkat
Träningen var perfekt på alla håll. Användbara teoretiska aspekter och övningar.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskintolkat
Träningen var perfekt på alla aspekter. Användbara teoretiska aspekter och övningar.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskintolkat
Träningen var perfekt på alla aspekter. Användbara teoretiska aspekter och övningar.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskintolkat
Träningen var perfekt på alla aspekter. Användbara teoretiska aspekter och övningar.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskintolkat
Träningen var perfekt på alla plan. Användbara teoretiska aspekter och övningar.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskintolkat
