Kursplan

Recension av Apache Airflow Basics

  • Grundläggande begrepp: DAG:er, uppgifter och operatorer
  • Luftflödets arkitektur och komponenter
  • Sammanfattning av vanliga användningsfall och arbetsflöden

Optimera arbetsflödets prestanda

  • Identifiera flaskhalsar i luftflödesledningar
  • Optimeringstekniker på uppgiftsnivå
  • Utnyttja återförsök av uppgifter, parallellitet och samtidighet

Hantera komplexa beroenden

  • Definiera dynamiska beroenden i arbetsflöden
  • Hantera villkorsstyrda och förgrenade arbetsflöden
  • Använda arbetsgrupper och sub-DAG:er på ett effektivt sätt

Avancerade funktioner i Apache Airflow

  • Skapa anpassade operatorer och krokar
  • Implementering av sensorer för externa utlösare
  • Integrera tjänster och plugins från tredje part

Skalning Apache Airflow Distributioner

  • Vågräta och lodräta skalningsmetoder
  • Använda Celery Executors för distribuerad körning
  • Metodtips för skalning i molnmiljöer

Arbetsflöden för övervakning och felsökning

  • Konfigurera loggning och aviseringar för arbetsflödesövervakning
  • Använda Airflow-användargränssnittet och CLI för felsökning
  • Identifiera och lösa vanliga problem i luftflödesdistributioner

Säkra Apache Airflow

  • Autentisering och åtkomstkontroll i Airflow
  • Skydda känsliga data och miljökonfigurationer
  • Implementera granskningsloggar för arbetsflöden

Enterprise Use Cases och bästa praxis

  • Utforma robusta arbetsflöden för produktionsmiljöer
  • Utnyttja luftflödet för datateknik och ETL-pipelines
  • Utforska verkliga fallstudier av skalbara luftflödesdistributioner

Sammanfattning och nästa steg

Krav

  • Grundläggande kunskaper i Apache Airflow
  • Kunskaper om Python begrepp för programmering och arbetsflödesorkestrering
  • Erfarenhet av att hantera och distribuera applikationer i Linux miljöer

Publik

  • Datatekniker
  • DevOps Professionella
  • Mjukvaruutvecklare
 21 timmar

Antal deltagare


Price per participant

Upcoming Courses

Relaterade Kategorier