Kursplan

Introduktion

Översikt över Spark Streaming Funktioner och arkitektur

  • Datakällor som stöds
  • Kärn-API:er

Att förbereda miljön

  • Beroenden
  • Spark och streamingkontext
  • Ansluter till Kafka

Bearbetar meddelanden

  • Parsar inkommande meddelanden som JSON
  • ETL-processer
  • Startar streamingkontexten

Utföra en Windowed Stream Processing

  • Slidintervall
  • Checkpoint leveranskonfiguration
  • Lanserar miljön

Prototyp av bearbetningskoden

  • Ansluter till ett Kafka-ämne
  • Hämtar JSON från datakällan med Paw
  • Variationer och ytterligare bearbetning

Streamar koden

  • Jobbkontrollvariabler
  • Definiera värden som ska matcha
  • Funktioner och förutsättningar

Skaffa Stream Output

  • Räknare
  • Kafka-utgång (matchad och icke-matchad)

Felsökning

Sammanfattning och slutsats

Krav

  • Erfarenhet av Python och Apache Kafka
  • Kännedom om strömbehandlingsplattformar

Publik

  • Dataingenjörer
  • Dataforskare
  • Programmerare
 7 timmar

Antal deltagare



Price per participant

Relaterade Kategorier