Kursplan
Introduktion
Översikt över Spark Streaming Funktioner och arkitektur
- Datakällor som stöds
- Kärn-API:er
Att förbereda miljön
- Beroenden
- Spark och streamingkontext
- Ansluter till Kafka
Bearbetar meddelanden
- Parsar inkommande meddelanden som JSON
- ETL-processer
- Startar streamingkontexten
Utföra en Windowed Stream Processing
- Slidintervall
- Checkpoint leveranskonfiguration
- Lanserar miljön
Prototyp av bearbetningskoden
- Ansluter till ett Kafka-ämne
- Hämtar JSON från datakällan med Paw
- Variationer och ytterligare bearbetning
Streamar koden
- Jobbkontrollvariabler
- Definiera värden som ska matcha
- Funktioner och förutsättningar
Skaffa Stream Output
- Räknare
- Kafka-utgång (matchad och icke-matchad)
Felsökning
Sammanfattning och slutsats
Krav
- Erfarenhet av Python och Apache Kafka
- Kännedom om strömbehandlingsplattformar
Publik
- Dataingenjörer
- Dataforskare
- Programmerare
Vittnesmål (5)
Det faktum att vi har mer praktiska övningar med mer liknande data som vi använder i våra projekt (satellitbilder i rasterformat)
Matthieu - CS Group
Kurs - Scaling Data Analysis with Python and Dask
Machine Translated
Very good preparation and expertise of a trainer, perfect communication in English. The course was practical (exercises + sharing examples of use cases)
Monika - Procter & Gamble Polska Sp. z o.o.
Kurs - Developing APIs with Python and FastAPI
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Kurs - Build REST APIs with Python and Flask
Trainer develops training based on participant's pace
Farris Chua
Kurs - Data Analysis in Python using Pandas and Numpy
As I was the only participant the training could be adapted to my needs.