PySpark Kurs i Östergötland

I denna handledarledade, levande utbildning i Östergötland, lär sig deltagarna hur man använder Python och Spark tillsammans för att analysera Big Data genom att arbeta med praktiska övningar.

Utbildningen avslutas med att deltagarna kan:

• Använda Spark med Python för att analysera Big Data.
• Arbeta med övningar som efterliknar verkliga scenarier.
• Använda olika verktyg och tekniker för Big Data-analys med PySpark.

Den här instruktionsledda, levande utbildningen (online eller på plats) riktar sig till dataingenjörer, dataanalytiker och databranschpersoner som vill använda Databricks och PySpark för att bygga skalbara datapipelines samt migrera befintliga SQL-arbetsflöden.

Denna utbildning ger en praktisk introduktion till att bygga skalbara dataprocesserings- och maskininlärningsflöden med hjälp av PySpark. Deltagarna lär sig hur Apache Spark fungerar inom moderna Big Data-miljöer och hur man effektivt bearbetar stora datamängder med hjälp av principer för distribuerad beräkning.

Den här praktiska kursen på tre dagar fokuserar på att bygga och optimera effektiva datahanteringsprocesser med PySpark, Pandas och Polars i Kubernetes-baserade miljöer.

Deltagarna får en praktisk förståelse för hur Spark-applikationer exekveras på Kubernetes och hur beslutsfattande på applikationsnivå påverkar prestanda, skalbarhet, resursanvändning och kostnader. Kursen täcker centrala optimeringsområden, såsom executor-storlek, minnesallokering, dynamisk allokering, partitioneringsstrategier, shuffle-beteende, småfilproblem och effektiv Parquet-hantering.

Kursen tar också upp vanliga utmaningar vid arbete med Pandas, inklusive minnesbegränsningar och minnesbristfel, och presenterar Polars som ett högeffektivt alternativ för specifika datahanteringsprocesser. Genom praktiska övningar kommer deltagarna att diagnostisera prestanda- och minnesproblem, jämföra olika konfigurationsstrategier och tillämpa optimeringstekniker på realistiska ETL- och maskinlärnings_scenarioer.

Tonen i kursen är inriktad på praktiskt beslutsfattande: att förstå hur man identifierar flaskhalsar, väljer rätt verktyg, konfigurerar Spark effektivt och balanserar prestanda med infrastrukturresursanvändning och kostnad.