Databricks-migreringsworkshop: Från lagrade procedurer till Lakehouse (5-dagars intensivkurs) Träningskurs

Inledning, mål och migrationsstrategi

• Kursmål, anpassning efter deltagarens profil och kriterier för framgång
• Övergripande migrationsmetoder och riskbedömningar
• Uppställning av arbetsytor, repositoarer och laborationsdatamängder

Dag 1 — Migrationsgrunder och arkitektur

• Lakehouse-koncept, översikt över Delta Lake och Databricks-arkitektur
• Skillnader mellan SMP och MPP och deras implikationer för migration
• Design för Medallion (Bronze→Silver→Gold) och översikt över Unity Catalog

Dag 1-laboration — Översättning av en lagrad procedur

• Praktisk migration av en exempellagrad procedur till en notebook
• Mappning av tillfälliga tabeller och cursorer till DataFrame-transformeringar
• Validering och jämförelse med den ursprungliga outputen

Dag 2 — Avancerad Delta Lake & inkrementell inläsning

• ACID-transaktioner, commit-loggar, versionering och time travel
• Auto Loader, MERGE INTO-mönster, upserts och schema-utveckling
• OPTIMIZE, VACUUM, Z-ORDER, partitionering och lagringsjusteringar

Dag 2-laboration — Inkrementell inläsning & optimering

• Implementering av Auto Loader-inläsning och MERGE-arbetsflöden
• Applicering av OPTIMIZE, Z-ORDER och VACUUM; validering av resultat
• Mätning av förbättringar i läs-/skrivprestanda

Dag 3 — SQL i Databricks, prestanda & felsökning

• Analytiska SQL-funktioner: fönsterfunktioner, högreordningsfunktioner, hantering av JSON/array
• Läsning av Spark UI, DAGar, shuffles, steg, uppgifter och diagnos av flaskhalsar
• Optimeringsmönster förfrågor: broadcast joins, hints, cachning och minskad spill

Dag 3-laboration — SQL-omstrukturering & prestandaoptimering

• Omstrukturera en tung SQL-process till optimerad Spark SQL
• Använda Spark UI-spår för att identifiera och åtgärda skevheter och shuffle-problem
• Benchmark före/efter och dokumentera optimeringssteg

Dag 4 — Taktisk PySpark: Ersättning av procedurlogik

• Sparks exekveringsmodell: driver, exekutorer, lat evaluering och partitioneringsstrategier
• Transformerings av loopar och cursorer till vektoriserade DataFrame-operationer
• Modularisering, UDF:er/pandas UDF:er, widgets och återanvändbara bibliotek

Dag 4-laboration — Omstrukturering av procedurskript

• Omstrukturera ett proceduriskt ETL-skript till modulariserade PySpark-notebooks
• Införa parameterisering, enhetsstest och återanvändbara funktioner
• Kodgranskning och tillämpning av bästa-praktik-checklista

Dag 5 — Koordinering, sluttillslut-pipeline & bästa praxis

• Databricks Workflows: jobbdesign, uppgiftsberoenden, utlösare och felhantering
• Design av inkrementella Medallion-pipelines med kvalitetsregler och validering av schema
• Integration med Git (GitHub/Azure DevOps), CI och teststrategier för PySpark-logik

Dag 5-laboration — Bygg en komplett sluttillslut-pipeline

• Sammansätt Bronze→Silver→Gold-pipeline koordinerad med Workflows
• Implementera loggning, revision, omstart och automatiserade valideringar
• Kör hela pipeline, validera output och förbered distributionsanteckningar

Operationalisering, styrning och produktionsberedskap

• Styrning via Unity Catalog, släktled och åtkomstkontroller i enlighet med bästa praxis
• Kostnad, klustersize, autoskalning och mönster för jobbkonkurrens
• Utgångslistor, rollbacksstrategier och skapande av driftmanualer

Slutlig genomgång, kunskapsoverföring och nästa steg

• Deltagarpresentationer av migrationsarbete och lärdomar
• Gapanalys, rekommenderade uppföljande åtgärder och övertagande av utbildningsmaterial
• Referenser, vidare utvecklingsspar och stödalternativ