Kursplan
Införandet
Förstå Big Data
Översikt över Spark
Översikt över Python
Översikt över PySpark
- Distribuera data med hjälp av ramverket för elastiska distribuerade datamängder
- Distribuera beräkning med hjälp av Spark API-operatorer
Konfigurera Python med Spark
Inställning PySpark
Använda Amazon Web Services (AWS) EC2-instanser för Spark
Inställning Databricks
Konfigurera AWS EMR-klustret
Att lära sig grunderna i Python Programming
- Komma igång med Python
- Använda Jupyter Notebook
- Använda variabler och enkla datatyper
- Arbeta med listor
- Använda if-satser
- Använda användarindata
- Arbeta med while Loops
- Implementera funktioner
- Arbeta med klasser
- Arbeta med filer och undantag
- Arbeta med projekt, data och API:er
Lär dig grunderna i Spark DataFrame
- Komma igång med Spark DataFrames
- Implementera grundläggande åtgärder med Spark
- Använda Groupby- och Aggregate-åtgärder
- Arbeta med tidsstämplar och datum
Arbeta med en Spark DataFrame-projektövning
Förstå Machine Learning med MLlib
Arbeta med MLlib, Spark och Python för Machine Learning
Förstå regressioner
- Att lära sig linjär regressionsteori
- Implementera en regressionsutvärderingskod
- Arbeta med ett exempel på en linjär regressionsövning
- Att lära sig logistisk regressionsteori
- Implementera en logistisk regressionskod
- Arbeta med ett exempel på en logistisk regressionsövning
Förstå Random Forests och beslutsträd
- Att lära sig trädmetodteori
- Genomförande av beslutsträd och Random Forest-koder
- Arbeta med ett urval Random Forest Klassificeringsövning
Arbeta med K-means-klustring
- Att förstå K-means klustringsteori
- Implementera en K-means-klustringskod
- Arbeta med ett exempel på klustringsövning
Arbeta med rekommendationssystem
Implementera behandling av naturligt språk
- Förstå Natural Language Processing (NLP)
- Översikt över NLP-verktyg
- Arbetar med ett exempel på en NLP-övning
Direktuppspelning med Spark på Python
- Översikt Direktuppspelning med Spark
- Exempel Spark Streaming Övning
Avslutande kommentarer
Krav
- Allmänna programmeringskunskaper
Publik
- Utvecklare
- IT-proffs
- Datavetare
Vittnesmål (6)
Jag tyckte att det var praktiskt. Älskade att tillämpa den teoretiska kunskapen med praktiska exempel.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maskintolkat
Kursen handlade om en serie mycket komplexa och relaterade ämnen, och Pablo har djupgående kunskaper inom var och ett av dem. Ibland gick nyanser förlorade i kommunikationen och/eller på grund av tidspress, vilket möjligen ledde till att förväntningarna inte ganska uppfylldes. Det uppstod även några problem med UHG/Azure Databricks-installationen, men Pablo / UHG lade snabbt dessa till rätta när de blev uppenbara - detta visade en hög nivå av förståelse och professionella samarbete mellan UHG och Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maskintolkat
Individuell uppmärksamhet.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maskintolkat
Praktisk utbildning...
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maskintolkat
Lektionerna undervisades i en Jupyter notebook. Ämnena var strukturerade med en logisk sekvens och bidrog på ett naturligt sätt till att sessionen utvecklades från de enklare delarna till de mer komplexa. Jag är redan en avancerad användare av Python med bakgrund i maskininlärning, så jag hittade kursen lättare att följa än, möjligen, några av mina klasskamrater som tog utbildningskursen. Jag uppskattar att vissa av de mest grundläggande koncepten hoppades över och att han fokuserade på de viktigaste frågorna.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maskintolkat
övningsuppgifter
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maskintolkat