Kursplan

    Scala primer En snabb introduktion till Scala Labs : Lär känna Scala Spark Basics Bakgrund och historik Spark och Hadoop Spark koncept och arkitektur Spark eco system (core, spark sql, mlib, streaming) Labs : Installera och köra Spark First Look at Spark Running Spark i lokalt läge Spark web UI Spark shell Analysera datauppsättning – del 1 Inspektera RDD:er Labs: Spark shell utforskning RDD:er RDD:s koncept Partitioner RDD Operationer/transformationer RDD-typer Nyckel-värdepar RDD:er MapReduce on RDD Caching och persistens Labs : skapa & inspektera RDD:er; Cachning av RDD:er Spark API-programmering Introduktion till Spark API / RDD API Skicka in det första programmet till Spark Debugging / loggning Konfigurationsegenskaper Labs : Programmering i Spark API, Skicka jobb Spark SQL SQL stöd i Spark Dataframes Definiera tabeller och importera datauppsättningar Fråga efter data ramar som använder SQL Lagringsformat: JSON / Parquet Labs: Skapa och fråga dataramar; utvärdera dataformat MLlib MLlib intro MLlib algoritmer Labs : Skriva MLib applikationer GraphX GraphX bibliotek översikt GraphX APIs Labs : Bearbeta grafdata med Spark Spark Streaming Streaming översikt Utvärdera Streaming plattformar Streaming operationer Skjutfönster operationer Labs : Hatro sparkop streaming och Hatro HDFS / YARN) Hadoop + Spark-arkitektur Kör Spark på Hadoop YARN Bearbetar HDFS-filer med Spark Spark Performance och Tuning Broadcast-variabler Ackumulatorer Minneshantering och caching Spark Operations Implementering av Spark i produktion Exempel på distributionsmallar Konfigurationer Övervakning Felsökning

Krav

FÖRKRAV

förtrogenhet med antingen Java / Scala / Python-språk (våra labb i Scala och Python) grundläggande förståelse för Linux utvecklingsmiljö (kommandoradsnavigering / redigering av filer med VI eller nano)

  21 timmar
 

Antal deltagare


Starts

Ends


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

Relaterade Kurser

Relaterade Kategorier