Kursplan

Sektion 1: Introduktion till Hadoop

  • Hadoop historia, koncept
  • ekosystem
  • distributioner
  • övergripande arkitektur
  • Hadoop myter
  • Hadoop utmaningar
  • hårdvara / mjukvara
  • lab: första inblick i Hadoop

Sektion 2: HDFS

  • Design och arkitektur
  • koncept (horisontell skalbarhet, replikering, data lokalitet, rackmedvetenhet)
  • Demoner: Namenode, sekundär namenode, data nod
  • kommunikation / hjärtslag
  • data integritet
  • läs-/skrivväg
  • Namenode hög tillgänglighet (HA), federation
  • lab: Interaktion med HDFS

Sektion 3: Map Reduce

  • koncept och arkitektur
  • demoner (MRV1): jobtracker / tasktracker
  • faser: driver, mapper, shuffle/sortering, reducer
  • Map Reduce version 1 och version 2 (YARN)
  • Internstrukturen i Map Reduce
  • Introduktion till Java Map Reduce program
  • lab: Körning av ett prov MapReduce program

Sektion 4: Pig

  • pig vs java map reduce
  • pig job flow
  • pig latin språk
  • ETL med Pig
  • Transformationer & joins
  • användardefinierade funktioner (UDF)
  • lab: skrivning av Pig skript för att analysera data

Sektion 5: Hive

  • arkitektur och design
  • datatyper
  • SQL stöd i Hive
  • Skapande av Hive tabeller och frågor
  • partitioner
  • joins
  • textbehandling
  • lab: olika labbar för att bearbeta data med Hive

Sektion 6: HBase

  • koncept och arkitektur
  • HBase vs RDBMS vs Cassandra
  • HBase Java API
  • tids-seriedata i HBase
  • schemadefiniering
  • lab: interaktion med HBase med hjälp av skal, programmering i HBase Java API, schemadefinieringsövning

Krav

  • bekväm med Java programspråk (de flesta programmeringsövningar är på java)
  • bekväm i Linux miljö (kunna navigera i Linux kommando rad, redigera filer med vi / nano)

Labbmiljö

Ingen installation: Det finns ingen behov att installera Hadoop programvara på studenternas datorer! Ett fungerande Hadoop kluster kommer att tillhandahållas för studenter.

Studenter kommer att behöva följande

  • en SSH-klient (Linux och Mac har redan ssh-klienter, för Windows rekommenderas Putty)
  • en webbläsare för att komma åt klustret, Firefox rekommenderas
 28 timmar

Antal deltagare


Price per participant

Vittnesmål (5)

Upcoming Courses

Relaterade Kategorier