Kursplan
Sektion 1: Introduktion till Hadoop
- Hadoop historia, koncept
- ekosystem
- distributioner
- övergripande arkitektur
- Hadoop myter
- Hadoop utmaningar
- hårdvara / mjukvara
- lab: första inblick i Hadoop
Sektion 2: HDFS
- Design och arkitektur
- koncept (horisontell skalbarhet, replikering, data lokalitet, rackmedvetenhet)
- Demoner: Namenode, sekundär namenode, data nod
- kommunikation / hjärtslag
- data integritet
- läs-/skrivväg
- Namenode hög tillgänglighet (HA), federation
- lab: Interaktion med HDFS
Sektion 3: Map Reduce
- koncept och arkitektur
- demoner (MRV1): jobtracker / tasktracker
- faser: driver, mapper, shuffle/sortering, reducer
- Map Reduce version 1 och version 2 (YARN)
- Internstrukturen i Map Reduce
- Introduktion till Java Map Reduce program
- lab: Körning av ett prov MapReduce program
Sektion 4: Pig
- pig vs java map reduce
- pig job flow
- pig latin språk
- ETL med Pig
- Transformationer & joins
- användardefinierade funktioner (UDF)
- lab: skrivning av Pig skript för att analysera data
Sektion 5: Hive
- arkitektur och design
- datatyper
- SQL stöd i Hive
- Skapande av Hive tabeller och frågor
- partitioner
- joins
- textbehandling
- lab: olika labbar för att bearbeta data med Hive
Sektion 6: HBase
- koncept och arkitektur
- HBase vs RDBMS vs Cassandra
- HBase Java API
- tids-seriedata i HBase
- schemadefiniering
- lab: interaktion med HBase med hjälp av skal, programmering i HBase Java API, schemadefinieringsövning
Krav
- bekväm med Java programspråk (de flesta programmeringsövningar är på java)
- bekväm i Linux miljö (kunna navigera i Linux kommando rad, redigera filer med vi / nano)
Labbmiljö
Ingen installation: Det finns ingen behov att installera Hadoop programvara på studenternas datorer! Ett fungerande Hadoop kluster kommer att tillhandahållas för studenter.
Studenter kommer att behöva följande
- en SSH-klient (Linux och Mac har redan ssh-klienter, för Windows rekommenderas Putty)
- en webbläsare för att komma åt klustret, Firefox rekommenderas
Vittnesmål (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Kurs - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurs - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kurs - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Kurs - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay