Kursplan
Avsnitt 1: Data Management i HDFS
- Olika dataformat (JSON / Avro / Parquet)
- Komprimeringsscheman
- Datamaskering
- Labb: Analys av olika dataformat; aktivering av komprimering
Avsnitt 2: Avancerad Pig
- Användardefinierade funktioner
- Introduktion till Pig-bibliotek (ElephantBird / Data-Fu)
- Inläsning av komplext strukturerad data med Pig
- Optimering av Pig
- Labb: avancerad Pig-skriptning, tolknings av komplexa datatyper
Avsnitt 3: Avancerad Hive
- Användardefinierade funktioner
- Komprimerade tabeller
- Hive prestandatuning
- Labb: skapande av komprimerade tabeller, utvärdering av tabellformat och konfiguration
Avsnitt 4: Avancerad HBase
- Avancerad schemamodellering
- Komprimering
- Massinläsning av data
- Jämförelse mellan bred-tabell och hög-tabell
- HBase och Pig
- HBase och Hive
- Prestandatuning av HBase
- Labb: tuning av HBase; åtkomst till HBase-data från Pig och Hive; Användning av Phoenix för datamodellering
Krav
- bekväm med Java programmeringsspråk (de flesta programmeringsövningar är i java)
- bekväm i Linux miljö (kunna navigera i Linux kommandorad, redigera filer med vi / nano)
- grundläggande kunskaper i Hadoop.
Labbmiljö
Nollinstallation: Det finns ingen anledning att installera Hadoop-software på studenternas datorer! Ett fungerande Hadoop-kluster kommer att tillhandahållas för studenterna.
Studenter behöver följande
Vittnesmål (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Kurs - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurs - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kurs - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Kurs - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay