Kursplan
Introduktion
- Introduktion till Cloud Computing och Big Data lösningar
- Översikt över Apache Hadoop Funktioner och arkitektur
Konfigurera Hadoop
- Planera ett Hadoop kluster (på plats, moln, etc.)
- Välja OS och Hadoop distribution
- Tillhandahållande av resurser (hårdvara, nätverk, etc.)
- Ladda ner och installera programvaran
- Dimensionera klustret för flexibilitet
Arbetar med HDFS
- Förstå Hadoop Distributed File System (HDFS)
- Översikt över HDFS Command Reference
- Accessav HDFS
- Utföra grundläggande filoperationer på HDFS
- Använder S3 som ett komplement till HDFS
Översikt över MapReduce
- Förstå dataflödet i MapReduce Framework
- Karta, blanda, sortera och minska
- Demo: Beräkna högsta löner
Arbeta med GARN
- Förstå resurshantering i Hadoop
- Arbetar med ResourceManager, NodeManager, Application Master
- Schemalägga jobb under GARN
- Schemaläggning för ett stort antal noder och kluster
- Demo: Jobbschemaläggning
Integrering Hadoop med Spark
- Konfigurera lagring för Spark (HDFS, Amazon, S3, NoSQL etc.)
- Förstå Resilient Distributed Dataset (RDD)
- Skapa en RDD
- Implementera RDD-transformationer
- Demo: Implementera ett textprogram Search för filmtitlar
Hantera ett Hadoop kluster
- Övervakning Hadoop
- Säkra ett Hadoop kluster
- Lägga till och ta bort noder
- Köra ett prestandariktmärke
- Justera ett Hadoop kluster för att optimera prestanda
- Backup, återställning och affärskontinuitetsplanering
- Säkerställa hög tillgänglighet (HA)
Uppgradera och migrera ett Hadoop kluster
- Bedöma krav på arbetsbelastning
- Uppgraderar Hadoop
- Flytta från on-premise till moln och vice versa
- Återhämta sig från misslyckanden
Felsökning
Sammanfattning och slutsats
Krav
- Erfarenhet av systemadministration
- Erfarenhet av Linux kommandoraden
- En förståelse för big data-koncept
Publik
- Systemadministratörer
- DBA:er
Vittnesmål (5)
Många praktiska exempel, olika sätt att närma sig samma problem, och ibland inte så uppenbara knep för att förbättra den nuvarande lösningen
Rafał - Nordea
Kurs - Apache Spark MLlib
Machine Translated
very interactive...
Richard Langford
Kurs - SMACK Stack for Data Science
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurs - A Practical Introduction to Stream Processing
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kurs - Impala for Business Intelligence
practice tasks