Stream processing Kurs i Östergötland

Confluent Apache Kafka är en distribuerad plattform för event-strömmar som är designad för högt genomflöde, fel-toleranta data-pipelines och realtidsanalys.Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till systemadministratörer och DevOps professionella på mellanavancerad nivå som vill installera, konfigurera, övervaka och felsöka Confluent Apache Kafka kluster.I slutet av denna utbildning kommer deltagarna att kunna:- Förstå komponenterna och arkitekturen i Confluent Kafka.- Distribuera och hantera Kafka brokers, Zookeeper konsensus och viktiga tjänster.- Konfigurera avancerade funktioner, inklusive säkerhet, replikering och prestandajustering.- Använda hanteringsverktyg för att övervaka och underhålla Kafka-kluster.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Hands-on implementering i en levande labbmiljö.Alternativ för anpassning av kursen- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.Modul 1: Introduktion till arkitekturen och konfigurationen av Confluent Apache Kafka kluster- Kafkas roll i moderna data-pipelines- Skillnader mellan Apache Kafka och Confluent Kafka- Kerna komponenter: producers, consumers, brokers, topics, partitions- Kafka kluster-distribueringsmodeller och skalningsövervägandenModul 2: Konfiguration av Zookeeper konsensus- Vad är Zookeeper?- Zookeepers roll i ett Kafka kluster- Storlek på Zookeeper konsensus- Zookeeper konfiguration- Implementering av SSH på våra servrar- Praktik: Zookeeper konfiguration (som team och som tjänst)- Användning av Zookeeper Command Line Interface (CLI)- Praktik: Konfiguration av Zookeeper konsensus- Zookeepers interna filsystem- Prestandafaktorer som påverkar Zookeeper- Demonstration av hanteringsverktyg för Zookeeper och ZoonavigatorModul 3: Konfiguration av Kafka kluster- Grundläggande Kafka begrepp- Kafka konfiguration- Praktik: Konfiguration av Kafka brokers- Praktik: Utförande av Kafka kommando- Praktik: Konfiguration av Kafka Multi-Broker kluster- Praktik: Testning av Kafka kluster- Kan jag ansluta till mitt Kafka kluster?- Konfiguration av advertised.listeners: viktigaste inställning- Konfiguration av topics- Konfiguration för nedladdning och insamling av meddelanden i topics- Praktik: Demonstrera Kafkas motståndskraft- Kafkas prestanda: I/O- Kafkas prestanda: Nätverk (RED)- Kafkas prestanda: RAM- Kafkas prestanda: CPU- Kafkas prestanda: Operativsystem (OS)- Kafkas prestanda: Övrigt- Praktik: Hur man ändrar Kafka broker konfigurationModul 4: Avancerad Kafka konfiguration- Konfiguration av Landoop Kafka topic användargränssnitt, Confluent REST Proxy, Confluent Schema Registry- Skicka och ta emot meddelanden (CLI, Java, och Spring framework)- Övervakning av metriker och verktyg (Confluent Control Center, Elasticsearch, etc.)- Loggfiler och hantering av offset- Hög tillgänglighet och katastrofåterställning- Säkerställa hög tillgänglighet genom replikering- Justering av producer och consumer prestanda- Strategier för katastrofåterställning- Kontroll av övergång och återhämtning av data- Konfiguration av connectors- Implementering av Kafka Connect- Kafkas säkerhetsfunktionerSammanfattning och nästa stegConfluent Apache Kafka är en distribuerad plattform för event-strömmar som är designad för högt genomflöde, fel-toleranta data-pipelines och realtidsanalys.Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till systemadministratörer och DevOps professionella på mellanavancerad nivå som vill installera, konfigurera, övervaka och felsöka Confluent Apache Kafka kluster.I slutet av denna utbildning kommer deltagarna att kunna:- Förstå komponenterna och arkitekturen i Confluent Kafka.- Distribuera och hantera Kafka brokers, Zookeeper konsensus och viktiga tjänster.- Konfigurera avancerade funktioner, inklusive säkerhet, replikering och prestandajustering.- Använda hanteringsverktyg för att övervaka och underhålla Kafka-kluster.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Hands-on implementering i en levande labbmiljö.Alternativ för anpassning av kursen- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.- Bekantskap med distribuerade system och meddelandebegrepp- Erfarenhet av Linux kommando-raden- Grundläggande förståelse för nätverk och systemadministrationMålgrupp- Systemadministratörer- DevOps ingenjörer- Plattform och infrastruktur team

Apache Beam är en enhetlig programmeringsmodell med öppen källkod för att definiera och köra parallella databehandlingspipelines. Styrkan ligger i dess förmåga att köra både batch- och strömningspipelines, där körningen utförs av en av Beams stödda distribuerade bearbetningsserverdelar: Apache Apex, Apache Flink, Apache Spark och Google Cloud Dataflow. Apache Beam är användbart för ETL-uppgifter (Extract, Transform, and Load) som att flytta data mellan olika lagringsmedier och datakällor, omvandla data till ett mer önskvärt format och ladda data till ett nytt system.

I denna instruktörsledda, liveträning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man implementerar Apache Beam SDK:er i en Java eller Python applikation som definierar en databehandlingspipeline för att dela upp en stor datamängd i mindre bitar för oberoende, parallell bearbetning.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apache Beam.
• Använd en enda programmeringsmodell för att utföra både batch- och strömbearbetning inifrån deras Java eller Python program.
• Kör pipelines i flera miljöer.

Kursens upplägg

• Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning

Not

• Denna kurs kommer att finnas tillgänglig Scala i framtiden. Kontakta oss för att ordna.

detta instruktör-ledda, Live Training (på plats eller fjärrkontroll) riktar sig till ingenjörer som vill använda flytande (en distribution av Kafka) för att bygga och hantera en realtid databehandling plattform för sina ansökningar.

i slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent Platform.
• Använda Confluent's management tools and services för att enkelt köra Kafka.
• Lagra och bearbeta inkommande strömmande data.
• Optimera och hantera Kafka-kluster.
• Säkra dataströmmar.

format för kursen

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Hands-on implementation i en live-lab-miljö.

kurs AnpassningsAlternativ

• Denna kurs är baserad på den öppna källkodsversionen av Confluent: Confluent Open Source.
• För att beställa en anpassad utbildning för denna kurs, kontakta oss för att boka.

Denna instruktörsledda, live-utbildning i Östergötland (online eller på plats) introducerar principerna och tillvägagångssätten bakom distribuerad dataström- och batchdatabehandling och vägleder deltagarna genom skapandet av en realtidsapplikation för dataströmning i Apache Flink.

I slutet av denna utbildning kommer deltagarna att kunna:

• Konfigurera en miljö för att utveckla program för dataanalys.
• Förstå hur Apache Flink:s grafbehandlingsbibliotek (Gelly) fungerar.
• Paketera, köra och övervaka Flink-baserade, feltoleranta dataströmningsprogram.
• Hantera olika arbetsbelastningar.
• Utför avancerad analys.
• Konfigurera ett Flink-kluster med flera noder.
• Mät och optimera prestanda.
• Integrera Flink med olika Big Data system.
• Jämför Flink-funktionerna med de i andra ramverk för bearbetning av stordata.

I denna instruktörsledda, liveutbildning i Östergötland (på plats eller på distans) kommer deltagarna att lära sig hur man ställer in och integrerar olika Stream Processing ramverk med befintliga big data-lagringssystem och relaterade mjukvaruapplikationer och mikrotjänster.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera olika Stream Processing ramverk, som Spark Streaming och Kafka Streaming.
• Förstå och välj det mest lämpliga ramverket för jobbet.
• Bearbeta data kontinuerligt, samtidigt och på ett rekord-för-post-sätt.
• Integrera Stream Processing lösningar med befintliga databaser, datalager, datasjöar etc.
• Integrera det mest lämpliga strömbehandlingsbiblioteket med företagsapplikationer och mikrotjänster.

Denna instruktörsledda, liveutbildning i Östergötland (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Apache Kafka funktioner i dataströmning med Python.

I slutet av denna utbildning kommer deltagarna att kunna använda Apache Kafka för att övervaka och hantera förhållanden i kontinuerliga dataströmmar med hjälp av Python programmering.

Kafka Streams är ett bibliotek på klientsidan för att bygga applikationer och mikroservices vars data skickas till och från ett Kafka-meddelandesystem. Traditionellt har Apache Kafka förlitat sig på Apache Spark eller Apache Storm att bearbeta data mellan meddelandeproducenter och konsumenter. Genom att ringa Kafka Streams API från en applikation kan data behandlas direkt inom Kafka, vilket förbigår behovet av att skicka data till ett separat kluster för bearbetning.

I denna instruktörsledda, liveträning, kommer deltagarna att lära sig att integrera Kafka Streams i en uppsättning prov Java applikationer som skickar data till och från Apache Kafka för strömbehandling.

I slutet av denna träning kommer deltagarna att kunna:

• Förstå Kafka Streams funktioner och fördelar jämfört med andra strömbehandlingsramverk
• Behandla strömdata direkt inom ett Kafka-kluster
• Skriva en Java eller Scala applikation eller mikrotjänst som integreras med Kafka och Kafka Streams
• Skriva koncist kod som omvandlar inmatnings-Kafka-ämnen till utmatnings-Kafka-ämnen
• Bygga, paketera och distribuera applikationen

Publik

• Utvecklare

Kursformat

• Delvis föreläsning, delvis diskussion, övningar och mycket praktisk övning

anteckningar

• För att begära en anpassad träning för denna kurs, vänligen kontakta oss för att ordna

Denna instruktörsledda, liveutbildning i Östergötland (online eller på plats) riktar sig till utvecklare som vill implementera Apache Kafka strömbearbetning utan att skriva kod.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent KSQL.
• Konfigurera en pipeline för dataströmbearbetning med endast SQL kommandon (ingen Java eller Python kodning).
• Utför datafiltrering, transformationer, aggregeringar, kopplingar, fönster och sessionisering helt i SQL.
• Utforma och distribuera interaktiva, kontinuerliga frågor för strömmande ETL och realtidsanalys.

I denna instruktörsledda, liveträning i Östergötland (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man distribuerar och hanterar Apache NiFi i en skarp labbmiljö.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apachi NiFi.
• Källa, transformera och hantera data från olika, distribuerade datakällor, inklusive databaser och stordatasjöar.
• Automatisera dataflöden.
• Aktivera strömningsanalys.
• Tillämpa olika metoder för datainmatning.
• Omvandla Big Data och till affärsinsikter.

I denna instruktörsledda, liveträning i Östergötland kommer deltagarna att lära sig grunderna i flödesbaserad programmering när de utvecklar ett antal demotillägg, komponenter och processorer med hjälp av Apache NiFi.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå NiFi:s arkitektur och dataflödesbegrepp.
• Utveckla tillägg med NiFi och API:er från tredje part.
• Skräddarsy sin egen Apache Nifi-processor.
• Mata in och bearbeta realtidsdata från olika och ovanliga filformat och datakällor.

Denna instruktörsledda, liveutbildning i Östergötland (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Spark Streaming funktioner för att bearbeta och analysera realtidsdata.

I slutet av den här utbildningen kommer deltagarna att kunna använda Spark Streaming för att bearbeta livedataströmmar för användning i databaser, filsystem och live-instrumentpaneler.