Stream processing Kurs i Sverige

Confluent Apache Kafka är en företagsanpassad distribuerad plattform för händelsebaserad strömning som byggs på Apache Kafka. Den stöder högpresterande, felfrihetstoleranta dataflöden och realtidsströmningsapplikationer.Denna instruktörsledda, live-träning (online eller på plats) riktar sig till mellan-nivå ingenjörer och administratörer som vill distribuera, konfigurera och optimera Confluent Kafka-kluster i produktionsmiljöer.I slutet av denna träning kommer deltagarna att kunna:- Installera, konfigurera och driva Confluent Kafka-kluster med flera brokers.- Designa hög tillgänglighet med Zookeeper och replikeringsmetoder.- Justera prestanda, övervaka metriker och tillämpa återhämtningsstrategier.- Säkra, skalera och integrera Kafka med företagsmiljöer.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Händer-i-möte implementering i en live-labbmiljö.Alternativ för kursanpassning- För att begära en anpassad träning för denna kurs, kontakta oss för att boka.Module 1: Introduktion till Confluent Apache Kafka Arkitektur och Klusterkonfiguration- Vad är Apache Kafka och Confluent-plattformen?- Grundläggande om Kafka-broker, producer, konsument och ämnen- Kafkas roll i dataflödes- och meddelandepipelines- Confluent-utökningar: REST Proxy, Schema Registry, Control Center- Kafka-klusterarkitektur: brokers, partitioner och replikeringModule 2: Zookeeper Quorum Konfiguration- Vad är Zookeeper?- Zookeepers roll i ett Kafka-kluster- Zookeeper quorum storlek- Zookeeper konfiguration- Implementera SSH på våra servrar- Händer-i-möte: Zookeeper-konfiguration (som team och som tjänst)- Använda Zookeeper Command Line Interface (CLI)- Händer-i-möte: Zookeeper quorum setup- Zookeepers interna filsystem- Prestandafaktorer som påverkar Zookeeper- Demo: Zookeeper-hanteringsverktyg och ZoonavigatorModule 3: Kafka Kluster Konfiguration- Kafka grundläggande- Kafka konfiguration- Händer-i-möte: Kafka-konfiguration på en enda broker- Händer-i-möte: Utföra Kafka-kommandon- Händer-i-möte: Kafka multi-broker (kluster) setup- Händer-i-möte: Kafka-kluster testning- Kan jag ansluta till mitt Kafka-kluster?- Advertised.listeners konfiguration: nyckelinställning- Ämneskonfiguration- Konfigurera meddelandeingest och leverans i ämnen- Händer-i-möte: Demonstrera Kafkas tålighet- Kafka prestanda: I/O, nätverk, RAM, CPU, OS- Kafka prestanda: andra faktorer- Händer-i-möte: Hur man ändrar brokerkonfigurationerModule 4: Avancerad Kafka Konfiguration- Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry-konfiguration- Skicka och ta emot meddelanden (CLI, Java, Spring Framework)- Metriker och övervakningsverktyg (Confluent Control Center, Elasticsearch, etc.)- Loggfiler och offset-hantering- Hög tillgänglighet och katastrofhantering- Säkerställa hög tillgänglighet med replikering- Prestandajustering (producer/konsument)- Katastrofhanteringsstrategier- Övertagande och dataåterställning- Konfigurera anslutningar- Kafka Connect-implementering- Kafkas säkerhetsfunktionerSammanfattning och Nästa stegConfluent Apache Kafka är en företagsanpassad distribuerad plattform för händelsebaserad strömning som byggs på Apache Kafka. Den stöder högpresterande, felfrihetstoleranta dataflöden och realtidsströmningsapplikationer.Denna instruktörsledda, live-träning (online eller på plats) riktar sig till mellan-nivå ingenjörer och administratörer som vill distribuera, konfigurera och optimera Confluent Kafka-kluster i produktionsmiljöer.I slutet av denna träning kommer deltagarna att kunna:- Installera, konfigurera och driva Confluent Kafka-kluster med flera brokers.- Designa hög tillgänglighet med Zookeeper och replikeringsmetoder.- Justera prestanda, övervaka metriker och tillämpa återhämtningsstrategier.- Säkra, skalera och integrera Kafka med företagsmiljöer.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Händer-i-möte implementering i en live-labbmiljö.Alternativ för kursanpassning- För att begära en anpassad träning för denna kurs, kontakta oss för att boka.Erfarenhet av Linux-baserade system och kommando-radsverktyg- Kännedom om distribuerade systemkoncept- Förståelse för grundläggande nätverk och systemkonfigurationMålgrupp- DevOps- och SRE-team som hanterar Kafka-distributioner- Systemadministratörer som arbetar med Confluent och Zookeeper- Kafka-utvecklare och arkitekter ansvariga för skalbara system

Confluent Apache Kafka är en distribuerad plattform för event-strömmar som är designad för högt genomflöde, fel-toleranta data-pipelines och realtidsanalys.Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till systemadministratörer och DevOps professionella på mellanavancerad nivå som vill installera, konfigurera, övervaka och felsöka Confluent Apache Kafka kluster.I slutet av denna utbildning kommer deltagarna att kunna:- Förstå komponenterna och arkitekturen i Confluent Kafka.- Distribuera och hantera Kafka brokers, Zookeeper konsensus och viktiga tjänster.- Konfigurera avancerade funktioner, inklusive säkerhet, replikering och prestandajustering.- Använda hanteringsverktyg för att övervaka och underhålla Kafka-kluster.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Hands-on implementering i en levande labbmiljö.Alternativ för anpassning av kursen- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.Modul 1: Introduktion till arkitekturen och konfigurationen av Confluent Apache Kafka kluster- Kafkas roll i moderna data-pipelines- Skillnader mellan Apache Kafka och Confluent Kafka- Kerna komponenter: producers, consumers, brokers, topics, partitions- Kafka kluster-distribueringsmodeller och skalningsövervägandenModul 2: Konfiguration av Zookeeper konsensus- Vad är Zookeeper?- Zookeepers roll i ett Kafka kluster- Storlek på Zookeeper konsensus- Zookeeper konfiguration- Implementering av SSH på våra servrar- Praktik: Zookeeper konfiguration (som team och som tjänst)- Användning av Zookeeper Command Line Interface (CLI)- Praktik: Konfiguration av Zookeeper konsensus- Zookeepers interna filsystem- Prestandafaktorer som påverkar Zookeeper- Demonstration av hanteringsverktyg för Zookeeper och ZoonavigatorModul 3: Konfiguration av Kafka kluster- Grundläggande Kafka begrepp- Kafka konfiguration- Praktik: Konfiguration av Kafka brokers- Praktik: Utförande av Kafka kommando- Praktik: Konfiguration av Kafka Multi-Broker kluster- Praktik: Testning av Kafka kluster- Kan jag ansluta till mitt Kafka kluster?- Konfiguration av advertised.listeners: viktigaste inställning- Konfiguration av topics- Konfiguration för nedladdning och insamling av meddelanden i topics- Praktik: Demonstrera Kafkas motståndskraft- Kafkas prestanda: I/O- Kafkas prestanda: Nätverk (RED)- Kafkas prestanda: RAM- Kafkas prestanda: CPU- Kafkas prestanda: Operativsystem (OS)- Kafkas prestanda: Övrigt- Praktik: Hur man ändrar Kafka broker konfigurationModul 4: Avancerad Kafka konfiguration- Konfiguration av Landoop Kafka topic användargränssnitt, Confluent REST Proxy, Confluent Schema Registry- Skicka och ta emot meddelanden (CLI, Java, och Spring framework)- Övervakning av metriker och verktyg (Confluent Control Center, Elasticsearch, etc.)- Loggfiler och hantering av offset- Hög tillgänglighet och katastrofåterställning- Säkerställa hög tillgänglighet genom replikering- Justering av producer och consumer prestanda- Strategier för katastrofåterställning- Kontroll av övergång och återhämtning av data- Konfiguration av connectors- Implementering av Kafka Connect- Kafkas säkerhetsfunktionerSammanfattning och nästa stegConfluent Apache Kafka är en distribuerad plattform för event-strömmar som är designad för högt genomflöde, fel-toleranta data-pipelines och realtidsanalys.Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till systemadministratörer och DevOps professionella på mellanavancerad nivå som vill installera, konfigurera, övervaka och felsöka Confluent Apache Kafka kluster.I slutet av denna utbildning kommer deltagarna att kunna:- Förstå komponenterna och arkitekturen i Confluent Kafka.- Distribuera och hantera Kafka brokers, Zookeeper konsensus och viktiga tjänster.- Konfigurera avancerade funktioner, inklusive säkerhet, replikering och prestandajustering.- Använda hanteringsverktyg för att övervaka och underhålla Kafka-kluster.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Hands-on implementering i en levande labbmiljö.Alternativ för anpassning av kursen- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.- Bekantskap med distribuerade system och meddelandebegrepp- Erfarenhet av Linux kommando-raden- Grundläggande förståelse för nätverk och systemadministrationMålgrupp- Systemadministratörer- DevOps ingenjörer- Plattform och infrastruktur team

Apache Beam är en enhetlig programmeringsmodell med öppen källkod för att definiera och köra parallella databehandlingspipelines. Styrkan ligger i dess förmåga att köra både batch- och strömningspipelines, där körningen utförs av en av Beams stödda distribuerade bearbetningsserverdelar: Apache Apex, Apache Flink, Apache Spark och Google Cloud Dataflow. Apache Beam är användbart för ETL-uppgifter (Extract, Transform, and Load) som att flytta data mellan olika lagringsmedier och datakällor, omvandla data till ett mer önskvärt format och ladda data till ett nytt system.

I denna instruktörsledda, liveträning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man implementerar Apache Beam SDK:er i en Java eller Python applikation som definierar en databehandlingspipeline för att dela upp en stor datamängd i mindre bitar för oberoende, parallell bearbetning.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apache Beam.
• Använd en enda programmeringsmodell för att utföra både batch- och strömbearbetning inifrån deras Java eller Python program.
• Kör pipelines i flera miljöer.

Kursens upplägg

• Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning

Not

• Denna kurs kommer att finnas tillgänglig Scala i framtiden. Kontakta oss för att ordna.

Denna instruktörsledd, liveutbildning (online eller på plats) riktas till ingenjörer som vill använda Confluent (en distribution av Kafka) för att bygga och hantera en realtidsdataprocesseringsslatform för sina applikationer.

När kursen är avslutad kommer deltagarna kunna:

• Installera och konfigurera Confluent Platform.
• Använda Confluents hanteringsverktyg och tjänster för att enklare köra Kafka.
• Lagra och bearbeta inkommande strömdata.
• Optimera och hantera Kafka-kluster.
• Skydda dataströmmar.

Kursformat

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Händer på plats i en live-lab-miljö.

Anpassningsalternativ för kursen

• Denna kurs är baserad på den öppna källkodsversionen av Confluent: Confluent Open Source.
• För att begära en anpassad utbildning för denna kurs, kontakta oss för att ordna det.

Denna instruktörsledda, live-utbildning i Sverige (online eller på plats) introducerar principerna och tillvägagångssätten bakom distribuerad dataström- och batchdatabehandling och vägleder deltagarna genom skapandet av en realtidsapplikation för dataströmning i Apache Flink.

I slutet av denna utbildning kommer deltagarna att kunna:

• Konfigurera en miljö för att utveckla program för dataanalys.
• Förstå hur Apache Flink:s grafbehandlingsbibliotek (Gelly) fungerar.
• Paketera, köra och övervaka Flink-baserade, feltoleranta dataströmningsprogram.
• Hantera olika arbetsbelastningar.
• Utför avancerad analys.
• Konfigurera ett Flink-kluster med flera noder.
• Mät och optimera prestanda.
• Integrera Flink med olika Big Data system.
• Jämför Flink-funktionerna med de i andra ramverk för bearbetning av stordata.

I denna instruktörsledda, liveutbildning i Sverige (på plats eller på distans) kommer deltagarna att lära sig hur man ställer in och integrerar olika Stream Processing ramverk med befintliga big data-lagringssystem och relaterade mjukvaruapplikationer och mikrotjänster.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera olika Stream Processing ramverk, som Spark Streaming och Kafka Streaming.
• Förstå och välj det mest lämpliga ramverket för jobbet.
• Bearbeta data kontinuerligt, samtidigt och på ett rekord-för-post-sätt.
• Integrera Stream Processing lösningar med befintliga databaser, datalager, datasjöar etc.
• Integrera det mest lämpliga strömbehandlingsbiblioteket med företagsapplikationer och mikrotjänster.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Apache Kafka funktioner i dataströmning med Python.

I slutet av denna utbildning kommer deltagarna att kunna använda Apache Kafka för att övervaka och hantera förhållanden i kontinuerliga dataströmmar med hjälp av Python programmering.

Kafka Streams är en klientbibliotek för att bygga appar och mikrotjänster vars data skickas till och från ett Kafka-meddelandessystem. Traditionellt har Apache Kafka förlitat sig på Apache Spark eller Apache Storm för att bearbeta data mellan meddelandesändare och mottagare. Genom att anropa Kafka Streams API:et inuti en app kan data bearbetas direkt i Kafka, vilket bortser från behovet av att skicka data till ett separat kluster för bearbetning.

I denna instruktörsledda, live-träning kommer deltagarna att lära sig hur man integrerar Kafka Streams i en uppsättning exempel-Java-appar som skickar data till och från Apache Kafka för strömbehandling.

Till slutet av denna träning kommer deltagarna att kunna:

• Förstå de fördelar Kafka Streams erbjuder över andra strömbearbetningsramverk
• Bearbeta strömdata direkt inuti ett Kafka-kluster
• Skriva en Java- eller Scala-app eller mikrotjänst som integreras med Kafka och Kafka Streams
• Författa kompakt kod som transformerar inkommande Kafka-topic till utgående Kafka-topic
• Bygga, paketera och distribuera appen

Målgrupp

• Utvecklare

Kursformat

• Del föreläsning, del diskussion, övningar och mycket praktisk övning

Anmärkningar

• För att begära en anpassad träning för denna kurs, kontakta oss för att ordna det

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill implementera Apache Kafka strömbearbetning utan att skriva kod.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent KSQL.
• Konfigurera en pipeline för dataströmbearbetning med endast SQL kommandon (ingen Java eller Python kodning).
• Utför datafiltrering, transformationer, aggregeringar, kopplingar, fönster och sessionisering helt i SQL.
• Utforma och distribuera interaktiva, kontinuerliga frågor för strömmande ETL och realtidsanalys.

I denna instruktörsledda, liveträning i Sverige (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man distribuerar och hanterar Apache NiFi i en skarp labbmiljö.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apachi NiFi.
• Källa, transformera och hantera data från olika, distribuerade datakällor, inklusive databaser och stordatasjöar.
• Automatisera dataflöden.
• Aktivera strömningsanalys.
• Tillämpa olika metoder för datainmatning.
• Omvandla Big Data och till affärsinsikter.

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig grunderna i flödesbaserad programmering när de utvecklar ett antal demotillägg, komponenter och processorer med hjälp av Apache NiFi.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå NiFi:s arkitektur och dataflödesbegrepp.
• Utveckla tillägg med NiFi och API:er från tredje part.
• Skräddarsy sin egen Apache Nifi-processor.
• Mata in och bearbeta realtidsdata från olika och ovanliga filformat och datakällor.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Spark Streaming funktioner för att bearbeta och analysera realtidsdata.

I slutet av den här utbildningen kommer deltagarna att kunna använda Spark Streaming för att bearbeta livedataströmmar för användning i databaser, filsystem och live-instrumentpaneler.