En praktisk introduktion till strömbearbetning Träningskurs
Stream Processing innebär realtidsbearbetning av "data i rörelse", det vill säga att utföra beräkningar på data när det tas emot. Sådana data läses in som kontinuerliga strömmar från datakällor som sensorevent, användaraktivitet på webbplatser, finansiella transaktioner, kreditkortssvängningar, klickströmmar och så vidare. Stream Processing-ramverk kan läsa stora volymer inkommande data och ge värdefulla insikter nästan omedelbart.
I denna lärare-ledda, liveutbildning (på plats eller på distans) kommer deltagarna att lära sig hur man installerar och integrerar olika Stream Processing-ramverk med befintliga big data-lagringsystem och relaterade program och mikrotjänster.
Efter avslutad utbildning kommer deltagarna att kunna:
- Installera och konfigurera olika Stream Processing-ramverk, såsom Spark Streaming och Kafka Streaming.
- Förstå och välja det mest lämpliga ramverket för uppgiften.
- Processa data kontinuerligt, samtidigt och på ett post-för-post-för-post.
- Integrera Stream Processing-lösningar med befintliga databaser, datawarehouses, datasjöar etc.
- Integrera det mest lämpliga stream processing-biblioteket med företagsprogram och mikrotjänster.
Målgrupp
- Utvecklare
- Programarkitekter
Kursformat
- Del föreläsning, del diskussion, övningar och mycket praktik
Anmärkningar
- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.
Kursplan
Introduktion
- Strömningsbearbetning vs batch-bearbetning
- Analysfokuserad strömningsbearbetning
Översikt över ramverk och programspråk
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Jämförelse av funktioner och styrkor i varje ramverk
Översikt över datakällor
- Livsdata som en serie händelser över tid
- Historiska datakällor
Distributionsalternativ
- I molnet (AWS, etc.)
- På plats (privat moln, etc.)
Kom igång
- Installera utvecklingsmiljön
- Installera och konfigurera
- Bedömma dina dataanalysbehov
Driva ett strömningsramverk
- Integrera strömningsramverket med Big Data-verktyg
- Event Stream Processing (ESP) vs Complex Event Processing (CEP)
- Transformera inkommande data
- Inspektera utgående data
- Integrera strömningsramverket med befintliga program och mikrotjänster
Felsökning
Sammanfattning och avslutning
Krav
- Programmerfarenhet i vilket språk som helst
- En förståelse för Big Data-begrepp (Hadoop, etc.)
Öppna Utbildningskurser kräver 5+ deltagare.
En praktisk introduktion till strömbearbetning Träningskurs - Bokning
En praktisk introduktion till strömbearbetning Träningskurs - Fråga
En praktisk introduktion till strömbearbetning - Konsultfråga
Konsultfråga
Vittnesmål (1)
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurs - A Practical Introduction to Stream Processing
Kommande Kurser
Relaterade Kurser
Apache Kafka Connect
7 timmarDenna instruktörsledd, liveutbildning i Sverige (online eller på plats) är riktad till utvecklare som önskar integrera Apache Kafka med befintliga databaser och applikationer för bearbetning, analys etc.
Åt slutet av denna utbildning kommer deltagarna att kunna:
- Använda Kafka Connect för att sluka stora mängder data från en databas till Kafka-ämnen.
- Sluka loggdata genererade av applikationsservrar till Kafka-ämnen.
- Göra alla insamlade data tillgängliga för strömbehandling.
- Exportera data från Kafka-ämnen till sekundära system för lagring och analys.
Building Kafka Solutions with Confluent
14 timmarDenna instruktörsledd, liveutbildning (online eller på plats) riktas till ingenjörer som vill använda Confluent (en distribution av Kafka) för att bygga och hantera en realtidsdataprocesseringsslatform för sina applikationer.
När kursen är avslutad kommer deltagarna kunna:
- Installera och konfigurera Confluent Platform.
- Använda Confluents hanteringsverktyg och tjänster för att enklare köra Kafka.
- Lagra och bearbeta inkommande strömdata.
- Optimera och hantera Kafka-kluster.
- Skydda dataströmmar.
Kursformat
- Interaktiv föreläsning och diskussion.
- Många övningar och praktik.
- Händer på plats i en live-lab-miljö.
Anpassningsalternativ för kursen
- Denna kurs är baserad på den öppna källkodsversionen av Confluent: Confluent Open Source.
- För att begära en anpassad utbildning för denna kurs, kontakta oss för att ordna det.
Bygga Dataflöden med Apache Kafka
7 timmarApache Kafka är en distribuerad strömningss plattform. Det är de facto standard för att bygga datapipeliner och löser många olika användningsfall kring datahantering: det kan användas som ett meddelandekö, distribuerat logg, strömningsprocesserare etc.
Vi börjar med lite teori bakom datapipeliner generellt, fortsätter sedan med grundläggande koncept bakom Kafka. Vi kommer även att utforska viktiga komponenter som Kafka Streams och Kafka Connect.
Distribuerad meddelandeleverans med Apache Kafka
14 timmarDenna kurs är avsedd för företagsarkitekter, utvecklare, systemadministratörer och alla som vill förstå och använda ett med hög genomströmning distribuerat meddelandessystem. Om du har mer specifika krav (t.ex. endast systemadministrationssida) kan denna kurs anpassas för att bättre passa dina behov.
Kafka för administratörer
21 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till systemadministratörer som vill konfigurera, distribuera, hantera och optimera ett Kafka-kluster av företagsklass.
I slutet av denna utbildning kommer deltagarna att kunna:
- Konfigurera och administrera ett Kafka-kluster.
- Utvärdera fördelarna och nackdelarna med att distribuera Kafka lokalt kontra i molnet.
- Distribuera och övervaka Kafka med hjälp av olika lokala och molnmiljöverktyg.
Apache Kafka för utvecklare
21 timmarDenna instruktörsledda, liveutbildning (online eller på plats) riktar sig till utvecklare på mellannivå som vill utveckla big data-applikationer med Apache Kafka.
Efter denna utbildning kommer deltagarna att kunna:
- Utveckla Kafka-producenter och konsumenter för att skicka och läsa data från Kafka.
- Integrera Kafka med externa system med hjälp av Kafka Connect.
- Skriva strömmande applikationer med Kafka Streams & ksqlDB.
- Integrera en Kafka-klientapplikation med Confluent Cloud för molnbaserade Kafka-distributioner.
- Få praktisk erfarenhet genom övningar och verkliga användningsfall.
Apache Kafka for Python Programmers
7 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Apache Kafka funktioner i dataströmning med Python.
I slutet av denna utbildning kommer deltagarna att kunna använda Apache Kafka för att övervaka och hantera förhållanden i kontinuerliga dataströmmar med hjälp av Python programmering.
Säkerhet för Apache Kafka
7 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) är riktad till mjukvarutestare som vill implementera nätverkssäkerhetåtgärder i en Apache Kafka-applikation.
Till slutet av denna utbildning kommer deltagarna att kunna:
- Distribuera Apache Kafka på en molnbaserad server.
- Implementera SSL-kryptering för att förebygga attacker.
- Lägga till ACL-autentisering för att spåra och kontrollera användaråtkomst.
- Säkerställa att trovärda klienter har åtkomst till Kafka-kluster med SSL och SASL-autentisering.
Apache Kafka och Spring Boot
7 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare på medelnivå som vill lära sig grunderna i Kafka och integrera den med Spring Boot.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå Kafka och dess arkitektur.
- Lära dig hur man installerar, konfigurerar och ställer in en grundläggande Kafka-miljö.
- Integrera Kafka med Spring Boot.
Stream Processing with Kafka Streams
7 timmarKafka Streams är en klientbibliotek för att bygga appar och mikrotjänster vars data skickas till och från ett Kafka-meddelandessystem. Traditionellt har Apache Kafka förlitat sig på Apache Spark eller Apache Storm för att bearbeta data mellan meddelandesändare och mottagare. Genom att anropa Kafka Streams API:et inuti en app kan data bearbetas direkt i Kafka, vilket bortser från behovet av att skicka data till ett separat kluster för bearbetning.
I denna instruktörsledda, live-träning kommer deltagarna att lära sig hur man integrerar Kafka Streams i en uppsättning exempel-Java-appar som skickar data till och från Apache Kafka för strömbehandling.
Till slutet av denna träning kommer deltagarna att kunna:
- Förstå de fördelar Kafka Streams erbjuder över andra strömbearbetningsramverk
- Bearbeta strömdata direkt inuti ett Kafka-kluster
- Skriva en Java- eller Scala-app eller mikrotjänst som integreras med Kafka och Kafka Streams
- Författa kompakt kod som transformerar inkommande Kafka-topic till utgående Kafka-topic
- Bygga, paketera och distribuera appen
Målgrupp
- Utvecklare
Kursformat
- Del föreläsning, del diskussion, övningar och mycket praktisk övning
Anmärkningar
- För att begära en anpassad träning för denna kurs, kontakta oss för att ordna det
Administration of Kafka Topic
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till systemadministratörer på nybörjarnivå till mellannivå som vill lära sig hur man effektivt hanterar Kafka-ämnen för effektiv dataströmning och bearbetning.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå grunderna och arkitekturen för Kafka-ämnen.
- Skapa, konfigurera och hantera Kafka-ämnen.
- Övervaka Kafka-ämnen för hälsa, prestanda och tillgänglighet.
- Implementera säkerhetsåtgärder för Kafka-ämnen.
SMACK Stack för Data Science
14 timmarDenna instruktörsledda, live-träning (online eller på plats) riktar sig till datavetare som vill använda SMACK-stacken för att bygga datahanteringsplattformar för lösningar för stora mängder data.
Efter avslutad träning kommer deltagarna att kunna:
- Implementera en datapipelinearkitektur för bearbetning av stora mängder data.
- Utveckla en klusterinfrastruktur med Apache Mesos och Docker.
- Analysera data med Spark och Scala.
- Hantera ostrukturerade data med Apache Cassandra.
Python och Spark för Big Data (PySpark)
21 timmarI denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig hur man använder Python och Spark tillsammans för att analysera big data medan de arbetar med praktiska övningar.
I slutet av denna utbildning kommer deltagarna att kunna:
- Lär dig hur du använder Spark med Python för att analysera Big Data.
- Arbeta med övningar som efterliknar verkliga fall.
- Använda olika verktyg och tekniker för analys av stora datamängder med hjälp av PySpark.
Microservices med Spring Cloud och Kafka
21 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill omvandla traditionell arkitektur till en mycket samtidig mikrotjänstbaserad arkitektur med hjälp av Spring Cloud, Kafka, Docker, Kubernetes och Redis.
I slutet av denna utbildning kommer deltagarna att kunna:
- Konfigurera den nödvändiga utvecklingsmiljön för att bygga mikrotjänster.
- Designa och implementera ett mycket samtidigt mikrotjänstekosystem med hjälp av Spring Cloud, Kafka, Redis, Docker och Kubernetes.
- Förvandla monolitiska och SOA-tjänster till mikrotjänstbaserad arkitektur.
- Anta en DevOps-metod för att utveckla, testa och släppa programvara.
- Säkerställ hög samtidighet mellan mikrotjänster i produktionen.
- Övervaka mikrotjänster och implementera återställningsstrategier.
- Utför prestandajustering.
- Lär dig om framtida trender inom mikrotjänsters arkitektur.
Stratio: Rocket och Intelligence Modules med PySpark
14 timmarStratio är en datacentrisk plattform som integrerar stora data, AI och styrning i en enda lösning. Dess Rocket- och Intelligence-moduler möjliggör snabb datautforskning, transformering och avancerad analys i företagsmiljöer.
Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till mellannivådatafagliga personer som vill använda Rocket- och Intelligence-modulerna i Stratio effektivt med PySpark, med fokus på loopstrukturer, användardefinierade funktioner och avancerad datalogi.
Vid slutet av denna utbildning kommer deltagarna att kunna:
- Navigera och arbeta inom Stratio-plattformen med Rocket- och Intelligence-modulerna.
- Använda PySpark i samband med datainsamling, transformering och analys.
- Använda loopar och villkorlig logik för att kontrollera datarutiner och funktioner för databehandling.
- Skapa och hantera användardefinierade funktioner (UDFs) för återanvändbara databehandlingsoperationer i PySpark.
Kursformat
- Interaktiv föreläsning och diskussion.
- Många övningar och praktik.
- Hands-on-implementering i en levande labbmiljö.
Kursanpassningsalternativ
- För att begära en anpassad utbildning för denna kurs, kontakta oss för att arrangera.