A Practical Introduction to Stream Processing Träningskurs
Stream Processing avser realtidsbehandling av "data i rörelse", det vill säga att göra beräkningar på data när de tas emot. Sådan data läses som kontinuerliga strömmar från datakällor som sensorhändelser, webbplatsanvändaraktivitet, finansiella affärer, kreditkortsväxlar, klickströmmar etc. Stream Processing kan läsa stora volymer inkommande data och ge värdefulla insikter nästan omedelbart.
I denna instruktörsledda, live-utbildning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man ställer in och integrerar olika Stream Processing med befintliga stordatalagringssystem och relaterade mjukvaruapplikationer och mikroservices.
I slutet av denna träning kommer deltagarna att kunna:
- Installera och konfigurera olika Stream Processing ramverk, som Spark Streaming och Kafka Streaming.
- Förstå och välj den lämpligaste ramen för jobbet.
- Behandla data kontinuerligt, samtidigt och rekord-för-rekord.
- Integrera Stream Processing med befintliga databaser, datalager, datasjöar, etc.
- Integrera det mest lämpliga strömbearbetningsbiblioteket med företagsapplikationer och mikroservrar.
Publik
- utvecklare
- Programvaruarkitekter
Format Kursens
- Delföreläsning, delvis diskussion, övningar och tung praktisk övning
anteckningar
- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.
Kursplan
Införandet
- Strömbearbetning jämfört med batchbearbetning
- Analysfokuserad dataströmbearbetning
Översikt Ramverk och Programming Languages
- Spark Streaming (Scala)
- Kafka-strömning (Java)
- Länk
- Storm
- Jämförelse av funktioner och styrkor hos varje ramverk
Översikt över datakällor
- Livedata som en serie händelser över tid
- Historiska datakällor
Alternativ för distribution
- I molnet (AWS, etc.)
- På plats (privat moln, etc.)
Komma igång
- Konfigurera utvecklingsmiljön
- Installera och konfigurera
- Bedöma dina Data Analysis behov
Använda ett ramverk för direktuppspelning
- Integrera ramverket för direktuppspelning med Big Data Verktyg
- Händelse Stream Processing (ESP) jämfört med komplex händelsebearbetning (CEP)
- Transformera indata
- Inspektera utdata
- Integrering av Stream Processing Framework med befintliga applikationer och Microservices
Felsökning
Sammanfattning och slutsats
Krav
- Programming erfarenhet på vilket språk som helst
- En förståelse för Big Data-koncept (Hadoop, etc.)
Open Training Courses require 5+ participants.
A Practical Introduction to Stream Processing Träningskurs - Booking
A Practical Introduction to Stream Processing Träningskurs - Enquiry
A Practical Introduction to Stream Processing - Consultancy Enquiry
Vittnesmål (1)
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurs - A Practical Introduction to Stream Processing
Upcoming Courses
Relaterade Kurser
Spark Streaming with Python and Kafka
7 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Spark Streaming funktioner för att bearbeta och analysera realtidsdata.
I slutet av den här utbildningen kommer deltagarna att kunna använda Spark Streaming för att bearbeta livedataströmmar för användning i databaser, filsystem och live-instrumentpaneler.
Confluent KSQL
7 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill implementera Apache Kafka strömbearbetning utan att skriva kod.
I slutet av denna utbildning kommer deltagarna att kunna:
- Installera och konfigurera Confluent KSQL.
- Konfigurera en pipeline för dataströmbearbetning med endast SQL kommandon (ingen Java eller Python kodning).
- Utför datafiltrering, transformationer, aggregeringar, kopplingar, fönster och sessionisering helt i SQL.
- Utforma och distribuera interaktiva, kontinuerliga frågor för strömmande ETL och realtidsanalys.
Apache Ignite for Developers
14 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill lära sig principerna bakom beständig och ren in-memory-lagring när de går igenom skapandet av ett exempel på in-memory computing-projekt.
I slutet av denna utbildning kommer deltagarna att kunna:
- Använd Ignite för minnesintern beständighet på disken samt för en rent distribuerad minnesintern databas.
- Uppnå beständighet utan att synkronisera data tillbaka till en relationsdatabas.
- Använd Ignite för att utföra SQL och distribuerade kopplingar.
- Förbättra prestanda genom att flytta data närmare processorn och använda RAM-minnet som lagring.
- Sprid datauppsättningar över ett kluster för att uppnå horisontell skalbarhet.
- Integrera Ignite med RDBMS, NoSQL, Hadoop och maskininlärningsprocessorer.
Unified Batch and Stream Processing with Apache Beam
14 timmarApache Beam är en enhetlig programmeringsmodell med öppen källkod för att definiera och köra parallella databehandlingspipelines. Styrkan ligger i dess förmåga att köra både batch- och strömningspipelines, där körningen utförs av en av Beams stödda distribuerade bearbetningsserverdelar: Apache Apex, Apache Flink, Apache Spark och Google Cloud Dataflow. Apache Beam är användbart för ETL-uppgifter (Extract, Transform, and Load) som att flytta data mellan olika lagringsmedier och datakällor, omvandla data till ett mer önskvärt format och ladda data till ett nytt system.
I denna instruktörsledda, liveträning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man implementerar Apache Beam SDK:er i en Java eller Python applikation som definierar en databehandlingspipeline för att dela upp en stor datamängd i mindre bitar för oberoende, parallell bearbetning.
I slutet av denna utbildning kommer deltagarna att kunna:
- Installera och konfigurera Apache Beam.
- Använd en enda programmeringsmodell för att utföra både batch- och strömbearbetning inifrån deras Java eller Python program.
- Kör pipelines i flera miljöer.
Kursens upplägg
- Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning
Not
- Denna kurs kommer att finnas tillgänglig Scala i framtiden. Kontakta oss för att ordna.
Apache Apex: Processing Big Data-in-Motion
21 timmarApache Apex är en YARN-inbyggd plattform som förenar ström- och batchbearbetning. Den bearbetar stordata i rörelse på ett sätt som är skalbart, presterande, feltolerant, tillståndskänsligt, säkert, distribuerat och lätt att använda.
Denna instruktörsledda, liveträning introducerar Apache Apex:s enhetliga strömbearbetningsarkitektur och vägleder deltagarna genom skapandet av en distribuerad applikation med hjälp av Apex på Hadoop.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå begrepp för databearbetningspipeline, till exempel anslutningsappar för källor och mottagare, vanliga datatransformeringar osv.
- Bygg, skala och optimera en Apex-applikation
- Bearbeta dataströmmar i realtid på ett tillförlitligt sätt och med minimal latens
- Använd Apex Core och Apex Malhar-biblioteket för att möjliggöra snabb applikationsutveckling
- Använd Apex API för att skriva och återanvända befintlig Java kod
- Integrera Apex i andra applikationer som en bearbetningsmotor
- Finjustera, testa och skala Apex-applikationer
Kursens upplägg
- Interaktiv föreläsning och diskussion.
- Massor av övningar och övning.
- Praktisk implementering i en live-lab-miljö.
Alternativ för kursanpassning
- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.
Apache Storm
28 timmarApache Storm är en distribuerad beräkningsmotor i realtid som används för att möjliggöra business intelligence i realtid. Det gör det genom att göra det möjligt för applikationer att på ett tillförlitligt sätt bearbeta obundna dataströmmar (även kallad strömbearbetning).
"Storm är för realtidsbearbetning vad Hadoop är för batchbearbetning!"
I denna instruktörsledda liveträning kommer deltagarna att lära sig hur man installerar och konfigurerar Apache Storm, sedan utvecklar och distribuerar en Apache Storm applikation för att bearbeta big data i realtid.
Några av de ämnen som ingår i denna utbildning inkluderar:
- Apache Storm I samband med Hadoop
- Arbeta med obundna data
- Kontinuerlig beräkning
- Analys i realtid
- Distribuerad RPC- och ETL-bearbetning
Beställ den här kursen nu!
Publik
- Programvaru- och ETL-utvecklare
- Proffs på stordatorer
- Datavetare
- Analytiker av stora datamängder
- Hadoop Yrkesverksamma
Kursens upplägg
- Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning
Apache NiFi for Administrators
21 timmarI denna instruktörsledda, liveträning i Sverige (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man distribuerar och hanterar Apache NiFi i en skarp labbmiljö.
I slutet av denna utbildning kommer deltagarna att kunna:
- Installera och konfigurera Apachi NiFi.
- Källa, transformera och hantera data från olika, distribuerade datakällor, inklusive databaser och stordatasjöar.
- Automatisera dataflöden.
- Aktivera strömningsanalys.
- Tillämpa olika metoder för datainmatning.
- Omvandla Big Data och till affärsinsikter.
Apache NiFi for Developers
7 timmarI denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig grunderna i flödesbaserad programmering när de utvecklar ett antal demotillägg, komponenter och processorer med hjälp av Apache NiFi.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå NiFi:s arkitektur och dataflödesbegrepp.
- Utveckla tillägg med NiFi och API:er från tredje part.
- Skräddarsy sin egen Apache Nifi-processor.
- Mata in och bearbeta realtidsdata från olika och ovanliga filformat och datakällor.
Apache Flink Fundamentals
28 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) introducerar principerna och tillvägagångssätten bakom distribuerad dataström- och batchdatabehandling och vägleder deltagarna genom skapandet av en realtidsapplikation för dataströmning i Apache Flink.
I slutet av denna utbildning kommer deltagarna att kunna:
- Konfigurera en miljö för att utveckla program för dataanalys.
- Förstå hur Apache Flink:s grafbehandlingsbibliotek (Gelly) fungerar.
- Paketera, köra och övervaka Flink-baserade, feltoleranta dataströmningsprogram.
- Hantera olika arbetsbelastningar.
- Utför avancerad analys.
- Konfigurera ett Flink-kluster med flera noder.
- Mät och optimera prestanda.
- Integrera Flink med olika Big Data system.
- Jämför Flink-funktionerna med de i andra ramverk för bearbetning av stordata.
Python and Spark for Big Data (PySpark)
21 timmarI denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig hur man använder Python och Spark tillsammans för att analysera big data medan de arbetar med praktiska övningar.
I slutet av denna utbildning kommer deltagarna att kunna:
- Lär dig hur du använder Spark med Python för att analysera Big Data.
- Arbeta med övningar som efterliknar verkliga fall.
- Använda olika verktyg och tekniker för analys av stora datamängder med hjälp av PySpark.
Introduction to Graph Computing
28 timmarI denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig om teknikerbjudandena och implementeringsmetoderna för bearbetning av grafdata. Målet är att identifiera verkliga objekt, deras egenskaper och relationer, sedan modellera dessa relationer och bearbeta dem som data med hjälp av en Graph Computing (även känd som Graph Analytics) metod. Vi börjar med en bred översikt och begränsar oss till specifika verktyg när vi går igenom en serie fallstudier, praktiska övningar och live-distributioner.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå hur diagramdata bevaras och gås igenom.
- Välj det bästa ramverket för en viss uppgift (från grafdatabaser till ramverk för batchbearbetning).
- Implementera Hadoop, Spark, GraphX och Pregel för att utföra grafberäkning på många datorer parallellt.
- Se verkliga big data-problem i form av grafer, processer och traverser.
Artificiell intelligens - de mest tillämpade sakerna - Data Analysis + Distribuerad AI + NLP
21 timmarDen här kursen är avsedd för utvecklare och datavetare som vill förstå och implementera AI i sina applikationer. Särskild uppmärksamhet ägnas åt dataanalys, distribuerad artificiell intelligens och behandling av naturligt språk.
Apache Spark MLlib
35 timmarMLlib är Sparks maskinlärningsbibliotek. Målet är att göra praktisk maskininlärning skalbar och enkel. Det består av vanliga inlärningsalgoritmer och verktyg, inklusive klassificering, regression, klustering, samarbetsfiltrering, dimensionalitetsminskning samt primitiv för optimering av lägre nivåer och API: er på högre nivå.
Den delar upp i två paket:
spark.mllib innehåller det ursprungliga API som är byggt ovanpå RDD: er.
spark.ml tillhandahåller API på högre nivå byggd ovanpå DataFrames för konstruktion av ML-rörledningar.
Publik
Kursen riktar sig till ingenjörer och utvecklare som vill använda ett inbyggt maskinbibliotek för Apache Spark
Building Kafka Solutions with Confluent
14 timmardetta instruktör-ledda, Live Training (på plats eller fjärrkontroll) riktar sig till ingenjörer som vill använda flytande (en distribution av Kafka) för att bygga och hantera en realtid databehandling plattform för sina ansökningar.
i slutet av denna utbildning kommer deltagarna att kunna:
- Installera och konfigurera interfluent Platform.
- använda Sam& #39; s ledning redskapen och tjänsten till springa Kafka mer lätt.
- lagra och bearbeta inkommande data.
- optimera och hantera Kafka kluster.
- säkra dataströmmar.
format för kursen
- interaktiv föreläsning och diskussion.
- massor av övningar och praktik.
- praktisk implementering i en Live-lab miljö.
kurs AnpassningsAlternativ
- den här kursen är baserad på öppen källkods-version av interfluent: flytande öppen källkod.
- att begära en skräddarsydd utbildning för denna kurs, vänligen kontakta oss för att ordna.
Apache Kafka for Python Programmers
7 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Apache Kafka funktioner i dataströmning med Python.
I slutet av denna utbildning kommer deltagarna att kunna använda Apache Kafka för att övervaka och hantera förhållanden i kontinuerliga dataströmmar med hjälp av Python programmering.