Stream processing Kurs i Sverige

Apache Beam är en enhetlig programmeringsmodell med öppen källkod för att definiera och köra parallella databehandlingspipelines. Styrkan ligger i dess förmåga att köra både batch- och strömningspipelines, där körningen utförs av en av Beams stödda distribuerade bearbetningsserverdelar: Apache Apex, Apache Flink, Apache Spark och Google Cloud Dataflow. Apache Beam är användbart för ETL-uppgifter (Extract, Transform, and Load) som att flytta data mellan olika lagringsmedier och datakällor, omvandla data till ett mer önskvärt format och ladda data till ett nytt system. I denna instruktörsledda, liveträning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man implementerar Apache Beam SDK:er i en Java eller Python applikation som definierar en databehandlingspipeline för att dela upp en stor datamängd i mindre bitar för oberoende, parallell bearbetning. I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apache Beam.
• Använd en enda programmeringsmodell för att utföra både batch- och strömbearbetning inifrån deras Java eller Python program.
• Kör pipelines i flera miljöer.

Kursens upplägg

• Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning

Not

• Denna kurs kommer att finnas tillgänglig Scala i framtiden. Kontakta oss för att ordna.

detta instruktör-ledda, Live Training (på plats eller fjärrkontroll) riktar sig till ingenjörer som vill använda flytande (en distribution av Kafka) för att bygga och hantera en realtid databehandling plattform för sina ansökningar. i slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent Platform.
• Använda Confluent's management tools and services för att enkelt köra Kafka.
• Lagra och bearbeta inkommande strömmande data.
• Optimera och hantera Kafka-kluster.
• Säkra dataströmmar.

format för kursen

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Hands-on implementation i en live-lab-miljö.

kurs AnpassningsAlternativ

• Denna kurs är baserad på den öppna källkodsversionen av Confluent: Confluent Open Source.
• För att beställa en anpassad utbildning för denna kurs, kontakta oss för att boka.

Denna instruktörsledda, live-utbildning i Sverige (online eller på plats) introducerar principerna och tillvägagångssätten bakom distribuerad dataström- och batchdatabehandling och vägleder deltagarna genom skapandet av en realtidsapplikation för dataströmning i Apache Flink. I slutet av denna utbildning kommer deltagarna att kunna:

• Konfigurera en miljö för att utveckla program för dataanalys.
• Förstå hur Apache Flink:s grafbehandlingsbibliotek (Gelly) fungerar.
• Paketera, köra och övervaka Flink-baserade, feltoleranta dataströmningsprogram.
• Hantera olika arbetsbelastningar.
• Utför avancerad analys.
• Konfigurera ett Flink-kluster med flera noder.
• Mät och optimera prestanda.
• Integrera Flink med olika Big Data system.
• Jämför Flink-funktionerna med de i andra ramverk för bearbetning av stordata.

I denna instruktörsledda, liveutbildning i Sverige (på plats eller på distans) kommer deltagarna att lära sig hur man ställer in och integrerar olika Stream Processing ramverk med befintliga big data-lagringssystem och relaterade mjukvaruapplikationer och mikrotjänster. I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera olika Stream Processing ramverk, som Spark Streaming och Kafka Streaming.
• Förstå och välj det mest lämpliga ramverket för jobbet.
• Bearbeta data kontinuerligt, samtidigt och på ett rekord-för-post-sätt.
• Integrera Stream Processing lösningar med befintliga databaser, datalager, datasjöar etc.
• Integrera det mest lämpliga strömbehandlingsbiblioteket med företagsapplikationer och mikrotjänster.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Apache Kafka funktioner i dataströmning med Python. I slutet av denna utbildning kommer deltagarna att kunna använda Apache Kafka för att övervaka och hantera förhållanden i kontinuerliga dataströmmar med hjälp av Python programmering.

Kafka Streams är ett bibliotek på klientsidan för att bygga applikationer och mikroservices vars data skickas till och från ett Kafka-meddelandesystem. Traditionellt har Apache Kafka förlitat sig på Apache Spark eller Apache Storm att bearbeta data mellan meddelandeproducenter och konsumenter. Genom att ringa Kafka Streams API från en applikation kan data behandlas direkt inom Kafka, vilket förbigår behovet av att skicka data till ett separat kluster för bearbetning. I denna instruktörsledda, liveträning, kommer deltagarna att lära sig att integrera Kafka Streams i en uppsättning prov Java applikationer som skickar data till och från Apache Kafka för strömbehandling. I slutet av denna träning kommer deltagarna att kunna:

• Förstå Kafka Streams funktioner och fördelar jämfört med andra strömbehandlingsramverk
• Behandla strömdata direkt inom ett Kafka-kluster
• Skriva en Java eller Scala applikation eller mikrotjänst som integreras med Kafka och Kafka Streams
• Skriva koncist kod som omvandlar inmatnings-Kafka-ämnen till utmatnings-Kafka-ämnen
• Bygga, paketera och distribuera applikationen

Publik

• Utvecklare

Kursformat

• Delvis föreläsning, delvis diskussion, övningar och mycket praktisk övning

anteckningar

• För att begära en anpassad träning för denna kurs, vänligen kontakta oss för att ordna

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill implementera Apache Kafka strömbearbetning utan att skriva kod. I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent KSQL.
• Konfigurera en pipeline för dataströmbearbetning med endast SQL kommandon (ingen Java eller Python kodning).
• Utför datafiltrering, transformationer, aggregeringar, kopplingar, fönster och sessionisering helt i SQL.
• Utforma och distribuera interaktiva, kontinuerliga frågor för strömmande ETL och realtidsanalys.

I denna instruktörsledda, liveträning i Sverige (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man distribuerar och hanterar Apache NiFi i en skarp labbmiljö. I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apachi NiFi.
• Källa, transformera och hantera data från olika, distribuerade datakällor, inklusive databaser och stordatasjöar.
• Automatisera dataflöden.
• Aktivera strömningsanalys.
• Tillämpa olika metoder för datainmatning.
• Omvandla Big Data och till affärsinsikter.

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig grunderna i flödesbaserad programmering när de utvecklar ett antal demotillägg, komponenter och processorer med hjälp av Apache NiFi. I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå NiFi:s arkitektur och dataflödesbegrepp.
• Utveckla tillägg med NiFi och API:er från tredje part.
• Skräddarsy sin egen Apache Nifi-processor.
• Mata in och bearbeta realtidsdata från olika och ovanliga filformat och datakällor.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Spark Streaming funktioner för att bearbeta och analysera realtidsdata. I slutet av den här utbildningen kommer deltagarna att kunna använda Spark Streaming för att bearbeta livedataströmmar för användning i databaser, filsystem och live-instrumentpaneler.