Dataströmning och realtidsdatahantering Träningskurs

Denna ledarledda, levande utbildning (online eller på plats) är riktad till avancerade dataprofessionella som vill optimera datahanteringsflöden, säkerställa dataintegritet och implementera robusta datalakehouse-lösningar som kan hantera komplexiteten i moderna big data-applikationer.

Efter avslutad utbildning kommer deltagarna att kunna:

• Få en djupgående förståelse för Icebergs arkitektur, inklusive hantering av metadata och filuppbyggnad.
• Konfigurera Iceberg för optimal prestanda i olika miljöer och integrera den med flera datahanteringsmotorer.
• Hantera stora Iceberg-tabeller, utföra komplexa schemaändringar och hantera partitioneringsevolution.
• Behärska tekniker för att optimera frågeprestanda och dataskanningseffektivitet för stora dataset.
• Implementera mekanismer för att säkerställa datakonsistens, hantera transaktionsgarantier och hantera fel i distribuerade miljöer.

Denna kurs, som hålls av en instruktör, är en live-training (online eller på plats) som riktar sig till dataprofessionella på grundläggande nivå som vill förvärva kunskap och färdigheter för att effektivt använda Apache Iceberg för hantering av stora datamängder, säkerställa dataintegritet och optimera datahanteringsarbetsflöden.

Vid kursens slut kommer deltagarna att kunna:

• Få en djup förståelse för Apache Icebergs arkitektur, funktioner och fördelar.
• Lära sig om tabellformat, partitionering, schemaevolution och time travel-funktioner.
• Installera och konfigurera Apache Iceberg i olika miljöer.
• Skapa, hantera och manipulera Iceberg-tabeller.
• Förstå processen att migrera data från andra tabellformat till Iceberg.

Denna instruktörsledda, liveutbildning på plats (online eller på plats) riktar sig till datavetare och ingenjörer på mellannivå som vill använda Google Colab och Apache Spark för bearbetning och analys av stora datamängder.

Efter avslutad utbildning kommer deltagarna att kunna:

• Sätt upp en miljö för stora datamängder med hjälp av Google Colab och Spark.
• Bearbeta och analysera stora datamängder effektivt med Apache Spark.
• Visualisera stora datamängder i en samarbetsmiljö.
• Integrera Apache Spark med molnbaserade verktyg.

Teknologiframsteg och den ökande mängden information förändrar hur affärsverksamhet drivs inom många branscher, inklusive staten. Generering av data och digital arkivering i regeringsorganisationer ökar på grund av snabbt växande mobil enheter och appar, smarta sensorer och enheter, molntjänster och medborgarriktade webbportaler. När digital information utvidgas och blir mer komplex, blir informationshantering, bearbetning, lagring, säkerhet och hantering mer komplexa också. Ny teknik för insamling, sökning, upptäckt och analys hjälper organisationer att få insikter från deras ostrukturerade data. Regeringsmarknaden är vid en vändpunkt, där man inser att information är ett strategiskt tillgångsbelopp, och att regeringen måste skydda, utnyttja och analysera både strukturerad och ostrukturerad information för att bättre tjäna och uppfylla sina uppdrag. Medan regeringsledare arbetar med att utveckla datadrivna organisationer för att lyckas med sina uppdrag, lägger de grunden för att samordna beroenden mellan händelser, människor, processer och information.

Högkvalitativa regeringstjänster kommer att skapas genom en kombination av de mest förändrande teknologier:

• Mobil enheter och appar
• Molntjänster
• Sociala affärsverktyg och nätverk
• Big Data och analyser

Big Data är en av de smarta industrilösningarna och gör det möjligt för regeringen att fatta bättre beslut genom att agera på grundval av mönster som avslöjas genom analys av stora mängder data — relaterade och orelaterade, strukturerade och ostrukturerade.

Att lyckas med dessa prestationer kräver mer än att bara samla in massor av data. "Att få grepp om dessa stora mängder Big Data kräver moderna verktyg och teknologier som kan analysera och extrahera användbar kunskap från stora och mångsidiga informationsströmmar," skrev Tom Kalil och Fen Zhao vid White House Office of Science and Technology Policy i en post på OSTP Blog.

Vithuset tog ett steg för att hjälpa myndigheter att hitta dessa teknologier när det lade grunden till National Big Data Research and Development Initiative 2012. Initiativet inkluderade mer än 200 miljoner dollar för att optimera den explosion av Big Data och de verktyg som krävs för att analysera det.

Utmaningarna som Big Data ställer är lika svåra som dess löfte är uppmuntrande. Effektiv lagring av data är en av dessa utmaningar. Som vanligt är budgeterna stramade, så myndigheter måste minimera priset per megabyte för lagring och hålla datan lätt tillgänglig så att användare kan få den när de vill och som de behöver den. Att säkerhetskopiera stora mängder data ökar utmaningen.

Effektiv analys av data är en annan viktig utmaning. Många myndigheter använder kommersiella verktyg som möjliggör att de kan gräva sig igenom bergen av data och upptäcka trender som kan hjälpa dem att arbeta mer effektivt. (Ett nyligt studie av MeriTalk visade att federala IT-exekutiva anser att Big Data kan hjälpa myndigheter att spara mer än 500 miljarder dollar samtidigt som de uppfyller sina uppdrag.).

Anpassade Big Data-verktyg låter också myndigheter hantera behovet av att analysera deras data. Till exempel har Oak Ridge National Laboratorys Computational Data Analytics Group gjort sitt Piranha-dataanalys-system tillgängligt för andra myndigheter. Systemet har hjälpt medicinska forskare att hitta en länk som kan varna läkare om aortanöd innan de uppstår. Det används också för mindre banala uppgifter, såsom att gräva sig igenom CV:n för att koppla jobbsökande med rekryteringsansvariga.

Deltagare som genomför denna instruktörsledda, live-utbildning i Sverige kommer att få en praktisk, verklig förståelse för Big Data och dess relaterade teknologier, metoder och verktyg.

Deltagarna kommer att få möjlighet att omsätta denna kunskap i praktiken genom praktiska övningar. Gruppinteraktion och lärarfeedback utgör en viktig del av klassen.

Kursen börjar med en introduktion till elementära begrepp i Big Data och går sedan vidare till de programmeringsspråk och metoder som används för att utföra Data Analysis. Slutligen diskuterar vi de verktyg och den infrastruktur som möjliggör Big Data lagring, distribuerad bearbetning och Scalability.

Big Data och Avancerad Analys är tillämpningen av avancerade tekniker och verktyg för att analysera stora, komplexa datamängder för åtgärdsbara insikter och strategiskt beslutsfattande.

Denna ledarstyrda, liveutbildning (online eller på plats) är riktad till avancerade dataprofessionella som vill utnyttja spetsanalytiska metoder och big data-teknologier för prediktiv, preskriptiv och realtidsanalys.

Vid kursens slut kommer deltagarna att kunna:

• Designa och implementera storskaliga databearbetningspipelines för strukturerade och ostrukturerade data.
• Använda avancerade maskininlärnings- och djupinlärningstekniker på stora datamängder.
• Utnyttja distribuerade beräkningsramverk för realtidsanalys och datastreaming.
• Integrera big data-analys i företagsintelligens och beslutssystem.

Kursformat

• Interaktiva föreläsningar och diskussioner.
• Många övningar och praktik.
• Hands-on-implementering i en live-labmiljö.

Kursanpassningsalternativ

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Apache NiFi är ett öppen-källkodat, flödesbaserat plattform för dataintegrering och händelsebehandling. Det möjliggör automatiserad, realtidsdataflöde, transformation och systemmedling mellan olika system, med en webbaserad användargränssnitts-UI och detaljerad kontroll.

Denna instruktörledd träningskurs (platsutbildning eller fjärrutbildning) riktar sig till mellannivåadministratörer och ingenjörer som vill distribuera, hantera, säkra och optimera NiFi-dataflöden i produktionsmiljöer.

Till slutet av denna utbildning kommer deltagarna att kunna:

• Installera, konfigurera och underhålla Apache NiFi-kluster.
• Utforma och hantera dataflöden från olika källor och mottagare.
• Implementera flödesautomatisering, routning och transformering.
• Optimera prestanda, övervaka operationer och felsöka problem.

Kursformat

• Interaktiv föreläsning med diskussion om verkliga arkitekturer.
• Praktiska övningar: bygga, distribuera och hantera flöden.
• Situationsspecifika uppgifter i ett live-labbmiljö.

Kursanpassningsalternativ

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Denna utbildning ger en praktisk introduktion till att bygga skalbara dataprocesserings- och maskininlärningsflöden med hjälp av PySpark. Deltagarna lär sig hur Apache Spark fungerar inom moderna Big Data-miljöer och hur man effektivt bearbetar stora datamängder med hjälp av principer för distribuerad beräkning.

Denna instruktörsguidade, liveutbildning i Sverige (online eller på plats) riktar sig till ingenjörer som vill konfigurera och distribuera Apache Spark-systemet för att bearbeta väldigt stora mängder data.

Genom denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apache Spark.
• Bearbeta och analysera väldigt stora datamängder snabbt.
• Förstå skillnaden mellan Apache Spark och Hadoop MapReduce, samt när man ska använda vilket.
• Integrera Apache Spark med andra maskininlärningsverktyg.

Den här instruktörsledda, liveutbildningen i Sverige (online eller på plats) riktar sig till systemadministratörer på nybörjar- till mellannivå som vill distribuera, underhålla och optimera Spark-kluster.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apache Spark i olika miljöer.
• Hantera klusterresurser och övervaka Spark-program.
• Optimera prestanda för Spark-kluster.
• Implementera säkerhetsåtgärder och säkerställ hög tillgänglighet.
• Felsöka och felsöka vanliga Spark-problem.

Apache Sparks inlärningskurva stiger långsamt i början och kräver mycket ansträngning för att få den första återbetalningen. Denna kurs syftar till att hoppa över den första svåra delen. Efter att ha gått den här kursen kommer deltagarna att förstå grunderna i Apache Spark, de kommer tydligt att skilja mellan RDD och DataFrame, de kommer att lära sig Python och Scala API, de kommer att förstå executors och tasks, etc. Kursen följer också bästa praxis och fokuserar starkt på molnplacering, Databricks och AWS. Studenterna kommer också att förstå skillnaderna mellan AWS EMR och AWS Glue, en av AWS senaste Spark-tjänster.

MÅLGRUPP:

Data Engineer, DevOps, Data Scientist

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig hur man använder Python och Spark tillsammans för att analysera big data medan de arbetar med praktiska övningar.

I slutet av denna utbildning kommer deltagarna att kunna:

• Lär dig hur du använder Spark med Python för att analysera Big Data.
• Arbeta med övningar som efterliknar verkliga fall.
• Använda olika verktyg och tekniker för analys av stora datamängder med hjälp av PySpark.

Den här instruktörsledda, liveutbildningen i Sverige (online eller på plats) riktar sig till utvecklare som vill använda och integrera Spark, Hadoop och Python för att bearbeta, analysera och transformera stora och komplexa datamängder.

I slutet av denna utbildning kommer deltagarna att kunna:

• Konfigurera den miljö som krävs för att börja bearbeta stordata med Spark, Hadoop och Python.
• Förstå funktionerna, kärnkomponenterna och arkitekturen i Spark och Hadoop.
• Lär dig hur du integrerar Spark, Hadoop och Python för bearbetning av stordata.
• Utforska verktygen i Spark-ekosystemet (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka och Flume).
• Skapa rekommendationssystem för samarbetsfiltrering som liknar Netflix, YouTube, Amazon, Spotify och Google.
• Använd Apache Mahout för att skala maskininlärningsalgoritmer.

Stratio är en datacentrisk plattform som integrerar stora data, AI och styrning i en enda lösning. Dess Rocket- och Intelligence-moduler möjliggör snabb datautforskning, transformering och avancerad analys i företagsmiljöer.

Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till mellannivådatafagliga personer som vill använda Rocket- och Intelligence-modulerna i Stratio effektivt med PySpark, med fokus på loopstrukturer, användardefinierade funktioner och avancerad datalogi.

Vid slutet av denna utbildning kommer deltagarna att kunna:

• Navigera och arbeta inom Stratio-plattformen med Rocket- och Intelligence-modulerna.
• Använda PySpark i samband med datainsamling, transformering och analys.
• Använda loopar och villkorlig logik för att kontrollera datarutiner och funktioner för databehandling.
• Skapa och hantera användardefinierade funktioner (UDFs) för återanvändbara databehandlingsoperationer i PySpark.

Kursformat

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Hands-on-implementering i en levande labbmiljö.

Kursanpassningsalternativ

• För att begära en anpassad utbildning för denna kurs, kontakta oss för att arrangera.