Big Data Kurs i Sverige

Stratio är en datacentrisk plattform som integrerar stora data, AI och styrning i en enda lösning. Dess Rocket- och Intelligence-moduler möjliggör snabb datautforskning, transformering och avancerad analys i företagsmiljöer.

Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till mellannivådatafagliga personer som vill använda Rocket- och Intelligence-modulerna i Stratio effektivt med PySpark, med fokus på loopstrukturer, användardefinierade funktioner och avancerad datalogi.

Vid slutet av denna utbildning kommer deltagarna att kunna:

• Navigera och arbeta inom Stratio-plattformen med Rocket- och Intelligence-modulerna.
• Använda PySpark i samband med datainsamling, transformering och analys.
• Använda loopar och villkorlig logik för att kontrollera datarutiner och funktioner för databehandling.
• Skapa och hantera användardefinierade funktioner (UDFs) för återanvändbara databehandlingsoperationer i PySpark.

Kursformat

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Hands-on-implementering i en levande labbmiljö.

Kursanpassningsalternativ

• För att begära en anpassad utbildning för denna kurs, kontakta oss för att arrangera.

Deltagare som genomför denna instruktörsledda, live-utbildning i Sverige kommer att få en praktisk, verklig förståelse för Big Data och dess relaterade teknologier, metoder och verktyg.

Deltagarna kommer att få möjlighet att omsätta denna kunskap i praktiken genom praktiska övningar. Gruppinteraktion och lärarfeedback utgör en viktig del av klassen.

Kursen börjar med en introduktion till elementära begrepp i Big Data och går sedan vidare till de programmeringsspråk och metoder som används för att utföra Data Analysis. Slutligen diskuterar vi de verktyg och den infrastruktur som möjliggör Big Data lagring, distribuerad bearbetning och Scalability.

Confluent Apache Kafka är en företagsanpassad distribuerad plattform för händelsebaserad strömning som byggs på Apache Kafka. Den stöder högpresterande, felfrihetstoleranta dataflöden och realtidsströmningsapplikationer.Denna instruktörsledda, live-träning (online eller på plats) riktar sig till mellan-nivå ingenjörer och administratörer som vill distribuera, konfigurera och optimera Confluent Kafka-kluster i produktionsmiljöer.I slutet av denna träning kommer deltagarna att kunna:- Installera, konfigurera och driva Confluent Kafka-kluster med flera brokers.- Designa hög tillgänglighet med Zookeeper och replikeringsmetoder.- Justera prestanda, övervaka metriker och tillämpa återhämtningsstrategier.- Säkra, skalera och integrera Kafka med företagsmiljöer.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Händer-i-möte implementering i en live-labbmiljö.Alternativ för kursanpassning- För att begära en anpassad träning för denna kurs, kontakta oss för att boka.Module 1: Introduktion till Confluent Apache Kafka Arkitektur och Klusterkonfiguration- Vad är Apache Kafka och Confluent-plattformen?- Grundläggande om Kafka-broker, producer, konsument och ämnen- Kafkas roll i dataflödes- och meddelandepipelines- Confluent-utökningar: REST Proxy, Schema Registry, Control Center- Kafka-klusterarkitektur: brokers, partitioner och replikeringModule 2: Zookeeper Quorum Konfiguration- Vad är Zookeeper?- Zookeepers roll i ett Kafka-kluster- Zookeeper quorum storlek- Zookeeper konfiguration- Implementera SSH på våra servrar- Händer-i-möte: Zookeeper-konfiguration (som team och som tjänst)- Använda Zookeeper Command Line Interface (CLI)- Händer-i-möte: Zookeeper quorum setup- Zookeepers interna filsystem- Prestandafaktorer som påverkar Zookeeper- Demo: Zookeeper-hanteringsverktyg och ZoonavigatorModule 3: Kafka Kluster Konfiguration- Kafka grundläggande- Kafka konfiguration- Händer-i-möte: Kafka-konfiguration på en enda broker- Händer-i-möte: Utföra Kafka-kommandon- Händer-i-möte: Kafka multi-broker (kluster) setup- Händer-i-möte: Kafka-kluster testning- Kan jag ansluta till mitt Kafka-kluster?- Advertised.listeners konfiguration: nyckelinställning- Ämneskonfiguration- Konfigurera meddelandeingest och leverans i ämnen- Händer-i-möte: Demonstrera Kafkas tålighet- Kafka prestanda: I/O, nätverk, RAM, CPU, OS- Kafka prestanda: andra faktorer- Händer-i-möte: Hur man ändrar brokerkonfigurationerModule 4: Avancerad Kafka Konfiguration- Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry-konfiguration- Skicka och ta emot meddelanden (CLI, Java, Spring Framework)- Metriker och övervakningsverktyg (Confluent Control Center, Elasticsearch, etc.)- Loggfiler och offset-hantering- Hög tillgänglighet och katastrofhantering- Säkerställa hög tillgänglighet med replikering- Prestandajustering (producer/konsument)- Katastrofhanteringsstrategier- Övertagande och dataåterställning- Konfigurera anslutningar- Kafka Connect-implementering- Kafkas säkerhetsfunktionerSammanfattning och Nästa stegConfluent Apache Kafka är en företagsanpassad distribuerad plattform för händelsebaserad strömning som byggs på Apache Kafka. Den stöder högpresterande, felfrihetstoleranta dataflöden och realtidsströmningsapplikationer.Denna instruktörsledda, live-träning (online eller på plats) riktar sig till mellan-nivå ingenjörer och administratörer som vill distribuera, konfigurera och optimera Confluent Kafka-kluster i produktionsmiljöer.I slutet av denna träning kommer deltagarna att kunna:- Installera, konfigurera och driva Confluent Kafka-kluster med flera brokers.- Designa hög tillgänglighet med Zookeeper och replikeringsmetoder.- Justera prestanda, övervaka metriker och tillämpa återhämtningsstrategier.- Säkra, skalera och integrera Kafka med företagsmiljöer.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Händer-i-möte implementering i en live-labbmiljö.Alternativ för kursanpassning- För att begära en anpassad träning för denna kurs, kontakta oss för att boka.Erfarenhet av Linux-baserade system och kommando-radsverktyg- Kännedom om distribuerade systemkoncept- Förståelse för grundläggande nätverk och systemkonfigurationMålgrupp- DevOps- och SRE-team som hanterar Kafka-distributioner- Systemadministratörer som arbetar med Confluent och Zookeeper- Kafka-utvecklare och arkitekter ansvariga för skalbara system

Greenplum är en open-source massively parallel processing (MPP) data-plattform som är utformad för analys och stora datamiljöer.

Denna instruktörsledda, live-utbildning (online eller på plats) riktar sig till tekniska användare på mellan- och avancerad nivå som vill förstå Greenplums interna arkitektur, bygga optimerade datamodeller och tillämpa högpresterande SQL i fördelade miljöer.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå Greenplums shared-nothing-arkitektur och parallellismmodell.
• Designa fördelade tabellstrukturer och partitioner som är optimerade för frågeprestanda.
• Använda indexeringsstrategier, lagringsformat och fysiska designtekniker.
• Tolka EXPLAIN-planer och optimera frågor med hjälp av bästa praxis.

Format på kursen

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Praktisk implementering i en live-labbmiljö.

Kursanpassningsalternativ

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Confluent Apache Kafka är en distribuerad plattform för event-strömmar som är designad för högt genomflöde, fel-toleranta data-pipelines och realtidsanalys.Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till systemadministratörer och DevOps professionella på mellanavancerad nivå som vill installera, konfigurera, övervaka och felsöka Confluent Apache Kafka kluster.I slutet av denna utbildning kommer deltagarna att kunna:- Förstå komponenterna och arkitekturen i Confluent Kafka.- Distribuera och hantera Kafka brokers, Zookeeper konsensus och viktiga tjänster.- Konfigurera avancerade funktioner, inklusive säkerhet, replikering och prestandajustering.- Använda hanteringsverktyg för att övervaka och underhålla Kafka-kluster.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Hands-on implementering i en levande labbmiljö.Alternativ för anpassning av kursen- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.Modul 1: Introduktion till arkitekturen och konfigurationen av Confluent Apache Kafka kluster- Kafkas roll i moderna data-pipelines- Skillnader mellan Apache Kafka och Confluent Kafka- Kerna komponenter: producers, consumers, brokers, topics, partitions- Kafka kluster-distribueringsmodeller och skalningsövervägandenModul 2: Konfiguration av Zookeeper konsensus- Vad är Zookeeper?- Zookeepers roll i ett Kafka kluster- Storlek på Zookeeper konsensus- Zookeeper konfiguration- Implementering av SSH på våra servrar- Praktik: Zookeeper konfiguration (som team och som tjänst)- Användning av Zookeeper Command Line Interface (CLI)- Praktik: Konfiguration av Zookeeper konsensus- Zookeepers interna filsystem- Prestandafaktorer som påverkar Zookeeper- Demonstration av hanteringsverktyg för Zookeeper och ZoonavigatorModul 3: Konfiguration av Kafka kluster- Grundläggande Kafka begrepp- Kafka konfiguration- Praktik: Konfiguration av Kafka brokers- Praktik: Utförande av Kafka kommando- Praktik: Konfiguration av Kafka Multi-Broker kluster- Praktik: Testning av Kafka kluster- Kan jag ansluta till mitt Kafka kluster?- Konfiguration av advertised.listeners: viktigaste inställning- Konfiguration av topics- Konfiguration för nedladdning och insamling av meddelanden i topics- Praktik: Demonstrera Kafkas motståndskraft- Kafkas prestanda: I/O- Kafkas prestanda: Nätverk (RED)- Kafkas prestanda: RAM- Kafkas prestanda: CPU- Kafkas prestanda: Operativsystem (OS)- Kafkas prestanda: Övrigt- Praktik: Hur man ändrar Kafka broker konfigurationModul 4: Avancerad Kafka konfiguration- Konfiguration av Landoop Kafka topic användargränssnitt, Confluent REST Proxy, Confluent Schema Registry- Skicka och ta emot meddelanden (CLI, Java, och Spring framework)- Övervakning av metriker och verktyg (Confluent Control Center, Elasticsearch, etc.)- Loggfiler och hantering av offset- Hög tillgänglighet och katastrofåterställning- Säkerställa hög tillgänglighet genom replikering- Justering av producer och consumer prestanda- Strategier för katastrofåterställning- Kontroll av övergång och återhämtning av data- Konfiguration av connectors- Implementering av Kafka Connect- Kafkas säkerhetsfunktionerSammanfattning och nästa stegConfluent Apache Kafka är en distribuerad plattform för event-strömmar som är designad för högt genomflöde, fel-toleranta data-pipelines och realtidsanalys.Denna instruktörsledda, levande utbildning (online eller på plats) riktar sig till systemadministratörer och DevOps professionella på mellanavancerad nivå som vill installera, konfigurera, övervaka och felsöka Confluent Apache Kafka kluster.I slutet av denna utbildning kommer deltagarna att kunna:- Förstå komponenterna och arkitekturen i Confluent Kafka.- Distribuera och hantera Kafka brokers, Zookeeper konsensus och viktiga tjänster.- Konfigurera avancerade funktioner, inklusive säkerhet, replikering och prestandajustering.- Använda hanteringsverktyg för att övervaka och underhålla Kafka-kluster.Kursformat- Interaktiv föreläsning och diskussion.- Många övningar och praktik.- Hands-on implementering i en levande labbmiljö.Alternativ för anpassning av kursen- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.- Bekantskap med distribuerade system och meddelandebegrepp- Erfarenhet av Linux kommando-raden- Grundläggande förståelse för nätverk och systemadministrationMålgrupp- Systemadministratörer- DevOps ingenjörer- Plattform och infrastruktur team

Greenplum är en öppen källkod parallell data plattform baserad på PostgreSQL, utformad för avancerad analys och stora datalagringslösningar.

Denna instruktörsledda liveutbildning (online eller på plats) riktar sig till administratörer på mellan-nivå som vill installera, konfigurera och hantera Greenplum-miljöer effektivt, inklusive hantering av systemuppdateringar och bibliotek.

Vid utbildningens slut kommer deltagarna att kunna:

• Installera och konfigurera ett produktionsklart Greenplum-kluster.
• Hantera systemuppdateringar och tillämpa uppdateringar säkert.
• Hantera Greenplum-biblioteksförvaltning för analys och utökningar.
• Felsöka och övervaka Greenplum-system.

Utbildningsformat

• Interaktiv föreläsning och diskussion.
• Praktisk användning av Greenplum i en kontrollerad labbmiljö.
• Guiderade övningar som fokuserar på klustersättning, uppgraderingsflöden och systemutökningar.

Alternativ för utbildningsanpassning

• För att begära en anpassad utbildning för denna kurs baserat på din miljö eller dataplattform, kontakta oss för att boka.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataproffs på avancerad nivå som vill optimera arbetsflöden för databehandling, säkerställa dataintegritet och implementera robusta data lakehouse-lösningar som kan hantera komplexiteten i moderna big data-applikationer.

I slutet av denna utbildning kommer deltagarna att kunna:

• Få en djupgående förståelse för Icebergs arkitektur, inklusive metadatahantering och fillayout.
• Konfigurera Iceberg för optimal prestanda i olika miljöer och integrera det med flera databehandlingsmotorer.
• Hantera storskaliga isbergstabeller, utför komplexa schemaändringar och hantera partitionsutveckling.
• Behärska tekniker för att optimera frågeprestanda och datagenomsökningseffektivitet för stora datamängder.
• Implementera mekanismer för att säkerställa datakonsekvens, hantera transaktionsgarantier och hantera fel i distribuerade miljöer.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataproffs på nybörjarnivå som vill skaffa sig de kunskaper och färdigheter som krävs för att effektivt använda Apache Iceberg för att hantera storskaliga datamängder, säkerställa dataintegritet och optimera arbetsflöden för databehandling.

I slutet av denna utbildning kommer deltagarna att kunna:

• Få en grundlig förståelse för Apache Icebergs arkitektur, funktioner och fördelar.
• Lär dig mer om tabellformat, partitionering, schemautveckling och funktioner för tidsresor.
• Installera och konfigurera Apache Iceberg i olika miljöer.
• Skapa, hantera och manipulera isbergstabeller.
• Förstå processen för att migrera data från andra tabellformat till Iceberg.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till IT-proffs på mellannivå som vill förbättra sina färdigheter inom dataarkitektur, styrning, cloud computing och big data-teknik för att effektivt hantera och analysera stora datamängder för datamigrering inom sina organisationer.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå de grundläggande begreppen och komponenterna i olika dataarkitekturer.
• Få en omfattande förståelse för datastyrningsprinciper och deras betydelse i regulatoriska miljöer.
• Implementera och hantera ramverk för datastyrning som Dama och Togaf.
• Utnyttja molnplattformar för effektiv lagring, bearbetning och hantering av data.

Den här instruktörsledda, liveutbildningen i Sverige (online eller på plats) riktar sig till datatekniker på mellannivå som vill lära sig att använda Azure Data Lake Storage Gen2 för effektiva dataanalyslösningar.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå arkitekturen och viktiga funktioner i Azure Data Lake Storage Gen2.
• Optimera datalagring och åtkomst för kostnad och prestanda.
• Integrera Azure Data Lake Storage Gen2 med andra Azure tjänster för analys och databearbetning.
• Utveckla lösningar med hjälp av API:et Azure Data Lake Storage Gen2.
• Felsök vanliga problem och optimera lagringsstrategier.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till IT-proffs på mellannivå som vill ha en omfattande förståelse av IBM DataStage både ur ett administrativt och ett utvecklingsperspektiv, vilket gör att de kan hantera och använda detta verktyg effektivt på sina respektive arbetsplatser.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå kärnkoncepten för DataStage.
• Lär dig hur du effektivt installerar, konfigurerar och hanterar DataStage-miljöer.
• Anslut till olika datakällor och extrahera data effektivt från databaser, platta filer och externa källor.
• Implementera effektiva dataladdningstekniker.

Denna instruktörledade, live-träningen i Sverige (på plats eller online) är avsedd för mellanliggande nivås stordataprofessioneller som vill använda Apache Kylin för att bygga realtidsdatalager och utföra flerdimensionell analys på storskaliga datamängder.

Genom denna utbildning kommer deltagarna att kunna:

• Konfigurera och anpassa Apache Kylin med realtidsströmmande datakällor.
• Designa och bygga OLAP-kuber för både batch- och strömningsdata.
• Utföra komplexa frågor med undersekundslatens genom att använda Kylin's SQL-gränssnitt.
• Integrera Kylin med BI-verktyg för interaktiv datavisualisering.
• Optimera prestanda och hantera resurser effektivt i Kylin.

Deltagare som genomför denna instruktörsledda, liveutbildning i Sverige kommer att få en praktisk, verklig förståelse för Big Data och dess relaterade teknologier, metoder och verktyg.

Deltagarna kommer att få möjlighet att omsätta denna kunskap i praktiken genom praktiska övningar. Gruppinteraktion och instruktörsfeedback utgör en viktig del av klassen.

Kursen börjar med en introduktion till grundläggande begrepp inom Big Data, och går sedan vidare till de programmeringsspråk och metoder som används för att utföra dataanalys. Slutligen diskuterar vi verktygen och infrastrukturen som möjliggör Big Data-lagring, Distributed Processing och Scalability.

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig hur man använder Python och Spark tillsammans för att analysera big data medan de arbetar med praktiska övningar.

I slutet av denna utbildning kommer deltagarna att kunna:

• Lär dig hur du använder Spark med Python för att analysera Big Data.
• Arbeta med övningar som efterliknar verkliga fall.
• Använda olika verktyg och tekniker för analys av stora datamängder med hjälp av PySpark.

Denna kurs behandlar hur man använder Hive SQL språk (AKA: Hive HQL, SQL på Hive , Hive QL) för personer som extraherar data från Hive

Denna instruktörsledda, liveutbildning på Sverige (online eller på plats) riktar sig till databasadministratörer, utvecklare och analytiker på mellannivå som vill behärska avancerade SQL funktioner för komplexa datamanipulationer och databashantering.

Efter denna utbildning kommer deltagarna att kunna:

• Utföra avancerade frågetekniker med hjälp av unions, underfrågor och komplicerade joins.
• Lägga till, uppdatera och ta bort data, tabeller, vyer och index med precision.
• Säkerställa dataintegritet genom transaktioner och manipulera databassystem.
• Skapa och hantera databaser effektivt för robust lagring och hämtning av data.

Dremio är en öppen källkod "self-service data plattform" som påskyndar sökningen av olika typer av datakällor. Dremio integreras med relativa databaser, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch och andra datakällor. Den stöder SQL och tillhandahåller en webb-UI för byggfrågor.

I denna instruktörledda, live-träning lär deltagarna hur man installerar, konfigurerar och använder Dremio som ett enhetligt lager för dataanalysverktyg och de underliggande databaserna.

Vid slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Dremio
• Utföra frågor mot flera datakällor, oavsett plats, storlek eller struktur
• Integrera Dremio med BI och datakällor som Tableau och Elasticsearch

Publiken

• Data forskare
• [ 4 ] Analyst
• Dataingenjörer

Format av kursen

• Delvis föreläsning, delvis diskussion, övningar och tung praxis

anteckningar

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till databasproffs på mellannivå som vill förbättra sina färdigheter inom Oracle SQL utveckling och administration.

I slutet av denna utbildning kommer deltagarna att kunna:

• Skapa och optimera komplexa SQL frågor.
• Hantera databaser effektivt med hjälp av Oracle SQL verktyg.
• Tillämpa bästa praxis för utveckling och underhåll av databaser.
• Administrera användaråtkomst och databassäkerhet i en Oracle-miljö.

Apache Accumulo är ett sorterat, distribuerat nyckel/värde-lager som ger robust, skalbar datalagring och hämtning. Det är baserat på designen av Google's BigTable och drivs av Apache Hadoop, Apache Zookeeper och Apache Thrift.

Denna instruktörsledda, live-kurs täcker arbetsprinciperna bakom Accumulo och leder deltagarna genom utvecklingen av en exempelapplikation på Apache Accumulo.

Kursens upplägg

• En del föreläsning, en del diskussion, praktisk utveckling och implementering, enstaka tester för att mäta förståelsen

Kursen riktar sig till utvecklare och dataforskare som vill förstå och implementera artificiell intelligens i sina applikationer. Särskilt fokus ligger på dataanalys, distribuerad artificiell intelligens och naturligt språkbehandling.

Amazon Redshift är en molnbaserad datalagertjänst i petabyteskala i AWS.

I denna instruktörsledda, liveträning kommer deltagarna att lära sig grunderna i Amazon Redshift.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Amazon Redshift
• Läs in, konfigurera, distribuera, fråga och visualisera data med Amazon Redshift

Publik

• Utvecklare
• IT-proffs

Kursens upplägg

• Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning

Not

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Framsteg inom teknik och den ökande mängden information förändrar hur affärer bedrivs i många branscher, inklusive myndigheter. Gostatlig datagenerering och digital arkivering ökar på grund av den snabba tillväxten av mobila enheter och applikationer, smarta sensorer och enheter, molnlösningar och portaler som riktar sig till medborgare. När digital information expanderar och blir mer komplex, blir informationshantering, bearbetning, lagring, säkerhet och disposition också mer komplex. Nya verktyg för insamling, sökning, upptäckt och analys hjälper organisationer att få insikter från deras ostrukturerade data. Den statliga marknaden är vid en tipppunkt och inser att information är en strategisk tillgång, och regeringen måste skydda, utnyttja och analysera både strukturerad och ostrukturerad information för att bättre kunna tjäna och möta uppdragets krav. När regeringsledare strävar efter att utveckla datadrivna organisationer för att framgångsrikt utföra uppdrag, lägger de grunden för att korrelera beroenden mellan händelser, människor, processer och information.

Högvärdiga statliga lösningar kommer att skapas från en samling av de mest störande teknologierna:

Mobila enheter och applikationer Molntjänster Teknik för sociala företag och nätverk Big Data och analys

IDC förutspår att till 2020 kommer IT-branschen att nå 5 biljoner dollar, ungefär 1,7 biljoner dollar större än idag, och att 80 % av branschens tillväxt kommer att drivas av dessa 3:e plattformsteknologier. På lång sikt kommer dessa teknologier att vara nyckelverktyg för att hantera komplexiteten i ökad digital information. Big Data är en av de intelligenta branschlösningarna och gör det möjligt för myndigheter att fatta bättre beslut genom att vidta åtgärder baserat på mönster som avslöjas genom att analysera stora mängder data – relaterad och orelaterade, strukturerad och ostrukturerad.

Men att åstadkomma dessa bedrifter kräver mycket mer än att bara ackumulera enorma mängder data. "Att förstå dessa volymer av Big Data kräver banbrytande verktyg och teknologier som kan analysera och extrahera användbar kunskap från stora och olika strömmar av information," Tom Kalil och Fen Zhao från Vita husets Office of Science and Technology Policy skrev i ett inlägg på OSTP-bloggen.

Vita huset tog ett steg mot att hjälpa byråer att hitta dessa tekniker när det etablerade National Big Data Research and Development Initiative 2012. Initiativet inkluderade mer än 200 miljoner dollar för att få ut det mesta av explosionen av Big Data och de verktyg som behövs för att analysera det.

De utmaningar som Big Data innebär är nästan lika skrämmande som dess löfte är uppmuntrande. Att lagra data effektivt är en av dessa utmaningar. Som alltid är budgetarna snäva, så byråer måste minimera lagringspriset per megabyte och hålla data inom enkel åtkomst så att användarna kan få det när de vill ha det och hur de behöver det. Att säkerhetskopiera enorma mängder data ökar utmaningen.

Att analysera data effektivt är en annan stor utmaning. Många byråer använder kommersiella verktyg som gör det möjligt för dem att sålla bland bergen av data och upptäcka trender som kan hjälpa dem att arbeta mer effektivt. (En nyligen genomförd studie av MeriTalk fann att federala IT-chefer tror att Big Data kan hjälpa byråer att spara mer än 500 miljarder dollar samtidigt som de uppfyller uppdragets mål.).

Specialutvecklade verktyg Big Data gör det också möjligt för byråer att ta itu med behovet av att analysera sina data. Till exempel har Oak Ridge National Laboratorys Computational Data Analytics Group gjort sitt Piranha-dataanalyssystem tillgängligt för andra byråer. Systemet har hjälpt medicinska forskare att hitta en länk som kan varna läkare om aortaaneurysm innan de slår till. Den används också för mer vardagliga uppgifter, som att sålla igenom meritförteckningar för att koppla jobbkandidater till rekryteringschefer.

Apache Beam är en enhetlig programmeringsmodell med öppen källkod för att definiera och köra parallella databehandlingspipelines. Styrkan ligger i dess förmåga att köra både batch- och strömningspipelines, där körningen utförs av en av Beams stödda distribuerade bearbetningsserverdelar: Apache Apex, Apache Flink, Apache Spark och Google Cloud Dataflow. Apache Beam är användbart för ETL-uppgifter (Extract, Transform, and Load) som att flytta data mellan olika lagringsmedier och datakällor, omvandla data till ett mer önskvärt format och ladda data till ett nytt system.

I denna instruktörsledda, liveträning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man implementerar Apache Beam SDK:er i en Java eller Python applikation som definierar en databehandlingspipeline för att dela upp en stor datamängd i mindre bitar för oberoende, parallell bearbetning.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apache Beam.
• Använd en enda programmeringsmodell för att utföra både batch- och strömbearbetning inifrån deras Java eller Python program.
• Kör pipelines i flera miljöer.

Kursens upplägg

• Delvis föreläsning, delvis diskussion, övningar och tung praktisk övning

Not

• Denna kurs kommer att finnas tillgänglig Scala i framtiden. Kontakta oss för att ordna.

Denna klassrumsbaserade träning kommer att utforska Big Data. Delegaterna kommer att ha datorbaserade exempel och fallstudieövningar att genomföra med relevanta big data-verktyg

Dag 1 - ger en översikt på hög nivå av Big Data ämnesområden för Big Data . Modulen är indelad i en serie sektioner, var och en åtföljs av en praktisk övning.

Dag 2 - utforskar en rad ämnen som relaterar analyspraxis och verktyg för Big Data miljöer. Det kommer inte in i implementerings- eller programmeringsdetaljer, utan håller istället täckning på en konceptuell nivå, med fokus på ämnen som gör det möjligt för deltagarna att utveckla en omfattande förståelse för de gemensamma analysfunktionerna och funktionerna som erbjuds av Big Data lösningar.

Dag 3 - ger en översikt över de grundläggande och väsentliga ämnesområden som rör plattformsarkitekturen för Big Data lösning. Det täcker Big Data mekanismer som krävs för utveckling av en Big Data lösningsplattform och arkitektoniska alternativ för montering av en databehandlingsplattform. Vanliga scenarier presenteras också för att ge en grundläggande förståelse för hur en Big Data lösningsplattform generellt används.

Dag 4 - bygger vidare på dag 3 genom att utforska avancerade ämnen relaterade till plattformsarkitekturen för Big Data lösning. I synnerhet introduceras och diskuteras olika arkitektoniska lager som utgör Big Data lösningsplattformen, inklusive datakällor, dataintrång, datalagring, databehandling och säkerhet.

Dag 5 - omfattar ett antal övningar och problem utformade för att testa delegaternas förmåga att tillämpa kunskap om ämnen som omfattas dag 3 och 4.

I den här instruktörsledda, liveutbildningen i Sverige kommer deltagarna att lära sig det tankesätt som krävs för att närma sig Big Data teknologier, bedöma deras påverkan på befintliga processer och policyer, samt implementera dessa teknologier i syfte att identifiera brottslig aktivitet och förebygga brott. Fallstudier från brottsbekämpande myndigheter över hela världen kommer att granskas för att få insikter om deras antagande, utmaningar och resultat.

Vid slutet av denna utbildning kommer deltagarna att kunna:

• Kombinera Big Data teknik med traditionella datainsamlingprocesser för att sammanfoga en berättelse under en utredning.
• Implementera industriella lösningar för lagring och bearbetning av storskaliga data för dataanalys.
• Förbereda ett förslag för antagandet av de mest adekvata verktygen och processerna för att möjliggöra en datadriven strategi för kriminalutredning.

Big Data är en term som avser lösningar avsedda för lagring och bearbetning av stora datamängder. Dessa Big Data lösningar har utvecklats initialt av Go ogle och har utvecklats och inspirerat andra liknande projekt, av vilka många är tillgängliga som open source. R är ett populärt programmeringsspråk inom finansbranschen.

När traditionella lagringstekniker inte hanterar den mängd data du behöver lagra finns det hundratals alternativ. Den här kursen försöker vägleda deltagarna vad som är alternativ för att lagra och analysera Big Data och vad som är deras för- och nackdelar.

Den här kursen är mestadels inriktad på diskussion och presentation av lösningar, även om praktiska övningar finns tillgängliga på begäran.

Kursen är en del av Data Scientist-kompetensuppsättningen (Domain: Data and Technology).

detta instruktör-ledda, Live Training (på plats eller fjärrkontroll) riktar sig till ingenjörer som vill använda flytande (en distribution av Kafka) för att bygga och hantera en realtid databehandling plattform för sina ansökningar.

i slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent Platform.
• Använda Confluent's management tools and services för att enkelt köra Kafka.
• Lagra och bearbeta inkommande strömmande data.
• Optimera och hantera Kafka-kluster.
• Säkra dataströmmar.

format för kursen

• Interaktiv föreläsning och diskussion.
• Många övningar och praktik.
• Hands-on implementation i en live-lab-miljö.

kurs AnpassningsAlternativ

• Denna kurs är baserad på den öppna källkodsversionen av Confluent: Confluent Open Source.
• För att beställa en anpassad utbildning för denna kurs, kontakta oss för att boka.

Publik

Om du försöker skapa mening med de data du har tillgång till eller vill analysera ostrukturerade data som finns tillgängliga på nätet (som Twitter, Länkade in osv ...) är den här kursen för dig.

Det riktar sig mest till beslutsfattare och människor som behöver välja vilka data som är värda att samla in och vad som är värt att analysera.

Det är inte riktat till personer som konfigurerar lösningen, men dessa människor kommer dock att dra nytta av den stora bilden.

Leveransläge

Under kursen kommer delegaterna att presenteras med fungerande exempel på mestadels open source-teknik.

Korta föreläsningar följs av presentation och enkla övningar av deltagarna

Innehåll och programvara som används

All mjukvara som används uppdateras varje gång kursen körs, så vi kontrollerar de senaste versionerna som möjligt.

Det täcker processen från att skaffa, formatera, bearbeta och analysera data, för att förklara hur man automatiserar beslutsfattande med maskininlärning.

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig hur man bygger en Data Vault.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå arkitektur- och designkoncepten bakom Data Vault 2.0 och dess interaktion med Big Data, NoSQL och AI.
• Använd datavalvstekniker för att möjliggöra granskning, spårning och inspektion av historiska data i ett informationslager.
• Utveckla en konsekvent och repeterbar ETL-process (Extract, Transform, Load).
• Bygg och distribuera mycket skalbara och repeterbara lager.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till arkitekter, utvecklare och administratörer som vill använda Denodo Platform för att optimera och påskynda datahantering genom datavirtualisering.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Denodo-plattformen.
• Förstå funktionerna och arkitekturen i Denodo Platform.
• Förstå de viktigaste begreppen, fördelarna och användningsfallen för datavirtualisering.
• Lär dig hur du konfigurerar och hanterar Denodo plattformsservern.
• Implementera datasäkerhet, användaråtkomst och autentisering av tjänster.
• Tillämpa verktygen och teknikerna för driftövervakning och prestandaoptimering.

Apache Druid är en open source, kolumnorienterad, distribuerad datalager skriven i Java . Den var utformad för att snabbt ta in enorma mängder händelsesdata och utföra OLAP-frågor med låg latens på den informationen. Druid används ofta i affärsintelligensapplikationer för att analysera stora volymer realtids- och historiska data. Det är också väl lämpat för snabba, interaktiva, analytiska instrumentpaneler för slutanvändare. Druid används av företag som Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal och Yahoo.

I den här instruktörsledda, livekursen utforskar vi några av begränsningarna i datalagerlösningar och diskuterar hur Druid kan komplettera dessa tekniker för att bilda en flexibel och skalbar strömningsanalysstack. Vi går igenom många exempel och erbjuder deltagarna chansen att implementera och testa Druid-baserade lösningar i en labbmiljö.

Kursformat

• Delföreläsning, delvis diskussion, tung praktisk övning, tillfälliga tester för att mäta förståelse

Big data är datauppsättningar som är så omfattande och komplexa att traditionell applikationsprogramvara för databehandling är otillräcklig för att hantera dem. Stora datautmaningar inkluderar fånga data, datalagring, dataanalys, sökning, delning, överföring, visualisering, fråga, uppdatering och informationssekretess.

Denna instruktörsledda, live-utbildning i Sverige (online eller på plats) introducerar principerna och tillvägagångssätten bakom distribuerad dataström- och batchdatabehandling och vägleder deltagarna genom skapandet av en realtidsapplikation för dataströmning i Apache Flink.

I slutet av denna utbildning kommer deltagarna att kunna:

• Konfigurera en miljö för att utveckla program för dataanalys.
• Förstå hur Apache Flink:s grafbehandlingsbibliotek (Gelly) fungerar.
• Paketera, köra och övervaka Flink-baserade, feltoleranta dataströmningsprogram.
• Hantera olika arbetsbelastningar.
• Utför avancerad analys.
• Konfigurera ett Flink-kluster med flera noder.
• Mät och optimera prestanda.
• Integrera Flink med olika Big Data system.
• Jämför Flink-funktionerna med de i andra ramverk för bearbetning av stordata.

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig om teknikerbjudandena och implementeringsmetoderna för bearbetning av grafdata. Målet är att identifiera verkliga objekt, deras egenskaper och relationer, sedan modellera dessa relationer och bearbeta dem som data med hjälp av en Graph Computing (även känd som Graph Analytics) metod. Vi börjar med en bred översikt och begränsar oss till specifika verktyg när vi går igenom en serie fallstudier, praktiska övningar och live-distributioner.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå hur diagramdata bevaras och gås igenom.
• Välj det bästa ramverket för en viss uppgift (från grafdatabaser till ramverk för batchbearbetning).
• Implementera Hadoop, Spark, GraphX och Pregel för att utföra grafberäkning på många datorer parallellt.
• Se verkliga big data-problem i form av grafer, processer och traverser.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till administratörer som vill konfigurera Greenplum Database för affärsintelligens och datalagringslösningar.

I slutet av denna utbildning kommer deltagarna att kunna:

• Hantera bearbetningsbehov med Greenplum.
• Utföra ETL-Operationer för databearbetning.
• Utnyttja befintliga frågebearbetningsinfrastrukturer.

Den här instruktörsledda, liveutbildningen i Sverige (online eller på plats) introducerar Hortonworks Data Platform (HDP) och vägleder deltagarna genom distributionen av Spark + Hadoop-lösningen.

I slutet av denna utbildning kommer deltagarna att kunna:

• Använd Hortonworks för att på ett tillförlitligt sätt köra Hadoop i stor skala.
• Förena Hadoop:s säkerhets-, styrnings- och driftfunktioner med Sparks flexibla analysarbetsflöden.
• Använd Hortonworks för att undersöka, validera, certifiera och stödja var och en av komponenterna i ett Spark-projekt.
• Bearbeta olika typer av data, inklusive strukturerade, ostrukturerade, i rörelse och i vila.

Cloudera Impala är en öppen källkod för massivt parallell bearbetning (MPP) SQL frågemotor för Apache Hadoop-kluster.

Impala gör det möjligt för användare att utfärda frågor med låg latens SQL till data som lagras i Hadoop Distributed File System och Apache Hbase utan att data flyttas eller transformeras.

Publik

Kursen riktar sig till analytiker och datavetare som utför analyser på data som lagras i Hadoop via Business Intelligence eller SQL verktyg.

Efter denna kurs kommer delegaterna att kunna

• Extrahera meningsfull information från Hadoop kluster med Impala.
• Skriv specifika program för att underlätta Business Intelligens på Impala SQL Dialekt.
• Felsök Impala.

I denna instruktörsledda, liveutbildning i Sverige (på plats eller på distans) kommer deltagarna att lära sig hur man ställer in och integrerar olika Stream Processing ramverk med befintliga big data-lagringssystem och relaterade mjukvaruapplikationer och mikrotjänster.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera olika Stream Processing ramverk, som Spark Streaming och Kafka Streaming.
• Förstå och välj det mest lämpliga ramverket för jobbet.
• Bearbeta data kontinuerligt, samtidigt och på ett rekord-för-post-sätt.
• Integrera Stream Processing lösningar med befintliga databaser, datalager, datasjöar etc.
• Integrera det mest lämpliga strömbehandlingsbiblioteket med företagsapplikationer och mikrotjänster.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Apache Kafka funktioner i dataströmning med Python.

I slutet av denna utbildning kommer deltagarna att kunna använda Apache Kafka för att övervaka och hantera förhållanden i kontinuerliga dataströmmar med hjälp av Python programmering.

Kafka Streams är ett bibliotek på klientsidan för att bygga applikationer och mikroservices vars data skickas till och från ett Kafka-meddelandesystem. Traditionellt har Apache Kafka förlitat sig på Apache Spark eller Apache Storm att bearbeta data mellan meddelandeproducenter och konsumenter. Genom att ringa Kafka Streams API från en applikation kan data behandlas direkt inom Kafka, vilket förbigår behovet av att skicka data till ett separat kluster för bearbetning.

I denna instruktörsledda, liveträning, kommer deltagarna att lära sig att integrera Kafka Streams i en uppsättning prov Java applikationer som skickar data till och från Apache Kafka för strömbehandling.

I slutet av denna träning kommer deltagarna att kunna:

• Förstå Kafka Streams funktioner och fördelar jämfört med andra strömbehandlingsramverk
• Behandla strömdata direkt inom ett Kafka-kluster
• Skriva en Java eller Scala applikation eller mikrotjänst som integreras med Kafka och Kafka Streams
• Skriva koncist kod som omvandlar inmatnings-Kafka-ämnen till utmatnings-Kafka-ämnen
• Bygga, paketera och distribuera applikationen

Publik

• Utvecklare

Kursformat

• Delvis föreläsning, delvis diskussion, övningar och mycket praktisk övning

anteckningar

• För att begära en anpassad träning för denna kurs, vänligen kontakta oss för att ordna

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill implementera Apache Kafka strömbearbetning utan att skriva kod.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Confluent KSQL.
• Konfigurera en pipeline för dataströmbearbetning med endast SQL kommandon (ingen Java eller Python kodning).
• Utför datafiltrering, transformationer, aggregeringar, kopplingar, fönster och sessionisering helt i SQL.
• Utforma och distribuera interaktiva, kontinuerliga frågor för strömmande ETL och realtidsanalys.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till tekniska personer som vill lära sig hur man implementerar en maskininlärningsstrategi samtidigt som de maximerar användningen av big data.

I slutet av denna utbildning kommer deltagarna:

• Förstå utvecklingen och trenderna för maskininlärning.
• Vet hur maskininlärning används i olika branscher.
• Bli bekant med de verktyg, färdigheter och tjänster som finns tillgängliga för att implementera maskininlärning inom en organisation.
• Förstå hur maskininlärning kan användas för att förbättra datautvinning och analys.
• Lär dig vad en datamellanserver är och hur den används av företag.
• Förstå vilken roll big data och intelligenta applikationer spelar i olika branscher.

I denna instruktörsledda, liveträning i Sverige (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man distribuerar och hanterar Apache NiFi i en skarp labbmiljö.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Apachi NiFi.
• Källa, transformera och hantera data från olika, distribuerade datakällor, inklusive databaser och stordatasjöar.
• Automatisera dataflöden.
• Aktivera strömningsanalys.
• Tillämpa olika metoder för datainmatning.
• Omvandla Big Data och till affärsinsikter.

I denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig grunderna i flödesbaserad programmering när de utvecklar ett antal demotillägg, komponenter och processorer med hjälp av Apache NiFi.

I slutet av denna utbildning kommer deltagarna att kunna:

• Förstå NiFi:s arkitektur och dataflödesbegrepp.
• Utveckla tillägg med NiFi och API:er från tredje part.
• Skräddarsy sin egen Apache Nifi-processor.
• Mata in och bearbeta realtidsdata från olika och ovanliga filformat och datakällor.

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer, datavetare och programmerare som vill använda Spark Streaming funktioner för att bearbeta och analysera realtidsdata.

I slutet av den här utbildningen kommer deltagarna att kunna använda Spark Streaming för att bearbeta livedataströmmar för användning i databaser, filsystem och live-instrumentpaneler.

MLlib är Sparks maskinlärningsbibliotek. Målet är att göra praktisk maskininlärning skalbar och enkel. Det består av vanliga inlärningsalgoritmer och verktyg, inklusive klassificering, regression, klustering, samarbetsfiltrering, dimensionalitetsminskning samt primitiv för optimering av lägre nivåer och API: er på högre nivå.

Den delar upp i två paket:

• spark.mllib innehåller det ursprungliga API som är byggt ovanpå RDD: er.

• spark.ml tillhandahåller API på högre nivå byggd ovanpå DataFrames för konstruktion av ML-rörledningar.

Publik

Kursen riktar sig till ingenjörer och utvecklare som vill använda ett inbyggt maskinbibliotek för Apache Spark

Denna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till tekniska personer som vill distribuera Talend Open Studio for Big Data för att förenkla processen att läsa och bryta igenom Big Data.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Talend Open Studio for Big Data.
• Anslut till Big Data-system som Cloudera, HortonWorks, MapR, Amazon EMR och Apache.
• Förstå och konfigurera Open Studios big data-komponenter och kontakter.
• Konfigurera parametrar för att automatiskt generera MapReduce-kod.
• Använd Open Studios dra-och-släpp-gränssnitt för att köra Hadoop-jobb.
• Prototyp av big data pipelines.
• Automatisera big data integrationsprojekt.

Denna instruktörsledda, liveutbildning introducerar koncepten bakom interaktiv dataanalys och guidar deltagarna genom implementeringen och användningen av Zeppelin i en enanvändar- eller fleranvändarmiljö.

I slutet av denna utbildning kommer deltagarna att kunna:

• Installera och konfigurera Zeppelin
• Utveckla, organisera, köra och dela data i ett webbläsarbaserat gränssnitt
• Visualisera resultat utan att referera till kommandoraden eller klusterinformation
• Kör och samarbeta i långa arbetsflöden
• Arbeta med något av ett antal plugin-språk/databearbetningsserverdelar, till exempel Scala (med Apache Spark), Python (med Apache Spark), Spark SQL, JDBC, Markdown och Shell.
• Integrera Zeppelin med Spark, Flink och Map Reduce
• Säkra fleranvändarinstanser av Zeppelin med Apache Shiro