Apache Spark kurser och utbildning

Python är ett skalbart, flexibelt och allmänt används programmeringsspråk för datavetenskap och maskininlärning. Spark är en databehandlingsmotor som används för att söka, analysera och omvandla stora data, medan Hadoop är en mjukvarubibliotek ram för storskalig data lagring och bearbetning. Denna instruktörledda, live-utbildning (online eller on-site) riktar sig till utvecklare som vill använda och integrera Spark, Hadoop, och Python för att behandla, analysera och omvandla stora och komplexa dataset. Vid slutet av denna utbildning kommer deltagarna att kunna:

Ställ in den nödvändiga miljön för att börja behandla stora data med Spark, Hadoop, och Python. Förstå egenskaperna, kärnkomponenterna och arkitekturen i Spark och Hadoop. Lär dig hur du integrerar Spark, Hadoop, och Python för stordatabehandling. Utforska verktygen i Spark-ekosystemet (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka och Flume). Bygg samarbetsfiltrering rekommendationssystem som liknar Netflix, YouTube, Amazon, Spotify och Google. Använd Apache Mahout för att skala algoritmer för maskininlärning.

Format för kursen

Interaktiv föreläsning och diskussion. Många övningar och övningar. Hand-on implementering i en live-lab miljö.

Kursanpassningsalternativ

För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Python är ett programmeringsspråk på hög nivå som är känt för sin tydliga syntax och kodläsbarhet. Spark är en databehandlingsmotor som används vid frågor, analyser och omvandling av stordata. PySpark tillåter användare att samverka Spark med Python. I den här lärarledda, levande utbildningen får deltagarna lära sig att använda Python och Spark tillsammans för att analysera stordata när de arbetar med praktiska övningar. I slutet av denna utbildning kommer deltagarna att kunna:

• Lär dig hur du använder Spark med Python för att analysera Big Data.
• Arbeta med övningar som efterliknar verkliga fall.
• Använd olika verktyg och tekniker för stordataanalys med hjälp av PySpark.

Kursens format

• Delföreläsning, deldiskussion, övningar och tunga praktiska övningar

Alluxio är ett open-source virtuellt distribuerat lagringssystem som förenar olika lagringssystem och möjliggör applikationer att interagera med data vid minneshastighet. Den används av företag som Intel, Baidu och Alibaba. I denna instruktörledda, levande träning kommer deltagarna att lära sig hur man använder Alluxio för att bryta olika beräkningsramar med lagringssystem och effektivt hantera multi-petabyte skala data när de går igenom skapandet av en app med Alluxio. Vid slutet av denna utbildning kommer deltagarna att kunna:

Utveckla en ansökan med Alluxio Anslut stora datasystem och applikationer samtidigt som du bevarar ett namnområde Effektivt extrahera värde från stora data i något lagringsformat Förbättra arbetsbelastningsprestanda Deploy och hantera Alluxio ensam eller klusterad

Publiken

Data forskare Utvecklare Systemadministratör

Format av kursen

Delvis föreläsning, delvis diskussion, övningar och tung praxis

Big data-analys innefattar processen att undersöka stora mängder olika datauppsättningar för att avslöja korrelationer, dolda mönster och andra användbara insikter. Hälsoindustrin har enorma mängder komplexa heterogena medicinska och kliniska data. Att tillämpa big data-analyser på hälsodata ger en stor potential att få insikter för att förbättra leveransen av sjukvård. Emellertid innebär enorma mängder av dessa datamängder stora utmaningar i analyser och praktiska tillämpningar i en klinisk miljö. I denna instruktörsledda, live-träning (fjärrkontroll) kommer deltagarna att lära sig att utföra big data-analys i hälsa när de går igenom en serie praktiska live-lab-övningar. I slutet av denna träning kommer deltagarna att kunna:

• Installera och konfigurera big data-analysverktyg som Hadoop MapReduce och Spark
• Förstå egenskaperna för medicinsk information
• Använd big data-tekniker för att hantera medicinska data
• Studera big data system och algoritmer i samband med hälsoapplikationer

Publik

• utvecklare
• Datavetare

Kursformat

• Delföreläsning, delvis diskussion, övningar och tung praktisk övning.

Notera

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Apache Hadoop är en populär databehandlingsram för bearbetning av stora dataset över många datorer. Denna instruktörledda, live-utbildning (online eller on-site) riktar sig till systemadministratörer som vill lära sig hur man konfigurerar, distribuerar och hanterar Hadoop kluster inom sin organisation. Vid slutet av denna utbildning kommer deltagarna att kunna:

Installera och konfigurera Apache Hadoop. Förstå de fyra huvudkomponenterna i Hadoop ekosystemet: HDFS, MapReduce, YARN och Hadoop Common. Använd Hadoop Distributed File System (HDFS) för att skala en kluster till hundratals eller tusentals noder.   Installera HDFS för att fungera som lagringsmotor för on-premise Spark deployments. Ställ in Spark för att få tillgång till alternativa lagringslösningar som Amazon S3 och NoSQL databassystem som Redis, Elasticsearch, Couchbase, Aerospike, etc. Utföra administrativa uppgifter som tillhandahållande, hantering, övervakning och säkerhet av en Apache Hadoop kluster.

Format för kursen

Interaktiv föreläsning och diskussion. Många övningar och övningar. Hand-on implementering i en live-lab miljö.

Kursanpassningsalternativ

För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Hortonworks Data Platform (HDP) är en open-source Apache Hadoop supportplattform som ger en stabil grund för att utveckla big data-lösningar på Apache Hadoop ekosystemet. Den här instruktörsledda, liveträningen (på plats eller fjärrkontroll) introducerar Hortonworks Data Platform (HDP) och leder deltagarna genom implementeringen av Spark + Hadoop lösningen. I slutet av denna träning kommer deltagarna att kunna:

• Använd Hortonworks för att pålitligt köra Hadoop i stor skala.
• Förena Hadoop säkerhets-, styrelseförmåga- och driftsfunktioner med Sparks agila analytiska arbetsflöden.
• Använd Hortonworks för att undersöka, validera, certifiera och stödja alla komponenter i ett Spark-projekt.
• Bearbeta olika typer av data, inklusive strukturerade, ostrukturerade, i rörelse och vila.

Kursformat

• Interaktiv föreläsning och diskussion.
• Massor av övningar och träning.
• Praktisk implementering i en levande lab-miljö.

Alternativ för kursanpassning

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Stream Processing avser realtidsbehandling av "data i rörelse", det vill säga att göra beräkningar på data när de tas emot. Sådan data läses som kontinuerliga strömmar från datakällor som sensorhändelser, webbplatsanvändaraktivitet, finansiella affärer, kreditkortsväxlar, klickströmmar etc. Stream Processing kan läsa stora volymer inkommande data och ge värdefulla insikter nästan omedelbart. I denna instruktörsledda, live-utbildning (på plats eller fjärrkontroll) kommer deltagarna att lära sig hur man ställer in och integrerar olika Stream Processing med befintliga stordatalagringssystem och relaterade mjukvaruapplikationer och mikroservices. I slutet av denna träning kommer deltagarna att kunna:

• Installera och konfigurera olika Stream Processing ramverk, som Spark Streaming och Kafka Streaming.
• Förstå och välj den lämpligaste ramen för jobbet.
• Behandla data kontinuerligt, samtidigt och rekord-för-rekord.
• Integrera Stream Processing med befintliga databaser, datalager, datasjöar, etc.
• Integrera det mest lämpliga strömbearbetningsbiblioteket med företagsapplikationer och mikroservrar.

Publik

• utvecklare
• Programvaruarkitekter

Format Kursens

• Delföreläsning, delvis diskussion, övningar och tung praktisk övning

anteckningar

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Magellan är en öppen källkod distribuerad exekutionsmotor för geospatiell analys av stora data. Genomförd ovanför Apache Spark utökar den Spark SQL och ger en relativ abstraktion för geospatiell analys. Denna instruktörledda, levande träning introducerar begrepp och metoder för genomförande av geospatiell analys och vandrar deltagarna genom skapandet av en förutsägande analysansökan med Magellan på Spark. Vid slutet av denna utbildning kommer deltagarna att kunna:

Effektivt fråga, parsa och ansluta geospatiala dataset i skala Genomförande av geospatiala data i företagsintelligens och prediktiva analysapplikationer Använd rymdkontext för att utöka kapaciteten hos mobila enheter, sensorer, loggar och bärbara enheter

Format för kursen

Interaktiv föreläsning och diskussion. Många övningar och övningar. Hand-on implementering i en live-lab miljö.

Kursanpassningsalternativ

För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Apache Spark är en distribuerad bearbetningsmotor för analys av mycket stora dataset. Det kan bearbeta data i batch och i realtid, samt utföra maskininlärning, ad-hoc queries och grafbearbetning. .NET för Apache Spark är en fri, öppen källkod och cross-platform big data analytics ram som stöder applikationer skrivet i C# eller F#. Denna instruktörledda, live-utbildning (online eller on-site) riktar sig till utvecklare som vill utföra stor dataanalys med Apache Spark i sina.NET-applikationer. Vid slutet av denna utbildning kommer deltagarna att kunna:

Installera och konfigurera Apache Spark. Förstå hur.NET implementerar Spark APIs så att de kan komma åt från en.NET-app. Utveckla databehandlingsapplikationer med hjälp av C# eller F#, som kan hantera dataset vars storlek mäts i terabiter och pedabiter. Utveckla maskininlärningsfunktioner för en.NET-applikation med hjälp av Apache Spark funktioner. Utför utforskningsanalys med hjälp av SQL frågor på stora dataset.

Format för kursen

Interaktiv föreläsning och diskussion. Många övningar och övningar. Hand-on implementering i en live-lab miljö.

Kursanpassningsalternativ

För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

SMACK är en samling av dataplattform programvara, nämligen Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, och Apache Kafka. Med hjälp av SMACK stack kan användare skapa och skala databehandlingsplattformar. Denna instruktörledda, live-utbildning (online eller on-site) riktar sig till datavetenskapsmän som vill använda SMACK stack för att bygga databehandlingsplattformar för stora datalösningar. Vid slutet av denna utbildning kommer deltagarna att kunna:

Implementera en data pipeline arkitektur för bearbetning av stora data. Utveckla en klusterinfrastruktur med Apache Mesos och Docker. Analysera data med Spark och Scala. Hantera obestrukturerade data med Apache Cassandra.

Format för kursen

Interaktiv föreläsning och diskussion. Många övningar och övningar. Hand-on implementering i en live-lab miljö.

Kursanpassningsalternativ

För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Apache Spark är en analysmotor som är utformad för att distribuera data över en grupp för att behandla den parallellt. Den innehåller moduler för streaming, SQL, maskininlärning och grafisk bearbetning. Denna instruktörledda, live-utbildning (online eller online) riktar sig till ingenjörer som vill implementera Apache Spark system för bearbetning av mycket stora mängder data. Vid slutet av denna utbildning kommer deltagarna att kunna:

Installera och konfigurera Apache Spark. Förstå skillnaden mellan Apache Spark och Hadoop MapReduce och när man ska använda vilket. Läs snabbt i  och analysera mycket stora dataset. Integrera Apache Spark med andra maskininlärande verktyg.

Format för kursen

Interaktiv föreläsning och diskussion. Många övningar och övningar. Hand-on implementering i en live-lab miljö.

Kursanpassningsalternativ

För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att arrangera.

Apache Spark inlärningskurva ökar långsamt i början, det krävs mycket ansträngning för att få den första returen. Denna kurs syftar till att hoppa igenom den första tuffa delen. Efter att ha tagit den här kursen kommer deltagarna att förstå grunderna i Apache Spark , de kommer tydligt att differentiera RDD från DataFrame, de kommer att lära sig Python och Scala API, de kommer att förstå exekutörer och uppgifter, osv. Genom att följa bästa praxis fokuserar den här kursen starkt på molnutsättning, Databricks och AWS. Studenterna kommer också att förstå skillnaderna mellan AWS EMR och AWS Glue, en av de senaste Spark-tjänsterna i AWS. PUBLIK: Data Engineer, DevOps , Data Scientist

MÅL: Denna kurs kommer att introducera Apache Spark . Studenterna kommer att lära sig hur Spark passar in i Big Data ekosystemet och hur man använder Spark för dataanalys. Kursen täcker gnisterskal för interaktiv dataanalys, gnistinternaler, gnist-API: er, gnist SQL , gnistrströmning, och maskininlärning och grafX. PRIS: Utvecklare / dataanalytiker

Spark NLP is an open source library, built on Apache Spark, for natural language processing with Python, Java, and Scala. It is widely used for enterprise and industry verticals, such as healthcare, finance, life science, and recruiting. This instructor-led, live training (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Scala är en kondenserad version av Java för storskalig funktionell och objektorienterad programmering. Apache Spark Streaming är en utökad komponent i Spark API för bearbetning av stora datamängder som realtidsströmmar. Tillsammans möjliggör Spark Streaming och Scala strömning av big data. Denna instruktörsledda, liveträning (på plats eller fjärrkontroll) riktar sig till programvaruingenjörer som vill strömma big data med Spark Streaming och Scala . I slutet av denna träning kommer deltagarna att kunna:

• Skapa Spark-applikationer med Scala programmeringsspråket.
• Använd Spark Streaming för att bearbeta kontinuerliga dataströmmar.
• Behandla strömmar av realtidsdata med Spark Streaming.

Kursformat

• Interaktiv föreläsning och diskussion.
• Massor av övningar och träning.
• Praktisk implementering i en levande labbmiljö.

Alternativ för kursanpassning

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

Spark SQL är Apache Spark modul för att arbeta med strukturerad och ostrukturerad data. Spark SQL ger information om datastrukturen och beräkningen som utförs. Denna information kan användas för att utföra optimeringar. Två vanliga användningar för Spark SQL är:
- för att köra SQL frågor.
- att läsa data från en befintlig Hive installation. I denna instruktörsledda, liveträning (på plats eller fjärrkontroll) kommer deltagarna att lära sig att analysera olika typer av datamängder med Spark SQL . I slutet av denna träning kommer deltagarna att kunna:

• Installera och konfigurera Spark SQL .
• Utför dataanalys med hjälp av Spark SQL .
• Frågeställningar i olika format.
• Visualisera data och sökresultat.

Kursformat

• Interaktiv föreläsning och diskussion.
• Massor av övningar och träning.
• Praktisk implementering i en levande lab-miljö.

Alternativ för kursanpassning

• För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib är Sparks maskinlärningsbibliotek. Målet är att göra praktisk maskininlärning skalbar och enkel. Det består av vanliga inlärningsalgoritmer och verktyg, inklusive klassificering, regression, klustering, samarbetsfiltrering, dimensionalitetsminskning samt primitiv för optimering av lägre nivåer och API: er på högre nivå. Den delar upp i två paket:

• spark.mllib innehåller det ursprungliga API som är byggt ovanpå RDD: er.
• spark.ml tillhandahåller API på högre nivå byggd ovanpå DataFrames för konstruktion av ML-rörledningar.

Publik Kursen riktar sig till ingenjörer och utvecklare som vill använda ett inbyggt maskinbibliotek för Apache Spark

Ett stort antal verkliga problem kan beskrivas när det gäller grafer Till exempel webbgrafen, det sociala nätverksdiagrammet, tågnätgrafen och språngrafiken Dessa grafer tenderar att vara extremt stora; bearbetar dem kräver en specialiserad uppsättning verktyg och processer dessa verktyg och processer kan kallas Graph Computing (även kallad Graph Analytics) I den här instruktörsledningen, direktutbildning, kommer deltagarna att lära sig om tekniska erbjudanden och implementeringsmetoder för behandling av grafdata Syftet är att identifiera realworld-objekt, deras egenskaper och relationer, sedan modellera dessa relationer och bearbeta dem som data med hjälp av en grafisk metod Vi börjar med en bred översikt och smala in på specifika verktyg när vi går igenom en serie fallstudier, handsonövningar och live-implementeringar Vid slutet av denna utbildning kommer deltagarna att kunna: Förstå hur grafdata är kvar och traverseras Välj den bästa ramen för en given uppgift (från grafdatabaser till batchbehandlingsramar) Implementera Hadoop, Spark, GraphX ​​och Pregel för att utföra grafkalkylering på flera maskiner parallellt Visa realworld stora dataproblem när det gäller grafer, processer och traverser Publik utvecklare Kursens format Delföreläsning, diskussion, övningar och tung handson-övning .