Kursplan

Grundläggande NiFi och dataflödeshantering
  • Data i rörelse vs data i vila: begrepp och utmaningar
  • NiFi-arkitektur: kärnor, flödeskontrollant, provians och meddelanden
  • Nyckelkomponenter: processorer, anslutningar, kontrollanter och provians
Big Data-sammanhang och integrering
  • NiFi:s roll i Big Data-ekosystem (Hadoop, Kafka, molnlagring)
  • Översikt över HDFS, MapReduce och moderna alternativ
  • Användningsområden: strömmat inhämtning, loggtransport och händelsepipelines
Installation, konfiguration & klusterinställning
  • Installera NiFi på en enda nod och klusterläge
  • Klusterkonfiguration: nodroller, zookeeper och lastbalansering
  • Orkestrera NiFi-utplaceringar: med Ansible, Docker eller Helm
Design och hantering av dataflöden
  • Rutning, filtrering, uppdelning och sammanslagning av flöden
  • Processorkonfiguration (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
  • Hantering av schema, berikning och transformationsoperationer
  • Felhantering, återupprepningsrelationer och backpressure
Integreringsscenarier
  • Anslutning till databaser, meddelandesystem och REST-API:er
  • Strömning till analyssystem: Kafka, Elasticsearch eller molnlagring
  • Integrering med Splunk, Prometheus eller loggpipeliner
Övervakning, återhämtning och provians
  • Användning av NiFi-UI, mätvärden och proviansvisualisator
  • Design av autonom återhämtning och smärtfri felhantering
  • Backup, flödesversionering och ändringshantering
Prestandaoptimering och förbättring
  • Justering av JVM, heap, trådpooler och klusterparametrar
  • Optimering av flödesdesign för att minska flaskhalsar
  • Resursisolering, flödesprioritering och flödeskontroll
Bästa praxis och styrning
  • Flödesdokumentation, namngivningsstandarder och modulär design
  • Säkerhet: TLS, autentisering, åtkomstkontroll och datakryptering
  • Ändringskontroll, versionering, rollbaserad åtkomst och revisionsspår
Felsökning och hantering av incidenter
  • Vanliga problem: dödlägen, minnesläckor och processorfel
  • Logganalys, feldiagnostik och rotorsaksutredning
  • Återhämtningsstrategier och flödesåterställning
Hands-on-labb: Realistisk implementation av data-pipeline
  • Bygga ett slut-til-slut-flöde: inhämtning, transformation och leverans
  • Implementera felhantering, backpressure och skalning
  • Prestandatest och optimering av pipelinen
Sammanfattning och nästa steg

Krav

  • Erfarenhet av Linux-kommandoraden
  • Grundläggande förståelse för nätverk och datasystem
  • Exponering för dataströmning eller ETL-koncept

Målgrupp

  • Systemadministratörer
  • Dataingenjörer
  • Utvecklare
  • DevOps-professionella
 21 timmar

Antal deltagare


Pris per deltagare

Vittnesmål (7)

Kommande Kurser

Relaterade Kategorier