Kursplan

NiFi- och dataflödesgrunder

  • Data i rörelse vs. data i vila: koncept och utmaningar
  • NiFi-arkitektur: kärnor, flödeskontroll, provenans och meddelanden
  • Viktiga komponenter: processorer, anslutningar, kontrollerare och provenans

Big Data-sammanhang och integration

  • NiFi:s roll i Big Data-ekosystem (Hadoop, Kafka, molnlagring)
  • Översikt av HDFS, MapReduce och moderna alternativ
  • Användningsfall: strömning, loggning, händelses pipelines

Installation, konfiguration & klustertillställning

  • Installera NiFi i enkelnod- och klusterläge
  • Klusterkonfiguration: nodroller, Zookeeper och belastningsutjämning
  • Koordinera NiFi-distributioner: med Ansible, Docker eller Helm

Utforma och hantera dataflöden

  • Routning, filtrering, uppdelning, sammanfogning av flöden
  • Processorkonfiguration (InvokeHTTP, QueryRecord, PutDatabaseRecord etc.)
  • Hantering av schemaläggning, berikande och transformeringar
  • Felhantering, återförsökrelationer och backpressure

Integrationscenarier

  • Anslutning till databaser, meddelandessystem, REST-API:er
  • Strömning till analyssystem: Kafka, Elasticsearch eller molnlagring
  • Integration med Splunk, Prometheus eller loggpipelines

Övervakning, återhämtning & provenans

  • Använda NiFi-UI, mått och provenansvisualisering
  • Design av autonom återhämtning och mjuk felhantering
  • Säkerhetskopia, flödesversionering och ändringsledning

Prestandajustering & optimering

  • JVM-justering, heap, trådpooler och klustertillägg
  • Optimera flödesdesign för att minska flaskhalsar
  • Resursisering, flödesprioritering och dataflödeskontroll

Bästa praxis & styrning

  • Flödesdokumentation, namngivningsstandarder, modulär design
  • Säkerhet: TLS, autentisering, åtkomstkontroll, datakryptering
  • Ändringsledning, versionering, rollbaserad åtkomst och granskningsspår

Felsökning & incidenthantering

  • Vanliga problem: dödlåsningar, minnesläckor, processfejl
  • Logganalys, felförhandsgranskning och rotorsakssökning
  • Hämningsstrategier och flödesåterställning

Kurslabb: Verklig datapipeline-implementering

  • Bygg ett slut-slitet flöde: inmatning, transformation, leverans
  • Implementera felhantering, backpressure och skalning
  • Prestandatesta och justera pipelinen

Sammanfattning och nästa steg

Krav

  • Erfarenhet av Linux-kommandoraden
  • Grundläggande förståelse för nätverk och datasystem
  • Bekantskap med dataströmnings- eller ETL-koncept

Målgrupp

  • Systemadministratörer
  • Dataingenjörer
  • Utvecklare
  • DevOps-professionals
 21 timmar

Antal deltagare


Pris per deltagare

Vittnesmål (7)

Kommande Kurser

Relaterade Kategorier