Bearbetning av naturligt språk (NLP) - AI/Robotik Träningskurs

Detaljerad utbildningsplan

1. Introduktion till NLP
   • Att förstå NLP
   • NLP-ramverk
   • Kommerciella tillämpningar av NLP
   • Skrapning av data från webben
   • Arbete med olika API:er för att hämta textdata
   • Att arbeta med och lagra textkorpus, inkl. innehåll och relevant metadata
   • Fördelar med att använda Python och en snabbkurs i NLTK
2. Praktisk förståelse för korpus och dataset
   • Varför behöver vi en korpus?
   • Korpusanalys
   • Typ av dataattribut
   • Olika filformat för korpus
   • Förberedelse av dataset för NLP-tillämpningar
3. Förståelse för meningarnas struktur
   • Komponenter i NLP
   • Förståelse av naturligt språk
   • Morfologisk analys - stam, ord, token, taleslagningslag
   • Syntaktisk analys
   • Semantisk analys
   • Att hantera otydlighet
4. Pre-processing av textdata
   • Korpus - råtext
     • Meningssegmentering
     • Stamning av råtext
     • Lemmisering av råtext
     • Borttagning av stoppord
   • Korpus - råmeningar
     • Ordssegmentering
     • Ordslemmisering
   • Arbete med termdokument-/dokumenttermmatriser
   • Textsegmentering till n-gram och meningar
   • Praktisk och anpassad pre-processing
5. Analys av textdata
   • Grundläggande funktioner i NLP
     • Parser och parsning
     • POS-tagning och taggar
     • Identifiering av namngerade enheter
     • N-gram
     • Bag of words (ordfördelning)
   • Statistiska funktioner i NLP
     • Linjära algebras begrepp för NLP
     • Sannolikhetsteori för NLP
     • TF-IDF
     • Vektorisering
     • Kodare och avkodare
     • Normalisering
     • Sannolikhetsmodeller
   • Avancerad feature engineering och NLP
     • Grundläggande i word2vec
     • Komponenter i word2vec-modellen
     • Logik i word2vec-modellen
     • Utökning av word2vec-konceptet
     • Tillämpning av word2vec-modellen
   • Fallstudie: Tillämpning av bag of words: automatisk textsammantogning med förenklade och verkliga Luhn-algoritmer
6. Dokumentklustering, klassificering och temanmodeller
   • Dokumentklustering och mönstermining (hierarkisk klustering, k-means, klustering etc.)
   • Jämförelse och klassificering av dokument med hjälp av TFIDF, Jaccard och kosinusavstånd
   • Dokumentklassificering med Naïve Bayes och maximal entropi
7. Identifiering av viktiga textelement
   • Minskning av dimensionalitet: huvudkomponentanalys, singularvärdesdecomposition, icke-negativ matrisfaktorisering
   • Temanmodeller och informationshämtning med latent semantisk analys
8. Extraktion av enheter, känslomanalys och avancerade temanmodeller
   • Positivt vs. negativt: grad av känsla
   • Item Response Theory (Reaktionsteori på artiklar)
   • Pos-tagning och dess tillämpning: att hitta personer, platser och organisationer som nämnts i text
   • Avancerad temanmodellering: Latent Dirichlet Allocation
9. Fallstudier
   • Minning av oorganiserade användarrecensioner
   • Känsloklassificering och visualisering av produktrecensionsdata
   • Minning av sökvolymer för användningsmönster
   • Textklassificering
   • Temanmodellering