Web Scraping with Python Träningskurs
Webskrapning är en teknik för att extrahera data från en webbplats och sedan spara dem i lokal fil eller databas.
Denna instruktörsledda, live-utbildning (på plats eller fjärrkontroll) riktar sig till utvecklare som vill använda Python att automatisera processen för att genomsöka många webbplatser för att extrahera data för bearbetning och analys.
I slutet av denna träning kommer deltagarna att kunna:
- Installera och konfigurera Python och alla relevanta paket.
- Hämta och parsa data som lagras på många webbplatser.
- Förstå hur webbplatser fungerar och hur deras HTML är strukturerad.
- Konstruera spindlar för att genomsöka webben i stor skala.
- Använda Selenium för att genomsöka AJAX-drivna webbsidor.
Kursformat
- Interaktiv föreläsning och diskussion.
- Många övningar och praktik.
- Praktisk implementering i en live-lab-miljö.
Alternativ för kursanpassning
- Denna kurs förutsätter kunskaper i programmering.
- För att begära en anpassad utbildning för denna kurs, vänligen kontakta oss för att ordna.
Kursplan
Introduktion
Att sätta upp utvecklingsmiljön
Python Primer: Datastrukturer, villkor, filhantering, etc.
Python Paket för webbskrapning: Scrapy och BeautifulSoup
Hur en webbplats fungerar
Hur HTML är uppbyggd
Göra en webbförfrågan
Skrapa en HTML sida
Arbeta med XPath och CSS
Filtrera data med vanliga Expressjoner
Skapa en webbsökare
Genomsöker AJAX- och JavaScript-sidor med Selenium.
Bästa metoder för webbskrapning
Felsökning
Sammanfattning och slutsats
Krav
- Programming erfarenhet, helst inom Python. Om deltagarna har programmeringserfarenhet i ett annat språk än Python, kan utbildningen utökas för att inkludera mer grundläggande Python-övningar.
Publik
- Utvecklare
Open Training Courses require 5+ participants.
Web Scraping with Python Träningskurs - Booking
Web Scraping with Python Träningskurs - Enquiry
Web Scraping with Python - Consultancy Enquiry
Consultancy Enquiry
Vittnesmål (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Kurs - Web Scraping with Python
Upcoming Courses
Relaterade Kurser
BDD with Python and Behave
7 timmarThis instructor-led, live training in Sverige begins with a discussion of BDD and how the Behave framework can be used to carry out BDD testing for web applications. Participants are given ample opportunity to interact with the instructor and peers while implementing the concepts and tactics learned in this hands-on, practice-based lab environment.
I slutet av denna utbildning kommer deltagarna att ha en gedigen förståelse för BDD och Behave, samt den nödvändiga övningen för att implementera dessa tekniker och verktyg i verkliga testscenarier.
Scaling Data Analysis with Python and Dask
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till datavetare och mjukvaruingenjörer som vill använda Dask med Python ekosystemet för att bygga, skala och analysera stora datamängder.
I slutet av denna utbildning kommer deltagarna att kunna:
- Ställ in miljön för att börja bygga stordatabehandling med Dask och Python.
- Utforska funktionerna, biblioteken, verktygen och API:er som är tillgängliga i Dask.
- Förstå hur Dask accelererar parallell beräkning i Python.
- Lär dig hur du skalar Python-ekosystemet (Numpy, SciPy och Pandas) med Dask.
- Optimera Dask-miljön för att bibehålla hög prestanda vid hantering av stora datamängder.
Data Analysis with Python, Pandas and Numpy
14 timmar- Inställa en utvecklingsmiljö som inkluderar Python, Pandas och NumPy.
- Skapa en dataanalysapplikation med hjälp av Pandas och NumPy.
- Utföra avancerad datahantering, sortering och filtrering.
- Utföra aggregatoperationer och analysera tidsserie data.
- Visualisera data med Matplotlib och andra visualiseringsbibliotek.
- Felhantera och optimera sin dataanalyskod.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 timmarDenna instruktörsledda, liveutbildning i (online eller på plats) riktar sig till utvecklare som vill använda FARM-stacken (FastAPI, React och MongoDB) för att bygga dynamiska, högpresterande och skalbara webbapplikationer.
I slutet av denna utbildning kommer deltagarna att kunna:
- Konfigurera den nödvändiga utvecklingsmiljön som integrerar FastAPI, React och MongoDB. Förstå nyckelkoncepten, funktionerna och fördelarna med FARM-stacken. Lär dig hur du bygger REST API:er med FastAPI. Lär dig hur du designar interaktiva applikationer med React. Utveckla, testa och distribuera applikationer (front-end och back-end) med FARM-stacken.
Developing APIs with Python and FastAPI
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare som vill använda FastAPI med Python för att bygga, testa och distribuera RESTful API:er enklare och snabbare.
I slutet av denna utbildning kommer deltagarna att kunna:
- Konfigurera den nödvändiga utvecklingsmiljön för att utveckla API:er med Python och FastAPI.
- Skapa API:er snabbare och enklare med hjälp av FastAPI-biblioteket.
- Lär dig hur du skapar datamodeller och scheman baserat på Pydantic och OpenAPI.
- Anslut API:er till en databas med hjälp av SQLAlchemy.
- Implementera säkerhet och autentisering i API:er med hjälp av FastAPI-verktygen.
- Bygg containerbilder och distribuera webb-API:er till en molnserver.
Machine Learning with Python – 2 Days
14 timmarSyftet med denna kurs är att ge en grundläggande kompetens i tillämpningen av Machine Learning metoder i praktiken. Genom användningen av Python programmeringsspråket och dess olika bibliotek, och baserat på en mängd praktiska exempel, lär denna kurs hur man använder de viktigaste byggblockarna av Machine Learning, hur man gör data modellering beslut, tolkar utgångarna av algoritmerna och validerar resultaten.
Vårt mål är att ge dig färdigheterna att förstå och använda de mest grundläggande verktygen från verktygsfönstret med förtroende och undvika de vanliga bristerna i Data Science-applikationer.
Machine Learning with Python – 4 Days
28 timmarsyftet med kursen är att ge allmän färdighet i att tillämpa maskin inlärnings metoder i praktiken. Genom att använda programmeringsspråket python och dess olika bibliotek, och baserat på en mängd praktiska exempel lär den här kursen Hur man använder de viktigaste Bygg stenarna i Machine Learning, hur man fattar beslut om data modellering, tolkar utdata från algoritmerna och validera resultaten.
vårt mål är att ge dig färdigheter att förstå och använda de mest grundläggande verktygen från verktygs lådan Machine Learning tryggt och säkert och undvika de vanliga fallgroparna i data Sciences applikationer.
Accelerating Python Pandas Workflows with Modin
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till datavetare och utvecklare som vill använda Modin för att bygga och implementera parallella beräkningar med Pandas för snabbare dataanalys.
I slutet av denna utbildning kommer deltagarna att kunna:
- Konfigurera den miljö som krävs för att börja utveckla Pandas arbetsflöden i stor skala med Modin.
- Förstå funktionerna, arkitekturen och fördelarna med Modin.
- Känn till skillnaderna mellan Modin, Dask och Ray.
- Utför Pandas operationer snabbare med Modin.
- Implementera hela Pandas API:et och funktionerna.
Python for Natural Language Generation (NLG)
21 timmarI denna instruktörsledda, liveutbildning i Sverige kommer deltagarna att lära sig hur man använder Python för att producera högkvalitativ naturlig språktext genom att bygga sitt eget NLG-system från grunden. Även fallstudier kommer att undersökas och de relevanta koncepten kommer att tillämpas på levande labbprojekt för att generera innehåll.
Efter avslutad utbildning kommer deltagarna att kunna:
- Använda NLG för att automatiskt generera innehåll för olika branscher, från journalistik till fastigheter, väder och sportrapportering.
- Välja och organisera källinnehåll, planera meningar och förbereda ett system för automatisk generering av originalinnehåll.
- Förstå NLG-pipelinen och tillämpa rätt teknik i varje steg.
- Förstå arkitekturen i ett Natural Language Generation (NLG)-system.
- Implementera de mest lämpliga algoritmerna och modellerna för analys och ordning.
- Hämta data från offentligt tillgängliga datasamlingar och samlade databaser för att använda som material för genererad text.
- Ersätta manuella och krävande skrivprocesser med datorgenererat, automatiserat innehållsskapande.
Unit Testing with Python
21 timmarI denna instruktörsledda, liveutbildning i Sverige kommer deltagarna att lära sig hur man använder PyTest för att skriva korta, underhållbara test som är eleganta, uttrycksfulla och läsbara.
I slutet av denna utbildning kommer deltagarna att kunna:
- Skriv läsbara och underhållbara tester utan att du behöver ange kod.
- Använd fixturmodellen för att skriva små tester.
- Skala tester upp till komplexa funktionstestningar för applikationer, paket och bibliotek.
- Förstå och tillämpa PyTest-funktioner som hooks, hävda omskrivning och plug-ins.
- Minska testtider genom att köra tester parallellt och över flera processorer.
- Kör tester i en kontinuerlig integrationsmiljö, tillsammans med andra verktyg som tox, mock, coverage, unittest, doctest och Selenium.
- Använd Python för att testa icke-Python-applikationer.
Advanced Machine Learning with Python
21 timmarI denna instruktörsledda, liveträning i Sverige kommer deltagarna att lära sig de mest relevanta och banbrytande maskininlärningsteknikerna i Python när de bygger en serie demoapplikationer som involverar bild, musik, text och finansiella data.
I slutet av denna utbildning kommer deltagarna att kunna:
- Implementera maskininlärningsalgoritmer och tekniker för att lösa komplexa problem.
- Tillämpa djupinlärning och halvövervakad inlärning på program som involverar bild, musik, text och finansiella data.
- Pusha Python-algoritmerna till sin maximala potential.
- Använd bibliotek och paket som NumPy och Theano.
Python: Automate the Boring Stuff
14 timmarDenna instruktörsledda, liveutbildning i Sverige är baserad på den populära boken "Automatisera de tråkiga sakerna med Python", av Al Sweigart. Den riktar sig till nybörjare och täcker viktiga Python programmeringskoncept genom praktiska, praktiska övningar och diskussioner. Fokus ligger på att lära sig skriva kod för att dramatiskt öka kontorets produktivitet.
I slutet av denna utbildning kommer deltagarna att veta hur man programmerar i Python och tillämpar denna nya färdighet för:
- Automatisera uppgifter genom att skriva enkla Python-program.
- Skriva program som kan utföra textmönsterigenkänning med "regular expressions".
- Programmatiskt generera och uppdatera Excel-kalkylblad.
- Analysera PDF-filer och Word-dokument.
- Crawla webbsidor och hämta information från onlinelällor.
- Skriva program som skickar ut e-postnotiser.
- Använda Python:s felsökningsverktyg för att snabbt lösa buggar.
- Programmatiskt styra mus och tangentbord för att klicka och skriva åt dig.
Advanced Python - 4 Days
28 timmarI denna instruktörsledda, liveutbildning i Sverige kommer deltagarna att lära sig avancerade Python programmeringstekniker, inklusive hur man använder detta mångsidiga språk för att lösa problem inom områden som distribuerade applikationer, dataanalys och visualisering, UI-programmering och underhållsskript. .
Python Programming - 4 days
28 timmarDenna kurs är utformad för de som vill lära sig programmeringsspråket Python . Tyngdpunkten ligger på Python språket, kärnbiblioteken samt på urvalet av de bästa och mest användbara biblioteken som utvecklats av Python gemenskapen. Python driver företag och används av forskare över hela världen - det är ett av de mest populära programmeringsspråken.
Kursen kan genomföras med den senaste versionen av Python 3.x med praktiska övningar som utnyttjar dess fulla potential. Denna kurs kan genomföras på alla operativsystem (alla varianter av UNIX, inklusive Linux och Mac OS X, samt Microsoft Windows).
De praktiska övningarna utgör cirka 70% av kurstiden och cirka 30% är demonstrationer och presentationer. Diskussioner och frågor kan ställas under hela kursen.
Obs: utbildningen kan anpassas efter specifika behov på förfrågan innan det föreslagna kursdatumet.
Test Automation with Selenium and Python
14 timmarI denna instruktörsledda, liveutbildning av Sverige-deltagare kombinerar kraften i Python med Selenium för att automatisera testningen av en exempelwebbapplikation. Genom att kombinera teori med praktik i en levande labbmiljö kommer deltagarna att få den kunskap och övning som behövs för att automatisera sina egna webbtestprojekt med Python och Selenium.