Description
Ce programme de formation sur le scraping web avec Python et BeautifulSoup s'adresse aux développeurs et aux professionnels souhaitant acquérir des compétences en extraction de données en ligne. Il couvre les bases du web scraping, l'envoi de requêtes HTTP, l'analyse de pages HTML et l'utilisation de techniques avancées avec BeautifulSoup et Selenium. Les participants apprendront également à utiliser Scrapy, à gérer des sites dynamiques, à contourner les protections anti-robots et à déployer des projets de scraping. Des exercices pratiques sont intégrés pour renforcer les acquis.
Objectifs
- Comprendre le fonctionnement du protocole HTTP et du langage HTML
- Savoir envoyer des requêtes HTTP GET et POST avec Python
- Être capable d'analyser le contenu HTML d'une page web
- Extraire des données structurées à partir de pages web avec BeautifulSoup
- Savoir parcourir plusieurs pages d'un site en suivant les liens
- Utiliser les sélecteurs CSS et XPath pour cibler finement des éléments
- Automatiser la navigation dans un site avec Selenium
- Savoir gérer les formulaires, les cookies et l'authentification
- Découvrir le framework Scrapy pour développer des robots d'extraction
- Comprendre les enjeux légaux et éthiques du webscraping
- Mettre en place des stratégies pour éviter le blocage des robots
- Savoir déployer un robot d'extraction sur un serveur ou dans le cloud
Récapitulatif
Public
Développeurs, administrateurs et architectes cherchant à automatiser la collecte d'informations
Prérequis
Maitrise de Python et programmation orientée objet
Maitrise en data science et en traitement de données
Connaissances de base en HTML et CSS
Notions de protocole HTTP et d'architecture web
Méthodes et modalités pédagogiques
Formation réalisée en Présentiel, Distanciel ou Dual-Learning selon la formule retenue.
Moyens et supports pédagogiques
Mise à disposition d'un poste de travail sur nos formations en Présentiel.
Mise à disposition de nos environnements de visio sur nos formations en Distanciel
Remise d'une documentation pédagogique numérique pendant la formation
La formation est constituée d'apports théoriques, d'exercices pratiques et de réflexions
Dans le cas d'une formation sur site Entreprise, le client s'engage à avoir toutes les ressources pédagogiques nécessaires (salle, équipements, accès internet, TV ou Paperboard...) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation
Modalités de suivi et d'évaluations
Auto-positionnement des stagiaires avant la formation
Émargement des stagiaires et formateur par 1/2 journée
Exercices de mise en pratique ou quiz de connaissances tout au long de la formation permettant de mesurer la progression des stagiaires
Auto-évaluation des acquis de la formation par les stagiaires
Questionnaire de satisfaction à chaud et à froid à l'issue de la formation
Programme détaillé
Bases du scraping avec Python et BeautifulSoup
- Introduction au webscraping
- Envoi de requêtes HTTP en Python
- Analyse de pages HTML avec BeautifulSoup
- Suivi de liens et pagination
- Exercices pratiques
Techniques avancées avec BeautifulSoup et Selenium
- Sélecteurs CSS et expressions XPath
- Gestion des formulaires et de l'authentification
- Webscraping dynamique avec Selenium
- Exercices pratiques
Scrapy et bonnes pratiques
- Introduction à Scrapy
- Création d'un projet Scrapy
- Optimisation des performances
- Bonnes pratiques et éthique
- Exercice pratique
Scraping avancé et astuces
- Gestion du javascript et des sites single-page
- Contournement des protections anti-robots
- Extraction de données à partir d'APIs
- Cas pratiques
Déploiement et projet final
- Déploiement d'un robot de scraping
- Sauvegarde et exploitation des données
- Projet fil rouge
- Conclusion et perspectives