Description
Cette formation sur les technologies Big Data se concentre sur l'écosystème Hadoop, abordant le stockage et le traitement des données massives, ainsi que les solutions NoSQL. Elle inclut des modules pratiques sur HDFS, la programmation Map/Reduce et le design de clusters Hadoop. Les participants apprendront à déployer, administrer et intégrer Hadoop dans un système d'information, tout en explorant ses alternatives et compléments. Ce programme s'adresse aux professionnels souhaitant acquérir des compétences techniques en gestion de données massives et en déploiement de solutions Big Data.
Objectifs
- Identifier les différentes distributions Hadoop et leurs composants
- Concevoir un cluster à partir des besoins et spécifications utilisateurs
- Dimensionner un cluster
- Identifier une configuration matérielle adaptée
- Déployer manuellement et via des outils automatiques
- Gérer les jobs utilisateurs
- Utiliser des outils de monitoring et de diagnostic
- Utiliser des outils d'optimisation de performances
Récapitulatif
Public
Architectes et urbanistes SI, administrateurs systèmes
Prérequis
Java, langages de script
Méthodes et modalités pédagogiques
Formation réalisée en Présentiel, Distanciel ou Dual-Learning selon la formule retenue.
Moyens et supports pédagogiques
Mise à disposition d'un poste de travail sur nos formations en Présentiel.
Mise à disposition de nos environnements de visio sur nos formations en Distanciel
Remise d'une documentation pédagogique numérique pendant la formation
La formation est constituée d'apports théoriques, d'exercices pratiques et de réflexions
Dans le cas d'une formation sur site Entreprise, le client s'engage à avoir toutes les ressources pédagogiques nécessaires (salle, équipements, accès internet, TV ou Paperboard...) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation
Modalités de suivi et d'évaluations
Auto-positionnement des stagiaires avant la formation
Émargement des stagiaires et formateur par 1/2 journée
Exercices de mise en pratique ou quiz de connaissances tout au long de la formation permettant de mesurer la progression des stagiaires
Auto-évaluation des acquis de la formation par les stagiaires
Questionnaire de satisfaction à chaud et à froid à l'issue de la formation
Programme détaillé
Introduction aux technologies Big Data
- Stockage et traitement de données massives : problèmes et solutions
- Panorama des technologies NoSQL, bases de données distribuées et en colonnes
Présentation de l'écosystème Hadoop
- Coût, performance et évolutivité : promesses et gains effectifs
- Les composants logiciels majeurs : Zookeeper, HDFS, HBase
- Les différentes utilisations : comme solution de stockage, d'ETL, de traitement batch
Hadoop par la pratique
- Notions de base : HDFS et programmation Map/Reduce
- TP : Prise en main d'une installation en mode pseudo distribué, commandes de base et manipulation de fichiers sous HDFS
Design d'un cluster Hadoop
- Topologie : les différents serveurs et leurs rôles
- Configuration matérielle
- Les différentes distributions Hadoop
- Choix des briques logicielles selon l'usage du cluster
- Dimensionnement
Provisionnement et déploiement
- Déploiement manuel
- Outils d'automatisation (Chef/Puppet, Whirr/Pallet)
- Installation d'Hive, Pig, Hbase
- Configuration et paramétrage
- TP : Provisionnement et déploiement d'un cluster de taille moyenne
Administration et opération
- Gestion des données (backup, localisation et réplication)
- Gestion des jobs et schedulers
- Monitoring du cluster
- Ajout et décommission de nœuds
- Benchmarks, tuning et optimisation
- Résolution de problèmes, login et debugging
Intégration au SI
- Stratégies et étapes d'intégration
- Les différentes couches d'abstraction selon le public utilisateur
- Connection aux bases de données relationnelles via Sqoop et JDBC
- Ingestion de données via Flume
- Interfacer avec les services avals
Hadoop et ses compléments
- Forces et faiblesses de la plateforme selon les cas d'utilisation
- Alternatives et compléments
- Comment intégrer Hadoop à Storm, Cassandra, Mongo, Giraph ...
Déploiement à grande échelle
- Hadoop sur le cloud : l'offre d'Amazon, Elastic MapReduce
- Hadoop chez Facebook, LinkedIn, Orbitz...