Description
Ce programme de formation se concentre sur l'utilisation de Big Data et de l'écosystème Hadoop, en mettant l'accent sur la configuration, la gestion des utilisateurs et des services, ainsi que sur le système HDFS. Les participants apprendront à gérer les ressources avec YARN, à assurer une haute disponibilité des systèmes et à surveiller les clusters via Ambari. Destiné aux professionnels de l'informatique et aux administrateurs système, ce cursus vise à fournir des compétences pratiques pour optimiser et sécuriser les environnements Hadoop.
Objectifs
- Maîtriser l'administration des clusters Hortonworks
- Apprendre à élaborer une architecture Hadoop
- Apprendre à mettre en oeuvre un cluster Hadoop
- Configurer et monitorer le cluster avec Ambari
- Savoir gérer la maintenance des noeuds dans un cluster
Récapitulatif
Public
Administrateurs système, consultants SI
Prérequis
Maîtriser les commandes Shell
Méthodes et modalités pédagogiques
Formation réalisée en Présentiel, Distanciel ou Dual-Learning selon la formule retenue.
Moyens et supports pédagogiques
Mise à disposition d'un poste de travail sur nos formations en Présentiel.
Mise à disposition de nos environnements de visio sur nos formations en Distanciel
Remise d'une documentation pédagogique numérique pendant la formation
La formation est constituée d'apports théoriques, d'exercices pratiques et de réflexions
Dans le cas d'une formation sur site Entreprise, le client s'engage à avoir toutes les ressources pédagogiques nécessaires (salle, équipements, accès internet, TV ou Paperboard...) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation
Modalités de suivi et d'évaluations
Auto-positionnement des stagiaires avant la formation
Émargement des stagiaires et formateur par 1/2 journée
Exercices de mise en pratique ou quiz de connaissances tout au long de la formation permettant de mesurer la progression des stagiaires
Auto-évaluation des acquis de la formation par les stagiaires
Questionnaire de satisfaction à chaud et à froid à l'issue de la formation
Programme détaillé
Présentation
- Big Data et Hadoop
Mise en œuvre
- Configuration de l'environnement
- Installation de HDP
Gestion des droits utilisateurs
- Gestion des utilisateurs et des groupes d'Ambari
La couche services
- Gestion des services Hadoop
Le système HDFS (Hadoop Distributed File System)
- Utilisation du stockage HDFS
- Utilisation de Hadoop Storage
- Utilisation de WebHDFS
- Utilisation des listes de contrôle d'accès HDFS
- Gestion du stockage HDFS
- Gestion du stockage Hadoop
- Gestion des quotas HDFS
- Ajout, remplacement et suppression de noeuds de travail
Gestion des racks
- Configuration de la prise en compte des racks (rack awareness)
Gestion des ressources avec YARN
- Présentation et architecture de YARN
- Gestion du service YARN à l'aide de l'interface utilisateur Web Ambari
- Gestion du service YARN à l'aide de l'interface ligne de commande CLI
- Applications YARN
- Exécution d'exemples d'applications YARN
- Planificateur de capacité YARN
- Configuration de planificateur de capacité (Capacity Scheduler)
- Gestion des conteneurs et files d'attente de YARN
- Gestion des listes de contrôle d'accès (ACL) de YARN et des droits utilisateurs
Haute disponibilité
- Configuration de HDFS et YARN en haute disponibilité (High Availability)
- Configuration d'un NameNode en HA
- Configuration de ResourceManager en HA
Monitoring
- Suivi d'un cluster
- Gestion des alertes d'Ambari
Système de backup
- Protéger un cluster avec des sauvegardes
- Gestion des photos instantanées HDFS
- Utilisation de DistCp