CLOUDERA ADMINISTRATOR TRAINING FOR APACHE HADOOP

Information sur la formation

Référence interne de la formation : CLOUDERA ADMINISTRATOR TRAINING FOR APACHE HADOOP

CLOUDERA ADMINISTRATOR TRAINING FOR APACHE HADOOP

Durée : 4 jours

Résumé

Cette formation permet aux participants d’acquérir les compétences et connaissances pour déployer, configurer et gérer la mise en œuvre de Cloudera Apache Hadoop et HDFS.

Les participants aborderont l’installation, l'administration et la configuration d'Hadoop via la répartition de charges et les règlages.

Cette formation prépare en partie à l'examen de certification CCAH (Cloudera Certified Administrator for Apache Hadoop).

Pré-requis

Avoir de bonnes connaissances de base sur le système Linux.

Objectifs

Se familiariser avec HDFS et MapReduce et la création de l’architecture Hadoop
Configuration des clusters et déploiement afin de faciliter l’intégration avec d’autres systèmes et le matériel dans un data center
Charger les données dans un Cluster à partir des fichiers gérés dynamiquement à l’aide de Flume et à partir de RDBMS à l’aide de Sqoop
Configurer FairScheduler pour fournir les agréments niveau service pour de multiples utilisateurs d'un cluster
Installer et mettre en œuvre la sécurité basée sur Kerberos
Meilleures pratiques pour préparer et maintenir Apache Hadoop en production
Dépanner, diagnostiquer, réglages et résolution des problèmes Hadoop

Certification

Cette formation prépare en partie à la certification CCAH : Cloudera Certified Administrator for Apache Hadoop

Contenu

Le cas d’Hadoop

Pourquoi Hadoop ?
Bref historique de Hadoop
Composants Hadoop
Concepts fondamentaux
HDFS

Fonctionnalités HDFS
Ecrire et lire des fichiers
NameNode
Vue d’ensemble de la sécurité HDFS
Utiliser l’interface Web NameNode
Utiliser le Shell fichiers Hadoop
Intégration de données dans HDFS

Ingérer des données à partir de sources externes avec Flume
Ingérer des données à partir de bases de données relationnelles avec Sqoop
Bases de données avec Sqoop
Interfaces REST
Meilleures pratiques pour l’importation des données
MapReduce

Qu’est-ce que MapReduce?
Fonctionnalités de MapReduce
Concepts de base
Vue d’ensemble de l’architecture
MapReduce version 2
Récupération des échecs
Utiliser l’interface utilisateur JobTracker
Planification du cluster Hadoop

Besoins en planification générale
Choisir le matériel adapté
Besoins réseau
Configurer les «nœud»
Planning de la gestion des clusters
Installation Hadoop et configuration initiale

Types de déploiement
Installer Hadoop
Spécifier la configuration Hadoop
Améliorer la configuration initiale HDFS
Améliorer la configuration MapReduce initiale
Localisation des fichiers journaux
Installation et configuration de Hive, de Impala et de Pig

Hive
Impala
Pig
Clients Hadoop

Qu’est-ce que le client Hadoop?
Installer et configurer les clients Hadoop
Installer et configurer Hue
Authentification Hue et configuration
Cloudera Manager

Fonctionnalités Cloudera Manager
Versions standards et d’entreprise
Topologie Cloudera manager
Installer Cloudera Manager
Installer Hadoop avec Cloudera Manager
Améliorer les tâches d’administration de base
Utiliser Cloudera Manager
Configuration avancée du cluster

Paramètres de configuration avancée
Configurer les ports Hadoop
Inclusion et exclusion des hôtes
Configurer HDFS pour "Rack awareness"
Configurer la haute disponibilité HDFS
Sécurité Hadoop

Pourquoi la sécurité Hadoop est-elle importante?
Les concepts de systèmes de sécurité
Qu’est-ce que Kerberos et comment il fonctionne?
Sécuriser un cluster Hadoop avec Kerberos
Gestion et planification des jobs

Gérer le fonctionnement des jobs
Planifier les jobs Hadoop
Configurer FairScheduler
Maintenance du Cluster

Vérifier le statut HDFS
Copier les données entre les clusters
Ajouter et supprimer les nœuds des clusters
Rééquilibrer le cluster
Sauvegarde des métadonnées NameNode
Mise à jour du Cluster
Surveillance et dépannage du cluster

Clients visés :

Cette formation s'adresse aux administrateurs et aux gestionnaires IT souhaitant acquérir la compréhension des étapes nécessaires pour faire fonctionner et gérer les clusters Apache Hadoop.

Mots-clés en rapport avec la formation :

APACHE HADOOP