Spark en Python : analyse de données et machine learning

Information sur la formation

Référence interne de la formation : IIA21

• Comprendre le principe de fonctionnement d’Apache Spark
• Utiliser PySpark pour manipuler des données avec Python
• Traiter les flux de données en temps réel avec Spark Streaming

Introduction au big data
Environnements big data : Hadoop, Mapreduce, Spark, etc.
Découvrir l’environnement Spark
Utilisation Spark : Quels avantages ?
Comment installer Apache Spark
Quelle infrastructure pour utiliser Spark en entreprise ?
Les principes et fonctionnement de l'environnement Spark : RDD, DataFrame, DataSet...

Manipuler des données avec Python, Pyspark
Rappels sur Python et la manipulation des données
Utilisation de SparkSQL et des DataFrames pour manipuler des données
Bonnes pratiques de Spark pour la manipulation de volume important de données

Architecture et composants de la plateforme Hadoop
Chargement des données depuis Hadoop, depuis des fihiers csv...
Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Cas pratiques de chargement et de modifications de données avec PySpark

Comprendre MLlib avec les principaux algorithmes d’apprentissage et méthodes statistiques (régression, discrimination, foret aléatoires, etc.)
Utiliser spark.ml pour la machine learning
Traitement de données textuelles

Automatiser vos analyses avec des pipelines
Analyser en temps réel avec Spark streaming
Principe de fonctionnement
Présentation des Discretized Streams
Les différents types de sources
Manipulation de l’API
Comparaison avec Apache Storm

Clients visés :

Cette formation s'adresse à toute personne intéressée par la technologie Spark et sa mise en oeuvre avec le langage Python.

Cette formation ne nécessite aucun pré-requis même si une connaissance de base du langage Python est recommandée.

Mots-clés en rapport avec la formation :

formation Spark , big data , hadoop , IA , Python , Pyspark , MLlib , datastreaming , machine learning