Developpeur pyspark : pyspark, python

Descriptif de la mission :

Intervention au sein d’une équipe de TMA : Maintenance évolutive et corrective du périmètre de la préparation des données.

Impératif : 2 ans d’expérience minimum en PySpark (mission post stages).
? Préparation de données sur pySpark,
? Exposition des résultats sur Hive,
? Orchestration des traitements avec Oozie et quelques fois des récupérations de données de bases relationnelles via Scoop,
? Export des données SESAME sous Oracle vers Hive, utilisation de Scoop pour la gestion des connexions, gestion des configurations sous JDBC,
? Mise en œuvre de pré-traitements des données via du scripting shell,
? Création et alimentation de nouveaux Datamarts en réponse aux besoins diversifiés des équipes Métiers,
? Création de jointures sur Elasticsearch pour la création et l’alimentation des Datamarts,
? Intervention en mode Agile, participation aux daily meetings avec les Product Owners
? Participation bimensuelle aux réunions de travail avec les Métiers (suivi des travaux en cours et planification des sprints)
? Appétence pour monter en compétences fonctionnellement sur le périmlètre de données financières

Environnement Technique

Git

Hadoop

Hdfs

Hive

Oozie

Python

Shell

Spark

PySpark