Data engineer : gcp, sql/python

Descriptif de la mission :

Nous avons mis en place un ELT (Gateway) permettant de consolider, transformer et analyser les données nécessaires à l'outil de réappro.
Nous utilisons la stack technique BigQuery et Airflow pour déclencher les process de transformation de données et d'échange avec l'outil.

Nous souhaitons nous renforcer dans l'équipe de la Gateway d'un ingénieur data afin d'assurer le run opérationnel, optimiser l'existant et dans un avenir proche participer au déploiement de la solution dans d'autres pays.
Nous recherchons quelqu'un de motivé ayant déjà une expérience dans la data.
Une bonne maîtrise de SQL est nécessaire. (elle sera testée durant l'entretien).
(Actuellement l'équipe est composée de 3 ingénieurs data, 1 product owner, 1 scrum master, 1 tech lead, 1 incident manager.
SA MISSION :
Il est garant de l'accès qualitatif aux sources de données.
Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists).
Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer.
Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT,
Il assure la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ).
SON ACTIVITE :
QUALIFICATION ET GESTION DES DONNÉES :
- Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité
- Intègre les éléments
- Structure la donnée (sémantique, etc.)
- Cartographie les éléments à disposition
- Nettoie la donnée (élimination des doublons, )
- Valide la donnée
- Éventuellement, il crée le référentiel de données
SES LIVRABLES :
- Data Lake approprié et partagé et son dimensionnement
- Cartographie des données
- Les éléments permettant de garantir la qualité de la donnée

Environnement Technique

GCP

SQL/Python