Data engineer : spark, bigquery

Descriptif de la mission :

Contexte de la mission :

La Direction Technique du Numérique de notre client mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.

La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.

Au sein de l’équipe en charge de l’activation et la personnalisation, la prestation se déroulera en collaboration avec les autres équipes de la Data, adossée à la plateforme Data. Cette équipe est composée d’un product owner et de deux data ingénieurs.

La stack technique est principalement constitué de Python, Spark, SQL, Kedro, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. Le stack inclue aussi d’autres services de la Google Cloud Platform.

Prestations attendues :
1. Déployer les cas d’usages en lien avec la personnalisation de l’expérience utilisateur
2. Accompagner les utilisateurs dans leurs usages
3. Mettre en place le contrôle qualité sur ces datasets

En interaction avec les membres de l’équipe, la prestation consiste à :
• Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
• Construire et maintenir de pipelines data robustes et scalables
• Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
• Organiser et structurer le stockage des données
• Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
• Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
• Construire et maintenir les workflows de la CI/CD
• Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
• Assurer l’évolutivité, la sécurité, la stabilité des environnements
• Participer aux différentes instances des data ingénieurs
• Contribuer et veiller à la mise à jour de la documentation
• Faire de la veille technologique active dans le domaine

Pour mener à bien la prestation, le prestataire devra maitriser les expertises suivantes :
• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
• Compétences solides en data : structures de données, code, architecture
• Expériences dans la conception et la réalisation de pipelines data
• Expériences dans un environnement du cloud Google (GCP)
• Expériences intégrant BigQuery
• Expériences intégrant les langages Python et SQL
• Expériences intégrant PySpark
• Expériences intégrant Terraform et Terragrunt
• Expériences intégrant Gitlab et Gitlab CI/CD
• Expériences intégrant les méthodologies Agile : Scrum ou Kanban
• Capacité à vulgariser et à communiquer sur des aspects purement techniques

Présence sur site requise en fonction des besoins de la prestation et a minimas équivalents à 50% du temps de la prestation.

Environnement Technique

GCP

GitLab

Python

Scrum

SQL

Kedro

Terragrunt