Data engineer senior / expert (lakehouse aws) : spark, aws

Descriptif de la mission :

Dans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer Senior / Expert pour concevoir, industrialiser et faire évoluer des pipelines de données à grande échelle, au sein d’une architecture Lakehouse hébergée sur AWS.

Missions :
- Concevoir, développer et optimiser des pipelines de données à grande échelle.
- Mettre en œuvre des flux batch, streaming et d'ingestion via API.
- Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold).
- Développer et industrialiser les traitements avec DBT, Spark et Iceberg.
- Contribuer à l'évolution de l'architecture Lakehouse.

Responsabilités
- Déployer et maintenir les pipelines dans un environnement cloud AWS.
- Orchestrer les workflows ETL/ELT avec Airflow.
- Mettre en œuvre l'Infrastructure as Code avec Terraform.
- Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
- Garantir la disponibilité, la supervision et l'observabilité des traitements, participer à la gestion des incidents et à l'amélioration continue.
- Définir et appliquer les règles de qualité des données (tests, validation, contrôles automatisés).
- Documenter les architectures, les pipelines et les règles métier.
- Garantir la conformité des flux, notamment au RGPD.

Profil recherché :
- 8 ans minimum d'expérience en Data Engineering (plus de 10 ans pour le niveau Expert).
- Maîtrise avancée des architectures Big Data et Lakehouse.
Expertise réelle sur Spark, DBT, Iceberg, AWS (Glue, EMR, S3) et Terraform.
- Connaissance de Trino/Starburst et Datadog appréciée.
- Forte capacité d'analyse et de compréhension des enjeux métiers.
- Rigueur, autonomie et culture de l'amélioration continue.

Environnement Technique

Airflow

AWS

Docker

Kubernetes

Python

Terraform

DBT

Datadog