Data Engineer QA

Descriptif de la mission

Notre Client recherche pour cette mission un Data Engineer QA.


Les tâches au quotidien seront :


- Définir, mettre en œuvre et maintenir des règles de qualité des données et des cadres de validation (exhaustivité, cohérence, unicité, exactitude)
- Concevoir et intégrer des tests automatisés dans les pipelines ETL/ELT (tests unitaires, d'intégration, tests de régression pour les données)
- Concevoir, construire et améliorer les pipelines de données avec des contrôles de qualité intégrés et affirmations
- Mettre en œuvre des solutions d'observabilité et de surveillance des données (alertes, détection d'anomalies, Détection de la dérive des données)
- Analyser et résoudre les problèmes de qualité des données dans les environnements de production
- Valider les transformations de données et garantir leur conformité avec la logique métier et les exigences fonctionnelles
- Collaborer étroitement avec les ingénieurs de données, les analystes de données et les équipes commerciales pour définir les contrats de données et les critères d'acceptation
- Garantir la fiabilité de la production, notamment en surveillant les pipelines et en répondant aux incidents
- Promouvoir et appliquer les meilleures pratiques d'assurance qualité en ingénierie des données (automatisation des tests, Intégration CI/CD)


Les compétences requises pour cette mission sont :


- Justifier d'au moins 4/5 ans d'expérience professionnelle dans ce domaine
- Avoir de bonnes compétences avec Python et avec des Frameworks de validation de données et des bibliothèques de Test
- Disposer d'une bonne expérience avec les pipelines ETL/ELT et des pratiques de test intégrées
- Avoir une bonne expertise de Databricks et Spark y compris la validation des données a grande échelle
- Justifier de bonnes compétences avec SQL et être capable de rédiger des requêtes de validation complexes
- Avoir déjà travaillé dans un environnement Cloud AWS
- Avoir une bonne compréhension des pipelines CI/CD et des stratégies d'automatisation des tests de données plateformes

Environnement technique de la prestation

Python, ELT/ETL
Tests Intégrés, Databricks, Spark
SQL, AWS, CI/CD
Agile