Data engineer databricks aws : databricks, aws

Descriptif de la mission :

Rôle et responsabilités

*Développement et ingestion de données *:
•? ?Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks.
•? ?Mettre en place et maintenir des flux entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3.
•? ?Orchestration et supervision :
•? ?Créer et orchestrer des workflows avec AWS Airflow.
•? ?Mettre en place des mécanismes de contrôle qualité et de validation.
•? ?Développer des jobs de monitoring pour corriger automatiquement les anomalies.
-Maintien en condition opérationnelle :
•? ?Assurer la disponibilité et les performances des jobs.
•? ?Corriger incidents et anomalies.

*Contribution stratégique* :

•? ?Participer aux ateliers techniques et fonctionnels.
•? ?Promouvoir les bonnes pratiques Big Data.
•? ?Documenter les processus, architectures et scripts.

*Compétences techniques requises *

•? ?MUST : Python, Spark, Databricks, SQL
•? ?SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)
•? ?COULD : Big Data
•? ?WOULD : Git

Environnement Technique

CI/CD

Confluence

GitLab

JIRA

Scrum