Développeur bigdata spark/scala : spark, scala

Descriptif de la mission :

Dans le cadre de la transformation data de notre client grand compte, nous recherchons un développeur Big Data expérimenté pour renforcer l’équipe en charge de la construction et de l’industrialisation des pipelines de données sur une plateforme basée sur Spark.

Vous interviendrez au sein d’une équipe agile (Data Engineers, Data Scientists, DevOps) sur des projets stratégiques liés à la valorisation des données métiers (traitements batch et stream).

Missions principales :
- Conception, développement et optimisation de pipelines de traitement de données volumineuses avec Apache Spark (Scala).
- Intégration de données provenant de différentes sources (bases de données, fichiers, APIs, etc.).
- Participation à la conception d’architectures Big Data robustes et scalables.
- Mise en place de tests unitaires et fonctionnels, documentation des développements.
- Collaboration étroite avec les équipes DataOps pour l’industrialisation des jobs.
- Participation aux cérémonies agiles (daily, sprint planning, rétrospectives, etc.).

Compétences requises :

Techniques :

Maîtrise d’Apache Spark en mode batch et/ou streaming.
Excellente connaissance de Scala et Python.
Expérience dans l’usage de frameworks comme Delta Lake, Spark SQL, PySpark.
Bonne connaissance des écosystèmes Big Data (HDFS, Hive, Kafka, Airflow).
Connaissance des outils de CI/CD et de conteneurisation.
Expérience avec des environnements cloud (GCP) est un plus.

Méthodologies :

Méthodologie agile (Scrum, Kanban).
Pratique de l’intégration continue et du versioning.

Environnement Technique

Airflow

GCP

Scala

Spark

pyth