Data engineer big data : spark, pyspark

Descriptif de la mission :

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers.
Vos missions :
Conception et développement:
Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses).
Concevoir et développer des pipelines de données automatisés (ETL).
Optimiser les performances des traitements de données.
Technologies:
Maîtrise des langages de programmation : Python, Scala, SQL.
Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka.
Connaissance des bases de données relationnelles et NoSQL.
Expérience avec les clouds (GCP)
Collaboration:
Travailler en étroite collaboration avec les équipes métiers.
Participer à la définition de la roadmap data.
Votre profil :
Compétences:
Solides connaissances en bases de données et en traitement de données massives.
Curiosité, rigueur et capacité à résoudre des problèmes complexes.
Excellentes compétences en communication et en travail en équipe.

Mots-clés: Data Engineer, Big Data, Hadoop, Spark, SQL, Python, Scala, Cloud, Dataproc, Big Query, Data Pipeline, ETL

Environnement Technique

Cloudera

GCP

Hadoop

Hive

Scala

Spark

dataproc

bigquery

pyspark