Senior data engineer : aws sql els python github springboot s3, spark scala

Descriptif de la mission :

Data Engineer expérimenté

Pour remplir à bien sa mission, le Data Engineer devra :

- Développer des flux de données reliant les systèmes opérationnels d'encaissement au dataLake pour ensuite exposer les KPIs consolidés à l'ensemble de l'entreprise
- Participer activement au RUN (you build it you run it) : prise en charge de ticket, investigation, reprise de données, astreinte...
-Maîtriser les modèles de données et les outils de transformations
-Maîtriser des outils de la modern data stack
-Avoir des connaissances sur la stack LEGACY
-Avoir des connaissances en SpringBoot pour l'exposition de nos données

Livrables attendus :
-Revue de code de ses pairs
-Documentation de sa production
-Schéma d'architecture à jour des différents flux
-Data Lineage de nos tables
-Etude de faisabilité & impact des futurs épic

Notre stack technique (non exhaustive) est la suivante :
-DataWarehouse :Redshift
-Datalake : S3
-Transfo : Spark en Scala et utilisant la bibliothèque Zio
-Orchestration : Airflow, OpCon
-Langage : SQL, Scala, Python
-execution des jobs sur EMR et Databricks
-Github + Github Action
-Code Artifact
-Container : K8S
-API : SpringBoot + ELS


Profil recherché :

-Une expérience de 3 ans minimum en tant que Data Engineer sur du Scala
-Une grande appétence technique
-Être adaptable, les données viennent d’applications qui nécessitent des connaissances en Kafka, d'un Datalake ou de base de données.
-Avoir un sens du service développé
-Savoir interagir avec d’autres équipes( technique et fonctionnelle), avoir le contact facile
-Savoir animer fonctionnellement une équipe
- Anglais requis a un niveau intermediaire
Une attention particulière sera apportée à :
-la POO et la programmation fonctionnel
-les concepts d'architecture distribuées
-l'optimisation de traitements Spark
- La maîtrise du SQL
- La polyvalence et l’adaptabilité

Compétences demandée-Niveau de compétence
AWS-Avancé
SQL-AvancéELS-Avancé
Python-Avancé
Github-Avancé
Springboot-Avancé
s3-Avancé
spark-Confirmé
scala-Confirmé
opcon-Élémentaire
Talend-Élémentaire
Redshift-Élémentaire

Environnement Technique

Airflow

Github

Python

S3

Scala

Spark

SQL

datawarhouse

redshift

datalake

opcon

emr

databricks

k8S

artifact