*Data Engineer Senior - Socle Data / IA-ML (Secteur Banque)* : ==>Lieu : *Paris - Hybride* ==>Durée : *CDI* ==>Expérience : *8 ans+ en Data Engineering sur des plateformes Big Data critiques* ==>Responsabilités : - Challenger et améliorer les plateformes Dagster (orchestration) et Trino (requêtage distribué) : diagnostic des problèmes de performance, optimisation des configurations - Concevoir et optimiser les pipelines d'ingestion et de traitement de données basés sur Apache Spark (performance, volumétrie, partitionnement, formats Delta Lake / Iceberg) - Industrialiser les pipelines Data et IA/ML : fiabilité, observabilité, reproductibilité - Mettre en place des mécanismes de monitoring, alerting et capacity planning adaptés aux workloads Data/IA - Structurer le support niveau 3 et accompagner les équipes niveaux 1 et 2 - Assurer un rôle de référent technique opérationnel (pair working, mentoring) et participer à la veille technologique (POCs) ==>Compétences demandées : - Orchestration de données (Dagster ou équivalent) : *Expert* - Moteur de requêtage distribué (Trino ou équivalent) : *Expert* - Apache Spark (ingestion & processing) : *Maîtrise à Expert* - Écosystème Data (Delta Lake, Iceberg, Hive) : *Maîtrise à Expert* - Scalabilité des plateformes Data : *Expert* - Python & Unix/Linux : *Maîtrise* - Bonus : Docker/Kubernetes, Azure/AKS, IaC/GitOps, MLOps, Go/Java
Recruteur ou personne concernée par cette annonce ? Demander la suppression