Description
Les missions du poste Chaque moment compte. Surtout ceux que vous vivez à fond. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au coeur de ses valeurs. Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au coeur de ses valeurs. Data Ingénieur - Expert Spark H/F Vous êtes passionné·e par les architectures de données à grande échelle et le traitement temps réel ? Ce poste est fait pour vous. En tant qu'Expert Spark Data Engineer, vous êtes responsable de l'analyse, de l'optimisation et de l'évolution de notre pipeline de données au coeur de notre écosystème BI et statistiques. Côté build Conception et préconisations d'architecture - Réaliser l'analyse et l'état des lieux technique de la solution existante (Kafka Connect, Spark, Kubernetes, MongoDB sur OVH) - Produire les préconisations d'amélioration du Spark streaming pour le traitement temps réel - Définir le dimensionnement infrastructure adapté au streaming temps réel (350 bases, 5 000 req/s, 1 To/an) - Proposer une stratégie de dimensionnement MongoDB et de structuration de la donnée (standardisation des patterns) - Rédiger le document d'architecture cible et le dossier de préconisations Côté run Optimisation et maintien en condition opérationnelle - Assurer la fiabilité et la performance du pipeline de données en production sur l'infrastructure OVH - Superviser les flux Kafka Connect et garantir la continuité du traitement des données entrantes - Monitorer les performances Spark et intervenir sur les axes d'optimisation identifiés - Veiller à la cohérence et à la qualité de la