Description
Dans le cadre du développement d'une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS. Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données. Vos missions Data Engineering & pipelines - Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel) - Gérer l'ingestion, la transformation et la mise à disposition des données IoT - Développer des traitements distribués avec Spark / Flink - Optimiser les performances et la scalabilité des flux de données Architecture & stockage - Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles) - Mettre en place des solutions de stockage adaptées aux usages analytiques - Participer à la gouvernance et à la structuration des données API & services data - Développer des API robustes en Python (FastAPI) - Exposer les données et services pour les besoins métiers et analytiques Streaming & orchestration - Implémenter des architectures temps réel avec AWS Kinesis - Orchestrer les workflows batch avec Airflow Qualité & observabilité - Garantir la qualité, la fiabilité et la traçabilité des données - Mettre en place des outils de monitoring et d'observabilité (Grafana, etc.) DevOps & industrialisation - Déployer et maintenir les infrastructures via Terraform / Terragrunt - Mettre en œuvre les bonnes pratiques CI/CD (GitLab) - Adopter une approche build-run-own des services data Collaboration - Travailler en étroite collaboration avec les équipes Data, Produit et Backend - Traduire les besoins métiers en solutions data industrialisées - Participer à un environnement Agile orienté amélioration continue Environnement technique Cloud & infrastructure - AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch - Architectures s