Les missions du poste Candidate First recrute pour l'un de ses clients éditeurs de logiciels, 2 ingénieurs BIG DATA SENIOR femme/homme à Toulouse. Au sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et hydrologiques. Rattaché(e) au Teamlead, vous vous concentrerez sur la garantie d'une livraison évolutive, reproductible et de qualité industrielle des entrées et sorties du modèle. Mettre en oeuvre l'ingestion (par batch/en continu), les étapes ELT/ETL et les workflows de publication des données.Gérer les formats scientifiques (netCDF, GRIB2) et le stockage en colonnes (Parquet) ; optimiser les E/S et les algorithmes.Concevoir un stockage avec des modèles de cohérence finale (publications atomiques, manifestes, chemins versionnés) et un catalogue de métadonnées.Partitionner et paralléliser les charges de travail pour le calcul distribué ; compacter les petits fichiers et optimiser le rapport coût/performance.Créer et exécuter des services conteneurisés et des workflows orchestrés ; garantir l'observabilité, les réessais, l'idempotence et les runbooks.Collaborer avec des scientifiques pour définir des modèles de données et des règles de validation. Le profil recherché Formations : Bac +5 en Informatique, Mathématique ou Data Scientist Expérience : Des postes d'expérimentés sont à pourvoir. Les compétences techniques attendues sont : ETLData lake + Meta DonnéesPython (xarray, netCDF4, pyarrow), PySpark or DaskS3-compatible object storage; Parquet formatPostgreSQL / PostGISKubernetes + Docker for deploymentAWS (S3, EKS, EC2) or equivalent cloud; Terraform for IaC Compétences comportementales : CuriositéFaculté de communication Esprit d'équipeCapacité d'analyse et de résolution de problèmeAptitude managériale pour les profils expérimentés Candidate First est particulièrement engagée en faveur de la Diversité, de l'Égalité
Recruteur ou personne concernée par cette annonce ? Demander la suppression