Description
Vous intervenez au cœur des enjeux de transformation technologique, sur des produits critiques, en assurant un niveau d'exigence élevé sur des systèmes non déterministes (Machine Learning, IA générative, APIs intelligentes et Marketing). A la croisée du QA, de l'IA et du marketing digital, vous contribuez à sécuriser la qualité des produits tout en optimisant l'expérience l'utilisateur. Votre mission ne consiste pas uniquement à tester des fonctionnalités, mais à évaluer la pertinence, la cohérence et les limites des modèles IA. 1. Validation des modèles IA - Évaluer la qualité des modèles ML, NLP et LLM en conditions réelles - Définir et suivre des métriques de performance : accuracy, F1-score, dérive. - Construire et maintenir des data sets de validation représentatifs - Identifier les comportements anormaux : biais, hallucinations, incohérences 2. Stratégie de test avancée - Concevoir des approches de test adaptées aux systèmes non déterministes - Développer des scénarios couvrant les cas limites et usages réels - Tester la robustesse des modèles face à des inputs variés ou dégradés - Définir des standards de qualité pour les systèmes IA 3. Automatisation & MLOps - Automatiser les campagnes de validation des modèles - Intégrer les tests dans des pipelines CI/CD et MLOps - Mettre en place des tests de non-régression sur modèles IA - Suivre la performance des modèles dans le temps (monitoring, drift) 4. Analyse & amélioration continue - Analyser les erreurs et proposer des axes d'amélioration - Collaborer étroitement avec data scientists et ML engineers - Participer à l'amélioration des datasets et des modèles - Produire des rapports d'évaluation clairs pour les équipes métiers COMPETENCES: - Expertise pratique en QA et validation de systèmes IA, autodidacte ou parcours atypique accepté - Connaissance des modèles ML, NLP, LLM et des bonnes pratiques de test IA - Maîtrise des prompts et des outils IA actuels (GPT, Claude, Bard.) - Certificatio