Description du poste
Vous aurez comme objectif d'assurer la validation de la performance, de l'efficacité et de la robustesse des modèles d'IA, en élaborant des stratégies de test adaptées aux use cases IA (RAG, agents autonomes, LLM), avec une attention particulière aux aspects responsables et éthiques.
Vous aurez comme missions :
- Collaborer avec les équipes produit et data pour garantir l'alignement des résultats de test avec les besoins métier.
- Élaborer l'approche de test, les scénarios et plans de validation couvrant les aspects fonctionnels, non-fonctionnels (performance, sécurité) et les vulnérabilités.
- Mettre en place des processus et outils de test adaptés aux use cases IA (validation de RAG, agents autonomes).
- Suivre et partager des indicateurs de qualité (KPI) pour mesurer l'efficacité des modèles.
- Industrialiser les pratiques de test IA au sein des équipes.
- Assurer une veille technologique sur les évolutions des frameworks et méthodologies de test IA.
- Être force de proposition pour transformer les concepts en solutions opérationnelles de test.
Profil recherche
Diplômé(e) d'un Bac+5 en informatique.
Expérience : Minimum 3 ans.
Compétences requises :
- Méthodologies : Agile Testing, guide ISTQB, acculturation Data/IA (GenAI et non-GenAI)
- Programmation : Python, Pandas, NumPy
- IA Générative : RAG, Prompt Engineering, Agentique, LLM
- Frameworks IA : LangChain, LangGraph ou équivalents
- Outils de test IA : Giskard, RAGAS, Deep-Eval ou solutions similaires pour l'évaluation de modèles
Traits de personnalite souhaites
Besoin d'autonomieBesoin de réflexionAmbitionImplication au travailRecherche de nouveauté