Evals Engineer

Mission principale

Construit les systèmes d'évaluation qui mesurent la qualité réelle des modèles.

5 responsabilités clés

• Concevoir les suites d'évaluation qui mesurent la qualité réelle des systèmes IA.
• Construire les benchmarks métier spécifiques à chaque cas d'usage.
• Automatiser les évaluations : LLM-as-judge, tests de régression, A/B.
• Détecter les régressions avant chaque mise en production.
• Diffuser la culture de la mesure dans les équipes IA.

Compétences clés

Conception d'évaluations, statistiques, LLM-as-judge, pipelines de test, esprit critique.

Ce qui est attendu

Remplacer le 'ça a l'air bien' par des mesures fiables : un des métiers qui explose avec l'industrialisation de l'IA.

Évolutions possibles

Lead Quality IA, Chercheur en évaluation, Chef de produit IA.