Le projet
- Concevoir et optimiser des pipelines d’extraction d’informations structurées à partir de données textuelles.
- Définir les meilleures stratégies d’interaction avec les LLM : structured outputs, function calling, validation et correction des réponses.
- Concevoir et maintenir les schémas de données utilisés par les modèles.
- Construire et maintenir des jeux de tests représentatifs des cas métier.
- Définir des métriques d’évaluation objectives (qualité, précision, rappel, coût, latence).
- Comparer les performances des prompts, modèles et architectures au travers d’expérimentations rigoureuses.
- Mettre en place des méthodologies d’évaluation reproductibles.
- Évaluer la pertinence des approches de type LLM-as-Judge.
- Mesurer la cohérence des évaluations automatiques par rapport à des validations humaines.
- Identifier les biais, les variations d’exécution et les limites des systèmes génératifs.
- Participer à la sélection des modèles en arbitrant entre qualité des résultats, coûts d’exploitation et performances.
- Contribuer à la définition d’architectures IA compatibles avec des contraintes de souveraineté et de sécurité.
- Réaliser des recommandations fondées sur des données quantitatives et des résultats mesurés.
- Développer des composants robustes et testés en environnement de production.
- Mettre en place les mécanismes d’observabilité, de supervision et de gestion des dérives.
- Participer à la montée en compétences des équipes sur les sujets liés à l’IA générative et à l’évaluation des modèles.
Profil recherché
- Minimum 5 ans d’expérience en développement logiciel.
- Au moins 2 ans d’expérience sur des produits ou solutions basés sur des LLM en production.
- Expérience significative dans la mise en œuvre et l’évaluation de systèmes d’IA générative.
- Maîtrise avancée de Python.
- Solide expérience des LLM, des architectures RAG (Retrieval-Augmented Generation) et des mécanismes d’extraction d’informations.
- Connaissance approfondie du Function Calling, des sorties structurées et de la validation de schémas.
- Mise en œuvre de stratégies d’évaluation : datasets de référence, métriques, analyse statistique, LLM-as-Judge.
- Développement de code industrialisé, testé et maintenable.
- Forte capacité d’analyse et de prise de décision basée sur des mesures objectives.
- Aptitude à comparer plusieurs approches techniques et à argumenter les choix retenus.
- Excellentes capacités de communication auprès d’interlocuteurs techniques et métiers.