Du texte aux données structurées complexes : quand le prompt ne suffit plus

L’option “structured output” des LLMs transforme les textes en données structurées. Mais lorsque le schéma cible présente des contraintes métier complexes peut-on faire confiance à un simple prompt ?
Chez PayFit, nous avons automatisé l'extraction des paramètres de paie à partir de la loi, un processus historiquement très manuel (et répétitif) mené par des experts conformité.
Les mécanismes que nous avons mis en oeuvre pour rendre robuste l'extraction de données structurées par LLM s’appuient sur deux approches complémentaires :

1. une feedback loop pré-programmée orchestrant automatiquement le dialogue avec le LLM, afin de valider la syntaxe et la sémantique et de corriger automatiquement ses outputs selon les contraintes prédéfinies.
2. une approche d’évaluation systématique basée sur des métriques métier claires pour guider le choix d’un modèle adapté et itérer sur les prompts en détectant les régressions.

Ce talk partage des patterns applicables immédiatement, quel que soit votre langage de prédilection, pour dépasser le caractère non-déterministe des LLMs et générer des outputs respectant vos contraintes métier, tout en gardant une place pour la supervision de l’expert humain.