IA documentaire à grande échelle pour un groupe énergétique français
Une mission d'architecture IA et cloud d'un an : transformer des PDF techniques multi-pages en données structurées et auditées avec un pipeline AWS sans serveur.
L'architecture en un coup d'œil
Pipeline de bout en bout
L'ingestion S3 et Step Functions orchestrent les workers Lambda, Textract, sept agents Pydantic AI en parallèle, la validation des champs et un rapport consolidé, avec l'état DynamoDB/RDS et la traçabilité Logfire.
Le problème
Les rapports d'enquête sur les matériaux dangereux arrivent sous forme de PDF multi-pages avec des mises en page hétérogènes : tableaux, formulaires, dessins et longues sections de texte. Les lire manuellement est lent et l'interprétation varie d'un lecteur à l'autre.
L'objectif n'était pas un chatbot générique. C'était un pipeline reproductible qui extrait les mêmes champs de chaque rapport, conserve la source de chaque valeur et produit un document final consolidé.
L'architecture
Le pipeline fonctionne sur une architecture AWS sans serveur. Les Step Functions orchestrent les étapes, les fonctions Lambda traitent les pages, S3 et SQS transportent les documents et les éléments de travail, et PostgreSQL et DynamoDB conservent l'état et les résultats.
Amazon Textract gère la mise en page, les tableaux et les formulaires. Par-dessus, des agents Pydantic IA spécialisés traitent chaque page en parallèle avec une responsabilité par agent, et une étape finale compile le rapport consolidé.
Les appels de modèle s'exécutent avec un retour en arrière séquentiel afin qu'un fournisseur dégradé ne stoppe pas un lot, et la récupération normative ancre l'extraction dans les normes pertinentes.
Traçabilité et qualité
Chaque exécution est tracée avec Logfire et OpenTelemetry : quelle page, quel modèle, quelle version de prompt et quel résultat. Des ensembles d'évaluation sont utilisés pour comparer les architectures et détecter les régressions avant qu'elles n'atteignent la production.
Le résultat visible est un système qui peut être exploité et audité, pas une démonstration. La surveillance, la gestion des échecs et la mesure des coûts font partie de la livraison.
Ce qui reste privé
Le nom du client, les volumes de documents, les coûts de traitement et les taux de rejet ne sont pas publiés ici. Ils appartiennent au client et ne sont partagés qu'avec une autorisation explicite.
Résultats publics
- Un pipeline de production de l'ingestion de PDF à un rapport consolidé.
- Provenance au niveau des pages pour chaque valeur extraite.
- Sept agents spécialisés travaillant en parallèle par page.
- Retour en arrière séquentiel des modèles entre les fournisseurs.
- Traçage complet des exécutions et mesure des coûts.
Stack
- AWS Step Functions
- AWS Lambda
- Amazon S3
- Amazon SQS
- Amazon Textract
- Amazon RDS PostgreSQL
- Amazon DynamoDB
- Pydantic AI
- Logfire
- OpenTelemetry