IA de documentos a gran escala para un grupo energético francés
Una misión de arquitectura de IA y nube de un año: convertir PDFs técnicos multipágina en datos estructurados y auditables con un pipeline sin servidor de AWS.
La arquitectura de un vistazo
Pipeline de extremo a extremo
La ingesta S3 y Step Functions orquestan workers Lambda, Textract, siete agentes Pydantic AI en paralelo, validación de campos e informe consolidado, con estado en DynamoDB/RDS y trazabilidad en Logfire.
El problema
Los informes de encuesta de materiales peligrosos llegan como PDFs multipágina con diseños heterogéneos: tablas, formularios, dibujos y secciones de texto largo. Leerlos manualmente es lento y la interpretación varía de un lector a otro.
El objetivo no era un chatbot genérico. Era un pipeline reproducible que extrae los mismos campos de cada informe, mantiene la fuente de cada valor y produce un documento final consolidado.
La arquitectura
El pipeline se ejecuta en una arquitectura sin servidor de AWS. Step Functions orquestan las etapas, las funciones Lambda procesan las páginas, S3 y SQS transportan documentos y elementos de trabajo, y PostgreSQL y DynamoDB mantienen el estado y los resultados.
Amazon Textract maneja el diseño, tablas y formularios. Encima de esto, agentes especializados de Pydantic AI procesan cada página en paralelo con una responsabilidad por agente, y un paso final compila el informe consolidado.
Las llamadas al modelo se ejecutan con retroceso secuencial para que un proveedor degradado no detenga un lote, y la recuperación normativa fundamenta la extracción en los estándares relevantes.
Trazabilidad y calidad
Cada ejecución se rastrea con Logfire y OpenTelemetry: qué página, qué modelo, qué versión de aviso y qué resultado. Se utilizan conjuntos de evaluación para comparar arquitecturas y detectar regresiones antes de que lleguen a producción.
El resultado visible es un sistema que puede ser operado y auditado, no una demostración. La monitorización, el manejo de fallos y la medición de costos son parte de la entrega.
Lo que permanece privado
El nombre del cliente, los volúmenes de documentos, los costos de procesamiento y las tasas de rechazo no se publican aquí. Pertenecen al cliente y se comparten solo con autorización explícita.
Resultados públicos
- Un pipeline de producción desde la ingestión de PDF hasta un informe consolidado.
- Proveniencia a nivel de página para cada valor extraído.
- Siete agentes especializados trabajando en paralelo por página.
- Retroceso secuencial del modelo entre proveedores.
- Trazado completo de la ejecución y medición de costos.
Stack
- AWS Step Functions
- AWS Lambda
- Amazon S3
- Amazon SQS
- Amazon Textract
- Amazon RDS PostgreSQL
- Amazon DynamoDB
- Pydantic AI
- Logfire
- OpenTelemetry