Dokument-AI in großem Maßstab für eine französische Energiegruppe
Eine einjährige AI- und Cloud-Architekturmission: mehrseitige technische PDFs in strukturierte, prüfbare Daten mit einer serverlosen AWS-Pipeline umwandeln.
Die Architektur auf einen Blick
End-to-End-Pipeline
S3-Aufnahme und Step Functions orchestrieren Lambda-Worker, Textract, sieben parallele Pydantic-AI-Agenten, Feldvalidierung und einen konsolidierten Bericht, mit DynamoDB-/RDS-Status und Logfire-Tracing.
Das Problem
Berichte über gefährliche Materialien kommen als mehrseitige PDFs mit heterogenen Layouts: Tabellen, Formulare, Zeichnungen und lange Textabschnitte. Sie manuell zu lesen ist langsam und die Interpretation variiert von einem Leser zum anderen.
Das Ziel war kein generischer Chatbot. Es war eine reproduzierbare Pipeline, die dieselben Felder aus jedem Bericht extrahiert, die Quelle jedes Wertes beibehält und ein konsolidiertes Enddokument erstellt.
Die Architektur
Die Pipeline läuft auf einer serverlosen AWS-Architektur. Step Functions orchestrieren die Phasen, Lambda-Funktionen verarbeiten Seiten, S3 und SQS transportieren Dokumente und Arbeitsgegenstände, und PostgreSQL und DynamoDB halten den Zustand und die Ergebnisse.
Amazon Textract verarbeitet Layout, Tabellen und Formulare. Darüber hinaus verarbeiten spezialisierte Pydantic-AI-Agenten jede Seite parallel mit einer Verantwortung pro Agent, und ein letzter Schritt kompiliert den konsolidierten Bericht.
Modellanfragen laufen mit sequenzieller Rückfallstrategie, sodass ein degradierter Anbieter eine Batchverarbeitung nicht stoppt, und normative Abrufmethoden verankern die Extraktion in den relevanten Standards.
Nachverfolgbarkeit und Qualität
Jeder Durchlauf wird mit Logfire und OpenTelemetry nachverfolgt: welche Seite, welches Modell, welche Prompt-Version und welches Ergebnis. Evaluationssätze werden verwendet, um Architekturen zu vergleichen und Regressionen zu erfassen, bevor sie in die Produktion gelangen.
Das sichtbare Ergebnis ist ein System, das betrieben und geprüft werden kann, nicht eine Demonstration. Überwachung, Fehlerbehandlung und Kostenmessung sind Teil der Lieferung.
Was privat bleibt
Der Name des Kunden, Dokumentenvolumen, Verarbeitungskosten und Ablehnungsraten werden hier nicht veröffentlicht. Sie gehören dem Kunden und werden nur mit ausdrücklicher Genehmigung geteilt.
Öffentliche Ergebnisse
- Eine Produktionspipeline von der PDF-Eingabe bis zu einem konsolidierten Bericht.
- Seitenebene Herkunft für jeden extrahierten Wert.
- Sieben spezialisierte Agenten, die parallel pro Seite arbeiten.
- Sequentieller Modellrückfall über Anbieter hinweg.
- Vollständige Durchlaufverfolgung und Kostenmessung.
Stack
- AWS Step Functions
- AWS Lambda
- Amazon S3
- Amazon SQS
- Amazon Textract
- Amazon RDS PostgreSQL
- Amazon DynamoDB
- Pydantic AI
- Logfire
- OpenTelemetry