フランスのエネルギーグループ向けの大規模なドキュメントAI
1年間のAIおよびクラウドアーキテクチャミッション: 複数ページの技術PDFを構造化された監査可能なデータに変換するサーバーレスAWSパイプライン。
アーキテクチャの全体像
エンドツーエンドのパイプライン
S3取り込みとStep FunctionsがLambdaワーカー、Textract、並列Pydantic AIエージェント7体、フィールド検証、統合レポートを編成し、DynamoDB/RDSの状態とLogfireのトレースを備えます。
問題
危険物調査レポートは、テーブル、フォーム、図面、長いテキストセクションを含む異種レイアウトの複数ページPDFとして到着します。手動で読むのは遅く、解釈は読者によって異なります。
目標は一般的なチャットボットではありませんでした。すべてのレポートから同じフィールドを抽出し、各値のソースを保持し、統合された最終文書を生成する再現可能なパイプラインでした。
アーキテクチャ
このパイプラインはサーバーレスAWSアーキテクチャ上で動作します。ステップファンクションがステージを調整し、Lambda関数がページを処理し、S3とSQSがドキュメントと作業項目を運び、PostgreSQLとDynamoDBが状態と結果を保持します。
Amazon Textractはレイアウト、テーブル、フォームを処理します。その上に、専門のPydantic AIエージェントが各ページを並行して処理し、各エージェントに1つの責任を持たせ、最終ステップで統合レポートをコンパイルします。
モデル呼び出しは逐次的フォールバックで実行されるため、劣化したプロバイダーがバッチを停止することはありません。規範的な取得は関連する基準に基づいて抽出を行います。
トレーサビリティと品質
すべての実行はLogfireとOpenTelemetryで追跡されます: どのページ、どのモデル、どのプロンプトバージョン、どの結果。評価セットはアーキテクチャを比較し、プロダクションに到達する前に回帰をキャッチするために使用されます。
目に見える成果は、運用および監査が可能なシステムであり、デモではありません。監視、失敗処理、コスト測定は納品の一部です。
プライベートに保たれるもの
クライアント名、ドキュメントボリューム、処理コスト、拒否率はここでは公開されません。これらはクライアントに属し、明示的な承認がない限り共有されません。
公開結果
- PDFインジェストから統合レポートまでの生産パイプライン。
- 抽出された各値のページレベルの出所。
- ページごとに並行して作業する7つの専門エージェント。
- プロバイダー間の逐次モデルフォールバック。
- 完全な実行追跡とコスト測定。
スタック
- AWS Step Functions
- AWS Lambda
- Amazon S3
- Amazon SQS
- Amazon Textract
- Amazon RDS PostgreSQL
- Amazon DynamoDB
- Pydantic AI
- Logfire
- OpenTelemetry