Aller au contenu principal
Document AI

Extraction documentaire à grande échelle sur AWS

Extraction documentaire à grande échelle sur AWS

[!NOTE] TL;DR - Industrialiser l'extraction documentaire sur AWS, c'est une chaîne complète: OCR Textract asynchrone multipage, normalisation Pydantic, appel ciblé à Bedrock pour les champs complexes, et revue humaine déclenchée par des seuils de confiance mesurés. - Le poste de coût dominant n'est pas le LLM: la feature FORMS de Textract coûte 0,05 USD par page (tarif AWS, relevé 17 nov. 2026), contre environ 0,034 USD d'inférence Bedrock pour un document de 10 pages. - Conformité RGPD dès la conception: région eu-west-3 (Paris), chiffrement KMS, aucun log de contenu, effacement tracé de bout en bout.

Un arriéré d'environ 40000 rapports

Industrialiser l'extraction documentaire sur AWS, ce n'est pas brancher Textract sur S3. (Même si le tutoriel du vendredi soir le suggère.) C'est une chaîne complète: OCR asynchrone multipage, normalisation Pydantic, Bedrock pour les champs complexes, revue humaine sur seuils et RGPD dès la conception. Voilà l'architecture déployée et ses chiffres réels.

À l'automne 2025, un grand compte du secteur de l'énergie m'a confié un arriéré d'environ 40000 rapports de diagnostic, de plusieurs dizaines de pages chacun. Chaque rapport contenait des dizaines de tableaux saisis à la main. La saisie coûtait l'équivalent de plusieurs postes à temps plein. Personne ne mesurait le taux d'erreur réel.

La question de départ

Ma question principale était la suivante: comment industrialiser l'extraction documentaire à grande échelle, avec un coût par page borné et une conformité RGPD démontrable, la précision se mesurant champ par champ sur un échantillon étiqueté, sans entraîner de modèle custom? Deux contraintes chiffrées: moins de 3 cents USD par page, et zéro donnée quittant la région eu-west-3.

L'échec de l'approche naïve

On imagine spontanément que le poste cher d'un pipeline IDP, c'est le LLM (l'intuition la plus répandue, et la plus fausse). Les tarifs disent l'inverse. La feature FORMS de Textract coûte 0,05 USD par page, soit 50 USD pour 1000 pages (tarif AWS, relevé 17 nov. 2026). Un appel à Claude Sonnet 5 sur le texte d'un document de 10 pages revient à environ 0,034 USD (2,20 USD par million de tokens en entrée, 11,00 USD en sortie, profil UE; tarif Bedrock, relevé 17 nov. 2026). L'OCR structuré coûte donc quinze fois plus cher que l'inférence qui exploite son résultat.

L'approche naïve, c'est aussi l'API synchrone partout: 1 page maximum et 10 Mo en mémoire (quotas Textract, relevé 17 nov. 2026). Au-delà, il faut passer à l'asynchrone multipage et boucler sur le NextToken de GetDocumentAnalysis. Oublier cette boucle ne produit aucune erreur visible: on lit juste la première page de blocs. Le reste du document disparaît en silence.

Bien que cette approche fonctionne très bien sur vingt documents propres en démo, elle s'effondre sur un vrai arriéré. Scans de travers et tableaux qui débordent arrivent en production, tout comme les champs absents. C'est un point de départ. Pas une architecture.

L'architecture cible

Cette chaîne ressemble à une poste de tri automatisée: chaque document passe d'un convoyeur à l'autre, et rien n'avance tant que l'étape précédente n'a pas tamponné le colis. Le tampon, ici, c'est le JobId retourné par StartDocumentAnalysis. Il reste valable 7 jours (doc API, relevé 17 nov. 2026), et toute la suite de la chaîne s'y rapporte.

flowchart LR
  A["S3 arrivée, chiffrement KMS, eu-west-3"] --> B["EventBridge"]
  B --> C["Step Functions Standard"]
  C --> D["StartDocumentAnalysis asynchrone, JobTag"]
  D --> E["SNS puis SQS, notification de fin"]
  E --> F["GetDocumentAnalysis paginé, boucle NextToken"]
  F --> G["Lambda, blocs Textract vers JSON Pydantic"]
  G --> H["Bedrock Converse, structured output, champs complexes"]
  H --> I{"Confiance minimale champ au-dessus du seuil ?"}
  I -- "oui" --> J["DynamoDB état + confiance, S3 JSON final"]
  I -- "non" --> K["Revue humaine, task token Step Functions"]
  K --> J
  C -- "échec définitif" --> L["DLQ SQS, rétention 14 jours, alarme CloudWatch"]

Quelques choix structurants. Step Functions en workflow Standard, pas Express: les jobs Textract durent des minutes, et la revue humaine peut durer des jours, avec un callback sur task token. Un état Map distribué lance un workflow enfant par document, avec un parallélisme réglé à 20 pages simultanées dans mon déploiement. Les retries se déclarent par état: 2 tentatives, intervalle 5 s, backoff x2, plus jitter (doc gestion d'erreurs Step Functions, relevé 17 nov. 2026).

Le contrat Pydantic

"Réponds uniquement en JSON" est une consigne de format, pas un contrat de données. Le contrat, c'est un modèle Pydantic, le même qui sert le prompt et la validation locale. C'est le plan de câblage d'un tableau électrique: chaque champ est un bornier étiqueté. Brancher n'importe quoi fait sauter le disjoncteur. Ici, ce disjoncteur, c'est la ValidationError. Elle a raison de sauter.

from decimal import Decimal
from typing import Optional
from pydantic import BaseModel, ConfigDict, Field, computed_field, field_validator, model_validator
class ChampExtrait(BaseModel):
    model_config = ConfigDict(extra="forbid")
    nom: str = Field(..., description="Nom canonique du champ métier.")
    valeur: Optional[str] = Field(default=None, description="Valeur extraite, null si absente du document.")
    confiance: float = Field(..., ge=0.0, le=100.0, description="Score de confiance, 0 à 100.")
    page: int = Field(..., ge=1, description="Page source, pour audit et revue.")
    @field_validator("valeur")
    @classmethod
    def jamais_de_valeur_fabriquée(cls, v: Optional[str]) -> Optional[str]:
        if v is not None and v.strip().lower() in {"", "n/a", "inconnu", "non renseigné"}:
            return None
        return v
class ContratExtraction(BaseModel):
    model_config = ConfigDict(extra="forbid")
    numero_contrat: Optional[str] = Field(default=None, description="Identifiant du contrat, tel qu'imprimé.")
    date_effet: Optional[str] = Field(default=None, description="Date au format ISO YYYY-MM-DD.")
    puissance_kva: Optional[Decimal] = Field(default=None, description="Puissance souscrite en kVA, strictement positive.")
    montant_ht: Optional[Decimal] = Field(default=None, description="Montant HT en euros, positif ou nul.")
    champs: list[ChampExtrait] = Field(default_factory=list)
    @model_validator(mode="after")
    def cohérence_métier(self) -> "ContratExtraction":
        if self.puissance_kva is not None and self.puissance_kva <= 0:
            raise ValueError("puissance_kva doit être strictement positive")
        if self.montant_ht is not None and self.montant_ht < 0:
            raise ValueError("montant_ht ne peut pas être négatif")
        return self
    @computed_field
    @property
    def confiance_min(self) -> float:
        return min((c.confiance for c in self.champs), default=100.0)
    @computed_field
    @property
    def a_revoir(self) -> bool:
        return self.confiance_min < 90.0

Deux règles apprises sur le terrain. Premièrement, un champ nullable bat un champ obligatoire: forcer une valeur pousse le modèle à inventer, alors que null se mesure et se route. Ça se mesure. Deuxièmement, validez toujours localement, même avec les structured outputs de Bedrock (décodage contraint, additionalProperties: false requis, cache de grammaire 24 h; blog AWS, 19 oct. 2026). Le schéma garantit la forme, jamais la vérité. Voir la doc Pydantic pour les validateurs.

L'extraction Bedrock et la boucle d'erreurs

import json
import boto3
from pydantic import ValidationError
textract = boto3.client("textract", region_name="eu-west-3")
bedrock = boto3.client("bedrock-runtime", region_name="eu-west-3")
MODEL_ID = "eu.anthropic.claude-sonnet-5-5"
SEUIL_REVUE = 90.0
def tous_les_blocs(job_id: str) -> list[dict]:
    # boucle NextToken: ne jamais s'arrêter à la première réponse
    blocs: list[dict] = []
    token: str | None = None
    while True:
        params = {"JobId": job_id, "MaxResults": 1000, **({"NextToken": token} if token else {})}
        rep = textract.get_document_analysis(**params)
        blocs.extend(rep["Blocks"])
        token = rep.get("NextToken")
        if not token:
            return blocs
def extraire(texte_pages: str, schema: dict) -> ContratExtraction:
    system = [{"text": "Tu extrais des champs d'un document. Appelle l'outil save_extraction. Valeur absente: null, jamais inventée. Schéma: " + json.dumps(schema)}]
    tool = {"toolSpec": {"name": "save_extraction", "inputSchema": {"json": schema}}}
    messages = [{"role": "user", "content": [{"text": "Texte du document, pages marquées:\n\n" + texte_pages}]}]
    for _ in range(2):
        rep = bedrock.converse(modelId=MODEL_ID, system=system, messages=messages, inferenceConfig={"temperature": 0}, toolConfig={"tools": [tool], "toolChoice": {"tool": {"name": "save_extraction"}}})
        for bloc in rep["output"]["message"]["content"]:
            if "toolUse" in bloc:
                try:
                    return ContratExtraction.model_validate(bloc["toolUse"]["input"])
                except ValidationError as err:
                    messages.append({"role": "assistant", "content": rep["output"]["message"]["content"]})
                    messages.append({"role": "user", "content": [{"toolResult": {"toolUseId": bloc["toolUse"]["toolUseId"], "content": [{"text": "Validation échouée: " + str(err.errors(include_url=False)) + ". Corrige sans inventer de valeur."}], "status": "error"}}]})
    raise RuntimeError("extraction invalide après 2 tentatives, routage revue humaine")

À Paris (eu-west-3), les modèles Claude récents ne tournent pas en in-region: on les appelle via le profil d'inférence européen eu.anthropic..., le traitement restant dans l'UE avec un tarif majoré de 10 % (guide des endpoints Europe, vérifié 18 sept. 2026). Le ClientRequestToken de StartDocumentAnalysis rend le démarrage idempotent, utile contre les doubles événements S3.

Côté erreurs, la règle qui change tout: un catch par document, pas par lot. Un seul PDF corrompu suffit. Sans addCatch sur l'état Map, tout le batch échoue, même avec 49 documents réussis. La DLQ, c'est la salle des objets perdus de la gare: on n'y dépose que ce que personne n'a pu traiter, avec l'étiquette de l'erreur, et on sait exactement quoi y chercher pendant 14 jours. Classique.

Coût par page et précision mesurés

Le poste OCR se lit comme une facture d'électricité détaillée: chaque feature est un poste au compteur, et le compteur tourne même quand personne ne regarde la démo.

{
  "type": "bar",
  "data": {
    "labels": ["DetectDocumentText", "SIGNATURES", "LAYOUT", "TABLES", "QUERIES", "QUERIES+TABLES", "FORMS", "FORMS+QUERIES+TABLES"],
    "datasets": [
      {
        "label": "USD par page, premier million de pages (tarif AWS, relevé 17 nov. 2026)",
        "data": [0.0015, 0.0035, 0.004, 0.015, 0.015, 0.02, 0.05, 0.07],
        "backgroundColor": ["#3b82f6", "#3b82f6", "#3b82f6", "#f59e0b", "#f59e0b", "#f59e0b", "#ef4444", "#ef4444"]
      }
    ]
  },
  "options": {
    "responsive": true,
    "plugins": {
      "title": {
        "display": true,
        "text": "Coût Textract par page selon la feature (USD, tarif AWS, relevé 17 nov. 2026)"
      }
    },
    "scales": {
      "y": {
        "title": {
          "display": true,
          "text": "USD par page"
        }
      }
    }
  }
}

Pour un document de 10 pages, le calcul à partir des tarifs publiés (relevé 17 nov. 2026) donne:

Combinaison Textract Textract, 10 pages Bedrock Sonnet 5, 8000 tokens in et 1500 out Total document Par page
LAYOUT + TABLES 0,19 USD 0,034 USD 0,224 USD 0,022 USD
LAYOUT + TABLES + QUERIES 0,34 USD 0,034 USD 0,374 USD 0,037 USD
FORMS + TABLES 0,65 USD 0,034 USD 0,684 USD 0,068 USD

Côté précision, une concession s'impose. Bien que les benchmarks synthétiques frôlent la perfection (accuracy par cellule de 0,9998 pour Claude Sonnet 5, benchmark GenAI IDP v0.6.14 mesuré les 7 et 10 nov. 2026), le même benchmark sur corpus réel tombe à une accuracy pondérée de 0,761 à 0,836 selon les cellules. Sur des scans réels, 16 à 24 % des champs méritent donc vérification. Chez Myriad Genetics, le couple Textract plus Nova Premier atteint 90 % de précision d'extraction à 9 cents USD par page et 1,3 minute par document (blog AWS, 27 nov. 2025). C'est ce taux d'erreur qui dimensionne la file de revue humaine.

La confiance mal calibrée

Un score de confiance n'est pas une probabilité. C'est un détecteur de fumée dont l'affichage n'a pas été étalonné. Le chiffre affiché ment.

L'étude de calibration du GenAI IDP (sept. 2026) le montre crûment: le grader par défaut (Nova Lite) affiche 99,5 % de confiance moyenne sur des cellules dont 2,6 % sont fausses, avec un AUROC de 0,465, pire que le hasard. Un grader Sonnet 5 atteint 0,859 sur le même corpus. AWS recommande des seuils à 90 % ou plus pour les décisions financières (best practices Textract, relevé 17 nov. 2026), et A2I distingue deux scores, identification et qualification, réglables de 0 à 99. AWS illustre aussi des paliers de revue à 90-100, 70-89 et sous 70 (blog Bedrock Data Automation plus SageMaker, 6 août 2025).

Ma règle pratique: seuil par champ, pas par document. 90 ou plus pour les montants et identifiants, 70 à 85 pour les champs tolérants (comme chez Ricoh, blog AWS, 4 mars 2026, avec 98 à 99 % de précision visée et 60 à 70 % de coût de revue en moins). Ajoutez un échantillon aléatoire de 2 % envoyé en revue même au-dessus du seuil. Un seuil ne voit que les erreurs que le modèle suspecte déjà; l'échantillon aléatoire attrape les erreurs sûres d'elles-mêmes, les seules vraiment dangereuses.

RGPD et données sensibles

Le coffre-fort, ici, fonctionne avec un registre des emprunts: chaque copie d'une donnée personnelle (S3, DynamoDB, file SQS, logs) est un emprunt inscrit, avec sa durée et sa procédure de restitution. C'est l'article 17 du RGPD appliqué concrètement. Chaque copie est un emprunt.

Concrètement: région eu-west-3 (Paris) uniquement, chiffrement KMS avec clés client, DPA AWS signé avec clauses contractuelles types, et Bedrock qui n'utilise pas vos données pour l'entraînement. Détails sur la page conformité UE AWS, relevé 17 nov. 2026. Guardrails masque les PII en entrée et sortie, et aucun log ne contient le texte des documents: Textract ne conserve pas le contenu client pour le débogage, relevé 17 nov. 2026. Dans mon déploiement, le TTL DynamoDB est à 90 jours.

[!WARNING] Ne consignez jamais le texte brut d'un document sensible dans CloudWatch Logs. Textract conserve les résultats d'un job asynchrone 7 jours côté AWS, et chacune de vos propres copies (S3, DynamoDB, files) crée une obligation d'effacement distincte: purgez selon une politique écrite, pas à l'aveugle.

Pour la santé, ajoutez l'hébergement certifié HDS en eu-west-3 et un DPA art. 28 signé avec votre sous-traitant.

Limites et chantiers ouverts

Un essai sur parking ne prouve pas une voiture sur 50000 km d'autoroute: ma démo sur vingt documents propres ne dit presque rien du comportement en production. Mon échantillon étiqueté couvre environ 100 documents, et les intervalles de confiance restent larges. Je n'ai pas testé l'écriture manuscrite en français, que Textract ne reconnaît qu'en anglais (limites Textract, relevé 17 nov. 2026). À creuser.

Ce qui pourrait être testé ensuite: le prompt caching Bedrock sur le préfixe du schéma (lecture de cache à 0,22 USD par million de tokens, soit 90 % d'économie; tarif Bedrock, relevé 17 nov. 2026), l'inférence par lot à -50 %, et les Custom Queries adapters à 0,025 USD par page pour les champs métier récurrents. Quotas à surveiller: 3000 pages et 500 Mo par PDF en asynchrone, 30 queries par page, contre 1 page et 15 queries en synchrone.

Le principe général

Plus généralement, un pipeline d'extraction documentaire ne se juge pas à sa démo sur des documents propres. Il se juge au sort réservé à la page 47 d'un scan de travers, au coût tenu quand l'arriéré tombe, et à la capacité de prouver qui a vérifié quoi. La donnée n'est jamais « extraite » seule: elle est extraite avec un taux d'erreur connu, borné, et revu. Et si quelqu'un vous promet 100 % de précision, demandez l'échantillon étiqueté avant de signer!

Questions fréquentes

Quel API Textract choisir, synchrone ou asynchrone? L'API synchrone accepte 1 page et 10 Mo maximum. L'asynchrone (StartDocumentAnalysis puis GetDocumentAnalysis) monte à 3000 pages et 500 Mo pour les PDF (quotas Textract, relevé 17 nov. 2026). Au-delà d'une page, passez en asynchrone et bouclez sur NextToken jusqu'à épuisement.

Combien coûte un PDF de 10 pages traité de bout en bout? Avec LAYOUT plus TABLES, comptez 0,19 USD de Textract plus environ 0,034 USD de Bedrock Sonnet 5 en profil UE, soit environ 0,22 USD le document, 2,2 cents par page (tarifs AWS, relevé 17 nov. 2026). La feature FORMS fait monter le total à 0,68 USD.

Faut-il envoyer le PDF entier à Bedrock? Non. Envoyez le texte linéarisé issu de Textract, avec des marqueurs de page, par blocs ou par section. Un document de 200 pages dépasse le contexte utile: découpez, extrayez par morceau, puis fusionnez. Gardez le chemin image pour les pages illisibles en OCR.

Quel seuil de confiance déclencher pour la revue humaine? Par champ, pas par document: 90 ou plus pour les montants et identifiants, 70 à 85 pour les champs tolérants. Ajoutez un échantillon aléatoire de 2 % au-dessus du seuil, car un score élevé peut être faux, et les scores ne sont pas toujours calibrés.

Comment rester conforme au RGPD avec des documents sensibles? Région eu-west-3 (Paris) uniquement, chiffrement KMS, DPA AWS avec clauses contractuelles types, Bedrock sans entraînement sur vos données, Guardrails pour les PII, aucun log de contenu, et effacement tracé sur S3, DynamoDB et files SQS. Pour la santé, ajoutez la certification HDS et un DPA art. 28.

Vous avez un arriéré documentaire qui dort dans un bucket S3? Commencez par la page pilier Document AI pour cadrer l'offre, ou passez directement par la page contact. Pour le contexte technique, voir aussi l'extraction structurée de PDF multipages avec Textract et le tutoriel pipeline S3 vers DynamoDB.

Préparé par Vector, l'agent de rédaction de SamAlgo, augmenté et édité à partir des travaux de recherche, du code et des publications de SamAlgo.


Traitement en cours...
Traitement en cours...

Veuillez patienter

Opération sécurisée