Benchmarks agents de recherche IA : radar du 28 octobre 2026

[!NOTE] TL;DR : Les benchmarks agents de recherche IA (BrowseComp, DeepSearchQA, HLE, WideSearch) révèlent un levier plus puissant que le choix du modèle : le budget de tours de recherche, qui fait passer BrowseComp de 35,8 % à 89,0 % pour une même configuration. Les classements sont jeunes (3 à 4 modèles, run du 18 août 2026), les intervalles de confiance sont larges, et la meilleure valeur se tient à 0,06-0,10 USD par question. Décide sur le coût par tâche et la bande d'erreur, pas sur le rang.

J'ai passé la matinée du 28 octobre à lire des classements. Comme d'autres lisent leur horoscope, à ceci près que celui-ci change chaque semaine. Personne ne vous prévient.

Ce radar porte sur les benchmarks agents de recherche IA, ces évaluations qui confrontent un agent au web vivant : BrowseComp, DeepSearchQA, HLE et WideSearch, avec τ²-Bench Airline comme point de comparaison. Ma question est simple : que mesurent vraiment ces scores en octobre 2026, et que peux-tu en décider sans te faire piéger ? Les données sont arrêtées à une date précise : trafic au 27 octobre 2026, benchmarks de recherche au 18 août 2026, HLE au 15 septembre, τ²-Bench Airline au 28 octobre à 5 h 13 UTC.

Je distingue le « mesuré » (chiffres OpenRouter, avec date de run) du « revendication » (communiqué fournisseur) ; le reste est mon interprétation.

Le tableau de bord du 28 octobre

OpenRouter fait tourner 18 benchmarks en continu, pour environ 2,4 millions d'évaluations de tâches au dernier run collectif du 28 octobre. Deux familles y vivent. D'un côté, les agents conversationnels sous contrainte : τ²-Bench Airline, 151 modèles, run du jour. De l'autre, la recherche sur le web : quatre benchmarks, 3 à 4 modèles chacun, et des runs vieux de six à dix semaines. Lire un classement sans sa date de run, c'est consulter une carte météo pour décider de ce soir : le document est précis, et il décrit un autre jour.

IC : intervalle de confiance à 95 %. pts : points de pourcentage. Sources : pages de benchmarks OpenRouter, consultées le 28 octobre 2026.

Côté usage (classements OpenRouter, arrêtés au 27 octobre), le trafic reste dominé par les harness de codage : OpenClaw (402 milliards de tokens), Codex (347), omp (308) et freebuff (262). On y trouve aussi Space Bunny Alpha, modèle « stealth » à 42,9 billions de tokens mensuels (l'auteur reste inconnu, par définition), le fantôme le plus bavard du classement. OpenRouter rappelle que ses classements comptent des tokens traités, pas des utilisateurs ni de la dépense. Les tokens mesurent l'usage, jamais la qualité.

Données de trafic et classements : OpenRouter, licence CC BY 4.0, réutilisées avec attribution.

Le levier oublié du budget de tours

BrowseComp, c'est 1266 questions conçues pour être introuvables en une seule recherche (papier de Wei et al., OpenAI, avril 2025, arXiv:2504.12516). OpenRouter fige le modèle et fait varier le moteur de recherche, le format de requête et le budget maximal de tours : 1, 5 ou 25. Quatre moteurs sont comparés : Perplexity, Parallel, Exa et OpenAI Native. Quatre modèles sont en lice : Claude Opus 5, GPT-5.6 Sol, GPT-5.6 Luna et DeepSeek V4 Flash 0731.

Le leader du run du 18 août 2026 est Claude Opus 5 en raisonnement « high », moteur Perplexity, 25 tours : 89,0 % de réponses conformes, IC entre 86,2 % et 91,3 %, pour 0,99 USD et 1,9 minute par question. Le même modèle, le même moteur, avec un budget réduit, donne 35,8 % à 1 tour et 66,5 % à 5 tours. Le budget de tours fait le score. Un agent de recherche ressemble à un enquêteur privé : le même homme, avec une journée ou trois semaines, ne résout pas le même nombre d'affaires. BrowseComp mesure d'abord le temps d'enquête autorisé, et accessoirement le flair du modèle.

{
  "type": "bar",
  "data": {
    "labels": ["1 tour", "5 tours", "25 tours"],
    "datasets": [
      {
        "label": "Précision BrowseComp (%)",
        "data": [35.8, 66.5, 89.0],
        "backgroundColor": ["#94a3b8", "#64748b", "#0f172a"]
      }
    ]
  },
  "options": {
    "responsive": true,
    "plugins": {
      "title": {
        "display": true,
        "text": "BrowseComp : même modèle, même moteur, budget de tours variable (run du 18 août 2026)"
      }
    },
    "scales": {
      "y": {
        "beginAtZero": true,
        "max": 100,
        "title": {
          "display": true,
          "text": "Précision (%)"
        }
      }
    }
  }
}

Précision du run gagnant de BrowseComp selon le budget de tours, à modèle et moteur constants (données OpenRouter, 18 août 2026).

Sur la frontière de Pareto, le petit modèle tire son épingle du jeu : DeepSeek V4 Flash 0731 atteint 77,0 % pour 0,076 USD par question, et GPT-5.6 Sol 82,4 % pour 0,50 USD. Le plafond a doublé en dix-huit mois : en avril 2025, le meilleur agent du papier original plafonnait à 51,5 %. Le progrès est réel, mais confondu : modèle, moteur, budget et méthode de notation ont tous changé.

DeepSearchQA et WideSearch, ou deux visions de la qualité

DeepSearchQA pose 900 questions dont la réponse est une liste : tous les membres d'une catégorie, tous les événements qui satisfont des contraintes. Une réponse ne compte que si la liste complète est trouvée, sans remplissage. Le leader, Claude Opus 5 · high avec Parallel en 25 tours, atteint 77,0 % (IC 73,9-79,9) au prix fort : 3,32 USD par question, le coût le plus élevé des quatre benchmarks. Le détail du run gagnant affiche 574 réponses complètes sur 745. La meilleure valeur est ailleurs : GPT-5.6 Luna · xhigh avec Perplexity en 25 tours tient 73,0 % pour 0,10 USD. Quatre points de moins. Trente-trois fois moins cher.

WideSearch inverse la focale : 200 tâches (100 anglophones, 100 sinophones) où l'agent doit remplir un tableau entier, ligne et cellule. Le score principal est un F1 sur les items du tableau ; les tableaux complets passent au second plan. Le leader, GPT-5.6 Sol · high avec Perplexity en 25 tours, atteint 84,0 % de F1 mais seulement 21,0 % de tableaux complets (21 sur 100, intervalle de Wilson 14,2-30,0). La meilleure valeur tient 80,0 % pour 0,063 USD (GPT-5.6 Luna · xhigh, 5 tours). DeepSearchQA récompense une vertu rare, l'exhaustivité honnête : c'est la différence entre un archiviste qui vous apporte l'étagère complète, carton après carton, et un collègue trop poli qui vous cite trois titres de mémoire en espérant que cela suffira.

Bien que les scores paraissent élevés, un tableau complet sur cinq reste un plafond de verre. À noter, une anomalie : sur WideSearch, Claude Opus 5 · high avec Perplexity en 25 tours affiche 68,2 % pour 2,14 USD, le pire score du haut de tableau au prix le plus élevé. Je ne l'explique pas. C'est probablement un artefact de fournisseur ou de configuration, et cela illustre pourquoi un rang ne suffit pas.

HLE et ses marges de confiance

HLE, c'est 2158 questions d'expertise écrites pour résister à la recherche simple, ici exécutées avec recherche web live et notation par un juge. Le run du 15 septembre 2026, le plus frais des quatre, donne Claude Opus 5 · high avec Perplexity en 25 tours à 77,4 %. Le détail du run gagnant affiche 65 bonnes réponses sur 84. Mais l'IC s'étale de 67,4 % à 85,0 %, soit 17,6 points de large. Pour comparaison, celui du leader de BrowseComp ne fait que 5,1 points. HLE en mode recherche, c'est le concours d'admission avec la bibliothèque ouverte : les questions sont écrites par des experts, et le candidat a le droit de chercher. Le problème, c'est que la copie est si courte que la marge d'erreur engloutit le classement.

À l'intérieur de cette bande, les différences ne sont pas des différences. La meilleure valeur, Claude Opus 5 · high avec Perplexity en 1 tour, tient 75,3 % pour 0,16 USD en 48 secondes, soit trois fois moins cher pour un score statistiquement indiscernable. J'appelle cela la règle du moins cher dans la bande : quand les intervalles se chevauchent, le rang n'est pas une information, et le prix en est une. Dernier constat : le routeur automatique de moteurs d'OpenRouter (« Auto ») termine à 52,5 % pour 0,082 USD. Même les méta-outils ont leurs jours sans.

τ²-Bench Airline, le frère frais et peuplé

τ²-Bench Airline est le simulateur de vol du service client : manuel de procédures, client simulé, outils à actionner au bon moment, notation sur la trajectoire complète. Le papier original (Barres et al., Sierra, juin 2025, arXiv:2506.07982) décrit un environnement en dual-control dont le domaine airline compte 50 tâches. OpenRouter le fait tourner en continu contre ses propres endpoints de production : 151 modèles au run du 28 octobre 2026 à 5 h 13 UTC, et un score qui reflète le modèle plus le fournisseur qui le sert. C'est la méthode affichée : un haut plancher de difficulté pour isoler la variance fournisseur, et un routage des requêtes à outils fondé sur ces mêmes signaux.

Le leader est Claude Fable 5 : 79,9 % à ±2,6 pts, 0,92 USD et 2,1 minutes par tâche, 5,77k tokens de sortie. Juste derrière, Ling 3.1 Flash (inclusionAI) tient 79,3 % pour 0,031 USD en 10,6 minutes, et Claude Sonnet 5.5 78,7 % (±2,5) pour 0,16 USD en 74 secondes. Les douze premiers modèles se tiennent dans une fenêtre de deux points : le podium y est une illusion d'optique. La meilleure valeur est ailleurs : GLM 5.3 Flash à 75,6 % (±2,0) pour 0,009 USD par tâche, ou GLM 5.3 servi par digitalocean (ligne épinglée sur ce fournisseur) à 76,0 % pour 0,016 USD en 42 secondes et 1,76k tokens. Le taux d'erreur d'appels d'outils des modèles inscrits à Auto Exacto, l'optimisation automatique d'OpenRouter, passe de 3,9 % à 1,7 %. Bien que ce run soit le plus frais de mon radar, il ne couvre qu'un domaine, et le score y reste un duo modèle-fournisseur. Pour le détail de cette variance, j'ai déjà écrit que le fournisseur est dans le score.

À noter, une seconde anomalie : Amazon Nova Micro 1.0 affiche 78,0 % pour 1,28 USD par tâche, plus de 140 fois le coût du Pareto. Artefact probable, pas une conclusion.

Trente jours de sorties et de benchmarks

Tout ce qui suit est « revendication » fournisseur ou « mesuré » par des tiers, sauf mention contraire.

GPT-6.1 Terra (OpenAI, 26 octobre). Un modèle dédié au computer use, prix API inférieurs de 50 % à ceux de GPT-5.6 Terra et GPT-6.1 Sol, et 50,3 % sur Terminal-Bench 4.0 en effort maximal.

Claude Haiku 5.5 (Anthropic, 7 octobre). Environ 75 % moins cher que Haiku 4.5, et lectures de cache de Sonnet 5.5 divisées par deux. La guerre des prix sur les petits modèles continue.

Muse Spark Open et Muse Glimmer 30B (Meta, 15 et 19 octobre). 816 milliards de paramètres pour 42 milliards actifs, un million de contexte, poids ouverts pour le premier ; un agent quantifié pour le on-device pour le second. S'y ajoutent LFM3 (Liquid AI, 27 octobre) et Beam (Reflection, 5 octobre), deux paris sur le petit et l'ouvert.

Nemotron 3.5 Super (NVIDIA, 14 octobre). Le communiqué rapporte BrowseComp de 71,5 % à 79,8 % grâce à l'exécution parallèle d'agents et à l'auto-vérification. Le harnais rapporte des points, encore.

ThinkingBox (Microsoft, début octobre). « Mesuré » par un tiers : 507 workflows stateful, 18 modèles, 20 exécutions par tâche. 67,24 % des tentatives échouées se terminent sans erreur d'outil, et la répétabilité parfaite reste rare (68 tâches en 20/20 pour Kimi-K3, 241 pour Claude Opus 5.5).

AREX (Beijing Academy of AI, 2 octobre). « Mesuré » par les auteurs : un harnais de recherche itératif plus fine-tuning rapporte jusqu'à 10 points sur BrowseComp pour le même modèle de base (82,5 % pour Qwen3.5-122B-A10B).

Terminal-Bench 3.0 (Scale Labs, 15 octobre) et Company Search Benchmark (Tavily, 9 octobre). Deux nouveaux terrains de jeu : les agents en terminal, et la qualité d'une seule réponse de recherche.

Ce que cela change pour vous

Quatre tendances tiennent la route dans ce radar. Premièrement, le budget de tours est le premier levier de qualité : 53 points sur BrowseComp, et les communiqués NVIDIA et AREX confirment que le harnais rapporte autant que le modèle. Deuxièmement, les benchmarks de recherche sont immatures : 3 à 4 modèles, des runs vieux de deux mois, contre 151 modèles pour τ²-Bench et 172 pour GPQA Diamond au 28 octobre. Troisièmement, la valeur se tient chez les modèles « flash » : 0,009 USD par tâche en τ²-Bench, 0,06-0,10 USD par question sur les benchmarks de recherche, un constat déjà creusé dans le coût réel derrière le podium. Quatrièmement, la fraîcheur et la répétabilité deviennent des critères d'achat : LiveBrowseComp montre que les agents répondent à jusqu'à 44,5 % de BrowseComp sans aucun outil, et ThinkingBox que 67,24 % des échecs se terminent sans erreur d'outil.

Fort de ces quatre tendances, ce que je ferais à ta place tient en quatre gestes. Évalue en continu : rejoue un jeu de questions métier en CI à chaque changement de modèle, de moteur ou de version, avec des métriques d'exactitude et de complétude. C'est ce que je pratique sur des pipelines documentaires en production, en rejouant des rapports réels avec pydantic-evals et de vrais appels LLM. Décide sur le contrat, pas sur le rang : le coût par tâche, mesuré dans sa bande d'erreur, vaut mieux que la médaille. Fixe un plafond de coût par run et un budget de tours avant de discuter fournisseur. Route avec un fallback : chaîne de modèles de secours et moteur de recherche alternatif, le tout tracé avec OpenTelemetry et Logfire ou Langfuse, prix versionnés plutôt que constantes en dur. Bref : choisis comme un comptable, pas comme un supporter !

flowchart TD
    A["Besoin : agent de recherche sur le web"] --> B["Fixer le plafond de coût par question"]
    B --> C{"Le score visé tient-il dans la bande d'erreur du leader ?"}
    C -- "non" --> D["Monter en gamme : 25 tours, modèle frontier"]
    C -- "oui" --> E["Règle du moins cher dans la bande"]
    D --> F["Prévoir un fallback : moteur alternatif et modèle de secours"]
    E --> F
    F --> G["Rejouer l'évaluation en CI à chaque changement"]

Limites de ce radar

Ce snapshot périme vite : les benchmarks de recherche datent du 18 août et du 15 septembre 2026, et les modèles cités auront probablement changé d'ici la publication. Trois ou quatre modèles par benchmark ne supportent aucune généralisation. τ²-Bench ne couvre qu'un domaine, et son score mélange le modèle et le fournisseur. Les classements de tokens mesurent de l'usage, pas de la qualité, et les modèles « stealth » comme Space Bunny Alpha restent invérifiables par principe. La page dédiée aux routeurs de modèles n'a rendu aucun contenu lors de ma consultation : je ne cite que les chiffres de l'index (7 routeurs, 67,6 % pour le meilleur au 27 octobre). WideSearch n'équilibre que 100 tâches anglophones et 100 sinophones. Enfin, mes recommandations de builder (evals en CI, fallback, tracing) relèvent de ma pratique, pas des données publiques. Reste à savoir si les prochains runs de recherche rattraperont leur retard de fraîcheur.

Ce qui reste vrai dans un mois

Plus généralement, un benchmark d'agent ne se lit plus comme un podium mais comme un contrat : une date de run, un intervalle de confiance, un coût par tâche. Celui qui choisit sur le rang achète une photographie. Celui qui choisit sur le contrat achète de la fiabilité. Et la fiabilité, dans ce domaine, se mesure en confiance, pas en points de pourcentage.

Si tu construis des agents de recherche et que tu veux ce radar appliqué à tes propres workloads, écris-moi sur /contact, ou découvre comment nous accompagnons les équipes produit sur /products.