Benchmarks d'IA sous le feu des critiques : Mesurons-nous le progrès ou courons-nous après des illusions ?
L'intégrité des benchmarks d'intelligence artificielle, cruciaux pour mesurer les progrès et guider le développement, fait l'objet d'un examen minutieux. Une préoccupation croissante est que les principaux modèles d'IA sont "benchmarqués" – optimisés pour obtenir d'excellents résultats dans des tests spécifiques – plutôt que d'améliorer réellement leurs capacités dans le monde réel. Ce phénomène fait écho à la loi de Goodhart, qui postule que "toute régularité statistique observée tendra à s'effondrer une fois qu'une pression sera exercée sur elle à des fins de contrôle". En termes plus simples, lorsqu'une métrique devient une cible, elle cesse d'être un indicateur fiable de la performance sous-jacente.
L'illusion de l'Arène
Un exemple frappant de ce problème est Chatbot Arena, une plateforme de benchmark populaire lancée par des chercheurs de l'UC Berkeley. Les utilisateurs évaluent les réponses anonymes des modèles, générant un système de classement Elo. En avril 2025, le modèle Llama 4 Maverick de Meta a obtenu un score élevé sur Arena, vanté dans les annonces de l'entreprise. Cependant, les utilisateurs ont rapidement découvert que la version performante était fortement "optimisée pour la conversation", un détail noté dans une note de bas de page. Lors d'un nouveau test avec une version non modifiée, Maverick s'est classé significativement plus bas. Le PDG de Meta, Mark Zuckerberg, a plus tard admis qu'il était "relativement facile pour notre équipe d'ajuster une version de Llama 4 Maverick qui pourrait être en tête", soulignant la susceptibilité du benchmark à la manipulation. Cette pratique s'apparente au p-hacking, où des tests répétés de variantes de modèles peuvent produire des résultats favorables par hasard.
Un problème qui métastase dans les laboratoires
Cette tendance des benchmarks à dépasser l'utilité réelle n'est pas isolée à Meta. En juillet 2025, Grok 4 d'Elon Musk a été promu sur la base de son score Humanity's Last Exam (HLE), malgré des performances apparemment médiocres dans des tâches réelles. De même, Claude Opus 5 d'Anthropic, sorti en juillet 2026, a fait l'objet de plaintes concernant des réponses pleines de jargon perturbant le travail d'ingénierie logicielle. Plus récemment, Gemini 4 Argon de Google, sorti en septembre 2026, a été accusé de "benchmaxxing" après des rapports indiquant qu'il peinait encore avec certaines tâches de codage malgré des scores élevés sur les benchmarks de codage agentiques.
L'industrie croissante autour des benchmarks
Les enjeux sont immenses, les géants de la technologie prévoyant plus de 700 milliards de dollars de dépenses d'investissement pour 2026, dont une grande partie pour l'infrastructure d'IA. Les benchmarks servent de tableaux de bord critiques, influençant les décisions d'investissement et l'adoption par les entreprises. Le marché de l'IA générative a vu les dépenses des entreprises passer de 11,5 milliards de dollars en 2024 à 37 milliards de dollars en 2025. Des entreprises comme Scale AI, Surge AI et Mercor ont vu leur valorisation s'envoler en fournissant des données et des services d'évaluation cruciaux pour améliorer les performances des benchmarks. Cela crée une forte incitation à "jouer le système" plutôt qu'à rechercher de véritables avancées en matière de capacités.
Le coût d'une évaluation robuste
La création de benchmarks véritablement efficaces est une entreprise coûteuse et complexe. La création d'un benchmark de haute qualité, tel qu'un test de raisonnement sur des cas cliniques, pourrait coûter plus de 800 000 $ pour le développement initial, avec des coûts continus pour actualiser les tâches afin d'éviter la saturation. Par exemple, l'actualisation de 25 % des tâches annuellement pourrait ajouter 200 000 $. Les benchmarks qui réduisent les coûts en utilisant des évaluateurs moins qualifiés ou en s'appuyant sur des tâches générées par l'IA sacrifient souvent l'expertise du domaine et introduisent des biais, conduisant à des évaluations erronées. Terminal-Bench 4.0, par exemple, a souffert de défauts de notation dans près de la moitié de ses tâches en raison de tâches publiques non vérifiées.
Contamination des benchmarks : un défaut caché
Un autre problème important est la contamination des benchmarks, où les données d'entraînement incluent involontairement des ensembles de tests de benchmark. SWE-bench Verified d'OpenAI, un benchmark pour la capacité de codage de l'IA, s'est avéré compromis car les dépôts open-source utilisés pour les tâches faisaient également partie des données d'entraînement du modèle. Cela a permis aux modèles de reproduire des solutions à partir de la mémoire plutôt que de démontrer de réelles compétences en résolution de problèmes. De même, le benchmark ARC-AGI, conçu pour tester le raisonnement, a montré des signes de contamination, les modèles semblant récupérer des réponses basées sur les données d'entraînement plutôt que sur une inférence réelle. La prévention de la contamination nécessite non seulement des ensembles de tests privés, mais aussi une construction minutieuse à partir de données entièrement nouvelles, une étape coûteuse mais nécessaire pour une évaluation fiable de l'IA.
